JP4872829B2

JP4872829B2 - 撮像装置

Info

Publication number: JP4872829B2
Application number: JP2007169964A
Authority: JP
Inventors: 詳二只野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-06-28
Filing date: 2007-06-28
Publication date: 2012-02-08
Anticipated expiration: 2027-06-28
Also published as: CN101335841A; JP2009010675A; US20090001269A1; US7800064B2; CN101335841B

Description

本発明は撮像装置に関し、特に画像処理を施した画像をコンピュータに出力する撮像装置に関する。

従来、撮像した画像信号を基に画像処理を行うことで、撮像範囲内の特定の物体を検出する種々の技術が考えられており、このような技術は監視カメラなどに用いられていた。また、可視光を検出して撮像する可視光カメラだけでなく、近赤外線カメラや遠赤外線カメラも知られており、これらは撮像対象の温度を検出することで物体を識別できるようになっていた。

ところで、可視光カメラと赤外線カメラ（遠赤外線カメラ）とでは、それぞれの特性の違いから、比較的確実に識別可能な物体も異なる。このため、可視光カメラと遠赤外線カメラとの両方の機能を備えるハイブリッドカメラが知られている。このハイブリッドカメラは、可視光カメラが撮像した画像と遠赤外線カメラが撮像した画像とを合成（結合）し、昼夜を問わず、撮像対象を表示していた（例えば特許文献１〜３参照）。
特開平１０−７３４１２号公報特開２００６−３３３１３２号公報特開２００５−２２３６０５号公報

一般的に、ハイブリッドカメラには、信号処理を行うためのＰＣ（Personal Computer）が接続されている。
従来、撮像した画像の合成は、ＰＣ側で行っていた。前述した処理を行う場合、ＰＣ側に送るデータ量は、可視光カメラの画像データ量と遠赤外線カメラの画像データ量の和となるため、必然的にデータ量は増加する。

また、一般的にハイブリッドカメラを監視用カメラに用いた場合、１台のＰＣに複数台のハイブリッドカメラを接続することが多い。この場合、ＰＣ側で全ての画像処理を行わなければならないため、ＰＣ側に高い負荷がかかり、高い処理能力が必要となる。

また、遠赤外線カメラの画像は、人間の目には見えないものを映像化しているため、感覚的に理解しにくく、慣れない人間が監視するには、難しいという問題があった。
本発明はこのような点に鑑みてなされたものであり、転送するデータ量の低減を図ることができ、ＰＣ側の処理負荷を軽減させることができる撮像装置を提供することを目的とする。

本発明では上記課題を解決するために、画像処理を施した画像をコンピュータに出力する撮像装置において、熱画像を撮像する熱画像撮像カメラと、可視光下での画像を撮像する可視光カメラと、外部から与えられる所定の温度領域に基づき、撮像された前記熱画像から前記所定の温度域に対応する画像を検出して抜き出す温度域抽出部と、撮像ごとに、前記可視光カメラで撮像された可視光画像の不動物体を今回の背景画像として抽出し、前回以前に抽出された背景画像と重ね合わせ、前記背景画像を更新する背景画像抽出部と、前記温度域抽出部により抽出された前記所定の温度域に対応する画像と、前記背景画像抽出部により抽出された前記背景画像とを合成し、合成した画像を出力する合成出力部と、を有する撮像装置が提供される。

このような撮像装置によれば、熱画像撮像カメラにより熱画像が撮像される。可視光カメラにより可視光下での画像が撮像される。温度域抽出部により、外部から与えられる所定の温度域に対応する画像が熱画像から検出して抜き出される。背景画像抽出部により、可視光カメラで撮像された可視光画像の不動物体が今回の背景画像として抽出され、前回以前に抽出された背景画像と重ね合わせ、背景画像が更新される。合成出力部により、温度域抽出部により抽出された画像と、背景画像抽出部により抽出された背景画像とが合成され、出力される。

本発明によれば、撮像装置の内部で背景画像の合成処理を行うようにしたので、コンピュータに出力する画像のデータ量を削減することができる。これにより、コンピュータの処理負荷を軽減することができる。また、人間の視覚的に分かり易い映像を提供することができる。

以下、本発明の実施の形態を、図面を参照して詳細に説明する。以下の実施の形態で説明する撮像装置は、被写体から反射または放射されている、異なる周波数帯域の光（電磁波）をそれぞれ検出可能な２つのカメラを備えている。ここでは、そのような撮像装置をハイブリッドカメラと呼称する。

図１は、実施の形態に係るハイブリッドカメラの構成について概略的に示す図である。
図１に示す撮像システムは、複数（図１では２台の）ハイブリッドカメラ１、１とサーバ（コンピュータ）２とを有している。

ハイブリッドカメラ１、１は、それぞれ主として、遠赤外線領域の電磁波を検出可能な遠赤外線カメラ１１と、可視光を検出可能な可視光カメラ１２と、各カメラによる撮像画像を用いて信号処理を行う画像処理回路１３とを備えている。

ハイブリッドカメラ１、１は、それぞれ通信回線を通じてサーバ２に接続されており、例えば、ハイブリッドカメラ１の出力画像をサーバ２に接続されるモニタにおいて表示させる、あるいは、ハイブリッドカメラ１の動作制御や各種設定をサーバ２側から実行できるようになっている。

遠赤外線カメラ１１および可視光カメラ１２は、それぞれ同じ方向を撮像する。遠赤外線カメラ１１は、遠赤外線を検出するセンサとして、例えば、照射された遠赤外線が持つエネルギー（熱）を検知する焦電素子、ボロメータなどを備えている。また、可視光カメラ１２は、可視光を検出するセンサとして、例えば、ＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサなどの固体撮像素子を備えている。

画像処理回路１３は、遠赤外線カメラ１１および可視光カメラ１２により撮像された画像信号を基に、各種の信号処理を行う。特に、本実施の形態では、これら双方の画像信号を基に、撮像範囲内から特定の物体を検出して、出力画像内においてその物体の検出を明示させるような処理を実行する。

なお、遠赤外線カメラ１１および可視光カメラ１２は、それぞれのセンサからの出力信号をデジタル信号に変換する機能を備え、画像処理回路１３は、遠赤外線カメラ１１および可視光カメラ１２から出力されるデジタル画像信号を基に処理を行う。また、遠赤外線カメラ１１および可視光カメラ１２は、それぞれ画素数の異なるセンサを具備していてもよい。ただし、この場合には、各カメラの内部には解像度変換機能が設けられ、各カメラから画像処理回路１３に対しては、それぞれフレーム当たり同じ画素数（例えば８ビットでデジタイズされた２５６階調の画像）のデジタル画像信号が出力されるようにする。

なお、遠赤外線カメラ１１と可視光カメラ１２とは、必ずしも完全に同じタイミングで撮像動作が実行される必要はない。例えば、各カメラの撮像間隔がそれぞれ異なるものとされてもよい。言うまでもなく、各カメラの撮像タイミングはできるだけ近接していることが望ましい。

また、ハイブリッドカメラ１の画像処理回路１３からの出力画像をサーバ２のモニタにおいて表示させる、あるいは、ハイブリッドカメラ１の動作制御や各種設定をサーバ２側から実行できるようになっている。

メモリ１４は、例えばＳＤＲＡＭ（Synchronous DRAM）等で構成されており、画像処理回路１３が出力するデータ等を記憶する。
図２は、実施の形態に係るハイブリッドカメラのさらに詳細な内部構成を示す図である。

図２に示すように、ハイブリッドカメラ１は、同期信号生成部２１をさらに有している。また、ハイブリッドカメラ１の画像処理回路１３は、温度切り出し部（温度域抽出部）３１と、設定レジスタ３２と、背景画像抽出部３３と、（画像）重ね合わせ部（合成出力部）３４とを有している。

同期信号生成部２１は、遠赤外線カメラ１１と可視光カメラ１２とが略同じ時刻で画像撮影し、撮像した画像を略同じタイミングで画像処理回路１３に出力させるタイミング信号を生成する。

温度切り出し部３１は、遠赤外線カメラ１１の出力画像から設定レジスタ３２に設定された温度領域を切り出す。
設定レジスタ３２は、サーバ２によって設定された温度領域を保存する。

背景画像抽出部３３は、可視光カメラ１２の出力画像から動体部分（撮像した画像の前後で変化の生じた部分）を除外した背景成分のみを抽出する。ここで、メモリ１４は、背景画像抽出部３３が作成した背景画像を記録する。

重ね合わせ部３４は、温度切出し部３１が作成した画像と、メモリ１４に記録されている背景画像を重ね合わせる。
なお、図１には図示していないが、ハイブリッドカメラ１は、可視光カメラ１２が撮像した画像を直接サーバ２に出力する機能も備えている。

次に、ハイブリッドカメラ１（撮像システム）の動作を、具体例を用いて説明する。
図３は、ハイブリッドカメラの動作を説明する図であり、図４〜図６は、それぞれハイブリッドカメラによって処理される画像の具体例を示す図である。

前処理として、サーバ２は、画像を構成する８ビットの階調値“０〜２５５”の間で例えばユーザ等が設定した温度切り出しをしたい階調値（本具体例では人物６３を切り出すものとして人間の放射エネルギーに近い階調値“５０〜７０”）を設定レジスタ３２に設定する。

遠赤外線カメラ１１は、撮像した画像５１（図４（ａ）参照）を温度切り出し部３１に出力する（図３のステップＳ１）。ここで、画像５１に含まれる家６１の階調値は“１０”であり、コンクリート壁６２の階調値は“２００”であるものとする。

温度切り出し部３１は、設定レジスタ３２に階調値“５０〜７０”が設定されているため、入力された画像の中の画素の階調値“５０〜７０”の部分（図４（ａ）では、人物６３）は、そのままの値を使用し、“５０〜７０”以外の部分（図４（ａ）では、家６１およびコンクリート壁６２）は、階調値“０”（白）に置き換えた画像５２（図４（ｂ）参照）を作成する。これにより、画像５１内の動かない部分が背景とみなされ、階調値“０”に置き換えられる。

そして、置き換えた画像５２を重ね合わせ部３４に出力する（図３のステップＳ２）。重ね合わせ部３４は、この画像５２を一時保存する。すなわち、重ね合わせ部３４には、遠赤外線カメラ１１が撮像した画像５１のうちの人物６３のみが写っている画像５２を一時保存する。

一方、可視光カメラ１２は、撮像した画像５３（図４（ｃ）参照）を背景画像抽出部３３に出力する（図３のステップＳ３）。
背景画像抽出部３３は、画像５３の撮像タイミングより１つ前のタイミングで撮像された画像５４（図４（ｄ）参照）が既に入力されている場合、今回入力された画像５３と前回入力された画像５４との比較をして差異を抽出した画像５５（図５（ａ）参照）を作成する。ここで、画像５５の斜線部分が差異部分に該当する。

次に、背景画像抽出部３３は、画像５５の差異部分以外（図５（ａ）中斜線部分以外）をメモリ１４に書き込む（図３のステップＳ４）。
次に、可視光カメラ１２は、画像５３の撮像タイミングより１つ後のタイミングで撮像した画像５６（図５（ｂ）参照）を背景画像抽出部３３に出力する（図３のステップＳ５）。

画像５６が背景画像抽出部３３に入力されると、背景画像抽出部３３は、画像５３と画像５６との比較をして差異を抽出した画像５７を作成する（図５（ｃ）参照）。ここで画像５７の斜線部分が差異部分に該当する。

次に、背景画像抽出部３３は、画像５５と画像５７の背景の論理和（ＯＲ）をとることで背景および背景以外の部分６４を抽出した画像５８（図５（ｄ）参照）を作成し、メモリ１４に書き込む（図３のステップＳ６）。

ここで、画像５８を画像５４と対比させると、画像５８中の背景以外の部分（車の位置）が画像５４中の背景以外の部分（車の位置）より進んでいる（左側に位置している）ことが分かる。すなわち、画像処理回路１３が上記ステップＳ３〜ステップＳ６を繰り返すことで背景以外の部分が左側に移動していくことにより取り除かれ、最終的に、重ね合わせ部３４は、可視光カメラ１２が撮像した画像の中から動く部分を取り除いた画像（背景画像）５９（図６（ａ）参照）を抽出することができる。この処理については後に詳述する。

次に、重ね合わせ部３４は、メモリ１４から背景画像５９を取り出し（ステップＳ７）、取り出した背景画像５９と画像５２とを画像合成する。具体的には、画像５２の画素値が“０”の部位には、画像５９の画像データを使用し、それ以外の部位には画像５２の画像データを使用する。

次に、重ね合わせ部３４は、画像合成した画像６０（図６（ｂ）参照）をサーバ２に送信する（図３のステップＳ８）。
なお、本処理を開始するタイミングは特に限定されないが、以下のタイミングで行うのが好ましい。

例えば画像処理回路１３に可視光画像の輝度の信号レベルを検出する機能を設け、この信号レベルが、あるしきい値以上の場合に背景画像５９の抽出を行う。また、信号レベルが、あるしきい値以上の場合は、可視光カメラ１２が撮像した画像を直接サーバ２に出力するように設定する。

そして、信号レベルが、あるしきい値以下になったときに背景画像５９と画像５２との画像合成を開始する。
このような制御を行うことにより、例えば視認性のよい昼間には本処理を行わず、夕方〜夜間〜朝方のみ画像合成を行うようにすることができる。

次に、背景画像５９を抽出する処理（抽出処理）を詳しく説明する。
図７は、抽出処理を示すブロック図である。
背景画像抽出部３３は、差異抽出部３３１と、背景領域検出部３３２と、背景画像書き込み判断部３３３とを有している。

差異抽出部３３１は、メモリ１４に蓄積されている第ｎ番目の背景画像（第（ｎ）画像）１４１と、第（ｎ＋１）番目の画像（第（ｎ＋１）画像）１２１との差異を抽出する。
背景領域検出部３３２は、第（ｎ）画像１４１を撮像するまでに背景と判断された画素部分の値を“１”に設定し、未だ背景と判断されていない場所を“０”に設定して保持している。

背景画像書き込み判断部３３３は、背景領域検出部３３２が処理した画像に所定の処理を施して背景画像としてメモリ１４に書き込む。
以下、処理を説明する。

差異抽出部３３１は、第（ｎ＋１）画像１２１を取り込む（ステップＳ１１）と略同時に第（ｎ）画像１４１を取り込む（ステップＳ１２）。
次に、差異抽出部３３１は、第（ｎ＋１）画像１２１と第ｎ画像１４１との差異を検出し、差異の無いところの画素部分を第（ｎ）画像と第（ｎ＋１）画像とで生成される背景画像１４２としてメモリ１４に入力する（ステップＳ１３）。

また、差異抽出部３３１は、差異の無いところの画素部分の値を“−１”に設定して背景領域検出部３３２に出力する（ステップＳ１４）。
背景領域検出部３３２は、入力されたある画素部分の値が“−１”で、背景領域検出部３３２に蓄積されている画像の対応する画素部分の値が“０”のときは、その画素部分に“−１”を書き込む。対応する画素部分の値が“１”のときは“１”のままにする。

次に、背景画像書き込み判断部３３３は、背景領域検出部３３２が検出した“−１”の値である画素に対して以下の処理を行う。
第（ｎ）画像と第（ｎ＋１）画像とで生成される背景画像１４２から画像を読み取り（ステップＳ１６）、背景領域検出部３３２が出力した画像の対応する画素部分の値が“−１”のときのみ読み取った背景画像に書き込む（ステップＳ１７）。この背景画像は、例えば図４〜図６の例に対応させると、ステップＳ１１〜ステップＳ１７の処理を１回行った段階では画像５８に対応する画像となり、複数回繰り返すと最終的には画像５９に対応する画像となる。

背景画像への書き込みが終了すると、背景画像書き込み判断部３３３は、背景画像中の、背景領域検出部３３２が検出した“−１”の値を全て“１”に変更し、背景画像１４３として出力する。

以上で抽出処理を終了する。
以上説明したように、本実施の形態の撮像システムによれば、ハイブリッドカメラ１、１において画像処理を施した後に、サーバ２に処理した画像を送信するようにしたので、各カメラからの画像を別個にサーバ２に送り、サーバ２側で画像処理を行う場合に比べてデータ量を低減させることができる。これにより、サーバ２側のデータ処理の負荷を低減させることができる。

また、人間の目に見える可視光カメラ１２の画像を背景画として遠赤外線カメラ１１の画像を重ね合わせるようにしたので、昼夜を問わず（特に夜間において）、人間の視覚的に分かり易い画像を提供することができる。

なお、本実施の形態では遠赤外線カメラ１１と可視光カメラ１２との組合せについて説明したが、この組合せは、特に限定されず、可視光カメラを使用しているハイブリッドカメラであれば、他のカメラとの組合せにおいても対応することができる。

また、本実施の形態では、切り出し方法として温度帯部分だけを切り出したが、本発明はこれに限らず、温度帯を四角切り出したものでもよい。また、切り出しをせずに遠赤外線カメラ１１の画像をそのまま重ね合わせてもよい。これにより、例えば背景画像に対して人間部分を透過させることができる。また、重ね合わせるときは、遠赤外線カメラ１１の画像と可視光カメラ１２の画像との比を例えば７：３のようにするのが好ましい。これにより、視認性を向上させることができる。

また、切り出し方法は、温度切り出しのみを行ったが、これに限定されず、例えば動く物体を切り出して、両方の条件で切り出された物体以外の物体を階調値“０”（白）に置き換えた画像を作成するようにしてもよい。これにより、より確実に切り出したい対象のみを切り出すことができる。

以上、本発明の撮像装置を、図示の実施の形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置換することができる。また、本発明に、他の任意の構成物や工程が付加されていてもよい。

また、本発明は、前述した実施の形態のうちの、任意の２以上の構成（特徴）を組み合わせたものであってもよい。

実施の形態に係るハイブリッドカメラの構成について概略的に示す図である。実施の形態に係るハイブリッドカメラのさらに詳細な内部構成を示す図である。ハイブリッドカメラの動作を説明する図である。ハイブリッドカメラによって処理される画像の具体例を示す図である。ハイブリッドカメラによって処理される画像の具体例を示す図である。ハイブリッドカメラによって処理される画像の具体例を示す図である。抽出処理を示すブロック図である。

符号の説明

１ハイブリッドカメラ、２サーバ、１１遠赤外線カメラ、１２可視光カメラ、１３画像処理回路、１４メモリ、２１同期信号生成部、３１温度切り出し部、３２設定レジスタ、３３背景画像抽出部、３４重ね合わせ部、５１〜６０画像、６１家、６２コンクリート壁、６３人物、３３１差異抽出部、３３２背景領域検出部、３３３背景画像書き込み判断部

Claims

画像処理を施した画像をコンピュータに出力する撮像装置において、
熱画像を撮像する熱画像撮像カメラと、
可視光下での画像を撮像する可視光カメラと、
外部から与えられる所定の温度域に基づき、撮像された前記熱画像から前記所定の温度域に対応する画像を検出して抜き出す温度域抽出部と、
撮像ごとに、前記可視光カメラで撮像された可視光画像の不動物体を今回の背景画像として抽出し、前回以前に抽出された背景画像と重ね合わせ、前記背景画像を更新する背景画像抽出部と、
前記温度域抽出部により抽出された前記所定の温度域に対応する画像と、前記背景画像抽出部により抽出された前記背景画像とを合成し、合成した画像を出力する合成出力部と、
を有する撮像装置。
前記熱画像撮像カメラおよび前記可視光カメラにおける各画像の取得タイミングを略同じくする同期信号を生成する同期信号生成部をさらに有する、請求項１記載の撮像装置。
前記合成出力部は、前記可視光画像の輝度の信号レベルを所定のしきい値と比較し、前記信号レベルが所定のしきい値以下のとき、前記背景画像と前記所定の温度域に対応する画像とを合成した画像を出力し、それ以外のときは前記可視光画像を出力する、請求項１記載の撮像装置。
前記背景画像抽出部は、処理ごとに、抽出された前記背景画像とともに該背景画像の画素ごとに当該画素が動体の検出されていない背景であるか否かを示す背景領域検出情報とをメモリに記憶しておき、前記背景領域検出情報に基づいて、前回撮像された可視光画像と今回撮像された可視光画像とで差異が検出されなかった画素が背景であるか否かを判定し、背景でないときは、当該画素に対応する前記背景画像を前記今回撮像された可視光画像で更新し、当該画素に対応する前記背景領域検出情報を背景と設定する、請求項１記載の撮像装置。