JP5069578B2

JP5069578B2 - 撮像装置

Info

Publication number: JP5069578B2
Application number: JP2008018017A
Authority: JP
Inventors: 康洋森; 睦裕山中
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2008-01-29
Filing date: 2008-01-29
Publication date: 2012-11-07
Anticipated expiration: 2028-01-29
Also published as: JP2009182445A

Description

本発明は、対象空間を撮像して光変調画像を取得する撮像装置に関するものである。

本出願人は、周囲光（例えば、太陽光）の影響を受けない安定した濃淡画像を取得することにより、屋外の太陽光下であっても高い認証精度が確保できる顔認証システムを既に提案している（例えば、特許文献１参照）。この顔認証システムにおいて、認証の対象とする人物の顔を撮像する撮像装置は、発光ダイオードが発する赤外光を高速変調した変調光を対象領域に照射し、ＣＣＤからなる撮像素子で受光する当該変調光の反射光成分と周囲光の反射光成分とを区別して変調光だけの画像（光変調画像）を取得する。そして、顔認証システムの認証装置においては、撮像装置で取得した光変調画像から人物の顔の位置を検出し、当該位置の画素値から人物の顔の特徴量を抽出するとともに、当該特徴量を予め登録されているテンプレートと照合することによって、テンプレートに対応した人物の顔を認証する。
特開２００６−１５５４２２号公報

ところで、上述のように光変調画像を取得するための撮像装置においては、被写体（人物の顔など）までの距離が遠くなるにつれて画素値が減少するだけでなく、被写体までの距離が近すぎるときには画素値が飽和してしまうという問題がある。そこで、画素値を適正な値とするために露光制御が必要となるが、一般的な露光制御、例えば、露光時間や絞りの調整だけでは光変調画像の画素値が適正な値となるように露光制御することは困難であった。

本発明は上記事情に鑑みて為されたものであり、その目的は、光変調画像の画素値を適正な値とすることができる撮像装置を提供することにある。

請求項１の発明は、上記目的を達成するために、対象空間に変調光を照射する変調光照射手段と、当該対象空間より入射する光を受光する撮像素子と、撮像素子の各画素から出力される信号を処理することで変調光の反射光成分のみを画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像生成手段で生成された光変調画像から特定の特徴を有した領域を抽出する領域抽出手段と、領域抽出手段で抽出される前記領域の画素値が所定の適正範囲内に収まるように変調光照射手段を制御して変調光を調整する露光制御手段とを備え、変調光照射手段は、互いに対象空間の異なる位置に光を照射する複数の光源を有し、露光制御手段は、領域抽出手段で抽出される前記領域の位置及び大きさに応じて、複数の光源の点灯と消灯若しくは発光量の少なくとも何れか一方を調整するものであって、変調光照射手段は、照射範囲又は発光量の少なくとも何れか一方が互いに異なる複数種類の光源を有し、露光制御手段は、領域抽出手段で抽出される複数の前記領域の位置及び大きさに応じて、複数種類の光源の点灯と消灯若しくは発光量の少なくとも何れか一方を調整することを特徴とする。

請求項１の発明によれば、変調光照射手段が、互いに対象空間の異なる位置に光を照射する複数の光源を有し、露光制御手段は、領域抽出手段で抽出される前記領域の位置及び大きさに応じて、複数の光源の点灯と消灯若しくは発光量の少なくとも何れか一方を調整するので、特定の特徴を有した領域から入射する光量を増減することで光変調画像の画素値を適正な値とすることができる。しかも、特定の特徴を有する複数の領域が抽出された場合、それぞれの領域から入射する光量を各別に増減して光変調画像の画素値を適正な値とすることができる。

請求項２の発明は、請求項１の発明において、特定の特徴を有した前記領域が移動している場合、光変調画像生成手段が次に生成する光変調画像において当該領域が移動する向きと距離を予測する予測手段を備え、露光制御手段は、予測手段で予測された次の光変調画像における前記領域の移動向き及び移動距離に応じて、次の光変調画像が生成される際の前記領域の位置を照射範囲とする光源を点灯させるか、あるいは次の光変調画像が生成される際の前記領域の位置を照射範囲とする光源の発光量を調整することを特徴とする。

請求項２の発明によれば、特定の特徴を有した領域が移動した場合でも光変調画像の画素値を適正な値とすることができる。

請求項３の発明は、請求項１又は２の発明によれば、領域抽出手段は、特定の特徴を有した領域として人物の顔を抽出することを特徴とする。

請求項４の発明は、請求項１〜３の何れか１項の発明において、領域抽出手段は、特定の特徴を有した領域として文字又は特定のパターンで描画された領域を抽出することを特徴とする。

請求項５の発明は、請求項１〜４の何れか１項の発明において、領域抽出手段は、特定の特徴を有した領域として移動する領域を抽出することを特徴とする。

請求項６の発明は、請求項１〜５の何れか１項の発明において、光変調画像生成手段は、時間的に連続する複数枚の光変調画像を積分することを特徴とする。

請求項６の発明によれば、時間的に連続する複数枚の光変調画像を積分することにより、それぞれの光変調画像に含まれるランダムなノイズ成分を減衰させて信号対ノイズ比の高い光変調画像を得ることができる。

請求項７の発明は、請求項６の発明において、領域抽出手段は、特定の特徴を有した領域として移動する領域を抽出し、光変調画像生成手段は、時間的に連続する複数枚の光変調画像を、前記領域が重なるように積分することを特徴とする。

請求項７の発明によれば、特定の特徴を有した領域が移動した場合でも、複数枚の光変調画像に含まれるランダムなノイズ成分を減衰させて信号対ノイズ比の高い光変調画像を得ることができる。

本発明によれば、光変調画像の画素値を適正な値とすることができる。

以下、図面を参照して本発明の実施形態について詳細に説明する。ここで、本実施形態の撮像装置Ａは、光変調画像から人物の顔を検出するとともに、検出した人物の顔を予め登録されているテンプレートと照合することで個人を認証する顔認証装置として構成されている。

図５は、本実施形態の撮像装置（顔認証装置）Ａを含む集合住宅用セキュリティシステムのシステム構成例を示している。この集合住宅用セキュリティシステムは、マンションなどの集合住宅に設置されるものであって、撮像装置Ａの他に、ロビーインターホンＢ、警報監視盤Ｃ、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆ、システム制御盤Ｇ、テンキー装置Ｈ、各住戸に設置される住宅情報盤（図示せず）などで構成されている。

ロビーインターホンＢは、来訪者を撮像するカメラ、警報監視盤Ｃや住宅情報盤との間で通話するための通話装置、来訪者が訪問先の住戸の住戸番号などを入力するためのテンキーなどを備え、集合住宅の共同玄関Ｊの外に設置されている。来訪者がロビーインターホンＢのテンキーを操作して訪問先の住戸の住戸番号を入力すると、当該住戸番号の住戸に設置されている住宅情報盤に対し、ロビーインターホンＢから警報監視盤Ｃを経由して、呼出信号並びにロビーインターホンＢのカメラで撮像された訪問者の映像が伝送される。そして、呼出信号を受け取った住宅情報盤においては、ロビーインターホンＢから受け取る映像をディスプレイに表示するとともにスピーカから呼出音を鳴動させる。当該住戸の住人が住宅情報盤の応答釦を押操作すれば、住宅情報盤とロビーインターホンＢとの間に通話路が形成され、来訪者と住人とがそれぞれロビーインターホンＢ及び住宅情報盤を用いて通話することができる。尚、この種のロビーインターホンＢ、警報監視盤Ｃ、住宅情報盤については従来周知であるから詳細な構成についての図示並びに説明は省略する。

電気錠制御盤Ｄは、共同玄関Ｊに設けられた電気錠（図示せず）の施錠・解錠を制御する。エレベータ制御盤Ｅは、集合住宅に設置されているエレベータ（図示せず）の運転を制御する。宅配ボックス制御盤Ｆは、集合住宅に設置されている宅配ボックスの施錠・解錠などを制御する。システム制御盤Ｇは、住宅情報盤から伝送される制御指令や撮像装置Ａの認証結果に応じて、電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させるといったことを行わせるものである。すなわち、何れかの住戸の住人がテンキー装置Ｈを操作して当該住人に割り当てられているＩＤ番号を入力すると、撮像装置Ａでは、テンキー装置Ｈから受け取ったＩＤ番号に対応するテンプレートを用いて当該住人の顔認証を行い、認証できればシステム制御盤Ｇに認証可の情報を伝送する。そしてシステム制御盤Ｇは、撮像装置Ａから認証可の情報を受け取ると電気錠制御盤Ｄに電気錠を解錠させたり、エレベータ制御盤Ｅにエレベータを運転させたり、宅配ボックス制御盤Ｆに宅配ボックスを解錠させる。一方、撮像装置Ａによる認証が不可であった場合、システム制御盤Ｇでは、撮像装置Ａから認証不可の情報を受け取ると電気錠制御盤Ｄに電気錠を解錠させず、エレベータ制御盤Ｅにエレベータの運転を行わせず、且つ宅配ボックス制御盤Ｆに宅配ボックスを解錠させない。尚、電気錠制御装置Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆは従来周知のものであるから、詳細な構成の図示並びに説明は省略する。

図１（ａ）に本実施形態の撮像装置Ａのブロック図を示す。本実施形態の撮像装置Ａは、発光部１、発光制御部２、撮像部３、演算処理部４、テンプレートマッチング処理部５、メモリ部６を備えている。発光部１は、図１（ｂ）に示すように同一平面上で縦横に配置された複数個の発光ダイオード１ａと、これら複数の発光ダイオード１ａを個別、あるいは数個ずつに分けたグループ毎に点灯させる駆動回路（図示せず）とを有している。尚、発光ダイオード１ａは赤外光を発光するものである。発光制御部２は、駆動回路を制御し、非常に高い周波数（例えば、１０メガヘルツ）で発光ダイオード１ａを駆動させることによって、人物のいる対象空間に変調光を照射させる。すなわち、本実施形態では発光部１と発光制御部２とが変調光照射手段に相当する。

撮像部３は、赤外光に感度を有する撮像素子（例えば、ＣＣＤ＜電荷結合素子＞）と、発光制御部２から出力されるタイミング信号に基づき、発光部１の発光周期に同期して、撮像素子の各画素の出力から赤外光の反射光成分のみを取り出す処理（以下、「同期検波処理」と呼ぶ。）を行う信号処理回路とを有するとともに、撮像素子の受光面に赤外光を集光するレンズや、レンズと撮像素子の間に配置される絞りなども有している。演算処理部４は、信号処理回路で取り出された反射光成分を画素値とする光変調画像を生成する光変調画像生成処理と、光変調画像から特定の特徴を有した領域（人物の顔の領域）を抽出する領域抽出処理と、顔領域の画素値が所定の適正範囲内に収まるように発光制御部２を制御して変調光を調整する露光制御処理と、顔領域から人物の顔の特徴量（例えば、目、鼻、口などの顔器官形状の特徴に対応した情報）を抽出する特徴量抽出処理とを行うものであって、例えば、汎用のマイクロコンピュータに、上記光変調画像生成処理、領域抽出処理、露光制御処理、特徴量抽出処理を行わせるプログラムを搭載して実現される。但し、光変調画像生成処理及び領域抽出処理については、特許文献１にも記載されているように既に周知技術であるから詳細な説明は省略する。

テンプレートマッチング処理部５は、演算処理部４の特徴量抽出処理によって抽出された特徴量と、メモリ部６に予め登録（記憶）されているテンプレートとを照合することにより、対象空間に居る人物が予め登録されている人物（本実施形態では集合住宅の住人）か否かを判断する。そして、テンプレートマッチング処理部５による処理結果、すなわち、認証結果（認証可又は認証不可）がシステム制御盤Ｇに伝送される。

システム制御盤Ｇは、撮像装置Ａから受け取った認証結果が認証可であれば、電気錠制御盤Ｄに電気錠を解錠させるとともにエレベータ制御盤Ｅにエレベータを運転させ、さらに宅配ボックス制御盤Ｆに宅配ボックスを解錠させる。一方、撮像装置Ａから受け取った認証結果が認証不可であれば、システム制御盤Ｇは電気錠制御盤Ｄ、エレベータ制御盤Ｅ、宅配ボックス制御盤Ｆに対して何の制御も行わない。よって、予め登録されていない人物（集合住宅の住人以外の人物）が勝手に集合住宅内に侵入することを阻止できる。

次に、演算処理部４の動作（特に露光制御処理）について、さらに詳しく説明する。

演算処理部４は、発光制御部２を制御して対象空間全体に変調光を均等に照射させる。このとき、発光部１の有する全ての発光ダイオード１ａを点灯させるのではなく、例えば、一つおきに間引いて点灯させることで発光部１の消費電力を低減することが望ましい。このようにして得られる光変調画像から、演算処理部４が領域抽出処理を行うことで顔領域を抽出する。但し、発光部１を間引き点灯させたことで光変調画像の画素値が小さくなり、領域抽出処理による顔領域の抽出に失敗した場合、演算処理部４は、発光部１の発光量を増大させて再度光変調画像を取得し、当該光変調画像に対して改めて領域抽出処理を行う。

演算処理部４は、領域抽出処理で抽出される顔領域の位置（画素の座標）と、顔領域の大きさから推定される被写体Ｘまでの距離とに基づき、被写体（人物の顔）Ｘとの距離が相対的に最も近くなる範囲内から１乃至複数個の発光ダイオード１ａを選択する。例えば、図２（ａ）に示すように被写体Ｘが画角内の中央より右側に在り且つ撮像装置Ａからの距離が相対的に遠ければ、発光部１における右側の複数個の発光ダイオード１ａを選択する。また、図２（ｂ）に示すように被写体Ｘが画角内の中央より右側に在り且つ撮像装置Ａからの距離が相対的に近ければ、発光部１における右側の１個の発光ダイオード１ａを選択する。そして、演算処理部４は、選択した１乃至複数個の発光ダイオード１ａのみを点灯するように発光制御部２を制御する。尚、図２は発光部１と被写体Ｘを俯瞰した図であって、選択されて発光する発光ダイオード１ａを破線で示している。

而して、演算処理部４が上述のような露光制御処理を行えば、対象空間において人物の顔を含む狭い領域にだけ発光部１から変調光が照射されることになり、しかも、変調光の光量が人物の顔までの距離に応じたレベルに調整される（例えば、距離が２倍であれば光量を４倍に増大する）から、光変調画像の画素値を適正な値（特徴量抽出に適した適正範囲の値）とすることができる。しかも、被写体（人物の顔）Ｘに照射される変調光の強度（光量）が間引き点灯時よりも増大するため、間引き点灯による消費電力の削減を図りつつ、光変調画像における信号対ノイズ比（Ｓ／Ｎ比）を向上することができるという利点もある。そして、このようにして取得される光変調画像を用いれば、後の認証処理における認証精度の向上が図れるものである。尚、上述の例では顔領域の大きさ（被写体Ｘまでの距離）に応じて発光する発光ダイオード１ａの個数を増減することで発光部１の光量を調整しているが、個数を増減する代わりに、同一個数の発光ダイオード１ａに流す電流値を増減することで発光部１の光量を調整するようにしても構わない。また、複数の発光ダイオードを同一平面上に並べて発光部１を構成する代わりに、例えば、対象空間に向かって凸となる曲面（球面や円柱面など）上に複数の発光ダイオードを並べて発光部１を構成しても構わない。

ここで、発光部１を構成する全ての発光ダイオード１ａが必ずしも同一の指向性を有している必要はない。例えば、相対的に指向性を低くくした低指向性の発光ダイオード１ｂと、相対的に指向性を高くした高指向性の発光ダイオード１ｃとを交互に配置することで発光部１を構成してもよい（図３参照）。この場合、演算処理部４では、図３（ａ）に示すように低指向性の発光ダイオード１ｂのみを発光させて取得した光変調画像から顔領域を抽出した後、当該顔領域の位置及び大きさに基づいて、図３（ｂ）に示すように被写体Ｘとの距離が最も近い高指向性の発光ダイオード１ｃのみを発光させればよい。而して、高指向性の発光ダイオード１ｃが発する変調光を被写体Ｘに照射すれば、低指向性の発光ダイオード１ｂが発する変調光を被写体Ｘに照射する場合と比較して、発光部１の消費電力が同じであっても被写体Ｘに照射される光量が増えることになるから、消費電力を増やすことなく光変調画像のＳ／Ｎ比を向上させることができる。

ところで、映像処理部４では１枚（１フレーム）の光変調画像から複数の顔領域を抽出することも可能である。例えば、図４（ａ）の俯瞰図に示すように２つの被写体Ｘ１，Ｘ２が同時に対象空間に存在している場合、初めに低指向性の発光ダイオード１ｂのみを発光させて取得した光変調画像から各被写体Ｘ１，Ｘ２の顔領域を抽出し、各々顔領域の位置及び大きさに基づいて、図４（ｂ）に示すように被写体Ｘ１，Ｘ２との距離が最も近い高指向性の発光ダイオード１ｃのみを発光させればよい。但し、それぞれの被写体Ｘ１，Ｘ２に対応した高指向性の発光ダイオード１ｃは、同時に発光させてもよいし、片方ずつ順番に発光させてもよい。さらに、図４（ｃ）に示すように被写体Ｘ１，Ｘ２が移動する場合を考慮して、再度低指向性の発光ダイオード１ｂのみを発光させて各被写体Ｘ１，Ｘ２の顔領域の位置及び大きさを抽出し、移動した被写体Ｘ１，Ｘ２に追従して、最も距離の近い高指向性の発光ダイオード１ｃを選択的に発光させればよい（図４（ｄ）参照）。

ここで、演算処理部４の光変調画像生成処理において、時間的に連続する複数枚（複数フレーム）の光変調画像を積分することで光変調画像を生成すれば、それぞれの光変調画像に含まれるランダムなノイズ成分を減衰させて信号対ノイズ比の高い光変調画像を得ることができる。このとき、被写体（人物）が静止していると見なせるときは、単純に複数フレームの光変調画像全体をそのまま積分（フレーム積分）すればよいが、被写体が動いているときは、そのまま単純にフレーム積分するとノイズ成分だけでなく顔領域の画素値までもが減衰してしまうことになる。そこで、時間的に連続する複数フレームの光変調画像から顔領域を抽出する際、ＭＰＥＧ４などで規格化されている画像圧縮技術における動き予測の方法を利用して、当該顔領域の動き（移動する向きと移動距離）を予測する予測処理を演算処理部４で実行し、例えば、図５（ａ）に示すようにフレームｍ−１で抽出した顔領域Ｙ１が、次フレームｍで移動する向きと移動距離を予測する。そして、演算処理部４では、発光制御部２を制御し、予測した次フレームｍにおける顔領域Ｙ２の位置、さらに次次フレームｍ＋１における顔領域Ｙ３の位置に変調光を照射させるのである。このように予測処理と露光制御処理を組み合わせれば、特定の特徴を有した領域（顔領域）が移動した場合でも光変調画像の画素値を適正な値とすることができる。

また、上述のようにして予測された顔領域Ｙ１，Ｙ２，Ｙ３を重ねるようにして各フレームｍ−１，ｍ，ｍ＋１の光変調画像をフレーム積分すれば、顔領域が移動する場合においても、それぞれの光変調画像に含まれるランダムなノイズ成分を減衰させて信号対ノイズ比の高い光変調画像を得ることができる。

ところで、本実施形態では光変調画像から抽出する特定の特徴を有した領域として人物の顔の領域を例示したが、特徴領域は顔領域に限定されるものではない。例えば、人物の顔に限らず、移動する物体を特徴領域として抽出してもよい。あるいは、自動車に取り付けられている自動車登録番号標（ナンバープレート）のように文字又は特定のパターンで描画された領域を特徴領域として抽出してもよい。例えば、ナンバープレートを特徴領域とする場合であれば、ナンバープレートに記載されている文字や記号を特徴量として抽出し、予め登録されている自動車登録番号のテンプレートと照合することで当該ナンバープレートを付けた自動車を認証し、認証可と判断された場合に駐車場のゲートを自動的に開く、というような駐車場のゲート制御システムに適用することが可能である。

本発明の実施形態を示し、（ａ）は全体のブロック図、（ｂ）は発光部の概略構成図である。（ａ），（ｂ）は同上における露光制御処理の説明図である。（ａ），（ｂ）は同上における露光制御処理の説明図である。（ａ）〜（ｄ）は同上における露光制御処理の説明図である。（ａ），（ｂ）は同上における露光制御処理の説明図である。同上を用いた集合住宅用セキュリティシステムのシステム構成図である。

符号の説明

Ａ撮像装置
１発光部（変調光照射手段）
２発光制御部（変調光照射手段）
３撮像部
４演算処理部（光変調画像生成手段、領域抽出手段、露光制御手段）

Claims

対象空間に変調光を照射する変調光照射手段と、当該対象空間より入射する光を受光する撮像素子と、撮像素子の各画素から出力される信号を処理することで変調光の反射光成分のみを画素値とする光変調画像を生成する光変調画像生成手段と、光変調画像生成手段で生成された光変調画像から特定の特徴を有した領域を抽出する領域抽出手段と、領域抽出手段で抽出される前記領域の画素値が所定の適正範囲内に収まるように変調光照射手段を制御して変調光を調整する露光制御手段とを備え、
変調光照射手段は、互いに対象空間の異なる位置に光を照射する複数の光源を有し、露光制御手段は、領域抽出手段で抽出される前記領域の位置及び大きさに応じて、複数の光源の点灯と消灯若しくは発光量の少なくとも何れか一方を調整するものであって、
変調光照射手段は、照射範囲又は発光量の少なくとも何れか一方が互いに異なる複数種類の光源を有し、露光制御手段は、領域抽出手段で抽出される複数の前記領域の位置及び大きさに応じて、複数種類の光源の点灯と消灯若しくは発光量の少なくとも何れか一方を調整することを特徴とする撮像装置。
特定の特徴を有した前記領域が移動している場合、光変調画像生成手段が次に生成する光変調画像において当該領域が移動する向きと距離を予測する予測手段を備え、露光制御手段は、予測手段で予測された次の光変調画像における前記領域の移動向き及び移動距離に応じて、次の光変調画像が生成される際の前記領域の位置を照射範囲とする光源を点灯させるか、あるいは次の光変調画像が生成される際の前記領域の位置を照射範囲とする光源の発光量を調整することを特徴とする請求項１記載の撮像装置。
領域抽出手段は、特定の特徴を有した領域として人物の顔を抽出することを特徴とする請求項１又は２記載の撮像装置。
領域抽出手段は、特定の特徴を有した領域として文字又は特定のパターンで描画された領域を抽出することを特徴とする請求項１〜３の何れか１項に記載の撮像装置。
領域抽出手段は、特定の特徴を有した領域として移動する領域を抽出することを特徴とする請求項１〜４の何れか１項に記載の撮像装置。
光変調画像生成手段は、時間的に連続する複数枚の光変調画像を積分することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
領域抽出手段は、特定の特徴を有した領域として移動する領域を抽出し、光変調画像生成手段は、時間的に連続する複数枚の光変調画像を、前記領域が重なるように積分することを特徴とする請求項６記載の撮像装置。