JP4789526B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、画像中における所定の被写体を検出するための技術に関するものである。

画像から特定の被写体パターンを自動的に検出する画像処理方法は非常に有用であり、このような画像処理方法は例えば、人間の顔を検出するために利用することができる。このような方法は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。このような画像中から顔を検出する技術としては、例えば、非特許文献１に各種方式が挙げられている。その中では、いくつかの顕著な特徴（２つの目、口、鼻など）とその特徴間の固有の幾何学的位置関係とを利用するか、又は人間の顔の対称的特徴、人間の顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用することによって、人間の顔を検出する方式が示されている。

例えば、非特許文献２で提案されている方式は、ニューラル・ネットワークにより画像中の顔パターンを検出する方法である。以下、非特許文献２による顔検出の方法について簡単に説明する。

まず、顔を含む画像をメモリに読み込み、この画像から、顔と照合する所定の領域を切り出す。そして、切り出した領域を構成する各画素の画素値の分布を入力としてニューラル・ネットワークによる演算で一つの出力を得る。

このとき、ニューラル・ネットワークの重み、閾値は、膨大な顔画像パターンと非顔画像パターンによりあらかじめ学習されており、このようなニューラル・ネットワークを用いれば、例えば、ニューラル・ネットワークの出力が０以上なら顔、それ以外は非顔であると判別することができる。

そして、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、例えば、画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。

また、様々な大きさの顔の検出に対応するため、読み込んだ画像を所定の割合で順次縮小し、それぞれに対して、前述した顔検出の走査を行うようにしている。

上記方法で顔の検出を行い、顔であると判別されたパターンを出力とした場合、隣接したパターンや大きさが微妙に異なるパターン等で重なってパターンが検出される状況が頻繁に発生する。このような場合に非特許文献２では、検出されたパターンの重なりを判定し、重なったパターンの中心の平均位置に近いパターンを代表パターンとして残すなどして、パターンの重なりの整合性をとる後処理を行い、最終的な顔の位置、大きさを出力するようにしている。

したがって、従来例では、パターン重なりの整合性をとるための複雑な後処理を必要とするといった問題点があった。また、前述したような複雑な処理を行っているにも関わらず重なって検出されたパターンのうちから必ずしも正確な顔の位置、大きさを出力できる保証がないといった問題点があった。
IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24 , NO.1, JANUARY 2002、"Detecting Faces in Images: A Survey" IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998、"Neural network-based face detection"

本発明は以上の問題に鑑みてなされたものであり、画像中における所定の被写体の検出をより簡便且つ高精度に行うための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。

即ち、被写体を含む画像を取得する取得手段と、
前記画像の輝度成分で構成される第１輝度画像を生成する生成手段と、
前記第１輝度画像を再帰的に縮小することで、第２乃至第Ｎ輝度画像を生成する縮小手段と、
前記第１乃至第Ｎ輝度画像の各々について、該輝度画像上の各位置に予め設定されたサイズの矩形を配置した場合に、該矩形内の領域が前記被写体のパターンである確率を求める計算手段と、
前記第１乃至第Ｎ輝度画像の各々について、前記計算手段が計算したそれぞれの領域に対する確率に基づいて、当該それぞれの領域に対する確率分布を作成する作成手段と、
前記第１乃至第Ｎ輝度画像について、該輝度画像上における該それぞれの領域に対する確率分布が示す該領域内の画素位置における確率値を１枚のマップ画像の該画素位置における画素値に加算することで、該マップ画像を完成させる合成手段と
を備えることを特徴とする。

本発明の構成により、画像中における所定の被写体の検出をより簡便且つ高精度に行うことができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図１は、本実施形態に係る画像処理装置の機能構成を示すブロック図である。なお、本実施形態では、撮像した画像中における所定の被写体を検出し、検出した被写体が次回の撮像でより好適に撮像されるように、検出した被写体の像を焦点制御および露出制御に用いる。また、本実施形態では、この「被写体」として「顔」を用いるが、如何なる被写体であっても以下の説明の本質が同じであることは以下の説明より明らかとなるであろう。また、シーンごとに重要とされるその他の被写体を用いても良い。

同図に示す如く、本実施形態に係る画像処理装置は、撮像部１０、画像メモリ２０、焦点制御部３０、露出制御部４０、画像縮小部５０、照合パターン抽出部６０、輝度正規化部７０、顔判別部８０、顔確率分布生成部９０、確率マップ格納部１００で構成されている。

撮像部１０は、撮像レンズ、ＣＣＤ等の撮像素子、撮像素子からの出力信号のゲインを調整するゲイン調整回路、ゲイン調整後の撮像素子の出力信号をディジタル信号に変換するＡ／Ｄ変換回路により構成されている撮像装置であって、撮像素子からの信号をディジタル画像データとして出力する。

画像メモリ２０は、撮像部１０から順次出力される各フレームの画像データを格納するためのメモリである。

焦点制御部３０は、画像メモリ２０を介して撮像部１０から出力された画像データが示す画像中の所定領域のコントラストに基づき、画像のコントラストが最大になるように、撮像部１０を構成する撮影レンズの合焦レンズの位置を制御する。

露出制御部４０は、画像メモリ２０を介して撮像部１０から出力された画像データが示す画像中の所定領域の輝度に基づき、画像が所定の明るさになるように所定のプログラム線図に従ってシャッター速度と絞り値を決定し、撮像部１０を構成する撮像素子の露光時間と撮影レンズの絞りを制御する。

画像縮小部５０は、先ず、画像メモリ２０から受けた画像データの輝度成分で構成される輝度画像を生成する。そして、生成した輝度画像を再帰的に縮小することで、複数枚の縮小画像を生成する。生成したそれぞれの縮小画像（画像メモリ２０から受けた画像データに基づいて生成したオリジナルの輝度画像も１／１の縮小画像と解釈すれば、このオリジナルもまた、縮小画像に含めることができる）は順次後段の照合パターン抽出部６０に出力する。

照合パターン抽出部６０は、画像縮小部５０から縮小画像を受けると、この縮小画像上で所定サイズの矩形を移動させながら、この矩形に含まれる部分（画素群）を「照合対象パターン」として順次抽出し、後段の輝度正規化部７０に出力する。このような処理は、画像縮小部２０から受けたそれぞれの縮小画像について行う。

輝度正規化部７０は、照合パターン抽出部６０から受けた照合対象パターンを構成する画素群の輝度分布を正規化する。

顔判別部８０は、輝度正規化部７０で正規化された照合対象パターンが顔パターンである確率を求め、後段の顔確率分布生成部９０に出力する。

顔確率分布生成部９０は、オリジナルの輝度画像に対する照合対象パターンのサイズ、及び顔判別部８０から受けた確率のデータに基づいて、この照合対象パターンに対する確率分布を求め、求めた確率分布のデータを用いて確率マップ格納部１００に格納されているマップデータを作成する。

確率マップ格納部１００は、マップデータを格納する。マップデータについては後述する。

なお、本実施形態では、図１に示した各部は全てハードウェアでもって構成するものとして説明するが、部分的にソフトウェアでもって構成するようにしても良いことはいうまでもない。

次に、図１に示した各部の動作によって成される処理、即ち、撮像した画像中に含まれている被写体を検出し、検出した被写体が次回の撮像でより好適に撮像されるように焦点制御および露出制御を行う一連の処理について、同処理のフローチャートを示す図２を用いて以下説明する。

本画像処理装置の電源をオンにし、撮像ボタンを押下するなど、撮像の指示を入力すると、撮像部１０はこれを検知して撮像を開始するので、撮像した各フレームの画像データが順次画像メモリ２０に格納される（ステップＳ１０１）。

即ち、露出の状態を決める撮像レンズの絞り値、シャッター速度、撮像素子のゲイン、及びフォーカス状態を決める撮影レンズの合焦レンズが初期状態にセットされ、撮像素子から出力された信号がディジタル信号に変換されてＡ／Ｄ変換回路から画像データとして出力され、画像メモリ２０に格納される。なお、後述する処理では、撮像部１０から画像メモリ２０に取得した画像の輝度画像を生成するので、画像メモリ２０に格納される画像データは、輝度データと色差データとが分離可能なデータ構造、例えば、YUV形式のデータ構造であることが望ましいが、これに限定するものではない。

次に、焦点制御部３０は、画像メモリ２０に格納された画像データが示す画像のコントラストに基づき、画像のコントラストが最大になるように撮影レンズの合焦レンズの位置を制御する（ステップＳ１０２）。即ち、撮影レンズの合焦レンズを移動させながら撮像部１０から出力された画像データの輝度コントラストを繰り返し評価し、合焦レンズを移動させた場合の輝度コントラストの変化量をもとに、輝度コントラストの最も高い位置に合焦レンズが来るように合焦レンズの位置を制御する。

次に、露出制御部４０は、画像メモリ２０に格納された画像データが示す画像の輝度に基づき、画像が所定の明るさになるように所定のプログラム線図に従ってシャッター速度と絞り値を決定し、撮像部１０を構成する撮像素子の露光時間と撮影レンズの絞りを制御する（ステップＳ１０３）。

次に、画像縮小部５０は、焦点制御および露出制御によって制御された撮像部１０から画像メモリ２０に出力された画像データの輝度成分（Ｙ成分）を画像メモリ２０から読み込み、この画像データの輝度成分を示す輝度画像データを生成する（ステップＳ１０４）。なお、画像メモリ２０に格納された画像データを構成する各画素が、Ｒ、Ｇ、Ｂで表現されるものである場合には、周知の変換により、この画像データの輝度成分を示す輝度画像データを生成する。

次に、画像縮小部５０は、生成した輝度画像を再帰的に縮小することで、複数枚の縮小画像を生成する（ステップＳ１０５）。例えば、画像メモリ２０から受けた画像データに基づいて生成したオリジナルの輝度画像（以下の説明上、縮小画像１と呼称する）の縦横のサイズを１／１．２倍した縮小画像２を生成し、次に縮小画像２の縦横のサイズを１／１．２倍した縮小画像３を生成する、というように、複数枚の縮小画像を生成する。なお、生成する縮小画像の枚数については特に限定するものではない。

次に、ステップＳ１０６〜Ｓ１１２の処理は、それぞれの縮小画像について行う。即ち、ステップＳ１０６〜Ｓ１１２の処理は、縮小画像の数だけ繰り返し行うことになる。

以降の説明では、縮小画像はサイズの大きい順に縮小画像１、縮小画像２、、、、縮小画像Ｎと呼称するものとし、先ず、縮小画像１について以降の処理を行うものとする。なお、処理の対象として選択する順番については特に限定するものではない。

先ず、照合パターン抽出部６０は、縮小画像１上に所定サイズの矩形を配置し、矩形内の部分（画素群）を照合対象パターンとして抽出する（ステップＳ１０６）。この矩形は、縮小画像１上の各位置に配置した場合に、それぞれの位置における矩形内の輝度分布を得るためのものであるので、例えばこの矩形は最初は画像の左上隅に配置する。

次に、輝度正規化部７０は、ステップＳ１０６で抽出した照合対象パターン内の各画素の輝度分布を正規化する処理を行う（ステップＳ１０７）。例えば、ヒストグラム平滑化などの輝度補正を行う。これは、撮像される被写体パターンはその照明条件によって輝度分布が変わるので被写体照合の精度が劣化するのを抑制するためである。

次に、顔判別部８０は、ステップＳ１０７で輝度分布が正規化された照合対象パターン（輝度パターン）が、顔パターン（顔とおぼしきパターン）である確率（顔確率）を求める処理を行う（ステップＳ１０８）。

図４は、所定領域内のパターンを識別する為のニューラルネットワークの動作について示した図である。同図においてＲは、例えば画像上で識別する領域を示すものであり、本実施形態ではこの領域Ｒを同図に示す如く、３種類の方法にてさらに領域分割し、各ニューロン（Ｎで示す）への受容野とする。そして、分割された領域の輝度分布を各ニューロンに入力し、中間層での出力が得られる。そして、各ニューロンの出力を出力層のニューロンの入力として最終出力が得られる。

ここで、各ニューロンでは予め学習によって得られた重みと輝度分布との積和演算およびその結果のシグモイド関数による演算が行われる。本実施形態では出力層のニューロンの出力値を顔確率とした（ニューラル・ネットワークの詳細および学習の方法については、上記非特許文献２を参照されたい）。なお、ステップＳ１０７で輝度分布が正規化された照合対象パターンが顔パターンである確率（顔確率）を求める処理についてはこれに限定するものではなく、例えば、入力である部分領域を図５に示す如く顔の輪郭、眼、鼻、口、頬の位置関係にもとづいて分割するように受容野を設定してもよい。図５は、顔の各部分を示す図である。

また、ニューラル・ネットワークによる判別に限らず、例えば、Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2001に”Rapid Object Detection using a Boosted Cascade of Simple Features”と題するViolaとJonesによる報告で提案されているAdaBoostによる方式を用いてもよい。

図３は、様々なサイズの縮小画像（本実施形態の場合には縮小画像１、縮小画像２、、、、縮小画像Ｎ）について、照合対象パターンが顔パターンである確率を求める処理（顔パターンであるか否かを判別する処理）を説明する図である。それぞれの縮小画像上の各位置に同じサイズの矩形を配置した場合に、それぞれの位置における矩形内の領域が顔パターンであるのか否かを判断するために、先ず、同図左側に示す如く、縮小画像の左上隅に矩形を配置し、そこから右側に、上から下に向かって矩形の位置を移動させる。移動させる毎に矩形内の画素群は照合対象パターンとして顔パターンの判別に用いられる。

次に、顔確率分布生成部９０は、ステップＳ１０６で抽出された照合対象パターン内についてステップＳ１０８で求めた顔確率に基づいて、この照合対象パターンに対する確率分布（顔確率分布）を求め、確率マップ格納部１００に格納されているマップデータのうち、この照合対象パターンに対応するデータ部分を顔確率分布に更新すべく、マップデータを更新する処理を行う（ステップＳ１０９）。

ここで、顔確率分布生成部９０が行うステップＳ１０９における処理についてより詳細に説明する。

先ず、ステップＳ１０６で抽出された照合対象パターンの中心位置を原点とした場合に、この原点でピーク値を有し、この原点からの距離が遠くなるほど確率値が小さくなるような確率分布を求める。例えば、照合対象パターンの中心位置におけるピーク値を上記顔確率とし、照合対象パターンの対角長を拡がりとしてもつ二次元ガウス関数を求める。そして、求めた二次元ガウス関数を用いて、照合対象パターン内における各画素位置に対応する確率値を求める。これにより、照合対象パターンを構成する各画素に対応する確率値を得ることができる。

ここで、マップデータは、所定のサイズを有する画像（マップ画像）のデータであり、マップ画像を構成する各画素の画素値は０に初期化されている。

従って、ステップＳ１０９では、縮小画像１上において照合対象パターンを抽出した領域（第１の領域）に対応するマップ画像上における領域（第２の領域）を構成する各画素の画素値に対して、第１の領域を構成する各画素のうち位置的に対応する画素の確率値を加算する処理を行うことで、マップデータを更新する。

ここで、マップ画像と縮小画像１とが同じサイズであれば、第１の領域と第２の領域とは同じサイズとなり、その場合、第１の領域を構成する画素の確率値をＳ（ｘ、ｙ）｛ｘ、ｙは縮小画像１上における座標値｝とすると、マップ画像で座標（ｘ、ｙ）に位置する画素の画素値Ｍ（ｘ、ｙ）に対して確率値Ｓ（ｘ、ｙ）を加算することで、マップデータを更新する。

次に処理をステップＳ１１０に進め、照合パターン抽出部６０は、縮小画像１上における矩形の移動先があるのかをチェックする（ステップＳ１１０）。即ち、縮小画像１上における矩形の位置を移動させ、次の位置における矩形内の部分（画素群）を照合対象パターンとして抽出する処理を行う場合に、移動先が無い場合、例えば、現在の矩形の位置が既に縮小画像１の右下隅の位置であれば、もう矩形の移動は行えない。一方、現在の矩形の位置が既に縮小画像１の右下隅の位置でなければ、矩形の移動を行うことができる。

従って、移動先がある場合には処理をステップＳ１１０からステップＳ１１１に進め、縮小画像１上における矩形の位置を移動させる（ステップＳ１１１）。そして矩形の移動が完了すると、処理をステップＳ１０６に進め、移動先の矩形内における照合対象パターンを抽出し、以降の処理を行う。

一方、矩形の移動先がない場合には、処理をステップＳ１１２に進め、照合パターン抽出部６０は、全ての縮小画像について以上の処理を行ったのかを判断し（ステップＳ１１２）、まだ処理対象となっていない縮小画像がある場合には処理をステップＳ１１３に進め、縮小画像上に配置する矩形の位置を初期化（例えば縮小画像の左上隅の位置に戻す）し（ステップＳ１１３）、次の縮小画像についてステップＳ１０６以降の処理を行う。

本実施形態では現在縮小画像１について処理を行ったので、次は縮小画像２について処理を行う。よってこの場合には、縮小画像２上の左上隅の位置に矩形を配置し（ステップＳ１１３）、この縮小画像２についてステップＳ１０６以降の処理を行う。

よって、縮小画像ｎ（ｎ≧２）についてステップＳ１０６以降の処理を行うことで、縮小画像ｎ上において照合対象パターンを抽出した領域（第ｋの領域）に対応するマップ画像上における領域（第ｍの領域）を構成する各画素の画素値に対して、第ｋの領域を構成する各画素のうち位置的に対応する画素の確率値を加算する処理を行うことで、マップデータを更新することになる。

これによれば、本来顔である領域で起こる、隣接したパターンや大きさが微妙に異なるパターン等で重なってパターンが検出された場合には、確率値が順次加算されることになるので、マップデータにおいて比較的高い確率が得られる。また、本来顔でないパターンがたまたま顔として判別されるような場合には孤立して高い確率が出力されることがあるが、高い確率値が加算されることがないので、照合パターン走査後のマップデータにおいては比較的低い確率になる。

なお、以上の確率分布は全ての照合対象パターンについて算出する必要はなく、例えば、顔判別部８０が０以上の顔確率を出力した（顔パターンとして判別された）照合パターンについてのみ確率分布を生成するようにする。

図６は確率分布生成の様子を示す図である。Ａは顔パターンとして判別されたパターンを表し、Ｂは一つのパターンから生成される確率分布で暗いほど高い確率値を表す。また、Ｃはその確率分布を加算したマップデータを表す。

図２に戻って、全ての縮小画像について以上の処理を行った場合には処理をステップＳ１１４に進める。

ステップＳ１１４では、確率マップ格納部１００は、マップデータが示すマップ画像を構成する各画素値を０〜１に正規化する（ステップＳ１１４）。例えば、マップ画像を構成する全ての画素の画素値を走査して最大値と最小値を求め、最大値が１、最小値が０になるように線形変換により正規化する。なお、マップデータの正規化処理については顔確率分布生成部９０が最終的に生成したマップデータを正規化して再度確率マップ格納部１００に格納するようにしても良い。

そして、このようにして生成されたマップデータを用いて、焦点制御部３０、露出制御部４０はそれぞれ、焦点制御（ステップＳ１１５）、露出制御（ステップＳ１１６）を行い、その後、撮像部１０によって撮像処理を行う（ステップＳ１１７）。

ステップＳ１１５、Ｓ１１６の各ステップについてより詳しく説明すると、ステップＳ１１５では、焦点制御部３０は、画像メモリ２０に記憶された画像データのコントラストに基づき、画像データのコントラストが最大になるように撮影レンズの合焦レンズの位置を制御するが、この際、例えば、マップデータの値とコントラスト値の積の総和が最大になるようにすることで、顔パターンである確率の高い領域に対して重点的にコントラストを高くするような焦点制御を行うことができる。

即ち、マップデータにおいて所定値以上の確率を示す領域に対応する「画像メモリ２０に記憶された画像中の領域」のコントラストを重点的に高くするように、撮像部１０の焦点制御を行う。

ステップＳ１１６では、露出制御部４０は、画像メモリ２０に記憶された画像データの輝度に基づき、画像データが所定の明るさになるように所定のプログラム線図に従いシャッター速度と絞り値を決定し、撮像部１０の撮像素子の露光時間と撮影レンズの絞りを制御するが、この際、例えば、マップデータの値と画像データの輝度との積の総和が所定の値になるようにすることで、顔パターンである確率の高い領域に対して重点的に最適な明るさが得られるような露出制御を行うことができる。

即ち、マップデータにおいて所定値以上の確率を示す領域に対応する「画像メモリ２０に記憶された画像中の領域」の明るさが所定の明るさとなるように、撮像部１０の露出制御を行う。

以上の焦点制御、露出制御を行うことで、撮像部１０は、被写体である人物に制御対象を絞った好適な焦点および露出制御に基づく撮像を行うことができる。

以上の説明により、本実施形態によれば、顔パターンが複数重なって検出された場合においても複雑な後処理を必要としないで、精度よく顔パターンである確率の高い領域に対して重点的に焦点および露出制御に基づく撮像を行うことができる。

［第２の実施形態］
第１の実施形態では、撮像部１０により撮像した画像に基づいて作成したマップデータを用いて、撮像部１０の焦点制御、露出制御を行ったが、本実施形態では、撮像部１０に限らず、何らかの取得手段でもって取得した画像に基づいて第１の実施形態と同様にして作成したマップデータを用いて、この取得した画像の明るさを補正する。

図７は、本実施形態に係る画像処理装置の機能構成を示すブロック図である。なお、同図において図１と同じ部分については同じ番号を付けており、その説明は省略する。本実施形態に係るシステムは図７に示す如く、画像の取得形態が第１の実施形態では撮像部１０でもって取得していたものの、本実施形態では画像入力部１１０により取得する。画像入力部１１０は、例えばディジタルスチルカメラ、フィルムスキャナーなどで構成されている。また、ディジタル画像データを保持する記憶媒体から画像データを読み込むようなコンピュータ・システムのインターフェース機器であってもよい。なお、本装置内に画像を取り込む手段であれば、画像入力部１１０はこれに限定するものではない。

そして、画像入力部１１０により入力された画像データに基づいてマップデータを生成するための構成については同図に示す如く、第１の実施形態と同じである。

画像補正部１２０は、確率マップ格納部１００に格納されているマップデータを用いて、画像メモリ２０に格納されている画像データの明るさを補正するための処理を行う。より詳しくは、画像補正部１２０は、画像メモリ２０に記憶された画像データの輝度に基づき、画像データが所定の明るさになるように例えば公知の輝度ガンマ補正等の処理を行う。この際、例えば、マップデータの値と画像データの輝度との積の総和が所定の値になるようにすることで、顔パターンである確率の高い領域に対して重点的に最適な明るさが得られるような補正処理を行うことができる。

なお、本実施形態では、画像補正処理として明るさの補正に顔検出処理の結果を適用する例について説明したが、色補正処理に適用すれば、顔パターンである確率の高い領域に対して重点的に最適な色処理を行うことができることは言うまでもない。例えば、顔パターンである確率の高い領域に対して好ましい肌色再現を行うように重点的に色補正処理を行うようにしても良い。

［第３の実施形態］
本実施形態では、取得した画像に基づいて第１の実施形態と同様にして作成したマップデータを画像検索に用いる。

図８は、本実施形態に係る画像処理装置の機能構成を示すブロック図である。なお、同図において図１、７と同じ部分については同じ番号を付けており、その説明は省略する。本実施形態に係るシステムは第２の実施形態と同様、画像入力部１１０により入力された画像データに基づいてマップデータを生成するための構成については第１の実施形態と同じである。

特徴量解析部１３０は、画像メモリ２０に記憶された画像データを用いて、この画像中に含まれている色の分布を解析する。すなわち、画像を複数の矩形に分割し、分割した矩形毎にＲＧＢ値のヒストグラムを作成する。なお、これ以外にも、各矩形において輝度値のヒストグラムやテクスチャ情報を表すウェーブレット強度を求めるようにしてもよい。

また、画像データベース１５０には、複数の画像のデータが格納されており、それぞれの画像データは、この画像データに基づいて第１の実施形態と同様にして生成したマップデータ、及びこの画像データに基づいて特徴量解析部１３０による解析結果のデータとセットにして画像データベース１５０に格納されている。

このような構成において、クエリとしての画像データ（クエリ画像データ）を画像入力部１１０に入力すると、同図の構成により、このクエリ画像データに基づくマップデータ、及びこのクエリ画像データに対する特徴量解析部１３０による解析結果のデータが得られる。類似度判別部１４０は、画像データベース１５０内に格納されているそれぞれのマップデータと、クエリ画像データに対するマップデータとの類似度（第１の類似度）を求めると共に、画像データベース１５０内に格納されているそれぞれの解析結果のデータと、クエリ画像データに対する解析結果のデータとの類似度（第２の類似度）を求める。そして第１の類似度、第２の類似度を用いて、クエリ画像データに最も類似している画像データを画像データベース１５０から特定する。例えば、第１の類似度が所定値以上（クエリ画像データのマップデータと所定量以上類似している）のマップデータとセットになって画像データベース１５０に格納されている解析結果のデータのうち、第２の類似度が最も高い解析結果のデータとセットになって画像データベース１５０に格納されている画像データを特定する。

本実施形態では顔パターンの確率分布をもとに類似度を判定するのであるから、例えば、人物写真と風景写真の区別、あるいは画像中に写っている人物の配置を反映した画像の検索結果を得ることができる。

［第４の実施形態］
上記各実施形態では、生成したマップデータの使用例についていくつかを説明したが、その使用例については特に限定するものではない。

また、以下に示す各手段
・ 所定の被写体を含む画像を取得する取得手段
・ 上記画像の輝度成分で構成される輝度画像を生成する生成手段
・ 上記輝度画像上の各位置に所定サイズの矩形を配置した場合に、この矩形内の領域が上記所定の被写体とおぼしきパターンを示す確率を求める第１確率計算手段
・ 上記第１確率計算手段が計算したそれぞれの領域に対する確率に基づいて、このそれぞれの領域に対する確率分布を求める第１確率分布計算手段
・ 上記輝度画像上におけるこのそれぞれの領域に対する確率分布を示す第１マップデータを作成する第１作成手段
・ 上記輝度画像を再帰的に縮小することで、第２縮小画像乃至第Ｎ縮小画像を生成する縮小手段
・ 第ｎ（２≦ｎ≦Ｎ）縮小画像上の各位置に上記矩形を配置した場合に、この矩形内の領域が上記所定の被写体とおぼしきパターンを示す確率を求める第２確率計算手段
・ 上記第２確率計算手段が計算したそれぞれの領域に対する確率に基づいて、このそれぞれの領域に対する確率分布を求める第２確率分布計算手段
・ 上記第ｎ縮小画像上におけるこのそれぞれの領域に対する確率分布を示す第ｎマップデータを第（ｎ−１）マップデータに合成する合成手段
・ ｎ＝２〜Ｎについて上記第２確率計算手段、上記第２確率分布計算手段、上記合成手段による処理を繰り返すことで合成マップデータを作成する繰り返し手段
に相当する構成を有し、且つ上記各手段による動作を行うのであれば、その詳細な構成や処理内容については上記各実施形態に限定するものではない。

また、上記各実施形態は適宜組み合わせて用いるようにしても良い。

［その他の実施形態］
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係る画像処理装置の機能構成を示すブロック図である。 撮像した画像中に含まれている被写体を検出し、検出した被写体が次回の撮像でより好適に撮像されるように焦点制御および露出制御を行う一連の処理のフローチャートである。 様々なサイズの縮小画像について、照合対象パターンが顔パターンである確率を求める処理を説明する図である。 所定領域内のパターンを識別する為のニューラルネットワークの動作について示した図である。 顔の各部分を示す図である。 確率分布生成の様子を示す図である。 本発明の第２の実施形態に係る画像処理装置の機能構成を示すブロック図である。 本発明の第３の実施形態に係る画像処理装置の機能構成を示すブロック図である。

Claims (9)

1. 被写体を含む画像を取得する取得手段と、
   前記画像の輝度成分で構成される第１輝度画像を生成する生成手段と、
   前記第１輝度画像を再帰的に縮小することで、第２乃至第Ｎ輝度画像を生成する縮小手段と、
   前記第１乃至第Ｎ輝度画像の各々について、該輝度画像上の各位置に予め設定されたサイズの矩形を配置した場合に、該矩形内の領域が前記被写体のパターンである確率を求める計算手段と、
   前記第１乃至第Ｎ輝度画像の各々について、前記計算手段が計算したそれぞれの領域に対する確率に基づいて、当該それぞれの領域に対する確率分布を作成する作成手段と、
   前記第１乃至第Ｎ輝度画像について、該輝度画像上における該それぞれの領域に対する確率分布が示す該領域内の画素位置における確率値を１枚のマップ画像の該画素位置における画素値に加算することで、該マップ画像を完成させる合成手段と
   を備えることを特徴とする画像処理装置。
2. 前記取得手段は、撮像することにより画像を取得する撮像装置であることを特徴とする請求項１に記載の画像処理装置。
3. 更に、前記マップ画像を用いて前記撮像装置を制御する制御手段を備えることを特徴とする請求項２に記載の画像処理装置。
4. 前記制御手段は、
   前記マップ画像において閾値以上の確率を示す領域に対応する前記撮像された画像中の領域のコントラストを重点的に高くするように、前記撮像装置の焦点制御を行う手段と、
   前記マップ画像において閾値以上の確率を示す領域に対応する前記撮像された画像中の領域の明るさが予め設定された明るさとなるように、前記撮像装置の露出制御を行う手段と
   を備えることを特徴とする請求項３に記載の画像処理装置。
5. 更に、前記マップ画像を用いて前記取得手段が取得した画像を補正する補正手段を備えることを特徴とする請求項１に記載の画像処理装置。
6. 更に、
   前記取得手段が取得した画像を解析する解析手段と、
   前記取得手段が取得した画像のデータ、当該画像に対する前記解析手段による解析結果のデータ、及び当該画像に対するマップ画像をセットにして、複数セット保持するデータベース手段と、
   前記取得手段がクエリ画像を取得した場合、当該クエリ画像に対する前記解析手段による解析結果、及び当該クエリ画像データに対するマップ画像を用いて、前記データベース手段が保持する複数のセットから画像を検索する検索手段と
   を備えることを特徴とする請求項１に記載の画像処理装置。
7. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置が有する取得手段が、被写体を含む画像を取得する取得工程と、
   前記画像処理装置が有する生成手段が、前記画像の輝度成分で構成される第１輝度画像を生成する生成工程と、
   前記画像処理装置が有する縮小手段が、前記第１輝度画像を再帰的に縮小することで、第２乃至第Ｎ輝度画像を生成する縮小工程と、
   前記画像処理装置が有する計算手段が、前記第１乃至第Ｎ輝度画像の各々について、該輝度画像上の各位置に予め設定されたサイズの矩形を配置した場合に、該矩形内の領域が前記被写体のパターンである確率を求める計算工程と、
   前記画像処理装置が有する作成手段が、前記第１乃至第Ｎ輝度画像の各々について、前記計算工程で計算したそれぞれの領域に対する確率に基づいて、当該それぞれの領域に対する確率分布を作成する作成工程と、
   前記画像処理装置が有する合成手段が、前記第１乃至第Ｎ輝度画像について、該輝度画像上における該それぞれの領域に対する確率分布が示す該領域内の画素位置における確率値を１枚のマップ画像の該画素位置における画素値に加算することで、該マップ画像を完成させる合成工程と
   を備えることを特徴とする画像処理方法。
8. コンピュータを請求項１乃至６の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images