JP5821457B2 - 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラム - Google Patents

Description

本技術は、画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、奥行きに基づいて画像を分類する画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラムに関する。

近年、画像の撮像時に被写体までの奥行きを測定することができる撮像装置が普及しつつある。画像処理装置は、撮像装置が撮像した画像および奥行きを取得し、その奥行きに基づいて画像を分類するなどの処理が行われている。

例えば、奥行きの分布を生成し、その分布における奥行きのばらつきと閾値との比較結果から、画像を分類する分類装置が提案されている（例えば、特許文献１参照。）。この分類装置は、奥行きのばらつきが閾値より小さい場合に、遠方の風景を写したロングショットの画像に分類対象の画像を分類する。一方、奥行きのばらつきが閾値より大きい場合に、分類装置は、建物などの物体を写したターゲットショットの画像に分類対象の画像を分類する。

特開２００６−２４４４２４号公報

しかしながら、上述の分類装置では、画像を正確に分類することができないおそれがある。例えば、画像に写った物体の表面の面積が広くて一様である場合には、奥行きのばらつきが小さくなるために、物体を写した画像であるにも関らず、風景を写した画像に分類されてしまうことがあった。また、風景を写した画像内の一部に人間や建物などの物体が写っていた場合には、奥行きのばらつきが大きくなるために、風景の画像であるにも関らず、物体を写した画像に分類されてしまうことがあった。

本技術はこのような状況に鑑みて生み出されたものであり、奥行きに基づいて画像を正確に分類する画像処理装置を提供することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、画像を取得する画像取得部と、上記画像内の画素に対応付けて奥行きを取得する奥行き取得部と、上記画像において所定の対象物の領域を検出する対象物検出部と、上記検出された領域内の上記画素に対応する上記奥行きを対象物検出距離として選択する対象物検出距離選択部と、上記奥行きの度数の分布において上記度数が極大となる上記奥行きを極大距離として選択する極大距離選択部と、上記対象物検出距離の値と上記極大距離の値との近さの程度が所定値より大きいか否かにより上記画像が上記対象物を撮像した対象物画像であるか否かを判断する判断部とを具備する画像処理装置、および、その制御方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、対象物検出距離の値と極大距離の値との近さの程度が所定値より大きいか否かにより画像が対象物画像であるか否かが判断されるという作用をもたらす。

また、この第１の側面において、上記対象物検出部は、人物の顔領域を上記対象物の領域として検出し、上記判断部は、上記近さの程度が上記所定値より大きい場合には上記画像は上記人物を撮像した人物画像であると判断することもできる。これにより、人物の顔領域が検出され、近さの程度が所定値より大きい場合には画像が人物画像であると判断されるという作用をもたらす。

また、この第１の側面において、上記判断部は、上記画像が上記人物画像であると判断した場合において上記検出された顔領域の数が所定数より小さいときには上記人物画像は特定の人物を撮像したポートレート画像であると判断し、上記検出された顔領域の数が上記所定数以上であるときには上記人物画像は集合した複数の人物を撮像した集合画像であると判断することもできる。これにより、顔領域の数が所定数より小さいときに人物画像がポートレート画像であると判断され、顔領域の数が所定数以上であるときに人物画像が集合画像であると判断されるという作用をもたらす。

また、この第１の側面において、上記判断部は、上記近さの程度が上記所定値より大きい場合には上記画像は上記対象物画像であると判断し、上記近さの程度が上記所定値以下である場合には上記画像は風景を撮像した風景画像であると判断することもできる。これにより、近さの程度が所定値より大きい場合には画像が対象物画像であると判断され、近さの程度が所定値以下である場合には画像が風景画像であると判断されるという作用をもたらす。

また、この第１の側面において、上記判断部による判断結果を上記画像に対応付けて記録する記録部をさらに具備することもできる。これにより、判断結果が画像に対応付けて記録されるという作用をもたらす。

また、本技術の第２の側面は、画像を取得する画像取得部と、上記画像内の画素に対応付けて奥行きを取得する奥行き取得部と、上記画像において所定の対象物の領域を検出する対象物検出部と、上記対象物の領域が検出された場合には当該検出された領域内の上記画素に対応する上記奥行きを対象物検出距離として選択する対象物検出距離選択部と、上記奥行きの度数の分布において上記度数が極大となる上記奥行きを極大距離として選択する極大距離選択部と、上記対象物検出距離が選択された場合には上記対象物検出距離の値と上記極大距離の値との近さの程度が所定値より大きいか否かにより上記画像が上記対象物を撮像した対象物画像であるか否かを判断し、上記対象物検出距離が選択されなかった場合には上記極大距離の値が閾値より小さいか否かにより上記画像がマクロ画像であるか否かを判断する判断部とを具備する画像処理装置である。これにより、対象物距離が選択された場合には画像が対象物画像であるか否かが判断され、対象物距離が選択されなかった場合には画像がマクロ画像であるか否かが判断されるという作用をもたらす。

また、この第２の側面において、上記判断部は、上記対象物検出距離が選択されなかった場合において上記画像を撮像した撮像装置の過焦点距離または上記極大距離の値が上記閾値より小さいときには上記画像は上記マクロ画像であると判断することもできる。これにより、対象物検出距離が選択されなかった場合において過焦点距離または極大距離の値が閾値より小さいときに画像がマクロ画像であると判断されるという作用をもたらす。

本技術によれば、奥行きに基づいて画像処理装置が画像を正確に分類することができるという優れた効果を奏し得る。

第１の実施の形態における撮像装置の一構成例を示すブロック図である。 第１の実施の形態における画像処理装置の一構成例を示すブロック図である。 第１の実施の形態におけるデータファイルのデータ構造の一例を示す図である。 第１の実施の形態におけるポートレート画像に分類される画像の一例を示す図である。 第１の実施の形態におけるポートレート画像に分類される画像における奥行きの度数分布の一例を示すグラフである。 第１の実施の形態における風景画像に分類される画像の一例を示す図である。 第１の実施の形態における風景画像に分類される画像における奥行きの度数分布の一例を示すグラフである。 第１の実施の形態における集合画像に分類される画像の一例を示す図である。 第１の実施の形態における集合画像に分類される画像における奥行きの度数分布の一例を示すグラフである。 第１の実施の形態における画像処理装置の動作の一例を示すフローチャートである。 第１の実施の形態における画像分類処理の一例を示すフローチャートである。 第１の実施の形態における撮影対象分類処理の一例を示すフローチャートである。 第１の実施の形態における撮像装置の一構成例を示す全体図である。 第２の実施の形態における画像分類処理の一例を示すフローチャートである。 第２の実施の形態における撮影距離分類処理の一例を示すフローチャートである。 第２の実施の形態におけるマクロ画像に分類される画像の一例を示す図である。 第２の実施の形態におけるマクロ画像に分類される画像における奥行きの度数分布の一例を示すグラフである。 第２の実施の形態における風景画像に分類される画像の一例を示す図である。 第２の実施の形態における風景画像に分類される画像における奥行きの度数分布の一例を示すグラフである。 第２の実施形態の変形例における撮影距離分類処理の一例を示すフローチャートである。 第３の実施の形態における画像処理装置の一構成例を示す図である。 第３の実施の形態における付属情報のデータ構造の一例を示す図である。 第３の実施の形態における画像処理装置の動作の一例を示すフローチャートである。 第３の実施の形態における画像分類処理の一例を示すフローチャートである。 第４の実施の形態における画像処理装置の一構成例を示すブロック図である。 第４の実施の形態における画像処理装置の動作の一例を示すフローチャートである。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（顔検出距離および極大距離に基づいて画像を分類する例）
２．第２の実施の形態（顔検出距離および極大距離、または、極大距離に基づいて画像を分類する例）
３．第３の実施の形態（画像の記録後に分類結果を画像に付加する例）
４．第４の実施の形態（画像の記録前に分類結果を画像に付加する例）

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。撮像装置１００は、操作部１１０、撮影レンズ１２０、撮像素子１３０、アナログ信号処理部１４０、Ａ／Ｄ（Analog/Digital）変換部１５０、画像メモリ１６０、および、ワークメモリ１７０を備える。さらに、撮像装置１００は、画像データ記憶部１８０、表示部１９０、および、画像処理装置３００を備える。画像処理装置３００は、カメラ制御部３１０および撮像装置制御部３２０を備える。

操作部１１０は、タッチパネルやボタンなどに対するユーザの操作に応じた操作信号を、画像処理装置３００に信号線１１１を介して出力するものである。操作の内容の詳細については後述する。

撮影レンズ１２０は、画像を撮像するためのレンズである。撮像素子１３０は、撮影レンズ１２０からの光を電気信号に変換するものである。この撮像素子１３０は、変換後の電気信号をアナログ信号処理部１４０へ信号線１３１を介して出力する。アナログ信号処理部１４０は、撮像素子１３０からの電気信号に対して所定のアナログ信号処理を実行するものである。アナログ信号処理としては、アンプ雑音およびリセット雑音を除去するＣＤＳ（Correlated Double Sampling）や、増幅率を自動的に調節するＡＧＣ（Automatic Gain Control）などが実行される。このアナログ信号処理部１４０は、処理後の電気信号をＡ／Ｄ変換部１５０に信号線１４１を介して出力する。

Ａ／Ｄ変換部１５０は、アナログ信号処理部１４０から出力されたアナログの電気信号をデジタル信号に変換するものである。このＡ／Ｄ変換部１５０は、変換後のデジタル信号を画像データとして画像処理装置３００へ信号線１５１を介して出力する。Ａ／Ｄ変換部１５０から出力された時点の画像データにはデモザイク処理や圧縮処理などの画像処理が施されていないため、このような画像データはＲＡＷ画像データとも呼ばれる。

画像メモリ１６０は、画像データを一時的に保持するものである。ワークメモリ１７０は、撮像装置制御部３２０における作業内容を一時的に保持するものである。画像データ記憶部１８０は、画像データを記憶するものである。表示部１９０は、画像や画像の分類結果を表示するものである。

カメラ制御部３１０は、撮像装置制御部３２０の制御に従ってズーム制御や露出制御を行ってＡ／Ｄ変換部１５０からの画像データを取得するものである。このカメラ制御部３１０は、取得した画像データから、その画像データにおける画素に対応付けて奥行きを生成する。奥行きの単位は、例えば、メートル（ｍ）である。カメラ制御部３１０は、算出した奥行きを含む奥行きデータを画像データとともに撮像装置制御部３２０に出力する。

また、カメラ制御部３１０は、撮像装置制御部３２０から画像データおよび奥行きデータを受け取ると、その画像データにおいて顔を検出する。カメラ制御部３１０は、画像データについて生成された奥行きの中から、検出した顔の領域に対応する奥行きを顔検出距離として選択する。さらに、カメラ制御部３１０は、奥行きデータに基づいて画像データごとに奥行きの度数分布を生成し、その度数分布における奥行きの値のうち、度数が極大となる奥行きを、極大距離として選択する。撮像装置制御部３２０から複数の画像データを受け取った場合、カメラ制御部３１０は、画像データごとに顔検出距離および極大距離を選択する。カメラ制御部３１０は、選択した顔検出距離および極大距離を撮像装置制御部３２０に出力する。

撮像装置制御部３２０は、撮像装置１００全体を制御するものである。詳細には、撮像装置制御部３２０は、操作部１１０からの操作信号に従ってカメラ制御部３１０を介してズーム制御や露出制御などを行う。そして、撮像装置制御部３２０は、カメラ制御部３１０から画像データおよび奥行きデータを受け取り、その画像データに奥行きデータを対応付けて画像データ記憶部１８０に記録する。

また、撮像装置制御部３２０は、操作部１１０からの操作信号に従って、信号線３０２を介して画像データ記憶部１８０から画像データおよび奥行きデータを読み出してカメラ制御部３１０に出力する。そして、撮像装置制御部３２０は、カメラ制御部３１０から、画像データおよび奥行きデータについての顔検出距離および極大距離を受け取ると、それらの距離に基づいて画像を分類する。分類方法の詳細については後述する。

［画像処理装置の構成例］
図２は、第１の実施の形態における画像処理装置３００の一構成例を示すブロック図である。上述のように画像処理装置３００は、カメラ制御部３１０および撮像装置制御部３２０を備える。カメラ制御部３１０は、レンズ駆動部３１１、画像取得部３１２、奥行き生成部３１３、顔検出部３１４、顔検出距離選択部３１５、および、極大距離選択部３１６を備える。撮像装置制御部３２０は、操作信号解析部３２１、奥行きデータ付加部３２２、画像取得部３２３、奥行き取得部３２４、および、画像分類部３２５を備える。

操作信号解析部３２１は、操作部１１０からの操作信号を解析するものである。ユーザは、操作部１１０を操作することにより、例えば、ズーム倍率を変更することができる。また、ユーザは、操作部１１０を操作することにより、画像データ記憶部１８０に保存された画像データを読み出して表示部１９０に表示させることができる。さらに、ユーザは、操作部１１０を操作することにより、複数の画像種別の中のいずれかを指定して、画像処理装置３００に、その画像種別に属する画像データを検索させることができる。例えば、画像種別は、人物画像、風景画像、および、マクロ画像を含む。この人物画像は、ポートレート画像および集合画像を含む。ここで、人物画像は、人物を主たる被写体として撮像した画像である。ポートレート画像は、少数（例えば、３人未満）の特定の人物を主たる被写体として撮像した人物画像である。集合画像は、集合した多数（例えば、３人以上）の人物を主たる被写体として撮像した人物画像である。風景画像は、風景を主たる被写体として撮像した画像である。マクロ画像は、至近距離の被写体を主たる被写体として撮像した画像である。

レンズ駆動部３１１は、撮影レンズ１２０の位置を制御するものである。詳細には、レンズ駆動部３１１は、変更後のズーム倍率の値を操作信号解析部３２１から受け取ると、信号線３０１を介して撮影レンズ１２０の現在の位置を取得する。そして、レンズ駆動部３１１は、変更後のズーム倍率の値に基づいて撮影レンズ１２０の位置を制御する制御信号を撮影レンズ１２０に信号線３０１を介して出力する。

画像取得部３１２は、Ａ／Ｄ変換部１５０から出力された画像データを取得するものである。取得された画像データは画像メモリ１６０に一時的に保持される。この画像取得部３１２は、取得した画像データを奥行きデータ付加部３２２へ出力する。

奥行き生成部３１３は、撮像された画像データにおける画素に対応付けて奥行きを生成するものである。奥行き生成部３１３は、例えば、位相差検出法により奥行きを生成する。具体的には、奥行き生成部３１３は、セパレータレンズにより分けられた２つの画像における被写体のずれ（位相差）を検出して、検出した位相差から、その被写体までの距離を奥行きとして生成する。奥行き生成部３１３は、画素に対応付けて生成した奥行きを奥行きデータとして奥行きデータ付加部３２２に出力する。なお、奥行き生成部３１３は、位相差検出以外の方法により奥行きを生成してもよい。奥行き生成部３１３は、例えば、被写体にレーザを照射し、そのレーザの反射光を検出して、照射時刻からの検出時刻の遅延時間に基づいて奥行きを計測してもよい。

奥行きデータ付加部３２２は、画像取得部３１２からの画像データを必要に応じて圧縮し、その画像データに奥行きデータを対応付けて記録するものである。画像データを圧縮する場合、奥行きデータ付加部３２２は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）規格に従って圧縮を行う。また、奥行きデータを対応付ける場合、奥行きデータ付加部３２２は、例えば、Ｅｘｉｆ（Exchangeable image file format）規格における付属情報として奥行きデータを画像データに付加することにより、両者を関連付ける。奥行きデータ付加部３２２は、奥行きデータを対応付けた画像データをデータファイルとして画像データ記憶部１８０に出力する。

画像取得部３２３は、画像データ記憶部１８０に記録された画像データを読み出すことにより画像データを取得するものである。この画像取得部３２３は、取得した画像データを顔検出部３１４に出力する。奥行き取得部３２４は、画像取得部３２３が読み出した画像データに付加された奥行きデータを取得するものである。この奥行き取得部３２４は、取得した奥行きデータを顔検出距離選択部３１５および極大距離選択部３１６に出力する。

顔検出部３１４は、画像データにおいて人物の顔の領域を検出するものである。詳細には、この顔検出部３１４は、例えば、画像データにおいて、被写体の色や形状などから顔と思われる被写体の領域を抽出する。そして、顔検出部３１４は、その領域と予めデータベースに登録しておいたテンプレート画像とのマッチングを行うことにより、その領域が顔領域であるか否かを判断する。顔検出部３１４は、検出した顔領域内の画素群の座標のデータを顔領域データとして顔検出距離選択部３１５へ出力する。なお、顔検出部３１４は、特許請求の範囲に記載の対象物検出部の一例である。また、顔検出部３１４は、上述のテンプレートマッチング法とは別の手法で顔領域を検出することもできる。

顔検出距離選択部３１５は、画像データについて生成された奥行きの中から、その画像データにおいて検出された顔領域内の画素に対応する奥行きを顔検出距離ｚ＿ｏｂｊとして選択するものである。画像データにおいて複数の顔領域が検出された場合、顔検出距離選択部３１５は、顔領域ごとに顔検出距離を選択する。この顔検出距離選択部３１５は、選択した顔検出距離ｚ＿ｏｂｊを画像分類部３２５へ出力する。なお、顔検出距離選択部３１５は、特許請求の範囲に記載の対象物検出距離選択部の一例である。

極大距離選択部３１６は、画像データごとに奥行きの度数分布を生成し、その度数分布において度数が極大（local maximum）となる奥行きを極大距離ｚ＿ｌｍａｘとして選択するものである。具体的には、まず、極大距離選択部３１６は、奥行きｚの値ごとに、その値が奥行きデータにおいて出現した回数を度数として計数する。奥行きｚのとりうる値がｎ（ｎは、１以上の整数）通りある場合に、それらの値を奥行きｚ_ｉ（ｉは、０乃至ｎ−１の整数）とし、ｎ個のｚ_ｉについて計数した度数Ｆの値を度数Ｆ_ｉとすると、（ｚ_０、Ｆ_０）乃至（ｚ_ｎ−１、Ｆ_ｎ−１）からなる度数分布が得られる。例えば、この度数分布においてｉを増分していった場合に、ある点Ｐに至るまで度数Ｆ_ｉが連続して増加し、その点Ｐを過ぎてから度数Ｆ_ｉが連続して減少したとき、極大距離選択部３１６は、その点Ｐが極大点であると判断する。極大距離選択部３１６は、その極大点Ｐにおける奥行きを極大距離ｚ＿ｌｍａｘとして選択し、画像分類部３２５へ出力する。

なお、極大距離選択部３１６は、度数分布を所定の分布関数に近似して、その分布関数の極大点における奥行きを極大距離として選択してもよい。この場合、極大距離選択部３１６は、例えば、ｍ次（ｍは２以上の整数）の多項式により分布関数を定義し、その多項式における次数ｍおよび係数を最小二乗法により算出する。そして、極大距離選択部３１６は、その分布関数の微分値を算出することにより、極大点を求める。

画像分類部３２５は、対象物検出距離ｚ＿ｏｂｊの値と極大距離ｚ＿ｌｍａｘの値との近さの程度が所定値より大きいか否かにより、画像が人物画像であるか否かを判断するものである。具体的には、この画像分類部３２５は、例えば、ｚ＿ｏｂｊの値とｚ＿ｌｍａｘの値との差分の絶対値が閾値δ未満であれば、画像が人物画像であると判断して、その画像を人物画像に分類する。閾値δには、例えば、０．２メートル（ｍ）が設定される。ここで、ｚ＿ｏｂｊおよびｚ＿ｌｍａｘの少なくとも一方が複数個である場合、画像分類部３２５は、ｚ＿ｏｂｊおよびｚ＿ｌｍａｘの全ての組合せについて差分を求め、いずれかの差分の絶対値が閾値δ未満であれば、画像が人物画像であると判断する。ここで、極大距離は、画像において周囲より面積が広い領域に対応する距離であり、この極大距離の値に顔検出距離の値が近いということは、画像において人物が大きく写っていることを意味する。そして、人物が大きく写っている画像は、人物画像である可能性が高い。したがって、画像分類部３２５は、顔検出距離および極大距離の値の近さにより、画像が人物画像であるか否かを正確に分類することができる。

そして、画像分類部３２５は、画像が人物画像である場合において顔領域の数が所定数（例えば、３）未満であれば、その人物画像をポートレート画像に分類し、顔領域の数が所定数以上であれば、その人物画像を集合画像に分類する。

また、画像分類部３２５は、差分の絶対値が閾値δ以上であれば、風景画像であると判断して、その画像を風景画像に分類する。そして、分類した画像が、ユーザが指定した画像種別に属する画像であれば、その画像のタイトルやサムネイルなどを検索結果として表示部１９０に出力する。なお、画像分類部３２５は、特許請求の範囲に記載の判断部の一例である。また、画像分類部３２５は、画像の分類結果をさらに表示部１９０に出力してもよい。

［データファイルの構造］
図３は、第１の実施の形態におけるデータファイルのデータ構成の一例を示す図である。このデータファイルは、例えば、Ｅｘｉｆ規格に従って作成されたデータファイルである。

このデータファイルには、圧縮データスタート（ＳＯＩ）、アプリケーション・マーカセグメント１（ＡＰＰ１）、量子化テーブル（ＤＱＴ）、ハフマンテーブル（ＤＨＴ）が順に記録される。そして、フレームヘッダ（ＳＯＦ）、スキャンヘッダ（ＳＯＳ）に続いて圧縮データの本体が記録され、圧縮データ終了（ＥＯＩ）が記録される。この圧縮データは、画像データをＪＥＰＧ規格などの圧縮形式に従って圧縮したデータである。そして、画像処理装置３００において生成された奥行きデータは、圧縮データ終了（ＥＯＩ）の次に記録される。なお、画像処理装置３００は、奥行きデータを、Ｅｘｉｆ規格におけるＥＯＩの次に記録しているが、画像データと関連付けることができるのであれば、奥行きデータを他の領域に記録してもよい。

ＡＰＰ１は、Ｅｘｉｆ付属情報を記録する領域である。このＡＰＰ１では、ＡＰＰ１マーカー（ＡＰＰ１Ｍａｒｋｅｒ）に続いてＡＰＰ１長（ＡＰＰ１Ｌｅｎｇｔｈ）が定義される。そして、Ｅｘｉｆ識別コードに続いて、ＴＩＦＦヘッダー（ＴＩＦＦ Ｈｅａｄｅｒ）、主画像ＩＦＤ（０ｔｈ ＩＦＤ）、および、主画像ＩＦＤの値（０ｔｈ ＩＦＤ Ｖａｌｕｅ）などが記録される。

図４は、第１の実施の形態におけるポートレート画像に分類される画像５１０の一例である。この画像５１０の中央付近には一人の人物が比較的大きく写っており、その背景に雲や水平線などの風景が写っている。写っている人物が一人であるため、顔領域が１つ検出される。特定の人物が主たる被写体として撮像されているため、この画像５１０はポートレート画像である。

図５は、第１の実施の形態におけるポートレート画像に分類される画像５１０における奥行きの度数分布の一例を示すグラフである。同図において、奥行きｚを横軸とし、度数Ｆを縦軸として、奥行きｚごとに度数Ｆの大きさを柱の高さで表わしたヒストグラムが生成されている。このヒストグラムにおいて局所的に度数Ｆが最大となる極大点はＰ１およびＰ２の２点あり、それらの点における奥行きが極大距離ｚ＿ｌｍａｘ１およびｚ＿ｌｍａｘ２として選択される。そして、極大距離ｚ＿ｌｍａｘ１と顔検出距離ｚ＿ｏｂｊとの差分の絶対値は閾値δより小さい。また、前述のように画像５１０において顔領域が一つ検出されている。このため、画像処理装置３００は、このヒストグラムが得られる画像５１０をポートレート画像に分類する。

このように、画像処理装置３００は、極大距離の値と顔検出距離の値とが近く、顔領域が所定数未満であるか否かを判断することにより、画像をポートレート画像に正確に分類することができる。ポートレート画像においては、一般に、少数の特定の人物が主要な被写体として大きく写される結果、顔領域の数が少なく、かつ、顔検出領域ｚ＿ｏｂｊの値と極大距離ｚ＿ｌｍａｘの値とが近くなることが多いためである。

図６は、第１の実施の形態における風景画像に分類される画像５２０の一例である。この画像５２０において、中央付近に建物が大きく写されている。また、その建物の近くに、建物と比較して小さな領域に人物が写っている。風景が主たる被写体として撮像されているため、この画像５２０は風景画像である。

図７は、第１の実施の形態における風景画像に分類される画像５２０における奥行きの度数分布の一例を示すグラフである。同図において、奥行きｚを横軸とし、度数Ｆを縦軸として、奥行きｚごとに度数Ｆの大きさを柱の高さで表わしたヒストグラムが生成されている。このヒストグラムにおいて局所的に度数Ｆが最大となる極大点はＰ１およびＰ２の２点あり、それらの点における奥行きが極大距離ｚ＿ｌｍａｘ１およびｚ＿ｌｍａｘ２として選択される。そして、極大距離ｚ＿ｌｍａｘ１と顔検出距離ｚ＿ｏｂｊとの差分の絶対値は閾値δ以上である。このため、画像処理装置３００は、このヒストグラムが得られる画像５２０を風景画像に分類する。

このように、画像処理装置３００は、極大距離の値と顔検出距離の値とが近いか否かを判断することにより、画像を風景画像に正確に分類することができる。風景画像においては、一般に、人物が写っていても、その人物の領域は周囲の風景の領域より小さく、顔検出領域ｚ＿ｏｂｊの値と極大距離ｚ＿ｌｍａｘの値との差分の絶対値が大きくなることが多いためである。

図８は、第１の実施の形態における集合画像に分類される画像５３０の一例である。この画像５３０には、集合した複数の人物が写されている。写っている人物が３人以上であるため、３つ以上の顔領域が検出される。集合した複数の人物が主たる被写体として撮像されているため、この画像５３０は集合画像である。

図９は、第１の実施の形態における集合画像に分類される画像５３０における奥行きの度数分布の一例を示すグラフである。同図において、奥行きｚを横軸とし、度数Ｆを縦軸として、奥行きｚごとに度数Ｆの大きさを柱の高さで表わしたヒストグラムが生成されている。このヒストグラムにおいて局所的に度数Ｆが最大となる極大点はＰ１およびＰ２の２点あり、それらの点における奥行きが極大距離ｚ＿ｌｍａｘ１およびｚ＿ｌｍａｘ２として選択される。３人以上の人物が写っていたので、顔検出距離ｚ＿ｏｂｊ１乃至ｚ＿ｏｂｊ３を含む多数の顔検出距離が選択される。そして、極大距離ｚ＿ｏｂｊ１乃至ｚ＿ｏｂｊ３とのそれぞれの差分の絶対値は閾値δより小さい。また、前述のように、画像５３０において複数の顔領域が検出されている。このため、画像処理装置３００は、このヒストグラムが得られる画像５３０を集合画像に分類する。

このように、画像処理装置３００は、極大距離および顔検出距離の値が近く、顔領域が所定数以上であるか否かを判断することにより、画像を集合画像に正確に分類することができる。集合画像においては、一般に、多数の人物が主要な被写体として大きく写される結果、顔領域の検出数が多く、かつ、顔検出領域ｚ＿ｏｂｊの値と極大距離ｚ＿ｌｍａｘの値とが近くなることが多いためである。

［撮像装置の動作例］
図１０は、第１の実施の形態における画像処理装置３００の動作の一例を示すフローチャートである。この動作は、例えば、画像を検索する処理が実行されたときに開始する。画像処理装置３００は、検索対象の画像種別が入力されたか否かを判断する（ステップＳ９０１）。画像種別が入力されていなければ（ステップＳ９０１：Ｎｏ）、画像処理装置３００は、ステップＳ９０１に戻る。

画像種別が入力されたならば（ステップＳ９０１：Ｙｅｓ）、画像処理装置３００は、検索されていない画像データを画像データ記憶部１８０から読み出す（ステップＳ９０２）。また、画像処理装置３００は、その画像データに対応する奥行きデータを画像データ記憶部１８０から読み出す（ステップＳ９０３）。そして、画像処理装置３００は、極大距離ｚ＿ｌｍａｘおよび顔検出距離ｚ＿ｏｂｊに基づいて画像を分類する処理である画像分類処理を実行する（ステップＳ９１０）。画像処理装置３００は、画像の分類結果に基づいて画像の検索結果を表示する（ステップＳ９４１）。ステップＳ９４１の後、画像処理装置３００は、画像の検索のための動作を終了する。

図１１は、第１の実施の形態における画像分類処理の一例を示すフローチャートである。画像処理装置３００は、奥行きの度数分布を生成し、その度数分布において度数が極大となる奥行きを極大距離ｚ＿ｌｍａｘとして選択する（ステップＳ９１１）。また、画像処理装置３００は、画像データにおける顔領域を検出する（ステップＳ９１２）。そして、画像処理装置３００は、その顔領域内の画素に対応する奥行きを顔検出距離ｚ＿ｏｂｊとして選択する（ステップＳ９１３）。そして、画像処理装置３００は、撮影対象の種類に着目して画像を分類する処理である撮影対象分類処理を実行する（ステップＳ９２０）。ステップＳ９２０の後、画像処理装置３００は、画像分類処理を終了する。

図１２は、第１の実施の形態における撮影対象分類処理の一例を示すフローチャートである。画像処理装置３００は、極大距離ｚ＿ｌｍａｘと顔検出距離ｚ＿ｏｂｊとの差分の絶対値が閾値δより小さいか否かを判断する（ステップＳ９２１）。その差分の絶対値が閾値δより小さければ（ステップＳ９２１：Ｙｅｓ）、画像処理装置３００は、画像を人物画像に分類する。そして、画像処理装置３００は、人物画像において人物が３人以上であるか否かを判断する（ステップＳ９２２）。人物が３人未満である場合（ステップＳ９２２：Ｎｏ）、画像処理装置３００は、人物画像をポートレート画像に分類する（ステップＳ９２３）。人物が３人以上である場合（ステップＳ９２２：Ｙｅｓ）、画像処理装置３００は、人物画像を集合画像に分類する（ステップＳ９２４）。

極大距離ｚ＿ｌｍａｘと顔検出距離ｚ＿ｏｂｊとの差分の絶対値が閾値δ以上である場合（ステップＳ９２１：Ｎｏ）、画像処理装置３００は、画像を風景画像に分類する（ステップＳ９２５）。ステップＳ９２３、Ｓ９２４、または、Ｓ９２５の後、画像処理装置３００は、撮影対象分類処理を終了する。

図１３は、第１の実施の形態における撮像装置１００の一構成例を示す全体図である。図１３（ａ）は、撮像装置１００の上面および前面の一例を示す図であり、図１３（ｂ）は撮像装置１００の背面の一例を示す図である。撮像装置１００の上面には、ズームレバー１０１、シャッターボタン１０２、再生ボタン１０３、および、パワーボタン１０４が設けられている。撮像装置１００の前面には、撮影レンズ１０５、ＡＦ（Auto Focus）イルミネータ１０６、および、レンズカバー１０７が設けられている。撮像装置１００の背面には、タッチスクリーン１０８が設けられている。

ズームレバー１０１は、ズーム制御の操作を行うためのレバーである。シャッターボタン１０２は、被写体の撮像を行うためのボタンである。再生ボタン１０３は、画像データを表示させるためのボタンである。パワーボタン１０４は、撮像装置１００の電源をオンまたはオフするためのボタンである。撮影レンズ１０５は、画像を撮像するためのレンズである。ＡＦイルミネータ１０６は、オートフォーカス機能がオンであるときに発光するものである。レンズカバー１０７は、撮影レンズ１０５を覆う位置まで可動可能な、撮影レンズ１０５を保護するための部品である。タッチスクリーン１０８は、指などで触れることにより撮像装置１００の操作を行うことのできるディスプレイである。

図１３におけるズームレバー１０１、シャッターボタン１０２、再生ボタン１０３、および、パワーボタン１０４は、図１における操作部１１０を構成する。また、図１３におけるタッチスクリーン１０８は、図１における操作部１１０および表示部１９０を構成する。

このように、本技術の第１の実施の形態によれば、画像処理装置３００は、顔検出距離および極大距離の値の近さの程度が所定値より高いか否かにより画像が人物画像であるか否かを判断することによって、奥行きに基づいて画像を正確に分類することができる。これにより、画像処理装置３００は、風景に人物が写りこんでいる場合であっても、画像を正確に分類することができる。

なお、画像処理装置３００は、人物の顔領域を検出しているが、動物の顔や所定の物体などの人物の顔以外の対象物の領域を検出することもできる。この場合、画像処理装置３００は、極大距離と、その対象物の検出距離との値が近いと、対象物を撮像した対象物画像に画像を分類する。

また、画像処理装置３００は、人物画像をポートレート画像と集合画像とにさらに分類しているが、ポートレート画像および集合画像への分類を行わない構成とすることもできる。

＜２．第２の実施の形態＞
［画像処理装置の動作例］
図１４乃至図２０を参照して、本技術の第２の実施の形態について説明する。第２の実施の形態の撮像装置１００の構成は、図１に例示した第１の実施の形態の撮像装置１００の構成と同様である。また、第２の実施の形態の画像処理装置３００の構成は、図２に例示した第１の実施の形態の画像処理装置３００の構成と同様である。ただし、第２の実施の画像処理装置３００は、画像分類処理において、顔領域が検出されなかった場合に撮影距離分類処理をさらに実行する点において第１の実施の形態と異なる。撮影距離分類処理は、撮影距離に着目して画像を分類する処理であり、具体的には、極大距離の値が閾値ｚ＿ｎｔｈより小さいか否かにより画像がマクロ画像であるか否かを判断する処理である。ここで、閾値ｚ＿ｎｔｈは、所定の実数であり、例えば、０．５メートル（ｍ）が設定される。

図１４は、第２の実施の形態における画像分類処理の一例を示すフローチャートである。第２の実施の形態の画像処理装置３００は、画像分類処理において、顔領域が検出されなかった場合に撮影距離分類処理をさらに実行する点において第１の実施の形態と異なる。顔検出距離を選択した後において（ステップＳ９１３）、画像処理装置３００は、顔領域が検出されたか否かを判断する（ステップＳ９１４）。顔領域が検出された場合には（ステップＳ９１４：Ｙｅｓ）、画像処理装置３００は、撮影対象分類処理を実行する（ステップＳ９２０）。顔領域が検出されていない場合には（ステップＳ９１４：Ｎｏ）、画像処理装置３００は、撮影距離に着目して画像を分類する処理である撮影距離分類処理を実行する（ステップＳ９３０）。ステップＳ９２０またはＳ９３０の後、画像処理装置３００は、画像分類処理を終了する。

図１５は、第２の実施の形態における撮影距離分類処理の一例を示すフローチャートである。画像処理装置３００は、極大距離ｚ＿ｌｍａｘが閾値ｚ＿ｎｔｈより小さいか否かを判断する（ステップＳ９３３）。なお、複数の極大距離ｚ＿ｌｍａｘが選択されている場合、画像処理装置３００は、それらのうち、度数Ｆが最も大きい極大点の極大距離ｚ＿ｌｍａｘと閾値ｚ＿ｎｔｈとを比較する。

極大距離ｚ＿ｌｍａｘが閾値ｚ＿ｎｔｈ以上である場合（ステップＳ９３３：Ｎｏ）、画像処理装置３００は、極大距離ｚ＿ｌｍａｘが閾値ｚ＿ｆｔｈより大きいか否かを判断する（ステップＳ９３４）。閾値ｚ＿ｆｔｈには、閾値ｚ＿ｎｔｈより大きな実数（例えば、１０メートル）が設定される。

極大距離ｚ＿ｌｍａｘが閾値ｚ＿ｎｔｈより小さい場合（ステップＳ９３３：Ｙｅｓ）、画像処理装置３００は、画像をマクロ画像に分類する（ステップＳ９３５）。極大距離ｚ＿ｌｍａｘが閾値ｚ＿ｆｔｈより大きい場合（ステップＳ９３４：Ｙｅｓ）、画像処理装置３００は、画像を風景画像に分類する（ステップＳ９３６）。極大距離ｚ＿ｌｍａｘが閾値ｚ＿ｆｔｈ以下である場合（ステップＳ９３４：Ｎｏ）、画像処理装置３００は、画像をその他の画像に分類する（ステップＳ９３７）。ステップＳ９３５、Ｓ９３６、または、Ｓ９３７の後、画像処理装置３００は、撮影距離分類処理を終了する。

図１６は、第２の実施の形態におけるマクロ画像に分類される画像５４０の一例である。この画像５４０の中央付近には至近距離で撮影された昆虫が写っている。人物が写っていないため、顔領域は検出されない。至近距離の被写体が主たる被写体として撮像されているため、この画像５４０はマクロ画像である。

図１７は、第２の実施の形態におけるマクロ画像に分類される画像５４０における奥行きの度数分布の一例を示すグラフである。同図において、奥行きｚを横軸とし、度数Ｆを縦軸として、奥行きｚごとに度数Ｆの大きさを柱の高さで表わしたヒストグラムが生成されている。このヒストグラムにおいて局所的に度数Ｆが最大となる極大点Ｐにおける奥行きが極大距離ｚ＿ｌｍａｘとして選択される。そして、極大距離ｚ＿ｌｍａｘ１の値は、閾値ｚ＿ｎｔｈより小さい。また、前述のように画像５４０においては顔領域が検出されない。このため、画像処理装置３００は、このヒストグラムが得られる画像５４０をマクロ画像に分類する。

このように、画像処理装置３００は、極大距離の値が閾値より小さく、顔領域が検出されたか否かを判断することにより、画像をマクロ画像に正確に分類することができる。マクロ画像においては、一般に、人物以外の被写体が至近距離で大きく写される結果、顔領域が検出されず、かつ、極大距離ｚ＿ｌｍａｘの値が小さくなることが多いためである。

図１８は、第２の実施の形態における風景画像に分類される画像５５０の一例である。この画像５５０において、雲や水平線などの遠方の風景が写されている。風景が主たる被写体として撮像されているため、この画像５５０は風景画像である。

図１９は、第２の実施の形態における風景画像に分類される画像５５０における奥行きの度数分布の一例を示すグラフである。同図において、奥行きｚを横軸とし、度数Ｆを縦軸として、奥行きｚごとに度数Ｆの大きさを柱の高さで表わしたヒストグラムが生成されている。このヒストグラムにおいて局所的に度数Ｆが最大となる極大点Ｐにおける奥行きが極大距離ｚ＿ｌｍａｘとして選択される。この極大距離ｚ＿ｌｍａｘは、閾値ｚ＿ｆｔｈより大きい。このため、画像処理装置３００は、このヒストグラムが得られる画像５５０を風景画像に分類する。

画像処理装置３００は、極大距離の値が閾値より大きいか否かを判断することにより、画像を風景画像に正確に分類することができる。風景画像においては、一般に、遠距離の風景が主要な被写体として写される結果、極大距離ｚ＿ｌｍａｘの値が大きくなることが多いためである。

このように、本技術の第２の実施の形態によれば、画像処理装置３００は、極大距離の値の大きさと、顔検出距離の値と極大距離の値との近さの程度とにより、マクロ画像または人物画像に正確に画像を分類することができる。

［変形例］
図２０を参照して、第２の実施の形態における変形例について説明する。図２０は、第１の変形例における撮影距離分類処理の一例を示すフローチャートである。この変形例の撮影距離分類処理は、過焦点距離Ｈの値が閾値より小さい場合においてもマクロ画像であると画像処理装置３００が判断する点において第２の実施の形態と異なる。ここで、過焦点距離Ｈは、ある距離Ｈの被写体にピントを合わせた場合にＨ／２から無限遠までの範囲が被写界深度となる距離のことをいう。過焦点距離Ｈの値が閾値ｚ＿ｎｔｈより小さい場合、その閾値未満の距離にピントを合わせて撮影されたことが推測される。このため、画像処理装置３００は、画像がマクロ画像であると判断することができる。

撮影距離分類処理において、画像処理装置３００は、過焦点距離Ｈを算出する（ステップＳ９３１）。過焦点距離Ｈの値は、例えば、以下の式１により算出される。以下の式１において、Ｎは、絞り値である。また、ｃは、画像において、ぼけが許容される許容錯乱円の直径である。Ｈおよびｃの単位は、例えばメートル（ｍ）である。
Ｈ＝ｆ＾２／（Ｎｃ） ・・・式１

そして、画像処理装置３００は、過焦点距離Ｈの値が閾値ｚ＿ｎｔｈより小さいか否かを判断する（ステップＳ９３２）。過焦点距離Ｈの値が閾値ｚ＿ｎｔｈより小さい場合（ステップＳ９３２：Ｙｅｓ）、画像処理装置３００は、画像をマクロ画像に分類する（ステップＳ９３５）。過焦点距離Ｈの値が閾値ｚ＿ｎｔｈ以上である場合（ステップＳ９３２：Ｎｏ）、画像処理装置３００は、極大距離ｚ＿ｌｍａｘの値が閾値ｚ＿ｎｔｈより小さいか否かを判断する（ステップＳ９３３）。ステップＳ９３３以降の処理は、第２の実施の形態と同様である。

このように、第２の実施の形態の変形例によれば、画像処理装置３００は、過焦点距離または極大距離の値が閾値より小さい場合に、画像がマクロ画像であると判断することができる。すなわち、画像処理装置３００は、至近距離に大きな被写体が写った画像または至近距離にピントが合わされた画像をマクロ画像として分類することができる。

＜３．第３の実施の形態＞
［画像処理装置の構成例］
図２１乃至図２４を参照して本技術の第３の実施の形態について説明する。第３の実施の形態の撮像装置１００の構成は、図１に例示した第１の実施の形態の撮像装置１００の構成と同様である。図２１は、第３の実施の形態における画像処理装置３００の一構成例を示すブロック図である。第３の実施の形態の画像処理装置３００は、撮像装置制御部３２０において分類結果付加部３２６をさらに備える点において第１の実施の形態と異なる。また、第３の実施の形態の画像分類部３２５は、分類結果を分類結果付加部３２６にさらに出力する。

分類結果付加部３２６は、画像分類部３２５の分類結果を画像データに対応付けて画像データ記憶部１８０に記録するものである。分類結果付加部３２６は、例えば、分類結果をＥｘｉｆ規格におけるタグとして画像データに付加することにより、両者を関連付ける。なお、分類結果付加部３２６は、特許請求の範囲に記載の記録部の一例である。

また、第３の実施の形態の顔検出距離選択部３１５および極大距離選択部３１６は、画像データに分類結果が付加されているのであれば、顔検出距離および極大距離の選択を実行しない。同様に、画像分類部３２５も、分類結果が付加されていれば画像の分類を実行せず、付加された分類結果を利用して検索を実行する。

［データファイルの構造］
図２２は、第３の実施の形態におけるデータファイル内の付属情報のデータ構造の一例を示す図である。アプリケーション・マーカセグメント１（ＡＰＰ１）内の０ｔｈ ＩＦＤに画像データの付属情報（タグ）が記録される。付属情報は、バージョンに関するタグ、ユーザ情報に関するタグ、撮影条件に関するタグなどの区分に分けられる。バージョンに関するタグは、Ｅｘｉｆバージョンおよび対応フラッシュトピックスバーションである。ユーザ情報に関するタグは、メーカーノートおよびユーザコメントなどである。撮影条件に関するタグは、露出時間、Ｆナンバー、および、レンズ焦点距離などである。分類結果付加部３２６は、例えば、メーカーノートの領域に分類結果を記録する。

［画像処理装置の動作例］
図２３は、第３の実施の形態における画像処理装置３００の動作の一例を示すフローチャートである。第３の実施の形態における画像処理装置３００の動作は、ステップＳ９０４をさらに実行する点において第１の実施の形態と異なる。

画像データに対応する奥行きデータを読み出した後（ステップＳ９０３）、画像処理装置３００は、画像データに分類結果が付加されているか否かを判断する（ステップＳ９０４）。画像データに分類結果が付加されていない場合には（ステップＳ９０４：Ｎｏ）、画像処理装置３００は、画像分類処理を実行する（ステップＳ１０）。画像データに分類結果が付加されている場合（ステップＳ９０４：Ｙｅｓ）、または、ステップＳ９１０の後、画像処理装置３００は、検索結果を表示する（ステップＳ９４１）。

図２４は、第３の実施の形態における画像分類処理の一例を示すフローチャートである。第３の実施の形態における画像分類処理は、ステップＳ９４０をさらに実行する点において第１の実施の形態と異なる。画像処理装置３００は、撮影対象分類処理を実行した後に（ステップＳ９２０）、分類結果を画像データに付加する（ステップＳ９４０）。ステップＳ９４０の後、画像処理装置３００は、画像分類処理を終了する。

このように、第３の実施の形態によれば、画像処理装置３００は、画像の検索など、画像の分類処理が必要になったときに画像を分類して分類結果を対応付けることにより、以降に画像の分類処理が必要になったときに、その分類処理を省略することができる。

＜４．第４の実施の形態＞
［画像処理装置の構成例］
図２５および図２６を参照して本技術の第４の実施の形態について説明する。第４の実施の形態の画像処理装置３００は、画像データの記録後でなく、記録前に分類結果を画像データに対応付ける点において第３の実施の形態と異なる。図２５は、第４の実施の形態における画像処理装置３００の一構成例を示すブロック図である。第４の実施の形態の画像処理装置３００は、奥行きデータ付加部３２２、画像取得部３２３、奥行き取得部３２４、および、分類結果付加部３２６の代わりに付属情報付加部３２７を備える点において第３の実施の形態と異なる。付属情報付加部３２７は、奥行きデータおよび分類結果を画像データに付加して記録するものである。また、第４の実施の形態の画像取得部３１２は、画像データを付属情報付加部３２７に出力する。第４の実施の形態の奥行き生成部３１３は、奥行きデータを付属情報付加部３２７、顔検出距離選択部３１５、および、極大距離選択部３１６に出力する。第４の実施の形態の顔検出部３１４は、Ａ／Ｄ変換部１５０からの画像データにおける顔領域を検出する。

［画像処理装置の動作例］
図２６は、第４の実施の形態における画像処理装置３００の動作の一例を示すフローチャートである。この動作は、例えば、被写体の撮像を行うための処理が実行されたときに開始する。画像処理装置３００は、シャッターボタンが押下されたか否かを判断する（ステップＳ９５１）。シャッターボタンが押下されていなければ（ステップＳ９５１：Ｎｏ）、画像処理装置３００は、ステップＳ９５１に戻る。

シャッターボタンが押下されたならば（ステップＳ９５１：Ｙｅｓ）、画像処理装置３００は、Ａ／Ｄ変換部１５０からの画像データを取得する（ステップＳ９５２）。また、画像処理装置３００は、その画像データの画素に対応付けて奥行きを生成する（ステップＳ９５３）。そして、画像処理装置３００は、画像分類処理を実行する（ステップＳ９６０）。第４の実施の形態における画像分類処理（ステップＳ９６０）は、図１１に例示した第１の実施の形態の画像分類処理（ステップＳ９１０）と同様の処理である。画像処理装置３００は、分類結果および奥行きデータを画像データに付加して画像データ記憶部１８０に保存する（ステップＳ９７０）。ステップＳ９７０の後、画像処理装置３００は、被写体の撮像を行うための処理を終了する。

このように、第４の実施の形態によれば、画像処理装置３００は、画像データの記録前に分類結果を対応付けておくことにより、画像データの記録後において画像の分類処理を省略することができる。

なお、第３および第４の実施の形態において、画像処理装置３００は、分類結果の代わりに、選択した極大距離を画像データに付加することもできる。これにより、極大距離が付加された画像データを読み出した画像処理装置が、度数分布を生成して極大距離を選択する必要がなくなる。また、例えば、画像処理装置３００は、極大距離を付加した後において、画像分類処理の内容を変更して分類しなおす場合に、極大距離を選択する必要がなくなる。具体的には、閾値δ、閾値ｚ＿ｎｔｈ、または、閾値ｚ＿ｆｔｈを変更して分類しなおす場合などに、再度、極大距離を選択する必要がなくなる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））などを用いることができる。また、記録媒体として、フラッシュメモリなどの不揮発性メモリ等を用いることもできる。

なお、本技術は以下のような構成もとることができる。
（１）画像を取得する画像取得部と、
前記画像内の画素に対応付けて奥行きを取得する奥行き取得部と、
前記画像において所定の対象物の領域を検出する対象物検出部と、
前記検出された領域内の前記画素に対応する前記奥行きを対象物検出距離として選択する対象物検出距離選択部と、
前記奥行きの度数の分布において前記度数が極大となる前記奥行きを極大距離として選択する極大距離選択部と、
前記対象物検出距離の値と前記極大距離の値との近さの程度が所定値より大きいか否かにより前記画像が前記対象物を撮像した対象物画像であるか否かを判断する判断部と
を具備する画像処理装置。
（２）前記対象物検出部は、人物の顔領域を前記対象物の領域として検出し、
前記判断部は、前記近さの程度が前記所定値より大きい場合には前記画像は前記人物を撮像した人物画像であると判断する
前記（１）に記載の画像処理装置。
（３）前記判断部は、前記画像が前記人物画像であると判断した場合において前記検出された顔領域の数が所定数より小さいときには前記人物画像は特定の人物を撮像したポートレート画像であると判断し、前記検出された顔領域の数が前記所定数以上であるときには前記人物画像は集合した複数の人物を撮像した集合画像であると判断する
前記（２）に記載の画像処理装置。
（４）前記判断部は、前記近さの程度が前記所定値より大きい場合には前記画像は前記対象物画像であると判断し、前記近さの程度が前記所定値以下である場合には前記画像は風景を撮像した風景画像であると判断する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）前記判断部による判断結果を前記画像に対応付けて記録する記録部をさらに具備する前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）画像を取得する画像取得部と、
前記画像内の画素に対応付けて奥行きを取得する奥行き取得部と、
前記画像において所定の対象物の領域を検出する対象物検出部と、
前記対象物の領域が検出された場合には当該検出された領域内の前記画素に対応する前記奥行きを対象物検出距離として選択する対象物検出距離選択部と、
前記奥行きの度数の分布において前記度数が極大となる前記奥行きを極大距離として選択する極大距離選択部と、
前記対象物検出距離が選択された場合には前記対象物検出距離の値と前記極大距離の値との近さの程度が所定値より大きいか否かにより前記画像が前記対象物を撮像した対象物画像であるか否かを判断し、前記対象物検出距離が選択されなかった場合には前記極大距離の値が閾値より小さいか否かにより前記画像がマクロ画像であるか否かを判断する判断部と
を具備する画像処理装置。
（７）前記判断部は、前記対象物検出距離が選択されなかった場合において前記画像を撮像した撮像装置の過焦点距離または前記極大距離の値が前記閾値より小さいときには前記画像は前記マクロ画像であると判断する
前記（６）記載の画像処理装置。
（８）画像取得部が、画像を取得する画像取得手順と、
奥行き取得部が、前記画像内の画素に対応付けて奥行きを取得する奥行き取得手順と、
対象物検出部が、前記画像において所定の対象物の領域を検出する対象物検出手順と、
対象物検出距離選択部が、前記検出された領域内の前記画素に対応する前記奥行きを対象物検出距離として選択する対象物検出距離選択手順と、
極大距離選択部が、前記奥行きの度数の分布において前記度数が極大となる前記奥行きを極大距離として選択する極大距離選択手順と、
判断部が、前記対象物検出距離の値と前記極大距離の値との近さの程度が所定値より大きいか否かにより前記画像が前記対象物を撮像した対象物画像であるか否かを判断する判断手順と
を具備する画像処理装置の制御方法。
（９）画像取得部が、画像を取得する画像取得手順と、
奥行き取得部が、前記画像内の画素に対応付けて奥行きを取得する奥行き取得手順と、
対象物検出部が、前記画像において所定の対象物の領域を検出する対象物検出手順と、
対象物検出距離選択部が、前記検出された領域内の前記画素に対応する前記奥行きを対象物検出距離として選択する対象物検出距離選択手順と、
極大距離選択部が、前記奥行きの度数の分布において前記度数が極大となる前記奥行きを極大距離として選択する極大距離選択手順と、
判断部が、前記対象物検出距離の値と前記極大距離の値との近さの程度が所定値より大きいか否かにより前記画像が前記対象物を撮像した対象物画像であるか否かを判断する判断手順と
をコンピュータに実行させるためのプログラム。

１００ 撮像装置
１０１ ズームレバー
１０２ シャッターボタン
１０３ 再生ボタン
１０４ パワーボタン
１０５、１２０ 撮影レンズ
１０６ ＡＦイルミネータ
１０７ レンズカバー
１０８ タッチスクリーン
１１０ 操作部
１３０ 撮像素子
１４０ アナログ信号処理部
１５０ Ａ／Ｄ変換部
１６０ 画像メモリ
１７０ ワークメモリ
１８０ 画像データ記憶部
１９０ 表示部
３００ 画像処理装置
３１０ カメラ制御部
３１１ レンズ駆動部
３１２、３２３ 画像取得部
３１３ 奥行き生成部
３１４ 顔検出部
３１５ 顔検出距離選択部
３１６ 極大距離選択部
３２０ 撮像装置制御部
３２１ 操作信号解析部
３２２ 奥行きデータ付加部
３２４ 奥行き取得部
３２５ 画像分類部
３２６ 分類結果付加部
３２７ 付属情報付加部

Claims (27)

1. 画像を構成する画素に対応する奥行きの度数の分布において、極大となる度数に基づく奥行きである極大距離情報と、前記画像における所定の領域内の画素に対応する奥行きである対象検出距離情報との差に応じて、前記画像が所定の対象画像であるかを判断する判断部
   を具備する情報処理装置。
2. 前記所定の領域は、任意の被写体を含む領域である
   請求項１記載の情報処理装置。
3. 前記判断部は、複数の前記所定の領域に基づく複数の対象検出距離情報と、前記極大距離情報との差に基づき前記判断を行う
   請求項２記載の情報処理装置。
4. 前記所定の領域は、人物の顔を含む顔領域であり、
   前記判断部は、前記極大距離情報と前記対象検出距離情報との差が所定値より大きい場合には、前記画像が人物画像であると判断する
   請求項２記載の情報処理装置。
5. 前記判断部は、前記画像が人物画像であると判断した場合において、前記検出された顔領域の数が所定数より小さい場合には前記人物画像はポートレート画像であると判断し、前記検出された顔領域の数が前記所定数以上である場合には前記人物画像は複数の人物を撮像した集合画像であると判断する
   請求項４記載の情報処理装置。
6. 前記判断部は、前記極大距離情報と前記対象検出距離情報との差が所定値より小さい場合には、前記画像は対象物画像であると判断し、前記所定値以上である場合には、前記画像は風景画像であると判断する
   請求項２記載の情報処理装置。
7. 前記判断結果に応じた分類情報を前記画像に対応付けて記録する記録部をさらに具備する
   請求項１記載の情報処理装置。
8. 前記度数の分布は、前記画像を構成する各画素において、所定の奥行きである画素の量の分布である
   請求項１記載の情報処理装置。
9. 前記画像を構成する各画素に対応する奥行き情報を取得する取得部をさらに備える
   請求項１記載の情報処理装置。
10. 前記奥行き情報に基づき前記奥行きの度数の分布を生成する生成部をさらに備える
    請求項９記載の情報処理装置。
11. 前記画像を取得する画像取得部をさらに備える
    請求項１記載の情報処理装置。
12. 画像において所定の対象物の領域が検出された場合には当該検出された領域内の画素に対応する奥行きを対象検出距離情報として選択する対象物検出距離選択部と、
    前記対象検出距離情報が選択された場合には前記奥行きの度数の分布において極大となる度数に基づく奥行きである極大距離情報と前記対象検出距離情報との差に応じて、前記画像が所定の対象画像であるかを判断し、前記対象検出距離情報が選択されなかった場合には前記極大距離情報が閾値より小さいか否かにより前記画像がマクロ画像であるか否かを判断する判断部と
    を具備する情報処理装置。
13. 前記判断部は、前記対象検出距離情報が選択されなかった場合において前記画像を撮像した撮像装置の過焦点距離または前記極大距離情報が前記閾値より小さいときには前記画像は前記マクロ画像であると判断する
    請求項１２記載の情報処理装置。
14. 画像を構成する画素に対応する奥行きの度数の分布において、極大となる度数に基づく奥行きである極大距離情報と、前記画像における所定の領域内の画素に対応する奥行きである対象検出距離情報との差に応じて、前記画像が所定の対象画像であるかを判断する判断手順
    を具備する情報処理装置の制御方法。
15. 前記所定の領域は、任意の被写体を含む領域である
    請求項１４記載の情報処理装置の制御方法。
16. 前記判断手順において、複数の前記所定の領域に基づく複数の対象検出距離情報と、前記極大距離情報との差に基づき前記判断を行う
    請求項１５記載の情報処理装置の制御方法。
17. 前記所定の領域は、人物の顔を含む顔領域であり、
    前記判断手順において、前記極大距離情報と前記対象検出距離情報との差が所定値より大きい場合には、前記画像が人物画像であると判断する
    請求項１５記載の情報処理装置の制御方法。
18. 前記判断手順において、前記画像が人物画像であると判断した場合において、前記検出された顔領域の数が所定数より小さい場合には前記人物画像はポートレート画像であると判断し、前記検出された顔領域の数が前記所定数以上である場合には前記人物画像は複数の人物を撮像した集合画像であると判断する
    請求項１７記載の情報処理装置の制御方法。
19. 前記判断手順において、前記極大距離情報と前記対象検出距離情報との差が所定値より小さい場合には、前記画像は対象物画像であると判断し、前記所定値以上である場合には、前記画像は風景画像であると判断する
    請求項１５記載の情報処理装置の制御方法。
20. 前記判断結果に応じた分類情報を前記画像に対応付けて記録する記録手順をさらに具備する
    請求項１４記載の情報処理装置の制御方法。
21. 前記度数の分布は、前記画像を構成する各画素において、所定の奥行きである画素の量の分布である
    請求項１４記載の情報処理装置の制御方法。
22. 前記画像を構成する各画素に対応する奥行き情報を取得する取得手順をさらに備える
    請求項１４記載の情報処理装置の制御方法。
23. 前記奥行き情報に基づき前記奥行きの度数の分布を生成する生成手順をさらに備える
    請求項２２記載の情報処理装置の制御方法。
24. 前記画像を取得する画像取得手順をさらに備える
    請求項１４記載の情報処理装置の制御方法。
25. 前記画像において所定の対象物の領域が検出された場合には当該検出された領域内の画素に対応する奥行きを前記対象検出距離情報として選択する対象物検出距離選択手順をさらに具備し、
    前記判断手順において、前記対象検出距離情報が選択された場合には前記極大距離情報と前記対象検出距離情報との差に応じて、前記画像が前記所定の対象画像であるかを判断し、前記対象検出距離情報が選択されなかった場合には前記極大距離情報が閾値より小さいか否かにより前記画像がマクロ画像であるか否かを判断する
    請求項１４記載の情報処理装置の制御方法。
26. 前記判断手順において、前記対象検出距離情報が選択されなかった場合において前記画像を撮像した撮像装置の過焦点距離または前記極大距離情報が前記閾値より小さいときには前記画像は前記マクロ画像であると判断する
    請求項２５記載の情報処理装置の制御方法。
27. 画像を構成する画素に対応する奥行きの度数の分布において、極大となる度数に基づく奥行きである極大距離情報と、前記画像における所定の領域内の画素に対応する奥行きである対象検出距離情報との差に応じて、前記画像が所定の対象画像であるかを判断する判断手順
    をコンピュータに実行させるためのプログラム。