JP6318535B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関する。

連写撮影した複数の画像の中からベストショット候補画像を選ぶカメラが知られている（特許文献１参照）。このカメラでは、上記複数の画像に対して、顔部不要物の有無や目瞑りの有無、顔エリアのブレなどの複数の評価因子に関する評価を行い、この評価結果に基づいてベストショット画像が選ばれる。

特開２０１２−１９５９４９号公報

上記従来技術では、被写体の顔に不要物が重なっている画像についてはベストショット候補画像として選ばれないように評価を低くしている。顔に不要物が重なっているか否かの評価については、顔検出処理の結果、顔のパーツ（目、鼻、口など）の一部が検出されないことにより判断することが可能である。しかしながら、顔に不要物が重なっていても顔のパーツが遮蔽されていないような画像については、顔のパーツの検出結果だけでは顔に不要物が重なっているか判断できず、適切に評価を行えないおそれがある。

発明の一態様による撮像装置は、入力された複数の画像から被写体の顔を検出する顔検出部と、前記顔の領域に第１領域および第２領域を設定する領域設定部と、前記第１領域の特徴量および前記第２領域の特徴量を算出する特徴量算出部と、前記複数の画像のうちの所定枚数の画像について、各画像の前記第１領域の特徴量および前記第２領域の特徴量に基づいて、前記各画像を前記所定枚数の中で相対的に評価する画像評価部と、を備える。

本発明によれば、顔に不要物が重なっている画像を適切に評価することができる。

本発明の一実施の形態によるデジタルカメラの要部構成を説明するブロック図である。 プリキャプチャー撮影モードにおける画像の取得タイミングを説明する図である。 プリキャプチャー撮影モードにおける処理の流れを説明するフローチャートである。 撮影画像の一例を模式的に示す図である。 顔検出信頼度の評価処理の流れを説明するフローチャートである。 顔領域を分割する複数の小領域を説明する図である。 顔に不要物が重なっている画像について、顔領域を分割する複数の小領域を設定した状態を示す図である。

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態によるデジタルカメラ１の要部構成を説明するブロック図である。デジタルカメラ１は、メインＣＰＵ１１によって制御される。

撮影レンズ２１は、撮像素子２２の撮像面上に被写体像を結像させる。撮像素子２２はＣＣＤイメージセンサまたはＣＭＯＳイメージセンサによって構成され、撮像面上の被写体像を撮像し、撮像信号を撮像回路２３へ出力する。撮像回路２３は、撮像素子２２から出力される光電変換信号に対するアナログ処理（ゲインコントロールなど）を行う他、内蔵するＡ／Ｄ変換回路でアナログ撮像信号をディジタルデータに変換する。

メインＣＰＵ１１は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。画像処理回路１２は、たとえばＡＳＩＣとして構成され、撮像回路２３から入力されるディジタル画像信号に対して画像処理を行う。画像処理には、たとえば、輪郭強調や色温度調整（ホワイトバランス調整）処理、画像信号に対するフォーマット変換処理が含まれる。

画像圧縮回路１３は、画像処理回路１２による処理後の画像信号に対して、たとえばJPEG方式で所定の圧縮比率の画像圧縮処理を行う。表示画像作成回路１４は、撮像画像を液晶モニタ１９に表示させるための表示用信号を生成する。

液晶モニタ１９は液晶パネルによって構成され、表示画像作成回路１４から入力される表示用信号に基づいて画像や操作メニュー画面などを表示する。映像出力回路２０は、表示画像作成回路１４から入力される表示用信号に基づいて、画像や操作メニュー画面などを外部の表示装置に表示させるための映像信号を生成して出力する。

バッファメモリ１５は、画像処理前、画像処理後および画像処理途中のデータを一時的に記憶する他、記録媒体３０へ記録する前の画像ファイルを記憶したり、記録媒体３０から読み出した画像ファイルを記憶したりするために使用される。本実施形態では、撮影指示前（レリーズボタンの全押し操作前）に撮像素子２２によって所定のフレームレートで取得するプリキャプチャー画像を一時的に記憶する場合にも使用される。プリキャプチャー画像については後述する。

フラッシュメモリ１６は、メインＣＰＵ１１が実行するプログラムや、メインＣＰＵ１１が行う処理に必要なデータなどが格納される。フラッシュメモリ１６が格納するプログラムやデータの内容は、メインＣＰＵ１１からの指示によって追加、変更が可能に構成されている。

カードインターフェース(I/F)１７はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記録媒体３０が接続される。カードインターフェース１７は、メインＣＰＵ１１からの指示により、接続された記録媒体３０に対するデータの書き込みや、記録媒体３０からのデータの読み込みを行う。記録媒体３０は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。

操作部材１８は、デジタルカメラ１の各種ボタンやスイッチ類を含み、モード切替スイッチの切換操作など、各操作部材の操作内容に応じた操作信号をメインＣＰＵ１１へ出力する。半押しスイッチ１８ａおよび全押しスイッチ１８ｂは、レリーズボタン（不図示）の押下操作に連動して、それぞれがオン信号をメインＣＰＵ１１へ出力する。半押しスイッチ１８ａからのオン信号（半押し操作信号）は、レリーズボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。全押しスイッチ１８ｂからのオン信号（全押し操作信号）は、レリーズボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。半押し操作信号は、メインＣＰＵ１１に対して撮影準備の開始を指示する。全押し操作信号は、メインＣＰＵ１１に対して記録用画像の取得開始を指示する。

＜撮影モード＞
デジタルカメラ１は、通常の撮影モードとプリキャプチャー撮影モードとを有する。通常の撮影モードでは、上記全押し操作信号に応じて１コマずつ撮影画像を取得して記録媒体３０へ記録する。プリキャプチャー撮影モードでは、上記半押し操作信号を受けると高速シャッタ秒時（たとえば１２５分の１秒より高速）の静止画像を１２０フレーム／毎秒（120fps）で連写撮影して複数コマの連写撮影画像を取得する。そして、上記全押し操作信号を受けると当該全押し操作信号を受けた時点の前後の所定のフレーム画像をそれぞれ記録媒体３０へ記録する。各撮影モードは、操作部材１８からの操作信号に応じて切替え可能に構成されている。

＜再生モード＞
再生モードのデジタルカメラ１は、上記各撮影モードにおいて記録された画像を各コマごとに、あるいは所定数のコマごとに、液晶モニタ１９に再生表示する。

＜プリキャプチャー撮影＞
図２は、プリキャプチャー撮影モードにおける画像の取得タイミングを説明する図である。図２において、時刻ｔ０に半押し操作信号が入力されると、メインＣＰＵ１１はレリーズ待機処理を開始させる。レリーズ待機処理では、たとえば、１２０フレーム／毎秒(120fps)のフレームレートで被写体像を連続的に撮影し、取得した画像データを逐次バッファメモリ１５へ記憶する。

プリキャプチャー撮影のために使用するバッファメモリ１５のメモリ容量は、あらかじめ十分な容量が確保されている。メインＣＰＵ１１は、時刻ｔ０以降にバッファメモリ１５内に記憶したフレーム画像の枚数が所定枚数（たとえばＡ枚）に達した場合には、古いフレーム画像から順に上書き消去する。これにより、プリキャプチャー撮影のために使用するバッファメモリ１５のメモリ容量を制限できる。

時刻ｔ１に全押し操作信号が入力されると、メインＣＰＵ１１はレリーズ処理を開始させる。レリーズ処理では、時刻ｔ１以前に撮像したＡ枚のフレーム画像と、時刻ｔ１以降に撮像されるＢ枚のフレーム画像とを合わせた（Ａ＋Ｂ）枚のフレーム画像を記録媒体３０への記録候補画像とする。

次に、プリキャプチャー撮影モードにおける処理の流れについて、図３に示すフローチャートを用いて説明する。メインＣＰＵ１１は、半押し操作信号が入力されると、図３による処理を起動する。

図３のステップＳ１において、メインＣＰＵ１１は、上述したレリーズ待機処理を開始して、ステップＳ２に進む。

ステップＳ２において、メインＣＰＵ１１は、全押し操作信号が入力されたか否かを判定する。ＣＰＵ１１は、全押し操作信号が入力されるまでステップＳ２の判定処理を繰り返し、全押し操作信号が入力されると、ステップＳ３に進む。

ステップＳ３において、メインＣＰＵ１１は、上述したレリーズ処理を行って、（Ａ＋Ｂ）枚のフレーム画像を記録候補画像とし、ステップＳ４に進む。

ステップＳ４において、メインＣＰＵ１１は、記録候補画像とした（Ａ＋Ｂ）枚のフレーム画像をそれぞれ評価する画像評価処理を行う。この画像評価処理において、メインＣＰＵ１１は、（Ａ＋Ｂ）枚のフレーム画像のそれぞれに対して、顔検出信頼度、目瞑りの有無、顔エリアのブレなど、複数の評価項目について評価を行う。そして、メインＣＰＵ１１は、各フレーム画像（Ａ＋Ｂ）枚のフレーム画像のそれぞれについて、これらの評価結果をもとに総合的な評価を求めて、ステップＳ５に進む。

ステップＳ５において、メインＣＰＵ１１は、ステップＳ４での評価結果をもとに、（Ａ＋Ｂ）枚のフレーム画像のうち、総合的な評価の高いＣ枚のフレーム画像（Ｃ＜(Ａ＋Ｂ)）をベストショット候補画像として選定する。メインＣＰＵ１１は、選定したＣ枚のフレーム画像を関連付けて記録媒体３０に記録する。さらに、メインＣＰＵ１１は、Ｃ枚のフレーム画像（ベストショット候補画像）のうち、最も総合的な評価の高い１枚のフレーム画像を、ベストショット画像として選定して、図３の処理を終了する。

本実施形態は、上述した画像評価処理において、特に顔検出信頼度の評価処理に特徴を有するため、以下の説明はこの点を中心に行う。

＜顔検出信頼度の評価処理＞
まず、顔検出信頼度の評価処理の概要について、図４を用いて説明する。図４は、被写体である人物が顔１００の前で手１５０を振っている際に連写撮影された画像の一例を模式的に示している。図４（ａ）に示す画像では、人物の顔１００に手１５０が重なっており、人物の目は見えているが、鼻と口が遮蔽されている。図４（ｂ）に示す画像では、人物の顔１００の一部に手１５０が重なっているが、人物の目、鼻および口は遮蔽されていない。図４（ｃ）に示す画像では、人物の顔１００に手１５０が重なっていない。たとえば人物が手１５０を顔に当ててポーズをとるような場合と異なり、手１５０を動かしているような場合は人物が意図せずに手１５０が顔に重なり、手１５０が不要物であると考えられる。そこで、図４（ａ）〜図４（ｃ）に示す画像の中では、人物の顔１００に不要物である手１５０が重なっていない図４（ｃ）に示す画像がベストショット候補画像として選定されるのが望ましい。そのため、図４（ａ）および（ｂ）に示す画像では、顔検出信頼度が相対的に低く評価され、図４（ｃ）に示す画像では、顔検出信頼度が相対的に高く評価されることが望ましい。

図４（ａ）に示す画像に対して顔検出処理を行った場合、顔１００の肌色や目は検出されるが、鼻および口が検出されない。そのため、顔のパーツの検出結果から顔１００に不要物が重なっていることが判断でき、顔検出信頼度の評価を低くできる。

一方、図４（ｂ）に示す画像に対して顔検出処理を行った場合、顔１００の顎部分に手１５０が重なっているものの、目、鼻および口については検出される。同様に、図４（ｃ）に示す画像に対して顔検出処理を行った場合にも、目、鼻および口が検出される。したがって、顔のパーツの検出結果だけでは、図４（ｂ）に示す画像と図４（ｃ）に示す画像との区別がつかず、図４（ｂ）に示す画像において顔１００に不要物が重なっていることを判断できない。そのため、図４（ｂ）に示す画像においても、図４（ｃ）に示す画像と同様に、顔検出信頼度の評価が高くなってしまう。

そこで、本実施形態では、図４（ｂ）のように目、鼻および口が遮蔽されていないが顔１００に不要物が重なっている画像については評価が低くなり、図４（ｃ）のように顔１００に不要物が重なっていない画像について評価が高くなるように、顔検出信頼度の評価を行う。

以下、顔検出信頼度の評価処理の詳細について説明する。図５は、顔検出信頼度の評価処理の流れを説明するフローチャートである。メインＣＰＵ１１は、レリーズ処理が終了し、記録候補画像である（Ａ＋Ｂ）枚のフレーム画像がバッファメモリ１５に入力されると、図５による処理を起動する。

図５のステップＳ１１において、メインＣＰＵ１１は、記録候補画像とした（Ａ＋Ｂ）枚のフレーム画像の各々において、被写体の顔を検出する顔検出処理を行う。顔検出処理については公知の方法を用いればよい。

ステップＳ１２において、メインＣＰＵ１１は、図６に示すように、顔検出処理により検出された顔１００の領域を分割する矩形状の７つの小領域２０１〜２０７を設定する。これら７つの小領域２０１〜２０７は、それぞれ顔の一部の輪郭を含む位置および大きさに設定される。

具体的に、メインＣＰＵ１１は、左目１０１の輪郭を含むように左目小領域２０１を設定し、右目１０２の輪郭を含むように右目小領域２０２を設定する。左目小領域２０１および右目小領域２０２は、目およびその周囲の領域を左目１０１と右目１０２の中央位置から左右に分割するように設定される。

また、メインＣＰＵ１１は、左頬の輪郭を含むように左頬小領域２０３を設定し、右頬の輪郭を含むように右頬小領域２０４を設定する。左頬小領域２０３は、左目小領域２０１の下側に設定される。右頬小領域２０４は、右目小領域２０２の下側に設定される。また左頬小領域２０３および右頬小領域２０４は、鼻および頬の領域を鼻１０３の中央位置から左右に分割するように設定される。

さらに、メインＣＰＵ１１は、左顎の輪郭を含むように左顎小領域２０５を設定し、右顎の輪郭を含むように右顎小領域２０６を設定し、口１０４の輪郭を含むように口小領域２０７を設定する。左顎小領域２０５は、左頬小領域２０３の下側且つ口小領域２０７の左側に設定される。右顎小領域２０６は、口小領域２０７の右側に設定される。

なお、本実施形態では、顔検出処理によって顔１００の輪郭（エッジ）そのものは検出していない。しかしながら、左目１０１、右目１０２および口１０４の位置関係から顔１００の標準的な輪郭の位置を推測することができる。このことをふまえ、メインＣＰＵ１１は、顔検出処理の結果得られた左目１０１、右目１０２および口１０４の位置関係に基づいて、７つの小領域２０１〜２０７の位置および大きさを決定する。

図５のステップＳ１３において、メインＣＰＵ１１は、上記設定した７つの小領域２０１〜２０７の各々において、鮮鋭度を算出する。なお、各小領域の鮮鋭度は、たとえば２次微分処理を用いるなど、公知の方法で算出すればよい。

図７は、図４（ｂ）に示した画像の顔１００の領域において、上記７つの小領域２０１〜２０７を設定した状態を示す図である。図７では、顔１００において、目、鼻および口は遮蔽されていないものの、左顎から口元にかけて手１５０が重なっているため、左顎の輪郭の一部が遮蔽されている。そのため、図７において、左顎小領域２０５の鮮鋭度は、顎部分の輪郭が遮蔽されていない右顎小領域２０６の鮮鋭度と比べて低くなる。特に手１５０を動かしている際に撮影された場合には、手１５０がブレて写るため、左顎小領域２０５の鮮鋭度は、右顎小領域２０６の鮮鋭度と比べてより低くなる。

たとえば、図６に示したように、顔１００に手１５０が重なっていない画像において、左顎小領域２０５の鮮鋭度と右顎小領域２０６の鮮鋭度との比が１０：９であると仮定する。これに対し、図７に示すように、左顎部分に手１５０が重なった画像では、たとえば、左顎小領域２０５の鮮鋭度と右顎小領域２０６の鮮鋭度との比が５：９となるなど、左顎小領域２０５の鮮鋭度が図６に示した画像と比べても低くなる。つまり、図６に示す画像と図７に示す画像とを比較すると、左顎小領域２０５の鮮鋭度と右顎小領域２０６の鮮鋭度との違いの度合いが異なる。

したがって、左顎小領域２０５の鮮鋭度と右顎小領域２０６の鮮鋭度との違いの度合いについて、顔１００が遮蔽されていない画像と評価対象の画像とを比較することで、評価対象の画像において左顎または右顎に不要物が重なっているか否かを判断できる。すなわち、顔１００が遮蔽されていない画像における上記度合いに対して評価対象の画像における上記度合いが大きく異なる場合には、評価対象の画像において左顎または右顎に不要物が重なっていると判断できる。一方、顔１００が遮蔽されていない画像における上記度合いと評価対象の画像における上記度合いとがほぼ等しい場合には、評価対象の画像において左顎または右顎に不要物が重なっていないと判断できる。

また、左目小領域２０１と右目小領域２０２、および左頬小領域２０３と右頬小領域２０４についても同様に判断できると考えられる。すなわち、顔左側の小領域の鮮鋭度と顔右側の小領域の鮮鋭度との違いに基づいて、顔１００に不要物が重なっているか否かを判断できると考えられる。

さらに、左右の小領域における鮮鋭度の違いを比較するだけでなく、左頬小領域２０３と左顎小領域２０５、および右頬小領域２０４と右顎小領域２０６における鮮鋭度の違いを比較しても、同様に判断できると考えられる。また、左目小領域２０１と右目小領域２０２の鮮鋭度の平均値と口小領域２０７の鮮鋭度との違いを比較すれば、目または口に不要物が重なっているか否かを判断できると考えられる。

本実施形態では、以上の点をふまえて顔検出信頼度の評価処理が行われる。図５のステップＳ１４において、メインＣＰＵ１１は、記録候補画像とした（Ａ＋Ｂ）枚のフレーム画像の中から、顔１００が遮蔽されていないと予測される１枚のフレーム画像を、基準画像として決定する。このときメインＣＰＵ１１は、ステップＳ１３において各フレーム画像の上記７つの小領域２０１〜２０７の各々で算出した鮮鋭度に基づいて、基準画像を決定する。

たとえば、メインＣＰＵ１１は、（Ａ＋Ｂ）枚のフレーム画像において、７つの小領域２０１〜２０７の各々における鮮鋭度の最大値を求める。メインＣＰＵ１１は、各フレーム画像の鮮鋭度と上記鮮鋭度の最大値との差分を算出し、７つの小領域２０１〜２０７における上記差分が総合的に最も小さいフレーム画像を、顔１００が遮蔽されていない画像と判断し、基準画像として決定する。

ステップＳ１５において、メインＣＰＵ１１は、（Ａ＋Ｂ）枚のフレーム画像を順に評価対象画像に設定して、顔検出信頼度の評価を行う。メインＣＰＵ１１は、以下の第１組〜第６組における鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較し、この比較結果に基づいて評価対象画像における顔検出信頼度を評価する。
（第１組）左目小領域２０１の鮮鋭度と右目小領域２０２の鮮鋭度との違いの度合い
（第２組）左頬小領域２０３の鮮鋭度と右頬小領域２０４の鮮鋭度との違いの度合い
（第３組）左顎小領域２０５の鮮鋭度と右顎小領域２０６の鮮鋭度との違いの度合い
（第４組）左頬小領域２０３の鮮鋭度と左顎小領域２０５の鮮鋭度との違いの度合い
（第５組）右頬小領域２０４の鮮鋭度と右顎小領域２０６の鮮鋭度との違いの度合い
（第６組）左目小領域２０１の鮮鋭度および右目小領域２０２の鮮鋭度の平均値と口小領域２０７の鮮鋭度との違いの度合い

なお、上記鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較する方法としては、たとえば、以下に説明する方法を用いればよい。以下の説明では、上記第３組（左顎小領域２０５と右顎小領域２０６の組）における鮮鋭度の違いの度合いについて比較する場合を例に説明する。メインＣＰＵ１１は、評価対象画像における左顎小領域２０５の鮮鋭度を、基準画像における左顎小領域２０５の鮮鋭度で規格化する。また、メインＣＰＵ１１は、評価対象画像における右顎小領域２０６の鮮鋭度を、基準画像における右顎小領域２０６の鮮鋭度で規格化する。ここで、評価対象画像における規格化後の左顎小領域２０５の鮮鋭度をαと表記し、右顎小領域２０６の鮮鋭度をβと表記する。

メインＣＰＵ１１は、αとβの比が基準値から所定範囲内にある場合、評価対象画像における上記度合いと基準画像における上記度合いとの違いが所定範囲内であると判断する。この場合、メインＣＰＵ１１は、左顎小領域２０５または右顎小領域２０６に不要物が重なっていないと判断する。

一方、メインＣＰＵ１１は、αとβの比が基準値から所定値以上異なる場合には、評価対象画像における上記度合いが基準画像における上記度合いと所定以上異なると判断する。この場合、メインＣＰＵ１１は、左顎小領域２０５または右顎小領域２０６に不要物が重なっていると判断する。

このようにして、メインＣＰＵ１１は、上記第１組〜第６組における鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較し、各小領域に不要物が重なっているか否かを判断する。メインＣＰＵ１１は、上記第１組〜第６組のうちいずれか１組についても、評価対象画像における上記度合いが基準画像における上記度合いと所定以上異なる場合には、評価対象画像における顔検出信頼度の評価を上記（Ａ＋Ｂ）枚のフレーム画像内で相対的に低くする。すなわち、メインＣＰＵ１１は、上記第１組〜第６組のうちいずれか１組でも不要物が重なっていると判断された場合には、顔検出信頼度の評価を相対的に低くする。

一方、メインＣＰＵ１１は、上記第１組〜第６組の全てにおいて、評価対象画像における上記度合いと基準画像における上記度合いとの違いが所定範囲内である場合には、評価対象画像における上記（Ａ＋Ｂ）枚のフレーム画像内で相対的に高くする。すなわち、メインＣＰＵ１１は、上記第１組〜第６組のうち全てにおいて不要物が重なっていないと判断された場合に、顔検出信頼度の評価を相対的に高くする。

このようにメインＣＰＵ１１は、上記第１組〜第６組のうちいずれか１組においても不要物が重なっていると判断された場合には、上記第１組〜第６組の全てにおいて不要物が重なっていないと判断された場合と比べて、評価対象画像における顔検出信頼度の評価を低くする。

以上の処理により、図４（ａ）に示したように目、鼻および口のいずれか遮蔽された画像だけでなく、図４（ｂ）に示したように目、鼻および口が遮蔽されていないが顔１００に不要物が重なっている画像についても、顔検出信頼度の評価を相対的に低くすることができる。一方、図４（ｃ）に示したように顔１００に不要物が重なっていない画像については、顔検出信頼度の評価を相対的に高くすることができる。

上述した図３のステップＳ５において、メインＣＰＵ１１は、この顔検出信頼度の評価を含む評価結果に基づいて、（Ａ＋Ｂ）枚のフレーム画像からＣ枚のベストショット候補画像を選定する。このとき、目、鼻および口が遮蔽されていないが顔１００に不要物が重なっている画像について顔検出信頼度の評価が相対的に低くなっているので、このような画像がベストショット候補画像として選ばれるのを防止できる。一方、顔１００に不要物が重なっていない画像については顔検出信頼度の評価が相対的に高くなっているので、ベストショット候補画像として選ばれるようにできる。

以上説明した実施の形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１において、メインＣＰＵ１１は、入力された複数の画像から被写体の顔を検出し、顔の領域に複数の小領域２０１〜２０７を設定し、複数の小領域２０１〜２０７の各々において、鮮鋭度を算出する。メインＣＰＵ１１は、上記複数の画像の中から基準画像を決定する。メインＣＰＵ１１は、複数の小領域２０１〜２０７のうちの顔左側の小領域の鮮鋭度と顔右側の小領域の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較し、比較結果に基づいて上記複数の画像をそれぞれ評価する。メインＣＰＵ１１は、上記評価結果に基づいて、上記複数の画像の中から一枚以上の画像を選定する。こうすることにより、デジタルカメラ１は、顔に不要物が重なった画像を適切に評価でき、このような画像がベストショット候補として選ばれるのを防止することができる。

（２）メインＣＰＵ１１は、上記複数の画像のうちの評価対象画像における上記度合いが、上記基準画像における上記度合いと所定以上異なる場合に、上記評価対象画像の評価を上記複数の画像内で相対的に低くする。これにより、顔に不要物が重なった画像の評価を上記複数の画像内で相対的に低くすることができる。

（３）上記複数の小領域２０１〜２０７は、顔の一部の輪郭を含む位置および大きさに設定される。これにより、上記複数の小領域２０１〜２０７の各々において算出した鮮鋭度に基づいて、顔に不要物が重なっている場合か否かを判断できる。

（４）メインＣＰＵ１１は、左頬小領域２０３の鮮鋭度と右頬小領域２０４の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、左頬または右頬に不要物が重なっているか否かを判断できる。

（５）メインＣＰＵ１１は、左顎小領域２０５の鮮鋭度と右顎小領域２０６の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、左顎または右顎に不要物が重なっているか否かを判断できる。

（６）メインＣＰＵ１１は、左目小領域２０１の鮮鋭度と右目小領域２０２の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、左目または右目に不要物が重なっているか否かを判断できる。

（７）メインＣＰＵ１１は、左頬小領域２０３の鮮鋭度と左顎小領域２０５の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、左頬または左顎に不要物が重なっているか否かを判断できる。

（８）メインＣＰＵ１１は、右頬小領域２０４の鮮鋭度と右顎小領域２０６の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、右頬または右顎に不要物が重なっているか否かを判断できる。

（９）メインＣＰＵ１１は、左目小領域２０１および右目小領域２０２の鮮鋭度と口小領域２０７の鮮鋭度との違いの度合いについて、基準画像とこの他の上記複数の画像とで比較する。これにより、目または口に不要物が重なっているか否かを判断できる。

（変形例１）
上述した実施の形態では、図６に示したように、顔領域を７つの小領域に分割する例について説明した。しかしながら、顔領域の分割数や小領域の形状など、分割方法についてはこれに限らなくてもよい。たとえば、口小領域２０７を設定せずに、口を含む顎の領域を口１０４の中央位置から左右に分割するように、左顎小領域２０５および右顎小領域２０６を設定するようにしてもよい。

また、上述した実施形態では、顔領域を上下左右に分割するように小領域を設定する例について説明したが、顔領域を左右のみに分割するように小領域を設定してもよいし、顔領域を上下のみに分割するように小領域を設定してもよい。

（変形例２）
上述した実施の形態では、上記第１組〜第６組の小領域における鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較し、比較結果に基づいて評価対象画像における顔検出信頼度を評価する例について説明した。しかしながら、必ずしも上記第１組〜第６組の全ての組について鮮鋭度の違いの度合いを比較しなくてもよい。

たとえば、上記第１組〜第３組の小領域における鮮鋭度の違いの度合いについて、基準画像と評価対象画像とを比較し、比較結果に基づいて評価対象画像における顔検出信頼度を評価するようにしてもよい。このようにしても、顔１００に不要物が重なっているか否かを判断して評価することができる。

（変形例３）
上述した実施の形態では、顔領域に設定した各小領域において、特徴量として鮮鋭度を算出し、当該鮮鋭度に基づいて顔検出信頼度を評価する例について説明した。しかしながら、各小領域において、鮮鋭度の代わりにこの他の特徴量を算出し、当該特徴量に基づいて顔検出信頼度を評価するようにしてもよい。たとえば、各小領域において、顔の輪郭線の滑らかさを算出し、当該顔の輪郭線の滑らかさに基づいて顔検出信頼度を評価するようにしてもよい。また、たとえば、各小領域において、顔の輪郭線のパターンマッチングを行い、この結果に基づいて顔検出信頼度を評価するようにしてもよい。この場合、顔に不要物（たとえば手など）が重なっていない画像を基準画像として決定し、基準画像以外の画像について、基準画像に基づいて顔の輪郭線のパターンマッチングを行ってもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…デジタルカメラ、１１…メインＣＰＵ、１５…バッファメモリ、１８…操作部材、１８ａ…半押しスイッチ、１８ｂ…全押しスイッチ、２１…撮影レンズ、２２…撮像素子、３０…記録媒体

Claims (9)

1. 入力された複数の画像から被写体の顔を検出する顔検出部と、
   前記顔の領域に第１領域および第２領域を設定する領域設定部と、
   前記第１領域の特徴量および前記第２領域の特徴量を算出する特徴量算出部と、
   前記複数の画像のうちの所定枚数の画像について、各画像の前記第１領域の特徴量および前記第２領域の特徴量に基づいて、前記各画像を前記所定枚数の中で相対的に評価する画像評価部と、
   を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記所定枚数の画像の中から基準画像を決定する基準画像決定部を備え、
   前記画像評価部は、前記基準画像における前記第１領域の特徴量および前記第２領域の特徴量と、前記基準画像以外の他の画像における前記第１領域の特徴量および前記第２領域の特徴量と、に基づいて前記相対的な評価を行う撮像装置。
3. 請求項２に記載の撮像装置において、
   前記画像評価部は、前記第１領域の特徴量および前記第２領域の特徴量の違いの度合いについて、前記基準画像と前記基準画像以外の他の画像とで比較し、前記比較の結果に基づいて前記各画像を評価する撮像装置。
4. 請求項３に記載の撮像装置において、
   前記画像評価部は、前記基準画像以外の他の画像における前記度合いが、前記基準画像における前記度合いと所定以上異なる場合に、その画像の評価を前記所定枚数の画像内で相対的に低くする撮像装置。
5. 請求項１から４のいずれか一項に記載の撮像装置において、
   前記領域設定部は、前記顔の一部の輪郭を含む位置および大きさで前記第１領域および前記第２領域を設定する撮像装置。
6. 請求項１から５のいずれか一項に記載の撮像装置において、
   前記領域設定部は、前記顔の右側に前記第１領域を設定し、前記顔の左側に前記第２領域を設定する撮像装置。
7. 請求項１から５のいずれか一項に記載の撮像装置において、
   前記領域設定部は、前記顔の右側または左側において、頬を含む位置に前記第１領域を設定し、顎を含む位置に前記第２領域を設定する撮像装置。
8. 請求項１から７のいずれか一項に記載の撮像装置において、
   前記所定枚数の画像は、連続的に撮影された画像である撮像装置。
9. 請求項１から８のいずれか一項に記載の撮像装置において、
   前記画像評価部による評価結果に基づいて、前記所定枚数の画像の中から一枚以上の画像を選定する画像選定部をさらに備える撮像装置。

Images