JP5754308B2 - 電子カメラ、画像処理装置、および画像処理プログラム - Google Patents

Description

本発明は、電子カメラ、画像処理装置、および画像処理プログラムに関する。

従来より、複数の画像を生成して記録媒体に記録した後に、露出、コントラスト、ボケなどの観点から画像の評価を行い、評価が所定の基準より低い画像を、上述した記録媒体から削除する技術が知られている（例えば、特許文献１参照）。

特許文献１の発明では、露出条件評価、コントラスト評価、ボケ、焦点ボケの評価などにより画像評価処理を実行している。

特開２００６−５０４９４号公報

ところで、上述した画像評価には、撮影者、または、鑑賞者にとっての主要被写体の状態が大きな影響を及ぼすことが知られている。そこで、上述した画像評価において、主要被写体領域を検出し、画像評価に利用することが考えられる。

しかし、主要被写体が動きのある被写体である場合や、主要被写体の一部が隠れてしまう場合など、時系列に連続した複数の画像間で主要被写体の部分に物理的な変化が生じる場合、単純に主要被写体領域を検出して画像評価を行っても、評価における尺度がばらついてしまうため、正確な評価を行うことができないという問題がある。

本発明は、上記問題に鑑みてなされたものであり、複数の画像に対する評価を行う際に、主要被写体が変化する場合であっても、評価における尺度のバラツキを抑えることを目的とする。

本発明の電子カメラは、被写体を撮像して、時間的に連続する複数の画像を生成する撮像部と、前記複数の画像のそれぞれについて、主要被写体領域を検出する第１検出部と、前記第１検出部により前記主要被写体領域の検出が行われた複数の画像について、前記主要被写体領域が重複する部分を第２主要被写体領域として検出する第２検出部と、前記主要被写体領域の画像に基づく第１評価値と、前記第２主要被写体領域の画像に基づく第２評価値とを算出し、前記第１評価値と前記第２評価値との少なくとも一方に基づいて、前記複数の画像の評価を行う評価部とを備える。

なお、前記評価部は、前記第１評価値と前記第２評価値との何れか一方の評価値に基づいて前記評価を行った後に、他方の前記評価値に基づいて前記評価を再び行っても良い。

また、前記評価部は、前記第１評価値と前記第２評価値とに所定の重み付けを行って、前記評価を行っても良い。

また、前記複数の画像のそれぞれについて、シーン認識を行う認識部を備え、前記評価部は、前記認識部による認識結果に基づいて、前記第１評価値と前記第２評価値との少なくとも一方に基づく前記評価の方法を決定しても良い。

また、前記第２検出部は、前記第１検出部により前記主要被写体領域の検出が行われた複数の画像について、前記主要被写体領域内の特徴点を抽出し、前記特徴点に基づいて、前記主要被写体領域を変形させた後に、重複する部分を前記第２主要被写体領域として検出しても良い。

また、前記第１検出部は、前記複数の画像のそれぞれについて、前記主要被写体領域を検出する際に、任意の画像において前記主要被写体領域が検出できない場合には、その画像と時間的に連続する少なくとも１枚の画像において検出された前記主要被写体領域に基づいて、前記任意の画像における前記主要被写体領域を検出しても良い。

また、前記評価部による評価結果に基づいて、記録媒体に記録された複数の画像のうち、一部の画像を削除する削除部を備えても良い。

また、前記第１検出部は、前記複数の画像のそれぞれについて、前記主要被写体領域を検出する際に、前記主要被写体領域が検出できない画像が所定の枚数以上連続する場合には、それらの画像における前記主要被写体領域の検出を中止し、前記評価部は、前記主要被写体領域が検出できない複数枚の画像に関する前記第１評価値を、前記主要被写体領域が検出できないことを示す所定の値としても良い。

また、前記第１検出部は、前記複数の画像のそれぞれについて、前記主要被写体領域を検出する際に、時間的に連続する前記複数の画像のうち、時系列の端部において、前記主要被写体領域が検出できない画像が所定の枚数以上連続する場合には、それらの画像における前記主要被写体領域の検出を中止し、前記評価部は、前記主要被写体領域が検出できない複数枚の画像に関する前記第１評価値を、前記主要被写体領域が検出できないことを示す所定の値としても良い。

本発明の画像処理装置は、処理対象の画像として、複数の画像を取得する取得部と、前記取得部により取得した前記複数の画像のそれぞれについて、主要被写体領域を検出する第１検出部と、前記第１検出部により前記主要被写体領域の検出が行われた複数の画像について、前記主要被写体領域が重複する部分を第２主要被写体領域として検出する第２検出部と、前記主要被写体領域の画像に基づく第１評価値と、前記第２主要被写体領域の画像に基づく第２評価値とを算出し、前記第１評価値と前記第２評価値との少なくとも一方に基づいて、前記取得部により取得した前記複数の画像の評価を行う評価部と、前記評価部による評価結果に基づいて、前記取得部により取得した前記複数の画像のうち、一部の画像を選択する選択部とを備える。

なお、前取得部により取得した前記複数の画像を記録媒体に記録する記録部と、前記記録媒体に記録された複数の画像のうち、前記選択部により選択された前記一部の画像を削除する削除部とを備え、前記取得部は、前記複数の画像として、時間的に連続して撮像および生成された複数の画像を取得し、前記第１検出部は、前記記録媒体に記録された前記複数の画像のそれぞれについて、前記主要被写体領域を検出しても良い。

本発明の画像処理プログラムは、処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムであって、前記処理対象の画像として、複数の画像を取得する取得ステップと、前記取得ステップにおいて取得した前記複数の画像のそれぞれについて、主要被写体領域を検出する第１検出ステップと、前記第１検出ステップにおいて前記主要被写体領域の検出が行われた複数の画像について、前記主要被写体領域が重複する部分を第２主要被写体領域として検出する第２検出ステップと、前記主要被写体領域の画像に基づく第１評価値と、前記第２主要被写体領域の画像に基づく第２評価値とを算出し、前記第１評価値と前記第２評価値との少なくとも一方に基づいて、前記取得ステップにおいて取得した前記複数の画像の評価を行う評価ステップと、前記評価ステップにおける評価結果に基づいて、前記取得ステップにおいて取得した前記複数の画像のうち、一部の画像を選択する選択ステップとを備える。

本発明によれば、複数の画像に対する評価を行う際に、主要被写体が変化する場合であっても、評価における尺度のバラツキを抑えることができる。

一の実施形態における電子カメラの構成例を示すブロック図 一の実施形態における電子カメラの動作を示す流れ図 一の実施形態における処理の流れを説明する模式 一の実施形態における主要被写体領域の検出について説明する図 一の実施形態における主要被写体領域の検出について説明する別の図 一の実施形態における主要被写体領域の検出について説明する別の図 一の実施形態における第２主要被写体領域の検出について説明する別の図

図１は、一の実施形態における電子カメラ１０の構成例を示すブロック図である。電子カメラ１０は、撮像レンズ１１と、シャッタ１２と、撮像素子１３と、ＡＦＥ１４と、画像処理部１５と、第１メモリ１６と、第２メモリ１７と、記録Ｉ／Ｆ１８と、ＣＰＵ１９と、操作部２０と、バス２１とを備えている。ここで、画像処理部１５、第１メモリ１６、第２メモリ１７、記録Ｉ／Ｆ１８、ＣＰＵ１９は、バス２１を介してそれぞれ接続されている。また、シャッタ１１、撮像素子１３、ＡＦＥ１４、操作部２０は、それぞれＣＰＵ１９と接続されている。

シャッタ１２は、撮影レンズ１１と撮像素子１３との間に配置されるメカシャッタである。

撮像素子１３は、撮像レンズ１１による結像を撮像する撮像デバイスである。一の実施形態の撮像素子１３は、例えば、任意の受光素子の画像信号をランダムアクセスで読み出し可能なＣＭＯＳ型の固体撮像素子で構成される。なお、撮像素子１３の出力はＡＦＥ１４に接続されている。

ＡＦＥ１４は、撮像素子１３の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１４は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。そして、ＡＦＥ１４の出力は画像処理部１５に接続されている。なお、ＣＰＵ１９は、ＡＦＥ１４により画像信号のゲインを調整することで、ＩＳＯ感度に相当する撮像感度の調整を行う。

画像処理部１５は、ＡＦＥ１４から出力されたデジタルの画像信号に対して各種の画像処理（色補間処理、階調変換処理、ホワイトバランス調整など）を施す。

第１メモリ１６は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、第１メモリ１６は、揮発性の記憶媒体であるＳＤＲＡＭにより構成される。また、第２メモリ１７は、ＣＰＵ１９によって実行されるプログラムや、各画像信号でのＳＮ比と撮像感度の値との対応関係を示すデータテーブルなどを記憶する不揮発性のメモリである。

記録Ｉ／Ｆ１８は、不揮発性の記憶媒体２２を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１８は、コネクタに接続された記憶媒体２２に対して後述の本画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２２は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２２の一例としてメモリカードを図示する。

ＣＰＵ１９は、電子カメラ１０の動作を統括的に制御するプロセッサである。例えば、ＣＰＵ１９は、被写体の撮影を行うための撮影モードでの動作時において、ユーザの撮像指示入力に応じて撮像素子１３を駆動させて、不揮発性の記憶媒体２２への記録を伴う本画像の撮像処理を実行する。

また、撮影モードでのＣＰＵ１９は、本画像の撮像に先立って公知の自動露出演算を実行し、撮像条件の１パラメータである撮像感度を設定する。また、ＣＰＵ１９は、ユーザの入力に基づいて上記の撮像感度を設定してもよい。

操作部２０は、ユーザの操作を受け付ける複数のスイッチを有している。この操作部２０は、例えば、本画像の撮像指示を受け付けるレリーズ釦や、十字状のカーソルキーや、決定釦などで構成される。

なお、電子カメラ１０は、複数の画像を連続して撮像し、生成した複数の画像を一旦記録し、その後に画像評価を行って評価の低い画像を削除する、いわゆるベストショットモードを備える。このモードは、操作部２０を介したユーザの操作に基づいて設定されても良いし、ＣＰＵ１９により自動で設定されても良い。なお、ベストショットモードにおいては、ユーザは、操作部２０のレリーズ釦を１回操作することにより撮影指示を行う。

次に、ベストショットモードでの電子カメラ１０の動作例を、図２の流れ図および図３の模式図を用いて説明する。なお、図２および図３におけるステップ番号（Ｓ１０１〜Ｓ１１３）は、それぞれ対応する。

ステップＳ１０１において、ＣＰＵ１９は、ユーザによる撮影指示が行われたか否かを判定する。ＣＰＵ１９は、操作部２０を介したユーザによる撮影指示が行われるまで待機し、撮影指示が行われるとステップＳ１０２に進む。

ステップＳ１０２において、ＣＰＵ１９は、各部を制御して、ｎ枚目の画像を撮影する。なお、初回のステップＳ１０２においては、ｎ＝１である。なお、以下では、ｎ回目の撮影により生成された画像を、Ｉｍｇ[ｎ]と称する。例えば、１回目の撮影により生成された画像は、Ｉｍｇ[１]である。

ステップＳ１０３において、ＣＰＵ１９は、ステップＳ１０２の撮像により生成したｎ枚目の画像を記録Ｉ／Ｆ１８を介して記憶媒体２２に記録する。なお、ＣＰＵ１９は、記憶媒体２２に記録する代わりに、第１メモリ１６に記録しても良い。

ステップＳ１０４において、ＣＰＵ１９は、ステップＳ１０２からステップＳ１０３の処理をＮ枚分終了したか否かを判定する。ＣＰＵ１９は、Ｎ枚分終了していないと判定するとステップＳ１０５に進み、Ｎ枚分終了したと判定すると、後述するステップＳ１０６に進む。なお、Ｎとは予め定められた撮影枚数（例えばＮ＝２０）である。この枚数は、固定のものであっても良いし、ＣＰＵ１９により自動で定められたものであっても良いし、操作部２０を介したユーザ操作により定められたものであっても良い。

ステップＳ１０５において、ＣＰＵ１９は、ｎ＝ｎ＋１として、ステップＳ１０２に戻る。すなわち、ＣＰＵ１９は、Ｎ回の撮影を繰り返し（ステップＳ１０２）、Ｎ枚の画像を記録する（ステップＳ１０３）。

ステップＳ１０６において、ＣＰＵ１９は、記憶媒体２２に記録されたＮ枚の画像のそれぞれについて、主要被写体領域Ｓ[ｎ]を検出する。なお、以下では、ｎ枚目の画像について検出された主要被写体領域を、主要被写体領域Ｓ[ｎ]と称する。例えば、１枚目の画像について検出された主要被写体領域は、主要被写体領域Ｓ[１]である。なお、主要被写体領域の検出は、例えば、輝度情報、焦点情報、コントラスト情報、エッジ情報などに基づいて、公知技術と同様に行われる。

ただし、ＣＰＵ１９は、主要被写体領域Ｓ[ｎ]の検出を適切に行うことができない場合には、以下の処理を行う。

（１）任意の画像Ｉｍｇ[Ｘ]において、主要被写体領域Ｓ[Ｘ]が検出できない場合。

例えば、図４に示すように、画像Ｉｍｇ[Ｘ]において、主要被写体領域Ｓ[Ｘ]が検出できない場合、ＣＰＵ１９は、画像Ｉｍｇ[Ｘ]と時間的に連続する少なくとも１枚の画像において検出された主要被写体領域（例えば、主要被写体領域Ｓ[Ｘ−１]および主要被写体領域Ｓ[Ｘ＋１]）に基づいて、内挿処理を行うことにより、主要被写体領域Ｓ[Ｘ]を検出する。なお、このとき、画像Ｉｍｇ[Ｘ]と時間的に連続する少なくとも１枚の画像として、時間的に前側に連続する画像、または、後側に連続する画像において検出された主要被写体領域（例えば、主要被写体領域Ｓ[Ｘ−１]または主要被写体領域Ｓ[Ｘ＋１]）に基づいて、一方向のみからの内挿処理を行うことにより、主要被写体領域Ｓ[Ｘ]を検出しても良い。

また、内挿に用いる前後の画像の枚数は何枚であっても良い。例えば、ＣＰＵ１９は、主要被写体領域Ｓ[Ｘ−１]および主要被写体領域Ｓ[Ｘ−２]の２枚の画像に基づいて内挿処理を行っても良いし、主要被写体領域Ｓ[Ｘ＋１]および主要被写体領域Ｓ[Ｘ＋２]の２枚の画像に基づいて内挿処理を行っても良い。さらに、ＣＰＵ１９は、例えば、主要被写体領域Ｓ[Ｘ−１]、主要被写体領域Ｓ[Ｘ−２]、主要被写体領域Ｓ[Ｘ＋１]、主要被写体領域Ｓ[Ｘ＋２]の４枚の画像に基づいて内挿処理を行っても良い。

また、内挿以外の方法を用いても良い。

（２）主要被写体領域Ｓ[ｎ]が検出できない画像が所定の枚数（例えば、３枚）以上連続する場合。

例えば、図５に示すように、画像Ｉｍｇ[Ｘ−１]からＩｍｇ[Ｘ＋１]までの３枚の画像において主要被写体領域Ｓ[ｎ]が検出できない場合、ＣＰＵ１９は、主要被写体が対象画像のフレーム外に出たと判断し、これら３枚の画像における主要被写体領域Ｓ[ｎ]の検出を中止する。

（３）Ｎ枚の画像のうち、時系列の端部（最初、または、最後の部分）において、主要被写体領域Ｓ[ｎ]が検出できない画像が所定の枚数（例えば、３枚）以上連続する場合。

例えば、図６に示すように、Ｎ枚の画像のうち、時系列の最初側の端部である画像Ｉｍｇ[１]からＩｍｇ[３]までの３枚の画像において主要被写体領域Ｓ[ｎ]が検出できない場合、ＣＰＵ１９は、上述した（２）と同様に、主要被写体が対象画像のフレーム外に出たと判断し、これら３枚の画像における主要被写体領域Ｓ[ｎ]の検出を中止する。

（４）Ｎ枚の画像の全てにおいて、主要被写体領域Ｓ[ｎ]が検出できない場合。

ＣＰＵ１９は、Ｎ枚の画像のそれぞれについて、画面全体を主要被写体領域Ｓ[ｎ]とするか、または、固定領域（例えば、中央領域など）を主要被写体領域Ｓ[ｎ]とする。

なお、上述した（１）から（３）において、処理を簡略化するために、任意の画像Ｉｍｇ[Ｘ]において主要被写体領域Ｓ[Ｘ]を検出できない場合に、主要被写体領域Ｓ[ｎ]を検出できた画像のうち、任意の画像Ｉｍｇ[Ｘ]と最も時間的に近い画像における主要被写体領域Ｓ[ｎ]を、任意の画像Ｉｍｇ[Ｘ]における主要被写体領域Ｓ[Ｘ]としても良い。

また、上述した（１）から（４）では、主要被写体領域Ｓ[ｎ]の検出を適切に行うことができない場合を例に挙げて説明したが、検出された主要被写体領域Ｓ[ｎ]の信頼性に疑いがある場合にも、同様の処理を行っても良い。例えば、任意の画像Ｉｍｇ[Ｘ]において検出した主要被写体領域Ｓ[Ｘ]と、前後に連続する画像において検出された主要被写体領域Ｓ[ｎ]とで、その位置や大きさが著しく異なる場合には、誤検出などの可能性が高く、主要被写体領域Ｓ[Ｘ]の信頼性に疑いがある。このような場合、ＣＰＵ１９は、上述した（１）から（４）と同様の処理を行っても良い。

ステップＳ１０７において、ＣＰＵ１９は、記憶媒体２２に記録されたＮ枚の画像のそれぞれについて、ステップＳ１０４で検出した主要被写体領域Ｓ[ｎ]に基づき、第１評価値Ｅ[ｎ]を算出する。なお、以下では、ｎ枚目の画像について算出された評価値を、第１評価値Ｅ[ｎ]と称する。例えば、１枚目の画像について算出された評価値は、第１評価値Ｅ[１]である。評価値の算出は、例えば、輝度情報、焦点情報、コントラスト情報、エッジ情報などと、主要被写体領域Ｓ[ｎ]内の画素値とに基づいて、公知技術と同様に行われる。

ただし、ステップＳ１０４の（２）および（３）で説明したように、主要被写体領域の検出を中止した画像について、ＣＰＵ１９は、その画像に関する第１評価値Ｅ[ｎ]を、主要被写体領域が検出できないことを示す所定の値とする。主要被写体領域が検出できないことを示す値は、どのようなものであっても良く、例えば、第１評価値Ｅ[ｎ]が取り得る値の最小値などが考えられる。また、第１評価値Ｅ[ｎ]が取り得る値のうち、比較的低い値を、主要被写体領域が検出できないことを示す値としても良い。

また、ステップＳ１０６で説明した主要被写体領域Ｓ[ｎ]の検出において、内挿処理などを行って主要被写体領域Ｓ[ｎ]を検出した場合には、内挿処理を行わずに主要被写体領域Ｓ[ｎ]を検出した場合に比べて評価値Ｅ[ｎ]が低くなるように、評価値Ｅ[ｎ]を調整しても良い。

ステップＳ１０８において、ＣＰＵ１９は、第２主要被写体領域Ｓｃを検出する。第２主要被写体領域Ｓｃは、ステップＳ１０６で説明したＮ枚の画像のそれぞれにおいて検出した主要被写体領域Ｓ[１]から主要被写体領域Ｓ[Ｎ]が重複する部分に相当する。例えば、Ｎ＝２０である場合には、ステップＳ１０６で検出した主要被写体領域Ｓ[１]から主要被写体領域Ｓ[２０]が重複する部分が第２主要被写体領域Ｓｃである。

図７に、第２主要被写体領域Ｓｃを例示する。図７では、簡単のため、主要被写体領域Ｓ[Ｘ−１]から主要被写体領域Ｓ[Ｘ＋１]の重複する部分として第２主要被写体領域Ｓｃを図示している。また、図７では、説明を分かり易くするため、第２主要被写体領域Ｓｃを拡大して図示している。図７に示すように、主要被写体領域Ｓ[Ｘ−１]から主要被写体領域Ｓ[Ｘ＋１]は、主要被写体の動きに合わせて、異なる形状を示す。例えば、主要被写体領域Ｓ[Ｘ＋１]は、本来の主要被写体である人物の部分と、背景のヨットの部分との両方が主要被写体領域として検出されている。一方、第２主要被写体領域Ｓｃは、主要被写体領域Ｓ[Ｘ−１]から主要被写体領域Ｓ[Ｘ＋１]の重複する部分であるため、本来の主要被写体である人物の部分のみを含む。

なお、ＣＰＵ１９は、ステップＳ１０６で検出した主要被写体領域Ｓ[１]から主要被写体領域Ｓ[Ｎ]に対して、例えば、位置合わせ処理を施した後に重ね合わせ処理を行い、第２主要被写体領域Ｓｃを検出する。このとき、ＣＰＵ１９は、主要被写体領域Ｓ[１]から主要被写体領域Ｓ[Ｎ]に関して、主要被写体領域内の特徴点を抽出し、特徴点に基づいて、主要被写体領域Ｓ[１]から主要被写体領域Ｓ[Ｎ]をそれぞれ変形させた後に、重複する部分を第２主要被写体領域Ｓｃとして検出しても良い。変形処理としては、例えば、公知技術と同様に、回転処理、拡大縮小処理、ひずみ処理（非線形的なゆがませ処理）などが考えられる。

また、ＣＰＵ１９は、主要被写体領域Ｓ[１]から主要被写体領域Ｓ[Ｎ]の全てではなく、一部の画像に基づく主要被写体領域が重複する部分を第２主要被写体領域Ｓｃとして検出しても良い。例えば、ステップＳ１０６で説明したＮ枚の画像のうち、１枚おきの画像において検出された主要被写体領域Ｓ[ｎ]が重複する部分を第２主要被写体領域Ｓｃとして検出しても良い。また、主要被写体領域Ｓ[１]から主要被写体領域Ｓ[Ｎ]を相対比較し、類似度の高いものについては、重複する部分を検出する対象から除外しても良い。何れの場合も、重複する部分を検出する対象となる主要被写体領域Ｓ[ｎ]の数を減らすことにより、第２主要被写体領域Ｓｃを検出する処理を簡略化することができる。

また、ＣＰＵ１９は、第２主要被写体領域Ｓｃの検出を適切に行うことができない場合には、以下のような処理を行っても良い。
・主要被写体領域Ｓ[１]から主要被写体領域Ｓ[Ｎ]が重複する部分が適切に検出できない場合、すべての画像（ステップＳ１０６で説明したＮ枚の画像）に基づく主要被写体領域が重複する部分の代わりに、一部の画像（例えば、ステップＳ１０６で説明したＮ枚の画像のうち、８割程度の枚数の画像）に基づく主要被写体領域が重複する部分を第２主要被写体領域Ｓｃとして検出しても良い。
・主要被写体領域Ｓ[１]から主要被写体領域Ｓ[Ｎ]が重複する部分が適切に検出できない場合、ステップＳ１０６で説明したＮ枚の画像を、時系列、あるいは、主要被写体領域Ｓ[Ｎ]の変化量などに応じて複数のグループに分割する。そして、グループごとに、そのグループに含まれる画像に基づく主要被写体領域が重複する部分を第２主要被写体領域Ｓｃとして検出しても良い。この場合、上述した複数のグループごとに形状の異なる第２主要被写体領域Ｓｃが検出されることになる。さらに、上述したように、グループごとに検出した複数の第２主要被写体領域Ｓｃを総合する（加算、選択等）ことにより、１つの第２主要被写体領域Ｓｃを検出しても良い。
・第２主要被写体領域Ｓｃの面積が、主要被写体領域Ｓ[１]から主要被写体領域Ｓ[Ｎ]の面積と比較して非常に小さい場合には、第２主要被写体領域Ｓｃの検出を中止しても良いし、すべての画像（ステップＳ１０６で説明したＮ枚の画像）に基づく主要被写体領域が重複する部分の代わりに、一部の画像（例えば、ステップＳ１０６で説明したＮ枚の画像のうち、８割程度の枚数の画像）に基づく主要被写体領域が重複する部分を第２主要被写体領域Ｓｃとして検出しても良いし、上述したグループ分けを行ってもよい。なお、第２主要被写体領域Ｓｃの検出を中止する際には、後述するステップＳ１０９において、第２評価値Ｅｃ[ｎ]を算出する際に、ＣＰＵ１９は、各画像に関する第２評価値Ｅｃ[ｎ]を、第２主要被写体領域が検出できないことを示す所定の値とする（ステップＳ１０７の第１評価値Ｅ[ｎ]参照）。

ステップＳ１０９において、ＣＰＵ１９は、記憶媒体２２に記録されたＮ枚の画像のそれぞれについて、ステップＳ１０８で検出した第２主要被写体領域Ｓｃに基づき、第２評価値Ｅｃ[ｎ]を算出する。なお、以下では、ｎ枚目の画像について算出された第２評価値を、第２評価値Ｅｃ[ｎ]と称する。例えば、１枚目の画像について算出された第２評価値は、第２評価値Ｅｃ[１]である。第２評価値の算出は、ステップＳ１０７で説明した第１評価値Ｅ[ｎ]と同様に、例えば、輝度情報、焦点情報、コントラスト情報、エッジ情報などと、第２主要被写体領域Ｓｃ内の画素値とに基づいて、公知技術と同様に行われる。

ステップＳ１１０において、ＣＰＵ１９は、シーン認識を行う。ＣＰＵ１９は、記憶媒体２２に記録されたＮ枚の画像に基づいて、公知技術と同様にシーン認識を行う。このシーン認識は、主要被写体が変化するか否か、さらには、どのように変化するかを推測するためのものである。例えば、ポートレートのようなシーンにおいては、主要被写体は変化が少ないと推測できる。また、例えば、図７に例示したようなシーンにおいては、主要被写体自体が変化しつつ移動することが推測できる。

ステップＳ１１１において、ＣＰＵ１９は、記憶媒体２２に記録されたＮ枚の画像のそれぞれについて、ステップＳ１０７で算出した第１評価値Ｅ[ｎ]と、ステップＳ１０９で算出した第２評価値Ｅｃ[ｎ]との少なくとも一方に基づいて、画像の評価を行う。

画像の評価については、以下のような方法がある。

（１）第１評価値Ｅ[ｎ]に基づいて評価を行った後に第２評価値Ｅｃ[ｎ]に基づいて評価を行う。

このような順番で評価を行うことにより、絶対評価に好適な第１評価値Ｅ[ｎ]に基づいて、主要被写体領域における映りが良い画像を選択し、さらに、相対評価に好適な第２評価値Ｅｃ[ｎ]に基づいて、相対的に映りが良い画像を選択することができる。

この選択方法は、ポートレートのような主要被写体自体の変化が少ないシーンにおいて有用である。

（２）第２評価値Ｅｃ[ｎ]に基づいて評価を行った後に第１評価値Ｅ[ｎ]に基づいて評価を行う。

このような順番で評価を行うことにより、相対評価に好適な第２評価値Ｅｃ[ｎ]に基づいて、相対的に映りが良い画像を選択し、さらに、絶対評価に好適な第１評価値Ｅ[ｎ]に基づいて、主要被写体領域における映りが良い画像を選択することができる。

この選択方法は、図７に例示したような主要被写体自体が変化しつつ移動するシーンにおいて有用である。

（３）第１評価値Ｅ[ｎ]および第２評価値Ｅｃ[ｎ]に所定の重み付けを行った後に評価を行う。

このような方法で評価を行うことにより、絶対評価に好適な第１評価値Ｅ[ｎ]と、相対評価に好適な第２評価値Ｅｃ[ｎ]とをバランスよく用いて好適な評価を行うことができる。なお、ポートレートのような主要被写体自体の変化が少ないシーンにおいては、絶対評価に好適な第１評価値Ｅ[ｎ]の重みを多くし、図７に例示したような主要被写体自体が変化しつつ移動するシーンにおいては、相対評価に好適な第２評価値Ｅｃ[ｎ]の重みを多くすると良い。

（４）第１評価値Ｅ[ｎ]または第２評価値Ｅｃ[ｎ]のいずれか一方に基づいて評価を行う。

第１評価値Ｅ[ｎ]のみに基づいて評価を行うことにより、絶対評価による画像の評価が可能となり、第２評価値Ｅｃ[ｎ]のみに基づいて評価を行うことにより、相対評価による画像の評価が可能となる。

ＣＰＵ１９は、上述した（１）から（４）のいずれかの方法で評価を行い、評価値を算出する。評価値の算出は公知技術と同様に行われる。なお、上述した（１）から（４）のいずれの方法を用いるかは、ＣＰＵ１９により選択されても良いし、操作部２０を介したユーザ操作により選択されても良い。ＣＰＵ１９により自動で選択する際には、ＣＰＵ１９は、例えば、ステップＳ１１０で行ったシーン認識の結果に基づいて選択を行う。

ステップＳ１１２において、ＣＰＵ１９は、削除する画像を決定する。ＣＰＵ１９は、ステップＳ１１１で算出した評価値に基づき、評価の低い方から所定の枚数（例えば、１５枚）の画像を削除する画像として選択する。このような選択を行うことにより、評価の高い画像を選択的に残すことができる。なお、削除する画像の枚数は、固定のものであっても良いし、ＣＰＵ１９により自動で定められたものであっても良いし、操作部２０を介したユーザ操作により定められたものであっても良い。

ステップＳ１１３において、ＣＰＵ１９は、ステップＳ１１２で決定した画像を記録媒体２２から削除して、一連の処理を終了する。

なお、ステップＳ１０３において、撮影により生成した画像を第１メモリ１６に記録した場合には、ＣＰＵ１９は、第１メモリから画像を削除し、残りの画像を記録Ｉ／Ｆ１８を介して記憶媒体２２に記録する。

以上説明したように、本実施形態によれば、被写体を撮像して、時間的に連続する複数の画像を生成し、生成した複数の画像のそれぞれについて、主要被写体領域を検出するとともに、主要被写体領域の検出が行われた複数の画像について、主要被写体領域が重複する部分を第２主要被写体領域として検出する。さらも。主要被写体領域の画像に基づく第１評価値と、第２主要被写体領域の画像に基づく第２評価値とを算出し、第１評価値と第２評価値との少なくとも一方に基づいて、記録媒体に記録された複数の画像の評価を行う。したがって、複数の画像に対する評価を行う際に、主要被写体が変化する場合であっても、評価における尺度のバラツキを抑えることができる。

特に、本実施形態によれば、時系列に連続撮影した一連の画像群のうち、一部の画像で主要被写体が検出できない場合や、主要被写体が動被写体で、かつ、主要被写体自体に物理的な変化が生じる場合（動被写体が回転する場合、主要被写体の一部がフレームアウトするはみ出し量が変化する場合、主要被写体の手前で通行人等が横切り、主要被写体の一部が隠れてしまう場合など）であっても、略同一の尺度で評価を行うことができる。そして、このような評価の結果、好適な画像の選択および削除を行うことができるので、ベストショットモードにおいて、最適な画像を残すことができる。

なお、本実施形態では、Ｎ枚の画像を撮影（ステップＳ１０２）および記録（ステップＳ１０３）した後に、主要被写体領域Ｓ[ｎ]の検出（ステップＳ１０６）および第１評価値Ｅ[ｎ]の算出（ステップＳ１０７）を行う例を示したが、本発明はこの例に限定されない。例えば、Ｎ枚の画像を撮影（ステップＳ１０２）した後すぐに、主要被写体領域Ｓ[ｎ]の検出（ステップＳ１０６）および第１評価値Ｅ[ｎ]の算出（ステップＳ１０７）を開始しても良い。

また、本実施形態では、主要被写体領域Ｓ[ｎ]の検出（ステップＳ１０６）において、主要被写体が対象画像のフレーム外に出たと判断する際の例として、主要被写体領域Ｓ[ｎ]の検出対象の画像が時系列の端部にある場合と、時系列の端部に無い場合とで同じ枚数（３枚）を基準に判断する例を示した。しかし、ＣＰＵ１９は、主要被写体が対象画像のフレーム外に出たと判断する基準の枚数を、主要被写体領域Ｓ[ｎ]の検出対象の画像が時系列の端部にある場合と、時系列の端部に無い場合とで変えても良い。例えば、ＣＰＵ１９は、時系列の端部において、主要被写体領域Ｓ[ｎ]が検出できない画像が２枚連続した場合に主要被写体が対象画像のフレーム外に出たと判断し、主要被写体領域Ｓ[ｎ]の検出対象の画像が時系列の端部に無い場合には、主要被写体領域Ｓ[ｎ]が検出できない画像が３枚連続した場合に主要被写体が対象画像のフレーム外に出たと判断してもよい。

また、例えば、ＣＰＵ１９は、時系列の端部において、主要被写体領域Ｓ[ｎ]が検出できない画像が４枚連続した場合に主要被写体が対象画像のフレーム外に出たと判断し、主要被写体領域Ｓ[ｎ]の検出対象の画像が時系列の端部に無い場合には、主要被写体領域Ｓ[ｎ]が検出できない画像が３枚連続した場合に主要被写体が対象画像のフレーム外に出たと判断してもよい。

なお、上述した「主要被写体が対象画像のフレーム外に出たと判断する基準となる所定の枚数」は、操作部２０を介したユーザの操作に基づいて設定されても良いし、ＣＰＵ１９により自動で設定されても良い。ＣＰＵ１９により自動で設定する際には、撮像時に設定された撮影モードの種類や撮影条件などによって、適当な枚数を設定する構成としてもよい。

また、本実施形態では、ステップＳ１１０において、シーン認識を行う例を示したが、シーン認識は必ずしも行わなくても良い。

また、本実施形態では、ベストショットモード時に図２のフローチャートに示した一連の処理を行う例を示したが、本発明はこの例に限定されない。例えば、連写モードにおいて複数の画像を生成する場合にも本発明を同様に適用することができる。また、ユーザにより選択された複数の画像を対象として、ステップＳ１０６以降の処理を行っても良い。

また、上述した実施形態では、本発明の技術を図１に示した電子カメラ１０において実現する例について説明した。しかしながら、本発明はこれに限定されない。例えば、図１に示した電子カメラ１０以外の構成の電子カメラにも本発明を同様に適用することができる。

また、コンピュータと画像処理プログラムとにより、上記実施形態で説明した画像処理装置をソフトウェア的に実現しても良い。この場合、図２のフローチャートで説明したステップＳ１０６以降の処理の一部または全部をコンピュータで実現する構成とすれば良い。

さらに、上述したコンピュータ以外にも、デジタルの画像の再生表示機能やレタッチ機能を有する電子機器（例えば、フォトビューアー、デジタルフォトフレーム、写真の印刷装置など）などに本発明を同様に適用することができる。また、上述した実施形態で説明した電子カメラ１０は、携帯電話端末などのカメラモジュールとして実装されるものであってもよい。

また、上述した実施形態では、各処理をソフトウェア的に実現する例を説明したが、ＡＳＩＣ等によってこれらの各処理をハードウエア的に実現しても勿論かまわない。

１０…電子カメラ、１３…撮像素子、１４…ＡＦＥ、１６…第１メモリ、１７…第２メモリ、１９…ＣＰＵ、２２…記憶媒体

Claims (12)

1. 被写体を撮像して、時間的に連続する複数の画像を生成する撮像部と、
   前記複数の画像のそれぞれについて、主要被写体領域を検出する第１検出部と、
   前記第１検出部により前記主要被写体領域の検出が行われた複数の画像について、前記主要被写体領域が重複する部分を第２主要被写体領域として検出する第２検出部と、
   前記主要被写体領域の画像に基づく第１評価値と、前記第２主要被写体領域の画像に基づく第２評価値とを算出し、前記第１評価値と前記第２評価値との少なくとも一方に基づいて、前記複数の画像の評価を行う評価部と
   を備えたことを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記評価部は、前記第１評価値と前記第２評価値との何れか一方の評価値に基づいて前記評価を行った後に、他方の前記評価値に基づいて前記評価を再び行う
   ことを特徴とする電子カメラ。
3. 請求項１に記載の電子カメラにおいて、
   前記評価部は、前記第１評価値と前記第２評価値とに所定の重み付けを行って、前記評価を行う
   ことを特徴とする電子カメラ。
4. 請求項１に記載の電子カメラにおいて、
   前記複数の画像のそれぞれについて、シーン認識を行う認識部を備え、
   前記評価部は、前記認識部による認識結果に基づいて、前記第１評価値と前記第２評価値との少なくとも一方に基づく前記評価の方法を決定する
   ことを特徴とする電子カメラ。
5. 請求項１に記載の電子カメラにおいて、
   前記第２検出部は、前記第１検出部により前記主要被写体領域の検出が行われた複数の画像について、前記主要被写体領域内の特徴点を抽出し、前記特徴点に基づいて、前記主要被写体領域を変形させた後に、重複する部分を前記第２主要被写体領域として検出する
   ことを特徴とする電子カメラ。
6. 請求項１に記載の電子カメラにおいて、
   前記第１検出部は、前記複数の画像のそれぞれについて、前記主要被写体領域を検出する際に、任意の画像において前記主要被写体領域が検出できない場合には、その画像と時間的に連続する少なくとも１枚の画像において検出された前記主要被写体領域に基づいて、前記任意の画像における前記主要被写体領域を検出する
   ことを特徴とする電子カメラ。
7. 請求項１から請求項６のいずれか１項に記載の電子カメラにおいて、
   前記評価部による評価結果に基づいて、記録媒体に記録された複数の画像のうち、一部の画像を削除する削除部を備える
   ことを特徴とする電子カメラ。
8. 請求項６または請求項７に記載の電子カメラにおいて、
   前記第１検出部は、前記複数の画像のそれぞれについて、前記主要被写体領域を検出する際に、前記主要被写体領域が検出できない画像が所定の枚数以上連続する場合には、それらの画像における前記主要被写体領域の検出を中止し、
   前記評価部は、前記主要被写体領域が検出できない複数枚の画像に関する前記第１評価値を、前記主要被写体領域が検出できないことを示す所定の値とする
   ことを特徴とする電子カメラ。
9. 請求項６または請求項７に記載の電子カメラにおいて、
   前記第１検出部は、前記複数の画像のそれぞれについて、前記主要被写体領域を検出する際に、時間的に連続する前記複数の画像のうち、時系列の端部において、前記主要被写体領域が検出できない画像が所定の枚数以上連続する場合には、それらの画像における前記主要被写体領域の検出を中止し、
   前記評価部は、前記主要被写体領域が検出できない複数枚の画像に関する前記第１評価値を、前記主要被写体領域が検出できないことを示す所定の値とする
   ことを特徴とする電子カメラ。
10. 処理対象の画像として、複数の画像を取得する取得部と、
    前記取得部により取得した前記複数の画像のそれぞれについて、主要被写体領域を検出する第１検出部と、
    前記第１検出部により前記主要被写体領域の検出が行われた複数の画像について、前記主要被写体領域が重複する部分を第２主要被写体領域として検出する第２検出部と、
    前記主要被写体領域の画像に基づく第１評価値と、前記第２主要被写体領域の画像に基づく第２評価値とを算出し、前記第１評価値と前記第２評価値との少なくとも一方に基づいて、前記取得部により取得した前記複数の画像の評価を行う評価部と、
    前記評価部による評価結果に基づいて、前記取得部により取得した前記複数の画像のうち、一部の画像を選択する選択部と
    を備えたことを特徴とする画像処理装置。
11. 請求項１０に記載の画像処理装置において、
    前取得部により取得した前記複数の画像を記録媒体に記録する記録部と、
    前記記録媒体に記録された複数の画像のうち、前記選択部により選択された前記一部の画像を削除する削除部とを備え、
    前記取得部は、前記複数の画像として、時間的に連続して撮像および生成された複数の画像を取得し、
    前記第１検出部は、前記記録媒体に記録された前記複数の画像のそれぞれについて、前記主要被写体領域を検出する
    ことを特徴とする画像処理装置。
12. 処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムであって、
    前記処理対象の画像として、複数の画像を取得する取得ステップと、
    前記取得ステップにおいて取得した前記複数の画像のそれぞれについて、主要被写体領域を検出する第１検出ステップと、
    前記第１検出ステップにおいて前記主要被写体領域の検出が行われた複数の画像について、前記主要被写体領域が重複する部分を第２主要被写体領域として検出する第２検出ステップと、
    前記主要被写体領域の画像に基づく第１評価値と、前記第２主要被写体領域の画像に基づく第２評価値とを算出し、前記第１評価値と前記第２評価値との少なくとも一方に基づいて、前記取得ステップにおいて取得した前記複数の画像の評価を行う評価ステップと、
    前記評価ステップにおける評価結果に基づいて、前記取得ステップにおいて取得した前記複数の画像のうち、一部の画像を選択する選択ステップと
    を備えたことを特徴とする画像処理プログラム。

Images