JP5845912B2

JP5845912B2 - 撮像装置および画像処理プログラム

Info

Publication number: JP5845912B2
Application number: JP2012006097A
Authority: JP
Inventors: 麻理杉原
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-01-16
Filing date: 2012-01-16
Publication date: 2016-01-20
Anticipated expiration: 2032-01-16
Also published as: JP2013146010A

Description

本発明は、撮像装置および画像処理プログラムに関する。

従来、カラーマッチングに関する様々な技術が考えられている。例えば、特許文献１の発明では、撮影条件や測光センサの出力から画像の観察条件を算出し、算出した観察条件を画像の付加情報として格納することにより、一般ユーザの利用する環境において観察条件パラメータ設定の自動化を図り、観察条件設定に対するユーザ負荷を軽減している。

特開２００５−３５４２３０号公報

しかし、特許文献１の発明では、画像自体の示す領域を対象として観察条件パラメータを設定するため、実際にユーザが認識する環境とは十分にマッチしない場合があった。このような場合には、設定されたパラメータを用いて、撮影シーンを再現するための画像処理を行っても、ユーザにとって望ましい結果が得られない。

本発明の撮像装置は、被写体像を撮像し、第１の画角に対応する被写体領域の画像を生成する撮像部と、前記第１の画角と異なる第２の画角に対応する被写体領域の情報を取得する取得部と、前記画像に関して、刺激、背景、周囲の少なくとも３つの領域を算出エリアとして定義し、撮影時観察パラメータを算出するとともに、前記背景および前記周囲の領域については、前記第１の画角と前記第２の画角とを比較し、比較結果に基づいて定義する算出部と、前記画像と前記撮影時観察パラメータとを関連付けて記録する記録部とを備える。

本発明の画像処理プログラムは、第１の画角に対応する被写体領域の画像と、前記第１の画角と異なる第２の画角に対応する被写体領域の情報とを取得する取得ステップと、前記画像に関して、刺激、背景、周囲の少なくとも３つの領域を算出エリアとして定義し、撮影時観察パラメータを算出するとともに、前記背景および前記周囲の領域については、前記第１の画角と前記第２の画角とを比較し、比較結果に基づいて定義する算出ステップと、前記画像と前記撮影時観察パラメータとを関連付けて記録する記録ステップとをコンピュータに実行させる。

本発明によれば、撮影シーンを再現するための処理を行う際に、ユーザが実際に認識する環境を反映した結果を得ることが可能なパラメータを算出することができる。

見え変換処理の概念図である。刺激、背景、周囲の３つの領域について説明する図である。第１実施形態の電子カメラ１の構成を示すブロック図である。撮影時の制御部１８の動作を説明するフローチャートである。撮影時の制御部１８の動作を説明するフローチャート（続き）である。撮影時の制御部１８の動作を説明するフローチャート（続き）である。撮影時の制御部１８の動作を説明するフローチャート（続き）である。ズーム量補正テーブルについて説明する図である。クロップ処理について説明する図である。撮影時の制御部１８の動作を説明するフローチャートである。撮影時の制御部１８の動作を説明するフローチャートである。撮影時の制御部１８の動作を説明するフローチャートである。

はじめに、カラーマッチングにおいて、異なる観察条件下に画像の見えを一致させるための見え変換処理について説明する。図１は、見え変換処理の概念図である。

図１に示すように、入力画像に対して、まず、ＳｃｅｎｅＣｏｌｏｒｉｍｅｔｒｙを行う。ＳｃｅｎｅＣｏｌｏｒｉｍｅｔｒｙでは、例えば、入力画像を、撮影シーンの白色点下でのＸＹＺ色空間に変換する。次に、Ａｐｐｅａｒａｎｃｅ変換を行う。Ａｐｐｅａｒａｎｃｅ変換では、観察条件に依存しない色空間にデータを変換する。一般的には、人間の色知覚モデルが用いられる。代表的な色知覚モデルとして、ＣＩＥＣＡＭ０２などがある。次に、ＯｕｔｐｕｔＣｏｌｏｒｉｍｅｔｒｙを行う。ＯｕｔｐｕｔＣｏｌｏｒｉｍｅｔｒｙでは、出力色空間の色度値（例えばｓＲＧＢ）への変換を行う。そして、Ｏｕｔｐｕｔｒｅｆｅｒｒｅｄへの変換を行う。Ｏｕｔｐｕｔｒｅｆｅｒｒｅｄへの変換では、好ましい色再現に合わせた変換や、出力デバイスの色域に合わせた変換などを行う。

これらの処理においては、入力に関する観察パラメータと、出力に関する観察パラメータとが必要となる。以下の各実施形態では、撮像により入力画像に相当する画像を生成する際に、入力に関する観察パラメータとして、撮影時観察パラメータを算出する。

上述したＣＩＥＣＡＭ０２において用いられる撮影時観察パラメータは、以下のように定義される。
１）順応白色点（Ｘｗ，Ｙｗ，Ｚｗ）
順応白色点は、順応領域の白色点を示し、より簡単には照明白色点を示す。
２）順応輝度Ｌａ［ｃｄ／ｍ＾２］
順応輝度Ｌａ［ｃｄ／ｍ＾２］は、順応領域の絶対輝度を示す。
３）周囲の明るさｃ
周囲の明るさｃは、周囲領域と順応領域との明るさの比を示す。周囲領域の明るさが順応領域の明るさ以上の場合はＡｖｅｒａｇｅに分類され、順応領域の明るさが暗くなるほどにＤｉｍ、Ｄａｒｋにそれぞれ分類される。
４）背景輝度Ｙｂ
背景輝度Ｙｂは、白色点絶対輝度の２０％を示す。

なお、上述した撮影時観察パラメータは、刺激、背景、周囲の３つの領域を算出エリアとして定義して算出される。図２に示すように、例えば、刺激は、視野角２度に対応し、背景は、刺激の外側の視野角１０度に対応し、周囲は、背景の外側に対応する。

また、撮影時観察パラメータを常に算出しても良いし、ユーザ操作などに基づいて、撮影時観察パラメータの算出の有無を切り換える構成としても良い。

＜第１実施形態＞
以下、図面を用いて本発明の第１実施形態について説明する。以下では、本発明の撮像装置の一例として、電子カメラを例に挙げて説明する。

図３は、第１実施形態の電子カメラ１の構成を示すブロック図である。

電子カメラ１は、図３に示すように、撮影レンズ部１０、ＣＣＤ等の撮像素子１１を含む撮像部１２、撮像部１２により生成された画像データに対して画像処理を施す画像処理部１３、画像を表示する液晶モニタなどを備えた表示部１４、画像を記録する記録媒体などからなる記録部１５、撮影レンズ部１０の駆動を行う光学系駆動部１６、不図示のレリーズボタンなどを有し、ユーザ操作を受け付ける操作部１７、各部を制御する制御部１８を備える。撮像部１２、画像処理部１３、記録部１５、光学系駆動部１６、制御部１８は、バスを介して相互に接続される。また、制御部１８および画像処理部１３の出力は、バスを介して表示部１４にも接続される。また、操作部１７の出力は、制御部１８に接続される。

撮影レンズ部１０は、不図示のズームレンズを備える。ズームレンズの制御は、光学系駆動部１６により行われる。撮像部１２は、撮影レンズ部１０を介した被写体像を撮像素子１１により光電変換し、さらにＡ／Ｄ変換を行って、画像データを出力する。画像処理部１３は、撮像部１０により取得された画像データに対してホワイトバランス調整、色処理、ガンマ処理などの処理を行う。また、画像処理部１３は、撮像部１０により取得された画像データや、記録部１５に記録された画像データに対して、見え変換処理などのカラーマッチングに関する処理も行う。表示部１４は、画像処理部１３により生成された画像や記録部１５に記録された画像を表示するとともに、構図確認用のスルー画像を表示することにより、ファインダーとしても利用される。制御部１８は、内部にメモリ１９を備え、各部を制御するためのプログラムを予め記憶する。そして、制御部１８は、このプログラムにしたがって各部を制御する。また、制御部１８は、操作部１７の状態を検知する。

以上説明した構成の電子カメラ１において、操作部１７により撮像指示が行われると、制御部１８はこれを検知し、撮影レンズ部１０を介した被写体像を撮像素子１１により光電変換し、さらにＡ／Ｄ変換を行う。そして、制御部１８は、画像処理部１３を介して、ホワイトバランス調整、色処理、ガンマ処理などの処理を行い、記録部１５に記録する。なお、制御部１８は、記録部１５への記録を行う際に、上述した撮影時観察パラメータを算出して同様に記録する。

以下、図４から図７のフローチャートを参照して、撮影時の制御部１８の動作を説明する。

ステップＳ１において、制御部１８は、操作部１７を介したユーザ操作により、ズーム指示が行われたか否かを判定する。ズーム指示が行われたと判定すると、制御部１８は、ステップＳ２に進む。一方、所定時間を経過してもズーム指示が行われないと判定すると、制御部１８は、後述するステップＳ４に進む。

ステップＳ２において、制御部１８は、ユーザにより行われたズーム指示の内容と、ズーム量補正テーブルとに基づいて、ズーム量を決定する。ズーム量補正テーブルとは、操作部１７を介したユーザ操作により指定されたズーム量に応じて、実際にズーム制御を行うズーム量が定められたテーブルである。このズーム量補正テーブルは、図８に示すように、ユーザ操作により指定されたズーム量を、ワイド側にシフトするためのテーブルである。このようにズーム量を決定することにより、ユーザ操作により指定されたズーム量よりも広い画角で撮影が行われるようにズーム量が決定される。なお、ズーム量補正テーブルは、予めメモリ１９に記録される。

ステップＳ３において、制御部１８は、光学系駆動部１６を制御し、ステップＳ２で決定したズーム量にしたがって、ズーム制御を行う。

ステップＳ４において、制御部１８は、撮影指示が行われたか否かを判定する。撮影指示が行われたと判定すると、制御部１８は、ステップＳ５に進む。一方、所定時間を経過しても撮影指示が行われないと判定すると、制御部１８は、ステップＳ１に戻る。

ステップＳ５において、制御部１８は、撮像部１２を制御して撮影を行う。

ステップＳ６において、制御部１８は、ステップＳ５で行った撮影により得られた画像に基づいて、注視点を推定する。なお、注視点の推定には、顔検出処理も含まれる。注視点の推定の詳細は後述する。

ステップＳ７において、制御部１８は、画像処理部１３を制御してクロップ処理を行う。画像処理部１３は、ステップＳ５で行った撮影により得られた画像から、ユーザ操作により指定されたズーム量に相当する画角の画像を切りだすクロップ処理を行う。例えば、図９Ａにおいて、枠Ｆ１で示す範囲がステップＳ５で行った撮影により得られた画像に相当する範囲であり、枠Ｆ２で示す範囲がユーザ操作により指定されたズーム量に相当する範囲である場合、枠Ｆ２をクロップ領域とし、図９Ｂに示すようにクロップ処理を行う。なお、クロップ領域の中心は、ステップＳ６で推定した注視点であっても良いし、ステップＳ５で行った撮影により得られた画像の中心であっても良い。

ステップＳ８において、制御部１８は、撮影時観察パラメータを決定する。制御部１８は、ステップＳ６で推定した注視点を刺激、クロップ領域内の注視点を除く領域を背景、クロップ領域外を周囲と定義して、撮影時観察パラメータを決定する。例えば、図９Ａの例では、図９Ｃに示すように、顔領域Ａ１（ステップＳ６で推定した注視点）を刺激とし、斜線で示す領域Ａ２（クロップ領域Ｆ２内の顔領域Ａ１を除く領域）を背景とし、さらに外側の領域Ａ３（クロップ領域Ｆ２外＝Ｆ１）を周囲として、撮影時観察パラメータを決定する。

ステップＳ９において、制御部１８は、画像処理部１３を制御して、ステップＳ７でクロップ処理を行った画像（例えば、図９Ｂ参照）に対して、見え変換処理を含む画像処理を行う。

ステップＳ１０において、制御部１８は、ステップＳ９で画像処理を施した画像を、記録部１５に記録する。ただし、制御部１８は、ステップＳ８で決定した撮影時観察パラメータと画像とを関連付けて記録する。

次に、ステップＳ６で説明した注視点の推定時の制御部１８の動作を、図５から図７のフローチャートを参照して説明する。

ステップＳ２１において、制御部１８は、シーンモードで撮影が行われたか否かを判定する。シーンモードで撮影が行われたと判定すると、制御部１８は、ステップＳ２２に進む。一方、シーンモードで撮影が行われていないと判定すると、制御部１８は、後述するステップＳ２３に進む。

シーンモードとは、「マクロモード」、「風景モード」、「ポートレートモード」などのシーンのそれぞれについて、撮影条件などが予め定められている撮影モードである。ユーザは、操作部１７を介したユーザ操作によって、何れかのシーンモードを選択することができる。

ステップＳ２２において、制御部１８は、特定のシーンモードで撮影が行われたか否かを判定する。特定のシーンモードで撮影が行われたと判定すると、制御部１８は、後述するステップＳ４１に進む。一方、特定のシーンモードで撮影が行われていないと判定すると、制御部１８は、後述するステップＳ５１に進む。

特定のシーンモードとは、主要被写体に注目して撮影が行われると推定できるシーンモードである。例えば、マクロモード、ポートレートモード、スポーツモードなどのシーンモードは、主要被写体に注目して撮影が行われる。

ステップＳ２１においてシーンモードで撮影が行われていないと判定すると、ステップＳ２３において、制御部１８は、撮影情報が記録されているか否かを判定する。撮影情報が記録されていると判定すると、制御部１８は、ステップＳ２３に進む。一方、撮影情報が記録されていないと判定すると、制御部１８は、後述するステップＳ２７に進む。撮影情報とは、焦点距離、絞り値、撮影感度、測距情報などの情報である。

ステップＳ２４において、制御部１８は、測距情報が記録されているか否かを判定する。測距情報が記録されていると判定すると、制御部１８は、ステップＳ２４に進む。一方、測距情報が記録されていないと判定すると、制御部１８は、後述するステップＳ３０に進む。

ステップＳ２５において、制御部１８は、絞り値、焦点距離、測距情報に基づいて、被写界深度を算出する。

ステップＳ２６において、制御部１８は、ステップＳ２５で算出した被写界深度が所定値よりも浅いか否かを判定する。所定値よりも浅いと判定すると、制御部１８は、後述するステップＳ４１に進む。一方、所定値よりも深いと判定すると、制御部１８は、後述するステップＳ５１に進む。

ステップＳ２３において撮影情報が記録されていないと判定すると、ステップＳ２７において、制御部１８は、ボケ分布量を算出する。制御部１８は、ステップＳ５で行った撮影により得られた画像から高周波成分を抽出し、エッジを検出することによりボケ分布量を算出する。

ステップＳ２８において、制御部１８は、ステップＳ２７で算出したボケ分布量に基づいて、被写界深度を推定する。

ステップＳ２９において、制御部１８は、ステップＳ２８で推定した被写界深度が所定値よりも浅いか否かを判定する。所定値よりも浅いと判定すると、制御部１８は、後述するステップＳ４１に進む。一方、所定値よりも深いと判定すると、制御部１８は、後述するステップＳ５１に進む。

ステップＳ２４において測距情報が記録されていないと判定すると、ステップＳ３０において、制御部１８は、ステップＳ５で行った撮影により得られた画像の画角を算出する。

ステップＳ３１において、制御部１８は、ステップＳ３０で算出した画角が所定値よりも狭いか否かを判定する。所定値よりも狭いと判定すると、制御部１８は、後述するステップＳ４１に進む。一方、所定値よりも広いと判定すると、制御部１８は、後述するステップＳ５１に進む。

ステップＳ４１において、制御部１８は、主要被写体に注目していると判定する。すなわち、特定のシーンモードで撮影が行われた場合、被写界深度が所定値よりも浅い場合、画角が所定値よりも狭い場合には、主要被写体に注目していると判定する。

ステップＳ４２において、制御部１８は、ステップＳ５で行った撮影により得られた画像に対して顔検出を行う。

ステップＳ４３において、制御部１８は、ステップＳ４２で行った顔検出により顔が検出されたかを判定する。顔が検出されたと判定すると、制御部１８は、ステップＳ４４に進む。一方、顔が検出されないと判定すると、制御部１８は、後述するステップＳ４５に進む。

ステップＳ４４において、制御部１８は、注視点＝ステップＳ４２で検出した顔部分とする。

ステップＳ４５において、制御部１８は、注視点＝ＡＦ合焦点とする。

ステップＳ５１において、制御部１８は、広い範囲に注目していると判定する。すなわち、特定のシーンモードで撮影が行われていない場合、被写界深度が所定値よりも深い場合、画角が所定値よりも広い場合には、広い範囲に注目していると判定する。

ステップＳ５２において、制御部１８は、注視点＝最終画像の範囲とする。

以上説明したように、第１実施形態によれば、被写体像を撮像し、第１の画角に対応する被写体領域の画像を生成するとともに、第１の画角と異なる第２の画角に対応する被写体領域の情報を取得する。そして、生成した画像に関して、刺激、背景、周囲の少なくとも３つの領域を算出エリアとして定義し、撮影時観察パラメータを算出するとともに、背景および周囲の領域については、第１の画角と第２の画角とを比較し、比較結果に基づいて定義する。そして、生成した画像と撮影時観察パラメータとを関連付けて記録する。そのため、ユーザの知覚にマッチした撮影時観察パラメータを高精度かつ自動に決定することができる。したがって、撮影シーンを再現するための画像処理を行う際に、ユーザの意図を反映させるとともに、ユーザが実際に認識する環境を反映した結果を得ることが可能なパラメータを算出することができる。

また、第１実施形態によれば、第１の画角を設定するユーザ操作を受け付ける受付部を備え、ユーザ操作により設定された第１の画角よりも広い画角で撮像を行い、生成した第２の画像から第１の画角に対応する部分を切り出して、第１の画角に対応する被写体領域の画像を生成する。そして、撮像により生成した第２の画像から、第２の画角に対応する被写体領域の情報を取得するとともに、第１の画角に対応する被写体領域の画像と撮影時観察パラメータとを関連付けて記録する。したがって、記録する画像と、撮影時観察パラメータの算出に用いる情報との両方を、１回の撮影で得ることができる。

また、第１実施形態によれば、第２の画角に対応する被写体領域の情報として、ユーザの視野角に対応する被写体領域の情報を取得する。したがって、ユーザが実際に認識する環境を適切に反映した結果を得ることが可能なパラメータを算出することができる。

また、第１実施形態によれば、撮像時の撮影条件に基づいて、ユーザの注視点を推定し、注視点を基準として、撮影時観察パラメータを算出する。したがって、画像に含まれる被写体に応じて、最適な撮影時観察パラメータを算出することができる。

なお、第１実施形態において、電子カメラ１がクロップ処理のオン、オフを自動または手動で切り替え可能なクロップモードを備える場合には、クロップ処理がオンである場合には、常に第１実施形態で説明した処理を行う構成としても良い。

＜第２実施形態＞
以下、図面を用いて本発明の第２実施形態について説明する。第２実施形態は、第１実施形態の変形例である。そのため、以下では、第１実施形態と異なる部分についてのみ説明する。また、第１実施形態と同様の部分については、第１実施形態と同様の符号を用いて説明する。

第２実施形態は、第１実施形態で説明したクロップ処理を行う代わりに、撮影を２回行う実施例である。

以下、図１０のフローチャートを参照して、撮影時の制御部１８の動作を説明する。

ステップＳ６１において、制御部１８は、撮影指示が行われたか否かを判定する。撮影指示が行われるまで待機し、撮影指示が行われたと判定すると、制御部１８は、ステップＳ６２に進む。なお、撮影指示が行われるまでの間に、操作部１７を介したズーム指示が行われた場合には、公知技術と同様に、ズーム指示にしたがってズーム制御を行う（第１実施形態で説明したようなズーム量の補正は行わない）。

ステップＳ６２において、制御部１８は、撮像部１２を制御して撮影を行う。

ステップＳ６３において、制御部１８は、第１実施形態で説明したズーム量補正テーブルに基づいて、ズーム量を決定する。ただし、ここでのズーム量補正テーブルとは、ステップＳ６２で撮影を行った際よりも、画角をワイド側にシフトするためのテーブルである。このようにズーム量を決定することにより、ステップＳ６２で撮影を行った際よりも広い画角で撮影が行われるようにズーム量が決定される。

ステップＳ６４において、制御部１８は、光学系駆動部１６を制御し、ステップＳ６３で決定したズーム量にしたがって、ズーム制御を行う。

ステップＳ６５において、制御部１８は、撮像部１２を制御して２回目の撮影を行う。なお、図９の例を当てはめると、ステップＳ６２の１回目の撮影では、図９Ｂに示した画像が生成され、ステップＳ６５の２回目の撮影では、図９Ａに示した画像が生成されることになる。

ステップＳ６６において、制御部１８は、図４のフローチャートのステップＳ６と同様に、注視点を推定する。

ステップＳ６７において、制御部１８は、図４のフローチャートのステップＳ８と同様に、撮影時観察パラメータを決定する。ただし、制御部１８は、ステップＳ６６で推定した注視点を刺激、ステップＳ６２の１回目の撮影により得られた画像内の注視点を除く領域を背景、ステップＳ６５の２回目の撮影により得られた画像からステップＳ６２の１回目の撮影により得られた画像を除いた領域を周囲と定義して、撮影時観察パラメータを決定する。

ステップＳ６８において、制御部１８は、画像処理部１３を制御して、ステップＳ６２の１回目の撮影により得られた画像に対して、見え変換処理を含む画像処理を行う。

ステップＳ６９において、制御部１８は、ステップＳ６８で画像処理を施した画像を、記録部１５に記録する。ただし、制御部１８は、ステップＳ６７で決定した撮影時観察パラメータと画像とを関連付けて記録する。

以上説明したように、第２実施形態によれば、第１の画角で撮像を行って画像を生成するとともに、第２の画角で撮像を行って第２の画像を生成し、第２の画像から、第２の画角に対応する被写体領域の情報を取得する。したがって、クロップ処理を行うことなく、第１実施形態と同様の効果を得ることができる。

＜第３実施形態＞
以下、図面を用いて本発明の第３実施形態について説明する。第３実施形態は、第１実施形態の変形例である。そのため、以下では、第１実施形態と異なる部分についてのみ説明する。また、第１実施形態と同様の部分については、第１実施形態と同様の符号を用いて説明する。

第３実施形態は、第１実施形態で説明したクロップ処理を行う代わりに、環境光を取得するセンサを備える実施例である。第３実施形態の電子カメラは、第１実施形態で説明した電子カメラ１の各構成に加えて、撮像素子１１とは独立に環境光センサを備える。環境光センサは、撮影時の環境情報を取得するためのセンサであり、人間の視野角と略同様の固定された画角を有するセンサである。環境光センサは、撮影時の環境情報を取得することができれば、電子カメラのどの部分に備えられても良い。また、測光センサなどを兼用したセンサであっても良い。

以下、図１１のフローチャートを参照して、撮影時の制御部１８の動作を説明する。

ステップＳ７１において、制御部１８は、撮影指示が行われたか否かを判定する。撮影指示が行われるまで待機し、撮影指示が行われたと判定すると、制御部１８は、ステップＳ７２に進む。なお、撮影指示が行われるまでの間に、操作部１７を介したズーム指示が行われた場合には、公知技術と同様に、ズーム指示にしたがってズーム制御を行う（第１実施形態で説明したようなズーム量の補正は行わない）
ステップＳ７２において、制御部１８は、撮像部１２を制御して撮影を行う。

ステップＳ７３において、制御部１８は、図４のフローチャートのステップＳ６と同様に、注視点を推定する。

ステップＳ７４において、制御部１８は、環境光センサの出力を取得する。

ステップＳ７５において、制御部１８は、ステップＳ７２の撮影を行った際の画角と、環境光センサの画角とを比較する。

ステップＳ７６において、制御部１８は、ステップＳ７５において行った比較の結果に基づいて、撮影時観察パラメータを決定する。

ステップＳ７２の撮影を行った際の画角をθ_Ａとし、環境光センサの画角をθ_Ｂとする。そして、θ_Ａ≧θ_Ｂである場合には、制御部１８は、ステップＳ７３で推定した注視点を刺激、環境光センサの画角θ_Ｂに相当する領域を背景、ステップＳ７２の撮影により得られた画像から環境光センサの画角θ_Ｂに相当する領域を除いた領域を周囲と定義して、撮影時観察パラメータを決定する。

一方、θ_Ａ＜θ_Ｂである場合には、制御部１８は、ステップＳ７３で推定した注視点を刺激、ステップＳ７２の撮影により得られた画像に相当する領域を背景、環境光センサの画角θ_Ｂに相当する領域からステップＳ７２の撮影により得られた画像に相当する領域を除いた領域を周囲と定義して、撮影時観察パラメータを決定する。

ステップＳ７７において、制御部１８は、画像処理部１３を制御して、ステップＳ７２の撮影により得られた画像に対して、見え変換処理を含む画像処理を行う。

ステップＳ７８において、制御部１８は、ステップＳ７７で画像処理を施した画像を、記録部１５に記録する。ただし、制御部１８は、ステップＳ７６で決定した撮影時観察パラメータと画像とを関連付けて記録する。

以上説明したように、第３実施形態によれば、ユーザの視野角に対応する被写体領域の情報を検出する検出部を備え、検出部による検出結果から、第２の画角に対応する被写体領域の情報を取得する。したがって、クロップ処理を行うことなく、第１実施形態と同様の効果を得ることができる。

＜第４実施形態＞
以下、図面を用いて本発明の第４実施形態について説明する。第４実施形態は、第１実施形態と第３実施形態とを組み合わせた変形例である。そのため、以下では、第１実施形態および第３実施形態と同様の部分については、第１実施形態と同様の符号を用いて説明する。

以下、図１２のフローチャートを参照して、撮影時の制御部１８の動作を説明する。

ステップＳ８１からステップＳ８６において、制御部１８は、図４のステップＳ１からステップＳ６と同様の処理を行う。

ステップＳ８７において、制御部１８は、ズーム量を補正したか否かを判定する。ステップＳ８２においてズーム量を補正したと判定すると、制御部１８は、ステップＳ８８に進む。一方、ズーム量を補正していないと判定すると、制御部１８は、後述するステップＳ９０に進む。ズーム量を補正するか否かは、撮影レンズ部１０のレンズが単焦点レンズであるか否かや、ズーム操作の有無などに依存する。

ステップＳ８８およびステップＳ８９において、制御部１８は、図４のステップＳ７およびステップＳ８と同様の処理を行う。

ステップＳ９０からステップＳ９２において、制御部１８は、図１１のステップＳ７４からステップＳ７６と同様の処理を行う。

ステップＳ９３およびステップＳ９４において、制御部１８は、図４のステップＳ９およびステップＳ１０と同様の処理を行う。

以上説明したように、第４実施形態によれば、撮影の条件などに応じて最適な撮影時観察パラメータを算出することができる。

なお、第４実施形態では、第１実施形態と第３実施形態とを組み合わせた処理を例に挙げて説明したが、他の組み合わせであっても良い。例えば、第２実施形態と第３実施形態とを組み合わせた処理を行っても良い。

また、第３実施形態および第４実施形態では、撮像素子１１とは独立に環境光センサを備える例を挙げて説明したが、本発明はこの例に限定されない。例えば、撮像素子１１の撮像領域の外周に沿って、環境光センサに相当する受光領域を設ける構成としても良い。

また、上記各実施形態で説明した注視点の推定方法は一例であり、本発明はこの例に限定されない。例えば、視線検出センサなどを用いて注視点の推定を行っても良い。

また、コンピュータと画像処理プログラムとにより、上記各実施形態で説明した画像処理装置をソフトウェア的に実現しても良い。この場合、図４のフローチャートで説明したステップＳ６以降の処理の一部または全部をコンピュータで実現する構成とすれば良い。または、図１０のフローチャートで説明したステップＳ６６以降の処理の一部または全部をコンピュータで実現する構成とすれば良い。または、図１１のフローチャートで説明したステップＳ７３以降の処理の一部または全部をコンピュータで実現する構成とすれば良い。または、図１２のフローチャートで説明したステップＳ８６以降の処理の一部または全部をコンピュータで実現する構成とすれば良い。コンピュータで実現するためには、画像データとともに、ズーム量の補正やクロップ処理の有無や、環境光センサの出力を示す情報などをコンピュータに供給すれば良い。このような情報は画像データのＥＸＩＦ情報などを利用して供給することができる。このような構成とすることにより、本実施形態と同様の処理を実施することが可能になる。

１…電子カメラ，１０…撮影レンズ部，１２…撮像部，１３…画像処理部，１６…光学系駆動部，１８…制御部

Claims

被写体像を撮像し、第１の画角に対応する被写体領域の画像を生成する撮像部と、
前記第１の画角と異なる第２の画角に対応する被写体領域の情報を取得する取得部と、
前記画像に関して、刺激、背景、周囲の少なくとも３つの領域を算出エリアとして定義し、撮影時観察パラメータを算出するとともに、前記背景および前記周囲の領域については、前記第１の画角と前記第２の画角とを比較し、比較結果に基づいて定義する算出部と、
前記画像と前記撮影時観察パラメータとを関連付けて記録する記録部と
を備えることを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記第１の画角を設定するユーザ操作を受け付ける受付部を備え、
前記撮像部は、前記ユーザ操作により設定された前記第１の画角よりも広い画角で撮像を行い、生成した第２の画像から前記第１の画角に対応する部分を切り出して、前記第１の画角に対応する被写体領域の画像を生成し、
前記取得部は、前記撮像部により生成した前記第２の画像から、前記第２の画角に対応する被写体領域の情報を取得し、
前記記録部は、前記第１の画角に対応する被写体領域の画像と前記撮影時観察パラメータとを関連付けて記録する
ことを特徴とする撮像装置。
請求項１又は請求項２に記載の撮像装置において、
ユーザの視野角に対応する被写体領域の情報を検出する検出部を備え、
前記取得部は、前記検出部による検出結果から、前記第２の画角に対応する被写体領域の情報を取得する
ことを特徴とする撮像装置。
請求項１から請求項３のいずれか一項に記載の撮像装置において、
前記撮像部は、前記第１の画角で撮像を行って前記画像を生成するとともに、前記第２の画角で撮像を行って第２の画像を生成し、
前記取得部は、前記撮像部により生成した前記第２の画像から、前記第２の画角に対応する被写体領域の情報を取得する
ことを特徴とする撮像装置。
請求項１から請求項４のいずれか一項に記載の撮像装置において、
前記取得部は、前記第２の画角に対応する被写体領域の情報として、ユーザの視野角に対応する被写体領域の情報を取得する
ことを特徴とする撮像装置。
請求項１から請求項５のいずれか一項に記載の撮像装置において、
前記算出部は、前記撮像部による撮像時の撮影条件に基づいて、ユーザの注視点を推定し、前記注視点を基準として、前記撮影時観察パラメータを算出する
ことを特徴とする撮像装置。
第１の画角に対応する被写体領域の画像と、前記第１の画角と異なる第２の画角に対応する被写体領域の情報とを取得する取得ステップと、
前記画像に関して、刺激、背景、周囲の少なくとも３つの領域を算出エリアとして定義し、撮影時観察パラメータを算出するとともに、前記背景および前記周囲の領域については、前記第１の画角と前記第２の画角とを比較し、比較結果に基づいて定義する算出ステップと、
前記画像と前記撮影時観察パラメータとを関連付けて記録する記録ステップと
をコンピュータに実行させることを特徴とする画像処理プログラム。