JP7618635B2 - 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体に関する。

光軸方向におけるピント位置が異なる複数の画像を撮像（フォーカスブラケット撮像）し、それぞれの画像の合焦領域を抽出して、被写界深度を拡大した画像を合成する、いわゆる深度合成の技術が知られている。ユーザが意図する深度合成画像を生成するには、適切な被写界深度を設定することが求められる。特許文献１には、ユーザが画面上で任意の範囲を指定し、ユーザにより指定された範囲の距離情報に基づいて合成画像を生成する方法が開示されている。

特開２０１６－３９６１３号公報

特許文献１に開示された方法では、ユーザの操作なしでは、深度合成の範囲などの深度合成に関する設定を行うことができない。

そこで本発明は、ユーザの操作がなくても、深度合成に関する設定を行うことが可能な画像処理装置を提供することを目的とする。

本発明の一側面としての画像処理装置は、レンズ情報を取得する取得手段と、前記レンズ情報に対応するレンズを用いて撮影されたピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成手段と、前記複数の画像とは異なる画像から主被写体を検出する検出手段と、を有し、前記合成手段は、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成し、前記検出手段が前記主被写体を検出していない場合、前記合成手段は、前記撮影倍率に関する情報に基づいて前記複数の画像を合成する。
本発明の一側面としての画像処理装置は、レンズ情報を取得する取得手段と、前記レンズ情報に対応するレンズを用いて撮影されたピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成手段と、前記複数の画像とは異なる画像に動体があるか否かを判定する動体判定手段と、を有し、前記合成手段は、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成し、前記動体判定手段が、前記動体があると判定した場合、前記合成手段は、前記複数の画像を合成しない。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、ユーザの操作がなくても、深度合成に関する設定を行うことが可能な画像処理装置を提供することができる。

各実施形態における撮像装置のブロック図である。 第１実施形態における深度合成画像の説明図である。 第１実施形態における深度合成の処理を示すフローチャートである。 第１実施形態における主被写体の検出の一例の説明図である。 第１実施形態における背景領域の検出の一例の説明図である。 第２実施形態における深度合成の処理を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（第１実施形態）
まず、図１を参照して、本発明の第１実施形態における撮像装置（画像処理装置）１００について説明する。図１は、撮像装置１００のブロック図である。なお本実施形態において、撮像装置１００はデジタルカメラであるが、これに限定されるものではなく、携帯機器やネットワークカメラなど、撮像素子を備えて画像を取得可能な他の装置でもよい。

撮像装置１００は、シャッター１０１、バリア１０２、フォーカスレンズ１０３、および撮像部２２を含む撮像系を備える。なお撮像装置１００において、カメラ本体とレンズ装置とが一体型に構成されているか、またはカメラ本体に対してレンズ装置が着脱可能に構成されていてもよい。

シャッター１０１は、絞り機能を備えるシャッターである。バリア１０２は、撮像装置１００の撮像系を覆うことにより、撮像系の汚れや破損を防止する。フォーカスレンズ１０３は、シャッター１０１およびバリア１０２の間に配置される不図示のレンズ群に含まれるレンズである。なお、前述するレンズ群には、ズームレンズ等、他のレンズも存在する。撮像部２２は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子、およびＡ／Ｄ変換処理機能を備えている。撮像部２２の出力データ（撮像画像）は、画像処理部２４およびメモリ制御部１５を介して、またはメモリ制御部１５を介してメモリ３２に直接書き込まれる。後述するフォーカスブラケット撮像の際には、設定枚数分の撮像画像が全てメモリ３２に書き込まれる。

撮像装置１００は、ＡＦ評価値検出部（検出手段）２３、ストロボ９０、画像処理部２４、深度合成部（合成手段）２５、動き検知部（動体判定手段）２６、状態検出部２７、メモリ３２、Ｄ／Ａ変換器１３、および表示部２８を備える。また撮像装置１００は、不揮発性メモリ５６、システム制御部５０、システムメモリ５２、およびシステムタイマー５３を備える。ＡＦ評価値検出部２３は、撮像部２２の内部に設けられており、デジタル画像信号から得られるコントラスト情報などからＡＦ評価値を算出し、得られたＡＦ評価値を撮像部２２からシステム制御部５０に出力する。ストロボ９０は、撮像時に発光させることにより低照度シーンでの撮像や逆光シーンでの撮像時に照度を補うことができる。

画像処理部２４は、撮像部２２から出力される画像データ、または、メモリ制御部１５からの画像データに対し所定の画素補間、縮小等のリサイズ処理および色変換処理を行う。また画像処理部２４は、撮像した画像データを用いて所定の演算処理を行う。システム制御部５０は、得られた演算結果に基づいて、露光制御および測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュ自動調光発光）処理が行われる。また画像処理部２４は、ＡＦ（オートフォーカス）処理を行う。このとき、撮像部２２に設けられたＡＦ評価値検出部２３の出力が用いられることもある。また画像処理部２４は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

深度合成部２５は、撮像部２２においてフォーカスブラケット撮像によって得られた複数枚の撮像画像を用いて、各画像内においてピントの合っている画素を出力することにより、被写界深度が拡大された画像を生成する。なお、この詳細については後述する。

動き検知部２６は、２枚の画像データを用い、注目領域とその周辺とでテンプレートマッチング処理を行い、画像を複数領域に分割した領域ごと、または画素ごとに動きベクトルを算出する。算出した動きベクトルが閾値以上である場合、動き検知部２６は、被写体に動きがある（動体がある）と判定し、システム制御部５０へ通知する。状態検出部２７は、ジャイロセンサによる角速度や、三脚の着脱状態、操作部７０を介したユーザによる設定内容など、撮像装置１００の状態検出を行う。状態検出部２７は、検出した結果をシステム制御部５０へ通知する。

メモリ３２は、撮像部２２によって取得およびＡ／Ｄ変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。これにより、メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１３を介して表示部２８に表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。撮像部２２で一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示（ライブビュー）を行うことができる。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばフラッシュメモリ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムは、例えば、後述する各種フローチャートを実行するためのプログラムを含む。

システム制御部５０は、撮像装置１００全体を制御する。具体的には、システム制御部５０は、前述した不揮発性メモリ５６に記録されたプログラムを実行することで、被写体情報、被写体距離、および、画像のコントラスト情報に基づくフォーカスブラケット撮像を実現する。すなわちシステム制御部５０は、撮像の間、フォーカスレンズ１０３およびシャッター１０１の駆動制御を行うことで、ピント位置が異なる複数の画像を順次撮像する。なお、撮像処理で得られる隣接する撮像画像間のピント位置変化量（フォーカスステップ）は、システム制御部５０にて算出される値から設定される。

システムメモリ５２は、ＲＡＭ等により構成され、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読出したプログラム等を展開する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、および表示部２８等を制御することにより表示制御を行う。システムタイマー５３は、各種制御に用いる時間、または内蔵された時計の時間を計測する計時部である。

撮像装置１００は、また、モード切替スイッチ６０、シャッターボタン６１、第１シャッタースイッチ６４、第２シャッタースイッチ６２、操作部７０、電源スイッチ７２からなる、システム制御部５０に各種の動作指示を入力するための操作手段を備える。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮像モード、オートシーン判別モード、マニュアルモード、撮像シーン別の撮像設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、静止画撮像モードに含まれるこれらのモードのいずれかに直接切り替えられる。または、モード切替スイッチ６０で静止画撮像モードに一旦切り換えた後に、静止画撮像モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮像モードにも複数のモードが含まれていてもよい。

シャッターボタン６１は、撮像指示を行うための操作部である。第１シャッタースイッチ６４は、シャッターボタン６１の操作途中、いわゆる半押しでＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュ自動調光発光）処理等の動作を開始する。つまり、システム制御部５０の制御のもとで、撮像のためのパラメータを取得する。なおユーザは、信号ＳＷ１を受けて開始するＡＦ処理として中央１点ＡＦ処理や顔ＡＦ処理を選択することが可能である。ここで、中央１点ＡＦ処理とは撮像画面内の中央位置１点に対してＡＦを行う処理を指し、顔ＡＦ処理とは顔検出機能によって検出された撮像画面内の顔に対してＡＦを行う処理を指す。第２シャッタースイッチ６２は、シャッターボタン６１の操作完了、いわゆる全押し（撮像指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読出しから記録媒体２００に画像データを書き込むまでの一連の撮像処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作すること等により、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。電源スイッチ７２は、撮像装置１００の電源オン、電源オフを切り替える。

撮像装置１００は、電源制御部８０、電源部４０、および記録媒体Ｉ／Ｆ１８を備える。電源制御部８０は、電池検出回路、ＤＣ－ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また電源制御部８０は、その検出結果およびシステム制御部５０の指示に基づいてＤＣ－ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源部４０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮像された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

なおフォーカスブラケット撮像とは、フォーカスレンズ１０３を動かして、所望のピント位置に移動させてから撮像部２２の露光、読出しを実行する撮像をいう。

次に、図２を参照して、撮像装置１００における深度合成処理の基本的な動作について説明する。図２は、本実施形態における深度合成画像の説明図であり、深度合成画像をライブビューした際の表示部２８に表示される表示画像の例を示す。

位置２０１はＡＦ枠で明示されたフォーカスブラケット撮像の至近側ピント位置、位置２０２は無限遠側ピント位置、位置２０３は被写体（昆虫）である。表示部２８に表示されるのは、至近側ピント位置２０１を示すＡＦ枠および被写体２０３である。ユーザが操作部７０を操作し、表示部２８に表示された画像上における基準ピント位置を指定する。または、ＡＦ評価値検出部２３により検出された被写体に対し、自動で基準ピント位置を指定してもよい。図２においては、被写体２０３の最も至近側の箇所を基準ピント位置として指定されたものとする。これにより、システム制御部５０は、指定された基準ピント位置を、フォーカスブラケット撮像の至近側ピント位置２０１と認識し、至近側ピント位置２０１にＡＦ枠を表示する。

至近側ピント位置２０１が決定されると、Ｚ軸方向（奥行き方向）に、フォーカスステップの設定に応じたフォーカス間隔、および、撮像回数によって、フォーカスブラケット撮像が終了するピント位置、すなわち、無限遠側ピント位置２０２が決定される。図２においては、被写体２０３の全体が、至近側ピント位置２０１から無限遠側ピント位置２０２で示すフォーカス範囲に収まるものとする。また、１枚の深度合成画像を生成するための撮像回数は１０回として図示しており、深度合成部２５は１０枚の撮像画像を用いて深度合成処理を施すものとする。

次に、図３を参照して、本実施形態における深度合成の処理について説明する。図３は、本実施形態における深度合成の処理を示すフローチャートである。

まずステップＳ３０１において、システム制御部５０は、撮像部２２がライブビューで撮像した画像に対し、シーン判定を行う。なお、シーン判定の具体的な方法については後述する。

続いてステップＳ３０２において、システム制御部（取得手段）５０は、フォーカスレンズ１０３を含むレンズ（光学系）に関する情報（レンズ情報）を取得し、レンズ情報に基づいてマクロ撮影判定を行う。マクロ撮影とは、小さい被写体を大きく写す撮影方法であり、被写体に接近して撮影する。したがって、撮影倍率は大きく、撮影距離は短くなり、被写界深度は浅くなる傾向にある。マクロ撮影の場合、被写界深度が浅くなり、撮影したい被写体にピントが合っている領域が少なくなる。このため、被写体のより広い範囲にピントが合っている画像を深度合成によって生成するため、予めマクロ撮影か否かを判定する。レンズ情報は、不図示のレンズ通信部を介して、システム制御部５０がレンズと通信することで取得する。レンズ情報は、レンズのＩＤまたは撮影倍率に関する情報（撮影倍率の数値そのもの、または撮影倍率に相当する特定の情報）などを含む。マクロ撮影判定において、例えば、レンズのＩＤが特定の接写専用レンズのＩＤ（特定のレンズ情報）である場合、またはレンズ情報から算出された撮影倍率が一定の閾値以上である場合、マクロ撮影であると判定する。撮影倍率は、レンズ情報からシステム制御部５０が演算により算出してもよいし、レンズ情報として撮影倍率を直接取得してもよい。

続いてステップＳ３０３において、システム制御部５０は、ステップＳ３０１のシーン判定結果およびステップＳ３０２のマクロ撮影判定結果を用いて、深度合成の機能を有効にするか否かを判定する。深度合成の機能を有効にすると判定された場合、ステップＳ３０４に進む。一方、深度合成機能を有効にしないと判定された場合、ステップＳ３０７に進む。ステップＳ３０４において、システム制御部５０は複数箇所のピント位置を設定する。ステップＳ３０７において、システム制御部５０は、１箇所のピント位置を設定する。

詳しくは後述するが、システム制御部５０は、シーン判定処理（ステップＳ３０１）にて主に主被写体および背景の重要度を画像解析によって求め、得られた重要度に基づいて深度合成を実施する（有効にする）か否かを判定する。これにより、主被写体のみにピントの合った画像を生成し、また、背景のランドマークにピントの合った画像を生成することができる。しかし、マクロ撮影のように被写界深度が浅く、ピントの合いづらい撮影であることを、画像解析のみで判定することは困難である。そこでマクロ撮影判定処理（ステップＳ３０２）にて、システム制御部５０は、レンズ情報の解析によりピントの合いにくい撮影であることを判定し、その判定結果に基づいて深度合成を実施する。これにより、より幅広い撮影シーンにおいて適切な深度コントロールを実現することが可能となる。

ステップＳ３０４において、システム制御部５０は、深度合成のための撮像のピント位置および回数を決定する。またシステム制御部５０は、露光制御値に応じてフォーカスステップを設定し、ピント位置数を変更してもよい。これは、露光時間増加に伴う、撮影時間および手ブレ量増加に対し、撮影枚数を減らすことで、処理時間短縮およびブレ量削減することを目的とする処理である。またシステム制御部５０は、状態検出部２７で検出した三脚の着脱状態に応じて、ピント位置数変更を実施するか否かを決定してもよい。

続いてステップＳ３０５において、システム制御部５０は、フォーカスレンズ１０３やシャッター１０１の駆動制御を行うことで、撮像部２２はステップＳ３０４で設定された複数の異なるピント位置の画像を順次撮像する。続いてステップＳ３０６において、深度合成部（合成手段）２５は、ステップＳ３０５にて撮像された複数の画像（撮像画像）を用いて、被写界深度が拡大された画像（合成画像）を生成する。すなわち深度合成部２５は、ピント位置が互いに異なる複数の画像を合成して、複数の画像よりも被写界深度が深い合成画像を生成する。このとき深度合成部２５は、複数の画像のそれぞれの合焦領域を抽出して、合成画像を生成する。

ステップＳ３０８において、システム制御部５０は、フォーカスレンズ１０３やシャッター１０１の駆動制御を行うことで、撮像部２２はステップＳ３０７で設定されたピント位置にて画像を撮像する。

次に、ステップＳ３０６における深度合成の処理について詳述する。なお、本実施形態における深度合成の処理は、公知の技術を用いてもよく、例えば以下のように行われる。

まず、画像処理部２４は、深度合成の対象の画像に対して、位置合わせを行う。画像処理部２４は、深度合成の対象の複数の画像のうちの１枚である基準画像に、複数のブロックを設定する。画像処理部２４は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、画像処理部２４は、位置合わせの対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲を設定する。最後に、画像処理部２４は、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が最小となる対応点を算出する。画像処理部２４は、基準画像のブロックの中心と前述した対応点から、位置のずれをベクトルとして算出する。画像処理部２４１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）や正規化相互相関（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）などを用いてもよい。

次に、画像処理部２４は、基準画像と対象画像との位置のずれ量から変換係数を算出する。画像処理部２４は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

例えば、画像処理部２４は、以下の（式１）を用いて変形を行うことができる。

（式１）において、（ｘ´，ｙ´）は変形を行った後の座標を示し、（ｘ，ｙ）は変形を行う前の座標を示す。行列Ａは変形係数を示す。

位置合わせの後に、深度合成部２５は、位置合わせの後の画像に対してコントラスト値を算出する。コントラスト値の算出方法としては、例えば、まず、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂを用いて、以下の（式２）により輝度Ｙを算出する。

Ｙ＝０．２９９Ｓｒ＋０．５８７Ｓｇ＋０．１１４Ｓｂ ・・・（式２）
次に、３×３の画素の輝度Ｙの行列Ｌに、以下の（式３）乃至（式５）に示されるように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

また、上述のコントラスト値の計算方法は一例にすぎず、例えば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

次に、深度合成部２５は合成マップを生成する。合成マップの生成方法としては、深度合成部２５は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。

具体的な算出方法の一例を以下に示す。深度合成部２５は、コントラスト値Ｃｍ（ｘ，ｙ）を用いて合成マップＡｍ（ｘ，ｙ）を生成する。なお、ｍはピント位置の異なる複数画像のうちｍ番目の画像、ｘは画像の水平座標、ｙは垂直座標を示している。合成マップの生成方法としては、深度合成部２５は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。具体的に、同じ位置にある画像のうち、コントラスト値の最も大きい画素に対して１００％の合成比率を与え、同じ位置にある他の画素に対して０％の合成比率を与える。つまり、以下の（式６）が成り立つ。

ただし、境界部が不自然にならないように合成比率を適宜調整する必要がある。その結果、１枚の画像における合成マップの合成比率は、０％と１００％との二値化のものでなく、連続的に変化するものになる。

深度合成部２５７は、算出した合成マップに従い、撮像された画像を合成した全焦点画像О（ｘ，ｙ）を生成する。撮像された元の画像をＩｍ（ｘ，ｙ）とすると、以下の（式７）で表されるように画像が生成される。

以上は、ステップＳ３０６における深度合成の処理の一例についての説明である。

次に、図４を参照して、ステップＳ３０１のシーン判定について説明する。本実施形態では、一例としてライブビュー画像から顔を主被写体として検出し、顔の位置、大きさ、数などに基づいてシーン判定を行う場合を説明する。図４は、本実施形態における主被写体の検出の一例の説明図である。まずＡＦ評価値検出部２３は、顔（主被写体）を検出する。続いてシステム制御部５０は、ＡＦ評価値検出部２３にて検出した顔の位置による重要度４０１、顔の画角を占める割合による重要度４０２、顔の数による重要度４０３を算出する。具体的には、システム制御部５０は重要度４０１において、顔中心位置４０４と画角の中心４０５との距離に負相関する値を設定してもよい。システム制御部５０は、重要度４０２において、画角４０６を占める顔４０７の割合に正相関する値を設定してもよい。システム制御部５０は、重要度４０３において、顔の数に正相関あるいは負相関する値を設定してもよい。

主被写体の重要度が所定の閾値よりも高い場合、システム制御部５０は、深度合成を実施すると判定する。システム制御部５０は、深度合成を実施すると判定した場合、主被写体（顔）にピント位置を置くように決定し、主被写体に合焦し、背景にボケ味のある合成画像を生成することできる。一方、システム制御部５０は、深度合成を実施しないと判定した場合、背景まで被写界深度に入るような深い被写界深度を有する画像１枚だけ撮像する。

主被写体の顔が検出されない場合、システム制御部５０はステップＳ３０２のマクロ撮影判定の結果を参照し、マクロ撮影と判定されていれば深度合成を実施すると判定する。前述したように、マクロ撮影の場合には、被写界深度が浅くなり、撮影したい被写体にピントが合っている領域が少なくなる傾向にある。この場合でも、深度合成を実施することにより、被写体のより広い範囲にピントが合っている合成画像を生成することができる。なお以上の説明においては、主被写体が顔であることを前提に説明したが、これに限定されるものではない。

また、ステップＳ３０１において、システム制御部５０は、ＡＦ評価値検出部２３にて検出した主被写体以外の領域を、背景領域として演算する。図５（ａ）、（ｂ）は、本実施形態における背景領域の検出の一例の説明図であり、図５（ａ）は屋外の画像５０１、図５（ｂ）は屋内の画像５０３をそれぞれ示す。

システム制御部５０は、背景領域にピントを合わせた画像を取得し、背景領域の重要度を算出する。背景の重要度が所定の閾値よりも低いと判定された場合、システム制御部５０は、深度合成を実施する（有効にする）と判定する。例えば、図５（ａ）の画像５０１において、システム制御部５０は、ＡＦ評価値検出部２３が背景領域内にて被写体５０２を検出した場合に背景の重要度を上げる。図５（ａ）の画像５０１および図５（ｂ）の画像５０３のそれぞれに対して、システム制御部５０は、画像処理部２４で得られた露光制御値および測距制御値の演算結果に従って屋外か否かを判定する。屋外の画像の場合、背景の重要度を上げてもよい。屋外の画像の場合、特に背景にランドマークが存在する場合、ランドマークにも合成させるため、１枚の被写界深度の深い画像を撮像することが好ましい。屋外の場合は背景の重要度を上げるのは、屋外撮像の背景にランドマークが存在する場合を想定した処理である。

またシステム制御部５０は、主被写体の検出および背景の検出の両方を行い、両方の重要度に基づいて深度合成を実施するか否かを判定してもよい。本実施形態では、主被写体の顔が検出されない場合に、マクロ撮影判定結果に基づいて深度合成を実施するか否かを判定するが、これに限定されるものではない。例えば、顔が検出されている場合にもマクロ撮影判定結果に基づいて深度合成を実施するか否かを判定してもよい。また、シーン判定を行わずにマクロ撮影判定だけを行い、マクロ撮影判定結果に基づいて深度合成を実施するか否かを判定してもよい。

本実施形態によれば、レンズ情報から取得された撮影倍率に基づいて、深度合成を行うか否かを自動的に判定することができる。

（第２実施形態）
次に、図６を参照して、本発明の第２実施形態について説明する。本実施形態は、第１実施形態と異なり、シーン判定の前後それぞれにおいて、深度合成の実施判定を行う。なお本実施形態において、第１実施形態と共通の説明は省略する。図６は、本実施形態における深度合成の処理を示すフローチャートである。図６は、ステップＳ３０１でのシーン判定の前と後に、深度合成の実施判定を行うステップＳ６０１、Ｓ６０２がそれぞれ挿入されている点で、図３と異なる。

まずステップＳ６０１において、システム制御部５０は、シーン判定の前のライブビュー画像または撮像装置１００の設定に基づいて、深度合成を実施するか否かを判定する。深度合成を実施しないと判定された場合、ステップＳ３０７に進み、システム制御部５０は、１枚の画像のみを撮像するように撮像部２２を制御する。ステップＳ６０１では、例えば、動き検知部２６が移動体を検出した場合、システム制御部５０は、深度合成を実施しないと判定する。これは、動きのある領域が合成されることによる合成画像の品質劣化を防ぐためである。また、ステップＳ６０１において、例えば、システム制御部５０は、状態検出部２７で検出した撮像装置１００の状態（カメラ状態）に応じて、ユーザ自身を撮像する自分撮りモードであるか否かを判定してもよい。カメラ状態の例として、モニターがレンズ方向に向いている状態が挙げられる。バリアングルモニターであれば、モニターを開いて１８０度回転した状態とする。チルトモニターであれば任意の方向に可動させモニターがレンズ方向に向いた状態とする。また、スマートフォンにおけるインカメラ等、モニターとレンズ方向が一致した状態の撮像装置においても、同様に深度合成実施の自動判定が可能である。これは、自分撮りモードにおいて、主被写体と背景とは光軸方向で離れていて深度合成に適さないためである。

次に、ステップＳ６０２における深度合成の実施判定について説明する。システム制御部５０は、ステップＳ３０３にて深度合成の機能を有効にし、ステップＳ３０４にてピント位置を決定した後、ステップＳ６０２において、深度合成を実施するか否かを判定する。つまり、ステップＳ６０１と異なり、ステップＳ６０２の時点では、深度合成のための設定（例えば、撮像回数、フォーカスステップなど）が既に完了している。

ステップＳ６０２において、システム制御部５０は、ステップＳ３０４にて決定された深度合成のための設定に基づいて、深度合成の実施判定を行う。例えば、決定された撮像枚数が所定の閾値よりも多い場合、システム制御部５０は、深度合成を行わないと判定する。これは、撮像枚数が増加による処理時間増加を防ぐためである。なお、この場合において、ステップＳ３０８における撮像では、深度合成を行う場合での合成画像の被写界深度に相当する被写界深度を有するような１枚の画像を撮像するように絞り（開口絞り）を調整してもよい。

また、ステップＳ６０２において、システム制御部５０は、決定されたピント位置および１枚の画像の被写界深度から、深度合成の画像の被写界深度を予測し、深度合成の画像の被写界深度が所定の閾値よりも浅い場合、深度合成を行わないと判定する。これは、合成画像の被写界深度が浅いと、深度合成を行うメリットが少ないためである。またここで、システム制御部５０は、単に、決定されたピント位置の両端のピント位置から深度合成の画像の被写界深度を予測してもよい。なお本実施形態において、ステップＳ６０１の処理とステップＳ６０２の処理のいずれか一方のみを実行してもよい。

本実施形態によれば、シーン判定およびマクロ撮影判定の前後に、カメラの状態、動体検出、または、決定されたピント位置などに基づいて、深度合成を行う必要がないと判定した場合、深度合成を行わないようにすることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、ユーザの操作がなくても、深度合成に関する設定を行うことが可能な画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体を提供することができる。

各実施形態の開示は、以下の構成および方法を含む。

（構成１）
レンズ情報を取得する取得手段と、
ピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成手段と、を有し、
前記合成手段は、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成することを特徴とする画像処理装置。
（構成２）
主被写体を検出する検出手段を更に有し、
前記検出手段が前記主被写体を検出していない場合、前記合成手段は、前記撮影倍率に関する情報に基づいて前記複数の画像を合成することを特徴とする構成１に記載の画像処理装置。
（構成３）
動体があるか否かを判定する動体判定手段を更に有し、
前記動体判定手段が前記動体があると判定した場合、前記合成手段は、前記複数の画像を合成しないことを特徴とする構成１または２に記載の画像処理装置。
（構成４）
前記合成手段は、前記複数の画像のそれぞれの合焦領域を抽出して、前記合成画像を生成することを特徴とする構成１乃至３のいずれかに記載の画像処理装置。
（構成５）
前記レンズ情報は、前記撮影倍率に関する情報を含むことを特徴とする構成１乃至４のいずれかに記載の画像処理装置。
（構成６）
前記撮影倍率に関する情報は、前記撮影倍率または特定のレンズ情報であることを特徴とする構成５に記載の画像処理装置。
（構成７）
前記取得手段は、前記レンズ情報を用いて前記撮影倍率を算出することを特徴とする構成１乃至４のいずれかに記載の画像処理装置。
（構成８）
前記撮影倍率が一定の閾値以上である場合、前記合成手段は、前記複数の画像を合成することを特徴とする構成７に記載の画像処理装置。
（構成９）
構成１乃至８のいずれかに記載の画像処理装置と、
前記複数の画像を取得する撮像部と、を有することを特徴とする撮像装置。
（方法１）
レンズ情報を取得する取得ステップと、
ピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成ステップと、を有し、
前記合成ステップにおいて、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成することを特徴とする画像処理方法。
（構成１０）
方法１に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
（構成１１）
構成１０に記載のプログラムを記憶していることを特徴とするコンピュータ読み取り可能な記憶媒体。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置（画像処理装置）
２３ ＡＦ評価値検出部（検出手段）
２５ 深度合成部（合成手段）
５０ システム制御部（取得手段）

Claims (12)

1. レンズ情報を取得する取得手段と、
   前記レンズ情報に対応するレンズを用いて撮影されたピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成手段と、
   前記複数の画像とは異なる画像から主被写体を検出する検出手段と、を有し、
   前記合成手段は、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成し、
   前記検出手段が前記主被写体を検出していない場合、前記合成手段は、前記撮影倍率に関する情報に基づいて前記複数の画像を合成することを特徴とする画像処理装置。
2. レンズ情報を取得する取得手段と、
   前記レンズ情報に対応するレンズを用いて撮影されたピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成手段と、
   前記複数の画像とは異なる画像に動体があるか否かを判定する動体判定手段と、を有し、
   前記合成手段は、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成し、
   前記動体判定手段が、前記動体があると判定した場合、前記合成手段は、前記複数の画像を合成しないことを特徴とする画像処理装置。
3. 前記合成手段は、前記複数の画像のそれぞれの合焦領域を抽出して、前記合成画像を生成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記レンズ情報は、前記撮影倍率に関する情報を含むことを特徴とする請求項１または２に記載の画像処理装置。
5. 前記撮影倍率に関する情報は、前記撮影倍率または特定のレンズ情報であることを特徴とする請求項４に記載の画像処理装置。
6. 前記取得手段は、前記レンズ情報を用いて前記撮影倍率を算出することを特徴とする請求項１または２に記載の画像処理装置。
7. 前記撮影倍率が一定の閾値以上である場合、前記合成手段は、前記複数の画像を合成することを特徴とする請求項６に記載の画像処理装置。
8. 請求項１または２に記載の画像処理装置と、
   前記複数の画像を取得する撮像部とを有することを特徴とする撮像装置。
9. レンズ情報を取得する取得ステップと、
   前記レンズ情報に対応するレンズを用いて撮影されたピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成ステップと、
   前記複数の画像とは異なる画像から主被写体を検出する検出ステップと、を有し、
   前記合成ステップにおいて、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成し、
   前記検出ステップにおいて前記主被写体を検出していない場合、前記合成ステップにおいて、前記撮影倍率に関する情報に基づいて前記複数の画像を合成することを特徴とする画像処理方法。
10. レンズ情報を取得する取得ステップと、
    前記レンズ情報に対応するレンズを用いて撮影されたピント位置が互いに異なる複数の画像を合成して、前記複数の画像よりも被写界深度が深い合成画像を生成する合成ステップと、
    前記複数の画像とは異なる画像に動体があるか否かを判定する動体判定ステップと、を有し、
    前記合成ステップにおいて、前記レンズ情報から取得された撮影倍率に関する情報に基づいて、前記複数の画像を合成し、
    前記動体判定ステップにおいて前記動体があると判定した場合、前記合成ステップにおいて、前記複数の画像を合成しないことを特徴とする画像処理方法。
11. 請求項９または１０に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
12. 請求項１１に記載のプログラムを記憶していることを特徴とするコンピュータ読み取り可能な記憶媒体。