JP5282533B2 - 画像処理装置、撮像装置およびプログラム - Google Patents

Description

本発明は、複数の画像を用いて画像処理でぼかし画像を生成する画像処理装置、撮像装置およびプログラムに関する。

例えば、カメラによるポートレート撮影では、絞りの開放などで被写界深度を浅くして意図的に前景や背景の被写体をぼかし、主要被写体を浮かび上がらせる写真表現が好まれている。ところが、電子カメラでは、撮像素子の大きさ（撮像面積）や絞りの構成などに起因して、上記のようなボケ味を生かした写真表現を苦手とすることが多い。

そのため、電子カメラで撮像した複数の画像から被写界深度の浅い画像を電子的に生成する手法も従来から提案されている。一例として特許文献１には、焦点距離または絞りを変化させて電子カメラで複数の画像を取得し、撮影時の焦点距離または絞りの情報を用いた領域分割により、背景領域をぼかしたポートレート調のぼかし画像を生成する技術が開示されている。
特開２００３−２８３９０２号公報

しかし、上記の従来技術では、撮影時の焦点距離または絞りの情報がない場合にはぼかし画像を生成することはできず、また、主要被写体と背景領域との領域分割に不具合があると、ぼかし画像での被写体のボケ方が不自然となる点で改善の余地があった。

そこで、本発明の目的は、焦点距離または絞りの情報を用いることなく、複数の画像を用いて画像処理で見映えのよいぼかし画像を生成する手段を提供することにある。

一の態様に係る画像処理装置は、基準画像と、前記基準画像に対してレンズの焦点位置をそれぞれ変化させた状態で撮像された複数の撮像画像とを取得する画像読込部と、前記基準画像及び前記複数の撮像画像毎に高周波成分をそれぞれ抽出し、抽出した高周波成分の分布を示す高周波成分画像を各々位置合わせした後に合成して前記基準画像よりも被写体深度が深い参照画像を生成する画像処理部と、前記基準画像及び前記参照画像の各位置に対応する輝度成分に基づいて前記各画像の特徴量を求める特徴量演算部と、前記基準画像から求めた各位置の第１の特徴量と前記参照画像から求めた各位置の第２の特徴量との、対応位置間での差分を用いて、前記基準画像の合焦度に関するパラメータの値を画像の各位置でそれぞれ設定するパラメータ設定部と、各々の前記パラメータの値に応じて画像の各位置でぼかし度合いを変化させるぼかし処理を前記基準画像に施して、ぼかし画像を生成するぼかし画像生成部と、を備えるものである。

ここで、上記の一の態様の画像処理装置を備えた撮像装置、コンピュータを上記の一の態様の画像処理装置として機能させるプログラムやこのプログラムを記憶したプログラム記憶媒体、上記の一の態様の画像処理装置における動作を方法のカテゴリで表現したものも、本発明の具体的態様として有効である。

本発明によれば、焦点距離または絞りの情報を用いることなく、基準画像および参照画像を用いて画像処理により見映えのよいぼかし画像を生成できる。

＜一の実施形態の説明＞
図１は、一の実施形態の画像処理装置を含む電子カメラの概略構成を示すブロック図である。電子カメラ１１は、撮像光学系１２と、レンズ駆動部１３と、絞り１４と、絞り駆動部１５と、撮像素子１６と、ＡＦＥ１７と、ＣＰＵ１８と、第１メモリ１９および第２メモリ２０と、メディアＩ／Ｆ２１と、通信Ｉ／Ｆ２２と、モニタ２３と、レリーズ釦２４とを有している。ここで、レンズ駆動部１３、絞り駆動部１５、ＡＦＥ１７、第１メモリ１９、第２メモリ２０、メディアＩ／Ｆ２１、通信Ｉ／Ｆ２２、モニタ２３、レリーズ釦２４は、それぞれＣＰＵ１８と接続されている。

撮像光学系１２は、フォーカシングレンズを含む複数のレンズで構成されている。撮像光学系１２の焦点位置は、レンズ駆動部１３によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１２を１枚のレンズとして図示する。また、絞り１４は、撮像素子１６に入射する単位時間当たりの光量を調節する。この絞り１４の開口量は、ＣＰＵ１８の指示に応じて絞り駆動部１５が調整する。

撮像素子１６は、撮像光学系１２によって結像される被写体像を撮像して撮像画像の画像信号を生成する。なお、撮像素子１６から出力された画像信号はＡＦＥ１７に入力される。

ＡＦＥ１７は、撮像素子１６の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１７では、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換が行われる。なお、ＡＦＥ１７から出力されたデジタルの画像信号はＣＰＵ１８に入力される。

ＣＰＵ１８は、電子カメラ１１の動作を統括的に制御するプロセッサである。例えば、ＣＰＵ１８は、撮像素子１６で撮像された画像のデータを用いて、公知のＡＦ（オートフォーカス）演算処理を実行する。

また、ＣＰＵ１８は、後述のプログラムの実行により、画像処理部２５、特徴量演算部２６、パラメータ設定部２７として機能する。ここで、上記の画像処理部２５は、Ａ／Ｄ変換後の撮像画像に各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整、色変換処理など）を施す。

また、画像処理部２５、特徴量演算部２６およびパラメータ設定部２７は、撮影モードの１つである背景ぼかしモードにおいて、複数の撮像画像を用いてぼかし画像を生成する。なお、背景ぼかしモードでの各部の動作例は後述する。

第１メモリ１９は、揮発性の記憶媒体（ＳＤＲＡＭなど）で構成されており、ＣＰＵ１８による画像処理の前工程や後工程で画像のデータを一時的に記憶する。また、第２メモリ２０は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第２メモリ２０には、ＣＰＵ１８によって実行されるプログラムが記憶される。

メディアＩ／Ｆ２１は、不揮発性の記憶媒体２８を着脱可能に接続できる。そして、メデイアＩ／Ｆは、記憶媒体２８に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体２８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２８の一例としてメモリカードを図示する。

通信Ｉ／Ｆ２２は、有線または無線の公知の通信回線を介して接続された外部装置（後述のコンピュータ３１など）とのデータ送受信を、所定の通信規格に準拠して制御する。

モニタ２３は、ＣＰＵ１８の制御によって、撮像画像の再生表示を行う。また、レリーズ釦２４は、半押し操作による撮影前のＡＦ動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。

次に、図２を参照しつつ、一の実施形態の電子カメラでの背景ぼかしモードでの動作例を説明する。なお、図２に示す一連の処理は、ユーザーによるマニュアル選択操作により選択されるか、或いはカメラ自身が自動的に識別し選択した主要被写体に対して焦点が合っている状態を前提として、レリーズ釦２４の全押し操作に応じてＣＰＵ１８がプログラムを実行することで開始される。

ステップＳ１０１：ＣＰＵ１８は、主要被写体に合焦した状態から撮像光学系１２の焦点位置のみを変化させつつ複数画像を得るための連続撮影（連写）を実行する（フォーカスブラケティング撮影）。これにより、ＣＰＵ１８は、主要被写体に合焦した状態で撮影された基準画像と、この基準画像とは合焦状態が異なる複数の撮像画像（１〜ｎフレーム）とを取得する。また、基準画像の一例を図３（この図３の場合の主要被写体は画面中央部に位置する「人」である）に示す。

なお、連写撮影によって撮像素子１６から出力される基準画像および撮像画像のデータは、ＡＦＥ１７を介して画像処理部２５で所定の画像処理を施された後に、第１メモリ１９に記憶されることとなる。

ステップＳ１０２：画像処理部２５は、基準画像および各撮像画像（Ｓ１０１）について画像毎に高周波成分をそれぞれ抽出する。これにより、画像処理部２５は、Ｓ１０１で取得したすべての画像について、画像内での高周波成分の分布を示す高周波成分画像を生成する。一例として、Ｓ１０２での画像処理部２５は、公知のアンシャープマスク処理により各画像から高周波成分画像を生成してもよい。

ここで、Ｓ１０１で取得した各画像は、撮影時における撮像光学系１２の焦点位置が相違する。よって、各々の高周波成分画像において、高周波成分が抽出される箇所（換言すればその画像内における合焦箇所）はそれぞれ相違することとなる。

ステップＳ１０３：画像処理部２５は、複数の高周波成分画像（Ｓ１０２で生成されたもの）を合成して、基準画像よりも被写界深度が深い参照画像（パンフォーカス画像）を生成する。一例として、Ｓ１０３での画像処理部２５は、以下の（１）および（２）の処理によりパンフォーカス画像を生成する。

（１）まず、画像処理部２５は、エッジまたはコーナーを用いた公知の画像間のマッチング処理により、全ての高周波成分画像にわたって画像の位置合わせ処理を行う。連写撮影時には手ブレなどの影響により、全ての画像が厳密には同じ位置で撮影されていない可能性が高いからである。

（２）次に、画像処理部２５は、各々の高周波成分画像で対応位置にある画素の画素値を用いて、パンフォーカス画像の各画素の画素値を求める。例えば、画像処理部２５は、画像間でそれぞれ対応位置にある複数の画素値を重み付け平均した上で積算し、この積算値をパンフォーカス画像での画素値としてもよい。そして、画像処理部２５は、上記の処理を全ての画素分繰り返すことでパンフォーカス画像を生成する。

ステップＳ１０４：特徴量演算部２６は、基準画像（Ｓ１０１）およびパンフォーカス画像（Ｓ１０３）を演算対象として、この演算対象の画像の各位置で輝度成分の分散を示す特徴量をそれぞれ求める。
一例として、Ｓ１０４での特徴量演算部２６は、演算対象の画像内で注目画素を指定するとともに、この注目画素を基準として複数の画素を含む局所領域を設定する。そして、特徴量演算部２６は、上記の局所領域に含まれる画素について、輝度成分に対応する画素値の分散を特徴量として求める。

また、Ｓ１０４において、演算対象の画像データがＹＣｂＣｒ形式であれば、特徴量演算部２６はＹ成分の画素値から特徴量を求めればよい。一方、演算対象の画像データがＲＧＢ形式の場合には、特徴量演算部２６はＲＧＢのいずれかの画素値から特徴量を求めてもよく、あるいはＲＧＢからＹＣｂＣｒへ色空間変換後にＹ成分の画素値から特徴量を求めてもよい。

なお本実施形態において、画像の上記特徴量として、「輝度成分の分散」を用いるのは次の理由による。

まず輝度情報を用いる理由は、輝度情報は色情報などと比べて人間の視覚に対する感度（影響）が大きいためである。人間は一般的に色差よりも輝度差に敏感であるため、鑑賞して違和感を与えないための基準情報量として輝度情報を用いている。

また分散を用いる理由は、分散は特徴量の種類によらず、被写体の焦点状態に敏感に左右される情報量であるためである（同一画像であっても、合焦していれば特徴量（どんな特徴量であっても）の分散は小さいが、非合焦であれば合焦状態よりも特徴量の分散は小さくなる）。

ここで、Ｓ１０４での特徴量演算部２６は、基準画像およびパンフォーカス画像の全画素で上記の特徴量をそれぞれ求めるものとする。なお、本明細書の以下の説明では、基準画像から求めた各位置の特徴量はそれぞれ第１の特徴量と称し、参照画像（図２の例ではパンフォーカス画像）から求めた各位置の特徴量はそれぞれ第２の特徴量と称する。

ステップＳ１０５：パラメータ設定部２７は、第１の特徴量および第２の特徴量（Ｓ１０４）を用いて、基準画像の合焦度に関するパラメータの値を画像の各画素でそれぞれ設定する。そして、パラメータ設定部２７は、基準画像の各画素の位置と、上記のパラメータの値との対応関係を示すパラメータマップを生成する。

一例として、Ｓ１０５でのパラメータ設定部２７は、画像上で対応位置にある第２の特徴量から第１の特徴量を減算することで、所定の画素位置におけるパラメータの値を求める。なお、Ｓ１０５において、上記のパラメータの値は基準画像の全画素でそれぞれ設定されることとなる。

ここで、基準画像上で合焦状態にある箇所では、基準画像およびパンフォーカス画像の高周波成分の分布が近似するため、かかる箇所での第１の特徴量と第２の特徴量との差は小さくなる。よって、基準画像上で合焦状態にある箇所では、Ｓ１０５で求まるパラメータの値は小さくなる。

一方、基準画像上で被写体がぼけている箇所では、基準画像には高周波成分がほとんどないが、パンフォーカス画像には高周波成分が含まれるため、かかる箇所での第１の特徴量と第２の特徴量との差は大きくなる。よって、基準画像上で被写体がぼけている箇所では、Ｓ１０５で求まるパラメータの値が大きくなる。また基準画像上での被写体のぼけの程度（ぼけ度合い）に応じて、パラメータ値の大きさも変化する（ぼけ度合いが大きいほどパラメータ値も大きい）。

ステップＳ１０６：画像処理部２５は、基準画像（Ｓ１０１）に対して、平滑化フィルタによるぼかし処理を施す。そして、Ｓ１０６での画像処理部２５は、上記のパラメータマップ（Ｓ１０５）を参照し、画像の各位置でのパラメータの値に応じて、基準画像の局所領域でのぼかし度合いを段階的に変化させる。

一例として、画像処理部２５は、パラメータの値をその大小により複数のクラスに区分するとともに、各々のクラスごとに異なるぼかし処理を行う。基準画像の任意の位置において、パラメータの値が小さくて最下位のクラスに属する場合、画像処理部２５は、その位置でのぼかし処理を行わないか、あるいは平滑化の度合いが最も弱い平滑化フィルタを適用する。一方、パラメータの値が一段階上のクラスに属する場合、画像処理部２５は、最下位のクラスの場合よりも平滑化の度合いが強い平滑化フィルタを適用する。そして、パラメータの値がより上位のクラスに属するほど、画像処理部２５は平滑化の度合いがより強い平滑化フィルタを基準画像に適用する。

なお、画像処理部２５は、ガウシアン型の平滑化フィルタであれば、フィルタ半径の調節によって平滑化の度合いを変化させればよい。また、画像処理部２５は、フィルタのサイズが異なる複数の平滑化フィルタ（３×３、５×５など）を使い分けて平滑化の度合いを変化させてもよい。

そして、上記のぼかし処理により、主要被写体以外の背景領域をぼかしたぼかし画像が電子的に生成される。なお、図３の基準画像に対応するぼかし画像の例を図４に示す。このぼかし画像のデータは、ＣＰＵ１８によって最終的に記憶媒体２８に記録される。このとき、ＣＰＵ１８は、基準画像のデータも記憶媒体２８に記録するようにしてもよい。以上で、図２の説明を終了する。

上記の一の実施形態での電子カメラ１１は、基準画像とパンフォーカス画像とを用いて、基準画像の合焦度に関するパラメータを画像の各位置で求める。そして、電子カメラ１１は、上記のパラメータに基づいて、基準画像の局所領域でのぼかし度合いを段階的に変化させたぼかし処理を行って、被写界深度を浅くした撮影結果とほぼ同等なぼかし画像を電子的に生成する。

そのため、一の実施形態では、主要被写体の領域と背景領域との領域分割を行わなくとも、被写体のボケ具合が自然で見映えのよいぼかし画像を生成できる。また、一の実施形態では、撮影時の焦点距離の情報を用いなくともぼかし画像を生成できる。

＜一の実施形態における変形例の説明＞
図５は、図２で説明した背景ぼかしモードの変形例を示す概要図である。図５に示す一連の処理も、ＡＦにより所望の主要被写体に焦点が合っている状態を前提として、レリーズ釦２４の全押し操作に応じてＣＰＵ１８がプログラムを実行することで開始される。なお、図５の例における電子カメラ１１の構成は、図１に示した一の実施形態のものと共通するので重複説明は省略する。

ステップＳ２０１：ＣＰＵ１８は、主要被写体に合焦した状態で基準画像を撮影するとともに、基準画像を撮影した状態から絞り１４を絞って被写界深度を深くした参照画像を撮影する。なお、Ｓ２０１で参照画像を撮影するときには、ＣＰＵ１８は、参照画像の明るさが基準画像とほぼ同じとなるように露出を調整する。なお、基準画像および参照画像のデータは、ＡＦＥ１７を介して画像処理部２５で所定の画像処理を施された後に、第１メモリ１９に記憶されることとなる。

ステップＳ２０２：特徴量演算部２６は、基準画像および参照画像（Ｓ２０１）を演算対象として、この演算対象の画像の各位置で輝度成分の分散を示す特徴量をそれぞれ求める。このＳ２０２での処理は、図２のＳ１０４と共通するため重複説明を省略する。

ステップＳ２０３：パラメータ設定部２７は、基準画像から求めた第１の特徴量および参照画像から求めた第２の特徴量を用いて、基準画像の合焦度に関するパラメータの値を画像の各画素でそれぞれ設定する。そして、パラメータ設定部２７は、基準画像の各画素の位置と、上記のパラメータの値との対応関係を示すパラメータマップを生成する。このＳ２０３での処理は、図２のＳ１０５と共通するため重複説明を省略する。

ステップＳ２０４：画像処理部２５は、基準画像（Ｓ２０１）に対して、平滑化フィルタによるぼかし処理を施して、ぼかし画像を生成する。このＳ２０４での処理は、図２のＳ１０６と共通するため重複説明を省略する。以上で、図５の説明を終了する。

この図５に示す変形例での電子カメラ１１は、基準画像と、絞り１４を絞って被写界深度を深くした参照画像とを用いて、基準画像の合焦度に関するパラメータを画像の各位置で求めている。この場合も、図２で説明した電子カメラ１１の動作例とほぼ同様の効果を得ることができる。

＜他の実施形態の説明＞
図６は、他の実施形態に係る画像処理装置の構成例を示すブロック図である。他の実施形態では、コンピュータ３１に画像処理プログラムを実行させることで画像処理装置の機能を実現する。よって、他の実施形態の構成においても、上述の一の実施形態（およびその変形例）とほぼ同様の効果を奏することができる。

画像処理装置を構成するコンピュータ３１は、データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６、バス３７を有している。データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６は、バス３７を介して相互に接続されている。さらに、コンピュータ３１には、入出力Ｉ／Ｆ３６を介して、入力デバイス３８（キーボード、ポインティングデバイスなど）とモニタ３９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３６は、入力デバイス３８からの各種入力を受け付けるとともに、モニタ３９に対して表示用のデータを出力する。

データ読込部３２は、撮像画像のデータや、画像処理プログラムを外部から読み込むときに用いられる。例えば、データ読込部３２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置（電子カメラ１１など）と通信を行う通信デバイス（ＵＳＢインターフェース、有線または無線のＬＡＮモジュールなど）で構成される。

記憶装置３３は、上記の画像処理プログラムと、プログラムの実行に必要となる各種のデータとを記憶する。また、記憶装置３３には、データ読込部３２から取得した撮像画像のデータを記録することもできる。なお、他の実施形態での記憶装置３３は、ハードディスクや、不揮発性の半導体メモリなどで構成される。

ＣＰＵ３４は、コンピュータ３１の各部動作を統括的に制御するプロセッサである。また、ＣＰＵ３４は、画像処理プログラムの実行によって、上記の画像処理部２５、特徴量演算部２６、パラメータ設定部２７としてそれぞれ機能する。また、メモリ３５は、画像処理プログラムの演算結果などを一時的に記憶する。このメモリ３５は、例えば揮発性のＳＤＲＡＭなどで構成される。

ここで、図６に示すコンピュータ３１によってぼかし画像を生成する場合、ユーザーは、予め基準画像と、焦点位置の異なる複数の撮像画像（または基準画像の撮影状態から絞り１４を絞って撮影した参照画像）とを電子カメラ１１で撮影しておく。そして、コンピュータ３１は、上記の各画像のデータをそれぞれデータ読込部３２から取得し、図２のＳ１０２以降の処理または図５のＳ２０２以降の処理を実行すればよい。

なお、基準画像の判別は、コンピュータ３１がユーザーの指定操作に基づいて行えばよい。あるいは、基準画像を示す付帯データを電子カメラ１１が撮影時に画像ファイルのヘッダなどに付加している場合、コンピュータ３１は上記の付帯データの有無に基づいて基準画像を判別することができる。

＜実施形態の補足事項＞
（１）本発明の画像処理装置は、上記実施形態の電子カメラ１１やコンピュータ３１の例に限定されることなく、カメラ付携帯電話や画像のビューアなどにも広く適用できる。

（２）上記の各実施形態では、画像処理部２５、特徴量演算部２６、パラメータ設定部２７の各動作をプログラムでソフトウェア的に実現する例を説明したが、これらの処理をＡＳＩＣによってハードウエア的に実現しても勿論かまわない。

（３）上記の一の実施形態およびその変形例では、電子カメラ１１での撮影時にぼかし画像を生成する例を説明した。しかし、上記の電子カメラ１１についても、予め撮影されている画像を後処理工程で記憶媒体２８から読み込んでぼかし画像を生成してもよい。

（４）上記の実施形態では、基準画像の全ての画素でそれぞれパラメータの値を求める例を説明したが、電子カメラ１１やコンピュータ３１は、基準画像を１０画素×１０画素程度のサイズの小ブロックに領域分割して、各ブロック単位でパラメータの値を求めるようにしてもよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

一の実施形態での電子カメラの概略構成を示すブロック図 一の実施形態における背景ぼかしモードでの動作例を説明する概要図 基準画像の一例を示す図 図３の基準画像に対応するぼかし画像の例を示す図 図２の背景ぼかしモードの変形例を示す概要図 他の実施形態に係る画像処理装置の構成例を示すブロック図

符号の説明

１１…電子カメラ、１２…撮像光学系、１３…レンズ駆動部、１４…絞り、１５…絞り駆動部、１６…撮像素子、１８…ＣＰＵ、２５…画像処理部、２６…特徴量演算部、２７…パラメータ設定部、３１…コンピュータ、３２…データ読込部、３３…記憶装置、３４…ＣＰＵ

Claims (10)

1. 基準画像と、前記基準画像に対してレンズの焦点位置をそれぞれ変化させた状態で撮像された複数の撮像画像とを取得する画像読込部と、
   前記基準画像及び前記複数の撮像画像毎に高周波成分をそれぞれ抽出し、抽出した高周波成分の分布を示す高周波成分画像を各々位置合わせした後に合成して前記基準画像よりも被写体深度が深い参照画像を生成する画像処理部と、
   前記基準画像及び前記参照画像の各位置に対応する輝度成分に基づいて前記各画像の特徴量を求める特徴量演算部と、
   前記基準画像から求めた各位置の第１の特徴量と前記参照画像から求めた各位置の第２の特徴量との、対応位置間での差分を用いて、前記基準画像の合焦度に関するパラメータの値を画像の各位置でそれぞれ設定するパラメータ設定部と、
   各々の前記パラメータの値に応じて画像の各位置でぼかし度合いを変化させるぼかし処理を前記基準画像に施して、ぼかし画像を生成するぼかし画像生成部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像処理部は、記基準画像と前記参照画像との間のマッチング処理により全ての高周波画像成分画像にわたって画像の位置合わせ処理を行った後に、各々の周波成分画像間でそれぞれ対応位置にある複数の画素値を重み付け平均した上で積算して精算した値を前記参照画像の画素値とする処理を全ての画素分繰り返すことで前記参照画像を生成することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記特徴量演算部は、前記基準画像および前記参照画像内で注目画素を指定するとともに、指定した注目画素を基準として複数の画素を含む局所領域を設定し、設定した前記局所領域に含まれる画素について、輝度成分に対応する画素値の分散を特徴量として求めることを特徴とする画像処理装置。
4. 請求項１または２に記載の画像処理装置において、
   前記特徴量演算部は、前記基準画像および前記参照画像の画像データがＹＣｂＣｒ形式の場合、Ｙ成分の画素値から特徴量を求めることを特徴とする画像処理装置。
5. 請求項１または２に記載の画像処理装置において、
   前記特徴量演算部は、前記基準画像および前記参照画像の画像データがＲＧＢ形式の場合、ＲＧＢの画像データのいずれかの画像データの画素値から、またはＲＧＢの画像データからＹＣｂＣｒの画像データへ色空間変換を行った後に、変換したＹＣｂＣｒの画像データのうちのＹ成分の画像データの画素値から、特徴量を求めることを特徴とする画像処理装置。
6. 請求項１から５のいずれか1項に記載の画像処理装置において、
   前記パラメータ設定部は、画像上で対応位置にある前記第２の特徴量から前記第１の特徴量を減算することで、全ての位置における前記パラメータの値を求めることを特徴とする画像処理装置。
7. 請求項１から６のいずれか1項に記載の画像処理装置において、
   前記画像生成部は、前記パラメータの値をその大小により複数のクラスに区分するとともに、各々のクラスごとに異なるぼかし処理を行うことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記画像生成部は、前記基準画像の任意の位置において、前記パラメータの値が小さくて最下位のクラスに属する場合、その位置でのぼかし処理を行わないか、あるいは平滑化の度合いが最も弱い平滑化フィルタを適用し、また、前記パラメータの値が一段階上のクラスに属する場合、最下位のクラスの場合よりも平滑化の度合いが強い平滑化フィルタを適用するとともに、前記パラメータの値がより上位のクラスに属するほど、平滑化の度合いがより強い平滑化フィルタを基準画像に適用することを特徴とする画像処理装置。
9. 被写体を撮像して画像を生成する撮像部と、
   請求項１から８のいずれか１項に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
10. 基準画像と、前記基準画像に対してレンズの焦点位置をそれぞれ変化させた状態で撮像された複数の撮像画像とを取得する画像読込部と、
    前記基準画像及び前記複数の撮像画像毎に高周波成分をそれぞれ抽出し、抽出した高周波成分の分布を示す高周波成分画像を各々位置合わせした後に合成して前記基準画像よりも被写体深度が深い参照画像を生成する画像処理部と、
    前記基準画像および前記参照画像の各位置に対応する輝度成分に基づいて前記各画像の特徴量を求める特徴量演算処理と、
    前記基準画像から求めた各位置の第１の特徴量と、前記参照画像から求めた各位置の第２の特徴量との、対応位置間での差分を用いて、画像の合焦度を示すパラメータの値を画像の各位置でそれぞれ設定するパラメータ設定処理と、
    各々の前記パラメータの値に応じて画像の各位置でぼかし度合いを変化させるぼかし処理を前記基準画像に施して、ぼかし画像を生成するぼかし画像生成処理と、
    をコンピュータに実行させることを特徴とするプログラム。

Images