JP6221330B2

JP6221330B2 - 画像処理プログラム、画像処理装置、及び画像処理方法

Info

Publication number: JP6221330B2
Application number: JP2013096373A
Authority: JP
Inventors: 由樹雄平井
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2013-05-01
Filing date: 2013-05-01
Publication date: 2017-11-01
Anticipated expiration: 2033-05-01
Also published as: JP2014219725A

Description

本発明は、画像処理プログラム、画像処理装置、及び画像処理方法に関する。

デジタルカメラ等の撮影手段で撮影した画像は、フォーカスのずれ等によりボケが生じることがある。ボケ画像は、ボケの程度を表すＰｏｉｎｔＳｐｒｅａｄＦｕｎｃｔｉｏｎ（ＰＳＦ、点拡がり関数）等の補正パラメータを、ボケのない真の画像に畳み込んだ画像と仮定することができ、このＰＳＦを用いてボケ画像を補正することができる。

また、ボケ画像を補正する手法として、エッジ強調を用いた補正手法が知られている。しかしながら、エッジ強調は、単に隣接の画素の情報で近似的に強調しているだけであり、拡がりを持ったボケに対して精度よく補正するためには、上述したＰＳＦの情報を用いる必要がある。また、ボケ画像を補正する手法として、空間周波数を用いたり、空間逆フィルタを用いたり、最小化処理を用いる手法があるが、どの手法も上述したＰＳＦの大きさが既知であることが前提となる。

例えば、入力画像の微分画像に逆畳み込みを適用してボケの除去を行い、更に逆畳み込みデータを積分して、ボケ除去画像を生成する手法がある。また、画像から形状情報を含む情報を取得し、取得した情報に基づく局所的な領域でボケを補正するウィナーフィルタによりフィルタリング処理を行う手法がある。また、撮影時のデジタルカメラのアパーチャを利用してＰＳＦの推測を行う手法がある（例えば、特許文献１及び２、非特許文献１参照）。

特開２００８−１７６７３５号公報特開２０１１−０７１９３０号公報

Ａ．Ｌｅｖｉｎ，Ｒ．Ｆｅｒｇｕｓ，Ｆ．Ｄｕｒａｎｄ，Ｗ．Ｔ．Ｆｒｅｅｍａｎ、"ＩｍａｇｅａｎｄＤｅｐｔｈｆｒｏｍａＣｏｎｖｅｎｔｉｏｎａｌＣａｍｅｒａｗｉｔｈａＣｏｄｅｄＡｐｅｒｔｕｒｅ"、ＡＣＭＴｒａｎｓａｃｔｉｏｎｓｏｎＧｒａｐｈｉｃｓ，Ｖｏｌ．２６，Ｎｏ．３，Ａｒｔｉｃｌｅ７０，Ｊｕｌｙ２００７

しかしながら、撮影されたボケ画像を取得した時点において、その画像に対応するＰＳＦは未知である。そのため、従来は、ユーザがＰＳＦを適宜変化させながら補正した画像を見て、その感応評価でＰＳＦを推定しなければならないため、手間がかかる。更に、上述した手法で、ＰＳＦを推定し、その推定したＰＳＦを用いてボケ画像を補正したとしても、ＰＳＦが適切な値でない場合には、補正画像に違和感が生じる。

１つの側面では、本発明は、ボケ画像を補正するための処理の手間を軽減することを目的とする。

一態様における画像処理プログラムは、撮影された画像を微分して得られる第１の波形と、ボケの大きさに対応する補正パラメータを用いて前記画像を補正し、補正した前記画像を微分して得られる第２の波形とを比較し、前記第１の波形が予め設定された閾値より小さく、かつ前記第２の波形が前記第１の波形に対して逆符号となる領域の値と、所定の閾値とを用いて前記撮影された画像に対するボケの大きさを推定する、処理をコンピュータに実行させる。

ボケ画像を補正するための処理の手間を軽減することができる。

第１実施例における画像処理装置を含む撮像装置の概略構成の一例を示す図である。第１実施例における画像処理の一例を示すフローチャートである。ボケ画像と補正画像との関係を模式化した図である。本実施形態におけるＰＳＦ推定の具体例を示す図である。ＰＳＦ幅と逆エッジ最大輝度値との関係を示す図である。補正前後の１次元ラインの輝度値の比較例を示す図である。逆エッジ成分の抽出結果の一例を示す図である。ＰＳＦ推定部における第１の処理例を示すフローチャートである。第１の処理例を説明するための図である。ＰＳＦ推定部における第２の処理例を示すフローチャートである。第２の処理例を説明するための図である。画像の一部の領域を用いたＰＳＦ推定例を説明するための図である。第２実施例における画像処理装置の概略構成の一例を示す図である。

以下、添付図面を参照しながら実施例について詳細に説明する。

＜第１実施例：画像処理装置を含む撮像装置の概略構成例＞
図１は、第１実施例における画像処理装置を含む撮像装置の概略構成の一例を示す図である。図１に示す撮像装置１０は、光学系１１と、撮像素子１２と、ＡｎａｌｏｇＦｒｏｎｔＥｎｄ（ＡＦＥ）１３と、画像処理装置の一例である画像処理部１４と、後処理部１５と、駆動制御部１６と、制御部１７と、記憶部の一例である画像メモリ１８と、表示部１９とを有する。

光学系１１は、被写体からの光を像面に集光する。光学系１１は、例えばレンズ２１ａ，２１ｂ，２１ｃ、及び絞り２２等を有する。レンズ２１ａ，２１ｂ，２１ｃは、駆動制御部１６による制御に基づき配置の調整がなされる。また、絞り２２は、駆動制御部１６による制御に基づき絞り度合い調整がなされる。これにより、光学系１１は、被写体からの光を撮像素子１２の撮像面に集光させて被写体の像を結像する。なお、光学系１１の構成は、図１に示す例に限定されるものではない。

撮像素子１２は、駆動制御部１６による制御に基づき光学系１１によって集光された被写体からの光を電子信号（アナログ信号）に変換する。撮像素子１２は、例えば、ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ（ＣＣＤ）／ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ（ＣＭＯＳ）等の二次元撮像素子を有する。二次元撮像素子は、被写体の像を電子信号（画像信号）に変換してＡＦＥ１３へ出力する。

ＡＦＥ１３は、撮像画像のアナログ信号をデジタル信号に変換する。ＡＦＥ１３は、例えばＡ／Ｄ（アナログデジタル）コンバータ３１と、タイミングジェネレータ３２とを有する。タイミングジェネレータ３２は、制御部１７からの制御に基づき、撮像素子１２の駆動に用いられるタイミングパルスを生成し、撮像素子１２及びＡ／Ｄコンバータ３１へ出力する。

画像処理部１４は、デジタル信号の画像を保存して所定の画像処理を行う。画像処理部１４は、例えば記憶部の一例であるＲＡＷメモリ４１と、ＰＳＦ推定部（推定部）４２と、設定部４３と、補正処理部４４とを有する。

ＲＡＷメモリ４１は、Ａ／Ｄコンバータ３１でデジタル信号に変換された画像（ＲＡＷ画像）を記憶する。ＰＳＦ推定部４２は、ボケ画像を補正する補正パラメータの一例として、ＲＡＷメモリ４１に記憶されたＲＡＷ画像を用いてボケの大きさ（程度）に対応するＰＳＦ等を推定する。例えば、ＰＳＦ推定部４２は、元画像（ＲＡＷ画像）から矩形に近い部分を抽出し、補正画像とのオーバーシュート量を抽出して、ＰＳＦを推定する。ＰＳＦ推定部４２は、ＰＳＦが異なっている場合の特徴を数値的に分析することでＰＳＦを容易に推定することができる。

例えば、ＰＳＦ推定部４２は、撮影したオリジナル画像（元画像）を微分して得られる第１の波形と、ボケの大きさに対応する補正パラメータを用いてオリジナル画像を補正し、補正した画像を微分した第２の波形とを比較する。更に、ＰＳＦ推定部４２は、第２の波形が第１の波形に対して逆符号となる領域の値と、所定の閾値とを用いて撮影された画像に対するボケの大きさを推定する。

例えば、ＰＳＦ推定部４２は、オリジナル画像（ＲＡＷ画像）の微分により得られる輝度値（以下、「微分輝度値」という）に閾値を設定し、設定した閾値より小さく、かつオリジナル画像の微分輝度値と補正画像の微分輝度値との符号が逆の部分を抽出する。また、ＰＳＦ推定部４２は、抽出した部分の成分（逆エッジ成分）を取得することにより、ボケの程度（大きさ）を表すＰＳＦを推定する。

なお、ＰＳＦ推定部４２は、所定の条件に基づいてＰＳＦの大きさを変えながら逆エッジ成分を算出し、その算出した成分と、予め設定した閾値とに基づいてＰＳＦの大きさを推定してもよい。

また、ＰＳＦ推定部４２は、予め複数の異なるＰＳＦを設定し、各々の逆エッジ成分を算出して補間を繰り返し、その結果が予め設定した閾値の範囲内であることにより、ＰＳＦの大きさを推定してもよい。また、ＰＳＦ推定部４２は、元画像の一部を抽出し、その一部の画像を用いて上述したようなＰＳＦの推定を行い、その結果で画像全体を画像補正させてもよい。

ＰＳＦ推定部４２は、上述した推定手法のうち、どの手法を用いて推定を行うかについての設定情報を、設定部４３から取得して推定を行うことができる。ＰＳＦ推定部４２は、設定部４３から得られる設定情報に基づいてＲＡＷ画像を用いたＰＳＦの推定を行う。

設定部４３は、ＰＳＦ推定部４２によりＰＳＦを推定するための各種設定情報を設定する。なお、設定は、ユーザが表示部１９のタッチパネル等から行ってもよく、また予め設定情報が登録されていてもよい。

なお、各種設定情報としては、上述した推定手法に関するものだけでなく、例えばＰＳＦの大きさ（幅）の初期値や、ＰＳＦ幅を変更するときの変更幅、所定のＰＳＦを用いた補正の実行回数、閾値等であるが、これに限定されるものではない。

補正処理部４４は、ＰＳＦ推定部４２により推定されたＰＳＦに基づいてボケ画像を補正し、ボケのない画像を取得する。補正処理部４４は補正した画像を画像メモリ１８に記憶させる。

後処理部１５は、制御部１７による制御に基づき、上述した所定の処理を行った画像に対して更に必要な処理を施して表示画像を生成する。例えば、後処理部１５は、補正処理部４４により補正された画像を取得して表示部１９に表示するための画像を生成し、生成した画像を表示部１９へ出力する。また、後処理部１５は、画像メモリ１８に記憶された画像を取得して表示部１９に表示するための画像を生成し、生成した画像を表示部１９へ出力してもよい。なお、表示部１９に表示するための画像の生成とは、例えば画像のフォーマットを変換したり、表示部１９の画面サイズに対応させて画像を拡大又は縮小したり、表示部１９の解像度に応じて画像解像度を変換する等であるが、これに限定されるものではない。

駆動制御部１６は、制御部１７による制御に基づき、光学系１１のレンズ２１ａ，２１ｂ，２１ｃの位置や絞り２２の絞り度合い等を制御する。制御部１７は、撮像装置１０全体を制御する。例えば、制御部１７は、上述したＡＦＥ１３、後処理部１５、及び駆動制御部１７を制御するための制御信号を生成し、生成した制御信号を対応する構成部へ出力して、各構成部を制御する。

画像メモリ１８は、補正処理部４４により補正された画像を記憶する。表示部１９は、後処理部１５で処理された画像を画面に表示する。表示部１９は、例えば画像を記録するＶｉｄｅｏＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ（ＶＲＡＭ）と、ＶＲＡＭの画像を出力するディスプレイとを有する。撮像装置１０は、表示機能を必ずしも備えなくてもよく、例えば表示部１９の替わりに表示用の画像を記録する記録部（例えば、ＶＲＡＭ等）が設けられてもよい。

ここで、上述した撮像装置１０において、画像処理部１４は、例えば、ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ（ＤＳＰ）により構成することができる。この場合、上述したＲＡＷメモリ４１は、ＤＳＰ内蔵メモリであってもよいし、外部のメモリであってもよい。また、後処理部１５、画像メモリ１８、表示部１９等が画像処理部１４と共に一体のＤＳＰで構成されてもよい。また、画像処理部１４は、ＤＳＰのような特定処理専用プロセッサでなく、ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ（ＣＰＵ）等の汎用プロセッサが、所定のプログラムを実行することにより画像処理部１４等の機能を実現することもできる。駆動制御部１６、制御部１７、後処理部１５等も同様に、少なくとも１台の特定処理専用プロセッサ又は汎用プロセッサにより構成することができる。

なお、プロセッサを画像処理部１４として機能させるプログラムやそれを記録した記録媒体も本実施例に含まれる。

＜第１実施例における画像処理の一例＞
次に、第１実施例における画像処理の一例について、フローチャートを用いて説明する。図２は、第１実施例における画像処理の一例を示すフローチャートである。図２の例において、撮像装置１０の画像処理部１４は、設定部４３により初期値等の設定情報を設定する（Ｓ０１）。また、撮像装置１０の画像処理部１４は、ＡＦＥ１３から画像を取得する（Ｓ０２）。取得した画像は、ＲＡＷメモリ等４１の記憶部に記憶してもよい。

画像処理部１４のＰＳＦ推定部４２は、Ｓ０２の処理で取得した画像（例えば、ＲＧＢ形式の画像）に対して、ＹＵＶ形式の画像に変換する（Ｓ０３）。Ｓ０３の処理において、ＰＳＦ推定部４２は、ＹＵＶ形式の画像に変換後に、輝度信号Ｙと、色差信号Ｕ（Ｃｂ），Ｖ（Ｃｒ）とを分離する。なお、Ｓ０３の処理において、ＰＳＦ推定部４２は、Ｓ０２の処理で取得した画像がＹＵＶ形式の画像である場合には、変換処理は必要なく、輝度信号Ｙと、色差信号Ｕ（Ｃｂ），Ｖ（Ｃｒ）とを分離する処理のみを行う。

次に、画像処理部１４のＰＳＦ推定部４２は、Ｓ０３の処理で得られた輝度信号Ｙのみを用いて、ＰＳＦ推定処理を行う（Ｓ０４）。Ｓ０４の処理では、輝度信号Ｙのみを用いることでデータ量が削減でき、推定処理時間等を短縮することができる。なお、Ｓ０４のＰＳＦ推定処理は、輝度信号に限定されるものではなく、例えば、上述したＲＧＢ画像のＲ，Ｇ，Ｂそれぞれを用いてＰＳＦ推定処理を行ってもよい。

次に、画像処理部１４の補正処理部４４は、Ｓ０４の処理により得られるＰＳＦを用いて画像を補正し（Ｓ０５）、更に補正した画像とＳ０３の処理で分離された色差信号Ｕ（Ｃｂ），Ｖ（Ｃｒ）を用いてＲＧＢ形式の画像に変換する（Ｓ０６）。なお、第１実施例では、上述した後処理部１５が、Ｓ０６の処理（ＹＵＶ形式の画像からＲＧＢ形式の画像への変換）を行ってもよい。

次に、撮像装置１０の表示部１９は、変換した補正画像をディスプレイに出力する（Ｓ０７）。Ｓ０７の処理において、撮像装置１０は、補正された画像を記憶部等に記憶してもよい。

上述した第１実施例における画像処理は、推定されたＰＳＦを用いて補正画像を出力する処理まで行っているが、これに限定されるものではなく、例えば上述したＳ０４におけるＰＳＦ推定処理までを行う処理であってもよい。

＜本実施形態におけるボケ画像について＞
ここで、本実施形態におけるボケ画像について説明する。ボケ画像は、例えばボケがない画像（真の画像）に対し、ある点から光学的な拡がりを持ったボケを畳み込んだものである。したがって、ボケ画像をｙ、ボケのない真の画像をｘ、ボケ関数（例えば、ＰＳＦ）をｋ、ノイズをｎとすると、ボケ画像は、以下に示す（１）式で表される。

上述した（１）式において、ボケ画像ｙは、真の画像ｘに対してＰＳＦにｋを畳みこんだ画像となっている。更に、ボケ画像ｙには、画像上のノイズｎが含まれる。

上述したボケを画像の観点から考えると、画像上のある１点の画素は、その周りの画素の情報を足し合わせた画像であるといえる。そこで、本実施形態では、周りの画素の情報をどう足し合わせるか（ＰＳＦに相当）という情報を用いて、この真の画像を求めるため、本実施形態におけるボケの補正にはＰＳＦの情報が必要となる。
なお、ボケ画像だけではＰＳＦ（周囲の画素をどのように足し合わせたか）の情報は未知であるため、上述した第１実施例におけるＰＳＦ推定により、ＰＳＦの情報を明確にする。更に、第１実施例において、ＰＳＦを用いた画像の補正手法については、例えば空間周波数も用いてもよく、繰返し手法等を用いてもよいが、これに限定されるものではない。

＜ＰＳＦ推定部４２における処理の具体例＞
次に、上述したＰＳＦ推定部４２における処理の具体例について説明する。図３は、ボケ画像と補正画像との関係を模式化した図である。なお、図３（Ａ）〜（Ｃ）は、画像のボケを１次元（矩形波）で模式化した図を示し、図３（Ｄ）〜（Ｆ）は、画像のボケを矩形波ではなく、繰り返し波形を用いて模式化した図を示している。

図３（Ａ）の例では、真の矩形波形５１に周辺画素の拡がりを持った分布情報５２−１を畳み込むことで、エッジのなまった波形（ボケ画像に相当）５３が生成される。なお、上述した真の矩形波形５１とは、例えば画像中に含まれる隣接画素間での輝度の高低を示すものであり、輝度が急激な高低がある場合には、矩形波形５１に示すようなエッジが生じる。

ここで、なまった波形５３に対して、適切なＰＳＦ相当の拡がり（ＰＳＦ幅）を持った分布情報５２−１を用いて補正した場合には、図３（Ｂ）に示すような真の矩形波形５１に近い補正波形５４−１となる。

しかしながら、図３（Ｂ）の例は理想的な結果であり、実際には、余分な周辺画素の情報も付加され、分布情報５２−１よりも広い（ＰＳＦ幅の大きい）分布情報５２−２を用いて補正される。このように過補正された場合には、図３（Ｃ）に示すように矩形波形のエッジ部分がオーバーシュートする。そのため、図３（Ｃ）に示すように、真の矩形波形５１とは異なる補正波形５４−２となる。なお、ＰＳＦが大きくなると、オーバーシュート量も増える。そのため、第１実施例では、上述したオーバーシュート量を、ＰＳＦの大きさを推定する上での判断情報の１つとすることができる。

また、上述した矩形波形を用いた例を、繰り返し波形を用いて説明すると、図３（Ｄ）の例では、真の繰返し波形５５に周辺画素の拡がりを持った分布情報５６−１を畳み込み、繰返し波形の振幅が劣化したなまった波形（ボケ画像に相当）５７が生成される。なお、上述した真の繰返し波形５５は、例えば画像中に含まれる隣接画素間で明るさ（輝度）が急激に変化するエッジ（輪郭）部分である。

ここで、なまった波形５７に対して、適切なＰＳＦ相当の拡がり（ＰＳＦ幅）を持った分布情報５６−１を用いて補正した場合には、図３（Ｅ）に示すような真の繰り返し波形５５に近い補正波形５８−１となる。

ここで、図３（Ｅ）の例は、理想的な結果であり、実際には余分な周辺画素の情報も付加され、分布情報５６−１よりも広い（ＰＳＦ幅の大きい）分布情報５６−２を用いて補正される。しかしながら、そのような分布情報５６−２を用いて過補正された補正波形５８−２も、図３（Ｆ）に示すようにオーバーシュートがなく波形に違和感がない。

つまり、余分な情報で補正した波形と、なまった波形との単純な差分を比較するだけでは、例えば図３（Ｄ）〜（Ｆ）に示すような繰り返しパターンのような場合に、図３（Ｇ）（ｉｉ）に示すように、波形に違和感がないため、適切なＰＳＦの推定ができない。

したがって、第１実施例では、図３（Ｇ）（ｉ）に示すように、カメラ等の撮像装置１０から撮影された画像から、上述した矩形波形に近いエッジ部分を抽出し、抽出した部分を用いて余分な情報で補正した波形となまった波形との差分を取得する。更に、第１実施例では、差分により得られるオーバーシュート量を用いて逆エッジ成分の領域を取得し、中側した逆エッジ成分の値から、ＰＳＦを推定する。なお、第１実施例では、逆エッジ成分を用いずにオーバーシュート量のみを用いてＰＳＦを推定してもよい。

＜ＰＳＦ推定の具体例＞
図４は、本実施形態におけるＰＳＦ推定の具体例を示す図である。ＰＳＦ推定部４２は、例えば図４（Ａ）、図４（Ｂ）に示すように、例えば上述したなまった波形（ボケ画像）や、余分な情報で補正した波形に対して微分を行うことで、隣接する画素の輝度変化を示す波形を生成する。

更に、ＰＳＦ推定部４２は、図４（Ａ）に示すように、なまった波形（ボケ画像）を微分して得られた波形（第１の波形）と、予め設定された閾値とを比較し、第１の波形が閾値よりも小さい部分（例えば、画像中の画素の位置）を取得する。なお、閾値は、補正対象の画像の種類等により任意に設定することができるが、これに限定されるものではなく、予め固定値に設定してもよい。

更に、ＰＳＦ推定部４２は、図４（Ｂ）に示すように、上述した閾値よりも小さい部分であって、余分な情報で補正された波形を微分した波形（第２の波形）を用いて、第１の波形と比較して逆符号の領域を取得する。これにより、ＰＳＦ推定部４２は、画像補正のときに、画素の周りの情報をどの程度使うのがよいのか（つまり、適切なＰＳＦの大きさ（幅））を判断する。

なお、逆符号の領域とは、例えば微分により得られる第１の波形と第２の波形のそれぞれの輝度値（エッジ成分）を、同じ画像中の画素の位置で比較したときに符号が逆となる領域である。なお、この逆符号の領域を逆エッジ成分という。図４（Ｂ）の例では、第２の波形が閾値（０）よりも小さい部分であって輝度値が正（プラス）とは逆の負（マイナス）の領域が逆符号の領域となる。なお、逆符号の領域は、負の領域に限定されるものではなく、例えば微分した後の基準となる輝度値が負の場合には、正の領域が逆符号の領域となる。

また、逆符号の領域は、オーバーシュート量に応じて変動し、オーバーシュート量が増加すると、逆符号の領域の値も増加する。更に、逆符号の領域における輝度値(逆エッジ輝度値)は、ＰＳＦの大きさ（幅）に対して単調増加することから、この逆エッジ輝度値を用いて効率よく適切なＰＳＦを推定することができる。

ここで、図５は、ＰＳＦ幅と逆エッジ最大輝度値との関係を示す図である。図５の例において、横軸はＰＳＦ幅を示し、縦軸は逆エッジ最大輝度値（ａｂｓ）を示している。また、図５の例では、撮像装置１０で被写体を撮影した場合のボケの程度（フォーカス距離）を変化させた例を示している。なお、図５の例では、撮像装置１０から被写体までの距離が同じ８ｍで、フォーカス（ｆｏｃｕｓ）距離を、８ｍ（ジャストフォーカス）、５ｍ、４ｍ、３ｍと変化させてボケの大きさ（幅）を変えたときの逆エッジ成分の最大輝度値を計算した例を示している。

図５に示すように、フォーカス距離が被写体距離と離れるほどボケが大きくなる。また、ＰＳＦ幅を大きくしていくと逆エッジ成分の最大輝度値は、どのフォーカス距離においても単調に増加する。そこで、ＰＳＦ推定部４２は、図５に示すように、逆エッジ成分の最大輝度値に閾値を設定し、ボケが大きい画像でのＰＳＦ幅を取得する。

また、ＰＳＦが異なるときに、余分な周辺部の画素の情報が増えるほど矩形部分のオーバーシュートの量が増えていく。したがって、ＰＳＦ推定部４２は、このオーバーシュート量をＰＳＦの大きさの判断基準とする。また、ＰＳＦ推定部４２は、例えば上述した図４に示すような微分の逆符号の領域を用いてオーバーシュート量を取得してもよい。

図６は、補正前後の１次元ラインの輝度値の比較例を示す図である。１次元ラインとは、例えば、縦ｍピクセル×横ｎピクセルの画像上の所定の位置に引いた直線である。図６（Ａ）、図６（Ｂ）において、横軸は画像中における画素の位置（ピクセル）を示し、縦軸は各画素に対する輝度値を示している。また、図６（Ｂ）は、図６（Ａ）の画素範囲０〜１００ピクセル部分を拡大して表示したものである。

図６（Ａ）、図６（Ｂ）の例では、オリジナル画像（ボケ画像）の各画素単位の輝度値の変化を、適正に補正した画像（以下、「適正補正画像」という）と、過補正した画像（以下、「過補正画像」という）の場合における輝度値の変化と共に示している。

図６（Ｂ）の例では、１次元ラインの約８〜２８ピクセルの位置で、それぞれの輝度値の差が大きく表れている。したがって、ＰＳＦ推定部４２は、この部分を数値化し、ＰＳＦの推定に用いる。例えば、ＰＳＦ推定部４２は、上述した微分処理等によりＰＳＦの適正を評価する逆エッジ成分を抽出し、抽出した逆エッジ成分の大きさからＰＳＦを推定する。

図７は、逆エッジ成分の抽出結果の一例を示す図である。図７（Ａ）は、逆エッジ成分を抽出する対象画像（例えば、顔画像）６０と、上述した１次元ライン６１を示している。なお、対象画像６０は、輝度のみが抽出された画像でもよい。また、図７（Ｂ）は、過補正画像に対する逆エッジ成分の抽出例を示し、図７（Ｃ）は、適正補正画像に対する逆エッジ成分の抽出例を示している。なお、図７（Ｂ）、図７（Ｃ）の例では、上述した図７（Ａ）に示す１次元ライン６１の画像部分に対応させて、画像中の画素の位置（ピクセル）に対する輝度値を示している。

図７（Ｂ）（ｉ）では、１次元ライン６１に対応する画像部分（一部の領域）に対して、オリジナル画像（ボケのある画像）を微分して得られる波形（第１の波形）と、過補正による補正後の画像を微分して得られる波形（第２の波形）を示している。更に、図７（Ｂ）（ｉｉ）では、図７（Ｂ）（ｉ）に示す横軸の画素の位置（０〜３５０ピクセル）を０〜１００ピクセルに拡大した波形を示している。更に、図７（Ｂ）（ｉｉｉ）では、図７（Ｂ）（ｉｉ）に示すオリジナル画像を微分して得られる波形と、過補正による補正後の画像を微分して得られる波形との差分により得られる逆エッジ成分をプロットした波形を示している。

また、図７（Ｃ）（ｉ）では、１次元ライン６１の画像部分に対して、オリジナル画像を微分して得られる波形（第１の波形）と、適正なＰＳＦを用いた補正による補正後の画像を微分して得られる波形（第２の波形）を示している。更に、図７（Ｃ）（ｉｉ）では、図７（Ｃ）（ｉ）に示す横軸の画素の位置（０〜３５０ピクセル）を０〜１００ピクセルに拡大した波形を示している。更に、図７（Ｃ）（ｉｉｉ）では、図７（Ｃ）（ｉｉ）に示すオリジナル画像を微分して得られる波形と、適正補正による補正後の画像を微分して得られる波形との差分により得られる逆エッジ成分をプロットした波形を示している。

ここで、図７（Ｂ）（ｉｉｉ）に示す逆エッジ成分と、図７（Ｃ）（ｉｉｉ）に示す逆エッジ成分とを比較すると、ＰＳＦが大きい場合（過補正の場合）には、適正補正時と比較して逆エッジ成分が大きいことがわかる。このように、逆エッジ成分が大きい場合には、補正した画像に違和感が生じるため、この行き過ぎた補正部分が閾値以下になるように、ＰＳＦの大きさ（幅）を推定する。

＜ＰＳＦ推定例＞
次に、上述したＰＳＦ推定部４２におけるＰＳＦ推定例についてフローチャートを用いて説明する。

＜第１の処理例＞
図８は、ＰＳＦ推定部における第１の処理例を示すフローチャートである。また、図９は、第１の処理例を説明するための図である。なお、図９の横軸はＰＳＦ幅を示し、縦軸は逆エッジの最大輝度値（ａｂｓ）を示す。

図８の例において、ＰＳＦ推定部４２は、撮影されたボケ画像（オリジナル画像）の入力を受け付けると（Ｓ１１）、設定部４３から設定情報を取得する（Ｓ１２）。なお、Ｓ１２の処理で取得する設定情報としては、例えばＰＳＦ幅の初期値やＰＳＦ幅を変更するときの変更幅（例えば、増加幅）、ＰＳＦを用いた補正の実行回数、逆エッジ最大輝度値に対する閾値等であるが、これに限定されるものではない。図９の例では、例えばＰＳＦ幅の初期値が０．２５、変更幅が＋０．２５、実行回数１５回、閾値３ａｂｓであるが、数値についてはこれに限定されるものではない。

次に、ＰＳＦ推定部４２は、補正の実行回数に初期値（＝１）を設定し（Ｓ１３）、ＰＳＦ幅を用いて、Ｓ１１の処理で取得したボケ画像に対する補正処理を実行し（Ｓ１４）、補正した画像を用いて、上述した逆エッジ成分を取得する（Ｓ１５）。Ｓ１４の補正処理における補正手法は、予め設定された手法（例えば、空間周波数で補正する手法、逆フィルタで補正する手法、最小化処理で補正する手法）等があるが、これに限定されるものではない。また、Ｓ１４の処理では、ＰＳＦ幅が変更される度に補正処理を行うが、その場合には、予め設定された同一の補正手法により補正される。

また、上述したＳ１５の処理において、ＰＳＦ推定部４２は、Ｓ１１の処理で入力したボケ画像を微分した波形と、Ｓ１３の処理で得られた補正画像を微分した波形とを用いて、上述した逆エッジ成分の最大輝度値（逆エッジ最大輝度値）を取得する。

次に、ＰＳＦ推定部４２は、Ｓ１５の処理で取得した逆エッジ最大輝度値が予め設定された閾値（図９の例では、閾値３）以上であるか否かを判断する（Ｓ１６）。ＰＳＦ推定部４２は、逆エッジ最大輝度値が閾値以上でない場合（Ｓ１６において、ＮＯ）、補正の実行回数が所定回数以上であるか否かを判断し（Ｓ１７）、所定回数以上である場合でない場合（Ｓ１７において、ＮＯ）、実行回数を１増加する（Ｓ１８）。更に、ＰＳＦ推定部４２は、Ｓ１２の処理で得られた設定情報に基づいてＰＳＦ幅を変更し（Ｓ１９）、Ｓ１４の処理に戻る。

また、ＰＳＦ推定部４２は、Ｓ１６の処理において、逆エッジ最大輝度値が閾値以上である場合（Ｓ１６において、ＹＥＳ）、そのときのＰＳＦ幅を適切なＰＳＦの大きさとして推定する（Ｓ２０）。なお、上述の処理では、閾値以上である場合に、その直前に使用したＰＳＦ幅を適切なＰＳＦの大きさとして推定してもよい。

また、ＰＳＦ推定部４２は、Ｓ１７の処理において、補正の実行回数が所定回数以上である場合（Ｓ１７において、ＹＥＳ）、そのときのＰＳＦ幅を適切なＰＳＦの大きさとして推定する（Ｓ２０）。なお、上述の処理では、例えばＰＳＦ幅を増加させ続けたとしても逆エッジ最大輝度値が閾値を越えないような場合に、ＰＳＦ幅を推定して処理を終了させることができる。また、上述の処理により補正処理を無駄に繰り返すことがないため処理時間を短縮することができる。

上述した第１の処理例において、ＰＳＦ推定部４２は、図９に示すようにＰＳＦ幅を段階的に上げていき、各段階で補正した画像に対する逆エッジ最大輝度値が、予め設定された閾値以上となった場合のＰＳＦを、適切なＰＳＦと推定する。

なお、図９の例では、ＰＳＦ幅が３．２５の場合に逆エッジ最大輝度値の閾値３以上となっている。したがって、図９の例において、ＰＳＦの大きさは、３．２５（又は、その直前の３）と推定することができる。

＜第２の処理例＞
図１０は、ＰＳＦ推定部における第２の処理例を示すフローチャートである。また、図１１は、第２の処理例を説明するための図である。なお、図１１（Ａ）、図１１（Ｂ）の横軸はＰＳＦ幅を示し、縦軸は逆エッジの最大輝度値（ａｂｓ）を示す。また、図１１（Ａ）、図１１（Ｂ）には、説明の便宜上、ＰＳＦ幅と逆エッジ最大輝度値との対応関係を示す曲線も示している。

図１０の例において、ＰＳＦ推定部４２は、撮影されたボケ画像（オリジナル画像）の入力を受け付けると（Ｓ３１）、設定部４３から設定情報を取得する（Ｓ３２）。なお、Ｓ３２の処理で取得する設定情報としては、例えば２つのＰＳＦ幅の値ｄｗ１、ｄｗ２や２つのＰＳＦ幅を変更するときの変更幅（例えば、増加幅）、逆エッジ最大輝度値に対する閾値範囲（上限閾値、下限閾値）等であるが、これに限定されるものではない。図１１の例では、例えばＰＳＦ幅の２つの値が０．５（初期値１）と、４（初期値２）、閾値範囲が２．７５（下限閾値）〜３．２５（上限閾値）ａｂｓであるが、数値についてはこれに限定されるものではない。また、ＰＳＦ幅の初期値となる２つの値は、例えば閾値範囲に対応させて小さい値と大きい値とを設定することが好ましいがこれに限定されるものではない。

次に、ＰＳＦ推定部４２は、２つのＰＳＦ幅を用いて、Ｓ３１の処理で取得したボケ画像に対する補正処理を実行し（Ｓ３３）、補正した画像を用いて、上述した逆エッジ成分を取得する（Ｓ３４）。Ｓ３３の補正処理では、ＰＳＦ幅が変更される度に補正処理を行うが、その場合には予め設定された同一の補正手法により補正される。

また、上述したＳ３４の処理において、ＰＳＦ推定部４２は、Ｓ３１の処理で入力したボケ画像を微分した波形と、Ｓ３３の処理で得られた補正画像を微分した波形とを用いて、上述した逆エッジ最大輝度値を取得する。

次に、ＰＳＦ推定部４２は、逆エッジ最大輝度値と閾値との差分ｒ１、ｒ２を算出する（Ｓ３５）。Ｓ３５の処理において、ＰＳＦ推定部４２は、図１１（Ａ）に示すように、閾値範囲における上限値又は下限値と、２つのＰＳＦ幅を用いて補正したそれぞれの補正画像から得られるそれぞれの逆エッジ最大輝度値との差分を算出する。例えば、図１１の例において、ＰＳＦ推定部４２は、ＰＳＦ幅の値ｄｗ１に対する逆エッジ最大輝度値と、閾値範囲のうち近い方の下限閾値との差分ｒ１を算出する。また、ＰＳＦ推定部４２は、ＰＳＦ幅の値ｄｗ２に対する逆エッジ最大輝度値と、閾値範囲のうち近い方の上限閾値との差分ｒ２を算出する。

次に、ＰＳＦ推定部４２は、Ｓ３４の処理により得られた２つの逆エッジ最大輝度値の点を用いて、補間によりＰＳＦ幅ｄｗａを取得する（Ｓ３６）。Ｓ３６の処理において、ＰＳＦ推定部４２は、例えばＰＳＦ幅の２つの値ｄｗ１、ｄｗ２を用いて得られたそれぞれの逆エッジ最大輝度値の点を結ぶ直線Ｌ１を引く。更に、ＰＳＦ推定部４２は、その直線Ｌ１を用いて閾値範囲の中心（図１１（Ａ）の場合には、逆エッジ最大輝度値３）のときのＰＳＦ幅をｄｗａとして取得する。なお、補間処理は、上述の例に限定されるものではない。

次に、ＰＳＦ推定部４２は、Ｓ３６の処理により得られたＰＳＦ幅ｄｗａを用いて、Ｓ３１の処理で取得したボケ画像に対する補正処理を実行し、その補正画像を用いて逆エッジ成分を取得し、取得した逆エッジ成分と閾値範囲との差分ｒａを算出する（Ｓ３７）。なお、Ｓ３７の処理において、ＰＳＦ推定部４２は、上述したＰＳＦ幅の２つの値ｄｗ１、ｄｗ２ではなく、ＰＳＦ幅ｄｗａを用いて上述したＳ３３〜Ｓ３５と同様の処理を行い、差分ｒａを算出する。

次に、ＰＳＦ推定部４２は、例えばＰＳＦ幅ｄｗａを用いて得られた逆エッジ最大輝度値が、予め設定された閾値範囲内であるか否かを判断し（Ｓ３８）、閾値範囲内でない場合（Ｓ３８において、ＮＯ）、２つのＰＳＦ幅を変更し（Ｓ３９）、Ｓ３６の処理に戻る。例えば、Ｓ３５の処理で得られた差分ｒ１、ｒ２において、図１１（Ａ）に示すようにｒ２がｒ１より小さい場合（ｒ２＜ｒ１）には、ｒ２を取得したときのＰＳＦ幅の方が閾値範囲に近いことになる。したがって、Ｓ３９の処理において、ＰＳＦ推定部４２は、ｒ２がｒ１より小さい場合に、図１１（Ｂ）に示すようにｒ２を取得したときのＰＳＦ幅をｄｗ１に変更し、そのｒ２をｒ１に変更する。更に、ＰＳＦ推定部４２は、図１１（Ｂ）に示すように、上述したＰＳＦ幅ｄｗａをｄｗ２と変更し、差分ｒａをｒ２と変更する。上述した変更を行った後、ＰＳＦ推定部４２は、上述したＳ３６以降の処理を行う。

また、Ｓ３８の処理において、ＰＳＦ推定部４２は、逆エッジ最大輝度値が、予め設定された閾値範囲内である場合（Ｓ３８において、ＹＥＳ）、そのときのＰＳＦ幅を適切なＰＳＦの大きさとして推定する（Ｓ４０）。

図１１（Ｂ）の例では、ＰＳＦ推定部４２は、Ｓ３９の処理を行った後、Ｓ３６以降の処理で補間により図１１（Ｂ）に示すような直線Ｌ２を引き、その直線Ｌ２と閾値範囲の中心とを用いて、新たなＰＳＦ幅ｄｗａを取得する。また、ＰＳＦ推定部４２は、そのＰＳＦ幅ｄｗａを用いて逆エッジ最大輝度値を取得する。この逆エッジ最大輝度値は、閾値範囲内であるため、ＰＳＦ推定部４２は、このときのＰＳＦ幅ｄｗａを適切なＰＳＦの大きさとして推定する。

上述した第２の処理例では、ＰＳＦ幅に対する逆エッジ最大輝度値が、ほぼ単調増加することを利用して、上述したような補間を繰り返すことで、補正の実行回数（繰り返し数）を上述した第１の処理例よりも低減することができる。したがって、第２の処理例では、迅速にＰＳＦを推定することができる。

上述した第１又は第２の処理例を用いて適切なＰＳＦを推定することで、ボケ画像を補正するための処理の手間を軽減することができる。上述した第１の処理例と第２の処理例は、一部又は全部を組み合わせて処理することもできる。したがって、ＰＳＦ推定部４２は、例えば第２の処理例において、上述した第１の処理例と同様に実行回数の制限を設け、所定回数以上でも逆エッジ最大輝度値が閾値範囲内にない場合に、その直前の補正を使用したＰＳＦ幅を適切なＰＳＦの大きさとしてもよい。

＜補正処理部４４におけるボケ補正手法＞
次に、補正処理部４４におけるボケ画像の補正手法について説明する。例えば、上述した（１）式に示すＰＳＦ関数ｋを求めるには、例えば空間周波数で求める手法、逆フィルタで求める手法、最小化で求める手法等があるが、これに限定されるものではない。以下に、上述したそれぞれの手法について説明する。

＜空間周波数＞
空間周波数の場合、例えばフーリエ変換により、（１）式は、Ｙ（ω）＝Ｋ（ω）Ｘ（ω）（ω：空間周波数）と表すことができる。この場合、補正処理部４４は、一番単純には逆数として、逆フィルタＫ_ｉｎｖを求めてから、補正画像（ボケのない真の画像）を算出する。

この場合、Ｋ_ｉｎｖ（ω）は、１／Ｋ（ω）となり、Ｘ（ω）＝Ｋ_ｉｎｖ（ω）Ｙ（ω）となる。補正処理部４４は、逆フーリエ変換をして補正画像を求める。ただし、逆フィルタを求めるときに割り算を行うので、高周波が０に近いと逆数が大きくなりすぎて高周波成分が強調されてしまう。

そこで、補正処理部４４は、例えば割り算の分母に補正項を入れる。この場合、重みをλとすると、Ｋ_ｉｎｖ（ω）＝１／（Ｋ（ω）＋λ）となり、Ｋ_ｉｎｖ（ω）は、以下に示す（２）式で表すことができる。

このように、補正処理部４４は、空間周波数を用いて補正画像ｘを求めることができる。

＜逆フィルタ＞
逆フィルタの場合、補正処理部４４は、Ｘ（ω）＝Ｋ_ｉｎｖ（ω）Ｙ（ω）に対して、Ｋ_ｉｎｖを逆フーリエ変換して逆フィルタＫ_ｉｎｖを求める。更に、補正処理部４４は、以下に示す（３）式を用いて畳み込み処理を行うことで、補正画像ｘを求めることができる。

＜最小化＞
最小化の場合、補正処理部４４は、以下に示す（４）式のような評価関数を用いて、その値が最小となるｘを求める。

なお、補正処理部４４は、値を収束させるために以下に示す（５）式のような正則化項を追加し、この評価関数が最小となるｘを求める。

なお、上述した（５）式において、λは重みを示し、Ｅ（ｘ）は正則化関数を示す。このように、補正処理部４４は、評価関数を用いた最小化処理を用いて補正画像ｘを求めることができる。

なお、補正処理部４４における補正手法については、これに限定されるものではない。また、補正処理部４４は、上述した補正手法を、用途等に応じてそれぞれ選択的に使用してもよく、複数を組み合わせてもよい。例えば、補正処理部４４は、迅速な補正処理を実現する場合には、上述した空間周波数又は逆フィルタによる処理を選択し、精度を重視する場合には上述した最小化による処理を選択するが、これに限定されるものではない。

＜他のＰＳＦ推定例＞
上述したＰＳＦ推定は、撮影したボケ画像の全領域（全画素）を用いて上述したＰＳＦ推定処理を行ってもよく、また一部の領域又は直線（例えば、１次元ライン）を抽出し、その抽出した部分画像を用いて上述したＰＳＦ推定処理を行ってもよい。ＰＳＦ推定部４２は、部分画像を用いてＰＳＦを推定することで、画像の全領域を使用するよりもデータ量を削減することができるため、ＰＳＦ推定の処理時間を短縮することができる。

図１２は、画像の一部の領域を用いたＰＳＦ推定例を説明するための図である。例えば、ＰＳＦ推定部４２は、図１２（Ａ）に示すように、例えば画像７０の中心付近を含む一部の領域７１を抽出し、抽出した一部の領域７１を用いてＰＳＦ推定を行ってもよい。撮影したい被写体は、通常、画像７０の中心にくることが多いため、ＰＳＦ推定部４２は、上述した手法で一部の領域７１を抽出することで、ボケ画像を補正するための適切なＰＳＦを推定することができる。一部の領域７１の大きさは、予め固定の画素サイズにしてもよく、また全画素数に基づく比率等に基づいて設定することができるが、これに限定されるものではない。

また、ＰＳＦ推定部４２は、図１２（Ｂ）に示すように、図１２（Ａ）に示す画像７０を微分した画像７２を用いてエッジを検出し、エッジが多い領域を一部の領域７１として抽出し、抽出した一部の領域７１を用いてＰＳＦ推定を行ってもよい。エッジが多い領域を利用することで、上述した逆エッジ成分をより多く取得できる可能性があるため、より適切なＰＳＦの大きさを推定することができる。

また、ＰＳＦ推定部４２は、図１２（Ｃ）に示すように、画像７３から顔画像を抽出し、その顔画像を含む領域を一部の領域７１として、ＰＳＦ推定を行ってもよい。なお、顔画像の抽出は、例えば顔の特徴情報（目、鼻、口等の配置情報や色情報）等に基づいて、顔画像を抽出することができるが、これに限定されるものではない。顔画像はボケによる違和感が目立つため、顔画像に対応するＰＳＦを適用することで、より適切な画像補正を実現できる。

また、ＰＳＦ推定部４２は、図１２（Ｃ）に示すような顔画像に限定されるものではなく、例えば花や山、建物等の所定の物体の場合には、所定の物体抽出処理等を行い、抽出した物体を含む一部の領域７１を用いてＰＳＦ推定を行ってもよい。

また、ＰＳＦ推定部４２は、図１２（Ｄ）に示すように、画像７４に複数（例えば、２つ）の顔画像が存在する場合に、それぞれの顔画像から一部の領域７１−１，７１−２を抽出し、抽出した一部の領域７１−１，７１−２からＰＳＦの推定を行う。また、ＰＳＦ推定部４２は、得られた複数のＰＳＦの大きさを平均して、画面全体に対するＰＳＦを推定してもよい。

なお、図１２（Ｄ）に示すように、１画像中から複数のＰＳＦを取得した場合、補正処理部４４は、一部の領域７１−１，７１−２のそれぞれに対応して取得したＰＳＦを用いて補正を行ってもよい。更に、補正処理部４４は、その他の画像領域については、一部の領域７１−１，７１−２により得られたＰＳＦの値を補間した値を用いて補正を行ってもよい。これにより、領域毎に適切なＰＳＦを用いてボケ画像を補正することができる。

上述した図１２（Ａ）〜（Ｄ）に示すような一部の領域７１の抽出条件は、上述した設定部４３により設定することができる。また、設定情報には、一部の領域７１を使用するか画像の全領域を使用するかの情報を有してしてもよい。

＜第２実施例：画像処理装置の概略構成例＞
ここで、本実施形態における画像処理装置は、上述した第１実施例に示すような撮像装置１０に内蔵されるだけでなく、画像処理部１４における各処理をＣＰＵやＤＳＰ等に行わせてもよい。図１３は、第２実施例における画像処理装置の概略構成の一例を示す図である。

図１３に示す画像処理装置８０は、制御部８１と、主記憶部８２と、補助記憶部８３と、通信部８４と、記録媒体インターフェース部８５と、カメラインターフェース部８６とを備える。各部は、バスを介して相互にデータ送受信可能に接続されている。画像処理装置８０は、例えばＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ（ＰＣ）やサーバ、タブレット、スマートフォン端末等の情報処理機能を有する装置である。

制御部８１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ等である。また、制御部８１は、主記憶部８２や補助記憶部８３に記憶されたプログラムを実行する演算装置である。制御部８１は、例えば補助記憶部８３に記憶される画像処理を行うためのプログラムを実行することで、上述した各処理を実行することができる。

主記憶部８２は、制御部８１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェア等のプログラムやデータを記憶又は一時保存する記憶装置である。主記憶部８２は、例えばＲｅａｄＯｎｌｙＭｅｍｏｒｙ（ＲＯＭ）やＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ（ＲＡＭ）等である。

補助記憶部８３は、例えばアプリケーションソフトウェア等に関連するデータを記憶する記憶装置である。また、補助記憶部８３は、記録媒体８７等から取得された画像処理（例えば、ＰＳＦ推定処理、補正処理等）を行うためのプログラムを記憶しておいてもよい。補助記憶部８３は、例えばＨａｒｄＤｉｓｋＤｒｉｖｅ（ＨＤＤ）、又はＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ（ＳＳＤ）等である。

通信部８４は、インターネットやＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ等の通信ネットワークやケーブル等を用いて接続された他の装置とのデータの送受信を行う。通信部８４による通信は、有線でも無線でもよく、それらの組み合わせでもよい。例えば、通信部８４は、他の装置から１又は複数の画像を取得し、取得した画像を補助記憶部８３等に記憶させることができる。

記録媒体インターフェース部８５は、例えばＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ（ＵＳＢ）等のデータ伝送路を介して接続された記録媒体８７（例えば、フラッシュメモリ等）と画像処理装置８０とのインターフェースである。記録媒体インターフェース部８５は、制御部８１からの制御により、記録媒体８７に格納された所定のプログラム（例えば、画像処理プログラム等）を読み出し、画像処理装置８０にインストールすることができる。これにより、インストールされた所定のプログラムは、画像処理装置８０により実行可能となる。

また、記録媒体インターフェース部８５は、上述した画像処理プログラムによる実行結果や画像処理プログラム自体を記録媒体８７に書き込むこともできる。なお、記録媒体８７は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

カメラインターフェース部８６は、カメラ（撮像部）８８との通信を行うインターフェースである。カメラ８８で撮像された画像（例えば、ボケ画像）は、カメラインターフェース部８６がカメラ８８から取得し、補助記憶部８３等に記憶される。

カメラ８８は、通常の風景や人物等の被写体を撮影する。撮影された画像は、カメラインターフェース部８６を介して画像処理装置８０に取り込まれる。なお、カメラ８８は、画像処理装置８０に内蔵されてもよい。

これにより、画像処理装置８０は、撮影した画像を取得して、上述したＰＳＦ推定を行い、推定したＰＳＦを用いて画像を補正することができる。

本実施形態では、上述したコンピュータ本体のハードウェア構成に実行プログラム（例えば、画像処理プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して、上述した画像処理等を実現することができる。また、上述した画像処理に対応する画像処理プログラムは、例えば装置上で常駐している状態であってもよく、ユーザによる起動指示により起動させてもよい。

上述したように本実施形態では、ボケ画像を補正するための処理の手間を軽減することができる。また、本実施形態では、適切なＰＳＦを推定し、推定したＰＳＦを用いてボケ画像を適切に補正することができる。また、本実施形態では、ＰＳＦを容易に推定することができるので、ボケ画像を適切に補正することができる。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

なお、以上の実施例に関し、更に以下の付記を開示する。
（付記１）
撮影された画像を微分して得られる第１の波形と、ボケの大きさに対応する補正パラメータを用いて前記画像を補正し、補正した前記画像を微分して得られる第２の波形とを比較し、前記第２の波形が前記第１の波形に対して逆符号となる領域の値と、所定の閾値とを用いて前記撮影された画像に対するボケの大きさを推定する、処理をコンピュータに実行させるための画像処理プログラム。
（付記２）
推定した前記ボケの大きさに対応する補正パラメータを用いて前記撮影された画像を補正することを特徴とする付記１に記載の画像処理プログラム。
（付記３）
前記第１の波形が予め設定された閾値より小さく、かつ前記第１の波形と前記第２の波形との差分により得られる波形の符号が前記逆符号となる部分を取得し、取得した前記部分から前記ボケの大きさを推定することを特徴とする付記１又は２に記載の画像処理プログラム。
（付記４）
前記ボケの大きさに対応する補正パラメータを変えながら、前記撮影された画像を補正し、補正した前記画像を微分して得られる前記第２の波形と、前記第２の波形が前記第１の波形に対して逆符号となる領域の値を取得し、取得した前記領域の値が、前記所定の閾値を越えたときの補正パラメータから前記ボケの大きさを推定することを特徴とする付記１乃至３の何れか１項に記載の画像処理プログラム。
（付記５）
前記ボケの大きさを複数設定し、設定した各ボケの大きさに対する補正パラメータを用いて前記撮影された画像を補正し、補正した前記画像を微分して得られる前記第２の波形と、前記第２の波形が前記第１の波形に対して逆符号となるそれぞれの領域の値を取得し、取得した前記それぞれの領域の値を用いて補間を繰り返すことで、前記ボケの大きさを推定することを特徴とする付記１乃至４の何れか１項に記載の画像処理プログラム。
（付記６）
前記撮影された画像から一部の領域を抽出し、抽出した前記一部の領域を用いて前記ボケの大きさを推定することを特徴とする付記１乃至５の何れか１項に記載の画像処理プログラム。
（付記７）
撮像部で撮影された画像を微分して得られる第１の波形と、ボケの大きさに対応する補正パラメータを用いて前記画像を補正し、補正した前記画像を微分して得られる第２の波形とを比較し、前記第２の波形が前記第１の波形に対して逆符号となる領域の値と、所定の閾値とを用いて前記撮影された画像に対するボケの大きさを推定する推定部を有することを特徴とする画像処理装置。
（付記８）
画像処理装置が、
撮影された画像を微分して得られる第１の波形と、ボケの大きさに対応する補正パラメータを用いて前記画像を補正し、補正した前記画像を微分して得られる第２の波形とを比較し、前記第２の波形が前記第１の波形に対して逆符号となる領域の値と、所定の閾値とを用いて前記撮影された画像に対するボケの大きさを推定することを特徴とする画像処理方法。

１０撮像装置
１１光学系
１２撮像素子
１３ＡＦＥ
１４画像処理部（画像処理装置）
１５後処理部
１６駆動制御部
１７制御部
１８画像メモリ
１９表示部
２１レンズ
２２絞り
３１Ａ／Ｄ（アナログデジタル）コンバータ
３２タイミングジェネレータ
４１ＲＡＷメモリ
４２ＰＳＦ推定部
４３設定部
４４補正処理部
５１真の矩形波形
５２，５６分布情報
５３，５７なまった波形
５４，５８補正波形
５５真の繰返し波形
６０対象画像
６１１次元ライン
７０，７２，７３，７４画像
７１一部の領域
８０画像処理装置
８１制御部
８２主記憶部
８３補助記憶部
８４通信部
８５記録媒体インターフェース部
８６カメラインターフェース部
８７記録媒体
８８カメラ（撮像部）

Claims

撮影された画像を微分して得られる第１の波形と、ボケの大きさに対応する補正パラメータを用いて前記画像を補正し、補正した前記画像を微分して得られる第２の波形とを比較し、前記第１の波形が予め設定された閾値より小さく、かつ前記第２の波形が前記第１の波形に対して逆符号となる領域の値と、所定の閾値とを用いて前記撮影された画像に対するボケの大きさを推定する、
処理をコンピュータに実行させるための画像処理プログラム。
推定した前記ボケの大きさに対応する補正パラメータを用いて前記撮影された画像を補正することを特徴とする請求項１に記載の画像処理プログラム。
前記ボケの大きさに対応する補正パラメータを変えながら、前記撮影された画像を補正し、補正した前記画像を微分して得られる前記第２の波形と、前記第１の波形が予め設定された閾値より小さく、かつ前記第２の波形が前記第１の波形に対して逆符号となる領域の値を取得し、取得した前記領域の値が、前記所定の閾値を越えたときの補正パラメータから前記ボケの大きさを推定することを特徴とする請求項１または２に記載の画像処理プログラム。
前記ボケの大きさを複数設定し、設定した各ボケの大きさに対する補正パラメータを用いて前記撮影された画像を補正し、補正した前記画像を微分して得られる前記第２の波形と、前記第１の波形が予め設定された閾値より小さく、かつ前記第２の波形が前記第１の波形に対して逆符号となるそれぞれの領域の値を取得し、取得した前記それぞれの領域の値を用いて補間を繰り返すことで、前記ボケの大きさを推定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理プログラム。
撮像部で撮影された画像を微分して得られる第１の波形と、ボケの大きさに対応する補正パラメータを用いて前記画像を補正し、補正した前記画像を微分して得られる第２の波形とを比較し、前記第１の波形が予め設定された閾値より小さく、かつ前記第２の波形が前記第１の波形に対して逆符号となる領域の値と、所定の閾値とを用いて前記撮影された画像に対するボケの大きさを推定する推定部を有することを特徴とする画像処理装置。
画像処理装置が、
撮影された画像を微分して得られる第１の波形と、ボケの大きさに対応する補正パラメータを用いて前記画像を補正し、補正した前記画像を微分して得られる第２の波形とを比較し、前記第１の波形が予め設定された閾値より小さく、かつ前記第２の波形が前記第１の波形に対して逆符号となる領域の値と、所定の閾値とを用いて前記撮影された画像に対するボケの大きさを推定することを特徴とする画像処理方法。