JP4585456B2 - ボケ変換装置 - Google Patents

Description

本発明は、画像データにおけるボケの状態を変更するボケ変換装置に関する。

一枚の画像データを、ボケフィルタと鮮明な画像データとに分離するblind deconvolutionと呼ばれる技術がある。

このblind deconvolutionでは、鮮明な元画像データにボケフィルタをかけた結果が入力画像データであるとするモデルに基づいて、入力画像データのみから元画像データとボケフィルタとが推定される。特許文献１（米国特許第６１５４５７４号明細書）では、ボケが画像データ全体で一様な場合のblind deconvolutionに関する技術が開示されている。

また、特許文献２（米国特許第６９２８１８２号明細書）では、１枚の画像データから検出されたエッジの周りでボケを推定し、エッジの片側から反対側へ輝度値を移動させることによるエッジ先鋭化に利用する技術が開示されている。
米国特許第６１５４５７４号明細書 米国特許第６９２８１８２号明細書

上記特許文献１の技術では、ボケが画像データ全体で一様であることを条件としている。このため、上記特許文献１の技術を、例えば、異なる物体が奥行き方向に並んでおり、焦点ボケが大きく変化するような内容の画像データに適用することは困難である。

上記特許文献２の技術においても目的は先鋭化のみであり、一枚の画像データからボケ方が変更された画像データを生成することまでは検討されていない。

本発明は、以上のような実情に鑑みてなされたもので、一枚の画像データについてボケ方が一様でなく、ボケが大きく変化するような場合であってもこのボケを任意に変化させることが可能なボケ変換装置を提供することを目的とする。

本願発明の一態様に係るボケ変換装置は、入力画像データのエッジ点の位置及びエッジの方向を検出するエッジ検出手段と、入力画像データを微分し、入力画像データの輝度勾配を算出する微分手段と、エッジ検出手段によって検出されたエッジ点について、入力画像データとエッジの方向とに基づいて、ボケの状態を表すボケ関数に含まれる推定ボケパラメータとエッジの局所コントラストとを推定するボケ推定手段と、エッジ検出手段によって検出されたエッジ点について、入力画像データの輝度勾配と、エッジの方向と、エッジの局所コントラストとに基づいて、推定ボケパラメータを所望のボケパラメータに置換したボケ置換後の輝度勾配を生成するボケ置換手段と、ボケ置換後の輝度勾配に基づいて、出力画像データを再構成する画像再構成手段とを具備する。

本発明においては、一枚の画像データに含まれるボケを任意に変化させた画像データを生成することができる。本発明のボケ変換は、ボケ方が一様でなく、ボケが大きく変化するような場合であっても適用することができる。

以下、図面を参照しながら本発明の実施の形態について説明する。なお、下記の各図において同様の部分については同様の符号を付して説明を省略する。

（第１の実施の形態）
本実施の形態においては、一枚の画像データを入力し、この画像データ内の一部のボケ状態を変更し、ボケ方が入力した画像データと異なる画像データを出力するボケ変換装置について説明する。このボケ変換装置のボケ変換方法を用いた場合、例えば手前の物体にピントが合い、奥の物体がボケている画像データから、奥の物体にピントが合い、手前の物体がボケた画像データを生成することができる。

図１は、本実施の形態に係るボケ変換装置の構成の一例を示すブロック図である。

ボケ変換装置１は、画像データの加工・編集などのような画像処理装置である。画像データからエッジを検出し、エッジ周辺のボケを推定し、異なるボケに置き換えた画像データを再構成する。ボケ変換装置１によるボケの置き換えは、画像データを微分した輝度勾配に対して行われる。これにより、ボケ変換装置１の計算を簡単化し、処理が高速化される。

画像データとしては、例えば、デジタルカメラで撮影された写真データ、スキャナで読み込んだデータなどが用いられる。

ボケ変換装置１は、記憶装置２ａ〜２ｇ、エッジ検出部３、微分部４、ボケ推定部５、ボケ置換部６、画像再構成部７を具備する。

エッジ検出部３は、記憶装置２ａに記憶されている入力画像データＩ（ｘ，ｙ）を読み出し、入力画像データのエッジ検出計算を実行し、エッジと判定された画素（エッジ点）の座標（ａ_i，ｂ_i）と、この座標（ａ_i，ｂ_i）におけるエッジの方向又は法線ベクトルｎ_iを記憶装置２ｂに記憶する。ここで、ｉは、エッジ点の番号である。エッジの検出方法は、既存の方法を適用できる。

微分部４は、記憶装置２ａに記憶されている入力画像データＩ（ｘ，ｙ）を読み出し、入力画像データＩ（ｘ，ｙ）をｘ方向（水平方向）及びｙ方向（垂直方向）に微分し、入力画像データの輝度勾配ｇｒａｄ（Ｉ）＝（∂Ｉ／∂ｘ，∂Ｉ／∂ｙ）を記憶装置２ｃに記憶する。

入力画像データＩ（ｘ，ｙ）は、実際には、離散データＩ_i,j（ｉ＝０，１，…，Ｗ−１；ｊ＝０，１，…，Ｈ−１；Ｗ：画像の幅；Ｈ：画像の高さ）で表現されている。離散データに対する微分法としては、例えばSobelフィルタを使用する手法など、様々な手法を用いることができる。

例えば、下記の（１）式、及び（２）式により、∂Ｉ／∂ｘ及び∂Ｉ／∂ｙは演算される。

∂Ｉ／∂ｘ＝（Ｉ_i+1,j-1−I_i-1,j-1＋２Ｉ_i+1,j−２Ｉ_i-1,j＋Ｉ_i+1,j+1−Ｉ_i-1,j+1）／８ …（１）
∂Ｉ／∂ｙ＝（Ｉ_i-1,j+1−I_i-1,j-1＋２Ｉ_i,j+1−２Ｉ_i,j-1＋Ｉ_i+1,j+1−Ｉ_i+1,j-1）／８ …（２）
ボケ推定部５は、記憶装置２ａに記憶されている入力画像データと、記憶装置２ｂに記憶されているエッジ位置及びエッジ方向とを読み出し、各エッジ点について、エッジ点の周辺の入力画像データの値に基づいてボケを推定し、ボケ推定結果であるボケパラメータと局所コントラストとを記憶装置２ｄに記憶する。

このボケ推定部５によるボケ推定方法を以下に説明する。

入力画像データのボケは、ボケに関するパラメータｐを持つボケ関数ｇ（ｘ，ｙ；ｐ）でモデル化される。ボケに関するパラメータが複数ある場合、ｐはベクトルである。

このボケ関数ｇによって、下記の（３）式及び（４）式に示すようなステップエッジがぼかされた場合を考える。なお、（３）式においてｈ0はエッジの一方側の輝度であり、（４）式においてｈ1はエッジの他方側の輝度である。

ｈ（ｘ，ｙ）＝ｈ0 （ｘ＜０の場合） …（３）
ｈ（ｘ，ｙ）＝ｈ1 （ｘ＞０の場合） …（４）
以下においては、簡略化のためにステップエッジがｙ軸に沿っている場合について説明するが、他の一般的な場合についても、注目しているエッジ点を原点とし、エッジの方向にｙ軸をとり、エッジと垂直な方向にｘ軸をとることにより、同様の手法を用いることができる。

ステップエッジがぼかされた場合の輝度分布は、下記の（５）式で表される。

ｆ（ｘ，ｙ；ｈ0，ｈ1，ｐ）＝ｈ（ｘ，ｙ）＊ｇ（ｘ，ｙ；ｐ） …（５）
ここで“*”は二次元の畳み込み(convolution)である。例えばボケを、ボケ半径rというパラメータをひとつ持つ下記（６）式のガウシアン（gaussian）でモデル化すると、下記（７）式となる。

Ｇ（ｘ，ｙ；ｒ）＝ｅｘｐ｛−（ｘ²＋ｙ²）／（２ｒ²）｝／（２πｒ²） …（６）
ｆ（ｘ，ｙ；ｈ0，ｈ1，ｒ）＝（ｈ1−ｈ0）ｅｒｆ｛ｘ／（ｒ√２）｝／２＋（ｈ1＋ｈ0）／２ …（７）
ここでｅｒｆ（ｘ）はエラー関数（error function）を表す。上述のようにｙ軸に沿ったエッジを考えると、fは（７）式のようにｙに非依存な関数になる。

図２にステップエッジのｙ＝０での断面ｈ（ｘ，０）の例、図３にボケ関数のｙ＝０での断面ｇ（ｘ，０；ｒ）の例、図４にボケたエッジのｙ＝０での断面ｆ（ｘ，０；ｈ0，ｈ1，ｒ）の例を示す。

ボケの推定は、（５）式がエッジ点（ａ_i，ｂ_i）周辺の入力画像データの輝度分布Ｉ（ｘ＋ａ_i，ｙ＋ｂ_i）と近くなるようなｈ0、ｈ1、ｐを求めることによって行う。

このボケ推定では、最小二乗フィッティングを行う。最小二乗フィッティングはエッジの法線ｎ_i方向について一次元で行えばよい。上記のｙ軸に沿ったエッジの場合、ｙ＝０としてｆ（ｘ，０；ｈ0，ｈ1，ｐ）とＩ（ｘ＋ａ_i，ｂ_i）をｘ方向についてフィッティングする。

そして、ボケ推定部５は、各エッジ点において推定したボケパラメータｐ、局所コントラストｃ（エッジの両側の輝度差（ｈ1−ｈ0））を記憶装置２ｄに記憶する。

ボケ置換部６は、記憶装置２ｂに記憶されているエッジ位置及びエッジ方向、記憶装置２ｃに記憶されている入力画像データの輝度勾配ｇｒａｄ（Ｉ）＝（∂Ｉ／∂ｘ，∂Ｉ／∂ｙ）、記憶装置２ｄに記憶されているボケパラメータ及び局所コントラスト、記憶装置２ｅに記憶されている所望のボケパラメータを読み出す。

そして、ボケ置換部６は、各エッジ点において推定されたボケを、所望のボケパラメータに対応するボケに置換し、ボケ置換後の輝度勾配を記憶装置２ｆに記憶する。

ここで、所望のボケパラメータとは、ボケ変換後になってほしいボケの状態を表し、具体的には、ボケ置換及び画像再構成後に得られる出力画像データのボケパラメータｑである。ボケ置換は、入力画像データの輝度勾配ｇｒａｄ（Ｉ）に対して行われる。以下においては、簡略化のために、上記の場合と同様にエッジがｙ軸に沿っている場合を例として説明する。

上記（５）式をｘについて微分すると下記（８）式が得られる。

∂ｆ／∂ｘ＝∂ｈ／∂ｘ＊ｇ（ｘ，ｙ；ｐ）＝（ｈ1−ｈ0）δ（ｘ）＊ｇ（ｘ，ｙ；ｐ）＝ｃ∫ｇ（ｘ，ｙ；ｐ）ｄｙ …（８）
ここで、δ（ｘ）はディラック（Dirac）のデルタ関数である。この（８）式は、ボケたエッジの微分が、ｃ倍したボケ関数をエッジに沿って積分したものであることを示している。すなわち、一次元の場合で図示して言えば、図２のステップエッジに図３のボケ関数をかけて得られた図４のボケたエッジを微分すると、図３のボケ関数をｃ倍したものが得られることに相当する。したがって、入力画像データの輝度勾配について、エッジに沿ってボケパラメータｐのボケ関数を引き、代わりに所望のボケパラメータｑのボケ関数を足せば、下記（９）式に示すボケ置換後の輝度勾配が得られると考えられる。

∂ｆ’／∂ｘ＝ｃ∫ｇ（ｘ，ｙ；ｑ）ｄｙ …（９）
この（９）式のｆ’は、上記（８）式と比較して、ボケパラメータｑでぼかされたエッジを表すことが分かる。

図５は、本実施の形態におけるボケ置換及び画像再構成の概念の一例を示すグラフであり、一次元の場合を例として図示している。

まず、入力画像データのエッジ点についてボケパラメータｐが求められ、このボケパラメータｐがボケパラメータｑに置換され、ボケパラメータｑによって再構成された出力画像データが作成される。

本実施の形態に係るボケ置換を実施するため、ボケ置換部６は、以下の（１０）式によって全てのエッジ点（ａ_i，ｂ_i）について、ボケパラメータｐ_iをボケパラメータｑ_iに置換した結果であるボケ置換後の輝度勾配（Ｉ_x’，Ｉ_y’）を計算し、記憶装置２ｆに記憶する。

（Ｉ_x’，Ｉ_y’）＝ｇｒａｄ（Ｉ）＋Σｃ_i｛ｇ（ｘ−ａ_i，ｙ−ｂ_i；ｑ_i）−ｇ（ｘ−ａ_i，ｙ−ｂ_i；ｐ_i）｝ｎ_i …（１０）
この（１０）式において、ｃ_iは、エッジ点（ａ_i，ｂ_i）における局所コントラストであり、ｎ_iは、正規化されたエッジ法線である。

画像再構成部７は、記憶装置２ｆに記憶されているボケ置換後の輝度勾配（Ｉ_x’，Ｉ_y’）を読み出し、このボケ置換後の輝度勾配（Ｉ_x’，Ｉ_y’）を与える出力画像データＩ’を作成し、記憶装置２ｇに記憶する。

すなわち、画像再構成部７は、下記の（１１）式、（１２）式のような関係式を満たす出力画像データI’を計算する。

∂Ｉ’／∂ｘ＝Ｉ_x’ …（１１）
∂Ｉ’／∂ｙ＝Ｉ_y’ …（１２）
この（１１）式、（１２）式を満たす出力画像データI’は、誤差の二乗平均を最小化することで、下記の（１３）式を解くことで求まる。

（∂²／∂ｘ²＋∂²／∂ｙ²）Ｉ’＝∂Ｉ_x’／∂ｘ＋∂Ｉ_y’／∂ｙ …（１３）
この（１３）式は、Poisson方程式であり、このPoisson方程式を離散化した線形方程式は、Jacobi法、Gauss-Seidel法、Conjugate Gradient法などの疎行列の反復解法が適用できるほか、離散フーリエ変換による対角化、マルチグリッド法などで高速に解くことができる。

本実施の形態においては、ボケ方を変更しているだけなので、解は、入力画像データＩとよく似ていると予想される。したがって、反復法で解く場合には、入力画像データを初期近似値とすることにより、収束が早まることが期待できる。

図６は、本実施の形態に係るボケ変換装置１の処理の一例を示すフローチャートである。

ステップＳ１において、エッジ検出部３は、入力画像データＩ（ｘ，ｙ）に基づいて、入力画像データＩ（ｘ，ｙ）のエッジ点の位置とエッジ方向を検出する。

ステップＳ２において、ボケ推定部５は、入力画像データＩ（ｘ，ｙ）と、入力画像データＩ（ｘ，ｙ）のエッジ点の位置とエッジ方向とに基づいて、各エッジ点について、ボケパラメータｐを推定し、局所コントラストｃを求める。

ステップＳ３において、微分部４は、入力画像データＩ（ｘ，ｙ）をｘ方向（水平方向）及びｙ方向（垂直方向）に微分し、入力画像データＩ（ｘ，ｙ）の輝度勾配ｇｒａｄ（Ｉ）＝（∂Ｉ／∂ｘ，∂Ｉ／∂ｙ）を求める。

なお、ステップＳ３は、ステップＳ１及びステップＳ２の前に実行されてもよく、ステップＳ１及びステップＳ２と並列に実行されてもよく、ステップＳ１及びステップＳ２の後に実行されてもよい。

ステップＳ４において、ボケ置換部６は、各エッジ点について、推定されたボケパラメータｐで表されるボケを、所望ボケパラメータに対応するボケに置換し、ボケ置換後の輝度勾配を求める。

ステップＳ５において、画像再構成部７は、ボケ置換後の輝度勾配から出力画像データＩ’を作成する。

以下において、上記のような本実施の形態に係るボケ変換の概要を、一次元の場合を例として図７〜９を用いて説明する。

図７は、一次元の場合のエッジとボケ関数との関係の一例を示す図である。

この図７において、ステップエッジｈ（ｘ）がぼかされることにより、入力画像データのボケたエッジｆ（ｘ）となるとする。ボケたエッジｆ（ｘ）は、ステップエッジｈ（ｘ）とボケの状態を表すボケ関数ｇ（ｘ）との畳み込み演算により得られる。

すなわち、以下の（１４）式が得られる。

ｆ（ｘ）＝ｈ（ｘ）＊ｇ（ｘ） …（１４）
この（１４）式の両辺を微分すると、下記の（１５）式が得られる。

ｄｆ／ｄｘ＝ｄｈ／ｄｘ＊ｇ（ｘ）＝ｃδ（ｘ）＊ｇ（ｘ）＝ｃｇ（ｘ） …（１５）
この結果、ボケたエッジｆ（ｘ）を微分することにより、ボケ関数ｇ（ｘ）を求めることができることになる。すなわち、ボケは、入力画像データのエッジ周辺の輝度勾配の分布から推定できる。

そこで、本実施の形態に係るボケ変換は、まず、入力画像データに対する微分によりエッジ位置を検出する。以後のボケ推定及びボケ置換は、各エッジ点に対して局所的に処理が行われる。

ここでは、ボケは例えばガウシアン状であると仮定し、ガウシアンを用いてボケ推定を行う。

図８は、あるエッジ点について、エッジ方向と垂直な方向の微分の分布（輝度勾配）に、ガウシアンをフィッティングしたボケ推定結果の例を示す図である。ガウシアンの標準偏差が、ボケ半径に対応する。

次に、ボケ推定結果を所望のボケに置換するボケ置換を行う。

図９は、一次元の場合について、あるエッジ点ｘ＝ａ周辺の輝度勾配について、推定されたボケを、所望のボケに置換した結果の例を示す図である。

ボケ置換後の輝度勾配ｇｒａｄ（Ｉ’）と、置換前の輝度勾配ｇｒａｄ（Ｉ）と、推定されたボケ半径ｒと、推定された局所コントラストｃと、所望のボケ半径ｓとの関係は、下記（１６）式で表される。この（１６）式を演算することにより、ボケの置換が行われる。

ｇｒａｄ（Ｉ’）＝ｇｒａｄ（Ｉ）−ｃＧ（ｘ−ａ；ｒ）＋ｃＧ（ｘ−ａ；ｓ） …（１６）
ここで、Ｇ（ｘ；ｒ）は標準偏差ｒの一次元のガウシアンである。

ボケ置換後は、上述した（１１）〜（１３）式を用いて、画像再構成が行われる。

以上説明した本実施の形態に係るボケ変換装置１は、エッジ検出部３によって入力画像データからエッジの位置及び方向を検出し、微分部４によって入力画像データを微分して輝度勾配を計算し、ボケ推定部５によって各エッジ位置において、入力画像データとエッジ方向とに基づいてボケパラメータとエッジの局所コントラストを推定する。

そして、ボケ変換装置１は、ボケ置換部６によって、各エッジ位置において入力画像データの輝度勾配とエッジ方向と推定した局所コントラストとに基づいて推定されたボケパラメータを、所望のボケパラメータに置換した輝度勾配を生成し、画像再構成部７によって、所望のボケパラメータに置換した輝度勾配から出力画像データを生成する。

これにより、入力画像データのボケを任意かつ局所的に変更した出力画像データを生成することができる。

本実施の形態では、一枚の入力画像データからボケ方の異なる出力画像データを任意に生成することができる。すなわち、通常の二次元画像データを一つ入力して容易にデータ内のボケを変換することができ、画像データ入力のために特殊な装置等を用意する必要はない。

本実施の形態においては、ボケ推定部５とボケ置換部６とにおいてボケを関数でモデル化するため、ボケをいくつかのパラメータで簡潔に表現できる。本実施の形態では、ボケ関数としてガウシアンを用いている。このように数学的によい性質を持つ関数を使うことにより、解析を容易に行うことができる。本実施の形態のように、ボケ半径をボケパラメータとして用いることにより、ボケをひとつのパラメータで簡潔に表現できる。

本実施の形態においては、ボケ推定部５において入力画像データとボケ関数によってぼかされたステップエッジとがフィッティングされ、ボケが推定される。これにより、ボケ推定の問題を、関数とデータとのフィッティングの問題に簡単化することができる。

本実施の形態に係るボケ置換部６においては、入力画像データの輝度勾配に、ボケ関数を加減算することによりボケ置換を行っている。このため、ボケ置換の演算処理を容易化できる。

本実施の形態では、入力画像データのエッジの周辺で局所的にボケを推定してボケを置換するため、入力画像データに含まれているボケ及び出力画像データに望まれるボケは、画像全体で一様ではなく画像上の位置によって異なっていてもよい。

本実施の形態に係る画像再構成部７においては、入力画像データを初期近似解とする反復法を適用して画像再構成が行われ、出力画像データが生成される。すなわち、本実施の形態における画像再構成処理においては、高速な解法を用いることができ、また適切な初期近似解が与えられる。このため、本実施の形態では、処理が容易で計算量を少なくすることができ、処理速度を高速化できる。

本実施の形態に係るボケ推定部５とボケ置換部６においては、入力画像データから検出されたエッジの周辺について、局所的にボケ推定処理とボケ置換処理が行われるため、計算を容易化かつ高速化することができる。

本実施の形態では、入力画像データＩ（ｘ，ｙ）の輝度勾配ｇｒａｄ（Ｉ）に変更を加える形式でボケが置換される。このため、ボケの影響を受けていない領域については、入力画像データと同じデータを出力することができ、余分な画質改変を行うことがなく、画質の劣化も生じにくい。

（第２の実施の形態）
本実施の形態においては、上記第１の実施の形態の変形例について説明する。

上記第１の実施の形態におけるボケ推定部５は、入力画像データを読み込んでいるが、本実施の形態におけるボケ推定部は、入力画像データに代えて、入力画像データの輝度勾配を読み込み、ボケパラメータと局所コントラストとを求める場合について説明する。

図１０は、本実施の形態に係るボケ変換装置の構成の一例を示すブロック図である。

上記第１の実施の形態に係るボケ変換装置１のボケ推定部５は、上記の（５）式を入力画像データの輝度分布Ｉにフィッティングした。これに対して、本実施の形態に係るボケ変換装置８のボケ推定部９は、上記（５）式と入力画像データの輝度分布Ｉとの双方の微分結果を用いてボケ推定を行う。

本実施の形態に係るボケ推定部９は、入力画像データの代わりに微分部４によって求められた入力画像データの輝度勾配を入力し、この入力画像データの輝度勾配とボケ関数とをフィッティングすることにより、ボケを推定する。

すなわち、ボケ推定部９は、上記（５）の微分結果である（８）式を、入力画像データの輝度勾配の大きさ｜ｇｒａｄ（Ｉ）｜にフィッティングし、ボケパラメータｐと局所コントラストｃを求める。

微分することにより、定数部の情報が失われるが、エッジの両端の輝度値ｈ0，ｈ1そのものは、以降の処理で用いる必要がなく、エッジの両端の輝度値ｈ0，ｈ1の差ｃのみがあればよいため、問題ない。

ボケを、上記（６）式のガウシアンでモデル化した場合、上記（８）式は、下記（１７）式のようになる。

∂ｆ／∂ｘ＝ｃ∫Ｇ（ｘ，ｙ；ｒ）ｄｙ＝ｃ・ｅｘｐ｛−ｘ²／（２ｒ²）｝／（ｒ√（２π）） …（１７）
以上説明した本実施の形態においては、上記（８）式を、入力画像データの輝度勾配ｇｒａｄ（Ｉ）にフィッティングすることにより、上記第１の実施の形態の場合よりもフィッティングのパラメータを一つ減らすことができる。したがって、本実施の形態においては、フィッティングのための計算量を少なくすることができ、処理を容易化することができ、フィッティングの安定性を増すことができる。

（第３の実施の形態）
本実施の形態においては、上記第１又は第２の実施の形態の変形例について説明する。

上記第１の実施の形態に係るボケ変換装置１のボケ推定部５は、入力画像データを読み込んでいる。また、上記第２の実施の形態に係るボケ変換装置１のボケ推定部９は、微分部４によって求められた入力画像データの輝度勾配を読み込んでいる。

これに代えて、本実施の形態に係るボケ変換装置のエッジ検出部は、エッジ位置及び方向に加えて、ぼかされた入力画像データの輝度勾配を求め、本実施の形態に係るボケ変換装置のボケ推定部は、エッジ検出部によって求められたエッジ位置、エッジの方向、ぼかされた入力画像データの輝度勾配を読み込み、ボケパラメータと局所コントラストとを求める。

図１１は、本実施の形態に係るボケ変換装置の構成の一例を示すブロック図である。

ボケ変換装置１０のエッジ検出部１１は、Cannyのエッジ検出方式などの手法を用いて、入力画像データのエッジ位置、エッジ方向を記憶装置２ｂに記憶するとともに、ぼかされた入力画像データの輝度勾配を作成し、記憶装置２ｈに記憶する。

ぼかされた入力画像データの輝度勾配は、下記の（１８）式に示すように、入力画像データにGaussian derivativeフィルタをかけることで得られる。

ｇｒａｄ（Ｉ）＝（∂Ｇ（ｘ、ｙ；ｓ）／∂ｘ＊Ｉ（ｘ，ｙ），∂Ｇ（ｘ、ｙ；ｓ）／∂ｙ＊Ｉ（ｘ，ｙ）） …（１８）
ボケ推定部１２によって、ぼかされた入力画像データの輝度勾配に（８）式をフィッティングしてボケの推定を行う場合においては、入力画像データを標準偏差ｓのガウシアンフィルタによってぼかされた画像データに対してボケの推定を行っていることになる。このため、ボケ推定部１２では、入力画像データの実際のボケより大きなボケが推定される。

すなわち、本実施の形態において、ボケ推定部１２によって求められたボケパラメータがｐの場合、このぼかされた入力画像データのボケパラメータｐと入力画像データの実際のボケパラメータｔとの間には、下記の（１９）式の関係が成り立つ。

ｇ（ｘ，ｙ；ｐ）＝ｇ（ｘ，ｙ；ｔ）＊Ｇ（ｘ，ｙ；ｓ） …（１９）
本実施の形態におけるボケ推定部１２は、上記（１９）式によりｔを求めてボケパラメータの最終的な推定値とする。

ボケ関数ｇを、ガウシアンＧでモデル化すると、上記（１９）式は下記（２０）式となる。

ｐ²＝ｔ²＋ｓ² …（２０）
なお、エッジ検出部１１において局所的に上記（１８）式のｓを変化させるエッジ検出法を用いた場合には、ｓの値を上記（１９）式にも同様に反映させる必要がある。

以上説明したように、本実施の形態においては、ボケ推定部１２が、入力画像データに代えて、エッジ検出部１１によって生成されたぼかされた入力画像データの輝度勾配を用いてボケ推定を行う。このように、入力画像データの輝度勾配を適切にぼかした後にボケ推定を行うことにより、入力画像データに含まれているノイズの影響を軽減することができ、ボケ推定の信頼性を向上させることができる。ぼかされた入力画像データの輝度勾配は、エッジ検出部１１がエッジ検出のために生成するものをボケ推定部１２で再利用するので、追加の計算コストはかからない。

（第４の実施の形態）
本実施の形態においては、上記第１乃至第３の実施の形態の変形例について説明する。以下においては、上記第１の実施の形態に係るボケ変換装置１を変形した場合について説明するが、他の実施の形態に係るボケ変換装置８，１０を変形する場合も同様である。

図１２は、本実施の形態に係るボケ変換装置の構成の一例を示すブロック図である。

上記第１の実施の形態においては、所望のボケパラメータが記憶装置２ｅに記憶されているが、例えばこの所望のボケパラメータは外部から入力される。

これに対して、本実施の形態に係るボケ変換装置１３においては、所望のカメラパラメータを入力し、この所望のカメラパラメータを記憶装置２ｉに記憶し、パラメータ変換部１４が記憶装置２ｉに記憶されている所望のカメラパラメータを読み込んで所望のボケパラメータを作成し、記憶装置２ｅに記憶する。

パラメータ変換部１４は、記憶装置２ｄに記憶されている推定されたボケパラメータと、記憶装置２ｉに記憶されている所望のカメラパラメータとを読み出し、推定されたボケパラメータと所望のカメラパラメータとに基づいて、新規の所望のボケパラメータを算出し、所望のボケパラメータを記憶装置２ｅに記憶する。

本実施の形態においては、単純な薄レンズ（thin lens）モデルを考える。

カメラパラメータは焦点距離Ｆ、ｆナンバー（f-number）ｆ、レンズと撮像面（image plane）との間の距離ｖの３つであるとする。ボケパラメータは、ボケ半径ｒとする。

焦点距離Ｆ、ｆナンバーｆ、レンズと撮像面（image plane）との間の距離ｖ、ボケ半径ｒと、対象物体までの距離Ｄとの関係は、下記の（２１）式で表される。

Ｄ＝Ｆｖ／（ｖ−Ｆ−ｒｆ） …（２１）
よって、初期のカメラパラメータをＦ0，ｆ0，ｖ0とすると、推定したボケ半径ｒ0から距離Ｄが下記（２２）式、（２３）式により算出される。

Ｄ＝Ｆ0ｖ0／（ｖ0−Ｆ0−ｔｆ0） …（２２）
｜ｔ｜＝ｒ0 …（２３）
上記（２２）式において、ボケ半径ｔは符号つきの値であり、焦点が合いｔ＝０となる距離Ｄ0＝Ｆ0ｖ0／（ｖ0−Ｆ0）を境に、Ｄ＜Ｄ0のときｔ＜０、Ｄ＞Ｄ0のときｔ＞０となる関係がある。

ボケ半径の推定値は、通常絶対値｜ｔ｜＝ｒ0で与えられるため、ｔ＝ｒ0とするか、ｔ＝−ｒ0とするかによって算出される距離Ｄには自由度がある。この選択にはより高位の情報が必要であり、例えばシーン中の物体が全てＤ＞Ｄ0であることが既知であればｔ＝ｒ0とする。または、ユーザがｔ＝ｒ0とするかｔ＝−ｒ0とするかを選択するとしてもよい。

上記（２２）式により算出された距離Ｄを、上記（２１）式をｒについて解いた下記の（２４）式に代入することで、所望のカメラパラメータＦ，ｆ，ｖに対するボケ半径（所望ボケパラメータ）ｒを得ることができる。

ｒ＝ｖＦ／ｆ（１／Ｆ−１／ｖ−１／Ｄ） …（２４）
以上説明した本実施の形態に係るボケ変換装置１３においては、パラメータ変換部１４が具備されており、入力された所望のカメラパラメータが自動で所望のボケパラメータに変換され、ボケ置換部６はこの所望のボケパラメータを入力する。

したがって、本実施の形態では、画像処理の観点から定義される所望のボケパラメータを直接入力しなくても、物理的・光学的な観点から定義されるカメラパラメータを入力することができ、このカメラパラメータから所望のボケパラメータが求められ、ボケ置換が行われる。したがって、ボケ置換を直感的で制御しやすくすることができる。

また、本実施の形態において、カメラパラメータとしては、薄レンズモデルにおける焦点距離、ｆナンバー、レンズと撮影面との距離が用いられている。これにより、カメラパラメータからボケパラメータへの変換計算を容易化できる。

（第５の実施の形態）
本実施の形態においては、上記第１乃至第５の実施の形態の変形例であり、入力画像データがカラー画像データの場合について説明する。以下においては、上記第３の実施の形態に係るボケ変換装置１０を変形した場合について説明するが、他の実施の形態に係るボケ変換装置１，８，１３を変形する場合も同様である。なお、本実施の形態においては、カラー画像データである入力画像データのコンポーネント数が３の場合について説明するが、このコンポーネントの数は自由に変更可能である。

図１３は、本実施の形態に係るボケ変換装置の構成の一例を示すブロック図である。

本実施の形態に係るボケ変換装置１５の記憶装置２ａに記憶されている入力画像データは、例えばＲＧＢなどのように、複数のコンポーネントを含む。

エッジ検出部１６は、複数のコンポーネントに対応したエッジ検出法を用い、エッジ位置及びエッジ方向を記憶装置２ｂに記憶する。

また、本実施の形態において、エッジ検出部１６は、コンポーネントｊごとに、上記（１８）式を用いてぼかされた輝度勾配ｇｒａｄ（Ｉ_j）を計算し、下記の（２５）式で表すように、各画素において輝度勾配の大きさ（magnitude）が最大となるコンポーネントｋを選択して一つのぼかされた輝度勾配（Ｉ_x，Ｉ_y）を構成し、記憶装置２ｈに記憶する。

（Ｉ_x，Ｉ_y）＝ｇｒａｄ（Ｉ_k） ｓ．ｔ． ｜ｇｒａｄ（Ｉ_k）｜＝ｍａｘ｛｜ｇｒａｄ（Ｉ_j）｜｝ ｆｏｒ ｅａｃｈ （ｘ，ｙ） …（２５）
エッジ検出部１６におけるエッジ検出法としては、例えばCumaniのエッジ検出法を用いることができる。

本実施の形態に係るエッジ検出部１６及びボケ推定部１２については、ぼかされた輝度勾配を一つに合成する点を除き、上記各実施の形態で説明したエッジ検出部及びボケ推定部と同様である。

輝度勾配を一つにまとめることの妥当性は、色収差が無視できる範囲において画像データのボケは光の波長に依存しないことから確保される。

微分部１７は、記憶装置２ａに記憶されている入力画像データを読み出し、入力画像データに含まれている各コンポーネントの輝度勾配を求め、各コンポーネントの輝度勾配を記憶装置２ｃに記憶する。

ボケ置換部１８は、記憶装置２ｂに記憶されているエッジ位置及び方向、記憶装置２ｃに記憶されている入力画像データの各コンポーネントの輝度勾配、記憶装置２ｄに記憶されているボケパラメータ及び局所コントラスト、記憶装置２ｅに記憶されている所望のボケパラメータを読み出す。

本実施の形態に係るボケ置換部１８は、上記（１０）式の局所コントラストｃ_iを下記の（２６）式、（２７）式に変更した数式を用いる。

エッジ点ｉにおいて、ｃ_iは、上記（２５）式に示すように、コンポーネントｋに対して推定した値であるため、他のコンポーネントｊについては輝度勾配の比に応じてスケーリングする。すなわち、本実施の形態において、コンポーネントｊに対する局所コントラストｃ_i,jは下記の（２６）式、（２７）式のようになる。

ｃ_i,j＝ｃ_i ｆｏｒ ｊ＝ｋ …（２６）
ｃ_i,j＝ｃ_i｜ｇｒａｄ（Ｉ_j）｜／｜ｇｒａｄ（Ｉ_k）｜ ｆｏｒ ｊ≠ｋ …（２７）
そして、ボケ変換部１８は、ボケ置換後の各コンポーネントの輝度勾配を記憶装置２ｆに記憶し、画像再構成部１９は、コンポーネントごとの画像再構成データを含む出力画像データを記憶装置２ｇに記憶する。

以上説明した本実施の形態において、微分部１７、ボケ置換部１８、画像再構成部１９は、カラー画像データである入力画像データのコンポーネントごとに処理を実行し、エッジ検出部１６は、複数のコンポーネントからひとつのぼかされた入力画像データの輝度勾配を求める。

本実施の形態においては、カラー画像データに対しても、局所的なボケ変換を行うことができる。また、本実施の形態においては、コンポーネント数に関係なくエッジ検出とボケ推定を一回の動作で行うことができるため、各コンポーネントをそれぞれ独立に扱う場合より計算量を少なくすることができ、処理の高速化を図ることができる。

（第６の実施の形態）
本実施の形態においては、上記第１乃至第５の実施の形態の変形例であり、入力画像データに対して前処理を実行し、画像再構成部で再構成された画像データに対して後処理を実行することにより、ボケ変換の精度を高めるボケ変換装置について説明する。以下においては、上記第５の実施の形態に係るボケ変換装置１５を変形した場合について説明するが、他の実施の形態に係るボケ変換装置１，８，１０，１３を変形する場合も同様である。

図１４は、本実施の形態に係るボケ変換装置の構成の一例を示すブロック図である。

本実施の形態に係るボケ変換装置２０においては、記憶装置２ｊ〜２ｌと、分離部２１と、合成部２２とを具備する。

分離部２１は、記憶装置２ａに記憶されている入力画像データに含まれている各コンポーネントＩ_jを読み出す。そして、分離部２１は、下記（２８）式の関係に基づいて、各コンポーネントＩ_jを、陰影画像データ（shading image）Ｓと反射率画像データ（reflectance image）Ｒ_jに分離し、反射率画像データＲ_jを記憶装置２ｋに記憶するとともに、陰影画像データＳを記憶装置２ｊに記憶する。ここで、ｊはコンポーネント番号である。

Ｉ_j（ｘ，ｙ）＝Ｓ（ｘ，ｙ）Ｒ_j（ｘ，ｙ） …（２８）
陰影画像データとは、シーンの照明条件によって変化する要素のデータであり、光の当たる角度によって物体の明るさが変わって見える効果や、光が物体に遮られてできる影などを表す。入力画像データからこの陰影画像データを取り除いた反射率画像データは、物質固有の「色」に相当する。この分離方法として、各種既存の技術を用いることができる。

本実施の形態においては、この反射率画像データに対して、上記第５の実施の形態と同様のボケ推定、ボケ置換、画像再構成が行われる。

合成部２２は、下記（２９）式の関係に基づいて、画像再構成部１９によって記憶装置２ｇに記憶された出力画像データＲ’_jと、記憶装置２ｊに記憶されている陰影画像データＳとを乗算して合成後の出力画像データＩ’_jを作成し、記憶装置２ｌに記憶する。

Ｉ’_j（ｘ，ｙ）＝Ｓ（ｘ，ｙ）Ｒ’_j（ｘ，ｙ） …（２８）
以上説明した本実施の形態に係るボケ変換装置２０は、分離部２１と合成部２２とを具備する。分離部２１は、入力画像データを陰影画像データと反射率画像データとに分離し、上記第５の実施の形態のボケ変換手法を反射率画像データに対して適用する。合成部２２は、出力画像データと陰影画像データとを合成して、合成後の出力画像データを作成する。

このような本実施の形態では、入力画像データから照明条件に起因する輝度変化を除去することで、ボケ推定の精度を向上させることができる。本実施の形態においては、例えば、曲面状の物体表面や半影の縁で観測されるゆるやかな輝度変化が、誤って大きなボケと推定されることを防止することができる。

上記各実施の形態において、各構成要素は同様の動作を実現可能であれば配置を変更させてもよく、また各構成要素を自由に組み合わせてもよく、各構成要素を自由に分割してもよく、いくつかの構成要素を削除してもよい。すなわち、本実施の形態については、上記の構成そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、各記憶装置はそれぞれ自由に組み合わせてもよい。

上記各実施の形態に係るボケ変換装置１，８，１０，１３，１５，２０における各処理部は、例えばプログラムによって制御されるプロセッサにより実現されるとしてもよい。プロセッサを上記各実施の形態に係るボケ変換装置１，８，１０，１３，１５，２０の各処理部として機能させるためのプログラムは、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記憶媒体に書き込んで、プロセッサを持つコンピュータに適用可能である。また、プログラムは、通信媒体により伝送してコンピュータに適用することも可能である。コンピュータは、プログラムを読み込み、このプログラムによって動作が制御されることにより、ボケ変換装置１，８，１０，１３，１５，２０としての機能を実現する。プログラムは、複数のコンピュータに分散して配置され、複数のコンピュータ間で互いに連携しつつ処理が実行されるとしてもよい。

（第７の実施の形態）
本実施の形態においては、上記第１乃至第６の実施の形態で説明したボケ変換の適用例について説明する。

第１の適用例として、上記のボケ変換は、画像レタッチソフトウェア及びデジタルカメラ付属ソフトウェアに適用可能である。同様に、上記のボケ変換は、画像レタッチソフトウェア及びデジタルカメラ付属ソフトウェアを支援するハードウェアに対しても適用可能である。

ユーザは、自分で撮影した写真データの修正・編集に、上記のボケ変換を用いることができる。具体的には、例えばピントがずれていたため直したい場合に用いることができる。特に、撮影時に意識的に焦点深度を浅く撮った写真データであるため、全体をくっきりさせずに、焦点深度を保ったままピント位置をずらしたいというような場合にも、上記ボケ変換を用いることができる。

また、ユーザは、Ｗｅｂ又は雑誌に掲載する商品画像データの修正・編集に、上記のボケ変換を用いることができる。例えば、いくつかの写真データから好みの写真データを選択し、Ｗｅｂ又は雑誌に掲載するための様々な加工を行ったが、バランスを考えると選択した写真データのボケ方を修正したくなる場合がある。このような場合においても、写真データの選択から加工をやり直すのではなく、加工中のデータに対して上記のボケ変換を実行することで、ボケ方を修正可能である。

また、ユーザは、ポスターや広告などでスピード感を表すために、局所的にボケを加えたい場合、上記のボケ変換を用いることができる。

また、人物又は動物など動的な対象について、貴重な瞬間をとらえた写真を撮影できたが一部のボケを修正したい場合、カメラ設定を変えて取り直すのではなく、この貴重な写真を修正することができる。

また、肖像写真について、撮影時の証明条件の誤りなどで影がはっきりしすぎていて写真の用途にそぐわないような場合に、この影をぼかしてやわらかい状態とすることができる。

また、歴史上の人物の写真などのように、１枚しかない写真から異なる設定で撮ったような写真を作成することができる。

第２の適用例として、上記のボケ変換は、カメラ設定を変更して撮影した状態を、ソフトウェア的に実現する場合に適用可能である。例えば、デジタルカメラＬＳＩ又はデジタルカメラＬＳＩの制御ソフトウェアに用いることができる。

例えば、オートフォーカス精度を落としてデジタルカメラのコストを下げ、オートフォーカス精度を落としたことによりピントが少しずれた場合に、上記のボケ変換によりボケを調整することができる。

また、デジタルカメラのレンズが固定の場合であっても、上記のボケ変換を行うことにより、レンズを交換したような効果を得ることができる。

さらに、カメラの機構による制約を受けないカメラパラメータの変更ができる。例えば、しぼりを機械的に変えて焦点深度を変えた場合、光量が変わる。光量をシャッタースピードで補償すると動きのぶれが加わる。しかしながら、上記のボケ変換を行うことにより、しぼりもシャッタースピードも変えることなく、焦点深度を変えることができる。

第３の適用例として、上記のボケ変換は、ゲーム機器ＬＳＩ又はゲーム機器ＬＳＩ上で動くソフトウェアに用いることができる。

例えば、実写素材に対して、シーン中のある物から別の物に焦点が移る効果を実現する場合に、このように焦点の移る動画を流す代わりに、上記ボケ変換により、１枚の画像のボケの位置を移動させることで焦点が移る効果を実現でき、データ長を減少させることができる。

また、単純なＣＧ画像は、全体がはっきりしていて人工的な感じが強くなる。しかしながら、上記ボケ変換を適用することで、ＣＧ画像をぼやかして（焦点ボケ、動きボケを加えて）自然な画像とすることができる。

本発明の第１の実施の形態に係るボケ変換装置の構成の一例を示すブロック図。 ステップエッジのｙ＝０での断面ｈ（ｘ，０）の例を示すグラフ。 ボケ関数のｙ＝０での断面ｇ（ｘ，０；ｒ）の例を示すグラフ。 ボケたエッジのｙ＝０での断面ｆ（ｘ，０；ｈ0，ｈ1，ｒ）の例を示すグラフ。 第１の実施の形態におけるボケ置換及び画像データの再構成の概念の一例を示すグラフ。 第１の実施の形態に係るボケ変換装置の処理の一例を示すフローチャート。 一次元の場合のエッジとボケ関数との関係の一例を示す図。 あるエッジ点について、エッジ方向と垂直な方向の微分の分布（輝度勾配）に、ガウシアンをフィッティングしたボケ推定結果の例を示す図。 一次元の場合について、あるエッジ点周辺の輝度勾配について、推定されたボケを、所望のボケに置換した結果の例を示す図。 本発明の第２の実施の形態に係るボケ変換装置の構成の一例を示すブロック図。 本発明の第３の実施の形態に係るボケ変換装置の構成の一例を示すブロック図。 本発明の第４の実施の形態に係るボケ変換装置の構成の一例を示すブロック図。 本発明の第５の実施の形態に係るボケ変換装置の構成の一例を示すブロック図。 本発明の第６の実施の形態に係るボケ変換装置の構成の一例を示すブロック図。

符号の説明

１，８，１０，１３，１５，２０…画像変換装置、２ａ〜２ｌ…記憶装置、３，１１，１６…エッジ検出部、４，１７…微分部、５，９，１２…ボケ推定部、６，１８…ボケ置換部、７，１９…画像再構成部、１４…パラメータ変換部、２１…分離部、２２…合成部

Claims (3)

1. 入力画像データのエッジ点の位置及びエッジの方向を検出するエッジ検出手段と、
   前記入力画像データを微分し、前記入力画像データの輝度勾配を算出する微分手段と、
   前記エッジ検出手段によって検出されたエッジ点について、前記入力画像データと前記エッジの方向とに基づいて、ボケの状態を表すボケ関数に含まれる推定ボケパラメータとエッジの局所コントラストとを推定するボケ推定手段と、
   前記エッジ検出手段によって検出されたエッジ点について、前記入力画像データの輝度勾配と、前記エッジの方向と、前記エッジの局所コントラストとに基づいて、前記推定ボケパラメータを所望のボケパラメータに置換したボケ置換後の輝度勾配を生成するボケ置換手段と、
   前記ボケ置換後の輝度勾配に基づいて、出力画像データを再構成する画像再構成手段と
   を具備するボケ変換装置。
2. 入力画像データのエッジ点の位置及びエッジの方向を検出するエッジ検出手段と、
   前記入力画像データを微分し、前記入力画像データの輝度勾配を算出する微分手段と、
   前記エッジ検出手段によって検出されたエッジ点について、前記エッジの方向と前記入力画像データの輝度勾配とに基づいて、ボケの状態を表すボケ関数に含まれる推定ボケパラメータとエッジの局所コントラストとを推定するボケ推定手段と、
   前記エッジ検出手段によって検出されたエッジ点について、前記入力画像データの輝度勾配と、前記エッジの方向と、前記エッジの局所コントラストとに基づいて、前記推定ボケパラメータを所望のボケパラメータに置換したボケ置換後の輝度勾配を生成するボケ置換手段と、
   前記ボケ置換後の輝度勾配に基づいて、出力画像データを再構成する画像再構成手段と
   を具備するボケ変換装置。
3. 入力画像データのエッジ点の位置、エッジの方向、ぼかされた入力画像のデータの輝度勾配を検出するエッジ検出手段と、
   前記入力画像データを微分し、前記入力画像データの輝度勾配を算出する微分手段と、
   前記エッジ検出手段によって検出されたエッジ点について、前記エッジの方向と前記ぼかされた入力画像データの輝度勾配とに基づいて、ボケの状態を表すボケ関数に含まれる前記ぼかされた入力画像データについてのボケパラメータを求め、このボケパラメータから前記入力画像データについての推定ボケパラメータを求めるとともに、エッジの局所コントラストを推定するボケ推定手段と、
   前記エッジ検出手段によって検出されたエッジ点について、前記入力画像データの輝度勾配と、前記エッジの方向と、前記エッジの局所コントラストとに基づいて、前記推定ボケパラメータを所望のボケパラメータに置換したボケ置換後の輝度勾配を生成するボケ置換手段と、
   前記ボケ置換後の輝度勾配に基づいて、出力画像データを再構成する画像再構成手段と
   を具備するボケ変換装置。

Images