JP4859516B2 - 画像処理装置および画像復元方法 - Google Patents

Description

この発明は、劣化画像を復元するための画像処理装置および画像復元方法に関する。

デジタルカメラで画像を撮影すると、ＣＣＤ（Charge-Coupled Device）の読み出し回路の特性や伝送路の特性により画像にノイズが加わることがある。また、撮影時にフォーカスが合っていないために画像がぼけたり、手ぶれなどにより画像がぶれたりする。このように撮影画像には、撮影機器固有の特性や撮影時の人為的な操作を起因とするノイズが加わり画像が劣化することがある。

劣化した画像をできるだけ元の画像（理想画像という）に近い画像に復元することが様々な用途で必要となる。デジタルカメラで撮影された画像の手ぶれやフォーカスずれなどを補正してディスプレイに表示したり、プリンタで印刷するといったエンドユーザのニーズから、衛星写真をより鮮明に復元するといった高度なニーズまである。専門分野では、天体写真、顕微鏡写真などの画像、航空機や人工衛星に搭載された合成開口レーダが捉えた画像、航空機や人工衛星に搭載されたセンサにより観測されたリモートセンシング画像などを理想画像に復元する技術が求められている。

劣化画像を復元するには、画像が劣化する現象をモデル化し、画像劣化現象の逆問題を解くことになるが、劣化画像の復元過程でノイズ成分を増幅してしまい、復元された画像にリンギングなど復元処理を起因とするノイズが生じるという問題があった。また、復元処理は一般的に反復計算を要するため、計算時間がかかるという問題もあった。

本発明はこうした課題に鑑みてなされたものであり、その目的は、高い精度で劣化画像を復元することのできる画像復元技術を提供することにある。また別の目的は、劣化画像の復元処理を高速化することのできる画像復元技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置は、劣化画像を復元して理想画像を近似した復元画像を生成する画像処理装置であって、前記劣化画像の画素値を初期値として用いて、前記復元画像の各画素値を反復計算により更新することにより前記劣化画像を復元する反復復元部と、前記復元画像の各画素の近傍領域における画素値の分散を推定する画像分散推定部と、前記復元画像の各画素の近傍領域におけるノイズの分散を推定するノイズ分散推定部と、前記復元画像の各画素について前記画素値の分散と前記ノイズの分散の差分を評価し、前記差分の評価にもとづいて前記反復計算により前記復元画像の各画素値を更新するか否かを判定する更新判定部とを含む。

この態様によると、復元が完了したとみなせる画素については反復計算による画素値の更新をしないことで、反復計算を起因とするノイズの増幅を抑えることができる。また、これにより、計算量を減らすことができ、画像復元処理の高速化を図れる。

前記復元画像の画素数は前記劣化画像の画素数よりも多くてもよい。これにより劣化画像よりも解像度の高い復元画像を得ることができる。

前記反復復元部による前記反復計算は、前記復元画像が前記理想画像を近似する度合いを評価する関数と前記復元画像の滑らかさを評価する関数の線形和を、画素値についての所定の拘束条件のもとで最適化する計算であってもよい。これにより、最も理想画像に近い画像であって、最も滑らかな輝度変化をする画像に復元することができる。

前記ノイズ分散推定部は、前記復元画像の各画素の近傍領域に対して隣接画素の差分を取るフィルタリングを施すことにより、当該近傍領域におけるノイズを推定し、推定されたノイズの分散を求める。このフィルタリングにより、画像本来の情報をできる限り消去した上でノイズ成分を評価することができ、画像復元処理の精度を高めることができる。

本発明の別の態様は、画像復元方法である。この方法は、劣化画像を復元して理想画像を近似した復元画像を生成する画像復元方法であって、前記劣化画像の画素値を初期値として用いて、前記復元画像の各画素値を反復計算により更新することにより前記劣化画像を復元する際、各画素について、画素の近傍領域における画素値の分散とノイズの分散の差分を評価し、前記差分が所定の閾値より小さくなった画素については前記反復計算による画素値の更新を打ち切り、前記差分が所定の閾値以上の画素については前記反復計算による画素値の更新を継続する。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、劣化画像を高い精度で復元することができる。また、劣化画像の復元処理を高速化することができる。

本発明の実施の形態の説明に先立ち、前提となる事項を説明し、従来技術における問題点を指摘する。

以下の説明では、画像の画素値をベクトルで表現する。たとえば、画像の水平方向の画素列を垂直方向に１画素ずつずらしながら取り出して順につなげれば、画像をベクトルで表すことができる。ただし、特定の画素を指すときは、水平座標ｉと垂直座標ｊの組（ｉ，ｊ）で示した方がわかりやすいので、画素を表すときは、２次元座標（ｉ，ｊ）を用いることがある。

劣化する前の元の画像すなわち理想画像をＮ次元ベクトルｘで表し、劣化画像をＭ次元ベクトルｙで表すと、理想画像がノイズにより劣化するモデルは、一般的にｙ＝Ｄｘ＋ｎで表すことができる。

ここで、Ｄは点応答関数（ＰＲＦ；Point Response Function）と呼ばれるもので、Ｍ×Ｎ行列である。ＣＣＤなどのイメージセンサを搭載したカメラで対象物を撮影してデジタル画像を生成すると、対象物の点像がいくつかの離散的な画素に拡散する。この現象は、点像がどれくらいぼけているかを示す関数である点広がり関数（ＰＳＦ；Point Spread Function）により表される。ただし、点広がり関数は直接的には測定することができないので、イメージセンサにより撮像された画像と実物との対応関係を点応答関数として実測し、行列Ｄとしてあらかじめ求めておくことで画像劣化現象をモデル化することになる。

一般にＭ≦Ｎであり、Ｍ＝Ｎの場合は、理想画像と劣化画像の間に解像度の違いはないが、Ｍ＜Ｎの場合、劣化画像は理想画像よりも解像度が落ちるため、その分、情報量が少なくなる。

ｎは画像を劣化させる原因となるノイズであり、Ｍ次元ベクトルである。ノイズｎは、カメラのＣＣＤの受光特性、撮影時のフォーカスずれや手ぶれ、画像の伝送路の特性などにより発生する。ノイズｎは、たとえば、画像と無関係な平均値０の白色ノイズや、ポアソンノイズなどでモデル化することができる。

劣化画像ｙが与えられた場合に、劣化画像ｙからノイズｎを除去して理想画像ｘを復元することが画像復元である。理想画像ｘの方が劣化画像ｙより解像度が高くてもよい。たとえば、カメラで撮影された劣化画像ｙがＣＣＤの分解能により１００万画素である場合に、理想画像ｘを２００万画素で復元する。

画像復元時に解像度を上げることが必要となる状況として、たとえば、カメラで撮影した画像を高精細に印刷するためにより解像度の高い画像が必要となる状況や、人工衛星から撮影した解像度の低い画像をより鮮明な画像として表示することが求められる状況などがある。

図１（ａ）〜（ｃ）は、画像の劣化に関する代表的な離散モデルを説明する図である。図１（ａ）は、主にイメージセンサからの読み出し回路や伝送系がノイズ源である場合の画像劣化モデルである。この場合、理想画像ｘ（ｉ，ｊ）が点応答関数Ｆ（ｉ，ｊ；ｕ，ｖ）により拡散し、ガウスノイズｎ_{Ｇａｕｓｓ}が加算されて劣化画像ｙとなる。この劣化モデルは、ｙ＝Ｆｘ＋ｎ_{Ｇａｕｓｓ}と書ける。

図１（ｂ）は、主にイメージセンサ自身がノイズ源である場合の画像劣化モデルである。理想画像ｘ（ｉ，ｊ）が点応答関数Ｆ（ｉ，ｊ；ｕ，ｖ）により拡散し、ポアソンノイズｎ_{Ｐｏｉｓｓｏｎ}が乗算されて劣化画像ｙとなる。この劣化モデルは、ｙ＝（Ｆｘ）ｎ_{Ｐｏｉｓｓｏｎ}と書ける。

図１（ｃ）は、センサ増幅回路が非線形特性をもち、イメージセンサがノイズ源であり、さらにイメージセンサからの読み出し回路のノイズが無視できない場合の画像劣化モデルである。理想画像ｘ（ｉ，ｊ）が点応答関数Ｆ（ｉ，ｊ；ｕ，ｖ）により拡散し、センサ応答関数Ｓにより変換され、ポアソンノイズｎ_{Ｐｏｉｓｓｏｎ}が乗算され、さらにガウスノイズｎ_{Ｇａｕｓｓ}が加算されて劣化画像ｙとなる。この劣化モデルは、ｙ＝Ｓ（Ｆｘ）ｎ_{Ｐｏｉｓｓｏｎ}＋ｎ_{Ｇａｕｓｓ}と書ける。

ノイズにはこの他、フォーカスずれや手ぶれなど人為的に発生するものもある。いずれの場合も、画像の劣化は上述のｙ＝Ｄｘ＋ｎの形式で一般化することができる。

図２（ａ）〜（ｃ）は、画像の劣化を説明する図である。横軸は画像のベクトルの各成分を示し、縦軸は画素の輝度を示す。図２（ａ）は、理想画像ｘの輝度変化を示す。図２（ｂ）は、図２（ａ）の理想画像ｘが点応答関数Ｄにより変換された後のＤｘの輝度変化を示す。図２（ｂ）のグラフは、図２（ａ）のグラフに比べての輝度変化が緩和されている。これは画像がぼけていることを意味する。図２（ｃ）は、図２（ｂ）のＤｘにノイズｎが加算された劣化画像ｙ＝Ｄｘ＋ｎの輝度変化を示す。

Ｍ＝Ｎであれば、変換行列Ｄの逆行列Ｄ^−１を求め、劣化画像ｙをＤ^−１ｙにより逆変換することにより、画像を復元することができる。しかしながら、Ｄ^−１ｙ＝Ｄ^−１（Ｄｘ＋ｎ）＝ｘ＋Ｄ^−１ｎとなることから、逆行列により逆変換すると、ノイズが逆変換されたＤ^−１ｎの項が残り、復元画像においてノイズが強調され、画質が悪くなる。

Ｍ＜Ｎの場合、変換行列Ｄは、非正方疎行列であるため、逆行列Ｄ^−１が存在しない。そのため、逆変換は不可能であるから、正則化により逆問題として解くことになる。劣化画像の復元を正則化により逆問題として扱い、最も理想画像に近い解の候補から最も滑らかな輝度変化をする解を求める。これにより、理想画像ｘの代わりに、理想画像ｘを近似した復元画像ｘ＾が得られる。

正則化の一例を示す。劣化画像の復元は、数学的には、次の拘束条件付き非線形方程式の極値問題として表すことができる。

ここで、ｆ（ｘ）は、復元画像の理想画像への忠実度、すなわち復元画像が理想画像を近似する度合いを表す。ｇ（ｘ）は復元画像の画素値の滑らかさを表す。λは正則化パラメータであり、ｆとｇの割合を調整するものである。画像復元処理は、ラグランジュ関数Ｌ（ｘ，λ）＝ｆ（ｘ）＋λｇ（ｘ）を、拘束条件「ｘ（ｉ，ｊ）≧０かつΣｘ（ｉ，ｊ）＝定数」の下で最適化する問題として定式化することができる。この最適化問題を解くためには、ラグランジュ関数Ｌ（ｘ，λ）を目的関数として勾配法などの数値計算により目的関数の極値を求めればよい。

ここで、ｘ（ｉ，ｊ）≧０は、ラグランジュ関数Ｌ（ｘ，λ）が極値をもつことを保証するために必要となる拘束条件である。また、Σｘ（ｉ，ｊ）＝定数は、イメージセンサの光量が一定であることを示し、エネルギー保存則を表す拘束条件である。

上記の拘束条件付き非線形方程式の極値問題に対して拘束最小自乗法による解法を与える。ｘの近似値をｘ＾としてラグランジュ関数Ｌ（ｘ＾，λ）においてｆ（ｘ＾）＝‖ｙ−Ｄｘ＾‖^２、ｇ（ｘ＾）＝‖Ｃｘ＾‖^２と定義する。ここで、Ｃはハイパスフィルタである。

ｆ（ｘ＾）は、ｙとＤｘ＾の誤差の自乗である。復元画像ｘ＾が理想画像ｘに近づけば、ｙ−Ｄｘ＾＝Ｄｘ＋ｎ−Ｄｘ＾＝Ｄ（ｘ−ｘ＾）＋ｎ≒ｎとなることから、ｆ（ｘ＾）は、復元画像の画素値ｘ＾の理想画像の画素値ｘを近似する度合い（忠実度）を表す。ｆ（ｘ＾）の値が小さいほど復元画像の近似精度が高い。

一方、ｇ（ｘ＾）は、復元画像ｘ＾の各画素値にハイパスフィルタＣを施し、自乗和を取ったものであるから、復元画像の高周波成分の大きさを示している。したがって、ｇ（ｘ＾）の値が小さいほど、復元画像は滑らかである。ハイパスフィルタＣとして、たとえば、ゾーベル（Sobel）フィルタやプレヴィット（Prewitt）フィルタのような１次差分フィルタや、ラプラシアン（Laplacian）フィルタのような２次差分フィルタを用いることができる。

このように定義されたラグランジュ関数Ｌ（ｘ＾，λ）のｘ＾に関する偏微分を求めると、次のようになる。

ラグランジュ関数Ｌ（ｘ＾，λ）が極値をもつ点においては、∇_ｘ＾Ｌ（ｘ＾，λ）＝０である。また、ｘ＾≧０の条件により、極小点は最小値をとることも保証される。上記の式において、∇_ｘ＾Ｌ（ｘ＾，λ）＝０とおくことで、次式のように変形することができる。

これにより、理想画像ｘを近似した復元画像ｘ＾は次の反復計算により求めることができる。

ここで、ｋは反復回数であり、βは数値計算の調整のための緩和パラメータである。

このように正則化して逆問題を解くことで劣化画像を復元する場合、画像が領域ごとに異なる空間周波数をもつことを無視して画像全体に一様な復元処理を施すと、画像のエッジ付近など輝度変化の大きいところでゴーストが現れる「リンギング」と呼ばれる不具合が発生し、復元画像の画質はあまりよくない。

そこで、実施の形態では、復元画像の高画質化を図るべく、これから述べる画像復元方法を用いる。提案する画像復元方法は、復元画像の画像の分散とノイズの分散の関係を利用する。

画像に含まれるノイズの性質として、物体の輪郭を含まない領域など輝度がなめらかに変化する画像領域における画素値の分散は、その画像領域に含まれるノイズの分散にほぼ等しいという性質があることが知られている。

図３は、劣化画像における画素値の分散とノイズの分散の関係を説明する図である。符号２００で示す領域は、画像において輝度変化が大きい領域であり、符号２１０で示す領域は、画像において輝度変化が小さい領域である。輝度変化が大きい領域では、画素値自体の分散が大きいため、その領域内での画素値の局所的な分散とノイズの局所的な分散は一般には等しくはならない。しかし、輝度変化が小さい領域では、画素値の分散は小さく、その領域内で画素値の局所的な分散とノイズの局所的な分散とがほぼ等しくなる。

この知見をもとにして、提案する画像復元方法では、反復計算により画像を復元する際に、ｋ回反復復元後に推定したノイズの局所的な分散が復元過程にある画像の局所的な分散とほぼ等しくなった画素については、それ以降の反復計算を打ち切ることにより、リンギングのような不具合が発生することを防ぐ。

この画像復元方法によれば、ノイズの局所分散と画像の局所分散がほぼ等しくなった画素については復元が完了したとみなし、反復計算を打ち切ることにより、リンギングなどにより画質が劣化することを避けることができる。また、さらに反復計算を行うことで近似値の精度を上げる必要がある画素については、復元処理を継続することで画質を向上させることができる。

ノイズの局所分散と画像の局所分散がほぼ等しくなった画素については復元が収束したとみなし、反復計算を打ち切り、そうでない画素についてのみ反復計算を継続するため、画像復元処理の実質的な高速化を図ることもできる。

図４は、実施の形態に係る画像処理装置１００の構成図である。同図は機能に着目したブロック図を描いており、これらの機能ブロックはハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現することができる。

画像処理装置１００は、カメラ１１０とプリンタ１２０に接続され、カメラ１１０により撮影された画像を取り込んで復元処理を行い、復元画像をプリンタ１２０に出力して印刷する。これは、実施の形態の一例に過ぎない。画像処理装置１００は、ネットワーク経由で劣化画像を取り込んで復元処理を行い、復元画像をネットワーク経由で送信してもよい。また、画像処理装置１００は、グラフィックプロセッサと連携するように構成され、画像処理装置１００が実写画像を復元した復元画像を生成し、グラフィックプロセッサがコンピュータグラフィックス（ＣＧ）による画像を生成し、復元画像とＣＧ画像とが合成されて表示装置に出力されてもよい。

画像入力部１０は、カメラ１１０から撮影画像を取得し、画像データ記憶部２４に劣化画像として記憶する。カメラ１１０が動画像を撮影するものである場合、動画像の各フレームが劣化画像として画像データ記憶部２４に記憶される。

パラメータ設定部１２、反復復元部１４、画像分散推定部１６、ノイズ分散推定部１８、および更新判定部２０は、画像復元処理に係る構成である。

パラメータ設定部１２は、数値計算の調整パラメータ、反復計算における更新判定や収束判定の閾値などの各種パラメータを設定し、反復復元部１４に与える。これらのパラメータはユーザによって設定されてもよく、劣化画像の特性に応じて自動的に設定されてもよい。これらのパラメータは図示しないメモリにあらかじめ記憶されていてもよい。

反復復元部１４は、画像データ記憶部２４から劣化画像の画素値を取得し、劣化画像の画素値を用いて復元画像の初期値を設定し、反復計算により画素値を更新する。反復復元部１４は、更新された画素値を画像データ記憶部２４に記憶する。

画像分散推定部１６は、復元過程の画像の各画素の近傍領域における画素値の局所的な分散を推定し、更新判定部２０に与える。

ノイズ分散推定部１８は、復元過程の画像からノイズ成分を抽出し、各画素の近傍領域におけるノイズの局所的な分散を推定し、更新判定部２０に与える。ノイズ分散推定部１８は、ノイズ成分を抽出するために、画像本来の情報を消去するフィルタリングを復元過程の画像に施す。

図５は、ノイズ分散推定部１８により画像に施されるフィルタの係数を説明する図である。ノイズ分散推定部１８は、復元過程の画像全体にＩｍｍｅｒｋｅｒフィルタを施す。図５にＩｍｍｅｒｋｅｒフィルタの係数を示す。Ｉｍｍｅｒｋｅｒフィルタは、画像の各画素に対して、その画素を含む周辺の縦横３画素について、同図の係数を画素値に乗算して総和を求め、その総和をフィルタリングの画素の値とする。

Ｉｍｍｅｒｋｅｒフィルタは、隣接画素同士の差分を取る計算であるため、画像本来の情報を消去する効果がある。一般に、画像の隣接する画素間では画素値の連続性があるが、画像に加えられるノイズは隣接画素間で独立しており、相関がない。そのため、Ｉｍｍｅｒｋｅｒフィルタを施すと、画像本来の情報は消される傾向があるが、ノイズ成分は除去されずに残る。

更新判定部２０は、復元過程の画像において現時点で更新対象となっている各画素について、画素値の局所分散とノイズの局所分散の差を所定の閾値と比較して、反復計算による画素の近似値の更新を継続するかどうかを判定する。更新判定部２０は、画素値の局所分散とノイズの局所分散の差が所定の閾値よりも小さい画素について反復計算を打ち切る判定を行い、反復計算を打ち切る画素を反復復元部１４に通知する。

反復復元部１４は、更新判定部２０により反復計算を打ち切る判定がなされた画素については、これ以降の反復計算による近似値の更新を行わない。反復復元部１４は、更新判定部２０により反復計算を打ち切る判定がなされていない画素については、反復計算を継続する。

反復復元部１４は、反復計算を継続する画素のリストをメモリに格納しておき、更新判定部２０により反復計算の打ち切りが指示された画素をそのリストから削除することで、反復計算による更新の対象となる画素を管理する。

反復復元部１４は、復号過程にある画像のすべての画素について反復計算の打ち切りが指示されるか、反復計算の収束条件が満たされた場合に、劣化画像の復元処理を完了する。反復復元部１４は、反復計算によるｋ回目とｋ＋１回目の近似値の差が所定の閾値より小さい場合に、反復計算は収束したと判定する。反復復元部１４による反復復元処理が完了したとき、画像データ記憶部２４には最終的な復元画像が形成されている。

画像出力部２２は、画像データ記憶部２４から最終的な復元画像を読み出し、プリンタ１２０に出力する。

図６は、以上の構成の画像処理装置１００による画像復元手順を説明するフローチャートである。

パラメータ設定部１２は、反復計算の調整パラメータβ、正則化パラメータλ、収束判定の閾値ε、更新判定の閾値δを設定する。反復復元部１４は、反復回数ｋを−１に初期化し、０回目の理想画像の画素の近似値（すなわち復元画像の画素値）ｘ＾^（０）（ｉ，ｊ）を劣化画像の画素値ｙ（ｉ，ｊ）で初期化する（Ｓ１０）。

ここで、理想画像の解像度が劣化画像の解像度よりも大きい場合には、劣化画像の画素値を適宜補間して理想画像の画素値を初期化する。

反復復元部１４は、反復回数ｋを１だけインクリメントし（Ｓ１２）、ｋ回反復処理した画素値ｐ（ｉ，ｊ）を次式により求める（Ｓ１４）。

画像分散推定部１６は、ｋ回目の画素値ｐ（ｉ，ｊ）を用いて、復元過程にある画像の（ｉ，ｊ）画素を中心とする水平方向に±ｈ画素、垂直方向に±ｖ画素の近傍領域における画素値ｐの局所分散の自乗σ_ｘ ^２（ｉ，ｊ）を次式により推定する（Ｓ１６）。

ここで、Ｅ［ｐ（ｉ，ｊ）^２］は、（ｉ，ｊ）画素を中心とする水平方向に±ｈ画素、垂直方向に±ｖ画素の近傍領域（すなわち水平方向２ｈ＋１画素、垂直方向２ｖ＋１画素の領域）における画素値ｐの二乗の平均であり、Ｅ［ｐ（ｉ，ｊ）］^２は、同じ近傍領域における画素値ｐの平均値の二乗である。

ノイズ分散推定部１８は、次式によりｋ回目の画素値ｐ（ｉ，ｊ）にＩｍｍｅｒｋｅｒフィルタを施した値ｑ（ｉ，ｊ）を求める。

ここで、Ｈ（ｉ−ｓ，ｊ−ｔ）は図５に示した係数であり、Ｈ（ｉ−１，ｊ−１）＝１／４、Ｈ（ｉ，ｊ−１）＝−１／２、Ｈ（ｉ＋１，ｊ−１）＝１／４、Ｈ（ｉ−１，ｊ）＝−１／２、Ｈ（ｉ，ｊ）＝１、Ｈ（ｉ＋１，ｊ）＝−１／２、Ｈ（ｉ−１，ｊ＋１）＝１／４、Ｈ（ｉ，ｊ＋１）＝−１／２、Ｈ（ｉ＋１，ｊ＋１）＝１／４である。

次に、ノイズ分散推定部１８は、Ｉｍｍｅｒｋｅｒフィルタによりフィルタリングされた画素値ｑ（ｉ，ｊ）をもとに、（ｉ，ｊ）画素を中心とする水平方向に±ｈ画素、垂直方向に±ｖ画素の近傍領域におけるノイズの局所分散の自乗σ_ｎ ^２（ｉ，ｊ）を次式により推定する。

更新判定部２０は、次式に示すように、画素値の局所分散の自乗σ_ｘ ^２（ｉ，ｊ）とノイズの局所分散の自乗σ_ｎ ^２（ｉ，ｊ）の差の絶対値を更新判定の閾値δと比較し、画素値ｘ（ｉ，ｊ）をｋ回目の反復計算による値ｐ（ｉ，ｊ）により更新するかどうかを判定する（Ｓ２０）。

更新判定部２０は、（ｉ，ｊ）画素について、画素値の局所分散の自乗σ_ｘ ^２（ｉ，ｊ）とノイズの局所分散の自乗σ_ｎ ^２（ｉ，ｊ）の差の絶対値が更新判定の閾値δより小さい場合は、（ｉ，ｊ）画素について反復計算を打ち切るように反復復元部１４に通知する。

反復復元部１４は、更新判定部２０から反復計算の打ち切りを指示された画素については、次式のように、ｋ＋１回目の近似値ｘ＾^{（ｋ＋１）}（ｉ，ｊ）を更新せず、ｋ回目の近似値ｘ＾^（ｋ）（ｉ，ｊ）のまま保持する（Ｓ２２）。

反復復元部１４は、更新判定部２０から反復計算の打ち切りを指示されていない画素については、次式のように、ｋ＋１回目の近似値ｘ＾^{（ｋ＋１）}（ｉ，ｊ）を反復計算で求めた画素値ｐ（ｉ，ｊ）により更新する（Ｓ２２）。

反復復元部１４は、次式に示すように、現在更新対象となっている画素の中で、ｋ回目の画素値とｋ＋１回目の画素値の差（すなわちｋ回目の更新による画素値の変化量）の絶対値が最大のものが収束判定の閾値εよりも小さい場合に、反復復元処理を終了し、そうでなければ、ステップＳ１２に戻り、反復回数をインクリメントして反復計算を継続する（Ｓ２６）。

以上述べたように、本実施の形態の画像処理装置１００によれば、劣化画像の反復復元処理の際、画素値の分散とノイズの分散がほぼ等しくなる領域では、反復計算を打ち切り、画素値の分散とノイズの分散がかけ離れている領域では、反復計算を継続することができる。

これにより、人物の髪の毛の部分や輪郭部分などのように輝度変化が大きい画像領域では、復元画像の画素値の分散がノイズの分散からかけ離れているため、反復計算が継続されて、画素値が更新されていく。一方、輝度変化が小さいフラットな領域では、復元画像の画素値の分散とノイズの分散に違いがなくなり、反復計算が打ち切られ、必要以上に反復計算を行うことでリンギングなどの反復復元処理を起因とするノイズの発生を防ぐことができる。また、輝度変化が小さい領域については反復計算が早期に打ち切られることになるため、計算量を減らし、実質的に復元処理を高速化できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を説明する。

実施の形態では２次元画像を例に反復復元処理を説明したが、音声のような１次元データや、コンピュータトモグラフィ（ＣＴ）や磁気共鳴映像法（ＭＲＩ）などで利用される３次元画像や、地震波や津波のような３次元空間的な広がりをもつ実測データなどにも本発明の反復復元処理を適用することができる。

実施の形態では、正則化に拘束最小自乗法（Constrained Least Square）を用いたが、正則化にはこれ以外に最大エントロピー法（Maximum Entoropy Method）、最尤法（Maximum Likelyhood）、リチャードソン−ルーシー法（Richardson-Lucy）、ＥＭ（Expectation-Maximization）法、ＭＡＰ法（Maximum A-Posteriori）などを用いてもよい。これらの方法は、ノイズ源の性質に応じて適切に選択される。

また、数値計算には、ニュートン−ラフソン法（Newton-Raphson）、準ニュートン−ラフソン法（Quasi-Newton-Raphson）、勾配法（Gradient）、直線探索（line-search）、最小勾配法（Least Gradient Method）、共役勾配法（Conjugate Gradient）などいろいろな方法を用いることができる。

拘束最小自乗法の近似解はデータ量が多いほど精度が上がるので、動画のフレームを復元する場合は、前後のフレームの画素データも利用して最適化を行ってもよい。一般に複数の劣化画像を用いて復元画像を生成することで、復元精度を上げて、理想画像により近い画像を生成することができる。

画像の劣化に関する代表的な離散モデルを説明する図である。 画像の劣化を説明する図である。 劣化画像における画素値の分散とノイズの分散の関係を説明する図である。 実施の形態に係る画像処理装置の構成図である。 図４のノイズ分散推定部により画像に施されるフィルタの係数を説明する図である。 図４の画像処理装置による画像復元手順を説明するフローチャートである。

符号の説明

１０ 画像入力部、 １２ パラメータ設定部、 １４ 反復復元部、 １６ 画像分散推定部、 １８ ノイズ分散推定部、 ２０ 更新判定部、 ２２ 画像出力部、 ２４ 画像データ記憶部、 １００ 画像処理装置、 １１０ カメラ、 １２０ プリンタ。

Claims (4)

1. 劣化画像を復元して理想画像を近似した画像を生成する画像処理装置であって、
   復元画像が前記理想画像を近似する度合いを評価する関数と前記復元画像の滑らかさを評価する関数の線形和により規定されるラグランジュ関数を画素値についての所定の拘束条件のもとで最適化する拘束条件付き非線形方程式の極値問題に対して拘束最小自乗法による反復解法を与える反復計算式を設定し、前記劣化画像の画素値を初期値として用いた復元画像の各画素値を前記反復計算式により更新することにより前記劣化画像を復元する反復復元部と、
   前記復元画像の各画素の近傍領域における画素値の分散を推定する画像分散推定部と、
   前記復元画像の各画素の近傍領域に対して隣接画素の差分を取るフィルタリングを施すことにより、当該近傍領域におけるノイズを推定し、推定されたノイズの分散を求めるノイズ分散推定部と、
   前記復元画像の各画素について前記画素値の分散と前記ノイズの分散の差分を評価し、前記差分が所定の閾値より小さくなった前記復元画像の画素については前記反復計算式による画素値の更新を打ち切る指示を前記反復復元部に通知する一方、前記差分が前記所定の閾値以上である前記復元画像の画素については前記反復計算式による画素値の更新を前記反復復元部に継続させる更新判定部とを含むことを特徴とする画像処理装置。
2. 前記復元画像の画素数は前記劣化画像の画素数よりも多いことを特徴とする請求項１に記載の画像処理装置。
3. 劣化画像を復元して理想画像を近似した画像を生成する画像復元方法であって、
   復元画像が前記理想画像を近似する度合いを評価する関数と前記復元画像の滑らかさを評価する関数の線形和により規定されるラグランジュ関数を画素値についての所定の拘束条件のもとで最適化する拘束条件付き非線形方程式の極値問題に対して拘束最小自乗法による反復解法を与える反復計算式を設定し、前記劣化画像の画素値を初期値として用いた復元画像の各画素値を前記反復計算式により更新することにより前記劣化画像を復元するステップと、
   前記復元画像の各画素の近傍領域における画素値の分散を推定するステップと、
   前記復元画像の各画素の近傍領域に対して隣接画素の差分を取るフィルタリングを施すことにより、当該近傍領域におけるノイズを推定し、推定されたノイズの分散を求めるステップと、
   前記復元画像の各画素について前記画素値の分散と前記ノイズの分散との差分を評価し、前記差分が所定の閾値より小さくなった前記復元画像の画素については前記反復計算式による画素値の更新を打ち切り、前記差分が前記所定の閾値以上である前記復元画像の画素については前記反復計算式による画素値の更新を継続するステップとを含むことを特徴とする画像復元方法。
4. 劣化画像を復元して理想画像を近似した画像を生成する処理をコンピュータに実行させるためのプログラムであって、
   復元画像が前記理想画像を近似する度合いを評価する関数と前記復元画像の滑らかさを評価する関数の線形和により規定されるラグランジュ関数を画素値についての所定の拘束条件のもとで最適化する拘束条件付き非線形方程式の極値問題に対して拘束最小自乗法による反復解法を与える反復計算式を設定し、前記劣化画像の画素値を初期値として用いた復元画像の各画素値を前記反復計算式により更新することにより前記劣化画像を復元するステップと、
   前記復元画像の各画素の近傍領域における画素値の分散を推定するステップと、
   前記復元画像の各画素の近傍領域に対して隣接画素の差分を取るフィルタリングを施すことにより、当該近傍領域におけるノイズを推定し、推定されたノイズの分散を求めるステップと、
   前記復元画像の各画素について前記画素値の分散と前記ノイズの分散との差分を評価し、前記差分が所定の閾値より小さくなった前記復元画像の画素については前記反復計算式による画素値の更新を打ち切り、前記差分が前記所定の閾値以上である前記復元画像の画素については前記反復計算式による画素値の更新を継続するステップとをコンピュータに実行させることを特徴とするプログラム。

Images