JP3806477B2 - Image processing device - Google Patents

Description

により計算し、Ｓｆ_new (p,q,c) 及びＱ_new (p,q) を出力画像バッファ１１６の当該近傍画像に対応する領域に書き込む。
【００４４】
全ての画素位置に関してこれらの処理が終了すると、入力画像バッファ１０８の画像の各画素について、当該画素を含むすべての近傍画像に対して近傍補正近似画像が計算される。その結果、各画素に関して複数の補正画素値が得られるが、これらの補正画素値は三板画像加算部１１５における処理により重み付き平均されて出力画像バッファ１１６に蓄積される。これによって最終的に色成分の欠落と電子カメラ１００の光学系による劣化とが補正された３色カラー画像が得られる。
【００４５】
なお、この実施形態の各構成要素は種々の変形、変更が可能である。例えば、単板ＲＧＢランダム配列ＣＣＤ１０４は種々の色フィルタ配置のＣＣＤ、あるいは一枚はＧ、もう一枚はＲとＢといった二板構成のＣＣＤでもよい。
【００４６】
また、種々の光学系をもった電子カメラに対応させるために次のような構成も可能である。電子カメラ１００の側ではフィルタ配置情報保持ＲＯＭ１０６が色フィルタ配置情報以外に、レンズ１０２、水晶フィルタ１０３等の光学系の帯域制限情報をも保持するようにし、画像処理装置１０１の側では、劣化前テンプレート保持ＲＯＭ１１１ａ内の各劣化前テンプレートに対し、種々の光学系の帯域制限による劣化を想定した複数の劣化後テンプレートを用意する。そして、最小自乗近似部１１２ではフィルタ配置情報保持ＲＯＭ１０６の光学系情報に基づいて劣化後テンプレートを一つ選択するようにする。
【００４７】
同様に、カメラの利用者により設定された被写体に関する情報を画像処理装置１０１に転送し、最小自乗近似部１１２がそれに応じてテンプレートのセットを選択するような構成にすることも可能である。三板画像加算部１１５も、各画素について得られた複数の近似値を蓄積しておき、それらの値から多数決などで近似値を決定する等の変更が可能である。
【００４８】
また、電子カメラ１００に水晶フィルタ１０３がなく帯域制限がなされていない場合には、テンプレート保持ＲＯＭ１１１が劣化前テンプレート保持ＲＯＭ１１１ａのみからなり、最小自乗近似部１１２が劣化前テンプレート保持ＲＯＭ１１１ａに接続される構成にする。この場合、各部分の作用は、最小自乗近似部１１２がテンプレートとしてΦｉのかわりにΨｉを用いる点を除いて同一である。その結果、帯域・色情報復元部１１４では色成分の欠落は補正されるが帯域の劣化についてはなにもされない近傍補正近似画像が得られ、出力画像バッファ１１６には入力画像バッファ１０８内の画像の色成分の欠落が補正された３色カラー画像が得られる。
【００４９】
以下に本発明の第２実施形態を説明する。図４は本発明の第２実施形態が適用される画像処理システムの構成を示す図であり、図５は図４における最小自乗近似部１１２の処理の流れを表すフローチャートである。
【００５０】
図４において、本画像処理システムは電子カメラ２００と、この電子カメラ２００に接続された画像処理装置２０１とから構成される。電子カメラ２００は、第１実施形態と同様、光学系としてレンズ２０２及び帯域制限を行うための水晶フィルタ２０３、撮像素子としての単板ベイヤー配列ＣＣＤ２０４を具備し、単板ベイヤー配列ＣＣＤ２０４の出力はＡ／Ｄ変換部２０５を経て画像バッファ２０７に接続されている。電子カメラ２００内の単板ベイヤー配列ＣＣＤ２０４の色フィルタ配列に関する情報は、後述するようにベイヤー配列の規則性を利用して画像処理装置２０１内で計算により求められる。
【００５１】
画像処理装置２０１は、入力画像バッファ２０８と、近傍読み出し部２０９と、平坦度評価部２１０と、劣化前テンプレート保持ＲＯＭ２１１ａ及び劣化後テンプレート保持ＲＯＭ２１１ｂを具備するテンプレート保持ＲＯＭ２１１と、最小自乗近似部２１２と、色情報復元部２１３と、帯域・色情報復元部２１４と、補間係数計算部２１５と、線形演算部２１６と、出力画像バッファ２１７とを具備する。
【００５２】
電子カメラ２００内の画像バッファ２０７の出力は、画像処理装置２０１内の入力画像バッファ２０８、近傍読み出し部２０９を経て平坦度評価部２１０に接続されている。
【００５３】
最小自乗近似部２１２は、平坦度評価部２１０およびテンプレート保持ＲＯＭ２１１内の劣化後テンプレート保持ＲＯＭ２１１ｂの出力を受けるべく接続され、かつ処理結果を色情報復元部２１３及び帯域・色情報復元部２１４に出力すべく接続されている。帯域・色情報復元部２１４はこの最小自乗近似部２１２のほかに、テンプレート保持ＲＯＭ２１１内の劣化前テンプレート保持ＲＯＭ２１１ａの出力を受けるべく接続されている。色情報復元部２１３は最小自乗近似部２１２のほかに、テンプレート保持ＲＯＭ２１１内の劣化後テンプレート保持ＲＯＭ２１１ｂの出力を受けるべく接続されている。
【００５４】
テンプレート保持ＲＯＭ２１１の劣化前テンプレート保持ＲＯＭ２１１ａには、第１実施形態と同様に、Ｎ種の幾何学的特徴をもつ所定サイズのグレースケール画像であるテンプレートΨｉ（ｉ＝０〜Ｎ−１）が保持され、劣化後テンプレート保持ＲＯＭ２１１ｂには劣化前テンプレート保持ＲＯＭ２１１ａの各テンプレートが電子カメラ２００の光学系による帯域制限を受けた画像であるテンプレートΦｉ（ｉ＝０〜Ｎ−１）が保持されている。
【００５５】
色情報復元部２１３及び帯域・色情報復元部２１４は共に補間係数計算部２１５に接続されている。線形演算部２１６は補間係数計算部２１５及び平坦度評価部２１０の出力を受けるべく接続され、かつ復元結果を出力画像バッファ２１７に出力すべく接続されている。
【００５６】
以下に、上記した構成を有する画像処理システムの作用を説明する。
【００５７】
第２実施形態においても第１実施形態と同様に電子カメラ２００で撮像が行われ、光学系で帯域劣化を受け、かつ各画素位置につき一つの色成分しか持たない画像が画像バッファ２０７に保持される。撮像が終了すると、画像バッファ２０７内の画像は入力画像バッファ２０８に転送される。第１実施形態と異なり、電子カメラ２００内の撮像素子の色フィルタ配列は、電子カメラ２００から画像処理装置２０１に転送される代わりにベイヤー配列の規則性を利用して後ほど画像処理装置２０１内で計算される。
【００５８】
次に、入力画像バッファ２０８内の画像の各画素位置（ｘ，ｙ）につき、以下の処理が行われる。
【００５９】
近傍読み出し部２０９により当該画素位置（ｘ，ｙ）の所定の矩形領域（例えば５×５画素）が近傍画像ｈ(p,q) として読み出される。
【００６０】
以下の説明において、変数の組（ｐ，ｑ）は、この近傍画像の中心画素（ｘ，ｙ）に対する相対座標であり、例えば近傍の大きさが５×５であれば［−２，−１，０，１，２］×［−２，−１，０，１，２］の範囲を動く、また、場合によって色Ｒ，Ｇ，Ｂをそれぞれ整数値ｃ＝０，１，２に対応させて説明する。
【００６１】
読み出された近傍画像は、平坦度評価部２１０に送られる。平坦度評価部２１０では、各色成分ごとに画素値が存在する位置に対する画素値の分散を計算し、全ての色成分に対する分散の和が所定の閾値以上であれば、最小自乗近似部２１２に近傍画像を転送する。また、平坦度評価部２１０は、この評価とは無関係に近傍画像を線形演算部２１６に転送する。
【００６２】
最小自乗係数算出部２１２は、近傍画像が転送されると図５に示すフローに従って処理を行い、第１実施形態と同様に、近傍画像を最もよく近似する劣化後テンプレートのインデックス min＿i と近似係数 min＿α(c) 、min ＿β(c) （ｃ＝０，１，２）を算出する。
【００６３】
図５に示すフローチャートの各ステップ（Ｓ）は以下のような処理を行なう。
【００６４】
Ｓ１：当該近傍画像の中心画素の座標（ｘ，ｙ）を得、この値とベイヤー配列の規則性に基づいて、近傍画像内の位置（ｐ，ｑ）に対し色成分ｃの色フィルタが存在すれば１、存在しなければ０をとる色成分マスクを表す配列変数mask(p,q,c) を計算する。図５中、関数rem(a,b)はａをｂで割った余りを返し、関数abs(a)はａの絶対値を与える。また、変数Ｎをテンプレートの総数に、変数 min＿i とｃ＝０，１，２に対する配列変数 min＿α(c) 、min ＿β(c) の値を０に初期化する。配列変数ｈ(p,q) は近傍画像の画素値で初期化される。テンプレート要素のインデックスを表す変数ｉは０に初期化される。テンプレートの最小当てはめ誤差を表す変数 min＿e は画像処理装置２０１で扱うことのできる最大の数に初期化される。
【００６５】
Ｓ２：ｉ番目のテンプレートΦｉ(p,q) を劣化後テンプレート保持ＲＯＭ２１１ｂから読み出し、配列変数Φ(p,q) に代入する。色を表す変数ｃと誤差を表す変数ｅを０に初期化する。
【００６６】
Ｓ３：変数ｈ(p,q) 、Φ(p,q) 、mask(p,q,c) から定義される、色変数ｃ、実数α，βの関数である誤差関数err(c,α, β）を最小化するα，βを求める。誤差関数err(c,α, β）は、色成分ｃの存在する位置において、テンプレート画像Φをゲインαとバイアスβにより加工した画像αΦ＋βと近傍画像の誤差の尺度であり、図中において記号
【数１】

【００６７】
は近傍画像内におけるａ(p,q) の自乗和を表す。誤差関数err(c,α, β）を最小化するα，βを求めることは、近傍画像の各色成分を最もよく近似するようにテンプレートΦのゲインαとバイアスβを調整することに等しい。最小化された誤差関数の値は変数ｅに足し込まれ、求められたゲインαとバイアスβは配列変数の色ｃに対応する要素α(c) 、β(c) に代入される。その後、色を表す変数ｃはインクリメントされる。
【００６８】
Ｓ４：すべての色成分ＲＧＢに対する処理Ｓ３が終了したかどうかを色を表すｃが２、つまりＢを越えたかどうかで判断し、越えた場合はＳ５、越えない場合は引き続きＳ３に分岐する。
【００６９】
Ｓ５：Ｓ５に到達した時点で、変数ｅはｉ番目の劣化テンプレート要素を近傍画像に当てはめた場合の誤差を表している。変数 min＿e は、ｉ未満のすべての劣化テンプレート要素に関する当てはめ誤差の最小値を表している。ｅが min＿e より小さい場合は、Ｓ６に分岐して当てはめ誤差最小のテンプレートに関する情報を更新する。大きい場合はＳ７に分岐する。
【００７０】
Ｓ６： min＿e をｅに、 min＿i をｉに、ｃ＝０，１，２に関して min＿α(c) 、 min＿β(c) をα(c) 、β(c) に更新する。
【００７１】
Ｓ７：インデックスｉをインクリメントする。
【００７２】
Ｓ８：インデックスｉがＮに一致しなければＳ２に、一致すればＳ９に分岐する。
【００７３】
最小自乗近似部２１２の出力 min＿i 、min ＿α(c) 、 min＿β(c) は色情報復元部２１３及び帯域・色情報復元部２１４に転送される。色情報復元部２１３では劣化後テンプレート保持ＲＯＭ２１１ｂから、帯域・色情報復元部２１４では劣化前テンプレート保持ＲＯＭ２１１ａからそれぞれインデックス min＿i に対応するテンプレートΦ min＿i(p,q)、Ψ min＿i(p,q)を読み出し、近似係数 min＿α(c) 、min ＿β(c) を用いて式
ｆ(p,q,c) ＝ min＿α(c) Ψ min＿i(p,q)＋ min＿β(c) 、
ｇ(p,q,c) ＝ min＿α(c) Φ min＿i(p,q)＋ min＿β(c) （ｃ＝0,1,2)
を計算し、近傍画像ｈ(p,q) に対して色成分の欠落と帯域の劣化を補正した近傍補正近似画像ｆ(p,q,c) 、および色成分の欠落のみを補正した近傍補正近似画像ｇ(p,q,c) を得る。そして、これらを補間係数計算部２１５に転送する。
【００７４】
補間係数計算部２１５では、ｆ(p,q,c) 及びｇ(p,q,c) から、当該近傍画像内の画素値を用いて劣化前のカラー画素値を推定するのに適した情報を補間係数の形で算出する。そのために、近傍補正近似画像ｇ(p,q,c) を当該近傍における電子カメラ２００の色フィルタ配置に応じてサンプリングした入力画像バッファ２０８内の画像同様の単板状態の画像ｇ′(p,q) とｆ(p,q,c) の関係を調べ、ｇ′からｆを線形演算で回復するのに必要な係数を計算する。ここでは、補間係数計算部２１５は例として以下の原理に従って係数を計算する。
【００７５】
まずｆの色ｃの各画素を自己回帰モデルの考えに基づいて３色画像ｇの各画素の線形和として
【数２】

【００７６】
と近似することを考える。自己回帰モデルとは、ある画素の画素値が、その画素の周囲の画素値の重み付き線形和とノイズ項との和で示されるモデルのことである。ここではノイズ項は無視している。この式で整数変数組（ｕ，ｖ）は変数組（ｐ，ｑ）のとりうる範囲より狭い範囲Ｄを動く。
【００７７】
Ｈ(u,v) は、近傍内の位置（ｕ，ｖ）における色フィルタの種類をＲ＝０，Ｇ＝１，Ｂ＝２と表す整数値である。この式は各位置（ｐ，ｑ）のまわりで、位置（０，０）（中心画素）の回りにおけるものと同じ配置の色フィルタを通じてサンプリングされたｇの画素値を使って位置（ｐ，ｑ）におけるｆの値を推定することを表している。
【００７８】
この式による近似の自乗誤差を最小にするためにｗ^c _uvの満たすべき式は、（ｕ，ｖ）の動く範囲Ｄと同じ範囲を動く整数変数組（ｋ，ｌ）に対し
【数３】

【００７９】
となる。この式において、左辺及び右辺第２項は空間的相関情報を表している。右辺及び左辺におけるｗ^c _uv以外の量はすべてｆとｇから計算でき、式全体は行列演算により解くことができる。近傍の中心においては、（ｐ，ｑ）＝（０，０）であり、ｇ′(u,v) ＝ｇ（u ，v ，Ｈ(u,v))となるので、係数ｗ^c _uvを用いて近傍画像の劣化前の中心画素のＲＧＢ値を近傍画素内の画素値だけから求めることができる。
【００８０】
この原理に基づいて、補間係数計算部２１５では、ｆ(p,q,c) 及びｇ(p,q,c) から、すべての色ｃ＝０，１，２について（２）式に従って補間係数ｗ^c _uvを計算し、線形演算部２１６に転送する。
【００８１】
線形演算部２１６は、平坦度評価部２１０から最小自乗近似部２１２に画像転送が行われず、従って補間係数計算部２１５からの係数の転送も行われない場合には、図５のフローのＳ１において変数mask(p,q,c) を計算した方法と同様の方法で平坦度評価部２１０からあらかじめ転送されていた近傍画像の各色成分に対応する位置を求め、それらの位置における平均値を近傍画像の中心画素における当該色成分の推定値とし、出力画像バッファ２１６の対応する画素位置に書き込む。
【００８２】
一方、補間係数計算部２１５からの係数の転送が行われた場合には、転送された係数によって近傍画像内の画素を重みつき加算し、出力画像バッファ２１７の対応する画素位置に書き込む。
【００８３】
これらの処理が入力画像バッファ２０８内の画像のすべての画素位置につき終了すると、すべての画素位置について、その近傍の幾何学的特徴に応じて当該画素における色成分の欠落と帯域劣化を最適に補正する補間係数により線形補間が行われたことになり、出力画像バッファ２１７には電子カメラ２００の光学系による帯域劣化および色成分の欠落が補正された３色カラー画像が得られる。
【００８４】
この構成においても第１実施形態と同様に種々の変形が可能である。撮像素子は単板ベイヤー配列ＣＣＤ２０４に限らないことはいうまでもない。補間係数計算部２１５の計算方式にも種々のものがありうる。例えば色情報復元部２１３から得られた画像と帯域・色情報復元部２１４から得られた画像に対する各画像値の比や近傍画像全体での画素値の自乗和の比を補間係数として用いる簡便なものでもよい。
【００８５】
又、第２実施形態でも第１実施形態と同様に各画素位置を包含する複数の近傍に対する補正画像が得られる。これを有効に活用するために、帯域・色情報復元部２１４及び色情報復元部２１３の作用を以下のように変更することもできる。
【００８６】
帯域・色情報復元部２１４及び色情報復元部２１３はそれぞれ内部に近傍画像と同サイズ（例えば５×５画素）の画像バッファを保持し、これらのバッファでは入力画像バッファ２０８に電子カメラ２００から画像が転送された時点で全画素値が０に初期化される。入力画像バッファ２０８中の画像の画素位置（ｘ，ｙ）に対する処理の最中には、帯域・色情報復元部２１４内の画像バッファには、その直前の画素位置、例えば（ｘ−１，ｙ）に対する処理において帯域・色情報復元部２１４から補間係数計算部２１５に出力された画像ｆ＿prev(p,q,c) が保持されている。
【００８７】
画素位置（ｘ，ｙ）に対する処理において最小自乗近似部２１２から min＿i 、 min＿α(c) 、min ＿β(c) が転送されると、帯域・色情報復元部２１４は内部の画像バッファからｆ＿prev(p,q,c) を読み出し、また劣化前テンプレート保持ＲＯＭ２１１ａからインデックス min＿i に対応するテンプレートΨ min＿i(p,q)を読み出して、近似係数 min＿α(c) 、min ＿β(c) を用いて式

によって近傍画像に対して色成分の欠落と帯域の劣化を補正した３色画像ｆ(p,q,c) を得、補間係数計算部２１５に出力する。同時に、ｆ(p,q,c) をｆ＿prev(p,q,c) として内部バッファに保持する。
【００８８】
同様に、入力画像バッファ２０８中の画像の画素位置（ｘ，ｙ）に対する処理の最中には、色情報復元部２１３内の画像バッファには、その直前の画素位置（ｘ−１，ｙ）に対する処理において色情報復元部２１４から補間係数計算部２１５に出力された画像ｇ＿prev(p,q,c) が保持されている。画素位置（ｘ，ｙ）に対する処理において最小自乗近似部２１２から min＿i 、min ＿α(c) 、min ＿β(c) が転送されると、色情報復元部２１４は内部の画像バッファからｇ＿prev(p,q,c) を読み出し、また劣化前テンプレート保持ＲＯＭ２１１ａからインデックス
min＿i に対応するテンプレートΦ min＿i(p,q)を読み出して、近似係数 min＿α(c) 、 min＿β(c) を用いて式

によって近傍画像に対して色成分の欠落を補正した３色画像ｇ(p,q,c) を得、補間係数計算部２１５に出力する。同時に、ｇ(p,q,c) をｇ＿prev(p,q,c) として内部バッファに保持する。
【００８９】
この作用により、帯域・色情報復元部２１４及び色情報復元部２１３においては各回の処理結果を前回の処理結果を用いて生成するため処理結果の信頼性が高まり、補間の精度が向上する。
【００９０】
この実施形態では、電子カメラ２００に水晶フィルタ２０３がなく帯域制限がなされていない場合にも容易に対応できる。この場合はテンプレート保持ＲＯＭ２１１が劣化前テンプレート保持ＲＯＭ２１１ａのみからなるので、最小自乗近似部２１２は劣化前テンプレート保持ＲＯＭ２１１ａの出力を受けて、処理結果を帯域・色情報復元部２１４のみに出力するようにする。同時に、色情報復元部２１３を取り除いて補間係数算出部２１５は帯域・色情報復元部２１４のみから信号を受信する構成にする。この場合、各部分の作用は、最小自乗近似部２１２ではテンプレートとしてΦｉのかわりにΨｉを用いる点を除いて同一である。帯域・色情報復元部２１４の動作は同じだが、結果として色成分の欠落は補正されるが帯域の劣化についてはなにもされない近傍補正近似画像ｆ(p,q,c) が得られる。
【００９１】
補間係数算出部２１５では、ｇ(p,q,c) をｆ(p,q,c) と同一の画像とし、計算を進める。その結果、補間係数算出部２１５では単板状態の近傍画像ｈ(p,q) の中心画素ｈ(0,0) の欠落色成分を補正するのに適切な補間係数が得られ、その係数を用いて線形演算部２１６が補間を行うため、出力画像バッファ２１７には入力画像バッファ２０８内の画像の色成分の欠落が補正された３色カラー画像が得られる。
【００９２】
この変形例において、さらに帯域・色情報復元部２１４に前述の各画素位置を包含する複数の近傍に対する補正画像を有効活用する変形例と同一の変形を行えば、帯域制限がなされていない場合にも帯域・色情報復元部２１４において各回の処理結果を前回の処理結果を活用して生成することにより補間の精度を向上することができる。
【００９３】
以下に本発明の第３実施形態を説明する。図６は本発明の第３実施形態が適用される画像処理システムの構成を示す図である。電子カメラ３００は、第２実施形態と同一の構成である。電子カメラ３００内の単板ベイヤー配列ＣＣＤ３０４の色フィルタ配列に関する情報は、第２実施形態と同様に、ベイヤー配列の規則性を利用して画像処理装置３０１内で計算により求められる。
【００９４】
画像処理装置３０１は、入力画像バッファ３０８と、近傍読み出し部３０９と、テンプレート選択部３１０と、劣化前テンプレート保持ＲＯＭ３１１ａ及び劣化後テンプレート保持ＲＯＭ３１１ｂを具備するテンプレート保持ＲＯＭ３１１と、最小自乗近似部３１２と、劣化後テンプレート加工部３１３と、帯域・色情報復元部３１４と、三板画像加算部３１５ａと、単板画像加算部３１５ｂと、単板画像バッファ３１６と、出力画像バッファ３１７と、差分計算部３１８と、差分画像バッファ３１９と、規則性評価部３２０とを具備する。
【００９５】
電子カメラ３００内の画像バッファ３０７の出力は第２実施形態と同様に、画像処理装置３０１内の入力画像バッファ３０８に接続されるが、入力画像バッファ３０８は近傍読み出し部３０９に加えて差分計算部３１８にも接続される。
【００９６】
近傍読み出し部３０９は入力画像バッファ３０８のほかに、差分画像バッファ３１９の出力を受けるべく接続され、かつ読み出した情報を規則性評価部３２０に出力すべく接続されている。規則性評価部３２０はテンプレート選択部３１０及び最小自乗近似部３１２に接続されている。テンプレート選択部３１０は規則性評価部３２０のほかに、テンプレート保持ＲＯＭ３１１内の劣化後テンプレート保持ＲＯＭ３１１ｂ及び劣化前テンプレート保持ＲＯＭ３１１ａの出力を受けるべく接続され、かつ選択結果を最小自乗近似部３１２、帯域・色情報復元部３１４及び劣化後テンプレート加工部３１３に出力すべく接続されている。
【００９７】
テンプレート保持ＲＯＭ３１１には、上記した第１、第２実施形態と同様に、劣化前テンプレート保持ＲＯＭ３１１ａにＮ種の幾何学的特徴をもつ所定サイズのグレースケール画像であるテンプレートΨｉ（ｉ＝０〜Ｎ−１）が保持され、劣化後テンプレート保持ＲＯＭ３１１ｂには、劣化前テンプレート保持ＲＯＭ３１１ａの各テンプレートが電子カメラ３００の光学系による帯域劣化を受けたテンプレートΦｉ（ｉ＝０〜Ｎ−１）が保持されている。
【００９８】
第１、第２実施形態と異なる点は、各テンプレート要素の持つ幾何学的特徴がその構造的な複雑さによって分類され、個々の要素を読み出すのに単一の整数値ｉではなく二つの数の組（ｓ，ｉ）を必要とする点である。ｓは構造の複雑さを表し、個々のテンプレートを平均値に対する大小で２値化した場合の連結成分の数である。例えば、一つのエッジパターンしか含まないテンプレートに対してはｓ＝２であり、一つの線分パターンしか含まないテンプレートではｓ＝３となる。また、ｉは同じ複雑度ｓを持つテンプレートのクラスの個々の要素にアクセスするのに用いられる。
【００９９】
最小自乗近似部３１２の内部構成及び作用は第２実施形態におけるものと同一である。最小自乗近似部３１２は処理結果を帯域・色情報復元部３１４及び劣化後テンプレート加工部３１３に出力すべく接続されている。
【０１００】
帯域・色情報復元部３１４は、最小自乗近似部３１２およびテンプレート選択部３１０の出力を受けるべく接続され、かつ復元結果を三板画像加算部３１５ａを経て出力画像バッファ３１７に出力すべく接続されている。
【０１０１】
劣化後テンプレート加工部３１３は、最小自乗近似部３１２およびテンプレート選択部３１０の出力を受けるべく接続され、かつ処理結果を単板画像加算部３１５ｂを経て単板画像バッファ３１６に出力すべく接続されている。単板画像バッファ３１６は差分計算部３１８に記憶している情報を出力すべく接続され、差分計算部３１８は差分画像バッファ３１９に処理結果を出力すべく接続されている。
【０１０２】
単板画像バッファ３１６および出力画像バッファ３１７は、入力画像バッファ３０８内の画像と同じ大きさの三色画像を保持するほか、各画素に付きカウンタを保持する。このカウンタは、それぞれのバッファの各画素位置に書き込みが行われた回数を保持するために設けられている。
【０１０３】
第１実施形態と同様に、それぞれのバッファの各画素位置で複数の画素値が計算されるため、ここでは三板画像加算部３１５ａ及び単板画像加算部３１５ｂでそれらを平均化する処理を行っている。この処理に書き込み回数が必要になる。
【０１０４】
以下に、上記した構成を有する画像処理システムの作用を説明する。第３実施形態においても、第１、第２実施形態と同様に、電子カメラ３００で撮像が行われ、光学系で帯域劣化を受け各画素位置につき一つの色成分しか持たない画像が画像バッファ３０７に保持される。撮像が終了すると、画像バッファ３０７内の画像は入力画像バッファ３０８に転送され、出力画像バッファ３１７および単板画像バッファ３１６のカラー画像の画素値、及びカウンタはすべて０に初期化される。
【０１０５】
次に、類似の処理を複数回繰り返して補正を行う。１回目の処理は入力画像バッファ３０８内の画像に対して行われる。この処理の結果、入力画像は複雑度の低いテンプレートを用いて近似され、同時に色成分の欠落と帯域劣化が補正された画像が出力画像バッファ３１７に生成される。同じく、複雑度の低いテンプレートを用いて近似された入力画像の色成分の欠落を補正し、ついでベイヤー配列でサンプリングした画像が単板画像バッファ３１６に生成される。
【０１０６】
単板画像バッファ３１６内の画像は入力画像を複雑度の低いテンプレートで近似したものなので入力画像の大まかな幾何学的特徴しか反映しておらず、近似誤差が生じる。この誤差が差分画像バッファ３１９に誤差画像として保持される。
【０１０７】
二回目以降は、差分画像バッファ３１９内の誤差画像に対して処理が行われる。誤差画像はそれまでの繰り返しに比してより複雑度の高いテンプレートを用いて近似、劣化補正され、処理結果が出力画像バッファ３１７に加算される。差分画像には、それまで（一回目を含む）の段階的な近似をすべて加算した近似画像と入力画像の誤差画像が出力され、再びこの誤差画像に対する処理が行われる。以下にこの処理の詳細を説明する。
【０１０８】
まず、１回目は、入力画像バッファ３０８内の画像の各画素位置（ｘ，ｙ）につき、以下の処理が行われる。
【０１０９】
近傍読み出し部３０９により当該画素位置（ｘ，ｙ）の所定の矩形領域（例えば５×５画素）が近傍画像h(p,q) として読み出される。以下の説明において、変数の組（ｐ，ｑ）は、この近傍画像の中心画素（ｘ，ｙ）に対する相対座標であり、例えば近傍の大きさが５×５であれば［−２，−１，０，１，２］×［−２，−１，０，１，２］の範囲を動く。また、場合によって色Ｒ，Ｇ，Ｂをそれぞれ整数値ｃ＝０，１，２に対応させて説明する。
【０１１０】
読み出された近傍画像は規則性評価部３２０に送られる。この一回目の処理では、近傍画像はなにも処理を受けずに最小自乗近似部３１２に転送される。同時にテンプレート選択部３１０に対してはテンプレート保持ＲＯＭ３１１に保持されたテンプレートのとりうる複雑度のうち最も近い値が出力される。
【０１１１】
テンプレート選択部３１０は、規則性評価部３２０から出力される値を複雑度をあらわす内部変数ｓにセットし、内部変数テンプレート保持ＲＯＭ３１１と他の構成要素の仲立ちを行う。テンプレート選択部３１０に接続している構成要素からｉ番目のテンプレートの読み出し要求がある場合には、テンプレート選択部３１０は内部変数ｓを用いて読み出し信号（ｓ，ｉ）を生成し、要求が最小自乗近似部３１２及び劣化後テンプレート加工部３１３からの場合は劣化後テンプレート保持ＲＯＭ３１１ｂに、また帯域・色情報復元部３１４からの場合には劣化前テンプレート保持ＲＯＭ３１１ａにアクセスする。
【０１１２】
最小自乗近似部３１２は、近傍画像ｈ(p,q) が転送されると図５に示すフローに従って処理を行い、第１、第２実施形態と同様に、近傍画像を最もよく近似する劣化後テンプレートのインデックス min＿i と近似係数 min＿α(c) 、min ＿β(c) とを算出し、劣化後テンプレート加工部３１３及び帯域・色情報復元部３１４に転送する。
【０１１３】
帯域・色情報復元部３１４における処理は、テンプレート保持ＲＯＭ３１１へのアクセスがテンプレート選択部３１０を経て行われること以外は第２実施形態と同一である。帯域・色情報復元部３１４は近傍補正近似画像ｆ(p,q,c) を三板画像加算部３１５ａに転送する。
【０１１４】
劣化後テンプレート加工部３１３は、まず第２実施形態中の色情報復元部２１３と同様に、近傍画像ｈ(p,q) に対して色成分の欠落のみを補正した３色画像ｇ(p,q,c) を計算する。次に、最終的にｇ(p,q,c) を当該近傍における電子カメラ３００の色フィルタ配置に応じてサンプリングした画像ｇ′(p,q) を生成し、単板画像加算部３１５ｂにそれぞれ転送する。
【０１１５】
処理の途中では、出力画像バッファ３１７および単板画像バッファ３１６において、それぞれ各画素位置につき複数の近似画素値が得られるが、両バッファではそれらの平均近似画素値が保持され、またこれまでに得られた近似画素値の個数がカウンタに保持されるようになっている。この個数は当該画素位置にこれまでに書き込みが行われた回数に等しい。
【０１１６】
三板画像加算部３１５ａでは、画像出力バッファ３１７の当該近傍画像に対応する領域から平均近似画素値Ｓｆ(p,q,c) およびカウンタＺｆ(p,q) が読み出され、新しい平均近似画素値Ｓｆ_new (p,q,c) が、計算式、

によって、また新しいカウンタＺｆ_new (p,q) の値が式
Ｚｆ_new (p,q) ＝Ｚｆ(p,q) ＋１
によって計算され、Ｓｆ_new (p,q,c) およびＺｆ_new (p,q) が出力画像バッファ３１７の当該近傍画像に対応する領域に書き戻される。
【０１１７】
一方、単板画像加算部３１５ｂでは、単板画像バッファ３１６から当該近傍画像に対応する領域内の各画素の平均近似画素値Ｓｇ′(p,q) 及びカウンタＺｇ′(p,q) が読み出され、新しい平均近似画素値Ｓｇ′_new (p,q) が、計算式、

によって、また新しいカウンタＺｇ′_new (p,q) の値が
Ｚｇ′_new (p,q) ＝Ｚｇ′(p,q) ＋１
によって計算され、Ｓｇ′_new (p,q) およびＺｇ′_new (p,q) が単板画像バッファ３１６の当該近傍画像に対応する領域に書き戻される。
【０１１８】
入力画像バッファ３０８内の画像の各画素位置につき、以上の処理が終了すると、単板画像バッファ３１６には、入力画像バッファ３０８内の画像を単純なテンプレートで近似し、帯域劣化補正はせずに色成分の欠落のみの補正を行い、得られた画像をさらに単板ベイヤー配列ＣＣＤ３０４の色フィルタ配置でサンプリングした単板状態の画像が得られる。同じく出力画像バッファ３１７には単純なテンプレートで近似され、欠落色復元と帯域劣化の両方の補正を受けたカラー画像が得られる。
【０１１９】
一回目の処理では、最後に差分計算部３１８が単板画像バッファ３１６と入力画像バッファ３０８の差分をとり、近似誤差を表す差分画像を差分画像バッファ３１９に生成する。
【０１２０】
二回目以降の処理では、近傍読み出し部３０９が以降の入力を差分画像バッファ３０９に切り替え、差分画像に対しこれまでの処理が繰り返される。この繰り返しで、一回目と動作が異なるのは規則性評価部３２０だけである。
【０１２１】
規則性評価部３２０では、転送された近似画像に対してまず分散の大きさを計算し、所定の閾値以下であれば近似誤差は十分小さいとして最小自乗近似部３１２への近似画像の転送を行わない。所定の閾値以上の場合は、最大値を１、最小値を０に正規化した近傍画像にラプラシアンフィルタがかけられ、得られた画像内で自乗和が算出される。自乗和が所定の閾値より大きな場合は近傍画像はノイズであるとして同じく転送を行わない。
【０１２２】
その他の場合は近傍画像の複雑度ｓを計算し、テンプレート選択部３１０に複雑度ｓを転送し、最小自乗近似部３１２に近傍画像を転送する。差分画像のすべての画素位置で近傍画像が最小自乗近似部３１２に転送されなかった場合に差分画像に対する繰り返し処理は終了する。
【０１２３】
この間、以前の近似で捕捉できなかった微細構造が差分画像に計算され、差分画像がその微細構造に対応した複雑度をもつテンプレートによる近似で劣化補正され、結果が出力画像バッファ３１７に蓄積される。その結果、出力画像バッファ３１７には電子カメラ３００の光学系による劣化と色の欠落が補正された３色カラー画像が得られる。
【０１２４】
第３実施形態においても構成要素は種々の変更が考えられる。例えば、複雑度ｓの定義はここで上げたもの以外に微分画像の強度などいろいろな候補があげられる。規則性評価部３２０のノイズ判定基準も種々のものが考えられる。また、各回の処理は独立しているので、繰り返し回数に応じて近傍読み出し部３０９から読み出す近傍画像のサイズを小さくすることも可能である。これにより、複雑度の高いテンプレートの種類を減らすことができる。
【０１２５】
処理を高速化するために、複数段階の処理を一段階ですませることも可能である。この場合、三板画像加算部３１５ａ、単板画像加算部３１５ｂ、単板画像バッファ３１６及び差分画像バッファ３１９は不要となり、出力画像バッファ３１７においてカウンタを保持する必要もなくなる。帯域・色情報復元部３１４は復元結果を出力画像バッファ３１７に直接出力し、劣化後テンプレート加工部３１３は差分計算部３１８に、また差分計算部３１８は規則性評価部３２０に処理結果を直接出力する。また、作用も以下のように変更される。
【０１２６】
入力画像バッファ３０８内の画像の各画素位置（ｘ，ｙ）につき、近傍読み出し部３０９により近傍画像ｈ(p,q) が読み出され、規則性評価部３２０に送られる。規則性評価部３２０はテンプレート保持ＲＯＭ３１１に保持されたテンプレートのとりうる複雑度のうち最も低い値をテンプレート選択部３１０に出力し、近傍画像ｈ(p,q) を最小自乗近似部３１２に転送する。
【０１２７】
最小自乗近似部３１２は、テンプレート選択部３１０により選択された劣化後テンプレートのうち、近傍画像ｈ(p,q) を最もよく近似するもののインデックスと近似係数とを算出し、劣化後テンプレート加工部３１３及び帯域・色情報復元部３１４に転送する。
【０１２８】
帯域・色情報復元部３１４では、近傍画像に対して色成分の欠落と帯域の劣化を補正した近傍補正近似画像ｆ(p,q,c) を得、その中心画素の値ｆ(0,0,c) を出力画像バッファ３１７の対応する画素位置に足し込む。
【０１２９】
一方、劣化後テンプレート加工部３１３は、近傍画像ｈ(p,q) に対して色成分の欠落のみを補正した３色画像ｇ(p,q,c) を計算し、さらにｇ(p,q,c) を当該近傍画像における電子カメラ３００の色フィルタ配置に応じてサンプリングして画像ｇ′(p,q) を得る。ｇ′(p,q) は差分計算部３１８に転送され、近傍画像ｈ(p,q) との差分が近傍差分画像として計算されて規則性評価部３２０に転送される。
【０１３０】
規則性評価部３２０は、この実施形態の２回目の処理における処理と同様に転送された近傍差分画像の複雑度を調べ、近傍差分画像がノイズとみなされない場合には算出された複雑度をテンプレート選択部３１０に転送し、近傍差分画像を再び最小自乗近似部３１２に転送する。
【０１３１】
これにより、各画素位置の近傍画像に対して劣化後テンプレートが複雑度の低い順に当てはめられ、当てはめ結果により近傍画像の中心画素値の色成分の欠落および帯域の劣化が補正されて出力画像バッファ３１７に出力される。
【０１３２】
また、電子カメラ３００に水晶フィルタ３０３がなく帯域制限がなされていない場合には、テンプレート保持ＲＯＭ３１１が劣化前テンプレート保持ＲＯＭ３１１ａのみからなり、テンプレート選択部３１０が劣化前テンプレート保持ＲＯＭ３１１ａと規則性評価部３２０のみから入力を受けるように構成を変更する。この場合、各部分の作用で従来と異なる点は、テンプレート選択部３１０がどの構成要素からのテンプレートの読み出し要求に対しても劣化前テンプレート保持ＲＯＭ３１１ａにアクセスすること、最小自乗近似部２１２はテンプレートとしてΦｉのかわりにΨｉを用いること、及び帯域・色情報復元部３１４は動作は同じだが、結果として色成分の欠落は補正されるが帯域の劣化についてはなにもされない近傍補正近似画像ｆ(p,q,c) を出力することのみである。その結果、二回目以降の繰り返し処理が進むにつれ、入力画像のより複雑度の高い幾何学的特徴まで反映し、色成分の欠落が補正された画像が保持されるようになり、最終的に入力画像バッファ３０８内の画像の色成分の欠落が補正された３色カラー画像が得られる。
【０１３３】
以下に、本発明の第４実施形態を説明する。図７は本発明の第４実施形態が適用される画像処理システムの構成を示す図であり、図８は図７に示す最小自乗近似部４１２の構成及びその周辺回路を示す図である。
【０１３４】
図７において電子カメラ４００は、図４における単板ベイヤー配列ＣＣＤが単板ＲＧＢランダム配列ＣＣＤ４０４に置き換わっている点を除いて第２実施形態と同一の構成である。電子カメラ４００内の単板ＲＧＢランダム配列ＣＣＤ４０４の色フィルタ配列に関する情報は、図８に示すようにあらかじめ画像処理装置４０１内の色成分マスク生成部４１２ａに保持されている。
【０１３５】
画像処理装置４０１は、入力画像バッファ４０８と、近傍読み出し部４０９と、劣化前テンプレート保持ＲＯＭ４１１ａ及び劣化後テンプレート保持ＲＯＭ４１１ｂとを具備するテンプレート保持ＲＯＭ４１１と、最小自乗近似部４１２と、帯域・色情報復元部４１４と、画像加算部４１５と、三板画像バッファ４１７ａ及び単板画像バッファ４１７ｂを具備する近似画像バッファ４１７と、残差演算部４１８と、規則性判定部４１９と、残差加算部４２０と、出力画像バッファ４２１とを具備する。
【０１３６】
最小自乗近似部４１２は図８に示すように、色成分マスク生成部４１２ａと、最小自乗係数算出部４１２ｂと、近似誤差累積部４１２ｃと、近似係数保持バッファ４１２ｄと、テンプレート決定部４１２ｅとを具備する。上記最小自乗近似部４１２はさらに、近傍読み出し部４０９に接続された近傍画像入力端子４１２ｒと、劣化後テンプレート保持ＲＯＭ４１１ｂに接続されたテンプレート入力端子４１２ｐと、帯域・色情報復元部４１４に接続された近似パラメータ出力端子４１２ｓと、画像加算部４１５に接続された近傍近似画像出力端子４１２ｔとを有する。
【０１３７】
図７において電子カメラ４００内の画像バッファ４０７は画像処理装置４０１内の入力画像バッファ４０８に接続されている。入力画像バッファ４０８は近傍読み出し部４０９及び残差演算部４１８に接続されている。近傍読み出し部４０９は図８に示す近傍画像入力端子４１２ｒを経て最小自乗近似部４１２内の最小自乗係数算出部４１２ｂに接続されている。
【０１３８】
図８において、最小自乗係数算出部４１２ｂは近傍読み出し部４０９のほかに、色成分マスク生成部４１２ａと、テンプレート入力端子４１２ｐ経由で劣化後テンプレート保持ＲＯＭ４１１ｂとに接続され、処理結果を近似係数保持バッファ４１２ｄおよび近似誤差累積部４１２ｃに出力すべく接続されている。
【０１３９】
テンプレート決定部４１２ｅは近似誤差累積部４１２ｃ、近似係数保持バッファ４１２ｄおよび色成分マスク生成部４１２ａの出力を受けるべく接続され、かつ決定した内容を近傍補正近似画像出力端子４１２ｔを経て画像加算部４１５に、近似パラメータ出力端子４１２ｓを経て帯域・色情報復元部４１４に出力すべく接続されている。
【０１４０】
テンプレート保持ＲＯＭ４１１は、第２実施形態と同様に、劣化前テンプレート保持ＲＯＭ４１１ａと劣化後テンプレート保持ＲＯＭ４１１ｂとからなる。劣化前テンプレート保持ＲＯＭ４１１ａには、所定のＮ種の幾何学的特徴をもつ所定サイズのグレースケール画像であるテンプレートΨｉ（ｉ＝０〜Ｎ−１）が保持され、帯域・色情報復元部４１４に接続されている。劣化後テンプレート保持ＲＯＭ４１１ｂには、劣化前テンプレート保持ＲＯＭ４１１ａの各テンプレートが電子カメラ４００の光学系による帯域劣化を受けた画像であるテンプレートΦｉ（ｉ＝０〜Ｎ−１）が保持されている。
【０１４１】
図７に示すように、帯域・色情報復元部４１４は最小自乗近似部４１２及び劣化前テンプレート保持ＲＯＭ４１１ａの出力を受けるべく接続され、かつ復元結果を画像加算部４１５に出力すべく接続されている。画像加算部４１５は帯域・色情報復元部４１４及び最小自乗近似部４１２からの出力を独立に処理すべく接続され、それぞれの処理結果を近似画像バッファ４１７内の三板画像バッファ４１７ａ及び単板画像バッファ４１７ｂに出力する。
【０１４２】
三板画像バッファ４１７ａおよび単板画像バッファ４１７ｂは、入力画像バッファ４０８内の画像と同じ画素数の画像を保持するほか、各画素に付きカウンタを保持する。このカウンタは、それぞれのバッファの各画素位置に書き込みが行われた回数を保持するために設けられている。第１実施形態と同様に、それぞれのバッファの各画素位置で複数の画素値が計算されるため、ここでは画像加算部４１５でそれらを平均化する処理を行っている。この処理に書き込み回数が必要になる。
【０１４３】
単板画像バッファ４１７ｂは記憶している内容を残差演算部４１８及び規則性判定部４１９を経て残差加算部４２０に出力すべく接続されている。一方、三板画像バッファ４１７ａは記憶した内容を残差加算部４２０に直接出力すべく接続されている。残差加算部４２０は処理結果を出力画像バッファ４２１に出力すべく接続されている。
【０１４４】
以下に、上記した構成を有する画像処理システムの作用を説明する。
【０１４５】
電子カメラ４００により撮像された被写体像は、第１〜第３実施形態と同様に、レンズ４０２、水晶フィルタ４０３により帯域制限を受け、劣化した光学像として単板ＲＧＢランダム配列ＣＣＤ４０４上に形成される。単板ＲＧＢランダム配列ＣＣＤ４０４は各画素につき劣化画像のＲＧＢのいずれか一つの色情報を取得し、得られた画像をＡ／Ｄ変換部４０５を経てデジタル画像信号として画像バッファ４０７に転送する。撮像が終了すると、画像バッファ４０７内の画像情報は画像処理装置４０１内の入力画像バッファ４０８に転送され、さらに三板画像バッファ４１７ａ及び単板画像バッファ４１７ｂの画素値及びカウンタはすべて０に初期化される
その後、画像処理装置４０１では入力画像バッファ４０８内の画像情報の各画素位置（ｘ，ｙ）ごとに以下の処理が行われる。
【０１４６】
近傍読み出し部４０９により処理画素位置を中心とする所定の矩形領域（例えば５×５画素）が近傍画像 h(p,q) として読み込まれ、最小自乗近似部４１２内の最小自乗係数算出部４１２ｂに転送される。以下の説明において、変数の組（ｐ，ｑ）は、この近傍画像の中心画素（ｘ，ｙ）に対する相対座標であり、例えば近傍の大きさが５×５であれば［−２，−１，０，１，２］×［−２，−１，０，１，２］の範囲を動く。また、場合によって色Ｒ，Ｇ，Ｂをそれぞれ整数値ｃ＝０，１，２に対応させて説明する。
【０１４７】
最小自乗係数算出部４１２ｂは、劣化後テンプレート保持ＲＯＭ４１１ｂに予め記憶されているテンプレートΦｉ(p,q) （ｉ＝０〜Ｎ−１）を順に読み出し、転送された近傍画像h(p,q) の各色成分ｃ（ｃ＝０，１，２）について、順に近似誤差
【数４】

【０１４８】
を最小化する近似係数α(c) 、β(c) を計算する。
【０１４９】
ここで、mask(p,q,c) は、単板ＲＧＢランダム配列ＣＣＤ４０４上で、当該近傍画像内の座標(p,q) に対応する位置に色成分ｃに対応する色フィルタが存在すれば１、しなければ０をとるマスクであり、色成分マスク生成部４１２ａにより算出される。図３は近傍画像における特定の色フィルタ配置に対応する色成分マスクを例示したものである。
【０１５０】
近似誤差ｅ(c) は近似誤差累積部４１２ｃに出力され、近似誤差累積部４１２ｃでは近似誤差ｅ(c) を全色成分について累積加算し、累積近似誤差ｅとしてテンプレート決定部４１２ｅに転送する。また、近似係数α(c) 、β(c) （ｃ＝０，１，２）は近似係数保持バッファ４１２ｄに順に出力され、そこに保持される。
【０１５１】
テンプレート決定部４１２ｅには、それ以前のテンプレートΦｉ′(p,q)(ｉ′＜ｉ）に対する累積近似誤差の最小値 min＿e と最小値を与えたテンプレートのインデックス min＿i が保持されている。テンプレート決定部４１２ｅは、近似誤差累積部４１２ｃから転送された誤差ｅを、内部に保持する誤差の最小値 min＿e と比較し、新たな誤差がより小さければ min＿e をｅに、また min＿i をｉに更新する。
【０１５２】
テンプレート決定部４１２ｅはまた誤差の最小値を与えるテンプレートに関する近似係数もこれらを min＿α(c) および min＿β(c) （ｃ＝０，１，２）として保持しており、 min＿e の更新と同時にこれらの値も近似係数保持バッファ４１２ｄから読み込まれた近似係数α(c) 、β(c) にそれぞれ更新される。
【０１５３】
全ての劣化後テンプレートΦｉが処理された後、テンプレート決定部４１２ｅに保持された近似係数 min＿α(c) 、min ＿β(c) （ｃ＝０，１，２）とインデックスmin ＿i が帯域・色情報復元部４１４に出力される。同時に、テンプレート決定部４１２ｅはまず式ｇ(p,q,c) ＝ min＿α(c) Φ min＿i(p,q)＋ min＿β(c) によって当該近傍画像ｈ(p,q) の色成分の欠落を補正した画像ｇ(p,q,c) を計算する。
【０１５４】
次に色成分マスク生成部４１２ａにより算出されたmask(p,q,c) を用いてカラー画像ｇ(p,q,c) を当該近傍画像における電子カメラ４００の色フィルタ配置に応じてサンプリングし、単板状態の画像ｇ′(p,q) を得て、画像加算部４１５に転送する。
【０１５５】
帯域・色情報復元部４１４は、転送されたインデックス min＿i に対応する劣化前テンプレートΨ min＿i を劣化前テンプレート保持ＲＯＭ４１１ａから読み出し、転送された近似係数 min＿α(c) 、min ＿β(c) （ｃ＝０，１，２）を用いて、近傍画像ｈ(p,q) の色成分の欠落を補正し、さらに帯域の劣化も補正した近傍補正近似画像ｆ(p,q,c) をｆ(p,q,c) ＝ min＿α(c) Ψ min＿i(p,q)＋ min＿β(c) （ｃ＝０，１，２）により計算し、画像加算部４１５に転送する。
【０１５６】
処理の途中では、三板画像バッファ４１７ａおよび単板画像バッファ４１７ｂにおいて、それぞれ各画素位置につき複数の近似画素値が得られるが、両バッファではそれらの平均近似画素値が保持され、またこれまでに得られた近似画素値の個数がカウンタに保持されるようになっている。これは、当該画素位置にこれまでに書き込みが行われた回数に等しい。
【０１５７】
画像加算部４１５では、帯域・色情報復元部４１４からｆ(p,q,c) が転送されると、三板画像バッファ４１７ａから当該近傍画像に対応する領域内の各画素の平均近似画素値Ｓｆ(p,q,c) 及びカウンタＺｆ(p,q) を読み出し、新しい平均近似画素値Ｓｆ_new (p,q,c) を、計算式

によって、また新しいカウンタＺｆ_new (p,q) の値を式
Ｚｆ_new (p,q) ＝Ｚf(p,q)＋１
によって計算し、Ｓｆ_new (p,q,c) およびＺｆ_new (p,q) を三板画像バッファ４１７ａの当該近傍画像に対する領域に書き戻す。
【０１５８】
一方、画像加算部４１５にテンプレート決定部４１２ｅからｇ′(p,q) が転送されると、画像加算部４１５は単板画像バッファ４１７ｂから当該近傍画像に対応する領域内の各画素の平均近似画素値Ｓｇ′(p,q) 及びカウンタＺｇ′(p,q) を読み出し、新しい平均近似画素値Ｓｇ′_new (p,q) を、計算式

によって、新しいカウンタＺｇ′_new (p,q) の値を
Ｚｇ′_new (p,q) ＝Ｚg(p,q)＋１
によって計算し、Ｓｇ′_new (p,q) およびＺｇ′_new (p,q) を単板画像バッファ４１７ｂの当該近傍画像に対応する領域に書き戻す。
【０１５９】
入力画像バッファ４０８内の画像の各画素位置につき、以上の処理が終了すると、単板画像バッファ４１７ｂには、入力画像バッファ４０８内の画像をテンプレートで近似し、色成分の欠落を補正した後に再び単板ＲＧＢランダム配列ＣＣＤ４０４の色フィルタ配置でサンプリングした単板状態の近似画像が得られる。同じく三板画像バッファ４１７ａにはテンプレートで近似され、色成分欠落と帯域劣化の補正を受けたカラー画像が得られる。
【０１６０】
さらに、近似画像バッファ４１７内の画像に対して以下の処理が行われる。
【０１６１】
残差演算部４１８は、入力画像バッファ４０８内の画像の各画素位置（ｘ，ｙ）につき、その画素位置を中心とする所定の大きさの近傍画像ｈ(p,q) を読み出す。同時に、単板画像バッファ４１７ｂから当該近傍画像の領域に対応する画像を読み出し、ｈ(p,q) との差を計算し、残差画像ｄ(p,q) として規則性判定部４１９に出力する。
【０１６２】
規則性判定部４１９は、入力した残差画像ｄ(p,q) が規則的構造を有する画像であるか否かを第３実施形態と同様の判定基準で評価する。まずｄ(p,q) を最大値１、最小値０に正規化し、ラプラシアンフィルタをかける。その結果を画像全体で自乗和し、所定の閾値と比較する。閾値を下回る場合は規則的構造を有すると判定し、残差画像の中心画素の値ｄ(0,0) を残差加算部４２０へ出力する。閾値を上回る場合はなにも転送しない。
【０１６３】
残差加算部４２０は、三板画像バッファ４１７ａから入力画像バッファ４０８内の位置（ｘ，ｙ）に対応する位置の画素値Ｓｆ(0,0,c) （ｃ＝０，１，２）を読み出す。規則性判定部４１９から値ｄ(0,0) が転送されてきた場合には、ｄ(0,0) から３色分の画素値ｄ′(0,0,c) を生成し、Ｓｆ(0,0,c) と各色ｃ＝０，１２ごとに加算する。ここで、入力画像バッファ４０８内の位置（ｘ，ｙ）に対応する単板ＲＧＢランダム配列ＣＣＤ４０４上の位置に存在する色フィルタの色をｃ′とすると、ｄ′(0,0,c) はｄ(0,0) から以下の式で計算される。
【０１６４】
ｄ′(0,0,c) ＝ｄ(0,0) （ｃ＝ｃ′の時）
【数５】

【０１６５】
すべての位置（ｘ，ｙ）についてこの処理が終了すると、各画素位置でその近傍の幾何学的特徴にテンプレート保持ＲＯＭ４１１内のテンプレートが対応できる範囲で色成分の欠落と帯域劣化が補正され、さらに対応できない微細構造が輝度成分に反映されることにより、出力画像バッファ４２１に電子カメラ４００の光学系による劣化と色の欠落が補正された３色カラー画像が得られる。
【０１６６】
電子カメラ４００に水晶フィルタ４０３がなく帯域制限がなれていない場合には、テンプレート保持ＲＯＭ４１１が劣化前テンプレート保持ＲＯＭ４１１ａのみからなり、最小自乗近似部４１２内の最小自乗係数算出部４１２ｂが劣化前テンプレート保持ＲＯＭ４１１ａから入力を受けるように構成を変更する。この場合、各部分の作用で特徴となるのは、最小自乗近似部４１２でテンプレートとしてΦｉのかわりにΨｉを用いる点と、帯域・色情報復元部４１４の動作は同じだが、結果として色成分の欠落は補正されるが帯域の劣化についてはなにもされない近傍補正近似画像ｆ(p,q,c) が得られる点のみである。その結果、入力画像バッファ４０８内の画像の色成分の欠落のみが補正された３色カラー画像が出力画像バッファ４２１に得られる。
【０１６７】
処理を高速化するために、近似画像バッファ４１７を設けない構成も可能である。この場合、最小自乗近似部４１２は残差演算部４１８に直接出力し、帯域・色情報復元部４１４は残差加算部４２０に直接出力するため、画像加算部４１５も不要となる。作用としては、入力画像バッファ４０８の各画素位置（ｘ，ｙ）につき、残差演算部４１８が最小自乗近似部４１２から転送された単板状態の画像ｇ′(p,q) と画素位置（ｘ，ｙ）を中心とする近傍画像ｈ(p,q) の差分を計算して規則性判定部４１９に転送することと、帯域・色情報復元部４１４が算出したｆ(p,q,c) の中心画素値ｆ(0,0,c) のみを残差加算部４２０に転送すること、および残差加算部４２０ではＳｆ(0,0,c) の代わりに帯域・色情報復元部４１４から転送されたｆ(0,0,c) を用いてｄ′(0,0,c) を計算すること、の三点のみが上記した第４実施形態と異なる点である。これにより、補正の精度は落ちるが記憶容量が少なく、より高速な処理が可能になる。
【０１６８】
以下に、本発明の第５実施形態を説明する。図９は本発明の第５実施形態が適用される画像処理システムの構成を示す図であり、電子カメラ５００と画像処理装置５０１とからなる。
【０１６９】
本実施形態の電子カメラ５００では帯域制限のために設けられていた水晶フィルタ２０３が設けられていない点を除けば第２実施形態における電子カメラ２００と同一の構成である。電子カメラ５００内の画像バッファ５０７の出力は、第３実施形態と同様に画像処理装置５０１内の入力画像バッファ５０８に接続され、入力画像バッファ５０８は近傍読み出し部５０９及び差分計算部５１８に接続されている。
【０１７０】
画像処理装置５０１は、入力画像バッファ５０８と、近傍読み出し部５０９と、テンプレート選択部５１０と、テンプレート保持ＲＯＭ５１１と、最小自乗近似部５１２と、単板画像生成部５１３と、色情報復元部５１４と、三板画像加算部５１５ａと、単板画像加算部５１５ｂと、単板画像バッファ５１６と、出力画像バッファ５１７と、差分計算部５１８と、差分画像バッファ５１９と、規則性評価部５２０と、テンプレート生成部５２１とを具備する。
【０１７１】
図９において、近傍読み出し部５０９は入力画像バッファ５０８および差分画像バッファ５１９の出力を受けるべく接続され、かつ読み出した情報を規則性評価部５２０に出力すべく接続されている。規則性評価部５２０はテンプレート生成部５２１、三板画像加算部５１５ａおよび最小自乗近似部５１２に接続されている。最小自乗近似部５１２は第２実施形態における構成と同一の構成であり、テンプレート選択部５１０と規則性評価部５２０の出力を受けるべく接続され、かつ処理結果を単板画像生成部５１３及び色情報復元部５１４に出力すべく接続されている。テンプレート選択部５１０はテンプレート保持ＲＯＭ５１１及びテンプレート生成部５２１の出力を受けるべく接続され、かつ選択結果を単板画像生成部５１３及び色情報復元部５１４に出力すべく接続されている。
【０１７２】
入力画像に水晶フィルタによる帯域劣化がないのでテンプレート保持ＲＯＭ５１１にはこれまでの実施形態と異なり帯域制限の劣化前と劣化後のテンプレートを保持しない。そのかわり、所定のＮ種の幾何学的特徴をもつ所定サイズのグレースケール画像がテンプレートΦｉ（ｉ＝０〜Ｎ−１）として保持される。ここで、レンズ５０２による帯域劣化は通常、少ないとして無視している。
【０１７３】
色情報復元部５１４は三板画像加算部５１５ａを経て出力画像バッファ５１７に接続されている。単板画像生成部５１３は単板画像加算部５１５ｂを経て単板画像バッファ５１６に接続されている。単板画像バッファ５１６は差分計算部５１８に記憶内容を出力すべく接続され、差分計算部５１８は差分画像バッファ５１９に処理結果を出力すべく接続されている。
【０１７４】
単板画像バッファ５１６および出力画像バッファ５１７は、入力画像バッファ５０８内の画像と同じ画素数の画像を保持するが、その他に各画素につきカウンタを保持する。このカウンタは、それぞれのバッファの各画素位置に書き込みが行われた回数を保持するために設けられてる。第３実施形態と同様にそれぞれのバッファの各画素位置で複数の画素値が計算されるため、最終的にそれらを平均化する処理を行っている。この処理に書き込み回数が必要になる。
【０１７５】
以下に、上記した構成を有する画像処理システムの作用を説明する。
【０１７６】
電子カメラ５００で撮像が行われ、レンズ５０２による帯域劣化しか含まず、各画素位置につき一つの色成分しか持たない画像がこれまでの実施形態と同様に画像バッファ５０７に保持される。撮像が終了すると、画像バッファ５０７内の画像は入力画像バッファ５０８に転送され、出力画像バッファ５１７および単板画像バッファ５１６のカラー画像の画素値、及びカウンタはすべて０に初期化される。次に、２段階で補正処理が行われる。１回目の処理では、入力画像バッファ５０８内の画像の各画素位置（ｘ，ｙ）につき、以下の処理が行われる。
【０１７７】
近傍読み出し部５０９により当該画素位置（ｘ，ｙ）の所定の矩形領域（例えば７×７画素）が近傍画像ｈ(p,q) として読み出される。以下の説明において、変数の組（ｐ，ｑ）は、この近傍画像内の中心画素（ｘ，ｙ）に対する相対座標であり、例えば近傍の大きさが７×７であれば［−３，−２，−１，０，１，２，３］×［−３，−２，−１，０，１，２，３］の範囲を動く、また、場合によって色Ｒ，Ｇ，Ｂをそれぞれ整数値ｃ＝０，１，２に対応させて説明する。
【０１７８】
読み出された近傍画像は規則性評価部５２０に送られるが、そこではなにも処理を受けずに最小自乗近似部５１２に転送される。テンプレート生成部５２１には１回目の処理ではなにも転送しない。
【０１７９】
テンプレート生成部５２１は、近傍画像が転送されてくるとその画像をグレースケール画像とみなしてエッジを保ったまま平滑化し、新たなテンプレートを作成しテンプレート選択部５１０に転送する機能を持つが、１回目の処理にはなにもしない。
【０１８０】
テンプレート選択部５１０では、接続している他の構成要素からｉ番目のテンプレートの読み出し要求があった場合には、テンプレート生成部５２１からテンプレートが転送されてきている場合はそのテンプレートを返し、なにも転送されていない場合はテンプレート保持ＲＯＭ５１１からｉ番目のテンプレートΦｉを読み出す機能を持つ。１回目の処理では、テンプレート生成部５２１からなにも転送されないのでテンプレート保持ＲＯＭ５１１にアクセスすることになる。
【０１８１】
最小自乗計数算出部５１２は、近傍画像が転送されると図５に示されたフローに従って処理を行い、これまでの実施形態と同様に近傍画像を最もよく近似するテンプレートのインデックス min＿i と近似係数 min＿α(c) 、 min＿β(c) とを算出し、単板画像生成部５１３と色情報復元部５１４に転送する。
【０１８２】
色情報復元部５１４では、画素ごとの色成分の欠落を修復するために、式
ｇ(p,q,c) ＝ min＿α(c) Φ min＿i(p,q)＋ min＿β(c) （ｃ＝0,1,2)
に従って、近傍画像ｈ(p,q) の色成分の欠落を近似的に埋めた３色画像ｇ(p,q,c) を生成し、三板画像加算部５１５ａに転送する。
【０１８３】
単板画像生成部５１３では、色情報復元部５１４と同様に近傍画像ｈ(p,q) の色成分の欠落を近似的に埋めた３色画像ｇ(p,q,c) を計算するが、さらにｇ(p,q,c) を当該近傍画像における電子カメラ５００の色フィルタ配置に応じてサンプリングした画像ｇ′(p,q) を生成する。そして、ｇ′(p,q) を単板画像加算部５１５ｂに転送する。
【０１８４】
処理の途中では、出力画像バッファ５１７および単板画像バッファ５１６において、それぞれ各画素位置につき複数の近似画素値が得られるが、両バッファではそれらの平均近似画素値が保持され、またこれまでに得られた近似画素値の個数（＝書き込み回数）がカウンタに保持されるようになっている。
【０１８５】
三板画像加算部５１５ａでは、画像出力バッファ５１７から当該近傍画像に対応する領域内の各画素の平均近似画素値Ｓｇ(p,q,c) 及びカウンタＺｇ(p,q) が読み出され、転送されたｇ(p,q,c) を用いて新しい平均近似画素値Ｓｇ_new (p,q,c) が計算式

によって計算され、また新しいカウンタＺｇ_new (p,q) の値が式
Ｚｇ_new (p,q) ＝Ｚｇ(p,q) ＋１
によって計算され、Ｓｇ_new (p,q,c) およびＺｇ_new (p,q) が画像出力バッファ５１７の当該近傍画像に対応する領域に書き戻される。
【０１８６】
一方、単板画像加算部５１５ｂでは、三板画像加算部５１５ａと同様に単板画像バッファ５１６の当該近傍画像に対応する領域から平均近似画素値Ｓｇ′(p,q) 及びカウンタＺｇ′(p,q) が読み出され、転送されたｇ′(p,q) を用いて新しい平均近似画素値Ｓｇ′_new (p,q) が計算式

によって計算され、また新しいカウンタＺｇ′_new (p,q) の値が
Ｚｇ′_new (p,q) ＝Ｚｇ′(p,q) ＋１
によって計算され、Ｓｇ′_new (p,q) およびＺｇ′_new (p,q) が単板画像バッファ５１６の当該近傍画像に対応する領域に書き戻される。
【０１８７】
入力画像バッファ５０８内の画像の各画素位置につき、以上の処理が終了すると、単板画像バッファ５１６には、入力画像バッファ内５０８の画像をテンプレート保持ＲＯＭ５１１内のテンプレートで近似し、色成分の欠落を補正した後、さらに単板ベイヤー配列ＣＣＤ５０４の色フィルタ配置でサンプリングした状態の画像が得られる。同じく出力画像バッファ５１７にはテンプレート保持ＲＯＭ５１１内のテンプレートで近似され、色成分の欠落が補正されたカラー画像が得られる。１回目の処理の最後に、差分計算部５１８は単板画像バッファ５１６と入力画像バッファ５０８の差分をとり、近似誤差を表す差分画像を差分画像バッファ５１９に出力する。
【０１８８】
２回目の処理では、入力画像バッファ５０８の各画素位置（ｘ，ｙ）につき、以下の処理を行う。
【０１８９】
近傍読み出し部５０９により当該画素位置（ｘ，ｙ）を中心とする一回目と同じサイズの矩形領域が再び近傍画像ｈ(p,q) として読み出される。同時に、差分画像バッファ５１９の近傍画像に対応する領域が差分近傍画像ｄ(p,q) として読み出される。二つの画像は規則性評価部５２０に転送される。
【０１９０】
規則性評価部５２０では、１回目の処理と異なり差分近傍画像ｄ(p,q) の規則性を調べる。評価の基準には、画像を最大値１、最小値０に正規化した画像にラプラシアンフィルタをかけ、その結果について画像全体に対する自乗和をとった値をノイズ尺度として利用する。ｄ(p,q) に対するノイズ尺度Ｌ１を求め、さらにホワイトノイズからなる画像に対してどの程度規則的かを判断するために、各画素値が最大値１、最小値０、平均値０．５の白色雑音を生じる乱数により生成されたｄ(p,q) と同一サイズの画像に対してあらかじめ計算したノイズ尺度Ｌ０を用いて、相対ノイズ尺度Ｌを式Ｌ＝（１−Ｌ１／Ｌ０）により算出する。
【０１９１】
相対ノイズ尺度Ｌは、０〜１の範囲でｄ(p,q) の規則性を表す。Ｌが所定の閾値以下であれば、ｄ(p,q) はノイズであるとしてなにもしない。所定の閾値以上であれば、ｄ(p,q) をテンプレート生成部５２１に転送し、ｈ(p,q) を最小自乗近似部５１２に転送し、また、相対ノイズ尺度Ｌを三板画像加算部５１５ａに転送する。
【０１９２】
テンプレート生成部５２１は、１回目の処理とは異なり、転送されたｄ(p,q) をグレースケール画像とみなしてエッジを保ったまま平滑化し、新たなテンプレートΦ′(p,q) を作成しテンプレート選択部５１０に転送する。
【０１９３】
テンプレート選択部５１０では、転送されたテンプレートΦ′(p,q) を新たなテンプレート集合に設定し、以後他の構成要素からテンプレートの読み出し要求があった場合、Φ′(p,q) を返す。
【０１９４】
最小自乗係数算出部５１２は、近傍画像ｈ(p,q) が転送されると１回目と同様の処理を行い、近傍画像ｈ(p,q) を最もよく近似するテンプレートのインデックス min＿i と近似係数 min＿α(c) 、 min＿β(c) とを算出し、色情報復元部５１４のみに転送する。ただし、最小自乗係数算出部５１２が読み出すテンプレートはテンプレート選択部５１０によってΦ′(p,q) の一つに限られているので、 min＿α(c) 、 min＿β(c) は、テンプレートΦ′(p,q) で近傍画像ｈ(p,q) を近似する場合の最適な近似係数を意味する。
【０１９５】
色情報復元部５１４における処理は、１回目の処理と異なり、近傍画像ｈ(p,q) の中心画素ｈ(0,0) における欠落色成分の回復のみを行う。具体的には、式
ｇ(0,0,c) ＝ min＿α(c) Φ′(p,q) ＋ min＿β(c) （ｃ＝0,1,2)
に従って、ｈ(0,0) に対応する色成分の回復された画素値ｇ(0,0,c) （ｃ＝０，１，２）を生成し、三板画像加算部５１５ａに転送する。
【０１９６】
出力画像バッファ５１７の近傍画像ｈ(p,q) に対応する領域内の各画素では、１回目の処理でテンプレート保持ＲＯＭ５１１内のテンプレートにより近似されて求められた３色の画素値Ｓｇ(p,q,c) （ｃ＝０，１，２）が保持されている。三板画像加算部５１５ａでは、画像出力バッファ５１７の近傍画像ｈ(p,q) の中心画素の位置に対応する位置の画素値Ｓｇ(0,0,c) （ｃ＝０，１，２）を読み出し、規則性評価部５２０から転送されてきた相対ノイズ尺度Ｌを用いて、以前の近似結果Ｓｇ(0,0,c) と二回目の近似結果ｇ(0,0,c) の重み付き和をとる。式
Ｓｇ_new (0,0,c) ＝(1−Ｌ）・Ｓｇ(0,0,c) ＋Ｌ・ｇ(0,0,c) （ｃ＝0,1,2)
により当該画素位置の新しい値Ｓｇ_new (0,0,c) （ｃ＝０，１，２）を計算し、画像出力バッファ５１７に書き戻す。入力画像バッファの各画素位置につき、２回目の処理が終了すると、出力画像バッファ５１７には色成分の欠落が回復された３色カラー画像が得られる。
【０１９７】
以下に本発明の第６実施形態を説明する。図１０〜１２は第６実施形態を説明するための図であり、図１０は本実施形態が適用される画像処理システムの構成を示す図であり、図１１は図１０中合成最小自乗近似部６１２の詳細図であり、図１２は図１０中合成最小自乗近似部６１２の作用の説明図である。
【０１９８】
図１０において、本実施形態の画像処理システムは電子カメラ６００と画像処理装置６０１とからなり、電子カメラ６００は、第４実施形態における電子カメラ４００と同一の構成である。電子カメラ６００内の画像バッファ６０７は画像処理装置６０１内の入力画像バッファ６０８に接続されている。電子カメラ６００内の単板ＲＧＢランダム配列フィルタＣＣＤ６０４の色フィルタ配置に関する情報は第４実施形態と同様にあらかじめ画像処理装置６０１内の色成分マスク生成部６１２ａに保持されている。
【０１９９】
画像処理装置６０１は、入力画像バッファ６０８と、近傍読み出し部６０９と、劣化前テンプレート保持ＲＯＭ６１１ａ及び劣化後テンプレート保持ＲＯＭ６１１ｂを具備するテンプレート保持ＲＯＭ６１１と、合成最小自乗近似部６１２と、帯域・色情報復元部６１４と、三板画像加算部６１５と、出力画像バッファ６１６とを具備する。
【０２００】
また、図１０に示す合成最小自乗近似部６１２は、図１１に示すように、色成分マスク生成部６１２ａと、最小自乗係数算出部６１２ｂと、近似誤差累積部６１２ｃと、近似係数保持バッファ６１２ｄと、テンプレート決定部６１２ｅと、近傍画像バッファ６１２ｆと、テンプレート累積部６１２ｇと、テンプレート合成部６１２ｈと、最小自乗係数算出部６１２ｉと、近似誤差累積部６１２ｊと、近似係数保持バッファ６１２ｋとを具備する。この合成最小自乗近似部６１２はさらに近傍画像入力端子６１２ｒと、テンプレート入力端子６１２ｐと、近似パラメータ出力端子６１２ｓとを有している。
【０２０１】
入力画像バッファ６０８は近傍読み出し部６０９に接続され、近傍読み出し部６０９は近傍画像入力端子６１２ｒを経て合成最小自乗近似部６１２内の近傍画像バッファ６１２ｆに接続されている。合成最小自乗近似部６１２は、テンプレート入力端子６１２ｐを介して劣化後テンプレート保持ＲＯＭ６１１ｂに接続されるとともに、近似パラメータ出力端子６１２ｓを介して帯域・色情報復元部６１４に接続されている。
【０２０２】
テンプレート保持ＲＯＭ６１１の構成と、テンプレート保持ＲＯＭ６１１、帯域・色情報復元部６１４、三板画像加算部６１５および出力画像バッファ６１６間の接続関係は、第１実施形態と同一である。
【０２０３】
本実施形態では、第１実施形態と同様に、処理中に各画素につき複数の補正値が計算されるため、それらを各補正値の信頼性に基づいて重みつき平均する。そのため、出力画像バッファ６１６は、各画素位置において画像データ以外に重みつき平均の計算に必要な信頼値を保持する。
【０２０４】
合成最小自乗近似部６１２内の近傍画像バッファ６１２ｆは近傍画像入力端子６１２ｒを介して近傍読み出し部６０９の出力を受けるべく接続され、かつ記憶している情報を最小自乗係数算出部６１２ｂ及び６１２ｉに出力すべく接続されている。最小自乗係数算出部６１２ｂは近傍画像バッファ６１２ｆのほかに、色成分マスク生成部６１２ａ及びテンプレート入力端子６１２ｐ経由で劣化後テンプレート保持ＲＯＭ６１１ｂの出力を受けるべく接続され、かつ処理結果を近似係数保持バッファ６１２ｄ及び近似誤差累積部６１２ｃに出力すべく接続されている。
【０２０５】
テンプレート累積部６１２ｇは近似係数保持バッファ６１２ｄ及び近似誤差累積部６１２ｃの出力を受けるべく接続され、かつ累積結果をテンプレート合成部６１２ｈに出力すべく接続されている。テンプレート合成部６１２ｈは合成結果を最小自乗係数算出部６１２ｉおよびテンプレート決定部６１２ｅに出力すべく接続されている。
【０２０６】
最小自乗係数算出部６１２ｉはテンプレート合成部６１２ｈのほかに、色成分マスク生成部６１２ａ及び近傍画像バッファ６１２ｆの出力を受けるべく接続され、かつ処理結果を近似係数保持バッファ６１２ｋ及び近似誤差累積部６１２ｊに出力すべく接続されている。近似係数保持バッファ６１２ｋ及び近似誤差累積部６１２ｊは共にテンプレート決定部６１２ｅに接続され、テンプレート決定部６１２ｅは近似パラメータ出力端子６１２ｓを経て帯域・色情報復元部６１４に接続されている。
【０２０７】
以下に上記した構成の画像処理システムの作用を説明する。
【０２０８】
電子カメラ６００により撮像された被写体像は、これまでの第１乃至第４実施形態と同様に、レンズ６０２、水晶フィルタ６０３により帯域制限を受け、劣化した光学像として単板ＲＧＢランダム配列ＣＣＤ６０４上に形成される。単板ＲＧＢランダム配列ＣＣＤ６０４は各画素につき劣化画像のＲＧＢのいずれか一つの色情報を取得し、得られた画像をＡ／Ｄ変換部６０５を経てデジタル画像信号として画像バッファ６０７に転送する。撮像が終了すると、画像バッファ６０７内の画像情報は画像処理装置６０１内の入力画像バッファ６０８に転送され、さらに出力画像バッファ６１６の画素値及び信頼値はすべて０に初期化される。
【０２０９】
その後、入力画像バッファ６０８内の画像情報の各画素位置（ｘ，ｙ）ごとに以下の処理が行われる。
【０２１０】
近傍読み出し部６０９により処理画素位置（ｘ，ｙ）を中心とする所定の矩形領域（例えば５×５画素）が近傍画像ｈ(p,q) として読み出され、合成最小自乗近似部６１２に転送される。以下の説明において、変数の組（ｐ，ｑ）は、この近傍画像の中心画素（ｘ，ｙ）に対する相対座標であり、例えば近傍の大きさが５×５であれば［−２，−１，０，１，２］×［−２，−１，０，１，２］の範囲を動く、また、場合によって色Ｒ，Ｇ，Ｂをそれぞれ整数値ｃ＝０，１，２に対応させて説明する。
【０２１１】
近傍読み出し部６０９で読みだされた近傍画像ｈ(p,q) は、合成最小自乗近似部６１２内の近傍画像バッファ６１２ｆに転送される。近傍画像バッファ６１２ｆにｈ(p,q) が転送されると、その一方で単板ＲＧＢランダム配列ＣＣＤ６０４上で、当該近傍画像内の座標(p,q) に対応する位置に色成分ｃに対応する色フィルタが存在すれば１、存在しなければ０をとる変数mask(p,q,c) が色成分マスク生成部６１２ａにより算出され、その内部に保持される。図３は近傍画像におけるある特定の色フィルタ配置に対応する色成分マスクを例示したものである。
【０２１２】
最小自乗係数算出部６１２ｂは、劣化後テンプレート保持ＲＯＭ６１１ｂに予め記憶されているテンプレートΦｉ(p,q) （ｉ＝０〜Ｎ−１）を順に読み出し、近傍画像バッファ６１２ｆより転送された近傍画像ｈ(p,q) の各色成分ｃ（ｃ＝０，１，２）について、変数mask(p,q,c) を用いて、順に近似誤差
【数６】

【０２１３】
を最小化する近似係数α(c) 、β(c) を計算する。
【０２１４】
近似誤差ｅ(c) は近似誤差累積部６１２ｃに出力され、近似誤差累積部６１２ｃでは近似誤差ｅ(c) を全色成分について累積加算し、累積近似誤差ｅとしてテンプレート累積部６１２ｇに転送する。また、近似係数α(c) 、β(c) （ｃ＝０，１，２）は近似係数保持バッファ６１２ｄに順に出力され、そこに保持される。テンプレート累積部６１２ｇには、Ｎ行のテーブルＴが保持される。
【０２１５】
図１２は合成最小自乗近似部の作用を説明するための図であり、（ａ）は任意の近傍画像を示し、（ｂ）は０からＮ−１までのＮ個のテンプレートを示し、（ｃ）はテーブルＴであり、（ｄ）はソート後のテーブルＴであり、（ｅ）は集合Ｖであり、（ｆ）は変数Ｕであり、（ｇ）は合成テンプレートである。
【０２１６】
図１２（ｃ）に示すようにテーブルＴには、それまでの各テンプレートΦｉ′(p,q)(ｉ′＜ｉ）のインデックスｉ′、Φｉ′(p,q) に対応する累積近似誤差、および近似係数が（ｉ′＋１）番目の行に登録されている。図１２（ｃ）では図１２（ａ）に示す近傍画像ｈ(p,q) を図１２（ｂ）のテンプレートΦｉ(p,q) で近似した場合が例示してある。
【０２１７】
テンプレート累積部６１２ｇは、近似誤差累積部６１２ｃから累積近似誤差ｅが転送されると、近似係数保持バッファ６１２ｄに保持された近似係数α(c) 、β(c) （ｃ＝０，１，２）を読み出し、ｉ，ｅとともにテーブルＴの（ｉ＋１）番目の行に書き込む。
【０２１８】
最小自乗係数算出部６１２ｂがすべてのΦｉ（ｉ＝０〜Ｎ−１）について処理を終えると、テンプレート合成部６１２ｈはテンプレート累積部６１２ｇに保持されたテーブルＴを用いて以下の手順で新たにテンプレート集合を構成する。
【０２１９】
まず、Ｎ個の内部変数mark(i) （ｉ＝０〜Ｎ−１）とカウンタ total＿markをすべて０に初期化する。次に、テーブルＴの行を図１２（ｄ）に示すように累積近似誤差の小さな順に並べ替え、最も累積近似誤差の小さな行に対応するテンプレートインデックスをｋ′とする。図１２（ｄ）においては、ｋ′は３となっている。同時に、ｋ′に対応する近似係数をαｍ(c) 、βｍ(c) （ｃ＝０，１，２）とする。さらに、mark(k′) を１、total ＿markを１に設定する。
【０２２０】
以後、並べ替えた行の順番に各行を読みこみ、累積近似誤差が所定の閾値より小さい場合には、その行の近似係数値を変数α(c) 、β(c) に読み出してそれぞれαｍ(c) 、βｍ(c) との差の絶対値ｅα，ｅβをとる。αｍ(c) とα(c) が同符号かつｅαおよびｅβが所定の閾値より小さな場合についてのみ、その行のテンプレートインデックスｋを用いてmark(k) を１に設定し、 total＿markを１増やす。 total＿markが所定の上限値Ｍ′に達するか、全ての行に対しこの処理が完了すれば繰り返しは終了する。
【０２２１】
この処理が終了すると、図１２（ｅ）に示すようにmark(k) が１となっているテンプレートインデックスｋの集合Ｖが構成されたことになる。整数集合Ｖの各要素は、最も累積近似誤差が小さかったテンプレートｋ′と近似誤差の生じ方が似ておりかつ近似誤差が十分小さいテンプレートのインデックスである。
【０２２２】
続いて、Ｖから要素数が所定の個数の部分集合をすべて作り、図１２（ｆ）に示すように各部分集合を値とする変数Ｕ(j) （ｊ＝０〜Ｍ−１）に登録する。図１２（ｆ）においては各部分集合の要素数は２である。ここで、Ｍは条件を満たす部分集合の総数である。さらに、変数Ｕ(j) に対して合成テンプレートΦ′ｊ(p,q) を以下の式に従って構成する。
【０２２３】
【数７】

【０２２４】
この式において、ｋは整数集合Ｕ(j) に含まれるすべての整数値を取る。関数ｍａｘはすべてのｋに関する引数の最大値を計算する。正実数λ(j,k) と正実数μ(j,k) はλ(j,k) Φｋ(p,q) ＋μ(j,k) を最大値１、最小値０に正規化するための正規化変数である。
【０２２５】
図１２（ｇ）に合成テンプレートΦ′ｊ(p,q) を例示している。変数
【数８】

【０２２６】
はΦ′ｊ(p,q) とともにテンプレート合成部６１２ｈに保持される。ここで、ｊ＝０〜Ｍ−１である。
【０２２７】
テンプレート合成部６１２ｈの処理が完了すると、最小自乗係数算出部６１２ｉはテンプレート合成部６１２ｈから順にテンプレートΦ′ｊ(p,q) （ｊ＝０〜Ｍ−１）を読み出し、最小自乗係数算出部６１２ｂと同様に近傍画像バッファ６１２ｆから転送された近傍画像ｈ(p,q) の各色成分ｃ（ｃ＝０，１，２）について、順に近似誤差
【数９】

【０２２８】
を最小化する近似係数α′(c) 、β′(c) を計算し、近似誤差累積部６１２ｊに近似誤差ｅ′（ｃ）を出力する。近似誤差累積部６１２ｊでは近似誤差ｅ′(c) を全色成分について累積加算し、累積近似誤差ｅ′＝ｅ′(0) ＋ｅ′(1) ＋ｅ′(2) をテンプレート決定部６１２ｅに転送する。近似係数α′(c) 、β′(c) （ｃ＝０，１，２）は近似係数保持バッファ６１２ｋに順に出力され、保持される。
【０２２９】
テンプレート決定部６１２ｅには、それ以前のテンプレートΦ′j ′(p,q) （ｊ′＜ｊ）に対する誤差の最小値 min＿e ′と最小値を与えたインデックス min＿j が保持されている。テンプレート決定部６１２ｅは、近似誤差累積部６１２ｄから転送された誤差ｅ′を内部に保持する誤差の最小値 min＿e ′と比較し、新たな誤差がより小さければ min＿e ′をｅ′に、 min＿j をｊに更新する。
【０２３０】
また、テンプレート決定部６１２ｅは誤差の最小値を与えるテンプレートに関する近似係数をもこれらを min＿α′(c) および min＿β′(c) （ｃ＝０，１，２）として保持しており、 min＿e ′の更新と同時にこれらの値も近似係数保持バッファ６１２ｋから読み込まれた近似係数α′(c) 、β′(c) にそれぞれ更新される。
【０２３１】
最小自乗係数算出部６１２ｉで全てのテンプレートΦ′ｊ(p,q) が処理された後、テンプレート決定部６１２ｅは誤差の最小値 min＿e ′を与えたインデックス min＿j を用いてテンプレート合成部６１２ｈの内部変数
【数１０】

【０２３２】
同時に、近似誤差誤差の最小値 min＿e ′に反比例する近似評価値Ａ′をＡ′＝１／（１＋ min＿e ′）により計算する。そして、
【数１１】

【０２３３】
およびＡ′を帯域・色情報復元部６１４に転送する。
【０２３４】
帯域・色情報復元部６１４は、転送された整数の集合Ｕ(min＿j)に含まれるすべての整数ｋに対し、対応する劣化前のテンプレートΨｋ(p,q) を劣化前テンプレート保持ＲＯＭ６１１ａから読み出し、転送された係数
【数１２】

【０２３５】
を用いて以下の式から近傍画像の劣化前の画像を近似する近傍補正近似画像ｆ(p,q,c) を得る。
【０２３６】
【数１３】

【０２３７】
そして、ｆ(p,q,c) を近似評価値Ａ′とともに三板画像加算部６１５に転送する。
【０２３８】
処理の途中では、出力画像バッファ６１６の各画素位置にこれまでの処理で得られた複数の補正画素値の平均値と信頼値が保持されるようになっている。三板画像加算部６１５は、出力画像バッファ６１６から当該近傍画像に対応する領域の補正画素値の平均値Ｓｆ(p,q,c) と信頼値Ｑ(p,q,c) を読み出し、これらと帯域・色情報復元部６１４から転送された近傍補正近似画像ｆ(p,q,c) 及び近似評価値Ａ′から、新たな補正画素値の平均値Ｓｆ_new (p,q,c) および信頼値Ｑ_new (p,q) を式

により計算し、Ｓｆ_new (p,q,c) 及びＱ_new (p,q) を出力画像バッファ６１６の当該近傍画像に対応する領域に書き込む。
【０２３９】
全ての画素位置に関してこれらの処理が終了すると、入力画像バッファ６０８の画像の各画素について、当該画素を含むすべての近傍画像に対する近傍補正近似画像が計算され、その結果得られる各画素に関する複数の補正画素値が三板画像加算部６１５における処理により重み付き平均されて出力画像バッファ６１６に蓄積されるため、最終的に電子カメラ６００の光学系による劣化と色の欠落が補正された３色カラー画像が得られる。
【０２４０】
補正の精度は低いが、メモリ容量を削減し、処理を高速化しない場合には、画像加算部６１５を削除し、出力画像バッファ６１６内に信頼値を保持しない構成が考えられる。この場合、帯域・色情報復元部６１４は直接出力画像バッファ６１６に出力する。作用としては、帯域・色情報復元部６１４において、帯域・色情報を補正したｆ(p,q,c) のうち、中心画素の補正値ｆ(0,0,c) （ｃ＝０，１，２）のみを出力画像バッファ６１６に出力するように変更する。
【０２４１】
また、電子カメラ６００に水晶フィルタ６０３がなく帯域制限がなされていない場合には、テンプレート保持ＲＯＭ６１１が劣化前テンプレート保持ＲＯＭ６１１ａのみからなり、合成最小自乗近似部６１２が劣化前テンプレート保持ＲＯＭ６１１ａに接続される構成にする。
【０２４２】
この場合、各部分の作用は、合成最小自乗近似部６１２内部では、テンプレートとしてΦｉのかわりにΨｉが用いられる点を除いて同一である。その結果、帯域・色情報復元部６１４では色成分の欠落は補正されるが帯域の劣化についてはなにもされない近傍補正近似画像が得られ、出力画像バッファ６１６には入力画像バッファ６０８内の画像の色成分の欠落が補正された３色カラー画像が得られる。
【０２４３】
この変形例において、さらに前述の処理を高速化する変形例と同一の変形を施せば同じく処理の高速化が達せられることは容易に推察されるであろう。
【０２４４】
なお、上記した具体的実施形態には、以下の構成を有する発明が含まれている。
【０２４５】
（１） 画素の位置に応じて少なくとも１つ以上の分光特性に関する情報が欠落する画像信号から元の画像信号を回復処理する画像処理装置において、
前記情報が欠落する画像信号から、指定された画素を包含する所定サイズの近傍画像を抽出する近傍画像抽出手段と、
この近傍画像抽出手段によって抽出された近傍画像と同一サイズの複数の幾何学的パターンに基づくテンプレート群を保持するテンプレート保持手段と、
前記近傍画像抽出手段によって抽出された近傍画像に含まれる複数の分光特性の情報と、上記テンプレート保持手段によって保持された複数のテンプレート群との間でマッチングを行なって近傍画像に最も類似する最適テンプレートを選択し、この最適テンプレートに基づき近傍画像を近似する近傍近似画像を生成する近傍近似画像生成手段と、
この近傍近似画像生成手段によって生成された近傍近似画像に基づき、前記指定された画素における欠落する情報を復元する復元手段と、
を具備することを特徴とする画像処理装置。
【０２４６】
（２） 前記復元手段は、指定された画素を包含する複数の前記近傍画像から得られる複数の前記近傍近似画像の、前記少なくとも１つ以上の分光特性に関する情報を重みつき平均することで復元処理を行なうことを特徴とする構成（１）に記載の画像処理装置。
【０２４７】
（３） 前記テンプレート保持手段は、複数の幾何学的パターンに基づく第１のテンプレート群と、この第１のテンプレート群を撮像装置の光学系の帯域制限特性に応じて劣化させた第２のテンプレート群とを有し、
前記近傍近似画像生成手段は、前記第２のテンプレート群から前記近傍画像に類似する最適テンプレートを選択し、これに対応する前記第１のテンプレート群に基づき帯域制限前の近傍近似画像を生成することを特徴とする構成（１）または（２）に記載の画像処理装置。
【０２４８】
（４） 前記復元手段は、前記近傍画像と前記近傍近似画像との差分情報を算出し、この差分情報から所定の評価関数に基づき構造成分のみを抽出し、この構造成分のコントラスト情報を用いて前記近傍近似画像の輝度成分を変調することで前記指定された画素における欠落する情報を復元することを特徴とする構成（２）または（３）記載の画像処理装置。
【０２４９】
（５） 前記復元手段は、前記近傍画像と前記近傍近似画像との差分情報を算出し、この差分情報から所定の評価関数に基づき構造成分のみを抽出し、
前記近傍近似画像生成手段は、前記構造成分に基づき第３のテンプレート群を生成し、この第３のテンプレート群により前記近傍画像を近似する近傍再近似画像を生成し、
前記復元手段は、前記近傍近似画像および前記近傍再近似画像に基づき前記指定された画素における欠落する情報を復元することを特徴とする構成（２）に記載の画像処理装置。
【０２５０】
（６） 前記テンプレート保持手段に保持された前記テンプレート群は異なる解像度ごとに分類されており、
前記復元手段は、前記近傍画像と前記近傍近似画像との差分情報を算出し、この差分情報から所定の評価関数に基づき構造成分のみを抽出し、
前記近傍近似画像生成手段は、前記構造成分と、前記テンプレート群における前記構造成分の解像度に対応したテンプレート群との間でマッチングを行って最適テンプレートを選択し、この最適テンプレートから前記差分情報を近似する差分近傍近似画像を生成し、
前記復元手段は、前記差分近傍近似画像と前記近傍近似画像に基づき前記指定された画素における欠落する情報を復元し、前記差分近傍近似画像と前記構造成分との差分情報から新たな構造成分を抽出し、この構造成分が所定の閾値以下になるまで復元処理を反復することを特徴とする構成（２）に記載の画像処理装置。
【０２５１】
（７） 前記テンプレート保持手段に保持された前記第２のテンプレート群は異なる解像度ごとに分類されており、
前記復元手段は、前記近傍画像と前記近傍近似画像との差分情報を算出し、この差分情報から所定の評価関数に基づき構造成分のみを抽出し、
前記近傍近似画像生成手段は、前記構造成分と、前記第２のテンプレート群における前記構造成分の解像度に対応したテンプレート群との間でマッチングを行って最適テンプレートを選択し、この最適テンプレートから前記差分情報を近似する差分近傍近似画像を生成し、
前記復元手段は、前記差分近傍近似画像と前記近傍近似画像に基づき前記指定された画素における欠落する情報を復元し、前記差分近傍近似画像と前記構造成分との差分情報から新たな構造成分を抽出し、この構造成分が所定の閾値以下になるまで復元処理を反復することを特徴とする構成（３）に記載の画像処理装置。
【０２５２】
（８） 前記復元手段は、前記近傍近似画像から空間的相関情報を算出し、この空間的相関情報に基づき前記指定された画素に対する自己回帰モデルを適用して前記指定された画素における欠落する情報を復元することを特徴とする構成（１）、（２）、（３）のいずれか１つに記載の画像処理装置。
【０２５３】
（９） 前記近傍近似画像生成手段は、前記近傍画像と前記複数のテンプレート群との間でマッチングを行い、マッチング誤差の少ない複数のテンプレートを合成して単一の最適テンプレートを生成することを特徴とする構成（１）または（２）に記載の画像処理装置。
【０２５４】
（１０） 前記近傍近似画像生成手段は、前記近傍画像と前記第２のテンプレート群との間でマッチングを行い、マッチング誤差の少ない複数のテンプレートを合成して単一の最適テンプレートを生成することを特徴とする構成（３）に記載の画像処理装置。
【０２５５】
（１１） 前記近傍近似画像生成手段は、前記テンプレート保持手段に保持された前記テンプレート群を定数αで乗算し、定数βを加算して変形させることで前記近傍画像に最も類似する最適テンプレートを選択することを特徴とする構成（１）、（２）、（４）〜（６）、（８）、（９）に記載の画像処理装置。
【０２５６】
（１２） 前記近傍近似画像生成手段は、前記テンプレート保持手段に保持された前記第２のテンプレート群を定数αで乗算し、定数βを加算して変形させることで前記近傍画像に最も類似する最適テンプレートを選択することを特徴とする構成（３）、（７）、（１０）に記載の画像処理装置。
【０２５７】
構成（１）〜（１２）と上記した各実施形態との対応関係は以下の通りである。
【０２５８】
Ａ．構成（１）には少なくとも第１〜第６実施形態が対応し、
第１実施形態では、近傍画像抽出手段は入力画像バッファ１０８及び近傍読み出し部１０９に対応する。テンプレート保持手段はテンプレート保持ＲＯＭ１１１に対応する。近傍近似画像生成手段は最小自乗近似部１１２及び帯域・色情報復元部１１４に対応する。復元手段は三板画像加算部１１５および出力画像バッファ１１６に対応する。
【０２５９】
第２実施形態では、近傍画像抽出手段は入力画像バッファ２０８及び近傍読み出し部２０９に対応する。テンプレート保持手段はテンプレート保持ＲＯＭ２１１に対応する。近傍近似画像生成手段は最小自乗近似部２１２、帯域・色情報復元部２１４及び色情報復元部２１３に対応する。復元手段は補間係数計算部２１５、線形演算部２１６及び出力画像バッファ２１７に対応する。
【０２６０】
第３実施形態では、近傍画像抽出手段は入力画像バッファ３０８及び近傍読み出し部３０９に対応する。テンプレート保持手段はテンプレート保持ＲＯＭ３１１に対応する。近傍近似画像生成手段はテンプレート選択部３１０、最小自乗近似部３１２、帯域・色情報復元部３１４及び劣化後テンプレート加工部３１３に対応する。復元手段は三板画像加算部３１５ａ、出力画像バッファ３１７、単板画像加算部３１５ｂ、単板画像バッファ３１６、差分計算部３１８、差分画像バッファ３１９及び規則性評価部３２０に対応する。
【０２６１】
第４実施形態では、近傍画像抽出手段は入力画像バッファ４０８及び近傍読み出し部４０９に対応する。テンプレート保持手段はテンプレート保持ＲＯＭ４１１に対応する。近傍近似画像生成手段は最小自乗近似部４１２及び帯域・色情報復元部４１４に対応する。復元手段は画像加算部４１５、三板画像バッファ４１７ａ、単板画像バッファ４１７ｂ、残差演算部４１８、規則性判定部４１９、残差加算部４２０及び出力画像バッファ４２１に対応する。
【０２６２】
第５実施形態では、近傍画像抽出手段は入力画像バッファ５０８及び近傍読み出し部５０９に対応する。テンプレート保持手段はテンプレート保持ＲＯＭ５１１に対応する。近傍近似画像生成手段はテンプレート選択部５１０、テンプレート生成部５２１、最小自乗近似部５１２、色情報復元部５１４及び単板画像生成部５１３に対応する。復元手段は三板画像加算部５１５ａ、単板画像加算部５１５ｂ、単板画像バッファ５１６、差分計算部５１８、差分画像バッファ５１９、規則性評価部５２０及び及び出力画像バッファ５１７に対応する。
【０２６３】
第６実施形態では、近傍画像抽出手段は入力画像バッファ６０８及び近傍読み出し部６０９に対応する。テンプレート保持手段はテンプレート保持ＲＯＭ６１１に対応する。近傍近似画像生成手段は合成最小自乗近似部６１２及び帯域・色情報復元部６１４に対応する。復元手段は三板画像加算部６１５及び出力画像バッファ６１６に対応する。
【０２６４】
単板状態の画像の各近傍に対し、近傍近似画像生成手段が複数の分光成分全てを考慮して最も良く近似するテンプレートを一つ決定し、そのテンプレートに基づいた補間を復元手段が行うため、輝度成分、色成分を区別して扱う場合と比較してモアレに影響されることがなく、近傍に含まれる微細な幾何学的特徴を検出することができる。
【０２６５】
これによって、以下に述べる発明が解決しようとする課題のＰ１が解決される。また、特定の色成分を高サンプリング密度で得ておく必要もないため、Ｐ２も解決される。
【０２６６】
Ｂ．構成（２）には少なくとも第１〜第６実施形態が対応し、
第１実施形態では、復元手段は三板画像加算部１１５および出力画像バッファ１１６に対応する。
【０２６７】
第２実施形態では、復元手段は補間係数計算部２１５、線形演算部２１６及び出力画像バッファ２１７に対応する。
【０２６８】
第３実施形態では、復元手段は三板画像加算部３１５ａ、出力画像バッファ３１７、単板画像加算部３１５ｂ、単板画像バッファ３１６、差分計算部３１８、差分画像バッファ３１９及び規則性評価部３２０に対応する。
【０２６９】
第４実施形態では、復元手段は画像加算部４１５、三板画像バッファ４１７ａ、単板画像バッファ４１７ｂ、残差演算部４１８、規則性判定部４１９、残差加算部４２０及び出力画像バッファ４２１に対応する。
【０２７０】
第５実施形態では、復元手段は三板画像加算部５１５ａ、単板画像加算部５１５ｂ、単板画像バッファ５１６、差分計算部５１８、差分画像バッファ５１９、規則性評価部５２０及び出力画像バッファ５１７に対応する。
【０２７１】
第６実施形態では、復元手段は三板画像加算部６１５及び出力画像バッファ６１６に対応する。
【０２７２】
入力画像の各画素について、近傍近似画像生成手段によりその画素を包含する複数の近傍の各々に対する近傍近似画像が生成され、復元手段がそれら複数の近傍近似画像における当該画素の近似値を重みつき平均して当該画素の最終的な近似値を計算する結果、各近傍における近似の誤りが補正される。
【０２７３】
これによって、以下に述べる発明が解決しようとする課題のＰ３が解決される。
【０２７４】
Ｃ．構成（３）には少なくとも第１、第２、第３、第４、第６実施形態が対応し、
第１実施形態では、テンプレート保持手段はテンプレート保持ＲＯＭ１１１に対応する。近傍近似画像生成手段は、最小自乗近似部１１２及び帯域・色情報復元部１１４に対応する。
【０２７５】
第２実施形態では、テンプレート保持手段はテンプレート保持ＲＯＭ２１１に対応する。近傍近似画像生成手段は最小自乗近似部２１２、帯域・色情報復元部２１４及び色情報復元部２１３に対応する。
【０２７６】
第３実施形態では、テンプレート保持手段はテンプレート保持ＲＯＭ３１１に対応する。近傍近似画像生成手段はテンプレート選択部３１０、最小自乗近似部３１２、帯域・色情報復元部３１４及び劣化後テンプレート加工部３１３に対応する。
【０２７７】
第４実施形態では、テンプレート保持手段はテンプレート保持ＲＯＭ４１１に対応する。近傍近似画像生成手段は最小自乗近似部４１２及び帯域・色情報復元部４１４に対応する。
【０２７８】
第６実施形態では、テンプレート保持手段はテンプレート保持ＲＯＭ６１１に対応する。近傍近似画像生成手段は合成最小自乗近似部６１２及び帯域・色情報復元部６１４に対応する。
【０２７９】
テンプレート保持手段が複数の幾何学的パターンに基づく第１のテンプレート群と、この第１のテンプレート群を撮像装置の光学系の帯域制限特性に応じて劣化させた第２のテンプレート群を持ち、入力画像の各画素の近傍に対して近傍近似画像生成手段が第２のテンプレート群から最も類似する最適テンプレートを選択し、これに対応する前記第１のテンプレート群のテンプレートに基づき帯域制限前の近傍近似画像を生成する結果、光学系の帯域劣化が補正された画像が得られる。
【０２８０】
これによって、以下に述べる発明が解決しようとする課題のＰ５が解決される。
【０２８１】
Ｄ．構成（４）には少なくとも第４実施形態が対応する。
【０２８２】
復元手段は画像加算部４１５、三板画像バッファ４１７ａ、単板画像バッファ４１７ｂ、残差演算部４１８、規則性判定部４１９、残差加算部４２０及び出力画像バッファ４２１に対応する。
【０２８３】
入力画像の各画素の近傍に対して近傍近似画像生成手段が近傍近似画像を生成し、復元手段が近傍とその近傍近似画像との差分情報を算出し、この差分情報から構造成分のみを抽出し、構造成分のコントラスト情報を用いて近傍近似画像の輝度成分を変調することで、近傍がテンプレートにより完全に近似できない場合でも近似誤差のうち規則的構造を持つ成分は出力画像の輝度成分に反映される。
【０２８４】
これによって、以下に述べる発明が解決しようとする課題のＰ７が解決される。
【０２８５】
Ｅ．構成（５）には少なくとも第５実施形態が対応する。
【０２８６】
近傍近似画像生成手段はテンプレート選択部５１０、テンプレート生成部５２１、最小自乗近似部５１２、色情報復元部５１４及び単板画像生成部５１３に対応する。復元手段は三板画像加算部５１５ａ、単板画像加算部５１５ｂ、単板画像バッファ５１６、差分計算部５１８、差分画像バッファ５１９、規則性評価部５２０及び出力画像バッファ５１７に対応する。
【０２８７】
入力画像の各画素の近傍に対し、まず近傍近似画像生成手段が近傍近似画像を生成し、復元手段が近傍と近傍近似画像との誤差である差分画像を算出し、近傍近似画像生成手段が差分画像から所定の評価関数に基づき構造成分を算出して第３のテンプレート群を生成する。次に、近傍近似画像生成手段が近傍を第３のテンプレート群によって再び近似し、近傍再近似画像を生成する。最後に、復元手段が近傍近似画像と近傍再近似画像に基づいて補正を行う。その結果、近傍がテンプレート保持手段のテンプレートにより近似できない規則的構造を含んでいる場合でも、その構造を近似誤差を表わす差分画像から抽出して再近似を行う。
【０２８８】
これによって、以下に述べる発明が解決しようとする課題のＰ７が解決される。
【０２８９】
Ｆ．構成（６）、（７）には少なくとも第３実施形態が対応する。
【０２９０】
テンプレート保持手段はテンプレート保持ＲＯＭ３１１に対応する。近傍近似画像生成手段はテンプレート選択部３１０、最小自乗近似部３１２、帯域・色情報復元部３１４及び劣化後テンプレート加工部３１３に対応する。復元手段は三板画像加算部３１５ａ、出力画像バッファ３１７、単板画像加算部３１５ｂ、単板画像バッファ３１６、差分計算部３１８、差分画像バッファ３１９及び規則性評価部３２０に対応する。
【０２９１】
テンプレート保持手段が異なる解像度ごとに分類されたテンプレート群を有し、入力画像の各画素の近傍に対し、近傍近似画像生成手段が解像度の低いテンプレートから解像度の高いテンプレートへとテンプレートの解像度を上げながら近似誤差を減少させていくため、複雑な構造のテンプレートを用意することなく高速に近似処理が行える。
【０２９２】
これによって、以下に述べる発明が解決しようとする課題のＰ４が解決される。
【０２９３】
Ｇ．構成（８）には少なくとも第２実施形態が対応する。
【０２９４】
復元手段は補間係数計算部２１５、線形演算部２１６及び出力画像バッファ２１７に対応する。
【０２９５】
入力画像の各画素の近傍に対し、近傍近似画像生成手段が近傍近似画像を生成し、復元手段が近傍近似画像から空間的相関情報を算出し、この空間的相関情報に基づき当該画素に対する自己回帰モデルを適用して欠落する情報を復元することにより、近傍近似画像生成手段により選択されたテンプレートの如何にかかわらず共通の手順で補間処理が行われる。
【０２９６】
これによって、以下に述べる発明が解決しようとする課題のＰ６が解決される。
【０２９７】
Ｈ．構成（９）、（１０）には少なくとも第６実施形態が対応する。
【０２９８】
近傍近似画像生成手段は合成最小自乗近似部６１２及び帯域・色情報復元部６１４に対応する。
【０２９９】
入力画像の各画素の近傍に対し、近傍近似画像生成手段が近似誤差の少ない複数のテンプレートを合成して単一の最適テンプレートを生成する。
【０３００】
これによって、以下に述べる発明が解決しようとする課題のＰ８が解決される。
【０３０１】
Ｉ．構成（１１）、（１２）には少なくとも第１〜第６実施形態が対応する。
【０３０２】
第１実施形態では、近傍近似画像生成手段は最小自乗近似部１１２及び帯域・色情報復元部１１４に対応する。
【０３０３】
第２実施形態では、近傍近似画像生成手段は最小自乗近似部２１２、帯域・色情報復元部２１４及び色情報復元部２１３に対応する。
【０３０４】
第３実施形態では、近傍近似画像生成手段はテンプレート選択部３１０、最小自乗近似部３１２、帯域・色情報復元部３１４及び劣化後テンプレート加工部３１３に対応する。
【０３０５】
第４実施形態では、近傍近似画像生成手段は最小自乗近似部４１２及び帯域・色情報復元部４１４に対応する。
【０３０６】
第５実施形態では、近傍近似画像生成手段はテンプレート選択部５１０、テンプレート生成部５２１、最小自乗近似部５１２、色情報復元部５１４及び単板画像生成部５１３に対応する。
【０３０７】
第６実施形態では、近傍近似画像生成手段は合成最小自乗近似部６１２及び帯域・色情報復元部６１４に対応する。
【０３０８】
入力画像の各画素の近傍に対し、近傍近似画像生成手段において、まず近傍の各色成分ごとにテンプレートに定数αを乗算し、定数βを加算した変形テンプレートにより当該色成分を近似するための最適な係数α，βを求める。次に、各色成分ごとに最適な近似を与える係数α，βを用いた場合の変形テンプレートによる近似誤差を単色近似誤差として計算し、全ての色成分の単色近似誤差に基づいてテンプレートによる近傍の近似度を評価することにより、一つのテンプレートで複数の色成分の近似を行うことができる。
【０３０９】
これによって、以下に述べる発明が解決しようとする課題のＰ１、Ｐ２が解決される。
【０３１０】
上記した構成（１）〜（１２）によって解決される発明が解決しようとする課題は以下の通りである。
【０３１１】
Ｐ１
従来技術では相対的に高サンプリング密度で与えられる輝度成分においても欠落する情報が存在し、三板方式で得られる輝度成分と比較して劣化した情報しか得られない。また、この輝度成分に基づき算出される他の色成分も、三板方式で得られる色成分に比較して劣化した情報しか得られない。
【０３１２】
Ｐ２
従来技術では任意の色フィルタ配置の入力画像を処理する方法に関しては記載していない。輝度成分の補間においては、あらかじめ用意された幾何学的特徴とこれに対応する補間方法を用意する必要があり、色フィルタ配置が変わると設計を変更する必要がある。
【０３１３】
Ｐ３
従来技術ではノイズの影響による誤動作に対応する方法に関しては記載していない。輝度成分および他の色成分を処理する場合、一回の処理で補間を行うため、パルス性のノイズの影響を受けやすい。特に輝度成分の処理においては３×３の局所領域で幾何学的特徴を分類するため、ノイズによる誤分類が発生しやすい。
【０３１４】
Ｐ４
従来技術ではノイズの影響を軽減するために幾何学的特徴を判定する領域のサイズを大きくした場合に高速な処理で判定を行なうことができない。
【０３１５】
Ｐ５
従来技術では撮像装置の光学系により帯域制限される情報の回復に関しては記載されていない。輝度成分および他の色の色成分は帯域制限された範囲内で処理されており、帯域の回復は扱うことはできない。
【０３１６】
Ｐ６
従来技術では複数の補間方法を幾何学的特徴に応じて用意しており、単一の方法に関しては記載されていない。輝度成分を幾何学的特徴に基づき補間する際には、幾何学的特徴の数だけ補間方法を用意しなければならない。高精度な処理のためには、幾何学的特徴の数を増やす必要があるが、これに応じて補間方法を考えねばならず、処理が煩雑になる。
【０３１７】
Ｐ７
従来技術ではあらかじめ用意された幾何学的特徴とこれに対応する補間方法に当てはまらない場合に対する対策に関しては記載されていない。輝度成分を幾何学的特徴に応じて分類する際には、強制的にどれかの幾何学的特徴に分類するため、当てはまらない領域に関しては誤差が発生して高精度な処理を行なうことができない。
【０３１８】
Ｐ８
従来技術ではあらかじめ用意された幾何学的特徴とこれに対応する補間方法に当てはまらない場合には高精度な処理を行なうことができない。
【０３１９】
【発明の効果】
請求項１に記載の発明によれば、従来に比べて高精細な画像を得ることができ、かつ、任意の色フィルタ配置の入力画像を処理することができるようになる。
【０３２０】
また、請求項２に記載の発明によれば、請求項１に記載の発明の効果に加えて、画像信号のノイズによる劣化を低減できるようになる。
【０３２１】
また、請求項３に記載の発明によれば、請求項１または請求項２に記載の発明の効果に加えて、帯域制限によって失われた情報を回復することができるようになる。
【図面の簡単な説明】
【図１】本発明の第１実施形態が適用される画像処理システムの構成を示す図である。
【図２】図１に示す最小自乗近似部の構成とその周辺回路を示す図である。
【図３】色成分マスク生成部により生成されるマスクの説明図である。
【図４】本発明の第２実施形態が適用される画像処理システムの構成を示す図である。
【図５】図４における最小自乗近似部１１２の処理の流れを表すフローチャートである。
【図６】本発明の第３実施形態が適用される画像処理システムの構成を示す図である。
【図７】本発明の第４実施形態が適用される画像処理システムの構成を示す図である。
【図８】図７に示す最小自乗近似部の構成とその周辺回路を示す図である。
【図９】本発明の第５実施形態が適用される画像処理システムの構成を示す図である。
【図１０】本発明の第６実施形態が適用される画像処理システムの構成を示す図である。
【図１１】図１０に示す合成最小自乗近似部の構成とその周辺回路を示す図である。
【図１２】合成最小自乗近似部の作用を説明するための図である。
【符号の説明】
１００…電子カメラ、１０１…画像処理装置、１０２…レンズ、１０３…水晶フィルタ、１０４…単板ＲＧＢランダム配列ＣＣＤ、１０５…Ａ／Ｄ変換部、１０６…フィルタ配置情報保持ＲＯＭ、１０７…画像バッファ、１０８…入力画像バッファ、１０９…近傍読み出し部、１１１…テンプレート保持ＲＯＭ、１１２…最小自乗近似部、１１４…帯域・色情報復元部、１１５…三板画像加算部、１１６…出力画像バッファ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus that recovers an original image signal from an image signal that lacks information on at least one or more spectral characteristics according to each pixel position.
[0002]
[Prior art]
In an imaging apparatus such as an electronic still camera using an electronic imaging system, a single plate type using an imaging element in which color filters are arranged in a mosaic pattern on a light receiving surface, one G (green) filter only, and one R ( A two-plate imaging system that captures images with two CCDs with red and B (blue) mosaic filters is less expensive than a three-plate imaging system that uses a spectroscopic system and three imaging elements. It has the advantage of being able to. However, in these methods, since at least one color information is missing at each pixel position of the image, in the image processing apparatus, the missing color information of one pixel is used as the missing color information of another pixel. Interpolation processing is required.
[0003]
However, in the single-plate method and the two-plate method, moiré peculiar to the color filter arrangement occurs, and the manner in which this moiré occurs differs for each color filter. For this reason, artifacts such as unevenness of the edge portion, angle change, and coloring occur in simple linear interpolation processing. Conventionally, various interpolation methods have been proposed to reduce these artifacts, but as an effective interpolation method,
1. In order to reduce the uneven artifacts of the edge, a method of estimating the geometric structure of the local image and performing interpolation according to the structure;
2. In order to reduce the coloring of the edges, an image sensor with a color filter arrangement that can generate a broadband luminance signal with a simple interpolation method is used, and the color signal is assumed to change in the same way as the luminance signal. A method of performing interpolation,
Are raised.
[0004]
Hereinafter, each method will be described by taking the method disclosed in Japanese Patent Laid-Open No. 61-501423 for 1 and the method disclosed in Japanese Patent Laid-Open No. 4-502096 for 2 as an example.
[0005]
Japanese Laid-Open Patent Publication No. 61-501423 discloses an interpolation method for G signals corresponding to luminance components in an image sensor with R, G, B color filter arrays. In this method, in the vicinity of the 3 × 3 pixel of the pixel in which the G signal is missing, it is determined to which of the geometrical features of the edge, streak, and corner prepared in advance the best fit. Based on the results, an interpolation method specialized for each geometric feature is selected.
[0006]
Japanese Patent Laid-Open No. 4-502096 discloses an interpolation method for color components having a low sampling density in an image signal in which luminance components are obtained at a high sampling density and other color components are obtained at a relatively low sampling density. is doing. In this method, a color component having a low sampling density is calculated using a luminance component having a high sampling density. For this reason, it is assumed that the sample value of the signal S1 having the high sampling density always exists at the sampling position of the signal S2 having the low sampling density. Then, the difference between the sample values of the signal S1 at the sampling position of the signal S2 is compared with a predetermined threshold value, and if it is below the threshold value, simple linear interpolation using only the sample value of the signal S2 is performed.
[0007]
When the threshold value is exceeded, it is determined that there is an edge between the sampling positions of the signal S2, and the coefficients a and b are set to S1 at the sampling position of the signal S2, assuming that the signal S1 and the signal S2 have a linear relationship of S2 = aS1 + b. And the value of S2.
[0008]
[Problems to be solved by the invention]
In any of the above prior arts, there is information that is missing even in a luminance component given at a relatively high sampling density, so that only degraded information can be obtained as compared with the luminance component obtained by the three-plate method. Also, other color components calculated based on the luminance component can only obtain information that is deteriorated as compared with the color components obtained by the three-plate method.
[0009]
In addition, none of the above-described conventional techniques describes a method for processing an input image having an arbitrary color filter arrangement. In the interpolation of the luminance component, it is necessary to prepare a geometric feature prepared in advance and an interpolation method corresponding to the geometric feature, and it is necessary to change the design when the color filter arrangement is changed.
[0010]
In addition, none of the above-described conventional techniques describes a method for dealing with a malfunction due to the influence of noise. When the luminance component and other color components are processed, the interpolation is performed in a single process, and therefore, the luminance component and other color components are easily affected by pulse noise. In particular, in the luminance component processing, geometric features are classified in a 3 × 3 local region, and therefore misclassification due to noise is likely to occur.
[0011]
In addition, none of the above-described conventional techniques describes the recovery of information whose bandwidth is limited by the optical system of the imaging apparatus. That is, the luminance component and the color components of other colors are processed within the band-limited range, and information lost due to the band limitation cannot be recovered.
[0012]
The present invention has been made by paying attention to each of the above-mentioned problems, and the first object thereof is to obtain a high-definition image that approximates a three-plate system, and an arbitrary color filter arrangement. An object of the present invention is to provide an image processing apparatus capable of processing an input image.
[0013]
In addition to the first object, a second object of the present invention is to provide an image processing apparatus capable of reducing deterioration of an image signal due to noise.
[0014]
In addition to the first or second object, a third object of the present invention is to provide an image processing apparatus capable of recovering information lost due to bandwidth limitation.
[0015]
[Means for Solving the Problems]
In order to achieve the first object, the first invention is an image processing apparatus that recovers an original image signal from an image signal that lacks information on at least one or more spectral characteristics according to the position of a pixel. A neighboring image extracting means for extracting a neighboring image of a predetermined size including the designated pixel from the image signal lacking the information, and a plurality of geometries having the same size as the neighboring image extracted by the neighboring image extracting means. A template holding means for holding a template group based on a geometric pattern, information on a plurality of spectral characteristics included in the neighboring image extracted by the neighboring image extracting means, and a plurality of template groups held by the template holding means, Matching is performed to select an optimal template that is most similar to neighboring images, and based on this optimal template Neighborhood approximate image generation means for generating a neighborhood approximation image that approximates a side image, and restoration means for restoring missing information in the designated pixel based on the neighborhood approximation image generated by the neighborhood approximation image generation means It has.
[0016]
According to a second aspect, in the first aspect, the restoration means includes the at least one spectral characteristic of the plurality of neighboring approximate images obtained from the plurality of neighboring images including a designated pixel. The restoration process is performed by averaging the information regarding the weighted average.
[0017]
According to a third invention, in the first or second invention, the template holding means includes a first template group based on a plurality of geometric patterns, and the first template group as an optical system of the imaging apparatus. A second template group degraded in accordance with the band-limiting characteristic of the image, and the neighborhood approximate image generation means selects an optimum template similar to the neighborhood image from the second template group, and corresponds to this Based on the first template group, a neighborhood approximate image before band limitation is generated.
[0018]
In other words, according to the first aspect of the present invention, when the original image signal is recovered from the image signal in which at least one or more spectral characteristic information is missing according to the pixel position, first, the image signal in which the information is missing is designated. A neighborhood image of a predetermined size that includes the processed pixels is extracted. A template group based on a plurality of geometric patterns having the same size as the extracted neighboring image is held in the template holding means. Next, matching is performed between information on a plurality of spectral characteristics included in the extracted neighborhood image and a plurality of template groups held by the template holding means, and an optimal template most similar to the neighborhood image is selected. Then, a neighborhood approximate image that approximates the neighborhood image is generated based on the optimum template. Then, based on the generated neighborhood approximate image, the missing information in the designated pixel is restored.
[0019]
In a second aspect based on the first aspect, when the restoration process is performed, the at least one or more of the plurality of neighboring approximate images obtained from the plurality of neighboring images including the designated pixel. Information on spectral characteristics is weighted and averaged.
[0020]
According to a third aspect, in the first or second aspect, when generating a neighborhood approximate image, the first template group based on a plurality of geometric patterns and the first template group are imaged. And a second template group degraded according to the band limiting characteristics of the optical system, and an optimal template similar to the neighboring image is selected from the second template group, and the first template corresponding thereto is selected. A neighborhood approximate image before band limitation is generated based on the template group.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. First, a first embodiment of the present invention will be described.
[0022]
FIG. 1 is a diagram showing a configuration of an image processing system to which the present embodiment is applied, FIG. 2 is a diagram showing a configuration of a least square approximation unit 112 of FIG. 1 and its peripheral circuits, and FIG. 3 is a color component mask. It is explanatory drawing regarding.
[0023]
As shown in FIG. 1, the image processing system according to the present embodiment includes an electronic camera 100 and an image processing apparatus 101 connected to the electronic camera 100. The electronic camera 100 includes a lens 102 as an optical system, a crystal filter 103 for optically band-limiting, and a single-plate RGB random array CCD 104 as an image sensor. It is connected to the image buffer 107 via the D conversion unit 105. The electronic camera 100 is further provided with a filter arrangement information holding ROM 106 that stores the RGB filter array of the single-plate RGB random array CCD 104.
[0024]
The image processing apparatus 101 includes an input image buffer 108 connected to the output of the image buffer 107, a neighborhood reading unit 109, a template holding ROM 111 including a pre-degradation template holding ROM 111a and a post-degradation template holding ROM 111b, and a least square approximation. A unit 112, a band / color information restoration unit 114, a three-plate image addition unit 115, and an output image buffer 116.
[0025]
FIG. 2 is a diagram showing the configuration of the least square approximation unit 112 and its peripheral circuits. As shown in FIG. 2, the least square approximation unit 112 includes a color component mask generation unit 112a, a least square coefficient calculation unit 112b, an approximation error accumulation unit 112c, an approximation coefficient holding buffer 112d, and a template determination unit 112e. To do. The least square approximation unit 112 further includes a neighborhood image input terminal 112r connected to the neighborhood reading unit 109, a filter information input terminal 112p connected to the filter arrangement information holding ROM 106, and a template input terminal connected to the post-degradation template holding ROM 111b. 112q and an approximate parameter output terminal 112s connected to the band / color information restoration unit 114.
[0026]
As shown in FIG. 1, the electronic camera 100 is connected to the image processing apparatus 101 by two lines. Among these, the output of the image buffer 107 passes through the input image buffer 108 and the neighborhood reading unit 109, and the least square approximation unit. 112.
[0027]
On the other hand, the filter arrangement information holding ROM 106 is connected to the color component mask generation unit 112a in the least square approximation unit 112 via the filter information input terminal 112p as shown in FIG. In addition to the color component mask generation unit 112a, the least square coefficient calculation unit 112b should receive input from the neighborhood reading unit 109 via the neighborhood image input terminal 112r and the post-degradation template holding ROM 111b via the template input terminal 112q. It is connected to output the connected and held information to the approximation coefficient holding buffer 112d and the approximation error accumulating unit 112c.
[0028]
Both the approximate coefficient holding buffer 112d and the approximate error accumulating unit 112c are connected to the template determining unit 112e, and the template determining unit 112e is connected to output the determined content to the band / color information restoring unit 114 through the approximate parameter output terminal 112s. Yes.
[0029]
As shown in FIG. 1, the band / color information restoration unit 114 is connected to receive an input from the pre-degradation template holding ROM 111a in addition to the least square approximation unit 112, and the restoration result is output to the output image buffer 116 via the three-plate image addition unit 115. Is connected to output. Both the pre-degradation template holding ROM 111 a and the post-degradation template holding ROM 111 b are part of the template holding ROM 111.
[0030]
The template holding ROM 111a of the template holding ROM 111 holds a template Ψi (i = 0 to N−1) that is a grayscale image of a predetermined size having predetermined N types of geometric features, and holds the template after deterioration. The ROM 111b holds a template Φi (i = 0 to N−1), which is an image in which each template in the pre-degradation template holding ROM 111a is subjected to band limitation by the optical system of the electronic camera 100.
[0031]
The output image buffer 116 holds a three-color image in which color loss and band deterioration have been corrected in each pixel of the input image. In this image processing apparatus 101, a plurality of correction values are calculated during processing for each pixel. The In order to perform weighting calculation based on the reliability of the correction value, the output image buffer 116 further holds a reliability value representing the reliability of the pixel value at each pixel position.
[0032]
The operation of the image processing system having the above configuration will be described below.
[0033]
First, a subject is imaged using the electronic camera 100, and an optical image subjected to band limitation through the lens 102 and the crystal filter 103 is formed on the single-plate RGB random array CCD 104. The output of the single-plate RGB random array two-dimensional CCD 104 is transferred as it is to the image buffer 107 via the A / D converter 105, and one color determined by the color filter arrangement in the single-plate RGB random array CCD 104 for each pixel position on the CCD. Images with only components are saved.
[0034]
When the imaging is finished, the image in the image buffer 107 is transferred to the input image buffer 108. At the same time, the color filter arrangement information is transferred from the filter arrangement information holding ROM 106 that holds the color filter arrangement of the image sensor of the electronic camera 100 to the color component mask generation unit 112a. Further, the pixel value and the confidence value of the color image in the output image buffer 116 are all initialized to 0.
[0035]
Next, an image signal corresponding to a predetermined rectangular area (for example, 5 × 5 pixels) centered on each pixel position (x, y) on the CCD is output from the input image buffer 108 by the vicinity reading unit 109 from the input image buffer 108. It is read as (p, q) and transferred to the least square coefficient calculator 112b of the least square approximation unit 112. In the following description, the set of variables (p, q) is a relative coordinate with respect to the central pixel (x, y) of this neighboring image. For example, if the size of the neighborhood is 5 × 5, [−2, −1]. , 0, 1, 2] × [−2, −1, 0, 1, 2]. In some cases, the colors R, G, and B will be described in correspondence with integer values c = 0, 1, and 2, respectively.
[0036]
When the neighborhood image is transferred from the neighborhood readout unit 109 to the least square coefficient calculation unit 112b, the color component mask generation unit 112a sets 1 for each color component of the neighborhood image at a pixel position where the color component exists, and at other positions. A mask mask (p, q, c) (c = 0, 1, 2) that takes 0 is calculated. FIG. 3 illustrates a color component mask corresponding to a specific color filter arrangement in the neighborhood image.
[0037]
On the other hand, the least square coefficient calculation unit 112b reads the template Φ0 (p, q) from the template Φi (p, q) (i = 0, 1, 2,..., N−1) of the post-degradation template holding ROM 111b and transfers it. Generated by the color component mask from the neighboring image hEachApproximation coefficients α0 (c) and β0 (c) that minimize the approximation errors e0 (1), e0 (2), and e0 (3) with the color component c (c = 0, 1, 2), respectively., A general expression for approximation error
e (c) = ‖ mask (p, q, c) ・ ( α (c) Φ i (p, q) + Β (c) − h (p, q) ‖
Using,Calculate for each color component. The least square coefficient calculator 112b sends the calculated approximate coefficients α0 (c) and β0 (c) to the approximate coefficient holding buffer 112d together with the neighboring image h, and minimizes approximate errors e0 (1) and e0 (2). , E0 (3) and the corresponding template index i = 0 are sent to the approximate error accumulating unit 112c.
[0038]
The approximate error accumulating unit 112c calculates a cumulative addition error e0 = e0 (1) + e0 (2) + e0 (3) from the transferred approximate errors e0 (1), e0 (2), e0 (3), and determines a template. Forward to the unit 112e.
[0039]
The template determination unit 112e determines a template that minimizes the cumulative addition error e, compares the value of the cumulative addition error e obtained corresponding to each template, and selects a template that takes the minimum value. The template determination unit 112e is provided with a storage unit that stores a template index, a cumulative addition error e corresponding to the template, and approximate coefficients α (c) and β (c) corresponding to the template. . Therefore, when the index i = 0 of the template Φ0 (p, q) and the cumulative addition error e0 corresponding to the template are transferred to the template determination unit 112e, these are held in the storage unit. At this time, the approximate coefficients α0 (c) and β0 (c) are transferred from the approximate coefficient holding buffer 112d and held in this storage unit.
[0040]
Next, the least square coefficient calculation unit 112b reads the second template Φ1 (p, q) and repeats the above steps, so that the index i = 1 of the template Φ1 (p, q) corresponds to this template. A cumulative addition error e1 is obtained. The template determination unit 112e compares the cumulative addition error e0 and the cumulative addition error e1, and leaves the value with the smaller error together with the corresponding index in the storage unit. Also, a small cumulative addition error is generated for approximation coefficients.DoThe approximate coefficient of the template is held in the storage unit. Thereafter, the third template Φ2 (p, q), the fourth template Φ3 (p, q),... Are read in order, and the accumulated addition errors e2, e3,. Compared with the value of the cumulative addition error, the smaller one is left in the storage unit together with the index and the approximation coefficient, thereby finally determining a template that minimizes the cumulative addition error.
[0041]
After all the templates have been processed by the least square coefficient calculation unit 112b, the template determination unit 112e includes the index min_i that gives the minimum value min_e of the error, the approximate coefficients min_α (c) and min_β (c), and the minimum value min_e of the error. The approximate evaluation value A that is inversely proportional to is transferred to the band / color information restoration unit 114. Here, for example, the approximate evaluation value A is calculated by A = 1 / (1 + min_e).
[0042]
The band / color information restoration unit 114 reads the pre-degradation template Ψ min_i (p, q) corresponding to the transferred index min_i from the pre-degradation template holding ROM 111a, and the transferred coefficients min_α (c) and min_β (c )
f (p, q, c) = min_α (c) Ψ min_i (p, q) + min_β (c) (c = 0,1,2)
Is calculated to obtain a neighborhood corrected approximate image f (p, q, c) in which the lack of color components in the neighborhood image h (p, q) is corrected. By using the template before deterioration, the band deterioration due to the optical system of the electronic camera 100 is further corrected at f (p, q, c). The band / color information restoration unit 114 transfers the calculated f (p, q, c) to the three-plate image addition unit 115 together with the approximate evaluation value A.
[0043]
In the middle of processing, the average value and the reliability value of a plurality of corrected pixel values obtained by the processing so far are held at each pixel position of the output image buffer 116. The three-plate image adding unit 115 reads out the corrected pixel value and the reliability value of each pixel in the region corresponding to the neighboring image from the output image buffer 116 to the variables Sf (p, q, c) and Q (p, q), respectively. Then, a new corrected pixel value Sf is calculated from these, the neighborhood correction approximate image f (p, q, c) transferred from the band / color information restoration unit 114, and the approximate evaluation value A._new(p, q, c) and confidence value Q_new(p, q) as an expression

Sf_new(p, q, c) and Q_new(p, q) is written in the area corresponding to the neighboring image in the output image buffer 116.
[0044]
When these processes are completed for all pixel positions, for each pixel of the image in the input image buffer 108, a neighborhood correction approximate image is calculated for all neighborhood images including that pixel. As a result, a plurality of corrected pixel values are obtained for each pixel. These corrected pixel values are weighted and averaged by the processing in the three-plate image adding unit 115 and stored in the output image buffer 116. As a result, a three-color image in which the lack of color components and the deterioration due to the optical system of the electronic camera 100 are corrected is finally obtained.
[0045]
In addition, various deformation | transformation and a change are possible for each component of this embodiment. For example, the single-plate RGB random array CCD 104 may be a CCD having various color filter arrangements, or a CCD having a two-plate configuration in which one is G and the other is R and B.
[0046]
The following configuration is also possible in order to correspond to an electronic camera having various optical systems. On the electronic camera 100 side, the filter arrangement information holding ROM 106 holds the band limit information of the optical system such as the lens 102 and the crystal filter 103 in addition to the color filter arrangement information, and on the image processing apparatus 101 side, before the deterioration. For each pre-degradation template in the template holding ROM 111a, a plurality of post-degradation templates that assume degradation due to band limitations of various optical systems are prepared. The least square approximation unit 112 selects one after-degradation template based on the optical system information in the filter arrangement information holding ROM 106.
[0047]
Similarly, it is also possible to transfer the information about the subject set by the camera user to the image processing apparatus 101 so that the least square approximation unit 112 selects a template set accordingly. The three-plate image adding unit 115 can also store a plurality of approximate values obtained for each pixel, and change such as determining an approximate value by a majority decision or the like.
[0048]
Further, when the electronic camera 100 does not have the crystal filter 103 and the band is not limited, the template holding ROM 111 includes only the pre-degradation template holding ROM 111a, and the least square approximation unit 112 is connected to the pre-degradation template holding ROM 111a. To. In this case, the operation of each part is the same except that the least square approximation unit 112 uses Ψi instead of Φi as a template. As a result, the band / color information restoration unit 114 corrects the missing color component but does not deal with the deterioration of the band, and obtains a neighborhood corrected approximate image. The output image buffer 116 stores the image in the input image buffer 108. A three-color image in which the lack of the color components is corrected is obtained.
[0049]
The second embodiment of the present invention will be described below. FIG. 4 is a diagram showing the configuration of an image processing system to which the second embodiment of the present invention is applied, and FIG. 5 is a flowchart showing the processing flow of the least square approximation unit 112 in FIG.
[0050]
In FIG. 4, the image processing system includes an electronic camera 200 and an image processing apparatus 201 connected to the electronic camera 200. Similar to the first embodiment, the electronic camera 200 includes a lens 202 as an optical system, a crystal filter 203 for performing band limitation, and a single-plate Bayer array CCD 204 as an imaging device. The output of the single-plate Bayer array CCD 204 is A It is connected to the image buffer 207 via the / D conversion unit 205. Information on the color filter array of the single-plate Bayer array CCD 204 in the electronic camera 200 is obtained by calculation in the image processing apparatus 201 using regularity of the Bayer array as will be described later.
[0051]
The image processing apparatus 201 includes an input image buffer 208, a neighborhood reading unit 209, a flatness evaluation unit 210, a template holding ROM 211 including a pre-degradation template holding ROM 211a and a post-degradation template holding ROM 211b, and a least square approximation unit 212. A color information restoration unit 213, a band / color information restoration unit 214, an interpolation coefficient calculation unit 215, a linear operation unit 216, and an output image buffer 217.
[0052]
The output of the image buffer 207 in the electronic camera 200 is connected to the flatness evaluation unit 210 via the input image buffer 208 in the image processing apparatus 201 and the neighborhood reading unit 209.
[0053]
The least square approximation unit 212 is connected to receive the output of the flatness evaluation unit 210 and the post-degradation template holding ROM 211b in the template holding ROM 211, and outputs the processing result to the color information restoring unit 213 and the band / color information restoring unit 214. It is connected as much as possible. In addition to the least square approximation unit 212, the band / color information restoration unit 214 is connected to receive the output of the pre-degradation template holding ROM 211a in the template holding ROM 211. In addition to the least square approximation unit 212, the color information restoration unit 213 is connected to receive the output of the post-degradation template holding ROM 211b in the template holding ROM 211.
[0054]
The template holding ROM 211a of the template holding ROM 211 holds templates Ψi (i = 0 to N−1), which are grayscale images of a predetermined size having N types of geometric features, as in the first embodiment. The post-degradation template holding ROM 211b holds templates Φi (i = 0 to N−1), which are images in which the templates of the pre-degradation template holding ROM 211a are band-limited by the optical system of the electronic camera 200.
[0055]
Both the color information restoration unit 213 and the band / color information restoration unit 214 are connected to the interpolation coefficient calculation unit 215. The linear operation unit 216 is connected to receive the outputs of the interpolation coefficient calculation unit 215 and the flatness evaluation unit 210, and is connected to output the restoration result to the output image buffer 217.
[0056]
The operation of the image processing system having the above configuration will be described below.
[0057]
Also in the second embodiment, as in the first embodiment, an image is captured by the electronic camera 200, and an image that has undergone band degradation in the optical system and has only one color component at each pixel position is held in the image buffer 207. The When the imaging is finished, the image in the image buffer 207 is transferred to the input image buffer 208. Unlike the first embodiment, the color filter array of the image sensor in the electronic camera 200 is later transferred to the image processing apparatus 201 using regularity of the Bayer array instead of being transferred from the electronic camera 200 to the image processing apparatus 201. Calculated.
[0058]
Next, the following processing is performed for each pixel position (x, y) of the image in the input image buffer 208.
[0059]
The neighborhood reading unit 209 reads a predetermined rectangular area (for example, 5 × 5 pixels) at the pixel position (x, y) as a neighborhood image h (p, q).
[0060]
In the following description, the set of variables (p, q) is a relative coordinate with respect to the central pixel (x, y) of this neighboring image. For example, if the size of the neighborhood is 5 × 5, [−2, −1]. , 0, 1, 2] × [−2, −1, 0, 1, 2], and in some cases, the colors R, G, B correspond to the integer values c = 0, 1, 2, respectively. I will explain.
[0061]
The read neighborhood image is sent to the flatness evaluation unit 210. The flatness evaluation unit 210 calculates the variance of the pixel value for the position where the pixel value exists for each color component. If the sum of the variances for all the color components is equal to or greater than a predetermined threshold, the flatness evaluation unit 210 is close to the least square approximation unit 212. Transfer images. Further, the flatness evaluation unit 210 transfers the neighborhood image to the linear operation unit 216 regardless of this evaluation.
[0062]
When the neighborhood image is transferred, the least square coefficient calculation unit 212 performs processing according to the flow shown in FIG. 5, and similarly to the first embodiment, the index min_i and the approximation coefficient min_α of the deteriorated template that best approximates the neighborhood image. (c), min_β (c) (c = 0, 1, 2) is calculated.
[0063]
Each step (S) of the flowchart shown in FIG. 5 performs the following processing.
[0064]
S1: Obtain the coordinates (x, y) of the central pixel of the neighboring image, and based on this value and the regularity of the Bayer array, a color filter of the color component c exists for the position (p, q) in the neighboring image Then, an array variable mask (p, q, c) representing a color component mask that takes 1 if it does not exist and 0 if it does not exist is calculated. In FIG. 5, the function rem (a, b) returns the remainder obtained by dividing a by b, and the function abs (a) gives the absolute value of a. Further, the variable N is initialized to the total number of templates, and the values of the array variables min_α (c) and min_β (c) for the variables min_i and c = 0, 1, 2 are initialized to zero. The array variable h (p, q) is initialized with the pixel value of the neighborhood image. A variable i representing the index of the template element is initialized to 0. The variable min_e representing the minimum fitting error of the template is initialized to the maximum number that can be handled by the image processing apparatus 201.
[0065]
S2: The i-th template Φi (p, q) is read from the post-degradation template holding ROM 211b and assigned to the array variable Φ (p, q). A variable c representing a color and a variable e representing an error are initialized to zero.
[0066]
S3: An error function err (c, α, which is a function of a color variable c and real numbers α, β defined from variables h (p, q), Φ (p, q), mask (p, q, c) Find α and β that minimize β). The error function err (c, α, β) is a measure of the error between the image αΦ + β obtained by processing the template image Φ with the gain α and the bias β and the neighboring image at the position where the color component c exists.
[Expression 1]

[0067]
Represents the sum of squares of a (p, q) in the neighborhood image. Obtaining α and β that minimize the error function err (c, α, β) is equivalent to adjusting the gain α and the bias β of the template Φ so as to best approximate each color component of the neighboring image. The minimized error function value is added to the variable e, and the obtained gain α and bias β are substituted into elements α (c) and β (c) corresponding to the color c of the array variable. Thereafter, the variable c representing the color is incremented.
[0068]
S4: It is determined whether or not the processing S3 for all the color components RGB is completed based on whether or not c representing the color exceeds 2, that is, whether it exceeds B. If it exceeds, the process branches to S5.
[0069]
S5: When reaching S5, the variable e represents an error when the i-th degradation template element is applied to the neighboring image. The variable min_e represents the minimum value of the fitting error for all degradation template elements less than i. If e is smaller than min_e, the process branches to S6 to update information on the template with the smallest fitting error. If larger, the process branches to S7.
[0070]
S6: Update min_e to e, min_i to i, and min_α (c) and min_β (c) to α (c) and β (c) for c = 0, 1, and 2.
[0071]
S7: The index i is incremented.
[0072]
S8: If the index i does not match N, the process branches to S2. If it matches, the process branches to S9.
[0073]
The outputs min_i, min_α (c), min_β (c) of the least square approximation unit 212 are transferred to the color information restoration unit 213 and the band / color information restoration unit 214. The color information restoration unit 213 obtains templates Φ min_i (p, q) and Ψ min_i (p, q) corresponding to the index min_i from the template holding ROM 211b after deterioration and the band / color information restoration unit 214 from the template holding ROM 211a before deterioration. Read and use approximate coefficients min_α (c) and min_β (c)
f (p, q, c) = min_α (c) Ψ min_i (p, q) + min_β (c)
g (p, q, c) = min_α (c) Φmin_i (p, q) + min_β (c) (c = 0,1,2)
The neighborhood correction approximate image f (p, q, c) which corrected the missing color component and the deterioration of the band for the neighborhood image h (p, q), and the neighborhood correction which corrected only the missing color component An approximate image g (p, q, c) is obtained. These are transferred to the interpolation coefficient calculator 215.
[0074]
In the interpolation coefficient calculation unit 215, information suitable for estimating a color pixel value before deterioration using pixel values in the neighboring image from f (p, q, c) and g (p, q, c). Is calculated in the form of an interpolation coefficient. For this purpose, the image g ′ (p, c, c) in the same single plate state as the image in the input image buffer 208 obtained by sampling the neighborhood corrected approximate image g (p, q, c) according to the color filter arrangement of the electronic camera 200 in the neighborhood. The relationship between q) and f (p, q, c) is examined, and a coefficient necessary for recovering f from g ′ by a linear operation is calculated. Here, the interpolation coefficient calculation unit 215 calculates a coefficient according to the following principle as an example.
[0075]
First, each pixel of color c of f is a linear sum of each pixel of three-color image g based on the idea of the autoregressive model.
[Expression 2]

[0076]
Approximate The autoregressive model is a model in which the pixel value of a certain pixel is represented by the sum of a weighted linear sum of pixel values around the pixel and a noise term. Here, the noise term is ignored. In this expression, the integer variable set (u, v) moves in a range D that is narrower than the range that the variable set (p, q) can take.
[0077]
H (u, v) is an integer value representing the color filter type at position (u, v) in the neighborhood as R = 0, G = 1, and B = 2. This equation uses each pixel value of g sampled through a color filter with the same arrangement around each position (p, q) and around position (0, 0) (center pixel). ) Represents the estimation of the value of f.
[0078]
In order to minimize the square error of approximation by this formula, w^c _uvThe expression to be satisfied is for an integer variable set (k, l) that moves in the same range as the moving range D of (u, v).
[Equation 3]

[0079]
It becomes. In this equation, the second term on the left side and the right side represents spatial correlation information. W on right and left sides^c _uvAll other quantities can be calculated from f and g, and the entire equation can be solved by matrix operation. At the center of the neighborhood, (p, q) = (0,0) and g ′ (u, v) = g (u, v, H (u, v)), the coefficient w^c _uvCan be used to determine the RGB value of the central pixel before the deterioration of the neighboring image from only the pixel value in the neighboring pixel.
[0080]
Based on this principle, the interpolation coefficient calculation unit 215 calculates interpolation coefficients for all colors c = 0, 1, and 2 from f (p, q, c) and g (p, q, c) according to the equation (2). w^c _uvIs calculated and transferred to the linear operation unit 216.
[0081]
In the case where no image transfer is performed from the flatness evaluation unit 210 to the least square approximation unit 212 and therefore no coefficient transfer from the interpolation coefficient calculation unit 215 is performed, the linear calculation unit 216 performs S1 in the flow of FIG. The position corresponding to each color component of the neighboring image previously transferred from the flatness evaluation unit 210 is obtained in the same manner as the method for calculating the variable mask (p, q, c), and the average value at those positions is obtained as the neighboring image. The estimated value of the color component at the center pixel is written in the corresponding pixel position in the output image buffer 216.
[0082]
On the other hand, when the coefficients are transferred from the interpolation coefficient calculation unit 215, the pixels in the neighboring image are weighted and added according to the transferred coefficients, and written to the corresponding pixel positions in the output image buffer 217.
[0083]
When these processes are completed for all the pixel positions of the image in the input image buffer 208, the color component omission and the band deterioration are optimally corrected for all the pixel positions according to the geometrical characteristics of the neighboring pixels. As a result of the linear interpolation performed by the interpolation coefficient, the output image buffer 217 obtains a three-color image in which band degradation and missing color components due to the optical system of the electronic camera 200 are corrected.
[0084]
Even in this configuration, various modifications can be made as in the first embodiment. Needless to say, the image sensor is not limited to the single-plate Bayer array CCD 204. There are various calculation methods of the interpolation coefficient calculation unit 215. For example, the ratio of each image value to the image obtained from the color information restoration unit 213 and the image obtained from the band / color information restoration unit 214 or the ratio of the square sum of the pixel values in the entire neighboring image is used as a simple interpolation coefficient. It may be a thing.
[0085]
In the second embodiment, as in the first embodiment, corrected images for a plurality of neighborhoods including each pixel position are obtained. In order to effectively utilize this, the operations of the band / color information restoration unit 214 and the color information restoration unit 213 can be changed as follows.
[0086]
Each of the band / color information restoration unit 214 and the color information restoration unit 213 stores therein an image buffer having the same size as the neighboring image (for example, 5 × 5 pixels). In these buffers, the image from the electronic camera 200 is stored in the input image buffer 208. All pixel values are initialized to 0 at the time when is transferred. During the processing for the pixel position (x, y) of the image in the input image buffer 208, the image buffer in the band / color information restoration unit 214 stores the previous pixel position, for example, (x-1, y). ), The image f_prev (p, q, c) output from the band / color information restoration unit 214 to the interpolation coefficient calculation unit 215 is held.
[0087]
When min_i, min_α (c) and min_β (c) are transferred from the least square approximation unit 212 in the process for the pixel position (x, y), the band / color information restoration unit 214 receives f_prev (p , q, c) and the template Ψ min_i (p, q) corresponding to the index min_i from the pre-degradation template holding ROM 211a, and using the approximate coefficients min_α (c) and min_β (c)

Thus, a three-color image f (p, q, c) obtained by correcting the missing of the color component and the deterioration of the band with respect to the neighboring image is obtained and output to the interpolation coefficient calculation unit 215. At the same time, f (p, q, c) is held in the internal buffer as f_prev (p, q, c).
[0088]
Similarly, during the process for the pixel position (x, y) of the image in the input image buffer 208, the image buffer in the color information restoration unit 213 has the pixel position (x-1, y) immediately before it. In this process, the image g_prev (p, q, c) output from the color information restoration unit 214 to the interpolation coefficient calculation unit 215 is held. When min_i, min_α (c) and min_β (c) are transferred from the least square approximation unit 212 in the process for the pixel position (x, y), the color information restoration unit 214 receives g_prev (p, q, c) is read and indexed from the pre-degradation template holding ROM 211a
Read template Φ min_i (p, q) corresponding to min_i and use approximate coefficients min_α (c) and min_β (c)

As a result, a three-color image g (p, q, c) obtained by correcting the lack of color components for the neighboring image is obtained and output to the interpolation coefficient calculation unit 215. At the same time, g (p, q, c) is held in the internal buffer as g_prev (p, q, c).
[0089]
As a result, the band / color information restoration unit 214 and the color information restoration unit 213 generate the processing result of each time using the previous processing result, thereby increasing the reliability of the processing result and improving the interpolation accuracy.
[0090]
This embodiment can easily cope with a case where the electronic camera 200 does not have the crystal filter 203 and the band is not limited. In this case, since the template holding ROM 211 includes only the pre-degradation template holding ROM 211a, the least square approximation unit 212 receives the output of the pre-degradation template holding ROM 211a and outputs the processing result only to the band / color information restoration unit 214. To do. At the same time, the color information restoration unit 213 is removed, and the interpolation coefficient calculation unit 215 receives a signal from only the band / color information restoration unit 214. In this case, the operation of each part is the same except that the least square approximation unit 212 uses Ψi instead of Φi as a template. The operation of the band / color information restoration unit 214 is the same, but as a result, a neighborhood corrected approximate image f (p, q, c) is obtained in which missing of color components is corrected but nothing is done about the deterioration of the band.
[0091]
The interpolation coefficient calculation unit 215 sets g (p, q, c) as the same image as f (p, q, c), and proceeds with the calculation. As a result, the interpolation coefficient calculation unit 215 obtains an interpolation coefficient suitable for correcting the missing color component of the center pixel h (0,0) of the neighboring image h (p, q) in the single-plate state. Since the linear arithmetic unit 216 performs interpolation using the output image buffer 217, a three-color image in which the lack of color components of the image in the input image buffer 208 is corrected is obtained in the output image buffer 217.
[0092]
In this modified example, if the band / color information restoring unit 214 further performs the same modification as the modified example in which the corrected images for a plurality of neighborhoods including each pixel position described above are effectively used, the band is not limited. Also, the accuracy of interpolation can be improved by generating the processing result of each time using the previous processing result in the band / color information restoration unit 214.
[0093]
The third embodiment of the present invention will be described below. FIG. 6 is a diagram showing the configuration of an image processing system to which the third embodiment of the present invention is applied. The electronic camera 300 has the same configuration as that of the second embodiment. Information on the color filter array of the single-plate Bayer array CCD 304 in the electronic camera 300 is obtained by calculation in the image processing apparatus 301 using the regularity of the Bayer array, as in the second embodiment.
[0094]
The image processing apparatus 301 includes an input image buffer 308, a neighborhood reading unit 309, a template selection unit 310, a template holding ROM 311 including a pre-degradation template holding ROM 311a and a post-degradation template holding ROM 311b, a least square approximation unit 312, Post-degradation template processing unit 313, band / color information restoration unit 314, three-plate image addition unit 315a, single-plate image addition unit 315b, single-plate image buffer 316, output image buffer 317, and difference calculation unit 318 The difference image buffer 319 and the regularity evaluation unit 320 are provided.
[0095]
The output of the image buffer 307 in the electronic camera 300 is connected to the input image buffer 308 in the image processing apparatus 301 as in the second embodiment, but the input image buffer 308 is added to the neighborhood reading unit 309 and the difference calculation unit. 318 is also connected.
[0096]
In addition to the input image buffer 308, the neighborhood reading unit 309 is connected to receive the output of the difference image buffer 319 and is connected to output the read information to the regularity evaluation unit 320. The regularity evaluation unit 320 is connected to the template selection unit 310 and the least square approximation unit 312. In addition to the regularity evaluation unit 320, the template selection unit 310 is connected to receive the outputs of the post-degradation template holding ROM 311b and the pre-degradation template holding ROM 311a in the template holding ROM 311. The color information restoration unit 314 and the post-degradation template processing unit 313 are connected to output.
[0097]
Similar to the first and second embodiments described above, the template holding ROM 311 includes templates Ψi (i = 0 to N) which are grayscale images of a predetermined size having N types of geometric features in the pre-degradation template holding ROM 311a. -1) is held, and the template Φi (i = 0 to N−1) in which each template in the pre-degradation template holding ROM 311a has undergone band degradation by the optical system of the electronic camera 300 is held in the post-degradation template holding ROM 311b. ing.
[0098]
The difference from the first and second embodiments is that the geometric characteristics of each template element are classified according to their structural complexity, and two numbers are used instead of a single integer value i to read each element. This requires a set (s, i). s represents the complexity of the structure, and is the number of connected components when each template is binarized with respect to the average value. For example, s = 2 for a template including only one edge pattern, and s = 3 for a template including only one line segment pattern. I is also used to access individual elements of a class of templates with the same complexity s.
[0099]
The internal configuration and operation of the least square approximation unit 312 are the same as those in the second embodiment. The least square approximation unit 312 is connected to output the processing result to the band / color information restoration unit 314 and the post-degradation template processing unit 313.
[0100]
The band / color information restoration unit 314 is connected to receive the outputs of the least square approximation unit 312 and the template selection unit 310, and is connected to output the restoration result to the output image buffer 317 via the three-plate image addition unit 315a. .
[0101]
The post-degradation template processing unit 313 is connected to receive the outputs of the least square approximation unit 312 and the template selection unit 310, and is connected to output the processing result to the single plate image buffer 316 via the single plate image addition unit 315b. Yes. The single panel image buffer 316 is connected to output information stored in the difference calculation unit 318, and the difference calculation unit 318 is connected to the difference image buffer 319 to output the processing result.
[0102]
The single-plate image buffer 316 and the output image buffer 317 hold a three-color image having the same size as the image in the input image buffer 308, and hold a counter for each pixel. This counter is provided to hold the number of times writing has been performed at each pixel position of each buffer.
[0103]
As in the first embodiment, since a plurality of pixel values are calculated at each pixel position of each buffer, here, the three-plate image adding unit 315a and the single-plate image adding unit 315b perform a process of averaging them. Yes. This process requires the number of times of writing.
[0104]
The operation of the image processing system having the above configuration will be described below. Also in the third embodiment, as in the first and second embodiments, an image that is picked up by the electronic camera 300 and that has undergone band degradation in the optical system and has only one color component at each pixel position is the image buffer 307. Retained. When the imaging is completed, the image in the image buffer 307 is transferred to the input image buffer 308, and the pixel values and counters of the color images in the output image buffer 317 and the single panel image buffer 316 are all initialized to zero.
[0105]
Next, correction is performed by repeating similar processing a plurality of times. The first process is performed on the image in the input image buffer 308. As a result of this processing, the input image is approximated using a template with low complexity, and at the same time, an image in which missing of color components and band deterioration are corrected is generated in the output image buffer 317. Similarly, a missing color component of the input image approximated using a low complexity template is corrected, and then an image sampled by the Bayer array is generated in the single-plate image buffer 316.
[0106]
Since the image in the single-panel image buffer 316 is an approximation of the input image with a template with low complexity, only the approximate geometric features of the input image are reflected, and an approximation error occurs. This error is held in the difference image buffer 319 as an error image.
[0107]
From the second time on, the error image in the difference image buffer 319 is processed. The error image is approximated and corrected for deterioration using a template with higher complexity than the previous iterations, and the processing result is added to the output image buffer 317. For the difference image, an approximate image obtained by adding all the stepwise approximations up to that point (including the first time) and an error image of the input image are output, and the process for the error image is performed again. Details of this processing will be described below.
[0108]
First, the following processing is performed for each pixel position (x, y) of the image in the input image buffer 308 at the first time.
[0109]
The neighborhood reading unit 309 reads a predetermined rectangular area (for example, 5 × 5 pixels) at the pixel position (x, y) as a neighborhood image h (p, q). In the following description, the set of variables (p, q) is a relative coordinate with respect to the central pixel (x, y) of this neighboring image. For example, if the size of the neighborhood is 5 × 5, [−2, −1]. , 0, 1, 2] × [−2, −1, 0, 1, 2]. In some cases, the colors R, G, and B will be described in correspondence with integer values c = 0, 1, and 2, respectively.
[0110]
The read neighborhood image is sent to the regularity evaluation unit 320. In this first processing, the neighborhood image is transferred to the least square approximation unit 312 without any processing. At the same time, the template selection unit 310 outputs the closest value among the possible complexity levels of the template held in the template holding ROM 311.
[0111]
The template selection unit 310 sets the value output from the regularity evaluation unit 320 to an internal variable s representing complexity, and mediates between the internal variable template holding ROM 311 and other components. When there is a request for reading the i-th template from a component connected to the template selection unit 310, the template selection unit 310 generates a read signal (s, i) using the internal variable s, and the request is minimal. In the case of the square approximation unit 312 and the post-degradation template processing unit 313, the post-degradation template holding ROM 311b is accessed, and in the case of the band / color information restoration unit 314, the pre-degradation template holding ROM 311a is accessed.
[0112]
When the neighborhood image h (p, q) is transferred, the least square approximation unit 312 performs processing according to the flow shown in FIG. 5, and after the degradation that approximates the neighborhood image best, as in the first and second embodiments. The template index min_i and approximate coefficients min_α (c) and min_β (c) are calculated and transferred to the post-degradation template processing unit 313 and the band / color information restoration unit 314.
[0113]
The processing in the band / color information restoration unit 314 is the same as that in the second embodiment except that the template holding ROM 311 is accessed via the template selection unit 310. The band / color information restoration unit 314 transfers the neighborhood corrected approximate image f (p, q, c) to the three-plate image addition unit 315a.
[0114]
The post-degradation template processing unit 313 first, like the color information restoration unit 213 in the second embodiment, a three-color image g (p, q, c) is calculated. Next, an image g ′ (p, q) obtained by finally sampling g (p, q, c) in accordance with the color filter arrangement of the electronic camera 300 in the vicinity is generated, and each image is added to the single-plate image adding unit 315b. Forward.
[0115]
In the middle of the processing, a plurality of approximate pixel values are obtained for each pixel position in the output image buffer 317 and the single-plate image buffer 316, respectively, but in both buffers, the average approximate pixel values are held and obtained so far. The number of approximate pixel values obtained is held in the counter. This number is equal to the number of times the pixel position has been written so far.
[0116]
In the three-plate image adding unit 315a, the average approximate pixel value Sf (p, q, c) and the counter Zf (p, q) are read from the area corresponding to the neighboring image in the image output buffer 317, and a new average approximate pixel value is read. Sf_new(p, q, c) is the formula

And the new counter Zf_newThe value of (p, q) is an expression
Zf_new(p, q) = Zf (p, q) +1
And Sf_new(p, q, c) and Zf_new(p, q) is written back to the area corresponding to the neighboring image in the output image buffer 317.
[0117]
On the other hand, the single plate image adding unit 315b reads the average approximate pixel value Sg ′ (p, q) and the counter Zg ′ (p, q) of each pixel in the region corresponding to the neighboring image from the single plate image buffer 316. The new average approximate pixel value Sg ′_new(p, q) is the formula,

And a new counter Zg ′_newThe value of (p, q) is
Zg '_new(p, q) = Zg '(p, q) +1
And Sg ′_new(p, q) and Zg ′_new(p, q) is written back to the area corresponding to the neighboring image in the single-plate image buffer 316.
[0118]
When the above processing is completed for each pixel position of the image in the input image buffer 308, the single-plate image buffer 316 approximates the image in the input image buffer 308 with a simple template without performing band degradation correction. A correction of only missing color components is performed, and a single plate image obtained by further sampling the obtained image with the color filter arrangement of the single plate Bayer array CCD 304 is obtained. Similarly, the output image buffer 317 is approximated by a simple template, and a color image subjected to correction of both missing color restoration and band deterioration is obtained.
[0119]
In the first process, finally, the difference calculation unit 318 calculates a difference between the single-panel image buffer 316 and the input image buffer 308 and generates a difference image representing an approximation error in the difference image buffer 319.
[0120]
In the second and subsequent processes, the neighborhood reading unit 309 switches the subsequent input to the difference image buffer 309, and the processes so far are repeated for the difference image. In this repetition, only the regularity evaluation unit 320 is different from the first operation.
[0121]
The regularity evaluation unit 320 first calculates the magnitude of variance for the transferred approximate image, and transfers the approximate image to the least square approximation unit 312 assuming that the approximation error is sufficiently small if it is equal to or less than a predetermined threshold. Absent. When it is equal to or greater than the predetermined threshold, a Laplacian filter is applied to the neighboring image normalized to 1 for the maximum value and 0 for the minimum value, and the sum of squares is calculated in the obtained image. If the sum of squares is greater than a predetermined threshold, the neighboring image is assumed to be noise and is not transferred.
[0122]
In other cases, the complexity s of the neighborhood image is calculated, the complexity s is transferred to the template selection unit 310, and the neighborhood image is transferred to the least square approximation unit 312. When the neighboring images are not transferred to the least square approximation unit 312 at all the pixel positions of the difference image, the iterative process for the difference image ends.
[0123]
During this time, the fine structure that could not be captured in the previous approximation is calculated into a difference image, the difference image is subjected to deterioration correction by approximation with a template having a complexity corresponding to the fine structure, and the result is accumulated in the output image buffer 317. . As a result, a three-color image in which the deterioration due to the optical system of the electronic camera 300 and the lack of color are corrected is obtained in the output image buffer 317.
[0124]
In the third embodiment, various changes can be considered in the constituent elements. For example, the definition of the complexity s includes various candidates such as the intensity of the differential image in addition to the ones raised here. Various noise judgment criteria of the regularity evaluation unit 320 can be considered. Further, since each process is independent, the size of the neighborhood image read from the neighborhood readout unit 309 can be reduced according to the number of repetitions. As a result, the types of highly complex templates can be reduced.
[0125]
In order to speed up the processing, it is possible to perform a multi-step process in one step. In this case, the three-plate image adding unit 315a, the single-plate image adding unit 315b, the single-plate image buffer 316, and the difference image buffer 319 are not necessary, and it is not necessary to hold a counter in the output image buffer 317. The band / color information restoration unit 314 directly outputs the restoration result to the output image buffer 317, the post-degradation template processing unit 313 directly outputs the processing result to the difference calculation unit 318, and the difference calculation unit 318 directly outputs the processing result to the regularity evaluation unit 320. To do. The operation is also changed as follows.
[0126]
For each pixel position (x, y) of the image in the input image buffer 308, the neighborhood reading unit 309 reads the neighborhood image h (p, q) and sends it to the regularity evaluation unit 320. The regularity evaluation unit 320 outputs the lowest value of the complexity of the template held in the template holding ROM 311 to the template selection unit 310, and transfers the neighborhood image h (p, q) to the least square approximation unit 312. .
[0127]
The least square approximation unit 312 calculates an index and an approximation coefficient of a template that best approximates the neighborhood image h (p, q) among the degraded templates selected by the template selection unit 310, and a degraded template processing unit 313. And the bandwidth / color information restoration unit 314.
[0128]
The band / color information restoration unit 314 obtains a neighborhood corrected approximate image f (p, q, c) obtained by correcting the lack of color components and the degradation of the band for the neighborhood image, and the value f (0,0) of the center pixel thereof. , c) is added to the corresponding pixel position in the output image buffer 317.
[0129]
On the other hand, the post-degradation template processing unit 313 calculates a three-color image g (p, q, c) in which only missing color components are corrected with respect to the neighborhood image h (p, q), and further calculates g (p, q , c) is sampled according to the color filter arrangement of the electronic camera 300 in the neighboring image to obtain an image g ′ (p, q). g ′ (p, q) is transferred to the difference calculation unit 318, and the difference from the neighborhood image h (p, q) is calculated as a neighborhood difference image and transferred to the regularity evaluation unit 320.
[0130]
The regularity evaluation unit 320 checks the complexity of the transferred neighborhood difference image in the same manner as the process in the second process of this embodiment. If the neighborhood difference image is not regarded as noise, the regularity evaluation unit 320 uses the calculated complexity as a template. The image is transferred to the selection unit 310, and the neighborhood difference image is transferred again to the least square approximation unit 312.
[0131]
As a result, the post-degradation templates are applied to the neighboring images at the respective pixel positions in order of increasing complexity, and the omission of the color component of the central pixel value of the neighboring image and the degradation of the band are corrected based on the fitting result, and the output image buffer 317. Is output.
[0132]
When the electronic camera 300 does not have the crystal filter 303 and the band is not limited, the template holding ROM 311 includes only the pre-degradation template holding ROM 311a, and the template selection unit 310 includes the pre-degradation template holding ROM 311a and the regularity evaluation unit 320. Change the configuration to accept input from only. In this case, the operation of each part differs from the conventional one in that the template selection unit 310 accesses the pre-degradation template holding ROM 311a in response to a template read request from any component, and the least square approximation unit 212 serves as a template. The use of ψi instead of Φi and the operation of the band / color information restoration unit 314 are the same, but as a result, the neighborhood correction approximate image f (p , q, c). As a result, as the second and subsequent iterations proceed, the higher-complexity geometric features of the input image are reflected, and an image corrected for missing color components is retained, and finally input A three-color image in which the lack of color components of the image in the image buffer 308 is corrected is obtained.
[0133]
The fourth embodiment of the present invention will be described below. FIG. 7 is a diagram showing the configuration of an image processing system to which the fourth embodiment of the present invention is applied, and FIG. 8 is a diagram showing the configuration of the least square approximation unit 412 shown in FIG. 7 and its peripheral circuits.
[0134]
7, the electronic camera 400 has the same configuration as that of the second embodiment except that the single-plate Bayer array CCD in FIG. 4 is replaced with a single-plate RGB random array CCD 404. Information on the color filter array of the single-plate RGB random array CCD 404 in the electronic camera 400 is held in advance in the color component mask generation unit 412a in the image processing apparatus 401 as shown in FIG.
[0135]
The image processing apparatus 401 includes an input image buffer 408, a neighborhood reading unit 409, a template holding ROM 411 including a pre-degradation template holding ROM 411a and a post-degradation template holding ROM 411b, a least square approximation unit 412, and band / color information restoration. Unit 414, image addition unit 415, approximate image buffer 417 including three-plate image buffer 417a and single-plate image buffer 417b, residual calculation unit 418, regularity determination unit 419, residual addition unit 420, And an output image buffer 421.
[0136]
As shown in FIG. 8, the least square approximation unit 412 includes a color component mask generation unit 412a, a least square coefficient calculation unit 412b, an approximation error accumulation unit 412c, an approximation coefficient holding buffer 412d, and a template determination unit 412e. To do. The least square approximation unit 412 is further connected to a neighborhood image input terminal 412r connected to the neighborhood reading unit 409, a template input terminal 412p connected to the post-degradation template holding ROM 411b, and a band / color information restoration unit 414. An approximate parameter output terminal 412s and a neighborhood approximate image output terminal 412t connected to the image addition unit 415 are provided.
[0137]
In FIG. 7, an image buffer 407 in the electronic camera 400 is connected to an input image buffer 408 in the image processing apparatus 401. The input image buffer 408 is connected to the neighborhood reading unit 409 and the residual calculation unit 418. The neighborhood reading unit 409 is connected to the least square coefficient calculation unit 412b in the least square approximation unit 412 through a neighborhood image input terminal 412r shown in FIG.
[0138]
In FIG. 8, in addition to the neighborhood reading unit 409, the least square coefficient calculation unit 412b is connected to a color component mask generation unit 412a and a template storage ROM 411b after degradation via a template input terminal 412p. 412d and the approximate error accumulating unit 412c are connected to output.
[0139]
The template determining unit 412e is connected to receive the outputs of the approximate error accumulating unit 412c, the approximate coefficient holding buffer 412d, and the color component mask generating unit 412a, and the determined content is sent to the image adding unit 415 via the neighborhood correction approximate image output terminal 412t. The output is connected to the band / color information restoration unit 414 via the approximate parameter output terminal 412s.
[0140]
Similar to the second embodiment, the template holding ROM 411 includes a pre-degradation template holding ROM 411a and a post-degradation template holding ROM 411b. The pre-degradation template holding ROM 411a holds a template Ψi (i = 0 to N−1), which is a grayscale image of a predetermined size having predetermined N types of geometric features, and is stored in the band / color information restoration unit 414. It is connected. The post-degradation template holding ROM 411b holds a template Φi (i = 0 to N−1), which is an image in which each template of the pre-degradation template holding ROM 411a has undergone band degradation by the optical system of the electronic camera 400.
[0141]
As shown in FIG. 7, the band / color information restoration unit 414 is connected to receive the outputs of the least square approximation unit 412 and the pre-degradation template holding ROM 411a, and is connected to output the restoration result to the image addition unit 415. . The image adding unit 415 is connected to independently process the outputs from the band / color information restoring unit 414 and the least square approximation unit 412, and the respective processing results are connected to the three-plate image buffer 417 a and the single-plate image buffer in the approximate image buffer 417. Output to 417b.
[0142]
The three-plate image buffer 417a and the single-plate image buffer 417b hold an image having the same number of pixels as the image in the input image buffer 408, and hold a counter for each pixel. This counter is provided to hold the number of times writing has been performed at each pixel position of each buffer. As in the first embodiment, since a plurality of pixel values are calculated at each pixel position of each buffer, the image adding unit 415 performs a process of averaging them. This process requires the number of times of writing.
[0143]
The single-panel image buffer 417b is connected to output the stored content to the residual adding unit 420 via the residual calculating unit 418 and the regularity determining unit 419. On the other hand, the three-plate image buffer 417a is connected to output the stored content directly to the residual adding unit 420. The residual adding unit 420 is connected to output the processing result to the output image buffer 421.
[0144]
The operation of the image processing system having the above configuration will be described below.
[0145]
The subject image captured by the electronic camera 400 is band-limited by the lens 402 and the crystal filter 403 and formed on the single-plate RGB random array CCD 404 as a deteriorated optical image, as in the first to third embodiments. . The single-plate RGB random array CCD 404 acquires any one of RGB color information of the deteriorated image for each pixel, and transfers the obtained image to the image buffer 407 as a digital image signal via the A / D converter 405. When the imaging is completed, the image information in the image buffer 407 is transferred to the input image buffer 408 in the image processing apparatus 401, and the pixel values and counters of the three-plate image buffer 417a and the single-plate image buffer 417b are all initialized to zero. Ru
Thereafter, the image processing apparatus 401 performs the following processing for each pixel position (x, y) of the image information in the input image buffer 408.
[0146]
A predetermined rectangular area (for example, 5 × 5 pixels) centered on the processing pixel position is read by the neighborhood reading unit 409 as a neighborhood image h (p, q) and is input to the least square coefficient calculation unit 412b in the least square approximation unit 412. Transferred. In the following description, the set of variables (p, q) is a relative coordinate with respect to the central pixel (x, y) of this neighboring image. For example, if the size of the neighborhood is 5 × 5, [−2, −1]. , 0, 1, 2] × [−2, −1, 0, 1, 2]. In some cases, the colors R, G, and B will be described in correspondence with integer values c = 0, 1, and 2, respectively.
[0147]
The least square coefficient calculation unit 412b sequentially reads templates Φi (p, q) (i = 0 to N−1) stored in advance in the post-degradation template holding ROM 411b and transfers the transferred neighborhood image h (p, q). For each color component c (c = 0, 1, 2) of
[Expression 4]

[0148]
Approximation coefficients α (c) and β (c) that minimize
[0149]
Here, mask (p, q, c) is determined if a color filter corresponding to the color component c exists at a position corresponding to the coordinates (p, q) in the neighboring image on the single-plate RGB random array CCD 404. 1 is a mask that takes 0 if not, and is calculated by the color component mask generation unit 412a. FIG. 3 illustrates a color component mask corresponding to a specific color filter arrangement in the neighborhood image.
[0150]
The approximate error e (c) is output to the approximate error accumulating unit 412c. The approximate error accumulating unit 412c cumulatively adds the approximate error e (c) for all the color components, and transfers the accumulated error to the template determining unit 412e. The approximate coefficients α (c) and β (c) (c = 0, 1, 2) are sequentially output to the approximate coefficient holding buffer 412d and held there.
[0151]
The template determination unit 412e holds the minimum value min_e of the cumulative approximation error with respect to the previous template Φi ′ (p, q) (i ′ <i) and the template index min_i giving the minimum value. The template determining unit 412e compares the error e transferred from the approximate error accumulating unit 412c with the minimum error value min_e held therein, and updates min_e to e and min_i to i if the new error is smaller. To do.
[0152]
The template determination unit 412e also holds the approximate coefficients related to the template that gives the minimum value of the errors as min_α (c) and min_β (c) (c = 0, 1, 2), and at the same time as min_e is updated, The values are also updated to approximate coefficients α (c) and β (c) read from the approximate coefficient holding buffer 412d.
[0153]
After all the post-degradation templates Φi are processed, the approximate coefficients min_α (c) and min_β (c) (c = 0, 1, 2) and the index min_i held in the template determination unit 412e are band / color information. The data is output to the restoration unit 414. At the same time, the template determination unit 412e first eliminates the color component of the neighboring image h (p, q) by the equation g (p, q, c) = min_α (c) Φmin_i (p, q) + min_β (c). The corrected image g (p, q, c) is calculated.
[0154]
Next, the color image g (p, q, c) is sampled according to the color filter arrangement of the electronic camera 400 in the neighboring image using the mask (p, q, c) calculated by the color component mask generation unit 412a. A single-plate image g ′ (p, q) is obtained and transferred to the image adding unit 415.
[0155]
The band / color information restoration unit 414 reads the pre-degradation template Ψ min_i corresponding to the transferred index min_i from the pre-degradation template holding ROM 411a, and the transferred approximate coefficients min_α (c) and min_β (c) (c = 0). , 1, 2) is used to correct the omission of the color component of the neighborhood image h (p, q) and further correct the degradation of the band to the neighborhood corrected approximate image f (p, q, c) f (p, q, c). q, c) = min_α (c) ψmin_i (p, q) + min_β (c) (c = 0, 1, 2), and transfers to the image adder 415.
[0156]
In the middle of the processing, in the three-plate image buffer 417a and the single-plate image buffer 417b, a plurality of approximate pixel values are obtained for each pixel position. In both buffers, the average approximate pixel values are held and obtained so far. The number of approximate pixel values obtained is held in the counter. This is equal to the number of times the pixel position has been written so far.
[0157]
In the image adding unit 415, when f (p, q, c) is transferred from the band / color information restoring unit 414, the average approximate pixel value Sf of each pixel in the region corresponding to the neighboring image from the three-plate image buffer 417a. (p, q, c) and counter Zf (p, q) are read out and the new average approximate pixel value Sf_new(p, q, c) with the formula

And the new counter Zf_newthe value of (p, q)
Zf_new(p, q) = Zf (p, q) +1
Calculated by Sf_new(p, q, c) and Zf_new(p, q) is written back into the region for the neighboring image in the three-plate image buffer 417a.
[0158]
On the other hand, when g ′ (p, q) is transferred from the template determining unit 412e to the image adding unit 415, the image adding unit 415 averages each pixel in the region corresponding to the neighboring image from the single-plate image buffer 417b. The pixel value Sg ′ (p, q) and the counter Zg ′ (p, q) are read, and the new average approximate pixel value Sg ′_new(p, q) with the formula

The new counter Zg ′_newthe value of (p, q)
Zg '_new(p, q) = Zg (p, q) +1
And Sg ′_new(p, q) and Zg ′_new(p, q) is written back to the area corresponding to the neighboring image in the single-panel image buffer 417b.
[0159]
When the above processing is completed for each pixel position of the image in the input image buffer 408, the single image buffer 417b approximates the image in the input image buffer 408 with a template, corrects the missing color components, and then again. An approximate image of a single plate sampled by the color filter arrangement of the single plate RGB random array CCD 404 is obtained. Similarly, the three-plate image buffer 417a is approximated by a template, and a color image subjected to correction of missing color components and band deterioration is obtained.
[0160]
Further, the following processing is performed on the image in the approximate image buffer 417.
[0161]
For each pixel position (x, y) of the image in the input image buffer 408, the residual calculation unit 418 reads a neighboring image h (p, q) having a predetermined size centered on the pixel position. At the same time, the image corresponding to the region of the neighboring image is read from the single-panel image buffer 417b, the difference from h (p, q) is calculated, and output to the regularity determination unit 419 as the residual image d (p, q). To do.
[0162]
The regularity determination unit 419 evaluates whether or not the input residual image d (p, q) is an image having a regular structure, using the same determination criteria as in the third embodiment. First, d (p, q) is normalized to a maximum value of 1 and a minimum value of 0, and a Laplacian filter is applied. The result is squared over the entire image and compared with a predetermined threshold. If it is below the threshold value, it is determined that it has a regular structure, and the value d (0,0) of the central pixel of the residual image is output to the residual adding unit 420. If the threshold is exceeded, nothing is transferred.
[0163]
The residual adding unit 420 reads out the pixel value Sf (0,0, c) (c = 0, 1, 2) at the position corresponding to the position (x, y) in the input image buffer 408 from the three-plate image buffer 417a. . When the value d (0,0) is transferred from the regularity determination unit 419, pixel values d ′ (0,0, c) for three colors are generated from d (0,0), and Sf ( 0,0, c) and every color c = 0,12. Here, if the color of the color filter existing at the position on the single-plate RGB random array CCD 404 corresponding to the position (x, y) in the input image buffer 408 is c ′, d ′ (0,0, c) is Calculated from d (0,0) by the following equation.
[0164]
d ′ (0,0, c) = d (0,0) (when c = c ′)
[Equation 5]

[0165]
When this process is completed for all the positions (x, y), the missing color component and the band deterioration are corrected within a range in which the template in the template holding ROM 411 can correspond to the geometrical feature in the vicinity of each pixel position. By reflecting the fine structure that cannot be handled in the luminance component, a three-color image in which deterioration and color loss due to the optical system of the electronic camera 400 are corrected is obtained in the output image buffer 421.
[0166]
When the electronic camera 400 does not have the crystal filter 403 and the band is not limited, the template holding ROM 411 includes only the pre-degradation template holding ROM 411a, and the least square coefficient calculation unit 412b in the least square approximation unit 412 holds the template before degradation. The configuration is changed so as to receive input from the ROM 411a. In this case, the action of each part is characterized in that the least square approximation unit 412 uses Ψi instead of Φi as a template, and the operation of the band / color information restoration unit 414 is the same, but as a result, the color component The missing point is corrected only in that a neighborhood corrected approximate image f (p, q, c) is obtained in which no degradation of the band is performed. As a result, a three-color image in which only missing color components of the image in the input image buffer 408 are corrected is obtained in the output image buffer 421.
[0167]
In order to speed up the processing, a configuration without the approximate image buffer 417 is also possible. In this case, since the least square approximation unit 412 directly outputs to the residual calculation unit 418 and the band / color information restoration unit 414 directly outputs to the residual addition unit 420, the image addition unit 415 is also unnecessary. As an operation, for each pixel position (x, y) of the input image buffer 408, the residual calculation unit 418 transfers the image g ′ (p, q) in the single plate state transferred from the least square approximation unit 412 and the pixel position ( The difference between neighboring images h (p, q) centered on x, y) is calculated and transferred to the regularity determining unit 419, and f (p, q, c calculated by the band / color information restoring unit 414 is calculated. ) Only the center pixel value f (0,0, c) is transferred to the residual adding unit 420, and the residual adding unit 420 replaces Sf (0,0, c) with the band / color information restoring unit 414. Only the three points of calculating d ′ (0,0, c) using f (0,0, c) transferred from the above are different from the fourth embodiment described above. As a result, although the accuracy of correction is reduced, the storage capacity is small, and higher-speed processing becomes possible.
[0168]
The fifth embodiment of the present invention will be described below. FIG. 9 is a diagram showing a configuration of an image processing system to which the fifth embodiment of the present invention is applied, and includes an electronic camera 500 and an image processing device 501.
[0169]
The electronic camera 500 of this embodiment has the same configuration as that of the electronic camera 200 in the second embodiment except that the crystal filter 203 provided for band limitation is not provided. The output of the image buffer 507 in the electronic camera 500 is connected to the input image buffer 508 in the image processing apparatus 501 as in the third embodiment, and the input image buffer 508 is connected to the neighborhood reading unit 509 and the difference calculation unit 518. ing.
[0170]
The image processing apparatus 501 includes an input image buffer 508, a neighborhood reading unit 509, a template selection unit 510, a template holding ROM 511, a least square approximation unit 512, a single plate image generation unit 513, and a color information restoration unit 514. , Three-plate image addition unit 515a, single-plate image addition unit 515b, single-plate image buffer 516, output image buffer 517, difference calculation unit 518, difference image buffer 519, regularity evaluation unit 520, and template generation Part 521.
[0171]
In FIG. 9, the neighborhood reading unit 509 is connected to receive the outputs of the input image buffer 508 and the difference image buffer 519, and is connected to output the read information to the regularity evaluation unit 520. The regularity evaluation unit 520 is connected to the template generation unit 521, the three-plate image addition unit 515a, and the least square approximation unit 512. The least square approximation unit 512 has the same configuration as that in the second embodiment, and is connected to receive the outputs of the template selection unit 510 and the regularity evaluation unit 520, and the processing result is output to the single panel image generation unit 513 and the color information. Connected to the restoration unit 514 for output. The template selection unit 510 is connected to receive the outputs of the template holding ROM 511 and the template generation unit 521, and is connected to output the selection result to the single panel image generation unit 513 and the color information restoration unit 514.
[0172]
Since there is no band deterioration due to the crystal filter in the input image, the template holding ROM 511 does not hold the templates before and after the band limitation deterioration, unlike the previous embodiments. Instead, a grayscale image of a predetermined size having predetermined N types of geometric features is held as a template Φi (i = 0 to N−1). Here, the band degradation due to the lens 502 is usually ignored because it is small.
[0173]
The color information restoration unit 514 is connected to the output image buffer 517 via the three-plate image addition unit 515a. The single plate image generation unit 513 is connected to the single plate image buffer 516 via the single plate image addition unit 515b. The single panel image buffer 516 is connected to the difference calculation unit 518 to output the stored contents, and the difference calculation unit 518 is connected to the difference image buffer 519 to output the processing result.
[0174]
The single-plate image buffer 516 and the output image buffer 517 hold an image having the same number of pixels as the image in the input image buffer 508, but also hold a counter for each pixel. This counter is provided to hold the number of times writing has been performed at each pixel position in each buffer. As in the third embodiment, since a plurality of pixel values are calculated at each pixel position of each buffer, a process of finally averaging them is performed. This process requires the number of times of writing.
[0175]
The operation of the image processing system having the above configuration will be described below.
[0176]
An image that is picked up by the electronic camera 500 and includes only band degradation due to the lens 502 and has only one color component at each pixel position is held in the image buffer 507 as in the previous embodiments. When the imaging is completed, the image in the image buffer 507 is transferred to the input image buffer 508, and the pixel values and counters of the color images in the output image buffer 517 and the single-panel image buffer 516 are all initialized to zero. Next, correction processing is performed in two stages. In the first process, the following process is performed for each pixel position (x, y) of the image in the input image buffer 508.
[0177]
The neighborhood reading unit 509 reads a predetermined rectangular area (for example, 7 × 7 pixels) at the pixel position (x, y) as a neighborhood image h (p, q). In the following description, the variable set (p, q) is a relative coordinate with respect to the central pixel (x, y) in this neighboring image. For example, if the size of the neighborhood is 7 × 7, [−3, − 2, -1, 0, 1, 2, 3] x [-3, -2, -1, 0, 1, 2, 3], and in some cases, colors R, G, and B are adjusted respectively. A description will be given in correspondence with numerical values c = 0, 1, and 2.
[0178]
The read neighborhood image is sent to the regularity evaluation unit 520, where it is transferred to the least square approximation unit 512 without any processing. Nothing is transferred to the template generation unit 521 in the first process.
[0179]
The template generation unit 521 has a function of, when a neighborhood image is transferred, treating the image as a grayscale image and smoothing it while maintaining an edge, creating a new template, and transferring it to the template selection unit 510. Do nothing in the second processing.
[0180]
When there is a request for reading the i-th template from another connected component, the template selection unit 510 returns the template if the template has been transferred from the template generation unit 521. If not transferred, the i-th template Φi is read from the template holding ROM 511. In the first processing, nothing is transferred from the template generation unit 521, so the template holding ROM 511 is accessed.
[0181]
When the neighborhood image is transferred, the least squares count calculation unit 512 performs processing according to the flow shown in FIG. 5, and the template index min_i and the approximation coefficient min_α that best approximates the neighborhood image as in the previous embodiments. (c) and min_β (c) are calculated and transferred to the single panel image generation unit 513 and the color information restoration unit 514.
[0182]
In the color information restoration unit 514, in order to repair the missing color component for each pixel, the expression
g (p, q, c) = min_α (c) Φmin_i (p, q) + min_β (c) (c = 0,1,2)
Accordingly, a three-color image g (p, q, c) in which the lack of color components in the neighborhood image h (p, q) is approximately filled is generated and transferred to the three-plate image adding unit 515a.
[0183]
The single-panel image generation unit 513 calculates a three-color image g (p, q, c) in which the lack of color components of the neighborhood image h (p, q) is approximately filled, as in the color information restoration unit 514. Further, an image g ′ (p, q) obtained by sampling g (p, q, c) in accordance with the color filter arrangement of the electronic camera 500 in the neighboring image is generated. Then, g ′ (p, q) is transferred to the single panel image adding unit 515b.
[0184]
In the middle of the processing, a plurality of approximate pixel values are obtained for each pixel position in the output image buffer 517 and the single-plate image buffer 516, respectively, but the average approximate pixel values are held in both buffers and obtained so far. The number of approximate pixel values obtained (= the number of times of writing) is held in the counter.
[0185]
In the three-plate image adding unit 515a, the average approximate pixel value Sg (p, q, c) and the counter Zg (p, q) of each pixel in the region corresponding to the neighboring image are read from the image output buffer 517 and transferred. A new average approximate pixel value Sg using the obtained g (p, q, c)_new(p, q, c) is the formula

And the new counter Zg_newThe value of (p, q) is an expression
Zg_new(p, q) = Zg (p, q) +1
Calculated by Sg_new(p, q, c) and Zg_new(p, q) is written back to the area corresponding to the neighboring image in the image output buffer 517.
[0186]
On the other hand, in the single-plate image adding unit 515b, the average approximate pixel value Sg '(p, q) and the counter Zg' (p, q) is read out and transferred to the new average approximate pixel value Sg ′ using g ′ (p, q)_new(p, q) is the formula

And a new counter Zg ′_newThe value of (p, q) is
Zg '_new(p, q) = Zg '(p, q) +1
And Sg ′_new(p, q) and Zg ′_new(p, q) is written back to the area corresponding to the neighboring image in the single-plate image buffer 516.
[0187]
When the above processing is completed for each pixel position of the image in the input image buffer 508, the image in the input image buffer 508 is approximated by the template in the template holding ROM 511 in the single-plate image buffer 516, and the color component is missing. Then, an image of a state sampled by the color filter arrangement of the single-plate Bayer array CCD 504 is obtained. Similarly, in the output image buffer 517, a color image approximated by the template in the template holding ROM 511 and corrected for missing color components is obtained. At the end of the first process, the difference calculation unit 518 takes the difference between the single-panel image buffer 516 and the input image buffer 508 and outputs a difference image representing the approximation error to the difference image buffer 519.
[0188]
In the second process, the following process is performed for each pixel position (x, y) in the input image buffer 508.
[0189]
The neighborhood reading unit 509 reads out again a rectangular area having the same size as the first time around the pixel position (x, y) as the neighborhood image h (p, q). At the same time, an area corresponding to the neighborhood image in the difference image buffer 519 is read out as the difference neighborhood image d (p, q). The two images are transferred to the regularity evaluation unit 520.
[0190]
The regularity evaluation unit 520 examines the regularity of the difference neighborhood image d (p, q) unlike the first processing. As a criterion for evaluation, a Laplacian filter is applied to an image normalized to a maximum value of 1 and a minimum value of 0, and a value obtained by taking a square sum of the entire image is used as a noise measure. In order to obtain a noise measure L1 for d (p, q) and to determine how regular the image is of white noise, each pixel value has a maximum value of 1, a minimum value of 0, and an average value of 0.5. Using a noise measure L0 calculated in advance for an image having the same size as d (p, q) generated by random numbers that generate white noise, a relative noise measure L is expressed by the equation L = (1−L1 / L0). calculate.
[0191]
The relative noise scale L represents the regularity of d (p, q) in the range of 0-1. If L is below a predetermined threshold, d (p, q) does nothing even if it is noise. If it is equal to or greater than a predetermined threshold, d (p, q) is transferred to the template generation unit 521, h (p, q) is transferred to the least square approximation unit 512, and the relative noise measure L is added to the three-plate image addition unit. Forward to 515a.
[0192]
Unlike the first processing, the template generation unit 521 regards the transferred d (p, q) as a grayscale image and smoothes it while maintaining the edges, and creates a new template Φ ′ (p, q) And transferred to the template selection unit 510.
[0193]
The template selection unit 510 sets the transferred template Φ ′ (p, q) to a new template set, and returns Φ ′ (p, q) when there is a template read request from another component thereafter. .
[0194]
When the neighborhood image h (p, q) is transferred, the least square coefficient calculation unit 512 performs the same process as the first time, and the index min_i and the approximation coefficient of the template that best approximates the neighborhood image h (p, q). min_α (c) and min_β (c) are calculated and transferred only to the color information restoration unit 514. However, since the template read by the least square coefficient calculation unit 512 is limited to one of Φ ′ (p, q) by the template selection unit 510, min_α (c) and min_β (c) are the templates Φ ′ (p , q) means an optimum approximation coefficient when the neighborhood image h (p, q) is approximated.
[0195]
Unlike the first process, the process in the color information restoration unit 514 only recovers the missing color component at the center pixel h (0,0) of the neighboring image h (p, q). Specifically, the formula
g (0,0, c) = min_α (c) Φ ′ (p, q) + min_β (c) (c = 0,1,2)
Thus, the recovered pixel value g (0,0, c) (c = 0,1,2,2) corresponding to h (0,0) is generated and transferred to the three-plate image adding unit 515a.
[0196]
For each pixel in the region corresponding to the neighborhood image h (p, q) in the output image buffer 517, the pixel values Sg (p, p, 3) of three colors obtained by approximation with the template in the template holding ROM 511 in the first process. q, c) (c = 0, 1, 2) is held. In the three-plate image adding unit 515a, the pixel value Sg (0,0, c) (c = 0,1,2) at the position corresponding to the position of the center pixel of the neighborhood image h (p, q) in the image output buffer 517 is obtained. Using the relative noise measure L transferred from the readout and regularity evaluation unit 520, the weighted sum of the previous approximation result Sg (0,0, c) and the second approximation result g (0,0, c) Take. formula
Sg_new(0,0, c) = (1-L) .Sg (0,0, c) + L.g (0,0, c) (c = 0,1,2)
The new value Sg of the pixel position by_new(0,0, c) (c = 0, 1, 2) is calculated and written back to the image output buffer 517. When the second process is completed for each pixel position in the input image buffer, the output image buffer 517 obtains a three-color image in which the lack of color components has been recovered.
[0197]
The sixth embodiment of the present invention will be described below. 10 to 12 are diagrams for explaining the sixth embodiment, FIG. 10 is a diagram illustrating a configuration of an image processing system to which the present embodiment is applied, and FIG. 11 is a combined least square approximation unit in FIG. FIG. 12 is an explanatory diagram of the operation of the combined least square approximation unit 612 in FIG.
[0198]
In FIG. 10, the image processing system according to the present embodiment includes an electronic camera 600 and an image processing apparatus 601, and the electronic camera 600 has the same configuration as the electronic camera 400 according to the fourth embodiment. An image buffer 607 in the electronic camera 600 is connected to an input image buffer 608 in the image processing apparatus 601. Information about the color filter arrangement of the single-plate RGB random array filter CCD 604 in the electronic camera 600 is held in advance in the color component mask generation unit 612a in the image processing apparatus 601 as in the fourth embodiment.
[0199]
The image processing apparatus 601 includes an input image buffer 608, a neighborhood reading unit 609, a template holding ROM 611 including a pre-degradation template holding ROM 611a and a post-degradation template holding ROM 611b, a combined least square approximation unit 612, and band / color information restoration. A unit 614, a three-plate image addition unit 615, and an output image buffer 616.
[0200]
Further, as shown in FIG. 11, the combined least square approximation unit 612 shown in FIG. 10 includes a color component mask generation unit 612a, a least square coefficient calculation unit 612b, an approximation error accumulation unit 612c, and an approximation coefficient holding buffer 612d. A template determining unit 612e, a neighborhood image buffer 612f, a template accumulating unit 612g, a template synthesizing unit 612h, a least square coefficient calculating unit 612i, an approximate error accumulating unit 612j, and an approximate coefficient holding buffer 612k. The combined least square approximation unit 612 further includes a neighborhood image input terminal 612r, a template input terminal 612p, and an approximate parameter output terminal 612s.
[0201]
The input image buffer 608 is connected to the neighborhood reading unit 609, and the neighborhood reading unit 609 is connected to the neighborhood image buffer 612f in the combined least square approximation unit 612 via the neighborhood image input terminal 612r. The combined least square approximation unit 612 is connected to the post-degradation template holding ROM 611b through the template input terminal 612p, and is connected to the band / color information restoration unit 614 through the approximate parameter output terminal 612s.
[0202]
The configuration of the template holding ROM 611 and the connection relationship among the template holding ROM 611, the band / color information restoring unit 614, the three-plate image adding unit 615, and the output image buffer 616 are the same as those in the first embodiment.
[0203]
In the present embodiment, as in the first embodiment, a plurality of correction values are calculated for each pixel during processing, and therefore, they are weighted and averaged based on the reliability of each correction value. Therefore, the output image buffer 616 holds a confidence value necessary for calculating a weighted average in addition to image data at each pixel position.
[0204]
The neighborhood image buffer 612f in the combined least square approximation unit 612 is connected to receive the output of the neighborhood reading unit 609 via the neighborhood image input terminal 612r, and outputs the stored information to the least square coefficient calculation units 612b and 612i. It is connected as much as possible. In addition to the neighborhood image buffer 612f, the least square coefficient calculation unit 612b is connected to receive the output of the deteriorated template holding ROM 611b via the color component mask generation unit 612a and the template input terminal 612p, and the processing result is approximated by the approximate coefficient holding buffer 612d. And the approximate error accumulating unit 612c.
[0205]
The template accumulating unit 612g is connected to receive the outputs of the approximate coefficient holding buffer 612d and the approximate error accumulating unit 612c, and is connected to output the accumulated result to the template synthesizing unit 612h. The template synthesis unit 612h is connected to output the synthesis result to the least square coefficient calculation unit 612i and the template determination unit 612e.
[0206]
In addition to the template synthesis unit 612h, the least square coefficient calculation unit 612i is connected to receive the outputs of the color component mask generation unit 612a and the neighborhood image buffer 612f, and the processing result is sent to the approximate coefficient holding buffer 612k and the approximate error accumulation unit 612j. Connected to output. The approximate coefficient holding buffer 612k and the approximate error accumulating unit 612j are both connected to the template determining unit 612e, and the template determining unit 612e is connected to the band / color information restoring unit 614 via the approximate parameter output terminal 612s.
[0207]
The operation of the image processing system configured as described above will be described below.
[0208]
The subject image picked up by the electronic camera 600 is subjected to band limitation by the lens 602 and the crystal filter 603 and is deteriorated on the single-plate RGB random array CCD 604 as a deteriorated optical image as in the first to fourth embodiments. It is formed. The single-plate RGB random array CCD 604 acquires any one of RGB color information of the deteriorated image for each pixel, and transfers the obtained image to the image buffer 607 as a digital image signal via the A / D converter 605. When the imaging is completed, the image information in the image buffer 607 is transferred to the input image buffer 608 in the image processing device 601, and the pixel value and the confidence value of the output image buffer 616 are all initialized to 0.
[0209]
Thereafter, the following processing is performed for each pixel position (x, y) of the image information in the input image buffer 608.
[0210]
A predetermined rectangular region (for example, 5 × 5 pixels) centered on the processing pixel position (x, y) is read out as a neighborhood image h (p, q) by the neighborhood readout unit 609 and transferred to the combined least square approximation unit 612. Is done. In the following description, the set of variables (p, q) is a relative coordinate with respect to the central pixel (x, y) of this neighboring image. For example, if the size of the neighborhood is 5 × 5, [−2, −1]. , 0, 1, 2] × [−2, −1, 0, 1, 2], and in some cases, the colors R, G, B correspond to the integer values c = 0, 1, 2, respectively. I will explain.
[0211]
The neighborhood image h (p, q) read by the neighborhood readout unit 609 is transferred to the neighborhood image buffer 612f in the combined least square approximation unit 612. When h (p, q) is transferred to the neighborhood image buffer 612f, it corresponds to the color component c at the position corresponding to the coordinates (p, q) in the neighborhood image on the single-plate RGB random array CCD 604. A variable mask (p, q, c), which is 1 if there is a color filter to be used, and 0 if there is no color filter, is calculated by the color component mask generation unit 612a and held therein. FIG. 3 illustrates a color component mask corresponding to a specific color filter arrangement in the neighborhood image.
[0212]
The least square coefficient calculation unit 612b sequentially reads templates Φi (p, q) (i = 0 to N−1) stored in advance in the post-degradation template holding ROM 611b, and transfers the neighborhood image h transferred from the neighborhood image buffer 612f. For each color component c (c = 0, 1, 2) of (p, q), using the variable mask (p, q, c), the approximation error in order
[Formula 6]

[0213]
Approximation coefficients α (c) and β (c) that minimize
[0214]
The approximate error e (c) is output to the approximate error accumulating unit 612c, and the approximate error accumulating unit 612c cumulatively adds the approximate error e (c) for all color components, and transfers the accumulated error to the template accumulating unit 612g. The approximate coefficients α (c) and β (c) (c = 0, 1, 2) are sequentially output to the approximate coefficient holding buffer 612d and held there. The template accumulation unit 612g holds an N-row table T.
[0215]
FIG. 12 is a diagram for explaining the operation of the combined least square approximation unit. (A) shows an arbitrary neighborhood image, (b) shows N templates from 0 to N−1, and (c ) Is a table T, (d) is a table T after sorting, (e) is a set V, (f) is a variable U, and (g) is a composite template.
[0216]
As shown in FIG. 12C, the table T has a cumulative approximate error corresponding to the indexes i ′ and Φi ′ (p, q) of the templates Φi ′ (p, q) (i ′ <i) so far. , And the approximation coefficient are registered in the (i ′ + 1) th row. FIG. 12C illustrates a case where the neighborhood image h (p, q) shown in FIG. 12A is approximated by the template Φi (p, q) shown in FIG.
[0217]
When the accumulated approximate error e is transferred from the approximate error accumulating unit 612c, the template accumulating unit 612g approximates the coefficients α (c) and β (c) (c = 0, 1, 2) held in the approximate coefficient holding buffer 612d. ) And is written to the (i + 1) th row of the table T together with i and e.
[0218]
When the least square coefficient calculating unit 612b finishes processing for all Φi (i = 0 to N−1), the template synthesizing unit 612h newly uses the table T held in the template accumulating unit 612g to newly create a template in the following procedure. Construct a set.
[0219]
First, N internal variables mark (i) (i = 0 to N−1) and a counter total_mark are all initialized to zero. Next, the rows of the table T are rearranged in ascending order of the cumulative approximate error as shown in FIG. 12D, and the template index corresponding to the row with the smallest cumulative approximate error is set to k ′. In FIG. 12D, k ′ is 3. At the same time, the approximation coefficients corresponding to k ′ are αm (c) and βm (c) (c = 0, 1, 2). Further, mark (k ′) is set to 1 and total_mark is set to 1.
[0220]
Thereafter, each row is read in the order of the rearranged rows, and if the cumulative approximation error is smaller than a predetermined threshold value, the approximate coefficient value of that row is read into the variables α (c) and β (c) and αm ( c) Take absolute values eα and eβ of the difference from βm (c). Only when αm (c) and α (c) have the same sign and eα and eβ are smaller than a predetermined threshold, mark (k) is set to 1 using the template index k of that row, and total_mark is incremented by 1. If the total_mark reaches a predetermined upper limit value M ′ or if this process is completed for all the rows, the repetition ends.
[0221]
When this process ends, a set V of template indexes k in which mark (k) is 1 is formed as shown in FIG. Each element of the integer set V is an index of a template in which the approximation error is similar to the template k ′ having the smallest cumulative approximation error and the approximation error is sufficiently small.
[0222]
Subsequently, all subsets having a predetermined number of elements are created from V and registered in variables U (j) (j = 0 to M−1) having values of the respective subsets as shown in FIG. To do. In FIG. 12F, the number of elements in each subset is two. Here, M is the total number of subsets that satisfy the condition. Further, a composite template Φ′j (p, q) is constructed for the variable U (j) according to the following equation.
[0223]
[Expression 7]

[0224]
In this expression, k takes all integer values included in the integer set U (j). The function max calculates the maximum value of the arguments for all k. Positive real number λ (j, k) and positive real number μ (j, k) are used to normalize λ (j, k) Φk (p, q) + μ (j, k) to maximum value 1 and minimum value 0. It is a normalization variable.
[0225]
FIG. 12G illustrates a composite template Φ′j (p, q). variable
[Equation 8]

[0226]
Is held in the template composition unit 612h together with Φ′j (p, q). Here, j = 0 to M-1.
[0227]
When the processing of the template combining unit 612h is completed, the least square coefficient calculating unit 612i sequentially reads the templates Φ′j (p, q) (j = 0 to M−1) from the template combining unit 612h, and the least square coefficient calculating unit 612b. In the same manner as described above, for each color component c (c = 0, 1, 2) of the neighborhood image h (p, q) transferred from the neighborhood image buffer 612f, the approximation error
[Equation 9]

[0228]
Approximation coefficients α ′ (c) and β ′ (c) for minimizing are calculated, and an approximation error e ′ (c) is output to the approximation error accumulating unit 612j. In the approximate error accumulating unit 612j, the approximate error e ′ (c) is cumulatively added for all the color components, and the accumulated approximate error e ′ = e ′ (0) + e ′ (1) + e ′ (2) is transferred to the template determining unit 612e. To do. The approximate coefficients α ′ (c) and β ′ (c) (c = 0, 1, 2) are sequentially output and stored in the approximate coefficient holding buffer 612k.
[0229]
The template determination unit 612e holds the minimum value min_e 'of the error with respect to the previous template Φ'j' (p, q) (j '<j) and the index min_j giving the minimum value. The template determining unit 612e compares the error e ′ transferred from the approximate error accumulating unit 612d with the minimum error value min_e ′ held therein. If the new error is smaller, min_e ′ is set to e ′, and min_j is set to j Update to
[0230]
Further, the template determination unit 612e holds the approximate coefficients related to the template that gives the minimum error value as min_α ′ (c) and min_β ′ (c) (c = 0, 1, 2), and the min_e ′ Simultaneously with the update, these values are also updated to the approximate coefficients α ′ (c) and β ′ (c) read from the approximate coefficient holding buffer 612k.
[0231]
After all the templates Φ′j (p, q) have been processed by the least square coefficient calculation unit 612i, the template determination unit 612e uses the index min_j that gives the minimum value min_e ′ of the error to use the internal variable of the template synthesis unit 612h.
[Expression 10]

[0232]
At the same time, an approximate evaluation value A ′ that is inversely proportional to the minimum value min_e ′ of the approximate error is calculated by A ′ = 1 / (1 + min_e ′). And
## EQU11 ##

[0233]
And A ′ are transferred to the band / color information restoration unit 614.
[0234]
The band / color information restoration unit 614 reads the corresponding template Ψk (p, q) before deterioration corresponding to all integers k included in the transferred integer set U (min_j) from the template storage ROM 611a before deterioration, Transferred factor
[Expression 12]

[0235]
Is used to obtain a neighborhood corrected approximate image f (p, q, c) that approximates the image before degradation of the neighborhood image from the following equation.
[0236]
[Formula 13]

[0237]
Then, f (p, q, c) is transferred to the three-plate image adding unit 615 together with the approximate evaluation value A ′.
[0238]
In the middle of the process, the average value and the reliability value of a plurality of corrected pixel values obtained by the process so far are held at each pixel position of the output image buffer 616. The three-plate image adding unit 615 reads the average value Sf (p, q, c) and the reliability value Q (p, q, c) of the corrected pixel values in the region corresponding to the neighboring image from the output image buffer 616, and From the neighborhood correction approximate image f (p, q, c) and the approximate evaluation value A ′ transferred from the band / color information restoration unit 614, a new average Sf of corrected pixel values is obtained._new(p, q, c) and confidence value Q_new(p, q) as an expression

Sf_new(p, q, c) and Q_new(p, q) is written in the area corresponding to the neighboring image in the output image buffer 616.
[0239]
When these processes are completed for all the pixel positions, for each pixel of the image in the input image buffer 608, a neighborhood correction approximate image for all the neighborhood images including the pixel is calculated, and a plurality of corrections for each pixel obtained as a result are obtained. Since the pixel values are weighted and averaged by the processing in the three-plate image addition unit 615 and accumulated in the output image buffer 616, a three-color image finally corrected for deterioration and color loss due to the optical system of the electronic camera 600 is obtained. can get.
[0240]
Although the accuracy of correction is low, when the memory capacity is reduced and the processing is not speeded up, a configuration in which the image adding unit 615 is deleted and no reliability value is held in the output image buffer 616 can be considered. In this case, the band / color information restoration unit 614 directly outputs the output image buffer 616. As an operation, the correction value f (0,0, c) (c = 0,1) of the central pixel among f (p, q, c) in which the band / color information is corrected in the band / color information restoration unit 614 , 2) only to output to the output image buffer 616.
[0241]
Further, when the electronic camera 600 does not have the crystal filter 603 and the band is not limited, the template holding ROM 611 includes only the pre-degradation template holding ROM 611a, and the combined least square approximation unit 612 is connected to the pre-degradation template holding ROM 611a. Make the configuration.
[0242]
In this case, the operation of each part is the same except that Ψi is used instead of Φi as a template in the combined least square approximation unit 612. As a result, the band / color information restoration unit 614 obtains a neighborhood corrected approximate image that corrects the lack of color components but does not do any degradation of the band, and the output image buffer 616 stores the image in the input image buffer 608. A three-color image in which the lack of the color components is corrected is obtained.
[0243]
In this modified example, it is easily guessed that the same processing speed can be achieved if the same modification as the modified example for speeding up the above-described processing is performed.
[0244]
The specific embodiment described above includes an invention having the following configuration.
[0245]
(1) In an image processing apparatus that recovers an original image signal from an image signal that lacks information on at least one or more spectral characteristics according to the position of a pixel,
A neighborhood image extracting means for extracting a neighborhood image of a predetermined size including a designated pixel from an image signal lacking the information;
A template holding means for holding a template group based on a plurality of geometric patterns of the same size as the neighboring image extracted by the neighboring image extracting means;
Optimal template that most closely resembles the neighborhood image by matching between the information of the plurality of spectral characteristics included in the neighborhood image extracted by the neighborhood image extraction means and the plurality of template groups held by the template holding means A neighborhood approximate image generation means for generating a neighborhood approximate image that approximates a neighborhood image based on the optimal template;
Based on the neighborhood approximate image generated by the neighborhood approximate image generation means, a restoration means for restoring missing information in the designated pixel;
An image processing apparatus comprising:
[0246]
(2) The restoration unit restores the weighted average of information on the at least one spectral characteristic of the plurality of neighboring approximate images obtained from the plurality of neighboring images including the designated pixel. The image processing apparatus according to configuration (1), wherein:
[0247]
(3) The template holding unit includes a first template group based on a plurality of geometric patterns, and a second template obtained by degrading the first template group according to the band limiting characteristic of the optical system of the imaging apparatus. And having a group
The neighborhood approximate image generation means selects an optimal template similar to the neighborhood image from the second template group, and generates a neighborhood approximate image before band limitation based on the first template group corresponding to the template. The image processing apparatus according to (1) or (2), characterized in that
[0248]
(4) The restoration unit calculates difference information between the neighborhood image and the neighborhood approximate image, extracts only a structural component from the difference information based on a predetermined evaluation function, and uses the contrast information of the structural component. The image processing apparatus according to the configuration (2) or (3), wherein the missing information in the designated pixel is restored by modulating a luminance component of the neighborhood approximate image.
[0249]
(5) The restoration unit calculates difference information between the neighborhood image and the neighborhood approximate image, extracts only a structural component from the difference information based on a predetermined evaluation function,
The neighborhood approximate image generation means generates a third template group based on the structural component, generates a neighborhood reapproximation image that approximates the neighborhood image by the third template group,
The image processing apparatus according to (2), wherein the restoration unit restores missing information in the designated pixel based on the neighborhood approximate image and the neighborhood re-approximation image.
[0250]
(6) The template group held in the template holding means is classified for each different resolution,
The restoration means calculates difference information between the neighborhood image and the neighborhood approximate image, extracts only a structural component from the difference information based on a predetermined evaluation function,
The neighborhood approximate image generation means performs matching between the structural component and a template group corresponding to the resolution of the structural component in the template group, selects an optimal template, and approximates the difference information from the optimal template. A difference neighborhood approximation image is generated,
The restoration means restores missing information in the designated pixel based on the difference neighborhood approximation image and the neighborhood approximation image, and extracts a new structural component from the difference information between the difference neighborhood approximation image and the structure component The image processing apparatus according to the configuration (2), wherein the restoration process is repeated until the structural component is equal to or less than a predetermined threshold value.
[0251]
(7) The second template group held in the template holding means is classified for each different resolution,
The restoration means calculates difference information between the neighborhood image and the neighborhood approximate image, extracts only a structural component from the difference information based on a predetermined evaluation function,
The neighborhood approximate image generation means performs matching between the structural component and a template group corresponding to the resolution of the structural component in the second template group, selects an optimal template, and calculates the difference from the optimal template. Generate a difference neighborhood approximation image that approximates information,
The restoration means restores missing information in the designated pixel based on the difference neighborhood approximation image and the neighborhood approximation image, and extracts a new structural component from the difference information between the difference neighborhood approximation image and the structure component The image processing apparatus according to the configuration (3), wherein the restoration process is repeated until the structural component falls below a predetermined threshold.
[0252]
(8) The restoration unit calculates spatial correlation information from the neighborhood approximated image, and applies an autoregressive model to the designated pixel based on the spatial correlation information, thereby missing information in the designated pixel. The image processing apparatus according to any one of configurations (1), (2), and (3), wherein:
[0253]
(9) The neighborhood approximate image generating means performs matching between the neighborhood image and the plurality of template groups, and generates a single optimum template by synthesizing a plurality of templates with a small matching error. The image processing device according to (1) or (2).
[0254]
(10) The neighborhood approximate image generation means performs matching between the neighborhood image and the second template group, and generates a single optimum template by synthesizing a plurality of templates with a small matching error. The image processing apparatus according to the feature (3).
[0255]
(11) The neighborhood approximate image generation unit selects the optimum template that is most similar to the neighborhood image by multiplying the template group held in the template holding unit by a constant α, and adding and deforming the constant β. The image processing apparatus according to any one of the configurations (1), (2), (4) to (6), (8), and (9).
[0256]
(12) The neighborhood approximate image generation means multiplies the second template group held in the template holding means by a constant α, adds the constant β, and deforms the optimal image that is most similar to the neighborhood image. The image processing apparatus according to any one of (3), (7), and (10), wherein a template is selected.
[0257]
Correspondences between configurations (1) to (12) and the above-described embodiments are as follows.
[0258]
A. The configuration (1) corresponds to at least the first to sixth embodiments,
In the first embodiment, the neighborhood image extraction unit corresponds to the input image buffer 108 and the neighborhood reading unit 109. A template holding unit corresponds to the template holding ROM 111. The neighborhood approximate image generation unit corresponds to the least square approximation unit 112 and the band / color information restoration unit 114. The restoring means corresponds to the three-plate image adding unit 115 and the output image buffer 116.
[0259]
In the second embodiment, the neighborhood image extraction unit corresponds to the input image buffer 208 and the neighborhood reading unit 209. The template holding unit corresponds to the template holding ROM 211. The neighborhood approximate image generation unit corresponds to the least square approximation unit 212, the band / color information restoration unit 214, and the color information restoration unit 213. The restoration unit corresponds to the interpolation coefficient calculation unit 215, the linear calculation unit 216, and the output image buffer 217.
[0260]
In the third embodiment, the neighborhood image extraction unit corresponds to the input image buffer 308 and the neighborhood reading unit 309. The template holding unit corresponds to the template holding ROM 311. The neighborhood approximate image generation unit corresponds to the template selection unit 310, the least square approximation unit 312, the band / color information restoration unit 314, and the post-degradation template processing unit 313. The restoration means corresponds to the three-plate image addition unit 315a, the output image buffer 317, the single-plate image addition unit 315b, the single-plate image buffer 316, the difference calculation unit 318, the difference image buffer 319, and the regularity evaluation unit 320.
[0261]
In the fourth embodiment, the neighborhood image extraction unit corresponds to the input image buffer 408 and the neighborhood reading unit 409. A template holding unit corresponds to the template holding ROM 411. The neighborhood approximate image generation unit corresponds to the least square approximation unit 412 and the band / color information restoration unit 414. The restoration means corresponds to the image adding unit 415, the three-plate image buffer 417 a, the single-plate image buffer 417 b, the residual calculation unit 418, the regularity determination unit 419, the residual addition unit 420, and the output image buffer 421.
[0262]
In the fifth embodiment, the neighborhood image extraction unit corresponds to the input image buffer 508 and the neighborhood reading unit 509. A template holding unit corresponds to the template holding ROM 511. The neighborhood approximate image generation unit corresponds to the template selection unit 510, the template generation unit 521, the least square approximation unit 512, the color information restoration unit 514, and the single panel image generation unit 513. The restoration means corresponds to the three-plate image addition unit 515a, the single-plate image addition unit 515b, the single-plate image buffer 516, the difference calculation unit 518, the difference image buffer 519, the regularity evaluation unit 520, and the output image buffer 517.
[0263]
In the sixth embodiment, the neighborhood image extraction unit corresponds to the input image buffer 608 and the neighborhood reading unit 609. A template holding unit corresponds to the template holding ROM 611. The neighborhood approximate image generation unit corresponds to the combined least square approximation unit 612 and the band / color information restoration unit 614. The restoration unit corresponds to the three-plate image adding unit 615 and the output image buffer 616.
[0264]
For each neighborhood of an image in a single plate state, the neighborhood approximate image generation means determines one template that best approximates all of the plurality of spectral components, and the restoration means performs interpolation based on the template. Compared to the case where the luminance component and the color component are distinguished and handled, it is not affected by moire, and fine geometric features included in the vicinity can be detected.
[0265]
This solves the problem P1 to be solved by the invention described below. Further, since it is not necessary to obtain a specific color component at a high sampling density, P2 is also solved.
[0266]
B. The configuration (2) corresponds to at least the first to sixth embodiments,
In the first embodiment, the restoration unit corresponds to the three-plate image adding unit 115 and the output image buffer 116.
[0267]
In the second embodiment, the restoration unit corresponds to the interpolation coefficient calculation unit 215, the linear calculation unit 216, and the output image buffer 217.
[0268]
In the third embodiment, the restoration unit corresponds to the three-plate image addition unit 315a, the output image buffer 317, the single-plate image addition unit 315b, the single-plate image buffer 316, the difference calculation unit 318, the difference image buffer 319, and the regularity evaluation unit 320. To do.
[0269]
In the fourth embodiment, restoration means corresponds to the image addition unit 415, the three-plate image buffer 417a, the single-plate image buffer 417b, the residual calculation unit 418, the regularity determination unit 419, the residual addition unit 420, and the output image buffer 421. .
[0270]
In the fifth embodiment, the restoration unit corresponds to the three-plate image addition unit 515a, the single-plate image addition unit 515b, the single-plate image buffer 516, the difference calculation unit 518, the difference image buffer 519, the regularity evaluation unit 520, and the output image buffer 517. To do.
[0271]
In the sixth embodiment, the restoring unit corresponds to the three-plate image adding unit 615 and the output image buffer 616.
[0272]
For each pixel of the input image, a neighborhood approximate image for each of a plurality of neighborhoods including the pixel is generated by the neighborhood approximate image generation unit, and a restoration unit weights the approximate value of the pixel in the plurality of neighborhood approximate images. As a result of calculating the final approximate value of the pixel, the approximation error in each neighborhood is corrected.
[0273]
This solves the problem P3 to be solved by the invention described below.
[0274]
C. The configuration (3) corresponds to at least the first, second, third, fourth, and sixth embodiments,
In the first embodiment, the template holding unit corresponds to the template holding ROM 111. The neighborhood approximate image generation unit corresponds to the least square approximation unit 112 and the band / color information restoration unit 114.
[0275]
In the second embodiment, the template holding unit corresponds to the template holding ROM 211. The neighborhood approximate image generation unit corresponds to the least square approximation unit 212, the band / color information restoration unit 214, and the color information restoration unit 213.
[0276]
In the third embodiment, the template holding unit corresponds to the template holding ROM 311. The neighborhood approximate image generation unit corresponds to the template selection unit 310, the least square approximation unit 312, the band / color information restoration unit 314, and the post-degradation template processing unit 313.
[0277]
In the fourth embodiment, the template holding unit corresponds to the template holding ROM 411. The neighborhood approximate image generation unit corresponds to the least square approximation unit 412 and the band / color information restoration unit 414.
[0278]
In the sixth embodiment, the template holding unit corresponds to the template holding ROM 611. The neighborhood approximate image generation unit corresponds to the combined least square approximation unit 612 and the band / color information restoration unit 614.
[0279]
The template holding means has a first template group based on a plurality of geometric patterns, and a second template group obtained by degrading the first template group in accordance with the band limiting characteristic of the optical system of the imaging apparatus, and an input The neighborhood approximate image generating means selects the most similar optimal template from the second template group for the neighborhood of each pixel of the image, and the neighborhood approximation before band limitation based on the template of the first template group corresponding thereto As a result of generating the image, an image in which the band degradation of the optical system is corrected is obtained.
[0280]
This solves the problem P5 to be solved by the invention described below.
[0281]
D. The configuration (4) corresponds to at least the fourth embodiment.
[0282]
The restoration means corresponds to the image adding unit 415, the three-plate image buffer 417 a, the single-plate image buffer 417 b, the residual calculation unit 418, the regularity determination unit 419, the residual addition unit 420, and the output image buffer 421.
[0283]
The neighborhood approximate image generating means generates a neighborhood approximate image for the neighborhood of each pixel of the input image, and the restoration means calculates difference information between the neighborhood and the neighborhood approximate image, and extracts only structural components from this difference information. By modulating the luminance component of the neighborhood approximate image using the contrast information of the structural component, even if the neighborhood cannot be completely approximated by the template, the component having a regular structure in the approximation error is reflected in the luminance component of the output image. The
[0284]
This solves the problem P7 to be solved by the invention described below.
[0285]
E. The configuration (5) corresponds to at least the fifth embodiment.
[0286]
The neighborhood approximate image generation unit corresponds to the template selection unit 510, the template generation unit 521, the least square approximation unit 512, the color information restoration unit 514, and the single panel image generation unit 513. The restoration means corresponds to the three-plate image addition unit 515a, the single-plate image addition unit 515b, the single-plate image buffer 516, the difference calculation unit 518, the difference image buffer 519, the regularity evaluation unit 520, and the output image buffer 517.
[0287]
For the neighborhood of each pixel of the input image, the neighborhood approximate image generating means first generates a neighborhood approximate image, the restoration means calculates a difference image that is an error between the neighborhood and the neighborhood approximate image, and the neighborhood approximate image generating means A structural component is calculated from the image based on a predetermined evaluation function to generate a third template group. Next, the neighborhood approximate image generating means approximates the neighborhood again with the third template group, and generates a neighborhood re-approximation image. Finally, the restoration unit performs correction based on the neighborhood approximate image and the neighborhood re-approximation image. As a result, even when the neighborhood includes a regular structure that cannot be approximated by the template of the template holding means, the structure is extracted from the difference image representing the approximation error and re-approximate.
[0288]
This solves the problem P7 to be solved by the invention described below.
[0289]
F. At least the third embodiment corresponds to configurations (6) and (7).
[0290]
The template holding unit corresponds to the template holding ROM 311. The neighborhood approximate image generation unit corresponds to the template selection unit 310, the least square approximation unit 312, the band / color information restoration unit 314, and the post-degradation template processing unit 313. The restoration means corresponds to the three-plate image addition unit 315a, the output image buffer 317, the single-plate image addition unit 315b, the single-plate image buffer 316, the difference calculation unit 318, the difference image buffer 319, and the regularity evaluation unit 320.
[0291]
The template holding means has a group of templates classified for different resolutions, and the neighborhood approximate image generating means raises the resolution of the template from a template with a low resolution to a template with a high resolution for the vicinity of each pixel of the input image. Since the approximation error is reduced, approximation processing can be performed at high speed without preparing a template having a complicated structure.
[0292]
This solves the problem P4 to be solved by the invention described below.
[0293]
G. The configuration (8) corresponds to at least the second embodiment.
[0294]
The restoration unit corresponds to the interpolation coefficient calculation unit 215, the linear calculation unit 216, and the output image buffer 217.
[0295]
For each pixel neighborhood of the input image, the neighborhood approximate image generating means generates a neighborhood approximate image, and the restoration means calculates spatial correlation information from the neighborhood approximate image, and based on this spatial correlation information, autoregression for the pixel is performed. By restoring the missing information by applying the model, the interpolation process is performed in a common procedure regardless of the template selected by the neighborhood approximate image generating means.
[0296]
This solves the problem P6 to be solved by the invention described below.
[0297]
H. At least the sixth embodiment corresponds to the configurations (9) and (10).
[0298]
The neighborhood approximate image generation unit corresponds to the combined least square approximation unit 612 and the band / color information restoration unit 614.
[0299]
The neighborhood approximate image generating means generates a single optimum template by synthesizing a plurality of templates with a small approximation error for the vicinity of each pixel of the input image.
[0300]
This solves the problem P8 to be solved by the invention described below.
[0301]
I. The configurations (11) and (12) correspond to at least the first to sixth embodiments.
[0302]
In the first embodiment, the neighborhood approximate image generation unit corresponds to the least square approximation unit 112 and the band / color information restoration unit 114.
[0303]
In the second embodiment, the neighborhood approximate image generation unit corresponds to the least square approximation unit 212, the band / color information restoration unit 214, and the color information restoration unit 213.
[0304]
In the third embodiment, the neighborhood approximate image generation unit corresponds to the template selection unit 310, the least square approximation unit 312, the band / color information restoration unit 314, and the post-degradation template processing unit 313.
[0305]
In the fourth embodiment, the neighborhood approximate image generation unit corresponds to the least square approximation unit 412 and the band / color information restoration unit 414.
[0306]
In the fifth embodiment, the neighborhood approximate image generation unit corresponds to the template selection unit 510, the template generation unit 521, the least square approximation unit 512, the color information restoration unit 514, and the single plate image generation unit 513.
[0307]
In the sixth embodiment, the neighborhood approximate image generation unit corresponds to the combined least square approximation unit 612 and the band / color information restoration unit 614.
[0308]
For the neighborhood of each pixel of the input image, the neighborhood approximate image generation means first multiplies the template by a constant α for each color component in the neighborhood, and optimally approximates the color component by a modified template obtained by adding the constant β. The coefficients α and β are obtained. Next, the approximation error due to the deformation template when the coefficients α and β that give the optimum approximation for each color component are used is calculated as a single color approximation error, and the neighborhood approximation by the template is based on the single color approximation error of all the color components. By evaluating the degree, it is possible to approximate a plurality of color components with one template.
[0309]
This solves the problems P1 and P2 to be solved by the invention described below.
[0310]
Problems to be solved by the invention solved by the above-described configurations (1) to (12) are as follows.
[0311]
P1
In the prior art, there is information that is missing even in a luminance component given at a relatively high sampling density, and only degraded information can be obtained as compared with the luminance component obtained by the three-plate method. Also, other color components calculated based on the luminance component can only obtain information that is deteriorated as compared with the color components obtained by the three-plate method.
[0312]
P2
The prior art does not describe a method for processing an input image having an arbitrary color filter arrangement. In the interpolation of the luminance component, it is necessary to prepare a geometric feature prepared in advance and an interpolation method corresponding to the geometric feature, and it is necessary to change the design when the color filter arrangement is changed.
[0313]
P3
The prior art does not describe a method for dealing with malfunction due to the influence of noise. When the luminance component and other color components are processed, the interpolation is performed in a single process, and therefore, the luminance component and other color components are easily affected by pulse noise. In particular, in the luminance component processing, geometric features are classified in a 3 × 3 local region, and therefore misclassification due to noise is likely to occur.
[0314]
P4
In the prior art, when the size of the region for determining the geometric feature is increased in order to reduce the influence of noise, the determination cannot be performed at high speed.
[0315]
P5
In the prior art, there is no description regarding recovery of information whose bandwidth is limited by the optical system of the imaging apparatus. Luminance components and color components of other colors are processed within a band-limited range, and band recovery cannot be handled.
[0316]
P6
In the prior art, a plurality of interpolation methods are prepared according to geometric features, and no single method is described. When the luminance component is interpolated based on geometric features, it is necessary to prepare interpolation methods corresponding to the number of geometric features. For high-precision processing, it is necessary to increase the number of geometric features, but an interpolation method must be considered in accordance with this, and the processing becomes complicated.
[0317]
P7
The prior art does not describe a countermeasure for a case where the geometric feature prepared in advance and the interpolation method corresponding thereto are not applicable. When the luminance component is classified according to geometric features, it is forcibly classified into one of the geometric features, so an error occurs in a non-applicable region and high-precision processing cannot be performed. .
[0318]
P8
In the prior art, high-precision processing cannot be performed unless the geometric features prepared in advance and the corresponding interpolation method are applied.
[0319]
【The invention's effect】
According to the first aspect of the present invention, it is possible to obtain a high-definition image as compared with the prior art and to process an input image having an arbitrary color filter arrangement.
[0320]
Further, according to the invention described in claim 2, in addition to the effect of the invention described in claim 1, it is possible to reduce deterioration of the image signal due to noise.
[0321]
Further, according to the invention described in claim 3, in addition to the effect of the invention described in claim 1 or 2, it is possible to recover information lost due to bandwidth limitation.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an image processing system to which a first embodiment of the present invention is applied.
FIG. 2 is a diagram illustrating a configuration of a least square approximation unit illustrated in FIG. 1 and its peripheral circuits.
FIG. 3 is an explanatory diagram of a mask generated by a color component mask generation unit.
FIG. 4 is a diagram illustrating a configuration of an image processing system to which a second embodiment of the present invention is applied.
5 is a flowchart showing the flow of processing of a least square approximation unit 112 in FIG.
FIG. 6 is a diagram showing a configuration of an image processing system to which a third embodiment of the present invention is applied.
FIG. 7 is a diagram showing a configuration of an image processing system to which a fourth embodiment of the present invention is applied.
8 is a diagram showing a configuration of a least square approximation unit shown in FIG. 7 and its peripheral circuits.
FIG. 9 is a diagram showing a configuration of an image processing system to which a fifth embodiment of the present invention is applied.
FIG. 10 is a diagram illustrating a configuration of an image processing system to which a sixth embodiment of the present invention is applied.
11 is a diagram showing a configuration of a combined least squares approximation unit shown in FIG. 10 and its peripheral circuits.
FIG. 12 is a diagram for explaining the operation of a combined least squares approximation unit.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 100 ... Electronic camera, 101 ... Image processing apparatus, 102 ... Lens, 103 ... Crystal filter, 104 ... Single-plate RGB random array CCD, 105 ... A / D conversion part, 106 ... Filter arrangement information holding ROM, 107 ... Image buffer, DESCRIPTION OF SYMBOLS 108 ... Input image buffer, 109 ... Neighborhood reading part, 111 ... Template holding | maintenance ROM, 112 ... Least square approximation part, 114 ... Band and color information restoration part, 115 ... Three board image addition part, 116 ... Output image buffer.

Claims (3)

In an image processing apparatus for recovering an original image signal from an image signal in which information on at least one or more spectral characteristics is missing depending on the position of the pixel,
A neighborhood image extracting means for extracting a neighborhood image of a predetermined size including a designated pixel from an image signal lacking the information;
A template holding means for holding a template group based on a plurality of geometric patterns of the same size as the neighboring image extracted by the neighboring image extracting means;
Optimal template that most closely resembles the neighborhood image by matching between the information of the plurality of spectral characteristics included in the neighborhood image extracted by the neighborhood image extraction means and the plurality of template groups held by the template holding means A neighborhood approximate image generation means for generating a neighborhood approximate image that approximates a neighborhood image based on the optimal template;
Based on the neighborhood approximate image generated by the neighborhood approximate image generation means, a restoration means for restoring missing information in the designated pixel;
An image processing apparatus comprising: The restoration means performs restoration processing by weighted averaging of information on the at least one spectral characteristic of the plurality of neighboring approximate images obtained from the plurality of neighboring images including a designated pixel. The image processing apparatus according to claim 1. The template holding means includes a first template group based on a plurality of geometric patterns, and a second template group obtained by degrading the first template group according to the band limiting characteristic of the optical system of the imaging device. Have
The neighborhood approximate image generating means selects an optimum template similar to the neighborhood image from the second template group, and generates a neighborhood approximate image before band limitation based on the first template group corresponding to the template. The image processing apparatus according to claim 1, wherein:

Images