JP6045185B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像回復フィルタを用いた画像回復処理の技術に関するものである。

画像データに対して様々な補正処理を行う方法が提案されている。デジタルカメラで被写体を撮像して画像データを生成するとき、得られた画像データは、撮像光学系の収差によって少なからず劣化している。

画像データのぼけ成分は、光学系の球面収差、コマ収差、像面湾曲、および、非点収差等が原因となっている。無収差で回折の影響もない理想的な光学系を用いた場合に、被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、実際には一点に集まらずに広がって像を結んでしまう。この広がってしまった光束の分布が、ぼけ成分である。光学的には点像分布関数（ＰＳＦ：Point spread function）と呼ぶものであるが、これを画像データではぼけ成分と呼ぶことにする。画像データのぼけ成分というと例えばピントがずれた画像データもぼけているが、ここではピントが合っていても、光学系の収差の影響でぼけてしまうものを指すことにする。また、カラー画像での色にじみについても、光学系の軸上色収差、色の球面収差、および、色のコマ収差が原因であるものは、光の波長毎のぼけ成分の相違に起因しているということができる。

画像データのぼけ成分の劣化を補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ：Optical Transfer Function）の情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれており、以下、この撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像データの劣化を補正する処理を画像回復処理と称す。

ここで、画像回復処理の概要について説明する。劣化した画像データ（劣化画像データ）をｇ（ｘ，ｙ）、元の画像データをｆ（ｘ，ｙ）、光学伝達関数を逆フーリエ変換したものである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。但し、＊はコンボリューションを示し、（ｘ，ｙ）は画像データ上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）

また、この式をフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数毎の積の形式になる。なお、Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであるので光学伝達関数（ＯＴＦ）である。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）

劣化画像データから元の画像データを得るためには、まず、以下のように両辺をＨで除算する。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで元の画像データｆ（ｘ，ｙ）が回復像として得られる。

ここで、上式の１／Ｈを逆フーリエ変換したものをＲとすると、以下の式のように実面での画像データに対するコンボリューション処理を行うことで、同様に元の画像データを得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）

このＲ（ｘ，ｙ）を画像回復フィルタと称す。ここで、ズーム位置の状態や絞り径の状態等の撮影状態に応じて光学伝達関数（ＯＴＦ）が変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。例えば、特許文献１には、生体内部を観察するための内視鏡において、撮像手段の合焦範囲外の範囲に対して、使用する蛍光波長に応じた点像分布関数（ＰＳＦ）を用いて像のぼけを解消する手法が開示されている。蛍光が微弱であるためにＦナンバの小さい対物光学系が必要となる。Ｆナンバの小さい対物光学系を用いると焦点深度が浅くなってしまうので、焦点の合わない範囲に対しては画像回復処理を行って合焦像を得ようとしている。

特開平１０−１６５３６５号公報

上述した通り、撮影した画像データに対して画像回復処理を施し、様々な収差を補正することにより、画質を向上させることができる。しかしながら、実際の撮影では、画像データの撮影状態と、これを回復するための画像回復フィルタの状態とが完全には一致しない場合がある。その例として、撮影した画像データに飽和画素がある場合が挙げられる。飽和画素は本体の被写体情報を失っているため、実際に得られる画像データの劣化状態と、画像回復フィルタが回復対象として想定している画像データの劣化状態とが、一致しない事態が発生する。

また、レンズの焦点距離、絞り値、撮影距離等の撮影情報に応じて画像回復フィルタを選択又は生成する場合、実際の撮影状態と使用する撮影情報とに誤差があることもある。特に撮影距離は、立体被写体を撮影する場合は画角によって被写体距離が異なるために、実際に得られる画像データの劣化状態と、画像回復フィルタが回復対象として想定している画像データの劣化状態が一致しない事態が発生しやすい。

特に、画像回復フィルタが回復対象として想定している画像データよりも、実際に得られた画像データのほうが先鋭であった場合、画像回復フィルタを用いると、回復された画像データは過回復状態となり、エッジ部分ではアンダーシュート、オーバーシュートといった画質劣化を発生させる。特に低輝度部でのアンダーシュートは、画像回復処理後に適用されるガンマ処理によって増幅され、違和感のある画像データになる。

また、特許文献１に開示される技術においても、想定している点像分布関数（ＰＳＦ）と、実際に得られた画像データとに相違がある場合は、過回復が発生し、回復後の画像データの画質が劣化すると考えられる。

そこで、本発明の目的は、画像回復処理による画像データの過回復を低減させることにある。

本発明の画像処理装置は、撮像手段における撮像条件に対応する画像回復フィルタを用いて、前記撮像手段により撮像された画像データに対して画像回復処理を行う画像回復処理手段と、前記画像回復処理が行われた後の信号値と前記画像回復処理が行われる前の信号値の差分が、前記画像回復処理後に適用されるガンマ補正処理の特性に応じて決定される制限値以下であれば、前記画像回復処理が行われた後の信号値を出力し、前記制限値を超えていれば、前記画像回復処理が行われる前の信号値との差分が前記制限値以下となるように補正された信号値を出力する処理手段とを有することを特徴とする。

本発明によれば、画像回復処理による画像データの過回復を低減させることが可能となる。

本発明の実施形態に係る撮像装置の構成を示す図である。 本発明の第１の実施形態における画像回復処理部によって実行される画像回復処理を示すフローチャートである。 画像回復フィルタを説明するための図である。 変化量の制限値の算出方法を説明するための図である。 画像回復処理の前後における画像データの例を示す図である。 本発明の第２の実施形態における画像回復処理部によって実行される画像回復処理を示すフローチャートである。 設定された回復強度と、画像回復処理後のエッジにおけるぼけ成分の改善例とを示す図である。 変化量の制限値の算出処理に関する他の実施形態を説明するための図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図である。図１に示す本実施形態に係る撮像装置において、撮像光学系１０１は被写体像を撮像素子１０２上に結像する。なお、撮像光学系１０１は、開口径が制御される絞り１０１ａとピント調整を行うためのフォーカスレンズ１０１ｂとを備える。撮像素子１０２は、撮像光学系１０１によって結像された被写体像を電気信号に変換する。Ａ／Ｄコンバータ１０３は、撮像素子１０２から出力された電気信号をデジタル信号に変換し、画像データとして画像処理部１０４に対して出力する。画像処理部１０４は、画像回復処理を行う画像回復処理部１１１と、ガンマ補正処理等を行うその他画像処理部１１２とから構成される。画像回復処理は、ガンマ補正が適用される前の状態の画像データに対して行われ、画像回復された画像データに対してガンマ補正が行われる。

画像処理部１０４は、状態検知部１０７から撮像装置の撮影情報を取得する。なお、撮影情報には、レンズの焦点距離、絞り値、および、撮影距離等が含まれる。画像回復処理部１１１は、状態検知部１０７から取得された撮影情報に対応する画像回復フィルタを記憶部１０８から選択し、当該画像回復フィルタを用いて、画像処理部１０４に入力された画像データに対する画像回復処理を行う。状態検知部１０７は、システムコントローラ１１０から撮像装置に関する全ての撮影情報を得てもよいし、撮像装置に関する撮影情報のうち、撮像光学系１０１に関する撮影情報については、撮像光学系制御部１０６から別途得るようにしてもよい。システムコントローラ１１０は、撮像装置全体を統括制御する。撮像光学系制御部１０６は、システムコントローラ１１０の指示に応じて撮像光学系１０１を制御する。記憶部１０８は、撮影情報毎に画像回復フィルタを記憶する。画像記録媒体１０９は、画像処理部１０４によって処理された画像データを記憶する。表示部１０５は、システムコントローラ１１０の指示に応じて、画像処理部１０４によって処理された画像データを表示する。

次に、図２を参照しながら、画像回復処理部１１１によって実行される画像回復処理について説明する。

ステップＳ２０１において、画像回復処理部１１１は、状態検知部１０７から撮像装置の撮影情報を取得する。ステップＳ２０２において、画像回復処理部１１１は、取得した撮影情報に基づいて、撮像装置の撮像条件に適した画像回復フィルタを記憶部１０８から選択する。このとき、選択された画像回復フィルタを必要に応じて補正したり、選択した複数の画像回復フィルタを用いて補間することで新たな画像回復フィルタを生成したりしても構わない。これは、予め記憶部１０８に用意しておく画像回復フィルタのデータ量を低減するために、記憶部１０８内には離散的な撮像装置の撮像条件に対応したデータを用意しておき、この用意しておいたデータを用いて、実際に画像回復処理を実行する際の撮影条件に対応する画像回復フィルタを生成するものである。

図３は、画像回復フィルタを説明するための図である。画像回復フィルタは、撮像光学系の収差量に応じてタップ数を決めることができ、本実施形態では、１１×１１タップの２次元フィルタとしている。画像回復フィルタの各タップが画像データの１画素に対応している。

図３（ａ）に示すように、画像回復フィルタを１００以上に分割した２次元フィルタとすることにより、撮像光学系１０１による球面収差、コマ収差、軸上色収差、および、軸外色フレア等の、光束が本来結像すべき位置から大きく広がってしまう収差を回復することができる。また、入力される画像データに対して、このような実空間で画像回復フィルタをコンボリューション処理することにより、撮像装置中でフーリエ変換を行うことなく、画像データを回復させることができる。

図３（ａ）では、各タップ内の重み係数の値を省略しているが、この画像回復フィルタの或る断面におけるタップの重み係数の値を図３（ｂ）に示す。この画像回復フィルタは、撮像光学系１０１の光学伝達関数（ＯＴＦ）を計算又は計測し、その逆数を逆フーリエ変換して得ることができる。但し、実際の画像データにはノイズ成分があるため、光学伝達関数（ＯＴＦ）の逆数をとって作成した画像回復フィルタを用いると、ノイズ成分が増幅されてしまい、良好な画像データが得られない。従って、例えばウィーナーフィルタを用いて画像成分とノイズ成分との強度比に応じて画像データの高周波側の回復率を抑制することが行われる。

さらに光学伝達関数（ＯＴＦ）は、撮像光学系１０１のみならず、画像処理部１０４に入力される画像データに対して、光学伝達関数（ＯＴＦ）を劣化させる要因を含めることができる。例えば、ローパスフィルタは、光学伝達関数（ＯＴＦ）の周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義の光学伝達関数（ＯＴＦ）を計算または計測し、この広義の光学伝達関数（ＯＴＦ）に基づいて、画像回復フィルタを作成することが望ましい。

また、画像データがＲＧＢ形式のカラー画像データである場合は、Ｒ、Ｇ、Ｂの各色成分に対応した３つの画像回復フィルタを作成すればよい。撮像光学系１０１には色収差があり、色成分毎にぼけ方が異なるため、色成分毎の画像回復フィルタは特性が色収差に基づいて若干異なる。即ち、図３（ｂ）に示す画像回復フィルタの或る断面のタップの重み係数の値が色成分毎に異なることになる。なお、画像回復フィルタの縦横のタップ数に関しては正方配列である必要はなく、コンボリューション処理時に考慮するようにすれば任意に変更することができる。

図２に示すフローチャートの説明に戻る。ステップＳ２０３において、画像回復処理部１１１は、各画素において画像回復処理による変化量の制限値を算出する。この制限値は、画像回復処理前の画素の信号値と、画像回復処理後に適用されるガンマ補正の特性とに応じて算出される。

ガンマ補正とは、撮像素子１０２及びＡ／Ｄコンバータ１０３で取得された信号値を明るさに応じて調整する補正処理であり、ガンマ補正における入出力の特性は、一般的に図４（ａ）に示すような形状をしている。この形状から明らかであるが、ガンマ補正前の信号値の変化は低輝度側で増幅され、高輝度側では減衰される。つまり、画像回復処理による画素の信号値の変化量は、画像回復処理後のガンマ補正により低輝度側で増幅され、高輝度側では減衰することになる。

ステップＳ２０３では、このガンマ補正による画素の信号値のレベル毎の増幅及び減衰の違いを吸収し、画素の信号値の変化量の最大値がガンマ補正後でも一定になるように変化量の制限値を算出する。

図４（ｂ）を用いて、上記変化量の制限値の算出方法について具体的に説明する。ガンマ補正前の２つの画素の信号値ａ、ｂに関して考える。ａはｂよりも値が小さく、ａは低輝度側、ｂは高輝度側に位置している。今これら２つの画素の信号値がそれぞれガンマ補正後の状態でＫだけ値が減ることを許可するものとする。この場合、ガンマ補正前の状態において、画素の信号値ａにおける画素の信号値の減少の許容範囲は図中のＬｉｍ（ａ）となる。一方、画素の信号値ｂにおける画素の信号値の減少の許容範囲は図中のＬｉｍ（ｂ）となる。図４（ｂ）から明らかであるが、低輝度側ａの許容範囲Ｌｉｍ（ａ）は高輝度側ｂの許容範囲Ｌｉｍ（ｂ）よりも小さくなる。このようにガンマ補正後の状態での許容変化量Ｋから、ガンマ補正を考慮した変化量の制限値が算出される。

各画素レベルにおいてこの変化量の制限値を算出した例を図４（ｃ）に示す。図４（ｃ）に示すように、Ｋの値によって変化量の制限値の特性は異なり、図４（ｃ）の例では、Ｋ＝ｐ２における変化量の制限値は、Ｋ＝ｐ１における変化量の制限値よりも大きくなっている。ただし、ｐ２はｐ１よりも大きな値を示すものとする。この許容変化量Ｋは、撮像光学系１０１、撮像素子１０２及び画像処理部１０４を含めた一連の画像回復処理の流れにおいて、画像回復処理の過回復発生の可能性や過回復の程度を予め実験的に求めることで値を決定しておく。

図４（ｄ）は、図４（ｃ）における１つの変化量の制限値に関して原点付近を拡大した例を示している。上述のガンマ特性を考慮した変化量の制限値の算出方法では、画素の信号値が０に収束するときにＬｉｍ（ｘ）が０に収束しない場合がある。このような場合は、図４（ｄ）に示すように、原点を通る、変化量の制限値の近似曲線により、原点付近の制限値を求めてもよい。また、原点を通る、変化量の制限値に接する直線を引くことにより、原点付近の変化量の制限値を求めてもよい。

ステップＳ２０３で使用されるガンマ特性は、撮影に使用された撮像素子に対応したものが望ましいが、ガンマ特性の形状が似たガンマ特性のモデルを使用してもよい。また、変化量の制限値は予め算出しておいてもよいし、画像回復処理時に算出してもよい。予め算出しておく場合は、画素の信号値に対する変化量の制限値をテーブルの形や関数の形で保持しておき、画素の信号値に応じた変化量の制限値が取得される。

図２に示すフローチャートの説明に戻る。ステップＳ２０４において、画像回復処理部１１１は、ステップＳ２０２で得られた画像回復フィルタを用いて、撮像された画像データに対してコンボリューション処理を行う。これにより、撮像光学系で発生した収差による画像データのぼけ成分を除去又は低減することができる。ここで、ＲＧＢの色成分毎に適した画像回復フィルタを用いることにより、色収差も補正することができる。

画像回復処理において、実際に得られた画像データと、画像回復フィルタが回復対象として想定している画像データの劣化状態が一致しない場合、過回復になることがある。図５（ａ）は、飽和画素部分において過回復になった例として、画像データのエッジ部分の状態を示している。図５（ａ）の矩形で囲った部分に示すように、過回復により一部アンダーシュートが発生している箇所がある。図５（ｂ）は、画像回復処理前の画像データに対してガンマ補正を行った状態を示している。図５（ｃ）は、画像回復処理後の画像データに対してガンマ補正を行った状態を示している。図５（ｃ）に示すように、画像回復処理後の画像データはアンダーシュート部分がガンマ補正により増幅され、顕著に確認される。これが画質劣化や画像の違和感となって表れる。

そこで、ステップＳ２０５において、画像回復処理部１１１は、過回復を低減させるらめに変化量の制限処理を行う。画像回復処理部１１１は、ステップＳ２０３で算出した変化量の制限値に基づいて値の調整を行う。ここで、画像回復処理前の画素の信号値をＰ０、画像回復処理後の画素の信号値をＰ１、画素の信号値Ｐ０の変化量の制限値をＬｉｍ（Ｐ０）とする。画像回復処理前の画素の信号値Ｐ０と画像回復処理後の画素の信号値Ｐ１との差分が、画素の信号値Ｐ０の変化量の制限値Ｌｉｍ（Ｐ０）より大きい場合、変化量制限処理後の画素の信号値Ｐ２は、画像回復処理前の画素の信号値Ｐ０から画素の信号値Ｐ０の変化量の制限値Ｌｉｍ（Ｐ０）を減算した値となる。一方、画像回復処理前の画素の信号値Ｐ０と画像回復処理後の画素の信号値Ｐ１との差分が、画素の信号値Ｐ０の変化量の制限値Ｌｉｍ（Ｐ０）以下である場合、変化量制限処理後の画素の信号値Ｐ２は、画像回復処理後の画素の信号値Ｐ１の値となる。

図５（ｄ）は、変化量の制限処理後における画素の信号値の例を示しており、図５（ａ）の矩形で囲った領域を拡大したものである。図５（ｅ）は、変化量の制限処理を行った状態でガンマ補正を実行した場合の画素の信号値の例を示している。図５（ｅ）に示すように、図５（ｃ）に示したアンダーシュート部分が低減されているのが分かる。

ここでは、画像回復処理により値が減る場合における変化量の制限処理について述べているが、値が増加する場合においても変化量の制限処理を行ってもよい。このときの変化量の制限値の算出方法は、値が減少する場合と同様であるため、説明は省略する。画像回復処理によって信号値が増加する場合であって、信号値の変化量が制限値を超えている場合は、画像回復処理前の画素の信号値に制限値を加算した値が、変化量制限処理後の信号値となる。

なお、図２に示すフローチャートにおいて、変化量の制限値の算出処理（ステップＳ２０３）と画像回復処理（ステップＳ２０４）との順番はこれに限る必要はなく、逆の順番でもよい。即ち、ステップＳ２０４における画像回復処理前の画素の信号値を保持しておき、ステップＳ２０４の画像回復処理後にステップＳ２０３の変化量の制限値の算出処理を行う。そして、算出された変化量の制限値を用いてステップＳ２０５の変化量の制限処理を行っても同様の結果が得られる。

以上説明した図２のフローチャートに従って画像データ上の各画素に対して画像処理を行って終了となる。ここで、上述した実施形態では、画像回復処理が終わった画像データ全体に対して変化量の制限処理を行っている。他の実施形態として、画像データ上の１画素ずつ画像回復処理を行う際に、その画素における変化量の制限値を算出し、変化量の制限値を用いて変化量の制限処理を行うことにより、当該画素の信号値を決定してもよい。
また、本実施形態では、飽和画素部分に対して画像回復処理時に発生する過回復を抑制する方法について説明したが、本発明においては、原因に関わらず、画像回復処理時の過回復を抑制することができる。さらに、例えば歪曲補正処理や周辺光量補正処理やノイズ低減処理等の他の処理を、本実施形態における処理の前後や途中に組み合わせて行うことも可能である。

画像処理部１０４は、画像回復処理された画像データを画像記録媒体１０９に所定のフォーマットで保存する。ここで、画像記録媒体１０９に保存される画像データは、画像回復処理による過回復が低減された画像データである。また、画像処理部１０４は、画像回復処理後の画像データに対して表示用の所定の処理を行った後、表示部１０５に表示させてもよい。一連の制御はシステムコントローラ１１０で行われ、撮像光学系の機械的な駆動は、システムコントローラ１１０の指示に応じて撮像光学系制御部１０６によって実行される。

絞り１０１ａは、Ｆナンバの撮影状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により位置が制御される。この撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を含めても構わない。但し、ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合には、画像回復フィルタを作成する時点でそのような光学素子の影響を考慮することが望ましい。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各点像分布関数（ＰＳＦ）、特にＲチャンネルの点像分布関数（ＰＳＦ）に影響するため、画像回復フィルタを作成する時点で赤外カットフィルタの影響を考慮することが望ましい。

また、撮像光学系１０１は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであってもよい。また、光学伝達関数（ＯＴＦ）は１つの撮影状態においても撮像光学系の画角（像高）に応じて変化するので、像高に応じて分割された画像データの領域毎に変更して画像回復処理を行うことが望ましい。画像回復フィルタを、画像データ上をコンボリューション処理しながら走査させ、画像データの領域毎に画像回復フィルタを順次変更すればよい。

次に、本発明の第２の実施形態について説明する。第２の実施形態に係る撮像装置の構成は、図１に示した構成と同様であるため、以下の説明では図１の符合を用いるものとする。

図６は、本発明の第２の実施形態における画像回復処理部１１１によって実行される画像回復処理を示すフローチャートである。図６におけるステップＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４、Ｓ２０５の各処理は、第１の実施形態における図２の同一符号の処理に対応する処理である。以下では、第１の実施形態と共通する部分については説明を省略し、異なる部分について説明を行うものとする。

画像回復処理部１１１は、ステップＳ２０２で画像回復フィルタを選択した後、ステップＳ６０１において回復強度を取得する。ここで回復強度とは、予めユーザにより設定された画像回復処理の強さを示す設計値であり、値が大きいほど画像回復処理による画素の信号値の変化量が大きくなるようユーザがコントロールできるようにしたものである。なお、回復強度は、システムコントローラ１１０から画像処理部１０４に対して与えられる値である。

ステップＳ２０３において、画像回復処理部１１１は、取得した回復強度に応じて変化量の制限値を算出する。具体的には、回復強度に連動させて、図４（ｂ）に示すガンマ補正後の変化許容量Ｋを決定する。ユーザが設定した回復強度が大きいほど、それに連動させて変化許容量Ｋを大きく設定する。こうすることで、過回復を低減するための変化量の制限値を必要最小限に抑えることや、画像回復処理による変化量をコントロールすることでユーザの好みの画像データを得ることが可能になる。

図７は、設定された回復強度と、画像回復処理後のエッジにおけるぼけ成分の改善例とを示す図である。即ち、図７の７０１は、回復強度が高い場合におけるぼけ成分の改善例を示しており、図７の７０２は、回復強度が低い場合におけるぼけ成分の改善例を示している。なお、図７の７０１、７０２はともに、ガンマ補正処理後の画像データについて示したものである。このように、本実施形態においては、回復強度を設定することにより、エッジおけるぼけ成分の改善状態を変えることが可能になる。

上述した実施形態では撮像装置について述べたが、画像処理装置においても、回復強度の設定によって変化許容量Ｋを決定は有効に働く。事前に撮像された画像処理前の画像データ（Ａ／Ｄコンバータ１０３の出力データ）を記録しておき、記録された画像処理前の画像データに対し、後から画像回復処理を実行し結果を表示する画像処理装置を考える。この場合、設定された回復強度に対応する変化量の制限値で処理された画像データが表示されるため、ユーザは表示される画像データを確認しながら、好みの回復強度を決定することが可能になる。これにより、より高精度な変化量の制限処理を行うことができる。

また、ステップＳ２０３における変化量の制限値の算出処理に関する他の実施形態について説明する。上述したように、ガンマ補正によって主に低輝度側の信号が増幅されるので、過回復を低減するためには特に低輝度側の変化量の制限が重要となる。従って、低輝度側を重視するために、図８に示すように、或る閾値ａ以下の領域の変化量の制限値を単調増加するように直線近似し、閾値ａより大きい領域の変化量の制限値を一定値にしてもよい。こうすることで変化量の制限値としての特性は単純になり、変化量の制限値の算出や管理が簡単になることで処理の効率化を図ることができる。ユーザが設定した回復強度により変化量の制限値を可変にする場合は、変化許容量Ｋと併せて閾値aを可変にしてもよい。回復強度が大きくなるほど閾値aを大きくすることで、変化量の制限値をコントロールすることができる。

以上、本発明の実施形態について説明したが、本発明はその要旨の範囲内で種々の変形及び変更が可能であり、撮像装置での使用に限るものではなく、例えばＰＣ上で動作する画像処理ソフトのアルゴリズムとして用いることもできる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 撮像光学系
１０１ａ 絞り
１０１ｂ フォーカスレンズ
１０２ 撮像素子
１０３ ＡＤコンバータ
１０４ 画像処理部
１１１ 画像回復処理部
１１２ その他画像処理部
１０５ 表示部
１０６ 撮像光学系制御部
１０７ 状態検知部
１０８ 記憶部
１０９ 画像記録媒体
１１０ システムコントローラ

Claims (11)

1. 撮像手段における撮像条件に対応する画像回復フィルタを用いて、前記撮像手段により撮像された画像データに対して画像回復処理を行う画像回復処理手段と、
   前記画像回復処理が行われた後の信号値と前記画像回復処理が行われる前の信号値の差分が、前記画像回復処理後に適用されるガンマ補正処理の特性に応じて決定される制限値以下であれば、前記画像回復処理が行われた後の信号値を出力し、前記制限値を超えていれば、前記画像回復処理が行われる前の信号値との差分が前記制限値以下となるように補正された信号値を出力する処理手段とを有することを特徴とする画像処理装置。
2. 前記画像回復処理は、前記画像データに対して、前記撮像手段の光学伝達関数の逆数を逆フーリエ変換して得られるフィルタを適用する処理であることを特徴とする請求項１に記載の画像処理装置。
3. 前記処理手段は、
   前記画像回復処理が行われた後の信号値と前記画像回復処理が行われる前の信号値の差分が、前記制限値を超えていれば、前記画像回復処理が行われる前の信号値に前記制限値を加算あるいは減算して得られる信号値を出力することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記制限値は、前記画像データの画素の信号値に応じて決定される値であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記制限値は、前記画像データの画素の信号値が０である場合、０となるように決定された値であることを特徴とする請求項４に記載の画像処理装置。
6. 前記処理手段は、
   前記画像データの画素の信号値が閾値以下であれば、前記制限値を前記画像データの画素の信号値が増加することに応じて単調増加させ、
   前記画像データの画素の信号が閾値より大きければ、前記制限値を一定値に設定することを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記制限値を調整する調整手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記処理手段によって制限が行われた信号値を含む画像データを用いて、画像を表示する表示手段を有することを特徴とする請求項７に記載の画像処理装置。
9. 前記調整手段は、ユーザの指示に応じて前記制限値を調整するものであり、
   前記表示手段は、前記調整手段にて調整された前記制限値を用いて、前記処理手段によって補正された信号値を含む画像データを用いて、画像を表示することを特徴とする請求項８に記載の画像処理装置。
10. 画像処理装置によって実行される画像処理方法であって、
    撮像手段における撮像条件に対応する画像回復フィルタを用いて、前記撮像手段により撮像された画像データに対して画像回復処理を行う画像回復処理ステップと、
    前記画像回復処理が行われた後の信号値と前記画像回復処理が行われる前の信号値の差分が、前記画像回復処理後に適用されるガンマ補正処理の特性に応じて決定される制限値以下であれば、前記画像回復処理が行われた後の信号値を出力し、前記制限値を超えていれば、前記画像回復処理が行われる前の信号値との差分が前記制限値以下となるように補正された信号値を出力する処理ステップとを有することを特徴とする画像処理方法。
11. 撮像手段における撮像条件に対応する画像回復フィルタを用いて、前記撮像手段により撮像された画像データに対して画像回復処理を行う画像回復処理ステップと、
    前記画像回復処理が行われた後の信号値と前記画像回復処理が行われる前の信号値の差分が、前記画像回復処理後に適用されるガンマ補正処理の特性に応じて決定される制限値以下であれば、前記画像回復処理が行われた後の信号値を出力し、前記制限値を超えていれば、前記画像回復処理が行われる前の信号値との差分が前記制限値以下となるように補正された信号値を出力する処理ステップとをコンピュータに実行させるためのプログラム。

Images