JP5425136B2 - 画像処理方法、画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、画像に含まれるぼけ成分を低減するための画像回復処理を行う画像処理技術に関する。

デジタルカメラや交換レンズ等の光学機器を用いて被写体を撮像して得られた画像には、撮影光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ：Point Spread Function）により表され、光学系の収差の影響によって発生するぼけであって、ピントのずれによって発生するぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違ということができる。さらに、横方向の色ずれも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれということができる。

点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（ＯＴＦ：Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分をＭＴＦ（Modulation Transfer Function）と呼び、位相成分をＰＴＦ（Phase Transfer Function）と呼ぶ。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）とＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部と虚部を表す。

ＰＴＦ＝ｔａｎ^−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系の光学伝達関数（ＯＴＦ）は画像の振幅成分と位相成分を劣化させ、劣化した画像における被写体の各点はコマ収差のように非対称にぼけた状態になる。

また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。このため、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の拡がりが発生する。

振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正（低減）する方法が知られている。この方法は、画像回復や画像復元と呼ばれており、以下の説明では、光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像の劣化を補正する処理を画像回復処理または単に回復処理と記す。

実際に光学機器を製造する場合、レンズの形状、保持機構および駆動機構に製造誤差による個体差が発生する。この個体差は光学伝達関数（ＯＴＦ）に影響を与える。したがって、製造誤差にも対応してより高精度に画像回復処理を行うためには、光学機器の個体ごとの光学伝達関数（ＯＴＦ）に基づいて画像回復フィルタを生成することが望ましい。

特許文献１には、予め保持した複数の画像回復フィルタを用いて回復処理した複数の画像のうち所定の評価量が得られた画像に対して用いられた画像回復フィルタを実際の画像回復処理に用いる画像回復処理方法が開示されている。この方法によれば、上述した製造誤差による光学機器の個体差に対応することが可能である。

特開２００８−８５６９７号公報

しかしながら、特許文献１にて開示された方法を用いる場合、複数の画像回復フィルタによる回復処理を試行する必要があるため、最終的に回復画像を出力するまでに多大な処理時間を要する。

また、特許文献１にて開示された方法とは別に、光学機器の個体ごとに光学伝達関数を計測し、該個体ごとの画像回復フィルタを保持することで、個体差に対応することも考えられる。しかし、現像処理ソフトのように、複数の個体を一括して処理するシステムにおいては、それぞれの個体に対応した画像回復フィルタを予め保持しておくことは保持データ量が肥大化してしまい、現実的ではない。画像回復フィルタは、前述したようにＰＳＦの広がりを理想的には一点に補正するフィルタであるため、２次元かつ非対称な係数データ群であり、保持データ量の増大を招きやすい。

本発明は、処理時間と保持データ量の増加を抑制しつつ、光学機器の個体差に応じた良好な回復画像が得られるようにした画像処理方法、画像処理装置、撮像装置および画像処理プログラムを提供する。

本発明の一側面としての画像処理方法は、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するとともに、光学特性の相異に応じて光学機器ごとに異なる補正情報を用意し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された入力画像に対して、画像回復フィルタを用いて画像回復処理を行うことにより第１の回復画像を生成し、入力画像と第１の回復画像との差分に相当する第１の画像回復成分を取得し、該第１の画像回復成分を、特定光学機器に対応する補正情報を用いて補正して第２の画像回復成分を生成し、該第２の画像回復成分と入力画像とを合成して第２の回復画像を生成することを特徴とする。

また、本発明の他の一側面としての画像処理装置は、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを保持する記憶手段と、該複数の光学機器のうち特定光学機器を用いた撮像により生成された入力画像に対して画像回復フィルタを用いた画像回復処理を行う画像回復手段とを有する。そして、画像回復手段は、光学特性の相異に応じて光学機器ごとに異なる補正情報を取得し、入力画像に対して画像回復処理を行うことにより第１の回復画像を生成し、入力画像と第１の回復画像との差分に相当する第１の画像回復成分を取得し、該第１の画像回復成分を、特定光学機器に対応する補正情報を用いて補正して第２の画像回復成分を生成し、該第２の画像回復成分と入力画像とを合成して第２の回復画像を生成することを特徴とする。

なお、撮像を行って画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。

さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するステップと、該光学特性の相異に応じて光学機器ごとに異なる補正情報を用意するステップと、複数の光学機器のうち特定光学機器を用いた撮像により生成された入力画像に対して、画像回復フィルタを用いて画像回復処理を行うことにより第１の回復画像を生成するステップと、入力画像と第１の回復画像との差分に相当する第１の画像回復成分を取得するステップと、該第１の画像回復成分を、特定光学機器に対応する補正情報を用いて補正して第２の画像回復成分を生成するステップと、該第２の画像回復成分と入力画像とを合成して第２の回復画像を生成するステップとを含む処理を実行させることを特徴とする。

本発明によれば、画像回復フィルタとして複数の光学機器に対して共通のフィルタを用意し、該画像回復フィルタと光学機器ごとに用意された補正情報とを用いて最終的な回復画像（第２の回復画像）を得る。このため、処理時間と保持データ量の増加を抑制しつつ、光学機器の個体差に応じた良好な回復画像を得ることができる。

本発明の実施例１である画像処理方法における画像回復フィルタと個別補正情報との関係を示す図。 実施例１の画像処理方法にて用いられる画像回復フィルタを示す図。 図２に示した画像回復フィルタのタップ値を示す概念図。 実施例１の画像処理方法における点像の補正を示す図。 実施例１の画像処理方法におけるＭＴＦとＰＴＦを示す図。 製造誤差の光学特性への影響を示す図。 実施例１の画像処理方法を用いた画像回復処理を示すフローチャート。 実施例１における画像回復処理の流れを示す図。 実施例１における補正前後の画像のＭＴＦを示す図。 実施例１における１次回復画像、補正係数および２次回復画像のＭＴＦを示す図。 本発明の実施例２である撮像装置の構成を示すブロック図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、実施例にて用いられる用語の定義と画像回復処理について説明する。

「入力画像」
入力画像は、撮像により生成された画像である。具体的には、入力画像は、撮影光学系（以下、単に光学系ともいう）により形成された光学像としての被写体像をＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により光電変換して得られた撮像信号から生成されたデジタル画像である。該入力画像は、レンズや各種光学フィルタを含む光学系の収差、つまりは光学伝達関数（ＯＴＦ）に応じて劣化している。光学系は、レンズの他に、曲率を有するミラー等の反射面を用いて構成してもよい。

また、実施例にて説明する画像処理方法は、光学系を介さずに画像を撮像により生成する装置にも適用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置は、レンズ等により構成される光学系を持たないが、撮像素子からの撮像信号を用いて画像を生成する。そして、生成された画像には、光学系による劣化成分ではないが、光学伝達関数に相当する撮像システムの伝達関数に応じた劣化成分が含まれる。このため、光学系を持たなくても、撮像システム伝達関数に基づいて画像回復フィルタを生成する場合には、実施例にて説明する画像処理方法を用いることができる。このように、実施例にいう光学伝達関数（ＯＴＦ）には、撮像システムの伝達関数も含む。

また、入力画像の色成分は、例えば、ＲＧＢの色成分の情報を有している。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いたり、色温度を用いたりしてもよい。

さらに、入力画像には、光学系の焦点距離、絞り値、撮影距離等の撮像条件や、この画像を補正するための各種補正情報を付帯することができる。光学機器から別の画像処理装置に画像を受け渡して補正処理を行う場合には、上記のように画像への付帯情報として補正情報を付帯することが好ましい。また、補正情報は、光学機器と画像処理装置とを有線もしくは無線通信により接続して、又は着脱可能な記憶媒体を介して受け渡すこともできる。

「画像回復処理」および「画像回復フィルタ」
画像回復処理の概要は以下の通りである。劣化した画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分）を示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。画像が２次元画像であるとき、一般に、画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に、画像回復フィルタのタップ数（セルの数）は多いほど回復精度が向上するため、要求画質、画像処理能力および収差の特性等に応じて実現可能なタップ数を設定する。画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平および垂直方向に３ずつ程度のタップ数を有するエッジ強調フィルタ（ハイパスフィルタ）等とは異なる。画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて作成されるため、振幅成分および位相成分の劣化をともに高精度に補正することができる。

また、実際の画像にはノイズ成分があるため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、ノイズがある場合には鑑賞用画像としては良好な画像は得られない。これを式で示すと以下のように表せる。Ｎはノイズ成分を表している。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば、下記の式１に示すウィーナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて画像の高周波側の回復率を抑制する方法が知られている。

上記式１において、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性である。また、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）である。

この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、光学系のＭＴＦは低周波側が高く高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。

ここで、画像回復フィルタの例を、図２に示す。画像回復フィルタでは、収差特性や要求される回復精度に応じてタップ数、すなわちカーネルサイズが決められる。図２に示す画像回復フィルタは、１１×１１セルを有する２次元フィルタである。各セルが画像の１画素に対応する。図２では各タップ内の値を省略しているが、この画像回復フィルタの１つの断面を図３に示している。画像回復フィルタの各タップの値（係数値）の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を理想的には元の１点に戻す役割を果たす。

このような画像回復フィルタの各タップを劣化画像の各画素に対応させてコンボリューション処理が行われる。コンボリューション処理では、劣化画像中のある画素の信号値を改善するために、その画素を画像回復フィルタの中心タップと一致させる。そして、劣化画像とフィルタの対応画素ごとに劣化画像の信号値とフィルタの係数値との積をとり、その総和を劣化画像におけるフィルタ中心タップに対応する画素の信号値として置き換える。

画像回復の実空間と周波数空間での特性を、図４および図５を用いて説明する。図４中の（ａ）は回復前のＰＳＦを、（ｂ）は回復後のＰＳＦを示している。また、図５中の（Ｍ）の（ａ）は回復前のＭＴＦを、（Ｍ）の（ｂ）は回復後のＭＴＦを示している。さらに、図５の（Ｐ）の（ａ）は回復前のＰＴＦを、（Ｐ）の（ｂ）は回復後のＰＴＦを示している。回復前のＰＳＦは非対称な広がりを持っており、この非対称性によりＰＴＦは零ではない。回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、回復後のＰＳＦは対称で鮮鋭になる。

この画像回復フィルタは、光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。実施例で用いる画像回復フィルタは、適宜変更が可能であり、例えばウィナーフィルタを用いてもよい。ウィナーフィルタを用いる場合、式１を逆フーリエ変換することで画像回復フィルタを作成することができる。

実施例では、このような画像回復フィルタを、同機種として製造されたものの、製造誤差による個体差を有する複数の光学機器に対して共通のフィルタとして用いる。ただし、共通の画像回復フィルタとして、光学機器における代表的な撮像条件、例えば光学系の焦点距離、絞り値および撮影距離（被写体距離）に対応する複数の画像回復フィルタを用意する。

「個別補正情報」
個別補正情報は、例えば、製造誤差による個体差を有する光学機器ごとの片ぼけを示す情報である。片ぼけとは、製造誤差により、光学系を構成する複数のレンズ等の光学素子が互いに偏心することで、該光学系の像面での設計上の光学特性（結像特性）の回転対称性が崩れ、該像面上での位置（又は領域）ごとに結像状態が異なることをいう。製造誤差がなければ、光学系の結像特性は回転対称性を有する。なお、光学系の像面は、撮像素子の受光面又は画像と読み替えることもできる。また、像面上での位置は、像高と読み替えることもできる。

画像中の片ぼけの例を図６に示す。製造誤差がない場合の結像特性（ＭＴＦ）を基準としたとき、画像の左側はＭＴＦが低く鮮鋭度が低くなっており、右側はＭＴＦが高く鮮鋭度が高くなっている。個別補正情報は、このような画像上の位置ごとに異なる結像特性（つまりは片ぼけ）を示す情報であり、結像特性（光学特性）の相異に応じて光学機器の個体ごとに異なる情報である。

個別補正情報は、像面（撮像素子の受光面又は画像）における位置と結像特性との関係を示すテーブルデータとしてもよいし、像面における位置ごとの結像特性を示す関数およびその係数としてもよい。個別補正情報を関数として保持することで、テーブルデータとして保持するよりも保持データ量を削減することができる。

光学機器の個体ごとの個別補正情報は、該光学機器の製造時においてその光学特性を個別に計測することで取得することができる。なお、個別補正情報は、製造された全ての光学機器に保持させてもよいが、選択された複数の個体のみに保持させてもよい。

個別補正情報は、実際の像面が理想とする像面に対してどのように変形しているかを示す情報とすることができるので、画像上の各位置の光学伝達関数（ＯＴＦ）を測定する場合に比べて容易に作成することができる。

なお、画像を構成する色成分ごと（すなわち、色光ごと）に結像特性が異なる場合には、個別補正情報を、色成分ごとに異なる情報として作成することが望ましい。また、画像における画素の特徴量（これについては後述する）に応じて、画像回復効果の程度である回復度合いを調整するために、個別補正情報を該特徴量に応じて変更するようにしてもよい。

個別補正情報は、片ぼけに限らず、製造誤差に関するあらゆる要因によって画像上の位置によって結像特性が異なる場合に用いることができる。

図１には、本発明の実施例１である画像処理方法を用いて行われる画像回復処理における画像回復フィルタと個別補正情報との関係を示している。光学機器２１，２２，２３，・・・は、同機種として製造されたものの、製造誤差による個体差を有する複数の光学機器であり、デジタルカメラやビデオカメラ等の撮像装置や、撮像装置に対して着脱可能な交換レンズを含む。各光学機器を用いた撮像により生成された画像は、画像処理装置１０に入力画像として受け渡される。画像処理装置１０は、画像回復処理を実行するためのコンピュータプログラムである画像処理プログラムを搭載したコンピュータであり、入力画像に対して画像回復処理を行って、その結果である回復画像を出力する。

画像処理装置１０は、その内部メモリ（記憶手段）１１に、光学機器２１，２２，２３，・・・に対して共通の画像回復フィルタであって、前述したように代表的な撮像条件に対応する複数の画像回復フィルタを保持している。これら共通の画像回復フィルタは、例えば、撮像装置２１，２２，２３，・・・の光学系の設計上の光学伝達関数（ＯＴＦ）に基づいて作成することができる。

一方、光学機器２１，２２，２３，・・・はそれぞれ、個体ごとに異なる個別補正情報Ａ，Ｂ，Ｃ，・・・をその内部メモリ（図示せず）に保持している。

図７のフローチャートには、本実施例における画像回復処理の手順を示している。ここでは、光学機器として、レンズ一体型の撮像装置又は交換レンズが装着された撮像装置を想定している。画像処理装置１０は、ステップＳ１１にて、複数の光学機器２１，２２，２３，・・・のうち画像回復処理を行う入力画像の取り込み先である光学機器から、有線もしくは無線による通信により又は着脱可能な記憶媒体を介して入力画像を取得する。以下の説明において、入力画像の取り込み先である光学機器を、特定光学機器という。

次に、ステップＳ１２では、画像処理装置１０は、内部メモリ１１に保持された複数の画像回復フィルタから、特定光学機器における入力画像の生成時（撮像時）の撮像条件に対応する画像回復フィルタを選択又は生成する。ここで選択又は生成された画像回復フィルタを、使用画像回復フィルタともいう。撮像条件に関する情報は、特定光学機器から直接取得してもよいし、入力画像に付帯された撮像条件情報から取得してもよい。

使用画像回復フィルタとしては、内部メモリ１１に予め保持された複数の画像回復フィルタの中から実際の撮像条件に対応したもの又は近いものを選択すればよい。また、代表的な撮像条件に対応した画像回復フィルタを実際の撮像条件に応じて補正したものを使用画像回復フィルタとして生成してもよい。例えば代表的な撮像条件に対応した複数の画像回復フィルタのうち実際の撮像条件に近い２つの代表的な撮像条件に対応した画像回復フィルタから補間処理により使用画像回復フィルタを生成してもよい。

なお、仮に光学機器２１，２２，２３，・・・間に製造誤差による個体差がない場合であっても、光学系の結像特性、すなわち光学伝達関数（ＯＴＦ）が、該光学系の像面上、つまりは入力画像上における位置（又は領域）によって異なる。このため、使用画像回復フィルタは、入力画像上の位置（又は領域）によって変更することが望ましい。

次に、ステップＳ１３では、画像処理装置１０は、特定光学機器から前述した個別補正情報を取得して、内部メモリ１１に保持する。

次に、ステップＳ１４では、画像処理装置１０は、ステップＳ１２にて選択又は生成した使用画像回復フィルタを用いて入力画像に対して画像回復処理を行い、その結果画像としての１次回復画像（第１の回復画像）を生成する。

次に、ステップＳ１５では、画像処理装置１０は、ステップＳ１３で内部メモリ１１に保持した特定光学機器に対応する個別補正情報を用いて、１次回復画像に対して補正処理を行い、その結果画像としての２次回復画像（第２の回復画像）を生成する。そして、ステップＳ１６にて、該２次回復画像を出力する。

ここで、ステップＳ１５にて行われる１次回復画像に対する補正処理を、図８を用いて説明する。図中の記号ｍは、画像の色成分を表す。例えば、画像ＡがＲ，Ｇ，Ｂの３つの色成分により構成されている場合に、Ａｍは画像ＡのＲ成分、Ｇ成分およびＢ成分であるＡＲ，ＡＧ，ＡＢを表す。ただし、画像Ａは、入力画像ｇ、１次回復画像ｆｄ、回復画像成分Ｓおよび２次回復画像ｆであり、より詳しくは、画素の信号値を表す。

入力画像ｇｍに対して使用画像回復フィルタを用いた画像回復処理を行い、１次回復画像ｆｄｍを生成する。使用画像回復フィルタは、入力画像ｇｍのＲ，Ｇ，Ｂの色成分ごとに用意され、互いに異なる画像回復フィルタである。

そして、下記の式２に示すように、１次回復画像ｆｄｍにおける各画素の信号値から元の入力画像ｇｍにおける対応画素の信号値を減算して、画素ごとの第１の画像回復成分Ｓｍを取得する。この第１の画像回復成分Ｓｍは、画像回復処理の前後における画像（画素の信号値）の差分に相当し、画像の収差成分を表す。

次に、画素ごとに第１の画像回復成分Ｓｍに対して個別補正情報に基づく補正係数μｍを乗じて、第２の画像回復成分（Ｓｍ×μｍ）を生成する。色成分ごと（すなわち、色光ごと）に光学系の結像特性が異なることから、個別補正情報は、色成分ごとに異なる情報として用意されている。そして、画素ごとに第２の画像回復成分（Ｓｍ×μｍ）と入力画像ｇｍとを合成（加算）して、２次回復画像ｆｍを生成する。この２次回復画像ｆｍの生成は、下記の式３のように表現することができる。

ここで、μｍ＝０の場合は入力画像ｇｍが得られ、μｍ＝１の場合は１次回復画像ｇｍが得られる。すなわち、補正係数μｍは、入力画像からどれだけ収差を除去するかを制御する係数である。したがって、１次回復画像が過剰回復となっている場合はμｍ＜１とすれば回復度合いを減少させることができ、１次回復画像が回復不足となっている場合はμｍ＞１とすることで回復度合いを増加させることができる。

回復度合いの調整について、図９に示すＭＴＦを用いて説明する。図９の（ａ１）は製造誤差がない光学機器を用いた撮像により得られた入力画像のＭＴＦであり、（ｂ１）は（ａ１）の入力画像を回復処理して得られる適切なＭＴＦである。

（ａ２）および（ａ３）はそれぞれ、片ぼけ等によって入力画像の左右でＭＴＦが低くなった状態および高くなった状態を示している。製造誤差による個体差に対応していない共通の画像回復フィルタ（使用画像回復フィルタ）を用いて画像回復処理を行うと、（ｂ２）および（ｂ３）に示すように、（ｂ１）に示すＭＴＦに比べて、回復不足（ｂ２）および過剰回復（ｂ３）が発生する。そこで、画像回復処理により得られる第１の画像回復成分を個別補正情報（補正係数）を用いて補正することで、（ｂ２）および（ｂ３）に示すＭＴＦを（ｂ１）に示すＭＴＦに近づけるように回復度合いを調整することができる。

個別補正情報に基づく補正係数μｍについて、図１０を用いて説明する。図１０の（ａ）は、製造誤差がない光学機器を用いて得られた入力画像を回復処理して生成された１次回復画像のＭＴＦを１（目標値）としたときの、製造誤差を有する光学機器を用いて得られた入力画像を回復処理して生成された１次回復画像のＭＴＦを示している。入力画像が片ぼけしていたことにより、その１次回復画像の左側部分は回復不足となり、右側部分は過剰回復となっている。

図１０の（ｂ）は、個別補正情報に基づいて、画像の位置（画素）ごとに生成された補正係数を示す。補正係数は、図８に示した補正処理において、画像の位置ごとに製造誤差成分を相殺するように回復度合い（つまりは第１の画像回復成分）を補正する。１より大きい補正係数は回復度合いを強め、１より小さい補正係数は回復度合いを弱める。特定光学機器に対応する個別補正情報から、該特定光学機器を用いて得られる入力画像は、片ぼけによって左側部分のＭＴＦが右側部分に比べて低いことが分かる。そこで、左側部分の回復度合いを強め、右側部分の回復度合いを弱めるように補正係数を設定することで、図１０の（ｃ）に示すように画像全体において適切な回復度合い（ＭＴＦ＝１）が得られる。

個別補正情報は、入力画像内での結像特性の分布を示す情報であってもよいし、テーブルデータや関数として保持された補正係数そのものであってもよい。

また、画像回復処理において、収差がより顕著に目立つ画像のエッジ部分にのみ画像回復効果を与えるように回復度合いを変更してもよい。例えば、画像の画素値（信号値）の変化が低い平坦部と画素値の変化が大きいエッジ部とが存在する場合、画像回復成分は前述したように収差成分に相当するため、エッジ部に絶対値の大きな画像回復成分が存在している。一方、平坦部の画像回復成分は収差成分ではなく、増幅されたノイズ成分を支配的に含む。このため、平坦部の画像回復成分を零に補正することで、エッジ部にのみ画像回復効果を与え、平坦部は入力画像のままとすることができる。

さらに、平坦部とエッジ部で回復度合いを変更するだけでなく、画素値の変化量、言い換えれば、画素の特徴量に応じて回復度合いを変更してもよい。画素の特徴量に応じて回復度合いを変更する方法としては、画像回復成分の補正だけでなく、個別補正情報や該個別補正情報を用いて補正された画像回復成分の補正によってもよい。画素の特徴量としては、平坦部とエッジ部以外に、例えば、輝度の飽和度がある。

このように本実施例では、個体差を持つ複数の光学機器に対して、データ量が大きな画像回復フィルタは共通に用意し、データ量が小さな個別補正情報を用いて結像特性が異なる個々の光学機器に適した回復画像（２次回復画像）を得る。これにより、処理時間やデータ量の増大を抑制しつつ、光学機器の個体差を反映した良好な回復画像を得ることができる。

従来は、回復度合いを変更するためには、式２を再度用いて、画像回復フィルタのゲインを変更して画像回復フィルタを再生成するという画像のフィルタリングが必要であり、画像における位置に応じて回復度合いを詳細に調整する負荷が大きい。これに対して、本実施例によれば、個体差に応じて画素ごとに回復度合いを変更するために必要な処理は画像の合成であるため、負荷が小さく、補正処理を高速に行うことができる。

なお、光学機器２１，２２，２３，・・・が交換レンズである場合に、画像処理装置１０をレンズ交換型の撮像装置に搭載することで、光学機器２１，２２，２３，・・・の個体差に対応する良好な回復画像を撮像装置から出力することができる。本発明は、この場合の撮像装置も実施例として含む。

図１１には、本発明の実施例２である撮像装置の構成を示している。該撮像装置は、撮像により画像を生成する撮像系と、実施例１にて説明した画像処理装置を含む。

不図示の被写体からの光束は、撮像光学系１０１によって、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。

撮像光学系１０１は、不図示の変倍レンズ、絞り１０１ａおよびフォーカスレンズ１０１ｂを含む。変倍レンズを光軸方向に移動させることで、撮像光学系１０１の焦点距離を変更するズームが可能である。また、絞り１０１ａは、絞り開口径を増減させて、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構によって光軸方向の位置が制御される。撮像光学系制御部１０６は、システムコントローラ１１０からの制御信号に応じて、変倍レンズや絞り１０１ａの駆動やＡＦを制御する。

撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学フィルタを含ませてもよい。ただし、光学フィルタは撮像光学系１０１の光学伝達関数（ＯＴＦ）の特性に影響を与える場合があるので、この場合は画像回復フィルタを作成する際に光学フィルタの考慮が必要になる。

撮像素子１０２上に形成された被写体像は、該撮像素子１０２により電気信号に変換される。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。

画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する。撮像素子１０２から画像処理部１０４のうちカラー入力画像を生成する部分までが撮像系に相当する。また、画像処理部１０４は、入力画像に対して実施例１にて説明した画像回復処理を行う画像処理装置として機能する部分（画像回復手段）を含む。

画像処理部１０４は、撮像条件検知部１０７から、撮像光学系１０１の焦点距離、絞り値、撮影距離を含む撮像条件を取得する。撮像条件検知部１０７は、システムコントローラ１１０から撮像条件の情報を得てもよいし、撮像光学系１０１を制御する撮像光学系制御部１０６から得てもよい。

そして、画像処理部１０４は、実施例１にて説明したように、撮像条件に応じた画像回復フィルタ（使用画像回復フィルタ）を記憶部１０８から選択したり生成したりする。画像回復フィルタは、実施例１にて説明したように、他の同機種の撮像装置にも共通して用いられる画像回復フィルタである。記憶部１０８は、実施例１にて説明した画像処理装置１０の内部メモリ１１に代わる記憶手段である。さらに、画像処理部１０４は、記憶部１０８から、この撮像装置の個別補正情報を読み出し、該個別補正情報に基づいて生成した補正係数を用いて、入力画像と第１の回復画像との差分に相当する第１の画像回復成分を補正する。これにより、第２の画像回復成分を生成する。そして、第２の画像回復成分を入力画像に合成して、出力画像としての第２の回復画像を生成する。

画像処理部１０４は、第２の回復画像を画像記録媒体１０９に所定のフォーマットで保存する。また、表示部１０５に、第２の回復画像を表示する。

本実施例によれば、画像処理部１０４での処理時間や記憶部１０８にて保持すべきデータ量の増大を抑制しつつ、該撮像装置の他の撮像装置に対する個体差を反映した良好な回復画像（第２の回復画像）を得ることができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

光学機器の個体差を反映した良好な回復画像が得られる画像処理装置を提供できる。

１０ 画像処理装置
１１ 内部メモリ
２１〜２３ 光学機器

Claims (10)

1. 互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するとともに、前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を用意し、
   前記複数の光学機器のうち特定光学機器を用いた撮像により生成された入力画像に対して、前記画像回復フィルタを用いて画像回復処理を行うことにより第１の回復画像を生成し、
   前記入力画像と前記第１の回復画像との差分に相当する第１の画像回復成分を取得し、
   該第１の画像回復成分を、前記特定光学機器に対応する前記補正情報を用いて補正して第２の画像回復成分を生成し、
   該第２の画像回復成分と前記入力画像とを合成して第２の回復画像を生成することを特徴とする画像処理方法。
2. １つの前記入力画像における位置ごとに用意した前記画像回復フィルタを用いて前記画像回復処理を行い、
   前記第１の画像回復成分を、前記位置ごとに異なる前記補正情報を用いて補正して前記第２の画像回復成分を生成することを特徴とする請求項１に記載の画像処理方法。
3. 前記補正情報は、前記入力画像を構成する色成分ごとに異なることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記光学特性は、前記各光学機器の像面における位置ごとの結像特性であることを特徴とする請求項１から３のいずれか１項に記載の画像処理方法。
5. 前記入力画像または前記第１の回復画像における画素の特徴量に応じて前記補正情報を変更することを特徴とする請求項１から４のいずれか１項に記載の画像処理方法。
6. 前記補正情報を、前記各光学機器から取得することを特徴とする請求項１から５のいずれか１項に記載の画像処理方法。
7. 前記補正情報を、前記入力画像の付帯情報とすることを特徴とする請求項１から５のいずれか１項に記載の画像処理方法。
8. 互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを保持する記憶手段と、
   前記複数の光学機器のうち特定光学機器を用いた撮像により生成された入力画像に対して前記画像回復フィルタを用いた画像回復処理を行う画像回復手段とを有し、
   前記画像回復手段は、
   前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を取得し、
   前記入力画像に対して前記画像回復処理を行うことにより第１の回復画像を生成し、
   前記入力画像と前記第１の回復画像との差分に相当する第１の画像回復成分を取得し、
   該第１の画像回復成分を、前記特定光学機器に対応する前記補正情報を用いて補正して第２の画像回復成分を生成し、
   該第２の画像回復成分と前記入力画像とを合成して第２の回復画像を生成することを特徴とする画像処理装置。
9. 撮像を行って画像を生成する撮像系と、
   請求項８に記載の画像処理装置とを有することを特徴とする撮像装置。
10. コンピュータに、
    互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するステップと、
    前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を用意するステップと、
    前記複数の光学機器のうち特定光学機器を用いた撮像により生成された入力画像に対して、前記画像回復フィルタを用いて画像回復処理を行うことにより第１の回復画像を生成するステップと、
    前記入力画像と前記第１の回復画像との差分に相当する第１の画像回復成分を取得するステップと、
    該第１の画像回復成分を、前記特定光学機器に対応する前記補正情報を用いて補正して第２の画像回復成分を生成するステップと、
    該第２の画像回復成分と前記入力画像とを合成して第２の回復画像を生成するステップとを含む処理を実行させるコンピュータプログラムであることを特徴とする画像処理プログラム。