JP5425135B2 - 画像処理方法、画像処理装置、撮像装置および画像処理プログラム - Google Patents

Description

本発明は、画像に含まれるぼけ成分を低減するための画像回復処理を行う画像処理技術に関する。

デジタルカメラや交換レンズ等の光学機器を用いて被写体を撮像して得られた画像には、撮影光学系（以下、単に光学系という）の球面収差、コマ収差、像面湾曲、非点収差等に起因する画像劣化成分としてのぼけ成分が含まれる。このようなぼけ成分は、無収差で回折の影響もない場合に被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが、ある広がりをもって像を結ぶことで発生する。

ここにいうぼけ成分は、光学的には、点像分布関数（ＰＳＦ：Point Spread Function）により表され、光学系の収差の影響によって発生するぼけであって、ピントのずれによって発生するぼけとは異なる。また、カラー画像での色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違ということができる。さらに、横方向の色ずれも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれということができる。

点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（ＯＴＦ：Optical Transfer Function）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分をＭＴＦ（Modulation Transfer Function）と呼び、位相成分をＰＴＦ（Phase Transfer Function）と呼ぶ。ＭＴＦおよびＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）とＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部と虚部を表す。
ＰＴＦ＝ｔａｎ^−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、光学系の光学伝達関数（ＯＴＦ）は画像の振幅成分と位相成分を劣化させ、劣化した画像における被写体の各点はコマ収差のように非対称にぼけた状態になる。

また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。このため、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の拡がりが発生する。

振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を、光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正（低減）する方法が知られている。この方法は、画像回復や画像復元と呼ばれており、以下の説明では、光学系の光学伝達関数（ＯＴＦ）の情報を用いて画像の劣化を補正する処理を画像回復処理または単に回復処理と記す。

実際に光学機器を製造する場合、レンズの形状、保持機構および駆動機構に製造誤差による個体差が発生する。この個体差は光学伝達関数（ＯＴＦ）に影響を与える。したがって、製造誤差にも対応してより高精度に画像回復処理を行うためには、光学機器の個体ごとの光学伝達関数（ＯＴＦ）に基づいて画像回復フィルタを生成することが望ましい。

特許文献１には、予め保持した複数の画像回復フィルタを用いて回復処理した複数の画像のうち所定の評価量が得られた画像に対して用いられた画像回復フィルタを実際の画像回復処理に用いる画像回復処理方法が開示されている。この方法によれば、上述した製造誤差による光学機器の個体差に対応することが可能である。

特開２００８−８５６９７号公報

しかしながら、特許文献１にて開示された方法を用いる場合、複数の画像回復フィルタによる回復処理を試行する必要があるため、最終的に回復画像を出力するまでに多大な処理時間を要する。

また、特許文献１にて開示された方法とは別に、光学機器の個体ごとに光学伝達関数を計測し、該個体ごとの画像回復フィルタを保持することで、個体差に対応することも考えられる。しかし、現像処理ソフトのように、複数の個体を一括して処理するシステムにおいては、それぞれの個体に対応した画像回復フィルタを予め保持しておくことは保持データ量が肥大化してしまい、現実的ではない。画像回復フィルタは、前述したようにＰＳＦの広がりを理想的には一点に補正するフィルタであるため、２次元かつ非対称な係数データ群であり、保持データ量の増大を招きやすい。

本発明は、処理時間と保持データ量の増加を抑制しつつ、光学機器の個体差に応じた良好な回復画像が得られるようにした画像処理方法、画像処理装置、撮像装置および画像処理プログラムを提供する。

本発明の一側面としての画像処理方法は、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するとともに、該光学特性の相異に応じて光学機器ごとに異なる補正情報を用意し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行う。具体的には、特定光学機器に対応する補正情報を用いて画像回復フィルタを補正することにより補正画像回復フィルタを生成し、補正画像回復フィルタを用いて上記画像に対する画像回復処理を行うことを特徴とする。

また、本発明の他の一側面としての画像処理装置は、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを保持する記憶手段と、該光学特性の相異に応じて光学機器ごとに異なる補正情報を取得し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行う画像回復手段とを有する。そして、画像回復手段は、特定光学機器に対応する補正情報を用いて画像回復フィルタを補正することにより補正画像回復フィルタを生成し、補正画像回復フィルタを用いて上記画像に対する画像回復処理を行うことを特徴とする。

なお、撮像を行って画像を生成する撮像系と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに、互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意し、該光学特性の相異に応じて光学機器ごとに異なる補正情報を用意し、該複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、画像回復フィルタと該特定光学機器に対応する補正情報とを用いて画像回復処理を行う画像処理を実行させる。そして、該画像処理は、特定光学機器に対応する補正情報を用いて画像回復フィルタを補正することにより補正画像回復フィルタを生成し、補正画像回復フィルタを用いて画像に対する画像回復処理を行うことを特徴とする。

本発明によれば、画像回復フィルタとして複数の光学機器に対して共通のフィルタを用意し、該画像回復フィルタと光学機器ごとに用意された補正情報とを用いて画像回復処理を行う。具体的には、特定光学機器に対応する補正情報を用いて画像回復フィルタを補正することにより補正画像回復フィルタを生成し、補正画像回復フィルタを用いて画像回復処理を行う。このため、処理時間と保持データ量の増加を抑制しつつ、光学機器の個体差に応じた良好な回復画像を得ることができる。

本発明の実施例１である画像処理方法における画像回復フィルタと個別補正情報との関係を示す図。 実施例１の画像処理方法にて用いられる画像回復フィルタを示す図。 図２に示した画像回復フィルタのタップ値を示す概念図。 実施例１の画像処理方法における点像の補正を示す図。 実施例１の画像処理方法におけるＭＴＦとＰＴＦを示す図。 製造誤差の光学特性への影響を示す図。 実施例１の画像処理方法を用いた画像回復処理を示すフローチャート。 実施例１における補正フィルタによる画像回復フィルタの補正を示す図。 実施例１における補正前後の画像回復フィルタを示す図。 実施例１における補正前後の画像のＭＴＦを示す図。 実施例１における補正前の画像回復フィルタの例を示す図。 実施例１における補正後の画像回復フィルタの例を示す図。 本発明の実施例２である画像処理方法を用いた画像回復処理を示すフローチャート。 本発明の実施例３である撮像装置の構成を示すブロック図。

以下、本発明の実施例について図面を参照しながら説明する。

まず、具体的な実施例の説明に先立って、実施例にて用いられる用語の定義と画像回復処理について説明する。

「入力画像」
入力画像は、撮像により生成された画像である。具体的には、入力画像は、撮影光学系（以下、単に光学系ともいう）により形成された光学像としての被写体像をＣＣＤセンサやＣＭＯＳセンサ等の撮像素子により光電変換して得られた撮像信号から生成されたデジタル画像である。該入力画像は、レンズや各種光学フィルタを含む光学系の収差、つまりは光学伝達関数（ＯＴＦ）に応じて劣化している。光学系は、レンズの他に、曲率を有するミラー等の反射面を用いて構成してもよい。

また、実施例にて説明する画像処理方法は、光学系を介さずに画像を撮像により生成する装置にも適用することができる。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）やＸ線撮像装置は、レンズ等により構成される光学系を持たないが、撮像素子からの撮像信号を用いて画像を生成する。そして、生成された画像には、光学系による劣化成分ではないが、光学伝達関数に相当する撮像システムの伝達関数に応じた劣化成分が含まれる。このため、光学系を持たなくても、撮像システム伝達関数に基づいて画像回復フィルタを生成する場合には、実施例にて説明する画像処理方法を用いることができる。このように、実施例にいう光学伝達関数（ＯＴＦ）には、撮像システムの伝達関数も含む。

また、入力画像の色成分は、例えば、ＲＧＢの色成分の情報を有している。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号等、一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いたり、色温度を用いたりしてもよい。

さらに、入力画像には、光学系の焦点距離、絞り値、撮影距離等の撮像条件や、この画像を補正するための各種補正情報を付帯することができる。光学機器から別の画像処理装置に画像を受け渡して補正処理を行う場合には、上記のように画像への付帯情報として補正情報を付帯することが好ましい。また、補正情報は、光学機器と画像処理装置とを有線もしくは無線通信により接続して、又は着脱可能な記憶媒体を介して受け渡すこともできる。

「画像回復処理」および「画像回復フィルタ」
画像回復処理の概要は以下の通りである。劣化した画像（入力画像）をｇ（ｘ，ｙ）とし、劣化していない元の画像をｆ（ｘ，ｙ）とする。また、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする。このとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分）を示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、上記式をフーリエ変換により２次元周波数面での表示形式に変換すると、以下の式のように、周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）をフーリエ変換したものであり、光学伝達関数（ＯＴＦ）である。Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
劣化画像から元の画像を得るためには、以下のように、両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）に相当する回復画像が得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を、画像回復フィルタという。画像が２次元画像であるとき、一般に、画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に、画像回復フィルタのタップ数（セルの数）は多いほど回復精度が向上するため、要求画質、画像処理能力および収差の特性等に応じて実現可能なタップ数を設定する。画像回復フィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平および垂直方向に３ずつ程度のタップ数を有するエッジ強調フィルタ（ハイパスフィルタ）等とは異なる。画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて作成されるため、振幅成分および位相成分の劣化をともに高精度に補正することができる。

また、実際の画像にはノイズ成分があるため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、ノイズがある場合には鑑賞用画像としては良好な画像は得られない。これを式で示すと以下のように表せる。Ｎはノイズ成分を表している。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば、下記の式１に示すウィナーフィルタ（Wiener filter）のように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて画像の高周波側の回復率を抑制する方法が知られている。

上記式１において、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性である。また、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）である。

この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、光学系のＭＴＦは低周波側が高く高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。

ここで、画像回復フィルタの例を、図２に示す。画像回復フィルタでは、収差特性や要求される回復精度に応じてタップ数、すなわちカーネルサイズが決められる。図２に示す画像回復フィルタは、１１×１１セルを有する２次元フィルタである。各セルが画像の１画素に対応する。図２では各タップ内の値を省略しているが、この画像回復フィルタの１つの断面を図３に示している。画像回復フィルタの各タップの値（係数値）の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を理想的には元の１点に戻す役割を果たす。

このような画像回復フィルタの各タップを劣化画像の各画素に対応させてコンボリューション処理が行われる。コンボリューション処理では、劣化画像中のある画素の信号値を改善するために、その画素を画像回復フィルタの中心タップと一致させる。そして、劣化画像とフィルタの対応画素ごとに劣化画像の信号値とフィルタの係数値との積をとり、その総和を劣化画像におけるフィルタ中心タップに対応する画素の信号値として置き換える。

画像回復の実空間と周波数空間での特性を、図４および図５を用いて説明する。図４中の（ａ）は回復前のＰＳＦを、（ｂ）は回復後のＰＳＦを示している。また、図５中の（Ｍ）の（ａ）は回復前のＭＴＦを、（Ｍ）の（ｂ）は回復後のＭＴＦを示している。さらに、図５の（Ｐ）の（ａ）は回復前のＰＴＦを、（Ｐ）の（ｂ）は回復後のＰＴＦを示している。回復前のＰＳＦは非対称な広がりを持っており、この非対称性によりＰＴＦは零ではない。回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、回復後のＰＳＦは対称で鮮鋭になる。

この画像回復フィルタは、光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。実施例で用いる画像回復フィルタは、適宜変更が可能であり、例えばウィナーフィルタを用いてもよい。ウィナーフィルタを用いる場合、式１を逆フーリエ変換することで画像回復フィルタを作成することができる。

実施例では、このような画像回復フィルタを、同機種として製造されたものの、製造誤差による個体差を有する複数の光学機器に対して共通のフィルタとして用いる。ただし、共通の画像回復フィルタとして、光学機器における代表的な撮像条件、例えば光学系の焦点距離、絞り値および撮影距離（被写体距離）に対応する複数の画像回復フィルタを用意する。

「個別補正情報」
個別補正情報は、例えば、製造誤差による個体差を有する光学機器ごとの片ぼけを示す情報である。片ぼけとは、製造誤差により、光学系を構成する複数のレンズ等の光学素子が互いに偏心することで、該光学系の像面での設計上の光学特性（結像特性）の回転対称性が崩れ、該像面上での位置（又は領域）ごとに結像状態が異なることをいう。製造誤差がなければ、光学系の結像特性は回転対称性を有する。なお、光学系の像面は、撮像素子の受光面又は画像と読み替えることもできる。また、像面上での位置は、像高と読み替えることもできる。

画像中の片ぼけの例を図６に示す。製造誤差がない場合の結像特性（ＭＴＦ）を基準としたとき、画像の左側はＭＴＦが低く鮮鋭度が低くなっており、右側はＭＴＦが高く鮮鋭度が高くなっている。個別補正情報は、このような画像上の位置ごとに異なる結像特性（つまりは片ぼけ）を示す情報であり、結像特性（光学特性）の相異に応じて光学機器の個体ごとに異なる情報である。

個別補正情報は、像面（撮像素子の受光面又は画像）における位置と結像特性との関係を示すテーブルデータとしてもよいし、像面における位置ごとの結像特性を示す関数およびその係数としてもよい。個別補正情報を関数として保持することで、テーブルデータとして保持するよりも保持データ量を削減することができる。

光学機器の個体ごとの個別補正情報は、該光学機器の製造時においてその光学特性を個別に計測することで取得することができる。なお、個別補正情報は、製造された全ての光学機器に保持させてもよいが、選択された複数の個体のみに保持させてもよい。

個別補正情報は、実際の像面が理想とする像面に対してどのように変形しているかを示す情報とすることができるので、画像上の各位置の光学伝達関数（ＯＴＦ）を測定する場合に比べて容易に作成することができる。

なお、画像を構成する色成分ごと（すなわち、色光ごと）に結像特性が異なる場合には、個別補正情報を、色成分ごとに異なる情報として作成することが望ましい。また、画像における画素の特徴量（これについては後述する）に応じて、画像回復効果の程度である回復度合いを調整するために、個別補正情報を該特徴量に応じて変更するようにしてもよい。

個別補正情報は、片ぼけに限らず、製造誤差に関するあらゆる要因によって画像上の位置によって結像特性が異なる場合に用いることができる。

図１には、本発明の実施例１である画像処理方法を用いて行われる画像回復処理における画像回復フィルタと個別補正情報との関係を示している。光学機器２１，２２，２３，・・・は、同機種として製造されたものの、製造誤差による個体差を有する複数の光学機器であり、デジタルカメラやビデオカメラ等の撮像装置や、撮像装置に対して着脱可能な交換レンズを含む。各光学機器を用いた撮像により生成された画像は、画像処理装置１０に入力画像として受け渡される。画像処理装置１０は、画像回復処理を実行するためのコンピュータプログラムである画像処理プログラムを搭載したコンピュータであり、入力画像に対して画像回復処理を行って、その結果である回復画像を出力する。

画像処理装置１０は、その内部メモリ（記憶手段）１１に、光学機器２１，２２，２３，・・・に対して共通の画像回復フィルタであって、前述したように代表的な撮像条件に対応する複数の画像回復フィルタを保持している。これら共通の画像回復フィルタは、例えば、撮像装置２１，２２，２３，・・・の光学系の設計上の光学伝達関数（ＯＴＦ）に基づいて作成することができる。

一方、光学機器２１，２２，２３，・・・はそれぞれ、個体ごとに異なる個別補正情報Ａ，Ｂ，Ｃ，・・・をその内部メモリ（図示せず）に保持している。

図７のフローチャートには、本実施例における画像回復処理の手順を示している。ここでは、光学機器として、レンズ一体型の撮像装置又は交換レンズが装着された撮像装置を想定している。画像処理装置１０は、ステップＳ１１にて、複数の光学機器２１，２２，２３，・・・のうち画像回復処理を行う入力画像の取り込み先である光学機器から、有線もしくは無線による通信により又は着脱可能な記憶媒体を介して入力画像を取得する。以下の説明において、入力画像の取り込み先である光学機器を、特定光学機器という。

次に、ステップＳ１２では、画像処理装置１０は、内部メモリ１１に保持された複数の画像回復フィルタから、特定光学機器における入力画像の生成時（撮像時）の撮像条件に対応する画像回復フィルタを選択又は生成する。ここで選択又は生成された画像回復フィルタを、使用画像回復フィルタともいう。撮像条件に関する情報は、特定光学機器から直接取得してもよいし、入力画像に付帯された撮像条件情報から取得してもよい。

使用画像回復フィルタとしては、内部メモリ１１に予め保持された複数の画像回復フィルタの中から実際の撮像条件に対応したもの又は近いものを選択すればよい。また、代表的な撮像条件に対応した画像回復フィルタを実際の撮像条件に応じて補正したものを使用画像回復フィルタとして生成してもよい。例えば代表的な撮像条件に対応した複数の画像回復フィルタのうち実際の撮像条件に近い２つの代表的な撮像条件に対応した画像回復フィルタから補間処理により使用画像回復フィルタを生成してもよい。

なお、仮に光学機器２１，２２，２３，・・・間に製造誤差による個体差がない場合であっても、光学系の結像特性、すなわち光学伝達関数（ＯＴＦ）が、該光学系の像面上、つまりは入力画像上における位置（又は領域）によって異なる。このため、使用画像回復フィルタは、入力画像上の位置（又は領域）によって変更することが望ましい。

次に、ステップＳ１３では、画像処理装置１０は、特定光学機器から前述した個別補正情報を取得して、内部メモリ１１に保持する。

次に、ステップＳ１４では、画像回復手段としての画像処理装置１０は、ステップＳ１２で内部メモリ１１に保持した使用画像回復フィルタを、ステップＳ１３で内部メモリ１１に保持した個別補正情報から生成した補正フィルタを用いて補正する。

図８中の（ａ）には補正前の画像回復フィルタを示しており、（ｂ）には個別補正情報に対応するように生成された補正フィルタを示しており、ともに係数値は省略されている。補正フィルタは、ハイパスフィルタやローパスフィルタを用いることができる。

画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて生成されるため、図２に示したように、例えば１１×１１タップという比較的多くのタップ数を有する。これに対して、補正フィルタは、画像回復フィルタのゲインを増減する機能を主とすることで、例えば３×３タップといった少ないタップ数、つまりはデータ量で画像回復フィルタを補正することができる。

画像回復フィルタに補正フィルタをコンボリューションすることにより、画像回復フィルタの特性を補正することができる。補正の前後の画像回復フィルタの係数値の変化を、図９に示す。図９中の（ａ）と（ｂ）はそれぞれ、補正前の画像回復フィルタと補正後の画像回復フィルタの同一断面での係数値を示している。

また、図１０には、補正フィルタによる画像回復フィルタの補正の有無と、画像回復処理によるＭＴＦの変化との関係を示す。図１０中の（ａ）は回復処理前の入力画像のＭＴＦであり、（ｂ）は補正フィルタにより補正をしていない画像回復フィルタを用いた回復処理後の画像のＭＴＦである。（ｃ）は補正フィルタとしてのハイパスフィルタで補正した画像回復フィルタを用いた回復処理後の画像のＭＴＦである。（ｄ）は補正フィルタとしてのローパスフィルタで補正した画像回復フィルタを用いた回復処理後の画像のＭＴＦである。このように、製造誤差による個体差のある光学機器により生成された画像のＭＴＦを、該光学機器から取得した個別補正情報に基づいて補正した画像回復フィルタを用いて、該個体差に応じて回復させることができる。

図１１には、入力画像の複数の位置に対して予め離散的に用意されて内部メモリ１１に保持された複数の画像回復フィルタを示している。互いに同一の番号（１〜８）が付された画像回復フィルタは、互いに同一の画像回復フィルタであることを示している。図１１では、光学系の結像特性の回転対称性に対応するように、互いに同一の画像回復フィルタが画像の中心回りで回転対称性を有するように適用される。ただし、互いに同一の画像回復フィルタであっても、それらの向きは異なる。

図１２には、図１１に示した複数の画像回復フィルタを、特定光学機器から取得した個別補正情報に基づいて補正する、すなわち補正フィルタをコンボリューションすることで作成した補正画像回復フィルタを示している。入力画像の複数の位置のそれぞれに適用される補正画像回復フィルタは、全て異なるフィルタとなっている（全て異なる番号が付されている）。このように、個別補正情報に基づいて補正された複数の画像回復フィルタには、製造誤差による画像上の位置ごとの結像特性の相異が反映されている。画像回復フィルタを、入力画像上での位置に応じてどのように補正するかは、製造誤差の発生の仕方に依存する。

また、入力画像における画素値の変化量、言い換えれば、画素の特徴量に応じて回復度合い、つまりは個別補正情報を変更してもよい。画素の特徴量としては、例えば、画像の画素値（信号値）の変化が低い平坦部と画素値の変化が大きいエッジ部や、画素の輝度飽和度がある。

次に、ステップＳ１５では、画像処理装置１０は、入力画像に対して、補正画像回復フィルタを用いた画像回復処理を行う。そして、ステップＳ１６にて、画像回復処理の結果画像としての回復画像を出力する。

本実施例では、個体差を有する複数の光学機器に対して、データ量が大きな画像回復フィルタは共通に用意し、該画像回復フィルタをデータ量が小さな個別補正情報を用いて補正することで、結像特性が異なる個々の光学機器に適した画像回復処理を行う。これにより、処理時間やデータ量の増大を抑制しつつ、光学機器の個体差を反映した良好な回復画像を得ることができる。

なお、光学機器２１，２２，２３，・・・が交換レンズである場合に、画像処理装置１０をレンズ交換型の撮像装置に搭載することで、光学機器２１，２２，２３，・・・の個体差に対応する良好な回復画像を撮像装置から出力することができる。本発明は、この場合の撮像装置も実施例として含む。

図１３のフローチャートには、本発明の実施例２である画像処理方法を用いた画像回復処理の手順を示している。

画像処理装置１０は、ステップＳ２１にて、図１に示した複数の光学機器２１，２２，２３，・・・のうち入力画像の取り込み先である特定光学機器から、有線もしくは無線による通信により又は該光学機器に対して着脱可能な記憶媒体を介して入力画像を取得する。

次に、ステップＳ２２では、画像処理装置１０は、内部メモリ１１に保持された複数の画像回復フィルタから、実施例１のステップＳ１２と同様にして、特定光学機器での撮像条件に対応する画像回復フィルタ（使用画像回復フィルタ）を選択又は生成する。そして、使用画像回復フィルタを内部メモリ１１に保持する。

次に、ステップＳ２３では、画像処理装置１０は、特定光学機器から個別補正情報を取得して、内部メモリ１１に保持する。

次に、ステップＳ２４では、画像処理装置１０は、ステップＳ２１にて特定光学機器から取り込んだ入力画像に対して、ステップＳ２２で内部メモリ１１に保持した使用画像回復フィルタを用いた画像回復処理を行う。

次に、ステップＳ２５では、画像処理装置１０は、画像回復処理の結果画像である回復画像を、ステップＳ２３にて内部メモリ１１に保持した個別補正情報から生成した補正フィルタ用いて補正する。そして、ステップＳ２６で、補正後の回復画像を出力する。

本実施例では、個体差を有する複数の光学機器に対して、データ量が大きな画像回復フィルタを共通に用意し、該画像回復フィルタによって画像回復処理が行われた回復画像を、データ量が小さな個別補正情報を用いて補正する。これにより、結像特性が異なる個々の光学機器に適した画像回復処理を行う。このため、本実施例でも、実施例１と同様に、処理時間やデータ量の増大を抑制しつつ、光学機器の個体差を反映した良好な回復画像を得ることができる。

図１４には、本発明の実施例３である撮像装置の構成を示している。該撮像装置は、撮像により画像を生成する撮像系と、実施例１にて説明した画像処理装置を含む。

不図示の被写体からの光束は、撮像光学系１０１によって、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１０２上に結像する。

撮像光学系１０１は、不図示の変倍レンズ、絞り１０１ａおよびフォーカスレンズ１０１ｂを含む。変倍レンズを光軸方向に移動させることで、撮像光学系１０１の焦点距離を変更するズームが可能である。また、絞り１０１ａは、絞り開口径を増減させて、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構によって光軸方向の位置が制御される。撮像光学系制御部１０６は、システムコントローラ１１０からの制御信号に応じて、変倍レンズや絞り１０１ａの駆動やＡＦを制御する。

撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学フィルタを含ませてもよい。ただし、光学フィルタは撮像光学系１０１の光学伝達関数（ＯＴＦ）の特性に影響を与える場合があるので、この場合は画像回復フィルタを作成する際に光学フィルタの考慮が必要になる。

撮像素子１０２上に形成された被写体像は、該撮像素子１０２により電気信号に変換される。撮像素子１０２からのアナログ出力信号は、Ａ／Ｄコンバータ１０３によりデジタル撮像信号に変換され、画像処理部１０４に入力される。

画像処理部１０４は、入力されたデジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する。撮像素子１０２から画像処理部１０４のうちカラー入力画像を生成する部分までが撮像系に相当する。また、画像処理部１０４は、入力画像に対して実施例１にて説明した画像回復処理を行う画像処理装置として機能する部分（画像回復手段）を含む。

画像処理部１０４は、撮像条件検知部１０７から、撮像光学系１０１の焦点距離、絞り値、撮影距離を含む撮像条件を取得する。撮像条件検知部１０７は、システムコントローラ１１０から撮像条件の情報を得てもよいし、撮像光学系１０１を制御する撮像光学系制御部１０６から得てもよい。

そして、画像処理部１０４は、実施例１にて説明したように、撮像条件に応じた画像回復フィルタ（使用画像回復フィルタ）を記憶部１０８から選択したり生成したりする。画像回復フィルタは、実施例１にて説明したように、他の同機種の撮像装置にも共通して用いられる画像回復フィルタである。記憶部１０８は、実施例１にて説明した画像処理装置１０の内部メモリ１１に代わる記憶手段である。さらに、画像処理部１０４は、記憶部１０８から、この撮像装置の個別補正情報を読み出し、該個別補正情報から生成した補正フィルタを用いて使用画像回復フィルタを補正することで、補正画像回復フィルタを生成する。なお、撮像装置の出荷前に全ての画像回復フィルタの個別補正情報に応じた補正を行っておいてもよい。

画像処理部１０４は、補正画像回復フィルタを用いて、入力画像に対する画像回復処理を行う。そして、画像処理部１０４は、画像回復処理により得られた回復画像を、画像記録媒体１０９に所定のフォーマットで保存する。また、表示部１０５に、回復画像を表示する。

本実施例によれば、画像処理部１０４での処理時間や記憶部１０８にて保持すべきデータ量の増大を抑制しつつ、該撮像装置の他の撮像装置に対する個体差を反映した良好な回復画像を得ることができる。

本実施例では、実施例１にて説明した画像処理装置の機能を搭載した撮像装置について説明したが、これに代えて実施例２にて説明した画像処理装置の機能を搭載してもよい。この場合、画像処理部１０４は、撮像条件に応じた使用画像回復フィルタを用いて入力画像に対する画像回復処理を行い、これにより得られた回復画像を、記憶部１０８から読み出した個別補正情報から生成した補正フィルタを用いて補正する。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

光学機器の個体差を反映した良好な回復画像が得られる画像処理装置を提供できる。

１０ 画像処理装置
１１ 内部メモリ
２１〜２３ 光学機器

Claims (10)

1. 互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意するとともに、前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を用意し、
   前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行う画像処理方法であって、
   前記特定光学機器に対応する前記補正情報を用いて前記画像回復フィルタを補正することにより補正画像回復フィルタを生成し、
   前記補正画像回復フィルタを用いて前記画像に対する前記画像回復処理を行うことを特徴とする画像処理方法。
2. １つの前記画像における位置ごとに前記画像回復フィルタを用意し、
   該位置ごとに用意された前記画像回復フィルタと、該位置ごとに異なる前記補正情報とを用いて前記画像回復処理を行うことを特徴とする請求項１に記載の画像処理方法。
3. 前記補正情報は、前記画像を構成する色成分ごとに異なることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記光学特性は、前記各光学機器の像面における位置ごとの結像特性であることを特徴とする請求項１から３のいずれか１項に記載の画像処理方法。
5. 前記画像における画素の特徴量に応じて前記補正情報を変更することを特徴とする請求項１から４のいずれか１項に記載の画像処理方法。
6. 前記補正情報を、前記各光学機器から取得することを特徴とする請求項１から５のいずれか１項に記載の画像処理方法。
7. 前記補正情報を、前記画像の付帯情報とすることを特徴とする請求項１から５のいずれか１項に記載の画像処理方法。
8. 互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを保持する記憶手段と、
   前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を取得し、前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行う画像回復手段とを有し、
   前記画像回復手段は、前記特定光学機器に対応する前記補正情報を用いて前記画像回復フィルタを補正することにより補正画像回復フィルタを生成し、前記補正画像回復フィルタを用いて前記画像に対する前記画像回復処理を行うことを特徴とする画像処理装置。
9. 撮像を行って画像を生成する撮像系と、
   請求項８に記載の画像処理装置とを有することを特徴とする撮像装置。
10. コンピュータに、
    互いに光学特性が異なる複数の光学機器に対して共通の画像回復フィルタを用意し、
    前記光学特性の相異に応じて前記光学機器ごとに異なる補正情報を用意し、
    前記複数の光学機器のうち特定光学機器を用いた撮像により生成された画像に対して、前記画像回復フィルタと該特定光学機器に対応する前記補正情報とを用いて画像回復処理を行う画像処理を実行させるコンピュータプログラムであって、
    前記画像処理は、前記特定光学機器に対応する前記補正情報を用いて前記画像回復フィルタを補正することにより補正画像回復フィルタを生成し、前記補正画像回復フィルタを用いて前記画像に対する前記画像回復処理を行うことを特徴とする画像処理プログラム。