JP6440766B2 - 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 - Google Patents

Description

本発明は、画像の鮮鋭化処理を行う画像処理方法に関する。

従来から、元画像（入力画像）にアンシャープマスクを適用したぼかした画像と元画像との差分を元画像に加算または減算することにより、画像を鮮鋭化するアンシャープマスク処理が知られている。ぼかした画像と入力画像との差分が大きいほど画像はより鮮鋭化される。

特許文献１には、像高方向に配列する画素信号列に対して非対称な一次元のフィルタを適用することにより、光学系の点像強度分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の影響を低減する方法が開示されている。

特開２０１０−８１２６３号公報

しかしながら、従来のアンシャープマスク処理は、アンシャープマスクに回転対称なフィルタを利用しており、非対称収差やサジタルハロのような複雑な形状を有するＰＳＦの影響を受けて劣化した画像を鮮鋭化することは困難である。すなわち、収差の大きいアジムス方向における収差を補正しようとすると、収差の小さいアジムス方向ではアンダーシュートが発生する。逆に、アンダーシュートを抑制すると、収差を十分に補正することができない。

また、特許文献１の方法は、像高方向への非対称性のみを考慮しているに過ぎず、補正フィルタも一次元のフィルタであるため、像高方向以外の方向への非対称性を改善することができない。なお像高方向とは、メリジオナルのアジムス方向である。また、フィルタに関しても、マイナスタップ係数の個数でフィルタの非対称性を調整しており、像高方向の補正についても光学系のＰＳＦのぼけ方とは異なるため、従来の手法では十分に鮮鋭化することができない。また、撮像光学系のＰＳＦは画像の位置に応じて変化する。このため、より高精度に鮮鋭化処理を行うには、画像の位置ごとに適切なアンシャープマスクを適用する必要がある。

そこで本発明は、鮮鋭化処理に必要な情報量を低減しつつ、高精度な鮮鋭化処理を実行することが可能な画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体を提供することを目的とする。

本発明の一側面としての画像処理方法は、光学系を用いた撮影により生成された撮影画像を取得するステップと、撮影条件に対応する前記光学系の点像強度分布関数に関する情報に基づいて生成されたデータに対して、該データの最大値と最大値以外の値との差を小さくするように第１の整形処理を行うステップと、前記第１の整形処理後のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、前記回転処理後のデータに基づいて前記撮影画像の鮮鋭化処理を行うステップとを有する。

本発明の他の側面としての画像処理装置は、光学系を用いた撮影により生成された撮影画像を取得する取得部と、撮影条件に対応する前記光学系の点像強度分布関数に関する情報に基づいて生成されたデータに対して、該データの最大値と最大値以外の値との差を小さくするように第１の整形処理を行う整形処理部と、前記第１の整形処理後のデータに対して、前記撮影画像の位置に応じた回転処理を行う回転処理部と、前記回転処理後のデータに基づいて前記撮影画像の鮮鋭化処理を行う鮮鋭化処理部とを有する。

本発明の他の側面としての撮像装置は、光学系を用いた撮影により形成された光学像を光電変換して画像データを出力する撮像素子と、前記画像処理装置とを有する。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させる。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、鮮鋭化処理に必要な情報量を低減しつつ、高精度な鮮鋭化処理を実行することが可能な画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体を提供することができる。

実施例１、３における画像処理方法を示すフローチャートである。 実施例１、２における撮像装置のブロック図である。 各実施例におけるアンシャープマスク処理による鮮鋭化の模式図である。 各実施例におけるｘｙ平面上の撮像光学系のＰＳＦの模式図である。 各実施例における回転対称なアンシャープマスクによる鮮鋭化処理の模式図である。 各実施例における非回転対称なアンシャープマスクによる鮮鋭化処理の模式図である。 各実施例におけるアンシャープマスクの模式図および概略断面図である。 各実施例におけるベイヤー配列の模式図である。 実施例１における画像処理部のブロック図である。 実施例２、３における画像処理部のブロック図である。 実施例２における画像処理方法を示すフローチャートである。 各実施例における点像強度分布関数の等高線図である。 各実施例における点像強度分布関数の回転処理の説明図である。 実施例２における再構成された点像強度分布関数の断面図である。 実施例３における撮像装置のブロック図である。 実施例２における調整した鮮鋭化フィルタの断面図である。 各実施例における回転処理の説明図である。 各実施例における回転処理に伴う補間劣化の説明図である。 各実施例における第１の整形処理の説明図である。 各実施例における第２の整形処理の説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

［入力画像］
入力画像は、撮像装置において撮像光学系（以下、単に光学系という）を介して形成された被写体像（光学像）を光電変換した撮像素子から出力された画像データを用いて生成されたデジタル画像（撮影画像）である。このデジタル画像は、レンズや光学フィルタなどの光学素子を含む光学系の収差を含む光学伝達関数（ＯＴＦ）により劣化した画像である。撮像素子は、ＣＭＯＳセンサやＣＣＤセンサなどの光電変換素子により構成される。撮像光学系は、曲率を有するミラー（反射面）を含んでもよい。また、光学系は、撮像装置に対して着脱（交換）が可能であってもよい。撮像装置において、光学系、撮像素子および撮像素子から出力される画像データを用いてデジタル画像（入力画像）を生成する信号処理回路により撮像系が構成される。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分の扱いとしては、これ以外にもＬＣＨで表現される明度、色相および彩度や、ＹＣｂＣｒで表現される輝度および色差信号など、一般に用いられている色空間を選択して用いることができる。その他の色空間としては、例えば、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能であり、さらに色温度を用いることも可能である。

入力画像や出力画像には、入力画像を生成（撮像）した際の撮像装置における光学系の焦点距離、絞り値（Ｆ値）、撮影距離、像高などの撮影条件に関する情報（以下、撮影条件情報という）を付帯させることができる。また入力画像や出力画像には、入力画像を補正するための各種の補正情報を付帯させることもできる。撮像装置から、これとは別に設けられた画像処理装置に入力画像を出力し、この画像処理装置にて画像処理を行う場合には、入力画像に撮影条件情報や補正情報を付帯させることが好ましい。撮影条件情報や補正情報は、入力画像に付帯する以外に、撮像装置から画像処理装置に直接または間接的に通信により受け渡すこともできる。

［画像鮮鋭化処理］
図３は、本実施形態のアンシャープマスク処理（画像鮮鋭化処理）による鮮鋭化の模式図である。図３（Ａ）において、実線は入力画像、破線は入力画像をアンシャープマスクでぼかした画像、点線は鮮鋭化後の画像をそれぞれ示している。図３（Ｂ）の実線は、補正成分を示している。図３（Ａ）、（Ｂ）のそれぞれにおいて、横軸は座標、縦軸は画素値または輝度値である。図３は、後述する図４の所定の方向（例えば、Ｘ方向）における断面に相当する。

元画像をｆ（ｘ，ｙ）、補正成分をｈ（ｘ，ｙ）とすると、鮮鋭化後の画像ｇ（ｘ，ｙ）は、以下の式（１）で表すことができる。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｈ（ｘ，ｙ） … （１）
式（１）において、ｍは補正の強さを変化させるための調整係数であり、調整係数ｍの値を変化させることにより、補正量を調整することができる。なお、調整係数ｍは入力画像の位置によらず一定の定数であっても良いし、入力画像の位置に応じて異ならせることにより入力画像の位置に応じて補正量を調整することもできる。また、調整係数ｍ（ｘ，ｙ）は、光学系の焦点距離、絞り値、または、撮影距離などの撮影条件に応じて異ならせることもできる。

補正成分ｈ（ｘ，ｙ）は、アンシャープマスクをＵＳＭ（ｘ，ｙ）とすると、以下の式（２）のように表すことができる。ＵＳＭ（ｘ，ｙ）は、例えば、座標（ｘ，ｙ）におけるタップ値である。

ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ） …（２）
式（２）の右辺を変形することにより、以下の式（３）が得られる。

ｈ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）） … （３）
式（３）において、＊はコンボリューション（畳み込み積分、積和）、δはデルタ関数（理想点像）である。「デルタ関数」とは、ＵＳＭ（ｘ，ｙ）とタップ数が等しく中心の値が１でそれ以外が０で埋まっているデータである。式（２）を変形することにより式（３）を表現することができるため、式（２）と式（３）とは互いに等価である。よって、以下、式（２）を用いて補正成分の生成について説明する。

式（２）では、撮影画像ｆ（ｘ，ｙ）と撮影画像ｆ（ｘ，ｙ）をアンシャープマスクでぼかした画像との差分をとり、この差分情報に基づいて補正成分ｈ（ｘ，ｙ）を生成している。一般的なアンシャープマスク処理では、アンシャープマスクにガウシアンフィルタ、メディアンフィルタ、移動平均フィルタなどの平滑化フィルタが使用される。

例えば、図３（Ａ）の実線で示される撮影画像ｆ（ｘ，ｙ）に対して、アンシャープマスクとしてガウシアンフィルタを使用した場合、撮影画像ｆ（ｘ，ｙ）をぼかした画像は、図３（Ａ）の破線で示されるようになる。補正成分ｈ（ｘ，ｙ）は、式（２）で表されるように、撮影画像ｆ（ｘ，ｙ）とぼかした画像との差分であるため、図３（Ａ）の実線から図３（Ａ）の破線を減算することにより、図３（Ｂ）の実線で表現される成分となる。このように算出された補正成分を用いて、式（１）の演算を行うことにより、図３（Ａ）の実線に示される撮影画像ｆ（ｘ，ｙ）を図３（Ａ）の点線のように鮮鋭化することができる。

次に、被写体の光学像を形成する撮像光学系により劣化した画像に対して、アンシャープマスク処理を適用することで画像を鮮鋭化する場合について説明する。撮像光学系を介して得られた撮影画像ｆ（ｘ，ｙ）は撮影前の画像（被写体の像）をＩ（ｘ，ｙ）、撮像光学系の点光源に対する応答を表す関数である点像強度分布関数ＰＳＦをｐｓｆ（ｘ，ｙ）とすると、以下の式（４）のように表すことができる。

ｆ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｐｓｆ（ｘ，ｙ） … （４）
ここで、撮像光学系が回転対称な共軸光学系であれば、画像の中心部に対応するＰＳＦは回転対称となる。そのため、画像の中心部については回転対称なＵＳＭを適用することで撮影画像ｆ（ｘ，ｙ）を元の画像Ｉ（ｘ，ｙ）に近づける鮮鋭化を行うことができる。補正量は撮影画像とアンシャープマスクでぼかした撮影画像との差分値となるため、精度良く補正するには、アンシャープマスクとして単純な平滑化フィルタを使用するのではなく、よりｐｓｆ（ｘ，ｙ）に近い形状のマスクを使用することが好ましい。例えば、球面収差の影響で撮影画像が劣化する場合、球面収差であれば回転対称に影響を与えるものの、ガウシアンフィルタのような平滑化フィルタでは球面収差の影響によるＰＳＦとは分布の形状が異なる。そのため、回転対称にぼける影響を低減する場合であっても、撮像光学系のＰＳＦを使用する方が精度良く補正することができる。

本実施形態では、アンシャープマスクＵＳＭ（ｘ，ｙ）にＰＳＦを用いる。図３（Ａ）に示される撮影画像ｆ（ｘ，ｙ）は、簡略化のため対称な形状となっているが、画像の形状が対称でなくてもよい。元の画像Ｉ（ｘ，ｙ）の形状が非対称であってもｐｓｆ（ｘ，ｙ）に相当する元の画像Ｉ（ｘ，ｙ）にかかる劣化関数が回転対称であれば、回転対称なアンシャープマスクを用いて鮮鋭化することができる。

一方、画像の中心部以外の位置については、撮像光学系が回転対称な共軸光学系であっても、ＰＳＦは通常非対称な形状となる。図４は、ｘｙ平面における撮像光学系のＰＳＦの模式図であり、図４（Ａ）は軸上のＰＳＦ、図４（Ｂ）は軸外のＰＳＦをそれぞれ示している。例えば、元の画像（被写体）が理想点像であるとすると、式（４）から、撮影画像ｆ（ｘ，ｙ）は撮像光学系のＰＳＦになる。図４（Ｂ）に対応する画角に理想点像があり、撮像光学系のＰＳＦの影響を受けて元の画像（被写体）が劣化したとすると、入力画像として得られる画像は、図４（Ｂ）の形状のようにぼけた画像となる。このように非対称にぼけた画像に対して、アンシャープマスク処理による鮮鋭化を行う場合について説明する。

図５および図６は非対称に劣化した画像に対するアンシャープ処理の模式図であり、図５は回転対称なアンシャープマスクを用いた場合、図６は回転非対称なアンシャープマスクを用いて処理を行った場合をそれぞれ示している。図５および図６において、縦軸と横軸はそれぞれ図３と同様である。

図５（Ａ）および図６（Ａ）の実線は、図４（Ｂ）のｙ軸方向の断面を表しており、点線はアンシャープマスクでぼかした撮影画像を表している。図５の回転対称なアンシャープマスクにはガウシアンフィルタを適用し、図６の非回転対称なアンシャープマスクには撮像装置のＰＳＦを適用している。図５（Ｂ）および図６（Ｂ）はそれぞれ、各アンシャープマスクでぼかした撮影画像と元の撮影画像との差分値をプロットしたものであり、補正成分を表している。便宜的に、図５（Ａ）および図６（Ａ）においては、撮影画像がＰＳＦによって、よりぼけて裾野が広くなっている方をＹ軸のプラス側とする。図５（Ａ）では、実線のピーク位置に対してプラス側のぼけた画像と元の画像の差分値が小さく、マイナス側のぼけた画像と元の画像の差分値が大きくなっている。そのため、図５（Ｂ）の補正成分も中心のピーク位置に対して右側（プラス側）より左側（マイナス側）の方が極値は小さくなっている。図５（Ａ）と図５（Ｂ）の曲線を比較すればわかるように、撮影画像のプラス側は補正成分の補正量が小さく、裾野が狭いマイナス側は補正量が大きいため、式（４）による鮮鋭化を行っても非対称なぼけを補正することはできない。

図５（Ｃ）は、ｍ＝１のときの鮮鋭化後の結果を示したものであり、図５（Ａ）の実線に対して鮮鋭化はできているものの、プラス側に対してマイナス側が大きく凹んでおり、非対称なぼけは補正できていないことがわかる。例えば、アンシャープマスクを変えずに式（４）の調整係数ｍを変更することで補正量を調整する場合を考える。画像のプラス側を十分に補正するために調整係数ｍの値を大きくすると、画像のマイナス側は補正過剰（アンダーシュート）になる。一方、画像のマイナス側の補正量を適切になるように調整係数ｍの値を設定すると、画像のプラス側は補正不足となる。このように、非対称にぼけた画像に対して回転対称なアンシャープマスクを使用してアンシャープマスク処理を行っても、非対称性を改善して鮮鋭化することは困難である。このような問題は、回転対称なアンシャープマスクとしてガウシアンフィルタ以外の回転対称なフィルタを使用しても同様に発生する。

一方、図６（Ａ）では、実線のピーク位置に対してプラス側がぼけた画像と元画像の差分値が大きく、マイナス側がぼけた画像と元の画像の差分値が大きくなっており、この傾向は図５（Ａ）と逆になっている。そのため、図６（Ｂ）の補正成分も中心のピーク位置に対して左側（マイナス側）より右側（プラス側）の方が極値は小さくなっている。図６（Ａ）の実線で表された撮影画像に対して、このような補正成分を適用すると、ピーク位置に対してプラス側のぼけが大きい方には補正量が大きく、そしてマイナス側のぼけが小さい方には補正量が小さくなる。このような非対称なアンシャープマスクの場合、入力画像のぼけ方のバランスと補正成分の補正量のバランスの傾向が一致するため、回転対称なアンシャープマスクを適用する場合に問題となる補正の過不足も起きにくくなる。

図６（Ｃ）は、ｍ＝１のときの鮮鋭化後の結果を示したものであり、図６（Ａ）の実線に対しても鮮鋭化できており、かつ図５（Ｃ）で目立ったマイナス側とプラス側の凹みのバランスの差が改善している。さらに、回転対称なアンシャープマスクの場合と比べて、補正過剰になりにくくなるため、式（４）の調整係数ｍの値も比較的大きくとることができ、非対称性を低減しつつより鮮鋭化することができる。また、より精度良く補正を行うには、補正成分の補正量のバランスはぼけた画像と元の画像との差分となるため、撮像光学系のＰＳＦによってより大きくぼけた部分が、アンシャープマスクによって他の部分に比べてもよりぼかされる必要がある。このように、さらに精度によく補正するには、アンシャープマスクとして撮像光学系のＰＳＦを利用することが理想的である。

以上、画像鮮鋭化処理としてＰＳＦを用いたアンシャープマスクの例を示したが、ＰＳＦは、ウィナーフィルタに代表される画像復元処理や、ＲＬ法に代表される反復処理型の画像復元処理に用いてもよい。また、近年研究が進んでいるＤＬ（ディープラーニング）の学習画像の生成に用いることもできる。

［回転処理］
図１７を参照して、本実施形態における回転処理について説明する。図１７は回転処理の説明図である。図１７（Ａ）は、回転処理後の座標を示しており、原点Ｏを中心に反時計回りに元のデータをθ回転した場合を表している。回転処理前の座標（ｘ_ｂ，ｙ_ｂ）に対する点Ｐ_ｂの値をＰ_ｂ（ｘ_ｂ，ｙ_ｂ）、回転処理後の座標（ｘ_ａ，ｙ_ａ）に対する点Ｐ_ａの値をＰ_ａ（ｘ_ａ，ｙ_ａ）とする。図１７（Ａ）より、座標（ｘ_ｂ，ｙ_ｂ）は、座標（ｘ_ａ，ｙ_ａ）を用いて以下の式（５）のように表現することができる。

図１７（Ａ）および式（５）より、Ｐ_ａ（ｘ_ａ，ｙ_ａ）を算出するには、対応する回転処理前のＰ_ｂ（ｘ_ｂ，ｙ_ｂ）を算出すればよい。図１７（Ｂ）は、回転処理前の座標を表しており、点Ｐ_０、Ｐ_１、Ｐ_２、Ｐ_３は点Ｐ_ｂの近傍４点を表している。図１７（Ｂ）に示されるように、回転処理前の点Ｐ_ｂの座標（ｘ_ｂ，ｙ_ｂ）は整数値になるとは限らないため、値Ｐ_ｂ（ｘ_ｂ，ｙ_ｂ）は補間処理などにより算出する必要がある。このため本実施形態では、以下の式（６）で表されるように、近傍４点の値を用いて線形補間処理によりＰ_ｂ（ｘ_ｂ，ｙ_ｂ）を算出する。

式（５）、（６）より、座標（ｘ_ａ，ｙ_ａ）に対応する回転処理前のＰ_ｂ（ｘ_ｂ，ｙ_ｂ）を算出することにより、Ｐ_ａ（ｘ_ａ，ｙ_ａ）を求めることができる。このため、回転処理後のデータを算出するには、回転処理後の全ての座標で前述の計算を実施すればよい。

このように回転処理を行う場合、補間処理を実施する必要があるため、回転処理による補間劣化が生じる。詳細は後述の各実施例で説明するが、本実施形態ではデータに対して整形処理を実施して補間劣化の影響を低減し、より高精度な鮮鋭化処理を実現する。なお、式（６）では、Ｐ_ｂ（ｘ_ｂ，ｙ_ｂ）を算出するため、線形補間を実施しているが、他の補間処理を実行してもよい。以下、具体的な実施例について説明する。

まず、図２を参照して、本発明の実施例１における撮像装置について説明する。図２は、本実施例における撮像装置１００のブロック図である。撮像装置１００には、入力画像（撮影画像）の鮮鋭化処理（画像処理方法）を行うプログラムがＲＯＭ（メモリ）やハードディスクドライブなどの記憶部１０９にインストールされており、鮮鋭化処理は画像処理部１０５（画像処理装置）により実行される。また、記憶部１０９ではなく画像処理部１０５の内部に記憶部を設け、その記憶部に本実施例の画像処理方法のプログラムをインストールしておくこともできる。また、プログラムに対応する回路を設計しておき、その回路を動作させることで鮮鋭化処理を実行させてもよい。

撮像装置１００は、撮像光学系１０１（レンズ）および撮像装置本体（カメラ本体）を備えて構成されている。撮像光学系１０１は、絞り１０１ａおよびフォーカスレンズ１０１ｂを備え、撮像装置本体と一体的に構成されている。ただし本実施例は、これに限定されるものではなく、撮像光学系１０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。

撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子である。撮像素子１０３は、撮像光学系１０１および光学ローパスフィルタ１０２を介して得られた被写体像（光学像、結像光）を光電変換して撮影画像を生成する。被写体像は、撮像素子１０３により光電変換が行われてアナログ信号（電気信号）に変換され、このアナログ信号はＡ／Ｄコンバータ１０４によりデジタル信号に変換され、このデジタル信号は画像処理部１０５に入力される。

画像処理部１０５は、このデジタル信号に対して所定の処理を行うとともに所定のアンシャープマスク処理を行う画像処理手段である。なお、本実施例では、撮像装置の画像処理部が鮮鋭化処理を行っているが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として鮮鋭化処理を行ってもよい。

画像処理部１０５は、状態検知部１０８から撮像装置１００の撮影条件（撮像条件情報）を取得する。撮像条件情報とは、絞り、撮影距離、または、ズームレンズの焦点距離などに関する情報である。状態検知部１０８は、システムコントローラ１１１から直接に撮像条件情報を取得することができるが、これに限定されるものではない。例えば、撮像光学系１０１に関する撮像条件情報は、光学系制御部１０７から取得することもできる。

図９は、本実施例における画像処理部１０５のブロック図である。図９に示されるように、画像処理部１０５は、取得部１０５１、整形処理部１０５２、回転処理部１０５３、および、鮮鋭化処理部１０５４を有し、入力画像に対して画像鮮鋭化処理を行う。取得部１０５１は、光学系を介して生成された撮影画像（入力画像）を取得する。整形処理部１０５２は、光学系の撮影条件に対応する光学系の点像強度分布関数ＰＳＦの情報に基づいて生成されたデータに対して、データの最大値と最大値以外の値との差を小さくするように（不連続性を低減するように）第１の整形処理を行う。回転処理部１０５３は、第１の整形処理後のデータに対して、撮影画像の位置に応じた回転処理を行う。鮮鋭化処理部１０５４は、回転処理後のデータに基づいて撮影画像の鮮鋭化処理を行う。本実施例において、データは回転非対称な分布を有する。

画像処理部１０５で処理された出力画像は、記憶部１０９に所定のフォーマットで保存される。記憶部１０９は、撮像光学系１０１の撮影条件と撮像光学系のＰＳＦとの関係を記憶する記憶手段としても機能する。アンシャープマスク処理を実行する画像処理装置が画像処理部１０５とは別に設けられている場合、システムコントローラ１１１は撮影画像と対応付けて収差情報を記憶してもよい。表示部１０６は、鮮鋭化処理後に表示用の所定の処理を行って得られた画像を表示することができる。表示部１０６には、高速表示のために簡易処理を行って得られた画像を表示してもよい。画像記録媒体１１０は、鮮鋭化処理後の画像を記録することができる。

以上の一連の処理は、システムコントローラ１１１により制御される。システムコントローラ１１１は、マイクロコンピュータやＣＰＵ（プロセッサ）として構成される。また、撮像光学系１０１の機械的な駆動は、システムコントローラ１１１の指示に基づいて、光学系制御部１０７により行われる。

撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタなどの光学素子を挿入してもよい。ローパスフィルタなど、ＰＳＦに影響を与える光学素子を用いる場合、アンシャープマスクを作成する時点でその素子の影響を考慮すれば、より高精度な鮮鋭化処理が可能である。赤外カットフィルタを設ける場合にも、分光波長のＰＳＦの積分値であるＲＧＢチャンネル（ＲＧＢ色成分）のそれぞれのＰＳＦ、特にＲチャンネルのＰＳＦに影響を与えるため、アンシャープマスクを作成する時点でその影響を考慮することが好ましい。

次に、図１を参照して、本実施例の画像処理方法について説明する。図１は、本実施例の画像処理方法を示すフローチャートである。図１のフローチャートは、コンピュータに各ステップの機能を実行させるためのプログラム（画像処理プログラム）として具現化することが可能である。これは他の実施例のフローチャートにおいても同様である。図１の各ステップは、システムコントローラ１１１の指示に基づいて、画像処理部１０５により実行される。

まずステップＳ１１において、画像処理部１０５（取得部１０５１）は、光学系を介して生成された撮影画像を入力画像として取得する。入力画像として使用する補正対象としての色成分データは、例えば、デモザイキング後のＧチャンネルの画像データである。ただし、ＲチャンネルやＢチャンネルの画像データや、ＲＧＢの全てのチャンネルの画像データ、またはデモザイキング前の画像データであってもよい。

図８は、離散的な規則配列であるベイヤー配列の模式図である。例えば、単純にＲＧＢの各チャンネルのデータをそのまま抜き出して、色ごとに入力画像として使用してもよく、または、特定のチャンネルのみ入力画像として使用してもよい。また、図８に示されるように、ＧチャンネルをＧ１、Ｇ２の２つに分け、４チャンネルとして取り扱ってもよい。Ｇチャンネルを２つに分けることで、Ｒ、Ｇ１、Ｇ２、Ｂのそれぞれを抜き出した画像データは解像度が等しくなるため、処理やデータ加工がしやすくなる。

続いて、図１のステップＳ１２において、画像処理部１０５（取得部１０５１）は、入力画像の撮影条件に対応する撮像光学系１０１の点像強度分布関数ＰＳＦを記憶部１０９から取得する。取得するＰＳＦは、二次元のタップデータ、ＰＳＦの構成要素となる複数の一次元のタップデータ、または係数であってもよい。二次元のタップデータは、例えば、特異値分解定理などを用いて複数の一次元のタップデータに分解される。記憶部１０９は分解されたデータを記録し、撮影条件に応じてＰＳＦの主成分に対応する複数の一次元のタップデータを取得してもよい。本実施例では、ＰＳＦをアンシャープマスクＵＳＭとして使用し、ステップＳ１２におけるアンシャープマスクＵＳＭは本実施例におけるデータに相当する。すなわち本実施例において、ステップＳ１２におけるアンシャープマスクＵＳＭは、光学系の撮影条件に対応する光学系の点像強度分布関数ＰＳＦの情報に基づいて生成された（ＰＳＦの情報に基づいて近似された）データである。

次に、図７を参照して、アンシャープマスクＵＳＭについて説明する。図７（Ａ）はアンシャープマスクの模式図、図７（Ｂ）はアンシャープマスクの概略断面図である。アンシャープマスクＵＳＭは、撮像光学系の収差特性や要求される鮮鋭化の精度に応じてそのタップ数が決定される。図７（Ａ）に示されるアンシャープマスクＵＳＭは、一例として、１１×１１タップのマスクである。また、図７（Ａ）では、各タップ内の値（係数）を省略しているが、アンシャープマスクＵＳＭの一断面を図７（Ｂ）に示す。図７（Ｂ）において、実線がアンシャープマスクＵＳＭの断面であり、横軸はタップ、縦軸はタップの値である。アンシャープマスクＵＳＭの各タップの値（係数値）の分布は、収差により広がった信号値（撮像光学系のＰＳＦ）の分布が理想的である。

続いてステップＳ１３において、画像処理部１０５（整形処理部１０５２）は、ステップＳ１２にて取得したアンシャープマスクＵＳＭに対して整形処理（第１の整形処理）を実施する。ステップＳ１３にて実施される整形処理は、続くステップＳ１４にて実施する回転処理による劣化（補間劣化）の影響を低減するための前処理である。

ここで、図１８を参照して、回転処理に伴う補間劣化について説明する。図１８は、回転処理に伴う補間劣化の説明図である。図１８（Ａ）は回転対称なＰＳＦから生成されたアンシャープマスクＵＳＭの模擬図、図１８（Ｂ）は図１８（Ａ）の断面Ｈにおけるプロファイルをそれぞれ示している。図１８（Ｃ）は、前述の回転処理を用いて、アンシャープマスクＵＳＭを反時計回りにπ／４回転した後の図１８（Ａ）の断面Ｈに対応する断面のプロファイルを示している。図１８（Ｄ）は、図１８（Ｂ）と図１８（Ｃ）のプロファイルを重ねて表示したグラフである。

図１８（Ａ）に示されるように、アンシャープマスクＵＳＭが回転対称な場合、いずれの角度で断面をとっても変化しない。このため、理想的には、回転処理を実施した後の断面は元の断面と一致する。これらのプロファイルが一致しない原因として、回転処理に伴う補間処理の影響がある。前述のように、回転処理後の座標に対応する回転処理前の座標は、通常整数値とならないため、補間処理により算出する必要がある。本実施例では、補間処理として式（６）を用いている。このような補間処理を実施すると、分布の変化が大きくなるほど、すなわち分布が不連続な領域ほど、補間劣化の影響が大きくなる。特に、撮像光学系のＰＳＦをアンシャープマスクＵＳＭとして用いる場合、分布のピーク値付近で急激に変化することが多い。図１８（Ｄ）においても、回転前と回転後でピーク値と隣接した係数値がもっとも変化が大きいことが確認できる。図１８（Ｄ）では、ピーク値とその隣の係数値の変化が大きいため、隣接した係数値がピーク値に引っ張られ、回転処理後に本来よりも値が大きくなっている。このように隣接した係数値が大きくなると、本来よりもＰＳＦの分散や分布の広がりが大きくなり、このアンシャープマスクＵＳＭを用いて補正処理を実施しても本来とは分布が異なるため、アンダーシュートなどの弊害を招く原因となる。

ここで、図１９を参照して、本実施例における第１の整形処理について説明する。図１９は、第１の整形処理の説明図である。図１９（Ａ）は、図１８（Ｂ）に対して、整形処理部１０５２による整形処理を実施した後のアンシャープマスクＵＳＭの断面（プロファイル）を示している。図１９（Ｂ）は回転処理後の断面（プロファイル）、図１９（Ｃ）は図１９（Ａ）と図１９（Ｂ）の断面を重ねて表示したグラフである。

ステップＳ１３にて実施される整形処理（第１の整形処理）では、図１９（Ａ）に示されるように、ピーク値（最大値）を隣接した係数値（最大値以外の値）に対して変化量が小さくなる（不連続性が低減する）ように分布を整形している。基本的には、撮像光学系のＰＳＦは尖度の大きい分布となるため、ピーク値を元の分布に対して小さくするように整形を行う。図１９（Ａ）では、周辺に対して最も変化の大きいピーク値（最大値）を対象として整形処理を行っており、ピーク値とピーク値の隣接した係数値との平均をとってその平均値を元のピーク値と置き換えている。なお、図１９（Ａ）に関しては、ピーク値とその隣接した係数値で平均をとっているが、より広い範囲で平均をとって置き換え処理を実施してもよいし、平均値ではなく中央値や最頻値などを用いて処理してもよい。または、事前に閾値を設定してピーク値をクリップしてもよく、元の分布に対して不連続性を低減することができれば、同様の効果を得ることができる。仮に、逆にデータのある係数値が周辺に対して大きく沈み込むように急激に変化している場合、その係数値に対して整形処理を行ってもよい。また、最大値と最大値以外の値との両方に関して整形処理を行ってもよい。このように整形処理部１０５２は、光学系の撮影条件に対応する光学系の点像強度分布関数の情報に基づいて生成されたデータに対して、データの最大値と最大値以外の値との差を小さくするように（不連続性を低減するように）第１の整形処理を行う。

続いて、図１のステップＳ１４において、画像処理部１０５（回転処理部１０５３）は、ステップＳ１３にて整形したアンシャープマスクＵＳＭ（点像強度分布関数ＰＳＦ）に対して、入力画像の位置（像高）に応じたアンシャープマスクＵＳＭを生成する。すなわち回転処理部１０５３は、第１の整形処理後のデータに対して、撮影画像の位置に応じた回転処理を行う。

図１３（Ａ）は、生成したアンシャープマスクの位置と入力画像との関係を示している。白丸は作成するアンシャープマスクの位置を示しており、図１３（Ａ）のように入力画像を分割して８１点分のアンシャープマスクを生成する。そして、これらのアンシャープマスクに対して線形補間などを行うことにより、入力画像における任意の位置のアンシャープマスクを生成することができ、ＰＳＦの像高変化への対応が可能となる。ここで、分割数については、図１３（Ａ）では９×９としているが、軽量化のため減らしてもよいし、より精度を重視して増やしてもよい。また、図１３（Ａ）の白丸の各点について直接ＰＳＦを取得するのではなく、補間により生成してもよい。

図１３（Ｂ）はその一例を示しており、各位置におけるアンシャープマスクを補間により生成する場合を表している。図１３（Ｂ）の黒点は、ステップＳ１２にて作成するアンシャープマスクの位置を示している。一般的に撮像光学系のＰＳＦは光軸に対して回転対称となるため、アンシャープマスクも同様に回転対称になる。この特徴を利用して、図１３（Ｂ）の例では、画像の中心から下方向に１０点分のアンシャープマスクを生成しておき、これらを画像の中心に対して回転しながら各白丸に対応する位置のアンシャープマスクを補間により生成する。これにより、入力画像の各位置におけるアンシャープマスクを一つ一つ作成する必要がなくなるため、処理負荷を低減することができる。

図１８（Ｄ）の実線および×印は回転処理前のアンシャープマスクＵＳＭ、破線および〇印は回転処理後のアンシャープマスクＵＳＭをそれぞれ示している。前述のように、事前に調整などを行わず回転処理を行った場合、図１８（Ｄ）のように変化の大きい係数値付近において、補間劣化により本来よりも値が大きくなってしまう。

一方、図１９（Ｃ）の実線および×印はステップＳ１３の整形処理後のアンシャープマスクＵＳＭ、破線および〇印は整形処理後のアンシャープマスクＵＳＭに対して回転処理した後のアンシャープマスクＵＳＭをそれぞれ示している。図１９（Ｃ）では、２つの断面のプロファイルがほとんど重なっており、回転処理に伴う補間劣化の影響を低減できることがわかる。

なお、図１８および図１９（後述の図２０も同様）においては回転対称なＰＳＦの場合について説明したが、回転非対称なＰＳＦから作成したアンシャープマスクＵＳＭであっても同様の効果を得ることができる。図１８（Ｄ）に示すような補間処理によるアンシャープマスクＵＳＭの変化は係数値の変化が大きいところで発生するため、回転非対称なＰＳＦであっても同様の問題が生じる。このため、変化の大きい係数値に対してステップＳ１３および後述のステップＳ１５の整形処理を実施することにより、回転処理に伴う補間劣化の影響を低減することができる。

続いてステップＳ１５において、整形処理部１０５２は、回転処理後のアンシャープマスクＵＳＭに対して整形処理を実施する（第２の整形処理）。すなわち整形処理部１０５２は、回転処理後のデータに対して、データの最大値と最大値以外の値との差を大きくするように第２の整形処理を行う。

本実施例では、ステップＳ１４にて実行される回転処理に伴う補間劣化を低減するため、ステップＳ１３にてアンシャープマスクＵＳＭのピーク値（最大値）を調整している。このため、ステップＳ１４にて生成される回転処理後のアンシャープマスクＵＳＭは、調整によりピーク値が元のピーク値からずれている。ステップＳ１５は、このピーク値のずれ（ずれ量）を調整する（第１の整形処理後のデータの係数を調整する）後処理である。すなわち整形処理部１０５２は、ステップＳ１３にて調整したピーク値を本来の値に近づけるための調整を実施する。式（２）、（３）に示されるＵＳＭ（ｘ，ｙ）は、最終的には係数値の合計が１である必要がある。このため、ピーク値以外の係数値が定まっていれば、この制約条件を加味することにより、ピーク値を算出することができる。本実施例では、回転処理後のアンシャープマスクＵＳＭに対してピーク値以外の合計値を算出しておき、係数値の合計が１になるようにピーク値（最大値）を調整する。または、最大値以外の値を調整することや、最大値と最大値以外の値の両方を調整してもよい。なお本実施例において、第２の整形処理は必須ではなく、ステップＳ１４の回転処理後のデータを用いて後述の鮮鋭化処理を行うこともできる。

ここで、図２０を参照して、本実施例における第２の整形処理について説明する。図２０は、第２の整形処理の説明図である。図２０（Ａ）はステップＳ１５にて整形処理部１０５２により調整されたアンシャープマスクＵＳＭの断面（プロファイル）であり、図２０（Ｂ）は図２０（Ａ）と図１８（Ｂ）の断面（プロファイル）を重ねて表示したグラフである。図２０（Ｂ）より明らかなように、２つの断面（プロファイル）は略一致しており、整形処理部１０５２による２回の整形処理（第１の整形処理および第２の整形処理）によって、回転処理に伴う補間劣化の影響を低減することができている。また、図１８（Ｄ）と比較しても、ピーク値に隣接した係数値における変化は、図２０（Ｂ）では略一致していることがわかる。

続いて、ステップＳ１６において、画像処理部１０５（鮮鋭化処理部１０５４）は、ステップＳ１５にて整形したアンシャープマスクＵＳＭ（第２の整形処理後のデータ）を用いて、撮影画像の鮮鋭化処理を実行する。本実施例では、アンシャープマスクＵＳＭに撮像光学系のＰＳＦを用いているため、入力画像の周辺部に見られるような撮像光学系の非対称なＰＳＦによって劣化した画像であっても、入力画像を精度良く補正し鮮鋭化することができる。

鮮鋭化処理後の画像ｇ（ｘ，ｙ）は、式（１）、（３）より、以下の式（７）、（８）、（９）のように表現することができる。

ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×｛ｆ（ｘ，ｙ）−ｆ（ｘ，ｙ）＊ＵＳＭ（ｘ，ｙ）｝ … （７）
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＋ｍ×ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ）｝ … （８）
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊｛δ（ｘ，ｙ）＋ｍ×（δ（ｘ，ｙ）−ＵＳＭ（ｘ，ｙ））｝ … （９）
ここで、便宜的に式（９）の中括弧｛｝の部分を鮮鋭化フィルタと呼ぶことにする。鮮鋭化フィルタは、アンシャープマスクＵＳＭおよび調整係数ｍを用いて生成することができる。調整係数ｍは、画像のノイズや鮮鋭化の補正過剰や補正不足を考慮して値を決定される。ステップＳ１６において、鮮鋭化処理部１０５４は、ステップＳ１５にて整形したアンシャープマスクＵＳＭを用いて、式（９）に基づき入力画像に対して鮮鋭化処理を実行する。

本実施例において、アンシャープマスクＵＳＭは、入力画像に関して図１３（Ａ）に示されるように離散的に保持されている。このため、図１３（Ａ）の白丸以外の位置で鮮鋭化処理を行うには、対応するアンシャープマスクＵＳＭあるいは鮮鋭化フィルタが必要になる。本実施例では、離散的に生成したアンシャープＵＳＭを線形補間することにより、任意の位置で鮮鋭化処理を行うことが可能である。具体的には、ある位置に対応したアンシャープマスクＵＳＭをその位置近傍４点の白丸に対応したアンシャープマスクを線形補間することで生成し、式（９）に基づいて鮮鋭化処理を実施する。これにより、画像内の任意の位置での鮮鋭化処理が可能となり、画像内の鮮鋭化効果も連続的に変化するため、より自然な鮮鋭化画像が生成することができる。また、線形補間はアンシャープマスクＵＳＭではなく、鮮鋭化フィルタで行ってもよい。

なお本実施例では、式（９）に基づく鮮鋭化処理について説明したが、式（７）または式（８）を用いて鮮鋭化処理を実行してもよく、いずれの場合も同様の効果を得ることができる。式（７）または式（８）は、入力画像に補正成分を加算する形で表現されているが、これは調整係数ｍが正の場合であり、調整係数ｍが負の場合は減算になる。このように、調整係数ｍの符号の違いによるもので本質的には同じことを意味するため、調整係数ｍの符号によって変えれば演算はどちらであっても構わない。

本実施例では、ステップＳ１４でも述べたように、撮像光学系のＰＳＦが画像の中心に対して回転対称となるという性質を利用して、１０像高分のＰＳＦデータから画像の位置（像高）に応じたアンシャープマスクＵＳＭを生成する。図１３（Ａ）の白丸に対応するアンシャープマスクを直接生成する場合、１画像当たり８１点分のＰＳＦデータが必要となる。一方、本実施例では、回転処理を用いることにより、図１３（Ｂ）の黒丸１０点分のＰＳＦデータから図１３（Ａ）の白丸に対応するアンシャープマスクＵＳＭを生成することができる。また、色成分による撮像光学系のＰＳＦの違いを考慮すると、データ量が３倍になるためデータ量の削減効果も大きくなる。このように、撮像光学系のＰＳＦを回転させて撮影画像の位置に応じたアンシャープマスクＵＳＭを生成することでデータ量を削減することが可能となるが、回転処理に伴う補間劣化対策として、回転処理前後でアンシャープマスクＵＳＭに対し整形処理を実行する。ステップＳ１３およびステップＳ１５における整形処理により補間劣化の影響を低減することが可能となり、補正処理に必要な保持データの記憶量を低減させつつ、入力画像を精度良く鮮鋭化することができる。

本実施例では、ステップＳ１５にて整形したアンシャープマスクＵＳＭを用いて生成した鮮鋭化フィルタを適用することで鮮鋭化画像を生成するが、ステップＳ１５の第２の整形処理およびステップＳ１６の鮮鋭化フィルタの生成を一気に（同時に）実施してもよい。式（９）の鮮鋭化フィルタをｋ（ｘ，ｙ）とすると、鮮鋭化フィルタｋ（ｘ，ｙ）は以下の式（１０）のように変形することができる。

式（１０）は調整を行うピーク値がｘ＝０、ｙ＝０である場合を表しているが、ＵＳＭ（ｘ，ｙ）の係数値のうち最も変化が大きく、周囲に対して最も不連続となる位置を対象とすることが好ましい。式（１０）を用いて、整形処理を実施しつつ鮮鋭化フィルタを生成する場合、ピーク値以外の鮮鋭化フィルタｋ（ｘ，ｙ）を先に算出する。そして、ＵＳＭ（ｘ，ｙ）のピーク値に対応した位置の鮮鋭化フィルタｋ（ｘ，ｙ）の係数値については、回転処理に伴う補間劣化低減のための後処理（第２の整形処理）を実施する。すなわち、ピーク値に対応する位置の鮮鋭化フィルタｋ（ｘ，ｙ）の係数値は、式（１０）を用いて算出するのではなく、ピーク値以外の鮮鋭化フィルタｋ（ｘ，ｙ）の情報から算出する。鮮鋭化フィルタｋ（ｘ，ｙ）は係数値の合計が１となる必要があるため、ピーク値以外の係数値を算出していれば、ピーク値に対応する係数値を一意的に算出することができる。

また本実施例では、アンシャープマスクＵＳＭのピーク値に対して調整を行うことで整形処理を実行する場合について説明したが、逆にピーク値以外の値を調整してもよい。例えば、アンシャープマスクＵＳＭのピーク値以外の係数値をｍ_０倍（ｍ_０＞１）した場合、相対的にピーク値とピーク値以外の差が埋まり、分布の不連続性を低減することができる。このように、ピーク値以外の係数値を調整してアンシャープマスクＵＳＭ内の変化量を小さくして回転処理を行うことにより、回転処理に伴う補間劣化の影響を低減することができる。

この場合、ステップＳ１５にて実行される第２の整形処理では、ピーク値以外のアンシャープマスクＵＳＭの係数値に対して係数値をｍ_０で除算した後、ピーク値を用いて調整を実施する。この際のピーク値の調整方法は、ステップＳ１５で説明した処理と同様であり、アンシャープマスクＵＳＭの係数値の合計が１になるようピーク値を算出すればよい。また、式（１０）を用いて鮮鋭化フィルタの生成を一気に（同時に）生成する場合、ピーク値以外の係数値を算出する際にｍ＝ｍ／ｍ_０とすればよい。このように、ステップＳ１３の整形処理において、ピーク値を減少させるのではなくピーク値以外を増加させるという処理を行ってもよい。また、ピーク値を減少させつつピーク値以外を増加させるということでも同様の効果を得ることができる。ステップＳ１３において、ピーク値を減少させるのではなくピーク値以外を増加させる場合、ピーク値以外を増加させた分をピーク値から減少させることにより、整形処理前後でアンシャープマスクＵＳＭの総和を一定に保つことができる。

なお本実施例では、画像鮮鋭化処理にアンシャープ処理を用いているが、その他の鮮鋭化手法を用いてもよい。この場合、ステップＳ１４またはステップＳ１５にて作成した画像の位置（像高）ごとのアンシャープマスクＵＳＭをＰＳＦとして用いる。ステップＳ１４またはステップＳ１５にて作成したアンシャープマスクＵＳＭは回転処理に伴う補間劣化の影響が低減されているため、本実施例で説明したアンシャープマスク処理と同様に、より高精度に補正処理を実施することができる。

次に、本発明の実施例２における撮像装置について説明する。本実施例の撮像装置は、画像処理部１０５に代えて画像処理部２０５を有する点でのみ実施例１と異なり、その他の構成は実施例１の撮像装置と共通である。

図１０は、画像処理部２０５（画像処理装置）のブロック図である。図１０に示されるように、画像処理部２０５は、取得部２０５１、再構成処理部２０５２、整形処理部２０５３、回転処理部２０５４、および、鮮鋭化処理部２０５５を有する。

図１１は、本実施例における画像処理方法を示すフローチャートである。図１１のフローチャートは、本実施例におけるアンシャープマスク処理の流れを示している。本実施例でも、システムコントローラ１１１の指示を受けた画像処理部２０５が画像処理プログラムに従って本処理を行う。本実施例は、画像処理部２０５が撮像光学系のＰＳＦの係数データを取得し、係数データから撮像光学系のＰＳＦを再構成する点で、実施例１と異なる。それ以外の処理、すなわち図１１のステップＳ２１、Ｓ２４〜Ｓ２７は、図１のステップＳ１１、Ｓ１３〜Ｓ１６とそれぞれ同様であるため、それらの説明は省略する。
各ステップにおける具体的な処理について説明する前に、本実施例で用いる撮像光学系のＰＳＦの近似関数および係数データについて説明する。まず、撮像光学系のＰＳＦの近似に利用する関数について説明する。天文物理学などの分野において、測光した天体をフィッティングする際には、Ｍｏｆｆａｔ関数と呼ばれる以下の関数Ｐ（ｘ，ｙ）がよく利用される。

ここで、式（１１）のα、βは係数データであり、特にβ＝１のときをローレンツ関数と呼ぶ。例えば、式（１１）を用いてＰＳＦをモデル化する場合、計測または計算により算出したＰＳＦの分布に対し式（１０）でフィッティングすることで、これらの係数を求める。そして、算出した係数α、βおよび式（１１）を用いることにより、ＰＳＦをモデル化することができる。

ところで、式（１１）を用いて近似的なＰＳＦを作成することはできるものの、式（１１）は座標ｘ、ｙに対して回転対称な分布のみ表現可能な関数であり、回転非対称な分布を作成することはできない。撮像光学系のＰＳＦの場合、回転対称な分布になるとは限らないため、回転非対称な分布の形状も表現できるような関数をベースに利用する必要がある。

また、式（１１）を変形した関数として、Ｅｌｌｉｐｔｉｃａｌ Ｍｏｆｆａｔ関数と呼ばれる、以下の式（１２）で表される関数がある。

式（１２）のα、β、γは係数データ、式（１３）は角度θで回転行列である。式（１２）および式（１３）をまとめると、以下の式（１４）のように表現することができる。

式（１４）において、ａ、ｂ、ｃ、σ、βは係数データである。なお、式（１４）を利用する場合、楕円形状を保つには、係数ａ、ｂ、ｃに関して、（ｂ^２−ａｃ＜０）の関係を満たす必要がある。このように、式（１４）または式（１２）を用いることにより、式（１１）では表現できない楕円形状の分布も再現することができる。しかしながら、撮像光学系のＰＳＦのフィッティングに式（１４）を利用する場合、式（１１）に比べると楕円形状も近似できるためその分精度は向上するものの、非対称収差やサジタルハロのような複雑な形状を再現することができない。

そこで本実施例では、撮像光学系の非対称収差やサジタルハロのような複雑な形状のＰＳＦを再現可能な関数として、以下の式（１５）で表される関数を用いる。

式（１５）において、ａ，ｂ，ｃ，ｄ，ｅ，σ，βは係数である。なお、式（１５）についても式（１４）の場合と同様に、係数ａ，ｂ，ｃに関してはｂ^２−ａｃ＜０の関係を満たす必要がある。

図１２（Ａ）はｘｙ座標に対して回転対称な分布を示しており、式（１１）、式（１２）および式（１３）、式（１４）、式（１５）のいずれの関数であっても表現できる。撮像光学系が共軸系であり、像点が光軸上であればＰＳＦも回転対称となるため、いずれの関数を用いてもこうした分布の形状を表現することができる。図１２（Ｂ）、（Ｃ）は、ｘ軸、ｙ軸に楕円の長軸または短軸が重なる楕円形状の分布を示しており、このような分布形状は式（１１）では回転対称系の分布形状しか表現できない。このような分布形状は式（１２）、および、式（１３）、式（１４）、式（１５）のいずれかを用いることで近似精度は向上する。図１２（Ｄ）は、ｘ軸、ｙ軸に楕円の長軸あるいは短軸が重ならない場合の楕円形状の分布を示しており、式（１１）または式（１２）のみではこのような分布形状を表現することができない。このような分布形状の場合は、式（１２）、および、式（１３）、式（１４）、式（１５）のいずれか用いることで近似精度は向上する。

図１２（Ｅ）、（Ｆ）は、ｘ軸に対して対称な分布形状を示しており、式（１１）、式（１２）および式（１３）、式（１４）の関数では、このような線対称な分布敬譲を表現することはできない。一方、本実施例で利用する式（１５）であれば、ｙ軸に対して対称化されるため、図１２（Ｅ）、（Ｆ）に示される分布形状であっても精度良く近似することができる。前述のように撮像光学系の光軸上の像点におけるＰＳＦは回転対称な形状となるが、光軸に対して垂直な平面（像面）内における光軸上以外の像点では、ＰＳＦは回転対称な分布となるとは限らない。しかしながら光軸上以外の像点であっても、像面内で像点と光軸直線方向（メリジオナル方向）に対し垂直な方向（サジタル方向）に対しては、共軸光学系の場合、その像点上のＰＳＦは対称な分布となる。このように撮像光学系のＰＳＦは回転対称な分布になるとは限らないものの、サジタル方向に対し対称性を有するため、式（１５）のｘ軸をサジタル方向、ｙ軸をメリジオナル方向に一致させることで複雑な非対称収差に対応することができる。

次に、式（１５）における各係数について詳細に説明する。式（１５）の係数のうち、係数ａ、ｂ、ｃは、図１２（Ｄ）に示されるようにＸ軸とＹ軸に長軸と短軸が重ならない楕円分布を生成するための係数である。そして、これらの係数ａ、ｂ、ｃを制御することにより、楕円分布のＸ方向とＹ方向での非対称性を制御することができる。さらに、図１２（Ｅ）、（Ｆ）に示されるように、サジタルハロのような他の関数では表現が困難な収差も表現することができる。

係数ｄは、Ｙ方向（特定方向）において楕円分布を非対称化するための係数であり、係数ｄを制御することでメリジオナル方向において非対称な形状となる収差に対応することができる。例えば、コマ収差はこの係数ｄを制御することで、より近似精度を向上させることができる。

係数ｅ、σ、βは、楕円分布の拡がりを制御するための係数である。近似する楕円分布の拡がりが大きい場合は係数σを大きくし、近似する楕円分布の形状がピーク付近で急激に変化する場合は係数βを大きくすることで、近似精度を向上させることができる。係数ｅは、楕円分布の拡がりを制限するための係数である。係数ｅ＝０の場合は式（１５）より楕円分布は周辺側でＰ（ｘ，ｙ）＝０に漸近する。このため、楕円分布の拡がりが小さい場合は係数ｅをｅ＞０とすることで近似精度を向上させることができる。なお、撮像光学系のＰＳＦを近似するために、楕円分布はＰ（ｘ，ｙ）≧０とする必要がある。このため、ｅ＞０とした場合は、周辺部ではＰ（ｘ，ｙ）＜０となるが、その場合はクリップしてＰ（ｘ，ｙ）＝０とすればよい。

次に、図１１のステップＳ２２およびステップＳ２３の処理について説明する。ステップＳ２２において、画像処理部２０５（取得部２０５１）は、撮像条件に応じた撮像光学系１０１のＰＳＦの再構成に用いる式（１５）の関数（所定の関数）の係数ａ、ｂ、ｃ、ｄ、ｅ、σ、βのデータを取得する。なお、ある像点に対応する近似ＰＳＦを生成するには、必ずしもこれら全ての係数のデータを取得する必要はない。例えば光軸上のＰＳＦであれば、前述した回転対称な形状となるため、ａ＝ｃ、ｂ＝０、ｄ＝１となる。

また、係数βはべき乗の項であるため、係数βをＰＳＦに応じて変化できるようにすると処理負荷が増大する。このため、β＝１と固定してもよい。このように係数βを固定すると、係数βを有する場合に比べて表現できる形状が減るものの、記憶部１０９に保持する係数データ量の削減や処理負荷の低減を図ることができる。

また、近似精度を向上させるため、係数を追加してもよい。例えば分布の拡がりが小さく、ピークが高くなるようなＰＳＦに対しては、連続関数で高精度にフィッティングするのは難しいため、ＰＳＦのピークあるいはピーク付近の値を直接、係数として設定してもよい。このように、分布が急激に変化する領域を直接、係数として設定することにより、関数で再現する領域をそれ以外の領域とすることができ、近似精度を向上させることが可能となる。また、ステップＳ２２において、画像処理部２０５（取得部２０５１）は、係数データだけでなく、鮮鋭化処理を実行する際に用いる調整係数ｍを取得してもよい。

本実施例において、画像処理部２０５は、このようにして係数データを取得し、係数データを用いて近似ＰＳＦを生成し、近似ＰＳＦに対応するアンシャープマスクＵＳＭを生成する。このため、撮像光学系のＰＳＦに対応するデータを直接保持する場合と比べて、補正精度を維持したまま保持すべきデータ量を大幅に削減することができる。例えば、図７に示されるように、１１×１１タップのアンシャープマスクＵＳＭであれば、１２１個のタップ値のデータを持つ必要がある。ＲＧＢに対するデータを別々に保持する場合にはその３倍になるため、３６３個のタップ値のデータを保持しなければならない。一方、係数を保持する場合、式（１５）の係数は７個であり、ＲＧＢに対する係数を別々に保持する場合であっても２１個となる。このように、係数のデータを保持することで保持データ量を削減することができる。

続いて、ステップＳ２３において、画像処理部２０５（再構成処理部２０５２）は、ステップＳ２２にて取得した係数データを用いてＰＳＦを再構成する（再構成処理）。ＰＳＦは、係数データと係数データを算出する際に利用した関数である式（１５）に基づいて再構成され、本実施例は再構成したＰＳＦをアンシャープマスクして利用する。

図１４は、再構成された点像強度分布関数ＰＳＦの断面図であり、アンシャープマスクとして図の領域Ａの部分を再現させようとする場合には、少し広めの領域Ｂでフィッティングし、係数を生成してもよい。これにより、交換レンズなどにより、後からタップ数やピッチを変更した場合に、領域を増やす方向にも変更することが可能となる。

または、タップ数やピッチ、再構成の精度などが予め決定されている場合、その光学系やセンサに応じた領域で生成してもよい。基本的に、生成されるアンシャープマスクの１つのタップの大きさは、画像を取得した際の撮像素子の一画素の大きさに一致させる必要があるため、一意的に決定される場合にはセンサの画素サイズに合うように生成する。本処理のように、係数からアンシャープマスクを再構成する場合、係数を増やせばその分鮮鋭化の際の補正精度も向上するため、要求精度に合わせて係数の生成および再構成を行うことが好ましい。

図１６は、調整した鮮鋭化フィルタの断面図である。再構成したＰＳＦあるいは鮮鋭化フィルタに対して鮮鋭化効果を向上させるため、図１６（Ｂ）に示されるような、窓関数を適用してもよい。図１６（Ａ）中の破線Ｐ１は再構成されたＰＳＦであって、フィルタサイズよりもサイズが大きいＰＳＦを示している。このように、フィルタサイズより再構成されたＰＳＦのサイズが大きく、その周辺部でも０に近づいていない場合には、そのまま離散化して鮮鋭化フィルタを生成すると、鮮鋭化フィルタによる鮮鋭化の効果が低下する。より具体的には、入力画像において特にコントラストの差の大きい領域でフィルタ係数の不連続性の影響が顕著に現れ、正しく鮮鋭化されない。これは撮像光学系のＰＳＦに対してフィルタのタップ数が少なく、周辺部の情報が欠落しているときに起きるため、タップ数を増やすことで解決することができる。ただし、タップ数が固定されている場合、すなわち仕様として決まっている場合には、別の方法で対処する必要がある。

別の対処方法として、図１６（Ｂ）中の破線で示されるように中央部ではほぼ１で、周辺部に向かって連続的に０に減少する分布を再構成されたＰＳＦに掛け合わせることで、図１６（Ａ）の点線Ｐ２で示される分布となるようにＰＳＦを調整する。そして、図１６（Ａ）の点線Ｐ２で示される調整後のＰＳＦから鮮鋭化フィルタを生成することにより、前述の影響を低減することができる。なお、図１６（Ｂ）に破線で示される分布を離散データとして保持しておき、離散化されたＰＳＦに掛け合わせてもよい。

本実施例の構成、すなわち撮像光学系のＰＳＦを近似して係数として保持し、アンシャープマスクを作成する際にＰＳＦを再構成することにより、さらに保持するデータ量を低減することが可能となる。本実施例においても、実施例１と同様に、撮像光学系の非対称なＰＳＦおよび光学ローパスフィルタによって劣化した入力画像を精度良く補正し鮮鋭化された画像を得ることができる。

次に、本発明の実施例３における撮像装置について説明する。本実施例は、実施例１または実施例２に対して撮像装置の構成が異なり、画像処理方法は図１１を参照して説明した実施例２のフローチャートと同様であるため、ここでは撮像装置の構成についてのみ説明する。

図１５は、本実施例における撮像装置（交換レンズ１とカメラ本体２）のブロック図であり、交換レンズ１およびカメラ本体２の構成を模式的に示している。交換レンズ１（レンズ装置）は、交換式オートフォーカスレンズであり、フォーカスユニット３、モータ４、移動量検出ユニット５、不揮発性ＲＯＭ６、レンズマイコン７、接点ユニット８、および、フォーカスレンズ９を備える。

フォーカスユニット３は、フォーカスレンズ９を光軸ＯＡに沿った方向（光軸方向）に移動可能に保持し、被写体にピントを合わせるための保持機構である。モータ４は、フォーカスユニット３を駆動させるアクチュエータである。移動量検出ユニット５は、モータ４の回転量および回転速度を検出する検出手段であり、フォーカスユニット３の移動量を計測することができる。ＲＯＭ７は、書き換え可能な不揮発性メモリ（記憶手段）である。不揮発性ＲＯＭ６に記憶されるデータは、主に交換レンズ１特有の光学的な特性を示す情報で、カメラ本体２はこの情報を交換レンズ１から取得し、更にこの情報を元に撮影された画像の補正を行っている。

撮像光学系のＰＳＦを再構成するために必要となる係数データや調整係数ｍなどのＰＳＦに関する情報が不揮発性ＲＯＭ６に記憶されており、接点ユニット８を介して、交換レンズ１からカメラ本体２へ通信により送信する。カメラ本体２は、交換レンズ１から送信されたＰＳＦに関する情報からフィルタを生成して補正処理を実行し、鮮鋭化画像を生成する。

レンズマイコン７は、交換レンズ１の内部の各構成要素を制御するレンズ制御手段（制御手段）である。レンズマイコン７は、交換レンズ１とカメラ本体２との間で通信を行うための通信回路（通信手段）、リセット例外処理、Ａ／Ｄ、タイマー、入出力ポート、内蔵ＲＯＭ、および、内蔵ＲＡＭなどの機能を有する。通信回路は、交換レンズ１とカメラ本体２との間で、撮影モード（動画撮影モード、静止画撮影モード）に応じた制御情報を含む通信方式で通信を行う。レンズマイコン７は、通信回路を介して得られた制御情報を用いてレンズや絞りなどの光学素子の駆動制御を行う。接点ユニット８は、交換レンズ１とカメラ本体２との間で通信を行うための複数の金属接点を備え、レンズマイコン７とカメラマイコン１１とを電気的に接続する接続手段である。

カメラ本体２（撮像装置本体）は、測距ユニット１０、カメラマイコン１１、および、ＣＭＯＳセンサやＣＣＤセンサなどの撮像素子１２を備える。測距ユニット１０は、被写体までの距離に対するフォーカスユニット３の現在位置のフィルム面でのズレ量を測距する測定手段（焦点検出手段）である。なお、オートフォーカスに関する説明は、本実施例の主旨とは無関係であるため説明は省略する。
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、鮮鋭化処理に必要な情報量を低減しつつ、高精度な鮮鋭化処理を実行することが可能な画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０５ 画像処理部（画像処理装置）
１０５１ 取得部
１０５２ 整形処理部
１０５３ 回転処理部
１０５４ 鮮鋭化処理部

Claims (24)

1. 光学系を用いた撮影により生成された撮影画像を取得するステップと、
   撮影条件に対応する前記光学系の点像強度分布関数に関する情報に基づいて生成されたデータに対して、該データの最大値と最大値以外の値との差を小さくするように第１の整形処理を行うステップと、
   前記第１の整形処理後のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、
   前記回転処理後のデータに基づいて前記撮影画像の鮮鋭化処理を行うステップと、を有することを特徴とする画像処理方法。
2. 前記鮮鋭化処理を行うステップにおいて、前記回転処理後のデータに基づいて、前記撮影画像に対してアンシャープマスク処理を行うことを特徴とする請求項１に記載の画像処理方法。
3. 前記点像強度分布関数に関する情報に基づいて生成されたデータは複数の係数が二次元に配列されたデータであることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記複数の係数の値の分布は回転非対称であることを特徴とする請求項３に記載の画像処理方法。
5. 前記回転処理後のデータは、前記第１の整形処理後のデータを用いた補間処理によって算出された係数を含むことを特徴とする請求項３または４に記載の画像処理方法。
6. 前記第１の整形処理は、前記点像強度分布関数に関する情報に基づいて生成されたデータにおける、隣接する係数間の値の変化量の最大値を小さくする処理であることを特徴とする請求項３乃至５のいずれか１項に記載の画像処理方法。
7. 前記第１の整形処理および前記回転処理は、前記撮影画像における第１の位置に対応する前記点像強度分布関数に関する情報から、前記第１の位置とは異なる第２の位置に対応する前記点像強度分布関数に基づくデータを生成する際に行われる処理であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理方法。
8. 前記第１の整形処理を行うステップにおいて、前記点像強度分布関数に関する情報に基づいて生成されたデータの最大値を減少させる処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理方法。
9. 前記第１の整形処理を行うステップにおいて、前記光学系の点像強度分布関数に関する情報に基づいて生成されたデータの最大値以外の値を増加させる処理を行うことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理方法。
10. 前記回転処理後のデータに対して、該データの最大値と最大値以外の値との差を大きくするように第２の整形処理を行うステップを更に有し、
    前記鮮鋭化処理を行うステップにおいて、前記第２の整形処理後のデータを用いて前記撮影画像の鮮鋭化処理を行うことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理方法。
11. 前記第２の整形処理を行うステップにおいて、前記回転処理後のデータの最大値を増加させる処理を行うことを特徴とする請求項１０に記載の画像処理方法。
12. 前記第２の整形処理を行うステップにおいて、前記回転処理後のデータの最大値以外の値を減少させる処理を行うことを特徴とする請求項１０または１１に記載の画像処理方法。
13. 前記鮮鋭化処理を行うステップにおいて、前記第２の整形処理後のデータに窓関数を適用したデータを用いて前記撮影画像の鮮鋭化処理を行うことを特徴とする請求項１０乃至１２のいずれか１項に記載の画像処理方法。
14. 前記鮮鋭化処理を行うステップにおいて、
    前記第２の整形処理後のデータに基づいて鮮鋭化フィルタを生成し、前記鮮鋭化フィルタを前記撮影画像に対して畳み込み積分することにより該撮影画像を鮮鋭化することを特徴とする請求項１０乃至１３のいずれか１項に記載の画像処理方法。
15. 前記鮮鋭化フィルタは、前記撮影画像の位置に応じた調整係数により調整されることを特徴とする請求項１４に記載の画像処理方法。
16. 前記鮮鋭化処理を行うステップにおいて、
    前記第２の整形処理後のデータと前記撮影画像とに基づいて補正成分を生成し、
    前記補正成分を前記撮影画像に対して加算または減算することにより該撮影画像を鮮鋭化すること特徴とする請求項１０乃至１５のいずれか１項に記載の画像処理方法。
17. 前記補正成分は、前記撮影画像の位置に応じた調整係数により調整されることを特徴とする請求項１６に記載の画像処理方法。
18. 前記撮影条件は、像高、焦点距離、Ｆ値、および、撮影距離のうち少なくとも一つを含むことを特徴とする請求項１乃至１７のいずれか１項に記載の画像処理方法。
19. 前記点像強度分布関数に関する情報は、前記点像強度分布を近似するための関数の係数データであり、
    前記第１の整形処理を行うステップにおいて、前記係数データに基づいて生成されたデータに対して前記第１の整形処理を行うことを特徴とする請求項１乃至１８のいずれか１項に記載の画像処理方法。
20. 光学系を用いた撮影により生成された撮影画像を取得するステップと、
    撮影条件に対応する前記光学系の点像強度分布関数に関する情報に基づいて生成されたデータに対して、第１の整形処理を行うステップと、
    前記第１の整形処理後のデータに対して、前記撮影画像の位置に応じた回転処理を行うステップと、
    前記回転処理後のデータに基づいて前記撮影画像の鮮鋭化処理を行うステップと、を有し、
    前記点像強度分布関数に関する情報に基づいて生成されたデータは複数の係数が配列されたデータであり、
    前記第１の整形処理は、前記点像強度分布関数に関する情報に基づいて生成されたデータにおける、隣接する係数間の値の変化量の最大値を小さくする処理であることを特徴とする画像処理方法。
21. 光学系を用いた撮影により生成された撮影画像を取得する取得部と、
    撮影条件に対応する前記光学系の点像強度分布関数に関する情報に基づいて生成されたデータに対して、該データの最大値と最大値以外の値との差を小さくするように第１の整形処理を行う整形処理部と、
    前記第１の整形処理後のデータに対して、前記撮影画像の位置に応じた回転処理を行う回転処理部と、
    前記回転処理後のデータに基づいて前記撮影画像の鮮鋭化処理を行う鮮鋭化処理部と、を有することを特徴とする画像処理装置。
22. 光学系を用いた撮影により形成された光学像を光電変換して画像データを出力する撮像素子と、
    請求項２１に記載の画像処理装置と、を有することを特徴とする撮像装置。
23. 請求項１乃至２０のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
24. 請求項２３に記載のプログラムを記憶していることを特徴とする記憶媒体。