JP5933105B2 - 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム - Google Patents

Description

本発明は、点拡がり関数に基づく復元処理に係る画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラムに関する。

撮像光学系を介して撮影される被写体像には、撮像光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ所謂点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と呼ばれ、撮影画像の解像度劣化（ボケ）を左右するパラメータとして知られている。

この点拡がり現象のために画質劣化した撮影画像は、ＰＳＦに基づく点像復元処理を受けることで画質を回復することができる。点像復元処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた復元フィルタ（回復フィルタ）を用いる画像処理によって撮影画像の点拡がりをキャンセルする処理である。

この点像復元処理については様々な手法が提案されており、例えば特許文献１は、画像復元処理を容易に実施できるようにする画像復元装置を開示する。この画像復元装置では、原画像中の３つの境界それぞれから求められる３種類の劣化点像の強度分布を加算平均することで算出される強度分布を用いて、復元フィルタが生成され画像復元処理が実施される。

特開２０１１−１５０６３５号公報

点像復元処理は、原画像データに対して復元フィルタを適用することで回復画像データを得る処理であるため、使用する復元フィルタによって、得られる回復画像データの画質が左右される。

点像復元処理用の復元フィルタとして、様々なモデルのフィルタが提唱されており、例えばウイナーフィルタ（Ｗｉｅｎｅｒ ｆｉｌｔｅｒ）が広く知られている。このウイナーフィルタや特許文献１の復元フィルタ等の従来の復元フィルタは、点像復元を目的として設計されたフィルタであるため、「点像復元」という観点からは優れた特性を有し、画像（点像）を精度良く復元することが可能である。

しかしながら、これらの従来の復元フィルタの設計時には「点像復元精度以外の画質」への影響が十分に考慮されておらず、そのような復元フィルタを使用した点像復元処理は、点像復元精度以外の画質に悪影響を及ぼすことがある。例えば、コントラストが急激に変化する画像中のエッジ部分（画像境界部分）等では、点像復元処理によって、リンギングが出現することがある。また、折り返しノイズ（エイリアシング）が生じている画像データに対して点像復元処理を行うことで、折り返しノイズを強調してしまうことがある。

このように、従来の復元フィルタを用いた点像復元処理は、点像復元を良好に行うことは可能であるが、その点像復元によって予期しない悪影響を画質に及ぼすことがある。

特に、光学系によってもたらされる点拡がり現象に対して十分な処理能力を持たないモバイルデバイス等の機器類における点像復元処理は、点像復元精度以外の画質に悪影響を及ぼす傾向が強い。モバイルデバイス等の比較的小型の装置類は、演算処理回路や記憶デバイス等のハードウェアが制限され、必ずしも十分な処理能力を持つことできず、タップ数が制限された復元フィルタによって点像復元処理が行われるため、点像復元処理による点像復元精度以外の画質への影響が現れやすい。

本発明は上述の事情に鑑みてなされたものであり、高精度な点像復元処理を可能としつつ、点像復元精度以外の画質への悪影響も防ぐことが可能な技術を提供することを目的とする。

本発明の一態様は、光学系を用いた撮影により撮像素子から得られる原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る画像処理装置であって、復元フィルタは、点拡がり関数に基づく理想フィルタにフィッティングするように、複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含む画像処理装置に関する。

本態様によれば、画質劣化を防ぐのに有効であることが予め確認されているフィルタを「複数の基底フィルタ」として使用することで、「高精度な点像復元処理」と「画質劣化の防止」とを高いレベルで両立させることができる。

ここでいう「複数の基底フィルタ」は、復元フィルタ（組み合わせフィルタ）を導出する際の基礎となる複数のフィルタであり、画質劣化を防ぐのに有効であることが予め確認されているフィルタの中から適宜選択可能である。「画質劣化を防ぐのに有効であることが予め確認されているフィルタ」は、特に限定されず、点像復元処理精度以外の画質への悪影響を防ぐことが可能なフィルタを「複数の基底フィルタ」として好適に採用しうる。例えば、「リンギングをもたらさないフィルタ」、「折り返しノイズを強調しないフィルタ」等の点像復元処理精度以外の画質への悪影響を防ぐことが可能なフィルタを複数の基底フィルタとして使用することで、生成される復元フィルタを用いた点像復元処理において、点像復元処理精度を高いレベルで維持しつつ、リンギングの発生や折り返しノイズの強調等の画質劣化を防ぐことが可能となる。

また「理想フィルタ」は、点拡がり関数に基づくフィルタであって、所望の点像復元処理を実現する観点から適宜求められるフィルタである。したがって、例えばウイナーフィルタ等の既知のモデルから導き出されるフィルタを理想フィルタとしてもよいし、精度良く点像復元処理を行うことが可能な他のフィルタを理想フィルタとしてもよい。

また「点拡がり関数」は、光学系の点光源に対する応答を表す関数であり、光学系のＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を用いることができるが、ＰＳＦに限定されるものではなく、ＰＳＦと関連する他の関数が用いられてもよい。例えばＰＳＦをフーリエ変換して得られるＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）、ＯＴＦの絶対値を示すＭＴＦ（Ｍｏｄｕｒａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）、ＯＴＦの構成要素のうち位相のずれを空間周波数の関数としたＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）等を用いた関数を、「点拡がり関数」として使用してもよい。

また、理想フィルタにフィッティングする手法も特に限定されず、任意の手法によって複数の基底フィルタを組み合わせて理想フィルタにフィッティングすることが可能である。ただし、このフィッティングの際に、複数の基底フィルタによって奏される効果（「画質劣化の防止」）が損なわれないようにフィッティングを行うことが好ましく、例えば複数の基底フィルタの線形和から最小二乗法に基づいて理想フィルタへのフィッティングを行うことも可能である。

望ましくは、複数の基底フィルタは、それぞれを単独で用いた復元処理を原画像データに対して行った場合に得られる回復画像データにおいてリンギングをもたらさないフィルタである。

本態様によれば、「点像復元精度」と「リンギングの防止」とを高いレベルで両立することが可能である。

「リンギング」とは、処理対象画像（画像データ）内のエッジ付近（境界部近傍）に本来は存在しない波のような応答が発生して画像信号の波形が波うつように振動する現象であり、コントラスト変化の大きいエッジ付近においてリンギング現象により擬似輪郭（リンギング歪）が発生することがある。

望ましくは、複数の基底フィルタは、それぞれを単独で用いた復元処理を原画像データに対して行った場合に得られる回復画像データにおいて折り返しノイズを強調しないフィルタである。

本態様によれば、「点像復元精度」と「折り返しノイズの強調防止」とを高いレベルで両立することが可能である。

「折り返しノイズ」とは、入力信号（画像データ）に含まれる周波数成分がサンプリング周波数の２分の１の値（ナイキスト周波数）よりも高い場合に発生する雑音（歪み成分）のことであり、標本化定理を満たさない画像サンプリング処理によって折り返しノイズが生じうる。

本発明の他の態様は、光学系を用いた撮影により撮像素子から得られる原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る画像処理装置であって、復元フィルタは、それぞれを単独で用いた復元処理を原画像データに対して行った場合に得られる回復画像データにおいてリンギングをもたらさない複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含む画像処理装置に関する。

本態様によれば、リンギングの発生を防ぎつつ、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことができる。

本発明の他の態様は、光学系を用いた撮影により撮像素子から得られる原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る画像処理装置であって、復元フィルタは、それぞれを単独で用いた復元処理を原画像データに対して行った場合に得られる回復画像データにおいて折り返しノイズを強調しない複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含む画像処理装置に関する。

本態様によれば、折り返しノイズの強調を防ぎつつ、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行うことができる。

望ましくは、画像処理装置は、原画像データを解析して取得される画像解析データ及び原画像データの取得条件を示す画像取得条件データのうち、少なくともいずれか一方を含む画像情報を取得する画像情報取得部と、画像情報に基づいて、復元フィルタを選択するフィルタ選択部と、フィルタ選択部によって選択された復元フィルタを用いた復元処理を原画像データに対して行って回復画像データを得る復元演算部と、を備え、復元フィルタは、点拡がり関数に基づく理想フィルタと、組み合わせフィルタと、を含み、フィルタ選択部は、画像情報に基づいて、理想フィルタ及び組み合わせフィルタのうちいずれか一方を、復元処理に用いる復元フィルタとして選択する。

本態様によれば、画像情報に基づいて、復元処理で用いられる復元フィルタを理想フィルタ及び組み合わせフィルタのいずれかから選択される。したがって、画像情報から、復元処理によって画像劣化を招く可能性が大きいと判定される場合には組み合わせフィルタを選択し、復元処理によって画像劣化を招く可能性が小さいと判定される場合には理想フィルタを選択することで、復元精度が高く再現性に優れた回復画像データを得ることができる。

望ましくは、画像情報取得部は、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが、原画像データに含まれるか否かを示す画像解析データを含む画像情報を取得し、フィルタ選択部は、画像解析データが、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが原画像データに含まれることを示す場合には、組み合わせフィルタを選択し、画像解析データが、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが原画像データに含まれることを示さない場合には、理想フィルタを選択する。

本態様によれば、復元画像の劣化要因となりうる「画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データ」が原画像データに含まれる場合には組み合わせフィルタが選択され、原画像データに含まれる場合には理想フィルタが選択されるため、復元精度が高く再現性に優れた回復画像データを得ることができる。

なお、ここでいう「閾値」は特に限定されないが、理想フィルタを用いた復元処理によって、リンギング等の発生に影響を及ぼし得る画素値の大きさに基づいて「閾値」は適宜設定されうる。

望ましくは、原画像データの画像中のエッジ部分を検出するエッジ検出部を更に備え、画像情報取得部は、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが、原画像データのうちエッジ部分に含まれるか否かを示す画像解析データを含む画像情報を取得し、フィルタ選択部は、画像解析データが、画素値が飽和した画素データ又は閾値値よりも大きな画素値を有する画素データが原画像データのうちエッジ部分に含まれることを示す場合には、組み合わせフィルタを選択し、画像解析データが、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが原画像データのうちエッジ部分に含まれることを示さない場合には、理想フィルタを選択する。

本態様によれば、復元画像の劣化要因となりうる「画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データ」が、復元画像の劣化が生じやすい「エッジ部分」に含まれる場合には組み合わせフィルタが選択され、それ以外の場合には理想フィルタが選択されるため、復元精度が高く再現性に優れた回復画像データを得ることができる。

望ましくは、画像情報取得部は、光学系の情報を示す画像取得条件データを含む画像情報を取得し、フィルタ選択部は、理想フィルタが光学系に対応する場合には、理想フィルタを選択し、理想フィルタが光学系に対応しない場合には、組み合わせフィルタを選択する。

本態様によれば、理想フィルタが光学系に対応する場合には理想フィルタが選択され、理想フィルタが光学系に対応しない場合には組み合わせフィルタを選択されるため、復元精度が高く再現性に優れた回復画像データを得ることができる。

「理想フィルタが光学系に対応するか否か」は、理想フィルタの作成時に想定される光学系と原画像データの取得時に使用した光学系とが一致するか否かに基づいて判定可能である。なお、理想フィルタの作成時に想定される光学系と原画像データの取得時に使用した光学系とが完全に一致する場合のみ「理想フィルタが光学系に対応する」と判定してもよいが、このような完全一致の場合だけではなく、理想フィルタによる復元処理によって回復画像の劣化を招く可能性が低いと想定される光学系が原画像データの取得時に使用される場合にも「理想フィルタが光学系に対応する」と判定してもよい。

望ましくは、フィルタ選択部は、原画像データ毎に、理想フィルタ及び組み合わせフィルタのうちいずれか一方を、復元処理に用いる復元フィルタとして選択する。

本態様によれば、原画像データ毎に、理想フィルタ及び組み合わせフィルタのうちいずれか一方が復元フィルタとして選択される。

望ましくは、フィルタ選択部は、原画像データのうちの注目画素及び注目画素の周辺画素に関する画像情報に基づいて、原画像データを構成する画素データ毎に、理想フィルタ及び組み合わせフィルタのうちいずれか一方を、注目画素に対する復元処理に用いる復元フィルタとして選択する。

本態様によれば、原画像データを構成する画素データ毎に、理想フィルタ及び組み合わせフィルタのうちいずれか一方が復元フィルタとして選択される。

望ましくは、撮像素子は、複数色のカラーフィルタを具備し、復元フィルタは、カラーフィルタの配列に応じた周波数特性を持つ。

本態様によれば、撮像素子で使用されるカラーフィルタ配列の特性を考慮した復元フィルタの生成が可能である。

カラーフィルタで使用される色及び配列は特に限定されず、特定の波長域の光を透過する任意のカラーフィルタを任意のパターンで配列されたものを使用することができる。

望ましくは、複数の基底フィルタは、それぞれの周波数特性が相互に相違し、組み合わせフィルタは、複数の基底フィルタの線形和から得られる。

本態様によれば、周波数特性の異なる複数の基底フィルタの線形和から復元フィルタが得られるため、基底フィルタによって奏される効果が反映された復元フィルタを取得及び使用することができる。

望ましくは、複数の基底フィルタの各々に対する重み付け係数は、最小二乗法によって算出される。

本態様のように、最小二乗法によって複数の基底フィルタの各々に対する重み付け係数を算出することで、精度の良い復元フィルタを得ることができる。

望ましくは、複数の基底フィルタは、輪郭補正の周波数特性を有するフィルタである。

本態様によれば、輪郭補正の周波数特性を有するフィルタ（輪郭補正用フィルタ）を複数の基底フィルタとして使用するため、簡便に高精度な復元フィルタを得ることができる。

ここでいう「輪郭補正の周波数特性を有するフィルタ」は、画像（原画像データ）中の輪郭部分（エッジ部分）の画質を良好にするためのフィルタであれば特に限定されず、例えば輪郭部分を強調するフィルタを採用することが可能である。

望ましくは、復元フィルタは、原画像データの画素数に応じたフィルタ係数を持つ。

本態様によれば、復元フィルタのフィルタ係数は原画像データの画素数に応じて定められるため、原画像データの画素数に応じた特性を復元フィルタに反映することが可能である。例えば、原画像データの画素数が比較的少ない場合には、高周波成分を強調する基底フィルタを非選択としたり、高周波成分を強調する基底フィルタに対する重みを小さくしたりすることが可能である。

望ましくは、光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する。

本態様によれば、いわゆるＥＤｏＦ（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））光学系を介して得られる原画像データに対しても、「高精度な点像復元処理」と「画質劣化の防止」とを両立させることができる。なお、レンズ部における位相を変調させる手法（光学的位相変調手段）は特に限定されず、レンズ間に位相変調部を設けたり、レンズ自体（例えばレンズの入射面／出力面）に位相変調機能を持たせたりすることも可能である。

本発明の他の態様は、光学系を介して受光した被写体像の原画像データを出力する撮像素子と、上記のいずれかの画像処理装置と、を備える撮像装置に関する。

本態様によれば、撮像装置において上述の各態様の復元処理を行うことができる。なお、レンズ等の光学系は、撮像装置と一体的に設けられていてもよいし、撮像装置とは別体として設けられていてもよい。

本発明の他の態様は、光学系を用いた撮影により撮像素子から得られる原画像データより回復画像データを得るために行われる復元処理で用いられる復元フィルタを生成するフィルタ生成装置であって、複数の基底フィルタを記憶する記憶部と、光学系の点拡がり関数に基づく理想フィルタを算出する理想フィルタ算出部と、理想フィルタにフィッティングするように複数の基底フィルタを組み合わせて復元フィルタを生成する復元フィルタ生成部と、を備えるフィルタ生成装置に関する。

本態様によれば、画質劣化を防ぐのに有効であることが予め確認されているフィルタを「複数の基底フィルタ」として使用することで、「高精度な点像復元処理」と「画質劣化の防止」とを高いレベルで両立させる復元フィルタを生成することができる。

本発明の他の態様は、光学系を用いた撮影により撮像素子から得られる原画像データより回復画像データを得るために行われる復元処理で用いられる復元フィルタを生成するフィルタ生成装置であって、複数の基底フィルタを記憶する記憶部と、複数の基底フィルタを組み合わせて復元フィルタを生成する復元フィルタ生成部と、を備え、復元フィルタは、それぞれを単独で用いた復元処理を原画像データに対して行った場合に得られる回復画像データにおいてリンギングをもたらさない複数の基底フィルタが組み合わされて生成されるフィルタ生成装置に関する。

本発明の他の態様は、光学系を用いた撮影により撮像素子から得られる原画像データより回復画像データを得るために行われる復元処理で用いられる復元フィルタを生成するフィルタ生成装置であって、複数の基底フィルタを記憶する記憶部と、複数の基底フィルタを組み合わせて復元フィルタを生成する復元フィルタ生成部と、を備え、復元フィルタは、それぞれを単独で用いた復元処理を原画像データに対して行った場合に得られる回復画像データにおいて折り返しノイズを強調しない複数の基底フィルタが組み合わされて生成されるフィルタ生成装置に関する。

本発明の他の態様は、光学系を用いた撮影により撮像素子から得られる原画像データを取得するステップと、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を原画像データに対して行って回復画像データを得るステップと、を含む画像復元方法であって、復元フィルタは、点拡がり関数に基づく理想フィルタにフィッティングするように、複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含む画像復元方法に関する。

本発明の他の態様は、光学系を用いた撮影により撮像素子から得られる原画像データを取得するステップと、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を原画像データに対して行って回復画像データを得るステップと、を含む画像復元方法であって、復元フィルタは、それぞれを単独で用いた復元処理を原画像データに対して行った場合に得られる回復画像データにおいてリンギングをもたらさない複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含む画像復元方法に関する。

本発明の他の態様は、光学系を用いた撮影により撮像素子から得られる原画像データを取得するステップと、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を原画像データに対して行って回復画像データを得るステップと、を含む画像復元方法であって、復元フィルタは、それぞれを単独で用いた復元処理を原画像データに対して行った場合に得られる回復画像データにおいて折り返しノイズを強調しない複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含む画像復元方法に関する。

本発明の他の態様は、光学系を用いた撮影により撮像素子から得られる原画像データを取得する手順と、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を原画像データに対して行って回復画像データを得る手順と、をコンピュータに実行させるためのプログラムであって、復元フィルタは、点拡がり関数に基づく理想フィルタにフィッティングするように、複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含むプログラムに関する。

本発明の他の態様は、光学系を用いた撮影により撮像素子から得られる原画像データを取得する手順と、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を原画像データに対して行って回復画像データを得る手順と、をコンピュータに実行させるためのプログラムであって、復元フィルタは、それぞれを単独で用いた復元処理を原画像データに対して行った場合に得られる回復画像データにおいてリンギングをもたらさない複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含むプログラムに関する。

本発明の他の態様は、光学系を用いた撮影により撮像素子から得られる原画像データを取得する手順と、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を原画像データに対して行って回復画像データを得る手順と、をコンピュータに実行させるためのプログラムであって、復元フィルタは、それぞれを単独で用いた復元処理を原画像データに対して行った場合に得られる回復画像データにおいて折り返しノイズを強調しない複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含むプログラムに関する。

本発明の他の態様は、上述した態様のプログラムのコンピュータ読み取り可能なコードが記録された、非一時的記録媒体に関する。そのような記録媒体としては、CD（Compact Disk）、DVD（Digital Versatile Disk）、HD（Hard Disk）、SSD（Solid State Drive）、USBメモリ等の、各種の光磁気記録媒体や半導体記録媒体を用いることができる。

本発明の一態様によれば、画質劣化を防ぐのに有効であることが予め確認されているフィルタを「複数の基底フィルタ」として使用することで、「高精度な点像復元処理」と「画質劣化の防止」とを高いレベルで両立させることができる復元フィルタ（組み合わせフィルタ）の生成及びそのような復元フィルタを使用した復元処理を行うことができる。

例えば、リンギングをもたらさない基底フィルタを複数組み合わせて復元フィルタを生成する場合には、リンギングの発生を防いだ復元処理を行うことができる。また、折り返しノイズを強調しない基底フィルタを複数組み合わせて復元フィルタを生成する場合には、折り返しノイズの強調を防いだ復元処理を行うことができる。

本発明の他の態様によれば、画像情報に基づいて、復元処理で用いられる復元フィルタが理想フィルタ及び組み合わせフィルタのいずれかから選択され、復元精度が高く再現性に優れた回復画像データを得ることができる。

図１は、コンピュータに接続されるデジタルカメラの概略を示すブロック図である。 図２は、カメラ本体コントローラの機能構成例を示すブロック図である。 図３は、画像撮影から点像復元処理までの概略を示す図である。 図４は、点像復元処理の一例の概略を示すブロック図である。 図５は、被写体像中のエッジ部分のコントラスト変化の一例を示す図であり、（ａ）は被写体像が本来有するコントラストを示し、（ｂ）は点像復元処理前の原画像データにおけるコントラストを示し、（ｃ）は点像復元処理後の回復画像データにおけるコントラストを示す。 図６は、複数の基底フィルタから復元フィルタを生成するプロセスの概念図である。 図７は、複数の基底フィルタの線形和によって復元フィルタを生成するプロセスの概念図である。 図８は、理想フィルタと実現フィルタとの「周波数−レスポンス（振幅）」関係の一例を示すグラフである。 図９は、撮像素子のカラーフィルタ配列の一例（ベイヤー配列）を示す平面図である。 図１０は、複数の基底フィルタを組み合わせて生成される実現フィルタの一例を示すグラフであって、２次元の周波数特性を示す。 図１１は、リンギングをもたらさない基底フィルタから生成された復元フィルタを用いた点像復元処理前後の被写体像中のエッジ部分の画質変化の一例を示す図であり、（ａ）は点像復元処理前の原画像データにおけるコントラストを示し、（ｂ）は点像復元処理後の回復画像データにおけるコントラストを示す。 図１２は、本発明の一実施形態に係る点像復元処理部及びフィルタ生成装置を示すブロック図である。 図１３は、フィルタ生成装置に対して供給される情報を示すブロック図である。 図１４は、被写体像中のエッジ部分（画像境界部分）の画質変化の一例を示す図であり、特に画素値が飽和してクリッピングされた画像データの画質変化例を示す。 図１５は、点像復元処理部の一例を示すブロック図である。 図１６は、画素データ毎に復元フィルタを選択する例を説明するための画像例を示す図である。 図１７は、点像復元処理部の他の例を示すブロック図である。 図１８は、点像復元処理部の他の例を示すブロック図である。 図１９は、点像復元処理の実施可能な画像処理段階を示す図である。 図２０は、撮像素子のカラーフィルタ配列の他の例を示す平面図である。 図２１は、ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 図２２は、ＥＤｏＦ光学系の一例を示す図である。 図２３は、図２１に示す復元処理ブロックにおける復元処理の一例を示すフローチャートである。 図２４は、ＥＤｏＦ光学系を介して取得された画像の復元例を示す図であり、（ａ）は復元処理前のボケた画像を示し、（ｂ）は復元処理後のボケが解消された画像（点像）を示す。 図２５は、スマートフォンの外観図である。 図２６は、図２５に示すスマートフォンの構成を示すブロック図である。

添付図面を参照して本発明の実施形態について説明する。以下の説明では、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）に接続可能なデジタルカメラ（撮像装置）に本発明を適用する例について説明する。

図１は、コンピュータに接続されるデジタルカメラの概略を示すブロック図である。

デジタルカメラ１０は、交換可能なレンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介して、レンズユニット１２とカメラ本体１４とは電気的に接続される。

レンズユニット１２は、レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８とを具備し、光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。

カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、ＲＧＢ等のカラーフィルタ、及びイメージセンサ（フォトダイオード；ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等）を有し、レンズユニット１２の光学系（レンズ１６、絞り１７等）を介して照射される被写体像の光を電気信号に変換し、画像信号をカメラ本体コントローラ２８に送る。

カメラ本体コントローラ２８は、カメラ本体１４を統括的に制御し、図２に示すようにデバイス制御部３４と画像処理部（画像処理装置）３５とを有する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御したり、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信したり、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信したりする。また、デバイス制御部３４は、図示しない表示部（ＥＶＦ：Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ、背面液晶表示部）等、デジタルカメラ１０が具備する各種デバイス類を適宜制御する。

一方、画像処理部３５は、撮像素子２６からの画像信号に対して必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（ホワイトバランス処理、カラーマトリック処理、ガンマ変換処理、等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理、等）、ＲＧＢ/ＹＣｒＣｂ変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部３５において適宜行われる。加えて、本例の画像処理部３５は、いわゆる点像復元処理を画像信号（原画像データ）に対して施す点像復元処理部３６を含む。この点像復元処理の詳細については後述する。

図１に示すように、カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２に接続されるコンピュータ６０等に送られる。デジタルカメラ１０（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ等の任意のフォーマットとしうる。したがってカメラ本体コントローラ２８は、いわゆるＥｘｉｆフォーマットのように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。

コンピュータ６０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部６２を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータ６０のコンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理したり、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信制御をしたりする。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等がディスプレイ６６に必要に応じて表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力し、コンピュータ６０を制御したり、コンピュータ６０に接続される機器類（デジタルカメラ１０、サーバ８０）を制御したりすることができる。

サーバ８０は、サーバ入出力部８２及びサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と共働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードしたり、演算処理を行ってその演算結果をコンピュータ６０に送信したりする。

なお、各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を備え、例えば演算処理回路（ＣＰＵ等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ６０及びサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０及びサーバ８０を一体的に構成したり、コンピュータ６０及び／又はサーバ８０が省略されていてもよい。また、デジタルカメラ１０にサーバ８０との通信機能を持たせ、デジタルカメラ１０とサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。

なお本発明の一実施形態に係るプログラムは、画像処理部３５やコンピュータ６０，あるいは後述するスマートフォン２０１の記憶部２５０に備えられた各種の光磁気記録媒体や半導体記録媒体のような非一時的記録媒体に記録して用いることができる。

次に、撮像素子２６を介して得られる被写体像の撮像データ（画像データ）の点像復元処理について説明する。

本例では、カメラ本体１４（カメラ本体コントローラ２８）において点像復元処理が実施される例について説明するが、点像復元処理の全部又は一部を他のコントローラ（レンズユニットコントローラ２０、コンピュータコントローラ６４、サーバコントローラ８４等）において実施することも可能である。

点像復元処理は、光学系（レンズ１６、絞り１７等）を用いた撮影により撮像素子２６から得られる原画像データに対し、光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る処理である。

図３は、画像撮影から点像復元処理までの概略を示す図である。図３に示す点像を被写体として撮影を行う場合、被写体像は光学系（レンズ１６、絞り１７等）を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から原画像データＤｏが出力される。この原画像データＤｏは、光学系の持つ特性に由来する点拡がり現象によって、本来の被写体像がボケた状態の画像データとなる。

このボケ画像の原画像データＤｏから本来の被写体像（点像）を復元するため、原画像データＤｏに対して復元フィルタＦを用いた点像復元処理Ｐ１０を行うことで、本来の被写体像（点像）により近い像（回復画像）を表す回復画像データＤｒが得られる。

点像復元処理Ｐ１０で用いられる復元フィルタＦは、原画像データＤｏ取得時の撮影条件に応じた光学系の点像情報（点拡がり関数）から、復元フィルタ算出アルゴリズムＰ２０によって得られる。光学系の点像情報（点拡がり関数）は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、復元フィルタＦを算出する際には、これらの撮影条件が取得される。

図４は、点像復元処理の一例の概略を示すブロック図である。

上述のように点像復元処理Ｐ１０は、復元フィルタＦを用いたフィルタリング処理によって原画像データＤｏから回復画像データＤｒを作成する処理であり、例えばＮ×Ｍ（Ｎ及びＭは２以上の整数）のタップによって構成される実空間上の復元フィルタＦが処理対象の画像データに適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（原画像データＤｏの処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することで、点像復元処理後の画素データ（回復画像データＤｒ）を算出することができる。この復元フィルタＦを用いた加重平均処理を、対象画素を順番に代え、画像データを構成する全画素データに適用することで、点像復元処理を行うことができる。

なお、Ｎ×Ｍのタップによって構成される実空間上の復元フィルタは、周波数空間上の復元フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の復元フィルタは、基礎となる周波数空間上の復元フィルタを特定し、実空間上の復元フィルタの構成タップ数を指定することによって、適宜算出可能である。

次に、点像復元処理によって生じうる画質上の弊害について説明する。

図５は、被写体像中のエッジ部分（画像境界部分）の画質変化の一例を示す図であり、図５の（ａ）は被写体像が本来有するコントラストを示し、図５の図５の（ｂ）は点像復元処理前の原画像データＤｏにおけるコントラストを示し、図５の（ｃ）は点像復元処理後の回復画像データＤｒにおけるコントラストを示す。なお、図５の横方向（Ｘ方向）は被写体像中における位置（１次元位置）を示し、縦方向（Ｙ方向）はコントラストの強弱を示す。

被写体像中における「コントラストの段差を持つエッジ部分」（図５の（ａ）参照）は、撮影時の光学系の点拡がり現象によって画像ボケが生じ、撮影画像（原画像データＤｏ）ではコントラスト変化が比較的緩やかになる（図５の（ｂ）参照）。

この点拡がり現象による画像ボケを解消するために点像復元処理が行われるが（図３及び図４参照）、ウイナーフィルタ等に基づく一般の復元フィルタを使用した点像復元処理では、点像復元処理後の回復画像データＤｒにおいてリンギング（エッジ付近に本来は存在しない波のような応答）が発生したり（図５の（ｃ）参照）、折り返しノイズを強調してしまう、等の不具合が生じうる。

すなわち、点像復元処理用の復元フィルタとしてウイナーフィルタ等が有名であるが、ウイナーフィルタ等をベースにして窓関数や最小二乗法等によって実空間上の復元フィルタを作る場合、限定されたタップ数で復元フィルタを作る必要があるため、リンギングの発生や折り返しノイズの強調等の画質劣化を招く虞がある。この現象は、光学系によってもたらされる点拡がり現象に対して、十分なタップ数が確保されていない復元フィルタを用いた点像復元処理において顕著に現れる傾向があり、使用可能なハードウェアが制限されるモバイルデバイス等の機器類における点像復元処理において現れやすい。

本件発明者は、これらの現象を新たに見出した上で鋭意研究をした結果、光学系の点拡がり関数に基づく理想フィルタにフィッティングするように、複数の基底フィルタを組み合わせて生成される復元フィルタ（組み合わせフィルタ）を点像復元処理において使用することで、リンギングの発生や折り返しノイズの強調等の画質劣化を効果的に防ぐことができるという知見を新たに得た。

図６は、複数の基底フィルタから復元フィルタを生成するプロセスの概念図である。図６に示される各フィルタの縦軸はレスポンス（振幅）を表し、横軸は周波数を表す。なお、図６では、理解を容易にするため、１次元の周波数特性が例示されている。

理想フィルタＦｉは、光学系の点拡がり関数に基づくフィルタであれば特に限定されず、例えば下記式で表されるウイナーフィルタに基づいて算出することが可能である。

上記式において、ω_ｘ及びω_ｙはｘ方向及びｙ方向の周波数を表し、ｄ（ω_ｘ，ω_ｙ）は復元フィルタの周波数特性を表し、Ｈ（ω_ｘ，ω_ｙ）はＰＳＦから導出可能なＯＴＦを表す。また、Ｈ^＊（ω_ｘ，ω_ｙ）はこのＯＴＦの複素共役を表し、ＳＮＲ（ω_ｘ，ω_ｙ）はＳＮ比を表す。

理想フィルタＦｉの算出の基礎となる光学系の点拡がり関数として、光学系の点光源に対する応答を表す関数であるＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を用いることができる。なお、光学系の点拡がり関数は、ＰＳＦに限定されるものではなく、ＰＳＦをフーリエ変換して得られるＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）（ＭＴＦ：Ｍｏｄｕｒａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ；ＰＴＦ：Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）等であってもよい。

基底フィルタＦｂは、画質劣化を防ぐのに有効であることが予め確認されているフィルタであって、それぞれの周波数特性が相互に相違するフィルタの中から適宜選択される。例えば、複数の基底フィルタＦｂは、それぞれを単独で用いた復元処理（例えば積算処理）を原画像データに対して行った場合に得られる回復画像データにおいて、リンギングをもたらさないフィルタとすることができる。リンギングをもたらさないフィルタとは、フィルタ処理後の画像（画像データ）内のエッジ付近（境界部近傍）で、フィルタ処理前の画像（画像データ）において存在しなかった画像信号の振動波形（リンギング）の発生が抑えられたフィルタである。また、複数の基底フィルタは、それぞれを単独で用いた復元処理（例えば積算処理）を原画像データに対して行った場合に得られる回復画像データにおいて、折り返しノイズを強調しないフィルタとすることができる。折り返しノイズとは、入力信号（画像データ）に含まれる周波数成分がサンプリング周波数の２分の１の値（ナイキスト周波数）よりも高い場合に発生する雑音（歪み成分）である。折り返しノイズを強調しないフィルタとは、標本化定理を満たさない画像サンプリング処理によって生じる折り返しノイズを低減させるフィルタである。このような複数の基底フィルタとして、例えば、輪郭補正処理のために使用されるフィルタを使用しうる。

画質劣化を防ぐのに有効であることが確認済みであるこれらのフィルタを基底フィルタＦｂとして採用し、復元フィルタ生成部４６において、予め求められている理想フィルタＦｉにフィッティングするようにこれらの基底フィルタＦｂを組み合わせることで、復元フィルタ（実現フィルタＦｒ）が生成される。この復元フィルタを点像復元処理に用いることで、基底フィルタＦｂによって保証される画質劣化の防止を実現しながら、高精度な点像復元処理を行うことができる。

基底フィルタＦｂの組み合わせ手法としては、図７に示すような線形和による組み合わせ手法が好ましい。図７では、理解を容易にするため１次元の周波数特性が例示されており、２種類の基底フィルタ（第１の基底フィルタＦｂ１及び第２の基底フィルタＦｂ２）の線形和から実現フィルタＦｒを生成するケースについて図示する。図７に示される各フィルタの縦軸はレスポンス（振幅）を表し、横軸は周波数を表しており、横軸はサンプリング周波数で正規化された数値を基準としている。なお、基底フィルタＦｂの種類（数）は特に限定されず、３種類以上の基底フィルタＦｂから実現フィルタＦｒが生成されてもよい。

理想フィルタへのフィッティング手法としては最小二乗法を好適に用いることができ、組み合わせる複数の基底フィルタの各々に対する重み付け係数を、理想フィルタＦｉに基づく最小二乗法によって算出することが可能であり、理想フィルタＦｉと実現フィルタＦｒとの間の周波数特性差が最小になるようにフィッティングを行うことができる。

例えば、理想フィルタの周波数ｆに対するレスポンス（振幅）をｐ（ｆ）とし、個々の基底フィルタの周波数ｆに対するレスポンス（振幅）をｇ_ｉ（ｆ）（ただし、「ｉ」は使用される基底フィルタの種類（数）に対応）とし、実現フィルタの周波数ｆに対するレスポンス（振幅）をｇ（ｆ）とした場合、下記式で表されるように、ｐ（ｆ）とｇ（ｆ）との差の絶対値の二乗値（｜ｐ（ｆ）−ｇ（ｆ）｜^２）の所定周波数帯域における積分値（評価値）Ｊが最小となるように、使用する基底フィルタの各々に対する重み付け係数ｗ_ｉを算出することができる。

なお、理想フィルタへのフィッティング手法は上記例に限定されず、例えば視覚特性を考慮して、上記の評価値Ｊを最小にするように基底フィルタの各々に対する重み付け係数ｗ_ｉを算出してもよい。例えば下記式に基づいて、「ｐ（ｆ）とｇ（ｆ）との差の絶対値」と「視覚特性を表す数値ｖ（ｆ）」との積の二乗値（（ｖ（ｆ）・｜（ｐ（ｆ）−ｇ（ｆ））｜）^２）の所定周波数帯域における積分値（評価値）Ｊが最小となるように、使用する基底フィルタの各々に対する重み付け係数ｗ_ｉを算出することができる。

このとき、視覚特性を表す数値ｖ（ｆ）は、点像復元処理対象の画像データ（原画像データＤｏ）の構成画素数（記録画素数）に応じて、適宜設定することが可能である。例えば、原画像データの構成画素数が少ない場合には、高周波側の画像成分の再現性が十分ではないケースもあるため、使用する基底フィルタｇ_ｉ（ｆ）のうち相対的に「高周波側の画像成分を強調する基底フィルタ」に対しては重み付け係数ｗ_ｉを小さくしたり、そのような「高周波側の画像成分を強調する基底フィルタ」を使用せずに理想フィルタへのフィッティング処理を行ってもよい。このようにして、原画像データの画素数に応じたフィルタ係数を持つ復元フィルタ（実現フィルタＦｒ）が算出され、視覚性に優れた点像復元処理を行うことが可能になる。

図８は、理想フィルタと、この理想フィルタにフィッティングするように複数の基底フィルタを組み合わせて生成される実現フィルタとの、「周波数−レスポンス（振幅）」関係の一例を示すグラフである。なお、図８は１次元の周波数特性を示し、縦軸はレスポンス（振幅）を表し、横軸は周波数を表す。

図９は撮像素子２６のカラーフィルタ配列の一例（ベイヤー配列：Ｂａｙｅｒ）を示す平面図であり、図１０は複数の基底フィルタを組み合わせて生成される実現フィルタＦｒの一例を示すグラフであって、２次元の周波数特性を示す。

図９及び図１０において、「Ｈ」で表される方向（水平方向）と「Ｖ」で表される方向（垂直方向）とは相互に垂直の関係にあり、「ＮＥ」で表される方向及び「ＮＷ」で表される方向は、それぞれＶ方向及びＨ方向に対して４５度の角度を形成すると共に相互に垂直の関係にある。

図９に示されるベイヤー配列は、水平方向Ｈ及び垂直方向Ｖに関して２画素×２画素の配列を基本単位（基本配列パターンＰ）としており、水平方向ＨにＲ（赤）フィルタ及びＧ（緑）フィルタが隣接する行とＧフィルタ及びＢ（青）フィルタが隣接する行とが垂直方向Ｖに隣接配置された基本配列パターンＰが、水平方向Ｈ及び垂直方向Ｖに繰り返し配置される。

図１０に示されるグラフにおいて、水平方向Ｈ及び垂直方向Ｖに延びる軸はそれぞれ水平方向Ｈ及び垂直方向Ｖに関する周波数を示し、「ｆｓ」はサンプリング周波数を示す。図１０における濃淡変化は「復元フィルタのレスポンス（振幅）」を示し、濃い部分ほどレスポンスが大きく、淡い部分ほどレスポンスが小さい。したがって、図１０に示す復元フィルタは、水平方向Ｈ及び垂直方向Ｖに関して低周波側ほどレスポンスが大きく高周波側ほどレスポンスが小さい。

なお、図１０に示される復元フィルタ（実現フィルタＦｒ）は一例に過ぎず、点像復元処理対象の画像データの特性、点像復元処理時に使用する実空間上の復元フィルタの構成タップ数、等に応じて、復元フィルタは適宜調整可能である。

例えば図９のベイヤー配列カラーフィルタを具備する撮像素子のような単板方式の撮像素子によって撮影取得される画像データ（モザイク画像データ、ＲＡＷデータ）において、各画素は、最初、ＲＧＢのすべてのカラー情報を持っているのではなく、対応のカラーフィルタのカラー情報のみを有する。この画像データ（ＲＡＷデータ）に対してデモザイク処理を施すことによって、各画素は、ＲＧＢすべてのカラー情報を持つ。デモザイク処理は、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎にすべての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢすべての色情報を算出する処理がデモザイク処理である。デモザイク処理は種々の手法で実施可能であり、デモザイク処理の具体的手法に応じて、ＲＡＷデータの現像精度（デモザイク処理精度）も変動する。

カラーフィルタ配列やデモザイク処理の性能にも依存するが、このデモザイク処理によって得られる画像（デモザイク画像）では、一般に、斜め方向（図９及び図１０の符号「ＮＥ」及び「ＮＷ」参照）に偽信号を生じる可能性が高い。そのため、斜め方向の画像データを点像復元処理によって強調すると、結果として、デモザイク画像においてそのような偽信号を目立たせる虞がある。そこで、点像復元処理を行う際に、斜め方向（ＮＥ、ＮＷ）の高周波成分が水平（Ｈ）及び垂直（Ｖ）に対して小さくなるように、各基底フィルタに対する重み付け係数を算出し、復元フィルタを生成するようにしてもよい。このように、復元フィルタがカラーフィルタの配列に応じた所望の周波数特性を持つように、各基底フィルタに対する重み付けを決めることで、デモザイク画像において偽信号が目立たないようにすることが可能である。

図１１は、リンギングをもたらさない複数の基底フィルタの線形和によって生成された復元フィルタを用いた点像復元処理前後の被写体像中のエッジ部分のコントラスト変化の一例を示す図である。図１１の（ａ）は点像復元処理前の原画像データＤｏにおけるコントラストを示し、図１１の（（ｂ）は点像復元処理後の回復画像データＤｒにおけるコントラストを示す。なお、図１１の横方向（Ｘ方向）は被写体像中における位置（１次元位置）を示し、縦方向（Ｙ方向）はコントラストの強弱を示す。

図１１に示されるように、本例の点像復元処理によれば、従来の点像復元処理（図５参照）と比較して、点像復元処理後の回復画像データＤｒにおけるリンギングの発生を効果的に防ぐことができる。

以下において、上述の復元フィルタを生成する「フィルタ装置」及びそのような復元フィルタを使用した点像復元処理を行う「点像復元処理部」の構成例を説明する。

図１２は、本発明の一実施形態に係る点像復元処理部及びフィルタ生成装置を示すブロック図である。

図１２に示す例において、点像復元処理部３６は、復元フィルタを記憶する復元フィルタ記憶部４９と、復元フィルタを用いた点像復元処理を行って原画像データから回復画像データを算出する演算処理部４８とを有する。

復元フィルタ記憶部４９は、理想フィルタにフィッティングするように複数の基底フィルタが組み合わされて生成された復元フィルタを記憶し、撮影条件に応じた複数の復元フィルタが復元フィルタ記憶部４９に記憶される。ここでいう撮影条件は、復元フィルタに影響を与えうる要因全般を含みうるものであり、例えば、光学系（レンズ１６、絞り１７）の種類、撮像素子２６のカラーフィルタ配列、画像構成画素数、画素ピッチ絞り量、焦点距離、ズーム量、像高、等の各種の条件のうち任意のものを含みうる。

演算処理部４８は、入力される原画像データに関連付けられた撮影条件データに対応する復元フィルタを復元フィルタ記憶部４９から選択して読み出し、この読み出した復元フィルタを原画像データに適用して点像復元処理を行う。すなわち、演算処理部４８は、光学系を用いた撮影により撮像素子２６から得られる原画像データを取得するステップと、光学系の点拡がり関数に基づく復元フィルタを読み出すステップと、復元フィルタを用いた復元処理を原画像データに対して行って回復画像データを得るステップと、を行う。なお、「原画像データに関連付けられた撮影条件データ」は、任意の手法で点像復元処理部３６に入力可能である。例えば、入力される原画像データと撮影条件データとが単一ファイルに含まれていてもよい。また、「レンズ−本体一体型」のデジタルカメラのように撮影条件データの少なくとも一部（例えば、光学系の種類、カラーフィルタ配列等）が固定されている場合、点像復元処理部３６は、そのような固定撮影条件データを予め記憶保持しておき、演算処理部４８における点像復元処理時にその固定撮影条件データを適宜反映するようにしてもよい。

一方、フィルタ生成装置４０は、基底フィルタ記憶部（記憶部）４２、理想フィルタ算出部４４及び復元フィルタ生成部４６を備える。

基底フィルタ記憶部４２は、複数の基底フィルタを記憶する。基底フィルタ記憶部４２に記憶される基底フィルタは、画質劣化を防ぐのに有効であることが予め確認されているフィルタであって、それぞれの周波数特性が相互に相違する。基底フィルタ記憶部４２は、例えば輪郭補正の周波数特性を有するフィルタ（輪郭補正用フィルタ）を基底フィルタとして記憶してもよく、上述のように「回復画像データＤｒにおいてリンギングをもたらさないフィルタ」や「折り返しノイズを強調しないフィルタ」を基底フィルタとして記憶してもよい。

理想フィルタ算出部４４は、光学系の点拡がり関数に基づき、撮影条件に応じた理想フィルタを適宜算出する。理想フィルタ算出部４４における理想フィルタの算出方法は、特に限定されず、例えばウイナーフィルタを用いて理想フィルタを設計算出することも可能である。

復元フィルタ生成部４６は、基底フィルタ記憶部４２及び理想フィルタ算出部４４に接続され、基底フィルタ記憶部４２で生成される理想フィルタにフィッティングするように、基底フィルタ記憶部４２に記憶される複数の基底フィルタを組み合わせて復元フィルタを生成する。

復元フィルタ生成部４６で生成された復元フィルタは、フィルタ生成装置４０から点像復元処理部３６に送られ、点像復元処理部３６の復元フィルタ記憶部４９に保存される。

なお、フィルタ生成装置４０を構成する理想フィルタ算出部４４、基底フィルタ記憶部４２及び理想フィルタ算出部４４は、同一機器類に設けられてもよいし、異なる機器類に設けられてもよい。

また、フィルタ生成装置４０は、点像復元処理部３６と同一の機器類（デジタルカメラ１０）に設けられてもよいし、デジタルカメラ１０に接続される他の機器類（コンピュータ６０、サーバ８０等）に設けられてもよい。点像復元処理部３６とフィルタ生成装置４０とが異なる装置に設けられる場合、これらの異なる装置同士が接続された際に、フィルタ生成装置４０の復元フィルタ生成部４６で生成された復元フィルタが点像復元処理部３６に送られて復元フィルタ記憶部４９に保存される。なお、フィルタ生成装置４０は、復元フィルタ生成部４６で生成された復元フィルタを記憶保存する記憶部を備えていてもよく、この記憶部から点像復元処理部３６に復元フィルタが送られるようにしてもよい。

図１３は、フィルタ生成装置４０に対する情報供給ブロックを示す図である。

フィルタ生成装置４０には、ＰＳＦ情報取得部５０、カラーフィルタ配列特性取得部５２及び画像情報取得部５４が接続される。

ＰＳＦ情報取得部５０は、光学系情報に基づいて、光学系のＰＳＦ情報（点拡がり関数）を取得してフィルタ生成装置４０に送信する。光学系情報は、任意の箇所からＰＳＦ情報取得部５０に送信されてもよく、例えばレンズユニット１２（レンズユニットコントローラ２０）等からＰＳＦ情報取得部５０に送信されてもよい。

カラーフィルタ配列特性取得部５２は、カラーフィルタ配列情報に基づいて、カラーフィルタ配列毎の２次元方向別配列特性情報を取得してフィルタ生成装置４０に送信する。２次元方向別配列特性情報は、対応のカラーフィルタ配列に関する２次元方向（図９の符号Ｈ、Ｖ、ＮＥ、ＮＷ参照）の特性情報であり、例えば方向別の画像再現精度（デモザイク処理精度、等）に関する情報が含まれうる。カラーフィルタ配列情報は、任意の箇所からカラーフィルタ配列特性取得部５２に送信されてもよく、例えばレンズユニット１２（レンズユニットコントローラ２０）等からＰＳＦ情報取得部５０に送信されてもよい。

画像情報取得部５４は、供給される画像情報に基づいて、画像を構成する画素数を示す画素数情報をフィルタ生成装置４０に送信する。画像情報は、任意の箇所から画像情報取得部５４に送信されてもよく、例えばデバイス制御部３４（カメラ本体コントローラ２８）等から画像情報取得部５４に送信されてもよい。

フィルタ生成装置４０では、これらの情報に基づいて、理想フィルタ算出部４４における理想フィルタの算出や復元フィルタ生成部４６における復元フィルタの生成が行われる。例えば、カラーフィルタの配列特性（カラーフィルタ配列情報）に応じた復元フィルタを構成することにより、偽信号を抑えつつ解像感を向上させる点像復元処理が可能となる。

なお、上述の光学系情報、カラーフィルタ配列情報及び画像情報が予め確定している場合には、ＰＳＦ情報取得部５０、カラーフィルタ配列特性取得部５２及び画像情報取得部５４において予め記憶保持されてもよい。

以上説明したように、本実施形態によれば、「理想フィルタにフィッティングするように複数の基底フィルタを組み合わせることで生成される復元フィルタ」を用いて点像復元処理が行われるので、「高精度な点像復元処理」を実現しつつ、基底フィルタによって保証される「点像復元精度以外の画質への悪影響の防止」が可能となる。特に、良好な画像処理特性を持つことが確約されているフィルタを基底フィルタとして使用することで、点像復元処理後の画像データの破綻を有効に防ぐことできる。

また、本実施形態に係る点像復元処理は、簡便な手法によって実現することができるため、使用可能な復元フィルタのタップ数や処理回路が制限されるモバイルデバイス等の機器類においても容易に採用することが可能であり、各種機器類に対して柔軟に応用することができる。

＜変形例１＞
本変形例において、上述の実施形態と同様の構成及び作用については、説明を省略する。

上述の実施形態では、すべての原画像データに対して「理想フィルタにフィッティングするように複数の基底フィルタを組み合わせることで生成される復元フィルタ（以下、「組み合わせフィルタ」とも呼ぶ）」を用いた点像復元処理が行われる例について説明したが、必ずしもすべての原画像データに対して組み合わせフィルタを適用する必要はない。

図１４は、被写体像中のエッジ部分（画像境界部分）の画質変化の一例を示す図であり、特に画素値が飽和してクリッピングされた画像データの画質変化例を示す。図１４の（ａ）は、被写体像が本来有するコントラストを示し、図１４の（ｂ）は点像復元処理前の原画像データＤｏにおけるコントラストを示し、図１４の（ｃ）は点像復元処理後の回復画像データＤｒにおけるコントラストを示す。なお、図１４の横方向（Ｘ方向）は被写体像中における位置（１次元位置）を示し、縦方向（Ｙ方向）はコントラストの強弱を示す。

上述したように、被写体像中における「コントラストの段差を持つエッジ部分」（図１４の（ａ）参照）は、撮影時の光学系の点拡がり現象によって撮影画像（原画像データＤｏ）では画像ボケが生じ（図１４の（ｂ）参照）、点像復元処理によって回復画像データＤｒが得られる（図１４の（ｃ）参照）。

この点像復元処理において、「実際の画像劣化特性（画像ボケ特性）」と「使用する点拡がり関数に基づく情報（ＰＳＦ等）」とがマッチしている場合には、画像が適切に復元され、エッジ部分等が適切に復元された回復画像データＤｒを得ることができる。

しかしながら、画素値が飽和した画素（飽和画素）を含む原画像データでは、飽和画素部分でクリップされたような状態となる。とりわけ飽和画素を含むエッジ部分の原画像データは、ステップ信号に近い波形を有するため（図１４の（ｂ）参照）、コントラスト変化が比較的はっきりしており、結果的には劣化（画像ボケ）が比較的小さいデータとなる。このように、飽和画素を含む原画像データでは、画素データのクリッピングにより、被写体像を表す本来の画像データからのズレが生じてしまう。このようなデータズレが生じている原画像データに対して、通常の復元フィルタ（図６の「理想フィルタＦｉ」参照）を用いた復元処理を行うと、リンギングが生じやすく、発生するリンギングも複雑化しやすい（図１４の（ｃ）参照）。また、高周波成分が増え、折り返しノイズが強調されやすい。

そこで、「飽和画素を含む画像データ（あるいは飽和画素を含む可能性が高い画像データ）」と「飽和画素を含まない画像データ（あるいは飽和画素を含む可能性が高くない画像データ）」との間で、復元処理で使用する復元フィルタを切り換えるようにしてもよい。

図１５は、点像復元処理部３６の一例を示すブロック図であり、飽和画素の有無のデータ（画像解析データ）に応じて復元フィルタを切り換える例を示す。

本例の点像復元処理部３６は、画像解析部７１、フィルタ選択部７２、演算処理部（復元演算部）４８及び復元フィルタ記憶部４９を有する。

画像解析部７１は、光学系（レンズ１６、絞り１７等）を用いた撮影により撮像素子２６から得られる原画像データを解析して画像解析データ（画像情報）を取得する画像情報取得部として機能する。

本例の画像解析データは、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが、原画像データに含まれるか否かを示すデータである。ここでいう、画素値が飽和した画素データ（飽和画素データ）とは、単位画素が表現可能な画素値の最大値を示す画素データのことであり、例えば単位画素の画素データが画素値「０〜２５５」で８ビット表現可能な場合には「２５５」の画素値が飽和画素データとなり、そのような飽和画素データを持つ画素を「飽和画素」とも呼ぶ。また、「閾値よりも大きな画素値」は、飽和画素データに近い比較的大きな画素値であり、例えば「閾値」を飽和画素データの９０％に定め、飽和画素データの９０％よりも大きな画素値を「閾値よりも大きな画素値」とすることも可能である。なお、「閾値」は特に限定されないが、実際の復元フィルタ（理想フィルタ）を使用した復元処理によって、リンギングの発生や折り返し信号の強調等の画像劣化に影響を及ぼし得る画素値の大きさに基づいて「閾値」は適宜設定されうる。

フィルタ選択部７２は、画像解析部７１からの画像解析データ（画像情報）に基づいて光学系の点拡がり関数に基づく復元フィルタを選択する。

本例において選択可能な復元フィルタは、光学系の点拡がり関数に基づく理想フィルタ（図６の「理想フィルタＦｉ」参照）と、この理想フィルタにフィッティングするように複数の基底フィルタが組み合わされて生成される組み合わせフィルタ（図６の「実現フィルタＦｒ」参照）とであり、復元フィルタ記憶部４９に記憶されている。なお、組み合わせフィルタは、上述の実施形態と同様に、「それぞれを単独で用いた復元処理を原画像データに対して行った場合に得られる回復画像データにおいてリンギングをもたらさない複数の基底フィルタを組み合わせて生成したり」、「それぞれを単独で用いた復元処理を原画像データに対して行った場合に得られる回復画像データにおいて折り返しノイズを強調しない複数の基底フィルタを組み合わせて生成したり」することが可能である。

したがって、フィルタ選択部７２は、画像解析データ（画像情報）に基づいて、理想フィルタ及び組み合わせフィルタのうちのいずれか一方を、復元処理に用いる復元フィルタとして選択する。より具体的には、フィルタ選択部７２は、画像解析データが「飽和画素データ又は閾値よりも大きな画素値を有する画素データが原画像データに含まれる」ことを示す場合には、組み合わせフィルタを選択する。一方、画像解析データが「飽和画素データ又は閾値よりも大きな画素値を有する画素データが原画像データに含まれる」ことを示さない場合には、理想フィルタを選択する。

このようにしてフィルタ選択部７２により選択された復元フィルタの情報は、フィルタ選択データとして、演算処理部４８に送られる。なお、本例のフィルタ選択部７２は、原画像データ毎に、理想フィルタ及び組み合わせフィルタのうちいずれか一方を、復元処理に用いる復元フィルタとして選択する。したがって、フィルタ選択部７２において理想フィルタが選択された場合には、原画像データを構成する画素データの全体に対して理想フィルタが適用され、一方、フィルタ選択部７２において組み合わせフィルタが選択された場合には、原画像データを構成する画素データの全体に対して組み合わせフィルタが適用される。

演算処理部４８は、フィルタ選択部７２によって選択された復元フィルタを用いた復元処理を原画像データに対して行い、回復画像データを取得及び出力する。

すなわち、演算処理部４８は、フィルタ選択データを参照して、復元フィルタ記憶部４９に記憶される「理想フィルタ及び組み合わせフィルタ」のうち、フィルタ選択部７２によって選択された復元フィルタを読み出す。そして、演算処理部４８は、この読み出した復元フィルタを原画像データに適用して点像復元処理を行う。なお、演算処理部４８が、入力される原画像データに関連付けられた撮影条件データに対応する復元フィルタを復元フィルタ記憶部４９から選択して読み出す点は、上述の実施形態(図１２参照）と同様である。

以上説明したように、本例によれば、復元処理によってリンギングや折り返しノイズの強調等が発生しやすい「飽和画素データ又は閾値よりも大きな画素値を有する画素データを含む原画像データ」に対しては、組み合わせフィルタを用いた復元処理が行われ、リンギングの発生や折り返しノイズの強調等の画質劣化を効果的に防ぐことができる。一方、復元処理によるリンギングの発生や折り返しノイズの強調等の画質劣化が生じにくい「画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データを含まない原画像データ」に対しては、理想フィルタを用いた復元処理が行われ、良好な再現性を有する回復画像データを取得することができる。

＜変形例２＞
本変形例において、上述の変形例１と同様の構成及び作用については、説明を省略する。

上述の変形例１では、画像解析データ（画像情報）に基づいて理想フィルタ及び組み合わせフィルタのうち最適な復元フィルタを選択し、選択した復元フィルタを原画像データ毎に適用する例について説明したが、選択した復元フィルタを画素データ毎に適用してもよい。

図１６は、画素データ毎に復元フィルタを選択する例を説明するための画像例を示す図であって、カーネル（Ｋｍ、Ｋｎ）内の注目画素及びその周辺画素の画像解析データ（画像情報）に基づいて復元フィルタを選択及び決定する例を示す。

本例においても画像解析部７１（図１５参照）は、原画像データを解析し、飽和画素データ又は閾値よりも大きな画素値を有する画素データが原画像データに含まれるか否かを示す画像解析データ（画像情報）を取得する。

フィルタ選択部７２は、画像解析部７１から送られてくる画像解析データに基づいて復元フィルタを選択するが、原画像データの画素単位で、復元フィルタを選択する。すなわちフィルタ選択部７２は、原画像データのうちの注目画素及びこの注目画素の周辺画素に関する画像解析データ（画像情報）に基づいて、原画像データを構成する画素データ毎に、理想フィルタ及び組み合わせフィルタのうちいずれか一方を、注目画素に対する復元処理に用いる復元フィルタとして選択する。

本例では、所定サイズのカーネル（例えば９画素（Ｘ方向）×９画素（Ｙ方向）程度のカーネル（図１２の「Ｋｍ」及び「Ｋｎ」参照））内の中央に配置される注目画素及びその周辺に配置される周辺画素の画素データの少なくとも一部が、画素値が飽和した画素データ（飽和画素データ）又は閾値よりも大きな画素値を有する画素データであるか否かが、フィルタ選択部７２において判定される。

なお、カーネルのサイズは特に限定されるものではないが、点像復元処理に使用される実空間上の復元フィルタのサイズ（図４の「実空間フィルタ」の「Ｎタップ」及び「Ｍタップ」参照）に基づいて定められることが望ましく、実空間上の復元フィルタのサイズと一致又はそれ以下のサイズにカーネルサイズを設定することが望ましい。

カーネル内の画素の画素データに「飽和画素データ又は閾値よりも大きな画素値を有する画素データ」が含まれると判定される場合（図１２の「Ｋｎ」参照）、フィルタ選択部７２は、注目画素の復元処理に用いる復元フィルタとして組み合わせフィルタを選択する。一方、カーネル内の画素の画素データに「飽和画素データ又は閾値よりも大きな画素値を有する画素データ」が含まれないと判定される場合（図１２の「Ｋｍ」参照）、フィルタ選択部７２は、注目画素の復元処理に用いる復元フィルタとして理想フィルタを選択する。

このようにしてフィルタ選択部７２により選択された復元フィルタの情報は、フィルタ選択データとして、演算処理部４８に送られる。

演算処理部４８は、フィルタ選択部７２によって選択された復元フィルタを用いた復元処理を原画像データに対して行い、回復画像データを取得及び出力する。

すなわち演算処理部４８は、フィルタ選択データを参照して、画素データ毎に、復元フィルタ記憶部４９に記憶される「理想フィルタ及び組み合わせフィルタ」のうちフィルタ選択部７２によって選択された復元フィルタを読み出す。そして、演算処理部４８は、この読み出した復元フィルタを原画像データの復元処理対象の注目画素に適用して、その注目画素（画素データ）に対する点像復元処理を行う。演算処理部４８は、注目画素を原画像データの画素内で変えながら、各画素（各画素データ）の点像復元処理を行う。

以上説明したように、本例によれば、画素単位で「リンギングの発生や折り返しノイズの強調等の画質劣化が生じにくいフィルタ（組み合わせフィルタ）」と「良好な復元再現性を有するフィルタ（理想フィルタ）」とを切り換えて復元処理を行うことができるため、画素単位での画質向上が可能である。すなわち、復元処理によってリンギングや折り返しノイズの強調等が発生しやすい「飽和画素」の画素データを使う復元処理では、復元画像の破綻を抑制する組み合わせフィルタが用いられ、そのような「飽和画素」の画素データを使わない復元処理ではより積極的な再現性を図ることが可能な理想フィルタが用いられる。

なお、本変形例によれば、一つの回復画像（回復画像データ）内において、「組み合わせフィルタによる復元処理が施される画素」と「理想フィルタによる復元処理が施される画素」とが混在する。このような復元フィルタの種類が異なる画素が混在する回復画像であっても、ユーザの視覚上において、両画素間の復元再現性において十分にバランスがとられ、画像全体としても良好な画質を有することは、本件発明者によって実験により確認されている。

＜変形例３＞
本変形例において、上述の変形例１及び変形例２と同様の構成及び作用については、説明を省略する。

図１７は、点像復元処理部３６の他の例を示すブロック図であり、飽和画素の有無及びエッジ部分のデータ（画像解析データ）に応じて復元フィルタを切り換える例を示す。

本例では、飽和画素データ又は閾値よりも大きな画素値を有する画素データが、原画像データのうちエッジ部分（画像境界部分）に含まれるか否かに基づいて、復元フィルタが切り換えられる。

画像解析部７１は、原画像データの画像中のエッジ部分を検出するエッジ検出部７３を備え、画素値が飽和した画素データ（飽和画素データ）又は閾値よりも大きな画素値を有する画素データが原画像データのうちのエッジ部分に含まれるか否かを示す画像解析データをフィルタ選択部７２に送る。

画像解析データは、飽和画素データ又は閾値よりも大きな画素値を有する画素データが原画像データのうちのエッジ部分に含まれるか否かを直接的又は間接的に示すものであれば、特に限定されず、例えば「各画素と画素データ（画素値）」を対応づけるデータ及び「各画素とエッジ部分」を対応づけるデータによって画像解析データを構成することも可能である。

なお、「エッジ部分」の範囲は特に限定されず、所定範囲内におけるコントラスト差が大きい部分をエッジ部分として検出することが可能である。

また、本例では画像解析部７１（点像復元処理部３６）にエッジ検出部７３を設ける例について説明するが、他において検出される「原画像データの画像中のエッジ部分」のデータを利用してもよい。例えば、画像処理部３５（図２参照）における輪郭補正処理に使用する輪郭データ（エッジデータ）を画像解析部７１（点像復元処理部３６）に送り、その輪郭データ（エッジデータ）に基づいてフィルタ選択部７２に送られる画像解析データが構成されてもよい。

フィルタ選択部７２は、画像解析データ（画像情報）に基づいて、復元処理で使用する復元フィルタを選択する。すなわち、画像解析データが、飽和画素データ又は閾値よりも大きな画素値を有する画素データが原画像データのうちのエッジ部分に含まれることを示す場合、フィルタ選択部７２は組み合わせフィルタを選択する。一方、画像解析データが、飽和画素データ又は閾値よりも大きな画素値を有する画素データが原画像データのうちのエッジ部分に含まれることを示さない場合には、理想フィルタを選択する。

なお、フィルタ選択部７２における復元フィルタの選択は、原画像データ毎に行われてもよいし（変形例１参照）、原画像データを構成する画素毎に行われてもよい（変形例２参照）。

したがって、演算処理部４８は、フィルタ選択部７２によって選択された復元フィルタを用いた復元処理を原画像データ毎又は原画像データを構成する画素毎に行い、回復画像データを取得及び出力する。

以上説明したように、本例によれば、飽和画素データ又は閾値よりも大きな画素値を有する画素データが原画像データのうちエッジ部分に含まれるか否かにより、復元フィルタを切り換えて復元処理を行うことができる。上述のように、「エッジ部分における復元処理」及び「飽和画素データ又は飽和画素データに近い大きな値の画素データを用いた復元処理」において、リンギングの発生や折り返しノイズの強調等による画像劣化を招きやすい。したがって、本例のように「エッジ部分」に「飽和画素データ又は飽和画素データに近い大きな値の画素データを持つ画素」が存在する場合に、組み合わせフィルタを用いた復元処理を行うことで、画像劣化を効果的に防ぐことができる。

＜変形例４＞
本変形例において、上述の変形例１〜３と同様の構成及び作用については、説明を省略する。

図１８は、点像復元処理部３６の他の例を示すブロック図であり、画像取得条件に応じて復元フィルタを切り換える例を示す。

本例の点像復元処理部３６では、画像解析部７１（図１５及び図１７参照）の代わりに、画像取得条件解析部７４及びフィルタ情報記憶部７５が設けられている。

フィルタ情報記憶部７５は、復元フィルタ記憶部４９に記憶される復元フィルタ（特に理想フィルタ）が対応可能な光学系の情報を含む復元フィルタ情報データを記憶する。

画像取得条件解析部７４は、原画像データの撮影取得に用いられた光学系（レンズ１６、絞り１７等）の情報を示す画像取得条件データを含む画像情報を取得する。画像取得条件データは任意の方法で取得可能であり、例えば、Ｅｘｉｆフォーマットのように対象とする撮影取得条件データが原画像データに付随する場合には、そのような付随データから必要とされる撮影取得条件データが取得されてもよい。また、撮影取得条件データを記憶・保持する他部から、原画像データとは別個に、必要とされる撮影取得条件データが取得されてもよい。

そして、画像取得条件解析部７４は、フィルタ情報記憶部７５に記憶される復元フィルタ情報データを読み出して、取得した画像取得条件データが読み出した復元フィルタ情報データに対応するか否かを判定する。

すなわち、画像取得条件解析部７４では、画像取得条件データ及び復元フィルタ情報データに基づいて、復元フィルタ記憶部４９に記憶される理想フィルタが原画像データの撮影取得に用いられた光学系に対応しているか否かを判定する。例えば、原画像データの撮影取得に用いられたレンズ１６が、復元フィルタ記憶部４９に記憶される理想フィルタが対象とするレンズに対応しているか否かが判定されてもよい。また、原画像データの撮影取得に用いられたＦ値が、復元フィルタ記憶部４９に記憶される理想フィルタが対象とするＦ値に対応しているか否かが判定されてもよい。

この判定結果は、画像取得条件解析データとして、フィルタ選択部７２からフィルタ選択部７２に送られる。

フィルタ選択部７２は、画像取得条件解析部７４からの画像取得条件解析データに基づいて、復元フィルタを選択する。例えば、画像取得条件解析データから、復元フィルタ記憶部４９に記憶される理想フィルタが撮影取得に用いられた光学系に対応すると判定される場合、フィルタ選択部７２は理想フィルタを復元フィルタとして選択する。一方、復元フィルタ記憶部４９に記憶される理想フィルタが撮影取得に用いられた光学系に対応しないと判定される場合、フィルタ選択部７２は組み合わせフィルタを復元フィルタとして選択する。

フィルタ選択部７２における復元フィルタの選択結果は、フィルタ選択データとして、演算処理部４８に送られる。

なお、フィルタ選択部７２における復元フィルタの選択は、原画像データ毎に行われてもよいし（変形例１参照）、原画像データを構成する画素毎に行われてもよい（変形例２参照）。

演算処理部４８は、フィルタ選択部７２によって選択された復元フィルタを用いた復元処理を原画像データ毎又は原画像データを構成する画素毎に行い、回復画像データを取得及び出力する。

以上説明したように、本例によれば、レンズ種や絞り値（Ｆ値）等の画像取得条件により、復元フィルタを切り換えて復元処理を行うことができる。例えば、理想フィルタによって対応可能と想定される画像取得条件とは異なる条件によって撮影取得された原画像データは、理想フィルタによる復元処理によってリンギングの発生や折り返しノイズの強調等の想定外の画像劣化を生じる可能性がある。しかしながら、本例によれば、理想フィルタと画像取得条件とが対応しない場合には組み合わせフィルタを用いた復元処理が行われるため、リンギングの発生や折り返しノイズの強調等の想定外の画像劣化を効果的に抑えることができる。

＜変形例５＞
本変形例において、上述の変形例１〜４と同様の構成及び作用については、説明を省略する。

上述の変形例１〜４では、画像解析部７１及び画像取得条件解析部７４のうちいずれか一方が設けられる例について説明したが、画像解析部７１及び画像取得条件解析部７４の両者が設けられてもよい。

すなわち、点像復元処理部３６において、画像解析部７１（図１５及び図１７参照）、画像取得条件解析部７４及びフィルタ情報記憶部７５（図１８参照）が設けられ、フィルタ選択部７２に、画像解析データ及び画像取得条件解析データが送られてもよい。

この場合、フィルタ選択部７２は、画像解析データ及び画像取得条件解析データの両者に基づいて、復元処理に用いる復元フィルタを選択する。例えば、「復元フィルタ記憶部４９に記憶される理想フィルタが対象とするレンズに対応しているが、画像中（エッジ部分等）において飽和画素を含む場合」には組み合わせフィルタが復元フィルタとして選択されてもよく、また「復元フィルタ記憶部４９に記憶される理想フィルタが対象とするレンズに対応していない場合」には、画像中（エッジ部分等）において飽和画素を含まない場合であっても、組み合わせフィルタが復元フィルタとして選択されてもよい。

演算処理部４８は、フィルタ選択部７２によって選択された復元フィルタを用いた復元処理を原画像データ毎又は原画像データを構成する画素毎に行い、回復画像データを取得及び出力する。

＜他の変形例＞
上述の点像復元処理が行われるタイミングは、特に限定されない。画像処理部３５では、種々の画像処理が行われ、例えば図１９に示されるようにデモザイク処理Ｐ３０によってＲＡＷ画像データからデモザイク画像データが生成され、輝度変換処理Ｐ４０によってデモザイク画像データから輝度データ（例えば「ＹＣｂＣｒ信号」のうちの「Ｙ」信号）が生成される。このような一連の画像処理において、「デモザイク処理Ｐ３０前のＲＡＷ画像データ（段階Ｐ１）」、「デモザイク処理Ｐ３０後であって輝度変換処理Ｐ４０前のデモザイク画像データ（段階Ｐ２）」あるいは「輝度変換処理Ｐ４０後の輝度データ（段階Ｐ）」のいずれに対して点像復元処理が行われてもよい。

また上述の例では、撮像素子２６のカラーフィルタ配列としてベイヤー配列（図９参照）を例示したが、撮像素子２６のカラーフィルタ配列は特に限定されず、例えば図２０に示すカラーフィルタ配列（「Ｘ−Ｔｒａｎｓ（登録商標）」）を撮像素子２６が有していてもよい。図２０に示すカラーフィルタ配列は、６画素（水平方向Ｈ）×６画素（垂直方向Ｖ）に対応する正方配列パターンからなる基本配列パターンＰを有し、この基本配列パターンＰが水平方向Ｈ及び垂直方向Ｖに繰り返し複数並べられて、撮像素子２６のカラーフィルタが構成される。

図２０に示すカラーフィルタ配列の各基本配列パターンＰは、３画素（水平方向Ｈ）×３画素（垂直方向Ｖ）の第１のサブ配列と、３画素（水平方向Ｈ）×３画素（垂直方向Ｖ）の第２のサブ配列とが、水平方向Ｈ及び垂直方向Ｖに隣接配置される。第１のサブ配列及び第２のサブ配列では、それぞれＧフィルタが四隅と中央に配置されており、両対角線上にＧフィルタが配置されている。第１のサブ配列では、Ｒフィルタが中央のＧフィルタを挟んで水平方向Ｈに設けられ、Ｂフィルタが中央のＧフィルタを挟んで垂直方向Ｖに設けられている。一方、第２のサブ配列では、Ｂフィルタが中央のＧフィルタを挟んで水平方向Ｈに設けられ、Ｒフィルタが中央のＧフィルタを挟んで垂直方向Ｖに設けられている。このように、第１のサブ配列と第２のサブ配列との間で、ＲフィルタとＢフィルタとの位置関係は逆転しているが、Ｇフィルタの配置は同様になっている。

図２０に示すカラーフィルタ配列では、一般に輝度信号を得るために最も寄与する色（緑）に対応するＧフィルタが、カラーフィルタ配列の水平方向Ｈ、垂直方向Ｖ、斜め右上方向ＮＥ、及び斜め左上方向ＮＷの各ライン内に１以上配置されるため、高周波となる方向によらず高周波領域でのデモザイク処理の再現精度を向上させることができる。

また、カラーフィルタ配列（撮像素子の画素配列）の配列方向は特に限定されず、図９及び図２０の水平方向Ｈ及び垂直方向Ｖに対して任意の角度を持つ方向であってもよい。例えば、水平方向Ｈ及び垂直方向Ｖに２次元的に配列された複数の画素（カラーフィルタ）を４５度回転させた所謂「ハニカム型の配列」であってもよい。また、ＲＧＢ以外の色のカラーフィルタが用いられてもよく、例えば、赤波長域の光、青波長域の光及び緑波長域の光のいずれも透過するフィルタであって、これらの波長域において比較的高い光透過率（例えば７０％以上の光透過率）を有する透明フィルタや透明フィルタよりも低い透過率を有する所謂白色フィルタをカラーフィルタとして使用してもよい。

また、上述のデジタルカメラ１０は例示に過ぎず、他の構成に対しても本発明を適用することが可能である。各機能構成は、任意のハードウェア、ソフトウェア、あるいは両者の組み合わせによって適宜実現可能である。したがって、例えば、上述の各装置及び処理部（点像復元処理部３６、フィルタ生成装置４０等）における処理手順をコンピュータに実行させるプログラムに対しても本発明を適用することができる。

＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における復元処理は、特定の撮影条件（例えば、絞り値、Ｆ値、焦点距離、レンズ種類、など）に応じて点拡がり（点像ボケ）を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像復元処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の点拡がり関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（Ｙデータ）に対して復元処理を行う例について説明するが、復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。

図２１は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）１０１は、ＥＤｏＦ光学系（レンズユニット）１１０と、撮像素子１１２と、ＡＤ変換部１１４と、復元処理ブロック（画像処理部）１２０とを含む。

図２２は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

なお、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。

すなわち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

図２２に示すＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図２１に示す撮像素子１１２に結像され、ここで電気信号に変換される。

撮像素子１１２は、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ配列、ハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系１１０を介して撮像素子１１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

ＡＤ変換部１１４は、撮像素子１１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック１２０に加えられる。

復元処理ブロック１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣｒＣｂ変換部１２６と、Ｙ信号復元処理部１２７とを含む。

黒レベル調整部１２２は、ＡＤ変換部１１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から該平均を減算することで、黒レベル調整が行われる。

ホワイトバランスゲイン部１２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部１２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部１２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部１２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子１１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力されることとなる。

ＲＧＢ／ＹＣｒＣｂ変換部１２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。

Ｙ信号復元処理部１２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部１２６からの輝度信号Ｙに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリ（例えばＹ信号復元処理部１２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。

次に、復元処理ブロック１２０による復元処理について説明する。図２３は、図２１に示す復元処理ブロック１２０における復元処理の一例を示すフローチャートである。

黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部１２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部１２３に出力する（ステップＳ１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（ステップＳ２及びＳ３）。

ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部１２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部１２６において輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂに変換される（ステップＳ４）。

Ｙ信号復元処理部１２７は、輝度信号Ｙに、ＥＤｏＦ光学系１１０の光学フィルタ１１１の位相変調分のデコンボリューション処理をかける復元処理を行う（ステップＳ５）。すなわち、Ｙ信号復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部１２７は、この所定単位の画素群毎のデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。更に復元処理を簡略化するためには、すべての画素群に共通の復元フィルタが適用されることが好ましい。

図２４（ａ）に示すように、ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子１１２に結像されるが、Ｙ信号復元処理部１２７でのデコンボリューション処理により、図２４（ｂ）に示すように小さな点像（高解像度の画像）に復元される。

上述のようにデモザイク処理後の輝度信号に復元処理をかけることで、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ・Ｇ・Ｂの画素に対応するＲ・Ｇ・Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号Ｃｒ・Ｃｂについては、人の目による視覚の特性上、復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。

以上説明したようなＥＤｏＦシステムの復元処理に対しても、本発明の各実施形態に係る点像復元処理を適用することが可能である。すなわち、上述の各実施形態の点像復元処理部３６の復元処理を、本ＥＤｏＦシステムのＹ信号復元処理部１２７の復元処理に応用し、Ｙ信号復元処理部１２７で用いる復元フィルタを「点拡がり関数に基づく理想フィルタ（ウイナーフィルタ等）にフィッティングするように、複数の基底フィルタを組み合わせて生成したり」、「それぞれを単独で用いた復元処理を原画像データに対して行った場合に得られる回復画像データにおいてリンギングをもたらさない複数の基底フィルタを組み合わせて生成したり」、「それぞれを単独で用いた復元処理を原画像データに対して行った場合に得られる回復画像データにおいて折り返しノイズを強調しない複数の基底フィルタを組み合わせて生成したり」することも可能である。

なお、上述の各実施形態では、点像復元処理部３６が、デジタルカメラ１０のカメラ本体１４（カメラ本体コントローラ２８）に設けられる態様について説明したが、コンピュータ６０やサーバ８０等の他の装置に点像復元処理部３６が設けられてもよい。

例えば、コンピュータ６０において画像データを加工する際に、コンピュータ６０に設けられる点像復元処理部によってこの画像データの点像復元処理が行われてもよい。また、サーバ８０が点像復元処理部を備える場合には、例えば、デジタルカメラ１０やコンピュータ６０からサーバ８０に画像データが送信され、サーバ８０の点像復元処理部においてこの画像データに対して点像復元処理が行われ、点像復元処理後の画像データ（回復画像データ）が送信元に送信・提供されるようにしてもよい。

また、本発明を適用可能な態様はデジタルカメラ１０、コンピュータ６０及びサーバ８０には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図２５は、本発明の撮影装置の一実施形態であるスマートフォン２０１の外観を示すものである。図２５に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、係る筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２６は、図２５に示すスマートフォン２０１の構成を示すブロック図である。図２６に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。

表示パネル２２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。

図２５に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０あるいは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図２５に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。

操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２５に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２６０は、スマートフォン２０１に連結されるすべての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。係る検出結果は、主制御部２００に出力されるものである。

電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。

更に、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２５０に記録したり、入出力部２６０や無線通信部２１０を通じて出力することができる。図２５に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、あるいは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合には、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部２４１を同時に使用して撮影することもできる。

また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力のひとつとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。更には、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、入出力部２６０や無線通信部２１０を通じて出力することもできる。

上述のスマートフォン２０１において、点像復元処理に関連する上述の各処理部は、例えば主制御部２００、記憶部２５０等によって適宜実現可能である。

本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１６…レンズ、１８…光学系操作部、２０…レンズユニットコントローラ、２２…レンズユニット入出力部、２６…撮像素子、２８…カメラ本体コントローラ、３０…カメラ本体入出力部、３２…入出力インターフェース、３４…デバイス制御部、３５…画像処理部、３６…点像復元処理部、４０…フィルタ生成装置、４２…基底フィルタ記憶部、４４…理想フィルタ算出部、４６…復元フィルタ生成部、４８…演算処理部、４９…復元フィルタ記憶部、５０…ＰＳＦ情報取得部、５２…カラーフィルタ配列特性取得部、５４…画像情報取得部、６０…コンピュータ、６２…コンピュータ入出力部、６４…コンピュータコントローラ、６６…ディスプレイ、７０…インターネット、７１…画像解析部、７２…フィルタ選択部、７３…エッジ検出部、７４…画像取得条件解析部、７５…フィルタ情報記憶部、８０…サーバ、８２…サーバ入出力部、８４…サーバコントローラ、１０１…撮像モジュール、１１０…ＥＤｏＦ光学系、１１０Ａ…撮影レンズ、１１１…光学フィルタ、１１２…撮像素子、１１４…ＡＤ変換部、１２０…復元処理ブロック、１２２…黒レベル調整部、１２３…ホワイトバランスゲイン部、１２４…ガンマ処理部、１２５…デモザイク処理部、１２６…ＲＧＢ／ＹＣｒＣｂ変換部、１２７…Ｙ信号復元処理部、２００…主制御部、２０１…スマートフォン、２０２…筐体、２１０…無線通信部、２２０…表示入力部、２２１…表示パネル、２２２…操作パネル、２３０…通話部、２３１…スピーカ、２３２…マイクロホン、２４０…操作部、２４１…カメラ部、２５０…記憶部、２５１…内部記憶部、２５２…外部記憶部、２６０…外部入出力部、２７０…ＧＰＳ受信部、２８０…モーションセンサ部、２９０…電源部

Claims (27)

1. 光学系を用いた撮影により撮像素子から得られる原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る画像処理装置であって、
   前記復元フィルタは、前記点拡がり関数に基づく理想フィルタにフィッティングするように、複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含む画像処理装置。
2. 前記複数の基底フィルタは、前記複数の基底フィルタのそれぞれを単独で用いた復元処理を前記原画像データに対して行った場合に得られる回復画像データにおいてリンギングをもたらさないフィルタである請求項１に記載の画像処理装置。
3. 前記複数の基底フィルタは、前記複数の基底フィルタのそれぞれを単独で用いた復元処理を前記原画像データに対して行った場合に得られる回復画像データにおいて折り返しノイズを強調しないフィルタである請求項１に記載の画像処理装置。
4. 光学系を用いた撮影により撮像素子から得られる原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る画像処理装置であって、
   前記復元フィルタは、複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含み、
   前記複数の基底フィルタは、前記複数の基底フィルタのそれぞれを単独で用いた復元処理を前記原画像データに対して行った場合に得られる回復画像データにおいてリンギングをもたらさないフィルタである、画像処理装置。
5. 光学系を用いた撮影により撮像素子から得られる原画像データに対し、前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を行って回復画像データを得る画像処理装置であって、
   前記復元フィルタは、複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含み、
   前記複数の基底フィルタは、前記複数の基底フィルタのそれぞれを単独で用いた復元処理を前記原画像データに対して行った場合に得られる回復画像データにおいて折り返しノイズを強調しないフィルタである、画像処理装置。
6. 前記原画像データを解析して取得される画像解析データ及び前記原画像データの取得条件を示す画像取得条件データのうち、少なくともいずれか一方を含む画像情報を取得する画像情報取得部と、
   前記画像情報に基づいて、前記復元フィルタを選択するフィルタ選択部と、
   前記フィルタ選択部によって選択された前記復元フィルタを用いた復元処理を前記原画像データに対して行って回復画像データを得る復元演算部と、を備え、
   前記復元フィルタは、前記点拡がり関数に基づく理想フィルタと、前記組み合わせフィルタと、を含み、
   前記フィルタ選択部は、前記画像情報に基づいて、前記理想フィルタ及び前記組み合わせフィルタのうちいずれか一方を、前記復元処理に用いる前記復元フィルタとして選択する請求項１から５のうちいずれか１項に記載の画像処理装置。
7. 前記画像情報取得部は、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが、前記原画像データに含まれるか否かを示す前記画像解析データを含む前記画像情報を取得し、
   前記フィルタ選択部は、
   前記画像解析データが、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが前記原画像データに含まれることを示す場合には、前記組み合わせフィルタを選択し、
   前記画像解析データが、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが前記原画像データに含まれることを示さない場合には、前記理想フィルタを選択する請求項６に記載の画像処理装置。
8. 前記原画像データの画像中のエッジ部分を検出するエッジ検出部を更に備え、
   前記画像情報取得部は、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが、前記原画像データのうち前記エッジ部分に含まれるか否かを示す前記画像解析データを含む前記画像情報を取得し、
   前記フィルタ選択部は、
   前記画像解析データが、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが前記原画像データのうち前記エッジ部分に含まれることを示す場合には、前記組み合わせフィルタを選択し、
   前記画像解析データが、画素値が飽和した画素データ又は閾値よりも大きな画素値を有する画素データが前記原画像データのうち前記エッジ部分に含まれることを示さない場合には、前記理想フィルタを選択する請求項６又は７に記載の画像処理装置。
9. 前記画像情報取得部は、前記光学系の情報を示す前記画像取得条件データを含む前記画像情報を取得し、
   前記フィルタ選択部は、
   前記理想フィルタが前記光学系に対応する場合には、前記理想フィルタを選択し、
   前記理想フィルタが前記光学系に対応しない場合には、前記組み合わせフィルタを選択する請求項６に記載の画像処理装置。
10. 前記フィルタ選択部は、前記原画像データ毎に、前記理想フィルタ及び前記組み合わせフィルタのうちいずれか一方を、前記復元処理に用いる前記復元フィルタとして選択する請求項６から９のうちいずれか１項に記載の画像処理装置。
11. 前記フィルタ選択部は、前記原画像データのうちの注目画素及び該注目画素の周辺画素に関する前記画像情報に基づいて、前記原画像データを構成する画素データ毎に、前記理想フィルタ及び前記組み合わせフィルタのうちいずれか一方を、前記注目画素に対する前記復元処理に用いる前記復元フィルタとして選択する請求項６から９のうちいずれか１項に記載の画像処理装置。
12. 前記撮像素子は、複数色のカラーフィルタを具備し、
    前記復元フィルタは、前記カラーフィルタの配列に応じた周波数特性を持つ請求項１から１１のうちいずれか１項に記載の画像処理装置。
13. 前記複数の基底フィルタは、それぞれの周波数特性が相互に相違し、
    前記組み合わせフィルタは、前記複数の基底フィルタの線形和から得られる請求項１から１２のうちいずれか１項に記載の画像処理装置。
14. 前記複数の基底フィルタの各々に対する重み付け係数は、最小二乗法によって算出される請求項１３に記載の画像処理装置。
15. 前記複数の基底フィルタは、輪郭補正の周波数特性を有するフィルタである請求項１から１４のうちいずれか１項に記載の画像処理装置。
16. 前記復元フィルタは、前記原画像データの画素数に応じたフィルタ係数を持つ請求項１から１５のうちいずれか１項に記載の画像処理装置。
17. 前記光学系は、位相を変調して被写界深度を拡大させるレンズ部を有する請求項１から１６のうちいずれか１項に記載の画像処理装置。
18. 請求項１から１７のうちいずれか１項に記載の画像処理装置と、
    前記光学系を介して受光した被写体像の前記原画像データを出力する前記撮像素子と、を備える撮像装置。
19. 光学系を用いた撮影により撮像素子から得られる原画像データより回復画像データを得るために行われる復元処理で用いられる復元フィルタを生成するフィルタ生成装置であって、
    複数の基底フィルタを記憶する記憶部と、
    前記光学系の点拡がり関数に基づく理想フィルタを算出する理想フィルタ算出部と、
    前記理想フィルタにフィッティングするように前記複数の基底フィルタを組み合わせて前記復元フィルタを生成する復元フィルタ生成部と、を備えるフィルタ生成装置。
20. 光学系を用いた撮影により撮像素子から得られる原画像データより回復画像データを得るために行われる復元処理で用いられる復元フィルタを生成するフィルタ生成装置であって、
    複数の基底フィルタを記憶する記憶部と、
    前記複数の基底フィルタを組み合わせて前記復元フィルタを生成する復元フィルタ生成部と、を備え、
    前記復元フィルタは複数の基底フィルタが組み合わされて生成され、
    前記複数の基底フィルタは、前記複数の基底フィルタのそれぞれを単独で用いた復元処理を前記原画像データに対して行った場合に得られる回復画像データにおいてリンギングをもたらさないフィルタである、フィルタ生成装置。
21. 光学系を用いた撮影により撮像素子から得られる原画像データより回復画像データを得るために行われる復元処理で用いられる復元フィルタを生成するフィルタ生成装置であって、
    複数の基底フィルタを記憶する記憶部と、
    前記複数の基底フィルタを組み合わせて前記復元フィルタを生成する復元フィルタ生成部と、を備え、
    前記復元フィルタは複数の基底フィルタが組み合わされて生成され、
    前記複数の基底フィルタは、前記複数の基底フィルタのそれぞれを単独で用いた復元処理を前記原画像データに対して行った場合に得られる回復画像データにおいて折り返しノイズを強調しないフィルタである、フィルタ生成装置。
22. 光学系を用いた撮影により撮像素子から得られる原画像データを取得するステップと、
    前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を原画像データに対して行って回復画像データを得るステップと、
    を含む画像復元方法であって、
    前記復元フィルタは、前記点拡がり関数に基づく理想フィルタにフィッティングするように、複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含む画像復元方法。
23. 光学系を用いた撮影により撮像素子から得られる原画像データを取得するステップと、
    前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を原画像データに対して行って回復画像データを得るステップと、
    を含む画像復元方法であって、
    前記復元フィルタは、複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含み、
    前記複数の基底フィルタは、前記複数の基底フィルタのそれぞれを単独で用いた復元処理を前記原画像データに対して行った場合に得られる回復画像データにおいてリンギングをもたらさないフィルタである、画像復元方法。
24. 光学系を用いた撮影により撮像素子から得られる原画像データを取得するステップと、
    前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を原画像データに対して行って回復画像データを得るステップと、
    を含む画像復元方法であって、
    前記復元フィルタは、複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含み、
    前記複数の基底フィルタは、前記複数の基底フィルタのそれぞれを単独で用いた復元処理を前記原画像データに対して行った場合に得られる回復画像データにおいて折り返しノイズを強調しないフィルタである、画像復元方法。
25. 光学系を用いた撮影により撮像素子から得られる原画像データを取得する手順と、
    前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を原画像データに対して行って回復画像データを得る手順と、
    をコンピュータに実行させるためのプログラムであって、
    前記復元フィルタは、前記点拡がり関数に基づく理想フィルタにフィッティングするように、複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含むプログラム。
26. 光学系を用いた撮影により撮像素子から得られる原画像データを取得する手順と、
    前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を原画像データに対して行って回復画像データを得る手順と、
    をコンピュータに実行させるためのプログラムであって、
    前記復元フィルタは、複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含み、
    前記複数の基底フィルタは、前記複数の基底フィルタのそれぞれを単独で用いた復元処理を前記原画像データに対して行った場合に得られる回復画像データにおいてリンギングをもたらさないフィルタである、プログラム。
27. 光学系を用いた撮影により撮像素子から得られる原画像データを取得する手順と、
    前記光学系の点拡がり関数に基づく復元フィルタを用いた復元処理を原画像データに対して行って回復画像データを得る手順と、
    をコンピュータに実行させるためのプログラムであって、
    前記復元フィルタは、複数の基底フィルタが組み合わされて生成される組み合わせフィルタを含み、
    前記複数の基底フィルタは、前記複数の基底フィルタのそれぞれを単独で用いた復元処理を前記原画像データに対して行った場合に得られる回復画像データにおいて折り返しノイズを強調しないフィルタである、プログラム。