JP5830186B2 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理に関する技術であり、特に点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）に基づく点像復元処理による画像処理に関する。

デジタルカメラ等の撮像装置により、被写体を撮像して得られた画像には、光学系（撮影レンズ等）の種々の収差に由来する画像劣化が起こる場合がある。

この収差に由来する画像劣化（回折ボケ、周辺ボケ、倍率色収差等）を防ぐために、被写体像の画像データに画像処理を行って、収差に由来する画像劣化を取り除く（修正する）技術が考えられてきた。

収差による画像劣化は、点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）により表現することができ、その点像分布関数の復元フィルタ（逆フィルタ）を画像データにかけることによって、画像劣化を取り除くことができる（点像復元処理）。

しかしながら、画像によっては、点像復元処理を行うことにより、かえって偽色や偽信号が発生してしまい、画像の質が低下してしまう場合がある。

そこで、特許文献１には、画像回復処理（本願の点像復元処理と対応するものと考えられる）に関する技術において、画像回復処理を行うと偽色が発生する部分に関しては、画像回復処理を行わないことが開示されている。又、特許文献１では、画像回復処理をデモザイキング処理（本願のデモザイク処理に対応するものと考えられる）の前に行うことが好ましいことが開示されている。

又、特許文献２には、画像回復処理の回復度合いは連続的に調整可能であり、回復度合いを調節することにより、偽色の発生を抑えることができることが開示されている。しかし、回復度合いを低下させていくに従って、倍率色収差が発生することも開示されている。

特開２０１０−０８６１３８号公報 特開２０１１−１２４６９２号公報

しかしながら、特許文献１に開示された技術では、偽色を考慮して画像回復処理を行っているが、色収差とデモザイク処理により発生する偽信号を考慮しての画像回復処理を行っていない為、色収差とデモザイク処理が発生要因である偽信号により画像劣化が起こる場合がある。ここで、特許文献１に開示された、偽色とは、合焦距離には最適であって非合焦距離には最適でない画像回復フィルタ（本願の回復フィルタに相当するものと考えられる）を用いて非合焦物体の画像回復処理を行う場合、撮像時の光学系の状態により変化する収差の状態と、画像回復フィルタが対応する収差の状態とで相違があるときに発生するものを言う。尚、本願における色収差とデモザイク処理により発生する偽信号に関しては後述する。

又、特許文献１に開示された技術では、偽色発生要因の一つである色収差の発生度合いが考慮されていない為、色収差の発生度合いが僅かな部分に関しても画像回復処理を行わない場合がある。画像回復処理を行っても僅かな偽色の発生であるような場合は、画像回復処理を行った方が質の良い画像が取得することができる。さらに、デモザイクキング処理後に得られる輝度系画像データに対して画像回復処理を行った方が、デモザイクキング処理前に画像回復処理を行うよりも、的確に画像回復処理を行うことができる。

特許文献２に開示された技術では、アーティファクトや偽色を考慮して画像回復処理を行っているが、色収差とデモザイク処理により発生する偽信号を考慮しての画像回復処理を行っていない為、色収差とデモザイク処理が発生要因である偽信号により画像劣化が起こる場合がある。ここで、特許文献２に開示された、アーティファクトとは、実際に撮影された状態で発生している収差特性と画像回復が想定している収差特性とに相違がある場合、回復画像に生じるものである。又、特許文献２に開示された偽色とは、ＲＧＢの色成分ごとに回復度合いが想定しているものと異なると、回復画像に発生するものである。

又、特許文献２に開示された技術では、色収差とデモザイク処理により発生する偽信号を考慮しての画像回復処理を行っていない為、色収差とデモザイク処理が発生要因である偽信号により画像劣化が起こる場合がある。偽色発生要因の一つである色収差の発生度合いを考慮していない為、倍率色収差の発生に応じた画像回復処理の調節が的確に行えない場合がある。

本発明は、このような事情に鑑みてなされたものであり、色収差よる偽信号の発生度合いを考慮して点像復元処理を実行することでより画質の良い画像を得ることができ、輝度系画像データに対して点像復元処理を行うことにより鮮明な画像を得ることができる画像処理装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の一の態様に係る画像処理装置は、撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理手段と、デモザイク処理手段により得られたデモザイク画像データに基づいて、輝度に関する画像データである輝度系画像データを取得する輝度系画像データ取得手段と、輝度系画像データ取得手段により取得された輝度系画像データに対して、点像復元処理を行う点像復元処理実行手段と、被写体の撮影条件に関する撮影情報に基づいて、点像復元処理の実行に関する制御情報を取得する情報取得手段と、情報取得手段により取得した制御情報に基づいて、点像復元処理実行手段の処理動作を制御する点像復元処理制御手段と、を備える。

これにより、色収差とデモザイク処理による偽信号の発生度合いを考慮して点像復元処理を実行するので、より画質のよい画像を得ることができる。又、輝度系画像データに対して点像復元処理を行う為、より鮮明な画像を得ることができる。

画像処理装置において、好ましくは、撮影情報は、撮影に使用されたレンズ情報、撮影時の絞り値、撮影時の焦点距離、及び撮影時の被写体距離のうち少なくとも一つを含む。

これにより、より的確に色収差とデモザイク処理による偽信号の発生度合いを考慮して点像復元処理を実行することが可能であり、より画質のよい画像を得ることができる。

画像処理装置は、好ましくは、モザイク画像データ又はデモザイク画像データに基づいて、点像復元処理を行うと偽信号が強調されるモザイク画像データか否か、又は点像復元処理を行うと偽信号が強調されるデモザイク画像データか否かを分析する画像分析手段を有し、情報取得手段は、撮影情報及び画像分析手段により得られる分析情報に基づいて、制御情報を取得する。

これにより、撮影情報のみでなく、撮影された画像を分析した分析情報を考慮して、点像復元処理の実行を行うことができ、より画質のよい画像を得ることができる。

画像処理装置において、好ましくは、画像分析手段は、モザイク画像データ又はデモザイク画像データに基づいてコントラストの大きさを求めることにより、点像復元処理を行うと偽信号が強調されるモザイク画像データか否か、又は点像復元処理を行うと偽信号が強調されるデモザイク画像データか否かを分析する。

これにより、より的確に画像分析により色収差とデモザイク処理による偽信号の発生度合いを把握することができ、より的確に色収差による偽信号の発生度合いを考慮して点像復元処理を実行することが可能であり、より画質のよい画像を得ることができる。

画像処理装置において、好ましくは、点像復元処理制御手段は、制御情報により、点像復元処理を行うと偽信号が強調されるか否かを判別し、点像復元処理制御手段は、偽信号が強調されないと判別した場合には、輝度系画像データに対して点像復元処理実行手段により点像復元処理を行わせ、点像復元処理制御手段は、偽信号が強調されると判別した場合には、輝度系画像データに対して点像復元処理実行手段による点像復元処理を禁止する。

これにより、点像復元処理をより的確に、色収差とデモザイク処理による偽信号の発生度合いに応じて実行することができるので、より画質のよい画像を得ることができる。

画像処理装置において、好ましくは、点像復元処理制御手段は、制御情報により、点像復元処理を行うと偽信号が強調されるか否かを判別し、点像復元処理制御手段は、偽信号が強調されないと判別した場合には、輝度系画像データに対して点像復元処理実行手段により点像復元処理を行わせ、点像復元処理制御手段は、偽信号が強調されると判別した場合には、偽信号が強調される領域である偽信号強調領域を特定し、点像復元処理実行手段により偽信号強調領域に対する点像復元処理を禁止し、偽信号強調領域以外の領域には点像復元処理を行わす。

これにより、点像復元処理をより的確に、色収差とデモザイク処理による偽信号の発生度合いに応じて実行することができるので、より画質のよい画像を得ることができる。

画像処理装置において、好ましくは、点像復元処理制御手段は、制御情報により、点像復元処理を行うと偽信号が強調されるか否かを判別し、点像復元処理制御手段は、偽信号が強調されないと判別した場合には、輝度系画像データに対して点像復元処理実行手段により点像復元処理を行わせ、点像復元処理制御手段は、偽信号は強調されると判別した場合には、偽信号が強調される領域である偽信号強調領域を特定し、偽信号強調領域以外の領域には点像復元処理実行手段により点像復元処理を行わせ、偽信号強調領域には点像復元処理実行手段により点像復元処理に代えて点像復元処理よりも効果の弱い点像復元処理を行わせる。

これにより、点像復元処理をより的確に、色収差とデモザイク処理による偽信号の発生度合いに応じて実行することができるので、より画質のよい画像を得ることができる。

画像処理装置において、好ましくは、点像復元処理制御手段は、制御情報により、点像復元処理を行うと偽信号が強調されるか否かを判別し、点像復元処理制御手段が、偽信号は強調されないと判別した場合には、輝度系画像データに対して、点像復元処理実行手段により点像復元処理を行わせ、点像復元処理制御手段が、偽信号は強調されると判別した場合には、偽信号の強調され度合いである偽信号強調度合いを特定し、点像復元処理実行手段により、偽信号強調度合いに応じて点像復元処理の強さを変えて点像復元処理を行わせる。

これにより、点像復元処理をより的確に、色収差とデモザイク処理による偽信号の発生度合いに応じて実行することができるので、より画質のよい画像を得ることができる。

画像処理装置において、好ましくは、点像復元処理制御手段により特定される偽信号強調領域は、像高が高い領域である。

これにより、点像復元処理をより的確に、色収差とデモザイク処理による偽信号の発生度合いに応じて実行することができるので、より画質のよい画像を得ることができる。

画像処理装置において、好ましくは、点像復元処理制御手段により特定される偽信号強調度合いは、像高の高さに応じて大きくなる。

画像処理装置において、好ましくは、輝度系画像データは、輝度信号を得るための寄与率が最も高いデモザイク画像データ内の色データ、又はデモザイク画像データに基づいて得られる輝度信号である。

これにより、より効果の高い点像復元処理を実行することができる。

画像処理装置において、好ましくは、輝度系画像データは、輝度信号Ｙおよび色差信号Ｃｂ、Ｃｒで表される色空間においての輝度信号Ｙの値である。

画像処理装置において、好ましくは、デモザイク処理手段は、輝度信号を得るための寄与率が最も高いモザイク画像データ内の色データに基づいて、モザイク画像データを構成する複数の画素信号における相関方向を判別する処理を含む。

画像処理装置において、好ましくは、デモザイク処理手段は、輝度信号を得るための寄与率が最も高いモザイク画像データ内の色データに基づいて、モザイク画像データにおけるエッジ検出処理を含む。

上記目的を達成するために、本発明の他の態様に係る撮像装置は、撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理手段と、デモザイク処理手段により得られたデモザイク画像データに基づいて、輝度に関する画像データである輝度系画像データを取得する輝度系画像データ取得手段と、輝度系画像データ取得手段により取得された輝度系画像データに対して、点像復元処理を行う点像復元処理実行手段と、被写体を撮影した時の撮影情報に基づいて、点像復元処理の実行に関する制御情報を取得する情報取得手段と、情報取得手段により取得した制御情報に基づいて、点像復元処理実行手段の処理動作を制御する点像復元処理制御手段と、を備える画像処理装置を含む。

これにより、色収差とデモザイク処理による偽信号の発生度合いを考慮して点像復元処理を実行するので、より画質のよい画像を得ることができる。又、輝度系画像データに対して点像復元処理を行う為、より鮮明な画像を得ることができる。

上記目的を達成するために、本発明の他の態様に係る画像処理方法は、撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理ステップと、デモザイク処理ステップにより生成されたデモザイク画像データに基づいて、輝度に関する輝度系画像データを取得する輝度系画像データ取得ステップと、輝度系画像データ取得ステップにより取得された輝度系画像データに対して、点像復元処理を行う点像復元処理実行ステップと、被写体の撮影条件に関する撮影情報に基づいて、点像復元処理の実行に関する制御情報を取得する情報取得ステップと、情報取得ステップにより得られる制御情報に基づいて、点像復元処理実行ステップの処理動作を制御する点像復元処理制御ステップと、を含む。

これにより、色収差とデモザイク処理による偽信号の発生度合いを考慮して点像復元処理を実行するので、より画質のよい画像を得ることができる。又、輝度系画像データに対して点像復元処理を行う為、より鮮明な画像を得ることができる。

上記目的を達成するために、本発明の他の態様に係るプログラムは、撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理ステップと、デモザイク処理ステップにより生成されたデモザイク画像データに基づいて、輝度に関する輝度系画像データを取得する輝度系画像データ取得ステップと、輝度系画像データ取得ステップにより取得された輝度系画像データに対して、点像復元処理を行う点像復元処理実行ステップと、被写体の撮影条件に関する撮影情報に基づいて、点像復元処理の実行に関する制御情報を取得する情報取得ステップと、情報取得ステップにより得られる制御情報に基づいて、点像復元処理実行ステップの処理動作を制御する点像復元処理制御ステップと、をコンピュータに実行させる。

また、本発明の一態様に係るコンピュータ読取可能な記録媒体は、記録媒体に格納された指令がプロセッサによって読み取られた場合に、プロセッサが、撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理ステップと、デモザイク処理ステップにより生成されたデモザイク画像データに基づいて、輝度に関する輝度系画像データを取得する輝度系画像データ取得ステップと、輝度系画像データ取得ステップにより取得された輝度系画像データに対して、点像復元処理を行う点像復元処理実行ステップと、被写体の撮影条件に関する撮影情報に基づいて、点像復元処理の実行に関する制御情報を取得する情報取得ステップと、情報取得ステップにより得られる制御情報に基づいて、点像復元処理実行ステップの処理動作を制御する点像復元処理制御ステップとを実行する。

これにより、色収差とデモザイク処理による偽信号の発生度合いを考慮して点像復元処理を実行するので、より画質のよい画像を得ることができる。又、輝度系画像データに対して点像復元処理を行う為、より鮮明な画像を得ることができる。

本発明によれば、色収差とデモザイク処理による偽信号の発生度合いを考慮して点像復元処理を実行することで、より画質の良い画像を得ることができる。又、本発明によれば、輝度系画像データに対して点像復元処理を行う為、より鮮明な画像を得ることができる。

本発明の一の態様である撮像装置の要部ブロック図である。 撮像素子に配置されたモザイク状のカラーフィルタ配列（ベイヤ配列）を示す図である。 本発明の他の態様である画像処理装置の第１実施形態を示す要部ブロック図である。 点像復元処理により復元される点像の様子を示す図である。 情報取得部の制御情報の生成に関する一例を説明する図である。 情報取得部の制御情報の生成に関する他の例を説明する図である。 色収差による偽信号が発生していない画像のデモザイク処理を説明する図である。 色収差による偽信号が発生している画像のデモザイク処理を説明する図である。 図８の（Ａ）部に示された画像に対して、デモザイク処理が行われた場合の本来のエッジの位置を示す図である。 色収差による偽信号が点像復元処理により強調されることを説明する図である。 画像処理装置の第１実施形態の動作フローを示す図である。 点像復元処理の制御例を説明する図である。 点像復元処理の強さの調節を説明する図である。 画像処理装置の第２実施形態を示す要部ブロック図である。 画像処理装置の第２実施形態の動作フローを示す図である。 画像処理装置の第３実施形態を示す要部ブロック図である。 画像処理装置の第４実施形態を示す要部ブロック図である。 撮像素子に配置されたモザイク状のカラーフィルタ配列の変形例を示す図である。 図１８に示した基本配列パターンを３画素×３画素に４分割した状態に関して示した図である。 ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 ＥＤｏＦ光学系の一例を示す図である。 図２０に示す復元処理ブロックにおける復元処理の一例を示すフローチャートである。 本発明の一の態様である撮像装置の他の実施形態を示す図である。 図２３に示す撮像装置の構成を示すブロック図である。

以下、本発明の例を、図面を用いて説明する。尚、本願では「手段」という言葉と「部」という言葉は、同じ意味として使用している。例えば、デモザイク処理手段とデモザイク処理部とは同じ意味であり、輝度系画像データ取得手段と輝度系画像データ取得部とは同じ意味であり、点像復元処理実行手段と点像復元処理実行部は同じ意味であり、情報取得手段と情報取得部とは同じ意味であり、点像復元処理制御手段と点像復元処理制御部とは同じ意味であり、画像分析手段と画像分析部は同じ意味である。

［画像処理装置を有する撮像装置］
図１は、本発明に係る画像処理装置（図１では画像処理部と表示）２８を有する撮像装置１０の実施形態を示すブロック図である。

本発明の画像処理部２８を有する撮像装置１０は、撮像した画像を内部メモリ（メモリ部２６）、又は外部の記録メディア（図示せず）に記録するデジタルカメラであり、装置全体の動作は、中央処理装置（ＣＰＵ）１２によって統括制御される。

撮像装置１０には、シャッタボタン又はシャッタスイッチ、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ズームボタン、及びＢＡＣＫキー等を含む操作部１４が設けられている。この操作部１４からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、デバイス制御部１６を介してレンズ部１８、シャッタ２０、画像取得手段として機能する撮像素子２２を制御すると共に、撮影動作制御、画像処理制御、画像データの記録／再生制御、及び表示部２５の表示制御などを行う。

レンズ部１８は、フォーカスレンズ、ズームレンズ、絞り等を含み、レンズ部１８及びシャッタ２０を通過した光束は、撮像素子２２の受光面に結像される。又、撮像装置１０のレンズ部１８は交換式であってもよいし、非交換式であってもよい。

撮像素子２２は、多数の受光素子（フォトダイオード）が２次元配列されており、各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（又は電荷）に変換される。

［撮像素子］
図２は、撮像素子２２の形態を示す図であり、特に撮像素子２２の受光面上に配置されているカラーフィルタ配列に関して示している。尚、各カラーフィルタが設置された各フォトダイオードを画素とし、各フォトダイードから出力されるデータを画素データ（画素信号）とする。

図２に示された撮像素子２２のカラーフィルタ配列は、一般にベイヤ配列と呼ばれる。ここで、ベイヤ配列とは、高解像度が必要な輝度信号の主成分となる色を市松状に配置し、残りの部分に比較的解像度が要求されない、色情報成分となる２種類の色を市松状に配列したカラーフィルタ配列を言う。ベイヤ配列の具体例としては、図２に示すように、輝度信号に寄与する割合の大きい緑色（Ｇ）のカラーフィルタ（Ｇフィルタ）を市松状に配置し、残りの部分に赤色（Ｒ）のカラーフィルタ（Ｒフィルタ）と青色（Ｂ）のカラーフィルタ（Ｂフィルタ）を市松状に配列したカラーフィルタ配列が挙げられる。

上記構成の撮像素子２２に蓄積された信号電荷は、デバイス制御部１６から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子２２から読み出された電圧信号は、Ａ／Ｄ変換器２４に加えられ、ここで、順次カラーフィルタ配列に対応するデジタルのＲ、Ｇ、Ｂ信号（画素データ）に変換され、一旦、メモリ部２６に保存される。

メモリ部２６は、揮発性メモリであるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）や、書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）等を含み、ＳＤＲＡＭは、ＣＰＵ１２によるプログラムの実行時におけるワークエリアとして、又、撮像され取得されたデジタル画像信号を一時保持する記憶エリアとして使用される。一方、ＥＥＰＲＯＭには、画像処理プログラムを含むカメラ制御プログラム、撮像素子２２の画素の欠陥情報、画像処理等に使用する各種のパラメータやテーブル等が記憶されている。

画像処理部２８は、メモリ部２６に一旦格納されたデジタルの画像信号に対して、ホワイトバランス補正、ガンマ補正処理、デモザイク処理、ＲＧＢ／ＹＣ変換、輪郭補正、色収差補正、ボケ補正等の所定の信号処理を行う。尚、本発明に係る画像処理装置（画像処理部）２８の詳細については後述する。

画像処理部２８で処理された画像データは、エンコーダ３０において画像表示用のデータにエンコーディングされ、ドライバ３２を介してカメラ背面に設けられている表示部２５に出力される。これにより、被写体像が連続的に表示部２５の表示画面上に表示される。

操作部１４のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ１２は、ＡＦ（Automatic Focus）動作及びＡＥ（Automatic Exposure）動作を開始させ、デバイス制御部１６を介してレンズ部１８のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。

ＣＰＵ１２は、シャッタボタンの半押し時にＡ／Ｄ変換器２４から出力される画像データに基づいて被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値により露出条件（絞り値、シャッタ速度）を決定する。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、上記決定した露出条件により絞り、シャッタ２０及び撮像素子２２での電荷蓄積時間を制御して本撮像が行われる。本撮像時に撮像素子２２から読み出され、Ａ／Ｄ変換器２４によりＡ／Ｄ変換されたＲＧＢのモザイク画像（図２に示したカラーフィルタ配列に対応する画像）の画像データは、メモリ部２６に一時的に記憶される。

メモリ部２６に一時的に記憶された画像データは、画像処理部２８により適宜読み出され、ここで、ホワイトバランス補正、ガンマ補正、デモザイク処理、ＲＧＢ／ＹＣ変換、輪郭補正、及び色補正等を含む所定の信号処理が行われる。ＲＧＢ／ＹＣ変換された画像データ（ＹＣデータ）は、所定の圧縮フォーマット（例えば、ＪＰＥＧ（Joint Photographic Experts Group）方式）にしたがって圧縮され、圧縮された画像データは、所定の画像ファイル（例えば、Ｅｘｉｆ（Exchangeable image file format）ファイル）形式で内部メモリや外部メモリに記録される。

尚、本発明に使用される撮像素子２２におけるカラーフィルタ配列は、図２に示されるものに限定されるものではない。本発明が奏する効果を阻害しない範囲で様々なカラーフィルタ配列を採用することが可能である。

又、カラーフィルタは、赤、緑、及び青の他に、更に輝度に最も寄与する色のカラーフィルタを備えていてもよい。例えば、輝度に最も寄与する色とは、白色（透明）等が挙げられる。

［画像処理装置の第１実施形態］
図３は、図１に示す画像処理装置（画像処理部）２８の第１実施形態の内部構成を示す要部ブロック図である。

図３に示された画像処理装置２８は、撮像素子２２から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理部（手段）１００と、デモザイク処理部１００により得られたデモザイク画像データに基づいて、輝度に関する画像データである輝度系画像データを取得する輝度系画像データ取得部（手段）１０５と、輝度系画像データ取得部（手段）１０５により取得された輝度系画像データに対して、点像復元処理を行う点像復元処理実行部（手段）１１０と、被写体を撮影した時の撮影情報に基づいて、点像復元処理の実行に関する制御情報を取得する情報取得部（手段）１１５と、情報取得部１１５により取得した制御情報に基づいて、点像復元処理実行部１１０の処理動作を制御する点像復元処理制御部（手段）１２０と、を備える。

又、画像処理部２８内には、ホワイトバランス補正部、ガンマ補正部等が設けられているが、説明の都合上、図３には図示されていない。

図３に示されたデモザイク処理部１００は、モザイク画像データを取得する。そして、取得されたモザイク画像データに対して、デモザイク処理部１００はデモザイク処理を行う。ここでモザイク画像データは、ＲＡＷデータともいい、撮像素子２２から出力されるデータである。例えば、図２示すカラーフィルタを有する撮像素子２２であれば、図２に示すカラーフィルタに対応する色データの集合体が撮像素子２２から出力される。尚、デモザイク処理部１００は、輝度信号を得るための寄与率が最も高いモザイク画像データ内の色データに基づいて、モザイク画像データを構成する複数の画素信号における相関方向を判別してもよい。さらに、デモザイク処理部１００は、輝度信号を得るための寄与率が最も高いモザイク画像データ内の色データに基づいて、モザイク画像データにおけるエッジ検出処理を行ってもよい。ここで、輝度信号を得るための寄与率が最も高いモザイク画像データ内の色データとは、例えば、Ｇフィルタに対応する画素データのことである。

又、ここでデモザイク処理とは、対象とする画素の周辺の複数画素の画素データを用いて補間処理を行うことで、対象とする画素に、Ｒ、Ｇ、Ｂの信号値を持たせる処理である。

具体的には、単板式のカラー撮像素子のカラーフィルタ配列に伴うＲ、Ｇ、Ｂのモザイク画像から画素毎にＲＧＢ全ての色情報を算出（同時式に変換）する。尚、デモザイク処理は、デモザイキング処理、同時化処理、色合成処理とも言われる。デモザイク処理部１００により、モザイク画像データにデモザイク処理が施されデモザイク画像データが生成される。

図３に示された輝度系画像データ取得部１０５は、デモザイク処理部１００よりデモザイク画像データを取得し、デモザイク画像を元に輝度系画像データを取得する。ここで、輝度系画像データとは、撮像した画像の輝度に関する情報を有する種々のデータを意味する。例えば、輝度系画像データの例として、Ｙ、Ｃｂ、Ｃｒで表される色空間の輝度信号Ｙの値や、Ｙ、Ｐｂ、Ｐｒで表される色空間の輝度信号Ｙの値や、輝度信号を得るための寄与率が最も高いデータが挙げられる。尚、Ｙ、Ｃｂ、Ｃｒで表される色空間の輝度信号Ｙの値は［式１］により、Ｙ、Ｐｂ、Ｐｒで表される色空間の輝度信号Ｙの値は［式２］により概算的に表せる。［式１］及び［式２］によって求められる輝度信号Ｙでは、Ｇ色のデータが、輝度信号を得るための寄与率が最も高いデータということができる。

［式１］Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂ
［式２］Ｙ＝０．２Ｒ＋０．７Ｇ＋０．１Ｂ
輝度系画像データ取得部１０５により取得された輝度系画像データは、点像復元処理実行部１１０へ送られる。

図３に示された点像復元処理実行部１１０は、輝度系画像データに対して点像復元処理を実行する。点像復元処理実行部１１０は、点像復元処理制御部１２０により制御される。

次に、点像復元処理実行部１１０が行う点像復元処理に関して説明する。点像の撮像により取得したボケた画像をｇ（ｘ，ｙ）、元の点像をｆ（ｘ，ｙ）、点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とすると、次式で関係を表すことができる。

［式３］
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
ただし、＊はコンボリューションを示す。

上記での点像の撮像により取得したボケた画像ｇ（ｘ，ｙ）に基づいて［式３］のｈ（ｘ，ｙ）（即ち、点像分布関数（ＰＳＦ））を求める。

次に、上記求めた点像分布関数（ＰＳＦ）の逆関数を求める。この逆関数をＲ（ｘ，ｙ）とすると、次式のように位相変調された画像ｇ（ｘ，ｙ）を、Ｒ（ｘ，ｙ）によりコンボリューション処理することにより、元の画像ｆ（ｘ，ｙ）に対応する復元画像が得られる（点像復元処理）。

［式４］
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を復元フィルタという。復元フィルタは、原画像と復元画像との２乗平均誤差を最小にする最小２乗フィルタ（ウィナーフィルタ）、制限付き逆畳み込みフィルタ、再帰フィルタ、準同形フィルタ等を利用することができる。尚、本発明において復元フィルタは、点像復元処理実行部１１０に単数又は複数格納されている。

点像復元処理実行部１１０は、上述のように生成された復元フィルタにより、輝度系画像データ取得部１０５から送られてくる輝度系画像データに点像復元処理を行う。

すなわち、図４の（Ａ）部に示すように、撮影レンズを透過した点像（光学像）は、大きな点像（ボケた画像）として撮像素子２２に結像されるが、点像復元処理実行部１１０での点像復元処理により、図４の（Ｂ）部に示すように小さな点像（高解像度の画像）に復元される。

図３に示された情報取得部１１５は、撮影情報を取得し、点像復元処理を行うか否かの情報を有する制御情報を生成（取得）し、制御情報を点像復元処理制御部１２０へ送る。尚、制御情報が有する情報は点像復元処理を行うか否かの情報に限定されない。例えば、点像復元処理を弱く行う、色収差による偽信号の発生度合いに応じて点像復元処理の強さを調節して行う等の情報も制御情報に含まれる。

又、撮影情報は、被写体の撮影条件に関する種々の情報である。撮影情報として例えば、撮影に使用されたレンズ情報（レンズの種類、開放絞り値）、被写体を撮影した条件（絞り値、焦点距離、被写体距離等）が挙げられる。

図５では、情報取得部１１５が、撮影情報（Ａ−１、Ａ−２、又はＡ−３）に基づいて制御情報（Ｃ−１又はＣ−２）を生成し、制御情報（Ｃ−１又はＣ−２）を点像復元処理制御部１２０に送信することを説明する図である。撮影情報の具体例として、図５では、レンズＡを使用し且つ絞り値をＦ１．８に設定して撮影した場合（Ａ−１）、レンズＡを使用し且つ絞り値をＦ４に設定して撮影した場合（Ａ−２）、及びレンズＡを使用し且つ絞り値をＦ５．６に設定して撮影した場合を挙げている。

先ず、撮影情報として、レンズＡを使用し且つ絞り値をＦ１．８に設定して撮影した（Ａ−１）という情報を、情報取得部１１５が受け取った場合に関して説明する。レンズＡを使用し且つ絞り値をＦ１．８に設定して撮影した（Ａ−１）という情報を受け取った情報取得部１１５は、情報取得部１１５に格納されている偽信号に関するテーブル情報（Ｂ）と、取得した撮影情報（Ａ−１）とを参照する。つまり、撮影情報はレンズＡを使用し且つ絞り値をＦ１．８に設定して撮影した（Ａ−１）であり、偽信号に関するテーブル情報（Ｂ）には「レンズＡを使用し、絞り値がＦ４以上で撮影された場合偽信号が強調されない」とあるので、情報取得部１１５は、撮影情報（Ａ−１）で撮影された画像において、偽信号が強調されると判断する。そして、情報取得部１１５は、偽信号が強調されるという判断に基づき、点像復元処理を行わないという制御情報（Ｃ−１）を点像復元処理制御部１２０に送る。

次に、撮影情報として、レンズＡを使用し且つ絞り値をＦ４に設定して撮影した（Ａ−２）という情報を、情報取得部１１５が受け取った場合に関して説明する。レンズＡを使用し且つ絞り値をＦ４に設定して撮影した（Ａ−２）という情報を受け取った情報取得部１１５は、情報取得部１１５に格納されている偽信号に関するテーブル情報（Ｂ）と、取得した撮影情報（Ａ−２）とを参照する。つまり、撮影情報はレンズＡを使用し且つ絞り値をＦ４に設定して撮影した（Ａ−２）であり、偽信号に関するテーブル情報（Ｂ）には「レンズＡを使用し、絞り値がＦ４以上で撮影された場合偽信号が強調されない」とあるので、情報取得部１１５は、撮影情報（Ａ−２）で撮影された画像において、偽信号が強調されないと判断する。そして、情報取得部１１５は、偽信号が強調されないとするという判断に基づき、点像復元処理を行うという制御情報（Ｃ−２）を点像復元処理制御部１２０に送る。

次に、撮影情報として、レンズＡを使用し且つ絞り値をＦ５．６に設定して撮影した（Ａ−３）という情報を、情報取得部１１５が受け取った場合に関して説明する。レンズＡを使用し且つ絞り値をＦ５．６に設定して撮影した（Ａ−３）という情報を受け取った情報取得部１１５は、情報取得部１１５に格納されている偽信号に関するテーブル情報（Ｂ）と、取得した撮影情報（Ａ−３）とを参照する。つまり、撮影情報はレンズＡを使用し且つ絞り値をＦ５．６に設定して撮影した（Ａ−３）であり、偽信号に関するテーブル情報（Ｂ）には「レンズＡを使用し、絞り値がＦ４以上で撮影された場合偽信号が強調されない」とあるので、情報取得部１１５は、撮影情報（Ａ−３）で撮影された画像において、偽信号が強調されないと判断する。そして、情報取得部１１５は、偽信号が強調されないという判断に基づき、点像復元処理を行うという制御情報（Ｃ−２）を点像復元処理制御部１２０に送る。

図６では、さらに、情報取得部１１５が、図５とは異なる種類の撮影情報（Ａ−１、Ａ−２、又はＡ−３）に基づいて制御情報（Ｃ−１又はＣ−２）を生成し、制御情報（Ｃ−１又はＣ−２）を点像復元処理制御部１２０に送信することを説明する図である。撮影情報の具体例として、図６では、開放絞り値がＦ１．４のレンズを使用して撮影した場合（Ａ−１）、開放絞り値がＦ２のレンズを使用して撮影した場合（Ａ−２）、及び開放絞り値がＦ２．４のレンズを使用して撮影した場合を挙げている。

先ず、撮影情報として、開放絞り値がＦ１．４のレンズを使用して撮影した（Ａ−１）という情報を、情報取得部１１５が受け取った場合に関して説明する。開放絞り値がＦ１．４のレンズを使用して撮影した（Ａ−１）という情報を受け取った情報取得部１１５は、情報取得部１１５に格納されている偽信号に関するテーブル情報（Ｂ）と、取得した撮影情報（Ａ−１）とを参照する。つまり、撮影情報は開放絞り値がＦ１．４のレンズを使用して撮影した（Ａ−１）であり、偽信号に関するテーブル情報（Ｂ）には、「開放絞り値がＦ１．４のレンズを使用した場合は偽信号が強調されない」とあるので、情報取得部１１５は、撮影情報（Ａ−１）で撮影された画像において、偽信号が強調されないと判断する。そして、情報取得部１１５は、偽信号が強調されないという判断に基づき、点像復元処理を行うという制御情報（Ｃ−２）を点像復元処理制御部１２０に送る。

次に、撮影情報として、開放絞り値がＦ２のレンズを使用して撮影した（Ａ−２）という情報を、情報取得部１１５が受け取った場合に関して説明する。開放絞り値がＦ２のレンズを使用して撮影した（Ａ−２）という情報を受け取った情報取得部１１５は、情報取得部１１５に格納されている偽信号に関するテーブル情報（Ｂ）と、取得した撮影情報（Ａ−２）とを参照する。つまり、撮影情報は開放絞り値がＦ２のレンズを使用して撮影した（Ａ−２）であり、偽信号に関するテーブル情報（Ｂ）には、「開放絞り値がＦ２のレンズを使用した場合は偽信号が強調される」とあるので、情報取得部１１５は、撮影情報（Ａ−２）で撮影された画像において、偽信号が強調されると判断する。そして、情報取得部１１５は、偽信号が強調されるという判断に基づき、点像復元処理を行わないという制御情報（Ｃ−１）を点像復元処理制御部１２０に送る。

次に、撮影情報として、開放絞り値がＦ２．４のレンズを使用して撮影した（Ａ−３）という情報を、情報取得部１１５が受け取った場合に関して説明する。開放絞り値がＦ２．４のレンズを使用して撮影した（Ａ−３）という情報を受け取った情報取得部１１５は、情報取得部１１５に格納されている偽信号に関するテーブル情報（Ｂ）と、取得した撮影情報（Ａ−３）とを参照する。つまり、撮影情報は開放絞り値がＦ２．４のレンズを使用して撮影した（Ａ−３）であり、偽信号に関するテーブル情報（Ｂ）には、「開放絞り値がＦ２．４のレンズを使用した場合は偽信号が強調される」とあるので、情報取得部１１５は、撮影情報（Ａ−２）で撮影された画像において、偽信号が強調されると判断する。そして、情報取得部１１５は、偽信号が強調されるという判断に基づき、点像復元処理を行わないという制御情報（Ｃ−１）を点像復元処理制御部１２０に送る。

図３に示された点像復元処理制御部１２０は、情報取得部１１５より送られてくる制御情報を取得し、制御情報に基づいて点像復元処理実行部１１０を制御する。具体的には、点像復元処理制御部１２０は、取得した制御情報に含まれる点像復元処理を行うか否かの情報を判別し、点像復元処理実行部１１０を制御する。点像復元処理制御部１２０が制御情報を基に点像復元処理を行わないと判別した場合は、点像復元処理制御部１２０は、点像復元処理実行部１１０に輝度系画像データに対して点像復元処理を行うことを禁止する。一方、点像復元処理制御部１２０が制御情報を基に点像復元処理を行うと判別した場合は、点像復元処理制御部１２０は、点像復元処理実行部１１０に輝度系画像データに対して点像復元処理を行わせる。尚、色収差（倍率色収差及び軸上色収差）は、各色により像の倍率が異なり像の大きさが異なること、及び各色の光の波長が異なるためにレンズの焦点距離が異なることに起因して発生する。色収差が発生したと判断する一つの基準は、カラーフィルタ配列のカーネルサイズ（最小配列パターン）よりも大きく各色のデータがズレた場合に色収差が発生したとすることもできる。

ここで、点像復元処理を行うことによって、色収差による偽信号が強調されることを図７、図８、図９、及び図１０を使用して説明を行う。尚、図７、図８、図９、及び図１０では、ベイヤ配列のカラーフィルタを使用した例を示す。

図７では、色収差による偽信号が発生しない場合のデモザイク処理の様子を示す。図７の（Ａ）部は、４画素データ（縦）×４画素データ（横）を寄せ集めたモザイク画像（ＲＡＷデータ）を示す。図７の（Ａ）部で示されたモザイク画像データは、縦にエッジがある画像を表している。すなわち、エッジを挟んで図７の（Ａ）部に向かって左にある４画素データ（縦）×２画素データ（横）は、出力値が０であるＲ、Ｇ、Ｂの画素データの集まりである。一方、エッジを挟んで図７の（Ａ）部に向かって右にある４画素データ（縦）×２画素データ（横）は、出力値が１であるＲ、Ｇ、Ｂの画素データの集まりである。

図７の（Ｂ）部、（Ｃ）部、及び（Ｄ）部は、図７の（Ａ）部のモザイク画像がデモザイク処理され、Ｒ、Ｇ、Ｂの３面の色データが生成されることを示している。図７の（Ａ）部のモザイク画像はエッジを境界線にして画素データの出力値が０と１に分かれているので、デモザイク処理後の図７の（Ｂ）部、（Ｃ）部、及び（Ｄ）部の３面の色データにおいても、エッジを境界線にして画素データの出力値が０と１に分かれている。

一方、図８では、色収差とデモザイク処理を原因とする偽信号が発生している場合のデモザイク処理の様子を示す。図８の（Ａ）部は、本来ならば図７の（Ａ）部と同じデータになるべきであるが、色収差の影響で図７の（Ａ）部と異なるデータとなっている。すなわち、図８の（Ａ）部は、４画素データ（縦）×４画素データ（横）を寄せ集めたモザイク画像（ＲＡＷデータ）を示しているが、図７の（Ａ）部で示したようにエッジを挟んで図８の（Ａ）部に向かって左にある４画素データ（縦）×２画素データ（横）は、図７の（Ａ）部と異なり全てが出力値０ではなく、本来あるエッジに隣接するＧ画素データは色収差の影響により出力値１を示している。

ベイヤ配列では、Ｒ画素やＢ画素に対しＧ画素のサンプリング周波数が高く、Ｒ画素やＢ画素の画素データよりもＧ画素データの方が輝度系信号に対する寄与率が高い。その為、一般的にデモザイク処理では、Ｇ画素データに基づいて画像データにおける相関方向を判別する処理や、判別した相関方向に基づいてエッジを検出し、検出したエッジを考慮した補間処理が行われる。図８の（Ａ）部のモザイク画像には、色収差による色ずれが発生している（Ｇ画素の画素データが1）（図８の符号４０及び符号４２を参照）。図８の（Ａ）部で示されたモザイク画像に対して、デモザイク処理が行われると符号４０及び符号４２で示されたＧ画素の画素データの影響でエッジがあると誤検出され、デモザイク処理後の色データとして、例えば図８の（Ｂ）部、（Ｃ）部、及び（Ｄ）部に示すような偽信号が発生しうる。すなわち、本来、図８の（Ａ）部において理想的にはデモザイク処理によりエッジは図９の（Ｂ）部、（Ｃ）部、及び（Ｄ）部で示すように縦の直線として再現されるべきであるが、色収差とデモザイク処理により生じる偽信号の影響で、図８の（Ｂ）部、（Ｃ）部、及び（Ｄ）部で示すように、Ｒ，Ｇ，Ｂいずれの色データにおいても、本来存在しない凹凸状の段差（出力値の差）がエッジ付近に発生してしまう。尚、図９の（Ａ）部で示されているモザイク画像は、図８の（Ａ）部で示されているモザイク画像と同一のものである。

図１０では、点像復元処理を行うことにより色収差とデモザイク処理による偽信号が強調されてしまう現象を示している。図１０の（Ａ）部、（Ｂ）部、及び（Ｃ）部は、図８の（Ｂ）部、（Ｃ）部、及び（Ｄ）部に対応する３面の色データである。図１０の（Ａ）部、（Ｂ）部、及び（Ｃ）部では、色収差とデモザイク処理よる偽信号の影響で、本来直線的であるエッジが凹凸状となっている。

図１０の（Ｄ）部は、輝度系データの一つの例であるＧの色データ（図１０の（Ｂ）部）に点像復元処理を行った場合を示している。図１０の（Ｄ）部に示すように、Ｇの色データ（図１０の（Ｂ）部）の凹凸状のエッジは、点像復元処理により強調されてしまう。すなわち、図１０の（Ｂ）部に示された出力値１を示す画素データは、点像復元処理により画素データの出力値が３に増幅され（図１０の（Ｄ）部）、図１０の（Ｂ）部に示された出力値０を示す画素データは、点像復元処理を行っても画素データの出力値は０のままである。したがって、点像復元処理が行われた図１０の（Ｄ）部では、色収差による偽信号が強調されている（より大きな段差が発生する）。

このように、デモザイク処理後の輝度系データに対する点像復元処理においては、デモザイク処理にＧ画素データに基づいて画像データにおける相関方向を判別する処理や、判別した相関方向に基づいてエッジを検出し、検出したエッジを考慮した補間処理が含まれるため、光学系において色収差が生じるとデモザイク処理に起因する偽信号が発生しやすくなり、この偽信号を復元処理により強調してしまうという弊害が生じる。この弊害は、Ｒ，Ｇ，Ｂ各色ごとに最適な復元フィルタで、Ｒ，Ｇ，Ｂ各色データごとに復元処理するシステムでは、Ｒ，Ｇ，Ｂ各色データごとに点像復元処理することで色収差も復元できるため、デモザイク処理後の輝度系データに対する点像復元処理に固有のものと考えられる。

図１１では、画像処理装置２８の処理フローを示している。先ず、デモザイク処理部１００にモザイク画像データが入力される（ステップＳ１０）。そして、デモザイク処理部１００により、モザイク画像データに対してデモザイク処理を行い（ステップＳ１５）、デモザイク画像データを生成する（デモザイク処理ステップ）。

その後、デモザイク画像データから輝度系画像データを、輝度系画像データ取得部１０５により取得する（ステップＳ２０）（輝度系画像データ取得ステップ）。そして、輝度系画像データに対して点像復元処理実行部１１０により点像復元処理が行われる（ステップＳ２５）（点像復元処理実行ステップ）。

一方、撮影情報が、情報取得部１１５により取得される（ステップＳ３０）（情報取得ステップ）。そして、制御情報が情報取得部１１５により生成される（ステップＳ３５）。その後、制御情報が点像復元処理制御部１２０により取得される（ステップＳ４０）。そして、点像復元処理制御部１２０により、点像復元処理実行部１１０で行われる点像復元処理（点像復元処理実行ステップ）を制御する（点像復元処理制御ステップ）。

［点像復元処理制御例］
図１２には、点像復元処理制御部１２０が行う点像復元処理実行部１１０の制御の例を示した図である。すなわち、Ａ−１〜Ａ−４は、制御情報として点像復元処理を行うとした場合の、輝度系画像データに対して点像復元処理実行例である。又、Ｂ−１〜Ｂ−４は、制御情報として点像復元処理を行わないとした場合の例である。尚、５０、５２、５４、５６、６８、及び７８は点像復元処理が施された部分を示す。５８、６０、６２、６４、及び６６は点像復元処理が行われない部分を示す。７０、７２、７４、及び７６は、５０、５２、５４、５６、６８、及び７８で実行された点像復元処理よりも弱い点像復元処理が実行された部分（領域）を示す。８０は、点像復元処理の強さを段階的に変化させて実行した場合を示す。８０においては、色の濃さに応じて、強い点像復元処理が施されていることを示す。

＜第１点像復元処理制御例＞
図１２のＡ−１では、情報取得部１１５により点像復元処理を行うという制御情報が点像復元処理制御部１２０へ送付され、点像復元処理制御部１２０は、点像復元処理実行部１１０に輝度系画像データの全面に対して点像復元処理を行わせている様子が示されている。一方、図１２のＢ−１では、情報取得部１１５により点像復元処理を行わないという制御情報が点像復元処理制御部１２０へ送付され、点像復元処理制御部１２０は、点像復元処理実行部１１０に輝度系画像データに対する点像復元処理を禁止している様子が示されている。第１点像復元処理制御例では、点像復元処理制御部１２０は、上述したようにＡ−１とＢ−１とのように、制御情報により点像復元処理実行部１１０の制御を切り換える。

＜第２点像復元処理制御例＞
図１２のＡ−２は、情報取得部１１５により点像復元処理を行うという制御情報が点像復元処理制御部１２０へ送付され、点像復元処理制御部１２０は点像復元処理実行部１１０に輝度系画像データの全面に対して点像復元処理を行わせている様子を示す。一方、図１２のＢ−２は、情報取得部１１５により色収差による偽信号が強調される部分（偽信号強調領域）は、点像復元処理を行わないという制御情報が点像復元処理制御部１２０へ送付される。そして、点像復元処理制御部１２０は、点像復元処理実行部１１０に色収差による偽信号が強調される部分（偽信号強調領域）は点像復元処理を禁止し（図１２Ｂ−２、符号６０、符号６２、符号６４、符号６６を参照）、その他の部分（偽信号強調領域以外の領域）には点像復元処理を行わせている（図１２Ｂ−２符号６８を参照）。第２点像復元処理制御例では、点像復元処理制御部１２０は、上述したようにＡ−２とＢ−２とのように、制御情報により点像復元処理実行部１１０の制御を切り換える。

＜第３点像復元処理制御例＞
図１２のＡ−３は、情報取得部１１５により点像復元処理を行うという制御情報が点像復元処理制御部１２０へ送付され、点像復元処理制御部１２０は点像復元処理実行部１１０に輝度系画像データの全面に対して点像復元処理を行わせている様子を示す。一方、図１２のＢ−３では、情報取得部１１５により色収差による偽信号が強調される部分（偽信号強調領域）は弱い点像復元処理を行うという制御情報が点像復元処理制御部１２０へ送付される。そして、点像復元処理制御部１２０は、点像復元処理実行部１１０に色収差による偽信号が強調される部分（偽信号強調領域）は弱い点像復元処理を行わせて（図１２Ｂ−３、符号７０、符号７２、符号７４、符号７６を参照）、その他の部分（偽信号強調領域以外の領域）には弱い点像復元処理より強い点像復元処理を行わせる（図１２Ｂ−３、符号７８を参照）。第３の点像復元処理制御例では、点像復元処理制御部１２０は、Ａ−３とＢ−３とのように制御情報により点像復元処理実行部１１０の制御を切り換える。

＜第４点像復元処理制御例＞
図１２のＡ−４は、情報取得部１１５により点像復元処理を行うという制御情報が点像復元処理制御部１２０へ送付され、点像復元処理制御部１２０は点像復元処理実行部１１０に輝度系画像データの全面に対して点像復元処理を行わせている様子を示す。一方、図１２のＢ−４では、情報取得部１１５により色収差による偽信号の強調され度合い（偽信号強調度合い）に応じて点像復元処理の強さを変えるという制御情報が点像復元処理制御部１２０へ送付される。そして、点像復元処理制御部１２０は、点像復元処理実行部１１０に色収差による偽信号の強調され度合いに応じて点像復元処理の強さを変えさせている（図１２のＢ−４）。第４の点像復元処理制御例では、点像復元処理制御部１２０は、上述したようにＡ−４とＢ−４とのように制御情報により点像復元処理実行部１１０の制御を切り換える。尚、点像復元処理制御部１２０の制御例は、上述の制御例に限定されるものではなく、色収差による偽信号の発生度合いを考慮して点像復元処理の実行を行うことができる。

尚、上述の点像復元処理制御例において、偽信号強調領域は、画像における像高が高い領域であってもよい。又、上述の点像復元処理制御例において、偽信号強調度合いは、像高の高さに応じて大きくなる場合もある。

上述したように、点像復元処理制御部１２０は点像復元処理実行部１１０が行う点像復元処理の強さを調節制御することができる。ここで点像復元処理の強さを調節するとは、復元フィルタの係数を調整することにより、点像復元処理の強さを調節することができる。

図１３には、ＡからＦの複数の点像分布関数（ＰＳＦ）のイメージ図が示されている。前述したように、これらのＰＳＦに基づいて復元フィルタは生成される。

図１３に示すように、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆの順にＰＳＦの広がりが段々大きくなる。そして、ＡのＰＳＦを使用した復元フィルタによる点像復元処理は、ＡのＰＳＦをよりも広がりが大きいＰＳＦ（例えばＢのＰＳＦ）を使用した復元フィルタによる点像復元処理よりも弱い点像復元処理となる。

例えば、上述の第３点像復元処理制御例（図１２のＡ−３及びＢ−３）の場合において、色収差による偽信号が強調されない場合、又は色収差による偽信号が強調されない部分（図１２のＢ−３、符号７８）に関しては、Ｆに対応する復元フィルタを使用して、点像復元処理実行部１１０は点像復元処理を行う（図１３のＦに示されたＰＳＦが使用したレンズのＰＳＦであった場合）。そして、上述の第３点像復元処理制御例の場合において、色収差による偽信号が強調される部分（偽信号強調領域）に関しては、図１３のＡに示されたＰＳＦに対応する復元フィルタを使用して点像復元処理実行部１１０は弱い点像復元処理を行う。

［画像処理装置の第２実施態様］
図１４には、画像処理装置２８の第２実施態様を示している。図３における画像処理装置２８の第１実施態様と同様の箇所は、同じ符号を付して説明は省略する。画像処理装置２８の第２実施態様と画像処理装置２８の第１実施態様とを比較すると、画像処理装置２８の第２実施態様は、画像分析部１１１が追加されている点、情報取得部１１５は分析情報も取得して制御情報を生成する点に関して相違している。

図１４に示された画像処理装置２８では、画像分析部１１１がデモザイク処理部１００に含まれている。画像分析部１１１は、デモザイク画像処理部がデモザイク処理を行う前のモザイク画像データ、又はデモザイク画像処理を行った後のデモザイク画像データに対して画像分析を行う。尚、図１４に示された画像処理装置２８では、画像分析部１１１はデモザイク処理部１００内に設置され、モザイク画像データ又はデモザイク画像データに対して画像分析を行っているが、これに限定されるものではない。画像分析は、色収差による偽信号の発生や発生度合いを分析することができるのであれば、様々なデータで行うことができる。

ここで画像分析とは、一例として図７から図１０を用いて説明したように、点像復元処理を行うと色収差による偽信号が強調されるモザイク画像データであるか否か、又は点像復元処理を行うと色収差による偽信号が強調されるデモザイク画像データであるか否かを特定することである。例えば、画像分析部１１１は、モザイク画像データ又はデモザイク画像データにおいてコントラストの大きさを求めることにより、点像復元処理を行うと偽信号が強調されるモザイク画像データか否か、又は点像復元処理を行うと偽信号が強調されるデモザイク画像データか否かを分析する。画像分析部１１１は、コントラストの大きい部分を有する画像を色収差による偽信号が強調される画像として特定する。さらに、コントラストの大きいエッジ部分を有する画像も色収差とデモザイク処理による偽信号が強調される画像として特定する。ここで、コントラストの大きい部分とは、コントラスト比で表すことができ、例えば、８ビットで１３０：１から１７０：１、好ましくは１４０：１から１６０：１、さらに好ましくは、１４５：１から１５５：１の範囲のコントラスト比である部分のことである。

画像分析部１１１は、モザイク画像データ、又はデモザイク画像データを分析することにより、色収差とデモザイク処理による偽信号が強調される部分及び／又は色収差による偽信号の発生の有無を特定し、分析情報として情報取得部１１５に送信する。

情報取得部１１５は、分析情報及び撮影情報に基づいて制御情報を生成する。具体的には、取得した撮影情報と偽信号に関するテーブル情報とを参照して、色収差による偽信号が強調されるか否かを特定する。そして、撮影情報によれば色収差による偽信号が強調されないとする場合は、情報取得部１１５は、さらに分析情報を考慮して、点像復元処理を行うと色収差による偽信号が強調されるか否かを判断し、撮影情報及び分析情報から色収差による偽信号が強調されないとされた場合には、点像復元処理を行うという制御情報を生成し送信する（図１２のＡ−１の場合）。

又、撮影情報からは色収差による偽信号は強調されないとされたが、分析情報によれば色収差による偽信号が強調されると判断された場合は、点像復元処理を行わないという制御情報を生成し送信する（図１２のＢ−１の場合）。

一方、撮影情報によれば色収差による偽信号が強調されるとする場合は、情報取得部１１５は、分析情報を考慮せずに、点像復元処理を行わないとする制御情報を生成してもよい。又、撮影情報によれば色収差による偽信号が強調されるとする場合であっても、さらに分析情報を考慮して、色収差による偽信号の発生する領域の情報を制御情報に含ませてもよい。

更に、画像処理装置２８の第２実施態様では、情報取得部１１５は、分析情報を取得することから、より的確に点像復元処理を行う領域（部分）と行わない領域（部分）を分けることもできる。すなわち、色収差による偽信号が強調される場合は、情報取得部１１５は、分析情報によりどの部分で色収差による偽信号が強調されるかを特定し、その部分を考慮した制御情報を生成する。例えば、色収差による偽信号が強調される部分は、点像復元処理を行わず、それ以外の部分には点像復元処理を行う制御や（図１２のＢ−２）、色収差による偽信号が強調される部分は弱い点像復元処理を行い、それ以外の部分には、通常の点像復元処理又は強い点像復元処理を行う制御や（図１２のＢ−３）、色収差による偽信号の強調度合いに応じて点像復元処理の強さを変える制御（図１２のＢ−４）を行うことができる。

図１５は、画像処理装置２８の第２実施形態のフロー図である。図１１に示された画像処理装置２８の第１実施形態のフロー図と同様である箇所は、同じ符号を付し説明は省略する。図１５に示された画像処理装置２８の第２実施形態のフロー図では、図１１に示された画像処理装置２８の第２実施形態のフロー図と比較して、第２実施形態のフロー図は、画像分析部１１１により画像分析を行う点（ステップＳ３１）及び情報取得部１１５は分析情報をも取得する点（ステップＳ３３）で異なる。

図１５で示された画像処理装置２８の第２実施形態では、画像分析部１１１は、モザイク画像データに対して画像分析を行っている（ステップＳ３１）。尚、画像分析部１１１は、デモザイク画像データに対しても画像分析を行ってもよいし、輝度系画像データに対して画像分析を行ってもよい。

そして、画像分析部１１１は、画像分析をし（ステップＳ３１）、画像分析の結果を基に画像分析情報が生成し、画像分析情報を情報取得部１１５に送付する。そして、情報取得部１１５により画像分析情報が取得される（ステップＳ３３）。

［画像処理装置の第３実施態様］
図１６には、画像処理装置２８の第３実施態様を示している。図３における画像処理装置２８の第１実施態様と同様の箇所は、同じ符号を付して説明は省略する。画像処理装置２８の第３実施態様と画像処理装置２８の第１実施態様とを比較すると、第１実施態様では輝度系画像データに点像復元処理を行っていたが、第３実施形態では輝度系画像データの具体例である輝度信号Ｙに対して点像復元処理を行う点で相違する。輝度信号Ｙに対して点像復元処理を行うことにより、的確に点像復元処理を行うことができる。ここで輝度信号Ｙとは、輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒで表される色空間においての輝度信号Ｙである。

［画像処理装置の第４実施態様］
図１７には、画像処理装置２８の第４実施態様を示している。図３における画像処理装置２８の第１実施態様と同様の箇所は、同じ符号を付して説明は省略する。画像処理装置２８の第４実施態様と画像処理装置２８の第１実施態様とを比較すると、第１実施態様では輝度系画像データに点像復元処理を行っていたが、第４実施態様では輝度系画像データの具体例であるＧ色のデータに点像復元処理を行う点で相違する。Ｇ色のデータは、輝度信号Ｙの値を生成する際に最も寄与する値である（式１、式２参照）ので、Ｇ色のデータに対して点像復元処理を行うことにより、より精度の高い点像復元処理を行うことが可能である。

［撮像素子の変形例］
図１８には、撮像素子２２の変形例を示す図である。特に撮像素子２２の受光面上に配置されているカラーフィルタ配列に関して、図２で説明したカラーフィルタ配列の変形例としてのカラーフィルタ配列（「Ｘ−ｔｒａｎｓ」（登録商標））を示す。本発明において、撮像素子２２には様々なカラーフィルタ配列を採用することが可能であり、図１８にはそのうちの一つの変形例を示す。

この撮像素子２２のカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含み、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、従来知られているランダム配列と比較して、撮像素子２２から読み出されるＲＧＢのＲＡＷデータ（モザイク画像データ）の画像処理等を行う際に、繰り返しパターンにしたがって処理を行うことができる。

図１８に示されたカラーフィルタ配列は、輝度信号を得るために最も寄与する色（Ｇの色）に対応するＧフィルタが、基本配列パターン内において、カラーフィルタ配列の水平、垂直、斜め右上（ＮＥ）、及び斜め左上（ＮＷ）方向の各ライン内に１つ以上配置されている。

輝度系画素に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め（ＮＥ、ＮＷ）方向の各ライン内に配置されるため、高周波となる方向によらず高周波領域での同時化処理（デモザイク処理）の再現精度を向上させることができる。

又、図１８に示されたカラーフィルタ配列は、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、基本配列パターン内において、カラーフィルタ配列の水平、及び垂直方向の各ライン内に１つ以上配置されている。

Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、偽色（色モワレ）の発生を低減することができる。

これにより、偽色の発生を低減（抑制）するための光学ローパスフィルタを省略できるようにしている。又、光学ローパスフィルタを適用する場合でも偽色の発生を防止するための高周波数成分をカットする働きの弱いものを適用することができ、解像度を損なわないようにすることができる。

さらに、図１８に示すカラーフィルタ配列の基本配列パターンＰは、その基本配列パターン内におけるＲ、Ｇ、Ｂフィルタに対応するＲ画素、Ｇ画素、Ｂ画素の画素数が、それぞれ８画素、２０画素、８画素になっている。即ち、ＲＧＢ画素の各画素数の比率は、２：５：２になっており、輝度信号を得るために最も寄与するＧ画素の画素数の比率は、他の色のＲ画素、Ｂ画素の画素数の比率よりも大きくなっている。

上記のようにＧ画素の画素数とＲ、Ｂ画素の画素数との比率が異なり、特に輝度信号を得るために最も寄与するＧ画素の画素数の比率を、Ｒ、Ｂ画素の画素数の比率よりも大きくするようにしたため、同時化処理時におけるエリアシングを抑制することができると共に、高周波再現性もよくすることができる。

図１９は、図１８に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。図１９に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられた配列となっていると捉えることもできる。

Ａ配列及びＢ配列は、それぞれＧフィルタが４隅と中央に配置され、両対角線上に配置されている。又、Ａ配列は、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列され、一方、Ｂ配列は、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。

又、Ａ配列とＢ配列の４隅のＧフィルタは、Ａ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタとなる。

本発明の目的は、上述した実施形態で示したフローの手順を実現するプログラムコード（プログラム）を記憶した記憶媒体（非一次的（non-transitory）な記録媒体）から、システムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ（Micro-Processing Unit））が、そのプログラムコードを読出し実行することによっても達成される。また、本発明は、本発明に係る方法を使用するための実行可能なコードを格納するコンピューター・プログラム・プロダクトとして提供することができる。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになる。そのため、このプログラムコード及びプログラムコードを記憶／記録したコンピュータ読み取り可能な記憶媒体も本発明の一つを構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Compact Disc Recordable）、磁気テープ、不揮発性のメモリカード、ＲＯＭ（Read Only Memory）などを用いることができる。

また、前述した実施形態の機能は、コンピュータが、読み出したプログラムを実行することによって実現される。また、このプログラムの実行とは、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ（Operating System）などが、実際の処理の一部または全部を行う場合も含まれる。

さらに、前述した実施形態の機能は、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによっても実現することもできる。この場合、まず、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。こうした機能拡張ボードや機能拡張ユニットによる処理によっても前述した実施形態の機能が実現される。

又、前述した実施形態のフローの各ステップは、ソフトウェア（コンピュータ）を用いて実現するものに限るものではなく、ハードウェア（電子回路）を用いて実現してもよい。

＜ＥＤｏＦシステムへの適用例＞
上述の実施形態における点像復元処理実行部１１０が行う点像復元処理は、特定の撮影条件（例えば、絞り値、焦点距離、レンズ種類、など）に応じて点拡がり（点像ボケ）を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な画像処理は上述の実施形態における点像復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する点像復元処理に対しても、本発明に係る点像復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態で撮影取得されるボケ画像の画像データに対して点像復元処理を行うことで、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の点拡がり関数（ＰＳＦ、ＯＴＦ（optical transfer function）、ＭＴＦ（modulation transfer function, magnitude transfer function）、ＰＴＦ（phase transfer function）、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた点像復元処理が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例においても、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（輝度信号Ｙ）に対して点像復元処理を行う。

図２０は、ＥＤｏＦ光学系を備える撮像モジュール２０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）２０１は、ＥＤｏＦ光学系（レンズユニット）２１０と、撮像素子２１２と、ＡＤ変換部２１４と、点像復元処理ブロック（画像処理部）２２０とを含む。

図２１は、ＥＤｏＦ光学系２１０の一例を示す図である。本例のＥＤｏＦ光学系２１０は、単焦点の固定された撮影レンズ２１０Ａと、瞳位置に配置される光学フィルタ２１１とを有する。光学フィルタ２１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系２１０（撮影レンズ２１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ２１０Ａ及び光学フィルタ２１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

なお、ＥＤｏＦ光学系２１０は必要に応じて他の構成要素を含み、例えば光学フィルタ２１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ２１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ２１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系２１０（撮影レンズ２１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ２１１を設ける代わりに、本例の光学フィルタ２１１と同等の機能を有するようにレンズ設計された撮影レンズ２１０ＡによってＥＤｏＦ光学系２１０のＥＤｏＦ化を実現してもよい。

すなわち、撮像素子２１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系２１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーティング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系２１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ２１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ２１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

図２１に示すＥＤｏＦ光学系２１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系２１０を通過後の光学像は、図２０に示す撮像素子２１２に結像され、ここで電気信号に変換される。

撮像素子２１２は、所定のパターン配列（ベイヤ配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ配列、ハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系２１０を介して撮像素子２１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ・Ｇ・Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

ＡＤ変換部２１４は、撮像素子２１２から画素毎に出力されるアナログのＲ・Ｇ・Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部２１４によりデジタルの画像信号に変換されたデジタル画像信号は、点像復元処理ブロック２２０に加えられる。

点像復元処理ブロック２２０は、例えば、黒レベル調整部２２２と、ホワイトバランスゲイン部２２３と、ガンマ処理部２２４と、デモザイク処理部２２５と、ＲＧＢ／ＹＣｒＣｂ変換部２２６と、輝度信号Ｙ点像復元処理部２２７とを含む。

黒レベル調整部２２２は、ＡＤ変換部２１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号から該平均を減算することで、黒レベル調整が行われる。

ホワイトバランスゲイン部２２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部２２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部２２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部２２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子２１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力されることとなる。

ＲＧＢ／ＹＣｒＣｂ変換部２２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙおよび色差信号Ｃｒ、Ｃｂを出力する。

輝度信号Ｙ点像復元処理部２２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部２２６からの輝度信号Ｙに点像復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ２１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ２１１に対応するものが図示しないメモリ（例えば輝度信号Ｙ点像復元処理部２２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。

次に、点像復元処理ブロック２２０による点像復元処理について説明する。図２２は、図２０に示す点像復元処理ブロック２２０における点像復元処理の一例を示すフローチャートである。

黒レベル調整部２２２の一方の入力には、ＡＤ変換部２１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部２２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部２２３に出力する（ステップＳ１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部２２３、ガンマ処理部２２４による処理が施される（ステップＳ２およびＳ３）。

ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部２２５でデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部２２６において輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂに変換される（ステップＳ４）。

輝度信号Ｙ点像復元処理部２２７は、輝度信号Ｙに、ＥＤｏＦ光学系２１０の光学フィルタ２１１の位相変調分のデコンボリューション処理を掛ける点像復元処理を行う（ステップＳ５）。すなわち、輝度信号Ｙ点像復元処理部２２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。輝度信号Ｙ点像復元処理部２２７は、この所定単位の画素群ごとのデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く点像復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに点像復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。

上述したように、Ｅｄｏｆシステムへの応用例でも同様に、図４の（ａ）部に示すように、ＥＤｏＦ光学系２１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子２１２に結像されるが、輝度信号Ｙ点像復元処理部２２７でのデコンボリューション処理により、図４の（ｂ）部に示すように小さな点像（高解像度の画像）に復元される。

上述のようにデモザイク処理後の輝度信号に点像復元処理をかけることで、点像復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、点像復元処理を高速化することができる。また、飛び飛びの位置にあるＲ・Ｇ・Ｂの画素に対応するＲ・Ｇ・Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、点像復元処理の精度が向上する。なお、色差信号Ｃｒ・Ｃｂについては、人の目による視覚の特性上、点像復元処理で解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式で画像を記録する場合、色差信号は輝度信号よりも高い圧縮率で圧縮されるので、点像復元処理で解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化および高速化を両立できる。

以上説明したようなＥＤｏＦシステムの点像復元処理に対しても、本発明の各実施形態に係る点像復元処理を適用することが可能である。

本発明の撮像装置（本発明の画像処理装置２８を含む撮像装置）の実施形態として、図１ではデジタルカメラについて説明してきたが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型又は外付け型のＰＣ用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、スマートフォン（多機能携帯電話）を例に挙げ、図面を参照しつつ、詳細に説明する。

図２３は、本発明の撮影装置の一実施形態であるスマートフォン３０１の外観を示すものである。図２３に示すスマートフォン３０１は、平板状の筐体３０２を有し、筐体３０２の一方の面に表示部としての表示パネル３２１と、入力部としての操作パネル３２２とが一体となった表示入力部３２０を備えている。又、係る筐体３０２は、スピーカ３３１と、マイクロホン３３２、操作部３４０と、カメラ部３４１とを備えている。尚、筐体３０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２４は、図２３に示すスマートフォン３０１の構成を示すブロック図である。図２４に示すように、スマートフォンの主たる構成要素として、無線通信部３１０と、表示入力部３２０と、通話部３３０と、操作部３４０と、カメラ部３４１と、記憶部３５０と、外部入出力部３６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部３７０と、モーションセンサ部３８０と、電源部３９０と、主制御部４００とを備える。又、スマートフォン３０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。尚、上記で説明した画像処理部２８は主に、主制御部４００に属する形態が考えられるが、これに限定されるものではない。

無線通信部３１０は、主制御部４００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部３２０は、主制御部４００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル３２１と、操作パネル３２２とを備える。

表示パネル３２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル３２２は、表示パネル３２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部４００に出力する。次いで、主制御部４００は、受信した検出信号に基づいて、表示パネル３２１上の操作位置（座標）を検出する。

図２３に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン３０１の表示パネル３２１と操作パネル３２２とは一体となって表示入力部３２０を構成しているが、操作パネル３２２が表示パネル３２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル３２２は、表示パネル３２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル３２２は、表示パネル３２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル３２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル３２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。又、操作パネル３２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体３０２の大きさなどに応じて適宜設計されるものである。更に又、操作パネル３２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部３３０は、スピーカ３３１やマイクロホン３３２を備え、マイクロホン３３２を通じて入力されたユーザの音声を主制御部４００にて処理可能な音声データに変換して主制御部４００に出力したり、無線通信部３１０あるいは外部入出力部３６０により受信された音声データを復号してスピーカ３３１から出力するものである。又、図２３に示すように、例えば、スピーカ３３１を表示入力部３２０が設けられた面と同じ面に搭載し、マイクロホン３３２を筐体３０２の側面に搭載することができる。

操作部３４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２３に示すように、操作部３４０は、スマートフォン３０１の筐体３０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部３５０は、主制御部４００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、又ストリーミングデータなどを一時的に記憶するものである。又、記憶部３５０は、スマートフォン内蔵の内部記憶部３５１と着脱自在な外部メモリスロットを有する外部記憶部３５２により構成される。尚、記憶部３５０を構成するそれぞれの内部記憶部３５１と外部記憶部３５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部３６０は、スマートフォン３０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン３０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン３０１の内部の各構成要素に伝達することや、スマートフォン３０１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部３７０は、主制御部４００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン３０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部３７０は、無線通信部３１０や外部入出力部３６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部３８０は、例えば、３軸の加速度センサなどを備え、主制御部４００の指示にしたがって、スマートフォン３０１の物理的な動きを検出する。スマートフォン３０１の物理的な動きを検出することにより、スマートフォン３０１の動く方向や加速度が検出される。係る検出結果は、主制御部４００に出力されるものである。

電源部３９０は、主制御部４００の指示にしたがって、スマートフォン３０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部４００は、マイクロプロセッサを備え、記憶部３５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン３０１の各部を統括して制御するものである。又、主制御部４００は、無線通信部３１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部３５０が記憶するアプリケーションソフトウェアにしたがって主制御部４００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部３６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

又、主制御部４００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部３２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部４００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部３２０に表示する機能のことをいう。

更に、主制御部４００は、表示パネル３２１に対する表示制御と、操作部３４０、操作パネル３２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部４００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル３２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

又、操作検出制御の実行により、主制御部４００は、操作部３４０を通じたユーザ操作を検出したり、操作パネル３２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部４００は、操作パネル３２２に対する操作位置が、表示パネル３２１に重なる重畳部分（表示領域）か、それ以外の表示パネル３２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル３２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

又、主制御部４００は、操作パネル３２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部３４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。又、カメラ部３４１は、主制御部４００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部３５０に記録したり、外部入出力部３６０や無線通信部３１０を通じて出力することができる。図２３に示すにスマートフォン３０１において、カメラ部３４１は表示入力部３２０と同じ面に搭載されているが、カメラ部３４１の搭載位置はこれに限らず、表示入力部３２０の背面に搭載されてもよいし、あるいは、複数のカメラ部３４１が搭載されてもよい。尚、複数のカメラ部３４１が搭載されている場合には、撮影に供するカメラ部３４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部３４１を同時に使用して撮影することもできる。

又、カメラ部３４１はスマートフォン３０１の各種機能に利用することができる。例えば、表示パネル３２１にカメラ部３４１で取得した画像を表示することや、操作パネル３２２の操作入力のひとつとして、カメラ部３４１の画像を利用することができる。又、ＧＰＳ受信部３７０が位置を検出する際に、カメラ部３４１からの画像を参照して位置を検出することもできる。更には、カメラ部３４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン３０１のカメラ部３４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部３４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部３７０により取得した位置情報、マイクロホン３３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部３８０により取得した姿勢情報等などを付加して記憶部３５０に記録したり、外部入出力部３６０や無線通信部３１０を通じて出力することもできる。

又、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、２２…撮像素子、２８…画像処理部、１００…デモザイク処理部、１０５…輝度系画像データ取得部、１１０…点像復元処理実行部、１１１…画像分析部、１１５…情報取得部、１２０…点像復元処理制御部、２０１…撮像モジュール、２１０…ＥＤｏＦ光学系、２２０…点像復元処理ブロック、３０１…スマートフォン

Claims (19)

1. 撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理手段と、
   前記デモザイク処理手段により得られた前記デモザイク画像データに基づいて、輝度に関する画像データである輝度系画像データを取得する輝度系画像データ取得手段と、
   前記輝度系画像データ取得手段により取得された前記輝度系画像データに対して、点像復元処理を行う点像復元処理実行手段と、
   被写体の撮影条件に関する撮影情報に基づいて、前記点像復元処理の実行に関する制御情報を取得する情報取得手段と、
   前記情報取得手段により取得した前記制御情報に基づいて、前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号が強調されるか否かを判別し、当該判別結果に基づいて前記点像復元処理実行手段の処理動作を制御する点像復元処理制御手段と、
   を備える画像処理装置。
2. 撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理手段と、
   前記デモザイク処理手段により得られた前記デモザイク画像データに基づいて、輝度に関する画像データである輝度系画像データを取得する輝度系画像データ取得手段と、
   前記輝度系画像データ取得手段により取得された前記輝度系画像データに対して、点像復元処理を行う点像復元処理実行手段と、
   被写体の撮影条件に関する撮影情報に基づいて、前記点像復元処理の実行に関する制御情報を取得する情報取得手段と、
   前記情報取得手段により取得した前記制御情報に基づいて、前記点像復元処理実行手段の処理動作を制御する点像復元処理制御手段と、
   前記モザイク画像データ又は前記デモザイク画像データに基づいて、前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号が強調される前記モザイク画像データか否か、又は前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号とが強調される前記デモザイク画像データか否かを分析する画像分析手段と、を備え、
   前記情報取得手段は、前記撮影情報及び前記画像分析手段により得られる分析情報に基づいて、前記制御情報を取得する画像処理装置。
3. 前記撮影情報は、撮影に使用されたレンズ情報、撮影時の絞り値、撮影時の焦点距離、及び撮影時の被写体距離のうち少なくとも一つを含む請求項１又は２に記載の画像処理装置。
4. 前記画像分析手段は、前記モザイク画像データ又は前記デモザイク画像データに基づいてコントラストの大きさを求めることにより、前記点像復元処理を行うと偽信号が強調される前記モザイク画像データか否か、又は前記点像復元処理を行うと偽信号が強調される前記デモザイク画像データか否かを分析する請求項２に記載の画像処理装置。
5. 前記点像復元処理制御手段は、前記制御情報により、前記点像復元処理を行うと前記偽信号が強調されるか否かを判別し、
   前記点像復元処理制御手段は、前記偽信号が強調されないと判別した場合には、前記輝度系画像データに対して前記点像復元処理実行手段により前記点像復元処理を行わせ、
   前記点像復元処理制御手段は、前記偽信号が強調されると判別した場合には、前記輝度系画像データに対して前記点像復元処理実行手段による前記点像復元処理を禁止する請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記点像復元処理制御手段は、前記制御情報により、前記点像復元処理を行うと前記偽信号が強調されるか否かを判別し、
   前記点像復元処理制御手段は、前記偽信号が強調されないと判別した場合には、前記輝度系画像データに対して前記点像復元処理実行手段により前記点像復元処理を行わせ、
   前記点像復元処理制御手段は、前記偽信号が強調されると判別した場合には、前記偽信号が強調される領域である偽信号強調領域を特定し、前記点像復元処理実行手段により前記偽信号強調領域に対する前記点像復元処理を禁止し、前記偽信号強調領域以外の領域には前記点像復元処理を行わす請求項１から４のいずれか１項に記載の画像処理装置。
7. 前記点像復元処理制御手段は、前記制御情報により、前記点像復元処理を行うと前記偽信号が強調されるか否かを判別し、
   前記点像復元処理制御手段は、前記偽信号が強調されないと判別した場合には、前記輝度系画像データに対して前記点像復元処理実行手段により前記点像復元処理を行わせ、
   前記点像復元処理制御手段は、前記偽信号は強調されると判別した場合には、前記偽信号が強調される領域である偽信号強調領域を特定し、前記偽信号強調領域以外の領域には前記点像復元処理実行手段により前記点像復元処理を行わせ、前記偽信号強調領域には前記点像復元処理実行手段により前記点像復元処理に代えて前記点像復元処理よりも効果の弱い点像復元処理を行わせる請求項１から４のいずれか１項に記載の画像処理装置。
8. 前記点像復元処理制御手段は、前記制御情報により、前記点像復元処理を行うと前記偽信号が強調されるか否かを判別し、
   前記点像復元処理制御手段が、前記偽信号は強調されないと判別した場合には、前記輝度系画像データに対して、前記点像復元処理実行手段により前記点像復元処理を行わせ、
   前記点像復元処理制御手段が、前記偽信号は強調されると判別した場合には、前記偽信号の強調され度合いである偽信号強調度合いを特定し、前記点像復元処理実行手段により、前記偽信号強調度合いに応じて前記点像復元処理の強さを変えて前記点像復元処理を行わせる請求項１から４のいずれか１項に記載の画像処理装置。
9. 前記点像復元処理制御手段により特定される前記偽信号強調領域は、像高が高い領域である請求項６又は７に記載の画像処理装置。
10. 前記点像復元処理制御手段により特定される前記偽信号強調度合いは、像高の高さに応じて大きくなる請求項８に記載の画像処理装置。
11. 前記輝度系画像データは、輝度信号を得るための寄与率が最も高い前記デモザイク画像データ内の色データ、又は前記デモザイク画像データに基づいて得られる輝度信号である請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記輝度系画像データは、輝度信号Ｙおよび色差信号Ｃｂ、Ｃｒで表される色空間においての輝度信号Ｙの値である請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記デモザイク処理手段は、輝度信号を得るための寄与率が最も高い前記モザイク画像データ内の色データに基づいて、前記モザイク画像データを構成する複数の画素信号における相関方向を判別する処理を含む請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記デモザイク処理手段は、輝度信号を得るための寄与率が最も高い前記モザイク画像データ内の色データに基づいて、前記モザイク画像データにおけるエッジ検出処理を含む請求項１から１３のいずれか１項に記載の画像処理装置。
15. 請求項１から１４のいずれか１項に記載の画像処理装置を含む撮像装置。
16. 撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理ステップと、
    前記デモザイク処理ステップにより生成された前記デモザイク画像データに基づいて、輝度に関する輝度系画像データを取得する輝度系画像データ取得ステップと、
    前記輝度系画像データ取得ステップにより取得された前記輝度系画像データに対して、点像復元処理を行う点像復元処理実行ステップと、
    被写体の撮影条件に関する撮影情報に基づいて、前記点像復元処理の実行に関する制御情報を取得する情報取得ステップと、
    前記情報取得ステップにより得られる前記制御情報に基づいて、前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号が強調されるか否かを判別し、当該判別結果に基づいて前記点像復元処理実行ステップの処理動作を制御する点像復元処理制御ステップと、
    を含む画像処理方法。
17. 撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理ステップと、
    前記デモザイク処理ステップにより生成された前記デモザイク画像データに基づいて、輝度に関する輝度系画像データを取得する輝度系画像データ取得ステップと、
    前記輝度系画像データ取得ステップにより取得された前記輝度系画像データに対して、点像復元処理を行う点像復元処理実行ステップと、
    被写体の撮影条件に関する撮影情報に基づいて、前記点像復元処理の実行に関する制御情報を取得する情報取得ステップと、
    前記情報取得ステップにより得られる前記制御情報に基づいて、前記点像復元処理実行ステップの処理動作を制御する点像復元処理制御ステップと、
    前記モザイク画像データ又は前記デモザイク画像データに基づいて、前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号が強調される前記モザイク画像データか否か、又は前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号とが強調される前記デモザイク画像データか否かを分析して分析情報を得る画像分析ステップと、を含み、
    前記情報取得ステップでは、前記撮影情報及び前記分析情報に基づいて、前記制御情報を取得する画像処理方法。
18. 撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理ステップと、
    前記デモザイク処理ステップにより生成された前記デモザイク画像データに基づいて、輝度に関する輝度系画像データを取得する輝度系画像データ取得ステップと、
    前記輝度系画像データ取得ステップにより取得された前記輝度系画像データに対して、点像復元処理を行う点像復元処理実行ステップと、
    被写体の撮影条件に関する撮影情報に基づいて、前記点像復元処理の実行に関する制御情報を取得する情報取得ステップと、
    前記情報取得ステップにより得られる前記制御情報に基づいて、前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号が強調されるか否かを判別し、当該判別結果に基づいて前記点像復元処理実行ステップの処理動作を制御する点像復元処理制御ステップと、
    をコンピュータに実行させる為のプログラム。
19. 撮像素子から出力されたモザイク画像データに対して、デモザイク処理を行い、デモザイク画像データを生成するデモザイク処理ステップと、
    前記デモザイク処理ステップにより生成された前記デモザイク画像データに基づいて、輝度に関する輝度系画像データを取得する輝度系画像データ取得ステップと、
    前記輝度系画像データ取得ステップにより取得された前記輝度系画像データに対して、点像復元処理を行う点像復元処理実行ステップと、
    被写体の撮影条件に関する撮影情報に基づいて、前記点像復元処理の実行に関する制御情報を取得する情報取得ステップと、
    前記情報取得ステップにより得られる前記制御情報に基づいて、前記点像復元処理実行ステップの処理動作を制御する点像復元処理制御ステップと、
    前記モザイク画像データ又は前記デモザイク画像データに基づいて、前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号が強調される前記モザイク画像データか否か、又は前記点像復元処理を行うと色収差と前記デモザイク処理による偽信号とが強調される前記デモザイク画像データか否かを分析して分析情報を得る画像分析ステップと、をコンピュータに実行させる為のプログラムであって
    前記情報取得ステップでは、前記撮影情報及び前記分析情報に基づいて、前記制御情報を取得するプログラム。