JP6096382B2 - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents

Description

本発明は画像処理装置、撮像装置、画像処理方法及びプログラムに係り、特に鮮鋭化処理に関する。

デジタルカメラ等の撮像装置によって撮影取得された画像データの画質を改善するために、鮮鋭化処理が一般的に行われている。鮮鋭化処理は、画像データに鮮鋭化フィルタを適用することにより画像のボケ等を解消する処理であり、例えば輪郭強調処理や点像復元処理等が知られている。

例えば特許文献１に開示の画像処理装置では、光学伝達関数に基づく回復フィルタを用いた画像回復処理が行われる。

また特許文献２及び特許文献３に開示の撮像システムでは、カーネルウィーナーフィルタを用いた復元処理が行われる。

特開２０１２−１５６７１５号公報 特開２００９−１２４５６７号公報 特開２００９−１２４５６９号公報

鮮鋭化処理の対象となっている画像データに適用する鮮鋭化フィルタは、撮影条件や光学系の光学特性に応じて定められることが好ましい。実際の撮影条件とは異なる撮影条件に対応する鮮鋭化フィルタや、撮影に使用した光学系の光学特性とは異なる光学特性に対応する鮮鋭化フィルタを用いて鮮鋭化処理を行うと、十分な鮮鋭化効果が得られないだけではなく、却って画質を悪化させることがある。

そのため鮮鋭化処理を行う場合には、撮影条件や光学系の光学特性を正確に把握して適切なフィルタの選定を行うことが好ましい。特に、光学伝達関数（点拡がり関数等）に基づいて鮮鋭化フィルタを作成する場合には、撮影に使用した光学系の光学特性や他の撮影条件（絞り値（Ｆ値）、焦点距離等）に応じた適切な光学伝達関数を特定することが求められる。

例えば特許文献１の画像処理装置では、複数の画像を解析することにより光学伝達特性が取得されたり、２次元のデータを持つ回復フィルタそのものが光学伝達特性として利用されたりする。また特許文献２及び特許文献３の撮像システムでは、画像データを解析してボケ点像状態データが取得され、このボケ点像状態データに基づいてボケ状態に応じた復元係数が求められる。

これらの特許文献１〜３に記載の装置及びシステムでは、画像回復処理及び画像復元処理（鮮鋭化処理）に必要な情報が適切に取得される場合には処理を適切に行うことができるが、処理に必要な情報が取得できない場合には処理を遂行することができない。

実際の鮮鋭化処理では、光学系の光学特性や他の撮影条件を取得することができない場合がある。例えば光学伝達関数に基づく鮮鋭化処理をデジタルカメラにおいて行う場合、通常は、レンズユニットやカメラ本体に保存されている光学伝達関数や鮮鋭化フィルタが利用される。しかし、レンズユニット及びカメラ本体のいずれにも実際に使用したレンズユニット（光学系）の光学伝達関数や鮮鋭化フィルタが保存されていない場合がある。

また絞り値や焦点距離等の撮影条件をレンズユニットとの通信によってカメラ本体が取得するケースでは、撮影に使用したレンズユニットがカメラ本体に対応しておらずカメラ本体との通信機能を持たない場合がある。この場合、カメラ本体はレンズユニットから撮影条件を取得することができない。また、撮影に使用したレンズユニットがカメラ本体との通信機能を持つ場合であっても、使用環境（衝撃、温度等）によって通信不良が生じ、カメラ本体がレンズユニットから撮影条件を取得することができないケースもある。

上述のように様々な要因によって光学系の光学伝達関数や撮影条件を取得することができない場合がある一方で、そのような条件下であっても鮮鋭化処理を可能な限り適切に実施したいとの要望がある。

本発明は上述の事情に鑑みてなされたものであり、光学系の光学伝達関数や撮影条件を取得することができない場合であっても、使用可能な鮮鋭化フィルタを取得することを可能にする技術を提供することを目的とする。

本発明の一態様は、第１の光学系を用いた被写体像の撮影により取得される第１の画像データ及び第２の光学系を用いた被写体像の撮影により取得される第２の画像データの各々の周波数領域におけるデータを取得する周波数解析部と、第１の画像データの周波数領域におけるデータと第２の画像データの周波数領域におけるデータとを比較して、第２の光学系の光学特性に関する周波数特性データを取得する光学特性取得部と、第２の光学系の光学特性に関する周波数特性データに基づいて、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から、第２の光学系に関連付ける鮮鋭化フィルタを取得するフィルタ取得部と、を備える画像処理装置に関する。

本態様によれば、第２の光学系を用いた被写体像の撮影により取得される第２の画像データの鮮鋭化処理において光学伝達関数や撮影条件を取得することができなくても、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から「第２の光学系に関連付ける鮮鋭化フィルタ」を取得することができる。

望ましくは、フィルタ取得部は、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から取得される鮮鋭化フィルタであって、第２の光学系の光学特性に関する周波数特性データと周波数特性が最も近い鮮鋭化フィルタを、第２の光学系に関連付ける鮮鋭化フィルタとして取得する。

本態様によれば、鮮鋭化精度の高い鮮鋭化フィルタを第２の光学系に関連付ける鮮鋭化フィルタとして取得することができる。

望ましくは、光学特性取得部は、第２の光学系の光学特性に関する周波数特性データを、第１の画像データの周波数領域におけるデータと第２の画像データの周波数領域におけるデータとの比に基づいて取得する。

本態様によれば、第１の画像データの周波数領域におけるデータと第２の画像データの周波数領域におけるデータとの比に基づいて、鮮鋭化精度の高い鮮鋭化フィルタを第２の光学系に関連付ける鮮鋭化フィルタとして取得することができる。

望ましくは、第１の画像データは、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から撮影条件に応じて取得される鮮鋭化フィルタを使用した鮮鋭化処理を受けておらず、光学特性取得部は、第１の画像データの周波数領域におけるデータをａによって表し、第２の画像データの周波数領域におけるデータをｂによって表し、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から第１の画像データの撮影条件に応じて取得される鮮鋭化フィルタを適用する前の第１の画像データに対する鮮鋭化フィルタを適用した後の第１の画像データの周波数毎の比率を表すレスポンスをｃによって表すと、ａ／ｂ×ｃによって表される第２の光学系の光学特性に関する周波数特性データを取得する。

本態様によれば、第１の画像データに対する鮮鋭化処理を考慮して、第２の光学系に関連付ける鮮鋭化フィルタを取得することができる。

望ましくは、第１の光学系に関連付けられた複数の鮮鋭化フィルタの各々の周波数毎のレスポンスを鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率により表した場合、データフィルタ取得部は、横軸の基準を空間周波数とし、縦軸の基準をレスポンスとした座標系において、光学特性取得部によって取得される第２の光学系の光学特性に関する周波数特性データと鮮鋭化フィルタのレスポンスとの間によって囲まれる面積に基づいて、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から第２の光学系に関連付ける鮮鋭化フィルタを取得する。

本態様によれば、上記の座標系において「第２の光学系の光学特性に関する周波数特性データ」と「鮮鋭化フィルタのレスポンス」とによって囲まれる面積に基づいて、鮮鋭化精度の高い鮮鋭化フィルタを第２の光学系に関連付ける鮮鋭化フィルタとして取得することができる。

望ましくは、フィルタ取得部は、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から選ばれる鮮鋭化フィルタであって、座標系において、光学特性取得部によって取得される第２の光学系の光学特性に関する周波数特性データと鮮鋭化フィルタのレスポンスとの間によって囲まれる面積が最も小さい鮮鋭化フィルタを、第２の光学系に関連付ける鮮鋭化フィルタとして取得する。

本態様によれば、上記の面積が最も小さい鮮鋭化フィルタが第２の光学系に関連付ける鮮鋭化フィルタとして取得されるため、鮮鋭化精度の高い鮮鋭化フィルタを第２の光学系に関連付ける鮮鋭化フィルタとして取得することができる。

望ましくは、第１の画像データと第２の画像データとは、同一の被写体像を撮影することにより取得される。

本態様によれば、第１の画像データと第２の画像データとは相互に近似した画像特性を有するため、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から、第２の光学系に関連付ける鮮鋭化フィルタを精度良く取得することができる。

望ましくは、画像処理装置は、フィルタ取得部が取得した鮮鋭化フィルタを第２の画像データに適用するフィルタ処理部を更に備える。

本態様によれば、第２の画像に対して良好な鮮鋭化処理を施すことができる。

望ましくは、第２の光学系の光学特性は、第２の光学系の光学伝達関数である。

本態様によれば、第２の光学系の光学伝達関数に基づいて、第２の光学系に関連付ける鮮鋭化フィルタを取得することができる。なお光学伝達関数（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＯＴＦ）には、点拡がり関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ
Ｆｕｎｃｔｉｏｎ：ＰＳＦ）、変調伝達関数（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＭＴＦ）及び位相伝達関数（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ：ＰＴＦ）が含まれる。

望ましくは、画像処理装置は、第２の光学系を用いた被写体像の撮影により取得される複数の第２の画像データの評価データを取得し、評価データに基づいて、複数の第２の画像データの中から、周波数解析部において周波数領域におけるデータが取得される第２の画像データを取得する画像データ取得部を更に備える。

本態様によれば、評価データに基づいて、鮮鋭化精度の高い鮮鋭化フィルタを第２の光学系に関連付ける鮮鋭化フィルタとして取得することができる。

望ましくは、複数の第２の画像データは、異なる条件下において取得される。

本態様によれば、異なる条件下において取得される複数の第２の画像データの中から、評価データに基づいて、適切な第２の画像データを取得することができる。

望ましくは、複数の第２の画像データは、相互に露出条件が異なる。

本態様によれば、露出条件の異なる複数の第２の画像データの中から、評価データに基づいて、適切な第２の画像データを取得することができる。

望ましくは、画像データ取得部は、複数の第２の画像データの特定の周波数の範囲の成分量に基づいて、複数の第２の画像データの中から、周波数解析部において周波数領域におけるデータが取得される第２の画像データを取得する。

本態様によれば、特定の周波数の範囲の成分量に基づいて、複数の第２の画像データの中から適切な第２の画像データを取得することができる。

望ましくは、画像データ取得部は、複数の第２の画像データの中から、特定の周波数の範囲の成分量が最も大きい第２の画像データを、周波数解析部において周波数領域におけるデータが取得される第２の画像データとして取得する。

本態様によれば、特定の周波数の範囲の成分量が最も大きい第２の画像データを、適切な第２の画像データとして取得することができる。

望ましくは、特定の周波数の範囲は、複数の第２の画像データの各々のサンプリング周波数の１／８以上であって１／４以下の範囲に含まれる。

望ましくは、鮮鋭化フィルタは、第１の光学系の光学伝達関数に基づくフィルタである。

本態様によれば、光学伝達関数に基づく鮮鋭化フィルタを、第２の光学系に関連付ける鮮鋭化フィルタとして取得することができる。

望ましくは、鮮鋭化フィルタは、第１の光学系の光学伝達関数に基づかないフィルタである。

本態様によれば、光学伝達関数に基づかない鮮鋭化フィルタを、第２の光学系に関連付ける鮮鋭化フィルタとして取得することができる。

望ましくは、フィルタ取得部は、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から、複数の像高に関連付けられた複数の鮮鋭化フィルタを、第２の光学系に関連付ける鮮鋭化フィルタとして取得する。

本態様によれば、像高に応じた高い精度の鮮鋭化フィルタを、第２の光学系に関連付ける鮮鋭化フィルタとして取得することができる。

本発明の他の態様は、光学系を通過した被写体像を受光して撮影画像データを生成する撮像素子と、上記の画像処理装置と、を備える撮像装置に関する。

本態様によれば、撮像装置において、第２の光学系を用いた被写体像の撮影により取得される第２の画像データの鮮鋭化処理において光学伝達関数や撮影条件を取得することができなくても、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から「第２の光学系に関連付ける鮮鋭化フィルタ」を取得することができる。

望ましくは、撮像装置は、第１の画像データの周波数領域におけるデータを記憶する記憶部を更に備え、周波数解析部は、記憶部から第１の画像データの周波数領域におけるデータを取得し、第２の光学系及び撮像素子を用いた被写体像の撮影により第２の画像データの周波数領域におけるデータを取得する。

本態様によれば、第１の画像データの周波数領域におけるデータは記憶部から取得され、第２の画像データの周波数領域におけるデータは被写体像の撮影により取得される。

望ましくは、撮像装置は、表示部と、表示部を制御する表示制御部と、第２の光学系と、を更に備え、表示制御部は、ユーザに第１の被写体像の撮影を促すためのガイド部を表示部に表示させて、第２の画像データは、ガイド部に促されて撮影が行われて生成された撮影画像データである。

本態様によれば、ユーザはガイド部に促されて第２の画像データを簡便に取得することができる。「ガイド部に促されて撮影が行われて生成された撮影画像データ」は、ユーザがガイド部の表示に基づいて撮影を行うことにより生成される撮影画像データであればよい。したがって、例えば表示部にガイド部が表示された状態において撮影が行われて生成される撮影画像データを「ガイド部に促されて撮影が行われて生成された撮影画像データ」としうる。

望ましくは、撮像装置は、ガイド部に促されて撮影が行われて生成された撮影画像データが第１の基準を満たすか否かを判定する画像判定部を更に備え、第２の画像データは、第１の基準を満たす撮影画像データである。

本態様によれば、第１の基準を満たす第２の画像データを取得することができる。

望ましくは、表示制御部は、ガイド部に促されて撮影が行われて生成された撮影画像データが第１の基準を満たさない場合には、再度、ユーザに第１の被写体像の撮影を促すためのガイド部を表示部に表示させる。

本態様によれば、第１の基準を満たす第２の画像データを簡便に取得することができる。

本発明の他の態様は、第１の光学系を用いた被写体像の撮影により取得される第１の画像データ及び第２の光学系を用いた被写体像の撮影により取得される第２の画像データの各々の周波数領域におけるデータを取得し、第１の画像データの周波数領域におけるデータと第２の画像データの周波数領域におけるデータとを比較して、第２の光学系の光学特性に関する周波数特性データを取得し、第２の光学系の光学特性に関する周波数特性データに基づいて、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から、第２の光学系に関連付ける鮮鋭化フィルタを取得する画像処理方法に関する。

本発明の他の態様は、第１の光学系を用いた被写体像の撮影により取得される第１の画像データ及び第２の光学系を用いた被写体像の撮影により取得される第２の画像データの各々の周波数領域におけるデータを取得する手順と、第１の画像データの周波数領域におけるデータと第２の画像データの周波数領域におけるデータとを比較して、第２の光学系の光学特性に関する周波数特性データを取得する手順と、第２の光学系の光学特性に関する周波数特性データに基づいて、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から、第２の光学系に関連付ける鮮鋭化フィルタを取得する手順と、をコンピュータに実行させるためのプログラムに関する。

本発明によれば、第２の光学系を用いた被写体像の撮影により取得される第２の画像データの鮮鋭化処理において光学伝達関数や撮影条件を取得することができなくても、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から「第２の光学系に関連付ける鮮鋭化フィルタ」を精度良く取得することができる。

コンピュータに接続されるデジタルカメラの概略を示すブロック図である。 本体コントローラの機能構成の概略を示すブロック図である。 第１実施形態に係る画像処理部の機能構成例を示すブロック図である。 周波数解析部における処理例を説明するための概念図である。 光学特性取得部における処理例を説明するための概念図である。 フィルタ取得部における処理例を説明するための概念図である。 「第２の光学系の光学特性に関する周波数特性データ」と第１の光学系に関連付けられた「鮮鋭化フィルタ」との関係例を説明するための座標系を示す。 第１実施形態に係る画像処理部の処理の一例を示すフローチャートである。 図９（ａ）から図９（ｄ）は表示部における撮影ガイドの一例を示す図である。 図９（ａ）から図９（ｄ）に示すガイド表示に適した被写体の一例を示す図である。 図１１（ａ）から図１１（ｄ）は表示部における撮影ガイドの他の例を示す図である。 図１２（ａ）から図１２（ｄ）は表示部における撮影ガイドの他の例を示す図である。 第２実施形態に係る本体コントローラの機能構成例を示すブロック図である。 図１４（ａ）及び図１４（ｂ）は表示部における撮影ガイドの他の例を示す図である。 表示部における撮影ガイドの他の例を示す図である。 図１６（ａ）及び図１６（ｂ）は表示部における撮影ガイドの他の例を示す図である。 第３実施形態に係る画像処理部の機能構成例を示すブロック図である。 第３実施形態の第１のモードに係る画像データ取得部における処理の一例を示すフローチャートである。 第３実施形態の第２のモードに係る画像データ取得部における処理の一例を示すフローチャートである。 第３実施形態の第３のモードに係る画像データ取得部における処理の一例を示すフローチャートである。 ＥＤｏＦ光学系を備える撮像モジュールの一形態を示すブロック図である。 ＥＤｏＦ光学系の一例を示す図である。 図２１に示す復元処理ブロックによる復元処理フローの一例を示す図である。 ＥＤｏＦ光学系を介して取得された画像の復元例を示す図であり、（ａ）は復元処理前のボケた画像を示し、（ｂ）は復元処理後のボケが解消された画像（点像）を示す。 スマートフォンの外観を示す図である。 図２５に示すスマートフォンの構成を示すブロック図である。

添付図面を参照して本発明の実施形態について説明する。以下の説明では、一例として、コンピュータ（ＰＣ：パーソナルコンピュータ）に接続可能なデジタルカメラ（撮像装置）に本発明を適用する例について説明する。

図１は、コンピュータに接続されるデジタルカメラの概略を示すブロック図である。

デジタルカメラ１０は、交換可能なレンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備える。レンズユニット１２とカメラ本体１４とは、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介して電気的に接続される。

レンズユニット１２は、レンズ１６及び絞り１７等を含む光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り値（絞り量）の制御、等を行う。

カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、ＲＧＢ（赤緑青）等のカラーフィルタ、及びイメージセンサ（フォトダイオード：ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等）を有する。この撮像素子２６は、レンズユニット１２の光学系（レンズ１６、絞り１７等）を介して照射される被写体像の光を電気信号に変換し、画像信号（撮影画像データ）を本体コントローラ２８に送る。すなわち本例の撮像素子２６は、光学系（レンズ１６、絞り１７等）を通過した被写体像を受光して撮影画像データ（以下、「画像データ」と称する）を生成し、その画像データを本体コントローラ２８（後述の「画像処理部３６」）に送信する。

図２は、本体コントローラ２８の機能構成の概略を示すブロック図である。

本体コントローラ２８は、デバイス制御部３４と、画像処理部（画像処理装置）３６とを有し、カメラ本体１４を統括的に制御する。

デバイス制御部３４は、例えば、撮像素子２６からの画像データの出力を制御したり、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信したり、入出力インターフェース３２を介して接続される外部機器（コンピュータ８０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）データ等）を送信したりする。また本例のデバイス制御部３４は、カメラ本体１４に設けられる表示部３８を制御する表示制御部３７を含む。さらにデバイス制御部３４は、デジタルカメラ１０が具備する他のデバイス類を適宜制御する。

一方、画像処理部３６は、撮像素子２６からの画像データに対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリクス処理、ガンマ変換処理、等）、ＲＧＢ画像処理（トーン補正処理、露出補正処理、等）、ＲＧＢ／ＹＣｒＣｂ変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部３６において適宜行われる。加えて、本例の画像処理部３６は、後述の「鮮鋭化処理」を行う。

本体コントローラ２８において画像処理が施された画像データは、フラッシュメモリ等によって構成される画像記憶部２９に保存される。画像記憶部２９に保存された画像データは、入出力インターフェース３２（図１参照）に接続されるコンピュータ８０等に送られる。また画像記憶部２９がカメラ本体１４から着脱自在の場合には、カメラ本体１４から取り外された画像記憶部２９に接続されるコンピュータ８０等に、画像記憶部２９に保存された画像データが送られる。デジタルカメラ１０（画像記憶部２９）からコンピュータ８０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ（Ｔａｇｇｅｄ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）等の任意のフォーマットとしうる。したがって本体コントローラ２８は、いわゆるＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応付けて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ８０に送信してもよい。

コンピュータ８０は、カメラ本体１４の入出力インターフェース３２及びコンピュータ入出力部８１を介してデジタルカメラ１０に接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ８２は、コンピュータ８０を統括的に制御し、デジタルカメラ１０からの画像データを画像処理したり、インターネット等のネットワーク８４を介してコンピュータ入出力部８１に接続されるサーバ８５等との通信制御をしたりする。コンピュータ８０はディスプレイ８３を有し、コンピュータコントローラ８２における処理内容等がディスプレイ８３に必要に応じて表示される。ユーザは、ディスプレイ８３の表示を確認しながらキーボード等の入力手段（図示省略）を操作することにより、コンピュータコントローラ８２に対してデータやコマンドを入力し、コンピュータ８０を制御したり、コンピュータ８０に接続される機器類（デジタルカメラ１０、サーバ８５）を制御したりすることができる。

サーバ８５は、サーバ入出力部８６及びサーバコントローラ８７を有する。サーバ入出力部８６は、デジタルカメラ１０やコンピュータ８０等の外部機器との送受信接続部を構成し、ネットワーク８４を介してデジタルカメラ１０の本体コントローラ２８やコンピュータ８０のコンピュータ入出力部８１に接続される。サーバコントローラ８７は、デジタルカメラ１０やコンピュータ８０からの制御指示信号に応じ、本体コントローラ２８やコンピュータコントローラ８２と協働し、本体コントローラ２８やコンピュータコントローラ８２との間で必要に応じてデータ類の送受信を行い、データ類をデジタルカメラ１０やコンピュータ８０にダウンロードしたり、演算処理を行ってその演算結果をデジタルカメラ１０やコンピュータ８０に送信したりする。

なお、各コントローラ（レンズユニットコントローラ２０、本体コントローラ２８、コンピュータコントローラ８２、サーバコントローラ８７）は、制御処理に必要な回路類を備え、例えば演算処理回路（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等）やメモリ等を具備する。また、デジタルカメラ１０、コンピュータ８０及びサーバ８５間の通信は有線であってもよいし無線であってもよい。また、コンピュータ８０及びサーバ８５を一体的に構成してもよく、またコンピュータ８０及び／又はサーバ８５が省略されてもよい。また、デジタルカメラ１０にサーバ８５との通信機能を持たせ、デジタルカメラ１０とサーバ８５との間で直接的にデータ類の送受信が行われるようにしてもよい。

次に、図２に示す本体コントローラ２８（画像処理部３６）において行われる画像データの鮮鋭化処理について説明する。以下の各実施形態では、鮮鋭化処理を行う画像処理部３６（本体コントローラ２８）において、鮮鋭化フィルタの選定の基礎情報となる絞り値や焦点距離等の撮影条件が通信不可或いは通信不良によって全く取得することができない場合の鮮鋭化処理について説明する。

以下の例では、カメラ本体１４（本体コントローラ２８）において鮮鋭化処理が実施される例について説明するが、鮮鋭化処理の全部又は一部を他のコントローラ（レンズユニットコントローラ２０、コンピュータコントローラ８２、サーバコントローラ８７等）において実施することも可能である。また以下では、画像処理部３６において行われる鮮鋭化処理について説明するが、上述のように画像処理部３６では鮮鋭化処理以外の各種の画像処理が鮮鋭化処理の前及び／又は後で行われる。画像処理部３６において行われる鮮鋭化処理以外の画像処理に関する処理部の説明及び図示は省略する。

＜第１実施形態＞
本実施形態は、ユーザが「カメラ本体１４に対応するレンズユニット１２」及び「カメラ本体１４に対応しないレンズユニット１２」を使って同一シーンを撮影し、得られる画像の周波数応答を比較することにより「カメラ本体１４に対応しないレンズユニット１２」によって撮影される画像データに使用可能な鮮鋭化フィルタを取得する例に関する。

「鮮鋭化フィルタ」は特に限定されず、光学系の光学伝達関数に基づくフィルタであってもよいし、光学系の光学伝達関数に基づかないフィルタであってもよい。すなわち点拡がり関数（ＰＳＦ）、変調伝達関数（ＭＴＦ）、位相伝達関数（ＰＴＦ）を含む光学伝達関数（ＯＴＦ）に基づいて作成されたフィルタが「鮮鋭化フィルタ」として使用されてもよいし、光学伝達関数とは関係なく定められた輪郭補正用のフィルタ等が鮮鋭化フィルタとして使用されてもよい。

以下の説明において、「レンズユニット１２（レンズユニットコントローラ２０）とカメラ本体１４（本体コントローラ２８）との間において撮影情報の送受信を適切に行うことができ、撮影情報を本体コントローラ２８に供給可能なレンズユニット１２」を「第１の光学系」と呼ぶ。また「レンズユニット１２（レンズユニットコントローラ２０）とカメラ本体１４（本体コントローラ２８）との間において撮影情報の送受信を適切に行うことができず、撮影情報を本体コントローラ２８に供給できないレンズユニット１２」を「第２の光学系」と呼ぶ。

図３は、第１実施形態に係る画像処理部３６の機能構成例を示すブロック図である。本例の画像処理部３６は、周波数解析部４０、光学特性取得部４２、フィルタ取得部４４、フィルタ処理部４６及びフィルタ記憶部４８（記憶部）を有する。

周波数解析部４０は、「第１の光学系を用いた被写体像の撮影により取得される画像データ（以下、「第１の画像データ」と称する）」及び「第２の光学系を用いた被写体像の撮影により取得される画像データ（以下、「第２の画像データ」と称する）」の各々の周波数領域におけるデータを取得する。

図４は、周波数解析部４０における処理例を説明するための概念図である。周波数解析部４０には、撮像素子２６（図１参照）から出力された空間領域により表された画像データが入力される。周波数解析部４０は、フーリエ変換の原理を応用した処理を行い、入力された「空間領域により表された画像データ」から「周波数領域により表された画像データ」を作成して出力する。すなわち周波数解析部４０は、「空間領域により表された第１の画像データＡ」を「周波数領域により表された第１の画像データａ」に変換し、「空間領域により表された第２の画像データＢ」を「周波数領域により表された第２の画像データｂ」に変換する。「空間領域により表された画像データ」から「周波数領域により表された画像データ」を作成する処理は特に限定されず、例えば高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：ＦＦＴ）を利用した処理が周波数解析部４０において行われてもよい。

なお、本例の第１の画像データと第２の画像データとは、同一の被写体像を撮影することにより取得される画像データをいう。例えば、まずユーザが「レンズユニット１２（レンズユニットコントローラ２０）とカメラ本体１４（本体コントローラ２８）との間において撮影情報の送受信を適切に行うことができるレンズユニット１２（第１の光学系）」を使って被写体像を撮影することによって第１の画像データが取得される。その後、ユーザによってレンズユニット１２の交換が行われる。そしてユーザが「レンズユニット１２（レンズユニットコントローラ２０）とカメラ本体１４（本体コントローラ２８）との間において撮影情報の送受信を適切に行うことができないレンズユニット１２（第２の光学系）」を使って、第１の画像データと同一の被写体像を撮影することによって第２の画像データが取得される。これにより周波数解析部４０は、第１の画像データ及び第２の画像データを取得することができる。なお、このような一連の撮影処理が適切に行われるようにユーザをガイドしてもよく、例えば本体コントローラ２８（表示制御部３７）の制御下で表示部３８にガイダンスを表示してユーザの撮影処理を促してもよい。また第１の画像データ及び第２の画像データは、撮像素子２６から周波数解析部４０に直接的に供給されてもよいし、画像記憶部２９等のメモリに一旦保存され、そのメモリから周波数解析部４０に供給されてもよい。

図３に示す光学特性取得部４２は、第１の画像データの周波数領域におけるデータと第２の画像データの周波数領域におけるデータとを比較して、第２の光学系の光学特性に関する周波数特性データを取得する。

ここでいう「第２の光学系の光学特性に関する周波数特性データ」は特に限定されず、鮮鋭化処理によって回復可能な特性をここでいう「第２の光学系の光学特性」とすることができる。例えば、第２の光学系の光学伝達関数を「第２の光学系の光学特性」としてもよい。

図５は、光学特性取得部４２における処理例を説明するための概念図である。光学特性取得部４２には、周波数解析部４０が生成した「周波数領域により表された第１の画像データａ」及び「周波数領域により表された第２の画像データｂ」が入力される。光学特性取得部４２は、これらの「周波数領域により表された第１の画像データａ」及び「周波数領域により表された第２の画像データｂ」に基づいて「第２の光学系の光学特性に関する周波数特性データｄ」を取得する。

本例の光学特性取得部４２は、「第２の光学系の光学特性に関する周波数特性データｄ」を、「第１の画像データの周波数領域におけるデータ（第１の画像データａ）」と「第２の画像データの周波数領域におけるデータ（第２の画像データｂ）」との比に基づいて取得する。

ただし光学特性取得部４２において使用される「第１の画像データの周波数領域におけるデータ（第１の画像データａ）」としては、「鮮鋭化処理を受けたデータ」と「鮮鋭化処理を受けていないデータ」とが想定される。したがって光学特性取得部４２は、使用する「第１の画像データの周波数領域におけるデータ（第１の画像データａ）」が「鮮鋭化処理を受けたデータ」か「鮮鋭化処理を受けていないデータ」かを判定し、その判定結果に応じて「第２の光学系の光学特性に関する周波数特性データｄ」の取得手法を変えることが好ましい。

例えば光学特性取得部４２において使用される「第１の画像データの周波数領域におけるデータ（第１の画像データａ）」が「鮮鋭化処理を受けたデータ」の場合には、第１の画像データには既に鮮鋭化処理が反映されている。この場合、「第２の画像データの周波数領域におけるデータ（第２の画像データｂ）」に対する「第１の画像データの周波数領域におけるデータ（第１の画像データａ）」の比率によって「第２の光学系の光学特性に関する周波数特性データｄ」を表してもよい（ｄ＝ａ／ｂ）。

一方、光学特性取得部４２において使用される「第１の画像データの周波数領域におけるデータ（第１の画像データａ）」が「鮮鋭化処理を受けていないデータ」の場合には、第１の画像データに対する鮮鋭化処理の影響を考慮する必要がある。すなわち光学特性取得部４２において使用される第１の画像データが、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から撮影条件に応じて取得される鮮鋭化フィルタを使用した鮮鋭化処理を受けていない場合、光学特性取得部４２は、例えば以下のようにして「第２の光学系の光学特性に関する周波数特性データｄ」を取得してもよい。すなわち第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から第１の画像データの撮影条件に応じて取得される鮮鋭化フィルタに関し、「その鮮鋭化フィルタを適用する前の第１の画像データ」に対する「その鮮鋭化フィルタを適用した後の第１の画像データ」の周波数毎の比率を表すレスポンスをｃにより表すと、光学特性取得部４２は、「ｄ＝ａ／ｂ×ｃ」によって表される「第２の光学系の光学特性に関する周波数特性データｄ」を取得することができる。

図３に示すフィルタ取得部４４は、「第２の光学系の光学特性に関する周波数特性データｄ」に基づいて、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から、第２の光学系に関連付ける鮮鋭化フィルタを取得する。

図６は、フィルタ取得部４４における処理例を説明するための概念図である。本例のフィルタ取得部４４は、フィルタ記憶部４８に記憶されている「第１の光学系に関連付けられた複数の鮮鋭化フィルタ」の中から、第２の光学系に関連付ける鮮鋭化フィルタを選定する。

本例のフィルタ記憶部４８には、第１の光学系用の鮮鋭化フィルタ５０が複数記憶されている。第１の光学系用の鮮鋭化フィルタ５０の各々は、撮影条件に応じて、第１の光学系の光学特性が考慮されて予め定められたフィルタである。例えば鮮鋭化フィルタ５０が第１の光学系の光学伝達関数に基づくフィルタである場合、光学伝達関数は撮影条件に応じて変動する関数であるため、撮影条件毎に定められる適切な光学伝達関数に基づいて「第１の光学系用の鮮鋭化フィルタ５０」の各々が定められる。また鮮鋭化フィルタ５０が第１の光学系の光学伝達関数に基づかないフィルタである場合も同様に、撮影条件毎に定められる適切な基準に基づいて「第１の光学系用の鮮鋭化フィルタ５０」の各々が定められる。なお複数の鮮鋭化フィルタ５０の基準になる撮影条件は特に限定されず、例えば適用対象の画像データを取得した際の絞り値、焦点距離、被写体距離、明るさ（露出、ヒストグラム、飽和度、等）、等に応じた鮮鋭化フィルタ５０をフィルタ記憶部４８に記憶しておいてもよい。

また本例では、フィルタ記憶部４８に記憶されている各鮮鋭化フィルタ５０には各々のフィルタ特性を示すフィルタ特性データ４９が関連付けられている。各フィルタ特性データ４９は、関連付けられた鮮鋭化フィルタ５０の特性を示すデータである。例えば第１の光学系に関連付けられた複数の鮮鋭化フィルタ５０の各々の周波数毎のレスポンス（レスポンス＝鮮鋭化フィルタを適用した後の画像データ／鮮鋭化フィルタを適用する前の画像データ）を、フィルタ特性データ４９としてもよい。

本例のフィルタ取得部４４は、既に保有する鮮鋭化フィルタ群の中から、「第２の光学系の光学特性に関する周波数特性データｄ」に最も近い特性を有する鮮鋭化フィルタを選定して、第２の光学系に関連付ける鮮鋭化フィルタとする。すなわちフィルタ取得部４４は、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から取得される鮮鋭化フィルタであって、光学特性取得部４２が取得した「第２の光学系の光学特性に関する周波数特性データｄ」と周波数特性が最も近い鮮鋭化フィルタ５０を、第２の光学系に関連付ける鮮鋭化フィルタとして取得する。鮮鋭化フィルタ５０が「第２の光学系の光学特性に関する周波数特性データｄ」に近似する特性を有するか否かの判定手法は特に限定されないが、鮮鋭化フィルタ５０による鮮鋭化効果の「空間周波数−レスポンス」の特性データとの比較によって近似性が判定されることが好ましい。

なおフィルタ取得部４４は、鮮鋭化フィルタ５０を生成してもよい。この場合、「鮮鋭化フィルタ５０の生成に必要な情報」が、その情報から生成される鮮鋭化フィルタ５０のフィルタ特性データ４９と関連付けられてフィルタ記憶部４８に記憶される。フィルタ取得部４４は、フィルタ特性データ４９を参照して、「第２の光学系の光学特性に関する周波数特性データｄ」に最も近い特性を有する鮮鋭化フィルタ５０の生成に必要な情報を取得して鮮鋭化フィルタ５０を生成する。「鮮鋭化フィルタ５０の生成に必要な情報」は特に限定されないが、鮮鋭化フィルタ５０が光学伝達関数に基づくフィルタである場合には光学伝達関数を「鮮鋭化フィルタ５０の生成に必要な情報」としうる。

図７は、「第２の光学系の光学特性に関する周波数特性データｄ」と第１の光学系に関連付けられた「鮮鋭化フィルタ５０」との関係例を説明するための座標系を示す。図７の横軸は空間周波数を示し、縦軸はレスポンス及び周波数特性データｄを示す。図７に示す鮮鋭化フィルタ５０の周波数毎のレスポンスは、「レスポンス＝鮮鋭化フィルタを適用した後の画像データ／鮮鋭化フィルタを適用する前の画像データ」との関係によって表される。即ちレスポンスは、鮮鋭化フィルタを適用する前の画像データに対する鮮鋭化フィルタを適用した後の画像データの空間周波数毎の比率を表す。

フィルタ取得部４４は、図７に示す座標系において、「第１の光学系に関連付けられた鮮鋭化フィルタ」の各々と「第２の光学系の光学特性に関する周波数特性データｄ」とによって囲まれる領域Ｓの面積の大きさを基準に、「第２の光学系の光学特性に関する周波数特性データｄ」と「鮮鋭化フィルタ５０」との近似性を判定してもよい。すなわちフィルタ取得部４４は、光学特性取得部４２によって取得される「第２の光学系の光学特性に関する周波数特性データｄ」との間によって囲まれる領域Ｓ（差分領域）の面積に基づいて、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から第２の光学系に関連付ける鮮鋭化フィルタを取得することができる。したがってフィルタ取得部４４は、例えば、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から選ばれる鮮鋭化フィルタであって、図７に示す座標系において、光学特性取得部４２によって取得される「第２の光学系の光学特性に関する周波数特性データｄ」と鮮鋭化フィルタのレスポンスとの間により囲まれる面積が最も小さい鮮鋭化フィルタを、第２の光学系に関連付ける鮮鋭化フィルタとしてフィルタ記憶部４８から取得してもよい。またフィルタ取得部４４は、鮮鋭化フィルタの適用処理に加えてゲインコントロール処理を行ってもよい。

図３に示すフィルタ処理部４６は、フィルタ取得部４４が取得した「第２の光学系に関連付ける鮮鋭化フィルタ」を、「第２の光学系を用いた被写体像の撮影により取得される第２の画像データ」に適用する。

なお、フィルタ処理部４６における鮮鋭化フィルタの適用手法は、特に限定されない。例えば画像データ（第２の画像データ）の全画素に共通の鮮鋭化フィルタを適用してもよいし、適用する鮮鋭化フィルタを画像データの画素毎或いはエリア毎に変えてもよい。一般に光学系の光軸中心部と周縁部とでは収差等の光学特性が相違して光学伝達関数が異なるため、像高に応じて、画像データの画素毎或いはエリア毎に適用する鮮鋭化フィルタが変えられてもよい。この場合、フィルタ取得部４４は、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から、複数の像高に関連付けられた複数の鮮鋭化フィルタを、第２の光学系に関連付ける鮮鋭化フィルタとして取得する。そしてフィルタ処理部４６は、フィルタ取得部４４が取得した複数の鮮鋭化フィルタを使って、像高に応じて、画像データ（第２の画像データ）に鮮鋭化フィルタを適用する。

図８は、第１実施形態に係る画像処理部３６の処理の一例を示すフローチャートである。

まず周波数解析部４０によって、「レンズユニットコントローラ２０と本体コントローラ２８との間により撮影情報の送受信を適切に行うことができるレンズユニット１２（第１の光学系）」を使って撮影された「空間領域により表された第１の画像データＡ」が取得される（図８のＳ１１）。また周波数解析部４０によって、「レンズユニットコントローラ２０と本体コントローラ２８との間において撮影情報の送受信を適切に行うことができないレンズユニット１２（第２の光学系）」を使って撮影された「空間領域により表された第２の画像データＢ」が取得される（Ｓ１２）。

そして周波数解析部４０によって、「空間領域により表された第１の画像データＡ」が「周波数領域により表された第１の画像データａ」に変換され（Ｓ１３）、また「空間領域により表された第２の画像データＢ」が「周波数領域により表された第２の画像データｂ」に変換される（Ｓ１４）。

そして光学特性取得部４２によって、第１の画像データＡ（第１の画像データａ）が鮮鋭化処理を受けたデータか否かが判定される（Ｓ１５）。

第１の画像データＡ（第１の画像データａ）が鮮鋭化処理を受けたデータであると判定される場合（Ｓ１５のＹ）、「ｄ＝ａ／ｂ」により表される「第２の光学系の光学特性に関する周波数特性データｄ」が光学特性取得部４２によって取得される（Ｓ１６）。一方、第１の画像データＡ（第１の画像データａ）が鮮鋭化処理を受けていないデータであると判定される場合（Ｓ１５のＮ）、「ｄ＝ａ／ｂ×ｃ」により表される「第２の光学系の光学特性に関する周波数特性データｄ」が光学特性取得部４２によって取得される（Ｓ１７）。なお「ｃ」は、第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から第１の画像データＡ（第１の画像データａ）の撮影条件に応じて取得される鮮鋭化フィルタのレスポンスを示す。

そして「第２の光学系の光学特性に関する周波数特性データｄ」に基づいて、「レンズユニットコントローラ２０と本体コントローラ２８との間において撮影情報の送受信を適切に行うことができないレンズユニット１２（第２の光学系）」に関連付ける鮮鋭化フィルタが、フィルタ取得部４４によって取得される（Ｓ１８）。

このようにして取得された「レンズユニットコントローラ２０と本体コントローラ２８との間において撮影情報の送受信を適切に行うことができないレンズユニット１２（第２の光学系）」に関連付ける鮮鋭化フィルタは、そのレンズユニット１２（第２の光学系）によって撮影取得された画像データに対して適用可能である。

したがってフィルタ処理部４６は、フィルタ取得部４４によって取得された「レンズユニットコントローラ２０と本体コントローラ２８との間において撮影情報の送受信を適切に行うことができないレンズユニット１２（第２の光学系）」に関連付ける鮮鋭化フィルタを記憶しておき、その後に、そのレンズユニット１２（第２の光学系）を使って撮影取得された画像データの鮮鋭化処理を行う際に使用してもよい。例えば、「レンズユニットコントローラ２０と本体コントローラ２８との間において撮影情報の送受信を適切に行うことができないレンズユニット１２（第２の光学系）に関連付ける鮮鋭化フィルタの取得」から「そのレンズユニット１２（第２の光学系）がカメラ本体１４から取り外される」までに撮影取得された画像データに対して、「そのレンズユニット１２（第２の光学系）に関連付けられた鮮鋭化フィルタ」を用いた鮮鋭化処理がフィルタ処理部４６において行われてもよい。また「そのレンズユニット１２（第２の光学系）がカメラ本体１４から取り外される」まで、フィルタ取得部４４に取得された「そのレンズユニット１２（第２の光学系）に関連付けられた鮮鋭化フィルタ」を使った鮮鋭化処理のオン及びオフが切り替えられてもよい。

＜第２実施形態＞
本実施形態において、上述の第１実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

本実施形態では、第１の画像データの周波数領域におけるデータがフィルタ記憶部４８（記憶部）に記憶される。例えば「レンズユニットコントローラ２０と本体コントローラ２８との間で撮影情報の送受信を適切に行うことができるレンズユニット１２（第１の光学系）」を使って所定のチャート等の被写体像（以下、「第１の被写体像」と称する）を、撮影条件を変えて複数回撮影しておき、その撮影条件毎に得られる撮影画像データ（第１の画像データ）の周波数特性データを予めフィルタ記憶部４８（記憶部）に記憶しておくと共に、その「レンズユニット１２（第１の光学系）」に関連付けられた鮮鋭化フィルタを撮影条件毎に予めフィルタ記憶部４８（記憶部）に記憶しておく。

そしてカメラ本体１４に、「レンズユニットコントローラ２０と本体コントローラ２８との間において撮影情報の送受信を適切に行うことができないレンズユニット１２（第２の光学系）」が装着された場合、フィルタ記憶部４８に記憶されている第１の光学系を使って撮影取得された撮影画像データの周波数特性データと比較するのに適した撮影画像データを取得できるように上述の第１の被写体像の撮影をユーザに促すガイドが行われ、その「レンズユニット１２（第２の光学系）」を使った撮影によって第１の被写体像の撮影画像データ（第２の画像データ）が取得される。周波数解析部４０（図３参照）は、被写体像（第１の被写体像）に関する第１の画像データの周波数領域におけるデータ（周波数特性データ）をフィルタ記憶部４８（記憶部）から取得し、第２の光学系及び撮像素子２６（図１参照）を用いた被写体像（第１の被写体像）の撮影により第２の画像データの周波数領域におけるデータを取得する。そして光学特性取得部４２において、同じ「第１の被写体像」に関する「撮影条件を適切に取得可能なレンズユニット１２（第１の光学系）を使った撮影画像データ（第１の画像データ）」と「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）を使った撮影画像データ（第２の画像データ）」とが比較され、レンズユニット１２（第１の光学系）とレンズユニット１２（第２の光学系）との光学特性の相違が類推される。その類推結果に基づいて、「撮影条件を適切に取得可能なレンズユニット１２（第１の光学系）」に関連付けられた鮮鋭化フィルタの中から「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」に関連付ける鮮鋭化フィルタがフィルタ取得部４４によって取得される。

＜撮影ガイド＞
以下に、表示部３８におけるガイド表示によって、ユーザに第１の被写体像の撮影を促す手法の一例について説明する。本例は、「レンズユニットコントローラ２０と本体コントローラ２８との間において撮影情報の送受信を適切に行うことができないレンズユニット１２（第２の光学系）」がカメラ本体１４に装着された状態でのガイド表示プロセスとなる。

表示制御部３７（図２参照）は、表示部３８（図１参照）を制御して、ユーザに第１の被写体像の撮影を促すためのガイド部を表示部３８に表示させる。ユーザは、表示部３８に表示されるガイド部に補助されながら「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」を使って第１の被写体像の撮影画像データ（第２の画像データ）を取得する。したがって本実施形態における「第２の画像データ」は、表示部３８におけるガイド部に促されて撮影が行われて生成された撮影画像データである。

図９は、表示部３８における撮影ガイドの一例を示す図である。図９（ａ）〜（ｄ）の各々には、表示制御部３７により表示部３８に表示されるガイド部６０が図示されており、ガイド部６０の表示パターンが示されている。なお図９（ａ）〜（ｄ）の各々に示す例では、表示部３８の中央部にオートフォーカスエリア６１が表示される。

以下の説明では、「右」、「左」、「下」及び「上」という表現が使用されるが、これらの表現はそれぞれ「図面に向かって右」、「図面に向かって左」、「図面に向かって下」及び「図面に向かって上」という意味で使用されている。

図９（ａ）〜（ｄ）に示されているガイド部６０は、表示部３８に表示される撮影画像におけるタンジェンシャル方向に沿った直線形状を有する。ここでいうガイド部６０の直線形状は、直線状の形状であれば特に限定されず、ガイド部６０は、例えば実線の直線であってもよいし、点線の直線であってもよいし、撮影画像が見えるように半透明の直線であってもよい。

なおガイド部６０は、撮影画像におけるサジタル方向又はタンジェンシャル方向に沿った直線形状であることが好ましい。特に鮮鋭化フィルタが光学伝達関数に基づくフィルタである場合には、鮮鋭化処理のパラメータを調節する観点から、撮影画像におけるサジタル方向又はタンジェンシャル方向にガイド部６０が配置されることが好ましい。すなわち、撮影画像におけるサジタル方向又はタンジェンシャル方向に配置されたガイド部６０に一致するような被写体を撮影した場合、光学伝達関数に基づく鮮鋭化フィルタのパラメータを調整する観点から、有用なデータを得ることが可能となる。

ここでいう「サジタル方向又はタンジェンシャル方向に沿ったガイド部６０」は、効果を阻害しない範囲で、サジタル方向又はタンジェンシャル方向から逸れていてもよい。

またサジタル方向及びタンジェンシャル方向の基準は撮影画像とする。本来は、撮像素子２６の受光面上に投影された光学像のサジタル方向又はタンジェンシャル方向と規定することが望ましいが、撮像素子２６により受光し取得した画像データに基づいてしか第２の画像データを得られない。したがって、撮影画像を基準としてサジタル方向及びタンジェンシャル方向を考えても問題がない。ここで、タンジェンシャル方向とは撮影画像の中心を基準とした円周に対する接線方向のことをいい、サジタル方向とは、タンジェンシャル方向に垂直に交わる方向のことをいう。

図９（ａ）では、ガイド表示パターン１として、ガイド部６０が表示部３８における左上の領域に配置されている。ユーザは、図９（ａ）に示されるガイド部６０を参考にして、第１の被写体像を撮影して撮影画像データを取得する。この場合、図９（ａ）に示されるガイド部６０に基づいて定められる画像（例えば後述の図１０の符号「６４ａ」参照）が第１の被写体像となる。

図９（ｂ）では、ガイド表示パターン２として、２つのガイド部６０ａ、６０ｂの各々が表示部３８における左上の領域及び右上の領域に配置されている。さらに、図９（ｂ）において示された２つのガイド部６０は、第１のガイド部６０ａ及び第１のガイド部６０ａと平行でない第２のガイド部６０ｂにより構成されている。すなわち、図９（ｂ）の表示部３８の左上の領域に配置されたガイド部（第１のガイド部）６０ａと、右上に配置されたガイド部（第２のガイド部）６０ｂとは平行とならないように配置されている。

図９（ｃ）では、ガイド表示パターン３として、２つのガイド部６０ａ、６０ｃの各々が表示部３８における左上の領域及び右下の領域に配置されている。図９（ｄ）では、ガイド表示パターン４として、４つのガイド部６０ａ、６０ｂ、６０ｃ、６０ｄの各々が表示部３８における左上の領域、右上の領域、右下の領域、及び左下の領域に配置されている。

なお、図９（ａ）から図９（ｄ）に示されたガイド部６０の表示におけるガイド表示パターンに限定されず、様々な形態のガイド表示パターンを採用することが可能である。

図１０は、図９（ａ）から図９（ｄ）に示すガイド表示に適した被写体Ｗの一例を示す図である。例えば図９（ａ）に示すガイド表示パターン１では、被写体Ｗのうち図１０の符号「６４ａ」によって示される黒色部分の画像をガイド部６０に沿って撮影することが好ましい。また図９（ｂ）に示すガイド表示パターン２では、被写体Ｗのうち図１０の符号「６４ａ」及び符号「６４ｂ」により示される黒色部分の画像をガイド部６０に沿って撮影することが好ましい。また図９（ｃ）に示すガイド表示パターン３では、被写体Ｗのうち図１０の符号「６４ａ」及び符号「６４ｃ」により示される黒色部分の画像をガイド部６０に沿って撮影することが好ましい。また図９（ｄ）に示すガイド表示パターン２では、被写体Ｗのうち図１０の符号「６４ａ」、符号「６４ｂ」、符号「６４ｃ」及び符号「６４ｄ」により示される黒色部分の画像をガイド部６０に沿って撮影することが好ましい。

図１１は、表示部３８における撮影ガイドの他の例を示す図である。本例では、表示部３８の４隅のそれぞれのガイド部６０の表示を満たすような被写体の撮影を、４隅のそれぞれのガイド部６０の表示毎に撮影を行うように撮影ガイドが行われる。すなわち、本例では、まず、図１１（ａ）により示されるように左上に配置されたガイド部６０ａを満たすような撮影画像の撮影を行う。次に、図１１（ｂ）により示されるように右上に配置されたガイド部６０ｂを満たすような撮影画像の撮影を行う。次に、図１１（ｃ）に示されるように右下に配置されたガイド部６０ｃを満たすような撮影画像の撮影を行う。次に、図１１（ｄ）に示されるように左下に配置されたガイド部６０ｄを満たすような撮影画像の撮影を行う。このように、図１１（ａ）〜図１１（ｄ）に示されたガイド部６０ａ〜６０ｄにより補助されて取得される４つの撮影画像データが第２の画像として取得される。

なお図１１に示されるようにガイド部６０の表示は４つに限定されず、表示位置が異なる任意の数のガイド部６０を表示部３８に表示してユーザに撮影を促してもよい。本例によれば、ガイド部６０ａ〜６０ｄの各々を満たす被写体を容易に見つけられ、ガイド部６０ａ〜６０ｄを確実に満たす撮影画像を取得することができる。

図１２は、表示部３８における撮影ガイドの他の例を示す図である。本例では、撮影条件表示部６２が、ガイド部６０と共に表示部３８に表示される。すなわち、表示制御部３
７は第２の画像データを撮影取得するための撮影条件表示部６２を表示部３８に表示させて、ユーザに必要な撮影条件を知らせる。これによりユーザは、必要とされる撮影条件下で撮影を行って第２の画像データを取得することができる。

具体的には、図１２（ａ）及び（ｂ）では、像高位置に関する撮影条件表示部６２が表示部３８に表示されている。すなわち、図１２（ａ）に示す例では、像高位置が高い箇所（撮影画像の周辺箇所）におけるガイド部６０を満たすような第２の画像データの取得が補助される。一方、図１２（ｂ）に示す例では、像高が低い箇所（撮影画像の中心箇所）におけるガイド部６０を満たすような第２の画像データの取得が補助される。このようにガイド部６０が撮影画像の像高に応じて配置されることにより、像高に応じた第２の画像データを取得することができる。

また図１２（ｃ）及び（ｄ）では、被写体までの距離（被写体距離）を撮影条件表示部６２として表示部３８に表示されている。すなわち、図１２（ｃ）に示す例では、被写体までの撮影距離が５０ｃｍである第２の画像データの取得が補助される。一方、図１２（ｄ）に示す例では、被写体までの撮影距離が１ｍである第２の画像データの取得が補助される。このようにガイド部６０と共に被写体までの撮影距離を示す撮影条件表示部６２が表示部３８に表示されることにより、所望の被写体までの撮影距離を有する第２の画像データを取得することができる。

このように図１２に示す例によれば、撮影条件表示部６２によって適切な撮影条件下で第２の画像データを撮影取得することができる。

図１３は、第２実施形態に係る本体コントローラ２８の機能構成例を示すブロック図である。

本実施形態の本体コントローラ２８は、表示制御部３７に加え、画像判定部５６及び画像データ取得部５８を更に有する。画像判定部５６は、上述のガイド部６０に促されて撮影が行われて生成された撮影画像データが第１の基準を満たすか否かを判定する。画像データ取得部５８は、画像判定部５６において第１の基準を満たすと判定された撮影画像データを「周波数解析部４０（図３参照）において周波数領域におけるデータが取得される第２の画像データ」として取得し、周波数解析部４０に送信する。したがって本実施形態において得られる第２の画像データは、第１の基準を満たす撮影画像データである。

一方、ガイド部６０に促されて撮影が行われて生成された撮影画像データが第１の基準を満たさないと画像判定部５６において判定された場合、表示制御部３７は、再度、ユーザに第１の被写体像の撮影を促すためのガイド部６０を表示部３８に表示させる。

なお第２の画像データの適否の基準となる「第１の基準」は特に限定されず、例えばガイド部６０と実際に撮影される第１の被写体像との一致度合いを「第１の基準」としてもよい。すなわち画像判定部５６は、この一致度合いに基づいて、ガイド部６０に誘導されて撮影された撮影画像データが第２の画像データとして適正か否かを判定してもよい。

ガイド部６０と撮影画像データとの一致度合いは、具体的にはガイド部６０と撮影画像データとの画角の重なり度合いとして判別してもよい。ここでいう一致とは、必ずしも厳密な意味での一致を意味していない。すなわち、使用可能な第２の画像データが取得できる範囲でガイド部６０と撮影画像データとが一致していればよい。具体的には、ガイド部６０と撮影画像データの第１の被写体像とが、ガイド部６０の４０％に相当する部分以上が重なっていればよく、好ましくはガイド部６０の６０％に相当する部分以上が重なっていればよく、さらに好ましくはガイド部６０の８０％に相当する部分以上が重なっていればよい。

図１４（a）及び図１４（ｂ）は、表示部３８における撮影ガイドの他の例を示す図である。本例の表示制御部３７は、ガイド部６０との一致度合いに基づいて第１の基準を満たす適正な撮影画像データか否かを示す判定情報部６４を、ガイド部６０と共に表示部３８に表示させる。

具体的には、図１４（ａ）は、ガイド部６０に促されて撮影取得された撮影画像データがガイド部６０に十分に一致せず第１の基準を満たさない場合を示す。図１４（ａ）に示す例において、被写体Ｗは、左上に配置されたガイド部６０に一致していない。そして、「被写体を直して下さい」という判定情報部６４が表示部３８に表示される。一方、図１４（ｂ）は、ガイド部６０に促されて撮影取得された撮影画像データがガイド部６０に十分に一致して第１の基準を満たす場合を示す。図１４（ｂ）に示す例において、被写体Ｗは、左上に配置されたガイド部６０に一致している。そして、「正しい被写体です」という判定情報部６４が表示部３８に表示される。

図１５は、表示部３８における撮影ガイドの他の例を示す図である。本例では、撮影画像データが第１の基準を満たさない場合、ユーザは再度の撮影が促される。すなわち、図１４（a）及び図１４（ｂ）に示す例では判定情報部６４の内容は異なる被写体の撮影を促す内容となっている（図１４（ａ）参照）のに対して、図１５に示す本例の判定情報部６４の内容は、ユーザに再度の撮影を促す情報となっている。

図１６（a）及び図１６（ｂ）は、表示部３８における撮影ガイドの他の例を示す図である。図１６（ａ）及び（ｂ）に示すようにガイド部６０は表示部３８の四隅以外に配置してもよく、表示部３８におけるガイド部６０の配置態様は特に限定されない。

図１６（ａ）に示されたガイド表示パターンと図１６（ｂ）に示されたガイド表示パターンとを比較すると、両者間で各ガイド部６０が９０°回転している。すなわち図１６（ａ）に示されたガイド部６０は撮影画像におけるタンジェンシャル方向に沿った直線形状を有するが、図１６（ｂ）に示されたガイド部６０は撮影画像におけるサジタル方向に沿った直線形状を有する。このようにガイド部６０は、タンジェンシャル方向だけでなく、サジタル方向に配置されてもよい。

また「第１の基準」は、フィルタ記憶部４８に記憶されている第１の光学系を使って撮影取得された撮影画像データの周波数特性データと比較するのに適した撮影画像データを得られるか否かの観点に基づく基準であればよい。例えば、フィルタ記憶部４８に記憶されている第１の光学系を使って撮影取得された第１の被写体像に関する撮影画像データ（第１の画像データ）と、第２の光学系を使って実際に撮影取得される第１の被写体像に関する撮影画像データ（第２の画像データ）との合焦状態の一致度を、「第１の基準」として用いてもよい。また同様に、フィルタ記憶部４８に記憶されている第１の光学系を使って撮影取得された第１の被写体像に関する撮影画像データ（第１の画像データ）の明るさの状態と、第２の光学系を使って実際に撮影取得される第１の被写体像に関する撮影画像データ（第２の画像データ）の明るさの状態との一致度を、「第１の基準」として用いてもよい。これら基準は、第１の光学系及び第２の光学系を使って得られる撮影画像データの周波数特性を比較して複数の鮮鋭化フィルタの中から第２の光学系に関連付ける鮮鋭化フィルタを取得する際の精度に関わるものである。特に、第１の光学系を使って撮影取得された撮影画像データの周波数特性データを予めフィルタ記憶部４８に記憶しておく場合、ユーザ自身は、基本的には、比較用の「第１の光学系を使った撮影画像データ」の撮影取得作業を行わない。このため、複数の鮮鋭化フィルタの中から第２の光学系に関連付ける鮮鋭化フィルタを高精度に取得する観点からは、上述の第１の基準に基づく撮影ガイドは非常に有用である。

このようにしてユーザは、表示部３８におけるガイド部６０の誘導に従って「レンズユニットコントローラ２０と本体コントローラ２８との間において撮影情報の送受信を適切に行うことができないレンズユニット１２（第２の光学系）」を使って、第１の被写体像に関する第２の画像データを適切に撮影取得することができる。

そして、撮影取得された第２の画像データの周波数特性データと、フィルタ記憶部４８（記憶部）から読み出されて取得された撮影画像データ（第１の画像データ）の周波数特性データとが比較され、上述の第１実施形態と同様にして、「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」に関連付ける鮮鋭化フィルタを取得する。すなわち周波数解析部４０（図３参照）によって、このようにして撮影取得された第２の画像データの周波数領域におけるデータが取得され、光学特性取得部４２によって、「第２の光学系の光学特性に関する周波数特性データｄ」が取得される。そしてフィルタ取得部４４によって、「第２の光学系の光学特性に関する周波数特性データｄ」に基づいて、予めフィルタ記憶部４８に記憶された「レンズユニットコントローラ２０と本体コントローラ２８との間において撮影情報の送受信を適切に行うことができるレンズユニット１２（第１の光学系）」に関連付けられた撮影条件毎の複数の鮮鋭化フィルタの中から「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」に関連付ける鮮鋭化フィルタを取得する。そしてフィルタ処理部４６は、フィルタ取得部４４によって取得された「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）に関連付ける鮮鋭化フィルタ」を記憶しておき、その「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」を使って撮影取得された画像データの鮮鋭化処理を行う際に使用することができる。

以上説明したように本実施形態によれば、「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」を使った一連の撮影処理がガイド部６０によって誘導されるため、ユーザは、第１の被写体像の画像データを適切に取得することができる。これにより「撮影条件を適切に取得可能なレンズユニット１２（第１の光学系）」を使った撮影画像データの取得処理を省略することができ、予め記憶された「撮影条件を適切に取得可能なレンズユニット１２（第１の光学系）」の光学特性データとの比較によって、「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」に関連付ける鮮鋭化フィルタを精度良く取得することができる。

＜第３実施形態＞
本実施形態において、上述の第１実施形態と同一又は類似の構成及び作用については、詳細な説明を省略する。

本実施形態では、「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」に関連付ける鮮鋭化フィルタを取得するために使用する第２の画像データが、複数の第２の画像データの中から選定される。

図１７は、第３実施形態に係る画像処理部３６の機能構成例を示すブロック図である。本実施形態の画像処理部３６は、周波数解析部４０、光学特性取得部４２、フィルタ取得部４４、フィルタ処理部４６及びフィルタ記憶部４８に加え、画像データ取得部５８を更に有する。

画像データ取得部５８は、「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」を用いた被写体像の撮影により取得される複数の第２の画像データの評価データを取得する。そして画像データ取得部５８は、この評価データに基づいて、複数の第２の画像データの中から「周波数解析部４０において周波数領域におけるデータが取得される第２の画像データ」を取得する。

画像データ取得部５８において評価データが取得される複数の第２の画像データは、異なる条件下において取得され、例えば相互に露出条件が異なる。この露出条件の相違を実現する手法は特に限定されない。例えば、１つの画像データの明るさをゲインコントロール等の画像処理によって調整することにより露出条件の異なる複数の第２の画像データが取得されてもよい。また、絞り値（絞り１７の絞り量）及び／又はシャッタースピードを調整しながら連続的に撮影を行うことにより、露出条件の異なる複数の第２の画像データが取得されてもよい。

画像データ取得部５８によって取得される評価データは、光学特性取得部４２における「第１の光学系を用いた被写体像の撮影により取得される第１の画像データ」との比較によって「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」に関連付ける鮮鋭化フィルタを取得するために使用される第２の画像データを選定するためのデータである。したがって、例えば複数の第２の画像データの各々の周波数特性に基づいて評価データを取得してもよい。

例えば画像データ取得部５８は、複数の第２の画像データの特定の周波数の範囲の成分量に基づいて、複数の第２の画像データの中から「周波数解析部４０において周波数領域におけるデータが取得される第２の画像データ」を取得することができる。より具体的には、画像データ取得部５８は、複数の第２の画像データの中から、特定の周波数の範囲の成分量が最も大きい第２の画像データを「周波数解析部４０において周波数領域におけるデータが取得される第２の画像データ」として取得してもよい。ここでいう「特定の周波数の範囲」は特に限定されないが、鮮鋭化処理による影響が比較的大きい範囲であることが好ましく、例えば複数の第２の画像データの各々のサンプリング周波数の１／８以上であって１／４以下の範囲に含まれる。

なお、以下の各モードにおいて、「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」を用いた被写体像の撮影により取得される単数又は複数の第２の画像データの具体的な取得手法は特に限定されない。例えば上述の第２実施形態のように、本体コントローラ２８（表示制御部３７、画像判定部５６及び画像データ取得部５８（図１３参照））によってガイド部６０（図９〜図１２及び図１４〜図１６参照）を表示部３８に表示することによりユーザをガイドして、複数の第２の画像データの撮影取得処理が行われてもよい。

この場合、フィルタ記憶部４８（記憶部）に「レンズユニットコントローラ２０と本体コントローラ２８との間において撮影情報の送受信を適切に行うことができるレンズユニット１２（第１の光学系）」を用いた被写体像の撮影により取得される画像データ（第１の画像データ）の周波数領域におけるデータを記憶しておいてもよい。例えば「レンズユニットコントローラ２０と本体コントローラ２８との間において撮影情報の送受信を適切に行うことができるレンズユニット１２（第１の光学系）」を使って所定のチャート等の被写体像（第１の被写体像）を、撮影条件を変えて複数回撮影しておき、その撮影条件毎に得られる撮影画像データ（第１の画像データ）の周波数特性データを予めフィルタ記憶部４８に記憶しておくと共に、その「レンズユニット１２（第１の光学系）」に関連付けられた鮮鋭化フィルタを撮影条件毎に予めフィルタ記憶部４８に記憶しておいてもよい。カメラ本体１４に「レンズユニットコントローラ２０と本体コントローラ２８との間において撮影情報の送受信を適切に行うことができないレンズユニット１２（第２の光学系）」が装着された場合、上述の第１の被写体像の撮影をユーザに促すガイドが行われ、その「レンズユニット１２（第２の光学系）」を使って撮影によって第１の被写体像の撮影画像データが取得される。

そして周波数解析部４０は、被写体像（第１の被写体像）に関する第１の画像データの周波数領域におけるデータ（周波数特性データ）をフィルタ記憶部４８（記憶部）から取得し、第２の光学系及び撮像素子２６（図１参照）を用いた被写体像（第１の被写体像）の撮影により第２の画像データの周波数領域におけるデータを取得する。そして同じ「第１の被写体像」に関する「撮影条件を適切に取得可能なレンズユニット１２（第１の光学系）を使った撮影画像データ」と「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）を使った撮影画像データ」とが光学特性取得部４２において比較され、レンズユニット１２（第１の光学系）とレンズユニット１２（第２の光学系）との光学特性の相違が光学特性取得部４２において類推される。その類推結果に基づいて、「撮影条件を適切に取得可能なレンズユニット１２（第１の光学系）」に関連付けられた鮮鋭化フィルタの中から「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」に関連付ける鮮鋭化フィルタがフィルタ取得部４４によって取得される。

したがって以下の各モード（特に第１のモード及び第３のモード）に関して画像処理部３６は、デジタルカメラ１０（本体コントローラ２８）以外の機器類（コンピュータ８０（コンピュータコントローラ８２）、サーバ８５（サーバコントローラ８７）等）に設けられてもよい。画像処理部３６がデジタルカメラ１０以外の機器類に設けられる場合、デジタルカメラ１０から画像処理部３６に鮮鋭化フィルタを取得するための画像データが送られる。すなわち、コンピュータ８０等で以下の各モード（特に第１のモード及び第３のモード）の処理を行う際には、「一般的な観賞用の画像データ」に加えて「鮮鋭化フィルタを取得するために使用する画像データ（複数の第２の画像データ）」がデジタルカメラ１０からコンピュータ８０等に送られる。そして「鮮鋭化フィルタを取得するために使用する画像データ（複数の第２の画像データ）」から「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」に関連付ける鮮鋭化フィルタが取得され、その鮮鋭化フィルタを使って「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」により撮影取得された撮影画像データ（一般的な観賞用の画像データ）の鮮鋭化処理を行うことができる。

この場合、ユーザは、「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」をカメラ本体１４に装着したデジタルカメラ１０によって、「鮮鋭化フィルタを取得するために使用する画像データ（複数の第２の画像データ）」及び「一般的な観賞用の画像データ」を撮影取得し、デジタルカメラ１０の画像記憶部２９に保存する。そして、これらの「鮮鋭化フィルタを取得するために使用する画像データ（複数の第２の画像データ）」及び「一般的な観賞用の画像データ」が画像記憶部２９からコンピュータ８０等が転送され、転送先のコンピュータ８０等に設けられる画像処理部３６において各モードの処理が行われる。

なお「鮮鋭化フィルタを取得するために使用する複数の第２の画像データ」は、同一の被写体像に関する撮影画像データである。特に、「レンズユニットコントローラ２０と本体コントローラ２８との間において撮影情報の送受信を適切に行うことができるレンズユニット１２（第１の光学系）」に関する第１の画像データの被写体像と同一の被写体像に関する撮影画像データが「鮮鋭化フィルタを取得するために使用する複数の第２の画像データ」とされる。すなわちユーザにおいて第１の画像データと同じ被写体像を撮影してもらって「複数の第２の画像データ」を取得し、その「複数の第２の画像データ」の中から「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）に関連付ける鮮鋭化フィルタの取得処理」に使用する最適な画像データが選ばれる。特に「第１の画像データの周波数特性データを予め記憶しておく形態」では、ユーザは、予め記憶されている「第１の画像データ」がどのような撮影条件で取得されたかの情報が分からない。したがって、同じ被写体像の撮影画像データ（第２の画像データ）を複数取得しておき、その複数の撮影画像データ（第２の画像データ）の中から自動で最適な画像データが選択される形態は、全般的に有益である。

＜第１のモード＞
図１８は、第３実施形態の第１のモードに係る画像データ取得部５８における処理の一例を示すフローチャートである。

本モードでは、「画角」以外の撮影条件（特に「絞り値」及び「焦点距離」）を同一として複数の第２の画像データの撮影取得が行われており、それらの複数の第２の画像データを評価して最適な画像データが選定される。

すなわち本モードでは、ユーザにより、「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）」をカメラ本体１４に装着したデジタルカメラ１０を使って、「絞り値」及び「焦点距離」等を変えずに複数の画像データ（第２の画像データ）を撮影取得してもらう。そして、その複数の画像データ（第２の画像データ）の中から、「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）に関連付ける鮮鋭化フィルタの取得処理」に使用される第１の画像データに近い画角の第２の画像データが選ばれる。なおここでいう複数の画像データ（第２の画像データ）と、「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）に関連付ける鮮鋭化フィルタの取得処理」に使用される第１の画像データとは、同一の被写体像に関する。レンズユニット１２が交換可能な場合、上述の第１の光学系と第２の光学系とでは倍率が異なる等のために、第１の画像データと第２の画像データとの画角を同じに設定することが難しいケースもある。そのようなケースにおいて、本モードのように、複数の第２の画像データの中から「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）に関連付ける鮮鋭化フィルタの取得処理」に使用するのに最適な画角を有する第２の画像データを取得することは、ユーザにとって有益である。

なお本モードでは、画像処理部３６がデジタルカメラ１０の本体コントローラ２８に設けられる場合も、画像処理部３６がデジタルカメラ１０（本体コントローラ２８）以外の機器類（コンピュータ８０（コンピュータコントローラ８２）、サーバ８５（サーバコントローラ８７）等）に設けられる場合も同様の処理フローとなる。

まず画像データ取得部５８によって複数の第２の画像データが取得される（図１８のＳ２１）。

そして画像データ取得部５８は、複数の第２の画像データの評価データを取得する（Ｓ２２）。本モードでは、第２の画像データのサンプリング周波数の１／８以上であって１／４以下の範囲における各第２の画像データの成分量を表すデータが評価データとして用いられ、画像データ取得部５８は高速フーリエ変換等を利用した処理によってそのような評価データを各第２の画像データに関して取得する。

そして画像データ取得部５８は、評価データに基づいて複数の第２の画像データの中から、光学特性取得部４２における第１の画像データとの比較に適した画像データを取得する（Ｓ２３）。本モードでは、第２の画像データのサンプリング周波数の１／８以上であって１／４以下の範囲において最も大きな成分量を示す第２の画像データを「比較に適した画像データ」として選定し、周波数解析部４０に送る。鮮鋭化処理による影響が比較的大きい範囲（例えば第２の画像データのサンプリング周波数の１／８以上であって１／４以下の範囲）における「最も大きな成分量」に基づいて「比較に適した画像データ」を選定する。そのため、鮮鋭化処理において意図される補正帯域の出力が最大の第２の画像データを使うことになり、第１の画像データと比較し易くなる。

そして第１実施形態と同様の処理が行われる（図８のＳ１１〜Ｓ１８参照）。

＜第２のモード＞
本モードでは、「画角」以外の撮影条件（特に「絞り値」及び「焦点距離」）を変えて複数の第２の画像データの撮影取得が行われており、それらの複数の第２の画像データを評価して最適な画像データが選定される。したがってユーザは、「複数の第２の画像データ」を撮影取得する際には基本的に「画角」は変えずに、他の撮影条件（特に「絞り値」及び「焦点距離」）を変えて複数の第２の画像データの撮影取得を行う。

例えば「撮影条件」として絞り値を変えて複数の第２の画像データが撮影取得される場合には、絞り値に応じて露出が変わってしまう。したがって「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）に関連付ける鮮鋭化フィルタの取得処理」に使用する画像データとして不適切な露出の第２の画像データを避けて、適切な露出の第２の画像データを選ぶ必要がある。本モードでは、そのような「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）に関連付ける鮮鋭化フィルタの取得処理」に使用する画像データとして適切な第２の画像データを取得する処理に関する。

図１９は、第３実施形態の第２のモードに係る画像データ取得部５８における処理の一例を示すフローチャートである。

本モードでは、画像処理部３６がデジタルカメラ１０の本体コントローラ２８に設けられる。

まず画像データ取得部５８によって１つの第２の画像データが取得される（図１９のＳ３１）。

そして画像データ取得部５８によってその１つの第２の画像データの露出が適正か否かが判定される（Ｓ３２）。露出が適正か否かの判定手法は特に限定されない。画像データ取得部５８は、例えば、対象となっている１つの第２の画像データの画像全体の明るさを判定し、その明るさを示す指標値と閾値との比較等によって、極度に暗い場合や極度に明るい場合には「不適正な露出」と判定し、それ以外を「適正な露出」と判定してもよい。

第２の画像データの露出が適正であると判定される場合（Ｓ３２のＹ）、画像データ取得部５８の内部又は外部に設けられる図示しないメモリにその第２の画像データが記憶される（Ｓ３３）。一方、第２の画像データの露出が適正ではないと判定される場合（Ｓ３２のＮ）、その第２の画像データは記憶されず、画像データ取得部５８は表示制御部３７に指示信号を送り、表示制御部３７は画像データ取得部５８からの指示信号を受信すると表示部３８に露出が適正でない旨を示す警告表示を表示させる（Ｓ３４）。

そして画像データ取得部５８によって第２の画像データの露出が補正される（Ｓ３５）。第２の画像データの露出の補正手法は特に限定されない。画像データ取得部５８は、例えばゲインコントロールによって第２の画像データの露出を±１ＥＶ、±２ＥＶ等のように補正してもよい。また画像データ取得部５８は、シャッタースピードを変えて第２の画像データの再撮影を実施させることにより、第２の画像データの露出補正を実現してもよい。

そして画像データ取得部５８によって、第２の画像データの露出の補正量が限度内か否かが判定される（Ｓ３６）。第２の画像データの露出の補正量が限度内か否かの判定手法は特に限定されない。

第２の画像データの露出の補正量が限度内であると判定される場合（Ｓ３６のＹ）、上述のステップＳ３２〜Ｓ３５が繰り返される。一方、第２の画像データの露出の補正量が限度内ではないと判定される場合（Ｓ３６のＮ）、それまでに図示しないメモリに記憶された露出条件の異なる複数の第２の画像データの評価データが画像データ取得部５８によって取得される（Ｓ３７）。そして画像データ取得部５８は、評価データに基づいて複数の第２の画像データの中から、周波数解析部４０における第１の画像データとの比較に適して画像データを取得する（Ｓ３８）。

なお、本モードにおけるこれらの「評価データの取得（Ｓ３７）」及び「比較に適した画像データの取得（Ｓ３８）」の手法は、上述の第１のモードと同様である。

そして第１実施形態と同様の処理が行われる（図８のＳ１１〜Ｓ１８参照）。

＜第３のモード＞
本モードでは、本モードでは、「画角」以外の撮影条件（特に「絞り値」及び「焦点距離」）を変えて複数の第２の画像データの撮影取得が行われており、それらの複数の第２の画像データを評価して最適な画像データが選定される。したがってユーザは、「複数の第２の画像データ」を撮影取得する際には基本的に「画角」は変えずに、他の撮影条件（特に「絞り値」及び「焦点距離」）を変えて複数の第２の画像データの撮影取得を行う。

例えば「撮影条件」として絞り値を変えて複数の第２の画像データが撮影取得される場合には、絞り値に応じて露出が変わってしまう。したがって「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）に関連付ける鮮鋭化フィルタの取得処理」に使用する画像データとして不適切な露出の第２の画像データを避けて、適切な露出の第２の画像データを選ぶ必要がある。本モードでは、そのような「撮影条件を適切に取得することができないレンズユニット１２（第２の光学系）に関連付ける鮮鋭化フィルタの取得処理」に使用する画像データとして適切な第２の画像データを取得する処理に関する。

図２０は、第３実施形態の第３のモードに係る画像データ取得部５８における処理の一例を示すフローチャートである。

本モードでは、画像処理部３６がデジタルカメラ１０（本体コントローラ２８）以外の機器類（コンピュータ８０（コンピュータコントローラ８２）、サーバ８５（サーバコントローラ８７）等）に設置可能である。以下では、一例として、コンピュータコントローラ８２（図１参照）に画像処理部３６が設けられるケースについて説明する。

まずユーザに、露出条件を変えて複数の第２の画像データを取得してもらい、その複数の第２の画像データはデジタルカメラ１０（カメラ本体１４）に設けられる画像記憶部２９に保存される。そして画像記憶部２９に保存された「露出条件の異なる複数の第２の画像データ」が、コンピュータコントローラ８２の画像データ取得部５８によって取得される（図２０のＳ４１）。

そして画像データ取得部５８は、複数の第２の画像データの評価データを取得し（Ｓ４２）、評価データに基づいて複数の第２の画像データの中から、周波数解析部４０における第１の画像データとの比較に適して画像データを取得する（Ｓ４３）。本モードにおけるこれらの「評価データの取得（Ｓ４２）」及び「比較に適した画像データの取得（Ｓ４３）」の手法は、上述の第１のモードと同様である。

そして第１実施形態と同様の処理が行われる（図８のＳ１１〜Ｓ１８参照）。

＜他の変形例＞
上述の実施形態及び変形例のうち任意の形態同士が組み合わされてもよい。また上述の実施形態は例示に過ぎず、他の構成に本発明を適用してもよい。

また上述の実施形態では、鮮鋭化フィルタが絞り値及び焦点距離の情報に基づいて特定される例について説明したが、他の撮影条件（被写体距離、明るさ（露出、ヒストグラム、飽和度）等）に基づいて鮮鋭化フィルタが特定される場合にも同様の作用効果を得ることができる。

また上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能である。例えば、上述の各装置及び処理部（画像処理部３６等）における画像処理方法（画像処理手順）をコンピュータに実行させるプログラム、そのプログラムを記憶したコンピュータ読み取り可能な記憶媒体（非一時的記憶媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。

＜ＥＤｏＦシステムへの応用例＞
上述の実施形態における鮮鋭化処理は光学伝達関数を考慮した復元処理を含む。この復元処理は、特定の撮影条件情報（例えば、絞り値、焦点距離、レンズ種類、ズーム倍率など）に応じて点拡がり（点像ボケ）を回復修正することで本来の被写体像を復元する画像処理であるが、本発明を適用可能な鮮鋭化処理は上述の実施形態における復元処理に限定されるものではない。例えば、拡大された被写界（焦点）深度（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆｏｃｕｓ））を有する光学系（撮影レンズ等）によって撮影取得された画像データに対する復元処理に対しても、本発明に係る復元処理を適用することが可能である。ＥＤｏＦ光学系によって被写界深度（焦点深度）が拡大された状態において撮影取得されるボケ画像の画像データに対して復元処理を行うことにより、広範囲でピントが合った状態の高解像度の画像データを復元生成することができる。この場合、ＥＤｏＦ光学系の光学伝達関数（ＰＳＦ、ＯＴＦ、ＭＴＦ、ＰＴＦ、等）に基づく復元フィルタであって、拡大された被写界深度（焦点深度）の範囲内において良好な画像復元が可能となるように設定されたフィルタ係数を有する復元フィルタを用いた復元処理が行われる。

以下に、ＥＤｏＦ光学系を介して撮影取得された画像データの復元に関するシステム（ＥＤｏＦシステム）の一例について説明する。なお、以下に示す例では、デモザイク処理後の画像データ（ＲＧＢデータ）から得られる輝度信号（Ｙデータ）に対して復元処理を行う例について説明するが、復元処理を行うタイミングは特に限定されず、例えば「デモザイク処理前の画像データ（モザイク画像データ）」や「デモザイク処理後であって輝度信号変換処理前の画像データ（デモザイク画像データ）」に対して復元処理が行われてもよい。

図２１は、ＥＤｏＦ光学系を備える撮像モジュール１０１の一形態を示すブロック図である。本例の撮像モジュール（デジタルカメラ等）１０１は、ＥＤｏＦ光学系（レンズユニット）１１０と、撮像素子１１２と、ＡＤ変換部１１４と、復元処理ブロック（画像処理部３６）１２０とを含む。

図２２は、ＥＤｏＦ光学系１１０の一例を示す図である。本例のＥＤｏＦ光学系１１０は、単焦点の固定された撮影レンズ１１０Ａと、瞳位置に配置される光学フィルタ１１１とを有する。光学フィルタ１１１は、位相を変調させるもので、拡大された被写界深度（焦点深度）（ＥＤｏＦ）が得られるようにＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）をＥＤｏＦ化する。このように、撮影レンズ１１０Ａ及び光学フィルタ１１１は、位相を変調して被写界深度を拡大させるレンズ部を構成する。

なお、ＥＤｏＦ光学系１１０は必要に応じて他の構成要素を含み、例えば光学フィルタ１１１の近傍には絞り（図示省略）が配設されている。また、光学フィルタ１１１は、１枚でもよいし、複数枚を組み合わせたものでもよい。また、光学フィルタ１１１は、光学的位相変調手段の一例に過ぎず、ＥＤｏＦ光学系１１０（撮影レンズ１１０Ａ）のＥＤｏＦ化は他の手段によって実現されてもよい。例えば、光学フィルタ１１１を設ける代わりに、本例の光学フィルタ１１１と同等の機能を有するようにレンズ設計された撮影レンズ１１０ＡによってＥＤｏＦ光学系１１０のＥＤｏＦ化を実現してもよい。

すなわち、撮像素子１１２の受光面への結像の波面を変化させる各種の手段によって、ＥＤｏＦ光学系１１０のＥＤｏＦ化を実現することが可能である。例えば、「厚みが変化する光学素子」、「屈折率が変化する光学素子（屈折率分布型波面変調レンズ等）」、「レンズ表面へのコーディング等により厚みや屈折率が変化する光学素子（波面変調ハイブリッドレンズ、レンズ面上に位相面として形成される光学素子、等）」、「光の位相分布を変調可能な液晶素子（液晶空間位相変調素子等）」を、ＥＤｏＦ光学系１１０のＥＤｏＦ化手段として採用しうる。このように、光波面変調素子（光学フィルタ１１１（位相板））によって規則的に分散した画像形成が可能なケースだけではなく、光波面変調素子を用いた場合と同様の分散画像を、光波面変調素子を用いずに撮影レンズ１１０Ａ自体によって形成可能なケースに対しても、本発明は応用可能である。

図２２に示すＥＤｏＦ光学系１１０は、メカ的に焦点調節を行う焦点調節機構を省略することができるため小型化が可能であり、カメラ付き携帯電話や携帯情報端末に好適に搭載可能である。

ＥＤｏＦ化されたＥＤｏＦ光学系１１０を通過後の光学像は、図２１に示す撮像素子１１２に結像され、ここで電気信号に変換される。

撮像素子１１２は、所定のパターン配列（ベイヤー配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ配列、ハニカム配列、等）でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズ、カラーフィルタ（本例ではＲＧＢカラーフィルタ）及びフォトダイオードを含んで構成される。ＥＤｏＦ光学系１１０を介して撮像素子１１２の受光面に入射した光学像は、その受光面に配列された各フォトダイオードにより入射光量に応じた量の信号電荷に変換される。そして、各フォトダイオードに蓄積されたＲ、Ｇ、Ｂの信号電荷は、画素毎の電圧信号（画像信号）として順次出力される。

ＡＤ変換部１１４は、撮像素子１１２から画素毎に出力されるアナログのＲ、Ｇ、Ｂ画像信号をデジタルのＲＧＢ画像信号に変換する。ＡＤ変換部１１４によりデジタルの画像信号に変換されたデジタル画像信号は、復元処理ブロック１２０に加えられる。

復元処理ブロック１２０は、例えば、黒レベル調整部１２２と、ホワイトバランスゲイン部１２３と、ガンマ処理部１２４と、デモザイク処理部１２５と、ＲＧＢ／ＹＣｒＣｂ変換部１２６と、Ｙ信号復元処理部１２７とを含む。

黒レベル調整部１２２は、ＡＤ変換部１１４から出力されたデジタル画像信号に黒レベル調整を施す。黒レベル調整には、公知の方法が採用されうる。例えば、ある有効光電変換素子に着目した場合、その有効光電変換素子を含む光電変換素子行に含まれる複数のＯＢ光電変換素子の各々に対応する暗電流量取得用信号の平均を求め、その有効光電変換素子に対応する暗電流量取得用信号からこの平均を減算することにより、黒レベル調整が行われる。

ホワイトバランスゲイン部１２３は、黒レベルデータが調整されたデジタル画像信号に含まれるＲＧＢ各色信号のホワイトバランスゲインに応じたゲイン調整を行う。

ガンマ処理部１２４は、ホワイトバランス調整されたＲ、Ｇ、Ｂ画像信号が所望のガンマ特性となるように中間調等の階調補正を行うガンマ補正を行う。

デモザイク処理部１２５は、ガンマ補正後のＲ、Ｇ、Ｂ画像信号にデモザイク処理を施す。具体的には、デモザイク処理部１２５は、Ｒ、Ｇ、Ｂの画像信号に色補間処理を施すことにより、撮像素子１１２の各受光画素から出力される一組の画像信号（Ｒ信号、Ｇ信号、Ｂ信号）を生成する。すなわち、色デモザイク処理前は、各受光画素からの画素信号はＲ、Ｇ、Ｂの画像信号のいずれかであるが、色デモザイク処理後は、各受光画素に対応するＲ、Ｇ、Ｂ信号の３つの画素信号の組が出力されることとなる。

ＲＧＢ／ＹＣｒＣｂ変換部１２６は、デモザイク処理された画素毎のＲ、Ｇ、Ｂ信号を、輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換し、画素毎の輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂを出力する。

Ｙ信号復元処理部１２７は、予め記憶された復元フィルタに基づいて、ＲＧＢ／ＹＣｒＣｂ変換部１２６からの輝度信号Ｙに復元処理を行う。復元フィルタは、例えば、７×７のカーネルサイズを有するデコンボリューションカーネル（Ｍ＝７、Ｎ＝７のタップ数に対応）と、そのデコンボリューションカーネルに対応する演算係数（復元ゲインデータ、フィルタ係数に対応）とからなり、光学フィルタ１１１の位相変調分のデコンボリューション処理（逆畳み込み演算処理）に使用される。なお、復元フィルタは、光学フィルタ１１１に対応するものが図示しないメモリ（例えばＹ信号復元処理部１２７が付随的に設けられるメモリ）に記憶される。また、デコンボリューションカーネルのカーネルサイズは、７×７のものに限らない。なお、Ｙ信号復元処理部１２７は、上述した画像処理部３６における鮮鋭化処理の機能を有する。

次に、復元処理ブロック１２０による復元処理について説明する。図２３は、図２１に示す復元処理ブロック１２０による復元処理フローの一例を示す図である。

黒レベル調整部１２２の一方の入力には、ＡＤ変換部１１４からデジタル画像信号が加えられており、他の入力には黒レベルデータが加えられており、黒レベル調整部１２２は、デジタル画像信号から黒レベルデータを減算し、黒レベルデータが減算されたデジタル画像信号をホワイトバランスゲイン部１２３に出力する（ステップＳ５１）。これにより、デジタル画像信号には黒レベル成分が含まれなくなり、黒レベルを示すデジタル画像信号は０になる。

黒レベル調整後の画像データに対し、順次、ホワイトバランスゲイン部１２３、ガンマ処理部１２４による処理が施される（ステップＳ５２及びステップＳ５３）。

ガンマ補正されたＲ、Ｇ、Ｂ信号は、デモザイク処理部１２５においてデモザイク処理された後に、ＲＧＢ／ＹＣｒＣｂ変換部１２６において輝度信号Ｙと色差信号Ｃｒ、Ｃｂに変換される（ステップＳ５４）。

Ｙ信号復元処理部１２７は、輝度信号Ｙに、ＥＤｏＦ光学系１１０の光学フィルタ１１
１の位相変調分のデコンボリューション処理を適用する復元処理を行う（ステップＳ５５）。すなわち、Ｙ信号復元処理部１２７は、任意の処理対象の画素を中心とする所定単位の画素群に対応する輝度信号（ここでは７×７画素の輝度信号）と、予めメモリなどに記憶されている復元フィルタ（７×７のデコンボリューションカーネルとその演算係数）とのデコンボリューション処理（逆畳み込み演算処理）を行う。Ｙ信号復元処理部１２７は、この所定単位の画素群毎のデコンボリューション処理を撮像面の全領域をカバーするよう繰り返すことにより画像全体の像ボケを取り除く復元処理を行う。復元フィルタは、デコンボリューション処理を施す画素群の中心の位置に応じて定められている。すなわち、近接する画素群には、共通の復元フィルタが適用される。さらに復元処理を簡略化するためには、全ての画素群に共通の復元フィルタが適用されることが好ましい。

図２４（ａ）に示すように、ＥＤｏＦ光学系１１０を通過後の輝度信号の点像（光学像）は、大きな点像（ボケた画像）として撮像素子１１２に結像されるが、Ｙ信号復元処理部１２７でのデコンボリューション処理により、図２４（ｂ）に示すように小さな点像（高解像度の画像）に復元される。

上述のようにデモザイク処理後の輝度信号に復元処理を適用することにより、復元処理のパラメータをＲＧＢ別々に持つ必要がなくなり、復元処理を高速化することができる。また、飛び飛びの位置にあるＲ、Ｇ、Ｂの画素に対応するＲ、Ｇ、Ｂの画像信号をそれぞれ１単位にまとめてデコンボリューション処理するのでなく、近接する画素の輝度信号同士を所定の単位にまとめ、その単位には共通の復元フィルタを適用してデコンボリューション処理するため、復元処理の精度が向上する。なお、色差信号Ｃｒ、Ｃｂについては、人の目による視覚の特性上、復元処理により解像度を上げなくても画質的には許容される。また、ＪＰＥＧのような圧縮形式により画像を記録する場合、色差信号は輝度信号よりも高い圧縮率によって圧縮されるので、復元処理により解像度を上げる必要性が乏しい。こうして、復元精度の向上と処理の簡易化及び高速化を両立できる。

以上説明したようなＥＤｏＦシステムの復元処理に対しても、上述の実施形態に係る点像復元処理を適用することが可能である。

また、本発明を適用可能な態様はデジタルカメラ及びコンピュータ（サーバ）には限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンへの応用例＞
図２５は、スマートフォン２０１の外観を示す図である。図２５に示すスマートフォン２０１は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、係る筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備えている。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図２６は、図２５に示すスマートフォン２０１の構成を示すブロック図である。図２６に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２００（上述の本体コントローラ２８が含まれる）とを備える。また、スマートフォン２０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２２０は、主制御部２００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達し、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。

表示パネル２２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２００に出力する。次いで、主制御部２００は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。

図２５に示すように、本発明の撮像装置の一実施形態として例示しているスマートフォン２０１の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成しているが、操作パネル２２２が表示パネル２２１を完全に覆うような配置となっている。係る配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２００にて処理可能な音声データに変換して主制御部２００に出力したり、無線通信部２１０或いは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力するものである。また、図２５に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。

操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２５に示すように、操作部２４０は、スマートフォン２０１の筐体２０２の側面に搭載され、指などにより押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２５０は、主制御部２００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応付けたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成するそれぞれの内部記憶部２５１と外部記憶部２５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２６０は、スマートフォン２０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン２０１の内部の各構成要素に伝達することや、スマートフォン２０１の内部のデータを外部機器に伝送することが可能である。

ＧＰＳ受信部２７０は、主制御部２００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２００の指示にしたがって、スマートフォン２０１の物理的な動きを検出する。スマートフォン２０１の物理的な動きを検出することにより、スマートフォン２０１の動く方向や加速度が検出される。係る検出結果は、主制御部２００に出力されるものである。

電源部２９０は、主制御部２００の指示にしたがって、スマートフォン２０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２００は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２０１の各部を統括して制御するものである。また、主制御部２００は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアにしたがって主制御部２００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２００が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。

更に、主制御部２００は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２００は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２００は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２００は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ
Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部２４１は、主制御部２００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することができる。図２５に示すにスマートフォン２０１において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、或いは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合、撮影に供するカメラ部２４１を切り替えて単独にて撮影したり、或いは、複数のカメラ部２４１を同時に使用して撮影することもできる。

また、カメラ部２４１はスマートフォン２０１の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力の一つとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。更には、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２０１のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２７０により取得した位置情報、マイクロホン２３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２８０により取得した姿勢情報等などを付加して記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力することもできる。

上述の画像処理部３６は、例えば主制御部２００によって実現可能である。

本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…デジタルカメラ、１２…レンズユニット、１４…カメラ本体、１６…レンズ、１７…絞り、１８…光学系操作部、２０…レンズユニットコントローラ、２２…レンズユニット入出力部、２６…撮像素子、２８…本体コントローラ、２９…画像記憶部、３０…カメラ本体入出力部、３２…入出力インターフェース、３４…デバイス制御部、３６…画像処理部、３７…表示制御部、３８…表示部、４０…周波数解析部、４２…光学特性取得部、４４…フィルタ取得部、４６…フィルタ処理部、４８…フィルタ記憶部、４９…フィルタ特性データ、５０…鮮鋭化フィルタ、５６…画像判定部、５８…画像データ取得部、６０…ガイド部、６１…オートフォーカスエリア、６２…撮影条件表示部、６４…判定情報部、８０…コンピュータ、８１…コンピュータ入出力部、８２…コンピュータコントローラ、８３…ディスプレイ、８４…ネットワーク、８５…サーバ、８６…サーバ入出力部、８７…サーバコントローラ、１０１…撮像モジュール、１１０…ＥＤｏＦ光学系、１１０Ａ…撮影レンズ、１１１…光学フィルタ、１１２…撮像素子、１１４…ＡＤ変換部、１２０…復元処理ブロック、１２２…黒レベル調整部、１２３…ホワイトバランスゲイン部、１２４…ガンマ処理部、１２５…デモザイク処理部、１２６…ＹＣｒＣｂ変換部、１２７…Ｙ信号復元処理部、２００…主制御部、２０１…スマートフォン、２０２…筐体、２１０…無線通信部、２２０…表示入力部、２２１…表示パネル、２２２…操作パネル、２３０…通話部、２３１…スピーカ、２３２…マイクロホン、２４０…操作部、２４１…カメラ部、２５０…記憶部、２５１…内部記憶部、２５２…外部記憶部、２６０…外部入出力部、２７０…ＧＰＳ受信部、２８０…モーションセンサ部、２９０…電源部

Claims (24)

1. 第１の光学系を用いた被写体像の撮影により取得される第１の画像データ、及び第２の光学系を用いた前記被写体像と同一の被写体像の撮影により取得される第２の画像データの各々の周波数領域におけるデータを取得する周波数解析部と、
   前記第１の画像データの周波数領域におけるデータと前記第２の画像データの周波数領域におけるデータとを比較して、前記第２の光学系の光学特性に関する周波数特性データを取得する光学特性取得部と、
   前記第２の光学系の前記光学特性に関する前記周波数特性データに基づいて、前記第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から、前記第２の光学系に関連付ける鮮鋭化フィルタを取得するフィルタ取得部と、を備える画像処理装置。
2. 前記フィルタ取得部は、前記第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から取得される鮮鋭化フィルタであって、前記第２の光学系の前記光学特性に関する前記周波数特性データと周波数特性が最も近い鮮鋭化フィルタを、前記第２の光学系に関連付ける鮮鋭化フィルタとして取得する請求項１に記載の画像処理装置。
3. 前記光学特性取得部は、前記第２の光学系の前記光学特性に関する前記周波数特性データを、前記第１の画像データの周波数領域におけるデータと前記第２の画像データの周波数領域におけるデータとの比に基づいて取得する請求項１又は２に記載の画像処理装置。
4. 前記第１の画像データは、前記第１の光学系に関連付けられた前記複数の鮮鋭化フィルタの中から撮影条件に応じて取得される鮮鋭化フィルタを使用した鮮鋭化処理を受けておらず、
   前記光学特性取得部は、前記第１の画像データの周波数領域におけるデータをａによって表し、前記第２の画像データの周波数領域におけるデータをｂによって表し、前記第１の光学系に関連付けられた前記複数の鮮鋭化フィルタの中から前記第１の画像データの撮影条件に応じて取得される鮮鋭化フィルタを適用する前の前記第１の画像データに対する当該鮮鋭化フィルタを適用した後の前記第１の画像データの周波数毎の比率を表すレスポンスをｃによって表すと、ａ／ｂ×ｃによって表される前記第２の光学系の前記光学特性に関する前記周波数特性データを取得する請求項３に記載の画像処理装置。
5. 前記第１の光学系に関連付けられた前記複数の鮮鋭化フィルタの各々の周波数毎のレスポンスを前記鮮鋭化フィルタを適用する前の前記画像データに対する前記鮮鋭化フィルタを適用した後の前記画像データの空間周波数毎の比率により表した場合、
   前記フィルタ取得部は、横軸の基準を空間周波数とし、縦軸の基準を前記レスポンスとした座標系において、前記光学特性取得部によって取得される前記第２の光学系の前記光学特性に関する前記周波数特性データと前記鮮鋭化フィルタの前記レスポンスとの間によって囲まれる面積に基づいて、前記第１の光学系に関連付けられた前記複数の鮮鋭化フィルタの中から前記第２の光学系に関連付ける前記鮮鋭化フィルタを取得する請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記フィルタ取得部は、前記第１の光学系に関連付けられた前記複数の鮮鋭化フィルタの中から選ばれる鮮鋭化フィルタであって、前記座標系において、前記光学特性取得部によって取得される前記第２の光学系の前記光学特性に関する前記周波数特性データと前記鮮鋭化フィルタの前記レスポンスとの間によって囲まれる面積が最も小さい鮮鋭化フィルタを、前記第２の光学系に関連付ける前記鮮鋭化フィルタとして取得する請求項５に記載の画像処理装置。
7. 前記フィルタ取得部が取得した前記鮮鋭化フィルタを前記第２の画像データに適用するフィルタ処理部を更に備える請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記第２の光学系の前記光学特性は、前記第２の光学系の光学伝達関数である請求項１〜７のいずれか一項に記載の画像処理装置。
9. 前記第２の光学系を用いた前記被写体像と同一の被写体像の撮影により取得される複数の第２の画像データの評価データを取得し、当該評価データに基づいて、前記複数の第２の画像データの中から、前記周波数解析部において周波数領域におけるデータが取得される前記第２の画像データを取得する画像データ取得部を更に備える請求項１〜８のいずれか一項に記載の画像処理装置。
10. 前記複数の第２の画像データは、異なる条件下において取得される請求項９に記載の画像処理装置。
11. 前記複数の第２の画像データは、相互に露出条件が異なる請求項１０に記載の画像処理装置。
12. 前記画像データ取得部は、前記複数の第２の画像データの特定の周波数の範囲の成分量に基づいて、前記複数の第２の画像データの中から、前記周波数解析部において周波数領域におけるデータが取得される前記第２の画像データを取得する請求項９〜１１のいずれか一項に記載の画像処理装置。
13. 前記画像データ取得部は、前記複数の第２の画像データの中から、前記特定の周波数の範囲の成分量が最も大きい第２の画像データを、前記周波数解析部において周波数領域におけるデータが取得される前記第２の画像データとして取得する請求項１２に記載の画像処理装置。
14. 前記特定の周波数の範囲は、前記複数の第２の画像データの各々のサンプリング周波数の１／８以上であって１／４以下の範囲に含まれる請求項１２又は１３に記載の画像処理装置。
15. 前記鮮鋭化フィルタは、前記第１の光学系の光学伝達関数に基づくフィルタである請求項１〜１４のいずれか一項に記載の画像処理装置。
16. 前記鮮鋭化フィルタは、前記第１の光学系の光学伝達関数に基づかないフィルタである請求項１〜１４のいずれか一項に記載の画像処理装置。
17. 前記フィルタ取得部は、前記第１の光学系に関連付けられた前記複数の鮮鋭化フィルタの中から、複数の像高に関連付けられた複数の鮮鋭化フィルタを、前記第２の光学系に関連付ける前記鮮鋭化フィルタとして取得する請求項１〜１６のいずれか一項に記載の画像処理装置。
18. 光学系を通過した被写体像を受光して撮影画像データを生成する撮像素子と、
    請求項１〜１７のいずれか一項に記載の画像処理装置と、を備える撮像装置。
19. 前記第１の画像データの周波数領域におけるデータを記憶する記憶部を更に備え、
    前記周波数解析部は、前記記憶部から前記第１の画像データの周波数領域におけるデータを取得し、前記第２の光学系及び前記撮像素子を用いた被写体像の撮影により前記第２の画像データの周波数領域におけるデータを取得する請求項１８に記載の撮像装置。
20. 表示部と、
    前記表示部を制御する表示制御部と、
    前記第２の光学系と、を更に備え、
    前記表示制御部は、ユーザに第１の被写体像の撮影を促すためのガイド部を前記表示部に表示させて、
    前記第２の画像データは、前記ガイド部に促されて撮影が行われて生成された前記撮影画像データである請求項１８又は１９に記載の撮像装置。
21. 前記ガイド部に促されて撮影が行われて生成された前記撮影画像データが第１の基準を満たすか否かを判定する画像判定部を更に備え、
    前記第２の画像データは、前記第１の基準を満たす前記撮影画像データである請求項２０に記載の撮像装置。
22. 前記表示制御部は、前記ガイド部に促されて撮影が行われて生成された前記撮影画像データが前記第１の基準を満たさない場合には、再度、ユーザに前記第１の被写体像の撮影を促すための前記ガイド部を前記表示部に表示させる請求項２１に記載の撮像装置。
23. 第１の光学系を用いた被写体像の撮影により取得される第１の画像データ及び第２の光学系を用いた前記被写体像と同一の被写体像の撮影により取得される第２の画像データの各々の周波数領域におけるデータを取得し、
    前記第１の画像データの周波数領域におけるデータと前記第２の画像データの周波数領域におけるデータとを比較して、前記第２の光学系の光学特性に関する周波数特性データを取得し、
    前記第２の光学系の前記光学特性に関する前記周波数特性データに基づいて、前記第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から、前記第２の光学系に関連付ける鮮鋭化フィルタを取得する、画像処理方法。
24. 第１の光学系を用いた被写体像の撮影により取得される第１の画像データ及び第２の光学系を用いた前記被写体像と同一の被写体像の撮影により取得される第２の画像データの各々の周波数領域におけるデータを取得する手順と、
    前記第１の画像データの周波数領域におけるデータと前記第２の画像データの周波数領域におけるデータとを比較して、前記第２の光学系の光学特性に関する周波数特性データを取得する手順と、
    前記第２の光学系の前記光学特性に関する前記周波数特性データに基づいて、前記第１の光学系に関連付けられた複数の鮮鋭化フィルタの中から、前記第２の光学系に関連付ける鮮鋭化フィルタを取得する手順と、をコンピュータに実行させるためのプログラム。

Images