JP5914192B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、デジタルカメラに代表される撮像装置に関し、特に光線空間情報（ライトフィールドとも呼ばれる）を取得可能なカメラの信号処理技術に関するものである。

近年のデジタルカメラは高機能化が進展し、技術による差別化がより困難になってきている。新しいカメラの形態として光線空間情報を取得可能なカメラの提案がなされている。このようなカメラはライトフィールドカメラ等と通称されている。ライトフィールドカメラでは異なる瞳領域を通過した光束を取得して、画像を再構成して出力画像を得ることで撮影後のフォーカス位置変化などの機能を提供することが可能である。

上述の再構成処理を施すためには、正確な光線情報が必要となる。一方で、撮影レンズのケラレ状態や光線空間情報を取得するための光学素子（マイクロレンズアレイなどが用いられる）の位置決め精度等の影響によって、正確な光線情報を得ることが困難な場合もある。

この問題を解決するために、特許文献１では、マイクロレンズアレイと受光素子アレイの情報を記録しておき適切に処理することで精密な位置合わせが不要なライトフィールドカメラが開示されている。

さらに、特許文献２では、焦点検出装置の光学系においてケラレが発生する状況下でも適切な信号処理を施すことで精度よく焦点検出がなされる技術が開示されている。

特開２００９−１７５６８０号公報 特開２０１０−１５２００６号公報

しかしながら、上述の特許文献に開示された従来技術では、ケラレが発生する状況下で適切な像を得ることが困難となる場合がある。すなわち特許文献１では、撮影レンズのケラレによる角度精度に対応する方法は開示されていない。特許文献２では、ケラレを考慮したライトフィールドカメラでの出力画像の生成方法は開示されていない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影レンズ等でのケラレが発生する状況下においても高品位な出力画像を得ることが可能なライトフィールドカメラとして機能する撮像装置を提供することである。

本発明に係わる撮像装置は、撮影光学系と、撮像素子と、前記撮像素子上の各画素へ入射する光束を前記撮影光学系の特定の瞳領域のみに制限する瞳分割手段と、前記撮像素子上の各画素に対応する瞳領域の２次元平面上での重心位置に基づいて、前記各画素への光束の入射角度を決定する入射角決定手段と、前記撮像素子から得られた電気信号に対して、前記入射角決定手段で決定した入射角度と、像生成を行う面の位置とに基づいて、前記２次元平面上でのケラレによる前記重心位置のシフト方向に、シフトを行う像シフト手段と、前記像シフト手段から得られた電気信号を合成する像生成手段と、を備えることを特徴とする。

本発明によれば、撮影レンズ等でのケラレが発生する状況下においても高品位な出力画像を得ることが可能なライトフィールドカメラとして機能する撮像装置を提供することができる。

本発明の撮像装置の一実施形態であるデジタルカメラおよびレンズの電気的構成を示すブロック図。 本発明の一実施形態における撮影光学系の要部を説明する図。 本発明の一実施形態の画像を得るための動作を示すフローチャート。 像の再構成を説明する図。 ケラレの発生を説明する図。 ケラレのある状況での像の再構成を説明する図。 本発明の他の例を示すフローチャート。 本発明に好適な他の光学系の説明図。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。

図１は、本発明の撮像装置の一実施形態であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。カメラ１およびレンズ（撮影レンズ）２からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系３ 、撮像素子６を含み、画像処理系は、画像処理部７を含む。また、記録再生系は、メモリ８、表示部９を含み、制御系は、カメラシステム制御回路５、操作検出部１０、およびレンズシステム制御回路１２、レンズ駆動部１３を含む。レンズ駆動部１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。

撮像系は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。撮像素子６は結像された光学像を所定の電気信号に変換する。撮影素子６の表面にはマイクロレンズが格子状に配置してあり、いわゆるマイクロレンズアレイ（以下、ＭＬＡ）を形成している。ＭＬＡは本実施形態において、瞳分割手段を構成する。ＭＬＡの機能や配置の詳細については図２を用いて後述する。後述するように、撮影素子６からピント評価量／適当な露光量が得られるので、この信号に基づいて適切に撮影光学系３が調整されることで、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６近傍で被写体像が結像される。

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。また、本実施形態の要部である、像シフト手段、像生成手段、コントラスト評価手段、相関計算手段等を含めることもできる。ただし、本実施形態では、これらの要素はカメラシステム制御回路１２内に配置する場合を想定して説明する。

メモリ８は実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ８は、記録部へ出力を行うとともに、表示部９に出力する像を生成、保存する。また、メモリ８は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。

カメラシステム制御回路２５は撮像の際のタイミング信号などを生成して出力する。外部操作に応答して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズボタンの押下を操作検出回路１０が検出して、撮像素子６の駆動、画像処理部７の動作、メモリ８の圧縮処理などを制御する。さらに表示部９によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。

次に、制御系による光学系の調整動作について説明する。カメラシステム制御回路５には画像処理部７が接続されており、撮像素子６からの信号を元に適切な焦点位置、絞り位置を求める。カメラシステム制御回路５は、電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２はレンズ駆動部１３を適切に制御する。さらにレンズシステム制御回路１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を元にレンズ駆動部１３を介してブレ補正レンズを適切に制御する。

図２は、本実施形態における撮影光学系の要部を説明する図である。本実施形態では、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。本実施形態では、角度情報の取得のために撮影光学系３の結像面近傍にＭＬＡを配置するとともに、ＭＬＡを構成する１つのレンズに対して複数の画素を対応させている。

図２（ａ）は撮像素子６とＭＬＡ２０の関係を模式的に示す図である。図２（ｂ）は撮像素子の画素とＭＬＡの対応を示す模式図である。図２（ｃ）はＭＬＡによってＭＬＡ下に設けられた画素が特定の瞳領域と対応づけられることを示す図である。

図２（ａ）に示すように撮像素子６上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影光学系３の結像面近傍になるように配置されている。図２（ａ）は撮影装置の横からと、正面からＭＬＡを見た状態を示しており、撮影装置正面から見るとＭＬＡのレンズが撮像素子６上の画素を覆うように配置されている。なお、図２（ａ）ではＭＬＡを構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない。実際の大きさについては図２（ｂ）を用いて説明する。

図２（ｂ）は図２（ａ）の装置正面からの図を一部拡大した図である。図２（ｂ）に示す格子状の枠は、撮像素子６の各画素を示している。一方ＭＬＡを構成する各マイクロレンズは太い円２０ａ，２０ｂ，２０ｃ，２０ｄで示している。図２（ｂ）から明らかなようにマイクロレンズ１つに対して複数の画素が割り当てられており、図２（ｂ）の例では、５行×５列＝２５個の画素が１つのマイクロレンズに対して設けられている。すなわち、各マイクロレンズの大きさは画素の大きさの５倍×５倍の大きさである。

図２（ｃ）は撮像素子６を、マイクロレンズの光軸を含みセンサの長手方向が図の横方向になるように切断した図である。図２（ｃ）の２１、２２、２３、２４、２５は撮像素子６の画素（１つの光電変換部）を示している。一方図２（ｃ）の上方に示した図は撮影光学系３の射出瞳面を示している。実際には、図２（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面は図２（ｃ）の紙面垂直方向になるが、説明を分かりやすくするために投影方向を変化させている。また、図２（ｃ）においては説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。

図２（ｃ）の画素２１、２２、２３、２４、２５は図２（ｂ）の２１ａ、２２ａ、２３ａ、２４ａ、２５ａとそれぞれ対応する位置関係にある。図２（ｃ）に示すように、マイクロレンズ２０によって各画素は撮影光学系３の射出瞳面上の特定の領域と共役になるように設計されている。図２（ｃ）の例では画素２１と領域３１が、画素２２と領域３２が、画素２３と領域３３が、画素２４と領域３４が、画素２５と領域３５がそれぞれ対応している。すなわち画素２１には撮影光学系３の射出瞳面上の領域３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子６上の位置関係から角度の情報を取得することが可能となる。

ここで後ほどの説明を簡単にするために記号を導入する。図２（ｃ）に示すように、撮像素子６の画素ピッチをΔｘ、角度分解能をΔθとする。さらに角度の分割数をＮθ（図２の例ではＮθ＝５）とする。画素ピッチは撮像素子６の形状によって決定され、Δθは光線の角度を取得する範囲と角度分割数Ｎθで決定される。すなわち、物理的な構造（撮像素子６およびＭＬＡ２０の構造）のみによってこれらのパラメータは決定される。

本実施形態に示した撮影光学系を利用して、撮像素子６の信号からケラレの影響を適切に処理した画像を得る方法について図３〜図６を用いて説明する。

図３は本実施形態の画像を得るための動作を示すフローチャートである。図３（ａ）は画像を得る全体の動作を、図３（ｂ）は像シフト手段の動作を、図３（ｃ）は像生成手段の動作を、図３（ｄ）は相関計算手段の動作をそれぞれ示している。

図３（ａ）から各ステップ順に説明する。ステップＳ１は画像取得動作の開始を示している。例えば、図１にあった操作検出部１０が撮影者からの特定の動作を検出した時（例えばレリーズボタンの押下）などが該当する。

ステップＳ２は撮像素子６を適当な時間露光して、読み出す（Ａ／Ｄ変換する）ことによりデータを取得することに対応する。

ステップＳ３では相関計算手段を動作させて結果を得る。相関計算手段からはピント評価値に関する情報が得られる。動作の詳細は図３（ｄ）を用いて後述する。

ステップＳ４では適切に分割されたエリア（相関計算手段の説明で後述するが、ステップＳ６２での評価枠と対応する）毎にピント位置を決定する。後述する相関計算手段から得られるピント評価値が最も良くなる位置をピント位置として定義する。なお、ここでいう「良い」というのは後述するステップＳ６６での相関計算式に従うと値が小さい場合が「良い」状態に対応する。

ただし、ここでのピント位置とは、現在のピント位置からの相対的なピントずれを示すものである。すなわち、現在のピント位置でピントが合っている被写体のピント位置は０として、それよりも前や後ろにある被写体がそれぞれプラスマイナスの符号を持った値として得られる。さらには、ピント位置は被写体側での深さではなく像面側での結像面の位置を示すものとして得られる。

ステップＳ５では像シフト手段を動作させて結果を得る。この時の像生成位置はいくつかの方法が考えられる。たとえば、ステップＳ４で求めた各エリアのピント位置と被写体認識結果を総合してピント位置を与える方法などが考えられる。このようにすることで被写体として認識された物体に対してピントを合わせることが出来る。別の方法としては、ユーザー指定の位置を与えることが出来る。このようにすることで、いわゆるマニュアルフォーカスを実現することが出来る。像シフト手段の動作の詳細は図３（ｂ）を用いて後述する。

ステップＳ６では像生成手段を動作させて結果を得る。像生成手段の動作の詳細は図３（ｃ）を用いて後述する。ステップＳ７では、記録用画像フォーマットへの変換や圧縮などの適当な処理を施したのちにメモリ８に記録を行う。

ステップＳ８で一連の画像取得から記録までの動作が終了する。
図３（ｂ）を用いて像シフト手段の動作の詳細を説明する。ステップＳ２１は像シフト手段の動作開始を示している。

ステップＳ２２からステップＳ２６はループを形成している。ステップＳ２２では瞳分割数に応じた数だけループ計算が実行される。例えば、図２に示した例では、２５に分割されていたので、２５のそれぞれの瞳位置に応じた計算がなされる。図５を用いて後述するように、像の再構成を考えると同じ再構成面であっても入射角度が異なると（射出瞳が十分遠い場合には、通過する瞳領域が異なることとほぼ同義）像をシフトさせる量が異なる。これを適切に反映させるためのループである。

ステップＳ２３ではステップＳ２４およびステップＳ２５からのデータをもとに、評価位置に対応する各瞳領域での像シフト量を計算する。ステップＳ２５には、撮影時のレンズから得られる瞳距離、設定されたＦナンバーおよび現在処理している画素の像高等の情報が格納されている。ステップＳ２５には、各画素とＭＬＡとの対応関係が保存されており、各画素がどの瞳領域の光線を受光しているかが分かる情報が格納されている。これらの情報に基づいてシフト量に換算する動作については図４および図５を用いて詳述する。ステップＳ２３、Ｓ２４、Ｓ２５でケラレ等を考慮した入射角度を求め、シフト量に変換することからこの部分が入射角決定手段に対応する。

ステップＳ２５ではステップＳ２３の情報をもとに同じ入射角の光線を得ている（同じ瞳領域からの光線を得ている）画素をシフトさせる。同じ入射角の光線を得ている画素は例えば図２の２５ａと２５ｂが該当する。このような画素がＭＬＡを構成するマイクロレンズの数だけ存在している。像シフト手段は、後に図４および図５を用いて図解する。

ステップＳ２７において、呼び出し元のステップＳ４およびステップＳ７７に戻る。

図３（ｃ）を用いて像生成手段の動作の詳細を説明する。ステップＳ３１は像生成手段の動作開始を示している。

ステップＳ３２では、ステップＳ３５での加算のための領域のデータを初期化（０で埋める）する。この時のデータ領域の大きさはＭＬＡの数量分あれば良く、データの階調は元のデータの階調と瞳分割数の積を格納できるだけあれば都合がよい。例えば元のデータが８ｂｉｔで２５分割の場合、１３ｂｉｔ（＞８ｂｉｔ＋ｌｏｇ₂25）あればデータの桁あふれを考慮する必要が無い。

ステップＳ３３からステップＳ３８はループを形成している。ステップＳ３３ではＭＬＡを構成するマイクロレンズの数に応じてループ計算が実行される。例えば、図２に示した例では、元の撮像素子の画素数÷２５（瞳分割数）がマイクロレンズの数となる。

ステップＳ３４からステップＳ３７はループを形成している。ステップＳ３４では、瞳分割数に応じた数だけループ計算が実行される。例えば、図２に示した例では、２５に分割されていたので、２５のそれぞれの瞳位置からの光束が処理される。

ステップＳ３５では加算すべき瞳領域かの判断がなされる。すなわちユーザーの設定に応じて加算すべき領域を変化させて意図に沿った画像を提供する。一般的に加算する瞳領域を増やすと、Ｓ／Ｎに優れて焦点深度の浅い画像となる、減らすとその反対になる。

ステップＳ３６では加算がなされる。シフト量が画素の整数倍でない場合は、加算ステップＳ３６において、適切に内分されながら加算される。重なっている面積に応じて適切に加算すればよい。像生成手段は、後に図４を用いて図解する。

ステップＳ３９において、呼び出し元のステップＳ７に戻る。

図３（ｄ）を用いて相関計算手段の動作の詳細を説明する。ステップＳ６１は相関計算手段の動作開始を示している。

ステップＳ６２では、評価を行う評価点の数と、評価枠の大きさを設定する。ここでの評価枠は相関をノイズなどに負けずに適切に計算できる範囲で可能な限り小さくすることが好ましい。そのようにすることで欠陥補正を行う場合のピント位置検出が適切に行われる。

ステップＳ６３からステップＳ６９はループを形成している。ステップＳ６３では、ステップＳ６２で決定された評価数に対応した評価値を得るように繰り返し演算を行う。ステップＳ６４からステップＳ６７はループを形成している。ステップＳ６４では、ステップＳ６２で決定された評価枠の大きさに応じた画素数の範囲で相関計算を行う。

ステップＳ６５ではＡiまたはＢiが欠陥であるか否かを判断する。欠陥である場合には相関計算に用いるのは適当ではないのでステップＳ６７に進み、欠陥ではない場合はステップＳ６６に進む。相関計算は例えばステップＳ６６にあるようにΣ｜Ａi−Ｂi｜で計算すればよい。ここで、Ａiは特定の瞳領域を通過したi番目の画素の輝度を示している。ＢiはＡiとは異なる瞳領域を通過したｉ番目の画素の輝度を示している。例えば図２において、画素２２に対応する画素のみ並べたものをＡi、画素２４に対応する画素のみ並べたものをＢiとすれば良い。どの瞳領域の画素を選択するかは、基線長の長さ、瞳面のケラレ状況、等によって決定すればよい。

上記のように設定することで、異なる瞳領域を通過した像の相関を計算でき、いわゆる位相差ＡＦに基づく評価量を得ることができる。ステップＳ６８では、得られた相関値を評価量として格納する。

上述したΣ｜Ａi−Ｂi｜という評価式においては、相関値が小さくなった個所が最もピント状態が良い個所に対応している。ここでは差分絶対値を加算する方法で相関計算を行ったが、最大値を加算する方法、最小値を加算する方法、差分２乗値を加算する方法など他の計算方法によって相関計算を行っても良い。

ステップＳ６９において、呼び出し元のステップＳ７に戻る。

次に図４を用いて像シフトおよび像生成（像合成）を模式的に示し、像の再構成によるコントラスト計算の有用性について述べる。図４は上から（ａ）、（ｂ）、（ｃ）と並んでおり、図４（ｂ）は実際に撮像素子６が存在して画像を取得した面を、図４（ａ）は図４（ｂ）よりも物体側の再構成面（再構成面１とする）を、図４（ｃ）は図４（ｂ）よりも物体側から遠い側の再構成面（再構成面２とする）をそれぞれ示している。

図４（ｂ）において、Ｘ1,i、Ｘ2,i、Ｘ3,i、Ｘ4,i、Ｘ5,i、はそれぞれ瞳領域１、２、３、４、５を通過してマイクロレンズＸiに入射して得られたデータを示している。すなわち、添え字のうち前半は通過する瞳領域を、後半は画素の番号を示している。また、図４においても説明を明瞭にするためにデータを１次元的な広がりしかもたないものとして記述している。物理的な位置との関係においては、Ｘ1,iは図２（ｃ）の２１領域から得られるデータを、Ｘ2,iは図２（ｃ）の２２領域から得られるデータを、以下添え字の３、４、５は領域２３、２４、２５に対応していることを示している。

取得面での画像を生成するためには、図４（ｂ）にあるように、マイクロレンズXiに入射したデータを加算すればよい。具体的には、Ｓi＝Ｘ1,i＋Ｘ2,i＋Ｘ3,i＋Ｘ4,i＋Ｘ5,iでＸiに入射した光の角度方向の積分値を得ることができる。これにより通常のカメラと同様の像が生成される。

次に再構成面１での像の生成方法を考える。図１で説明したように、本実施形態の撮影光学系は、各画素に入射する光束を特定の瞳領域に限定しているために、入射角度が既知である。この角度に沿って再構成面での各画素の位置を再構成する。具体的にはＸ1,iのように瞳領域の添え字が１のものは図４右側において４１に示すような角度で入射しているとする。以下瞳領域の添え字２，３，４，５はそれぞれ４２，４３，４４，４５に対応しているとする。この時再構成面１でのマイクロレンズＸiに入射した光束は、取得面においては、Ｘi-2からＸi+2に分散して入射していることになる。より具体的には、Ｘ1,i-2、Ｘ2,i-1、Ｘ3,i、Ｘ4,i+1、Ｘ5,i+2に分散している。Ｘiに限らず再構成面１での像を復元するためには、入射角度に応じて像をシフトさせて加算すれば良いことが分かる。再構成面１での像を生成するためには、瞳領域の添え字が１のものは右に２画素シフト、瞳領域の添え字が２のものは右に１画素シフト、瞳領域の添え字が３のものはシフトなし、瞳領域の添え字が４のものは左に１画素シフト、瞳領域の添え字が５のものは左に２画素シフトすることで入射角度に応じたシフトを与えることができる。その後図４（ａ）の縦方向に加算することで再構成面１でのデータを得ることができる。具体的には、Ｓi＝Ｘ1,i-2＋Ｘ2,i-1＋Ｘ3,i＋Ｘ4,i+1＋Ｘ5,i+2で再構成面１において、Ｘiに入射した光の角度方向の積分値を得ることができる。これにより再構成面での画像が得られる。

ここで、再構成面１において、Ｘiに輝点があったとすると、取得面においてはＸ1,i-2、Ｘ2,i-1、Ｘ3,i、Ｘ4,i+1、Ｘ5,i+2に分散していわゆるボケ状態にある。しかしながら、上述した再構成面１での像を生成すると、再びＸiに輝点が生成されコントラストの高い像が得られる。すなわち像を再構成してコントラストを計算することで、いわゆるコントラストＡＦを行うことが可能となる。

また、図４（ｃ）から分かるように、再構成面２においても再構成面１と全く同様に像を生成することができる。再構成面を配置する方向が異なると（物体に対して反対側という意味）シフトさせる方向を反転させれば良いだけである。

図５を用いてケラレが発生している状況における処理について説明する。

図５（ａ）は図２（ａ）に対応する図でありＭＬＡの配置と図５（ｂ）から図５（ｄ）において拡大して説明するマイクロレンズを具体的に示している。図５（ｂ）、図２（ｃ）のうち射出瞳面での図の部分のみに対応する図である。図５（ｃ）から図５（ｅ）はケラレが発生する様子を説明する図である。

図５（ａ）は正面からＭＬＡ２０を見た状態を示しており、５０はこの位置におけるマイクロレンズによって形成されるイメージサークルを模式的に示している。図５（ａ）では縮小して表示しているために形状が不鮮明なので図５（ｂ）にこの部分のイメージサークルを拡大して表示する。イメージサークル５０は複雑なケラレを示している。すなわち図５（ｂ）の例では２つの円弧によって形成された形状となっており、マイクロレンズ２０の形状は円であるが、そのイメージサークルは必ずしも円にならない。この様子を以下で説明する。

ケラレの発生の様子を図５（ｃ）から図５（ｅ）を用いて説明する。図５（ｃ）は撮像素子６と絞り５７および各種レンズ枠５６，５８（レンズ保持等を行う部分であり、一般的に画面中心４９では光線を制限しないが像高に応じて光線を制限する端面となりうる個所、瞳以外の枠体）とケラレの関係を模式的に示している。図５（ｄ）は画面中心４９での絞り５７および各種レンズ枠５６，５８の位置関係を示す図であり、図５（ｅ）は撮像素子６上のある点５０での絞り５７および各種レンズ枠５６，５８の位置関係を示す図である。

図５（ｃ）では説明を分かりやすくするために、レンズ枠は絞り５７に対して撮像素子６側とその反対側に１つずつ書いたが、これは模式的なものであり必ずしも１つずつである必要はない。図５（ｃ）において絞り５７を示す太い直線は開口の大きさを１次元的に示したものである。実際の絞りはほぼ円形であるがその直径を模式的に示していると考えれば良い。これはレンズ枠５６，５８も同様である。画面中心４９から見た場合絞り５７に向かう光線はレンズ枠５６，５８によってケラレが発生することが無い。これを図５（ｄ）に示した。図５（ｄ）は絞り５７およびレンズ枠５６，５８を絞り５７の面に投影したものである。この時５６，５７，５８は同心円をなしており且つ絞り５７の径が最も小さいためにレンズ枠５６，５８によってケラレが発生していないことが分かる。

一方で、一定の像高がある点５０から見た場合、レンズ枠５６，５８によるケラレが発生する可能性がある。図５の例では撮像素子６側にあるレンズ枠５８によってケラレが発生している。ケラレの発生した領域を５９で図示した。図５（ｄ）と同様に点５０からの絞り５７およびレンズ枠５６，５８を絞り５７の面に投影したものを図５（ｅ）に示した。レンズ枠５８によってケラレが発生している様子が分かる。

図５（ｃ）から図５（ｅ）から分かるようにこのケラレの状態を決定している要因は、瞳距離（図５（ｃ）では撮像素子６と絞り５７との距離）、瞳径（＝Ｆナンバー、図５（ｃ）では絞り５７の幅）、像高（図５（ｃ）では画面中心４９と撮像素子６上のある点５０の比較で表現）、レンズ枠の距離（図５（ｃ）では撮像素子６とレンズ枠５６，５８との距離）、レンズ枠の径（図５（ｃ）ではレンズ枠５６，５８の幅）によって支配されている。これらの情報を実際の撮影条件に応じてレンズとの通信などによって取得して、適切に処理を施す。図３ではこれらの情報はステップＳ２４に格納されている。これをもとに図５（ｅ）のように瞳面でのケラレ状態が決定される。さらには、各瞳がどの領域に対応しているかの情報がステップＳ２５に格納されている。ステップＳ２４の情報と合わせて図５（ｂ）の領域５１のように各瞳に対応した領域のケラレ状態を決定する。

ケラレが発生した結果、図５（ｂ）に示す領域５１に対応する画素の光束は、ケラレが無い場合の重心５１ｇ１ではなくケラレがある場合の重心５１ｇ２をもとに入射角度を決定する必要がある。つまりケラレ状態を決定して重心を求め、重心に応じて入射角度を決定する。シフト量への影響については図６を用いて説明する。

図６は図４と対応している図であり、図４との差異はケラレが生じている場合を模式的に示している点である。図６は図４と同じく上から（ａ）、（ｂ）、（ｃ）と並んでおり、図６（ｂ）は実際に撮像素子６が存在して画像を取得した面を、図６（ａ）は図６（ｂ）よりも物体側の再構成面（再構成面１とする）を、図６（ｃ）は図６（ｂ）よりも物体側から遠い側の再構成面（再構成面２とする）をそれぞれ示している。また、図６において６１，６２，６３，６４，６５はそれぞれ図５（ｂ）の領域５１，５２，５３，５４，５５からの光束に対応している。

図４では像の取得面では、マイクロレンズＸiに入射したデータを加算し、Ｓi＝Ｘ1,i ＋Ｘ2,i＋Ｘ3,i＋Ｘ4,i＋Ｘ5,iでＸiに入射した光の角度方向の積分値を得ることができることをしめした。また、再構成面１では、Ｓi＝Ｘ1,i-2＋Ｘ2,i-1＋Ｘ3,i＋Ｘ4,i+1＋Ｘ5,i+2でＸiに入射した光の角度方向の積分値を得ることができることを示した。

図６においては、図５（ｂ）の領域５１に対応する光線６１が図４と異なる角度になっている。このため、再構成面でのシフト量をこれに合わせて変更する必要がある。例えば、図６（ａ）に示した再構成面１ではＳi＝（Ｘ1,i-1＋Ｘ1,i-2）／２＋Ｘ2,i-1＋Ｘ3,i ＋Ｘ4,i+1＋Ｘ5,i+2でＸiに入射した光の角度方向の積分値を得る方法などがある。ここでは（Ｘ1,i-1＋Ｘ1,i-2）／２として近傍２つの加算平均を利用したが、その他の適当な補間関数（スプライン補間等）を用いる方法や、最近傍の値を参照する方法などが考えられる。

また、図６（ｃ）から分かるように、再構成面２においても再構成面１と全く同様に像を生成することができる。再構成面を配置する方向が異なるとシフトさせる方向を反転させれば良いだけである。このようにすることで、図６（ｃ）に示した再構成面２においても適切な補間等によってケラレを考慮したＸiに入射した光の角度方向の積分値を得ることが可能である。

図５および図６の説明ではケラレ状態を特定して補正する方法について述べた。別のケラレへの対処方法としては、ケラレが生じた領域に対応する画素を利用しない方法もある。図２を用いて説明した光学系においては、１つのマイクロレンズに角度分割数の２乗個の画素が対応している。図２の例では５ｘ５＝２５個が対応している例を説明したが、このうちケラレが発生している画素は１６個、ケラレが発生していない画素は９個である。このような光学系ではケラレが生じた領域に対応する画素が過半を占めており、これらを利用しない方法は無効画素比率が多くなり現実的とは言えない。一方で、図８を用いて後述するような光学系においては、同じ角度分割数で設計を行った場合でも、１つのマイクロレンズに対してより多くの画素を対応させることが出来る。このような光学系においてはケラレの発生する画素の比率を下げることが出来る。これは面積（画素数）は大きさの２乗に比例するのに対して、周長（ケラレが発生する画素）は大きさの１乗に比例するためである。例として１０ｘ１０を考えるとケラレが発生していない画素は５２個となり過半を超える。このような場合は、ケラレが生じた領域に対応する画素を利用しない方法も簡易的で効果のある方法として活用することが出来る。

この場合のフローチャートを図７に示した。全体の流れは図３で示したものと同様であるが、ステップＳ２３付近の動作が異なっている。ステップＳ２４の情報をもとにステップＳ２３ａでケラレ判定を行う。明らかにこの部分がケラレ判定手段として動作する。ケラレがある場合は加算に用いる瞳というフラグをおろす。このようにすることで、ステップＳ３５でケラレのある領域に関しては加算が行われない（ケラレのある領域を除外する）ことになる。結果としてケラレの無い領域のみで像を再構成することになる。ステップＳ２３ｂではケラレの影響を無視してシフト量を計算すれば良い。すなわちこの場合は図５、６で考えたようなケラレを考えた角度等を求めるのではなく、図４で示したケラレの無い状態を考えればよく計算量を削減することが可能となる。

図８を用いて本実施形態に適用可能な別の光学系の例について説明する。図８は物体（被写体）からの光線が撮像素子６上に結像する状態を模式的に示した図である。図８（ａ）は図２で説明した光学系と対応しており、撮影光学系３の結像面近傍にＭＬＡ２０を配置した例である。図８（ｂ）は撮影光学系３の結像面よりも物体寄りにＭＬＡ２０を配置した例である。図８（ｃ）は撮影光学系３の結像面よりも物体から遠い側にＭＬＡ２０を配置した例である。

図８において、６は撮像素子を、２０はＭＬＡを、３１から３５は図２で用いた瞳領域を、７１は物体平面を、７１ａ，７１ｂは物体上の適当な点を、７２は撮影光学系の瞳平面を、８１、８２、８３，８４，８５，８６，８７，８８，８９はＭＬＡ上の特定のマイクロレンズをそれぞれ示している。図８（ｂ）および図８（ｃ）に示した６ａは仮想的な撮像素子を、２０ａは仮想的なＭＬＡを示している。これらは、図８（ａ）との対応関係を明確にするために参考に示した。また、物体上の点７１ａから出て瞳平面上の領域３１および３３を通過する光束を実線で、物体上の点７１ｂから出て瞳平面上の領域３１および３３を通過する光束を破線で図示した。

図８（ａ）の例では、図２でも説明したように、撮影光学系３の結像面近傍にＭＬＡ２０を配置することで、撮像素子６と撮影光学系の瞳平面７２が共役の関係にある。さらに、物体平面７１とＭＬＡ２０が共役の関係にある。このため物体上の点７１ａから出た光束はマイクロレンズ８１に、７１ｂを出た光束はマイクロレンズ８２に到達し、領域３１から３５それぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。

図８（ｂ）の例では、マイクロレンズ２０で撮影光学系３からの光束を結像させ、その結像面に撮像素子６を設ける。このように配置することで、物体平面７１と撮像素子６は共役の関係にある。物体上の点７１ａから出で瞳平面上の領域３１を通過した光束はマイクロレンズ８３に到達し、物体上の点７１ａから出て瞳平面上の領域３３を通過した光束はマイクロレンズ８４に到達する。物体上の点７１ｂから出て瞳平面上の領域３１を通過した光束はマイクロレンズ８４に到達し、物体上の点７１ｂから出て瞳平面上の領域３３を通過した光束はマイクロレンズ８５に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように物体上の点と、瞳平面上の通過領域によって、異なる位置にそれぞれ結像する。これらを、仮想的な撮像面６ａ上の位置に並べなおせば、図８（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図８（ｃ）の例では、マイクロレンズ２０で撮影光学系３からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子６を設ける。このように配置することで、物体平面７１と撮像素子６は共役の関係にある。物体上の点７１ａから出て瞳平面上の領域３１を通過した光束はマイクロレンズ８７に到達し、物体上の点７１ａから出て瞳平面上の領域３３を通過した光束はマイクロレンズ８６に到達する。物体上の点７１ｂから出て瞳平面上の領域３１を通過した光束はマイクロレンズ８９に到達し、物体上の点７１ｂから出て瞳平面上の領域３３を通過した光束はマイクロレンズ８８に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図８（ｂ）と同様に、仮想的な撮像面６ａ上の位置に並べなおせば、図８（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図６ではＭＬＡ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば、適切なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

以上に説明したように、本実施形態によると、撮影時のレンズの情報などをもとに、撮影光学系でケラレが発生した場合においても、高品位な画像を得ることが出来る。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (10)

1. 撮影光学系と、
   撮像素子と、
   前記撮像素子上の各画素へ入射する光束を前記撮影光学系の特定の瞳領域のみに制限する瞳分割手段と、
   前記撮像素子上の各画素に対応する瞳領域の２次元平面上での重心位置に基づいて、前記各画素への光束の入射角度を決定する入射角決定手段と、
   前記撮像素子から得られた電気信号に対して、前記入射角決定手段で決定した入射角度と、像生成を行う面の位置とに基づいて、前記２次元平面上でのケラレによる前記重心位置のシフト方向に、シフトを行う像シフト手段と、
   前記像シフト手段から得られた電気信号を合成する像生成手段と、
   を備えることを特徴とする撮像装置。
2. 前記入射角決定手段は前記撮影光学系の瞳までの距離の情報に基づいて前記入射角度を計算することを特徴とする請求項１に記載の撮像装置。
3. 前記入射角決定手段は前記撮影光学系の瞳の径の情報に基づいて前記入射角度を計算することを特徴とする請求項１に記載の撮像装置。
4. 前記入射角決定手段は前記撮影光学系の瞳以外の、光線を制限する枠体までの距離の情報に基づいて前記入射角度を計算することを特徴とする請求項１に記載の撮像装置。
5. 前記入射角決定手段は前記撮影光学系の瞳以外の、光線を制限する枠体の径の情報に基づいて前記入射角度を計算することを特徴とする請求項１に記載の撮像装置。
6. 前記入射角決定手段は処理すべき画素の前記撮像素子上の位置に基づいて前記入射角度を計算することを特徴とする請求項１に記載の撮像装置。
7. 前記入射角決定手段は前記瞳分割手段の情報に基づいて前記入射角度を計算することを特徴とする請求項１に記載の撮像装置。
8. 撮影光学系と、
   撮像素子と、
   前記撮像素子上の各画素へ入射する光束を前記撮影光学系の特定の瞳領域のみに制限する瞳分割手段と、
   前記撮像素子上の各画素でのケラレを判定するケラレ判定手段と、
   前記撮像素子から得られた電気信号に対して通過した瞳領域ごとにシフトを与える像シフト手段と、
   前記像シフト手段から得られた電気信号のうち前記ケラレ判定手段によってケラレが発生した領域を除外して合成する像生成手段と、
   を備えることを特徴とする撮像装置。
9. 撮影光学系と、撮像素子と、前記撮像素子上の各画素へ入射する光束を前記撮影光学系の特定の瞳領域のみに制限する瞳分割手段とを備える撮像装置を制御する方法であって、
   前記撮像素子上の各画素に対応する瞳領域の２次元平面上での重心位置に基づいて、前記各画素への光束の入射角度を決定する入射角決定工程と、
   前記撮像素子から得られた電気信号に対して、前記入射角決定工程で決定した入射角度と、像生成を行う面の位置とに基づいて、前記２次元平面上でのケラレによる前記重心位置のシフト方向に、シフトを行う像シフト工程と、
   前記像シフト工程で得られた電気信号を合成する像生成工程と、
   を有することを特徴とする撮像装置の制御方法。
10. 撮影光学系と、撮像素子と、前記撮像素子上の各画素へ入射する光束を前記撮影光学系の特定の瞳領域のみに制限する瞳分割手段とを備える撮像装置を制御する方法であって、
    前記撮像素子上の各画素でのケラレを判定するケラレ判定工程と、
    前記撮像素子から得られた電気信号に対して通過した瞳領域ごとにシフトを与える像シフト工程と、
    前記像シフト工程で得られた電気信号のうち前記ケラレ判定工程によってケラレが発生した領域を除外して合成する像生成工程と、
    を有することを特徴とする撮像装置の制御方法。

Images