JP7699566B2 - 撮像装置及びその制御方法及びプログラム - Google Patents

Description

本発明は撮像装置及びその制御方法及びプログラムに関するものである。

望遠且つ明るいＦ値を持つレンズを持つカメラの場合、一般に被写界深度は浅いものとなる。よって、このようなレンズを持つカメラで、被写体面に対して斜め方向（非直交方向）からＡＦを機能させて撮影する場合には、中央付近にだけ合焦し、中央付近から外れる領域は合焦しない像が得られる。同じ状況で、レンズの光軸を固体撮像素子に対して傾ける、所謂アオリ撮影と呼ばれる技術を用いると、合焦する範囲が広くすることができる。

特許文献１では、アオリ撮影時に高速にピント合わせを実現するために、位相差検出画素を有する固体撮像素子を用い、所謂撮像面位相差ＡＦの技術を使用した撮像装置が提案されている。

特開２０２１－７６７７７号公報

特許文献１に開示されている撮像装置を用いて、撮像面位相差ＡＦによって、アオリ撮影時にピント合わせを行った場合、アオリ角度に依存して、複数の光電変換部間で感度差が生じてしまう。その結果、位相差検出画素における測距精度が低下し、ピント撮影の精度が低下したり、ピント合わせが遅くなったりする。

本発明は、位相差検出画素を有する固体撮像素子を用いてアオリ撮影を行う撮像装置において、測距精度の低下を抑制する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
２次元配列された複数の画素を有し、当該複数の画素のうちの少なくとも一部の画素が位相差ＡＦを行うための第１の光電変換部と第２の光電変換部を含む位相差検出画素とする、固体撮像素子を有する撮像装置であって、
結像光学系の主面に対する前記固体撮像素子の撮像面の角度を変更可能な駆動機構と、
前記角度に応じた順序で、第１の光電変換部と第２の光電変換部で得た信号を読み出す読出手段とを有する。

本発明によれば、位相差検出画素を有する固体撮像素子を用いてアオリ撮影を行う場合であっても、測距精度の低下を抑制できる。

第１の実施形態の撮像装置のブロック構成図。 アオリ撮影の原理を説明するための図。 固体撮像素子における各画素の配列を示す図。 固体撮像素子中の位相差検出画素の構造を示す図。 アオリ角度が小さい時に位相差検出画素に入る光束を示す図。 アオリ角度が大きい時に位相差検出画素に入る光束を示す図。 アオリ角度と光電変換部の感度の関係を示す図。 位相差検出画素の等価回路図、 位相差検出画素から画素信号を読み出すタイミングチャートを示す図。 第１の実施形態の固体撮像素子の位相差検出画素の構造を示す図。 アオリ角度が小さい時に位相差検出画素に入る光束を示す図。 アオリ角度が大きい時に位相差検出画素に入る光束を示す図。 アオリ角度が小さい時に位相差検出画素に入る光束を示す図 アオリ角度が大きい時に位相差検出画素に入る光束を示す図。 第５の実施形態の監視システムの構成図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
第１の実施形態における撮像装置の構成を図１に示す。図１に示すように、撮像装置１００は、結像光学系１０１、ピント制御部１０２、固体撮像素子１０３、アオリ制御部１０４、メイン制御部１０５、信号処理部１０６、操作部１６０、及び、読出部１６１を有する。なお、撮像装置１００は、ユーザが各種指示を入力するための操作部、撮像画像を記憶媒体に記録する記録部、撮像画像を表示する表示部等をも有するが、これらは本願発明の主眼ではないので省略している。

メイン制御部１０５は、ＣＰＵ、ＣＰＵが実行するプログラムを格納したＲＯＭ、ＣＰＵがワークエリアとして使用するＲＡＭで構成される。そして、メイン制御部１０５は、操作部１６０を介し、ユーザからの指示を入力し、ピント制御部１０２、固体撮像素子１０３、アオリ制御部１０４、信号処理部１０６の制御を行うことで、装置全体の制御を司る。

＜ピント制御＞
結像光学系１０１は複数のレンズから構成されている。ピント制御部１０２は、制御部１０５の制御下で、不図示のステッピングモータ等の駆動機構を駆動し、結像光学系１０１内のフォーカスレンズを、矢印１５０が示すＺ軸に沿って移動させる。これにより、ピント制御部１０２は、結像光学系１０１のピント位置を調整することができる。

＜アオリ制御＞
固体撮像素子１０３は、光軸方向に対するチルト角を変更可能とするため、Ｘ－Ｚ平面内（図示の矢印１５１）で回動可能に軸支されている。アオリ制御部１０４は、制御部１０５の制御下で、不図示のステッピングモータ等の駆動機構を駆動することで、結像光学系１０１の主面に対する固体撮像素子１０３が撮像面の角度（後述するアオリ角）を変更することができる。このアオリ角は、ユーザが操作部１６０を操作して設定するものとする。

＜固体撮像素子のアオリ制御機構＞
アオリ撮影における被写体面、レンズ、固体撮像素子の撮像面との関係を、図２を参照して説明する。図示の参照符号１０３ａは、固体撮像素子１０３の撮像面を示す。また、参照符号１０８は、結像光学系１０１の主面（結像光学系１０１を単一のレンズと見立てた場合のそのレンズが示す面）を示す。参照符号１０７は、被写体１０９のアオリ撮影における合焦する合焦面を示す。

アオリ撮影では、シャインプルーフの原理に従い、撮像面１０３ａ、結像光学系１０１の主面１０８、及び、被写体面１０７は一つのＹ軸方向に延びる点１１０で交わる。従って、被写体面１０７は、結像光学系１０１の主面１０８に対して傾いている。即ち、アオリ撮影では、結像光学系１０１の主面１０８に対して傾いている被写体１０９に合焦面１０７を一致させることで、被写体１０９に対して広い範囲に合焦した撮像が可能となる。固体撮像素子１０３の撮像面１０３ａと、結像光学系１０１の主面１０８とのなす角θをアオリ角度とよぶ。

＜固体撮像素子＞
図３は、実施形態における固体撮像素子１０３の構造を示す。固体撮像素子１０３は、複数の画素が２次元配列されており、複数の画素のうち少なくとも一部の画素群は、位相差検出画素１１１である。かかる位相差検出画素を用いたＡＦは、一般に、像面位相差ＡＦと呼ばれる。図３には、固体撮像素子１０３が１２×４で２次元配列された画素を有し、全ての画素が位相差検出画素１１１である例を示している。なお、図示の画素数は、理解を容易にするためであって、その数に特に制限はない。

＜位相差検出画素＞
図４は、１つの位相差検出画素１１１の構造を説明する図である。位相差検出画素１１１は、左側（－Ｘ方向）に位置する第１の光電変換部１１２と、右側（＋Ｘ方向）に位置する第２の光電変換部１１３、およびマイクロレンズ１１４を備えている。また、図示していないが、画素回路を駆動するための配線も備えている。そのほか、色信号を検出するためのカラーフィルタを備えていてもよい。

マイクロレンズ１１４によって、結像光学系１０１の射出瞳１２０と、第１の光電変換部１１２、第２の光電変換部１１３が共役の位置関係になるように配置されている。これにより、第１の光電変換部１１２には、主として結像光学系１０１の右半分を通過した光束が、第２の光電変換部１１３には、主として結像光学系１０１の左半分を通過した光束が導かれる。そこで、複数の位相差検出画素１１１それぞれが有する第１の光電変換部１１２で取得した画素信号から生成された第１の画像と、同第２の光電変換部１１３で取得した画素信号から生成された第２の画像の、像ずれ量を検出することで、被写体のピント位置からのずれ量を求めることができる。

＜光電変換部間の感度差＞
図５（ａ）～（ｃ）、図６（ａ）～（ｃ）は、アオリ角度を変化させた場合の、第１の光電変換部１１２に入射する光束と、第２の光電変換部１１３に入射する光束を模式的に示す図である。図５（ａ）～（ｃ）はアオリ角度が小さく、特にアオリ角度が０度の場合を示している。図６（ａ）～（ｃ）はアオリ角度が大きい場合である。また、図５（ａ）および図６（ａ）は、固体撮像素子１０３の中心領域に位置する位相差検出画素１１１を示した。同様に、図５（ｂ）および図６（ｂ）には－Ｘ方向の周辺領域に位置する位相差検出画素１１１、図５（ｃ）および図６（ｃ）には、＋Ｘ方向の周辺領域に位置する位相差検出画素１１１を示した。

＜アオリ角度が小さい場合＞
まず、図５（ａ）～（ｃ）のようにアオリ角度が０度の場合について説明する。図５（ａ）のように、撮像面１０３ａの中心領域に位置する位相差検出画素１１１の第１の光電変換部１１２に入射する光束１２４と、第２の光電変換部１１３に入射する光束１２５は、結像光学系１０１の射出瞳の中心に対して線対称の位置関係にある。従って、撮像面１０３ａの中心領域に位置する位相差検出画素１１１における第１の光電変換部１１２と第２の光電変換部１１３の感度は互いに等しい。

結像光学系１０１の射出瞳距離が無限大の場合、固体撮像素子１０３の中心領域から外れる周辺領域の位相差検出画素の第１の光電変換部１１２と第２の光電変換部１１３の感度は等しい。しかしながら、一般に結像光学系の小型化に対する要請などから、射出瞳距離は有限の距離に位置する場合が多い。そのため、図５（ｂ）、（ｃ）には、射出瞳距離が有限の距離に位置する場合を示した。

図５（ｂ）から明らかなように、撮像面１０３ａにおける－Ｘ方向のずれた位置にある位相差検出画素１１１においては、第１の光電変換部１１２に入射する光束１３４のほうが、第２の光電変換部１１３に入射する光束１３５よりも多くなっている。即ち、撮像面１０３ａにおいて－Ｘ方向の周辺領域に位置する位相差検出画素１１１においては、第１の光電変換部１１２の感度のほうが、第２の光電変換部１１３の感度よりも高くなる。

同様に、図５（ｃ）から、撮像面１０３ａにおける＋Ｘ方向にずれた位置にある位相差検出画素１１１においては、第２の光電変換部１１３に入射する光束１４５のほうが、第１の光電変換部１１２に入射する光束１４４よりも多くなっている。即ち、撮像面１０３ａにおいて＋Ｘ方向の周辺領域に位置する位相差検出画素１１１においては、第２の光電変換部１１３の感度のほうが、第１の光電変換部１１２の感度よりも高い。

＜アオリ角度が大きい場合＞
次に、アオリ角度が大きい場合について説明する。アオリ角度が大きい場合、結像光学系１０１の射出瞳１２０が、撮像面１０３ａに対して傾く。したがって、図６（ａ）に示すように、撮像面１０３ａの中心領域に位置する位相差検出画素１１１においても、第１の光電変換部１１２と第２の光電変換部１１３の感度は異なる。具体的には、－Ｘ方向に位置する第１の光電変換部１１２の感度のほうが、＋Ｘ方向に位置する第２の光電変換部１１３の感度よりも高くなっている。

撮像面１０３ａの－Ｘ方向にずれた位相差検出画素１１１は、中心領域の位相差検出画素１１１に対して、射出瞳の中心から遠ざかる方向に位置する。そのため、図６（ｂ）に示すように、第１の光電変換部と第２の光電変換部の感度差は、中心領域よりもさらに拡大する。即ち、撮像面１０３ａの－Ｘ方向にずれた領域の位相差検出画素１１１の第１の光電変換部１３２の感度のほうが、第２の光電変換部１３３の感度よりも高い。

一方、図６（ｃ）に示すように、撮像面１０３ａの＋Ｘ方向にずれた位相差検出画素１１１は、中心領域に対して、射出瞳の中心に近づく方向に位置する。そのため、第１の光電変換部と第２の光電変換部の感度差は、結像光学系の射出瞳距離およびアオリ角度によって決定される。射出瞳距離が十分に長く、アオリ角度が大きい場合、図６（ｃ）のように、撮像面１０３ａの＋Ｘ方向にずれた位相差検出画素１１１の第１の光電変換部１１２の感度のほうが第２の光電変換部１１３の感度よりも高くなる。一方で、射出瞳距離が短く、アオリ角度が大きくない場合、第２の光電変換部１４３のほうが第１の光電変換部１４２よりも感度が高くなる。

＜まとめ＞
上記説明をまとめると、位相差検出画素１１１を有する固体撮像素子１０３を使用した撮像装置でアオリ撮影を行った場合、アオリ角度の大小によって、撮像面１０３ａの位置によって位相差検出画素の第１の光電変換部と第２の光電変換部の感度の大小関係が異なる。上記関係をまとめて示すのが図７のテーブルである。

図７において「第１＞第２」は、第１の光電変換部１１２が第２の光電変換部１１３よりも感度が高いことを示す。同様に、「第１＜第２」は、第２の光電変換部１１３が第１の光電変換部１１２より感度が高いことを、「第１＝第２」は第１の光電変換部１１２と第２の光電変換部１１３との感度が等しいことを意味する。

本実施形態の撮像装置では、第１の光電変換部と第２の光電変換部の感度差に起因して発生する測距精度の低下を抑制するために、アオリ角度に応じて、第１の光電変換部と第２の光電変換部の読み出し順序を変更する。以下、画素信号の読み出しおよび本実施形態の効果について説明を行う。

＜画素回路＞
図８は、固体撮像素子１０３中の位相差検出画素１１１の等価回路図を示す図である。位相差検出画素は、第１の光電変換部（ＰＤ＿Ａ）、第２の光電変換部（ＰＤ＿Ｂ）、第１の転送トランジスタ（ＴＸ＿Ａ）、第２の転送トランジスタ（ＴＸ＿Ｂ）を備え、ＰＤ＿ＡとＰＤ＿Ｂでフローティングディフュージョン（ＦＤ）を共用している。更に、位相差検出画素は、共用されたＦＤに対し、リセットトランジスタ（ＲＳＴ）、選択トランジスタ（ＳＥＬ）、ＦＤに蓄積した電荷を電圧信号に変換して読み出すソースフォロア部（ＳＦ）を有している。ＴＸ＿Ａ、ＴＸ＿Ｂ、ＲＳＴ、ＳＥＬのタイミングは、固体撮像素子１０３中の周辺回路から、行方向に延びる水平制御線を介して制御される。また、ＳＦは垂直信号線に接続されており、各々の光電変換部で取得した画素信号は、読出部１６１により、信号処理部１０６に送られる。この読出部１６１は、メイン制御部１６０による制御に従って順序で、光電変換部の信号の読出することになる。

＜タイミングチャートと加算読み出し＞
図９は、読出部１６１による、位相差検出画素１１１から画素信号を読み出す際のタイミングチャートを説明する図である。まず、時刻ｔ１でＲＳＴおよびＴＸ＿Ａ、ＴＸ＿ＢをＯＮにして、ＰＤ＿Ａ、ＰＤ＿ＢおよびＦＤの電位をリセットする。時刻ｔ２でＲＳＴおよびＴＸ＿Ａ、ＴＸ＿ＢをＯＦＦにし、ＰＤ＿ＡおよびＰＤ＿Ｂへの電荷蓄積を開始する。電荷蓄積開始後、所定の蓄積時間だけ経過したのち、ＰＤ＿ＡおよびＰＤ＿Ｂの画素信号を読み出す。

本実施形態の撮像装置では、一方の光電変換部で取得した画素信号Ｓ₁と、両方の光電変換部で取得した画素信号の和Ｓ₁₊₂を読み出す。そして、Ｓ₁₊₂からＳ₁を引くことで、もう一方の光電変換部の画素信号Ｓ₂を求める、所謂加算読み出しを使用する。以下では、ＰＤ＿Ａの信号を先に読み出す場合を例にとって説明するが、ＰＤ＿Ｂの信号を先に読み出す場合には、ＡとＢを入れ替えればよい。ＡとＢを入れ替えるための周辺回路としては、ＴＸ＿ＡとＴＸ＿Ｂのタイミングを入れ替えた垂直走査回路を２種類用意し、列によって接続する垂直走査回路を変更すればよい。

まず、時刻ｔ３でＲＳＴをＯＮにしたのち、時刻ｔ４でＳＥＬをＯＮにすることで、ノイズレベルを読み出す。続いて、時刻ｔ５でＴＸ＿ＡをＯＮ、時刻ｔ６でＳＥＬをＯＮにすることで、光電変換部ＰＤ＿Ａの画素信号を求める。最後に、時刻ｔ７でＴＸ＿ＢをＯＮ、時刻ｔ８でＳＥＬをＯＮにすることで、光電変換部ＰＤ＿Ａの画像信号とＰＤ＿Ｂの画像信号の和を求める。

＜信号読み出し順序と測距精度＞
ここで、固体撮像素子１０３から読み出す画素信号に載るノイズについて説明する。ノイズ成分として支配的なノイズは、光ショットノイズＮｓと読出し回路ノイズＮｒである。光ショットノイズは光電変換時に発生し、その大きさは、信号の大きさに依存し、信号量の平方根である。一方、読出し回路ノイズＮｒは、ＦＤからＳＦを介して画素信号を読み出す際に発生し、信号の大きさに依存せず、一定の値を取る。光ショットノイズと読出し回路ノイズは独立事象であるため、ノイズの合算値は二乗和の平方根となる。

したがって、最初に読み出した画素信号Ｓ１のＳＮ比ＳＮ₁は式（１）、加算信号Ｓ₁₊₂のＳＮ比ＳＮ₁₊₂は次（２）で表される。

一方、加算信号Ｓ₁₊₂ら画素信号Ｓ₁を引いて求める画素信号Ｓ₂のＳＮ比ＳＮ₂は、読み出し信号によるノイズが付加されるため、式（３）となる。

式１と式３を比較してわかるように、仮にＳ₁とＳ₂の大きさが同じだった場合、先に画素信号を読み出した光電変換部の方よりも、後から読みだした光電変換部のほうが、画素信号のＳＮ比が低下する。

＜感度が低い方を先に読む＞
前述したように、本実施形態の撮像装置は、第１の光電変換部と第２の光電変換部の感度差に起因して発生する測距精度の低下を抑制するために、アオリ角に応じて、第１の光電変換部と第２の光電変換部の読み出し順序を変更する。具体的には、メイン制御部１０５は、読出部１６１を制御し、感度の低い光電変換部からの画素信号を先に読み出し、感度の高い光電変換部からの画素信号を後から読み出すようにする。以下で、測距精度の低下が抑制できる理由について、説明を行う。

まず、感度の高い光電変換部からの画素信号を先に読み出し、感度の低い光電変換部
からの画素信号を後から読みだした場合を考察する。前述したように、光電変換部に入射する光の量が同じだった場合、先に画素信号を読み出した光電変換部の方よりも、後から読みだした光電変換部のほうが、画素信号のＳＮ比が低い。

即ち、感度の高い光電変換部からの画素信号を先に読み出し、感度の低い光電変換部からの画素信号を後から読みだした場合、信号の大きさも後者の方が低く、ノイズも後者の方が悪くなる。像ずれ量の検出精度は、主として、想定的にＳＮ比の低い側の画素信号で決定されることから、感度の低い光電変換部からの画素信号を後から読みだした場合、測距精度が低下してしまう。

一方、感度の低い光電変換部からの画素信号を先に読み出し、感度の高い光電変換部からの画素信号を後から読みだした場合、信号の大きさは前者の方が低いが、ノイズ特性は前者の方が良い。従って、感度の高い光電変換部からの画素信号を先に、感度の低い光電変換部からの画素信号を後から読みだすよりも、感度の低い光電変換部からの画素信号を先に、感度の高い光電変換部からの画素信号を後から読みだす方が、測距精度の低下を抑制できる。

＜画素信号の大きさで変更＞
なお、式２と式３の差異は読み出しノイズであるため、読み出しノイズに対して、フォトンショットノイズのほうが十分大きい場合は、どちらの光電変換部の画素信号を先に読み出してもよい。即ち、画素信号の大きさに応じて、光電変換部からの画素信号の読み出し順序を指定するかどうかを変更してもよい。

＜アオリ角度が小さい場合の読み出し順序＞
図７に示すように、アオリ角度が小さい場合（アオリ角が予め設定した閾値以下の場合）には、像面上の位相差検出画素の位置によって、第１の光電変換部と第２の光電変換部の読み出し順序を変更したほうが好ましい。具体的には、固体撮像素子１０３の中心を通り、第１の光電変換部の中心と第２の光電変換部の中心後を結ぶ方向（瞳分割方向）に垂直な線に対して、－Ｘ方向の領域では、第２の光電変換部を、＋Ｘ方向の領域では、第１の光電変換部を先に読み出す。即ち、固体撮像素子の中心を通り、瞳分割方向に垂直な線を境界として、第１の光電変換部と第２の光電変換部の読み出し順序が逆になっている方が好ましい。

なお、図５（ａ）からわかるように、固体撮像素子の中心領域では、第１の光電変換部と第２の光電変換部の感度の差異は小さい。したがって、固体撮像素子の中心領域では第１の光電変換部と第２の光電変換部のどちらを先に読み出してもよい。即ち、固体撮像素子の中心を通り、瞳分割方向に垂直な線から第１の閾値以上離れた領域において、第１の光電変換部と第２の光電変換部の読み出し順序が逆になっていればよい。

＜アオリ角度が大きい場合の読み出し順序＞
図７に示すように、アオリ角度が大きい場合（アオリ角が閾値より大きい場合）には、像面上の位相差検出画素によらず、第１の光電変換部の感度のほうが高いため、第２の光電変換部からの画素信号を先に読み出したほうが好ましい。即ち、アオリ角度が大きい場合には、像面から被写体面までの距離が相対的に近い側（＋Ｘ方向）に位置する光電変換部からの信号を先に読み出したほうが良い。

＜アオリ角度に従って境界線が移動すること＞
アオリ角度が大きくなるほど、射出瞳の傾きが傾いていく。そのため、第１の光電変換部と第２の光電変換部の読み出し順序が逆転する境界線が、瞳分割方向に垂直な方向であって、かつアオリ角度が大きくなるほど、境界線が像面から被写体面までの距離が相対的に近い側にずれていくようにする。

＜段階的に指定すること＞
第１の光電変換部と第２の光電変換部の読み出し順序が逆転する境界線は、アオリ角度に従って連続的に移動していく方が、感度の低い光電変換部からの画素信号を先に読み出す画素の割合が増加し、測距精度が向上するため好ましい。但し、段階的に変化してもよく、例えばアオリ角度が第２の閾値以上であるか、第２の閾値未満であるか、によって読み出し順序を変更してもよい。

＜アオリ角度が大きい場合のみ先読み画素を指定＞
また、図５、図６を比較してわかるように、アオリ角度が大きく、かつ像面から被写体面までの距離が相対的に遠い側（－Ｘ方向）の周辺領域において、特に第１の光電変換部と第２の光電変換部の感度差が大きくなる。そこで、アオリ角度が第２の閾値よりも大きい場合のみ、光電変換部の読み出し順序を指定してもよく、更に、像面から被写体面までの距離が相対的に遠い側（－Ｘ方向）の周辺領域の位相差検出画素のみ、光電変換部の読み出し順序を指定してもよい。

なお、以上では位相差検出画素が２つの光電変換部を有している場合を示したが、３つ以上の光電変換部を有していてもよい。その場合、最も感度の低い光電変換部の画素信号を最初に読み出し、その後、感度の低い順番から画素信号を順番に読み出すと好ましい。

［第２の実施形態］
第２の実施形態を説明する。本第２の実施形態は、第１の実施形態における固体撮像素子の構造にある。本第２の実施形態における固体撮像素子を参照符号２０３とし、その撮像面を２０３ａと表現する。他の構成は、第１の実施形態と同じであるので、同参照符号を付して説明する。

図１０（ａ）乃至（ｃ）は、第２の実施形態の固体撮像素子２０３の位相差検出画素２１１の構造図である。本第２の実施形態の１つの位相差検出画素２１１は、第１の実施形態の位相差検出画素１１１と同様、撮像面２０３ａの左側（－Ｘ方向）に位置する第１の光電変換部２１２と右側（＋Ｘ方向）に位置する第２の光電変換部２１３、およびマイクロレンズ２１４を備えている。そして、本第２の実施形態における位相差検出画素２１１のマイクロレンズ２１４は、撮像面１０３の中心からの位置に応じて偏心するような構造を有する。

具体的には、図１０（ａ）に示すように、撮像面２０３ａの－Ｘ方向にずれた位置の位相差検出画素２１１のマイクロレンズ２１４は、その画素の中心に対して＋Ｘ方向に偏心している。また、図１０（ｃ）に示すように、撮像面２０３ａの＋Ｘ方向にずれた位置の位相差検出画素２１１のマイクロレンズ２１４は、その画素の中心に対して－Ｘ方向に偏心している。そして、図１０（ｂ）に示すように、撮像面２０３ａの中心領域に位置する位相差検出画素２３１のマイクロレンズ２１４は、その画素の中心に対して偏心しない。このような構成とすることで、結像光学系の射出瞳距離が短い場合に、周辺領域の位相差検出画素における、第１の光電変換部と第２の光電変換部の感度差を低減することができ。

図１１（ａ）～（ｃ）、図１２（ａ）～（ｃ）は、アオリ角度を変化させた場合の、第１の光電変換部２１２に入射する光束と、第２の光電変換部２１３に入射する光束を模式的に示す図である。図１２（ａ）～（ｃ）はアオリ角度が小さく、特にアオリ角度が０度の場合を示し、図１３（ａ）～（ｃ）はアオリ角度が大きい場合を示している。また、図１１（ａ）および図１２（ａ）は、共に位相差検出画素２１１が撮像面１０３ａの中心領域に位置する場合を示す。同様に、図１１（ｂ）および図１２（ｂ）は、共に位相差検出画素２１１が撮像面１０３ａの－Ｘ方向にずれた位置にある場合を示している。そして、図１１（ｃ）および図１２（ｃ）は、共に位相差検出画素２１１が撮像面１０３ａの＋Ｘ方向にずれた位置にある場合を示している。

第２の実施形態における撮像装置は、結像光学系１０１の射出瞳２２０に合わせて位相差検出画素２１１のマイクロレンズを偏心しているため、図１１（ａ）～（ｃ）のようにアオリ角度が０度の時、中心領域においても、周辺領域においても、第１の光電変換部と第２の光電変換部の感度は等しくできる。しかし、アオリ角度が大きい場合、結像光学系の射出瞳の中心が、固体撮像素子の中心から、像面から被写体面までの距離が相対的に近い側（＋Ｘ方向）にずれる。したがって、図１２（ａ）～（ｃ）のようにアオリ角度が大きい場合、第１の光電変換部のほうが第２の光電変換部よりも感度が高い。

このように、結像光学系の射出瞳に合わせて位相差検出画素の構造を最適化した場合でも、アオリ撮影を行った場合、アオリ角度によって、位相差検出画素の第１の光電変換部と第２の光電変換部の感度の大小関係が異なる。そのため、実施形態２の撮像装置においても、第１の光電変換部と第２の光電変換部の感度差に起因して発生する測距精度の低下を抑制するために、アオリ角度に応じて、第１の光電変換部と第２の光電変換部の読み出し順序を変更する。具体的には、アオリ角度が予め設定した閾値より大きい場合には、第２の光電変換部からの画素信号を先に読み出すことで、測距精度の低下を抑制する。

＜第２の実施形態のまとめ＞
上記の通り、第２の実施形態の撮像装置は、第１のアオリ角度の場合に対して、第１の光電変換部と第２の光電変換部の感度が等しくなるように、位相差検出画素のマイクロレンズの偏心量が配置されている。そして、第１のアオリ角度よりも大きい第２のアオリ角度以上の場合に、像面から被写体面までの距離が相対的に近い側（＋Ｘ方向）に位置する光電変換部からの信号を先に読み出す構成とする。

［第３の実施形態］
第３の実施形態を説明する。本第３の実施形態は、第１の実施形態における固体撮像素子の構造にある。本第３の実施形態における固体撮像素子を参照符号３０３とし、その撮像面を３０３ａと表現する。他の構成は、第１の実施形態と同じであるので、同参照符号を付して説明する。

本第３の実施形態では、固体撮像素子３０３の位相差検出画素３１１のマイクロレンズを、アオリ角度が大きい場合に合わせて最適化した例である。

具体的には、本第３の実施形態における、固体撮像素子３０３のすべての領域の位相差検出画素３１１のマイクロレンズは、それぞれの画素の中心に対して＋Ｘ方向に偏心している。そして、マイクロレンズの偏心量は、－Ｘ方向の周辺領域で最も大きく、＋Ｘ方向の周辺領域で最も小さくなるように、連続的あるいは段階的に変化している。このような構成とすることで、アオリ角度が大きい場合における、第１の光電変換部と第２の光電変換部の感度差を低減することができる。

なお、本第３の実施形態における１つの位相検出画素は、第１，第２の実施形態と同様、撮像面３０３ａの－Ｘ側の第１の光電変換部と表現し、＋Ｘ側を第２の光電変換部と表現する。

図１３（ａ）～（ｃ）、図１４（ａ）～（ｃ）は、アオリ角度を変化させた場合の、第１の光電変換部３１２に入射する光束と、第２の光電変換部３１３に入射する光束を模式的に示している。

図１３（ａ）～（ｃ）はアオリ角度が小さく、特にアオリ角度が０度の場合を示し、図１４（ａ）～（ｃ）はアオリ角度が大きい場合である。また、図１３（ａ）および図１４（ａ）は、共に、撮像面３０３ａの中心領域に位置する位相差検出画素３１１の第１，第２の光電変換部の入射光束を示している。同様に、図１３（ｂ）および図１４（ｂ）は、撮像面３０３ａの－Ｘ方向にずれた位置の位相差検出画素３３１の第１，第２の光電変換部の入射光束を、図１３（ｃ）および図１４（ｃ）は、撮像面３０３ａの＋Ｘ方向にずれた位置の位相差検出画素３３１の第１，第２の光電変換部の入射光束を示している。

本第３の実施形態の撮像装置においては、アオリ角度が大きい場合の結像光学系の射出瞳３２０に合わせて、位相差検出画素３１１のマイクロレンズを偏心している。そのため、図１４（ａ）~（ｃ）のようにアオリ角度が大きい場合、中心領域においても、周辺領域においても、第１の光電変換部と第２の光電変換部の感度は等しい。しかし、図１３（ａ）～（ｃ）のようにアオリ角度が小さい場合、第２の光電変換部のほうが第１の光電変換部よりも感度が高い。

このように、アオリ角度が大きい場合に合わせて位相差検出画素の構造を最適化した場合でも、アオリ角度によって、位相差検出画素の第１の光電変換部と第２の光電変換部の感度の大小関係が異なる。そのため、第３の実施形態の撮像装置においても、第１の光電変換部と第２の光電変換部の感度差に起因して発生する測距精度の低下を抑制するために、アオリ角度に応じて、第１の光電変換部と第２の光電変換部の読み出し順序を変更する。具体的には、アオリ角度が小さい場合には、第１の光電変換部からの画素信号を先に読み出すことで、測距精度の低下を抑制できる。

＜第３の実施形態の構成のまとめ＞
第３の実施形態の撮像装置は、第３のアオリ角度の場合に対して、第１の光電変換部と第２の光電変換部の感度が等しくなるように、位相差検出画素のマイクロレンズの偏心量が配置されている。そして、第３のアオリ角度よりも小さい第４のアオリ角度未満の場合に、像面から被写体面までの距離が相対的に遠い側（－Ｘ方向）に位置する光電変換部からの信号を先に読み出す構成とする。

［第４の実施形態］
第２、第３の実施形態で説明したように、アオリ角度によって結像光学系１０１の射出瞳位置が変化する。そのため、中間のアオリ角度に対してマイクロレンズの偏心量を最適化するのが好ましい。第４の実施形態に示す撮像装置は、アオリ撮影する際の予め設定されや最小のアオリ角度と最大のアオリ角度のちょうど中間の角度に対して、マイクロレンズの偏心量を最適化した例である。

第４の実施形態の撮像装置の場合も、アオリ角度と、像面上の位相差検出画素の位置によって、感度の大小関係が異なるため、これらに依存して光電変換部の読み出し順序を変更することが好ましい。具体的には、アオリ角度が小さいほど、先に第１の光電変換部を読み出す位相差検出画素の割合が大きく、アオリ角度が大きいほど、先に第２の光電変換部から読み出す位相差検出画素の割合を大きくなるようにする。これにより、光電変換部の感度差によって発生する測距精度の低下を抑制できるため、好ましい。

［第５の実施形態］
第５の実施形態を説明する。ここでは、上記第１乃至第４の実施形態に示す撮像装置を用いた監視システムについて説明する。図１５は、第１乃至第４の実施形のいずれかの撮像装置５０３を用いた監視システム５００の構成図である。撮像装置５０３とクライアント装置５０１は、ネットワーク５０２を介して相互に通信可能な状態に接続されている。クライアント装置５０１は、撮像装置５０３を制御する各種コマンドを送信する。それを受けて、撮像装置５０３は、コマンドに対するレスポンスや撮像した画像データをクライアント装置５０１に送信する。撮像装置５０３を被写界深度優先モードで駆動するか否かは、クライアント装置５０１を介してユーザが選択できるようになっている。

クライアント装置５０１は例えばＰＣなどの外部機器であり、ネットワーク５０２は、 有線ＬＡＮ、無線ＬＡＮ等により構成されている。また、ネットワーク５０２を介して撮像装置５０３に電源を供給する構成となっていても良い。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の開示は、以下の撮像装置、方法及びプログラムを含む。
（項目１）
２次元配列された複数の画素を有し、当該複数の画素のうちの少なくとも一部の画素が位相差ＡＦを行うための第１の光電変換部と第２の光電変換部を含む位相差検出画素とする、固体撮像素子を有する撮像装置であって、
結像光学系の主面に対する前記固体撮像素子の撮像面の角度を変更可能な駆動機構と、
前記角度に応じた順序で、第１の光電変換部と第２の光電変換部で得た信号を読み出す読出手段と
を有することを特徴とする撮像装置。
（項目２）
前記読出手段は、前記第１の光電変換部または第２の光電変換部のいずれか一方から信号を最初に読み出したのち、前記第１の光電変換部と第２の光電変換部との加算した信号を読み出す
ことを特徴とする項目１に記載の撮像装置。
（項目３）
前記読出手段は、第１の光電変換部と第２の光電変換部のうち、相対的に感度が低い光電変換部を最初に読み出す
ことを特徴とする項目２に記載の撮像装置。
（項目４）
前記読出手段は、画素信号の大きさによって、第１の光電変換部と、第２の光電変換部の読み出し順序を変更する
ことを特徴とする項目１乃至３のいずれか１項に記載の撮像装置。
（項目５）
前記読出手段は、固体撮像素子の中心を通り、当該中心から、瞳分割方向に垂直な方向に第１の閾値以上、離れる両側の領域を第１の領域、第２の領域としたとき、前記第１の領域における前記第１、第２の光電変換部の読み出し順序に対し、前記第２の領域では前記第１、第２の光電変換部の読み出し順序を逆にする
ことを特徴とする項目１乃至４のいずれか１項に記載の撮像装置。
（項目６）
固体撮像素子の中心を通り、瞳分割方向に垂直な線を境界とする２つの領域についての一方の領域での前記第１、第２の光電変換部の読み出し順序は、他方の領域の前記第１、第２の光電変換部の読み出し順序の逆にする
ことを特徴とする、項目５に記載の撮像装置。
（項目７）
第１の光電変換部と第２の光電変換部の読み出し順序が逆になる境界線が瞳分割方向に垂直な方向であって、かつ、境界線の位置は、前記角度が大きくなるほど撮像面から被写体面までの距離が相対的に近い側にずれる
ことを特徴とする項目６に記載の撮像装置。
（項目８）
前記読出手段は、前記角度が第２の閾値以上であるか否かによって、第１、第２の光電変換部の読み出し順序を変更する
ことを特徴とする項目１乃至７のいずれか１項に記載の撮像装置。
（項目９）
前記角度が第２の閾値以上である場合のみ、前記第１、第２の光電変換部のいずれを先に読み出すか前記読出手段に設定する設定手段を有する
ことを特徴とする項目１乃至７のいずれか１項に記載の撮像装置。
（項目１０）
前記設定手段は、前記撮像面から被写体面までの距離が相対的に遠い側の周辺領域の位相差検出画素のみ、第１、第２の光電変換部のいずれを先に読み出すかを設定する
ことを特徴とする項目９に記載の撮像装置。
（項目１１）
位相差検出画素はマイクロレンズを有し、
位相差検出画素それぞれのマイクロレンズの中心は、固体撮像素子の位置に応じて偏心している
ことを特徴とする項目１乃至１０のいずれか１項に記載の撮像装置。
（項目１２）
前記読出手段は、
前記角度が予め設定された第１の角度以下の場合は、前記第１、第２の光電変換部の読み出し順序を変更せずに読み出し、
前記角度が前記第１の角度を超える場合は、撮像面から被写体面までの距離が相対的に近い側に位置する光電変換部からの信号を先に読み出す
ことを特徴とする項目１１に記載の撮像装置。
（項目１３）
前記マイクロレンズは、前記角度が予め設定された第２の角度にて、第１の光電変換部と第２の光電変換部の感度が等しくなるように偏心して配置されており、
前記角度が前記第２の角度よりも小さい場合には、撮像面から被写体までの距離が相対的に遠い側に位置する側の光電変換部からの信号を先に読み出す
ことを特徴とする項目１１に記載の撮像装置。
（項目１４）
前記マイクロレンズは、前記駆動機構で変更可能な最大の角度と最小の角度の間の中央の角度にて、第１の光電変換部と第２の光電変換部の感度が等しくなるように、偏心して配置されており、
前記読出手段は、前記中央の角度より小さい場合に第１の光電変換部から先に読み出す位相差検出画素の割合が大きく、前記中央の角度より大きいほど先に第２の光電変換部から読み出す位相差検出画素の割合を大きくする
ことを特徴とする、項目１１に記載の撮像装置。
（項目１５）
２次元配列された複数の画素を有し、当該複数の画素のうちの少なくとも一部の画素が位相差ＡＦを行うための第１の光電変換部と第２の光電変換部を含む位相差検出画素とする固体撮像素子と、結像光学系の主面に対する前記固体撮像素子の撮像面の角度を変更可能な駆動機構とを有する撮像装置の制御方法であって、
前記角度に応じた順序で、第１の光電変換部と第２の光電変換部で得た信号を読み出す読出工程と
を有することを特徴とする撮像装置の制御方法。
（項目１６）
コンピュータに読み込ませ実行させることで、前記コンピュータに、項目１乃至１４のいずれか１つに記載の各手段として機能させるためのプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００、５０３…撮像装置、１０１…結像光学系、１０２…ピント制御部、１０３…固体撮像素子、１０４…アオリ制御部、１０５…メイン制御部、１０６…信号処理部、５０１…クライアント装置、５０２…ネットワーク

Claims (16)

1. ２次元配列された複数の画素を有し、当該複数の画素のうちの少なくとも一部の画素が位相差ＡＦを行うための第１の光電変換部と第２の光電変換部を含む位相差検出画素とする、固体撮像素子を有する撮像装置であって、
   結像光学系の主面に対する前記固体撮像素子の撮像面の角度を変更可能な駆動機構と、
   前記角度に応じた順序で、第１の光電変換部と第２の光電変換部で得た信号を読み出す読出手段と
   を有することを特徴とする撮像装置。
2. 前記読出手段は、前記第１の光電変換部または第２の光電変換部のいずれか一方から信号を最初に読み出したのち、前記第１の光電変換部と第２の光電変換部との加算した信号を読み出す
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記読出手段は、第１の光電変換部と第２の光電変換部のうち、相対的に感度が低い光電変換部を最初に読み出す
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記読出手段は、画素信号の大きさによって、第１の光電変換部と、第２の光電変換部の読み出し順序を変更する
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記読出手段は、固体撮像素子の中心を通り、当該中心から、瞳分割方向に垂直な方向に第１の閾値以上、離れる両側の領域を第１の領域、第２の領域としたとき、前記第１の領域における前記第１、第２の光電変換部の読み出し順序に対し、前記第２の領域では前記第１、第２の光電変換部の読み出し順序を逆にする
   ことを特徴とする請求項１に記載の撮像装置。
6. 固体撮像素子の中心を通り、瞳分割方向に垂直な線を境界とする２つの領域についての一方の領域での前記第１、第２の光電変換部の読み出し順序は、他方の領域の前記第１、第２の光電変換部の読み出し順序の逆にする
   ことを特徴とする、請求項５に記載の撮像装置。
7. 第１の光電変換部と第２の光電変換部の読み出し順序が逆になる境界線が瞳分割方向に垂直な方向であって、かつ、境界線の位置は、前記角度が大きくなるほど撮像面から被写体面までの距離が相対的に近い側にずれる
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記読出手段は、前記角度が第２の閾値以上であるか否かによって、第１、第２の光電変換部の読み出し順序を変更する
   ことを特徴とする請求項１に記載の撮像装置。
9. 前記角度が第２の閾値以上である場合のみ、前記第１、第２の光電変換部のいずれを先に読み出すか前記読出手段に設定する設定手段を有する
   ことを特徴とする請求項１に記載の撮像装置。
10. 前記設定手段は、前記撮像面から被写体面までの距離が相対的に遠い側の周辺領域の位相差検出画素のみ、第１、第２の光電変換部のいずれを先に読み出すかを設定する
    ことを特徴とする請求項９に記載の撮像装置。
11. 位相差検出画素はマイクロレンズを有し、
    位相差検出画素それぞれのマイクロレンズの中心は、固体撮像素子の位置に応じて偏心している
    ことを特徴とする請求項１に記載の撮像装置。
12. 前記読出手段は、
    前記角度が予め設定された第１の角度以下の場合は、前記第１、第２の光電変換部の読み出し順序を変更せずに読み出し、
    前記角度が前記第１の角度を超える場合は、撮像面から被写体面までの距離が相対的に近い側に位置する光電変換部からの信号を先に読み出す
    ことを特徴とする請求項１１に記載の撮像装置。
13. 前記マイクロレンズは、前記角度が予め設定された第２の角度にて、第１の光電変換部と第２の光電変換部の感度が等しくなるように偏心して配置されており、
    前記角度が前記第２の角度よりも小さい場合には、撮像面から被写体までの距離が相対的に遠い側に位置する側の光電変換部からの信号を先に読み出す
    ことを特徴とする請求項１１に記載の撮像装置。
14. 前記マイクロレンズは、前記駆動機構で変更可能な最大の角度と最小の角度の間の中央の角度にて、第１の光電変換部と第２の光電変換部の感度が等しくなるように、偏心して配置されており、
    前記読出手段は、前記中央の角度より小さい場合に第１の光電変換部から先に読み出す位相差検出画素の割合が大きく、前記中央の角度より大きいほど先に第２の光電変換部から読み出す位相差検出画素の割合を大きくする
    ことを特徴とする、請求項１１に記載の撮像装置。
15. ２次元配列された複数の画素を有し、当該複数の画素のうちの少なくとも一部の画素が位相差ＡＦを行うための第１の光電変換部と第２の光電変換部を含む位相差検出画素とする固体撮像素子と、結像光学系の主面に対する前記固体撮像素子の撮像面の角度を変更可能な駆動機構とを有する撮像装置の制御方法であって、
    前記角度に応じた順序で、第１の光電変換部と第２の光電変換部で得た信号を読み出す読出工程と
    を有することを特徴とする撮像装置の制御方法。
16. コンピュータに読み込ませ実行させることで、前記コンピュータに、請求項１５に記載の方法が有する工程を実行させるためのプログラム。

Images