JP6678505B2 - 撮像装置及びその制御方法、プログラム並びに記憶媒体 - Google Patents

Description

本発明は、焦点調節及び被写体検出を行う撮像装置に関する。

従来より、マイクロレンズにより瞳分割された画素を有する撮像素子により得られた像信号の位相差に基づいて焦点検出を行う技術が知られている（特許文献１）。特許文献１では、瞳分割された各画素がマイクロレンズを介して結像光学系の異なる瞳領域を通過した光束を受光する。また、複数の像信号を加算することで画像信号を得ることができる。

上記のような位相差方式の焦点検出においては、焦点調節用にどのくらいの量の像信号を読み出して演算処理を行うかを決めることは検出精度や処理速度の面で非常に重要な要素となる。また、像信号を全て取り込もうとすると、画素が２分割された撮像素子では撮像画像用の２倍のデータ量となり、後段の処理回路に多大な負荷をかけることになる。

そこで、撮像素子において焦点調節用の距離情報取得領域を任意に設定可能とし、撮像素子からの画像信号の読み出し時間を短縮する撮像装置が提案されている（特許文献２）。また、焦点調節用の距離情報取得領域から得た画像信号を用いて、画像中の被写体の距離の分布（距離マップ）を生成可能な撮像装置が提案されている（特許文献３）。特許文献３の距離マップを用いることで、画像中における主被写体とそれ以外の被写体の距離情報が得られ、主被写体とそれ以外の被写体がすれ違った場合等に主被写体の検出が可能となる。

特開２００７−３２５１３９号公報 特開２０１２−１５５０９５号公報 特開２０１４−０７４８９１号公報

しかしながら、上記従来技術では、撮影条件によって焦点調節用の距離情報取得領域を変更しているが、画素から読み出した信号に係る処理負荷や消費電力が考慮されていない。

本発明は、上記課題に鑑みてなされ、その目的は、撮影条件に基づく信号処理に係るシステム負荷や消費電力を考慮して距離情報取得領域を設定することができる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、前記撮像素子の光電変換部から順次信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を複数フレーム出力させる読み出し手段と、主被写体に対応する領域を示す情報と、該主被写体の合焦状態を示す情報とを取得する取得手段と、前記読み出し手段により前記撮像素子から視差が異なる信号を読み出す領域を設定する設定手段と、を有し、前記設定手段は、各フレームにおける前記視差が異なる信号を読み出す領域を、前記視差が異なる信号を読み出す領域が包含する画角を略同等に維持しつつ、前記取得手段により取得する前記主被写体の合焦状態が第１の状態であるときに、前記第１の状態よりも合焦に遠い第２の状態であるときよりも高い解像度で前記視差が異なる信号を読み出す領域を設定する。

また、本発明の撮像装置は、複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、前記撮像素子の光電変換部から順次信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を複数フレーム出力させる読み出し手段と、前記画像信号に基づいて前記画像信号における被写体の数を検出する検出手段と、前記読み出し手段により前記撮像素子から視差が異なる信号を読み出す領域を設定する設定手段と、を有し、前記設定手段は、各フレームにおける前記視差が異なる信号を読み出す領域を、前記視差が異なる信号を読み出す領域が包含する画角を略同等に維持しつつ、前記検出手段により検出される被写体の数が第１の数であるときに、前記第１の数より少ない第２の数であるときよりも高い解像度で前記視差が異なる信号を読み出す領域を設定する。

本発明によれば、撮影条件に基づく信号処理に係るシステム負荷や消費電力を考慮して距離情報取得領域を設定することができるようになる。

本実施形態の撮像装置の構成を示すブロック図。 本実施形態の撮像素子の画素配置を模式的に示す図。 撮影レンズの射出瞳から出る光束と画素との関係を模式的に示す図。 本実施形態の撮像素子の構成図。 本実施形態の撮像素子の単位画素の回路構成図（ａ）、撮像素子の各単位画素列の読み出し回路の構成図（ｂ）、および撮像素子の画素配列に対して設定される測距枠を示す図（ｃ）。 本実施形態の撮像素子の単位画素行の読み出し動作のタイミングチャート。 実施形態１の信号読み出し制御部による距離情報取得領域の設定処理を示すフローチャート。 実施形態１の信号読み出し制御部により設定される距離情報取得領域を説明する図。 実施形態２の撮像装置の構成を示すブロック図。 実施形態２の信号読み出し制御部による距離情報取得領域の設定処理を示すフローチャート。 本実施形態の焦点調節及び被写体検出に必要な距離情報取得領域を説明する図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

［距離情報取得領域の説明］まず、図１１を参照して、本実施形態の距離情報取得領域について具体的に説明する。

図１１は、画像撮影中のＡＦ制御時に、撮像画面に任意に設定された、焦点調節に必要となる（ＡＦ制御用）の距離情報取得領域及びその距離マップと、被写体検出に必要となる（主被写体追尾用）の距離情報取得領域及びその距離マップの関係を例示している。なお、図１１の（ａ）、（ｂ）、（ｃ）において、（ａ−１）〜（ａ−４）、（ｂ−１）〜（ｂ−４）、（ｃ−１）〜（ｃ−４）、（ｄ−１）〜（ｄ−４）は、撮像された画像信号の各フレームを時系列的に示したものである。

図１１（ａ）は、撮像画面にＡＦ制御用の距離情報取得領域を設定した場合の画像信号を例示している。図１１（ａ）において、（ａ−１）はある時刻における画像信号とＡＦ制御用の距離情報取得領域を示しており、１１００は主被写体、１１０１は主被写体以外の被写体、１１０２は距離情報取得領域を示している。ＡＦ制御用には、主被写体の距離情報が取得できればよいので、ＡＦ制御用に設定される距離情報取得領域は主被写体の周辺であればよい。よって、（ａ−１）のように距離情報取得領域１１０２が画面に局所的に設定される。また、（ａ−１）〜（ａ−４）のように時間が経過していくに従って主被写体以外の被写体１１０１が主被写体１１００に近づき（ａ−２）、主被写体以外の被写体１１０１と主被写体１１００が重なり（ａ−３）、主被写体以外の被写体１１０１が画面から消え、主被写体１１００のみが残った状態となっている（ａ−４）。すなわち、（ａ−１）〜（ａ−４）の画像は、主被写体とそれ以外の被写体がすれ違ったシーンを示している。

図１１（ｂ）の距離マップでは、主被写体１１００に対してＡＦ制御用の距離情報取得領域が設定されている。図１１（ｂ）は、図１１（ａ）の距離情報取得領域１１０２から得られた距離マップを例示している。図１１（ｂ）において、（ｂ−１）は（ａ−１）の距離情報取得領域から得られた距離マップであり、格子領域１１０３は主被写体１１００の距離、白塗り部１１０４は背景の距離を表している。また、黒塗り部１１０５は距離情報取得領域外であるため距離情報が取得できないことを表している。また、（ｂ−３）の斜線部１１０６は、（ａ−３）の主被写体以外の被写体１１０１の距離を表している。

ここで、図１１（ｂ）の距離マップを用いて主被写体１１００の検出を行う場合、（ｂ−１）と（ｂ−２）では主被写体１１００の距離１１０３しか得られず、（ｂ−３）で急に主被写体１１００の距離が変化したようになる。実際には、主被写体以外の被写体１１０１が主被写体１１００に重なったために距離が変化するのであるが、正しい判断ができなくなる可能性がある。

図１１（ｃ）は、撮像画面に被写体検出用の距離情報取得領域を設定した場合の画像信号を例示している。図１１（ｃ）において、（ｃ−１）はある時刻における画像信号と被写体検出用の距離情報取得領域を示している。距離情報を用いて主被写体１１００を検出するためには主被写体周辺の状況を判断する必要がある。このため画面全体が俯瞰できるように距離情報取得領域を設定する必要がある。よって、（ｃ−１）のように距離情報取得領域１１０７が画面全体に離散的に設定される。なお、（ｃ−１）〜（ｃ−４）のように時間が経過していること、（ｃ−３）で主被写体以外の被写体１１０１が主被写体１１００に重なった状況は、図１１（ａ）の（ａー３）と同様である。

図１１（ｄ）は、図１１（ｃ）の距離情報取得領域１１０７から得られた距離マップを例示している。図１１（ｄ）では画面全体が俯瞰できるように距離情報取得領域１１０７が設定されているため、距離マップから、（ｄ−１）から（ｄ−２）へ時間が経過していくに従って主被写体以外の被写体１１０１が主被写体１１００に近づいていることがわかる。また、（ｄ−３）では主被写体１１００と、主被写体以外の被写体１１０１が重なっているが、（ｄ−１）から（ｄ−２）において主被写体以外の被写体１１０１が主被写体１１００に近づいていることと、その被写体１１０１が斜線で示す距離１１０９を持っていることから、主被写体１１００と、主被写体以外の被写体１１０１が重なっている可能性が高いと判断できる。一方で、主被写体１１００の距離１１０８は離散的にしか得られない。

このように、被写体検出用の距離情報取得領域は画面全体が俯瞰できるように設定する必要がある。

しかしながら、撮影条件（被写体の明るさや被写体数など）によっては被写体検出用の距離情報取得領域から取得する画像信号は低解像度でもよい場合がある。例えば、被写体の合焦状態が大ボケ状態に近い（コントラスト評価値が小さい）ほど被写体検出用の距離情報取得領域から得られる距離マップは有用ではないので、このような場合は被写体検出用の距離情報取得領域からの信号読み出し量を少なくすることで信号読み出し速度や電力消費を優先し、ＡＦ制御における収束性を高めることが望ましい。

そこで、本実施形態では、画像撮影中のＡＦ制御時に、撮影条件に基づいて被写体検出用の距離情報取得領域の信号読み出し量を制御することで、負荷の増大や無駄な消費電力を抑えることができるようにしている。なお、ＡＦ制御用の距離情報取得領域の粗密は変更しない。

［実施形態１］
本実施形態では、撮像装置を、コントラスト方式及び位相差方式のオートフォーカス（ＡＦ）機能並びに被写体検出機能（主被写体追尾機能）を有するデジタルビデオカメラにより実現した例について説明するが、携帯電話の一種であるスマートフォンやタブレット端末などの電子機器にも適用可能である。

＜装置構成＞
以下に、図１を参照して、本実施形態の撮像装置１００の構成について説明する。

図１において、光学系１は、ズームレンズ、フォーカスレンズ、絞りを含む。光学系駆動部２は、後述するＡＦ制御部８から出力される光学系駆動情報に基づいて光学系１を制御する。撮像素子３は、ＣＭＯＳなどの光電変換素子を備え、光学系１により受光面に結像された被写体像を電気信号に変換して画像信号を出力する。

信号読み出し制御部４は、ＡＦ制御部８により制御されて、後述する評価情報取得手段としてのコントラスト検出部５からのコントラスト評価値（評価情報）に基づいて撮像素子３を駆動し画像信号の読み出しを制御する。なお、本実施形態の撮像素子３は、光学系１の異なる瞳領域を通過した光束をそれぞれ受光し、瞳分割された画像信号を出力する複数の画素部を有する。そして、信号読み出し制御部４からの駆動パルスによって瞳分割された各画素から視差が異なる画像信号（Ａ像信号、Ｂ像信号）を個別に読み出すことができる。撮像素子３の回路構成は、図２から図６を用いて後述する。

コントラスト検出部５は、撮像素子３からの画像信号に基づき、コントラスト評価値を算出し、信号読み出し制御部４に出力する。

測距部６は、撮像素子３からの画像信号（Ａ像信号、Ｂ像信号）に基づき、ＡＦ制御用の距離情報（第２の深さ情報）及び画面内の被写体検出用の距離情報（第１の深さ情報、距離マップデータ）を算出し、被写体追尾部７とＡＦ制御部８に出力する。

被写体追尾部７は、撮像素子３からの画像信号と測距部６からの位相差情報とに基づき、撮像画像中の被写体を検出し、検出された被写体から主被写体を判別し、その位置や大きさ（サイズ）に関する情報（以下、被写体情報）を、ＡＦ制御部８に出力する。

ＡＦ制御部８は、システム制御部１３により制御されて、コントラスト方式または位相差方式のＡＦ制御を行う。ＡＦ制御部８は、コントラスト方式のＡＦの場合は、コントラスト検出部５のコントラスト評価値に基づく制御信号を光学系駆動部２に出力する。また、ＡＦ制御部８は、位相差方式のＡＦの場合は、被写体追尾部７からの被写体情報と測距部６からの距離情報を取得し、光学系駆動部２に制御信号を出力する。

信号処理部９は、撮像素子３からの像信号を加算した画像信号を生成し、所定の信号処理を施して表示用あるいは記録用の画像信号を出力する。また、信号処理部９は、生成された画像信号に対して、色変換、ホワイトバランス補正、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等を行い、記録部１０や表示部１１に表示用あるいは記録用の画像信号を出力する。

記録部１０は信号処理部９により生成された画像信号を記録したり、既に記録された画像が読み出されるメモリーカードやハードディスクなどである。表示部１１は信号処理部９により生成された画像や各種メニュー画面などを表示する液晶パネル（ＬＣＤ）などである。操作部１２は、ユーザ操作を受け付ける各種スイッチ（ＡＦオン／オフ、ズームなど）であり、ユーザからの指示をシステム制御部１３に送出する。

システム制御部１３は、撮像装置１００の各種機能を統括して制御するための、ＣＰＵ、ＲＡＭ、ＲＯＭや、専用の回路などを含む。ＣＰＵは、不揮発性メモリであるＲＯＭに格納されたプログラムをワークメモリとしてのＲＡＭに展開し実行することで、後述する制御シーケンスを実行する。

＜撮像素子の構成＞
図２は撮像素子３の画素配置を示す模式図である。単位画素２００が行列状に配列されており、各単位画素２００に対してＲ（Ｒｅｄ）／Ｇ（Ｇｒｅｅｎ）／Ｂ（Ｂｌｕｅ）のカラーフィルタがベイヤー状に配置されている。また、各単位画素２００内にはそれぞれ副画素ａ、副画素ｂが配置されており、フォトダイオード（以下、ＰＤ）２０１ａ、２０１ｂがそれぞれの副画素ａ、ｂに配置されている。副画素ａ、ｂから出力される各々の撮像信号は焦点検出に利用され、副画素ａ、副画素ｂから出力される撮像信号を加算した信号であるａ／ｂ合成信号は画像生成用に利用される。

図３は、光学系１の異なる射出瞳から出る光束と単位画素２００との関係を示しており、図２と同様の部分については、同じ符号を付している。

図３に示すように、カラーフィルタ３０１とマイクロレンズ３０２とが、各々の単位画素２００上に形成されている。レンズの射出瞳３０３を通過した光は、光軸３０４を中心として単位画素２００に入射する。射出瞳３０３の一部の領域である瞳領域３０５を通過する光束は、マイクロレンズ３０２を通って、副画素ａで受光される。一方、射出瞳３０３の他の一部の領域である瞳領域３０６を通過する光束は、マイクロレンズ３０２を通って、副画素ｂで受光される。したがって、副画素ａと副画素ｂは、それぞれ、光学系１の射出瞳３０３の別々の瞳領域３０５、３０６の光を受光している。このため、副画素ａの出力信号（Ａ像信号）と副画素ｂの出力信号（Ｂ像信号）を比較することで（撮像面）位相差方式の焦点検出が可能となる。

図４は、撮像素子３の回路構成を示している。画素領域ＰＡには、単位画素２００がｐ１１〜ｐｋｎのように行列状（ｎ行×ｋ列）に配置されている。ここで、単位画素２００の構成を、図５（ａ）を用いて説明する。図５（ａ）は、撮像素子の単位画素の回路構成を示す図である。

図５（ａ）において、前述した副画素ａ、ｂのＰＤ（光電変換部）５０１ａ、５０１ｂに入射した光信号が、ＰＤ５０１ａ、５０１ｂによって光電変換され、露光量に応じた電荷がＰＤ５０１ａ、５０１ｂに蓄積される。転送ゲート５０２ａ、５０２ｂのゲートに印加する信号ｔｘａ、ｔｘｂをそれぞれＨｉｇｈレベルにすることで、ＰＤ５０１ａ、５０１ｂに蓄積されている電荷がＦＤ（フローティングディフュージョン）部５０３に転送される（電荷転送）。ＦＤ部５０３は、フローティングディフュージョンアンプ５０４（以下ＦＤアンプと表す）のゲートに接続されており、ＰＤ５０１ａ、５０１ｂから転送されてきた電荷量がＦＤアンプ５０４によって電圧量に変換される。

ＦＤ部５０３をリセットするためのＦＤリセットスイッチ５０５のゲートに印加する信号ｒｅｓをＨｉｇｈレベルとすることにより、ＦＤ部５０３がリセットされる。また、ＰＤ５０１ａ、５０１ｂの電荷をリセットする場合には、信号ｒｅｓと信号ｔｘａ、ｔｘｂとを同時にＨｉｇｈレベルとする。これにより、転送ゲート５０２ａ、５０２ｂ及びＦＤリセットスイッチ５０５の両方がＯＮ状態となり、ＦＤ部５０３経由でＰＤ５０１ａ、５０１ｂがリセットされる。画素選択スイッチ５０６のゲートに印加する信号ｓｅｌをＨｉｇｈレベルとすることにより、ＦＤアンプ５０４によって電圧に変換された画素信号が単位画素２００の出力ｖｏｕｔに出力される。

図４に示すように、垂直走査回路４０１は、前述の単位画素２００の各スイッチを制御するｒｅｓ、ｔｘａ、ｔｘｂ、ｓｅｌといった駆動信号を各単位画素２００に供給する。これらの駆動信号ｒｅｓ、ｔｘａ、ｔｘｂ、ｓｅｌは、行毎において共通となっている。各単位画素２００の出力ｖｏｕｔは、列毎に垂直出力線４０２を介して列共通読出し回路４０３に接続されている。

ここで、列共通読出し回路４０３の構成を、図５（ｂ）を用いて説明する。

垂直出力線４０２は、単位画素２００の列毎に設けられ、１列分の単位画素２００の出力ｖｏｕｔが接続されている。垂直出力線４０２には電流源４０４が接続されており、電流源４０４と、垂直出力線４０２に接続された単位画素２００のＦＤアンプ５０４とによってソースフォロワ回路が構成される。

図５（ｂ）において、クランプ容量６０１はＣ１の容量を有しており、フィードバック容量６０２はＣ２の容量を有しており、演算増幅器６０３は、基準電源Ｖｒｅｆに接続された非反転入力端子を有している。スイッチ６０４はフィードバック容量６０２の両端をショートさせるためのものであり、スイッチ６０４は信号ｃｆｓによって制御される。

転送スイッチ６０５〜６０８は、それぞれ単位画素２００から読み出される信号を各信号保持容量６０９〜６１２に転送するためのものである。後述する読み出し動作によって、第１のＳ信号保持容量６０９には、副画素ａから出力される画素信号Ｓａが記憶される。また、第２のＳ信号保持容量６１１には、副画素ａから出力される信号と副画素ｂから出力される信号とを合成（加算）した信号であるａ／ｂ合成信号Ｓａｂが記憶される。また、第１のＮ信号保持容量６１０及び第２のＮ信号保持容量６１２には、単位画素２００のノイズ信号Ｎがそれぞれ記憶される。各信号保持容量６０９〜６１２は、それぞれ列共通読出し回路４０３の出力ｖｓａ、ｖｎａ、ｖｓｂ、ｖｎｂに接続されている。

列共通読出し回路４０３の出力ｖｓａ、ｖｎａには、それぞれ水平転送スイッチ４０５、４０６が接続されている。水平転送スイッチ４０５、４０６は、水平走査回路４１１の出力信号ｈａ＊（＊は列番号）によって制御される。

また、列共通読出し回路４０３の出力ｖｓｂ、ｖｎｂには、それぞれ水平転送スイッチ４０７、４０８が接続されている。水平転送スイッチ４０７、４０８は、水平走査回路４１１の出力信号ｈｂ＊（＊は列番号）によって制御される。水平出力線４０９、４１０は差動増幅器４１４の入力に接続されており、差動増幅器４１４ではＳ信号とＮ信号の差分をとると同時に所定のゲインをかけ、最終的な出力信号を出力端子４１５へ出力する。

水平出力線リセットスイッチ４１２、４１３のゲートに印加する信号ｃｈｒｅｓをＨｉｇｈにすると、水平出力線リセットスイッチ４１２、４１３がＯＮとなり、各水平出力線４０９、４１０がリセット電圧Ｖｃｈｒｅｓにリセットされる。

以下、像信号Ａの読み出し動作と、像信号Ａと像信号Ｂの合成信号である像信号ＡＢの読み出し動作について説明する。

図５（ｃ）は、撮像素子３の画素領域ＰＡに設定される焦点調節用の距離情報取得領域と被写体検出用の距離情報取得領域との関係を示している。測距枠６２０は、ＡＦ制御部８からの領域情報によって測距部６により設定される。

ｋ列×ｎ行の画素で構成される画素領域ＰＡにおいて、点線で示す領域が測距枠６２０である。斜線部で示す距離情報取得領域Ｒ１に含まれる単位画素の行（画素ライン）からは、Ａ像信号及びＡ＋Ｂ像信号が読み出され、画像の生成、焦点検出及び被写体検出に使用される。距離情報取得領域Ｒ１以外の領域Ｒ２に含まれる単位画素の行（画素ライン）からは、Ａ像信号とＢ像信号の加算信号のみが読み出され、画像生成のみに使用される。

なお、図５（ｃ）に示すように、画素領域の垂直方向に複数の領域Ｒ１を設定した場合、各領域Ｒ１における単位画素２００の行の数を互いに異ならせて設定してもよい。

次に、撮像素子３の読み出し動作について図６（ａ）を用いて説明する。図６（ａ）は、前述の領域Ｒ２の各行に対して行われる読み出し動作のタイミングチャートである。

まず、信号ｃｆｓをＨｉｇｈレベルにしてスイッチ６０４をＯＮすることにより、演算増幅器６０３をバッファ状態にする。次に、信号ｓｅｌをＨｉｇｈレベルにして単位画素の画素選択スイッチ５０６をＯＮにする。その後、信号ｒｅｓをＬｏｗレベルにしてＦＤリセットスイッチ５０５をＯＦＦにし、ＦＤ部５０３のリセットを開放する。

続いて信号ｃｆｓをＬｏｗレベルに戻してスイッチ６０４をＯＦＦにした後、信号ｔｎａ、ｔｎｂをＨｉｇｈレベルにして、転送スイッチ６０６、６０８を介して第１のＮ信号保持容量６１０及び第２のＮ信号保持容量６１２にノイズ信号Ｎを記憶する。

次いで、信号ｔｎａ、ｔｎｂをＬｏｗにし、転送スイッチ６０６、６０８をＯＦＦにする。その後、信号ｔｓｂをＨｉｇｈレベルにして転送スイッチ６０７をＯＮにすると共に、信号ｔｘａ及びｔｘｂをＨｉｇｈレベルにすることで転送ゲート５０２ａと５０２ｂをＯＮにする。この動作により、副画素ａのＰＤ５０１ａに蓄積されていた電荷信号及び副画素ｂのＰＤ５０１ｂに蓄積された電荷信号を合成した信号が、ＦＤアンプ５０４、画素選択スイッチ５０６を介して垂直出力線４０２へ出力される。垂直出力線４０２の信号は、クランプ容量６０１の容量Ｃ１とフィードバック容量６０２の容量Ｃ２との容量比に応じたゲインで演算増幅器６０３により増幅され、転送スイッチ６０７を介して第２のＳ信号保持容量６１１へ記憶される（ａ／ｂ合成信号Ｓａｂ）。転送ゲート５０２ａ及び５０２ｂと、転送スイッチ６０７とを順次ＯＦＦにした後、信号ｒｅｓをＨｉｇｈレベルにしてＦＤリセットスイッチ５０５をＯＮにし、ＦＤ部５０３をリセットする。

次に、水平走査回路４１１の出力ｈｂ１がＨｉｇｈレベルになることにより、水平転送スイッチ４０７、４０８がＯＮされる。これにより、第２のＳ信号保持容量７１１、第２のＮ信号保持容量７１２の信号が水平出力線４０９、４１０と差動増幅器４１４を介して出力端子４１５に出力される。水平走査回路４１１は、各列の選択信号ｈｂ１、ｈｂ２、・・・、ｈｂｋを順次Ｈｉｇｈにすることにより、１行分のａ／ｂ合成信号（Ａ＋Ｂ像信号）を出力する。尚、信号ｈｂ１〜ｈｂｋによって各列の信号が読み出される間には、信号ｃｈｒｅｓをＨｉｇｈレベルにすることで水平出力線リセットスイッチ４１２、４１３をＯＮし、一旦、水平出力線４０９、４１０をリセット電圧Ｖｃｈｒｅｓのレベルにリセットする。

以上が、領域Ｒ２における単位画素の各行の読み出し動作である。これにより、Ａ＋Ｂ像信号が読み出されることになる。

続いて、領域Ｒ１の各行の読み出し動作について図６（ｂ）、図６（ｃ）を用いて説明する。図６（ｂ）は、Ａ像信号が読み出されるまでの動作のタイミングチャートである。信号ｃｆｓをＨｉｇｈレベルにすることから始まり、信号ｔｎａ、ｔｎｂをＬｏｗにして第１のＮ信号保持容量６１０及び第２のＮ信号保持容量６１２にＮ信号を記憶するまでの動作は、図６（ａ）で説明した動作と同様である。

ノイズ信号Ｎの記憶が終了すると、信号ｔｓａをＨｉｇｈレベルにして転送スイッチ６０５をＯＮにすると共に、信号ｔｘａをＨｉｇｈレベルにすることで転送ゲート５０２ａをＯＮする。このような動作によって、副画素ａのＰＤ５０１ａに蓄積されていた信号が、ＦＤアンプ５０４及び画素選択スイッチ５０６を介して垂直出力線４０２へ出力される。垂直出力線４０２の信号は、演算増幅器６０３において、クランプ容量６０１の容量Ｃ１とフィードバック容量６０２の容量Ｃ２との容量比に応じたゲインで増幅され、転送スイッチ６０５を介して第１のＳ信号保持容量６０９に記憶される（画素信号Ｓａ）。

次に、水平走査回路４１１の出力ｈａ１がＨｉｇｈレベルになることにより、水平転送スイッチ４０５、４０６がＯＮされる。これにより、第１のＳ信号保持容量６０９、第１のＮ信号保持容量６１０の信号が水平出力線４０９、４１０と差動増幅器４１４とを介して出力端子４１５に出力される。水平走査回路４１１は、各列の選択信号ｈａ１、ｈａ２、・・・、ｈａｋを順次Ｈｉｇｈにすることにより、１行分の副画素ａの信号（Ａ像信号）を出力する。

信号ｒｅｓはＬｏｗレベルのままで、信号ｓｅｌはＨｉｇｈレベルのままで、Ａ像信号の読み出しを終了する。これにより、ＦＤ部５０３上のＡ像信号はリセットされず保持されることになる。

Ａ像信号の読み出しが終了すると、続けて図６（ｃ）に示すＡ＋Ｂ像信号の読み出し動作へと移る。信号ｔｓｂをＨｉｇｈレベルにして転送スイッチ６０７をＯＮすると共に、信号ｔｘａ及びｔｘｂをＨｉｇｈレベルにすることで転送ゲート５０２ａと５０２ｂとをＯＮにする。このような動作により、副画素ｂのＰＤ５０２ｂに蓄積されていた信号がＦＤ部５０３に保持されていた副画素ａの信号と加算され、加算された信号がＦＤアンプ５０４、画素選択スイッチ５０６を介して垂直出力線４０２へ出力される。これ以降の部分は、図６（ａ）を用いて説明した領域Ｒ２の動作と同じである。

以上により、領域Ｒ１における各行の読み出し動作が終了する。これにより、領域Ｒ１では、Ａ像信号の読み出しとＡ＋Ｂ像信号の読み出しが行われ、Ａ像信号とＡ＋Ｂ像信号が順次読み出されることになる。

＜撮影動作＞
次に、上述した構成を有する撮像装置１００による画像撮影時の動作について説明する。

まず、光学系１は、光学系駆動部２からの駆動信号により、絞りとレンズを駆動して、適正な明るさに設定された被写体像を撮像素子３の受光面に結像させる。撮像素子３は、信号読み出し制御部４からの駆動パルスにより駆動され、被写体像を光電変換により電気信号に変換して画像信号として出力する。

信号読み出し制御部４は、コントラスト検出部５からのコントラスト評価値に応じた駆動パルスにより、上述した読み出し動作によって領域Ｒ１からＡ像信号の読み出しとＡ＋Ｂ像信号の読み出しを行い、領域Ｒ２からＡ＋Ｂ像信号の読み出しを行う。このようにＡ像信号を一部の領域で読み出すことで処理負荷を軽減している。さらに、ＡＦ制御部８は、Ａ像信号を読み出した領域Ｒ１では、Ａ＋Ｂ像信号からＡ像信号を差し引くことでＢ像信号を取得し、Ａ像信号とＢ像信号を用いてＡＦ制御を行う。なお、領域Ｒ１からＡ像信号とＢ像信号を個別に読み出すと共に、領域Ｒ１以外の領域Ｒ２からＡ＋Ｂ像信号を読み出すことでＡＦ制御を行ってもよい。

コントラスト検出部５は撮像素子３からの画像信号に基づき、測距枠内のコントラスト評価値を算出し、信号読み出し制御部４へ出力する。この場合、コントラスト検出部５は、Ａ像信号とＢ像信号を加算し、距離情報取得領域Ｒ１以外の領域Ｒ２から読み出したＡ＋Ｂ像信号と同じ形式にしてからコントラスト評価値を算出する。

ここで、コントラストＡＦの概要について説明する。コントラストＡＦ評価値算出部５は、Ａ像信号から得られる第１焦点検出信号と、Ｂ像信号から得られる第２焦点検出信号を相対的に瞳分割方向にシフトさせ、加算してシフト加算信号を生成し、生成されたシフト加算信号からコントラスト評価値を算出する。

ｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、距離情報取得領域Ｒ１に対応する番号ｋの範囲をＷとし、シフト処理によるシフト量をｓ１、シフト量ｓ１のシフト範囲をτ１として、コントラスト評価値ＲＦＣＯＮは、下記式により算出される。

シフト量ｓ１のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ−ｓ１番目の第２焦点検出信号Ｂ（ｋ−ｓ１）を対応させて加算してシフト加算信号が生成され、シフト加算信号からコントラスト評価値ＲＦＣＯＮ（ｓ１）が算出される。

測距部６は、信号読み出し制御部４により制御されるＡＦ制御用の距離情報取得領域と被写体検出用の距離情報取得領域から読み出したＡ像信号、およびＡ＋Ｂ像信号からＡ像信号を減算して得られるＢ像信号を用いて被写体の距離情報（第１の深さ情報、第２の深さ情報）を算出する。なお、本実施形態では、距離情報は（撮像面）位相差方式のＡＦを行うための位相差情報（デフォーカス量）である。

ここで、位相差ＡＦの概要について説明する。測距部６は、Ａ像信号から得られる第１焦点検出信号（Ａ像信号）と、Ｂ像信号から得られる第２焦点検出信号を相対的に瞳分割方向にシフトさせ、信号の一致度を表す相関量を算出する。ｋ番目の第１焦点検出信号をＡ（ｋ）、第２焦点検出信号をＢ（ｋ）、距離情報取得領域Ｒ１に対応する番号ｋの範囲をＷとし、シフト処理によるシフト量をｓ２、シフト量ｓ２のシフト範囲をτ２として、相関量ＣＯＲは、下記式により算出される。

シフト量ｓ２のシフト処理により、ｋ番目の第１焦点検出信号Ａ（ｋ）とｋ−ｓ２番目の第２焦点検出信号Ｂ（ｋ−ｓ２）を対応させ減算し、シフト減算信号を生成し、距離情報取得領域に対応する範囲Ｗ内で番号ｋの和をとり、相関量ＣＯＲ（ｓ２）を算出する。そして、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して像ずれ量ｐ１とする。像ずれ量ｐ１に、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた第１の変換係数Ｋ１をかけて、デフォーカス量を検出する。

なお、本実施形態では、測距部６が、異なる視差のＡ像信号とＢ像信号から距離情報を算出する例を示すが、被写体検出用の情報としては、例えば、「距離」に換算されない「深さに対応する情報」としてもよい。「深さに対応する情報」は、例えば、「距離」に換算されるまでの過程で生成されるＡ像信号とＢ像信号の「視差量（像ずれ量）」の情報、「デフォーカス量」の情報、「被写体距離」の情報のうちのいずれの形態であってもよい。そして、本実施形態では、「深さに対応する情報」のうちの「被写体距離」を、被写体検出用として画面全体に分散させて取得する。なお、被写体検出用の「深さに対応する情報」は画像に関連付けて記録してもよい。

本発明は、画像における被写体の深さに対応する情報としてさまざまな実施形態での適用が可能である。つまり、被写体の深さに対応するデータが示す情報（深さ情報）は、画像内における撮像装置から被写体までの被写体距離を直接的に表すか、または画像内の被写体の被写体距離や深さの相対関係を表す情報であればよい。

具体的には、撮像素子３は、光学系１の異なる瞳領域を通過する一対の光束が光学像としてそれぞれ結像したものを、対をなす画像信号として複数の光電変換部から出力することができる。対をなす画像信号間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成される。このデフォーカス量を光学系１や撮像素子３の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。

このように、本実施形態では、測距部６は、像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得すればよい。なお、各マップデータの各データはブロック単位で持っていてもよいし、画素単位で持っていてもよい。この場合、通常の画像データのように最小単位ごとに８ビット程度ビット数を割り当て、距離画像として画像処理や表示、記録などを画像処理と同様に行ってもよい。

被写体追尾部７は、撮像素子３からの画像信号と測距部６からの距離情報とに基づいて被写体を検出し、検出された被写体から主被写体を特定し、その位置や大きさ（サイズ）に関する被写体情報を、ＡＦ制御部８に出力する。被写体追尾部７が特定の人物の顔を主被写体（主顔）として追尾する場合、画面のより中央に近い位置にある顔を主顔に設定し、主顔の動きベクトルや色、大きさから主顔の移動先を検出する。そして、被写体追尾部７は、主顔の距離情報及び主顔周辺の被写体の距離情報に基づいて主顔の追尾を行い、他の被写体と主顔とがすれ違った場合などに主顔の判別を行う。

ＡＦ制御部８は、コントラスト方式でＡＦを行う場合はコントラストＡＦ評価値算出部５からのコントラスト評価値に基づき合焦位置（コントラスト評価値が最大となるピーク位置）を検出し、主被写体を合焦状態にするための光学系駆動情報を光学系駆動部２へ出力する。また、ＡＦ制御部８は、位相差方式でＡＦを行う場合は測距部６からの（相関量が最小となる像ずれ量やデフォーカス量に対応する）距離情報に基づき合焦位置を検出し、主被写体を合焦状態にするための光学系駆動情報を光学系駆動部２へ出力する。なお、ＡＦ制御部８は、位相差方式のＡＦを行って（測距部６からの距離情報を用いて）主被写体を合焦状態に近づけ、さらにコントラスト方式のＡＦを行って（コントラスト評価値を用いて）主被写体を合焦状態にするような制御を行ってもよい。すなわち、ＡＦ制御部８は、コントラストＡＦ評価値算出部５からのコントラスト評価値と測距部６からの距離情報の少なくともいずれかを用いて主被写体を合焦状態にするような制御を行ってもよい。

信号処理部９は、撮像素子３からの画像信号を輝度信号と色差信号に変換した画像データを生成して記録部１０や表示部１１に出力する。記録部１０及び表示部１１は、信号処理部９により生成された画像データの記録・表示を行う。

＜ＡＦ制御部及び信号読み出し制御部の動作＞
次に、図７を参照して、撮影動作におけるＡＦ制御時に、信号読み出し制御部４が、ＡＦ制御部８により制御され、撮像素子３を駆動して画像信号を読み出す場合の被写体検出用の距離情報取得領域の設定処理について説明する。

Ｓ７００では、信号読み出し制御部４は、コントラスト検出部５からコントラスト評価値を取得する。

Ｓ７０１では、信号読み出し制御部４は、Ｓ７００で取得したコントラスト評価値に基づいてＡＦの状態を判定する。信号読み出し制御部４は、閾値Ｔｈ１、Ｔｈ２（Ｔｈ１＜Ｔｈ２）を用いて、コントラスト評価値が閾値Ｔｈ１より小さい場合は大ボケと判定し、コントラスト評価値が閾値Ｔｈ１より大きく、閾値Ｔｈ２より小さい場合は中ボケと判定し、コントラスト評価値が閾値Ｔｈ２より大きい場合は合焦と判定する。そして、ＡＦ状態が大ボケと判定された場合はＳ７０２へ、中ボケと判定された場合はＳ７０３へ、合焦と判定された場合はＳ７０３へ処理を進める。

ここで、前述したように被写体検出（主被写体追尾）用の距離情報取得領域は画面全体が俯瞰できるように設定される必要があるものの、その信号読み出し量は常に一定である必要はない。よって、被写体追尾部７では、被写体検出用の距離情報は、主被写体の判別ができないくらいコントラスト評価値が小さい場合には不要である。そこで、本実施形態では、コントラスト評価値から判定される合焦状態に応じて、大ボケ状態に近づくほど被写体検出用の距離情報取得領域の解像度を低くして信号読み出し量を少なくすることで、被写体検出（主被写体追尾）用の信号処理に係るシステム負荷や消費電力の低減を優先する。また、主被写体が判別できてくるような中ボケ状態の場合は、被写体検出が徐々に必要となってくるため、システム負荷や消費電力の低減と信号読み出し量とのバランスを取るように被写体検出用の距離情報取得領域の解像度を中くらいにする。また、被写体検出が可能な合焦状態の場合は、被写体検出用の距離情報取得領域の解像度を高くし、主被写体以外の被写体の距離情報も取得できるようにする。

ここで、図８を参照しながら、図７のＳ７０２〜Ｓ７０４における被写体検出用の距離情報取得領域の解像度を制御する処理について詳細に説明する。なお、図８の（ａ）、（ｂ）、（ｃ）において、（ａ−１）〜（ａ−４）、（ｂ−１）〜（ｂ−４）、（ｃ−１）〜（ｃ−４）は、撮像された画像信号に係る各フレームを時系列的に示したものである。また、図８の（ａ）、（ｂ）、（ｃ）において、８００は主被写体、８０１は主被写体以外の被写体、８０２は被写体検出用の距離情報取得領域を例示している。また、図８において、（ａ）は大ボケ状態（Ｓ７０２）での領域設定例、（ｂ）は中ボケ状態（Ｓ７０３）での領域設定例、（ｃ）は合焦状態（Ｓ７０４）での領域設定例をそれぞれ例示している。

Ｓ７０２の大ボケ状態の場合には、信号読み出し制御部４は、図８（ａ）のように被写体検出用の距離情報取得領域８０２の解像度が低くなるように領域設定を行う。この場合は、画面における被写体検出用の距離情報取得領域８０２は最も粗な状態となり、信号読み出し量が最も少なくなる。

Ｓ７０３の中ボケ状態の場合には、信号読み出し制御部４は、図８（ｂ）のように被写体検出用の距離情報取得領域８０２の解像度が中くらいになるように領域設定を行う。この場合は、画面における被写体検出用の距離情報取得領域８０２は粗と密の中間の状態となり、信号読み出し量が増加する。このようにして、図８（ｂ）の中ボケ状態では、図８（ａ）の大ボケ状態に対して、被写体検出用の距離情報取得領域８０２から主被写体以外の被写体の距離情報も取得できる。

Ｓ７０４は合焦状態なので、信号読み出し制御部４は、図８（ｃ）のように被写体検出用の距離情報取得領域の解像度が高くなるように領域設定を行う。この場合は、画面における被写体検出用の距離情報取得領域８０２は最も密な状態となり、信号読み出し量が最も多くなる。図８（ｃ）の合焦状態では、図８（ｂ）の中ボケ状態と比べて被写体検出用の距離情報取得領域８０２から主被写体以外の被写体の距離情報をさらに高解像度で取得できる。

Ｓ７０５では、信号読み出し制御部４は、Ｓ７０２からＳ７０４で設定された距離情報取得領域の解像度に応じた制御情報を算出し、撮像素子３へ駆動パルスを出力する。

Ｓ７０６では、信号読み出し制御部４は、ＡＦ制御部８から撮影終了が指示されるなどをトリガーとして、撮影動作が終了したか否かを判定し、終了と判定されるまでＳ７００からの処理を繰り返す。

本実施形態によれば、画像撮影中のＡＦ制御時に、コントラスト評価値に基づいて被写体検出用の距離情報取得領域の粗密を制御することで、信号処理に係るシステム負荷や消費電力を抑えることができる。

［実施形態２］次に、実施形態２について説明する。

実施形態１では、信号読み出し制御部４が、コントラスト検出部５からのコントラスト評価値に基づいて被写体検出用の距離情報取得領域の解像度を制御していた。これに対して、実施形態２では、信号読み出し制御部４が、被写体追尾部７からの被写体の数に基づいて被写体検出用の距離情報取得領域の解像度を制御する。

なお、実施形態２において、実施形態１と同様の要素には同一の符号付して説明を省略する。

図９は、実施形態２の撮像装置１００の構成を示しており、実施形態１と異なる点は、被写体追尾部７が撮像素子３からの画像信号と測距部６からの距離情報とに基づき、撮像画像中の被写体の数を検出し、信号読み出し部４に出力する点と、信号読み出し部４が被写体追尾部７からの被写体の数に基づいて被写体検出用の距離情報取得領域の解像度を制御する点である。

次に、図１０を参照して、撮影動作におけるＡＦ制御時に、信号読み出し制御部４が、ＡＦ制御部８により制御され、撮像素子３を駆動して画像信号を読み出す場合の被写体検出用の距離情報取得領域の設定処理について説明する。

Ｓ１０００では、信号読み出し制御部４は、被写体追尾部７から被写体の数を取得する。

Ｓ１００１では、信号読み出し制御部４は、Ｓ１０００で取得した被写体の数が多いか、少ないか、中くらいかを判定する。信号読み出し制御部４は、閾値Ｔｈ３、Ｔｈ４（Ｔｈ３＜Ｔｈ４）を用いて、被写体の数が閾値Ｔｈ３より小さい場合は少ないと判定し、被写体の数が閾値Ｔｈ３より大きく、閾値Ｔｈ４より小さい場合は中くらいと判定し、被写体の数が閾値Ｔｈ４より大きい場合は多いと判定する。そして、被写体の数が少ないと判定された場合はＳ１００２へ、中くらいと判定された場合はＳ１００３へ、多いと判定された場合はＳ１００４へ処理を進める。

本実施形態において被写体の数を判定条件としているのは、被写体の数が多いほど、主被写体の前をそれ以外の被写体がすれ違う可能性が高くなるため、距離情報を用いた主被写体の判別が必要となる可能性が高くなるからである。

Ｓ１００２では、信号読み出し制御部４は、被写体の数が多い場合には、図８（ｃ）と同様に、被写体検出用の距離情報取得領域の解像度が高くなるように領域設定を行う。

Ｓ１００３では、信号読み出し制御部４は、被写体の数が中くらいの場合には、図８（ｂ）と同様に、被写体検出用の距離情報取得領域８０２の解像度が中くらいになるように領域設定を行う。

Ｓ１００４では、信号読み出し制御部４は、被写体の数が少ない場合には、図８（ａ）と同様に、被写体検出用の距離情報取得領域８０２の解像度が低くなるように領域設定を行う。

Ｓ１００５では、信号読み出し制御部４は、Ｓ１００２からＳ１００４で設定された距離情報取得領域の解像度に応じた制御情報を算出し、撮像素子３へ駆動パルスを出力する。

Ｓ１００６では、信号読み出し制御部４は、ＡＦ制御部８から撮影終了が指示されるなどをトリガーとして、撮影動作が終了したか否かを判定し、終了と判定されるまでＳ１０００からの処理を繰り返す。

本実施形態によれば、画像撮影中のＡＦ制御時に、被写体の数に基づいて被写体検出用の距離情報取得領域の粗密を制御することで、信号処理に係るシステム負荷や消費電力を抑えることができる。

なお、上述した実施形態では、被写体検出用の距離情報取得領域を被写体の数に基づいて設定したが、被写体の動きベクトルを検出し、主被写体の前をそれ以外の被写体がすれ違う可能性が高いと判定した場合には距離情報取得領域の解像度を高くし、すれ違う可能性が低いと判定した場合には低くしてもよい。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１…光学系、２…光学系駆動部、３…撮像素子、４…信号読み出し制御部、５…コントラスト検出部、６…測距部、７…被写体追尾部、８…ＡＦ制御部、９…信号処理部、１０…記録部、１１…表示部、１２…操作部、１３…システム制御部

Claims (9)

1. 複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、
   前記撮像素子の光電変換部から順次信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を複数フレーム出力させる読み出し手段と、
   主被写体に対応する領域を示す情報と、該主被写体の合焦状態を示す情報とを取得する取得手段と、
   前記読み出し手段により前記撮像素子から視差が異なる信号を読み出す領域を設定する設定手段と、を有し、
   前記設定手段は、各フレームにおける前記視差が異なる信号を読み出す領域を、前記視差が異なる信号を読み出す領域が包含する画角を略同等に維持しつつ、
   前記取得手段により取得する前記主被写体の合焦状態が第１の状態であるときに、前記第１の状態よりも合焦に遠い第２の状態であるときよりも高い解像度で前記視差が異なる信号を読み出す領域を設定することを特徴とする撮像装置。
2. 複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、
   前記撮像素子の光電変換部から順次信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を複数フレーム出力させる読み出し手段と、
   前記画像信号に基づいて前記画像信号における被写体の数を検出する検出手段と、
   前記読み出し手段により前記撮像素子から視差が異なる信号を読み出す領域を設定する設定手段と、を有し、
   前記設定手段は、各フレームにおける前記視差が異なる信号を読み出す領域を、前記視差が異なる信号を読み出す領域が包含する画角を略同等に維持しつつ、
   前記検出手段により検出される被写体の数が第１の数であるときに、前記第１の数より少ない第２の数であるときよりも高い解像度で前記視差が異なる信号を読み出す領域を設定することを特徴とする撮像装置。
3. 前記設定手段により設定された前記視差が異なる信号を読み出す領域から読み出された信号を用いて深さ情報を算出する算出手段を有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記設定手段により設定された前記視差が異なる信号を読み出す領域から読み出された信号を用いて深さ情報を算出する算出手段を有し、
   前記取得手段は、前記深さ情報に基づいて得られた被写体の合焦状態を示す情報を取得することを特徴とする請求項１に記載の撮像装置。
5. 前記設定手段により設定された前記視差が異なる信号を読み出す領域から読み出された信号を用いて深さ情報を算出する算出手段を有し、
   前記検出手段は、前記深さ情報に基づいて被写体の位置と大きさと数を検出することを特徴とする請求項２に記載の撮像装置。
6. 複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、
   前記撮像素子の光電変換部から順次信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を複数フレーム出力させる読み出し手段と、を有する撮像装置の制御方法であって、
   主被写体に対応する領域を示す情報と、該主被写体の合焦状態を示す情報とを取得する取得工程と、
   前記読み出し手段により前記撮像素子から視差が異なる信号を読み出す領域を設定する設定工程と、を有し、
   前記設定工程では、各フレームにおける前記視差が異なる信号を読み出す領域を、前記視差が異なる信号を読み出す領域が包含する画角を略同等に維持しつつ、
   前記取得工程により取得する前記主被写体の合焦状態が第１の状態であるときに、前記第１の状態よりも合焦に遠い第２の状態であるときよりも高い解像度で前記視差が異なる信号を読み出す領域を設定することを特徴とする撮像装置の制御方法。
7. 複数のマイクロレンズを有し、当該複数のマイクロレンズそれぞれに複数の光電変換部が割り当てられて、当該複数の光電変換部ごとに１つの画素をなす撮像素子と、
   前記撮像素子の光電変換部から順次信号を読み出し、前記撮像素子の各画素における複数の光電変換部からの信号に対応する複数画素からなる画像信号を複数フレーム出力させる読み出し手段と、を有する撮像装置の制御方法であって、
   前記画像信号に基づいて前記画像信号における被写体の数を検出する検出工程と、
   前記読み出し手段により前記撮像素子から視差が異なる信号を読み出す領域を設定する設定工程と、を有し、
   前記設定工程では、各フレームにおける前記視差が異なる信号を読み出す領域を、前記視差が異なる信号を読み出す領域が包含する画角を略同等に維持しつつ、
   前記検出工程により検出される被写体の数が第１の数であるときに、前記第１の数より少ない第２の数であるときよりも高い解像度で前記視差が異なる信号を読み出す領域を設定することを特徴とする撮像装置の制御方法。
8. 請求項６または７に記載された制御方法を、撮像装置のコンピュータに実行させるためのプログラム。
9. 請求項６または７に記載された制御方法を、撮像装置のコンピュータに実行させるためのプログラムを記憶したコンピュータによる読み取りが可能な記憶媒体。

Images