JP6944846B2 - 撮像装置、撮像装置の制御方法 - Google Patents

Description

本発明は、マイクロレンズに対応する画像用画素が、複数の焦点検出用画素に分割されている撮像装置、撮像装置の制御方法に関する。

撮像素子単体で位相差検出用の情報を取得することができるように、マイクロレンズに対応する画像用画素が、複数の焦点検出用画素に分割された撮像素子が、従来より提案され、製品化されている。

例えば、画像用画素が２つの焦点検出用画素に分割されている場合には、焦点検出用画素を全て読み出すと、画像用画素の２倍の画素数を読み出すことになるために、読出時間が長くなり、フレームレートが低下してしまう。

そこで例えば、特開２０１２−１５５０９５号公報には、各画素が複数の光電変換部に瞳分割された撮像素子に対し焦点調節領域を決定して、焦点調節領域内では瞳分割された画像信号をそれぞれ出力し、焦点調節領域外では画素毎に加算して出力するように切り替えることで、撮像素子からの画像信号の読み出し時間を短縮する技術が記載されている。

特開２０１２−１５５０９５号公報

上記特開２０１２−１５５０９５号公報に記載の技術は、焦点調節領域を決定して撮像素子からの画像信号の読み出しを行うために、決定された焦点調節領域の大きさなどに応じてフレームレートが変化してしまう可能性がある。そして、例えばカラムＡＤＣ型のＣＭＯＳ撮像素子は一定のパターンで画素を駆動することが好ましいが、焦点調節領域と焦点調節領域外とで駆動方法を異ならせる場合には、ＣＭＯＳ撮像素子の駆動パターンに馴染まず、読み出し時間が効果的に短縮されない場合もある。

また、撮像素子から行毎に画素信号を読み出すローリングシャッタの場合には、各行の露光時間が同一であっても、露光開始タイミングと露光終了タイミングは行毎に異なってしまう。このために、高速に移動する被写体を撮影すると、行毎に被写体の位置が変化しているために、歪み（いわゆるローリングシャッタ歪み）が生じることが知られている。このとき、上記特開２０１２−１５５０９５号公報に記載の技術では、瞳分割された画像信号を出力する焦点調節領域と、画素毎に加算して出力する焦点調節領域外とでは、ローリングシャッタの幕速が異なるために、焦点調節領域と焦点調節領域外とでローリングシャッタ歪みの程度が異なってしまい、違和感のある不自然な画像として観察されてしまう。

本発明は上記事情に鑑みてなされたものであり、画素信号の読み出し時間を短縮しながら、より違和感の少ない画像を得ることができる撮像装置、撮像装置の制御方法を提供することを目的としている。

本発明の一態様による撮像装置は、マイクロレンズに対応する画像用画素が行列状に配列された画素部を有し、前記画像用画素は撮影光学系の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成する複数の焦点検出用画素に分割されており、前記光電変換信号に基づいて画像用画素信号と焦点検出用画素信号とを生成する撮像部と、１つの前記画像用画素内で生成された全ての前記光電変換信号を加算することで前記画像用画素信号を生成し、生成した前記画像用画素信号のみを読み出す第１読出を行う第１の行と、前記光電変換信号に基づいて瞳分割方向における一対の前記焦点検出用画素信号の両方を生成して読み出す第２読出、または、一対の前記焦点検出用画素信号の一方と前記画像用画素信号とを生成して読み出す第３読出を行う第２の行と、の１つのフレーム内における列方向の周期を制御する制御部と、を具備する。

本発明の他の態様による撮像装置の制御方法は、マイクロレンズに対応する画像用画素が行列状に配列された画素部を有し、前記画像用画素は撮影光学系の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成する複数の焦点検出用画素に分割されており、前記光電変換信号に基づいて画像用画素信号と焦点検出用画素信号とを生成する撮像部を備える撮像装置の制御方法であって、第１の行において、１つの前記画像用画素内で生成された全ての前記光電変換信号を加算することで前記画像用画素信号を生成し、生成した前記画像用画素信号のみを読み出す第１読出を行い、第２の行において、前記光電変換信号に基づいて瞳分割方向における一対の前記焦点検出用画素信号の両方を生成して読み出す第２読出、または、一対の前記焦点検出用画素信号の一方と前記画像用画素信号とを生成して読み出す第３読出を行い、前記第１の行と前記第２の行との１つのフレーム内における列方向の周期を制御する方法である。

本発明の撮像装置、撮像装置の制御方法によれば、画素信号の読み出し時間を短縮しながら、より違和感の少ない画像を得ることが可能となる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１における撮像素子の構成を示すブロック図。 上記実施形態１の撮像素子の画素部におけるエリア構成の例を示す図。 上記実施形態１において、１つのマイクロレンズに２つまたは４つのフォトダイオードが配置される画素構造の例を示す図表。 上記実施形態１における４ＰＤ画素構造の画素の構成例を示す回路図。 上記実施形態１において、第１読出における電子シャッタ動作を行うときの撮像素子の駆動例を示すタイミングチャート。 上記実施形態１において、第１読出における画素信号読出を行うときの撮像素子の駆動例を示すタイミングチャート。 上記実施形態１において、第３読出における電子シャッタ動作を行うときの撮像素子の駆動の第１例を示すタイミングチャート。 上記実施形態１において、第３読出における電子シャッタ動作を行うときの撮像素子の駆動の第２例を示すタイミングチャート。 上記実施形態１において、第３読出における画素信号読出を行うときの撮像素子の駆動例を示すタイミングチャート。 上記実施形態１における撮像装置の作用を示すフローチャート。 上記実施形態１の図１１におけるステップＳ７の静止画処理の内容を示すフローチャート。 上記実施形態１の図１１におけるステップＳ８の動画処理の内容を示すフローチャート。 上記実施形態１の図１２におけるステップＳ１１，Ｓ１６、および図１３におけるステップＳ２１，Ｓ２４の撮像動作の内容を示すフローチャート。 上記実施形態１において、撮像素子を駆動するための垂直同期信号および水平同期信号における、電子シャッタ動作が行われる部分および読出動作が行われる部分の例を示すタイミングチャート。 上記実施形態１の図１５における電子シャッタ動作の様子を拡大して示すタイミングチャート。 上記実施形態１の図１５における読出動作の様子を拡大して示すタイミングチャート。 上記実施形態１において、撮像装置または被写体の移動速度に対する、１周期内の第２の行の割合ｎｙ／ｎｘの制御の例を示す線図。 上記実施形態１において、撮像装置の温度または消費電力に対する、１周期内の第２の行の割合ｎｙ／ｎｘの制御の例を示す線図。 上記実施形態１において、撮像素子からの読出フレームレートに対する、１周期内の第２の行の割合ｎｙ／ｎｘの制御の例を示す線図。 上記実施形態１において、被写体の輝度値に対する、１周期内の第２の行の割合ｎｙ／ｎｘの制御の例を示す線図。 上記実施形態１において、撮像レンズのＦ値に対する、１周期内の第２の行の割合ｎｙ／ｎｘの制御の例を示す線図。 上記実施形態１において、撮像装置のモードに対する、１周期内の第２の行の割合ｎｙ／ｎｘの制御の例を示す図表。 上記実施形態１において、フォーカスモードに対する、１周期内の第２の行の割合ｎｙ／ｎｘの制御の例を示す図表。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図２４は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。

図１に示すように、撮像装置１は、撮像レンズ２と、シャッタ３と、撮像素子４と、データバス５と、メモリ６と、焦点検出用減算部７と、焦点検出用信号処理部８と、画像信号処理部９と、温度センサ１０と、ブレ検出部１１と、被写体移動速度検出部１２と、表示部１３と、記録部１４と、入力インタフェース（入力ＩＦ）１５と、システム制御部１６と、を備え、いわゆるカメラとしての機能を備えている。

撮像レンズ２は、被写体の光学像を撮像素子４上に結像するための撮影光学系である。この撮像レンズ２は、フォーカス位置を調節するためのフォーカスレンズと、撮像レンズ２を通過する光束の範囲を制御する光学絞りとを備え、例えば焦点距離を可変なズームレンズとして構成されている。撮像レンズ２の光学状態、例えば、フォーカス位置、光学絞りの開口径（Ｆ値）、および焦点距離は、システム制御部１６の駆動制御により変更される。撮像レンズ２は固定式でも交換式でもよく、交換式である場合には、システム制御部１６が撮像レンズ２と通信を行うことにより撮像レンズ２の光学状態の情報を取得することになる。

シャッタ３は、撮像レンズ２からの光束が撮像素子４へ到達する時間を制御するものであり、例えばフォーカルプレーンシャッタなどの、シャッタ幕を走行させる構成のメカニカルシャッタとなっている。このシャッタ３の開閉動作は、システム制御部１６により駆動制御される。

撮像素子４は、撮像部に含まれ、複数の画像用画素が２次元状（行列状）に配列された画素部２２（図２、図３参照）を有する。画像用画素は、マイクロレンズＬ（図４参照）に対応し、複数の焦点検出用画素に分割された構成となっている。ここに、焦点検出用画素は、撮影光学系である撮像レンズ２の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成するものである。こうして、画素部２２には、複数の焦点検出用画素が２次元状（行列状）に配列されているともいえる。

そして、撮像素子４は、システム制御部１６の制御に基づき、シャッタ３を通して撮像レンズ２により結像された被写体の光学像を、上述したように光電変換して複数の光電変換信号を生成する。

こうした撮像素子４は、例えば、原色ベイヤ配列のカラーフィルタを備える単板式ＣＭＯＳ撮像素子として構成されているが、もちろんこの構成に限定されるものではない。

そして、本実施形態の撮像素子４は、システム制御部１６の制御に基づき、後述する素子制御部２９（図２参照）が、１つの画像用画素内で生成された全ての光電変換信号を加算することで画像用画素信号を生成し、生成した画像用画素信号のみを読み出す第１読出を行う第１の行と、光電変換信号に基づいて瞳分割方向における一対の焦点検出用画素信号の両方を生成して読み出す第２読出、または、一対の焦点検出用画素信号の一方と画像用画素信号とを生成して読み出す第３読出を行う第２の行と、の１つのフレーム内における列方向の周期を制御するようになっている。

１つの画像用画素が、例えば、一対の焦点検出用画素信号α，βを生成する２つの焦点検出用画素に分割されている場合を例に挙げると、第１読出では、一対の焦点検出用画素信号α，βを加算した画像用画素信号（α＋β）のみが出力され、焦点検出用画素信号α，βは何れも出力されない。また、第２読出では、撮像素子４から一対の焦点検出用画素信号α，βがそれぞれ出力される。さらに、第３読出では、撮像素子４から、一対の焦点検出用画素信号α，βの何れか一方（ここでは例えば焦点検出用画素信号αであるものとする）と、一対の焦点検出用画素信号α，βを加算した画像用画素信号（α＋β）とが出力される。

さらに、この撮像素子４は、同一色である複数の画像用画素をミックス処理（画素加算と画素間引きとの少なくとも一方を行って撮像素子４から出力する画素数を少なくする処理）して読み出すミックス（ＭＩＸ）読み出しを行うことができるようになっている。このミックス処理は、撮像素子４から出力する画像が、ライブビュー（ＬＶ）用の画像であるか、動画用の画像であるか、静止画用の画像であるか、等に応じて、異なるミックス数が設定されるようになっている。

データバス５は、各種のデータや制御信号を、撮像装置１内のある場所から他の場所へ転送するための転送路である。本実施形態におけるデータバス５は、撮像素子４と、メモリ６と、焦点検出用減算部７と、焦点検出用信号処理部８と、画像信号処理部９と、温度センサ１０と、ブレ検出部１１と、被写体移動速度検出部１２と、表示部１３と、記録部１４と、入力ＩＦ１５と、システム制御部１６と、に接続されている。

メモリ６は、撮像素子４により生成された画素信号を一時的に記憶する記憶部であり、例えばＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）等により構成されている。このメモリ６は、撮像装置１内の各部が例えば画像処理や焦点検出等の各種の処理を行う際の、ワークメモリや画像のバッファメモリとしても用いられる。

焦点検出用減算部７は、上述した第３読出が行われたときに、画像用画素信号から一対の焦点検出用画素信号の一方を減算することで、一対の焦点検出用画素信号の他方を生成する（あるいは、「他方を復元する」ともいえる）ものである。上述した第２読出では、撮像素子４から出力される焦点検出用画素信号α，βをそのまま位相差検出に用いることができるのに対して、第３読出では、位相差検出を行うために必要な焦点検出用画素信号（上述した例における焦点検出用画素信号β）が不足している。そこで、焦点検出用減算部７は、例えば｛（α＋β）−α｝の減算を行うことで、焦点検出用画素信号βを復元する。従って、第３読出の方式を減算読み出し方式、第２読出の方式を単純読み出し方式と呼ぶことにする。また、第１読出では焦点検出用画素信号が出力されないために、第１読出の方式を位相差情報なし読み出し方式と呼ぶことにする。

焦点検出用信号処理部８は、単純読み出し方式で撮像素子４から出力された一対の焦点検出用画素信号の両方、または減算読み出し方式で撮像素子４から出力された一対の焦点検出用画素信号の一方および焦点検出用減算部７により復元された一対の焦点検出用画素信号の他方に基づいて、像面位相差検出を行うものである。

また、本実施形態における焦点検出用信号処理部８は、焦点検出用画素信号に基づく位相差検出方式の焦点検出（位相差ＡＦ）に加えて、さらに、画像用画素信号のコントラストに基づく焦点検出（コントラストＡＦ）を行うことができるようになっている。

そして、焦点検出用信号処理部８は、焦点検出の結果に基づいて、撮像レンズ２のフォーカス位置を合焦位置へ移動するためのレンズ制御パラメータを算出する。加えて、焦点検出用信号処理部８は、焦点検出用画素信号に対する演算を行って、例えば、３Ｄ情報、デプスマップ、あるいは深度補正情報などを算出することも可能であり、これらを算出した場合にはその結果を画像信号処理部９へ送信する。

画像信号処理部９は、撮像素子４から出力された画像用画素信号に画像処理を行って表示用および／または記録用の画像（例えば、表示部１３に表示するための画像、記録部１４に記録するための画像など）を生成するものである。

ここに、第２の行が第３読出された場合には画像用画素信号（α＋β）が出力されるが、第２の行が第２読出された場合には一対の焦点検出用画素信号α，βが出力され、画像用画素信号（α＋β）は出力されない。そこで、画像信号処理部９は、第２の行が第２読出された場合には一対の焦点検出用画素信号α，βを加算することで、画像用画素信号（α＋β）を生成する処理も行う。

この画像信号処理部９は、画像用画素信号に対して、例えば、ＯＢ減算、ホワイトバランス（ＷＢ）ゲイン、デモザイク、ノイズ低減、色変換、ガンマ変換、拡大縮小などの画像処理（いわゆる現像処理を含む）を行う。また、画像信号処理部９は、被写体の輝度値の算出も行う。なお、静止画や動画を記録部１４に記録する際あるいは記録部１４から読み出す際のデータ圧縮／データ伸張は、この画像信号処理部９により行っても構わないし、専用の圧縮伸張部を設けて行うようにしてもよい。

温度センサ１０は、例えば撮像素子４の近傍に設けられていて、撮像装置１内の温度を測定するものである。システム制御部１６は、温度センサ１０により測定された温度を取得して、温度に応じた制御を後述するように行う。

ブレ検出部１１は、撮像装置１の移動に伴う加速度や角速度などを検出して、ひいては撮像装置１の移動速度も検出するものである。システム制御部１６は、ブレ検出部１１により検出された撮像装置１の移動速度を取得して、撮像装置１の移動速度に応じた制御を後述するように行う。

被写体移動速度検出部１２は、撮像素子４から取得された画像に基づいて、被写体の移動速度を検出するものである。例えば、被写体移動速度検出部１２は、撮影時刻が連続する複数の画像を被写体認識して動きベクトルを求めることにより、撮像レンズ２の光軸に交差する方向の被写体の移動速度を検出する。さらに、被写体移動速度検出部１２は、撮影時刻が連続する複数の画像を被写体認識して被写体部分のデフォーカス量の変化量を求めることにより、撮像レンズ２の光軸方向の被写体の移動速度を検出する。さらに、被写体移動速度検出部１２は、必要に応じてブレ検出部１１により検出された撮像装置１の移動速度に基づいて、検出した被写体の移動速度の補正を行う。

システム制御部１６は、被写体移動速度検出部１２により検出された被写体の移動速度を取得して、被写体の移動速度に応じた制御を後述するように行う。

表示部１３は、画像を表示すると共に、撮像装置１に係る各種の情報を表示する表示装置である。この表示部１３は、例えば、ＬＣＤパネルあるいは有機エレクトロルミネッセンス（有機ＥＬ）ディスプレイ等のデバイスを有している。表示部１３の具体的な配置や構成としては、電子ビューファインダ（ＥＶＦ）、撮像装置１の背面パネル、撮像装置１と無線接続されている携帯デバイスの表示装置などが挙げられる。従って、表示部１３は、撮像装置１に固有の構成であることに限定されない。

記録部１４は、複数の画素信号で構成される画像データ（静止画像データ、動画像データなど）を不揮発に記憶する記録媒体であり、例えば、撮像装置１本体に内蔵されているフラッシュメモリ、あるいは撮像装置１本体に着脱可能なメモリカード等により構成されている。従って、記録部１４は、撮像装置１に固有の構成であることに限定されない。

入力ＩＦ１５は、この撮像装置１に対する各種の操作入力を行うためのものである。入力ＩＦ１５は、例えば、撮像装置１の電源をオン／オフするための電源ボタン、静止画像等の撮影開始を指示するための例えば２段式のスイッチ（ファーストレリーズ（１Ｒ）スイッチおよびセカンドレリーズ（２Ｒ）スイッチ）を有するレリーズボタン、動画像の撮影を指示するための動画ボタン、記録画像の再生を行うための再生ボタン、撮像装置１の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンなどを含んでいる。

ここに、メニューボタンや十字キー、ＯＫボタン等を用いて設定できる項目には、例えば、撮影モード（静止画モード、動画モード等）、静止画モードにおける連写モード／単写モード、記録モード（ＪＰＥＧ記録、ＲＡＷ＋ＪＰＥＧ記録など）、再生モード、フォーカスモード（マニュアルフォーカス（ＭＦ）モード、シングルオートフォーカス（ＳＡＦ）モード、コンティニュアスオートフォーカス（ＣＡＦ）モード）などが含まれている。

入力ＩＦ１５に対して操作が行われると、操作内容に応じた信号がシステム制御部１６へ出力される。

なお、入力ＩＦ１５の具体的な配置や構成としては、カメラ本体の外装に配設されたボタンやスイッチ類、あるいは表示部１３における背面パネルの表示面に設けられたタッチパネル、遠隔操作するためのリモートレリーズ装置や携帯デバイスなどが挙げられる。従って、入力ＩＦ１５も、撮像装置１に固有の構成であることに限定されない。

システム制御部１６は、例えばＣＰＵを含んで構成され、撮像装置１内の各部を統括的に制御する制御部である。

システム制御部１６は、所定の処理プログラム（撮像プログラムを含む）に従って、入力ＩＦ１５からの操作入力に応じた各種のシーケンスを実行する。ここに、処理プログラムは、システム制御部１６内に不揮発に記憶されていてもよいし、メモリ６に不揮発に記憶されていてシステム制御部１６により読み込まれる構成であっても構わない。

例えば、システム制御部１６は、焦点検出用信号処理部８により算出されたレンズ制御パラメータに基づいて、撮像レンズ２のフォーカスレンズを制御し、システム制御部１６内で行った露出演算の結果に基づいて撮像レンズ２の絞りおよびシャッタ３の制御を行い、撮像素子４を制御して撮像を行わせ画素信号を出力させる。また、システム制御部１６は、表示部１３に各種情報を表示する制御、および記録部１４へデータを記録しまたは記録部１４からデータを読み出す制御なども行う。

さらに、システム制御部１６は、撮像装置１の消費電力を把握し、処理プログラムに従って撮像素子４の読み出しフレームレートを制御し、画像信号処理部９から被写体の輝度値を取得する。

この撮像装置１は、撮影モードとして、静止画モードと動画モードとを選択することができる。撮像装置１は、静止画モードでは、セカンドレリーズ（２Ｒ）スイッチがオンになってから静止画像が取得されるまで（つまり、実際の静止画撮影中）は静止画撮影中モードに設定されて動作し、それ以外ではライブビュー（ＬＶ）モードに設定されて動作する。また、撮像装置１は、動画モードでは、動画ボタンがオンになってからオフになるまで（つまり、実際の動画撮影中（動画記録中））は動画撮影中モードに設定されて動作し、それ以外ではライブビュー（ＬＶ）モードに設定されて動作する。従って、撮像装置１は、静止画撮影中モード、動画撮影中モード、ライブビュー（ＬＶ）モードの何れかにモードを設定可能となっている。

さらに、撮像装置１は、マニュアルフォーカス（ＭＦ）モード、シングルオートフォーカス（ＳＡＦ）モード、コンティニュアスオートフォーカス（ＣＡＦ）モードの何れかにフォーカスモードを設定可能となっている。

そして、システム制御部１６は、入力ＩＦ１５からの操作入力に応じて、撮像装置１のモードを、静止画モード（静止画撮影中モードまたはＬＶモード）、動画モード（動画撮影中モードまたはＬＶモード）の何れかに設定し、フォーカスモードを、ＭＦモード、ＳＡＦモード、ＣＡＦモードの何れかに設定する。

加えて、システム制御部１６は、入力ＩＦ１５の入力などに基づいて撮像装置１のモード（例えば、静止画撮影中モード、動画撮影中モード、フォーカスモードなど）を決定し、決定したモードに応じて第１の行と第２の行との１つのフレーム内における列方向の周期を制御するための周期設定値を、撮像素子４内の素子制御部２９（図２参照）へ送信するようになっている。

次に、図２は、撮像素子４の構成を示すブロック図である。

撮像部は、複数の焦点検出用画素に分割された画像用画素を有し、焦点検出用画素により光束を光電変換して生成された光電変換信号に基づいて画像用画素信号と焦点検出用画素信号とを生成するものであり、上述したように撮像素子４を含んでいる。

撮像素子４は、図２に示す例においては、垂直走査部２１と、画素部２２と、アナログ処理部２３と、ＡＤＣ処理部２４と、メモリ部２５と、水平走査部２６と、出力部２７と、入力部２８と、素子制御部２９と、を備えている。

画像用画素（ひいては焦点検出用画素）は画素部２２に配列されていて、光電変換信号に基づく画像用画素信号と焦点検出用画素信号との生成と、同一色である複数の画像用画素のミックス（ＭＩＸ）読み出しとは、垂直走査部２１〜出力部２７までの少なくとも一部、および素子制御部２９などが行う。

なお、図２では、撮像素子４が垂直走査部２１および画素部２２を備えるだけでなく、さらに、アナログ処理部２３〜素子制御部２９を備える構成例を示しているが、これに限るものではなく、例えばアナログ処理部２３〜素子制御部２９の１つ以上を撮像素子４の外部に配置しても構わない。

画素部２２は、上述したように、画像用画素（ひいては焦点検出用画素）が行列状（垂直方向（列方向）および水平方向（行方向））に配列された画素アレイ部である。

ここで、図３は、撮像素子４の画素部２２におけるエリア構成の例を示す図である。

画素部２２は、撮像レンズ２からの光束が到達する有効画素領域である有効エリア２２ｅと、有効エリア２２ｅとは異なる行に設けられ、撮像レンズ２からの光束が遮光された垂直光学黒領域であるＶＯＢエリア２２ｖと、有効エリア２２ｅとは異なる列に設けられ、撮像レンズ２からの光束が遮光された水平光学黒領域であるＨＯＢエリア２２ｈと、を含んでいる。

さらに、図４は、１つのマイクロレンズＬに２つまたは４つのフォトダイオードＰＤが配置される画素構造の例を示す図表である。

画像用画素の構造として、この図４には、１つのマイクロレンズＬに対して２つのフォトダイオードＰＤが配置される２ＰＤ画素構造と、１つのマイクロレンズＬに対して４つのフォトダイオードＰＤが配置される４ＰＤ画素構造と、を例示している。

画素は、物体側から像側へ向かう積層方向の順に、マイクロレンズＬとカラーフィルタＦとフォトダイオードＰＤとが配設された構成となっている。ここに、マイクロレンズＬは、光を集めることにより画像用画素に到達する光量を増加させ、画像用画素の開口率を実質的に大きくするものである。また、カラーフィルタＦは、例えば原色ベイヤ配列のカラーフィルタの場合には、Ｒフィルタ、Ｇフィルタ、またはＢフィルタの何れかが、その画素位置に応じて配設されている。

ここで、図４に示す２ＰＤ画素構造の場合には、１つのマイクロレンズＬの結像範囲に２つのフォトダイオードＰＤが配設されている。２つのフォトダイオードＰＤは、水平方向の位相差を検出するためのものである場合には左右に２分割されており、垂直方向の位相差を検出するためのものである場合には上下に２分割されている。これにより２つの焦点検出用画素ａ，ｂが構成されている。

一方、図４に示す４ＰＤ画素構造の場合には、１つのマイクロレンズＬの結像範囲に４つのフォトダイオードＰＤが配設されている。４つのフォトダイオードＰＤは、水平方向および垂直方向の位相差を検出することができるように、上下左右に４分割されている（すなわち、４つのフォトダイオードＰＤが、左上、左下、右上、右下の位置にそれぞれ配置される）。これにより４つの焦点検出用画素ａ，ｂ，ｃ，ｄが構成されている。

また、以下では、画素部２２の全画素が４ＰＤ画素構造である場合を例に挙げて説明を行うこととする（ただし、画素部２２の一部の画素が、４ＰＤ画素構造、または２ＰＤ画素構造となることを妨げるものではない）。ここに、画素部２２の全画素が４ＰＤ画素構造である場合には、各フォトダイオードＰＤから出力される画素信号は焦点検出用画素信号である。

さらに、フォトダイオードＰＤの出力を例えば後述する図５の回路構成によって垂直２画素加算する場合、つまり、図４における（ａ＋ｂ）と（ｃ＋ｄ）とを算出する場合には、水平方向の位相差を検出（縦線検知）するための焦点検出用画素信号となる。

そして、フォトダイオードＰＤの出力を同様に水平２画素加算する場合、つまり、図４における（ａ＋ｃ）と（ｂ＋ｄ）とを算出する場合には、垂直方向の位相差を検出（横線検知）するための焦点検出用画素信号となる。

図４に示す４ＰＤ画素構造の場合には、縦線検知用の焦点検出用画素信号と、横線検知用の焦点検出用画素信号と、の内の、一方が第１の瞳分割方向における一対の焦点検出用画素信号、他方が第２の瞳分割方向における一対の焦点検出用画素信号となる。

加えて、フォトダイオードＰＤの出力を同様に４画素加算する場合、つまり、図４における（ａ＋ｂ＋ｃ＋ｄ）を算出する場合には、画像用画素信号となる。

垂直走査部２１は、画素部２２の画素の水平方向の並び（行）を選択することを順次行うことで、走査を垂直方向に行う回路である。この垂直走査部２１が、特定の行を選択して、選択された行にある各画素のリセットや転送を行うことで、画素の電荷蓄積時間（露光時間）が制御されるようになっている。

アナログ処理部２３は、画素部２２から読み出されたアナログの画素信号をアナログ信号処理する回路である。このアナログ処理部２３は、例えば、画素信号を増幅するプリアンプ、有効エリア２２ｅで得られた画素信号を、ＶＯＢエリア２２ｖまたはＨＯＢエリア２２ｈで得られた画素信号に基づき補正することで、黒レベルを調整し、固定パターンノイズ等も除去するＯＢクランプ回路、画素信号からリセットノイズを低減する相関二重サンプリング（ＣＤＳ）回路などを含んでいる。

アナログデジタル変換処理部（ＡＤＣ処理部）２４は、アナログ処理部２３から出力されたアナログの画素信号をデジタルの画素信号に変換する。このＡＤＣ処理部２４は、例えば、カラムＡＤＣに代表されるような、画素部２２から読み出された画素信号を列毎のアナログ・デジタル・コンバータ（ＡＤＣ）でＡＤ変換する構成が採用されている。

メモリ部２５は、ＡＤＣ処理部２４で変換された画素信号を一時的に保持する揮発性メモリ回路等で構成されている。

水平走査部２６は、メモリ部２５から、画素信号（画像用画素信号と焦点検出用画素信号）を列順に読み出す。

出力部２７は、水平走査部２６により読み出された画素信号を配列して画素信号列を生成し、シリアル信号や差動信号などの出力信号形式に変換して出力する。

入力部２８は、システム制御部１６から、撮像素子４の制御に係る同期信号、基準クロック、動作設定の情報（例えば、静止画撮影中、動画撮影中、ライブビュー、ＡＦ等のカメラモード、および上述した周期設定値）などを受信する。

素子制御部２９は、入力部２８を介して受信した同期信号および基準クロックに合わせて、動作設定の情報に基づき撮像素子４内の各ブロックを制御するものであり、行カウンタ演算部３０を備えている。

行カウンタ演算部３０は、入力部２８を介して受信した周期設定値に基づいて、どの行を第１読出を行う第１の行とし、それ以外の行を第２の行とするかを設定する。そして、行カウンタ演算部３０は、読み出し行をカウントして、カウントした行が第１の行に該当する場合には第１読出を行うように制御し、第１の行に該当しない場合には例えば第３読出（なお、第２読出でもよいが、以下では第３読出を行う例について説明する）を行うように制御する。

こうして、行カウンタ演算部３０を含む素子制御部２９および図１に示したシステム制御部１６等により、撮像部（図２に示す構成例では撮像素子４が該当する）の読み出しを制御する制御部が構成されている。

次に、図５は、４ＰＤ画素構造の画素の構成例を示す回路図である。

４ＰＤ画素構造の画素においては、１つのマイクロレンズＬに対応する位置に４つのフォトダイオードＰＤ１〜ＰＤ４が配置され、具体的には、マイクロレンズＬの光学像が結像される範囲内の左上、左下、右上、右下位置に４つのフォトダイオードＰＤ１〜ＰＤ４がそれぞれ配置されている。

４つのフォトダイオードＰＤ１〜ＰＤ４には、スイッチとして機能するトランジスタＴｒ１〜Ｔｒ４がそれぞれ接続されており、垂直走査部２１から制御信号ＴＸ１〜ＴＸ４をそれぞれ印加することにより、トランジスタＴｒ１〜Ｔｒ４のオン／オフがそれぞれ制御されるようになっている。

各トランジスタＴｒ１〜Ｔｒ４は、フローティングディフュージョンＦＤに接続されていて、オンされたトランジスタＴｒに対応するフォトダイオードＰＤの信号電荷が、フローティングディフュージョンＦＤに転送されるようになっている。

また、フローティングディフュージョンＦＤには、スイッチとして機能するトランジスタＴｒ５の一端が接続されており、トランジスタＴｒ５の他端は電源電圧ＶＤＤに接続されている。そして、トランジスタＴｒ５にリセット信号ＲＥＳを印加することにより、電源電圧ＶＤＤ側とフローティングディフュージョンＦＤ側とのオン／オフが制御されるようになっている。このような構成により、トランジスタＴｒ５をオンにすることで、フローティングディフュージョンＦＤのリセットが行われる。また、トランジスタＴｒ１〜Ｔｒ４をオンにした状態で、さらにトランジスタＴｒ５をオンにすることで、フォトダイオードＰＤ１〜ＰＤ４のリセットが行われる。

フローティングディフュージョンＦＤは、スイッチとして機能するトランジスタＴｒ６と、電源電圧ＶＤＤに接続され増幅部として機能するトランジスタＴｒ７と、を介して出力端子ＯＵＴに接続されている。

トランジスタＴｒ６に選択信号ＳＥＬを印加することで、フローティングディフュージョンＦＤの電圧値がトランジスタＴｒ７により増幅されて、出力端子ＯＵＴから読み出されるようになっている。

図６および図７を参照して、第１読出に係るタイミングチャートを説明する。

図６は、第１読出における電子シャッタ動作を行うときの撮像素子４の駆動例を示すタイミングチャートである。なお、図６（および後述する図７）におけるタイミングｔ１〜ｔ５（ならびに後述する図８〜図１０におけるタイミングｔ１〜ｔ１０）は、１つのタイミングチャート内におけるタイミングの前後関係を表すものであり、異なるタイミングチャートにタイミングを示す同一の記号（例えばｔ１）が記載されていても、同一の時刻を表すものではない。

タイミングｔ２において、リセット信号ＲＥＳをオンにする（スイッチとして機能するトランジスタＴｒ１〜Ｔｒ６の内、オンであることを明示したもの以外はオフであるものとする。以下同様。）と、フローティングディフュージョンＦＤがリセットされる。このリセット信号ＲＥＳのオンは、タイミングｔ４においてリセット信号ＲＥＳがオフにされるまで行われる。

タイミングｔ３において、制御信号ＴＸ１〜ＴＸ４をオンにすると、この時点ではリセット信号ＲＥＳがオンであるために、フォトダイオードＰＤ１〜ＰＤ４の信号電荷がさらにリセットされる。

その後、タイミングｔ４においてリセット信号ＲＥＳがオフにされる。

なお、この図６に示す流れでは、フォトダイオードＰＤ１〜ＰＤ４からフローティングディフュージョンＦＤへの電荷転送はないために、フローティングディフュージョンＦＤは、タイミングｔ２以降、リセット電荷（タイミングチャート中において、ＲＥＳと記載）を保持する。

図７は、第１読出における画素信号読出を行うときの撮像素子４の駆動例を示すタイミングチャートである。図６に示したような電子シャッタの動作から露光時間（いわゆるシャッタ速度に対応）が経過した後に行われる画素信号の読み出し動作を示すのが、この図７である。従って、電子シャッタの動作は露光を開始する先幕動作、読み出し動作は露光を終了する後幕動作ということができる（以下、同様）。

タイミングｔ１において、リセット信号ＲＥＳをオンにすると、フローティングディフュージョンＦＤがリセットされる。そして、フローティングディフュージョンＦＤは、リセット電荷（ＲＥＳ）を保持する。

タイミングｔ２において、選択信号ＳＥＬをオンにすると、フローティングディフュージョンＦＤに蓄積されたリセット電荷（ＲＥＳ）の電圧（リセット電圧）が、トランジスタＴｒ７により増幅されて、出力端子ＯＵＴから読み出される。

タイミングｔ３において、制御信号ＴＸ１〜ＴＸ４をオンにすると、フォトダイオードＰＤ１〜ＰＤ４の信号電荷（これらの信号電荷をＰＤ１〜ＰＤ４とする）が、フローティングディフュージョンＦＤへ転送される。これにより、フローティングディフュージョンＦＤは、電荷（ＰＤ１２３４＋ＲＥＳ（なお、ＰＤ１２３４＝ＰＤ１＋ＰＤ２＋ＰＤ３＋ＰＤ４である））を保持する。

タイミングｔ４において、選択信号ＳＥＬをオンにすると、フローティングディフュージョンＦＤに蓄積された電荷（ＰＤ１２３４＋ＲＥＳ）の電圧が上述のように出力端子ＯＵＴから読み出される。このタイミングｔ４で読み出された電圧に含まれるリセット電圧（リセットノイズ）は、アナログ処理部２３のＣＤＳ回路により、タイミングｔ２で読み出されたリセット電圧を用いて除去されるようになっている（以後、説明は省略するが、同様にしてリセットノイズが除去される）。

続いて、（図８または図９）および図１０を参照して、第３読出に係るタイミングチャートを説明する。なお、第２読出については簡略化のために説明を省略するが、図５に示したような回路を制御することにより、同様に行うことができる。

図８は、第３読出における電子シャッタ動作を行うときの撮像素子４の駆動の第１例を示すタイミングチャートである。図８〜図１０において、図６または図７と同様である点については適宜省略し、以下ではより簡潔に説明する。

タイミングｔ７においてリセット信号ＲＥＳをオンにし、オンにしたリセット信号ＲＥＳを、タイミングｔ９においてオフにする。そして、リセット信号ＲＥＳがオンになっているタイミングｔ８において、制御信号ＴＸ１〜ＴＸ４をオンにして、フォトダイオードＰＤ１〜ＰＤ４の信号電荷をリセットする。

図９は、第３読出における電子シャッタ動作を行うときの撮像素子４の駆動の第２例を示すタイミングチャートである。後で図１０を参照して説明するように、第３読出における画素信号読出においては、タイミングｔ３におけるフォトダイオードＰＤ１，ＰＤ２の信号電荷の読み出しと、タイミングｔ８におけるフォトダイオードＰＤ１〜ＰＤ４の信号電荷の読み出しと、が行われる。そこで、電子シャッタ動作におけるフォトダイオードＰＤ１〜ＰＤ４のリセットをタイミングｔ３およびタイミングｔ８の２度行うことで、電源電圧ＶＤＤの変動が一定（定常的）となるようにしたのが、この図９の電子シャッタ動作である。

すなわち、タイミングｔ２においてリセット信号ＲＥＳをオンにし、オンにしたリセット信号ＲＥＳを、タイミングｔ４においてオフにする。そして、リセット信号ＲＥＳがオンになっているタイミングｔ３において、制御信号ＴＸ１〜ＴＸ４をオンにして、フォトダイオードＰＤ１〜ＰＤ４の信号電荷をリセットする。

さらに、タイミングｔ７においてリセット信号ＲＥＳをオンにし、オンにしたリセット信号ＲＥＳを、タイミングｔ９においてオフにする。そして、リセット信号ＲＥＳがオンになっているタイミングｔ８において、制御信号ＴＸ１〜ＴＸ４をオンにして、フォトダイオードＰＤ１〜ＰＤ４の信号電荷をリセットする。

図１０は、第３読出における画素信号読出を行うときの撮像素子４の駆動例を示すタイミングチャートである。

タイミングｔ１において、リセット信号ＲＥＳをオンにしてフローティングディフュージョンＦＤをリセットし、タイミングｔ２において、リセット電荷（ＲＥＳ）の電圧を読み出す。

タイミングｔ３において、フォトダイオードＰＤ１，ＰＤ２の信号電荷をフローティングディフュージョンＦＤへ転送してタイミングｔ４において電荷（ＰＤ１２＋ＲＥＳ（なお、ＰＤ１２＝ＰＤ１＋ＰＤ２である））の電圧を読み出す。

その後、タイミングｔ８において、フォトダイオードＰＤ１〜ＰＤ４の信号電荷をフローティングディフュージョンＦＤへ転送してタイミングｔ９において電荷（ＰＤ１２３４＋ＲＥＳ）の電圧を読み出す。

なお、図１０に示す動作を行う場合には、タイミングｔ３で読み出される電荷と、タイミングｔ８で読み出される電荷とは、露光時間が異なることになる。しかし、この露光時間の差は、実際の露光時間（例えば、１／３０秒〜１／１０００秒など）に比べてごく小さいために、実体的な影響はほぼないと考えてよい。

図７と図１０とを比較すれば分かるように、第１読出では画像用画素のみを１回で読み出せばよいが、第３読出では、一対の焦点検出用画素信号の一方の読み出しと、画像用画素信号の読み出しと、の２回の読み出しが必要となる。従って、ローリングシャッタの幕速は、第１読出の方が第３読出よりも速くなっている。また、図示はしていないが、第２読出でも同様に、一対の焦点検出用画素信号の一方の読み出しと他方の読み出しとの２回の読み出しが必要となるために、ローリングシャッタの幕速は、第１読出の方が第２読出よりも速くなっている。

図１１は、撮像装置１の作用を示すフローチャートである。この図１１および後述する図１２〜図１４の各動作は、システム制御部１６の制御に基づいて撮像装置１により行われるようになっている。

入力ＩＦ１５の電源ボタンがオンされる等によりこの処理を開始すると、撮像装置１の各部に電源を供給してチェックを行うと共に、初期設定パラメータ（あるいは、ユーザにより前回設定されたパラメータ）等を読み込んで各部に設定するなどの、撮像装置１の初期設定を行う（ステップＳ１）。

そして、撮像装置１のモードが変更されたか否かを判定する（ステップＳ２）。ここに、変更判定の対象とする撮像装置１のモードには、撮影モード（静止画モード／動画モード等）、連写モード／単写モード、フォーカスモード（ＳＡＦモード／ＣＡＦモード／ＭＦモード等）などがある。

ここで、モードが変更されたと判定された場合には、入力内容に従って撮像装置１のモードを設定する（ステップＳ３）。

このステップＳ３を行うか、またはステップＳ２においてモードが変更されていないと判定された場合には、撮像装置１に関連する状態の変化があるか否かを判定する（ステップＳ４）。ここに、変化判定の対象とする撮像装置１に関連する状態には、撮像レンズ２の光学状態（例えば、Ｆ値など）、画像から取得される被写体輝度値、ブレ検出部１１から取得される撮像装置１の移動（手ブレによる移動、パン操作による移動など）、被写体移動速度検出部１２により検出される被写体の移動速度に基づく被写体移動、温度センサ１０から取得される撮像装置１内の温度、などが幾つかの例として挙げられる（ただし、これらに限定されるものではない）。

そして、撮像装置１に関連する状態の変化があると判定された場合には、変化した状態を例えばメモリ６に記憶しておく（ステップＳ５）。

このステップＳ５を行うか、またはステップＳ４において状態の変化がないと判定された場合には、撮像モードが静止画モードと動画モードとの何れであるかを判定する（ステップＳ６）。ただしここでは、撮像装置１が撮像モードに設定されている場合を想定しており、再生モード等に設定されている場合の処理は省略している。

このステップＳ６で、静止画モードであると判定された場合には後で図１２を参照して説明する静止画処理を行い（ステップＳ７）、動画モードであると判定された場合には後で図１３を参照して説明する動画処理を行う（ステップＳ８）。

ステップＳ７またはステップＳ８の処理を行ったら、入力ＩＦ１５の電源ボタンがオフされたか否かを判定し（ステップＳ９）、まだオフされていないと判定した場合にはステップＳ２へ戻って上述したような処理を行う。

一方、ステップＳ９において電源ボタンがオフされたと判定された場合には、この処理を終了する。

図１２は、図１１におけるステップＳ７の静止画処理の内容を示すフローチャートである。

この処理に入ると、後で図１４を参照して説明する撮像動作を行う（ステップＳ１１）。

そして、ステップＳ１１で撮影された画像に、画像信号処理部９がライブビュー用の画像処理を行い、表示部１３に表示するライブビューを行う（ステップＳ１２）。

次に、レリーズボタンのファーストレリーズ（１Ｒ）スイッチがオンされたか否かを判定する（ステップＳ１３）。

ここで、１Ｒスイッチがオンされたと判定された場合には、ライブビュー用にステップＳ１１で取得された画像に基づいて、焦点検出用信号処理部８が像面位相差ＡＦまたはコントラストＡＦを行う（ステップＳ１４）。ただし、マニュアルフォーカス（ＭＦ）モードに設定されている場合には、この処理はスキップされる。

なお、焦点検出用信号処理部８が像面位相差ＡＦを行う場合であって、第２の行が第３読出された場合には、読み出される画素信号は、上述したように、例えばＰＤ１２およびＰＤ１２３４であるために、焦点検出用減算部７により、ＰＤ３４＝ＰＤ１２３４−ＰＤ１２（なお、ＰＤ３４＝ＰＤ３＋ＰＤ４である）の焦点検出用減算処理が行われ、ＰＤ１２とＰＤ３４の組み合わせが復元される。

続いて、レリーズボタンのセカンドレリーズ（２Ｒ）スイッチがオンされたか否かを判定する（ステップＳ１５）。

ここで、２Ｒスイッチがオンされていないと判定された場合には、ステップＳ１１へ戻って上述したような処理を行う。なお、１Ｒスイッチがオンされ続けているときのステップＳ１１からステップＳ１５のループにおいて、シングルオートフォーカス（ＳＡＦ）モードに設定されている場合には、２回目以降のステップＳ１４の処理はスキップされ、１Ｒスイッチがオンされた直後に設定された焦点位置が維持される。

また、ステップＳ１５において、２Ｒスイッチがオンされたと判定された場合には、後で図１４を参照して説明する撮像動作を行う（ステップＳ１６）。

そして、ステップＳ１６で撮影された画像に、画像信号処理部９が静止画用の画像処理を行い、記録部１４に静止画像として記録する（ステップＳ１７）。

その後、静止画モードが複数枚の静止画像を連続して撮影する連写モードであるか否かを判定する（ステップＳ１８）。

ここで、連写モードであると判定された場合には、ステップＳ１１へ戻って上述したような処理を行い、次の連写画像を取得する。この連写モード時には、ステップＳ１４において、動体予測ＡＦを行う。

ステップＳ１８において連写モードでない（つまり、１枚の静止画像のみを撮影する単写モードである）と判定された場合、またはステップＳ１３において１Ｒスイッチがオンされていないと判定された場合には、この処理から図１１に示した処理にリターンする。

図１３は、図１１におけるステップＳ８の動画処理の内容を示すフローチャートである。

この処理に入ると、後で図１４を参照して説明する撮像動作を行う（ステップＳ２１）。

そして、ステップＳ２１で撮影された画像に、画像信号処理部９がライブビュー用の画像処理を行い、表示部１３に表示するライブビューを行う（ステップＳ２２）。

次に、入力ＩＦ１５の動画ボタンがオンされたか否か、つまり、動画記録が開始されたか否かを判定する（ステップＳ２３）。

ここで、動画記録が開始されていないと判定された場合には、ステップＳ２１へ戻って上述したような処理を行う。

また、ステップＳ２３において動画記録が開始されたと判定された場合には、後で図１４を参照して説明する撮像動作を行う（ステップＳ２４）。

そして、ステップＳ２４で撮影された画像に、画像信号処理部９が動画用の画像処理を行い、記録部１４に動画の１フレームとして記録する（ステップＳ２５）。

さらに、ステップＳ２４で取得された画像に基づいて、焦点検出用信号処理部８が像面位相差ＡＦまたはコントラストＡＦを行う（ステップＳ２６）と共に、画像信号処理部９がライブビュー用の画像処理を行い、表示部１３に表示するライブビューを行う（ステップＳ２７）。

その後、動画ボタンがオフされたか否か、つまり、動画記録を終了するか否かを判定する（ステップＳ２８）。

ここで、動画記録を終了しないと判定された場合には、ステップＳ２４へ戻って上述したように動画撮影を継続して行う。

一方、ステップＳ２８において、動画記録を終了すると判定された場合には、この処理から図１１に示した処理にリターンする。

図１４は、図１２におけるステップＳ１１，Ｓ１６、および図１３におけるステップＳ２１，Ｓ２４の撮像動作の内容を示すフローチャートである。

この処理に入ると、撮像素子４は、システム制御部１６の制御に基づいて、ＭＩＸモードにおける、水平方向および垂直方向におけるミックス処理の画素加算数や画素間引き割合などを設定する（ステップＳ３１）。

次に、撮像装置１のモードと状態との少なくとも一方に変更があったか否かを判定する（ステップＳ３２）。この判定は、例えば、図１１のステップＳ３で設定された撮像装置１のモード、あるいはステップＳ５でメモリ６に記憶された撮像装置１に関連する状態の変化に基づいて行う。

ここで、少なくとも一方に変更があったと判定された場合には、撮像対象のフレームに対して、周期読出を行うか否かを判定する（ステップＳ３３）。

例えば、静止画撮影時あるいはマニュアルフォーカス（ＭＦ）モードにおいて、３Ｄ情報、デプスマップ、深度補正情報などが不要であるとき、つまり焦点検出用信号が不要であるときには、全ての画像用画素信号を上述した第１読出により読み出せばよく、周期読出（つまり、第２読出と第３読出の何れも）が不要となる。そこで、このステップＳ３３の判定を行っている。

ここに、周期読出は、第１読出を行う第１の行と、第２読出または第３読出を行う第２の行と、を１つのフレーム内において列方向に周期に行う制御方法である。

例えば図３において、有効エリア２２ｅに対して、行範囲Ｘが１周期を示し、行範囲Ｙが第２の行群、行範囲Ｚが第１の行群である。以下では、行範囲Ｘ，Ｙ，Ｚの行数をそれぞれｎｘ（１周期内における行の数），ｎｙ（１周期内における第２の行の数），ｎｚ（１周期内における第１の行の数）により表すものとする。

そして、周期読出を行うと判定された場合には、制御部が、撮像装置１のモードおよび状態に応じて、有効エリア２２ｅに適用する読み出しの周期の行数ｎｘを設定すると共に（ステップＳ３４）、１つの周期内における焦点検出用信号を読み出す行数ｎｙを設定する（ステップＳ３５）。

ここに、ｎｘ＝ｎｙ＋ｎｚが成り立つために、ｎｘおよびｎｙを設定すれば、ｎｚは自動的に定まることになる。ただし、ｎｘおよびｎｙを設定するのに代えて、ｎｘおよびｎｚを設定してもよいし、ｎｙおよびｎｚを設定しても構わない。このときさらに、好ましくはｎｙ＜ｎｚ（あるいはｎｙ≦ｎｚ）が満たされるように、行カウンタ演算部３０を含む素子制御部２９（制御部）が制御するようになっている。

なお、上述では、例えばｎｘとｎｙの両方を設定する例を説明したが、これに限定されるものではなく、一方のみを設定するようにしても構わない（例えば、制御部は、ｎｙ＜ｎｚの範囲内において、ｎｘのみを変更するように制御してもよい）。

例えば、必要に応じて位相差ＡＦの精度を調整するためには、焦点検出用信号を取得することができる行数の割合、つまり、１周期内の第２の行の割合ｎｙ／ｎｘを変化させればよい。こうして、制御部は、撮像装置１に係るパラメータに応じてｎｙ／ｎｘが変化するように、ｎｘ、または、ｎｘおよびｎｙ（ただし、上述したように、ｎｘおよびｎｚでも同義である）を変更すればよい（同様に、少なくともｎｘ＝ｎｙ＋ｎｚが変更されるように、ｎｙおよびｎｚを変更しても構わない）。

また、有効エリア２２ｅに適用する周期は、有効エリア２２ｅ全体に適用される周期（固定周期）であるが、有効エリア２２ｅ内の一部分と他の部分とで周期を異ならせることを禁止するものではない。一例を挙げれば、有効エリア２２ｅの中央部分の行に対しては行数のセット（ｎｘ１，ｎｙ１，ｎｚ１）で表される第１の周期を適用し、有効エリア２２ｅのその他の行に対しては行数のセット（ｎｘ２，ｎｙ２，ｎｚ２）で表される第２の周期を適用することも可能である。

さらに、ＶＯＢエリア２２ｖでは周期性は不要であるために、素子制御部２９は、このようなｎｘ，ｎｙ，ｎｚで定まる周期を、有効エリア２２ｅには適用するが、ＶＯＢエリア２２ｖには適用しないように制御する。

すなわち、素子制御部２９は、ＶＯＢエリア２２ｖにおける第１の行群の行範囲Ａの行数ｎａを設定すると共に（ステップＳ３６）、第２の行群の行範囲Ｂの行数ｎｂを設定する（ステップＳ３７）。

ここで設定する行数ｎａ，ｎｂは、撮像装置１のモードおよび状態に依存することのない一定値として構わない（ただし、行数ｎａ，ｎｂを、撮像装置１のモードおよび状態に応じて変化させることを妨げるものではない）。

また、ＯＢレベルの精度を上げるためにはある程度以上の行数が必要となるために、仮に有効エリア２２ｅにおいてｎｙ＜＜ｎｚであったとしても、ｎｂ＜＜ｎａとはせずに、行数ｎａと行数ｎｂとを比較的近い値とすることが好ましい。

このステップＳ３７を行った後、ステップＳ３２において撮像装置１のモードと状態との何れにも変更がないと判定された場合、または、ステップＳ３３において周期読出を行わないと判定された場合には、例えば画像のアスペクト比や電子ズーム等に応じた画像切り出しの設定を行う（ステップＳ３８）。

そして、システム制御部１６および素子制御部２９を含む制御部の制御に基づき、撮像素子４により電荷の蓄積を行って、露光時間が経過した電荷を読み出す処理を行い（ステップＳ３９）、この処理を呼び出した元の処理へリターンする。

ところで、撮像装置１に対して相対的に高速に移動する被写体をローリングシャッタで撮影したときの歪み（いわゆるローリングシャッタ歪み）の量は、ローリングシャッタの幕速によって異なる。このために、幕速が速い第１読出を行う行範囲Ｚと、幕速が遅い第３読出（または第２読出）を行う行範囲Ｙとは、歪み量が異なり、斜め線にギザギザ（あるいはジグザグ）が生じることになる。

ここで、図１５は、撮像素子４を駆動するための垂直同期信号ＶＤおよび水平同期信号ＨＤにおける、電子シャッタ動作が行われる部分Ｓおよび読出動作が行われる部分Ｒの例を示すタイミングチャート、図１６は、図１５における電子シャッタ動作の様子を拡大して示すタイミングチャート、図１７は、図１５における読出動作の様子を拡大して示すタイミングチャートである。図１５〜図１７においては右方向を時間Ｔが進む方向としている。

図１５に示す電子シャッタ動作が行われる部分Ｓを拡大して示すのが図１６、図１５に示す読出動作が行われる部分Ｒを拡大して示すのが図１７である。

図１６に示す電子シャッタ動作は、図１７に示す読出動作から露光時間だけ遡った時点で行われるように制御されるために、図１６に示す先幕の動作と、図１７に示す後幕の動作とは、基本的に幕速の変化による傾きが同一である。

そして、行範囲Ｚは幕速が速い第１読出を行い、行範囲Ｙは幕速が遅い第３読出（または第２読出）を行うために、行範囲Ｚにおける電子シャッタ幕の動きＭ１ＳおよびＭ１Ｒは、行範囲Ｙにおける電子シャッタ幕の動きＭ２ＳおよびＭ２Ｒよりも傾きが急である。

従って、隣り合う行の露光開始タイミングおよび露光終了タイミングのずれは、行範囲Ｚよりも行範囲Ｙの方が大きくなり、つまり、ある行の露光期間と次の行の露光期間との間に被写体が撮像装置１に対して相対的に移動する量は、行範囲Ｚよりも行範囲Ｙの方が大きくなる。このために、相対的に移動する被写体の斜め線の傾きが行範囲Ｚと行範囲Ｙとで異なりギザギザが生じることになる。

こうしたギザギザをなるべく目立ち難くするためには、行数ｎｙをなるべく小さくすることが好ましく、例えば、ＡＤＣ処理部２４が備えるカラムＡＤＣの本数で決まる最小値に設定するとよい。具体的に、１行分の画素データを並列的にＡＤ変換するカラムＡＤＣが４本設けられている場合には、ｎｙ＝４に設定する等である。

一方、ＡＦの精度を上げるためには、上述したように、１周期内の第２の行の割合ｎｙ／ｎｘを制御して、（ｎｙ／ｎｘ）＜＜（１／２）である状態から、（ｎｙ／ｎｘ）＜（１／２）を満たす範囲で（ｎｙ／ｎｘ）≒（１／２）に近付けるとよい。

従って、変化させる行数の種類を減らして効果的な制御を行うという実用上の観点からは、行数ｎｙをなるべく小さい値（例えば上述したようなハードウェア的に定まる最小値）に固定した上で、（ｎｙ／ｎｘ）＜（１／２）を満たす範囲（つまり、ｎｙ＜ｎｚを満たす範囲）内で周期の行数ｎｘのみを変化させることにより、割合ｎｙ／ｎｘを制御するという運用が考えられる。

以下では、撮像装置１のモードや状態をパラメータとして、制御部が割合ｎｙ／ｎｘをどのように制御するかの例を幾つか説明する。

図１８は、撮像装置１または被写体の移動速度に対する、１周期内の第２の行の割合ｎｙ／ｎｘの制御の例を示す線図である。なお、図１８〜図２４においては、割合ｎｙ／ｎｘの制御の傾向を大まかに示しているために、図面上は直線的に変化しているとしても、曲線的（あるいは折れ線状）に変化させてもよいし、階段状に変化させても構わないし、図示の例に限定されるものではない。

この図１８に示す例では、ブレ検出部１１の検出結果に基づき得られる撮像装置１の移動速度（パラメータ）、または被写体移動速度検出部１２により検出される被写体の移動速度（パラメータ）が速くなる（速度値が増加する）に従って、割合ｎｙ／ｎｘが増加するように制御部が制御している。

これは、撮像装置１または被写体の移動速度が速い場合に、ＡＦ精度を確保して被写体に追従させるためである。

なお、撮像装置１の移動速度と被写体の移動速度との両方を用いて、撮像装置１に対する被写体の相対的な移動速度をパラメータとして算出し、相対的な移動速度が速くなる（速度値が増加する）に従って、割合ｎｙ／ｎｘが増加するように制御部が制御しても構わない。

図１９は、撮像装置１の温度または消費電力に対する、１周期内の第２の行の割合ｎｙ／ｎｘの制御の例を示す線図である。

この図１９に示す例では、温度センサ１０から取得される撮像装置１の温度（パラメータ）またはシステム制御部１６による電源制御に基づき得られる撮像装置１の消費電力（パラメータ）が大きくなる（電力値が増加する）に従って、割合ｎｙ／ｎｘが減少するように制御部が制御している。

２回の読み出しを行う第２の行は、１回の読み出しを行う第１の行よりも消費電力が大きく、つまり多くの熱が発生して撮像装置１の温度が高くなるから、第２の行の割合ｎｙ／ｎｘを減らすことで温度、消費電力の上昇を抑制するためである。

なお、動画撮影中や連写撮影中には、消費電力が大きく撮像装置１の温度が上昇することがあるために、この図１９の制御を行うと好適である。

図２０は、撮像素子４からの読出フレームレートに対する、１周期内の第２の行の割合ｎｙ／ｎｘの制御の例を示す線図である。

この図２０に示す例では、システム制御部１６の制御に基づき撮像素子４に設定される読出フレームレート（パラメータ）が速くなる（読出フレームレートの値が増加する）に従って、割合ｎｙ／ｎｘが増加するように制御部が制御している。

読出フレームレートを速くする場合には、ミックス処理のミックス数（画素加算数や画素間引き割合）を上げる処理が行われる。このとき、ミックス数が大きい程、画面内における焦点検出用画素の間隔が広くなって位相差検出精度が低下してしまう。そこで、読出フレームレートが速くなるに従って割合ｎｙ／ｎｘが増加させることで、位相差検出精度の低下を抑制するようにしているためである。

図２１は、被写体の輝度値に対する、１周期内の第２の行の割合ｎｙ／ｎｘの制御の例を示す線図である。

この図２１に示す例では、システム制御部１６が画像信号処理部９から取得する被写体の輝度値（パラメータ）が大きくなる（増加する）に従って、割合ｎｙ／ｎｘが減少するように制御部が制御している。

これは、被写体の輝度値が大きいとローリングシャッタ歪みが目立つために、割合ｎｙ／ｎｘを減少させることでローリングシャッタ歪みを抑制するようにしたためである。一方、被写体の輝度値が小さいと焦点検出用画素信号のＳ／Ｎが低下して、ひいてはＡＦ精度が低下するために、被写体の輝度値が小さい場合に第２の行の割合ｎｙ／ｎｘを増加してより多くのデータに基づきＡＦを行うことで、ＡＦ精度の低下を抑制するようにしたためである。

図２２は、撮像レンズ２のＦ値に対する、１周期内の第２の行の割合ｎｙ／ｎｘの制御の例を示す線図である。

この図２２に示す例では、システム制御部１６の制御に基づき撮像レンズ２に設定されるＦ値（パラメータ）が大きくなる（増加する）（つまり、撮像素子４に入射する単位時間当たりの光量が減少する）に従って、割合ｎｙ／ｎｘが増加するように制御部が制御している。

Ｆ値が小さいほど被写界深度が浅くなるが、位相差検出を行って得られる２像間隔値をデフォーカス量に変換する係数が原理的にさらに高い比率で小さくなる。係数が小さいと、位相差検出に誤差があったとしても、誤差の影響が小さくなるために、位相差検出の精度を特に高める必要はない。これに対して、Ｆ値が大きくなると係数が大きいために、位相差検出の誤差が精度に影響する。そこで、Ｆ値が大きくなるに従って割合ｎｙ／ｎｘを増加してより多くのデータに基づき位相差検出を行うことで、検出精度の低下を抑制するようにしたためである。

図２３は、撮像装置１のモードに対する、１周期内の第２の行の割合ｎｙ／ｎｘの制御の例を示す図表である。

この図２３に示す例では、システム制御部１６により設定される撮像装置１のモード（パラメータ）が、静止画撮影中モードである場合には割合ｎｙ／ｎｘを小さくし、動画撮影中モードである場合およびライブビュー（ＬＶ）モードである場合には静止画撮影中モードである場合よりも割合ｎｙ／ｎｘを大きくするように制御部が制御している。

ここに、動画撮影中モードおよびＬＶモードではＡＦを追従させていく必要があるために割合ｎｙ／ｎｘを確保しているのに対して、静止画撮影中モードでは画質を優先して割合ｎｙ／ｎｘを小さくしている。なお、動画撮影中モードとＬＶモードとで割合ｎｙ／ｎｘを異ならせても構わない。

図２４は、フォーカスモードに対する、１周期内の第２の行の割合ｎｙ／ｎｘの制御の例を示す図表である。

この図２４に示す例では、システム制御部１６により設定される撮像装置１のフォーカスモード（パラメータ）が、マニュアルフォーカス（ＭＦ）モードである場合には割合ｎｙ／ｎｘを小さくし、シングルオートフォーカス（ＳＡＦ）モードである場合およびコンティニュアスオートフォーカス（ＣＡＦ）モードである場合にはＭＦモードである場合よりも割合ｎｙ／ｎｘを大きくするように制御部が制御している。

これは、ＳＡＦモードおよびＣＡＦモードではＡＦ精度を保つ必要があるために割合ｎｙ／ｎｘを大きくしているが、ＭＦモードではＡＦを行わないために割合ｎｙ／ｎｘを小さくして画質を優先している。なお、ＳＡＦモードとＣＡＦモードとで割合ｎｙ／ｎｘを異ならせても構わない。

また、図２３に示した撮像装置１のモード（あるいはさらに図２４に示したフォーカスモード）に応じて定まる割合ｎｙ／ｎｘを基本として、その基本の割合ｎｙ／ｎｘを各パラメータに応じてどのように変化させるかを示すのが図１８〜図２２である。さらに、図１８〜図２２におけるグラフの傾きは、撮像モードやフォーカスモードに応じて異なるように設定される。

例えば、図１８〜図２２に示したような制御は、静止画撮影用の位相差検出を行う際に好適に適用される。ただし、静止画撮影をメカニカルシャッタでなく電子シャッタにより行う場合には、ローリングシャッタ歪みによる画質の低下を抑制するために、パラメータに基づく割合ｎｙ／ｎｘの制御を行わないか、あるいは割合ｎｙ／ｎｘの変化を静止画撮影用の位相差検出時よりも小さくするとよい。例えば、静止画連写撮影を電子シャッタにより行う場合は、ＡＦ用の撮像動作（図１２のステップＳ１１）ではパラメータに基づく割合ｎｙ／ｎｘの制御を行い、静止画用の撮像動作（図１２のステップＳ１６）では割合ｎｙ／ｎｘの制御を行わないようにする。これにより移動する被写体へのＡＦ精度を確保するとともに、静止画のローリングシャッタ歪みによる画質の低下を抑制する。同様に、動画撮影中は、割合ｎｙ／ｎｘの変化を静止画撮影用の位相差検出時よりも小さくするとよい。

そして、割合ｎｙ／ｎｘを決定するのに、１つのパラメータを用いるに限るものではなく、複数のパラメータを組み合わせても勿論構わない。このような、パラメータが複数あって複数のパラメータに応じて複数のｎｙ／ｎｘが定まる場合には、制御部は、複数のｎｙ／ｎｘの内の最も値が小さいｎｙ／ｎｘを選択して設定するとよい。これにより、ローリングシャッタ歪みにおける斜め線のギザギザをなるべく目立たなくすることができる。

このような実施形態１によれば、第１の行と第２の行との１つのフレーム内における列方向の周期を制御して、焦点検出用画素信号を読み出す行を１フレーム内に周期的に分散させたために、読出時間を短縮しながら、ローリングシャッタ歪みにおける斜め線のギザギザを目立ち難くすることができる。そして、消費電力を低減しながら位相差ＡＦを行うことが可能となる。加えて、制御を工夫することにより処理を行っているために、複雑な回路を追加する等が不要であり、コストの増加を抑制することができる。

また、ｎｙ＜ｎｚの範囲内においてｎｘを変更するようにしたために、焦点検出用画素信号を読み出す行を制限して、読出時間を有効に短縮し、ひいてはフレームレートの向上等も図ることができる。

さらに、パラメータに応じてｎｘ、または、ｎｘおよびｎｙを変更して、ｎｙ／ｎｘが変化するようにしたために、ローリングシャッタ歪みにおける斜め線のギザギザの目立たなさを、有効にコントロールすることが可能となる。

そして、複数のパラメータに応じて複数のｎｙ／ｎｘが定まる場合には、複数のｎｙ／ｎｘの内の最も値が小さいｎｙ／ｎｘを選択して設定するようにしたために、ギザギザを最も目立ち難くする選択を行うことができる。

例えば、撮像装置１の移動速度または被写体の移動速度が速くなる（速度値が増加する）に従ってｎｙ／ｎｘを増加させる場合には、ＡＦ精度を確保して被写体に追従させることができる。

また、撮像部である撮像素子４からの読出フレームレートが速くなる（読出フレームレートの値が増加する）に従ってｎｙ／ｎｘを増加させる場合には、ミックス処理による位相差検出精度の低下を抑制することができる。

撮像レンズ２のＦ値が大きくなる（増加する）に従ってｎｙ／ｎｘを増加させる場合には、Ｆ値が大きくなったときの位相差検出精度の低下を抑制することができる。

一方、撮像装置１の温度が高くなる、または消費電力が大きくなる（電力値が増加する）に従ってｎｙ／ｎｘを減少させる場合には、２回の読み出しを行う第２の行数が減るために、温度および消費電力の増加を抑制することができる。

被写体の輝度値が大きくなる（増加する）に従ってｎｙ／ｎｘを減少させる場合には、被写体の輝度値が大きいときに目立つローリングシャッタ歪みを抑制することができると共に、被写体の輝度値が小さくつまり被写体が暗い場合のＡＦ精度の低下を抑制することができる。

動画撮影中モードである場合およびライブビュー（ＬＶ）モードである場合に、静止画撮影中モードである場合よりもｎｙ／ｎｘを大きくするようにしたために、静止画撮影中モードでは画像の画質を優先することができ、動画撮影中モードおよびＬＶモードではＡＦ精度を優先してＡＦの追従精度を維持することができる。

ＳＡＦモードである場合およびＣＡＦモードである場合には、ＭＦモードである場合よりもｎｙ／ｎｘを大きくするようにしたために、ＡＦを行わないＭＦモードでは画質を優先することができ、ＳＡＦモードおよびＣＡＦモードではＡＦ精度を優先して高い精度の位相差ＡＦを確保することができる。

そして、第１の行と第２の行との１つのフレーム内における列方向の周期を、ＶＯＢエリア２２ｖには適用しないようにしたために、第１の行に対するＯＢデータと第２の行に対するＯＢデータとを、何れも精度良く取得することが可能となる。

なお、上述した各部の処理は、ハードウェアとして構成されたプロセッサが行うようにしてもよい。

また、上述では主として撮像装置について説明したが、撮像装置を上述したように制御する制御方法であってもよいし、コンピュータに撮像装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…撮像装置
２…撮像レンズ
３…シャッタ
４…撮像素子
５…データバス
６…メモリ
７…焦点検出用減算部
８…焦点検出用信号処理部
９…画像信号処理部
１０…温度センサ
１１…ブレ検出部
１２…被写体移動速度検出部
１３…表示部
１４…記録部
１５…入力ＩＦ
１６…システム制御部
２１…垂直走査部
２２…画素部
２２ｅ…有効エリア
２２ｈ…ＨＯＢエリア
２２ｖ…ＶＯＢエリア
２３…アナログ処理部
２４…ＡＤＣ処理部
２５…メモリ部
２６…水平走査部
２７…出力部
２８…入力部
２９…素子制御部
３０…行カウンタ演算部
Ａ，Ｂ，Ｘ，Ｙ，Ｚ…行範囲
ａ，ｂ，ｃ，ｄ…焦点検出用画素
Ｆ…カラーフィルタ
Ｌ…マイクロレンズ
ＰＤ，ＰＤ１〜ＰＤ４…フォトダイオード
Ｔｒ１〜Ｔｒ７…トランジスタ
ＴＸ１〜ＴＸ４…制御信号
ＦＤ…フローティングディフュージョン
ＯＵＴ…出力端子
ＲＥＳ…リセット信号
ＳＥＬ…選択信号
ＶＤＤ…電源電圧

Claims (10)

1. マイクロレンズに対応する画像用画素が行列状に配列された画素部を有し、前記画像用画素は撮影光学系の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成する複数の焦点検出用画素に分割されており、前記光電変換信号に基づいて画像用画素信号と焦点検出用画素信号とを生成する撮像部と、
   １つの前記画像用画素内で生成された全ての前記光電変換信号を加算することで前記画像用画素信号を生成し、生成した前記画像用画素信号のみを読み出す第１読出を行う第１の行と、前記光電変換信号に基づいて瞳分割方向における一対の前記焦点検出用画素信号の両方を生成して読み出す第２読出、または、一対の前記焦点検出用画素信号の一方と前記画像用画素信号とを生成して読み出す第３読出を行う第２の行と、の１つのフレーム内における列方向の周期を制御する制御部と、
   を具備することを特徴とする撮像装置。
2. １周期内における行の数をｎｘ、１周期内における前記第１の行の数をｎｚ、１周期内における前記第２の行の数をｎｙとしたときに、ｎｘ＝ｎｙ＋ｎｚであり、
   前記制御部は、ｎｙ＜ｎｚの範囲内において、ｎｘを変更するようにさらに制御することを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、前記撮像装置に係るパラメータに応じてｎｙ／ｎｘが変化するように、ｎｘ、または、ｎｘおよびｎｙを変更することを特徴とする請求項２に記載の撮像装置。
4. 前記制御部は、前記パラメータが複数あって複数の前記パラメータに応じて複数のｎｙ／ｎｘが定まる場合には、前記複数のｎｙ／ｎｘの内の最も値が小さいｎｙ／ｎｘを選択して設定することを特徴とする請求項３に記載の撮像装置。
5. 前記制御部は、前記パラメータの値が増加するに従ってｎｙ／ｎｘが増加するように、ｎｘ、または、ｎｘおよびｎｙを変更し、
   前記パラメータは、前記撮像装置の移動速度と、被写体の移動速度と、前記撮像部からの読出フレームレートと、前記撮影光学系のＦ値と、の内の少なくとも１つであることを特徴とする請求項３に記載の撮像装置。
6. 前記制御部は、前記パラメータの値が増加するに従ってｎｙ／ｎｘが減少するように、ｎｘ、または、ｎｘおよびｎｙを変更し、
   前記パラメータは、前記撮像装置の温度と、前記撮像装置の消費電力と、被写体の輝度値と、の内の少なくとも１つであることを特徴とする請求項３に記載の撮像装置。
7. 前記撮像装置は、静止画撮影中モード、動画撮影中モード、ライブビューモードの何れかにモードを設定可能であり、
   前記制御部は、前記パラメータである前記モードが、前記動画撮影中モードである場合および前記ライブビューモードである場合には、前記静止画撮影中モードである場合よりもｎｙ／ｎｘが大きくなるように、ｎｘ、または、ｎｘおよびｎｙを変更することを特徴とする請求項３に記載の撮像装置。
8. 前記撮像装置は、マニュアルフォーカスモード、シングルオートフォーカスモード、コンティニュアスオートフォーカスモードの何れかにフォーカスモードを設定可能であり、
   前記制御部は、前記パラメータである前記フォーカスモードが、前記シングルオートフォーカスモードである場合および前記コンティニュアスオートフォーカスモードである場合には、前記マニュアルフォーカスモードである場合よりもｎｙ／ｎｘが大きくなるように、ｎｘ、または、ｎｘおよびｎｙを変更することを特徴とする請求項３に記載の撮像装置。
9. 前記画素部は、前記撮影光学系からの光束が到達する有効画素領域と、前記有効画素領域とは異なる行に設けられ、前記撮影光学系からの光束が遮光された垂直光学黒領域と、を含み、
   前記制御部は、前記周期を、前記有効画素領域に適用し、前記垂直光学黒領域には適用しないように制御することを特徴とする請求項１に記載の撮像装置。
10. マイクロレンズに対応する画像用画素が行列状に配列された画素部を有し、前記画像用画素は撮影光学系の射出瞳を複数に瞳分割した領域を通過する光束をそれぞれ光電変換して光電変換信号を生成する複数の焦点検出用画素に分割されており、前記光電変換信号に基づいて画像用画素信号と焦点検出用画素信号とを生成する撮像部を備える撮像装置の制御方法であって、
    第１の行において、１つの前記画像用画素内で生成された全ての前記光電変換信号を加算することで前記画像用画素信号を生成し、生成した前記画像用画素信号のみを読み出す第１読出を行い、
    第２の行において、前記光電変換信号に基づいて瞳分割方向における一対の前記焦点検出用画素信号の両方を生成して読み出す第２読出、または、一対の前記焦点検出用画素信号の一方と前記画像用画素信号とを生成して読み出す第３読出を行い、
    前記第１の行と前記第２の行との１つのフレーム内における列方向の周期を制御することを特徴とする撮像装置の制御方法。

Images