JP4819528B2

JP4819528B2 - 撮像装置及び撮像装置の制御方法

Info

Publication number: JP4819528B2
Application number: JP2006049219A
Authority: JP
Inventors: 典央根岸
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-02-24
Filing date: 2006-02-24
Publication date: 2011-11-24
Anticipated expiration: 2026-02-24
Also published as: JP2007228433A

Description

本発明は、撮像装置及び撮像装置の制御方法に関し、特に光電変換素子を有する固体撮像素子を備えた撮像装置に用いて好適なものである。

図７に、ローリング電子シャッタを用いたＣＭＯＳ型固体撮像素子において、電子ズーム倍率に応じて駆動モードを切替えて画像変倍を行う場合の各フレームの露光期間を模式的に示す。モードＡは電子ズーム倍率を切替える前の駆動モードであり、モードＢは電子ズーム倍率を切替えた後の駆動モードである。モードＡにおける水平走査期間ＨＤの長さはｌ_A、モードＢにおける水平走査期間ＨＤの長さはｌ_B（ｌ_B＜ｌ_A）である。

フレームＮ−１はモードＡでの駆動期間中に撮影されたフレームであり、フレームＮ＋１はモードＢでの駆動期間中に撮影されたフレームである。フレームＮは駆動モードがモードＡからモードＢに切替わる際に撮影されたフレームである。ここで、駆動モードがモードＡからモードＢに切替わることにより電子ズーム倍率は縮小されている。

時刻ｔ７０１はフレームＮ−１における第１行目の画素の露光開始時刻であり、時刻ｔ７０２はフレームＮ−１における第Ｑ行目（読み出し領域の最終行目）の画素の露光開始時刻である。時刻ｔ７０３はフレームＮ−１における第１行目の画素の読み出し開始時刻であり、時刻ｔ７０４はフレームＮ−１における第Ｑ行目の読み出し開始時刻である。なお、時刻ｔ７０４は、駆動モードの切替え時刻でもある。

同様に、時刻ｔ７０５、ｔ７０６はフレームＮにおける第１行目、第Ｑ行目（読み出し領域の最終行目）の画素の露光開始時刻であり、時刻ｔ７０７、ｔ７０８はフレームＮにおける第１行目、第Ｑ行目の画素の読み出し開始時刻である。時刻ｔ７０９、ｔ７１０はフレームＮ＋１における第１行目、第Ｒ行目（読み出し領域の最終行目）の画素の露光開始時刻であり、時刻ｔ７１１、ｔ７１２はフレームＮ＋１における第１行目、第Ｒ行目の画素の読み出し開始時刻である。

フレームＮ−１では、時刻ｔ７０１から時刻ｔ７０２までの期間において第１行目から第Ｑ行目まで１行ずつ順次露光が開始される。それぞれのラインの画素に蓄積された電荷は時刻ｔ７０３から時刻ｔ７０４の期間において第１行目から第Ｑ行目まで１行ずつ順次読み出される。このフレームＮ−１における各行の画素の露光期間は一定でＴ_N-1である。

フレームＮ＋１では、時刻ｔ７０９から時刻ｔ７１０までの期間において第１行目から第Ｒ行目まで１行ずつ順次露光が開始される。それぞれのラインの画素に蓄積された電荷は時刻ｔ７１１から時刻ｔ７１２の期間において第１行目から第Ｒ行目まで１行ずつ順次読み出される。このフレームＮ＋１における各行の画素の露光期間は一定でＴ_N+1である（Ｔ_N-1＝Ｔ_N+1）。

フレームＮでは、時刻ｔ７０５から時刻ｔ７０６までの期間において第１行目から第Ｑ行目まで１行ずつ順次露光が開始される。それぞれのラインの画素に蓄積された電荷は時刻ｔ７０７から時刻ｔ７０８の期間において第１行目から第Ｑ行目まで１行ずつ順次読み出される。しかしながら、このフレームＮでは時刻ｔ７０４において駆動モードが切替わるため、第１行目から第Ｐ行目までの各行の露光開始時刻の時間間隔と、第Ｐ＋１行目から第Ｑ行目（読み出し領域の最終行目）までの各行の露光開始時刻の時間間隔が異なる。そのため、図７に示したように露光期間が期間Ｔ_Nとなるラインもあれば期間Ｔ’_Nとなるラインも存在してしまい、同一フレーム内であってもラインに応じて露光期間が異なってしまう。

そこで、特開２００５−９４１４２号公報に記載のものでは、モード切替え時刻をまたいで露光を行う場合に、すべての行の露光開始時間を切替わり後のモードの露光開始時間にタイミングを合せることでフレーム全体の露光期間を一定にすることを実現している。図８は、特開２００５−９４１４２号公報に記載の撮像装置における各フレームの露光期間を模式的に示す図である。モードＡは電子ズーム倍率を切替える前の駆動モードであり、モードＢは電子ズーム倍率を切替えた後の駆動モードである。モードＡ、Ｂにおける水平走査期間ＨＤの長さは、それぞれｌ_A、ｌ_B（ｌ_A＞ｌ_B）である。

フレームＮ−１、Ｎ＋１は、モードＡ、Ｂでの駆動期間中にそれぞれ撮影されたフレームあり、フレームＮは駆動モードがモードＡからモードＢに切替わる際に撮影されたフレームである。ここで、駆動モードがモードＡからモードＢに切替わることにより電子ズーム倍率は縮小されている。

時刻ｔ８０１、ｔ８０２はフレームＮ−１における第１行目、第Ｑ行目（読み出し領域の最終行目）の画素の露光開始時刻であり、時刻ｔ８０３、ｔ８０４はフレームＮ−１における第１行目、第Ｑ行目の画素の読み出し開始時刻である。時刻ｔ８０４は，駆動モードの切替え時刻でもある。時刻ｔ８０５、ｔ８０６はフレームＮにおける第１行目、第Ｑ行目（読み出し領域の最終行目）の画素の露光開始時刻であり、時刻ｔ８０７、ｔ８０７はフレームＮにおける第１行目、第Ｑ行目の画素の読み出し開始時刻である。時刻ｔ８０９、ｔ８１０はフレームＮ＋１における第１行目、第Ｒ行目（読み出し領域の最終行目）の画素の露光開始時刻であり、時刻ｔ８１１、ｔ８１２はフレームＮ＋１における第１行目、第Ｒ行目の読み出し開始時刻である。

フレームＮ−１では、時刻ｔ８０１から時刻ｔ８０２までの期間において第１行目から第Ｑ行目まで１行ずつ順次露光が開始される。それぞれのラインの画素に蓄積された電荷は時刻ｔ８０３から時刻ｔ８０４の期間において第１行目から第Ｑ行目まで１行ずつ順次読み出される。このフレームＮ−１における各行の画素の露光期間は一定でＴ_N-1である。

フレームＮ＋１では、時刻ｔ８０９から時刻ｔ８１０までの期間において第１行目から第Ｒ行目まで１行ずつ順次露光が開始される。それぞれのラインの画素に蓄積された電荷は時刻ｔ８１１から時刻ｔ８１２の期間において第１行目から第Ｒ行目まで１行ずつ順次読み出される。このフレームＮ＋１における各行の画素の露光期間は一定でＴ_N+1である（Ｔ_N-1＝Ｔ_N+1）。

フレームＮでは、フレームＮ＋１での各行間の露光開始時刻の時間間隔と同様の間隔で露光開始が行えるように、時刻ｔ８０９、ｔ８１０間の所要期間Ｔ_Xから時刻ｔ８０６に基づき時刻ｔ８０５を決定する。所要期間Ｔ_X及びフレームＮ＋１の垂直ライン数Ｒから求めた時間間隔ΔＴ（＝Ｔ_X／Ｒ）で、時刻ｔ８０５より第１行目から第Ｑ行目まで１行ずつ順次露光が開始される。そして、それぞれのラインの画素に蓄積された電荷は時刻ｔ８０７から時刻ｔ８０８の期間において第１行目から第Ｑ行目まで１行ずつ順次読み出される。このときフレームＮにおける第１行目から第Ｑ行目までの画素の露光期間は一定の期間Ｔ_Nとなる。

特開２００５−９４１４２号公報

しかしながら、上記従来例では同一フレーム内における画素の露光期間は一定になるが、駆動モードの切替え時刻をまたぐフレームとその前後のフレームとは露光期間が異なってしまう。例えば、図８に示した例では、駆動モードの切替え時刻をまたぐフレームＮにおける露光期間Ｔ_Nと、その前後のフレームＮ−１、Ｎ＋１における露光期間Ｔ_N-1、Ｔ_N+1が異なってしまう（Ｔ_N-1＝Ｔ_N+1≠Ｔ_N）。そのため、撮影時に電子ズームを用いた場合には、電子ズーム倍率の切替え前後（駆動モードの切替え前後）で一時的に撮影画像が明るく又は暗くなり、ユーザーに不自然な印象を与えてしまう。

本発明は、このような事情に鑑みてなされたものであり、駆動モードの切替えを行った際のちらつきの発生を防止して良好な撮影画像を得られるようにすることを目的とする。

本発明に係る撮像装置は、複数の画素からなるラインが複数配置された撮像手段と、上記撮像手段を駆動して上記画素から画像信号を読み出す駆動手段と、上記駆動手段により上記撮像手段を第１の水平走査期間で水平走査駆動する第１の駆動モードと、上記第１の水平走査期間と長さが異なる第２の水平走査期間で水平走査駆動する第２の駆動モードとのいずれかに切替える駆動モード切替え手段と、上記撮像手段から連続的に読み出される第１フレームの画像データと第２フレームの画像データの露光時間が異なる場合に、上記第１フレームの画像データと上記第２フレームの画像データの露光時間差を抑制するようにゲイン補正を行うゲイン補正手段と、上記駆動モード切替え手段による駆動モードの切替え指示と露出制御による露光時間の変更指示が同時に与えられた場合に、上記駆動モード切替え手段による駆動モードの切替えを現フレームで行うように制御するとともに、上記露出制御による露光時間の変更を次フレームで行うように制御する制御手段とを有することを特徴とする。
また、本発明に係る撮像装置の制御方法は、複数の画素からなるラインが複数配置された撮像手段と、上記撮像手段を駆動して上記画素から画像信号を読み出す駆動手段とを有する撮像装置の制御方法であって、上記駆動手段により上記撮像手段を第１の水平走査期間で水平走査駆動する第１の駆動モードと、上記第１の水平走査期間と長さが異なる第２の水平走査期間で水平走査駆動する第２の駆動モードとのいずれかに切替える駆動モード切替えステップと、上記撮像手段から連続的に読み出される第１フレームの画像データと第２フレームの画像データの露光時間が異なる場合に、上記第１フレームの画像データと上記第２フレームの画像データの露光時間差を抑制するようにゲイン補正を行うゲイン補正ステップと、上記駆動モード切替えステップによる駆動モードの切替え指示と露出制御による露光時間の変更指示が同時に与えられた場合に、上記駆動モード切替えステップによる駆動モードの切替えを現フレームで行うように制御するとともに、上記露出制御による露光時間の変更を次フレームで行うように制御する制御ステップとを有することを特徴とする。

本発明によれば、露光時間が異なっても画像データの出力レベルの違いを抑制にすることができる。これにより、駆動モード切替えを行った際のちらつきの発生を抑制し良好な撮影画像を得ることができる。

以下、本発明の一実施形態を図面に基づいて説明する。

図１は、本発明の一実施形態による撮像装置の構成例を示すブロック図である。
本実施形態による撮像装置は、電子シャッタとしてローリング電子シャッタを用いられる固体撮像素子を備える。そして、当該固体撮像素子の駆動モードとして、画素の加算平均及び間引きにより出力サイズの異なる複数の駆動モードを有し、撮像装置では電子ズーム倍率に応じて駆動モードを適宜切替えることにより画像変倍を行うことが可能となっている。

図１において、４０１はレンズ部（「レンズ」と表記）、４０２はレンズ駆動部、４０３はメカニカルシャッタ（「メカシャッタ」と表記）、４０４はメカニカルシャッタ駆動部（「シャッタ駆動部」と表記）である。４０５は後述する図２に示す構成を有する固体撮像素子、４０６は撮像信号処理回路、４０７はタイミング発生部、４０８はメモリ部、４０９は全体制御演算部である。４１０は記録媒体制御インターフェース部（「記録媒体制御Ｉ／Ｆ部」と表記）、４１１は記録媒体、４１２は外部インターフェース部（「外部Ｉ／Ｆ部」と表記）、４１３は測光部、４１４は測距部である。

レンズ部４０１を通った被写体像は撮像素子４０５に結像される。撮像素子４０５に結像された被写体像は画像信号として取り込まれ、撮像信号処理回路４０６にて所定の信号処理が施される。撮像信号処理回路４０６にて施される信号処理には、画像信号の増幅、アナログ信号からディジタル信号への変換を行うＡ／Ｄ変換、Ａ／Ｄ変換後の画像データに対する各種補正、及び画像データの圧縮等がある。

レンズ部４０１は、ズーム、フォーカス、及び絞り等がレンズ駆動部４０２によって駆動制御される。メカニカルシャッタ４０３は、一眼レフカメラに使用されるフォーカルプレーン型のシャッタの後幕に相当する幕のみを有するシャッタ機構であり、メカニカルシャッタ駆動部４０４によって駆動制御される。

タイミング発生部４０７は、撮像素子４０５及び撮像信号処理回路４０６に各種タイミング信号を出力する。全体制御演算部４０９は、図１に示す撮像装置全体の制御と各種演算を行う。メモリ４０８は、画像データを一時的に記憶する。記録媒体制御インターフェース部４１０は、記録媒体４１１に対して画像データの記録又は読み出しを行う。記録媒体４１１は、画像データを格納可能な、半導体メモリ等の着脱可能記録媒体である。外部インターフェース部４１２は、外部コンピュータ等と通信を行うためのインターフェースである。測光部４１３は被写体の明るさ情報の検出を行い、測距部４１４は被写体までの距離情報を検出する。

図２は、図１に示した固体撮像素子４０５の構成例を示す図である。固体撮像素子４０５は、例えばＣＭＯＳ型固体撮像素子（ＣＭＯＳイメージセンサ）であり、Ｘ−Ｙアドレス型の走査方法を採る。

２０１は単位画素であり、フォトダイオード（ＰＤ）２０２、転送スイッチ２０３、フローティングデフュージョン部（ＦＤ）２０４、ソースフォロアとして機能する増幅ＭＯＳアンプ２０５、選択スイッチ２０６、及びリセットスイッチ２０７を有する。２０８は信号出力線、２０９は増幅ＭＯＳアンプ２０５の負荷となる定電流源、２１０は選択スイッチ、２１１は出力アンプである。２１２は垂直走査回路、２１３は読み出し回路、２１４は水平走査回路である。なお、図２においては、図の簡略化のために単位画素２０１を４行×４列のみ図示しているが、実際には２次元マトリクス状に非常に多数の単位画素２０１が配置されている。

単位画素２０１は、ＰＤ２０２において光を電荷に変換し、ＰＤ２０２で発生した電荷を転送パルスφＴＸに基づいて転送スイッチ２０３により転送してＦＤ２０４に一時的に蓄積しておく。ＦＤ２０４、増幅ＭＯＳアンプ２０５、及び定電流源２０９でフローティングディフュージョンアンプが構成される。

そして、選択パルスφＳＥＬに応じて選択される選択スイッチ２０６で単位画素２０１の信号電荷が電圧に変換され、その電圧が信号出力線２０８を経て読み出し回路２１３に出力される。さらに、水平走査回路２１４により駆動された選択スイッチ２１０により出力する信号が選択され、出力アンプ２１１を介して撮像素子４０５の外部に出力される。

ここで、ＦＤ２０４に蓄積された電荷の除去は、リセットパルスφＲＥＳにより制御されるリセットスイッチ２０７により行われる。また、垂直走査回路２１２は、転送スイッチ２０３、選択スイッチ２０６、及びリセットスイッチ２０７の選択を行う。すなわち、垂直走査回路２１２は、それらスイッチ２０３、２０６、及び２０７をそれぞれ制御する転送パルスφＴＸ、選択パルスφＳＥＬ、及びリセットパルスφＲＥＳを出力する。

なお、図２においては、パルス信号φＴＸ、φＲＥＳ、φＳＥＬのそれぞれについて、垂直走査回路２１２により走査選択される、例えばｎ番目の走査行に印加する各パルス信号を、ｎを添え字としてφＴＸｎ、φＲＥＳｎ、φＳＥＬｎと記述している。後述する図４においても同様。

図３は、図２に示した固体撮像素子で使用される色フィルタアレイの一部を示している。第１の色フィルタを赤（Ｒ）、第２の色フィルタを緑（Ｇ）、第３の色フィルタを緑（Ｇ）、及び第４の色フィルタを青（Ｂ）とした場合を示している。この色フィルタアレイの配列は、原色の色フィルタ配列のなかでも、特にベイヤ配列と呼ばれるものであり、高い解像度及び優れた色再現性を備えた色フィルタ配列である。

次に、本実施形態における固体撮像素子の動作シーケンスについて説明する。図４は、本実施形態の固体撮像素子に係るローリング電子シャッタ動作における駆動パルス及び動作シーケンスを示した図である。なお、説明を簡略にするために、図４においては、垂直走査回路２１２により走査選択されたｎ行からｎ＋３行の４行分の駆動制御に関して図示している。

固体撮像素子のｎ行において、まず時刻ｔ５０１から時刻ｔ５０２までの期間、リセットパルスφＲＥＳｎ及び転送パルスφＴＸｎを印加する。これにより、転送スイッチ２０３及びリセットスイッチ２０７をオンにし、ｎ行目の各画素２０１内におけるＰＤ２０２及びＦＤ２０４に蓄積されている不用電荷を除去するリセット動作を行う。そして、時刻ｔ５０２において転送スイッチ２０３がオフになり、ＰＤ２０２で発生した光電荷が蓄積される蓄積動作が開始される。

次に、時刻ｔ５０４において、時刻ｔ５０４から時刻ｔ５０５までの期間、転送パルスφＴＸｎを印加して転送スイッチ２０３をオンにすることで、ＰＤ２０２に蓄積された光電荷をＦＤ２０４に転送する転送動作を行う。なお、リセットスイッチ２０７は、転送動作に先んじてオフする必要があり、図４に示す駆動制御では時刻ｔ５０２においてｎ行目のリセットスイッチ２０７はｎ行目の転送スイッチ２０３と同時にオフとなる。ここで、リセット動作終了の時刻ｔ５０２から転送動作開始の時刻ｔ５０５までが、ｎ行目における蓄積時間となる。

ｎ行目の転送動作終了後、選択パルスφＳＥＬｎを印加して選択スイッチ２０６をオンにすることにより、ＦＤ２０４に保持した電荷が電圧に変換されて読み出し回路２１３に出力される。読み出し回路２１３で一時的に保持された信号が水平走査回路２１２によって時刻ｔ５０６より順次出力される。

時刻ｔ５０４の転送動作開始から時刻ｔ５０７の読み出し動作終了までの時間をＴ３Ｒｅａｄとし、時刻ｔ５０１から時刻ｔ５０３までの時間をＴ３Ｗａｉｔとする。
なお、他の行においても同様に駆動制御され、転送動作開始から読み出し動作終了までの時間がＴ３Ｒｅａｄとなり、ある行のリセット動作開始から次の行のリセット動作開始までの間の時間がＴ３Ｗａｉｔとなる。

図５は、本実施形態による撮像装置における露光時間制御を概念的に示す図である。図５において、モードＡは電子ズーム倍率を切替える前の撮像装置の駆動モードであり、モードＢは電子ズーム倍率を切替えた後の撮像装置の駆動モードである。モードＡにおける水平走査期間ＨＤの長さはｌ_Aであり、モードＢにおける水平走査期間ＨＤの長さはｌ_B（ｌ_B＜ｌ_A）である。

また、フレームＮ−１はモードＡでの駆動期間中に撮影されたフレームであり、フレームＮ＋１はモードＢでの駆動期間中に撮影されたフレームである。フレームＮは撮像装置の駆動モードがモードＡからモードＢに切替わる際に撮影されたフレームである。ここで、駆動モードがモードＡからモードＢに切替わることにより電子ズーム倍率は縮小されている。

時刻ｔ１０１はフレームＮ−１における第１行目の画素の露光開始時刻であり、時刻ｔ１０２はフレームＮ−１における第Ｑ行目（読み出し領域の最終行目）の画素の露光開始時刻である。時刻ｔ１０３はフレームＮ−１における第１行目の画素の読み出し開始時刻であり、時刻ｔ１０４はフレームＮ−１における第Ｑ行目の画素の読み出し開始時刻である。時刻ｔ１０４は、撮像装置における駆動モードの切替え時刻でもある。

時刻ｔ１０５はフレームＮにおける第１行目の画素の露光開始時刻であり、時刻ｔ１０６はフレームＮにおける第Ｑ行目（読み出し領域の最終行目）の画素の露光開始時刻である。時刻ｔ１０７はフレームＮにおける第１行目の画素の読み出し開始時刻であり、時刻ｔ１０８はフレームＮにおける第Ｑ行目の画素の読み出し開始時刻である。

時刻ｔ１０９はフレームＮ＋１における第１行目の画素の露光開始時刻であり、時刻ｔ１１０はフレームＮ＋１における第Ｒ行目（読み出し領域の最終行目）の画素の露光開始時刻である。時刻ｔ１１１はフレームＮ＋１における第１行目の画素の読み出し開始時刻であり、時刻ｔ１１２はフレームＮ＋１における第Ｒ行目の画素の読み出し開始時刻である。

フレームＮ−１では、時刻ｔ１０１から時刻ｔ１０２までの期間において第１行目から第Ｑ行目まで１行ずつ順次露光が開始される。それぞれのラインの画素に蓄積された電荷は時刻ｔ１０３から時刻ｔ１０４までの期間において第１行目から第Ｑ行目まで１行ずつ順次読み出される。このとき、各行の画素の露光期間は一定でＴ_N-1である。

フレームＮ＋１では、時刻ｔ１０９から時刻ｔ１１０までの期間において第１行目から第Ｒ行目まで１行ずつ順次露光が開始される。それぞれのラインの画素に蓄積された電荷は時刻ｔ１１１から時刻ｔ１１２までの期間において第１行目から第Ｒ行目まで１行ずつ順次読み出される。このとき、各行の画素の露光期間は一定でＴ_N+1である（Ｔ_N-1＝Ｔ_N+1）。

フレームＮでは、フレームＮ＋１での各行間の露光開始時刻の時間間隔と同様の間隔で露光開始が行えるように、時刻ｔ１０９から時刻ｔ１１０までの間の所要期間Ｔ_Xから時刻ｔ１０６に基づいて時刻ｔ１０５を決定する。決定した時刻ｔ１０５より、その所要期間Ｔ_X及びフレームＮ＋１の垂直ライン数Ｒから求めた時間間隔ΔＴ（＝Ｔ_X／Ｒ）で、第１行目から第Ｑ行目まで１行ずつ順次露光が開始する。そして、それぞれのラインの画素に蓄積された電荷は時刻ｔ１０７から時刻ｔ１０８までの期間において第１行目から第Ｑ行目まで１行ずつ順次読み出される。このときフレームＮにおける第１行目から第Ｑ行目までの露光期間は一定の値Ｔ_Nとなる。

フレームＮについては、さらに、全体制御演算部４０９が、フレームＮにおける露光期間Ｔ_N及びフレームＮ＋１における露光期間Ｔ_N+1の比（Ｔ_N+1／Ｔ_N）を算出する。そして、撮像信号処理回路４０６が、フレームＮ及びＮ＋１における露光期間Ｔ_N及びＴ_N+1の差を補うゲインＧ（＝Ｔ_N+1／Ｔ_N）を、フレームＮの出力信号Ｙ_N（ｘ，ｙ）に乗算する。これにより、露光期間Ｔ_N及びＴ_N+1の差に基づく補正が施された出力信号Ｙ'_N（ｘ，ｙ）（＝Ｇ×Ｙ_N（ｘ，ｙ））を得る。ここで、ｘ、ｙは、フレームＮにおける水平読み出し画素数をＪとし、フレームＮにおける垂直読み出し画素数をＱとして、０≦ｘ＜Ｊ、０≦ｙ＜Ｑを満たす整数である。

本実施形態によれば、図５に示した時刻ｔ１０１から時刻ｔ１１２までの間に被写体が変化しなければ、撮像装置によりフレームＮ−１、フレームＮ、及びフレームＮ＋１ともに同じ出力を得ることができる。すなわち、電子ズーム倍率（駆動モード）の切替え時刻をまたぐフレームＮにおいても、画像データに露光期間の差に係る補正を施すことで、その前後のフレームＮ−１、Ｎ＋１における露光期間に相当するレベルの出力を得ることができる。したがって、電子ズーム倍率の切替え前後に一時的に撮影画像が明るく又は暗くなることを防止して安定した被写体輝度を得ることができ、撮影画像にちらつきが発生することを解消することができ、良好な撮影画像を得ることができる。

また、本実施形態による撮像装置において、駆動モードの切替え及び露出制御による蓄積期間の変更が重なった場合の駆動方法について図６に示す。

図６において、モードＡ、Ｂはそれぞれ電子ズーム倍率の切替え前、切替え後の駆動モードであり、モードＡ、Ｂにおける水平走査期間ＨＤの長さはそれぞれｌ_A、ｌ_B（ｌ_A＞ｌ_B）である。また、フレームＮ−１、Ｎ＋１は、モードＡ、Ｂでの駆動期間中にそれぞれ撮影されたフレームであり、フレームＮはモードＡからモードＢに切替わる際に撮影されたフレームである。

時刻ｔ６０１、ｔ６０２は、フレームＮ−１における第１行目、第Ｑ行目（読み出し領域の最終行目）の画素の露光開始時刻であり、時刻ｔ６０３、ｔ６０４は、フレームＮ−１における第１行目、第Ｑ行目の画素の読み出し開始時刻である。時刻ｔ６０４は、モードＡからモードＢへのモード切替え時刻でもある。時刻ｔ６０５、ｔ６０６は、フレームＮにおける第１行目、第Ｑ行目（読み出し領域の最終行目）の画素の露光開始時刻であり、時刻ｔ６０７、ｔ６０８は、フレームＮにおける第１行目、第Ｑ行目の画素の読み出し開始時刻である。時刻ｔ６０９、ｔ６１０は、フレームＮ＋１における第１行目、第Ｒ行目（読み出し領域の最終行目）の画素の露光開始時刻であり、時刻ｔ６１１、ｔ６１２は、フレームＮ＋１における第１行目、第Ｒ行目の画素の読み出し開始時刻である。

駆動モードの切替え及び露光期間の変更に係るそれぞれの指令が撮像装置に対して同時に与えられた場合、上述した方法と同様に、フレームＮではフレームＮ＋１での各行間の露光開始時刻の時間間隔と同様の間隔で露光開始が行えるようにする。すなわち、時刻ｔ６０９から時刻ｔ６１０までの間の所要期間Ｔ_Xから時刻ｔ６０６に基づいて時刻ｔ６０５を決定する。その時刻ｔ６０５より、所要期間Ｔ_X及びフレームＮ＋１の垂直ライン数Ｒから求めた時間間隔ΔＴ（＝Ｔ_X／Ｒ）で、第１行目から第Ｑ行目まで１行ずつ順次露光を開始する。そして、それぞれのラインの画素に蓄積された電荷は時刻ｔ６０７から時刻ｔ６０８までの期間において第１行目から第Ｑ行目まで１行ずつ順次読み出される。

さらに、全体制御演算部４０９が、フレームＮ、Ｎ＋１におけるそれぞれの露光期間Ｔ_N、Ｔ_N+1の比（Ｔ_N+1／Ｔ_N）を算出し、撮像信号処理回路４０６がフレームＮの出力信号Ｙ_N（ｘ，ｙ）に露光期間の差を補うゲインＧ（＝Ｔ_N+1／Ｔ_N）を乗算する。そして、露光期間の差に応じた補正が施された出力信号Ｙ'_N（ｘ，ｙ）（＝Ｇ×Ｙ_N（ｘ，ｙ））を得る。ここで、ｘ、ｙは、フレームＮにおける水平読み出し画素数をＪとし、フレームＮにおける垂直読み出し画素数をＱとして、０≦ｘ＜Ｊ、０≦ｙ＜Ｑを満たす整数である。

その後、フレームＮ＋１において、第１行目の画素読み出し開始時刻ｔ６１１から時刻ｔ６１２において開始される読み出し動作を指定の変更量Δｔ（＝Ｔ_V）だけ遅らせる、又は早めることにより露光期間の変更を行う。このように、駆動モードの切替え対応を行った後、露光期間の変更を行うことにより、結果として全体制御演算部４０９が行う演算量や、全体制御演算部４０９に要求される必要な演算速度などの性能を抑えることができ、コスト削減効果が期待できる。

なお、上述した実施形態では、モードＡにおける水平走査期間ＨＤの長さｌ_A及びモードＢにおける水平走査期間ＨＤの長さｌ_Bは、（ｌ_A＞ｌ_B）としているが、（ｌ_A＜ｌ_B）の場合であっても上述した方法と同様の方法を適用することが可能である。また、上述した実施形態では、電子ズーム倍率が縮小する例を示したが、電子ズーム倍率が拡大する場合にも同様の方法を適用することが可能である。
上記では、電子ズーム動作を行う場合について記載した。しかしながら、上記に限らず、下記のようなものであっても良い。
消費電力軽減のために、連続的にフレーム画像を読み出している際に、あるフレーム画像までは、第１の期間間隔で所定ラインごとに順次リセットし、第１の期間間隔で上記所定ラインごとにフォトダイオードの信号を読み出す。そして、それ以降のフレーム画像は、第１の期間間隔と異なる第２の期間間隔で所定ラインごとに順次リセットし、第２の期間間隔で所定ラインごとにフォトダイオードの信号を読み出すように駆動を変更する。

（本発明の他の実施形態）
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置内のコンピュータ（ＣＰＵ又はＭＰＵ）に対し、上記実施形態の機能を実現するためのプログラムを供給し、そのコンピュータに格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
また、この場合、上記ソフトウェアのプログラム自体が上述した実施形態の機能を実現することになり、そのプログラム自体は本発明を構成する。また、そのプログラムをコンピュータに供給するための手段、例えばかかるプログラムを格納した記録媒体は本発明を構成する。かかるプログラムを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、コンピュータが供給されたプログラムを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムは本発明の実施形態に含まれることは言うまでもない。
さらに、供給されたプログラムがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態による撮像装置の構成例を示す図である。本実施形態における固体撮像素子の構成例を示す図である。本実施形態における固体撮像素子に用いる色フィルタを示す図である。本実施形態における固体撮像素子に係るローリング電子シャッタ動作時の駆動パルス及び動作シーケンスを示す図である。本実施形態による撮像装置における露光時間制御を概念的に示す図である。本実施形態による撮像装置における露光時間制御を概念的に示す図である。従来の撮像装置における駆動モード切替え時のフレームの露光期間を説明するための図である。従来の撮像装置における駆動モード切替え時のフレームの露光期間を説明するための図である。

符号の説明

４０１レンズ部
４０２レンズ駆動部
４０３メカニカルシャッタ
４０４メカニカルシャッタ駆動部
４０５固体撮像素子
４０６撮像信号処理回路
４０７タイミング発生部
４０９全体制御演算部

Claims

複数の画素からなるラインが複数配置された撮像手段と、
上記撮像手段を駆動して上記画素から画像信号を読み出す駆動手段と、
上記駆動手段により上記撮像手段を第１の水平走査期間で水平走査駆動する第１の駆動モードと、上記第１の水平走査期間と長さが異なる第２の水平走査期間で水平走査駆動する第２の駆動モードとのいずれかに切替える駆動モード切替え手段と、
上記撮像手段から連続的に読み出される第１フレームの画像データと第２フレームの画像データの露光時間が異なる場合に、上記第１フレームの画像データと上記第２フレームの画像データの露光時間差を抑制するようにゲイン補正を行うゲイン補正手段と、
上記駆動モード切替え手段による駆動モードの切替え指示と露出制御による露光時間の変更指示が同時に与えられた場合に、上記駆動モード切替え手段による駆動モードの切替えを現フレームで行うように制御するとともに、上記露出制御による露光時間の変更を次フレームで行うように制御する制御手段とを有することを特徴とする撮像装置。
上記第１フレームの画像データに係る露光時間と上記第２フレームの画像データに係る露光時間の比を上記第２フレームの画像データに乗ずることを特徴とする請求項１に記載の撮像装置。
複数の画素からなるラインが複数配置された撮像手段と、上記撮像手段を駆動して上記画素から画像信号を読み出す駆動手段とを有する撮像装置の制御方法であって、
上記駆動手段により上記撮像手段を第１の水平走査期間で水平走査駆動する第１の駆動モードと、上記第１の水平走査期間と長さが異なる第２の水平走査期間で水平走査駆動する第２の駆動モードとのいずれかに切替える駆動モード切替えステップと、
上記撮像手段から連続的に読み出される第１フレームの画像データと第２フレームの画像データの露光時間が異なる場合に、上記第１フレームの画像データと上記第２フレームの画像データの露光時間差を抑制するようにゲイン補正を行うゲイン補正ステップと、
上記駆動モード切替えステップによる駆動モードの切替え指示と露出制御による露光時間の変更指示が同時に与えられた場合に、上記駆動モード切替えステップによる駆動モードの切替えを現フレームで行うように制御するとともに、上記露出制御による露光時間の変更を次フレームで行うように制御する制御ステップとを有することを特徴とする撮像装置の制御方法。