JP5014168B2 - 撮像システム及び撮像システムの制御方法 - Google Patents

Description

本発明は、撮像システム及び撮像システムの制御方法に関する。

デジタルカメラやデジタルビデオカメラなどの撮像システムには、動画撮影と並行して静止画撮影を行う動作モード（以下、第１の動作モードとする）を有するものがある。撮像システムにおいて、ＣＣＤやＣＭＯＳセンサーなどの撮像装置は、複数の画素が行方向及び列方向に配列された画素配列と、画素配列から信号を読み出すための読み出し回路とを備える。近年、画素配列に含まれる画素の数が多くなる（多画素化する）傾向にある。

撮像システムは、動画撮影のみを行う動作モード（以下、第２の動作モードとする）において、動画撮影に適した動作を行う。すなわち、撮像システムは、動画撮影に適したフレームレートを達成可能な読み出し期間で信号が読み出されるように、加算・間引き・切り出しなどを行って減少させた画素密度で画素配列から信号を読み出すように読み出し回路を駆動する。

撮像システムは、第１の動作モードにおいて、静止画撮影を優先させた動作を行う。すなわち、撮像システムは、静止画撮影に適した高い画素密度で画素配列から信号が読み出されるように、動画撮影に適したフレームレートを達成可能な読み出し期間より長い読み出し期間で信号を読み出すように読み出し回路を駆動する。また、撮像システムは、静止画撮影に適したシャッタースピードすなわち蓄積期間で信号を蓄積するように、画素配列の各画素を制御する。静止画撮影では、被写体の動きに伴う画像のブレを防ぐために、シャッタースピードすなわち蓄積期間を動画撮影に適した蓄積期間（第２の動作モードにおける蓄積期間）より短くする必要がある。
特開平０９−０２３３７１号公報 特開２００５−２７７５１３号公報

撮像システムでは、その動作モードが、連続したフレーム間で、第２の動作モードから、第１の動作モードに切り替わることがある。この場合、撮像システムでは、下記のような２つの課題が生じる。

上記のように、第１の動作モードおける読み出し期間は、第２の動作モードにおける読み出し期間に比べて長い。撮像システムでは、動作モードが切り替わる際に、読み出し期間の長さが不連続に変わることより、フレーム期間の長さが不連続に変わるので、被写体の動き検出などの評価値の連続性が失われることがある（第１の課題）。連続性が失われた評価値は規格化が困難になる可能性があるので、その評価値を用いて所定の制御動作を行うと、その制御動作の制度が低下することがある。

例えば、被写体の動き検出の評価値（被写体の移動量）は、フレーム期間の長さが不連続に変わることより、その連続性が失われることがある。連続性が失われた被写体の移動量を用いて撮像システムの手ぶれ補正などの制御動作を行うと、その制御動作の精度が低下する。

また、上記のように、第１の動作モードおける各画素の蓄積期間は、第２の動作モードにおける各画素の蓄積期間に比べて短い。撮像システムでは、動作モードが切り替わる際に、各画素の蓄積期間の長さが不連続に変わることより、各画素から読み出される信号のレベルが不連続に変わるので、測光などの評価値の連続性が失われることがある（第２の課題）。連続性が失われた評価値は規格化が困難になる可能性があるので、その評価値を用いて所定の制御動作を行うと、その制御動作の制度が低下することがある。

例えば、測光の評価値は、各画素から読み出される信号のレベルが不連続に変わることより、その連続性が失われることがある。連続性が失われた測光の評価値を用いて撮像システムの露出補正などの制御動作（ＡＥ制御動作）を行うと、その制御動作の精度が低下する。

特許文献１に示された技術では、各画素から読み出される信号のレベルが変わったことを検知して、撮像装置の後段のアンプ（ＡＧＣ回路）のゲインを動的に調節することにより、Ａ／Ｄ変換器へ入力する信号のレベルを一定にすることが提案されている。この技術において動作モードが切り替わるとすると、読み出し期間の長さが不連続に変わることより、フレーム期間の長さが不連続に変わった場合に、被写体の動き検出などの評価値の連続性が失われる可能性がある。すなわち、特許文献１に示された技術は、第１の課題を解決できない。

また、この技術において動作モードが切り替わるとすると、各画素の蓄積期間の長さが不連続に変わることより、各画素から読み出される信号のレベルが不連続に変わった場合に、Ａ／Ｄ変換器へ入力する信号のレベルを一定にできない可能性がある。すなわち、撮像装置の後段のアンプのゲインを動的に調節したとしても、その調節するゲインに誤差が含まれることがあるので、Ａ／Ｄ変換器へ入力する信号のレベルを一定にできないことがある。これにより、信号のレベルが不連続に変わるので、測光などの評価値の連続性が失われることがある。すなわち、特許文献１に示された技術は、第２の課題を解決できない。

特許文献２に示された技術では、複数の画素が配列された画素配列において、第１の画素群から評価値を生成するための信号を読み出し、第２の画素群からＥＶＦ用画像のための信号を読み出すことが提案されている。特許文献２には、動作モードが切り替わった場合における撮像システムの動作について開示がない。すなわち、特許文献２に示された技術は、第１の課題及び第２の課題を解決できない。

本発明の目的は、動作モードが切り替わる際に、画素から読み出された信号に基づく評価値の連続性が失われることを低減するとともに、動作モードに適した映像信号を得ることにある。

本発明の第１側面に係る撮像システムは、連続したフレームからなる動画像を取得する動作モードと１フレームの静止画像を取得する動作モードとを有する撮像システムであって、第１の画素群及び第２の画素群を含む複数の画素が行方向及び列方向に配列された画素配列と、撮像装置の動作モードに関わらず一定の読み出し期間で第１の画素群から第１の信号を読み出す第１の読み出し手段と、撮像装置の動作モードに応じて選択された読み出し期間で第２の画素群から第２の信号を読み出す第２の読み出し手段と、第１の信号を用いて撮像装置の自動露出制御用の評価値を生成する評価値検出手段と、第１及び第２の信号のうち少なくとも第２の信号を用いて、画素配列で撮像された画像の表示及び記録の少なくとも一方を行うための映像信号を生成する生成手段と、を備えたことを特徴とする。

本発明の第２側面に係る撮像システムの制御方法は、第１の画素群及び第２の画素群を含む複数の画素が行方向及び列方向に配列された画素配列を備え、連続したフレームからなる動画像を取得する動作モードと１フレームの静止画像を取得する動作モードとを有する撮像システムの制御方法であって、第１の読み出し手段が、撮像装置の動作モードに関わらず一定の読み出し期間で第１の画素群から第１の信号を読み出す第１の読み出し工程と、第２の読み出し手段が、撮像装置の動作モードに応じて選択された読み出し期間で第２の画素群から第２の信号を読み出す第２の読み出し工程と、評価値検出手段が、第１の信号を用いて撮像装置の自動露出制御用の評価値を生成する評価値検出工程と、生成手段が、第１及び第２の信号のうち少なくとも第２の信号を用いて、画素配列で撮像された画像の表示及び記録の少なくとも一方を行うための映像信号を生成する生成工程と、を有することを特徴とする。

本発明によれば、動作モードが切り替わる際に、画素から読み出された信号に基づく評価値の連続性が失われることを低減するとともに、動作モードに適した映像信号を得ることができる。

本発明は撮像システムに関し、特に、連続したフレーム間で撮像装置に対する駆動方法が変化する機能を有するものに関する。撮像システムは、例えば、デジタルカメラやデジタルビデオカメラである。撮像装置は、例えば、ＣＣＤやＣＭＯＳセンサーである。

以下、本発明の好適な実施形態について、添付図面を参照しながら詳細に説明する。
（第１実施形態）
本発明の第１実施形態に係る撮像システム１００について、図１を用いて説明する。図１は、本発明の第１実施形態に係る撮像システム１００の構成図である。

１０１は、手ぶれ補正を行う際に、手ぶれ成分をキャンセルするように駆動可能なレンズ群（撮影光学系）である。１０２は、それぞれ独立した周期で読み出し可能な複数の画素群を持つ撮像装置である。レンズ群１０１は、撮像装置１０２の受光面（後述の画素配列）上に光学像を形成する。撮像装置１０２は、光学像に応じた映像信号を生成して出力する。

１０３は、撮像装置１０２から出力された映像信号を増幅してＡ／Ｄ変換するアナログフロントエンド（以下、ＡＦＥと略記）である。ＡＦＥ１０３は、映像信号（アナログ信号）をＡ／Ｄ変換することにより映像データ（デジタル信号）を生成する。

１０４は、入力された映像信号に基づいて、連続したフレーム間の動き情報（被写体の動き量）を検出する動き検出回路である。１０５は、動き検出回路１０４により検出された動き情報（被写体の動き量）に基づいて、手ぶれ成分をキャンセルするようにレンズ群１０１を駆動する手ぶれ補正制御回路である。

１０６は、各部を制御するためのＣＰＵである。具体的には、ＣＰＵ１０６は、入力部（図示せず）を介してユーザから動作モードを指定するための指示を受ける。ＣＰＵ１０６は、その指示に応じた動作モード、すなわち、複数の動作モードにおける指定された動作モードに応じて、各部を制御する。複数の動作モードは、第１の動作モード及び第２の動作モードを含む。第１の動作モードは、動画撮影と並行して静止画撮影を行う動作モードである。第２の動作モードは、動画撮影のみを行う動作モードである。ＣＰＵ１０６は、選択部１０６ａ及び判断部１０６ｂを含む。選択部１０６ａ及び判断部１０６ｂの動作は、後述する。

１０７は、ＡＦＥ１０３から出力された映像データを補間する画素補間処理回路（生成手段）である。１０８は、所定のカメラ信号処理を行うためのカメラ信号処理回路である。１０９は、記録用信号処理回路である。１１０は、映像データに応じた映像を表示するための液晶パネルなどの表示装置である。１１１は、ＤＶＤディスクなどの記録メディアである。記録用信号処理回路１０９は、撮影された映像（映像データに応じた映像）を記録メディア１１１に記録する。

次に、撮像装置１０２の構成を、図２を用いて説明する。図２は、撮像装置１０２の構成図である。

撮像装置１０２は、画素配列ＰＡ、第１の読み出し部１０、第２の読み出し部２０、第１の制御部３０、第２の制御部４０、及びタイミング生成部５０を含む。

画素配列ＰＡでは、複数の画素が行方向及び列方向に配列されている。図２では、複数の画素が４行４列の画素で構成される場合が例示的に示されている。複数の画素は、第１の画素群Ｐ１（Ｐ１ａ〜Ｐ１ｄ）及び第２の画素群Ｐ２（Ｐ２ａ〜Ｐ２ｌ）を含む。各画素Ｐ１ａ〜Ｐ１ｄ，Ｐ２ａ〜Ｐ２ｌは、蓄積部２０１及びフローティングディフュージョンアンプ（以下、ＦＤアンプと略記）２０２を含む。

第１の制御部３０は、第１の蓄積期間で信号を蓄積するように第１の画素群Ｐ１（Ｐ１ａ〜Ｐ１ｄ）の蓄積動作を制御する。第１の制御部３０は、垂直走査回路２０８ａを含む。垂直走査回路２０８ａは、行選択線２０５ａ（例えば、２０行目〜２３行目の分を２０５ａ−２０〜２０５ａ−２３と表記）を介して、第１の画素群Ｐ１の画素Ｐ１ａ〜Ｐ１ｄを選択する。垂直走査回路２０８ａは、行リセット制御線２０４ａ（例えば、２０行目〜２３行目の分を２０４ａ−２０〜２０４ａ−２３と表記）を介して、第１の画素群Ｐ１の画素Ｐ１ａ〜Ｐ１ｄにリセット動作を行わせる。垂直走査回路２０８ａは、行読み出し制御線２０３ａ（２０行目〜２３行目の分を２０３ａ−２０〜２０３ａ−２３と表記）を介して、第１の画素群Ｐ１の画素Ｐ１ａ〜Ｐ１ｄに読み出し動作を行わせる。すなわち、第１の画素群Ｐ１の画素Ｐ１ａ〜Ｐ１ｄは、リセット動作を完了したタイミングで蓄積動作を開始し、読み出し動作を開始するタイミングで蓄積動作を完了するように、その蓄積動作が制御される。

第２の制御部４０は、第２の蓄積期間で信号を蓄積するように第２の画素群Ｐ２（Ｐ２ａ〜Ｐ２ｌ）の蓄積動作を制御する。第２の制御部４０は、垂直走査回路２０８ｂを含む。垂直走査回路２０８ｂは、行選択線２０５ｂ（例えば、２０行目〜２３行目の分を２０５ｂ−２０〜２０５ｂ−２３と表記）を介して、第２の画素群Ｐ２の画素Ｐ２ａ〜Ｐ２ｌを選択する。垂直走査回路２０８ｂは、行リセット制御線２０４ｂ（例えば、２０行目〜２３行目の分を２０４ｂ−２０〜２０４ｂ−２３と表記）を介して、第２の画素群Ｐ２の画素Ｐ２ａ〜Ｐ２ｌにリセット動作を行わせる。垂直走査回路２０８ｂは、行読み出し制御線２０３ｂ（２０行目〜２３行目の分を２０３ｂ−２０〜２０３ｂ−２３と表記）を介して、第２の画素群Ｐ２の画素Ｐ２ａ〜Ｐ２ｌに読み出し動作を行わせる。すなわち、第２の画素群Ｐ２の画素Ｐ２ａ〜Ｐ２ｌは、リセット動作を完了したタイミングで蓄積動作を開始し、読み出し動作を開始するタイミングで蓄積動作を完了するように、その蓄積動作が制御される。

第１の読み出し部１０は、第１の読み出し期間で第１の画素群Ｐ１（Ｐ１ａ〜Ｐ１ｄ）から列信号線２０６ａ経由で第１の信号を読み出す。第１の信号は、評価値を生成するための信号である。第１の読み出し部１０は、列アンプ２０７ａ、水平走査回路２０９ａ、列信号バッファ容量２１０ａ、列選択スイッチ２１２ａ、及び出力バッファアンプ２１４ａを含む。列アンプ２０７ａは、第１の画素群Ｐ１の画素Ｐ１ａ〜Ｐ１ｄから読み出された第１の信号を増幅して列信号バッファ容量２１０ａへ出力する。列信号バッファ容量２１０ａは、第１の信号を所定期間だけ保持する。列選択スイッチ２１２ａは、列選択線２１１ａを介して水平走査回路２０９ａからアクティブな信号が供給された際にオンする。列選択スイッチ２１２ａは、オンされた際に、列信号バッファ容量２１０ａにより保持された第１の信号を水平信号線２１３ａ経由で出力バッファアンプ２１４ａへ転送する。出力バッファアンプ２１４ａは、第１の信号を増幅して映像信号として映像出力端子２１５ａ経由でＡＦＥ１０３（図１参照）へ出力する。

第２の読み出し部２０は、第２の読み出し期間で第２の画素群Ｐ２（Ｐ２ａ〜Ｐ２ｌ）から列信号線２０６ｂ経由で第２の信号を読み出す。第２の信号は、映像表示及び映像記録の少なくとも一方のための信号である。第２の読み出し部２０は、列アンプ２０７ｂ、水平走査回路２０９ｂ、列信号バッファ容量２１０ｂ、列選択スイッチ２１２ｂ、及び出力バッファアンプ２１４ｂを含む。列アンプ２０７ｂは、第２の画素群Ｐ２の画素Ｐ２ａ〜Ｐ２ｌから読み出された第２の信号を増幅して列信号バッファ容量２１０ｂへ出力する。列信号バッファ容量２１０ｂは、第２の信号を所定期間だけ保持する。列選択スイッチ２１２ｂは、列選択線２１１ｂを介して水平走査回路２０９ｂからアクティブな信号が供給された際にオンする。列選択スイッチ２１２ｂは、オンされた際に、列信号バッファ容量２１０ｂにより保持された第２の信号を水平信号線２１３ｂ経由で出力バッファアンプ２１４ｂへ転送する。出力バッファアンプ２１４ｂは、第２の信号を増幅して映像信号として映像出力端子２１５ｂ経由でＡＦＥ１０３（図１参照）へ出力する。

タイミング生成部５０は、第１タイミングジェネレータ（以下第１ＴＧと略記）２１６ａと第２タイミングジェネレータ（以下第２ＴＧと略記）２１６ｂとを含む。

第１ＴＧ２１６ａは、垂直同期信号入力端子２１７ａを介してＣＰＵ１０６から垂直同期信号を受ける。第１ＴＧ２１６ａは、垂直同期信号に応じて、読み出し行タイミング信号（第３の駆動信号）２２０ａを生成して第１の制御部３０の垂直走査回路２０８ａへ供給する。読み出し行タイミング信号２２０ａは、第１の制御部３０が第１の蓄積期間で第１の画素群Ｐ１の蓄積動作を制御するようにするための信号である。

第１ＴＧ２１６ａは、水平同期信号入力端子２１８ａを介してＣＰＵ１０６から水平同期信号を受ける。第１ＴＧ２１６ａは、水平同期信号に応じて、読み出し列タイミング信号（第１の駆動信号）２２１ａを生成して第１の読み出し部１０の垂直走査回路２０８ａへ供給する。読み出し列タイミング信号２２１ａは、第１の読み出し部１０が第１の読み出し期間で第１の信号を読み出すようにするための信号である。

第２ＴＧ２１６ｂは、垂直同期信号入力端子２１７ｂを介してＣＰＵ１０６から垂直同期信号を受ける。ここで、ＣＰＵ１０６の選択部１０６ａは、動作モードに応じて、第２の蓄積期間群のうち第２の制御部４０が第２の画素群Ｐ２の蓄積動作を制御する際の第２の蓄積期間を選択する。ＣＰＵ１０６は、選択部１０６ａが選択した第２の蓄積期間に応じた垂直同期信号を生成して第２ＴＧ２１６ｂへ供給している。第２ＴＧ２１６ｂは、垂直同期信号に応じて、読み出し行タイミング信号（第４の駆動信号）２２０ｂを生成して第２の読み出し部１０の垂直走査回路２０８ｂへ供給する。読み出し行タイミング信号２２０ｂは、第２の制御部４０が選択された第２の蓄積期間で第２の画素群Ｐ２の蓄積動作を制御するようにするための信号である。

第２ＴＧ２１６ｂは、水平同期信号入力端子２１８ｂを介してＣＰＵ１０６から水平同期信号を受ける。ここで、ＣＰＵ１０６の選択部１０６ａは、動作モードに応じて、第２の読み出し期間群のうち第２の読み出し部２０が第２の信号を読み出す際の第２の読み出し期間を選択する。ＣＰＵ１０６は、選択部１０６ａが選択した第２の読み出し期間に応じた水平同期信号を生成して第２ＴＧ２１６ｂへ供給している。第２ＴＧ２１６ｂは、水平同期信号に応じて、読み出し列タイミング信号（第２の駆動信号）２２１ｂを生成して第２の読み出し部１０の垂直走査回路２０８ｂへ供給する。読み出し列タイミング信号２２１ｂは、第２の読み出し部１０が第２の読み出し期間で第２の信号を読み出すようにするための信号である。

なお、タイミング生成部５０は、撮像装置１０２の外部に設けられていても良い。

次に、複数の画素のそれぞれに含まれる蓄積部２０１の構成を、図３を用いて説明する。図３は、複数の画素のそれぞれに含まれる蓄積部２０１の構成図である。なお、第１の画素群Ｐ１の画素Ｐ１ａ〜Ｐ１ｄと、第２の画素群Ｐ２の画素Ｐ２ａ〜Ｐ２ｌとは、蓄積部２０１の構成が同様である。

３０１は、フォトダイオード（以下ＰＤと略記）である。ＰＤ３０１は、入射光量に応じて信号（電荷）を蓄積する。

３０２は、読み出し制御入力であり、行読み出し制御線２０３ａ，２０３ｂ（図２参照）に接続されている。３０３は、読み出しトランジスタである。読み出しトランジスタ３０３は、読み出し制御入力３０２を介して、読み出し制御信号を垂直走査回路２０８ａ，２０８ｂからそのゲートに受ける。読み出しトランジスタ３０３は、アクティブな読み出し制御信号を受けた際にオンする。

３０４は、フローティングディフュージョン（以下ＦＤと略記）である。３１０は、ＦＤアンプ２０２（図２参照）の入力端子である。ＦＤ３０４には、読み出しトランジスタ３０３がオンした際に、ＰＤ３０１により蓄積された信号（電荷）がＰＤ３０１から転送される。ＦＤ３０４は、所定の容量のキャパシタンスで構成されており、そのキャパシタンスにチャージされた電荷を電圧に変換する。

３０５は、リセット制御入力であり、行リセット制御線２０４ａ，２０４ｂ（図２参照）に接続されている。３０６は、リセットトランジスタである。３０７は、リセットレベル入力である。リセットトランジスタ３０６は、リセット制御入力３０５を介して、リセット制御信号を垂直走査回路２０８ａ，２０８ｂからそのゲートに受ける。リセットトランジスタ３０６は、アクティブなリセット制御信号を受けた際にオンすることにより、ＦＤ３０４の電位をリセットレベル入力３０７に応じた電位にリセットする。

３０８は、選択制御入力（図２の２０５ａ，２０５ｂに接続）である。３０９は、選択トランジスタである。選択トランジスタ３０９は、選択制御入力３０８を介して、選択制御信号を垂直走査回路２０８ａ，２０８ｂからそのゲートに受ける。選択トランジスタ３０９は、アクティブな選択制御信号を受けた際にオンする。ＦＤ３０４は、選択トランジスタ３０９がオンしている際に、変換した信号（電圧）を入力端子３１０経由でＦＤアンプ２０２へ入力する。ＦＤアンプ２０２は、入力された信号を増幅して列信号線２０６ａ，２０６ｂへ出力する。

次に、撮像装置１０２の動作を、図２及び図３を用いて説明する。

画素配列ＰＡの各画素Ｐ１ａ〜Ｐ１ｄ，Ｐ２ａ〜Ｐ２ｌのＰＤ３０１が、入射光量に応じて信号を蓄積する。各画素Ｐ１ａ〜Ｐ１ｄ，Ｐ２ａ〜Ｐ２ｌでは、リセット制御入力３０５からアクティブなリセット制御信号が供給されると、リセットトランジスタ３０６がオンする。これにより、リセットトランジスタ３０６は、リセットレベル入力（電源ＶＤＤ）に応じた電位にＦＤ３０４をリセットする。ＦＤ３０４の電位は、リセットレベルの電位となる。ＦＤ３０４は、リセットレベルの電位に応じたノイズ信号を入力端子３１０及びＦＤアンプ２０２経由で列信号線２０６ａ，２０６ｂへ出力する。第１の読み出し部１０又は第２の読み出し部２０では、列アンプ２０７ａ，２０７ｂが、列信号線２０６ａ，２０６ｂへ出力されたノイズ信号を受ける。

次に、各画素Ｐ１ａ〜Ｐ１ｄ，Ｐ２ａ〜Ｐ２ｌでは、読み出し制御入力３０２にアクティブな読み出し制御信号が供給されると、読み出しトランジスタ３０３がオンする。これにより、読み出しトランジスタ３０３は、ＰＤ３０１により蓄積された信号をＦＤ３０４に転送する。ＦＤ３０４の電位は、光信号レベルの電位となる。ＦＤ３０４は、光信号レベルの電位に応じた光信号を入力端子３１０及びＦＤアンプ２０２経由で列信号線２０６ａ，２０６ｂへ出力する。第１の読み出し部１０又は第２の読み出し部２０では、列アンプ２０７ａ，２０７ｂが、列信号線２０６ａ，２０６ｂへ出力された光信号を受ける。列アンプ２０７ａ，２０７ｂは、クランプ動作を行うことによりノイズ信号と光信号との差分を演算して差分信号（第１の信号、第２の信号）を求める。列アンプ２０７ａ，２０７ｂは、差分信号を列信号バッファ容量２１０ａ,２１０ｂへ出力する。列信号バッファ容量２１０ａ,２１０ｂは、所定期間だけ差分信号を保持する。水平走査回路２０９ａ,２０９ｂは、各列の列選択スイッチ２１２ａ,２１２ｂを順次にオンさせる。これにより、列信号バッファ容量２１０ａ,２１０ｂにチャージされた一行分の差分信号は、列ごとに順次に出力バッファアンプ２１４ａ,２１４ｂへ転送される。出力バッファアンプ２１４ａ,２１４ｂは、転送された信号を増幅して映像信号として映像出力端子２１５ａ,２１５ｂ経由でＡＦＥ１０３へ出力する。

次に、第２の動作モードから第１の動作モードへ切り替わる際における撮像システム１００の動作を、図４を用いて説明する。第１の動作モードは、動画撮影と並行して静止画撮影を行う動作モードである。第２の動作モードは、動画撮影のみを行う動作モードである。図４は、複数の画素群のリセット動作と読み出し動作とのタイミングを示すタイミングチャートである。図４では、縦軸が各画素群における画素の行の位置を示し、横軸がタイミングを示す。ここで、実際には第１の画素群Ｐ１の行数が第２の画素群Ｐ２の行数より少ないが、第１の画素群Ｐ１の行数と第２の画素群Ｐ２の行数とが同じ行数（Ｎ）になるように変換した場合を図４に図示している。

図４において、期間ＦＴ１〜ＦＴ６は、垂直同期信号によって区切られたフレーム期間であり、ＮＴＳＣ標準信号だと１／６０秒周期となる。図４において、期間ＦＴ１,ＦＴ２,ＦＴ５,ＦＴ６は、撮像システム１００が第２の動作モードで動作するフレーム期間であり、期間ＦＴ３,ＦＴ４は、撮像システム１００が第１の動作モードで動作するフレーム期間である。すなわち、フレーム期間ＦＴ２及びＦＴ３において、撮像システム１００の動作モードが、第２の動作モードから第１の動作モードへ切り替わる。フレーム期間ＦＴ４及びＦＴ５において、撮像システム１００の動作モードが、第１の動作モードから第２の動作モードへ切り替わる。

図４において、Ｙ１、Ｙ２は、それぞれ、第１の画素群Ｐ１及び第２の画素群Ｐ２の画素が読み出し動作を行うタイミング、すなわち画素の蓄積動作が終了するタイミングを示す。垂直走査回路２０８ａ，２０８ｂは、各々垂直同期信号のタイミングに同期して先頭行（Ｌｉｎｅ１）から順次読み出し動作を行うように第１の画素群Ｐ１及び第２の画素群Ｐ２を制御するため、傾きを持った線として表される。

Ｒ１、Ｒ２は、それぞれ、第１の画素群Ｐ１及び第２の画素群Ｐ２の画素がリセット動作を完了するタイミング、すなわち画素の蓄積動作が開始するタイミングを示す。垂直走査回路２０８ａ，２０８ｂは、各々垂直同期信号のタイミングに同期して先頭行（Ｌｉｎｅ１）から順次リセット動作を完了するように第１の画素群Ｐ１及び第２の画素群Ｐ２を制御するため、傾きを持った線として表される。

第２の動作モードでは、ＣＰＵ１０６の選択部１０６ａが、動画撮影に適した蓄積期間で信号を蓄積できるように、第２の蓄積期間群（ＡＴ２１，ＡＴ２２）から第２の読み出し期間ＡＴ２１を選択する。タイミング生成部５０の第２ＴＧ２１６ｂは、選択された第２の蓄積期間ＡＴ２１で第２の画素群Ｐ２の蓄積動作を制御するように、第２の制御部４０を駆動する。

また、第２の動作モードでは、ＣＰＵ１０６の選択部１０６ａが、動画撮影に適したフレームレートを達成できるように、第２の読み出し期間群（ＲＴ２１，ＲＴ２２）から第２の読み出し期間ＲＴ２１を選択する。タイミング生成部５０の第２ＴＧ２１６ｂは、第２の読み出し期間ＲＴ２１において、第２の画素群Ｐ２から加算・間引き・切り出しなどを行って減少させた画素密度で第２の信号を第２の読み出し部２０が読み出すように、駆動する。第２の画素群Ｐ２に対する読み出す画素の画素密度を減らす方法には、画素の行を加算したり間引いたりする方法があるが、本実施形態では、第２の画素群Ｐ２（図２参照）から１行おきに読み出す例で説明する。第２の画素群Ｐ２の全行数をＮ行とした場合、Ｎ／２行が読み出されるものとする。

また、第１の動作モードでは、撮像システム１００が、静止画撮影を優先させた動作を行う。ＣＰＵ１０６の選択部１０６ａは、静止画撮影に適したシャッタースピードすなわち蓄積期間で信号を蓄積できるように、第２の蓄積期間群（ＡＴ２１，ＡＴ２２）から第２の読み出し期間ＡＴ２２を選択する。タイミング生成部５０の第２ＴＧ２１６ｂは、選択された第２の蓄積期間ＡＴ２２で第２の画素群Ｐ２の蓄積動作を制御するように、第２の制御部４０を駆動する。

また、第１の動作モードでは、ＣＰＵ１０６の選択部１０６ａが、静止画撮影に適した高い画素密度で第２の画素群Ｐ２から第２の信号が読み出されるように、第２の読み出し期間群（ＲＴ２１，ＲＴ２２）から第２の読み出し期間ＲＴ２２を選択する。第１の動作モードにおいて選択される第２の読み出し期間ＲＴ２２は、第２の動作モードにおいて選択される第２の読み出し期間ＲＴ２１より長く、例えば、第２の動作モードにおいて選択される第２の読み出し期間ＲＴ２１の２倍の長さを有する。

一方、タイミング生成部５０の第１ＴＧ２１６ａは、動作モード（第１の動作モード、第２の動作モード）に関わらず一定の第１の蓄積期間ＡＴ１で第１の画素群Ｐ１の蓄積動作を制御するように、第１の制御部３０を駆動する。

また、タイミング生成部５０の第１ＴＧ２１６ａは、動作モード（第１の動作モード、第２の動作モード）に関わらず一定の第１の読み出し期間ＲＴ１で第１の画素群Ｐ１から第１の信号を第１の読み出し部１０が読み出すように、駆動する。ここで、第１の画素群Ｐ１の画素数が第２の画素群Ｐ２の画素数より少ない（図２参照）ので、第１の読み出し期間ＲＴ１内に第１の画素群Ｐ１の全画素から第１の信号を第１の読み出し部１０が読み出すように駆動できる。

次に、動き検出回路１０４及び手ぶれ補正制御回路１０５の動作を、図１を用いて説明する。

動き検出回路１０４は、第１の画素群Ｐ１から出力されＡＦＥ１０３により処理された第１の信号（映像データ）を経由で撮像装置１０２から受ける。動き検出回路１０４は、連続した複数のフレームの第１の信号を用いて、被写体の動きを検出する。検出方法の具体的な一例としては、前のフレームの各画素の信号と現在のフレームの各画素の信号を相対座標をずらしながら相関演算をおこない、最も相関の高い座標をフレーム間の動き情報とする方法がある。図２に示す第１の画素群Ｐ１が離散配置される間隔は、この相関演算および動き情報として必要とされる分解能に応じて適切な間隔になっていればよい。動き検出回路１０４は、被写体の動き量の情報を手ぶれ補正制御回路１０５へ出力する。

手ぶれ補正制御回路１０５は、被写体の動き量の情報に基づいて、手ぶれ成分を抽出する。手ぶれ補正制御回路１０５は、手ぶれ成分をキャンセルするように、レンズ群１０１を制御する。

次に、画素補間処理回路１０７の動作を、図５及び図６を用いて説明する。図５及び図６は、画素補間処理回路１０７の動作を表すタイミングチャートである。

第１の画素群Ｐ１から読み出された第１の信号と第２の画素群Ｐ２から読み出された第２の信号とは、それぞれ別の出力端子２１５ａ，２１５ｂから出力される（図２参照）。第１の信号と第２の信号とは、それぞれ、ＡＦＥ１０３経由で処理された後、画素補間処理回路１０７へ供給される。画素補間処理回路１０７は、少なくとも第２の信号（映像データ）を用いて、ＣＰＵ１０６に制御されることにより画素補間処理を行う。

ここで、ＣＰＵ１０６の判断部１０６ｂは、第１の蓄積期間と選択された第２の蓄積期間とが同じか否かを判断する。また、ＣＰＵ１０６の判断部１０６ｂは、第１の読み出し期間と選択された第２の読み出し期間とが同じか否かを判断する。判断部１０６ｂは、第１の蓄積期間と選択された第２の蓄積期間とが同じであることと、第１の読み出し期間と選択された第２の読み出し期間とが同じであることとの少なくとも一方が満たされたとき、画素補間処理回路１０７を図５に示すように制御する。画素補間処理回路１０７は、図５に示すように、第１の画素群Ｐ１から読み出された第１の信号と第２の画素群Ｐ２から読み出された第２の信号とを用いて１フレーム分の映像信号（映像データ）を生成してカメラ信号処理回路１０８へ出力するように制御される。

具体的には、ＣＰＵ１０６は、撮像装置１０２における第１の画素群Ｐ１、第２の画素群Ｐ２の配置情報および、垂直アドレス、水平アドレスより、画素ごとの画素補間制御信号を生成し、画素補間処理回路１０７に入力する。画素補間処理回路１０７は、画素補間制御信号が０の場合、第２の信号を映像信号として出力し、画素制御信号が１の場合、第１の信号を映像信号として出力する。結果として、画素配列ＰＡにおいて配列された順に映像信号が出力される。

なお、画素補間処理回路１０７は、足りない画素の信号を、隣接する画素の信号を平均することにより求めてもよい。

ＣＰＵ１０６の判断部１０６ｂは、第１の蓄積期間と選択された第２の蓄積期間とが同じであることと、第１の読み出し期間と選択された第２の読み出し期間とが同じであることとの両方が満たされないとき、画素補間処理回路１０７を図６に示すように制御する。すなわち、画素補間処理回路１０７は、図６に示すように、第２の画素群Ｐ２から読み出された第２の信号のみを用いて１フレーム分の映像信号（映像データ）を生成してカメラ信号処理回路１０８へ出力するように制御される。

具体的には、ＣＰＵ１０６は、画素補間制御信号が０の場合、第２の信号を映像信号として出力し、画素補間制御信号が３の場合、第２の信号において足りない画素の信号を、第２の画素群Ｐ２の周辺画素の信号を用いて補間して生成する。たとえば、第２の画素群Ｐ２から１行おきに第２の信号が読み出された場合、足りない画素の上下の画素の信号の平均値を補間値として出力する。あるいは、例えば、第２の画素群Ｐ２から１列おきに第２の信号が読み出された場合、足りない画素の左右の画素の信号の平均値を補間値として出力する。また、撮像装置上に色の異なる色フィルタが配置されている場合には、同色の画素を使用して補間する必要がある。

以上のように、本実施形態では、撮像システム１００の撮像装置１０２の画素配列ＰＡにおいて、第１の画素群Ｐ１が第１の制御部３０及び第１の読み出し部１０に接続され、第２の画素群Ｐ２が第２の制御部４０及び第２の読み出し部２０に接続されている。これにより、第１の画素群Ｐ１及び第２の画素群Ｐ２からは、互いに独立して信号を読み出すことができる。

第１の画素群Ｐ１の各画素は、動作モードに関わらず一定の第１の蓄積期間で信号を蓄積する。そして、第１の画素群Ｐ１からは、動作モードに関わらず一定の第１の読み出し期間で、評価値を生成するための第１の信号が読み出される。これにより、動作モードが切り替わる際に、第１の画素群Ｐ１から出力される信号に基づく評価値が不連続になることを避けることができる。

第１の画素群Ｐ１の各画素は、第２の蓄積期間群のうち動作モードに応じて選択された第２の蓄積期間で信号を蓄積する。そして、第２の画素群Ｐ２からは、第２の読み出し期間群のうち動作モードに応じて選択された第２の読み出し期間で、映像表示及び映像記録の少なくとも一方のための第２の信号が読み出される。これにより、動作モードが切り替わる際に、動作モードに適した蓄積期間で蓄積された信号を、動作モードに適した読み出し期間で読み出すことができる。

したがって、動作モードが切り替わる際に、画素から読み出された信号に基づく評価値の連続性が失われることを低減するとともに、動作モードに適した映像信号を得ることができる。

なお、画素補間処理回路１０７は、第１の読み出し期間と選択された第２の読み出し期間とが同じであるか否かのみに応じて、映像信号を生成しても良い。すなわち、画素補間処理回路１０７は、第１の読み出し期間と選択された第２の読み出し期間とが同じであると判断部１０６ｂにより判断された場合、第１の信号及び第２の信号を用いて１フレーム分の映像信号を生成する。画素補間処理回路１０７は、第１の読み出し期間と選択された第２の読み出し期間とが同じでないと判断部１０６ｂにより判断された場合、第２の信号を用いて１フレーム分の映像信号を生成する。

あるいは、画素補間処理回路１０７は、第１の蓄積期間と選択された第２の蓄積期間とが同じであるか否かのみに応じて、映像信号を生成しても良い。すなわち、画素補間処理回路１０７は、第１の蓄積期間と選択された第２の蓄積期間とが同じであると判断部１０６ｂにより判断された場合、第１の信号及び第２の信号を用いて１フレーム分の映像信号を生成する。画素補間処理回路１０７は、第１の蓄積期間と選択された第２の蓄積期間とが同じでないと判断部１０６ｂにより判断された場合、第２の信号を用いて１フレーム分の映像信号を生成する。
（第２実施形態）
次に、本発明の第２実施形態に係る撮像システム７００を、図７を用いて説明する。図７は、本発明の第２実施形態に係る撮像システム７００の構成図である。以下では、第１実施形態と異なる部分を中心に説明し、同様の部分の説明を省略する。

７１４は、絞りである。絞り７１４は、レンズ群１０１から撮像装置１０２へ導かれる光の量を調節する。すなわち、絞り７１４は、撮像装置１０２の画素配列の露光量を調節する。

７１２は、第１の信号を用いて、被写体の輝度を検出するためのＡＥ評価値検出回路（輝度検出手段）である。例えば、ＡＥ評価値検出回路７１２は、連続した複数のフレームの第１の信号を用いて、連続したフレーム間における被写体の輝度を検出することにより、ＡＥ評価値を求める。例えば、ＡＥ評価値検出回路７１２は、各フレームの第１の信号を用いて、各フレームにおける被写体の輝度を検出することにより、ＡＥ評価値を求める。

７１３は、ＡＥ評価値検出回路７１２により検出されたＡＥ評価値に基づいて、絞り量を制御する絞り制御回路である。絞り制御回路７１３は、絞り７１４の開度（絞り量）を制御することにより、画素配列ＰＡ（図２参照）の露光量を制御する。

７１５は、ＡＥ評価値検出回路７１２により検出されたＡＥ評価値に基づいて、カメラ信号処理回路７０８が映像信号（映像データ）を増幅する際のゲイン量（増幅率）を制御するＡＧＣ制御回路である。

絞り制御回路７１３およびＡＧＣ制御回路７１５は、ＡＥ評価値検出回路７１２により検出されたＡＥ評価値に基づいて、被写体の輝度のレベルが一定になるように、絞り量およびゲイン量を制御する。

カメラ信号処理回路（増幅手段）７０８は、ＡＧＣ制御回路７１５からゲイン量の情報を受け取る。カメラ信号処理回路７０８は、そのゲイン量に応じた増幅率で１フレーム分の映像信号を増幅する。カメラ信号処理回路７０８は、増幅した映像信号を表示装置１１０又は記録用信号処理回路１０９へ出力する。

また、第２の動作モードから第３の動作モードへ切り替わる際における撮像システム７００の動作が、次のように第１実施形態と異なる。

図８において、期間ＦＴ１,ＦＴ２，ＦＴ５,ＦＴ６は、撮像システム７００が第２の動作モードで動作するフレーム期間であり、期間ＦＴ１３,ＦＴ１４は、撮像システム７００が第３の動作モードで動作するフレーム期間である。すなわち、フレーム期間ＦＴ２及びＦＴ１３において、撮像システム７００の動作モードが、第２の動作モードから第３の動作モードへ切り替わる。フレーム期間ＦＴ１４及びＦＴ５において、撮像システム７００の動作モードが、第３の動作モードから第２の動作モードへ切り替わる。第３の動作モードは、静止画撮影に適した第２の蓄積期間で第２の画素群Ｐ２の蓄積動作を制御しつつ、動画撮影に適した第２の読み出し期間で第２の画素群Ｐ２から第２の信号が読み出されるように制御する動作モードである。なお、第３の動作モードは、動画撮影と並行して静止画撮影を行う動作モードである点で第１の動作モードと同様である。

第３の動作モードでは、撮像システム７００が、静止画撮影に適した第２の蓄積期間で第２の画素群Ｐ２の蓄積動作を制御する。ＣＰＵ１０６の選択部１０６ａは、静止画撮影に適したシャッタースピードすなわち蓄積期間で信号を蓄積できるように、第２の蓄積期間群（ＡＴ２１，ＡＴ２２）から第２の読み出し期間ＡＴ２２を選択する。タイミング生成部５０の第２ＴＧ２１６ｂは、選択された第２の蓄積期間ＡＴ２２で第２の画素群Ｐ２の蓄積動作を制御するように、第２の制御部４０を駆動する。

また、第３の動作モードでは、撮像システム７００が、動画撮影に適した第２の読み出し期間で第２の画素群Ｐ２から第２の信号が読み出されるように制御する。ＣＰＵ１０６の選択部１０６ａは、動画撮影に適したフレームレートが達成されるように、第２の読み出し期間群（ＲＴ２１，ＲＴ２２）から第２の読み出し期間ＲＴ２１を選択する。第３の動作モードにおいて選択される第２の読み出し期間ＲＴ２１は、第２の動作モードにおいて選択される第２の読み出し期間ＲＴ２１と同じである。。

次に、画素補間処理回路７０７の動作を、図９を用いて説明する。図９は、画素補間処理回路７０７の動作を表すタイミングチャートである。

画素補間処理回路７０７は、少なくとも第２の信号（映像データ）を用いて、ＣＰＵ１０６に制御されることにより画素補間処理を行う。

ここで、ＣＰＵ１０６の判断部１０６ｂは、第１の蓄積期間と選択された第２の蓄積期間とが同じか否かを判断する。ＣＰＵ１０６の判断部１０６ｂは、第１の蓄積期間と選択された第２の蓄積期間とが同じであると判断した場合、画素補間処理回路７０７を次のように制御する。すなわち、画素補間処理回路７０７は、第１の画素群Ｐ１から読み出された第１の信号と第２の画素群Ｐ２から読み出された第２の信号とを用いて１フレーム分の映像信号（映像データ）を生成してカメラ信号処理回路７０８へ出力するように制御される。

なお、画素補間処理回路７０７は、足りない画素の信号を、後述する方法により求めてもよい。

ＣＰＵ１０６の判断部１０６ｂは、第１の蓄積期間と選択された第２の蓄積期間とが同じであると判断した場合、画素補間処理回路７０７を図９に示すように制御する。すなわち、画素補間処理回路７０７は、図９に示すように、第２の画素群Ｐ２から読み出された第２の信号のみを用いて１フレーム分の映像信号（映像データ）を生成してカメラ信号処理回路７０８へ出力するように制御される。

具体的には、ＣＰＵ１０６は、撮像装置の第１の画素群、第２の画素群の配置情報および蓄積時間情報、垂直アドレス、水平アドレスより、画素ごとの画素補間制御信号を生成し、画素補間処理回路７０７に入力する。画素補間処理回路７０７は、画素補間制御信号が０の場合、第２の信号を映像信号として出力する。画素補間処理回路７０７は、画素補間制御信号が３の場合、第２の信号において足りない画素の信号に、第１の蓄積期間ＡＴ１に対する第２の蓄積期間ＡＴ２２が補正係数Ｋ（＝（ＡＴ２２）／（ＡＴ１）））を乗算して出力する。

本発明の第１実施形態に係る撮像システム１００の構成図。 撮像装置の構成図。 複数の画素のそれぞれに含まれる蓄積部２０１の構成図。 複数の画素群のリセット動作と読み出し動作とのタイミングを示すタイミングチャート。 画素補間処理回路１０７の動作を表すタイミングチャート。 画素補間処理回路１０７の動作を表すタイミングチャート。 本発明の第２実施形態に係る撮像システム７００の構成図。 複数の画素群のリセット動作と読み出し動作とのタイミングを示すタイミングチャート。 画素補間処理回路７０７の動作を表すタイミングチャート。

符号の説明

１００，７００ 撮像システム
１０２ 撮像装置

Claims (6)

1. 連続したフレームからなる動画像を取得する動作モードと１フレームの静止画像を取得する動作モードとを有する撮像システムであって、
   第１の画素群及び第２の画素群を含む複数の画素が行方向及び列方向に配列された画素配列と、
   前記撮像装置の動作モードに関わらず一定の読み出し期間で前記第１の画素群から第１の信号を読み出す第１の読み出し手段と、
   前記撮像装置の動作モードに応じて選択された読み出し期間で前記第２の画素群から第２の信号を読み出す第２の読み出し手段と、
   前記第１の信号を用いて前記撮像装置の自動露出制御用の評価値を生成する評価値検出手段と、
   前記第１及び第２の信号のうち少なくとも前記第２の信号を用いて、前記画素配列で撮像された画像の表示及び記録の少なくとも一方を行うための映像信号を生成する生成手段と、
   を備えた
   ことを特徴とする撮像システム。
2. 前記第１の読み出し手段が前記一定の読み出し期間で前記第１の信号を読み出すための第１の駆動信号を生成して前記第１の読み出し手段へ供給するとともに、前記第２の読み出し手段が前記選択された読み出し期間で前記第２の信号を読み出すための第２の駆動信号を生成して前記第２の読み出し手段へ供給するタイミング生成手段をさらに備えた
   ことを特徴とする請求項１に記載の撮像システム。
3. 前記一定の読み出し期間と前記選択された読み出し期間とが同じか否かを判断する判断手段を更に備え、
   前記生成手段は、前記一定の読み出し期間と前記選択された読み出し期間とが同じであると前記判断手段により判断された場合、前記第１の信号及び前記第２の信号を用いて、映像表示及び映像記録の少なくとも一方を行うための１フレーム分の映像信号を生成し、前記一定の読み出し期間と前記選択された読み出し期間とが同じでないと前記判断手段により判断された場合、第１の信号を用いずに前記第２の信号を用いて、映像表示及び映像記録の少なくとも一方を行うための１フレーム分の映像信号を生成する
   ことを特徴とする請求項１又は２に記載の撮像システム。
4. 被写体の光学像を前記画素配列上に形成する撮影光学系と、
   連続した複数のフレームで画像を取得する動作モードで取得された、連続した複数のフレームの前記第１の信号を用いて、前記被写体の動きを検出する検出手段と、
   前記被写体の動きに応じて前記撮影光学系を駆動することにより、手ぶれ補正を行う手ぶれ補正手段と、
   をさらに備えた
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像システム。
5. 前記画素配列の露光量を調節する絞りと、
   前記生成手段により生成された１フレーム分の映像信号を増幅する増幅手段と、
   前記評価値検出手段が生成した前記評価値に基づいて、前記映像信号における前記被写体の輝度が所定の適正値となるように前記絞りの開度及び前記増幅手段の増幅率を制御する制御手段と、
   をさらに備えた
   ことを特徴とする請求項１から４のいずれか１項に記載の撮像システム。
6. 第１の画素群及び第２の画素群を含む複数の画素が行方向及び列方向に配列された画素配列を備え、連続したフレームからなる動画像を取得する動作モードと１フレームの静止画像を取得する動作モードとを有する撮像システムの制御方法であって、
   第１の読み出し手段が、前記撮像装置の動作モードに関わらず一定の読み出し期間で前記第１の画素群から第１の信号を読み出す第１の読み出し工程と、
   第２の読み出し手段が、前記撮像装置の動作モードに応じて選択された読み出し期間で前記第２の画素群から第２の信号を読み出す第２の読み出し工程と、
   評価値検出手段が、前記第１の信号を用いて前記撮像装置の自動露出制御用の評価値を生成する評価値検出工程と、
   生成手段が、前記第１及び第２の信号のうち少なくとも前記第２の信号を用いて、前記画素配列で撮像された画像の表示及び記録の少なくとも一方を行うための映像信号を生成する生成工程と、
   を有する
   ことを特徴とする撮像システムの制御方法。

Images