JP4875399B2

JP4875399B2 - 撮像装置及びその制御方法並びに撮像システム

Info

Publication number: JP4875399B2
Application number: JP2006121271A
Authority: JP
Inventors: 典央根岸
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-04-25
Filing date: 2006-04-25
Publication date: 2012-02-15
Anticipated expiration: 2026-04-25
Also published as: JP2007295300A

Description

本発明は、光電変換素子を有する撮像装置及びその制御方法並びに撮像システムに関し、特にＣＭＯＳイメージセンサを用いた撮像装置及びその制御方法並びに撮像システムに関する。

デジタルカメラやデジタルビデオカメラなどの撮像装置における撮像処理では、撮像装置から原色フィルタを通過して出力された信号は、ＡＤ変換によってデジタル化され、図７(a)に示すようなブロックに分割される。ただし、各ブロックは、図７(b)に示すように色信号Ｒ、Ｇ１、Ｇ２、Ｂを１つずつ含む単位で構成される。これらのブロックそれぞれに対して、色評価値、数式１を算出する。

… （数式１）
また、図８に示すように、あらかじめ白色を高色温度下から低色温度下まで撮影して、色評価値Ｃｘ、Ｃｙをプロットすることによって、白軸を定めることができる（例えば、特許文献１参照）。実際の光源において白色には若干のばらつきが存在するため幅を持たせてある。これを白検出範囲と呼ぶ。このとき、各ブロックについてＣｘ、Ｃｙ軸にプロットして、白検出範囲に入った場合、そのブロックが白色であると仮定する。さらに、白検出範囲に入った色画素の積分値ＳｕｍＲ、ＳｕｍＧ１、ＳｕｍＧ２、ＳｕｍＢを算出して、数式２を用いることによってホワイトバランス係数を算出する。ただし、ＫＷＢ＿Ｒ、ＫＷＢ＿Ｇ１、ＫＷＢ＿Ｇ２、ＫＷＢ＿Ｂはそれぞれ色信号Ｒ、Ｇ１、Ｇ２、Ｂのホワイトバランス係数である。（以下、ホワイトバランスを「ＷＢ」という。）。

… （数式２）
特開２００３−２４４７２３号公報

しかしながら、上記従来の方法では、画面内の白が少ない場合には、白検出範囲であると判定される色が少なく、白検出範囲内の色の積分値はゼロに近くなるため、正しくＷＢ係数を算出することが困難になる。電子ズームを使用して撮影した時は、電子ズームを使用しない時に比べて白が存在する確率が低く、この場合に光源の色温度を特定することはより困難となる場合がある。例えば、人のアップを電子ズームにより撮影した場合、画面に対して白の割合が減少する。

また、人のアップを電子ズームにより撮影した場合は、以下のような問題も生じる。すなわち、高色温度下においては、色評価値は図８の領域A付近に分布する。従って、シーンを高色温度光源であると判定できる。しかし、この光源下において、人の肌をＣｘ、Ｃｙ軸にプロットすると、白検出範囲における低色温度側に分布する。従って、画面に白色が少なくかつ人肌がアップのシーンでは、画面の色評価値は図８の領域Ｂに分布する。つまり、肌色を低色温度下の白色と誤判別するため、人の肌を青白くしてしまうという問題である。従って、撮影者の意図しない画像となる可能性がある。

本発明は、上記のような電子ズーム等のように撮像面の一部分を用いて画像を生成する場合の問題に鑑みてなされたものであり、そのような場合においても適切なＷＢ処理を行うことを目的とする。

本発明の第１の側面は、撮像装置に係り、撮像面に複数の光電変換素子が配置され、前記撮像面の第１の領域内に配置された第１の光電変換素子群から画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域よりも小さく前記第１の領域に含まれる第２の領域内に配置された第２の光電変換素子群から画像信号を読み出す第２のモードで駆動可能な撮像部と、前記撮像部を前記第１のモードで駆動することで得られる画像信号に基づいてホワイトバランス補正値を算出し、前記ホワイトバランス補正値を用いて、前記撮像部を前記第２のモードで駆動することで得られる画像信号のホワイトバランス処理を行うように制御する制御部とを備え、前記制御部は、所定秒毎にｍ（ｍは２以上の整数）フレームの画像信号を読み出す場合に、前記ｍフレームのうちｎ（ｎはｍよりも小さい１以上の整数）フレームにおいて、前記第１のモードで前記撮像部を駆動して画像信号を読み出し、前記ｍフレームのうちｍ‐ｎフレームにおいて、前記第２のモードで前記撮像部を駆動して画像信号を読み出すように制御することを特徴とする。

本発明の第２の側面は、撮像システムに係り、光学系と、上記の撮像装置と、を備えることを特徴とする。

本発明の第３の側面は、撮像面に複数の光電変換素子が配置され、前記撮像面の第１の領域に配置された第１の光電変換素子群から画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域よりも小さく前記第１の領域に含まれる第２の領域に配置された第２の光電変換素子群から画像信号を読み出す第２のモードで駆動可能な撮像部を備えた撮像装置の制御方法に係り、前記撮像部を前記第１のモードで駆動することで得られる画像信号に基づいてホワイトバランス補正値を算出し、前記ホワイトバランス補正値を用いて、前記撮像部を前記第２のモードで駆動することで得られる画像信号のホワイトバランス処理を行うように制御するとともに、所定秒毎にｍ（ｍは２以上の整数）フレームの画像信号を読み出す場合に、前記ｍフレームのうちｎ（ｎはｍよりも小さい１以上の整数）フレームにおいて、前記第１のモードで前記撮像部を駆動して画像信号を読み出し、前記ｍフレームのうちｍ‐ｎフレームにおいて、前記第２のモードで前記撮像部を駆動して画像信号を読み出すように制御することを特徴とする。

本発明によれば、適切なＷＢ処理を行うことが可能な撮像装置及びその方法を提供することができる。

以下、添付図面を参照して、本発明の実施形態を詳細に説明する。本実施形態に係る撮像装置は、撮像面に光電変換素子等が配置された撮像部２００と、撮像部２００（図２を参照）を制御する制御部５０９（図５を参照）で構成される。図２は、Ｘ−Ｙアドレス型の走査方法を用いた撮像装置の撮像部２００の構成を示す図である。

撮像部２００には、単位画素２０１、光電変換素子２０２、転送スイッチ２０３、フローティングデフュージョン（ＦＤ）２０４、増幅用トランジスタ２０５、選択スイッチ２０６、リセットスイッチ２０７が配置される。２０８は信号線、２０９は増幅用トランジスタ２０５の負荷となる定電流源、２１０は選択スイッチ、２１１は出力アンプ、２１２は垂直走査回路、２１３は読み出し回路、２１４は水平走査回路である。なお、図２では図の簡略化のために、撮像部２００には、単位画素２０１が４行×４列で配列されているが、これに限定されず、任意の数の単位画素２０１が配置されうる。

単位画素２０１は、光電変換素子としてのフォトダイオード（ＰＤ）ＰＤ２０２、転送スイッチ２０３、ＦＤ２０４、増ソースフォロアとして機能する増幅用トランジスタ２０５、選択スイッチ２０６、リセットスイッチ２０７で構成される。撮像装置に入射した光は、ＰＤ２０２で電荷に変換される。ＰＤ２０２で発生した電荷は、転送パルスφＴＸに応じて転送スイッチ２０３により転送され、ＦＤ２０４に一時的に蓄積される。ＦＤ２０４、増幅用トランジスタ２０５、及び定電流源２０９でフローティングディフュージョンアンプが構成される。そして、選択パルスφＳＥＬに応じて選択スイッチ２０６で選択された画素の信号電荷は、電圧に変換され、信号出力線２０８を経て読み出し回路２１３に出力される。さらに、水平走査回路２１４によって駆動された選択スイッチ２１０を選択的に導通して、出力信号が選択され、出力アンプ２１１を経て撮像装置外部に出力される。ＦＤ２０４に蓄積された電荷の除去は、リセットパルスφＲＥＳ応じてリセットスイッチ２０７で行われる。また、垂直走査回路２１２は、転送スイッチ２０３、選択スイッチ２０６、リセットスイッチ２０７の選択を行う。

なお、パルス信号φＴＸ、φＲＥＳ、φＳＥＬのそれぞれについて、垂直走査回路２１２で走査選択された、ｎ（ｎは自然数）番目の走査行に印加するパルス信号を、φＴＸｎ、φＲＥＳｎ、φＳＥＬｎと記述する。

図３は、本実施形態に係る撮像装置の動作を示す図である。図３（ａ）は、第１のモードでの動作を示し、図３（ｂ）は、第２のモードでの動作を示す。

図３（ａ）に示すように、第１のモードでは、図５の制御部５０９は、撮像面の第１の領域３０１内に配置された光電変換素子２０２群から画像信号を読み出すよう撮像部２００を制御する。第１のモードは、読み出された画像信号から、ホワイトバランス処理に用いるための補正値を算出する際に用いられる。

一方、図３（ｂ）に示すように、第２のモードでは、制御部５０９は、撮像面の第２の領域３０２内に配置された光電変換素子２０２群から画像信号を読み出すよう撮像部２００を制御する。第２のモードは、画像を記録又は表示する際に用いられる。

第１の領域３０１は、第２の領域３０２よりも大きければよいが、第２の領域３０２を含むことが好ましく、撮像面に配置された全ての光電変換素子を含むことがより好ましい。また、本実施形態に係る撮像装置は、第１のモードにおいて第１の光電変換素子群から読み出した複数の信号のうち一部を加算するための加算部（不図示）を読み出し回路２１３の内部に備えることが好ましい。この場合、制御部５０９は、第１のモードと第２のモードのフレームレートが同じになるように（第１のモードと第２のモードとで、撮像部２００から読み出される信号数が同じになるように）、この加算部で加算する信号数を設定することが好ましい。第１の光電変換素子群から読み出した複数の信号の一部を加算して出力することによって、水平走査回路２１４から読み出す信号の数を減らすことができる。

また、制御部５０９は、第１のモードにおいて第１の光電変換素子群に対し間引き読み出しを行ってもよい。この場合、制御部５０９は、第１のモードと第２のモードのフレームレートが同じになるように（第１のモードと第２のモードとで、撮像部２００から読み出される信号数が同じになるように）、間引き読み出しの間引き率を設定することが好ましい。

このような構成により、白の割合が減少する可能性の高い電子ズーム使用時においても、白の存在する可能性の高い第１の領域３０１の画像から算出したＷＢ係数を用いることができる。そのため、適切なＷＢ処理を行うことが可能である。例えば、ズーム撮影により人物をアップした場合など、白が少なく有彩色の占める割合が高くなる場合でも、白が存在する確率の高い第１の領域３０１の画像から特定した色温度を用い、適切なＷＢ処理が可能となる。

図４は、図２の撮像装置で使用される色フィルタアレイの一部を示す図である。第１の色フィルタを赤（Ｒ）、第２の色フィルタを緑（Ｇ）、第３の色フィルタを緑（Ｇ）、第４の色フィルタを青（Ｂ）とした場合を示している。この色フィルタアレイの配列は、原色の色フィルタ配列のなかでも、とくに、ベイヤ配列と呼ばれるもので、高い解像度と優れた色再現性を備えた色フィルタ配列である。

図５は、図２の撮像装置を用いた撮像システムの概略を示す図である。５０１は光学系としてのレンズ部（図５では「レンズ」と表記）、５０２はレンズ駆動部、５０３はメカニカルシャッタ（メカシャッタと表記）、５０４はメカニカルシャッタ駆動部（図５では「シャッタ駆動部」と表記）、５０５はＡ／Ｄ変換器を示す。２００は図２に示す構成を有する撮像部を示す。

また、５０６は撮像信号処理回路、５０７はタイミング発生部、５０８はメモリ部、５０９は制御部、５１０は記録媒体制御インターフェース部（図５では「記録媒体制御Ｉ/Ｆ部」と表記）、５１１は表示部を示す。また、５１２は記録媒体、５１３は外部インターフェース部（図５では「外部Ｉ/Ｆ部」と表記）、５１４は測光部、５１５は測距部を示す。

レンズ部５０１を通った被写体像は、撮像部２００上に結像される。撮像部２００に結像した被写体像は、画像信号として取り込まれる。撮像信号処理回路５０６は、画像信号を増幅し、画像信号をアナログ信号からデジタル信号に変換しＡ／Ｄ変換、Ａ／Ｄ変換後にＲ、Ｇ１、Ｇ２、Ｂの信号が得る。さらに、撮像信号処理回路５０６は、各種の補正、画像データの圧縮等を行う。

レンズ部５０１は、レンズ駆動部５０２によってズーム、フォーカス、絞り等が駆動制御される。メカシャッタ５０３は、一眼レフカメラに使用されるフォーカルプレーン型のシャッタの後幕に相当する幕のみを有するシャッタ機構である。メカシャッタ５０３は、シャッタ駆動部５０４によって駆動制御される。タイミング発生部５０７は、撮像部２００、撮像信号処理回路５０６に各種タイミング信号を出力する。制御部５０９は、撮像装置全体の制御と各種演算を行う。メモリ部５０８は、画像データを一時的に記憶する。記録媒体制御インターフェース部５１０は、記録媒体５１２に画像データを記録させたり、記録媒体５１２から画像データを又は読み出したりする。表示部５１１は、画像データの表示を行う。記録媒体５１２は、半導体メモリ等の着脱可能な記憶媒体であり、画像データを記録する。外部インターフェース部５１３は、外部のコンピュータ等と通信を行うためのインターフェースである。測光部５１４は被写体の明るさ情報の検出を行い、測距部５１５は被写体までの距離情報を検出する。

図６は、図５の撮像信号処理回路５０６において、Ａ／Ｄ変換器５０５からの信号Ｒ、Ｇ１、Ｇ２、Ｂに基づいて処理を行うＷＢ処理回路６０１と信号処理制御部６０５のＷＢ回路制御に係わる構成例とを更に詳細に示したブロック図である。

６０１はＷＢ処理回路（図６では「ＷＢ」と表記）、６０２は色信号作成回路、６０３は輝度信号作成回路、６０４は補正部であるＡＰＣ（Automatic Power Control）回路、６０５は信号処理制御部である。６０６はＣＰＵ、６０７はＲＯＭ、６０８はＲＡＭである。ＲＯＭ６０７は、ＷＢ制御プログラム６０７ａ、ＷＢ係数算出プログラム６０７ｂ、白検出範囲テーブル６０７ｃを含む。ＲＡＭ６０８は、画像データ記憶領域６０８ａ、色評価値記憶領域６０８ｂ、算出ＷＢ係数記憶領域６０８ｃを含む。

ＷＢ処理回路６０１及び信号処理制御部６０５には、デジタル画像信号Ｒ、Ｇ１、Ｇ2、Ｂがブロック単位で入力される。信号処理制御部６０５からは、入力されたデジタル画像信号Ｒ、Ｇ１、Ｇ2、Ｂに基づいて決定されたＷＢ係数が、ＷＢ処理回路６０１に提供されて、ＷＢ処理回路６０１でＷＢ処理が実行される。

信号処理制御部６０５は、演算制御用のＣＰＵ６０６と、固定のプログラム及びデータを記憶するＲＯＭ６０７と、一次記憶のＲＡＭ６０８とで成される。本実施形態では、ＷＢ処理は予め固定されたものとして、処理プログラムやデーブルなどがＲＯＭ６０７に格納されているとする。しかしながら、これらを書き換え可能な不揮発性ＲＡＭに記憶して、変更可能にしてもよい。

ＲＯＭ６０７には、プログラム記憶領域とデータ記憶領域とがある。本実施形態では、プログラム記憶領域は、ＷＢ処理の手順を収めたＷＢ制御プログラム６０７ａ、背景技術で示したようなＷＢ係数を求めるＷＢ係数算出プログラム６０７ｂを有し、データ記憶領域は、図８に示すような白検出範囲テーブル６０７ｃを有する。

ＲＡＭ６０８は、入力画像データのうち、ＷＢ処理に必要な量のデータを記憶する画像データ記憶領域６０８ａ、色評価値を記憶する色評価値記憶領域６０８ｂ、実時間で算出されたＷＢ係数を記憶する算出ＷＢ係数記憶領域６０８ｃを有する。

本実施形態では、ＲＯＭ６０７に格納されたプログラムに従って、そのデータを使用する。そして、ＣＰＵ６０６で入力されるデジタル画像データＲ、Ｇ１、Ｇ２、Ｂに基づいて、ＲＡＭ６０８の領域を使用しながら、ＷＢ係数を算出及び選択して決定を行う。決定されたＷＢ係数は、ＷＢ処理回路６０１に送られ、ＷＢ処理回路６０１で適切なＷＢ処理を実行する。

ＷＢ処理回路６０１でＷＢ処理が行われた後、色信号作成回路６０２において色差信号Ｕ、Ｖを作成する。一方、輝度信号を作成する輝度信号作成回路６０３、輝度信号の高周波成分を増幅するＡＰＣ回路６０４を経て輝度信号Ｙが作成される。これらの色差信号Ｕ、Ｖと輝度信号Ｙからカラー画像が得られる。

なお、作成された色差信号Ｕ、Ｖと輝度信号Ｙをどのように処理するかは、それぞれの撮像装置の目的・用途で異なるが、これらの各種の処理方法も本実施形態に適用することが可能である。

図１に本実施形態における動作の概念図を示す。本実施形態として４倍の電子ズームに設定された動画モードで駆動する撮像装置の動作例を示す。

図１は、動画像の出力データを時系列的にフレームＭ−３〜フレームＮ＋３まで並べた状態を示す図である（ただしＮ＞Ｍであり、Ｍ、Ｎは整数である。）。毎秒ｍ（ｍは２以上の整数）フレームで画像信号が読み出される場合、ｍフレームのうちｎ（ｎはｍよりも小さい１以上の整数）フレームは第１のモードで読み出され、ｍフレームのうちｍ−ｎフレームは第２のモードで読み出される。フレームＭ−３は、電子ズームに設定される以前の電子ズームＯＦＦの状態で、第１のモードにおいて駆動され読み出されたフレームである。フレームＭ−２以降は、電子ズームＯＮの状態に設定された状態を示し、第１のモード又は第２のモードで駆動され読み出されたフレームである。第１のモードでは、撮像部２００において、図９に示す有効画素領域９０１を垂直方向に例えば２ラインおきに読み出すードである。第２のモードでは、撮像部２００において、図９に示す領域９０２を読み出すモードである。有効画素領域９０１は、図３の第１の領域３０１に対応し、領域９０２は、図３の第２の領域３０２に対応する。領域９０２は、例えば、有効画素領域９０１の中心から対角方向に５割までの領域であり、有効画素領域９０１を読出す場合に比べて、４倍の電子ズームを行った状態となる。なお、撮像部２００を第１のモードで駆動させる場合のフレームレートと第２のモードで動作させる場合のフレームレートは、同じになるように設定することが好ましい。

フレームＭ−３以前では、撮像部２００は第１のモードで駆動され、フレームＭ−２以降は、撮像部２００は第１のモード又は第２のモードで駆動される。フレームＭやフレームＮに示すように、一定フレーム毎に１フレームの割合で撮像部２００を第１のモードで駆動させる。例えば、１０秒おきに１フレームとすると、フレームレートが３０フレーム／秒である場合には、３００フレーム毎に１フレームの割合で第１のモードとなる。）そして、第１のモードで駆動されたときに読み出されたフレームＭ、Ｎにおいて、それぞれＷＢ処理用の補正値を算出し、その補正値をそれぞれフレームＭ＋１、Ｎ＋１以降に反映させる。また、第１のモードで駆動され読み出されたフレームＭ、Ｎでは、読み出されたフレームの画角よりも小さい領域を切り出し、その切り出した画像をリサイズすることにより出力画像とする。好ましくは、撮像信号処理回路５０７において第２のモードで読み出されたフレームと同様の画角となる領域を切り出し、その画像をリサイズすることにより出力画像とする。このように、第１のモードで読み出された画像を出力画像として使用することにより、フレームレートを一定に保つことができる。この場合、第１のモードで読みだした画像のリサイズ画像は、第２のモードで読み出した画像に比べて解像度が落ちるため、補正部であるＡＰＣ回路６０４で、解像度の違いを抑制する補正を行うことが好ましい。具体的には、高周波輝度信号の増幅率を上げるようにＡＰＣ処理する。

上記の方法を用いることによって、電子ズームを使用して動画撮影を行うときなどのように、白の割合が減少する可能性の高い場合においても、適切なＷＢ処理を行うことが可能となる。また、異なる２つのモードのフレームレートは、同じになるように設定することによって、スムーズな動画を実現することができる。

上記の方法では、第１のモードで読み出されるフレームを出力画像としている。しかしながら、第１のモードで読み出されるフレームは、第２のモードで読み出される画像と同様の画角にリサイズすると、第２のモードで読み出される画像と比べて情報量が少なく解像度が落ち、画質が劣化する。

そこで、第２のモードで読み出されるフレームのみ一定のフレーム間隔で読み出し、ＷＢ処理を行う第１のモードで駆動し読み出されるフレームは第２のモードで駆動し読み出されるフレームの合間で読み出す。出力画像としては第２のモードで読み出されるフレームのみを用いてもよい。この場合、第１のモードで読み出されるフレームの画像データを用いないため、第１のモードで読み出されるフレームを出力画像として用いることによる画質の劣化が発生しない。また、第２のモードにより読み出されるフレームは、一定のフレーム間隔で読み出されるため、スムーズな動画を実現することができる。

図１０に本実施形態における他の動作の概念図を示す。本実施形態では４倍の電子ズームに設定した状態で静止画撮影する場合における撮像装置の動作例を示す。

図１０はＳＷ２直前の数フレームから静止画撮影されるまでに、撮像装置から読み出されるフレームを左から右にかけて時系列に並べた状態を示す図である。フレームＰ−３からフレームＰ−１までは第１のモードで駆動しており、ＳＷ２により第２のモードに切換りフレームＰが読み出される。このとき、第１のモードは撮像部２００において図９に示す有効画素領域９０１を垂直方向に２ラインおきに読み出すモードであり、第２のモードは撮像部２００において図９に示す領域９０２を読み出すモードである。領域９０２は有効画素領域９０１における中心から対角方向に５割までの領域であり、有効画素領域９０１を読出す場合に比べて４倍の電子ズームを行った状態となる。フレームＰ−３からフレームＰ−１までの画像データはそれぞれ撮像信号処理回路５０７においてフレームＰと同様の画角となるように所定の領域を切り出しリサイズされた画像となって、表示部５１２に表示される。また同時に、フレームＰ−１の画像データから撮像信号処理回路５０７でＷＢ処理を行い、この結果得られたＷＢ係数とフレームＰの画像データを元に静止画を作成する。このときフレームＰ−３からフレームＰ−１から得られる画像データはフレームＰ（ただし、Ｐは整数）から得られる画像データよりもＡＰＣ回路６０４での高周波輝度信号の増幅率を上げるようにＡＰＣ処理することが望ましい。

以上、上記の方法を用いることにより、電子ズームを使用して静止画撮影を行うときなどのように白の割合が減少する可能性の高い場合においても適切なＷＢ処理を行うことが可能となる。

なお、以上の実施形態についてはデジタルカメラを例に説明をしたが、本発明はデジタルカメラに限定されない。デジタルビデオカメラやデジタルカメラ付き携帯電話、スキャナ等も含まれる。また、カメラとＰＣを有線或いは無線で接続した状態でＰＣからレリーズ指示を出すようなリモート操作によって撮像を行うものも含まれる。各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上述の実施形態の機能を実現するためのソフトウェアのプログラムコードを供給したものも本発明の範疇に含まれる。加えそのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。

また、この場合、前記ソフトウェアのプログラムコード自体が前述した実施形態の機能を実現することになる。つまりそのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）も本発明の範疇に含まれる。あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。

さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵも含まれる。そしてそれらＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。

本発明の好適な実施の形態に係る撮像装置の動作の概念図である。本発明の好適な実施の形態に係る撮像装置の概略図である。本発明の好適な実施の形態に係る撮像装置の概略図である。本発明の好適な実施の形態に係る撮像装置に用いる色フィルタを示す図である。本発明の好適な実施の形態に係る撮像システムの概略図である。本発明の好適な実施の形態に係るホワイトバランス処理に関する部分の構成例を示すブロック図である。本発明の好適な実施の形態に係る色温度検出ブロックの例を示す図である。白検出範囲の例を示す図である。本発明の好適な実施の形態に係る撮像装置の有効画素領域の例を示す図である。本発明の好適な実施の形態に係る撮像装置の動作の概念図である。

符号の説明

２００撮像部
２０２光電変換素子
３０１第１の領域
３０２第２の領域

Claims

撮像面に複数の光電変換素子が配置され、前記撮像面の第１の領域内に配置された第１の光電変換素子群から画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域よりも小さく前記第１の領域に含まれる第２の領域内に配置された第２の光電変換素子群から画像信号を読み出す第２のモードで駆動可能な撮像部と、
前記撮像部を前記第１のモードで駆動することで得られる画像信号に基づいてホワイトバランス補正値を算出し、前記ホワイトバランス補正値を用いて、前記撮像部を前記第２のモードで駆動することで得られる画像信号のホワイトバランス処理を行うように制御する制御部とを備え、
前記制御部は、所定秒毎にｍ（ｍは２以上の整数）フレームの画像信号を読み出す場合に、前記ｍフレームのうちｎ（ｎはｍよりも小さい１以上の整数）フレームにおいて、前記第１のモードで前記撮像部を駆動して画像信号を読み出し、前記ｍフレームのうちｍ‐ｎフレームにおいて、前記第２のモードで前記撮像部を駆動して画像信号を読み出すように制御することを特徴とする撮像装置。
前記制御部は、所定フレーム毎に前記第１のモードで前記撮像部を駆動することを特徴とする請求項１に記載の撮像装置。
前記撮像部は、前記光電変換素子から読み出した画像信号を加算する加算部を備え、前記制御部は、前記第１のモードと前記第２のモードとでフレームレートが同じになるように、前記加算部で加算する前記画像信号の数を設定することを特徴とする請求項１または２に記載の撮像装置。
前記制御部は、前記第１のモードで前記撮像部を駆動する場合に、前記第１の光電変換素子群から画像信号の間引き読み出しを行うように制御することを特徴とする請求項１または２に記載の撮像装置。
前記制御部は、前記第１のモードと前記第２のモードとでフレームレートが同じになるように、前記間引き読み出しの間引き率を設定することを特徴とする請求項４に記載の撮像装置。
前記制御部は、前記第１のモードで前記撮像部を駆動して得られる画像から、前記第２のモードで得られる画像と同じ画角の画像を切り出し、切り出した画像をリサイズすることを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。
前記リサイズされた画像と、前記撮像部を前記第２のモードで駆動して得られる画像との解像度の違いを補正する補正部をさらに備えることを特徴とする請求項６に記載の撮像装置。
光学系と、請求項１乃至請求項７のいずれか１項に記載の撮像装置と、を備える撮像システム。
撮像面に複数の光電変換素子が配置され、前記撮像面の第１の領域に配置された第１の光電変換素子群から画像信号を読み出す第１のモードと、前記撮像面の前記第１の領域よりも小さく前記第１の領域に含まれる第２の領域に配置された第２の光電変換素子群から画像信号を読み出す第２のモードで駆動可能な撮像部を備えた撮像装置の制御方法であって、
前記撮像部を前記第１のモードで駆動することで得られる画像信号に基づいてホワイトバランス補正値を算出し、前記ホワイトバランス補正値を用いて、前記撮像部を前記第２のモードで駆動することで得られる画像信号のホワイトバランス処理を行うように制御するとともに、所定秒毎にｍ（ｍは２以上の整数）フレームの画像信号を読み出す場合に、前記ｍフレームのうちｎ（ｎはｍよりも小さい１以上の整数）フレームにおいて、前記第１のモードで前記撮像部を駆動して画像信号を読み出し、前記ｍフレームのうちｍ‐ｎフレームにおいて、前記第２のモードで前記撮像部を駆動して画像信号を読み出すように制御することを特徴とする撮像装置の制御方法。