JP4497955B2 - 撮像装置及びそのカラーバランス制御方法 - Google Patents

Description

本発明は撮像装置及びそのカラーバランス制御方法に関し、特に、撮影レンズで取り込まれた被写体の光学像を撮像素子で光電変換し、そのアナログ画像信号に画像処理を行ってデジタル画像データを生成するデジタルカメラなどの撮像装置であって、カラーバランス制御であるホワイトバランス演算を行う撮像装置そのカラーバランス制御方法に関するものである。

従来のデジタルカメラなどの撮像装置は、映像信号から被写体輝度を測光し自動露出制御（以下ＡＥ）によって適正露出を得たのち、次に自動焦点検出制御（以下ＡＦ）によって被写体にピントが合うようにフォーカス調整用レンズを駆動し、さらに次にカラーバランス制御として、映像信号から白と認識される画像データを所定のアルゴリズムにより抽出してホワイトバランス（以下、ＷＢと記す）係数を決定し、演算の結果得られるＷＢ係数を色信号に乗じることで白データの補正を行い、多くの場合、これらＡＥ、ＡＦ、ＷＢを繰り返し実行する方法が用いられている（例えば、特許文献１参照）。

又、動画像を記録する機能を備えたデジタルカメラなどの撮像装置においては、前記ＡＥ、ＡＦ、ＷＢの処理に加えて、撮像した動画像のストレージデバイスへの書き込み処理も必要であるため、多くの場合、ＡＥ、ＡＦ、ＷＢ、書き込みの処理を繰り返し実行する方法が用いられている。
特開平07-303206号

このような従来のデジタルカメラなどの撮像装置では、上記のように、状況変化への迅速で精細な追随が必要であるＡＥ及びＡＦと、迅速で精細な追随が返って画質を落とす可能性のあると共に積分処理や係数算出処理などの負荷が大きく処理速度を遅くする処理であるＷＢ（特に、動画の場合は顕著）とを、一連の制御としていたので、頻繁にこの制御を行うと制御部への負荷が過多となり消費電力の増大にもなっていた。一方、制御頻度を少なくすると、ＡＥ及びＡＦに影響が出たり、ＷＢの急激な変化が画質の劣化（特に、動画の場合のチラツキ）につながってしまう。

すなわち、カラーバランス制御であるホワイトバランス処理を行う際は、映像信号から白を認識するための演算処理と、演算処理の結果求められたＷＢ係数設定処理とを続けて実行するよう制御していたため、撮影準備動作時のＡＥ、ＡＦ、ＷＢ処理の繰り返しの際に、必ずＷＢ演算処理とＷＢ係数設定処理とが実行されるので、処理時間が比較的長いＷＢ演算処理により、ＡＥ、ＡＦ、ＷＢの制御周期が長くなってしまうという問題点と共に、ＷＢ演算処理を行う制御部への負荷が大きくなり消費電力が多くなるという問題点があった。

特に、動画像記録時においては、ＷＢ演算処理により撮像した動画像のストレージデバイスへの書き込み処理の周期が長くなると、書き込みデータ用バッファメモリが不足してしまう恐れがあるため、書き込みデータ用バッファメモリの容量を多く確保しなければならないという問題点もあった。

本発明は、上記従来技術の問題点に鑑み、装置の制御部の負荷の低減および消費電力の低減が可能な撮像装置及びそのカラーバランス制御方法を提供する。又、動画像記録においては、ストレージデバイスへの書き込み処理のパフォーマンスを向上することが可能な撮像装置及びそのカラーバランス制御方法を提供する。

上記課題を解決するために、本発明の撮像装置は、色温度の検出のための映像信号の積分処理と、該積分処理の結果検出された色温度から各色に対する目標カラーゲイン値を求めるカラーゲイン演算処理とを行い、前記目標カラーゲイン値に基づいてカラーバランス制御を行うカラーバランス制御手段を有する撮像装置であって、前記カラーバランス制御手段は、予め決定された色温度の検出周期に従い、前記検出周期の間の連続する複数回のカラーバランス制御で、前記色温度の検出のための積分処理と検出された色温度に基づくカラーゲイン演算処理をせずに同じ目標カラーゲイン値を使用することを特徴とする。

ここで、前記カラーバランス制御手段は、保存されている前回のカラーゲイン設定値と目標カラーゲイン値とに基づく補間により補間カラーゲイン設定値を求めるカラーゲイン補間演算手段を有し、前記積分処理とカラーゲイン演算処理をしない場合は、前記補間カラーゲイン設定値をカラーゲイン設定値として使用する。また、前記カラーゲイン補間演算手段は、保存されている前回のカラーゲイン設定値と目標カラーゲイン値とに基づく線形補間あるいは非線形補間により補間カラーゲイン設定値を求める。また、前記カラーバランス制御手段は、前記積分処理とカラーゲイン演算処理をしないカラーバランス制御の回数を撮影モードに対応して変更し、動画を撮像する撮影モードにおける回数が静止画を撮像する撮影モードにおける回数より多い。また、前記カラーバランス制御手段は、所定値以上の輝度変化があった場合には、前記積分処理とカラーゲイン演算処理を行う。また、前記カラーバランス制御手段によるカラーバランス制御は、自動露出制御及び／又は自動焦点検出制御に続いて実施される。

又、本発明のカラーバランス制御方法は、色温度の検出のための映像信号の積分処理と、該積分処理の結果検出された色温度から各色に対する目標カラーゲイン値を求めるカラーゲイン演算処理とを行い、前記目標カラーゲイン値に基づいてカラーバランス制御を行うカラーバランス制御方法であって、予め決定された色温度の検出周期に従い、前記検出周期の間の連続する複数回のカラーバランス制御で、前記色温度の検出のための積分処理と検出された色温度に基づくカラーゲイン演算処理をせずに同じ目標カラーゲイン値を使用し、保存されている前回のカラーゲイン設定値と前記同じ目標カラーゲイン値とに基づく補間により求めた補間カラーゲイン設定値を今回のカラーゲイン設定値として使用することを特徴とする。

更に、上記カラーバランス制御方法をコンピュータに実現させるためのコンピュータプログラム、及び該コンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体をも提供する。

本発明によれば、色温度の検出の回数を減らしながらも適正なカラーバランス制御を行うことができるので、撮像系の制御周期を低下させることなく装置の制御部の負荷の低減および消費電力の低減をすることが可能となる。又、動画像記録はストレージデバイスへの書き込み処理のパフォーマンスを向上することが可能となる。

以下、図面を参照して本発明の実施形態を詳細に説明する。

以下の本実施形態では、カラーバランス制御における映像信号の積分処理と、該積分処理の結果から各色に対する目標カラーゲイン値を求めるカラーゲイン演算処理とを所定回数禁止し、より望ましい形態として、その間は保存されているカラーゲイン値の補間値を使用するよう制御する例を示すが、カラーバランス制御自体を所定回数禁止するように制御してもよい。又、実施形態では、制御回数の分周によって周期を制御する方法を記載しているが、本発明は、ＷＢ制御が追いつかずに問題が発生する限度の時間間隔以内で、ＡＥ及びＡＦとは異なる時間周期でＷＢ処理あるいは積分と目標ゲイン値算出を行うことで、画質への影響が異なるＡＥ及びＡＦとＷＢとを別周期で、しかし同期させながら行う技術を開示するものであり、これらも本発明に含まれるものである。いずれの場合においても、人間の輝度変化に対する視覚感度よりも色変化に対する視覚感度の方が鈍いことを利用してＷＢ処理の制御周期をＡＥ・ＡＦとは異ならせることが出来るものである。

＜本実施形態の撮像装置の構成例＞
図１は、本実施形態の撮像装置の構成例を示す図である。

図１において、１００は撮像装置の本体である。

１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。１８は、撮像素子１４、 Ａ／Ｄ変換器１６、 Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。２０は画像処理回路であり、 Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。又、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。更に、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はTFT_LCD等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。又、画像表示部２８は、システム制御回路５０の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には撮像装置本体１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。又、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部、４６はバリアである保護機構１０２の動作を制御するバリア制御部である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。

５０は撮像装置本体１００の全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。９８はタイマーであり、時間を計測するために用いることが可能であって、指定の時間が経過した場合にシステム制御回路５０に通知する機能と、指定の時刻に到達した場合にシステム制御回路５０に通知を行う機能の双方の機能を備えている。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。又、表示部５４は、その一部の機能が光学ファインダー１０４内に設置されている。表示部５４の表示内容のうち、LCD等に表示するものとしては、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記憶媒体２００及び２１０の着脱状態表示、通信I/F動作表示、日付け・時刻表示、等がある。又、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。

６０、６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を以下に行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、マニュアル撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。６２はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中でONとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。６４はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了でONとなり、撮像素子１２から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記憶媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。６６は画像表示ＯＮ／ＯＦＦスイッチで、画像表示部２８のＯＮ／ＯＦＦを設定することが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＦ ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等がある。

８０は電源制御部で、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記憶媒体を含む各部へ供給する。８２及び８４は電線コネクタ、８６はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源である。

９０及び９４はメモリカードやハードディスク等の記憶媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記憶媒体と接続を行う媒体コネクタ、１０６は媒体ネクタ９２及び／又は９６に記憶媒体２００或いは２１０が装着されているか否かを検知する記憶媒体着脱検知部である。

尚、本実施形態では記憶媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記憶媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。又、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。インターフェース及びコネクタとしては、PCMCIAカードやCF（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。更に、インタフェース９０及び９４、そして媒体コネクタ９２及び９６をPCMCIAカードやCF（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、LANカードやモデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHS等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。

１０２は、撮像装置本体１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである保護手段である。１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。又、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。

１１０は通信手段で、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信、等の各種通信機能を有する。１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
２００はメモリカードやハードディスク等の記憶媒体である。記憶媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。２１０はメモリカードやハードディスク等の記憶媒体である。記憶媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備えている。

（本実施形態の撮像装置のメモリの記憶構成例）
図１１に、上記本実施形態の撮像装置におけるメモリの記憶構成例を示す。尚、図１１では、図１の不揮発性メモリ５６、メモリ５２、メモリ３０、画像表示メモリ２４をまとめて、システム制御部５０からアクセスする形式で図示したが、それぞれのメモリは独立であってもいずれかの複数が共通であってもよい。又、それぞれのデータは図１１とは違うメモリに記憶されてもよいが、そのデータの内容（例えば、不揮発である必要性や制御部の負荷など）に基づいて決められる。

不揮発性メモリ５６に記憶されるのは、例えば、固定プログラム領域５６−１には、本実施形態の図２乃至図６のプログラムが記憶される。固定パラメータ５６−２としては、本実施形態で各種演算やパラメータ設定に使用される、例えば、分周カウンタ設定テーブル５６−２ａ（図７参照）、カラーゲイン補間テーブル５６−２ｂ（図１０参照）、色マトリクス係数テーブル５６−２ｃ（図示なし）などがある。尚、図１１には本実施形態に直接関係のないテーブルやパラメータは示していない。

可変プログラム（ロード）領域５６−３は、例えば、記憶媒体からあるいは通信によってダウンロードされるプログラムが記憶される領域であり、本実施形態の撮像装置が図２乃至図６のプログラムで固定される装置であれば必要でない。可変パラメータ領域５６−４としては、例えば、設定モード５６−４ａ（電源ＯＦＦ／静止画撮像／動画撮像など）、電源状態情報５６−４ｂ、記憶媒体着脱情報５６−４ｃなどが記憶される。

メモリ５２に記憶されるのは、不揮発性の必要が無い一時記憶であって、特にシステム制御部５０が演算処理のため、あるいは他の構成要素の制御のため使用されるデータである。例えば、シャッタースイッチフラグ５２ａ（ＳＷ１／ＳＷ２）、ＡＥ処理に関連するシャッター速度５２ｂ、撮像出力ゲイン５２ｃ、ストロボ発光フラグ５２ｄ、ＡＦ制御に関連するＡＦ制御データ５２ｅ、ズーム制御データ５２ｆ、本実施形態のＷＢ処理に関連する輝度変化フラグ５２ｇ、映像信号積分値５２ｈ、目標カラーゲイン値５２ｉ、カラーゲイン設定値５２ｊ、分周カウンタ変数５２ｋなどが記憶される。

メモリ３０に記憶されるのは、不揮発性の必要が無い一時記憶であって、システム制御部５０やメモリ制御部２２、画像処理部２０などが共有するデータである。例えば、撮像素子で撮像したままの未処理画像データ領域３０ａ、信号処理や圧縮処理などをした処理後画像データ領域３０ｂ、画像処理部２０が行った測光演算結果３０ｃ、測距演算結果３０ｄなどが記憶される。

画像表示メモリ２４には、画像表示部２８に表示される画像データが記憶される。

尚、図１１には、特に本実施形態で使用されるデータが示されているが、撮像装置の全体の動作に必要なデータは他にもあり、図１１には示されていない。

又、本実施形態の図２乃至図６のプログラムは、不揮発性メモリ５６から読み出されて実行されてもよいし、高速のメモリ５２や３０に読み出されて実行される構成であってもよい。更に、記憶媒体からあるいは通信によって直接メモリ５２や３０にダウンロードされて実行されてもよい。

＜本実施形態の撮像装置の動作手順例＞
上記本実施形態の撮像装置の動作手順を以下に説明する。

図２乃至図６は、本実施形態における撮像装置本体１００の本発明に係る制御手順のフローチャートである。図２及び図４が主ルーチンを示し、図３、図５及び図６が主ルーチン中のＷＢ処理のサブルーチンを示す。

（起動時の主ルーチン例：図２）
図２において、電池交換等の電源投入により、システム制御回路５０は各メモリのフラグや制御変数等を初期化し（Ｓ２０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（Ｓ２０２）。

システム制御回路５０は、ステップＳ２０３でモードダイヤル６０の設定位置を判断し、モードダイヤル６０が電源ＯＦＦに設定されていたならば、各表示部の表示を終了状態に変更し、保護機構１０２のバリアを閉じて撮像部を保護し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記憶し、電源制御部８０により画像表示部２８を含む画像処理装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（Ｓ２０５）、ステップＳ２０３に戻る。

ステップＳ２０３で、モードダイヤル６０が撮影モード（静止画モード及び動画記録モードを含む）に設定されていたならば）、ステップＳ２０６に進む。ステップＳ２０３で、モードダイヤル６０がその他のモードに設定されていたならば、システム制御回路５０は選択されたモードに応じた処理を実行し（Ｓ２０４）、処理を終えたならばステップＳ２０３に戻る。

ステップＳ２０６では、システム制御回路５０は、電源制御手段８０により電池等により構成される電源８６の残容量や動作情況が画像処理装置１００の動作に問題があるか否かを判断し、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ２０８）、ステップＳ２０３に戻る。ステップＳ２０６で電源８６に問題が無いならば、ステップＳ２０７で、システム制御回路５０は記憶媒体２００或いは２１０の動作状態が撮像装置本体１００の動作、特に記憶媒体に対する画像データの記録再生動作に問題があるか否かを判断し、問題があるならば、表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ２０８）、ステップＳ２０３に戻る。ステップＳ２０７で記憶媒体２００或いは２１０の動作状態に問題が無いならば）、ステップＳ２０９に進む。ステップＳ２０９では、スルー画像（静止画を撮影する前後にファインダー機能として表示させるための撮像素子１４によって撮像された動画像）を、画像表示部２８に表示するための撮影準備の初期化を行う。

（起動時のＡＥ、ＡＦ、ＷＢ処理例）
撮像素子１４の準備が整い映像信号の取得ができるようになったならば、ステップＳ２１０で、画像処理回路２０が撮像素子１４から得られた映像信号に対して所定の測光演算を行い、その演算結果をメモリ３０に格納する。システム制御回路５０はこの演算結果を基に光制御部４０を用いてスルー画像に対するＡＥ処理を行う。

ＡＥ処理が完了したら、ステップＳ２１１で、画像処理回路２０が撮像素子１４から得られた信号に対して所定の測距演算を行い、その演算結果をメモリ３０に格納する。システム制御回路５０はこの演算結果を基に測距制御部４４を用いてＡＦ処理を行う。

ＡＥ処理Ｓ２１０とＡＦ処理Ｓ２１１が完了したら、ＷＢ処理を行う（Ｓ２１２）。この起動時のＷＢ処理の詳細は、図３を用いて後述する。

撮像素子１４の準備が完了し、露出と焦点距離とカラーバランスが被写体に対し適切な状態に設定されたのち、画像表示部２８へのスルー画像の表示を開始する（Ｓ２１３）。スルー表示状態に於いては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示することにより、電子ファインダー機能を実現している。

（起動時のＷＢ処理例：図３）
次に、図２のステップ２１２における起動時のＷＢ処理動作について、図３のサブルーチンのフローチャートを参照しながら説明する。

ステップＳ３０１では、画像処理回路２０が撮像素子１４から得られた信号に対して積分処理を行う。

続いてステップＳ３０２では、ステップＳ３０１で得られた積分結果を基にカラーバランスを整えるため、ベイヤー配列で言えば、Ｒ、Ｇ１、Ｇ２、Ｂの各画素に対応するカラーゲインの演算を行い、これを目標カラーゲイン値としてメモリ５２に記憶する。ステップＳ３０３では、ステップＳ３０２で求めたカラーゲインを画像処理回路２０に設定し、ここで設定したカラーゲインを起動時のカラーゲイン設定値としてメモリ５２に保存する。

ステップＳ３０４では、積分処理の周期を分周するために用いる分周カウンタ変数をゼロに初期化した状態でメモリ５２に記憶して分周カウンタの初期化を行い、起動時のＷＢ処理を完了する。

（定常状態の主ルーチン例：図４）
次に、スルー画像表示後の定常状態における本実施形態の撮像装置の動作について、図４を参照しながら説明する。

ステップＳ４０１でモードダイヤル６０の変更を判断し、変更されていたら、ステップＳ２０３に戻りダイアル状態をチェックする。変更されていなければ、ステップＳ４０２に進む。ステップＳ４０２ではシャッタースイッチＳＷ１が押されているかを判断し、押されていないならば、スルー画表示を継続して行うための処理を行うため、ステップＳ４０３に進む。

（定常状態でのＡＥ、ＡＦ、ＷＢ処理例）
ステップＳ４０３では、画像処理回路２０が撮像素子１４から得られた信号に対して所定の測光演算を行い、その演算結果をメモリ３０に格納する。システム制御回路５０はこの演算結果を元に露光制御手段４０を用いてスルー画像に対するＡＥ処理を行う。尚、このとき測光演算の結果、被写体輝度に一定以上の変化が検出された際には輝度変化フラグをＴＲＵＥとしてメモリ５２に保存し、輝度変化が検出されなかった場合は輝度変化フラグをＦＡＬＳＥとしてメモリ５２に保存する。

次に、ステップＳ４０４で、画像処理回路２０が撮像素子１４から得られた信号に対して所定の測距演算を行いその演算結果をメモリ３０に格納し、システム制御回路５０はこの演算結果を元に測距制御手段４４を用いてＡＦ処理を行う。

ＡＥ処理Ｓ４０３とＡＦ処理Ｓ４０４が完了したら、ＷＢ処理を行う（Ｓ４０５）。この定常時のＷＢ処理の詳細は図５を用いて後述する。

このように、本実施形態ではＡＥ処理、ＡＦ処理、ＡＷＢ処理を行う流れを、例えば１制御周期（Ｔ）と考える。この１制御周期（Ｔ）において、ＡＷＢ処理のほかに、さらにオプティカルブラック処理や偽色除去処理等を行っても良い。

ステップＳ４０３〜Ｓ４０５によるＡＥ、ＡＦ、ＷＢ処理が完了後、Ｓ４０６に進みスルー画の表示を継続する。

ステップＳ４０２においてシャッタースイッチＳＷ１が押されたかを判断し、押されたならば、ステップＳ４０７に進む。ステップＳ４０７とステップＳ４０８は撮影準備動作であり、ステップＳ４０７では、画像処理回路２０が撮像素子１４から得られた信号に対して所定の測光演算を行いその演算結果をメモリ３０に格納する。システム制御回路５０はこの演算結果を元に露光制御手段４０を用いてスルー画像に対するＡＥ処理を行う。次に、ステップＳ４０８では、画像処理回路２０が撮像素子１４から得られた信号に対して所定の測距演算を行いその演算結果をメモリ３０に格納する。システム制御回路５０はこの演算結果を基に測距制御手段４４を用いてＡＦ処理を行い、撮影レンズ１０の焦点を被写体に合わせる。

尚、ステップＳ４０７、Ｓ４０８の後にＷＢ処理を行わないのは、ＷＢ処理の影響が少なくその負荷や遅延を無くすためであり、ＷＢ処理を行うようにしても構わない。

ステップＳ４０９において、シャッタースイッチＳＷ２が押された場合は、現状の測光結果及び撮影モード毎のプログラム線図を参照して、撮影時のシャッター速度、撮像出力ゲイン、ストロボ発光等の設定を最終的に決定する（Ｓ４１１）。更に、画像表示部２８に表示していたスルー画像表示を停止し、撮影シーケンスに移行する（Ｓ４１２）。

まず、一連の撮影動作を行う撮影処理を実行する（Ｓ４１３）。撮影処理後メモリ３０には、撮像素子１４からＡ／Ｄ変換機１６を通して読み出された信号処理前の未処理画像データが保存されている。画像処理回路２０はシステム制御回路５０からの指示に従い、未処理画像データをメモリ３０から読み出し、撮影処理で得られたＷＢ処理結果に基づいて色補正（例えば、色マトリクス処理）を行う（Ｓ４１４）。そして、ＪＰＥＧなどの所定の現像及び圧縮処理を行い、処理後の画像データをメモリ３０内に保存する（Ｓ４１５）。ステップＳ４１５でメモリ３０に保存された圧縮画像データを記憶媒体２００へ書き込み（Ｓ４１６）、ステップＳ４０３へ戻る。

（定常状態でのＷＢ処理の第１例）
次に、図４のステップ４０５における定常時のＷＢ処理の動作の第１例について、図５のサブルーチンのフローチャートを参照しながら説明する。

ステップＳ５０１では、ステップＳ３０４で初期化してメモリ５２へ保存した分周カウンタを参照し、分周カウンタ値が１以下である場合にはステップＳ５０３へ進む。分周カウンタはステップＳ３０４においてゼロで初期化されるため、撮像装置本体１００が起動した直後は必ずステップＳ５０３へと進む。

ステップＳ５０３では、メモリ５２に保存される分周カウンタを、撮影モード（撮影状態）に対応して図７に示す所定の値に設定する。図７に、撮影モードに応じてＳ５０３で設定する分周比を示す。図７のテーブルによる分周の設定によると、図４のステップＳ４０５では撮影準備状態に該当するため、ステップＳ５０３ではメモリ５２に格納する分周カウンタには"３"が設定される。すなわち、分周カウンタの設定値によってＷＢ処理として撮像画像に反映させる色温度を検出するための積分処理を行う周期となる、色温度検出周期が決定される。

ここで、図７より、静止画記録時の電子ビューファインダ（ライブビュー）画像の場合は、この色温度検出周期は３Ｔであるが、動画記録中は４Ｔと周期が静止画記録時の電子ビューファインダ画像の時よりも長くなっている。これは、動画記録時は、色温度を撮像画像に反映させる周期を短くすると色温度の変化による色味の急激な変化が目立つため、周期を長く取ってちらつきを軽減するものである。

尚、図７の分周比は、本実施形態の撮像装置における例に過ぎず、その制御部の能力や制御手順が変われば、それに応じて変化するのは当然である。

ステップＳ５０４では、画像処理回路２０が撮像素子１４から得られた信号に対して積分処理を行う。続いてステップＳ５０５では、ステップＳ５０４で得られたＷＢ積分結果を基にカラーバランスを整えるためのカラーゲインの演算を行い、これを目標カラーゲイン値としてメモリ５２に記憶する。

ステップＳ５０６では、図１０に示すように、起動後は図３のステップＳ３０３で保存したカラーゲイン設定値を、起動時の後は後述するステップＳ５０７でメモリ５２に格納されるカラーゲイン設定値を読み出して、ステップＳ５０５で求めた目標カラーゲイン値との２つの値から、２つのカラーゲイン値の中点をとるように補間演算を行い、補間カラーゲイン値を求める。補間演算は、１次の線形補間でも２次以上の非線形補間でも良い。

尚、補間カラーゲイン値の求め方はこれに限らず、カラーゲイン設定値と目標カラーゲイン値とを比較し、その差分を基に補間する方法等の他の方法であってもよい。又、補間演算をすることなく目標カラーゲイン値をそのまま用いるようにしても良いが、記憶されているカラーゲイン設定値と現在の目標カラーゲイン値とに基づいた補間演算によって求める場合の方が、誤補正の可能性が少なくなる。

ステップＳ５０７では、ステップＳ５０６で求めた補間カラーゲイン値を現在のカラーゲイン設定値としてメモリ５２に保存するとともに、画像処理回路２０に設定されて、補間カラーゲイン値に基づいて、例えば、不図示のマトリクス回路で行なわれる色マトリクス係数等の選択が行われる。

ステップＳ５０１において、メモリ５２に保存されている分周カウンタが２以上である場合にはステップＳ５０２に進む。ステップＳ５０２では、メモリ５２に保存されている分周カウンタを１減算し、ステップＳ５０６へ進む。

以上のようにして、分周カウンタの値を減算し、ステップＳ５０１による判断分岐によって分周カウンタ値が１以下になった場合にのみステップＳ５０３〜Ｓ５０５による分周カウンタ値の再設定と、積分処理及び積分値に基づく目標カラーゲイン値を演算し、目標カラーゲインを更新する処理を行うようにすることで、ステップＳ５０６〜Ｓ５０７によるカラーゲインの補間演算と設定とによるＷＢ処理の周期に対し、所定の値で分周されたタイミングで制御部に負荷がかかり処理速度を遅くするＷＢ積分及び目標カラーゲイン値演算（特にＷＢ積分）を行うように制御することが可能となる。

尚、本実施形態では、分周カウンタが２以上の時には、現在のカラーゲイン設定値と目標カラーゲイン値とから補間カラーゲイン値を求める補間演算Ｓ５０６と、求めた補間カラーゲイン値を画像処理回路に設定してメモリに保存するカラーゲイン値設定Ｓ５０７を行うようにしているので、補間カラーゲイン値が反映される撮影画像の色味の変化が急激でなく、なめらかな変化をすることが可能となる。例えば、分周カウンタが４の場合には、１回目はカラーゲイン設定値と目標カラーゲイン値との中間、２回目は目標カラーゲイン値側へ３／４の値、３回目は目標カラーゲイン値側へ７／８の値へと徐々に移動するように変化する。

又、分周カウンタが２以上の時は何も行わず、１以下になったら積分処理Ｓ５０４からカラーゲイン値設定Ｓ５０７を行う、すなわちＡＥとＡＦの制御周期とは異なる周期でＷＢ処理を行うようにすることによって、撮影画像の色味が演算時には従来よりも急激に変化する可能性があるが、分周率の設定値の選択でその影響を抑え、カラーゲイン補間演算Ｓ５０６とカラーゲイン値設定Ｓ５０７の処理の分だけさらにシステム負荷と消費電力の低減が実現される。

（本ＷＢ処理によるタイミング例）
更に、図５の説明によるＷＢ処理が分周される際の時間的側面について、図８のタイミングチャートを用いて説明する。尚、図８では、ＡＥ、ＡＦ、ＷＢ処理以外の処理時間は、時間的には無視できる程短いので省いてある。

図８は、図７に示したテーブルの撮影準備中に従って１／３分周されている場合のタイミングチャートである。図８を用いて図５の説明を補足する。

図８のＴ０からＴ１は分周カウンタ値が１以下であり、ＷＢ積分が実行された際の処理期間Ｔａであり、図５のステップＳ５０３〜Ｓ５０５の処理を実行し、続いてステップＳ５０６〜５０７が実行されている場合を示す。処理期間Ｔａでは、撮影モードの変化が無ければ分周カウンタが図７に従って３に再設定される。

次にＴ２からＴ３は、処理期間Ｔａで分周カウンタが３に設定されたため、図５のステップＳ５０２の分岐によってステップＳ５０２に進んだ場合の処理期間Ｔｂである。処理期間Ｔｂでは分周カウンタが１減算された上で、図５のステップＳ５０３〜５０５のカラーゲイン補間演算と設定のみが実行される。処理期間Ｔｂが完了したＴ３の時点では分周カウンタは２になっている。同様に、処理期間Ｔｃにおいても、分周カウンタの減算とカラーゲイン補間演算と設定のみが行われる。処理期間Ｔｃが完了したＴ５の時点では分周カウンタは１になっている。

更に、処理期間Ｔｄにおいては分周カウンタが１であるため、処理期間Ｔａと同様に図５のステップＳ５０３〜Ｓ５０５の処理を実行し、続いてステップＳ５０６〜５０７が実行されることとなる。

尚、図５のステップＳ５０３の分周カウンタ設定では図７のテーブルに従った分周カウンタの設定を行うが、システム制御回路５０によって制御される撮像装置本体１００の状態によって、分周カウンタを再設定する値は変化する。例えば図１のモードダイヤル６０が動画撮影モードに設定されている時は、図５のステップＳ５０３ではメモリ５２に保存されている分周カウンタには４が設定される。

（ＷＢ処理の第１例の効果）
以上のようにして、図５で示した制御フローに従うことで分周カウンタを用いてＷＢ積分と目標カラーゲイン演算との処理を分周することが可能である。尚、図８で示したタイミングチャートによる処理時間は、常にＴａ＞Ｔｂである。

このように、本例によれば、メモリ５２に保存された分周カウンタを用いることで、ＷＢのカラーゲイン補間演算と設定処理の周期に対して、所定の値で分周された周期に従ってＷＢ積分と目標カラーゲインの更新を行うことが可能であり、このように制御することでカラーゲインの更新は短い周期で行いつつも、ＷＢ積分及び目標カラーゲイン演算の時間を要する処理はより遅い周期で実行することが実現できるため、システム負荷の低減とそれに付随した消費電力の低減が出来る。

（定常状態でのＷＢ処理の第２例）
上記定常状態でのＷＢ処理の第１例では、予め設定された分周周期に応じて周期的な積分処理を行なうことについて説明した。第２例では、ＡＥによる輝度信号の変化の検出に応じた積分処理を付加して行う。

図６は、図４のステップ４０５における定常時のＷＢ処理の動作の第２例サブルーチンのフローチャートである。

ステップＳ６０１では、図４のステップＳ４０３による測光処理の結果メモリ５２に保存されている輝度変化フラグを参照し、この輝度変化フラグがＴＲＵＥである（輝度変化が大きく、所定値以上）場合には、ステップＳ６０４に進む。一方、輝度変化フラグがＦＡＬＳＥである（輝度変化が少なく、所定値以下）場合には、ステップＳ６０２に進む。尚、ステップＳ６０２〜Ｓ６０８の処理は第１例のステップＳ５０１〜Ｓ５０７と同様であるため、説明は省略する。

（本ＷＢ処理によるタイミング例）
図６の、ステップＳ６０１による輝度変化が発生した場合の処理について、図９のタイミングチャートを用いて説明する。

Ｔ０からＴ１は、図６のステップＳ６０４〜６０８の処理を行う処理期間Ｔａである。従って、図６のステップＳ６０４における分周カウンタの再設定処理によって、メモリ５２に保存されている分周カウンタは図７に従って撮影準備中の場合は３あるいは動画撮影中の場合は４といった値が設定される。

Ｔ２は図４のステップＳ４０３の処理によって輝度変化が検出されたことを示しており、輝度変化フラグがＴＲＵＥとしてメモリ５２に保存される。

更に、Ｔ３の時刻にて図６で示したシーケンスが開始され、処理期間Ｔａによって分周カウンタが２以上の値に設定されているが、図６のステップＳ６０１の判断分岐によってメモリ５２に保存された輝度変化フラグを参照し、これがＴＲＵＥである場合には、分周カウンタの設定に関わらずステップＳ６０４へ進むよう制御され、続くステップＳ６０４〜Ｓ６０８の処理が実行される期間が処理期間Ｔｂである。

（ＷＢ処理の第２例の効果）
このように輝度変化が発生していない期間は、積分処理と目標カラーゲイン演算とは実行せずに、カラーゲイン補間演算とカラーゲイン設定のみを周期的に実行し、輝度変化があったときは、積分処理と目標カラーゲイン値の演算を実行する。このように、分周カウンタを用いることで、図８で示した制御によればＷＢのカラーゲイン補間演算と設定処理の周期に対して、所定の値で分周された周期に従ってＷＢ積分と目標カラーゲイン値との更新を行う制御を行っているときに、測光手段によって被写体の輝度変化が検出された際にトリガとして用いることで、速やかにＷＢ積分と目標カラーゲイン値との更新を行うことが可能である。 又、システム負荷と消費電力の低減し、更に、ホワイトバランスの応答性等、被写体の追従性を向上することも可能となる。

又、分周によるカラーゲイン補間演算とカラーゲイン設定もせずに、輝度変化の発生のみをトリガとして、積分処理と目標カラーゲイン値の算出、カラーゲイン補間演算とカラーゲイン設定を行うようにしても、ホワイトバランスの応答性は犠牲にしてもＣＰＵのシステム負荷と消費電力の低減を図ることができる。また、輝度変化ではなく、色温度変化をトリガとしても同様の効果が得られる。

＜他の実施形態＞
尚、最初にも記載したが、本実施形態では、制御回数の分周によって周期を制御する方法を記載しているが、本発明は、ＷＢ制御が追いつかずに問題が発生する限度の時間間隔以内で、ＡＥ及びＡＦとは異なる時間周期でＷＢ処理あるいは積分と目標ゲイン値算出を行うことで、画質への影響が異なるＡＥ及びＡＦとＷＢとを別周期で、しかし同期させながら行う技術を開示するものであり、これを実現する種々の構成も本発明に含まれるものである。

例えば、ＡＥ及びＡＦの後にタイマを参照してＷＢあるいは積分と目標ゲイン値算出を行うか否かを決める手順で達成できる。

この場合には、制御回数の分周によって周期を制御するのではなく、その周期により直接制御することになる。その場合のＡＥ及びＡＦ、あるいはＷＢの周期の目安を以下に示す。この値を考慮して、タイマの設定あるいは本実施形態での制御回数の設定が実現可能である。

以下に、好適なＷＢの制御周期例を示す。

静止画記録時のＷＢ制御周期例： 約１秒
この場合には、補間値の設定周期を約５００ミリ秒で行うのが好ましい。上記実施形態の分周による制御方法では、１／２の分周となる。

動画記録時のＷＢ制御周期例 ：約１０秒
このこの場合には、補間値の設定周期を約２５０ミリ秒で行うのが好ましい。上記実施形態の分周による制御方法では、１／４０の分周となる。

尚、上記例は一例であるが、上述した如くＷＢ制御周期は人間の色変化に対する視覚感度などが関連した値であり、装置の性能などによらず普遍的に使用可能なものである。一方、補間値の設定周期はＷＢ制御周期間の変化を滑らかに行うものであり、適宜設定ができる。いずれにしても、動画の場合の方が静止画の場合よりも周期を長く制御することになる。

＜他の実施形態の効果＞
本実施形態によれば、分周という装置の性能や制御手順に依存する技術思想でなく、装置の性能や制御手順とは独立したＷＢ制御の技術思想が提供できる。

本実施形態の撮像装置のブロック図である。 本実施形態の撮像装置の主ルーチンにおける起動時の動作手順例を示すフローチャートである。 本実施形態の撮像装置の起動時のＷＢルーチンの動作手順例を示すフローチャートである。 本実施形態の撮像装置の主ルーチンにおける定常時の動作手順例を示すフローチャートである。 本実施形態の撮像装置の定常時のＷＢルーチンの第１例の動作手順例を示すフローチャート。 本実施形態の撮像装置の定常時のＷＢルーチンの第２例の動作手順例を示すフローチャート。 ＷＢの処理を分周比率の切り替えの一例を示す図である。 定常時のＷＢルーチンにおける１／３分周する際のタイミングチャートである。 定常時のＷＢルーチンの第２例における輝度変化検出の際のタイミングチャートである。 カラーゲイン値の補間演算の例を示す図である。 本実施形態の撮像装置のメモリ構成例を示す図である。

符号の説明

１０ 撮影レンズ
１２ シャッター
８２ 電源コネクタ
８４ 電源コネクタ
９２ 媒体コネクタ
９６ 媒体コネクタ
１０２ 保護機構
２０６ 媒体コネクタ
２１６ 媒体コネクタ

Claims (9)

1. 色温度の検出のための映像信号の積分処理と、該積分処理の結果検出された色温度から各色に対する目標カラーゲイン値を求めるカラーゲイン演算処理とを行い、前記目標カラーゲイン値に基づいてカラーバランス制御を行うカラーバランス制御手段を有する撮像装置であって、
   前記カラーバランス制御手段は、予め決定された色温度の検出周期に従い、前記検出周期の間の連続する複数回のカラーバランス制御で、前記色温度の検出のための積分処理と検出された色温度に基づくカラーゲイン演算処理をせずに同じ目標カラーゲイン値を使用することを特徴とする撮像装置。
2. 前記カラーバランス制御手段は、保持されている前回のカラーゲイン設定値と目標カラーゲイン値とに基づく補間により補間カラーゲイン設定値を求めるカラーゲイン補間演算手段を有し、前記積分処理とカラーゲイン演算処理をしない場合は、前記補間カラーゲイン設定値をカラーゲイン設定値として使用することを特徴とする請求項１記載の撮像装置。
3. 前記カラーゲイン補間演算手段は、保存されている前回のカラーゲイン設定値と目標カラーゲイン値とに基づく線形あるいは非線形補間により補間カラーゲイン設定値を求めることを特徴とする請求項２記載の撮像装置。
4. 前記カラーバランス制御手段は、前記積分処理とカラーゲイン演算処理をしないカラーバランス制御の回数を撮影モードに対応して変更し、動画を撮像する撮影モードにおける回数が静止画を撮像する撮影モードにおける回数より多いことを特徴とする請求項１記載の撮像装置。
5. 前記カラーバランス制御手段は、所定値以上の輝度変化があった場合には、前記積分処理とカラーゲイン演算処理を行うことを特徴とする請求項１記載の撮像装置。
6. 前記カラーバランス制御手段によるカラーバランス制御は、自動露出制御及び／又は自動焦点検出制御に続いて実施されることを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
7. 色温度の検出のための映像信号の積分処理と、該積分処理の結果検出された色温度から各色に対する目標カラーゲイン値を求めるカラーゲイン演算処理とを行い、前記目標カラーゲイン値に基づいてカラーバランス制御を行うカラーバランス制御方法であって、
   予め決定された色温度の検出周期に従い、前記検出周期の間の連続する複数回のカラーバランス制御で、前記色温度の検出のための積分処理と検出された色温度に基づくカラーゲイン演算処理をせずに同じ目標カラーゲイン値を使用し、
   保存されている前回のカラーゲイン設定値と前記同じ目標カラーゲイン値とに基づく補間により求めた補間カラーゲイン設定値を今回のカラーゲイン設定値として使用することを特徴とするカラーバランス制御方法。
8. 請求項７に記載のカラーバランス制御方法をコンピュータに実現させるためのコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images