JP4897593B2 - 複眼撮影装置及びその調節方法 - Google Patents

Description

本発明は、輝度レベル及びホワイトバランスの調節機能を備えた複眼撮影装置及びその調節方法に関するものである。

ＣＣＤ等のイメージセンサを用いた撮影装置では、被写体の明るさに応じて輝度レベルを調節する機能や、光源の種類や色温度に応じて色合いが適切となるようにする、いわゆるホワイトバランスの調節機能等を有している。

また、２組の撮影装置を所定の間隔で並べて配置し、視差のある２つの画像をイメージセンサ等で撮影する複眼撮影装置が知られている。このような複眼撮影装置を用いて、立体画像として観察できる視差のある画像を撮影することができる。また、三角測距の原理により被写体の各部分の距離情報を取得して凹凸等を考慮した精度の高い画像認識等にも利用することができる。

上記のような複数の撮影装置からなる複眼撮影装置では、各撮影装置で撮影される画像の輝度レベルが可能な限り合致していることが好ましい。そこで、特許文献１では、メインカメラとサブカメラで撮影される各画像の輝度レベルの差が最小となるようにしている。具体的には、メインカメラで撮影された基準画像中の評価ウインドウと、サブカメラで撮影される比較画像中の評価ウインドウとを各画像の重なり合う部分に設定し、これら各評価ウインドウの平均輝度の差の正負に応じてサブカメラから出力される画像信号を増幅するゲインを増減するようにしている。

また、特許文献２では、特許文献１と同様に設定された各評価ウインドウの全体的な輝度を１組とする一対のサンプル対を複数求め、これらサンプル対を構成する各評価値の差が最小となるように、画像信号を増幅するゲインと黒レベルの値を調節することにより各撮影装置の相互の輝度レベルを合致させている。
特許第３５８７５０６号公報 特許第３８３３９３０号公報

ところで、複眼撮影装置で撮影する場合でも、輝度レベル等を一般的な撮影装置と同様に光源や被写体の変化に高速に追従させる必要があった。しかし、上記の特許文献１に記載されるような手法では、各評価ウインドウの平均輝度が等しくなるまで１ステップずつゲインを変化させていくため、メインカメラが光源や被写体の変化に高速に応答して輝度レベルを調節しても、サブカメラの輝度レベルがそれに追従したレベルとなるにはかなりの遅延が生じてしまう。また、それまでに撮影された複数の画像の輝度から算出した平均輝度を評価に使用しているため、急激な被写体輝度の変化に対してゆっくりと輝度レベルが調節されることになるため、輝度レベルが合致していない状態が長く続くという問題があった。他方、特許文献２では、輝度レベル，黒レベルを調節するために複数組のサンプル対が必要であり、やはり高速な追従性を期待できない。さらには、輝度レベル以外にもホワイトバランスを合致させておく必要がある。

本発明は上記課題に鑑みてなされたもので、各撮影装置相互の輝度レベル及びホワイトバランスの調節を好ましく行うことができる複眼撮影装置及びその調節方法を提供することを目的とする。

上記目的を達成するために、本発明の複眼撮影装置では、予め測定された前記複数の色のうちの１色についての各撮影装置の感度の相対値及び各撮影装置における前記１色に対する他の色の感度の相対値の比を記憶した記憶手段と、主撮影装置で撮影されたカラー画像に基づいて輝度レベル及びホワイトバランスを適正とするための前記複数の色のゲインを決定し、決定した各色のゲインを主撮影装置の調節手段に設定する主撮影装置用ゲイン設定手段と、主撮影装置用ゲイン設定手段で決定された各色のゲインと記憶手段に記憶されている前記相対値及び前記相対値の比とに基づいて、主撮影装置の輝度レベル及びホワイトバランスの調節と等価となる副撮影装置の前記複数の色のゲインを算出し、算出した各色のゲインを副撮影装置の調節手段に設定する副撮影装置用ゲイン設定手段とを備えたものである。

主撮影装置用ゲイン設定手段による各色のゲインの設定に同期して、副撮影装置用ゲイン設定手段による各色のゲインの設定を行うのがよい。

また、前記相対値及び前記相対値の比は、同一の照明の下で同一の被写体を、各撮影装置を同じ位置に設定して撮影することにより測定された値から算出するのがよい。

本発明の複眼撮影装置の調節方法では、主撮影装置で撮影されたカラー画像に基づいて、主撮影装置の輝度レベル及びホワイトバランスを適正とするために前記複数の色のゲインを決定して設定する第１のゲイン設定ステップと、主撮影装置に設定される各色のゲインと、予め測定された前記複数の色のうちの１色についての各撮影装置の感度の相対値及び各撮影装置における前記１色に対する他の色の感度の相対値の比とに基づいて、主撮影装置の輝度レベル及びホワイトバランスの調節と等価となるように副撮影装置の前記複数の色のゲインを算出して設定する第２のゲイン設定ステップとを有することを特徴とする複眼撮影装置の調節方法。

前記主撮影装置への各色のゲインの設定に同期して、副撮影装置の各色のゲインの設定を行うのがよい。

また、前記相対値及び前記相対値の比は、同一の照明の下で同一の被写体を、各撮影装置を同じ位置に設定して撮影することにより測定された値から算出するのがよい。

本発明によれば、主撮影装置と副撮影装置の輝度レベル及びホワイトバランスとが等価となるように、主撮影装置で撮影されたカラー画像に基づいて主撮影装置の輝度レベル及びホワイトバランスを適正とするために分解された各色のゲインを決定して設定し、その設定される各色のゲインと各撮影装置の分解される各色の感度の相対値とに基づいて副撮影装置の各色のゲインを算出して設定するようにしたから、撮影シーンの変化に高速に追従させて主撮影装置と副撮影装置の輝度レベル及びホワイトバランスを調節することができる。

本発明を実施した複眼撮影装置としてのステレオカメラの構成を図１に示す。このステレオカメラ２は、主撮影装置としてのマスターカメラ３と、副撮影装置としてのスレーブカメラ４とからなり、視差のある動画を撮影する。各カメラ３，４は、互いにその撮影光軸を平行としてあり、撮影範囲が重なるようにしてある。

マスターカメラ３は、撮影レンズ５によって被写体像をイメージセンサ６に結像する。撮影レンズ５としては、単焦点タイプやズームタイプのものを用いることができる。また、撮影レンズ５は、ピント位置が固定されているもの、ピント位置を調節できるもの、あるいは自動的にピント位置を被写体に合致させるいわゆるオートフォーカスタイプのもの等を採用することができる。

イメージセンサ６は、その受光面に多数の受光素子を設けてあり、各受光素子には所定の分光特性を持つカラーフィルタ、この例ではＲ（赤），Ｇ（緑），Ｂ（青）の原色カラーフィルタを配してあり、この１枚のイメージセンサ６でカラー画像を複数の色に分解して撮影する。イメージセンサ６としては、ＣＣＤタイプのものを用いているが、ＭＯＳタイプ等であってもよい。また、カラー画像を分解する色は、Ｃ（シアン），Ｍ（マゼンタ），Ｙ（イエロー）の補色カラーフィルタを用いてもよく、各色のそれぞれについてイメージセンサを設けた構成であってもよい。

イメージセンサ６は、ドライバ７によって駆動され、撮影レンズ５によって結像された被写体像を光電変換してアナログ画像信号を出力する。このイメージセンサ６は、電荷蓄積時間を調節するいわゆる電子シャッタ機能を有しており、この電子シャッタ機能を用いて露光時間すなわち電子シャッタ速度を調節する。電子シャッタ速度の調節は、ドライバ７に対してパラメータを設定することにより行う。

イメージセンサ６からのアナログ画像信号は、アナログフロントエンド回路（ＡＦＥ）８に入力される。このＡＦＥ８は、相関二重サンプリング回路（ＣＤＳ）１１，オートゲインコントロール回路（ＡＧＣ）１２，Ａ／Ｄ変換器（Ａ／Ｄ）１３から構成してある。ＣＤＳ１１は、アナログ画像信号に対して相関二重サンプリングを行うことにより、電荷をアナログ画像信号に変換する際に生じるリセットノイズ成分の除去を行なう。

ＡＧＣ１２は、アナログ画像信号を増幅するアンプとなっている。このＡＧＣ１２には、後述するようにアナログゲインＡｍが設定される。このＡＧＣ１２に設定するアナログゲインＡｍによってアナログ画像信号に対する輝度レベルの調節を行う。アナログ画像信号は、画素ごとにＲＧＢのいずれかの色信号であるから、このＡＧＣ１２の段階では各色について一律にアナログゲインＡｍで増幅することになる。Ａ／Ｄ変換器１３は、ＡＧＣ１２から出力されるアナログ画像信号をデジタル画像データに変換して出力する。

タイミングジェネレータ１４は、イメージセンサ６を駆動するための駆動信号を発生して、これをドライバ７を介してイメージセンサ６に供給する。また、このタイミングジェネレータ１４は、ＣＤＳ１１，Ａ／Ｄ変換器１２が使用するタイミングパルス、後述するＤＳＰ１５が使用する画素クロックやＶ／Ｈスタートタイミング等のイメージセンサ６を含む各部を駆動するためのタイミングパルスを生成して供給する。

Ａ／Ｄ変換器１３からの画像データは、ＤＳＰ１５に送られる。図１にはＤＳＰ１５の機能を機能ブロックで示してある。このＤＳＰ１５は、輝度レベル，ホワイトバランスの調節や、これら調節のための各種パラメータの算出、γ補正等の画像処理等を行う。

ＲＧＢ乗算手段１７は、色ごとに設定される所定の係数（以下、デジタルゲインという）を対応する色の画像データに乗じることにより、輝度レベルの微調節とホワイトバランスの調節とを行う。このＲＧＢ乗算手段１７は、ホワイトバランスの調節手段であるとともに、ＡＧＣ１２とともに輝度レベルを調節手段となっている。ＲＧＢ乗算手段１７は、赤色の画像データにはデジタルゲインＤｍｒを、緑色の画像データにはデジタルゲインＤｍｇを、青色の画像データにはデジタルゲインＤｍｂをそれぞれ乗算する。したがって、各色の画像データは、アナログゲインＡｍと対応する色のデジタルゲインで増幅したものとなる。

デジタル画像処理手段１８は、ＲＧＢ乗算手段１７で処理された画像データに対し、γ補正処理，輪郭強調処理，ＹＣ変換処理等を施す。ＹＣ変換処理では、ＲＧＢの三色の画像データを輝度信号Ｙと色差信号Ｃｒ、Ｃｂの画像データに変換する。また、イメージセンサ６の画素配列によっては、デジタル画像処理手段１８で配列に応じた必要な補間処理を行う。デジタル画像処理手段１８で処理された画像データは、マスターカメラ３から出力されて、マスターカメラ３からの画像として例えば記録媒体に順次に記録される。

評価値算出手段２１は、輝度レベル，ホワイトバランスを評価するための評価値を求める。この評価値算出手段２１は、撮影画像中に設定した評価領域内の画像データを色ごとに分類して集計することにより、赤色の信号レベルを集計した赤色評価値Ｉｒ，緑色の信号レベルを集計した緑色評価値Ｉｇ，青色の信号レベルを集計した青色評価値Ｉｂをそれぞれ求める。

アナログゲイン算出手段２２は、緑色の評価値Ｉｇを評価することによって、アナログゲインＡｍを決定し、これをＡＧＣ１２に設定する。このアナログゲイン算出手段２２は、アナログゲインＡｍを決定する上での評価値Ｉｇの目標とすべき値として予め設定してある緑色の目標値Ｔｇと、実際の緑色の評価値Ｉｇとの差を最小とすることができるアナログゲインＡｍを選択し、これをＡＧＣ１２に設定する。

電子シャッタ速度設定手段２３は、所定の電子シャッタ速度をドライバ７に設定する。なお、電子シャッタ速度を固定とする代わりに、アナログゲインＡｍ等ともに、被写体の輝度に応じて決定するようにしてもよい。また、絞りを設け、この絞りの絞り値をアナログゲインＡｍ，電子シャッタ速度とともに調節してもよい。

ＲＧＢゲイン算出手段２４は、各評価値Ｉｒ，Ｉｇ，Ｉｂを評価して、輝度レベル，ホワイトバランスを調節するためのデジタルゲインＤｍｒ，Ｄｍｇ，Ｄｍｂを算出し、これらをＲＧＢ乗算手段１７に設定する。

このＲＧＢゲイン算出手段２４は、デジタルゲインＤｍｇを決定する上での評価値Ｉｇの目標とすべき値として予め設定してある緑色の目標値Ｔｇと緑色の評価値Ｉｇとを同じにすることができるデジタルゲインＤｍｇを算出する。また、評価値Ｉｒ，Ｉｇ，Ｉｂの相互の比率が、予め設定されている各色の相互の比率の目標であるバランス目標値とすることができる赤色と青色のデジタルゲインＤｍｒ，Ｄｍｂを算出する。すなわち、輝度レベルが適正となるように決められた緑色のデジタルゲインＤｍｇを基準にして、適正なホワイトバランスとするための赤色と青色のデジタルゲインＤｍｒ，Ｄｍｂを算出する。バランス目標値としては、例えば評価領域内の全画素の色を加算したときに無彩色（グレー）となるように決めることができるが、これに限られるものではない。

なお、マスターカメラ３における輝度レベル，ホワイトバランスの調節のための各ゲインや電子シャッタ速度の決定の方法は、従来と同様な手法を用いることができる。

上記の評価値算出手段２１，アナログゲイン算出手段２２，ＲＧＢゲイン算出手段２４は、マスターカメラ３で撮影されたカラー画像に基づいて、輝度レベル及びホワイトバランスを適正とするための各色のゲインを決定・設定する主撮影装置用ゲイン設定手段となっており、ゲインは各色に共通なアナログゲインＡｍと色毎のデジタルゲインＤｍｒ，Ｄｍｇ，Ｄｍｂとなる。

スレーブカメラ４は、マスターカメラ３と同様に撮影レンズ３５，イメージセンサ３６ドライバ３７，ＡＦＥ３８，タイミングジェネレータ４４，ＤＳＰ４５を備えており、ＡＦＥ３８は、ＣＤＳ４１，ＡＧＣ４２，Ａ／Ｄ変換器４３からなる。これら各部は、後述するようにＤＳＰ４５の機能が異なる他はマスターカメラ３のものと同じであるので説明は省略する。

タイミングジェネレータ４４は、マスターカメラ３のタイミングジェネレータ１４と同期して動作するようにしてある。ＤＳＰ４５は、スレーブカメラ４の輝度レベルやホワイトバランスの調節、電子シャッタ速度がマスターカメラ３のそれと同じになるようにする。ＲＧＢ乗算手段４７は、スレーブカメラ４用に算出されるデジタルゲインＤｓｒ，Ｄｓｇ，Ｄｓｂと画像データとを対応する色同士で乗じることによって、輝度レベル，ホワイトバランスを調節する。すなわち、赤色の画像データにデジタルゲインＤｓｒを、緑色の画像データにデジタルゲインＤｓｇを、青色の画像データにデジタルゲインＤｓｂをそれぞれ乗算する。このＲＧＢ乗算手段４７は、スレーブカメラ４のホワイトバランス調節手段であり、またＡＧＣ４２ともにスレーブカメラ４の輝度レベル調節手段となっている。

デジタル画像処理手段４８は、マスターカメラ３のものと同じく、ＲＧＢ乗算手段４７で処理された画像データに対し、γ補正処理，輪郭強調処理，ＹＣ変換処理等を施す。このデジタル画像処理手段４８から出力される画像データが、スレーブカメラ４からの画像として記録媒体に順次に記録される。

アナログゲイン算出手段５２は、マスターカメラ３のアナログゲイン算出手段２２で算出されたアナログゲインＡｍと、予め設定されている感度定数αとを用いて、次のアナログゲイン算出式（１）により、スレーブカメラ４のＡＧＣ４２に設定すべきアナログゲインＡｓを算出し、ＡＧＣ４２に設定する。
Ａｓ＝α・Ａｍ・・・（１）

感度定数αは、スレーブカメラ４のマスターカメラ３に対する感度差を補正するためのものであり、主としてイメージセンサ６，３６の感度差によって生じるものである。感度定数αは、マスターカメラ３の感度に対するスレーブカメラ４の感度の大きさを測定する等して予め決めてある。

電子シャッタ速度設定手段５３は、マスターカメラ３の電子シャッタ速度設定手段２３から電子シャッタ速度を取得し、この電子シャッタ速度をドライバ３７に設定する。これにより、マスターカメラ３とスレーブカメラ４のシャッタ速度を同じにする。なお、マスターカメラ３の電子シャッタ速度を固定する場合には、電子シャッタ速度設定手段５３に、同じ電子シャッタ速度を予め設定しておいてもよい。

ＲＧＢゲイン算出手段２４は、スレーブカメラ４用のデジタルゲインＤｓｒ，Ｄｓｇ，Ｄｓｂを算出して、これらをＲＧＢ乗算手段４７に設定する。このＲＧＢゲイン算出手段５４は、マスターカメラ３のＲＧＢゲイン算出手段２４で算出されるデジタルゲインＤｍｒ，Ｄｍｇ，Ｄｍｂと、予め設定されているマスターカメラ３に特有の色毎の感度の相対値（以下、相対感度値という）Ｒｍ，Ｇｍ，Ｂｍと、スレーブカメラ４に特有の相対感度値Ｒｓ，Ｇｓ，Ｂｓと、感度定数αとを用いて次のデジタルゲイン算出式（２）〜（４）によって、デジタルゲインＤｓｒ，Ｄｓｇ，Ｄｓｂを算出する。
Ｄｓｒ＝Ｒｍ／Ｒｓ・Ｄｍｒ／α・・・（２）
Ｄｓｇ＝Ｇｍ／Ｇｓ・Ｄｍｇ／α・・・（３）
Ｄｓｂ＝Ｂｍ／Ｂｓ・Ｄｍｂ／α・・・（４）

上記のように算出されるデジタルゲインＤｓｒ，Ｄｓｇ，ＤｓｂをＲＧＢ乗算手段４７に設定することによって、スレーブカメラ４の感度の特性等を考慮して、マスターカメラ３と同じ輝度レベル及びホワイトバランスとする。アナログゲイン算出手段５２，ＲＧＢゲイン算出手段５４は、マスターカメラ３側で決定された各色のゲインと各色の相対感度値Ｒｍ，Ｇｍ，Ｂｍ，Ｒｓ，Ｇｓ，Ｂｓとに基づいて、マスターカメラ３の輝度レベル及びホワイトバランスの調節と等価となる各色のゲインを算出・設定する副撮影装置用ゲイン設定手段となっている。この場合の各色のゲインは、やはり各色に共通のアナログゲインＡｓと、色毎のデジタルゲインＤｓｒ，Ｄｓｇ，Ｄｓｂである。

メモリ６１は、例えばデータの保持動作が不要なＥＥＰＲＯＭ等で構成してあり、上述の目標値Ｔｇやバランス目標値、マスターカメラ３の赤色，緑色，青色の相対感度値Ｒｍ，Ｇｍ，Ｂｍ、スレーブカメラ４の相対感度値Ｒｓ，Ｇｓ，Ｂｓ、マスターカメラ３に対するスレーブカメラ４の感度定数αを例えば製造時に測定して記録してある。

相対感度値Ｒｍ，Ｇｍ，Ｂｍは、マスターカメラ３に用いられているイメージセンサ６の、また相対感度値Ｒｓ，Ｇｓ，Ｂｓは、スレーブカメラ４に用いられているイメージセンサ３６のそれぞれ対応する色の感受性の程度、すなわち感度を直接または間接的に表している。各色の相対感度値としては、相互の感度の差異ないし比率がわかるものであればどのような内容の数値であってもよく、もちろん各色に対する感度そのものであってもよい。この例では、後述するように無彩色の被写体を測定したときの画像データの平均値としてある。

また、各カメラ３，４の各色の相対感度値に代えて、各カメラ３，４の緑色の相対感度値Ｇｍ，Ｇｓと、各カメラ３，４の緑色に対する赤色、青色の各相対感度値の比である色相対値「Ｒｍ／Ｇｍ」，「Ｂｍ／Ｇｍ」，「Ｒｓ／Ｇｓ」，「Ｂｓ／Ｇｓ」をメモリ６１に記録しておいてもよい。相対感度値Ｇｍ，Ｇｓと、色相対値「Ｒｍ／Ｇｍ」，「Ｂｍ／Ｇｍ」，「Ｒｓ／Ｇｓ」，「Ｂｓ／Ｇｓ」をメモリ６１に記録している場合には、次のデジタルゲイン算出式（５）〜（７）によって、デジタルゲインＤｓｇ，Ｄｓｒ，Ｄｓｂを算出する。
Ｄｓｇ＝Ｇｍ／Ｇｓ・Ｄｍｇ／α・・・・・（５）
Ｄｓｒ＝（Ｒｍ／Ｇｍ）／（Ｒｓ／Ｇｓ）・Ｄｍｒ／Ｄｍｇ・Ｄｓｇ・・・（６）
Ｄｓｂ＝（Ｂｍ／Ｇｍ）／（Ｂｓ／Ｇｓ）・Ｄｍｂ／Ｄｍｇ・Ｄｓｇ・・・（７）

なお、上記式（２）〜（４）による場合にも、（５）〜（７）による場合にも、ゲインが調節された状態、すなわちホワイトバランスが調節された状態で、１色（この例では緑色）に対するスレーブカメラ４の総合的な感度をマスターカメラ３のそれと同じにするとともに、スレーブカメラ４の総合的な感度における３色の相互の比率をマスターカメラ３のそれと同じにすることで、スレーブカメラ４の輝度レベル、ホワイトバランスをマスターカメラ３のものと同じになるようにしている。

また、この例では、マスターカメラ３とスレーブカメラ４とに共通のメモリ６１を設けているが、マスターカメラ３には、それ固有の相対感度値と、目標値Ｔｇ，バランス目標値を記憶させたメモリを設け、スレーブカメラにはそれ固有の相対感度値と、感度定数αを記憶させたメモリを設けてもよい。

スレーブカメラ４のＤＳＰ４５の動作は、マスターカメラ３のＤＳＰ１５の動作に同期させてあり、マスターカメラ３側で新たなアナログゲインＡｍ，あるいは各デジタルゲインＤｍｒ，Ｄｍｇ，Ｄｍｂを算出したときには、それらに対応して算出されたアナログゲインＡｓ，あるいは各デジタルゲインＤｓｒ，Ｄｓｇ，Ｄｓｂを同一のフレーム期間（１露光期間）内にスレーブカメラ４側でも設定されるようにしてある。演算内容等によってフレーム期間の終了近くにアナログゲインＡｍ，あるいは各デジタルゲインＤｍｒ，Ｄｍｇ，Ｄｍｂが算出される場合であっても、スレーブカメラ４側では次の１フレーム期間内で設定することができるので、１フレーム程度の遅延でマスターカメラ３の設定内容をスレーブカメラ４に追従させることができる。

図２に相対感度値Ｒｍ，Ｇｍ，Ｂｍ，Ｒｓ，Ｇｓ，Ｂｓの測定の手順の一例を示す。相対感度値の測定では、同一の被写体を同一の照明で照明した状態でマスターカメラ３及びスレーブカメラ４を用いて撮影することにより測定された値から算出する。例えば被写体として適当な反射率を有するグレーの反射板を用いこれを適当な色温度の照明で照明するが、被写体の反射率や色、照明の色温度等は任意に決めることができる。

各カメラ３，４で撮影する場合には、同じ条件での撮影となるようにするため、例えばマスターカメラ３での撮影後に、そのマスターカメラ３の位置にスレーブカメラ４をセットしてから撮影を行う。なお、撮影時の各カメラ３，４は、アナログゲインＡｍ，Ａｓを同じにし、またデジタルゲインＲｍ，Ｇｍ，Ｂｍ，Ｒｓ，Ｇｓ，Ｂｓをいずれも同じに設定しておく。なお、この時、各イメージセンサ６，３６の各画素の最大出力が飽和レベル２／３程度あるいはそれ以下となるように電子シャッタ速度を調整しておく。

撮影後では、マスターカメラ３で撮影して得られる画像の赤色，緑色，青色の各画像データの平均値をそれぞれ求め、それらを赤色，緑色，青色の相対感度値Ｒｍ，Ｇｍ，Ｂｍとする。同様にスレーブカメラ４で撮影して得られる画像の赤色，緑色，青色の各画像データの平均値をそれぞれ求め、それらを赤色，緑色，青色の相対感度値Ｒｓ，Ｇｓ，Ｂｓとする。そして、求めたマスターカメラ３の相対感度値Ｒｍ，Ｇｍ，Ｂｍと、スレーブカメラ４の相対感度値Ｒｓ，Ｇｓ，Ｂｓをメモリ６１に記録する。なお、例えばマスタカメラ３の相対感度値Ｇｍを基準（「１」）として、他の相対感度値Ｒｍ，Ｂｍ，Ｒｓ，Ｇｓ，Ｂｓを相対感度値Ｇｍの倍率として表した値であってもよい。

次に上記構成の作用について説明する。例えばステレオカメラ２の製造時に上述の図２の手順に従ってマスターカメラ３の相対感度値Ｒｍ，Ｇｍ，Ｂｍとスレーブカメラ４の相対感度値Ｒｓ，Ｇｓ，Ｂｓとの測定が行われ、これらとともに、目標値Ｔｇ、バランス目標値、スレーブカメラ４の感度定数αとがメモリ６１に書き込まれる。

ステレオカメラ２で撮影を行っている間では、マスターカメラ３とスレーブカメラ４とは、同じフレームレートで相互に同期して撮影を行う。マスターカメラ３のイメージセンサ６で１フレーム期間に１回の露光が行われるように繰り返し露光が行われる。１回の露光による１フレームの被写体像は、次の１フレーム期間中にイメージセンサ６からアナログ画像信号として出力され、そのアナログ画像信号がＣＤＳ１１を経てＡＧＣ１２に入力される。ＡＧＣ１２にはアナログゲインＡｍが設定されており、この設定されているアナログゲインＡｍでアナログ画像信号が増幅され、増幅されたアナログ画像信号が続くＡ／Ｄ変換器１３によってデジタル画像データに変換される。

Ａ／Ｄ変換器１３からのデジタル画像データは、ＲＧＢ乗算手段１７に送られ、それに設定されているデジタルゲインＤｍｒ，Ｄｍｇ，Ｄｍｂが乗じられる。すなわち赤色の画像データにはデジタルゲインＤｍｒが、緑色の画像データにはデジタルゲインＤｍｇが、青色の画像データにはデジタルゲインＤｍｂがそれぞれ乗算される。そして、この乗算後の各色の画像データがデジタル画像処理手段１８によってγ補正処理，輪郭強調処理，ＹＣ変換処理等が施されてマスターカメラ３から出力される。

スレーブカメラ４についても同様であり、イメージセンサ３６で１回の露光が行われるごとにアナログ画像信号が出力され、そのアナログ画像信号がＣＤＳ４１を経てＡＧＣ４２に入力される。ＡＧＣ４２に設定されているアナログゲインＡｓでアナログ画像信号が増幅されてからＡ／Ｄ変換器４３によって３色の画像データに変換される。そして、デジタル画像データは、ＲＧＢ乗算手段４７によって、それぞれ対応するデジタルゲインＤｓｒ，Ｄｓｇ，Ｄｓｂが乗算されてから、デジタル画像処理手段４８で各種の画像処理が施されてから出力される。

上記のようにしてＡ／Ｄ変換器１３，４３からの３色の画像データに対するＲＧＢ乗算手段１７，４７，デジタル画像処理手段１８，４８での処理と並行して、マスターカメラ３ではＲＧＢ３色の画像データに基づいてアナログゲインＡｍ，デジタルゲインＤｍｒ，Ｄｍｇ，Ｄｍｂを算出・設定する処理が行われ、スレーブカメラ４ではアナログゲインＡｍ，デジタルゲインＤｍｒ，Ｄｍｇ，Ｄｍｂに基づいてアナログゲインＡｓ，デジタルゲインＤｓｒ，Ｄｓｇ，Ｄｓｂを算出・設定する処理が行われる。

図３に示すように、Ｎ−１番目のフレーム期間の露光結果であるアナログ画像信号がＮ番目のフレーム期間にイメージセンサ６から出力されると（ステップＭ１）、そのアナログ画像信号から得られた画像データがＲＧＢ乗算手段１７の他に評価値算出手段２１にも送られる。そして、ステップＭ２で、この評価値算出手段２１により赤色の評価値Ｉｒと、緑色の評価値Ｉｇと、青色の評価値Ｉｂとが求められるが、このＮ番目のフレーム期間では、それらのうちの評価値Ｉｇだけがアナログゲイン算出手段２２に送られる。

アナログゲイン算出手段２２は、メモリ６１から例えば予め目標値Ｔｇを読み出して保持している。そして、評価値Ｉｇが入力されると、アナログゲイン算出手段２２は、入力された評価値Ｉｇと目標値Ｔｇとを比較評価し、新たなアナログゲインＡｍを算出し（ステップＭ３）、そのアナログゲインＡｍをＡＧＣ１２に設定する（ステップＭ４）。このとき、新たなアナログゲインＡｍとしては、それを用いたときに得られる緑色の評価値Ｉｇと目標値Ｔｇの差を最小とすることができるような値として算出される。

ステップＭ３で新たなアナログゲインＡｍが算出されると、そのアナログゲインＡｍがスレーブカメラ４のアナログゲイン算出手段４２によって取得される（ステップＳ１）。新たなアナログゲインＡｍを取得すると、ステップＳ２により、取得したアナログゲインＡｍと、予めメモリ６１から読み出して取得している感度定数αとを用いて、前述のアナログゲイン算出式（１）により、スレーブカメラ４のアナログゲインＡｓがアナログゲイン算出手段４２によって算出される。そして、この算出されたアナログゲインＡｓがＡＧＣ４２に設定される（ステップＳ３）。

上記のようにＮ番目のフレーム期間中に設定されたアナログゲインＡｍ，Ａｓは、Ｎ＋１番目のフレーム期間にそれぞれ有効となる。そして、Ｎ＋１番目のフレーム期間では、Ｎ番目のフレーム期間の露光結果であるアナログ画像信号がイメージセンサ６から出力される（ステップＭ５）。ＡＧＣ１２には、Ｎ番目のフレーム期間中に算出されたアナログゲインＡｍが設定されているから、アナログ画像信号は、そのアナログゲインＡｍによって増幅されてからＡ／Ｄ変換器１３によって画像データとされる。

ステップＭ６により、評価値算出手段２１がＡ／Ｄ変換器１３からの画像データに基づいて各色の評価値Ｉｒと、緑色の評価値Ｉｇと、青色の評価値Ｉｂとを求め、ＲＧＢゲイン算出手段２４に送る。

ＲＧＢゲイン算出手段２４によって、メモリ６１から読み出した目標値Ｔｇと評価値Ｉｇとに基づいて、次に得られる評価値Ｉｇが緑色の目標値ＴｇとなるようなデジタルゲインＤｍｇを算出し（ステップＭ７）、このデジタルゲインＤｍｇをＲＧＢ乗算手段１７に設定する（ステップＭ８）。これにより、アナログゲインＡｍと協同して輝度レベルを適正とすることができるデジタルゲインＤｍｇが設定される。

また、デジタルゲインＤｍｇの算出後には、ＲＧＢゲイン算出手段２４によって、やはりメモリ６１から予め読み出したバランス目標値と、各評価値Ｉｒ，Ｉｇ，Ｉｂとに基づいて適正なホワイトバランスとするための赤色と青色のデジタルゲインＤｍｒ，Ｄｍｂが算出され（ステップＭ９）、これらがＲＧＢ乗算手段１７に設定される（ステップＭ１０）。

上記のようにマスターカメラ３でデジタルゲインＤｍｇが算出されると、ステップＳ４で、そのデジタルゲインＤｍｇがスレーブカメラ４のＲＧＢゲイン算出手段５４によって取得される。そして、ステップＳ５で、ＲＧＢゲイン算出手段５４が取得したデジタルゲインＤｍｇと、メモリ６１から読み出したマスターカメラ３の相対感度値Ｇｍとスレーブカメラ４の相対感度値Ｇｓと感度定数αとをデジタルゲイン算出式（３）に適用してデジタルゲインＤｓｇが算出され、ステップＳ６で、このデジタルゲインＤｓｇがＲＧＢ乗算手段４７に設定される。

また、マスターカメラ３でデジタルゲインＤｍｒ，Ｄｍｂが算出されると、ステップＳ７で、それらデジタルゲインＤｍｒ，Ｄｍｂがスレーブカメラ４のＲＧＢゲイン算出手段５４によって取得される。そして、ステップＳ８で、デジタルゲイン算出式（２），（４）によりスレーブカメラ４用のデジタルゲインＤｓｒ，Ｄｓｂが算出され、ステップＳ９で、これらがＲＧＢ乗算手段４７に設定される。このデジタルゲイン算出式（２），（４）によってデジタルゲインＤｓｒ，Ｄｓｂを算出する際には、マスターカメラ３から取得したデジタルゲインＤｍｒ，Ｄｍｂと、メモリ６１から読み出したマスターカメラ３の相対感度値Ｒｍ，Ｂｍ、スレーブカメラ４の相対感度値Ｒｓ，Ｂｓと感度定数αとが用いられる。

上記のようにＮ＋１番目のフレーム期間中に各カメラ３，４に設定されたデジタルゲインは、それぞれＮ＋２番目のフレーム期間に有効となる。そして、Ｎ＋２番目フレーム期間では、Ｎ＋１番目のフレーム期間の露光結果であるアナログ画像信号がイメージセンサ６から出力される。このアナログ画像信号は、ＡＧＣ１２でＮ番目のフレーム期間中に算出されたアナログゲインＡｍで増幅されてから、Ａ／Ｄ変換器１３によってデジタル画像データとされ、このデジタル画像データにＮ＋１番目のフレーム期間中に設定されたデジタルゲインＤｍｒ，Ｄｍｇ，ＤｍｂがＲＧＢ乗算手段１７で乗算されてからデジタル画像処理手段１８に送られる。

同様にスレーブカメラ４では、Ｎ＋１番目のフレーム期間の露光結果であるアナログ画像信号がイメージセンサ３６から出力され、このアナログ画像信号がＡＧＣ４２でＮ番目のフレーム期間中に算出されたアナログゲインＡｓで増幅される。そして、Ａ／Ｄ変換器４３によって変換されたデジタル画像データにＮ＋１番目のフレーム期間中に設定されたデジタルゲインＤｓｒ，Ｄｓｇ，ＤｓｂがＲＧＢ乗算手段４７で乗算されてからデジタル画像処理手段４８に送られる。

Ｎ＋２番目のフレーム期間では、Ｎ番目のフレーム期間と同様の処理が行われて、マスターカメラ３では、アナログゲインＡｍが算出・設定され、スレーブカメラ４ではそのアナログゲインＡｍからアナログゲインＡｓを算出・設定する。続くＮ＋３番目のフレーム期間では、Ｎ＋１番目のフレーム期間と同様にマスターカメラ３でデジタルゲインＤｍｒ，Ｄｍｇ，Ｄｍｂを算出・設定し、スレーブカメラ４ではそれらのデジタルゲインＤｍｒ，Ｄｍｇ，Ｄｍｂに基づいてデジタルゲインＤｓｒ，Ｄｓｇ，Ｄｓｂを算出・設定する。以降、同様にして各アナログゲイン・デジタルゲインを算出し、設定して、撮影を継続する。

なお、図３に破線で示すように、マスターカメラ３でのステップＭ１０の処理を行った後、ステップＭ５からのデジタルゲインを調節する処理を１回以上行ってから、ステップＭ１に戻ってアナログゲインＡｍの調節を行う処理を行うようにしてもよい。なお、このようにデジタルゲインの調節の処理を連続して複数回行う場合には、スレーブカメラ４についても同様に、デジタルゲインの調節の処理を連続して複数回行う。

以上により、マスターカメラ３は、被写体輝度の変化、光源の変化があると、それに追従して輝度レベル、ホワイトバランスを適正に維持し、また同時にスレーブカメラ４は、そのマスターカメラ３と同じ輝度レベル、ホワイトバランスを維持するように調節される。このため、撮影シーンの変化に対して、常に各カメラ３，４で撮影される画像の輝度レベル，色合い（ホワイトバランス）が揃っており、立体画像を観察時に違和感を与えることがない。また、２台の各カメラ３，４を用いて距離を撮影範囲の測定使用する場合においては、各カメラ３，４で撮影される画像の輝度レベル，色合い（ホワイトバランス）が揃っているため、各画像中の被写体の相関演算で破綻が生じにくく、途切れることなく連続的に距離測定を行うことができる。

複眼撮影装置は、複数箇所の撮影を行う多視点カメラであってもよく、このような多視点カメラに用いた場合には、各カメラで撮影される画像の輝度レベル，色合いを同じようにすることができるので、異なるカメラの撮影範囲間を移動する被写体を容易に認識し移動の追跡を自動で行うことができる。

上記実施形態では、１台の副撮影装置を用いた例について説明したが、副撮影装置は、１台に限るものではなく、複眼撮影装置の用途によって２台以上の副撮影装置を設けることができる。また、いずれの撮影装置を主撮影装置，副撮影装置とするかは任意であり、また副撮影装置を主撮影装置に、主撮影装置を副撮影装置に切替えられるようにしたりすることもできる。

また、アナログゲイン，デジタルゲインの設定変更は、マスターカメラ３とスレーブカメラ４とが１〜２フレーム以内のズレでできることは重要であるが、全てのカメラにおいて、シーン変換に対してのアナログゲイン，デジタルゲインの変更に時定数をもたせて、急峻に変化しないように例えば５〜１０フレームの遅れをもたせてもよい。

本発明を実施した複眼撮影装置の要部構成を示すブロック図である。 マスターカメラ，スレーブカメラの各感度を測定する手順を示したフローチャートである。 マスターカメラ，スレーブカメラでの輝度レベル，ホワイトレベルの調節手順を示すフローチャートである。

符号の説明

２ 複眼撮影装置
３ マスターカメラ
４ スレーブカメラ
６，３６ イメージセンサ
１２，４２ ＡＧＣ
１７，４７ ＲＧＢ乗算手段
２１ 評価値算出手段
２２，５２ アナログゲイン算出手段
２４，５４ ＲＧＢゲイン算出手段

Claims (6)

1. カラー画像を複数の色に分解して撮影するイメージセンサと、分解された各色に対するゲインを調節することにより輝度レベル及びホワイトバランスを補正する調節手段とをそれぞれ備えた主撮影装置と１個以上の副撮影装置とからなる複眼撮影装置において、
   予め測定された前記複数の色のうちの１色についての各撮影装置の感度の相対値及び各撮影装置における前記１色に対する他の色の感度の相対値の比を記憶した記憶手段と、
   主撮影装置で撮影されたカラー画像に基づいて輝度レベル及びホワイトバランスを適正とするため前記複数の色のゲインを決定し、決定した各色のゲインを前記主撮影装置の調節手段に設定する主撮影装置用ゲイン設定手段と、
   前記主撮影装置用ゲイン設定手段で決定された各色のゲインと前記記憶手段に記憶されている前記相対値及び前記相対値の比とに基づいて、主撮影装置の輝度レベル及びホワイトバランスの調節と等価となる副撮影装置の前記複数の色のゲインを算出し、算出した各色のゲインを前記副撮影装置の調節手段に設定する副撮影装置用ゲイン設定定手段とを備えたことを特徴とする複眼撮影装置。
2. 前記主撮影装置用ゲイン設定手段による各色のゲインの設定に同期して、副撮影装置用ゲイン設定手段による各色のゲインの設定を行うことを特徴とする請求項１記載の複眼撮影装置。
3. 前記相対値及び前記相対値の比は、同一の照明の下で同一の被写体を、各撮影装置を同じ位置に設定して撮影することにより測定された値から算出したものであることを特徴とする請求項１または２記載の複眼撮影装置。
4. カラー画像を複数の色に分解して撮影する主撮影装置と１個以上の副撮影装置とを備え、各撮影装置の輝度レベルとホワイトバランスを調節する複眼撮影装置の調節方法において、
   主撮影装置で撮影されたカラー画像に基づいて、主撮影装置の輝度レベル及びホワイトバランスを適正とするために前記複数の色のゲインを決定して設定する第１のゲイン設定ステップと、
   主撮影装置に設定される各色のゲインと、予め測定された前記複数の色のうちの１色についての各撮影装置の感度の相対値及び各撮影装置における前記１色に対する他の色の感度の相対値の比とに基づいて、主撮影装置の輝度レベル及びホワイトバランスの調節と等価となるように副撮影装置の前記複数の色のゲインを算出して設定する第２のゲイン設定ステップとを有することを特徴とする複眼撮影装置の調節方法。
5. 前記主撮影装置への各色のゲインの設定に同期して、副撮影装置の各色のゲインの設定を行うことを特徴とする請求項４記載の複眼撮影装置の調節方法。
6. 前記相対値及び前記相対値の比は、同一の照明の下で同一の被写体を、各撮影装置を同じ位置に設定して撮影することにより測定された値から算出したものであることを特徴とする請求項４または５記載の複眼撮影装置の調節方法。

Images