JP6196882B2 - マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 - Google Patents

Description

本発明は、複数の光源で照明されたシーンを撮影した画像における光源の色温度の推定の誤りを調整・修正して、入力画像のホワイトバランス補正を行うことで、画像全体における違和感の無い色再現を実現するためのマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置に関する。

撮影光源は、日中の屋外であれば太陽の高度・大気の状態などに依存してその色温度が変化する。また、日向と日陰でも色温度が異なる。
更に屋内では蛍光灯や白熱灯など様々な人工照明があり、それぞれの光源の色温度が異なる。
また、昼間の室外でフラッシュ撮影した場合、フラッシュ照明と外光の混合光が撮影光源となる。
また、夜の室外でフラッシュ撮影した場合、フラッシュ照明と背景の人工照明とは混合しないが、同じシーンの中の異なるエリアでは、光源の色温度が異なる。
また、室内でフラッシュ撮影した場合、フラッシュ照明と人工照明が混じりあった光が、撮影光源となる。

上記のような様々な撮影光源の下では、人間の眼は色順応する。つまり、人間の眼は、光源が太陽光、人工照明、それらのミックス光の如何を問わず、注目エリアの白い被写体を白く感じる。この人間の眼の特性に合わせて入力装置であるカメラも、ＲＧＢのゲインを調整して、いわゆるホワイトバランスを取るように構成されている。

しかし、カメラにとっては、撮影前まで撮影光源が未知であるため、一般的には撮影照明の種類（光源の色温度）を撮影した画像から推定したり、もしくはユーザーが指定することによって、その照明種類に合わせて撮影した画像全体のホワイトバランスを補正する。

被写体のシーンが複数の光源によって照明された場合、シーン内におけるエリアの光源の色温度に関わらず、画像全体のホワイトバランス処理を高精度に行うためには、取得した画像を複数のエリアに分割し、分割したエリア毎に対応する光源の色温度を検出し、異なるホワイトバランス処理を行う必要がある。

従来、複数の光源で照明されたシーンを撮影した画像のホワイトバランス処理を行う方法としては、例えば、特許文献１に、その一例が開示されている。
特許文献１に記載の方法では、入力されたカラー画像を、複数の小画面に分割し、該分割された各小画面毎に、前記カラー画像を撮影した際の撮影光源の色温度を推定し、各小画面毎の推定色温度のヒストグラムを作成し、前記各小画面をグループ分けし、該グループ毎に、再度撮影光源の色温度を推定し、該グループ毎の色温度推定結果により、各グループ毎にホワイトバランス補正量を算出し、該グループ内の各小画面に対し、前記各グループ毎に算出されたホワイトバランス補正量によりそれぞれホワイトバランス補正を施している。

また、特許文献２には、撮像画面内に異なる種類の光源の照射エリアが存在する場合に撮像画面全体に適切なホワイトバランスを掛けることが難しく、色ずれが生じた撮像画像になってしまうという問題を解決するために、撮像画面内を輝度情報と色情報とに応じて複数の領域に分割し、複数の領域のそれぞれに対して異なるホワイトバランス補正係数を設定し、前記複数の領域のそれぞれに対して設定されたホワイトバランス補正係数の差を、所定範囲内に収めるホワイトバランス補正係数リミットを設けて、全画面のホワイトバランス補正係数を生成することが開示されている。

特開２００２−２７１６３８公報 特開２０１０−２１３２３２公報

ところで、従来、複数の異種光源により撮影を行った所謂ミックス光源画像のホワイトバランス補正技術では、ホワイトバランスの補正に先立ち、入力された画像を複数のエリアに分割し、該分割されたエリアごとに、例えば、一般的に行われている光源色温度推定方法を用いて、ミックス光源画像を撮影した際の撮影光源の色温度を推定している。
しかし、各分割エリアが入力画像のシーンの一部であるため、各エリアの被写体が単一な色の被写体になり易く、分割エリアの光源の色温度を間違った色温度に推定してしまい易い。
例えば、図１に示すように、手前は日向、背景が日陰のようなシーンの入力画像を６×６のエリアに分割した後では、前景の芝生に当たる左下のエリアでは、被写体がほぼ芝生となるケースが生じる。
全面が芝生のエリアに対して、一般的に行われている光源色温度推定方法で光源の色温度を推定した場合、光源の色温度が蛍光灯などの人工照明と間違って推定され易い。このような間違った推定光源色温度に基づいて、対応するホワイトバランス補正ゲインを用いてホワイトバランスを補正すると、当該エリアの色のバランスが大きく崩れてしまい、画像全体が非常に不自然な色合いとなる可能性がある。

しかるに、特許文献１に記載されている方法は、小画面毎に光源の色温度を推定した後、推定した光源の色温度が近い小画面を複数のグループに仕分けし、仕分けしたグループ毎に再度光源の色温度の推定を行うので、推定される光源の色温度の種類を制限する効果がある。しかし、小画面の光源の色温度の推定が間違っていて、推定した光源の色温度が本来の光源の色温度と離れている場合、そもそも同じグループに仕分けられない。このため、特許文献１に記載されている方法では、上述のような、推定光源色温度を間違った場合、推定光源色温度に対応するホワイトバランス補正ゲインを用いてホワイトバランスを補正することによって、当該エリアの色のバランスが大きく崩れて、局所的に非常に不自然な色合いとなるといった課題に対処できない。

また、特許文献２に記載されている方法は、分割された複数の領域のそれぞれのホワイトバランス補正係数（即ち、光源の色温度に対応する制御値）を設定しており、そもそも推定（または設定）する光源の色温度が間違っていることが想定されていない。このため、特許文献２に記載されている方法でも、上述のような、推定光源色温度を間違った場合、間違った推定光源色温度に対応するホワイトバランス補正ゲインを用いてホワイトバランスを補正することによって、当該エリアの色のバランスが大きく崩れて、画像全体が非常に不自然な色合いとなるといった課題に対処できない。

本発明は、以上の従来技術における問題を鑑みてなされたものであり、撮影画像全体を複数のエリアに分割して、それぞれのエリアの光源の色温度を推定する場合、個別のエリアにおいて推定した光源の色温度が間違っていても、違和感の無い色再現を実現することの可能なマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置を提供することを目的としている。

上記目的を達成するため、本発明によるマルチエリアホワイトバランス制御装置は、入力画像を複数のエリアに分割するエリア分割手段と、前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定するエリア光源色温度推定手段と、前記エリア光源色温度推定手段によって推定された、当該エリアの光源の色温度と当該エリアに隣接するエリアの光源の色温度との比較に基づき、当該エリアの推定された光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該エリアに隣接するエリアの推定された光源の色温度に基づき、当該エリアの推定された光源の色温度を調整するエリア推定光源色温度調整手段と、前記エリア推定光源色温度調整手段によって調整された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段とを有することを特徴としている。

また、本発明によるマルチエリアホワイトバランス制御方法は、入力画像を複数のエリアに分割し、分割したエリア毎に光源の色温度を推定し、推定した、当該エリアの光源の色温度と当該エリアに隣接するエリアの光源の色温度との比較に基づき、当該エリアの推定した光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該エリアに隣接するエリアの推定した光源の色温度に基づき、当該エリアの推定した光源の色温度を調整し、調整した各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成することを特徴としている。

また、本発明によるマルチエリアホワイトバランス制御プログラムを記録したコンピュータは、マルチエリアホワイトバランス制御装置に備わるコンピュータであって、前記コンピュータを、入力画像を複数のエリアに分割するエリア分割手段、前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定するエリア光源色温度推定手段、前記エリア光源色温度推定手段によって推定された、当該エリアの光源の色温度と当該エリアに隣接するエリアの光源の色温度との比較に基づき、当該エリアの推定された光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該エリアに隣接するエリアの推定された光源の色温度に基づき、当該エリアの推定された光源の色温度を調整するエリア推定光源色温度調整手段、前記エリア推定光源色温度調整手段によって調整された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段として機能させるためのマルチエリアホワイトバランス制御プログラムを記録している。

また、本発明によるマルチエリアホワイトバランス制御プログラムは、マルチエリアホワイトバランス制御装置に備わるコンピュータが読み取り可能なマルチエリアホワイトバランス制御プログラムであって、前記コンピュータを、入力画像を複数のエリアに分割するエリア分割手段、前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定するエリア光源色温度推定手段、前記エリア光源色温度推定手段によって推定された、当該エリアの光源の色温度と当該エリアに隣接するエリアの光源の色温度との比較に基づき、当該エリアの推定された光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該エリアに隣接するエリアの推定された光源の色温度に基づき、当該エリアの推定された光源の色温度を調整するエリア推定光源色温度調整手段、前記エリア推定光源色温度調整手段によって調整された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段として機能させることを特徴としている。

本発明によれば、撮影画像全体を複数のエリアに分割して、それぞれのエリアの色温度を推定する場合、個別のエリアにおいて推定した光源の色温度が間違っていても、違和感の無い色再現を実現することの可能なマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置が得られる。

入力画像を複数のエリアに分割した一例を示す説明図である。 本発明の一実施形態にかかるマルチエリアホワイトバランス制御装置を備えたデジタルカメラのブロック図である。 図２のマルチエリアホワイトバランス制御装置における入力画像からホワイトバランス補正のためのゲインマップを作成するまでの処理手順を示すフローチャートである。 （Ｒ／Ｇ，Ｂ／Ｇ）色度図における被写体の色分布から光源の色温度を推定する際における、画像データにおける全ての画素を色度図上にプロットし、色度図上での予め設定した各種の光源の色温度エリア判定基準に従い、プロットした点についての光源の色温度の判定を行うための、色度図及びエリア判定基準の一例を示すグラフである。 図２のマルチエリアホワイトバランス制御装置において、入力画像がエリア分割されエリア光源色温度推定手段により、エリア毎に推定された光源の色温度の一例を示す説明図である。 図２のマルチエリアホワイトバランス制御装置において、エリア推定光源色温度調整手段が、図５に示された当該エリアの推定された光源の色温度を調整する際のスキャン方向の一例を示す説明図である。 エリア推定光源色温度調整手段が図６に示す方向にスキャンして、図５に示された当該エリアの推定された光源の色温度を調整した後の、各エリアの光源の色温度を示す説明図である。 図２のマルチエリアホワイトバランス制御装置において、入力画像がエリア分割されエリア光源色温度推定手段により、エリア毎に推定された光源の色温度の他の例を示す説明図で、局所的に高彩度被写体のエリアがある各エリアの推定された光源の色温度を示す説明図である。 エリア推定光源色温度調整手段が図６に示す方向と同じ方向にスキャンして、図８に示された当該エリアの推定された光源の色温度を調整した後の、各エリアの光源の色温度を示す説明図である。

実施例の説明に先立ち、本発明の作用効果について説明する。
本発明は、入力画像を複数のエリアに分割し、分割したエリア毎に光源の色温度を推定し、推定した、当該エリアの光源の色温度と当該エリアに隣接するエリアの光源の色温度との比較に基づき、当該エリアの推定した光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該エリアに隣接するエリアの推定した光源の色温度に基づき、当該エリアの推定した光源の色温度を調整し、調整した各エリアの光源の色温度に基づき、入力画像全体のホワイトバランス補正ゲインマップを生成するようにしている。

本発明のように、推定した、当該エリアの光源の色温度と当該エリアに隣接するエリアの推定光源色温度との比較に基づき、当該エリアの推定した光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該エリアに隣接するエリアの推定した光源の色温度に基づき、当該エリアの推定した光源の色温度を調整すれば、推定した当該エリアの色温度が間違っていても、当該エリアの推定した光源の色温度をより適正な色温度に調整することができる。その結果、各エリアの適正な色温度に調整された光源の色温度に基づいて、入力画像全体のホワイトバランス補正ゲインマップを生成でき、生成したホワイトバランス補正マップに基づいて入力画像全体のホワイトバランスを補正したときに、入力画像全体における当該エリアの色のバランスが適正に保たれ、違和感のない色再現を実現することができる。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に係る本発明を限定するものではない。

実施形態
図２は本発明の一実施形態にかかるマルチエリアＡＷＢ（オートホワイトバランス）制御装置を備えたデジタルカメラのブロック図である。図２中、一点鎖線で囲んだ部分が本実施形態にかかるマルチエリアホワイトバランス制御装置、二点差線で囲んだ部分がマルチエリアホワイトバランス画像処理装置に対応する構成である。図３は図２のマルチエリアホワイトバランス制御装置における入力画像からホワイトバランス補正のためのゲインマップを作成するまでの処理手順を示すフローチャートである。

本実施形態のマルチエリアホワイトバランス制御装置１は、図２に示すように、エリア分割手段としての画像エリア分割部１１と、エリア光源色温度推定手段としてのエリア色温度推定部１２と、エリア推定光源色温度調整手段としてのエリア色温度調整部１３と、ホワイトバランス補正ゲインマップ生成手段としてのＷＢ（ホワイトバランス）ゲインマップ生成部１４を有している。図２中、１０はマルチエリアホワイトバランス画像処理装置、１５はＷＢ（ホワイトバランス）ゲインマップ生成部１４が生成したホワイトバランス補正ゲインマップを記憶するゲインマップ記憶部、１６はホワイトバランス処理手段としてのＷＢ（ホワイトバランス）ゲイン補正部、２１はレンズ、２２はイメージセンサ、２３はイメージセンサ２２が撮像した画像を記憶する画像記憶部である。なお、本実施形態のマルチエリアホワイトバランス画像処理装置１０を備えたデジタルカメラは、図示しない制御部を備えている。制御部は、撮影指示に基づきイメージセンサ２２が撮影した画像を画像記憶部２３に記憶する機能や、画像記憶部２３に記憶されている画像を入力する機能を、夫々別個に備えている。図２の例では、図示しない制御部の撮影指示により、レンズ２１を経てイメージセンサ２２に結像された画像が撮像されデジタル信号として画像記憶部２３に記憶されている。

画像エリア分割部１１は、入力画像を予め決められたサイズの複数のブロックに分割する。

エリア色温度推定部１２は、画像エリア分割部１１により分割されたブロック毎に光源の色温度を推定する。なお、光源の色温度の推定方法については後述する。

エリア色温度調整部１３は、エリア色温度推定部１２によって推定された、当該ブロックの光源の色温度と当該ブロックに隣接する隣接ブロックの光源の色温度との比較に基づき、当該エリアの推定された光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該エリアに隣接するエリアの推定された光源の色温度に基づき、当該ブロックの推定された光源の色温度を調整する。なお、当該ブロックの推定された光源の色温度の調整方法については後述する。

ＷＢゲインマップ生成部１４は、エリア色温度調整部１３によって調整された各ブロックの推定された光源の色温度に基づき、入力画像全体のホワイトバランス補正ゲインマップを生成する。

ＷＢゲイン補正部１６は、ＷＢゲインマップ生成部１４によって生成されたホワイトバランス補正ゲインマップに基づき、入力画像全体のホワイトバランスを補正する。

このように構成された本実施形態のマルチエリアホワイトバランス制御装置を用いた入力画像からホワイトバランス補正のためのゲインマップを作成するまでの処理の流れを図３から図９を用いて説明する。

まず、図示しないデジタルカメラの制御部が、画像記憶部２３に記憶されている画像データを入力する（ステップＳ１）。
次いで、画像エリア分割部１１が、入力された画像データを予め決められたサイズの複数のブロックに分割する（ステップＳ２）。なお、便宜上、以下の説明では画像データは６×６のブロックに分割するものとする。

次いで、エリア色温度推定部１２が、画像エリア分割部１１により分割された各ブロックの画像に対して、例えば、次のような方法で、ブロック毎の光源の色温度の推定を行う（ステップＳ３）。

例えば、イメージセンサの有効画素が４８００×３６００画素であるものとする。入力されるベイヤーパターンのＲＡＷ画像は、画像エリア分割部１１により６×６のブロックに分割され、各ブロックのサイズは８００×６００画素となっている。

光源の色温度の推定に先立ち、この８００×６００画素のブロックに対して、更に、例えば、２０×２０の画素範囲を１つのサンプリングポイントとし、２０×２０の画素範囲内にあるＲ、Ｇ、Ｂそれぞれの画素値の平均値を求めることで、ダウンサンプリングした４０×３０画素のサンプリングポイントを有するＲ、Ｇ、Ｂそれぞれの画素データを得る。

この４０×３０画素のサンプリングポイントに対して、色度値（Ｒ／Ｇ，Ｂ／Ｇ）を求め、各サンプリングポイントの色度値を、例えば、図４に示す色度図上にプロットする。そして、例えば、図４に示すような、色度図上での各種の光源の色温度エリア判定基準を用いて、全てのサンプリングポイントの色度値をプロットした点について光源の色温度のエリア判定を行い、各光源の色温度エリアに属するプロットした点の個数を集計する。集計した各光源の色温度エリアに属するプロットした点の個数の大小の順位から、例えば、次の表１に示すような条件に従い、当該ブロックの光源の色温度を推定する。

エリア色温度推定部１２は、３６個のブロック全てに対して、上記方法を用いて光源の色温度の推定を行う。これにより、画像全体に対して、例えば、図５に示すような光源の色温度の推定結果が得られる。

このようにして全てのブロックの光源の色温度を推定した場合、実際の目視結果と比べて、エリア色温度推定部１２が推定した大半のブロックにおける光源の色温度は、正しいものとなるが、一部のブロックでは間違ったものとなりうる。例えば、図５の例における（１，４）ブロックの画像は、殆どの被写体が室外の芝生であるため、光源の色温度を蛍光灯（“Ｃ”）に間違えて推定されている。ブロックのサイズが小さいと、局所的に同じ色の被写体になり易く、その結果、エリア色温度推定部１２による光源の色温度の推定も間違い易くなる。

エリア色温度推定部１２による全てのブロックに対する光源の色温度の推定処理が終了後、エリア色温度調整部１３が、図５に示した推定された光源の色温度に対して、例えば、図６に示すように、画面の左上から右下までスキャンしながら、当該ブロックとその周辺の縦横３×３の範囲内に位置するブロックの推定された光源の色温度と比較することによって、当該ブロックの推定された光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該ブロックの周辺の縦横３×３の範囲内に位置するブロックの推定された光源の色温度に基づき、当該ブロックの推定された光源の色温度を調整する（ステップＳ４）。

エリア色温度調整部１３による、当該ブロックの推定された光源の色温度の調整は、詳しくは、例えば、次のような調整基準に従って行う。
例えば、当該エリアの推定された光源の色温度が、当該エリアに隣接するエリアの推定された光源の色温度のいずれかと異なる場合に、当該エリアの推定された光源の色温度に対する調整が必要であると判定し、当該エリアの推定された光源の色温度を当該エリアに隣接するエリアの推定された光源の色温度の多数値に修正する（調整基準１）。
また、例えば、当該エリアの推定された光源の色温度が、当該エリアに隣接するエリアの推定された光源の色温度のいずれとも異なる場合に、当該エリアの推定された光源の色温度に対する調整が必要であると判定し、当該エリアの推定された光源の色温度を当該エリアに隣接するエリアの推定された光源の色温度の多数値に修正する（調整基準２）。
また、例えば、当該エリアの推定された光源の色温度が、当該エリアに隣接する上、下、左、右のエリアの推定された光源の色温度のいずれとも異なる場合に、当該エリアの推定された光源の色温度に対する調整が必要であると判定し、当該エリアの推定された光源の色温度を当該エリアに隣接する上、下、左、右のエリアの推定された光源の色温度の多数値に修正する（調整基準３）。
なお、本実施形態においては、便宜上、エリア色温度調整部１３は、調整基準３に従って当該ブロックの色温度の推定された光源の色温度の調整・修正を行うように構成されているものとする。

図６の例において、エリア色温度調整部１３は、(４，１)のブロックの推定された光源の色温度が“Ｄ”（ミックス光）となっているが、その上下左右のブロックの推定された光源の色温度が全て“Ｄ”（ミックス光）と異なる“Ｂ”（日陰）であるため、(４，１)のブロックの光源の色温度の推定が間違っているものと判断し、（４，１）のブロックの推定された光源の色温度に対する調整が必要であると判定する。そして、上下左右のブロックの推定された光源の色温度の多数値が“Ｂ”（日陰）であるため、エリア(４，１)の色温度“Ｄ”（ミックス光）を“Ｂ”（日陰）に修正する。
また、エリア色温度調整部１３は、(２，３)のブロックの推定された光源の色温度が“Ｂ”（日陰）となっているが、その上下左右のブロックの推定された光源の色温度が全て“Ｂ”（日陰）と異なる“Ａ”（日向）であるため、(２，３)のブロックの光源の色温度の推定が間違っているものと判断し、（２，３）のブロックの推定された光源の色温度に対する調整が必要であると判定する。そして、上下左右のブロックの推定された光源の色温度の多数値が“Ａ”（日向）であるため、エリア(２，３)の色温度“Ｂ”（日陰）を“Ａ”（日向）に修正する。
また、エリア色温度調整部１３は、(０，４)のブロックの推定された光源の色温度が“Ｄ”（ミックス光）となっているが、その上下左右のブロックの推定された光源の色温度が全て“Ｄ”と異なるため、(０，４)のブロックの光源の色温度の推定が間違っているものと判断し、（０，４）のブロックの推定された光源の色温度に対する調整が必要であると判定する。そして、上下左右のブロックの推定された光源の色温度の多数値が“Ａ”（日向）であるため、エリア(０，４)の色温度“Ｄ”（ミックス光）を“Ａ”（日向）に修正する。
また、エリア色温度調整部１３は、(１，４)のブロックの推定された光源の色温度が“Ｃ”（蛍光灯）となっているが、その上下左右のブロックの推定された光源の色温度は、全て“Ｃ”（蛍光灯）と異なるため、(１，４)のブロックの光源の色温度の推定が間違っているものと判断し、（１，４）のブロックの推定された光源の色温度に対する調整が必要であると判定する。そして、上下左右のブロックの推定された光源の色温度の多数値が“Ａ”（日向）であるため、エリア(１，４)の色温度“Ｃ”（蛍光灯）を“Ａ”（日向）に修正する。
その結果、画像全体の光源の色温度が図７に示すように調整される。

ところで、撮影する被写体によっては、撮影画面内に局所的に高彩度の照射エリアが存在する場合が起こりえる。
そのような場合におけるエリア色温度調整部１３による当該ブロックの色温度の推定された光源の色温度の調整・修正の一例を図８及び図９を用いて説明する。
図８の例では、局所的に高彩度被写体のエリアがあるため、エリア（４，１）や、エリア（０，４）の色温度の推定ができない。図８の例では、これらの光源の色温度を推定できないエリアを未知の色温度“Ｘ”とする。
続いて、図６の例と同様に、画面の左上から右下までスキャンするように、当該ブロックとその上下左右の４つのブロックの推定された光源の色温度と比較することで、当該ブロックの推定された光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該ブロックの上下左右の４つのブロックの推定された光源の色温度に基づき、当該ブロックの推定された光源の色温度を調整・修正する。その結果、画像全体の光源の色温度が図９のよう出力される。

エリア色温度調整部１３による推定された光源の色温度の調整の後、ＷＢゲインマップ生成部１４が、図７に示す調整された各ブロックの光源の色温度に基づき、図示しない予め決められている光源の色温度に対応するＲ、Ｂのゲインのデータを参照にして、Ｒ、Ｂに対応するＷＢ補正ゲインマップを生成する（ステップＳ５）。ＷＢゲインマップ生成部１４が生成したＷＢ補正ゲインマップは、ゲインマップ記憶部１５に記憶（保存）される（ステップＳ６）。

そして、ＷＢゲイン補正部１６が、入力画像の位置に対応して、それぞれの色の画素値にゲインマップ記憶部１５を入力して得たゲインをかけることにより、ホワイトバランスを補正し、画像を出力する。

本実施形態のマルチエリアホワイトバランス制御装置１及びマルチエリアホワイトバランス制御方法によれば、推定した、当該エリアの光源の色温度と当該エリアに隣接するエリアの光源の色温度との比較に基づき、当該エリアの推定した光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該エリアに隣接するエリアの推定した光源の色温度に基づき、当該エリアの推定した光源の色温度を調整するようにしたので、推定した当該エリアの色温度が間違っていても、当該エリアの推定した光源の色温度をより適正な色温度に調整することができる。その結果、各エリアの適正な色温度に調整された光源の色温度に基づいて、入力画像全体のホワイトバランス補正ゲインマップを生成でき、生成したホワイトバランス補正マップに基づいて入力画像全体のホワイトバランスを補正したときに、入力画像全体における当該エリアの色のバランスが適正に保たれ、違和感のない色再現を実現することができる。

なお、本実施形態のマルチエリアホワイトバランス画像処理装置１０においては、エリア分割手段としての画像エリア分割部１１が、入力画像を縦横夫々の直線で区切られた形状及び面積の等しいブロックに分割した例で説明したが、本発明のマルチエリアホワイトバランス画像処理装置におけるエリア分割手段が分割する各エリアの形状・大きさは本実施形態に限定されるものではなく、例えば、三角形状、湾曲形状等どのような形状でもよいし、各エリアの大きさが異なっていてもよい。

また、本実施形態のマルチエリアホワイトバランス制御装置１においては、エリア推定光源色温度調整手段としてのエリア色温度調整部１３が当該ブロックの色温度の推定された光源の色温度の調整を行う際に用いる調整基準として、調整基準１〜３を示したが、調整基準は、これらに限定されるものではなく、例えば、次の調整基準４〜６を用いても良い。
例えば、当該エリアの推定された光源の色温度が、当該エリアに隣接するエリアの推定された光源の色温度のいずれかと異なる場合に、当該エリアの推定された光源の色温度に対する調整が必要であると判定し、当該エリアの推定された光源の色温度を当該エリアに隣接するエリアを含む、当該エリアを基準とする所定半径範囲内のエリアの推定された光源の色温度の多数値に修正する（調整基準４）。
また、例えば、当該エリアの推定された光源の色温度が、当該エリアに隣接するエリアの推定された光源の色温度のいずれとも異なる場合に、当該エリアの推定された光源の色温度に対する調整が必要であると判定し、当該エリアの推定された光源の色温度を当該エリアに隣接するエリアを含む、当該エリアを基準とする所定半径範囲内のエリアの推定された光源の色温度の多数値に修正する（調整基準５）。
また、例えば、当該エリアの推定された光源の色温度が、当該エリアに隣接する上、下、左、右のエリアの推定された光源の色温度のいずれとも異なる場合に、当該エリアの推定された光源の色温度に対する調整が必要であると判定し、当該エリアの推定された光源の色温度を当該エリアに隣接する上、下、左、右のエリアを含む、当該エリアを基準とする所定半径範囲内のエリアの推定された光源の色温度の多数値に修正する（調整基準６）。

さらに、本実施形態のマルチエリアホワイトバランス画像処理装置１０は、コンピュータを画像エリア分割部１１（エリア分割手段）、エリア色温度推定部１２（エリア光源色温度推定手段）、エリア色温度調整部１３（エリア推定光源色温度調整手段）、ＷＢゲインマップ生成部１４（ホワイトバランス補正ゲインマップ生成手段）、ＷＢゲイン補正部１６（ホワイトバランス処理手段）として機能させるためのマルチエリアホワイトバランス画像処理プログラムを内蔵するハードディスクに記録したコンピュータで構成してもよい。
さらに、あるいは、本実施形態のマルチエリアホワイトバランス画像処理装置１０は、コンピュータを画像エリア分割部１１（エリア分割手段）、エリア色温度推定部１２（エリア光源色温度推定手段）、エリア色温度調整部１３（エリア推定光源色温度調整手段）、ＷＢゲインマップ生成部１４（ホワイトバランス補正ゲインマップ生成手段）、ＷＢゲイン補正部１６（ホワイトバランス処理手段）として機能させるためのマルチエリアホワイトバランス画像処理プログラムを記録した、例えば、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な媒体で構成してもよい。

本発明のマルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置は、複数の異種光源により撮影を行った所謂ミックス光源画像のホワイトバランスを補正することが求められる分野に有用である。

１ マルチエリアホワイトバランス制御装置
１０ マルチエリアホワイトバランス画像処理装置
１１ エリア分割手段（画像エリア分割部）
１２ エリア光源色温度推定手段（エリア色温度推定部）
１３ エリア推定光源色温度調整手段（エリア色温度調整部）
１４ ホワイトバランス補正ゲインマップ生成手段（ＷＢゲインマップ生成部）
１５ ゲインマップ記憶部
１６ ホワイトバランス処理手段（ＷＢゲイン補正部）
２１ レンズ
２２ イメージセンサ
２３ 画像記憶部

Claims (11)

1. 入力画像を複数のエリアに分割するエリア分割手段と、
   前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定するエリア光源色温度推定手段と、
   前記エリア光源色温度推定手段によって推定された、当該エリアの光源の色温度と当該エリアに隣接するエリアの光源の色温度との比較に基づき、当該エリアの推定された光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該エリアに隣接するエリアの推定された光源の色温度に基づき、当該エリアの推定された光源の色温度を調整するエリア推定光源色温度調整手段と、
   前記エリア推定光源色温度調整手段によって調整された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段と
   を有することを特徴とするマルチエリアホワイトバランス制御装置。
2. 前記エリア推定光源色温度調整手段は、前記エリア光源色温度推定手段によって推定された、当該エリアの光源の色温度が、当該エリアに隣接するエリアの推定された光源の色温度のいずれとも異なる場合に、当該エリアの推定された光源の色温度に対する調整が必要であると判定し、当該エリアの推定された光源の色温度を当該エリアに隣接するエリアの推定された光源の色温度の多数値に修正することを特徴とする請求項１に記載のマルチエリアホワイトバランス制御装置。
3. 前記エリア推定光源色温度調整手段は、前記エリア光源色温度推定手段によって推定された、当該エリアの光源の色温度が、当該エリアに隣接する上、下、左、右のエリアの推定された光源の色温度のいずれとも異なる場合に、当該エリアの推定された光源の色温度に対する調整が必要であると判定し、当該エリアの推定された光源の色温度を当該エリアに隣接する上、下、左、右のエリアの推定された光源の色温度の多数値に修正することを特徴とする請求項１に記載のマルチエリアホワイトバランス制御装置。
4. 前記エリア推定光源色温度調整手段は、前記エリア光源色温度推定手段によって推定された、当該エリアの光源の色温度と当該エリアに隣接するエリアを含む、当該エリアを基準とする所定半径範囲内のエリアの光源の色温度との比較に基づき、当該エリアの推定された光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該エリアに隣接するエリアに隣接するエリアを含む、当該エリアを基準とする所定半径範囲内のエリアの推定された光源の色温度に基づき、当該エリアの推定された光源の色温度を調整することを特徴とする請求項１に記載のマルチエリアホワイトバランス制御装置。
5. 前記エリア推定光源色温度調整手段は、前記エリア光源色温度推定手段によって推定された、当該エリアの光源の色温度が、当該エリアに隣接するエリアの推定された光源の色温度のいずれとも異なる場合に、当該エリアの推定された光源の色温度に対する調整が必要であると判定し、当該エリアの推定された光源の色温度を当該エリアに隣接するエリアを含む、当該エリアを基準とする所定半径範囲内のエリアの推定された光源の色温度の多数値に修正することを特徴とする請求項４に記載のマルチエリアホワイトバランス制御装置。
6. 前記エリア推定光源色温度調整手段は、前記エリア光源色温度推定手段によって推定された、当該エリアの光源の色温度が、当該エリアに隣接する上、下、左、右のエリアの推定された光源の色温度のいずれとも異なる場合に、当該エリアの推定された光源の色温度に対する調整が必要であると判定し、当該エリアの推定された光源の色温度を当該エリアに隣接する上、下、左、右のエリアを含む、当該エリアを基準とする所定半径範囲内のエリアの推定された光源の色温度の多数値に修正することを特徴とする請求項４に記載のマルチエリアホワイトバランス制御装置。
7. 請求項１〜６のいずれかに記載のマルチエリアホワイトバランス制御装置と、
   前記マルチエリアホワイトバランス制御装置に備わる前記ホワイトバランス補正ゲインマップ生成手段によって生成された、各エリアのホワイトバランス補正ゲインに基づき、該マルチエリアホワイトバランス制御装置の前記エリア分割手段が分割対象とした前記入力画像全体のホワイトバランス処理を行うホワイトバランス処理手段と
   を備えることを特徴とするマルチエリアホワイトバランス画像処理装置。
8. 請求項７に記載のマルチエリアホワイトバランス画像処理装置を備えた撮像装置。
9. 入力画像を複数のエリアに分割し、
   分割したエリア毎に光源の色温度を推定し、
   推定した、当該エリアの光源の色温度と当該エリアに隣接するエリアの光源の色温度との比較に基づき、当該エリアの推定した光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該エリアに隣接するエリアの推定した光源の色温度に基づき、当該エリアの推定した光源の色温度を調整し、
   調整した各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成
   することを特徴とするマルチエリアホワイトバランス制御方法。
10. マルチエリアホワイトバランス制御装置に備わるコンピュータであって、
    前記コンピュータを、
    入力画像を複数のエリアに分割するエリア分割手段、
    前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定するエリア光源色温度推定手段、
    前記エリア光源色温度推定手段によって推定された、当該エリアの光源の色温度と当該エリアに隣接するエリアの光源の色温度との比較に基づき、当該エリアの推定された光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該エリアに隣接するエリアの推定された光源の色温度に基づき、当該エリアの推定された光源の色温度を調整するエリア推定光源色温度調整手段、
    前記エリア推定光源色温度調整手段によって調整された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段
    として機能させるためのマルチエリアホワイトバランス制御プログラムを記録したコンピュータ。
11. マルチエリアホワイトバランス制御装置に備わるコンピュータが読み取り可能なマルチエリアホワイトバランス制御プログラムであって、
    前記コンピュータを、
    入力画像を複数のエリアに分割するエリア分割手段、
    前記エリア分割手段によって分割されたエリア毎に光源の色温度を推定するエリア光源色温度推定手段、
    前記エリア光源色温度推定手段によって推定された、当該エリアの光源の色温度と当該エリアに隣接するエリアの光源の色温度との比較に基づき、当該エリアの推定された光源の色温度に対する調整の要否を判定し、調整が必要であると判定したときに、当該エリアに隣接するエリアの推定された光源の色温度に基づき、当該エリアの推定された光源の色温度を調整するエリア推定光源色温度調整手段、
    前記エリア推定光源色温度調整手段によって調整された各エリアの光源の色温度に基づき、前記入力画像全体のホワイトバランス補正ゲインマップを生成するホワイトバランス補正ゲインマップ生成手段
    として機能させるためのマルチエリアホワイトバランス制御プログラム。

Images