JP4740602B2

JP4740602B2 - オートホワイトバランス装置及びホワイトバランス調整方法

Info

Publication number: JP4740602B2
Application number: JP2005011109A
Authority: JP
Inventors: 哲司上園
Original assignee: イーストマンコダックカンパニー
Priority date: 2005-01-19
Filing date: 2005-01-19
Publication date: 2011-08-03
Anticipated expiration: 2025-01-19
Also published as: US7705892B2; JP2006203393A; US20060159336A1

Description

本発明は、電子スチルカメラやビデオカメラなどに用いられるオートホワイトバランス装置及びホワイトバランス調整方法に関する。

ビデオカメラやデジタルスチルカメラでは、白い被写体を白く再現するために、オートホワイトバランス調整が行われている。従来のオートホワイトバランス方式としては、画像全体の平均が無彩色となるように各画素の信号のＲＧＢ成分（赤、緑、青の三原色成分）のバランスを調整する方式がよく知られている。しかしながらこの方式では、有彩色が画像の大部分の領域を占めている場合、誤ったホワイトバランス調整を行うことになりやすいという欠点があった。

このような誤ったホワイトバランス調整はカラーフェイリアと呼ばれる。このカラーフェイリアを軽減するオートホワイトバランス調整方式として、特許文献１に示される技術が知られている。この技術では、画像を複数のブロックに分割し、各ブロックのＲＧＢの平均値を計算し、その平均値があらかじめ定めた範囲に属しているブロックのみを抽出する。そして、抽出したブロック群のＲＧＢの平均値が無彩色になるように、ＲＧＢ各成分の調整を行う。

また、カラーフェイリアを軽減する別のオートホワイトバランス方式として、特許文献２に示されるものがある。この方式では、ホワイトバランス調整信号のとりうる値の範囲を制限し、過度のホワイトバランス調整が行われることを避けている。

ところが、これらの方式は、被写体を照明する光源が限定されている場合には効果が得られたが、想定外の光源で照明される場合や複数種類の光源により同時照明される場合などには十分なホワイトバランス調整を行うことができなかった。

そこで、本出願人は、特許文献３にて、改良されたオートホワイトバランス調整装置を提案した。この装置では、画像を複数のブロックに分割し、蛍光灯下で白い対象物を撮影したと判定されるブロック群、太陽光又はタングステン光下で白い対象物を撮影したと判定されるブロック群、画像中で最も明るいブロックに近い色を持つブロック群、をそれぞれ抽出する。そして、それらブロック群のＲＧＢ各成分の平均値を求め、それらをあらかじめ定めた規則に従って混合した値をホワイトバランス調整信号として用いる。この装置では、画像中で最も明るいブロックに近似した色のブロック群のＲＧＢの平均値をホワイトバランス信号に反映させることにより、想定外の光源下や複数種類の光源下でも、適切なホワイトバランス調整を行うことができる。

ただ、特許文献３に記載の方式では、色のみに基づき上記各ブロック群を抽出していたため、各ブロック群の平均値を求める際に暗いブロックの値も用いられていた。画像として現れる色には、物体自体の色と物体を照明する光源の色の双方の影響がある。ここで、暗いブロックは光源の色を反映していない可能性が高いので、暗いブロックの情報をオートホワイトバランスの調整信号に反映させることは、誤差の要因となりかねない。

そこで、本出願人は、特許文献４にて、さらに改良されたオートホワイトバランス調整装置を提案した。この装置では、画像を分割して得られたブロックごとに求めたＲＧＢ各成分の平均値をブロックの代表値として、その代表値に基づき、各ブロックの中から最高輝度のブロックを求め、その最高輝度ブロックの輝度に基づき、輝度閾値を求める。そして、全ブロックのうちこの輝度閾値より高い輝度を持つブロックの代表値に基づいて、ホワイトバランス調整を行う。

特開平５−２９２５３３号公報特開平５−７３６９号公報特開平８−２８９３１４号公報特開２０００−９２５０９号公報

上記の方式では、各ブロックのＲＧＢ各成分の平均値を単純にブロックの代表値として定め、ホワイトバランスを行っている。したがって、例えば、各ブロック内に有彩色のものが存在するときや、ブロック内のＲＧＢの値が一様でない場合、これらの色が混ざり各ブロックの平均値が各ブロックを照らしている光源の色を反映しなくなり、入力された画像に対して適切にホワイトバランスの調整が行えない場合がある。

そこで、本発明は、各ブロック内に有彩色のものが存在するときや、ブロック内のＲＧＢの値が一様でない場合であっても、安定したホワイトバランス調整を行うことができるオートホワイトバランス装置及びホワイトバランス調整方法を提供することを目的とする。

本発明に係るオートホワイトバランス装置は、入力された画像を複数のブロックに分割するブロック分割手段と、分割したブロックごとにブロック内の各色値に基づき、ブロックを代表する輝度及び色差を含む代表値を算出する代表値計算手段と、分割したブロックごとに、ブロックを構成する画素群の中から特徴的な画素を検出する特徴画素検出手段と、ブロックの代表色差と、そのブロックの特徴的な画素の色差とを比較することで、そのブロックの代表値が、入力された画像の光源を反映しているかどうかを、ブロックごとに判定する光源反映判定手段と、前記光源反映判定手段により光源を反映していると判定されたブロックの代表輝度及び代表色差と、前記入力された画像の被写体輝度とを基に、前記画像の光源の色を推定するホワイトバランス評価手段と、推定された光源の色を基に前記画像に施すホワイトバランスゲインを計算するホワイトバランスゲイン計算手段と、計算したホワイトバランスゲインを用いて前記画像に対してホワイトバランス調整を行うホワイトバランス調整手段と、を備える。特徴画素検出手段は、ブロック内の特徴的な画素として、ブロックを構成する画素群の中から最も輝度が高い画素を検出する。あるいは、特徴画素検出手段は、ブロック内の特徴的な画素として、ブロックを構成する画素群の中から最も色差が大きい画素を検出する。

本発明によれば、特徴画素検出手段がブロック内の画素群の中から特徴的な画素を検出し、光源反映判定手段がそのブロックの特徴的な画素の色差とブロックの代表色差とを比較することで、そのブロックの代表値が入力された画像の光源を反映しているかどうかをブロックごとに判定する。そして、その判定の結果、光源を反映していると判定されたブロックのみが画像の光源判定に用いられる。よって、ブロックの代表値による光源の推定がより正確に行うことができ、さらに安定したホワイトバランスの調整を行うことができる。

また、本発明に係るホワイトバランス調整方法は、撮像された画像に対してホワイトバランス調整を行うホワイトバランス調整方法であって、入力された画像を複数のブロックに分割するブロック分割ステップと、分割したブロックごとにブロック内の各色値に基づき、ブロックを代表する輝度及び色差を含む代表値を算出する代表値計算ステップと、分割したブロックごとに、ブロックを構成する画素群の中から特徴的な画素を検出する特徴画素検出ステップと、ブロックの代表色差と、そのブロックの特徴的な画素の色差とを比較することで、そのブロックの代表値が、入力された画像の光源を反映しているかどうかを、ブロックごとに判定する光源反映判定ステップと、前記光源反映判定ステップで、光源を反映していると判定されたブロックの代表輝度及び代表色差と、前記入力された画像の被写体輝度とを基に、前記画像の光源の色を推定するホワイトバランス評価ステップと、推定された光源の色を基に前記画像に施すホワイトバランスゲインを計算するホワイトバランスゲイン計算ステップと、計算したホワイトバランスゲインを用いて前記画像に対してホワイトバランス調整を行うホワイトバランス調整ステップと、を含む。前記特徴画素検出ステップでは、ブロック内の特徴的な画素として、ブロックを構成する画素群の中から最も輝度が高い画素を検出する。あるいは、特徴画素検出ステップでは、ブロック内の特徴的な画素として、ブロックを構成する画素群の中から最も色差が大きい画素を検出する。

以下、本発明の実施の形態（以下、実施形態という）について、図面を用いて説明する。

図１は、本実施形態のオートホワイトバランス装置１０の構成を示す機能ブロック図である。このオートホワイトバランス装置１０は、典型的には電子スチルカメラやビデオカメラなどのカメラ装置に組み込まれる。このオートホワイトバランス装置１０は、カメラ装置の撮像装置２０から入力された画像からホワイトバランス調整のためのゲインを計算し、そのゲインに基づいて入力された画像に対してホワイトバランスの調整を行う。

本実施形態では、入力された画像を複数のブロックに分割して、そのブロックごとにそのブロック内の各色値（Ｒ，Ｇ，Ｂ）の平均値を算出し、その平均値に基づいて、そのブロックを代表する輝度（Ｌ）及び色差（ｕ，ｖ）を算出する。そして、算出した各ブロックの代表輝度に基づいて入力画像の光源の色を推定し、その推定結果に応じてホワイトバランス調整を行う。本実施形態では、代表輝度及び代表色差が光源の色を反映しているブロックのみを用いて、入力画像の光源の色の推定が行われる。つまり、下記で説明する特徴画素検出回路１０６により検出された特徴画素に基づき、光源反映判定回路１０８が選択したブロックの画像データ、代表輝度及び代表色差が、ホワイトバランス評価回路１１０に入力され、入力画像の光源の推定が行われる。

以下、本装置の各部について詳細に説明する。

＜ブロック分割回路＞
ブロック分割回路１０２は、撮像装置２０から出力される画像信号を所定の画素単位で構成されるブロック単位に分割する。図２は、画像のブロック分割の一例を示す。この例では、１フレームの画像２００は、Ｍ×Ｎ個のブロックに分割される。図３は、各ブロックの画素群の一例を示し、各ブロックは、Ｌ×Ｌ個の画素で構成される。図２及び図３に示したブロック分割は一例であり、これ以外の分割方法を用いても構わない。ブロック分割回路１０２で分割された各ブロックの画像データは、代表値計算回路１０４、特徴画素検出回路１０６、ホワイトバランス調整回路１３０にそれぞれ入力される。

＜代表値計算回路＞
代表値計算回路１０４は、ブロックごとにブロックの平均的な色の特性を示す、輝度及び色差を計算する。本実施形態では、この輝度及び色差をそれぞれ、代表輝度及び代表色差と呼び、さらに代表輝度及び代表色差を含めて代表値と呼ぶ。この代表輝度及び代表色差の計算方式は以下の通りである。

代表値計算回路１０４は、まず１ブロックの全画素の画素値の平均値を求める。例えば、撮像装置２０の画像信号がＲＧＢ（赤、緑、青）で表現されている場合、代表値計算回路１０４は、各画素の各ＲＧＢ値をＲＧＢの成分について全画素にわたって平均する。次に、代表値計算回路１０４は、その平均値を、輝度（Ｌ）及び２つの色差成分（ｕ，ｖ）の組（Ｌ，ｕ，ｖ）の線形変換する。この変換式は次式で表される。
なお、変換に用いる変換行列は、撮像装置２０の入力色特性に依存するものであり、式（１）に示したものはその一例にすぎない。また、画像信号がＲＧＢ以外の表色系で表されている場合は、その表色系に応じた変換行列を用いて輝度及び色差成分を求めればよい。また、上記の処理では、ブロックの代表輝度及び代表色差を求めるに当たり、ブロックを構成する全画素のＲＧＢ値の平均を計算することで行ったが、この代わりにブロックの画素の中からあらかじめ定められたサンプリング規則に従って抽出した画素の平均を用いるように構成してもよい。

このような処理が１画像を構成するブロックごとに行われ、求められた各ブロックの代表輝度及び代表色差（Ｌ１，ｕ１，ｖ１）は、光源反映判定回路１０８に入力される。

＜特徴画素検出回路＞
特徴画素検出回路１０６は、ブロックごとにブロックを構成する画素群の中から特徴的な画素を検出する。ここで、特徴的な画素とは、代表値が光源の色に近い色か否かを判定するための基準となる画素のことをいい、本実施形態では、画素群のうち最大の輝度（Ｌ０）を持つ画素、もしくは最大の色差（ｕ０，ｖ０）を持つ画素、すなわち、
が最大の画素を特徴的な画素と定義する。そして、特徴画素検出回路１０６は、まずブロックを構成する全画素について、式１により輝度（Ｌ）及び色差（ｕ，ｖ）を計算する。次いで、その中から、最大の輝度（Ｌ０）を持つ画素、もしくは最大の色差（ｕ０，ｖ０）を持つ画素を抽出する。

輝度が高い画素は、一般に光源の色を反映する傾向があるため、輝度が最大である画素は無彩色である可能性が高く、その画素は光源の色に近い画素である可能性が高い。一方、色差が大きい画素は、入力画像の被写体の色を反映する傾向にあるため、色差が最大である画素は被写体の色に近い画素である可能性が高く、光源の色に近い画素ではない可能性が高い。よって、本実施形態では、このような画素を基準として、代表値が光源の色を反映しているか否かの判定を行う。なお、本実施形態では、特徴的な画素として、最大の輝度もしくは最大の色差を持つ画素をそれぞれ検出している。しかし、何れか一方の条件を満たす画素のみを特徴的な画素として定義して、特徴的な画素の検出を行っても構わない。

＜光源反映判定回路＞
光源反映判定回路１０８は、特徴画素検出回路１０６で抽出された特徴画素の色差（ｕ０，ｖ０）と、その特徴画素に対応する代表色差（ｕ１，ｖ１）とを比較することで、代表値計算回路１０４で求めた各ブロックの代表輝度及び代表色差が光源の色を反映しているか否かを判定し、光源の色を反映しているブロックに関するデータのみをホワイトバランス評価回路１１０に入力する。具体的には、図４に示すように、特徴画素の色差（ｕ０，ｖ０）及び代表色差（ｕ１，ｖ１）を（ｕ，ｖ）平面（色差空間）上でベクトル表現して、ベクトルＴ０とベクトルＴ１とのなす角θ及びベクトルＴ０とベクトルＴ１とのスカラー比Ｒに基づいて、以下に示す条件式により光源の色を反映しているか否かを判定する。

≪輝度（Ｌ）が最大の画素≫
輝度（Ｌ）が最大の画素を特徴画素として検出する場合は、
の条件を満たせば、そのブロックの代表輝度及び代表色差は、そのブロックの光源の色を反映していると判定する。逆に、上記条件を満たさなければ、そのブロックの代表輝度及び代表色差は、そのブロックの光源の色を反映していないと判定する。

≪色差（ｕ，ｖ）が最大の画素≫
色差（ｕ，ｖ）が最大の画素を特徴画素として検出する場合は、
の条件を満たせば、そのブロックの代表輝度及び代表色差は、そのブロックの光源の色を反映していないと判定する。一方、上記の条件を満たさなければ、そのブロックの代表輝度及び代表色差は、そのブロックの光源の色を反映していると判定する。

なお、α、β₁〜β₄は、実験などであらかじめ求めた定数であり、例えば、α＝０．９、β₁＝０．８、β₂＝１．２、β₃＝０．８、β₄＝１．２とする。

このようにして、光源反映判定回路１０８は、代表値計算回路１０４で求めた各ブロックの代表輝度及び代表色差が光源の色を反映しているか否かをそれぞれ判定し、光源の色を反映していないと判定されたブロックの画像データについては破棄する。そして、光源反映判定回路１０８が光源の色を反映していると判定されたブロックに関するデータ（画像データ、代表輝度、代表色差）については、ホワイトバランス評価回路１１０に入力される。以下、ブロックの識別番号をｉ（ｉ＝１，２，…，ｎ：ｎは画像の総ブロック数）とし、ｉ番目のブロック（ブロックｉと記す）の代表輝度及び代表色差を（Ｌi，ｕi，ｖi）と表現する。

このように、本実施形態では、ホワイトバランス評価回路１１０に入力されるブロックの代表輝度及び代表色差が、光源反映判定回路１０８で光源の色を反映していると判定されたブロックの代表輝度及び代表色差のみであるため、ブロックの代表輝度及び代表色差による光源の推定をより正確に行うことができ、さらに安定したホワイトバランスの調整を行うことができる。

＜ホワイトバランス評価回路＞
ホワイトバランス評価回路１１０は、光源反映判定回路１０８で光源の色を反映していると判定されたブロックに関するデータ（画像データ、代表輝度、代表色差など）が入力され、それらのデータに基づいて入力画像の光源の推定を行う。

＜ホワイトバランスゲイン計算回路＞
ホワイトバランスゲイン計算回路１２０は、推定された光源の色を元に入力画像に施すホワイトバランスゲインを計算する。

＜ホワイトバランス調整回路＞
ホワイトバランス調整回路１３０は、計算して得られたホワイトバランスゲインに基づいて、入力画像に対してホワイトバランスの調整を行う。

ここで、ホワイトバランス評価回路１１０、ホワイトバランスゲイン計算回路１２０、ホワイトバランス調整回路１３０について、より詳細に説明する。

図５は、本実施形態のオートホワイトバランス装置１０の構成を示す機能ブロック図であり、ホワイトバランス評価回路１１０をより詳細に示した機能ブロック図である。なお、下記に示す処理手順は、一例であり、ブロックの代表輝度及び代表色差に基づいて、入力画像の光源の推定を行い、その推定結果に基づいてホワイトバランスの調整を行うものであれば、他の処理手順を用いてもよい。

＜分散係数計算回路＞
分散係数計算回路１１１は、光源反映判定回路１０８にて代表値が光源の色を反映していると判定された各ブロックの画像データを受け取り、それらのブロックの分散係数Ｃｖを求める。分散係数Ｃｖは、後述するブロック信頼度の補正のための係数であり、当該ブロックの画素値の分散に応じて決まる。ブロックｉの分散係数をＣｖiと表す。

分散係数計算回路１１１は、まずブロックの画素群の中からあらかじめ定めた方法で画素をサンプリングし、それらサンプリングした画素群の画素値の分散を求める。この場合、分散係数計算回路１１１は、例えば、Ｒ，Ｇ，Ｂの各成分についてサンプリングした画素群における分散を求め、これら各成分の分散を例えば平均するなどして全体的な分散値を求める。そして、分散係数計算回路１１１は、このようにして求めた分散値に基づき分散係数を求める。分散係数Ｃｖは、あらかじめ用意した関数を用いて求める。図６は、この関数の一例のグラフである。図６に示すように、分散係数計算回路１１１では、分散値が大きくなるほど、それに対応する分散係数が小さくなるような関数を用いる。この関数は、例えば分散係数計算回路１１１内にあらかじめ登録されている。

＜飽和係数計算回路＞
飽和係数計算回路１１２は、光源反映判定回路１０８にて代表値が光源の色を反映していると判定された各ブロックの画像データを受け取り、それらのブロックの飽和係数Ｃｓを求める。飽和係数Ｃｓは、後述するブロック信頼度の補正のための係数であり、当該ブロックにおける飽和画素の数に応じて決まる。飽和画素とは、画素値の１以上の成分（例えばＲ、Ｇ、またはＢ）が、その成分の上限値（例えば８ビット表現ならば２５５）に達している画素をいう。ブロックｉの飽和係数をＣｓiと表す。

飽和係数計算回路１１２は、まずブロックの中の飽和画素の数をカウントし、このカウント結果から飽和係数を求める。飽和係数Ｃｓは、あらかじめ用意した関数を用いて求める。図７は、この関数の一例のグラフである。図７に示すように、飽和係数計算回路１１２では、飽和画素数が大きくなるほど、それに対応する飽和係数が小さくなるような関数を用いる。ここで用いる関数は、例えば飽和係数計算回路１１２内にあらかじめ登録されている。

分散係数計算回路１１１及び飽和係数計算回路１１２で求められた分散係数及び飽和係数は、信頼度修正回路１１４に入力される。

＜ブロック信頼度計算回路１１３＞
ブロック信頼度計算回路１１３は、光源反映判定回路１０８にて代表値が光源の色を反映していると判定された各ブロックに対して、あらかじめ各想定光源について、その光源がそのブロックを照明している信頼度（ブロック信頼度と呼ぶ）を求める。あるブロックについてのブロック信頼度は、各想定光源について求められる。以下、この処理を詳しく説明する。

本実施形態では、光源として、太陽光、タングステン光（例えば白熱灯など）、蛍光灯光を想定する。これらは、一般ユーザの写真撮影やビデオ撮影における照明光源として一般的なものである。更に、本実施形態では、太陽光を昼光（昼間の日なたの光）と日陰光（昼間の日陰の光）とに分けて取り扱う。日なたと日陰では、同じ太陽光の影響下であっても、前者は色温度が比較的低く（赤っぽい）、後者は色温度が比較的高い（青っぽい）という違いがある。したがって、両者を一括して取り扱ったのでは、日なた、日陰とも中途半端なホワイトバランスになるおそれがあり、更に、日なたの部分と日陰の部分が混在するシーンで柔軟なホワイトバランスのコントロールが困難になる。そこで本実施形態では、昼光と日陰光とを別の光源として区別して取り扱うことにより、そのような問題を解決している。結局、本実施形態では、昼光、日陰光、タングステン光、蛍光灯光の４種類の光源を想定することになる。

ブロック信頼度計算回路１１３は、これら各想定光源について、その光源下での白色物体の色の色差成分（以下、その光源の典型色差と呼ぶ）と、ブロックの代表値の色差成分（ｕ，ｖ）との距離Ｄを求める。ここで、光源の識別番号をｊ（ｊ＝１，２，…，ｍ：ｍは想定光源の個数であり、本実施形態ではｍ＝４である）とし、識別番号ｊの光源を光源ｊと表現する。ここでは、便宜上光源１を昼光、光源２を日陰光、光源３をタングステン光、光源４を蛍光灯光とする。ブロックｉの代表値の色差成分（ｕi，ｖi）と光源ｊの典型色差（Ｕj，Ｖj）との距離Ｄijは、例えば次式に従って求める。
Ｄij=ｄ11*(ｕi−Ｕj)²+ｄ12*(ｕi−Ｕj)*(ｖi−Ｖj)+ｄ22*(ｖi−Ｖj)²…（２）

ここで、ｄ11、ｄ12、ｄ22はそれぞれ所定の定数である。各想定光源について、その特性に合わせてこれら定数ｄ11、ｄ12、ｄ22の組を選択することにより、光源特性にあった適切な距離を定義できる。この場合、それら定数の値は、各想定光源について、実験などであらかじめ求め、ブロック信頼度計算回路１１３又はカメラに設けられた記憶装置（ＲＯＭなど。図示省略）に記憶しておく。また、距離の定義には、上記式（２）以外のものを用いることも可能である。この場合、各想定光源について、その特性に応じた異なる距離の定義式を用いることも可能である。以上の距離Ｄの計算が、１つのブロックｉに対し、全想定光源ｊについて行われる。

次にブロック信頼度計算回路１１３は、求めた距離Ｄijから、ブロックｉが光源ｊにより照明されている信頼度Ｒｄijを求める。この信頼度Ｒｄijは、色差の観点から見た信頼度である。信頼度Ｒｄijは、あらかじめ定めた関数ｆを用いて距離Ｄijから求める。光源の種類によって、距離Ｄと信頼度Ｒｄとの関係が異なるので、この関数ｆは各光源ｊについて個別に用意することが好適である。光源ｊについての信頼度関数をｆjと表すと、ブロックｉが光源ｊにより照明されている信頼度Ｒｄijは次式により求められる。
Ｒｄij＝ｆj（Ｄij）・・・（３）

図８に信頼度関数ｆjの一例を示す。図８に示すように、関数ｆjは、距離Ｄijが大きくなるに従って値が減少する関数である。この関数を距離に関して連続的に変化する関数とすることにより、二値的な弁別結果をベースにしたことによる従来技術の問題を回避できる。各想定光源についての信頼度関数ｆjは、あらかじめ実験等により求め、装置内に記憶しておく。

また、ブロック信頼度計算回路１１３は、このようにして求めた色差の観点からの信頼度Ｒｄに対し、輝度の観点からの修正を加える。これは、蛍光灯下での白い物体の明るさの分布、直射日光（昼光）下での白い物体の明るさの分布、日陰での白い物体の明るさの分布、などがそれぞれ異なるためである。したがって、ブロックｉの輝度（明るさ）Ｌiに応じて、ブロックｉが光源ｊにより照明されている可能性を求めることができる。ここでは、この可能性を係数として、前に求めた色差に基づく信頼度Ｒｄを修正する。

このため、ブロック信頼度計算回路１１３は、ブロックｉごとに、輝度の観点から見てそのブロックｉが光源ｊで照明されている可能性を示す輝度係数Ｃｌijを求める。輝度係数Ｃｌijは、光源ｊについてあらかじめ定められた関数ｇjに、ブロックiの輝度Ｌiを適用することにより求められる。すなわち、
Ｃｌij＝ｇj（Ｌi）・・・（４）

図９に関数ｇjの一例を示す。関数ｇjは、輝度Ｌiの関数であり、この例は輝度が大きくなるほど係数Ｃｌは大きくなるものを示している。これは明るい物ほど光源の影響を受けている可能性が高いことを考慮したものである。この関数を輝度に関して連続的に変化する関数とすることにより、ホワイトバランスに対するブロック輝度Ｌiの影響を滑らかなものとすることができる。これは、ホワイトバランスの挙動の安定化に役立つ。なお、この輝度係数の特性は、光源ｊの種類によって異なる。各光源についての輝度係数関数ｇjは、あらかじめ実験等により求め、装置内に記憶しておく。

そして、ブロック信頼度計算回路１１３は、色差に基づく信頼度Ｒｄに輝度係数Ｃｌを乗じることにより、信頼度Ｒijを求める。信頼度Ｒijは、色差及び輝度の両方の観点から見て、ブロックｉが光源ｊで照明されている可能性を示す値である。すなわち、信頼度Ｒijは、
Ｒij＝Ｃｌij*Ｒｄij・・・（５）
により求められる。

ブロック信頼度計算回路１１３は、以上の処理を光源反映判定回路１０８にて代表値が光源の色を反映していると判定された全てのブロックｉに対して、全ての想定光源ｊについて実行する。求められた信頼度Ｒijの情報は、信頼度修正回路１１４に入力される。

＜信頼度修正回路＞
信頼度修正回路１１４は、ブロックｉに対する光源ｊの信頼度Ｒijを、当該ブロックｉについての前述の分散係数Ｃｖi及び飽和係数Ｃｓiと、当該ブロックｉの画像全体の中での位置によって決まる位置係数Ｃｐiとにより信頼度Ｒijを補正する。具体的には、これら係数を信頼度Ｒijにかけることにより、信頼度を修正する。修正された信頼度（修正信頼度と呼ぶ）Ｒｍijとすると、
Ｒｍij＝Ｃｖi*Ｃｌi*Ｃｐi*Ｒij・・・（６）
である。

ここで、位置係数Ｃｐiは、ブロックｉが画像の中央に近いほど大きい値になるようにあらかじめ定めておく。これは、一般に、画像の中央に近いブロックほど画像の中での重要度が高いと考えられるからである。位置的に見て重要度の高いブロックに対し高い位置係数を与えることにより、重要度の高いブロックの色がホワイトバランス制御により強く反映されることになる。図１０は、位置係数の設定例を示す図である。この例では、画像中央部のブロック２１０−１には位置係数として１．０、画像周縁部のブロック２１０−２には位置係数として０．５が与えられている。これら位置係数は、装置内にあらかじめ記憶されている。

また、この修正処理では、分散係数Ｃｖi、飽和係数Ｃｓiも考慮している。これには次のような意義がある。

まず、分散係数Ｃｖiは、前述のように、ブロックｉ内での画素値の分散が大きくなるほどその値が小さくなるように定められている。したがって、ブロックｉの分散が大きいほど分散係数Ｃｖiは小さくなり、この結果修正信頼度Ｒｍijの値も小さくなる。このような修正を行うのは、ブロックｉの画素値の分散が大きいほど、そのブロックの代表値（Ｌi，ｕi，ｖi）から求めた信頼度Ｒij自体の信頼性が低いと考えられるためである。分散が大きいほどそのブロックの各画素値のばらつきが大きいので、その画素値から求めた代表値がそのブロックの色の傾向（すなわち照明の傾向）を表している可能性が低いと考えられる。したがって、そのような信頼性の低い代表値から求めた信頼度Ｒijは、信頼性が低いと考えられるので、その信頼度Ｒijのホワイトバランスへの影響を小さくするために、分散係数Ｃｖiの値を小さくする。

また、飽和係数Ｃｓiは、前述のように、ブロックｉ内での飽和画素の数が大きくなるほどその値が小さくなる。したがって、ブロックｉ内の飽和画素数が多いほど飽和係数Ｃｓiは小さくなり、この結果信頼度Ｒijは小さい値に修正されることになる。このような修正を行うのは、ブロックｉの飽和画素数が大きいほど、そのブロックの代表値（Ｌi，ｕi，ｖi）から求めた信頼度Ｒij自体の信頼性が低いと考えられるためである。飽和画素は、ＲＧＢ各成分の上限値を超える部分がカットされている可能性があるので、対象物の正しい色を表していないおそれがある。したがって、飽和画素が多いほど、ブロックの代表値がそのブロックの色の傾向（したがって照明の傾向）を表している可能性が低くなると考えられる。そのような信頼性の低い代表値から求めた信頼度Ｒijは、それ自体信頼性が低いと考えられるので、ここでは、その信頼度Ｒijのホワイトバランスへの影響を小さくするために、飽和係数Ｃｓiの値を小さくするのである。

信頼度修正回路１１４では、光源反映判定回路１０８にて代表値が光源の色を反映していると判定された全てのブロックｉに対して、全ての想定光源ｊについて実行される。求められた修正信頼度Ｒｍijは全体信頼度計算回路１１５及び光源寄与計算回路１１６に入力される。

＜全体信頼度計算回路＞
全体信頼度計算回路１１５は、光源ｊの画像全体への信頼度（全体信頼度と呼ぶ）Ｒｔjを計算する。全体信頼度計算回路１１５は、各ブロックｉの修正信頼度Ｒｍijを光源反映判定回路１０８にて代表値が光源の色を反映していると判定されたブロックについて総和することにより、全体信頼度Ｒｔijを求める。すなわち、
Ｒｔj＝ΣＲｍij（ただしΣはｉ＝１〜ｎについての総和）・・・（７）
である。

＜光源寄与計算回路＞
光源寄与計算回路１１６は、画像のシーン全体についての各光源ｊの信頼度、及び各光源ｊの画像全体への寄与成分の推定をする。光源ｊの光源寄与成分は、画像全体の色合いに対して各光源ｊが与えている影響のことであり、言い換えれば、その光源ｊがその画像のシーンを照明することで、その画像に現れると推定される色の傾向である。光源寄与成分は、輝度及び色差の組で表される。ここでは、画像全体に対する光源ｊの寄与成分を（Ｌｃj，ｕｃj，ｖｃj）と表す。

光源寄与計算回路１１６は、光源反映判定回路１０８にて代表値が光源の色を反映していると判定されたブロックについて、各想定光源ｊに対する修正信頼度Ｒｍij、各ブロックの代表値（Ｌi，ｕi，ｖi）、及び各光源の全体信頼度Ｒｔjに基づき、次式に従って光源寄与成分を推定する。
式（８）において、Σはｉ＝１〜ｎ（ｎは、光源反映判定回路１０８にて代表値が光源の色を反映していると判定されたブロックの総ブロック数）についての総和を示す。この計算は、各ブロックｉの輝度及び色差を、それぞれ各ブロックｉの修正信頼度Ｒｍijによって、光源反映判定回路１０８にて代表値が光源の色を反映していると判定された全ブロックにわたって加重平均する処理と等価である。

＜光源寄与修正回路＞
光源寄与修正回路１１７は、上記のとおり当該入力画像のシーン全体に対する各光源ｊの寄与成分が推定された推定値に対して修正を加える。この修正は大きく分けて２段階からなる。

第一段階では、各光源ｊの寄与成分を、各想定光源ｊに対してあらかじめ定められた標準色と加重平均する。光源ｊの標準色は、光源ｊの照明下でのシーンの標準的な色（すなわち輝度及び色差の組）であり、これはあらかじめその光源ｊで各種のシーンを撮影し、それら撮影画像の輝度、色差を集計することで求めておく。各光源ｊの標準色（Ｌｓj，ｕｓj，ｖｓj）は、装置内にあらかじめ記憶しておく。この第一段階の修正処理は、次式で表される。
Ｌｍj＝ｗｓj・Ｌｃj＋（１−ｗｓj）・Ｌｓj ｕｍj＝ｗｓj・ｕｃj＋（１−ｗｓj）・ｕｓj ｖｍj＝ｗｓj・ｖｃj＋（１−ｗｓj）・ｖｓj …（９）
ここで（Ｌｍj，ｕｍj，ｖｍj）は寄与成分の修正結果であり、ｗｓj（ただし０≦ｗs≦１）はあらかじめ定めた重みである。この重みｗｓjは、各光源ｊについてあらかじめ実験等により求めておき、装置内に記憶しておく。

第一段階の修正は、光源寄与成分（Ｌｃj，ｕｃj，ｖｃj）に含まれる物体色の影響を低減するための修正である。画像に現れる色は、光源からの照明光の色（照明色）と物体それ自体の色（物体色）の両方から影響を受ける。ホワイトバランスは照明光の色温度に合わせて白い物が白く見えるように色補正することである。したがって、照明光の色が精度よく推定できれば、精度のよいホワイトバランス調整が行える。しかしながら、実際の画像は、白色以外の物体が数多く含まれたシーンを撮影したものがほとんどであり、画像の色には物体色の影響が多分に含まれている。光源寄与成分と当該光源ｊの標準色とを加重平均することで、光源寄与成分に含まれる物体色の影響を相対的に低減することができ、光源寄与成分をより照明の色に近い値に修正できる。

第二段階では、この第一段階の修正結果（Ｌｍj，ｕｍj，ｖｍj）に対し、被写体輝度を考慮した修正を加える。被写体輝度Ｌｏは、カメラ装置に設けられた被写体輝度検出装置３０にて検出される。この第二段階の修正では光源寄与修正回路１１７は、まず各光源ｊについて個別に修正係数Ｃｏjを求める。修正係数Ｃｏjは、各光源ｊについて個別に用意された関数ｈjに、被写体輝度Ｌｏを適用することにより求める。すなわち、
Ｃｏj＝ｈj（Ｌｏ）・・・（１０）
である。

図１１に被写体輝度に基づく修正関数ｈjの一例を示す。この例では、被写体輝度Ｌｏが大きくなるにつれて修正係数Ｃｏが小さくなっており、被写体輝度がある値を超えると修正係数が０になっている。これは光源が蛍光灯である場合の関数ｈjの一例である。撮影シーンが蛍光灯照明下である場合、シーンが昼間の屋外である場合に比べて被写体が暗い。被写体輝度が非常に大きい場合、画像は屋外のシーンを撮影したものである可能性が高く、蛍光灯照明である可能性は低い。そこで、蛍光灯光源の場合、被写体輝度が高くなるにつれて修正係数Ｃｏが小さい値になるようにしている。タングステン光や日陰光のシーンの場合も、昼光シーンに比べて被写体輝度が低いと考えられるので、被写体輝度がある程度以上高くなると修正係数Ｃｏが小さくなるような関数ｈjを用いる。これら修正関数ｈjは、実験等によりあらかじめ求めておき、装置内に記憶しておく。

そして、光源寄与修正回路１１７は、このようにして求めた修正係数Ｃｏを第一段階の修正結果（Ｌｍj，ｕｍj，ｖｍj）に乗じることにより、最終的な修正結果（Ｌｚj，ｕｚj，ｖｚj）を求める。すなわち、
Ｌｚj＝Ｃｏj・Ｌｍjｕｚj＝Ｃｏj・ｕｍjｖｚj＝Ｃｏj・ｖｍj …（１１）
である。この修正結果（Ｌｚj，ｕｚj，ｖｚj）は、被写体輝度などのパラメータを考慮して修正された光源寄与成分となっている。この修正結果は、照明色推定回路１１８に入力される。

＜照明色推定回路＞
照明色推定回路１１８は、光源寄与修正回路１１７から入力された各光源ｊの光源寄与成分の修正結果（Ｌｚj，ｕｚj，ｖｚj）と、全体信頼度計算回路１１５で求められたシーン全体に対する各光源ｊの全体信頼度Ｒｔjとに基づき、当該画像の撮影シーンを照明する照明の色（照明色）を推定する。この推定は、光源寄与成分の修正結果（Ｌｚj，ｕｚj，ｖｚj）を、各光源ｊの全体信頼度Ｒｔjを重みとして、想定する全光源について加重平均することにより行う。すなわち、照明色を（ＩＬ，Ｉｕ，Ｉｖ）とすると、
式（１２）において、Σは全想定光源ｊについての総和である。すなわち、照明色推定回路１１８は、シーンがそれら想定光源ｊで複合的に照明されているとの仮定の下で、加重平均によりその複合照明の照明色を推定している。この照明色は、その複合照明下での白色物体の色に対応する。求められた照明色（ＩＬ，Ｉｕ，Ｉｖ）は、ホワイトバランスゲイン計算回路１２０に入力される。

＜ホワイトバランスゲイン計算回路＞
ホワイトバランスゲイン計算回路１２０は、受け取った照明色（ＩＬ，Ｉｕ，Ｉｖ）の情報に基づき、ホワイトバランス調整のためのゲイン（Ｒgain，Ｇgain，Ｂgain）を計算する。この計算は、以下の式に基づき行われる。
ＩMax＝ｍａｘ（ＩＲ，ＩＧ，ＩＢ）・・・（１４）
Ｒgain＝ＩMax／ＩＲＧgain＝ＩMax／ＩＧＢgain＝ＩMax／ＩＢ・・・（１５）

（ＩＲ，ＩＧ，ＩＢ）は、照明色のＲＧＢ表現である。求められるホワイトバランスゲイン（Ｒgain，Ｇgain，Ｂgain）は、この色の照明が白色物体で反射されたときの色（すなわち（ＩＲ，ＩＧ，ＩＢ）そのもの）をグレイ（すなわちＲ＝Ｇ＝Ｂ）に補正する値となる。求められたホワイトバランスゲインは、ホワイトバランス調整回路１３０に入力される。

＜ホワイトバランス調整回路＞
ホワイトバランス調整回路１３０は、撮像装置２０から入力された画像の各画素値Ｒ，Ｇ，Ｂに対し、ホワイトバランスゲイン計算回路１２０で求めたゲインＲgain，Ｇgain，Ｂgainをそれぞれ乗じることにより、その画像のホワイトバランスを調整する。したがって、オートホワイトバランス装置１０の出力端子１４０からは、次式、
Ｒout＝Ｒgain*ＲＧout＝Ｇgain*ＧＢout＝Ｂgain*Ｂ・・・（１６）
によって求められた出力（Ｒout，Ｇout，Ｂout）が出力される。

＜オートホワイトバランス装置の処理手順＞
続いて、上記のように構成されたオートホワイトバランス装置１０が行う処理の手順について、図１２にフローチャートを参照して説明する。

まず、ブロック分割回路１０２が、撮像装置２０から出力された画像信号を所定のブロック単位に分割する（Ｓ１０１）。続いて、代表値計算回路１０４が、ブロックごとに代表輝度及び代表色差を計算し（Ｓ１０２）、特徴画素検出回路１０６が、ブロックごとにブロックを構成する画素群の中から特徴的な画素を検出する（Ｓ１０３）。光源反映判定回路１０８は、特徴画素検出回路１０６で抽出された特徴画素の色差（ｕ０，ｖ０）と、その特徴画素に対応する代表色差（ｕ１，ｖ１）とを比較することで、代表値計算回路１０４で求めた各ブロックの代表輝度及び代表色差が光源の色を反映しているか否かを判定する（Ｓ１０４）。

次いで、ブロック信頼度計算回路が、光源反映判定回路１０８にて代表値が光源の色を反映していると判定された各ブロックに対して、あらかじめ想定した各光源について、その光源がそのブロックを照明している信頼度Ｒｉｊを求め（Ｓ１０５）、さらに、信頼度修正回路１１４が、その信頼度Ｒｉｊを、分散係数Ｃｖｉと飽和係数Ｃｓｉと位置係数Ｃｐｉとに基づき修正を行う（Ｓ１０６）。その後、全体信頼度計算回路１１５及び光源寄与計算回路１１６により、画像のシーン全体についての各光源ｊの信頼度及び各光源ｊの画像全体への寄与成分の推定が行われ（Ｓ１０７）、さらに光源寄与修正回路１１７が、各光源ｊの画像全体への寄与成分の修正を行う（Ｓ１０８）。

続いて、照明色推定回路１１８が、光源寄与修正回路１１７から入力された各光源ｊの光源寄与成分の修正結果（Ｌｚj，ｕｚj，ｖｚj）と、全体信頼度計算回路１１５で求められたシーン全体に対する各光源ｊの全体信頼度Ｒｔjとに基づき、当該画像の撮影シーンを照明する照明の色（照明色）を推定する（Ｓ１０９）。ホワイトバランスゲイン計算回路１２０は、照明色推定回路１１８で求められた照明色（ＩＬ，Ｉｕ，Ｉｖ）の情報に基づいて、ホワイトバランス調整のためのゲイン（Ｒgain，Ｇgain，Ｂgain）を計算し（Ｓ１１０）、ホワイトバランス調整回路１３０が、撮像装置２０から入力された画像の各画素値Ｒ，Ｇ，Ｂに対し、ホワイトバランスゲイン計算回路１２０で求めたゲインＲgain，Ｇgain，Ｂgainをそれぞれ乗じることにより、その画像のホワイトバランスを調整する（Ｓ１１１）。

以上、本実施形態によれば、ブロック分割回路１０２で分割して得られたブロック群のうち、光源反映判定回路１０８により選択されたブロックに関するデータのみが、分散係数計算回路１１１、飽和係数計算回路１１２、ブロック信頼度計算回路１１３に入力され、入力画像の光源の推定が行われる。よって、ブロックの代表輝度及び代表色差による光源の推定をより正確に行うことができ、さらに安定したホワイトバランスの調整を行うことができる。

単純にブロック内の各画素の輝度及び色差を平均したものをそのブロックの代表輝度及び代表色差として、光源の判定を行う場合、緑色の色差成分と蛍光灯の色差成分とが比較的近い値を有することに起因して、例えば、比較的暗く緑色の物体を多く含む森林のシーンなどの光源を誤って、昼光ではなく蛍光灯であると判定してしまう場合があった。図１３は、光源を昼光ではなく蛍光灯と誤判定する場合があるブロックの一例であり、このようなシーンでは、従来、物体の色（ここでは、葉っぱの緑色）と背景（ここでは、空の色）とが平均化され、そのブロックの光源を蛍光灯と誤判定される場合があった。

しかしながら、図１３に示すようなブロックについて、光源反映判定回路１０８は、最大の輝度を持つ画素の色差（ｕ０，ｖ０）とそのブロックの代表色差（ｕ１，ｖ１）とのベクトルのなす角θは大きく、スカラー比Ｒも１に近いと判断する。また、最大の色差を持つ画素の色差（ｕ０，ｖ０）とそのブロックの代表色差（ｕ１，ｖ１）とのベクトルのなす角θは小さく、スカラー比Ｒも１に近いと判断する。よって、光源反映判定回路１０８は、このブロックを光源が反映されていないブロックと判定し破棄するため、入力画像の光源の推定をする際には用いられない。したがって、上記シーンを全体として昼光ではなく蛍光灯であると判定してしまうおそれを低減することができる。

本実施形態におけるオートホワイトバランス装置の構成を示す機能ブロック図である。本実施形態における入力画像のブロック分割の一例を示す図である。本実施形態におけるブロックの一例を示す図である。本実施形態において、光源反映判定回路が各ブロックの代表値が光源の色を反映しているか否かを判定する際に用いる色差空間の一例を示す図である。本実施形態におけるオートホワイトバランス装置の構成をより詳細に示す機能ブロック図である。分散係数を求めるための関数の一例を示す図である。飽和係数を求めるための関数の一例を示す図である。ブロック信頼度を求めるための関数の一例を示す図である。輝度係数を求めるための関数の一例を示す図である。位置係数の設定例を示す図である。被写体輝度に基づく修正係数を求めるための関数の一例を示す図である。本実施形態におけるオートホワイトバランス装置の処理手順を示す図である。光源を昼光ではなく蛍光灯と誤判定する場合があるブロックの一例を示す図である。

符号の説明

１０オートホワイトバランス装置、２０撮像装置、３０被写体輝度検出装置、１０２ブロック分割回路、１０４代表値計算回路、１０６特徴画素検出回路、１０８光源反映判定回路、１１０ホワイトバランス評価回路、１１１分散係数計算回路、１１２飽和係数計算回路、１１３ブロック信頼度計算回路、１１４信頼度修正回路、１１５全体信頼度計算回路、１１６光源寄与計算回路、１１７光源寄与修正回路、１１８照明色推定回路、１２０ホワイトバランスゲイン計算回路、１３０ホワイトバランス調整回路、１４０出力端子。

Claims

入力された画像を複数のブロックに分割するブロック分割手段と、
分割したブロックごとにブロック内の各色値に基づき、ブロックを代表する輝度及び色差を含む代表値を算出する代表値計算手段と、
分割したブロックごとに、ブロックを構成する画素群の中から特徴的な画素を検出する特徴画素検出手段と、
ブロックの代表色差と、そのブロックの特徴的な画素の色差とを比較することで、そのブロックの代表値が、入力された画像の光源を反映しているかどうかを、ブロックごとに判定する光源反映判定手段と、
前記光源反映判定手段により光源を反映していると判定されたブロックの代表輝度及び代表色差と、前記入力された画像の被写体輝度とを基に、前記画像の光源の色を推定するホワイトバランス評価手段と、
推定された光源の色を基に前記画像に施すホワイトバランスゲインを計算するホワイトバランスゲイン計算手段と、
計算したホワイトバランスゲインを用いて前記画像に対してホワイトバランス調整を行うホワイトバランス調整手段と、
を備え、
前記特徴画素検出手段は、
ブロック内の特徴的な画素として、ブロックを構成する画素群の中から最も輝度が高い画素を検出する
ことを特徴とするオートホワイトバランス装置。
入力された画像を複数のブロックに分割するブロック分割手段と、
分割したブロックごとにブロック内の各色値に基づき、ブロックを代表する輝度及び色差を含む代表値を算出する代表値計算手段と、
分割したブロックごとに、ブロックを構成する画素群の中から特徴的な画素を検出する特徴画素検出手段と、
ブロックの代表色差と、そのブロックの特徴的な画素の色差とを比較することで、そのブロックの代表値が、入力された画像の光源を反映しているかどうかを、ブロックごとに判定する光源反映判定手段と、
前記光源反映判定手段により光源を反映していると判定されたブロックの代表輝度及び代表色差と、前記入力された画像の被写体輝度とを基に、前記画像の光源の色を推定するホワイトバランス評価手段と、
推定された光源の色を基に前記画像に施すホワイトバランスゲインを計算するホワイトバランスゲイン計算手段と、
計算したホワイトバランスゲインを用いて前記画像に対してホワイトバランス調整を行うホワイトバランス調整手段と、
を備え、
前記特徴画素検出手段は、
ブロック内の特徴的な画素として、ブロックを構成する画素群の中から最も色差が大きい画素を検出することを特徴とするオートホワイトバランス装置。
請求項１乃至２のいずれか１つに記載のオートホワイトバランス装置において、
前記光源反映判定手段は、
ブロックの代表色差と色差空間の原点とを結ぶベクトルＴ０と、そのブロックの特徴画素の色差と色差空間の原点とを結ぶベクトルＴ１とのなす角θと、ベクトルＴ０とベクトルＴ１とのスカラー比Ｒとに基づいて、ブロックの代表値が光源の色を反映しているか否かをブロックごとに判定することを特徴とするオートホワイトバランス装置。
請求項３に記載のオートホワイトバランス装置において、
前記光源反映判定手段は、
最も輝度が高い画素が特徴画素の場合、ｃｏｓθ＞α（α：定数）かつ、β₁＜Ｒ＜β₂（β₁及びβ₂は定数）の条件を満たせば、そのブロックの代表値は光源の色を反映していると判定することを特徴とするオートホワイトバランス装置。
請求項３に記載のオートホワイトバランス装置において、
前記光源反映判定手段は、
最も色差が大きい画素が特徴画素の場合、ｃｏｓθ＞α（α：定数）かつ、β₃＜Ｒ＜β₄（β₃及びβ₄は定数）の条件を満たせば、そのブロックの代表値は光源の色を反映していないと判定することを特徴とするオートホワイトバランス装置。
撮像された画像に対してホワイトバランス調整を行うホワイトバランス調整方法であって、
入力された画像を複数のブロックに分割するブロック分割ステップと、
分割したブロックごとにブロック内の各色値に基づき、ブロックを代表する輝度及び色差を含む代表値を算出する代表値計算ステップと、
分割したブロックごとに、ブロックを構成する画素群の中から特徴的な画素を検出する特徴画素検出ステップと、
ブロックの代表色差と、そのブロックの特徴的な画素の色差とを比較することで、そのブロックの代表値が、入力された画像の光源を反映しているかどうかを、ブロックごとに判定する光源反映判定ステップと、
前記光源反映判定ステップで、光源を反映していると判定されたブロックの代表輝度及び代表色差と、前記入力された画像の被写体輝度とを基に、前記画像の光源の色を推定するホワイトバランス評価ステップと、
推定された光源の色を基に前記画像に施すホワイトバランスゲインを計算するホワイトバランスゲイン計算ステップと、
計算したホワイトバランスゲインを用いて前記画像に対してホワイトバランス調整を行うホワイトバランス調整ステップと、
を含み、
前記特徴画素検出ステップでは、
ブロック内の特徴的な画素として、ブロックを構成する画素群の中から最も輝度が高い画素を検出することを特徴とするホワイトバランス調整方法。
撮像された画像に対してホワイトバランス調整を行うホワイトバランス調整方法であって、
入力された画像を複数のブロックに分割するブロック分割ステップと、
分割したブロックごとにブロック内の各色値に基づき、ブロックを代表する輝度及び色差を含む代表値を算出する代表値計算ステップと、
分割したブロックごとに、ブロックを構成する画素群の中から特徴的な画素を検出する特徴画素検出ステップと、
ブロックの代表色差と、そのブロックの特徴的な画素の色差とを比較することで、そのブロックの代表値が、入力された画像の光源を反映しているかどうかを、ブロックごとに判定する光源反映判定ステップと、
前記光源反映判定ステップで、光源を反映していると判定されたブロックの代表輝度及び代表色差と、前記入力された画像の被写体輝度とを基に、前記画像の光源の色を推定するホワイトバランス評価ステップと、
推定された光源の色を基に前記画像に施すホワイトバランスゲインを計算するホワイトバランスゲイン計算ステップと、
計算したホワイトバランスゲインを用いて前記画像に対してホワイトバランス調整を行うホワイトバランス調整ステップと、
を含み、
前記特徴画素検出ステップでは、
ブロック内の特徴的な画素として、ブロックを構成する画素群の中から最も色差が大きい画素を検出することを特徴とするホワイトバランス調整方法。
請求項６乃至７のいずれか１つに記載のホワイトバランス調整方法において、
前記光源反映判定ステップでは、
ブロックの代表色差と色差空間の原点とを結ぶベクトルＴ０と、そのブロックの特徴画素の色差と色差空間の原点とを結ぶベクトルＴ１とのなす角θと、ベクトルＴ０とベクトルＴ１とのスカラー比Ｒとに基づいて、ブロックの代表値が光源の色を反映しているか否かをブロックごとに判定することを特徴とするホワイトバランス調整方法。
請求項８に記載のホワイトバランス調整方法において、
前記光源反映判定ステップでは、
最も輝度が高い画素が特徴画素の場合、ｃｏｓθ＞α（α：定数）かつ、β₁＜Ｒ＜β₂（β₁及びβ₂は定数）の条件を満たせば、そのブロックの代表値は光源の色を反映していると判定することを特徴とするホワイトバランス調整方法。
請求項８に記載のホワイトバランス調整方法において、
前記光源反映判定ステップでは、
最も色差が大きい画素が特徴画素の場合、ｃｏｓθ＞α（α：定数）かつ、β₃＜Ｒ＜β₄（β₃及びβ₄は定数）の条件を満たせば、そのブロックの代表値は光源の色を反映していないと判定することを特徴とするホワイトバランス調整方法。