JP5046026B2

JP5046026B2 - 光源推定装置および方法、並びにプログラム

Info

Publication number: JP5046026B2
Application number: JP2007322805A
Authority: JP
Inventors: 博明小野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-04-06
Filing date: 2007-12-14
Publication date: 2012-10-10
Anticipated expiration: 2027-12-14
Also published as: JP2008275582A

Description

本発明は光源推定装置および方法、並びにプログラムに関し、特に、より簡単かつ確実に光源を推定することができるようにした光源推定装置および方法、並びにプログラムに関する。

従来、デジタルスチルカメラ等の撮像装置は、太陽や蛍光灯などの撮像時の光源に応じて、ユーザの指示を必要とせずに、適切なホワイトバランスの調整を行うオートホワイトバランス機能を有していることが多い。そのような機能を有する撮像装置においては、撮像装置に設けられた撮像素子による撮像の結果得られた画素信号が用いられて光源推定が行われ、推定された光源に適合した制御値に基づいてホワイトバランスが調整される。

通常、撮像時の光源推定には、撮像素子による撮像の結果得られた可視光のＲ（赤）、Ｇ（緑）、およびＢ（青）の３原色のそれぞれの画素信号が用いられることが多い。すなわち、これらの画素信号により得られる光源の光の強さを示す値が評価空間に射影され、黒体輻射軌跡や、既知の光源の光の強さの評価空間上における特徴などが加味されて、撮像環境における光源が推定される。

しかしながら、撮像環境における光源が異なる場合であっても、それらの異なる光源の光の強さを示す値のそれぞれが、評価空間上において同じ光源であると推定される領域内に射影される場合があり、光源を的確に推定することが困難であった。そこで、より確実に光源を推定するために、評価空間の次元数を多くしたり、異なる光源を分離し易くするための評価空間の軸を新たに設けたりすることも提案されている。

また、従来の光源推定の方法として、Ｒ、Ｇ、およびＢのそれぞれの色の光に対して分光感度を有するセンサのそれぞれに加えて、Ｒの波長よりも長い波長の可視光に対して分光感度を有する第４のセンサを利用して光源推定を行う方法が提案されている（例えば、特許文献１参照）。この方法においては、第４のセンサを利用することにより、蛍光灯を含む各種の光源の推定の精度を向上させることができる。

特開２００４−１７７３９５号公報

しかしながら、上述した技術では、光源の推定の精度を向上させるためには、撮像の対象となる光の色数を増やしたり、光の強さを示す値を複雑な評価空間に射影したりする必要があった。したがって、撮像装置がコスト高になったり、光源推定のための処理量が多くなったりしてしまい、光源推定の精度を向上させることは容易ではなかった。

本発明は、このような状況に鑑みてなされたものであり、より簡単かつ確実に光源を推定することができるようにするものである。

本発明の第１の側面の光源推定装置は、光源から放射された、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれ、および不可視光を受光する受光手段と、受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出する可視光強度算出手段と、前記可視光の強度と前記不可視光の強度とから、前記可視光に対する前記不可視光の相対強度を算出する第１の相対強度算出手段と、前記可視光の強度と前記複数の波長帯域の光の強度のそれぞれとから、前記可視光に対する前記複数の波長帯域の光の相対強度のそれぞれを算出する第２の相対強度算出手段と、前記第１の相対強度算出手段および前記第２の相対強度算出手段により算出された相対強度を用いて前記光源の種類を推定する光源推定手段とを備える。

本発明の第１の側面の光源推定方法またはプログラムは、光源から放射された、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれ、および不可視光の受光を制御する受光ステップと、受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出する可視光強度算出ステップと、前記可視光の強度と前記不可視光の強度とから、前記可視光に対する前記不可視光の相対強度を算出する第１の相対強度算出ステップと、前記可視光の強度と前記複数の波長帯域の光の強度のそれぞれとから、前記可視光に対する前記複数の波長帯域の光の相対強度のそれぞれを算出する第２の相対強度算出ステップと、前記第１の相対強度算出ステップおよび前記第２の相対強度算出ステップの処理により算出された相対強度を用いて前記光源の種類を推定する光源推定ステップとを含む。

本発明の第１の側面においては、光源から放射された、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれ、および不可視光が受光され、受光された前記複数の波長帯域の光の強度のそれぞれの和が前記可視光の強度として算出され、前記可視光の強度と前記不可視光の強度とから、前記可視光に対する前記不可視光の相対強度が算出され、前記可視光の強度と前記複数の波長帯域の光の強度のそれぞれとから、前記可視光に対する前記複数の波長帯域の光の相対強度のそれぞれが算出され、算出された相対強度が用いられて前記光源の種類が推定される。
本発明の第２の側面の光源推定装置は、光源から放射された、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれ、および不可視光を受光する受光手段と、受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出するとともに、算出した前記可視光の強度を用いて、前記複数の波長帯域の光の強度のそれぞれ、および前記不可視光の強度を正規化する正規化手段と、正規化された前記複数の波長帯域の光の強度のそれぞれ、および正規化された前記不可視光の強度を用いて前記光源の種類を推定する光源推定手段とを備える。
本発明の第２の側面の光源推定方法またはプログラムは、光源から放射された、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれ、および不可視光の受光を制御する受光ステップと、受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出するとともに、算出した前記可視光の強度を用いて、前記複数の波長帯域の光の強度のそれぞれ、および前記不可視光の強度を正規化する正規化ステップと、正規化された前記複数の波長帯域の光の強度のそれぞれ、および正規化された前記不可視光の強度を用いて前記光源の種類を推定する光源推定ステップとを含む。
本発明の第２の側面においては、光源から放射された、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれ、および不可視光が受光され、受光された前記複数の波長帯域の光の強度のそれぞれの和が前記可視光の強度として算出されるとともに、算出した前記可視光の強度を用いて、前記複数の波長帯域の光の強度のそれぞれ、および前記不可視光の強度が正規化され、正規化された前記複数の波長帯域の光の強度のそれぞれ、および正規化された前記不可視光の強度を用いて前記光源の種類が推定される。

本発明の第１の側面および第２の側面によれば、光源を推定することができる。特に、本発明の第１の側面および第２の側面によれば、より簡単かつ確実に光源を推定することができる。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

図１は、本発明を適用した一実施の形態の撮像装置の外観を示す図である。

撮像装置１１は、例えばデジタルスチルカメラなどからなり、ユーザによる操作に応じて被写体の画像を撮像する。また、撮像装置１１の図中、右上の部分には、撮像の対象となる被写体に照射される光の光源を推定する光源推定装置２１が設けられている。

光源推定装置２１は、光源から放射（輻射）された光を受光し、受光した光の光量（強度）に基づいて光源の種類を推定する。換言すれば、光源推定装置２１は、受光した光の光量に基づいて、撮像環境における光源が、太陽、蛍光灯、白熱電球、LED（Light Emitting Diode）などの各種の光源のうちのいずれであるかを推定する。そして、撮像装置１１は、光源推定装置２１による光源の推定結果に基づいて、画像の撮像時に必要に応じてホワイトバランスなどの各種の調整を行う。

ここで、撮像装置１１の撮像環境が屋外であるか屋内であるかに関わらず、光源は撮像装置１１の図中、上側、つまり鉛直方向とは反対方向に位置することが多いと予測されるため、より多くの光を受光できるように、光源推定装置２１は撮像装置１１の図中、上側の部分に上方向を向くように設けられている。なお、光源推定装置２１は、必ずしも撮像装置１１の上側の部分に設ける必要はなく、他の位置に設けられてもよい。

図２は、図１の光源推定装置２１の構成例を示すブロック図である。

光源推定装置２１は、受光部５１、紫外光対可視光比算出部５２、赤外光対可視光比算出部５３、評価ベクトル保持メモリ５４、および光源推定部５５から構成される。

受光部５１は、例えば可視光に対して分光感度を有するセンサ、不可視光（非可視光）に対して分光感度を有するセンサなどの複数のセンサから構成され、光源から放射された光を受光する。より具体的には、受光部５１は、紫外光に対して分光感度を有するセンサ、可視光に対して分光感度を有するセンサ、および赤外光に対して分光感度を有するセンサから構成される。ここで、分光感度を有するとは、センサが特定の波長の光に対して、その光の光量を測定するのに充分な感度を有していることをいう。

受光部５１は、光源から放射された紫外光、赤外光、および可視光のそれぞれの光を受光し、受光した光のそれぞれを、それらの光の光量を示す電気信号のそれぞれに変換する。すなわち、受光部５１は、受光した光を光電変換することにより、受光した紫外光の光量（強度）ＵＶ、可視光の光量（強度）Ｖ、および赤外光の光量（強度）ＩＲを得る。そして、受光部５１は、光電変換により得られた光量ＵＶおよび光量Ｖを紫外光対可視光比算出部５２に供給し、光量Ｖおよび光量ＩＲを赤外光対可視光比算出部５３に供給する。

紫外光対可視光比算出部５２は、受光部５１から供給された光量ＵＶおよび光量Ｖに基づいて、受光した紫外光の光量ＵＶと可視光の光量Ｖとの比、すなわち可視光に対する紫外光の相対強度（相対的な光量）を算出して光源推定部５５に供給する。

赤外光対可視光比算出部５３は、受光部５１から供給された光量ＩＲおよび光量Ｖに基づいて、受光した赤外光の光量ＩＲと可視光の光量Ｖとの比、すなわち可視光に対する赤外光の相対強度（相対的な光量）を算出して光源推定部５５に供給する。

評価ベクトル保持メモリ５４は、複数の光源ごとに予め求められている、可視光に対する紫外光の相対強度と、可視光に対する赤外光の相対強度とからなる評価ベクトルを保持している。

例えば、光源を太陽とした場合に受光部５１において受光された紫外光の光量ＵＶと可視光の光量Ｖとの比、および受光部５１において受光された赤外光の光量ＩＲと可視光の光量Ｖとの比からなる太陽の評価ベクトルが予め求められ、他の光源についても評価ベクトルが予め求められて、それらの評価ベクトルが評価ベクトル保持メモリ５４に保持される。評価ベクトル保持メモリ５４は、このようにして求められた各光源の評価ベクトルを予め保持しており、保持している評価ベクトルを必要に応じて光源推定部５５に供給する。

光源推定部５５は、紫外光対可視光比算出部５２から供給された可視光に対する紫外光の相対強度と、赤外光対可視光比算出部５３から供給された可視光に対する赤外光の相対強度とからなるベクトルを被評価ベクトルとして、被評価ベクトル、および評価ベクトル保持メモリ５４に保持されている評価ベクトルを用いて光源（の種類）を推定し、その推定結果を撮像装置１１に出力する。

また、受光部５１は、例えば図３に示すように、中空の積分球８１、並びに積分球８１の内部に設けられた紫外光センサ８２、可視光センサ８３、および赤外光センサ８４を備えている。

積分球８１には、光源からの光を積分球８１の内部の空間に入射させるための開口部８５が設けられている。また、積分球８１の内部には球状の空間が形成されており、積分球８１の内部の空間を形成する面、つまり積分球８１の内側の面には拡散反射板８６が設けられている。さらに積分球８１の内側の面には紫外光センサ８２乃至赤外光センサ８４の３つのセンサも設けられている。

拡散反射板８６は、開口部８５から入射した光源により放射された光を拡散反射する。このように、積分球８１の内側の空間を球状にし、拡散反射板８６により入射した光を拡散させることで、光源からの光を拡散して紫外光センサ８２乃至赤外光センサ８４のそれぞれに均等に入射させることができる。換言すれば、紫外光センサ８２乃至赤外光センサ８４のそれぞれに、なるべく広い範囲の入射光を受光させることができる。

紫外光センサ８２は、積分球８１の内部の空間に入射し、拡散反射板８６により拡散反射された光のうちの紫外光を受光して光電変換する。すなわち、紫外光センサ８２は、紫外光に対して分光感度を有しており、入射した光のうち、紫外光とされる波長帯の光だけを受光して光電変換し、その結果得られた紫外光の光量ＵＶを出力する。

可視光センサ８３は、積分球８１の内部の空間に入射し、拡散反射板８６により拡散反射された光のうちの可視光を受光して光電変換する。すなわち、可視光センサ８３は、可視光に対して分光感度を有しており、入射した光のうち、可視光とされる波長帯の光だけを受光して光電変換し、その結果得られた可視光の光量Ｖを出力する。

赤外光センサ８４は、積分球８１の内部の空間に入射し、拡散反射板８６により拡散反射された光のうちの赤外光を受光して光電変換する。すなわち、赤外光センサ８４は、赤外光に対して分光感度を有しており、入射した光のうち、赤外光とされる波長帯の光だけを受光して光電変換し、その結果得られた赤外光の光量ＩＲを出力する。

図３の例では、積分球８１、および紫外光センサ８２乃至赤外光センサ８４の３つのセンサだけで受光部５１を構成することができるので、受光部５１を簡単な構成で、かつ小さくすることができる。

ここで、紫外光、可視光、および赤外光とされる光のそれぞれは、例えば図４に示すように予め定められた波長帯の光とされる。すなわち、波長が400nm以下である光は紫外光とされ、波長が400nmより大きく700nmよりも小さい光は可視光とされ、波長が700nm以上である光は赤外光とされる。

なお、より詳細には、拡散反射板８６の分光反射率、つまり各波長の光の反射率は予め求められており、また紫外光センサ８２乃至赤外光センサ８４のそれぞれの分光特性、つまり入射した各波長の光の光量に対して、光電変換の結果としてどの程度の光量が得られるかも予め求められている。そして、紫外光センサ８２乃至赤外光センサ８４のそれぞれからは、それらのセンサの分光特性と拡散反射板８６の分光反射率とから、積分球８１に入射した紫外光、可視光、および赤外光のそれぞれのより確からしい光量のそれぞれが求められ、その結果が出力されるようになされている。

さらに、受光部５１は、図５に示すように、CCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）などの撮像素子から構成されるようにしてもよい。なお、図５において点線の矢印は受光部５１に入射した光源からの光の軌跡を表している。

図５の例では、受光部５１は、プリズム１１１、撮像素子１１２−１、撮像素子１１２−２、および撮像素子１１２−３から構成される。

プリズム１１１は、例えば、互いに固着された３つのプリズムからなる合成プリズムとされ、プリズム１１１は、固着されたプリズムの境界面１２１および境界面１２２を有している。プリズム１１１は、プリズム１１１に入射した光源からの光を赤外光、可視光、および紫外光に分離して、分離した赤外光、可視光、および紫外光のそれぞれを、撮像素子１１２−１、撮像素子１１２−２、および撮像素子１１２−３のそれぞれに入射させる。

すなわち、プリズム１１１の図中、左側に設けられた入射面１２３に入射した光源からの光は、入射面１２３を透過して境界面１２１に入射する。そして、境界面１２１に入射した光の赤外光成分、つまり赤外光は境界面１２１において反射され、赤外光以外の光は境界面１２１を透過して境界面１２２に入射する。

境界面１２１において反射された赤外光は、さらに入射面１２３において反射され、撮像素子１１２−１に入射する。一方、境界面１２１を透過して境界面１２２に入射した光のうちの紫外光成分、つまり紫外光は境界面１２２において反射され、紫外光以外の光は境界面１２２を透過して撮像素子１１２−２に入射する。したがって、撮像素子１１２−２には、光源からの光のうちの赤外光成分および紫外光成分以外の光、すなわち可視光が入射することになる。さらに、境界面１２２において反射された紫外光は、境界面１２１において反射され、撮像素子１１２−３に入射する。

撮像素子１１２−１乃至撮像素子１１２−３のそれぞれは、CCDやCMOSなどからなり、それぞれ赤外光、可視光、および紫外光に対して分光感度を有している。撮像素子１１２−１乃至撮像素子１１２−３のそれぞれは、プリズム１１１に入射して境界面１２１において分離された赤外光、プリズム１１１を透過した可視光、および境界面１２２において分離された紫外光のそれぞれを受光して光電変換し、その結果得られたそれらの受光した光の光量ＩＲ、光量Ｖ、および光量ＵＶのそれぞれを出力する。

なお、以下、撮像素子１１２−１乃至撮像素子１１２−３のそれぞれを特に区別する必要のない場合、単に撮像素子１１２と称する。

また、撮像素子１１２の表面には、予め定められた色の光、すなわち予め定められた波長の光だけが撮像素子１１２の受光面に入射するようにフィルタが設けられている。

例えば、撮像素子１１２−１の表面には図６Ａに示すように、画素ごとに赤外光だけを透過させるフィルタが設けられている。なお、図６Ａにおいて、１つの長方形は１つの画素を表している。撮像素子１１２−１は、フィルタを介して各画素に入射した赤外光を受光して光電変換し、その結果得られた画素ごとの光の光量の平均値を計算し、光量ＩＲとして出力する。換言すれば、撮像素子１１２−１は、各画素に入射した赤外光を撮像し、撮像により得られた各画素の輝度値の平均値を赤外光の光量ＩＲとして出力する。

また、例えば、撮像素子１１２−２の表面には図６Ｂに示すように、画素ごとに可視光としてのＲ（赤）、Ｇ（緑）、またはＢ（青）の色の光だけを透過させるフィルタが設けられている。なお、図６Ｂにおいて、１つの長方形は１つの画素を表している。

撮像素子１１２−２の表面に設けられたＲの色の光（Ｒの色とされる波長の光）だけを透過させるＲの色のフィルタ、Ｇの色の光（Ｇの色とされる波長の光）だけを透過させるＧの色のフィルタ、およびＢの色の光（Ｂの色とされる波長の光）だけを透過させるＢの色のフィルタの色配列は、ベイヤー配列と称される色配列とされている。すなわち、撮像素子１１２−２の表面には、Ｇの色のフィルタが市松状に配置され、残りの部分にＲの色のフィルタおよびＢの色のフィルタが一行ごとに交互に配置されている。

撮像素子１１２−２は、フィルタを介して各画素に入射した可視光としてのＲ、Ｇ、またはＢの色の光を受光して光電変換し、その結果得られた画素ごとの光の光量から、入射した可視光の光量Ｖを求めて出力する。すなわち、撮像素子１１２−２は、各画素に入射したＲ、Ｇ、またはＢの色の光を撮像する。そして、撮像素子１１２−２は、色ごとの平均値を計算し、さらにそれらの色ごとの平均値の平均値を計算し、光量Ｖとして出力する。すなわち、撮像素子１１２−２は、各画素のＲの色の輝度値の平均値、Ｇの色の輝度値の平均値、およびＢの色の輝度値の平均値を求め、さらにそれらの輝度値の平均値の平均値を、可視光の光量Ｖとして求める。

さらに、例えば、図５の撮像素子１１２−３の表面には図６Ｃに示すように、画素ごとに紫外光だけを透過させるフィルタが設けられている。なお、図６Ｃにおいて、１つの長方形は１つの画素を表している。撮像素子１１２−３は、フィルタを介して各画素に入射した紫外光を受光して光電変換し、その結果得られた画素ごとの光の光量の平均値を計算し、光量ＵＶとして出力する。換言すれば、撮像素子１１２−３は、各画素に入射した紫外光を撮像し、撮像により得られた各画素の輝度値の平均値を紫外光の光量ＵＶとして出力する。

なお、光量ＩＲ、光量Ｖ、光量ＵＶの算出方法として次のような方法も考えられる。撮像素子１１２−１は、各画素に入射した赤外光を撮像し、撮像により得られた各画素の輝度値の総和を赤外光の光量ＩＲとして出力し、撮像素子１１２−３は、各画素に入射した紫外光を撮像し、撮像により得られた各画素の輝度値の総和を紫外光の光量ＵＶとして出力する。撮像素子１１２−２は各画素に入射したＲ、Ｇ、Ｂいずれか一つの色の輝度値の情報を利用して、デモザイク処理を行うことで、各画素において全色（Ｒ、Ｇ、Ｂ）を算出し、色毎の総和のさらに画素数分の総和を光量Vとする。この場合、デモザイク処理によって得られた画像（画素毎に全色揃った画像）はそのまま通常のＲＧＢによる撮影画像としての利用も可能である。

このように、撮像素子１１２の表面には所定の波長帯の光だけを透過させるフィルタが設けられており、撮像素子１１２は、入射した光を受光して光の光量を求める。

なお、撮像素子１１２−１乃至撮像素子１１２−３を用いて光源推定を行い、さらに撮像素子１１２−２を、被写体の画像を撮像するために用いるようにしてもよい。そのような場合、撮像素子１１２−２により撮像されて得られた画像が被写体の画像とされるとともに、撮像素子１１２−１乃至撮像素子１１２−３により撮像されて得られた画像が用いられて光源推定が行われる。

また、図５に示した受光部５１においては、３つの撮像素子１１２を用いて赤外光、可視光、および紫外光のそれぞれの光量を求めると説明したが、２つの撮像素子１１２だけが用いられるようにしてもよい。

そのような場合、例えば、撮像素子１１２−１および撮像素子１１２−２だけが用いられ、撮像素子１１２−２の表面には、図７Ａに示すように、Ｒ（赤）、Ｇ（緑）、またはＢ（青）の色のフィルタがベイヤー配列と称される色配列で配置される。なお、図７Ａにおいて、１つの長方形は１つの画素を表している。

撮像素子１１２−２は、図６Ｂの例における場合と同様に、フィルタを介して各画素に入射した可視光としてのＲ、Ｇ、またはＢの色の光を撮像し、その結果得られた各画素の輝度値を用いて色ごとの平均値を計算し、さらにそれらの色ごとの平均値の平均値を算出し、光量Ｖとして出力する。

また、撮像素子１１２−１および撮像素子１１２−２だけが用いられる場合、撮像素子１１２−１により紫外光および赤外光が受光されるようになされる。したがって、図５の境界面１２１において不可視光、つまり紫外光および赤外光が反射され、撮像素子１１２−１に入射する。

この場合、撮像素子１１２−１の表面には、例えば、図７Ｂに示すように、画素ごとに紫外光または赤外光だけを透過させるフィルタが設けられる。なお、図７Ｂにおいて、１つの長方形は１つの画素を表している。撮像素子１１２−１の表面には、紫外光だけを透過させるフィルタが市松状に配置され、残りの部分に赤外光だけを透過させるフィルタが配置されている。

撮像素子１１２−１は、フィルタを介して各画素に入射した不可視光としての紫外光または赤外光を撮像し、その結果画素ごとに得られた紫外光または赤外光の輝度値を用いて紫外光の輝度値の平均値を紫外光の光量ＵＶとして出力するとともに、各画素の赤外光の輝度値の平均値を赤外光の光量ＩＲとして出力する。

このように、２つの撮像素子１１２だけを用いると、３つの撮像素子を利用する場合に比べ、赤外光、紫外光の画素数が減少して、利用できる情報量は少なくなるが、光源推定に用いる撮像素子１１２の数を減らすことができ、光源推定装置２１の小型化および低コスト化を図ることができる。

なお、１つの撮像素子１１２の表面に、可視光だけを透過させるフィルタ、紫外光だけを透過させるフィルタ、および赤外光だけを透過させるフィルタを配置することで、１つの撮像素子１１２から可視光の光量Ｖ、紫外光の光量ＵＶ、および赤外光の光量ＩＲを得るようにしてもよい。

また、以上においては、受光部５１は、図３に示した構成とされてもよいし、図５に示した構成とされてもよいと説明したが、以下では、図２の受光部５１は図３に示した構成とされるものとして説明を続ける。

ところで、撮像装置１１は、被写体の画像の撮像時において、光源推定装置２１に対して撮像装置１１の撮像環境における光源の推定を指示する。すると光源推定装置２１は、撮像装置１１からの指示に応じて、光源を推定する処理である光源推定処理を開始する。

以下、図８のフローチャートを参照して、光源推定装置２１による光源推定処理について説明する。

ステップＳ１１において、受光部５１は、光源から受光部５１に入射してきた可視光を受光する。すなわち、受光部５１の可視光センサ８３は、開口部８５から入射して拡散反射板８６において拡散反射された可視光を受光して光電変換する。可視光センサ８３は、光電変換により得られた可視光の光量Ｖを紫外光対可視光比算出部５２および赤外光対可視光比算出部５３に供給する。

ステップＳ１２において、受光部５１は、光源から受光部５１に入射してきた紫外光を受光する。すなわち、受光部５１の紫外光センサ８２は、開口部８５から入射して拡散反射板８６において拡散反射された紫外光を受光して光電変換する。紫外光センサ８２は、光電変換により得られた紫外光の光量ＵＶを紫外光対可視光比算出部５２に供給する。

ステップＳ１３において、受光部５１は、光源から受光部５１に入射してきた赤外光を受光する。すなわち、受光部５１の赤外光センサ８４は、開口部８５から入射して拡散反射板８６において拡散反射された赤外光を受光して光電変換する。赤外光センサ８４は、光電変換により得られた赤外光の光量ＩＲを赤外光対可視光比算出部５３に供給する。

なお、より詳細には、これらのステップＳ１１の処理乃至ステップＳ１３の処理のそれぞれは、受光部５１により同時に行われる。

ステップＳ１４において、紫外光対可視光比算出部５２は、受光部５１から供給された光量ＵＶおよび光量Ｖに基づいて、可視光に対する紫外光の相対強度Ｐ１を算出して光源推定部５５に供給する。例えば、紫外光対可視光比算出部５２は、次式（１）を計算することにより、相対強度Ｐ１を算出する。

Ｐ１＝ＵＶ／Ｖ・・・（１）

ここで、式（１）におけるＵＶは紫外光の光量ＵＶを示しており、Ｖは可視光の光量Ｖを示している。したがって相対強度Ｐ１は、光量ＵＶを光量Ｖで除算することにより得られる。

ステップＳ１５において、赤外光対可視光比算出部５３は、受光部５１から供給された光量ＩＲおよび光量Ｖに基づいて、可視光に対する赤外光の相対強度Ｐ２を算出して光源推定部５５に供給する。例えば、赤外光対可視光比算出部５３は、次式（２）を計算することにより、相対強度Ｐ２を算出する。

Ｐ２＝ＩＲ／Ｖ・・・（２）

ここで、式（２）におけるＩＲは赤外光の光量ＩＲを示しており、Ｖは可視光の光量Ｖを示している。したがって相対強度Ｐ２は、光量ＩＲを光量Ｖで除算することにより得られる。

ステップＳ１６において、光源推定部５５は、紫外光対可視光比算出部５２から供給された相対強度Ｐ１と、赤外光対可視光比算出部５３から供給された相対強度Ｐ２とからなる被評価ベクトル、および評価ベクトル保持メモリ５４に保持されている評価ベクトルを用いて光源を推定し、その推定結果を出力して光源推定処理は終了する。

例えば、光源推定部５５は、被評価ベクトルと、光源ごとの評価ベクトルとの類似度を計算し、類似度の最も高い評価ベクトル、つまり最も被評価ベクトルに類似している評価ベクトルを選択する。そして、光源推定部５５は、選択した評価ベクトルにより示される光源を光源推定の結果として得られた光源とし、その光源を示す情報を撮像装置１１に出力する。

一般に、撮像装置１１の撮像環境における光源として、太陽、蛍光灯、白熱電球など複数の種類の光源が考えられるが、その分光分布は光源ごとに異なっている。

例えば、図９に示すように、光源としての蛍光灯の光には、可視光成分が多く含まれているが、紫外光成分や赤外光成分はほとんど含まれていない。なお、図９において、縦軸は分光エネルギを示しており、横軸は波長を示している。

曲線１５１は、JIS（Japan Industrial Standard）の規格で規定された区分名がＦ１０である、三波長形の蛍光灯の光の分光分布を示している。曲線１５１は、440nm、550nm、615nmなどのいくつかの波長においてピークを有しており、曲線１５１により示される蛍光灯の光には、400nm乃至720nmの波長帯の光が多く含まれている。

曲線１５２は、JISの規格で規定された区分名がＦ１である、普通形の蛍光灯の光の分光分布を示している。曲線１５２は、440nmおよび580nm付近においてピークを有している。また、曲線１５２により示される蛍光灯の光には、440nm乃至640nmの波長の光が多く含まれており、それらの波長の光の分光エネルギはほぼ均一になっている。

曲線１５３は、JISの規格で規定された区分名がＦ７である、高演色形の蛍光灯の光の分光分布を示している。曲線１５３は、440nmおよび580nm付近においてピークを有している。また、曲線１５３により示される蛍光灯の光には、440nm乃至660nmの波長の光が多く含まれており、それらの波長の光の分光エネルギはほぼ均一になっている。

このように、蛍光灯の光は、可視光成分が多く含まれ、紫外光成分や赤外光成分はほとんど含まれていないという特徴を有している。

また、例えば図１０に示すように、太陽光には、可視光成分が多く含まれているが、紫外光成分や赤外光成分もある程度含まれている。なお、図１０において、縦軸は分光エネルギを示しており、横軸は波長を示している。

曲線１７１乃至曲線１７３のそれぞれは、色温度が5500K、6500K、および7500Kである太陽光のそれぞれの分光分布を示している。曲線１７１乃至曲線１７３のそれぞれは、波長によって急激に分光エネルギの大きさが変化することはなく、比較的なだらかに変化している。

また、曲線１７１乃至曲線１７３のそれぞれにより示される太陽光には、可視光が多く含まれているが、紫外光や赤外光も含まれており、特に、紫外光よりも赤外光がより多く含まれている。

このように、太陽光は、可視光成分が多く含まれ、紫外光成分や赤外光成分もある程度含まれているという特徴を有している。

各光源の光は、紫外光、可視光、および赤外光の成分を比較すると、それぞれ固有の特徴を有しているので、各光源の光の赤外光成分、可視光成分、および紫外光成分を考慮することで、より確実に光源を推定することができる。例えば、図１１に示すように、蛍光灯の光、太陽光、および白熱電球の光は、可視光に対する赤外光や紫外光の相対強度が異なるため、相対強度を用いて容易に光源を推定することができる。なお、図１１において、縦軸は光源から放射された光の相対放射強度を示しており、横軸は波長を示している。

曲線１９１は、JISの規格で規定された区分名がＦ１０である、三波長形の蛍光灯の光の分光分布を示している。曲線１９１は、可視光とされるいくつかの波長においてピークを有しており、曲線１９１により示される蛍光灯の光には、可視光が多く含まれているが、紫外光および赤外光はほとんど含まれていない。したがって、可視光に対する紫外光の相対強度Ｐ１、および可視光に対する赤外光の相対強度Ｐ２は、ほぼ０に近い値となる。

また、曲線１９２は、太陽光の分光分布を示している。曲線１９２は、全体的になだらかに変化しており、曲線１９２により示される太陽光の成分は、より多く含まれている順に可視光、赤外光、および紫外光となっている。したがって、可視光に対する赤外光の相対強度Ｐ２は、可視光に対する紫外光の相対強度Ｐ１よりも大きい値となる。

曲線１９３は、白熱電球の光の分光分布を示している。曲線１９３は、右方向に直線的に増加しており、曲線１９３により示される白熱電球の光には、より波長の長い光がより多く含まれている。つまり、白熱電球の光の成分は、より多く含まれている順に赤外光、可視光、および紫外光となっている。したがって、可視光に対する赤外光の相対強度Ｐ２は、可視光に対する紫外光の相対強度Ｐ１よりも大きい値となる。

光源ごとの相対強度Ｐ１と相対強度Ｐ２とを比較すると、可視光に対する紫外光の相対強度Ｐ１の小さい光源は、小さい順に蛍光灯、白熱電球、および太陽とされ、可視光に対する赤外光の相対強度Ｐ２の小さい光源は、小さい順に蛍光灯、太陽、および白熱電球とされることが予測され、光源推定装置２１では、このような特徴が利用されて光源の推定が行われる。

以上のように、光源推定装置２１は、可視光、赤外光、および紫外光を受光し、可視光に対する紫外光の相対強度Ｐ１、および可視光に対する赤外光の相対強度Ｐ２を求めて光源を推定する。

このように、可視光、赤外光、および紫外光を受光し、相対強度Ｐ１および相対強度Ｐ２を求めて光源を推定することで、より簡単かつ確実に光源を推定することができる。

従来、光源推定には、可視光成分だけが用いられていたため、光源推定の精度を向上させようとする場合、より多くのセンサを設けたり、より多くの処理を行ったりする必要があった。すなわち、光源ごとに可視光の波長帯域における分光特性は異なるので、可視光成分だけを用いても光源を推定することはできるが、そのような場合、可視光とされる多くの波長の光の光量を得る必要があった。したがって、撮像装置に、より多くのセンサを設けなければならないのでコスト高になるばかりでなく、その分だけさらに多くの処理を行わなければならなかった。また、逆に、センサの数を減らすと、その分だけ光源推定の精度が低下してしまう。

これに対して、光源推定装置２１では、放射された光に含まれている可視光、赤外光、および紫外光の割合は光源ごとに異なるという特徴を利用し、可視光に対する紫外光の相対強度Ｐ１、および可視光に対する赤外光の相対強度Ｐ２を用いて光源を推定することで、より簡単に、かつより確実に光源を推定することができる。

つまり、光源推定装置２１では、可視光だけでなく、不可視光である紫外光および赤外光を利用することで、３つのセンサを設けるだけという簡単な構成とすることができる。しかも、それらのセンサにおける３色の光の測定結果を用いて、赤外光および紫外光のそれぞれの相対強度を算出するという簡単な処理だけで、より確実に光源を推定することができる。

なお、以上においては、可視光、赤外光、および紫外光の３色の光の光量を用いて光源を推定すると説明したが、不可視光として紫外光または赤外光のいずれか一方だけを用いて光源を推定するようにしてもよい。

また、可視光とされる波長帯域に含まれる複数の波長帯のそれぞれの光の光量を用いて光源を推定するようにしてもよい。より具体的には、例えば可視光とされる波長帯域に含まれる、互いに同じ波長を含まない第１の波長帯域乃至第ｎの波長帯域のｎ個（但し、ｎは自然数）の波長帯域の光の光量が用いられて光源が推定される。

そのような場合、光源推定装置は、例えば、図１２に示すように構成される。

光源推定装置２２１は、受光部２３１、可視光量算出部２３２、紫外光対可視光比算出部２３３、特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎ（特定色光対可視光比算出部２３４−２乃至特定色光対可視光比算出部２３４−（ｎ−１）は図示せず）、赤外光対可視光比算出部２３５、評価ベクトル保持メモリ２３６、および光源推定部２３７から構成される。

受光部２３１は、例えば紫外光に対して分光感度を有するセンサ、可視光の波長帯域に含まれる第１の波長帯域乃至第ｎの波長帯域のそれぞれに対して分光感度を有する複数のセンサ、および赤外光に対して分光感度を有するセンサから構成される。

受光部２３１は、光源から放射された紫外光、赤外光、および第１の波長帯域乃至第ｎの波長帯域のそれぞれの光を受光して光電変換する。これにより、紫外光の光量（強度）ＵＶ、可視光の第１の波長帯域の光の光量（強度）Ｖ１乃至第ｎの波長帯域の光の光量（強度）Ｖｎ、および赤外光の光量（強度）ＩＲが得られる。受光部２３１は、光電変換により得られた光量ＵＶを紫外光対可視光比算出部２３３に供給し、光量ＩＲを赤外光対可視光比算出部２３５に供給する。

また、受光部２３１は、光電変換により得られた光量Ｖ１乃至光量Ｖｎを可視光量算出部２３２に供給するとともに、光量Ｖ１乃至光量Ｖｎのそれぞれを、特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎのそれぞれに供給する。

ここで、受光部２３１は、例えば図３に示した受光部５１の可視光センサ８３に代えて、第１の波長帯域の光乃至第ｎの波長帯域の光のそれぞれに対して分光感度を有するセンサのそれぞれが設けられた構成とされる。すなわち、受光部２３１は、紫外光センサ、赤外光センサ、およびｎ個の可視光センサが設けられた構成とされる。

可視光量算出部２３２は、受光部２３１から供給された光量Ｖ１乃至光量Ｖｎの総和を求め、求められた総和を可視光の光量（強度）Ｖとして紫外光対可視光比算出部２３３、特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎ、および赤外光対可視光比算出部２３５に供給する。

紫外光対可視光比算出部２３３は、受光部２３１から供給された光量ＵＶ、および可視光量算出部２３２から供給された光量Ｖに基づいて、受光した紫外光の光量ＵＶと可視光の光量Ｖとの比、すなわち可視光に対する紫外光の相対強度（相対的な光量）Ｑ１を算出して光源推定部２３７に供給する。

特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎのそれぞれは、受光部２３１から供給された光量Ｖ１乃至光量Ｖｎのそれぞれ、および可視光量算出部２３２から供給された光量Ｖに基づいて、光量Ｖ１乃至光量Ｖｎのそれぞれと、可視光の光量Ｖとの比のそれぞれ、すなわち可視光に対する第１の波長帯域の光の相対強度（相対的な光量）Ｑ２乃至可視光に対する第ｎの波長帯域の光の相対強度（相対的な光量）Ｑ（ｎ＋１）を算出して光源推定部２３７に供給する。

なお、以下、特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎのそれぞれを特に区別する必要のない場合、単に特定色光対可視光比算出部２３４と称する。

赤外光対可視光比算出部２３５は、受光部２３１から供給された光量ＩＲ、および可視光量算出部２３２から供給された光量Ｖに基づいて、受光した赤外光の光量ＩＲと可視光の光量Ｖとの比、すなわち可視光に対する赤外光の相対強度（相対的な光量）Ｑ（ｎ＋２）を算出して光源推定部２３７に供給する。

評価ベクトル保持メモリ２３６は、複数の光源ごとに予め求められた可視光に対する紫外光の相対強度、可視光に対する第１の波長帯域の光の相対強度乃至可視光に対する第ｎの波長帯域の光の相対強度、および可視光に対する赤外光の相対強度からなる評価ベクトルを保持している。評価ベクトル保持メモリ２３６は、予め保持している評価ベクトルを必要に応じて光源推定部２３７に供給する。

光源推定部２３７は、紫外光対可視光比算出部２３３から供給された相対強度Ｑ１、特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎのそれぞれから供給された相対強度Ｑ２乃至相対強度Ｑ（ｎ＋１）、および赤外光対可視光比算出部２３５から供給された相対強度Ｑ（ｎ＋２）からなるベクトルを被評価ベクトルとする。そして、光源推定部２３７は、被評価ベクトル、および評価ベクトル保持メモリ２３６に保持されている評価ベクトルを用いて光源を推定し、その推定結果を撮像装置１１に出力する。

なお、受光部２３１は、図５に示した受光部５１と同じ構成とされるようにしてもよい。この場合、撮像素子１１２−２の表面には、例えば第１の波長帯域の光だけを透過させるフィルタ乃至第ｎの波長帯域の光だけを透過させるフィルタのそれぞれが配列される。

したがって、例えばｎ＝３であり、第１の波長帯域乃至第３の波長帯域の光のそれぞれが、Ｒ（赤）の色の光、Ｇ（緑）の色の光、およびＢ（青）の色の光のそれぞれとされる場合、撮像素子１１２−２の表面には、図６Ｂに示したフィルタが配置される。

次に、図１３のフローチャートを参照して、光源推定装置２２１による光源推定処理について説明する。

ステップＳ４１において、受光部２３１は、光源から受光部２３１に入射してきた可視光を受光する。すなわち、受光部２３１は、入射した第１の波長帯域の光乃至第ｎの波長帯域の光のそれぞれを受光して光電変換し、その結果得られた光量Ｖ１乃至光量Ｖｎを可視光量算出部２３２に供給するとともに、光量Ｖ１乃至光量Ｖｎのそれぞれを特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎのそれぞれに供給する。

ステップＳ４２において、受光部２３１は、光源から受光部２３１に入射してきた紫外光を受光して光電変換し、その結果得られた紫外光の光量ＵＶを紫外光対可視光比算出部２３３に供給する。

ステップＳ４３において、受光部２３１は、光源から受光部２３１に入射してきた赤外光を受光して光電変換し、その結果得られた赤外光の光量ＩＲを赤外光対可視光比算出部２３５に供給する。

なお、より詳細には、これらのステップＳ４１の処理乃至ステップＳ４３の処理のそれぞれは、受光部２３１により同時に行われる。

ステップＳ４４において、可視光量算出部２３２は、受光部２３１から供給された光量Ｖ１乃光量Ｖｎに基づいて可視光の光量Ｖを算出し、算出した光量Ｖを紫外光対可視光比算出部２３３、特定色光対可視光比算出部２３４、および赤外光対可視光比算出部２３５に供給する。例えば、可視光量算出部２３２は、次式（３）を計算することにより可視光の光量Ｖを算出する。

なお、式（３）において、Ｖｉは、第ｉの波長帯域の光の光量Ｖｉ（但し、１≦ｉ≦ｎ）を示しており、Σは、光量Ｖｉの変数ｉを、１からｎまで変えて総和をとることを表している。したがって、光量Ｖは、光量Ｖ１乃至光量Ｖｎの総和を求めることにより得られる。

ステップＳ４５において、紫外光対可視光比算出部２３３は、受光部２３１から供給された光量ＵＶ、および可視光量算出部２３２から供給された光量Ｖに基づいて、可視光に対する紫外光の相対強度Ｑ１を算出して光源推定部２３７に供給する。例えば、紫外光対可視光比算出部２３３は、次式（４）を計算することにより相対強度Ｑ１を算出する。

Ｑ１＝ＵＶ／Ｖ・・・（４）

ここで、式（４）におけるＵＶは紫外光の光量ＵＶを示しており、Ｖは可視光の光量Ｖを示している。したがって相対強度Ｑ１は、光量ＵＶを光量Ｖで除算することにより得られる。

ステップＳ４６において、特定色光対可視光比算出部２３４は、受光部２３１から供給された光量Ｖｉ（但し、１≦ｉ≦ｎ）、および可視光量算出部２３２から供給された光量Ｖに基づいて、可視光に対する第ｉの波長帯域の光の相対強度Ｑ（ｉ＋１）を算出して光源推定部２３７に供給する。すなわち、特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎのそれぞれは、相対強度Ｑ２乃至相対強度Ｑ（ｎ＋１）のそれぞれを算出して光源推定部２３７に供給する。

例えば、特定色光対可視光比算出部２３４は、次式（５）を計算することにより、相対強度Ｑ（ｉ＋１）を算出する。

Ｑ（ｉ＋１）＝Ｖｉ／Ｖ・・・（５）

ここで、式（５）におけるＶｉは第ｉの波長帯域の光の光量Ｖｉを示しており、Ｖは可視光の光量Ｖを示している。したがって相対強度Ｑ（ｉ＋１）は、光量Ｖｉを光量Ｖで除算することにより得られる。

ステップＳ４７において、赤外光対可視光比算出部２３５は、受光部２３１から供給された光量ＩＲ、および可視光量算出部２３２から供給された光量Ｖに基づいて、可視光に対する赤外光の相対強度Ｑ（ｎ＋２）を算出して光源推定部２３７に供給する。例えば、赤外光対可視光比算出部２３５は、次式（６）を計算することにより、相対強度Ｑ（ｎ＋２）を算出する。

Ｑ（ｎ＋２）＝ＩＲ／Ｖ・・・（６）

ここで、式（６）におけるＩＲは赤外光の光量ＩＲを示しており、Ｖは可視光の光量Ｖを示している。したがって相対強度Ｑ（ｎ＋２）は、光量ＩＲを光量Ｖで除算することにより得られる。

ステップＳ４８において、光源推定部２３７は、紫外光対可視光比算出部２３３から供給された相対強度Ｑ１、特定色光対可視光比算出部２３４−１乃至特定色光対可視光比算出部２３４−ｎから供給された相対強度Ｑ２乃至相対強度Ｑ（ｎ＋１）、および赤外光対可視光比算出部２３５から供給された相対強度Ｑ（ｎ＋２）とからなる被評価ベクトルと、評価ベクトル保持メモリ２３６に保持されている評価ベクトルとを用いて光源を推定し、その推定結果を出力して光源推定処理は終了する。

例えば、光源推定部２３７は、被評価ベクトルと、光源ごとの評価ベクトルとの類似度を計算し、類似度の最も高い評価ベクトルにより示される光源を光源推定の結果として得られた光源とする。

このようにして、光源推定装置２２１は、可視光である第１の波長帯域の光乃至第ｎの波長帯域の光、赤外光、および紫外光を受光し、可視光に対する紫外光の相対強度Ｑ１、可視光に対する第ｉの波長帯域の光（１≦ｉ≦ｎ）の相対強度Ｑ（ｉ＋１）、および可視光に対する赤外光の相対強度Ｑ（ｎ＋２）を求めて光源を推定する。

このように、相対強度Ｑ１乃至相対強度Ｑ（ｎ＋２）を求めて光源を推定することで、より簡単かつ確実に光源を推定することができる。特に、光源推定装置２２１においては、不可視光の光量とともに、可視光の複数の波長帯域の光量を用いるので、光源からの光のうち、可視光の波長帯域の分光特性も利用して光源を推定することができる。したがって、例えば図９に示した光源としての蛍光灯、つまり分光分布においてピークとなる波長が異なる各種の蛍光灯が光源である場合などにおいても、より確実に光源を推定することができる。

なお、以上においては、可視光に対する他の光の相対強度を用いて光源推定を行うと説明したが、各光の光量を正規化して光源を推定するようにしてもよい。

そのような場合、光源推定装置は、例えば図１４に示すように構成される。なお、図１４において、図１２における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

光源推定装置２６１は、受光部２３１、正規化部２７１、評価ベクトル保持メモリ２７２、および光源推定部２７３から構成される。

正規化部２７１は、受光部２３１から供給された紫外光の光量ＵＶ、第１の波長帯域の光の光量Ｖ１乃至第ｎの波長帯域の光の光量Ｖｎ、および赤外光の光量ＩＲのそれぞれを正規化して光源推定部２７３に供給する。

評価ベクトル保持メモリ２７２は、複数の光源ごとに予め求められた、正規化された紫外光の光量、第１の波長帯域の光の光量乃至第ｎの波長帯域の光の光量、および赤外光の光量のそれぞれからなる評価ベクトルを保持している。評価ベクトル保持メモリ２７２は、予め保持している評価ベクトルを必要に応じて光源推定部２７３に供給する。

光源推定部２７３は、正規化部２７１から供給された、正規化された光量ＵＶ、光量Ｖ１乃至光量Ｖｎ、および光量ＩＲからなる被評価ベクトルと、評価ベクトル保持メモリ２７２に保持されている評価ベクトルとを用いて光源を推定し、その推定結果を撮像装置１１に出力する。

次に、図１５のフローチャートを参照して、光源推定装置２６１による光源推定処理について説明する。なお、ステップＳ７１の処理乃至ステップＳ７３の処理のそれぞれは、図１３のステップＳ４１の処理乃至ステップＳ４３の処理のそれぞれと同様であるので、その説明は省略する。

ステップＳ７１の処理乃至ステップＳ７３の処理により、受光部２３１から正規化部２７１に、光量ＵＶ、光量Ｖ１乃至光量Ｖｎ、および光量ＩＲが供給されると、ステップＳ７４において、正規化部２７１は、受光部２３１から供給された各光の光量を正規化し、正規化された光量のそれぞれを光源推定部２７３に供給する。

例えば、正規化部２７１は、受光部２３１から供給された各光の光量のそれぞれを、各光量の和で除算することにより、各光量を正規化する。そのような場合、まず正規化部２７１は、次式（７）を計算することにより、各光量の総和Ａを求める。

なお、式（７）において、Ｖｉは、第ｉの波長帯域の光の光量Ｖｉ（但し、１≦ｉ≦ｎ）を示しており、Σは、光量Ｖｉの変数ｉを、１からｎまで変えて総和をとることを表している。また、ＵＶは紫外光の光量ＵＶを示しており、ＩＲは赤外光の光量ＩＲを示している。したがって、光量の総和Ａは、光量Ｖ１乃至光量ｎ、光量ＵＶ、および光量ＩＲの和を求めることにより得られる。

次に、正規化部２７１は、紫外光の光量ＵＶを光量の総和Ａで除算することにより光量ＵＶを正規化し、第ｉの波長帯域の光量Ｖｉを光量の総和Ａで除算することにより光量Ｖｉを正規化し、赤外光の光量ＩＲを光量の総和Ａで除算することにより光量ＩＲを正規化する。すなわち、正規化部２７１は、次式（８）乃至式（１０）のそれぞれを計算することにより、正規化された紫外光の光量Ｗ１、正規化された第ｉの波長帯域の光量Ｗ（ｉ＋１）、および正規化された赤外光の光量Ｗ（ｎ＋２）のそれぞれを求める。

Ｗ１＝ＵＶ／Ａ・・・（８）

Ｗ（ｉ＋１）＝Ｖｉ／Ａ・・・（９）

Ｗ（ｎ＋２）＝ＩＲ／Ａ・・・（１０）

ここで、式（８）乃至式（１０）において、Ａは、光量の総和Ａを示しており、ＵＶは紫外光の光量ＵＶを示している。また、Ｖｉは第ｉの波長帯域の光量Ｖｉを示しており、ＩＲは赤外光の光量ＩＲを示している。

このようにして、正規化された紫外光の光量Ｗ１、正規化された第ｉの波長帯域の光量Ｗ（ｉ＋１）、および正規化された赤外光の光量Ｗ（ｎ＋２）が求められると、正規化部２７１は、求められたそれらの光量を光源推定部２７３に供給する。

ステップＳ７５において、光源推定部２７３は、正規化部２７１から供給された、正規化された光量Ｗ１乃至光量Ｗ（ｎ＋２）からなる被評価ベクトルと、評価ベクトル保持メモリ２７２に保持されている評価ベクトルとを用いて光源を推定し、その推定結果を出力して光源推定処理は終了する。

例えば、光源推定部２７３は、被評価ベクトルと、光源ごとの評価ベクトルとの類似度を計算し、類似度の最も高い評価ベクトルにより示される光源を光源推定の結果として得られた光源とする。

このようにして、光源推定部２７３は、可視光である第１の波長帯域の光乃至第ｎの波長帯域の光、赤外光、および紫外光を受光し、それらの受光した光の受光量を正規化して光源を推定する。

このように、正規化された光量Ｗ１乃至光量Ｗ（ｎ＋２）を用いて光源を推定することで、より簡単かつ確実に光源を推定することができる。特に、光源推定部２７３においては、各光の光量を、受光した全ての波長の光の光量の和で除算して正規化するので、光源からの光の分光分布全体に対する紫外光、可視光のｎ個の波長帯域の光、および赤外光のそれぞれの相対的な光量を正規化された光量として求めることができる。したがって、可視光だけでなく、不可視光を含む光源からの光の波長帯域全体の分光特性を考慮して光源を推定することができる。

以上のように、可視光の光量と不可視光の光量とを用いて光源推定を行うことによって、簡単な構成で、すなわち安価かつ少ない処理量で、より確実に撮像環境における光源の種類を推定することができる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホン、各波長の光を受光して光電変換するセンサなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。

入力部３０６としてのセンサは、例えば図２の受光部５１と同様の構成とされており、紫外光、可視光、および赤外光のそれぞれを受光して、受光したそれらの光の光量のそれぞれを出力することができるようになされている。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した一実施の形態の撮像装置の外観を示す図である。光源推定装置の構成例を示すブロック図である。受光部のより詳細な構成例を示す図である。波長による光の分類を示す図である。受光部の他の構成例を示す図である。撮像素子の表面に配置されるフィルタの例を説明する図である。撮像素子の表面に配置される他のフィルタの例を説明する図である。光源推定処理を説明するフローチャートである。蛍光灯の光の分光分布を示す図である。太陽光の分光分布を示す図である。各光源の光の分光分布を示す図である。光源推定装置の他の構成例を示すブロック図である。光源推定処理を説明するフローチャートである。光源推定装置の他の構成例を示すブロック図である。光源推定処理を説明するフローチャートである。コンピュータの構成例を示すブロック図である。

符号の説明

１１撮像装置，１２光源推定装置，５１受光部，５２紫外光対可視光比算出部，５３赤外光対可視光比算出部，５５光源推定部，８２紫外光センサ，８３可視光センサ，８４赤外光センサ，１１２−１，１１２−２，１１２−３，１１２撮像素子，２２１光源推定装置，２３１受光部，２３２可視光量算出部，２３３紫外光対可視光比算出部，２３４−１乃至２３４−ｎ，２３４特定色光対可視光比算出部，２３５赤外光対可視光比算出部，２３７光源推定部，２６１光源推定装置，２７１正規化部，２７３光源推定部

Claims

光源から放射された、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれ、および不可視光を受光する受光手段と、
受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出する可視光強度算出手段と、
前記可視光の強度と前記不可視光の強度とから、前記可視光に対する前記不可視光の相対強度を算出する第１の相対強度算出手段と、
前記可視光の強度と前記複数の波長帯域の光の強度のそれぞれとから、前記可視光に対する前記複数の波長帯域の光の相対強度のそれぞれを算出する第２の相対強度算出手段と、
前記第１の相対強度算出手段および前記第２の相対強度算出手段により算出された相対強度を用いて前記光源の種類を推定する光源推定手段と
を備える光源推定装置。
光源から放射された、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれ、および不可視光の受光を制御する受光ステップと、
受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出する可視光強度算出ステップと、
前記可視光の強度と前記不可視光の強度とから、前記可視光に対する前記不可視光の相対強度を算出する第１の相対強度算出ステップと、
前記可視光の強度と前記複数の波長帯域の光の強度のそれぞれとから、前記可視光に対する前記複数の波長帯域の光の相対強度のそれぞれを算出する第２の相対強度算出ステップと、
前記第１の相対強度算出ステップおよび前記第２の相対強度算出ステップの処理により算出された相対強度を用いて前記光源の種類を推定する光源推定ステップと
を含む光源推定方法。
光源から放射された、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれ、および不可視光の受光を制御する受光ステップと、
受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出する可視光強度算出ステップと、
前記可視光の強度と前記不可視光の強度とから、前記可視光に対する前記不可視光の相対強度を算出する第１の相対強度算出ステップと、
前記可視光の強度と前記複数の波長帯域の光の強度のそれぞれとから、前記可視光に対する前記複数の波長帯域の光の相対強度のそれぞれを算出する第２の相対強度算出ステップと、
前記第１の相対強度算出ステップおよび前記第２の相対強度算出ステップの処理により算出された相対強度を用いて前記光源の種類を推定する光源推定ステップと
を含む処理をコンピュータに実行させるプログラム。
光源から放射された、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれ、および不可視光を受光する受光手段と、
受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出するとともに、算出した前記可視光の強度を用いて、前記複数の波長帯域の光の強度のそれぞれ、および前記不可視光の強度を正規化する正規化手段と、
正規化された前記複数の波長帯域の光の強度のそれぞれ、および正規化された前記不可視光の強度を用いて前記光源の種類を推定する光源推定手段と
を備える光源推定装置。
光源から放射された、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれ、および不可視光の受光を制御する受光ステップと、
受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出するとともに、算出した前記可視光の強度を用いて、前記複数の波長帯域の光の強度のそれぞれ、および前記不可視光の強度を正規化する正規化ステップと、
正規化された前記複数の波長帯域の光の強度のそれぞれ、および正規化された前記不可視光の強度を用いて前記光源の種類を推定する光源推定ステップと
を含む光源推定方法。
光源から放射された、可視光とされる波長帯域に含まれる複数の波長帯域の光のそれぞれ、および不可視光の受光を制御する受光ステップと、
受光された前記複数の波長帯域の光の強度のそれぞれの和を前記可視光の強度として算出するとともに、算出した前記可視光の強度を用いて、前記複数の波長帯域の光の強度のそれぞれ、および前記不可視光の強度を正規化する正規化ステップと、
正規化された前記複数の波長帯域の光の強度のそれぞれ、および正規化された前記不可視光の強度を用いて前記光源の種類を推定する光源推定ステップと
を含む処理をコンピュータに実行させるプログラム。