JP6417666B2 - 画像処理システム - Google Patents

Description

この発明は、画像処理システム、詳しくは偏光情報を含む画像の処理を行う画像処理システムに関する。

偏光情報を画像処理に利用することが知られている(特許文献１〜４等)。

例えば、カメラ等の撮像装置において、撮像素子上に「領域分割した偏光フィルタ」を配置し、ピクセルが取得する光の偏光方向を変えて撮像を行うことが知られている。

また、得られた輝度情報は輝度画像として、偏光情報は色情報として「１枚の絵」を出力する方法も知られている。

例えば、特許文献１には、偏光フィルタを用いて「偏光情報を有する画像」を取得し、偏光情報の法線ベクトルを矢印の向きとして出力する方法が記載されている。

特許文献１はまた、偏光角度に可視光線スペクトルを対応させて規定し、偏光角度に対応して「色分けして各画素を再構築する方法」が開示されている。

特許文献１記載の方法では、出力される画像において偏光情報が「矢印や色」で表現されているため、偏光情報の利用の際に「通常の輝度画像に関する処理」を利用出来ない。

例えば、車載カメラ等で「路面上の白線の認識」に偏光情報を有する画像を利用しようとしても「輝度を用いた白線認識のアルゴリズム」による処理を行うことができない。

即ち、「色として表現された偏光情報用に用いる白線認識処理」を新たに開発する必要がある。

この発明は、上述した事情に鑑みてなされたものであって、輝度画像に関する処理を用いて偏光情報を利用できる新規な画像処理システムの実現を課題とする。

この発明の画像処理システムは、偏光情報を有する画像の前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部を有し、該輝度偏光重畳部により重畳された画像を出力画像として出力する機能を持ち、前記輝度偏光重畳部により輝度画像に重畳される偏光情報が差分偏光度である。

この発明の画像処理システムによれば、偏光情報が、各ピクセルの輝度の変化として輝度画像に重畳されて出力画像として出力される。

従って、出力される出力画像は、輝度画像に関する通常の画像処理が可能である。

画像処理システムの実施の１形態を説明するための図である。 物体による反射のモデルを説明するための図である。 画像処理システムの実施の別形態を説明するための図である。 同一撮像対象の輝度画像と輝度偏光重畳画像の１例を示す図である。 同一撮像対象の輝度画像と輝度偏光重畳画像の別例を示す図である。 同一撮像対象の輝度画像と輝度偏光重畳画像の他の例を示す図である。 輝度画像の飽和の程度を求めるフロー図である。 画像処理システムを車両の制御に利用する場合を説明するための図である。 画像処理システムのハードウエアの１例を説明するための図である。

以下、発明の実施の形態を説明する。
図１（ａ）は、画像処理システムの実施の１形態を説明するための概念図である。

図１（ａ）において、符号１０で示す部分は「撮像部」、符号２０で示す部分は「輝度偏光重畳部」であり、符号３０で示す部分は「画像処理／画像認識部」である。

これら撮像部１０、輝度偏光重畳部２０、画像処理／画像認識部３０のうちで、この発明の画像処理システムに必要不可欠なのは輝度偏光重畳部２０である。

即ち、輝度偏光重畳部２０は、単独で、この発明の画像処理システムを構成できる。

撮像部１０は、この発明の画像処理システムとは別体で、輝度偏光重畳部２０に組み合わせられるものであっても良いし、画像処理システムの一部を構成しても良い。

同様に、画像処理／画像認識部３０も、この発明の画像処理システムとは別体でもよく、画像処理システムの一部を構成するものであってもよい。

撮像部１０は、輝度偏光重畳部２０により重畳処理を受ける「偏光情報を有する画像」を撮像する部分である。図１（ａ）で符号ＩＭＰは「偏光情報を有する画像」を示す。

以下、この画像ＩＭＰを「偏光画像ＩＭＰ」と呼ぶ。

撮像部１０は、画像処理システムとは独立した所謂「偏光カメラ」を用いることができる。この場合には、偏光カメラの「撮像画像」として偏光画像ＩＭＰが得られる。

図１（ａ）、（ｂ）と（ｃ）を参照して撮像部１０の構成の１例を説明する。

撮像部１０は、図１（ａ）に示すように、結像レンズ１１と撮像素子１２と、光学フィルタ１３とを有している。

図１（ｃ）は、撮像素子１２と、光学フィルタ１３を、横方向から見た状態を示す。

撮像素子１２は、基板ＳＴ上にピクセルが２次元配列したものである。説明中の例では、ピクセルの配列は正方行列配置となっている。

光学フィルタ１３は、偏光フィルタ１３２を、透明基板１３１と充填層１３３で挟持した構成となっている。

図１（ｃ）では、離れたように描かれている光学フィルタ１３と撮像素子１２とは互いに密着している。

即ち、偏光フィルタ１３２と撮像素子１２の近接部に充填層１３３が「接着剤」として充填されて両者を一体化しているのである。

偏光フィルタ１３２は、偏光方向の異なる複数種の偏光フィルタ素子を撮像素子１２のピクセルに併せて２次元的に配列してなる所謂「領域分割偏光フィルタ」である。

図１（ｂ）において、隣接する４つのピクセルＰＣ１、ＰＣ２、ＰＣ３、ＰＣ４に対応して、偏光フィルタ素子ＰＯＬ１、ＰＯＬ２、ＰＯＬ３、ＰＯＬ４が重ね合わされている。

偏光フィルタ１３２に用いられた偏光フィルタ素子の種類は、Ｐ偏光を透過させるものと、Ｓ偏光を透過させるものの２種類である。

これら２種の偏光フィルタ素子は、図１（ｂ）における撮像素子１２のピクセル配列の縦方向（２次元行列配列の列方向）を長手方向とする短冊状である。

これら短冊状の偏光フィルタ素子は、横方向（行方向）へ交互に配列されている。

図１（ｂ）のように、ピクセルＰＣ１とＰＣ２が配列する縦方向には、Ｓ偏光を透過させる偏光フィルタ素子ＰＯＬ１、ＰＯＬ２が配列されてこれらピクセルに対応する。

また、ピクセルＰＣ３とＰＣ４が配列する縦方向には、Ｐ偏光を透過させる偏光フィルタ素子ＰＯＬ３、ＰＯＬ４が配列してこれらピクセルに対応する。

撮像部１０により撮像された被写体の像は偏光フィルタ１３２上に結像し、各偏光フィルタ素子を透過することによりＰあるいはＳ偏光となって撮像素子１２に受光される。

このようにして、撮像素子１２により、ピクセルごとに、Ｐ偏光の像もしくはＳ偏光の像が撮像される。

このように撮像された画像が「偏光情報を有する画像」であり、図１に示すように、偏光画像ＩＭＰとして出力される。
偏光画像ＩＭＰは、画像の情報としては「輝度画像と偏光情報」とを有している。

偏光画像ＩＭＰは、輝度偏光重畳部２０に入力する。
輝度偏光重畳部２０は、実体としてはＣＰＵやマイクロコンピュータとして構成され、後述するアルゴリズムに従うプログラム演算により輝度画像と偏光情報の重畳を行う。

前述の如く、偏光画像ＩＭＰは、画像の情報として「輝度画像と偏光情報」を有しており、偏光画像ＩＭＰから「輝度画像」と「偏光情報」を抽出する。

そして、このように抽出される偏光情報を輝度画像に重畳する。即ち、偏光画像ＩＭＰの偏光情報を「各ピクセルの輝度の変化として輝度画像に重畳」する。

このようにして輝度画像と偏光情報を重畳された後、図１（ａ）に示す出力画像ＩＭＯとして出力される。
輝度画像と偏光情報を重畳された画像を「輝度偏光重畳画像」と言う。

出力画像ＩＭＯは「従来から知られている通常の輝度画像処理」、例えば、車載用途の場合で言えば「ＬＤＷやＡＨＢに関する処理が可能」である。

このように従来の輝度画像処理が可能である出力画像ＩＭＯは、図１（ａ）の例では、画像処理／画像認識部３０に入力される。

画像処理／画像認識部３０は、出力画像ＩＭＯの入力を受けて、所望の画像処理や画像認識の処理を行う。

例えば、図１（ａ）の画像処理システムが「車両制御用」に車載される場合であれば、画像処理／画像認識部３０により認識物体の抽出処理などの処理が行われる。

そして、その結果を受けた車両制御手段により例えば、車両のブレーキやハンドル操作のアシストなどの車両制御が行われる。

出力画像ＩＭＯは「従来から行われている輝度画像処理」により画像処理できるので、「偏光画像用に画像処理や画像認識処理を新たに開発」する必要は無い。

図１の画像処理システムを用いることにより、認識率の向上や、誤検知の低減を図ることが出来る。

撮像部１０につき、若干付言する。図１に示す撮像部１０は、偏光フィルタ１３２を有するものである。
偏光フィルタ１３２は「Ｐ偏光を透過させる偏光フィルタ素子と、Ｓ偏光を透過させる偏光フィルタ素子」の２次元的な配列による「領域分割偏光フィルタ」である。

「撮像部」は、このような構成のものに限定されるものではない。

例えば、特許文献１に記載された「複数の偏光方向の偏光子を組み合わせた偏光子プレートを結像レンズの前に配し、回転しつつ撮像を行う構成のもの」でもよい。

また、２個の撮像カメラの一方に「Ｓ偏光を透過させる偏光フィルタ」、他方に「Ｐ偏光を透過させる偏光フィルタ」を組み合わせたものでもよい。

即ち、一方のカメラでは「Ｓ偏光情報をもつ画像情報」、他方のカメラでは「Ｐ偏光情報をもつ画像情報」を撮像し、各カメラの画像情報を合わせて偏光画像とするのである。

このように、種々の撮像部で取得される「偏光画像」に対して、この発明の「偏光情報の輝度画像への重畳」による画像処理を実施することができる。

なお、上に説明した偏光フィルタ１３２は、例えば「サブ波長構造（ＳＷＳ）」により構成することができる。

また、撮像素子１２として、上の例では「モノクロのイメージセンサ」が想定されているが、これに限らず、カラーイメージセンサを用いることもできる。

撮像素子１２の、偏光フィルタ１３２が形成されている領域では、Ｐ、Ｓの各領域のＰ、Ｓの偏光画像が撮像される。

これらＰ、Ｓの偏光画像は後述するように「偏光情報を有する画像、及び、輝度画像」として各種情報検知に使われる。

以下には、偏光情報とその輝度画像への重畳の基本を説明する。

物体表面の反射特性は、双方向反射分布関数(Bi-directional Reflectance Distribution Function 以下「ＢＲＤＦ」と表記する)により表現される。
物体表面上の「ある点におけるＢＲＤＦ」は入射方向と反射方向の双方向に依存し、照明方向からの入射光の強さに対する、観測方向への反射光の強さの比として定義される。

「偏光現象」を記述する反射モデルは、種々提案されている。

以下では、鏡面反射成分として「Torrance Sparrowモデル」を用い、拡散反射成分として「Lambertモデル」を用いる。

図２は、物体ＯＢによる反射のモデルを示している。図２において「Ｎ」は物体ＯＢの反射位置における「外向き法線ベクトル」を表す。

「Ｌ」は、前記反射位置から光源へ向かうベクトルで「光源ベクトル」と呼ぶ。「Ｖ」は、前記反射位置から観察位置へ向かうベクトルで「視線方向ベクトル」と呼ぶ。

「Ｈ」は、光源ベクトル：Ｌと視線方向ベクトル：Ｖとの成す角を２等分する方向のベクトルで簡単に「２等分方向ベクトル」と呼ぶ。

前記の各ベクトル：Ｎ、Ｌ、Ｖ、Ｈは「同一平面」上に位置する。

この同一平面内で、角：ψ、θ_Ｌ、α、θ_ｉ、及びθを、図の如くに定める。

物体ＯＢによる「Ｓ偏光ＢＲＤＦ：ρ_Ｓ(ψ，θ)」は、以下のように与えられる。
ρ_Ｓ(ψ，θ)＝ｋ_ＳＲ_Ｓ(θ_ｉ)Ｄ＋ｋ_ｄｃｏｓθ_Ｌ （Ａ）
同様に、「Ｐ偏光ＢＲＤＦ：ρ_Ｐ(ψ，θ)」は、以下のように与えられる。
ρ_Ｐ(ψ，θ)＝ｋ_ＰＲ_Ｐ(θ_ｉ)Ｄ＋ｋ_ｄｃｏｓθ_Ｌ （Ｂ）
式（Ａ）、（Ｂ）における右辺の第１項が鏡面反射モデル項(Torrance Sparrowモデル)、第２項が拡散反射モデル項(Lambertモデル)である。

これらの式（Ａ）、（Ｂ）において、「ｋ_Ｓ」はＳ偏光の鏡面反射係数、「ｋ_Ｐ」はＰ偏光の鏡面反射係数を表し、「ｋ_ｄ」は拡散反射係数を表す。

また、「Ｒ_Ｓ(θ_ｉ)およびＲ_Ｐ(θ_ｉ)」は、それぞれＳ偏光、Ｐ偏光に対する「フレネル反射率」であり、以下の式により与えられる。

Ｒ_Ｓ(θ_ｉ)
＝{(ｎ_１ｃｏｓθ_ｉ−ｎ_２ｃｏｓθ_ｉ’)/(ｎ_１ｃｏｓθ_ｉ＋ｎ_２ｃｏｓθ_ｉ’)}^２
Ｒ_Ｐ(θ_ｉ)
＝{(ｎ_１ｃｏｓθ_ｉ’−ｎ_２ｃｏｓθ_ｉ)/(ｎ_１ｃｏｓθ_ｉ’＋ｎ_２ｃｏｓθ_ｉ)}^２
ここに、ｎ_１、ｎ_２は、それぞれ空気および物体ＯＢの屈折率である。

また、角：θ_ｉ’は、角：θ_ｉおよび屈折率：ｎ_１、ｎ_２と以下の関係にある。

ｓｉｎθ_ｉ’＝（ｎ_１/ｎ_２）ｓｉｎθ_ｉ 。

従って、
θ_ｉ’＝ａｒｃｓｉｎ｛（ｎ_１/ｎ_２）ｓｉｎθ_ｉ｝ 。
である。

上記フレネル反射率の項により、反射モデルの挙動として偏光依存性が反映される。

上記の式（Ａ）、（Ｂ）における「Ｄ」は、反射位置における微小面積の「法線分布項」である。

法線分布項：Ｄは、以下のように表される。

Ｄ＝ｅｘｐ(−α^２/２ａ^２)
ここに、「α」は分布関数の中心座標値であり、図２における角度パラメータ：αに対応している。また、「ａ」は分布関数における標準偏差である。

なお、「ａ」は微小面積の「角度分布に関するパラメータ」である。法線分布項：Ｄは、正規分布を表すガウス分布となっている。

次に、輝度画像に重畳される偏光情報につき説明する。偏光情報には種々のものが考えられるが、以下には次の３種類の偏光情報を説明する。

これら３種類の偏光情報は「偏光度」、「差分偏光度」および「偏光比」である。

「偏光度（Degree of polarization）」は、偏光現象に関する周知のストークスパラメータ：Ｓ_０、Ｓ_１、Ｓ_２、Ｓ_３を用いて定義される量であり、以下において「ＤＯＰ」と略記する。

ＤＯＰは、ストークスパラメータ：Ｓ_０〜Ｓ_３を用いて、以下の式により定義される。

ＤＯＰ＝｛√（Ｓ_１ ^２＋Ｓ_２ ^２＋Ｓ_３ ^２）｝／Ｓ_０ 。

「差分偏光度（Ｓｕｂ−DOP）」は、ストークスパラメータ：Ｓ_０、Ｓ_１を用いて以下のように定義される量であり、以下「ＳＤＯＰ」と略記する。

ＳＤＯＰ＝Ｓ_１/Ｓ_０＝{Ｉ(０，φ)−Ｉ(９０，φ)}/{Ｉ(０，φ)＋Ｉ(９０，φ)}
ここに、Ｉ(０，φ)は、軸角度を０度としたときの「偏光フィルタを通した光強度」であり、Ｉ(９０，φ)は軸角度を９０度としたときの偏光フィルタを通した光強度である。

先に説明した「領域分割偏光フィルタ」の例では、Ｉ(０，φ)はＳ成分透過光を受光したピクセルの受光強度である。

また、Ｉ(９０，φ)はＰ成分透過光を受光したピクセルの受光強度である。

ストークスパラメータ：Ｓ_２＝Ｓ_３＝０の場合には、以下の関係がなりたつ。
ＤＯＰ＝｜ＳＤＯＰ｜
それで、この場合のＳＤＯＰも「偏光度」と呼ぶことにする。

「偏光比」は上記Ｉ(０，φ)とＩ(９０，φ)との比であり、以下のように定義される。

偏光比＝Ｉ(０，φ)／Ｉ(９０，φ)
偏光比は、上記の如く「Ｉ(０，φ)とＩ(９０，φ)との比」であるので、上記のものに代えて、以下のように表示しても良い。

偏光比＝Ｉ(９０，φ)／Ｉ(０，φ)
そこで、上記の如く定義される３種の偏光情報：ＤＯＰ、ＳＤＯＰ、偏光比の任意のものを輝度画像に重畳することにより、前述の出力画像ＩＭＯを得ることができる。

「輝度画像」は、以下のように求めることができる。

上に説明した実施の形態では撮像部１０における偏光フィルタ１３２は「領域分割偏光フィルタ」である。

即ち、偏光フィルタ１３２には、Ｐ偏光を透過させる偏光フィルタ素子と、Ｓ偏光を透過させる偏光フィルタ素子」の２次元的に配列されている。

そこで、撮像素子１２の撮像領域を２次元ｘ、ｙ座標で表し、位置：（ｘ、ｙ）のピクセルが受光したＳ、Ｐ偏光の強度をそれぞれ「Ｉ_Ｓ(ｘ、ｙ)、Ｉ_Ｐ(ｘ、ｙ)」とする。

これらの強度を用いると、輝度画像：Ｉ_bright（ｘ，ｙ）は、容易に理解されるように以下の式（Ｃ）で表すことができる。

Ｉ_bright（ｘ，ｙ）＝｛Ｉ_Ｓ(ｘ、ｙ)＋Ｉ_Ｐ(ｘ、ｙ)｝／２ （Ｃ）
従って、「重畳の演算」を仮に記号：［ＳＰＩ］と表すと、輝度画像と偏光情報の重畳は、以下のように表すことができる。

Ｉ_bright（ｘ，ｙ）［ＳＰＩ］（偏光情報）
偏光情報としては、前述の「ＤＯＰ、ＳＤＯＰ、偏光比」の何れを用いても良い。
重畳の演算は、種々のものが考えられるが、その中で簡単なものは以下の２種である。

即ち、そのひとつは「線形和」により行う方法であり、次のように表される。

Ｉ_bright（ｘ，ｙ）［ＳＰＩ］（偏光情報）
＝Ｉ_bright（ｘ，ｙ）＋{Ｋ×（偏光情報）}
他は「積演算」により行う方法であり、次のように表される。

Ｉ_bright（ｘ，ｙ）［ＳＰＩ］（偏光情報）
＝Ｉ_bright（ｘ，ｙ）×{Ｋ×（偏光情報）}
なお、偏光情報は「各ピクセルの輝度の変化として輝度画像に重畳」される。

従って、上の重畳の演算の各式の右辺において、加算もしくは掛け合わせられるピクセルは等しい座標（ｘ，ｙ）を持つ。

上記の重畳の式において、右辺の「Ｋ」は、重畳の程度を表す定数であり、具体的な重畳の条件に応じて、適宜に設定可能である。

図１に実施の形態を示した画像処理システムは以下の如く構成されている。

即ち、偏光情報を有する画像ＩＭＰの偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部２０を有する。

そして、輝度偏光重畳部２０により重畳された出力画像ＩＭＯを出力する機能を持つ。

また、図１に示した画像処理システムは、輝度偏光重畳部２０により重畳処理を受ける偏光情報を有する画像ＩＭＰを撮像する撮像部１０を有する。

輝度偏光重畳部２０による偏光情報と輝度画像の重畳は、これらの線形和として行うことも、これらの積として行うこともできる。

重畳される偏光情報は、偏光度（ＤＯＰ）であることも差分偏光度（ＳＤＯＰ）であることも「偏光比」であることもできる。

なお、輝度画像への重畳に先立って、偏光情報のノイズを除去するノイズリダクション手段を有することができる。

上に説明した反射のモデルでは、反射光の偏光状態は、物体ＯＢの材質(屈折率、表面状態、内部散乱係数）、光源と物体の角度、物体と観測点の角度を変数として表せる。

即ち、上記偏光状態は、以下の式（Ｄ）により表すことができる。

偏光状態＝Ｆ（光源状態、材質、角度） （Ｄ）
Ｆは関数であることを表す。

この式において、各変数は以下のとおりである。

光源状態＝ψの角度分布
材質＝ｋ_Ｓ、ｋ_Ｐ、ｋ_ｄ、ｎ_２等
角度＝θ
式（Ｄ）は、左辺の「偏光情報」と右辺の「光源材料、材質、角度」を関係付けるものである。

従って、右辺の「光源状態・材質・角度」は、これらのうちの任意の２つが決まれば残りの１つが定まるという関係となっている。

上に、図１に即しての説明では「光源状態は不変」であることを前提としている。

従って「照明状態が不変である室内」での撮像により得られる偏光画像の重畳に対して、上記実施の形態は有効である。

上に説明した反射モデルでは、物体ＯＢの表面での「正反射によるスペキュラ光」を表す項（Ｒｓ、Ｒｐの項）が偏光状態を特徴付ける重要な量となっている。

観察対象である物体ＯＢに対して、撮像部１０と光源が同じ角度にあるような場合には、スペキュラ光は殆ど戻って来ず、その結果「偏光情報が得られない」ことが分かる。

光源の状態をコントロールできない場合には、このような困難があるため、光源の条件を固定できない車載用途などへの応用を考えた場合には以下の如き考察が必要である。

偏光状態は式（Ｄ）で示したような関係にあるため、照射光を投射しない車載カメラでは、光源状態に依存して「偏光画像の持つ偏光情報」が変化する。
例えば「路面と白線など異なる材質のもの」を区別する場合にも、光源の状態によって、偏光情報（例えばＳＤＯＰ）は変化してしまう。

また、偏光情報は、角度によっても変化するが「車両の定位置に撮像部を固定して、路面上の同じ角度のもの」を撮像する場合であれば、角度による偏光情報の変化は無視することができる。

輝度画像に偏光情報を重畳した出力画像ＩＭＯを用いて「物体の認識」を行なう場合、物体を特徴付ける何らかの「特徴量」を用いて認識を行う必要がある。

この場合、物体による偏光状態を単独で特徴量とする場合には、特徴量が「光源状態の影響」を受けてしまうことになる。

このような場合には、光源状態によらない「偏光状態を活かした特徴量」を用いる必要がある。

前述の式（Ａ）、（Ｂ）によれば、光源の高度（図２における、角：ψ、あるいは、角：θ_Ｌにより定まる。）により、Ｓ偏光とＰ偏光の反射強度の大きさは変化する。

しかし、反射強度の大きさは常に、Ｐ偏光の方がＳ偏光よりも大きい。

また、Ｓ偏光とＰ偏光の「反射強度の差」は、表面反射が大きい（即ち、内部散乱が小さい）ものほど大きい。

説明中の車載用のものの場合における実使用状況では「順光の場合には撮像されるものの略全てが順光照明を受ける」と考えられる。

また「逆光の場合には撮像されるものの略全てが逆光照明を受ける」と考えられる。

この点を考慮すると、種々の物体が撮像された状態において、前述のＳＤＯＰ(差分偏光度)等の偏光情報は、平均としては「順光と逆光で値に偏りが生じる」と考えられる。

このような事情を考慮すると、前記「特徴量」は以下の如き方針で選択するのが良いと考えられる。

イ．順光と逆光など光源の状態の影響を「画面全体のＳＤＯＰなど偏光情報におけるオフセット」を除去することにより、大まかにキャンセルする。

「オフセット」は、偏光情報における上記「順光と逆光で値に生じる偏り」である。

ロ．順光状態、即ち、撮像部と物体のなす角度と、光源と物体のなす角度が近い場合にはそもそも「偏光情報が小さく」なる。

従って、このような場合には「偏光情報が無い」とし、偏光情報を利用可能な場合にのみ、偏光情報を特徴量に付加するようにする。

このようにすると、偏光情報を利用できる場合には、偏光情報の重畳により「通常の輝度画像よりも画像認識を良好に行う」ことができる。

ハ．前述の式（Ａ）、（Ｂ）によれば、順光による撮像では、Ｉ(０，φ)はＩ（９０，φ）に等しく「ＳＤＯＰ＝０」と成るはずであるが、実際の実測結果では０にならない。

また、反射物体の材質によってもＳＤＯＰに差がある。

この点を鑑みて、順光時と逆光時で「ＳＤＯＰを特徴量に寄与させる係数」を調整できるようにする。
また「順光か順光以外かの判断」には画面全体のＳＤＯＰ(偏光度)を使用する。

ニ．通常の輝度情報を用いたアルゴリズムを使用できるように「輝度に近い特徴量」とする。

即ち、大まかに言えば、偏光度として、絶対量ではなく「相対量のみ」を見る。

そして、光源の状態によらず「物体の表面反射の大小（散乱の大小）という情報」を、使える状況に応じて輝度情報に付加した特徴量とする。

ＳＤＯＰ(偏光度)は、光源の角度：ψによって大きく変化する。

しかし、図２における角：θ_ｉやθ_Lについて、ある角度：θ_ｉ1、θ_L1で見たときに材質ＡとＢでのＳＤＯＰの大小関係がＡ＞Ｂとなっている場合には、他の角度：θ_ｉ2、θ_L2で見た場合にもＳＤＯＰの大小関係がＡ＞Ｂとなっている場合が多い。

以下に「ある角度で見たときに材質Ａと材質ＢでのＳＤＯＰの大小関係がＡ＞Ｂとなっていた場合に、他の角度でもＡ＞Ｂとなっている条件」を説明する。

材質を表すパラメータとしては、前述のｋ_ｐ、ｋ_ｓ、ｋ_ｄ、ｎ_２、ａ等が挙げられる。

従って、これらのパラメータが変化した場合に、ＳＤＯＰの値の変化の向き（増加する向きか、減少する向きか）が、角度によらない条件を導出する。

上述の如く、「ＳＤＯＰ」は以下のように表すことができる。

ＳＤＯＰ＝Ｓ_１/Ｓ_０＝{Ｉ(０，φ)−Ｉ(９０，φ)}/{Ｉ(０，φ)＋Ｉ(９０，φ)}
この式を、前述の、ｎ_１、ｎ_２、θ_ｉ、θ_ｉ’、θ_Ｌ、ｋ_ｓ、ｋ_ｄ、α、ａを用いて表すと、以下のようになる。

ＳＤＯＰ
＝[k_s{(n₁cosθ_i-n₂cosθ_ｉ’)/(n₁cosθ_i-n₂cosθ_ｉ’)}exp{(-α²)/2a²}+k_dcosθ_L
-k_s{(n₁cosθi-n₂cosθ_ｉ’)/(n₁cosθ_i+n₂cosθ_ｉ’)}exp{(-α²)/2a²}-k_dcosθ_L]
/[k_s{(n₁cosθ_i-n₂cosθ_ｉ’)/(n₁cosθ_i-n₂cosθ_ｉ’)}exp{(-α²)/2a²}+k_dcosθ_L
+k_s{(n₁cosθi-n₂cosθ_ｉ’)/(n₁cosθ_i+n₂cosθ_ｉ’)}exp{(-α²)/2a²}-k_dcosθ_L]
（４−１）
なお、説明の簡単のため、「幾何減衰項」は無視している。

次に、光線が「空気中から入射」するものとし、前述のフレネル反射率：
Ｒ_Ｓ(θ_ｉ)
＝{(ｎ_１ｃｏｓθ_ｉ−ｎ_２ｃｏｓθ_ｉ’)/(ｎ_１ｃｏｓθ_ｉ＋ｎ_２ｃｏｓθ_ｉ’)}^２
Ｒ_Ｐ(θ_ｉ)
＝{(ｎ_１ｃｏｓθ_ｉ’−ｎ_２ｃｏｓθ_ｉ)/(ｎ_１ｃｏｓθ_ｉ’＋ｎ_２ｃｏｓθ_ｉ)}^２
において、ｎ_１＝１とし、このときのフレネル反射率をＲ_Ｓについて「Ｒ_Ｓ(ｎ_２)」とし、Ｒ_Ｐについて「Ｒ_Ｐ(ｎ_２)」とする。

すると、これらは以下の如くになる。

Ｒ_Ｓ(ｎ_２)
＝{(ｃｏｓθ_ｉ−ｎ_２ｃｏｓθ_ｉ’)/(ｃｏｓθ_ｉ＋ｎ_２ｃｏｓθ_ｉ’)}^２
Ｒ_Ｐ(ｎ_２)
＝{(ｃｏｓθ_ｉ’−ｎ_２ｃｏｓθ_ｉ)/(ｃｏｓθ_ｉ’＋ｎ_２ｃｏｓθ_ｉ)}^２
これらＲ_Ｓ(ｎ_２)、Ｒ_Ｐ(ｎ_２)を用いると、上記（４−１）式は、以下のようになる。

ＳＤＯＰ
＝[k_s・exp{(-α²)/2a²}・{Ｒ_Ｓ(ｎ_２)-Ｒ_Ｐ(ｎ_２)}
/[k_s・exp{(-α²)/2a²}・{Ｒ_Ｓ(ｎ_２)+Ｒ_Ｐ(ｎ_２)}+2k_dcosθ_L]
（４−２）
この式（４−２）が、上に説明したモデルにおける「ＳＤＯＰの理論式」である。

ここで「鏡面反射成分と拡散成分の比」を示すパラメータ：ｋ＝k_ｓ/k_dを導入する。このパラメータ：ｋを用いると、式（４−２）は、以下のようになる。

ＳＤＯＰ
＝[k・exp{(-α²)/2a²}・{Ｒ_Ｓ(ｎ_２)-Ｒ_Ｐ(ｎ_２)}
/[k・exp{(-α²)/2a²}・{Ｒ_Ｓ(ｎ_２)+Ｒ_Ｐ(ｎ_２)}+2cosθ_L]
（４−３）
式（４−３）には、反射物体の材質に関連したパラメータとして、ｋ、ｎ2、ａが含まれている。これらのパラメータの変化によるＳＤＯＰの変化の様子を見る。

この目的のために、先ず式（４−３）を、パラメータ：ｋにより偏微分する。

なお、説明中のパラメータ：ｋは、後述の「偏光情報重畳係数：ｋ」とは異なるものであることを付記しておく。

ここで、簡略化のために、以下の記号を導入する。

ｆ1＝exp{(-α²)/2a²}・{Ｒ_Ｓ(ｎ_２)-Ｒ_Ｐ(ｎ_２)}
ｇ1＝2cosθ_L
ｈ1＝exp{(-α²)/2a²}・{Ｒ_Ｓ(ｎ_２)+Ｒ_Ｐ(ｎ_２)} 。

これらを用いると、式（４−３）は、以下のように書ける。

ＳＤＯＰ
＝k・ｆ1/[k・h1+g1]
従って、ＳＤＯＰのｋによる偏微分：
∂｛ＳＤＯＰ｝／∂ｋ
＝∂｛k・ｆ1/[k・ｈ1+ｇ1]｝／∂ｋ
＝(h1/f1)[(g1/f1)/{(g1/f1)+k}²]
（４−４）
となる。

角：θ_Lは、−２/π≦θ_L≦２/πの範囲にあるから、上記ｆ1、ｇ1、ｈ1は何れも、θ_Lの変動範囲内において、正の値のみをとり得る。

従って、式（４−４）は、
∂｛ＳＤＯＰ｝／∂ｋ≧０
となる。

次に、ＳＤＯＰをパラメータ：ａにより偏微分する。
式の表現を簡単にするため、ここでも、以下の記号を導入する。

ｆ2＝ｋ{Ｒ_Ｓ(ｎ_２)-Ｒ_Ｐ(ｎ_２)}
ｇ2＝ｋ{Ｒ_Ｓ(ｎ_２)+Ｒ_Ｐ(ｎ_２)}
ｈ2＝2cosθ_L 。

そうすると、
∂（ＳＤＯＰ）/∂ａ＝
＝∂｛exp{(-α²)/2a²}/［exp{(-α²)/2a²}+h2］｝/∂ａ
＝（ｆ2/ｇ2）[(h2/g2)α²exp{(-α²)/2a²}/｛ａ³{exp{(-α²)/2a²}+(h2/g2)}]
（４−５）
この場合にも、ｆ2、ｇ2、ｈ2は、正の値のみをとり得る。また、「ａ」は分布関数における標準偏差であるから、正である。

従って、式（４−５）の右辺も常に正である。

同様に、ＳＤＯＰをパラメータ：ａにより偏微分する。

この場合にも、式の表現を簡単にするため、ここでも、以下の記号を導入する。

ｆ3＝ｋ・exp{(-α²)/2a²}
ｇ3＝2cosθ_L
そうすると、
∂（ＳＤＯＰ）/∂ｎ₂
＝∂[{ｆ3{Ｒ_Ｓ(ｎ_２)-Ｒ_Ｐ(ｎ_２)}｝/{ｆ3{Ｒ_Ｓ(ｎ_２)+Ｒ_Ｐ(ｎ_２)}+g2}]/∂ｎ₂
＝[{(g3/f3)+2Ｒ_Ｐ(ｎ_２)}{∂Ｒ_Ｓ(ｎ_２)/∂ｎ₂}-{(g3/f3)+2Ｒ_S(n_２)}{∂Ｒ_P(ｎ_２)/∂ｎ₂}]
/[Ｒ_S(n_２)+Ｒ_P(ｎ_２)+(g3/f3)]
（４−６）
G3/f3＞＞2Ｒ_Ｐ(ｎ_２)で且つ、G3/f3＞＞2Ｒ_Ｓ(ｎ_２)の場合を考えると、式（４−６）の分子は、以下のようになる。

[{(g3/f3)・∂Ｒ_Ｓ(ｎ_２)/∂ｎ₂}-{(g3/f3)・∂Ｒ_P(ｎ_２)/∂ｎ₂}]
また、∂Ｒ_Ｓ(ｎ_２)/∂ｎ₂と∂Ｒ_P(ｎ_２)/∂ｎ₂との間には、
∂Ｒ_Ｓ(ｎ_２)/∂ｎ₂＞∂Ｒ_P(ｎ_２)/∂ｎ₂
の関係が成り立つと考えられる。

従って、G3/f3＞＞2Ｒ_Ｐ(ｎ_２)で且つ、G3/f3＞＞2Ｒ_Ｓ(ｎ_２)の場合には、∂(ＳＤＯＰ)/∂ｎ₂は常に正となる。

ここで、
ｇ3/ｆ3＝2cosθ_L/ｋ・exp{(-α²)/2a²}＝2k_dcosθ_L/ｋ_S・exp{(-α²)/2a²}
であり、分子は「拡散反射成分」、分母はスペキュラ成分（マイクロファセットによる分布も含む）を示している。

また、Ｒ_Ｐ(ｎ_２)≦１、Ｒ_Ｓ(ｎ_２)≦１であることを考慮すると、スペキュラ成分に対して、拡散成分が一定量以上ある場合には、上記近似が成り立つ。

即ち、∂（ＳＤＯＰ）/∂ｎ₂≧０である。

即ち、スペキュラ成分に対して、拡散成分が一定量以上ある場合、ＳＤＯＰは、パラメータ：ｋ、ａ、ｎ₂の変化に対して、これらによる偏部分係数が正である。

従って、パラメータ：ｋ、ａ、ｎ₂の変化に対してＳＤＯＰの変化は、単調であり、角：θ_ｉやθ_Lに依らない。

一般に「表面が鏡面以外の物体」では「スペキュラ成分に対して拡散成分が大き」く、この条件を満たしている物体が多い。

従って、ある角度：θ_ｉ1、θ_L1で見たときに材質ＡとＢでのＳＤＯＰの大小関係がＡ＞Ｂとなっている場合には、他の角度：θ_ｉ2、θ_L2で見た場合にもＳＤＯＰの大小関係がＡ＞Ｂとなっている場合が多い。

ＳＤＯＰは、撮像される物体の材質のｋ_ｄと「ｋ_ｄの大きさ」に大きく依存する。
例えば、材質ＡのＳＤＯＰを基準として０にオフセットさせると、材質ＢのＳＤＯＰがプラス側となるかマイナス側となるかは光源の角度によらない場合が多い。
この点を鑑みると、画面全体のＳＤＯＰのオフセットを除去することにより、光源の角度によらず「材質ごとの相対関係のみ」を取り出すことができる。

また、前記式（Ａ）、（Ｂ）による反射モデル理論では、撮像状況が順光状態に近いほどＳＤＯＰは０に近づく。

このため、偏光情報としてＳＤＯＰを用いると、光源の状態が順光状態に近づくにつれ、理論上はＳＤＯＰが小さくなって「偏光の特徴量への寄与」がなくなる。

しかし、実際の実験結果では材質により、順光時にもＳＤＯＰの値にばらつきがある。

順光時のＳＤＯＰの値のばらつきの大小関係は「逆光時の大小関係」と異なるので、順光時はそれを検出して、偏光情報を特徴量に寄与させる係数を変化させ得るようにする。

また、「光源角度：ψに応じてＳＤＯＰが変化する傾向」は、撮像対象である物体が材質的に異なっていても、互いに似通っている。

そこで、撮像画面全体が「同じ角度からの光源光」を受けていると仮定し、画面全体のＳＤＯＰの値を利用して、順光か逆光であるかを判断する。

上記の方針を鑑み、画像認識に用いる上記「特徴量」を以下の如くに定める。

図１に即して説明した偏光フィルタ１３を有する撮像部１０により得られる輝度画像：Ｉ_bright（ｘ，ｙ）は前述の式（Ｃ）で表される。

この輝度画像：Ｉ_bright（ｘ，ｙ）の「Ｓ偏光輝度画像：Ｉ_Ｓ(ｘ，ｙ)」、「Ｐ偏光輝度画像：Ｉ_Ｐ(ｘ，ｙ)」は前述の通りである。

まず、偏光情報を加味した特徴量(出力画像)：Ｉ_{bright_por}(ｘ，ｙ)を以下の「数１」の如く定める。

数１において「ＳＤＯＰ(ｘ、ｙ)」は、次式で定義される。

ＳＤＯＰ(ｘ，ｙ)
＝{Ｉ_Ｓ(ｘ、ｙ)−Ｉ_Ｐ(ｘ、ｙ)}/{Ｉ_Ｓ(ｘ、ｙ)＋Ｉ_Ｐ(ｘ、ｙ)} 。

図３に、この場合の情報処理を行う場合の輝度偏光重畳部２０の構成例を説明図として示す。
なお、繁雑を避けるため、輝度偏光重畳部には図１におけると同じく符号２０を付してある。

図示されない撮像部（図１における撮像部１０と同様のもので良い。）から得られる偏光画像ＩＭＰは、輝度偏光重畳部２０の分離部２１に入力する。

分離部２１は、入力される偏光画像ＩＭＰを、輝度画像と偏光情報に分離する。

輝度画像は前述した式（Ｃ）で表される画像情報であり、重畳部２３に入力する。

一方、分離部２１により分離された偏光情報は、前述した「ＤＯＰ、ＳＤＯＰ、偏光比の何れか」であるが、ここでは「ＳＤＯＰ」であるとする。

偏光情報である「ＳＤＯＰ」は、オフセット除去部２２に入力するとともに、順光逆光判断部２４に入力する。

「順光逆光判断部２４」の機能については後述する。

オフセット除去部２２は、入力される偏光情報（ＳＤＯＰ）に対して、上記「数１」の右辺第２項の「括弧内の第２項」の演算を行う。

そして、その演算結果を、入力した偏光情報（ＳＤＯＰ）から減算する。

数１の右辺の「括弧内の第２項」は、画像上の、Ｘ，Ｙで定まる「ある領域範囲」内における「ＳＤＯＰの平均」を与える。

Ｘ，Ｙで定まる「領域範囲」は、その選び方に任意性がある。

説明中の例では、前述の如く「光源の状態の影響を、画面全体を用いてキャンセル」することを考える。

そして、Ｘ、Ｙで定まる画像領域は「画面全体から空（そら）の領域」を除いた領域とする。

このような画像領域に対して上記の如く演算されるＳＤＯＰの平均が「オフセット」であり、このオフセットを減算する演算がオフセット除去部２２において実行される。

このようにして「オフセットを除去された偏光情報」は、重畳部２３に入力して輝度画像と重畳される。なお、以下において「輝度画像」を「輝度情報」と言うこともある。

この重畳は、数１の右辺に示すように、輝度画像：Ｉ_bright（ｘ，ｙ）に対して、オフセットを除去された「数１右辺の括弧内の量」の線形和を取ることにより行われる。

このとき、数１右辺第２項の括弧の前にある係数：ｋが「括弧内の量」に掛け合わされて加算される。この係数：ｋを「偏光情報重畳係数」と称する。

偏光情報重畳係数：ｋは、照明状態が「順光」であるか「順光以外」であるかに応じて、以下の数２、数３のように定められる。

数２、数３の「ｋの値」を決定する演算は、「順光逆光判断手段」である順光逆光判断部２４において行われる。

ここで、ｋ_１とｋ_２は「偏光情報重畳係数」である。
「ＴＨ」は「閾値」であり、「順光状態を認識できる」ように設定される。

前述の如く、式（Ａ）、（Ｂ）による反射モデル理論では、撮像状況が順光状態に近いほどＳＤＯＰは０に近づく。

従って、前記「所定の画像領域内でのＳＤＯＰの平均値」であるオフセット量も、撮像
状況が順光状態に近いほど小さくなると考えられる。

そこで、閾値：ＴＨとオフセット量の大小関係を判定し、オフセット量が閾値：ＴＨより小さいときは、光源の状態（撮像状況）が順光状態であると判断する。

また、オフセット量が、閾値：ＴＨより大きいときは、光源の状態が逆光等の「順光状態でない」と判断する。

即ち、順光逆光判断部２４は、前述の「オフセット」が、閾値：ＴＨより小さいときは、光源の状態が順光状態であると判断し、偏光情報重畳係数：ｋをｋ_２に設定する。

また、「オフセット」が、閾値：ＴＨより大きいときは、光源の状態が順光状態でないと判断し、偏光情報重畳係数：ｋをｋ_１に設定する。

なお、オフセットの算出における平均演算を行う「Ｘ，Ｙによる画像領域」としては、空（そら）の領域も含めた画面全面としても良い。

しかし、空（そら）は「太陽の位置により偏光状態が異なる」ので、空の領域は除いた方が良い結果が得られる。

なお、例えば道路の「路面上の白線」を検出する用途に利用する場合、順光以外の場合には白線の表面反射は路面よりも小さく、ＳＤＯＰは白線の方が小さくなる。
従って、この場合には「偏光情報重畳係数：ｋ_１を負とする」ことにより、白線とアスファルト（白線よりも輝度が低い）の輝度の差を「より際立たせる」ことが出来る。

また、順光の場合には「白線とアスファルトのＳＤＯＰの関係」が反転するため、「偏光情報重畳係数：ｋ_２は正の値とするか、０とする」ことが望ましい。
ｋ_２を０にした場合には「偏光情報の重畳が行なわれない」ことになる。

上には、偏光情報としてＳＤＯＰを用いたが、前述のＤＯＰや偏光比を、上記数１〜数３における「ＳＤＯＰ」に代えて用いることができることはいうまでも無い。

これらの偏光情報を得るのに「減算や除算」が用いられるため、ノイズが増幅されやすい。
従って、得られた「ＳＤＯＰなどの偏光情報」をあらわす画像に、加重平均やメディアンフィルタまたは「εフィルタ」などのノイズリダクション処理を行うことが好ましい。

また、例えば、取得した偏光画像に「飽和している領域」がある場合も考えられる。

撮像素子の各ピクセルが出力する出力値は、受光する光量が一定量を超えると、受光する光量が増大しても、出力値は一定となって変化しない。

従って、Ｉ_Ｓ(ｘ、ｙ)やＩ_Ｐ(ｘ、ｙ)が「表現できる最大値以上や最小値以下」となる場合には、偏光情報を演算により正常に得ることができない。

このような場合には「該当領域に関する重畳を行わない」ように、偏光情報重畳係数：ｋの値を０にするか、もしくは演算不能として「一定の定数を出力」するのが好ましい。

なお、図３に示す実施の形態において、順光逆光判断部２４を省略し、数１の右辺の括弧に乗ぜられる偏光情報重畳係数：ｋを固定することもできる。

この場合の実施の形態（画像処理システム）は、偏光情報を有する画像ＩＭＰの偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部２０を有する。

そして、輝度偏光重畳部２０により重畳された画像を出力画像ＩＭＯとして出力する機能を持つ。

輝度偏光重畳部２０は、偏光情報を有する画像ＩＭＰの偏光情報の、画像上の所定範囲における平均値をオフセット量として、偏光情報から減算する。

これによりオフセットが除去された出力画像ＩＭＯが得られる。

画像処理システムのこのような実施の形態によれば、順光と逆光などの光源の状態の影響を「画面全体の偏光情報のオフセットの除去」により、大まかにキャンセルできる。

従って、光源依存性を有効に低減させて偏光情報を利用できる。

上に説明した実施の形態では、オフセット除去部２２は、偏光情報を有する画像の差分偏光度（ＳＤＯＰ）を偏光情報として、数１〜数３の演算に従う画像処理を行う。

しかし上にも述べたように、オフセット量を演算する偏光情報としては、差分偏光度に限らず偏光度（ＤＯＰ）や「偏光比」を用いることもできる。

また、オフセット除去部２２は、偏光情報を有する画像の偏光情報の平均値を演算する「所定範囲」を、画像の全面から空（そら）の領域を除いた領域としている。

しかしこれに限らず、上記「所定範囲」として「偏光情報を有する画像の全面」を用いても良い。

上に実施の形態を説明した画像処理システムはまた、「順光逆光判断手段」として順光逆光判断部２４を有する。

順光逆光判断部２４は、偏光情報を有する画像の偏光情報を用いて、撮像状態が順光状態であるか逆光状態であるかを判断している。

そして、上に説明した実施の形態では、順光逆光判断部２４は差分偏光度（ＳＤＯＰ）の平均値を用いて、撮像状態が順光状態であるか逆光状態であるかを判断している。

しかしこれに限らず、偏光度（ＤＯＰ）の平均値や偏光比の平均値を用いて、撮像状態が順光状態であるか逆光状態であるかを判断してもよい。

また、順光逆光判断部２４は、撮影状態を順光状態と判断したとき、輝度画像への偏光情報の重畳量（ｋ）を変化させる。

この場合、順光逆光判断部２４が、撮影状態を順光状態と判断したとき、輝度画像への偏光情報の重畳量を０とすることもできる。

また、偏光画像に、ノイズリダクション処理を施した結果により、上記各演算を行うことが好ましいことは先に述べたとおりである。

以下に具体例を挙げる。

「具体例１」
図４は、輝度画像：Ｉ_bright(ｘ，ｙ)と、輝度偏光重畳画像：Ｉ_{bright_por}(ｘ，ｙ)を示す。

これらは、数１を用いて演算されたものであり、偏光情報重畳係数：ｋを演算する数２、数３における閾値：ＴＨは「ＴＨ＝−∞」としている。

数２、数３により演算される係数：ｋ_１、ｋ_２は、それぞれ、ｋ_１＝−３００、ｋ_２＝０としている。

即ち、閾値：ＴＨが−∞と設定されたことにより、偏光情報（ＳＤＯＰ）の如何なる平均値も閾値を超えるものであり、閾値：ＴＨよりも小さくなる平均値は存在しない。

従って、ｋ_２＝０である。

換言すれば、具体例１では、撮像状態が「順光状態であるか順光以外の状態であるか」の判断は行われない。

図４（ｂ）は、このときの輝度画像：Ｉ_bright(ｘ，ｙ)を示す。また、同図（ａ）は、輝度偏光重畳画像：Ｉ_{bright_por}(ｘ，ｙ)を示す。

輝度偏光重畳画像：Ｉ_{bright_por}(ｘ，ｙ)の演算では「順光とそれ以外の判別」は行わず、係数：ｋ_１（順光以外の場合）、Ｋ_２（順光の場合）は、それぞれ一定である。

上記の如く、ｋ_１＝−３００、ｋ_２＝０であるので、数１における偏光情報重畳係数：ｋをｋ_１として、常に同じ量の偏光度（ＳＤＯＰ）が輝度画像に重畳される。

図４（ｂ）の輝度画像：Ｉ_bright(ｘ，ｙ)では路面上の「白線」は見えていない。

しかし、同図（ａ）に示す輝度偏光重畳画像：Ｉ_{bright_por}(ｘ，ｙ)では「白線」がはっきりと見えており、白線の画像認識可能な画像となっている。

また、路肩部の「アスファルトと雪の境界部」もはっきりと取得できている。

図４（ａ）のように、輝度画像に偏光情報を重畳することにより、路端のコントラスト、陰影部のコントラストが向上し、路面湿潤による不要反射が除去されている。

また「肉眼では見えないブラックアイスのような不可視対象」も検出されている。

従って、通常の撮像装置と比較して、より過酷な状況でも対応が可能である。
出力される輝度偏光重畳画像に対する「白線認識などの後段のアルゴリズム」は、従来の「輝度画像に対するアルゴリズム」を変更することなく使用出来る。

上の例では「偏光情報と輝度画像の線形和（数１）」として輝度偏光重畳画像を生成したが、「偏光情報と輝度画像との積」として輝度偏光重畳画像を生成する方法もある。

この場合の１例として、例えば、偏光情報として前述のＳＤＯＰ(ｘ，ｙ)を用いるとすれば、重畳の演算は、次の数４のようになる。

そして、偏光を加味した特徴量(画像)である偏光輝度重畳画像：Ｉ_bright-por(ｘ，ｙ)を得る。

即ち、数４の右辺の鍵括弧内の量が「偏光情報」として、輝度偏光重畳係数：ｋを用いて、輝度画像：Ｉ_bright(ｘ，ｙ)に重畳される。

演算はピクセルごとに行われ、ＳＤＯＰ(ｘ、ｙ)とＩ_bright(ｘ，ｙ)の「同じ座標のピクセル」で積演算が実効される。

輝度偏光重畳係数：ｋは、以下のように、Ｘ、Ｙによる画像領域内の「偏光比の平均値に対して、順光時と順光時以外の時を区別できる閾値：ＴＨ」を設定する。

そして、この閾値を用いて、以下の数５、数６に従ってｋを設定する。

この例では、ＳＤＯＰではなく「偏光比の平均値」の大小により順光か「順光以外(逆光の場合等)」か、を判断している。

撮像状況はまた、昼間と夜間で「光源の状態」が異なる。

即ち、昼間は太陽光線による照明状態であり、夜間は車のヘッドライトや街灯による照明となっている。
この点を考慮すると、輝度偏光重畳係数：ｋ_１、ｋ_２の値は「昼間と夜間で変更する」ことが好ましい。

昼間と夜間の判別は、ヘッドライトのスイッチのオン・オフの情報や、自動露光調整を行っている場合には、露光量から周囲の明るさを検知して行うことが出来る。
加えて「直射日光下か曇りか」など天候状態によっても、ｋ_１、ｋ_２の値を切り替えると、より良い効果が得られる。
直射日光下では対象物の照度が高いため、自動露光調整を行っている場合には、その露光量から検知して「直射日光下であるか曇りでの照明であるか」を判断出来る。

図３、図４に即して説明した実施の形態では、輝度偏光重畳部２０により重畳処理を受ける偏光情報を有する画像を撮像する撮像部（図３に図示されず）を有する。

そして、この撮像部の撮像における「光源の状況を推定して判断」する光源状況判断手段２４を有する。

輝度偏光重畳部２０は、光源情報判断手段２４の出力に応じて、輝度画像への偏光情報の重畳方法を変化させる。

また、撮像部の撮像時期が昼間であるか夜間であるかを推定して判断する「昼夜判断手段」を有することができる。

輝度偏光重畳部は、昼夜判断手段の出力に応じて、輝度画像への偏光情報の重畳方法を変化させることができる。

昼夜判断手段は「ヘッドライトのスイッチのオン・オフの情報」を取得する手段や、自動露光調整を行う場合には、露光量から周囲の明るさを検知する手段を用い得る。
また、直射日光下か曇りかなど天候によっても、輝度偏光重畳係数：ｋ_１、ｋ_２の値を切り替えて重畳方法を変化させることができる。

この場合の「光源情報判断手段」としては、自動露光調整における露光量から検知して判断する手段とすることができる。

また、図３、図４に示す実施の形態の画像処理システムは、「偏光情報オフセット除去手段」としてオフセット除去部２２を有する。

オフセットの除去は、偏光情報を有する画像の「所定範囲にける偏光情報の平均値」を偏光情報から減算してオフセットを除去する。

そして「オフセットを除去された偏光情報」が輝度画像に重畳される。

偏光情報オフセット除去手段は、偏光情報を有する画像の偏光度または差分偏光度の画像上の所定範囲の平均値を、偏光度または差分偏光度から除算するものである。

「偏光情報の平均値を求める所定範囲」は、偏光情報を有する画像の全面であることも、「偏光情報を有する画像の全面から、空の領域を除いた領域」であることもできる。

また、偏光情報を有する画像の撮像が行われた状態が順光状態か逆光状態であるかを、撮像された画像の情報により推定し判断する順光逆光判断手段を有することができる。

この「順光逆光判断手段」は、撮像された偏光情報を有する画像の偏光度または差分偏光度により、撮像状態を判断することができる(前記数２、数３)。

順光逆光判断手段はまた、偏光情報を有する画像の「画面全体の偏光比の平均値」により、撮像が順光状態で行われたか逆光状態で行われたかを判断できる(数５、数６)。

さらに、上述の如く、順光逆光判断手段が、順光状態と判断したとき、輝度画像への偏光情報の重畳量を０とすることが好ましい。

順光逆光判断手段が、順光状態と判断したとき、輝度画像への偏光情報の重畳量を変化させることができる。

また、以下の実施形態のように、輝度偏光重畳部は、偏光情報を有する画像の各領域の値に基づいて、輝度画像に基づく値を出力するか、固定値を出力するか判断できる。

この実施形態では、上に説明したのとは異なるアルゴリズムで、偏光情報の輝度画像への重畳を行う。

各種の物体認識処理を行う際に「認識物体以外の不必要な物体の除去」を行うことが出来ると誤認識を減らすことが出来る。

このようにすれば、物体認識処理の性能向上や「処理量の低減」が可能である。

この場合の「輝度偏光重畳のアルゴリズム」は、「ＳＤＯＰなど偏光情報の値の範囲が、所定の範囲のみの輝度画像を出力」するものになる。

偏光情報としてＳＤＯＰ(ｘ，ｙ)を用いて、この方法を行うための式を以下に示す。

Ｉ_{bright_por}(ｘ、ｙ)＝ｋ・Ｉ_bright(ｘ，ｙ) （Ｅ）
ｋ＝ｋ_１ ｉｆ ＳＤＯＰ(ｘ，ｙ)≧ＴＨ （Ｆ）
ｋ＝ｋ_２ ｉｆ ＳＤＯＰ(ｘ，ｙ)＜ＴＨ （Ｇ）
式（Ｅ）〜（Ｇ）のＳＤＯＰ(ｘ，ｙ)、Ｉ_{bright_por}(ｘ、ｙ)、Ｉ_bright(ｘ，ｙ)は上に定義された通りである。

閾値：ＴＨを「偏光情報を用いて検出物体以外の物体を出力画像から除外」するように設定し、ＳＤＯＰ(ｘ，ｙ)とＴＨの大小関係により偏光情報重畳係数：ｋを切り替える。

なお、光源の状態の影響を除去するため、予め「偏光情報オフセット除去手段」を用いて、先に数１に即して説明した「オフセットの減算」を行った結果を用いても良い。

このようにオフセットの減算を行った後の偏光情報を用いて、上記式（Ｅ）〜（Ｇ）の演算を行うと「光源の角度の影響」を受けにくくなる。

従って、たとえば屋外での撮像の際に「太陽の位置の影響」を低減出来る。

式（Ｅ）〜（Ｇ）の演算では、偏光情報としてＳＤＯＰを用いたが、もちろん前述したＤＯＰや偏光比を用いても良い。

また、ＳＤＯＰなど「偏光情報をあらわす画像」に加重平均やメディアンフィルタやεフィルタなどのノイズリダクション処理をかけた結果で上記演算を行うのが好ましい。

また「取得した画像に飽和している領域」がある場合、当該領域に関して「重畳をやめる」べくｋの値を０にするか、演算不能として一定の定数を出力することが好ましい。

以下に、直上に説明した実施形態の具体的な例を示す。
「具体例２」
具体例２は、上の演算式（Ｅ）〜（Ｇ）で、ｋ_１＝０、ｋ_２＝１、ＴＨ＝０．１５としたときのものである。

即ち、この例では、ＳＤＯＰが閾値：ＴＨよりも小さくなるピクセルでは「輝度画像そのもの」を出力する。
ＳＤＯＰが閾値：ＴＨよりも大きくなるピクセルでは「偏光情報の重畳」を行わない。

この例は、道路上における「車両数をカウントする場合」を想定したものである。

得られた輝度画像と、輝度偏光重畳画像を、図５に示す。

図５（ａ）は輝度偏光重畳画像、（ｂ）は輝度画像である。

図５（ｂ）に示す輝度画像では、車両のライトと、路面によるその反射光が「車両検出の邪魔」になる。

これら「車両のライトや、路面によるその反射光」は、逆光であり、これらの撮像対象に対する偏光画像では「ＳＤＯＰ」が大きい。

従って、ＳＤＯＰが閾値：ＴＨを超えるほどに大きいピクセル部分では、輝度画像の出力を０とする。

また、ＳＤＯＰが閾値：ＴＨより小さいピクセルの場合は、ｋ_２＝１として「輝度画像そのもの」を出力する。

このように「ＳＤＯＰが一定の範囲（ＴＨ＜０．１５）のピクセル」で、輝度画像に輝度偏光重畳係数：ｋ_２（＝１）を積演算する。

即ち、閾値：ＴＨを適切な定数に設定することにより「偏光情報を用いて検出物体以外の物体」を出力画像から除外することが出来る。
輝度偏光重畳画像である図５（ａ）では、輝度画像におけるライトや路面によるその反射光がＳＰＯＤを用いる演算により良好に除去されている。

このように「ＳＤＯＰが一定の範囲（ＴＨ＜０．１５）のみ」で、輝度画像に対する演算（式Ｅ）を行えば、「認識アルゴリズムにかける前」に不要な検出物体を排除できる。

これにより「認識物体の誤認識」を減らすことが出来る。

別の具体例を示す。

「具体例３」
具体例３は、演算式（Ｅ）〜（Ｇ）における演算パラメータとして、ｋ_１＝０、ｋ_２＝５、ＴＨ＝０．０５とした場合であり、この場合の画像を図６に示す。

即ち、この例では、閾値：ＴＨを０．０５と低く設定し、閾値：ＴＨを越えるＳＤＯＰのピクセルに対しては、輝度情報に乗算する輝度偏光重畳係数：ｋ_１を０とする。

また、閾値：ＴＨを越えないＳＤＯＰのピクセルに対しては、輝度情報に乗算する輝度偏光重畳係数：ｋ_２を５と大きく設定する。

図６（ａ）は輝度偏光重畳画像、（ｂ）は輝度画像である。

図６（ｂ）の輝度画像では「背景も含めて検出対象の車両以外に多数のもの」が写っている。
また、車両の塗装が白か黒に拘わらず「検出対称としては同じ」であるのに、輝度画像では、像として大きく異なっている。

即ち、輝度画像における手前側の「黒っぽい色の車両」は、輝度が小さく「物体認識が難しく」なりやすい。

このような輝度画像の「輝度」をそのまま検出用の特徴量として用いると、検出の精度を上げることが困難である。

図６（ｂ）の輝度画像を見れば明らかなように、撮像状況は逆光でない。従って、偏光情報であるＳＤＯＰは、車両の塗装の色に拘わらず小さい。

従って、このようにＳＤＯＰが小さくなるピクセルでは、輝度画像の情報を輝度偏光重畳係数：ｋ_２（＝５）で強調することにより「輝度の大きい画像」として表現できる。

図６（ａ）に示す「輝度偏光重畳画像」では、ＳＤＯＰを用いる輝度偏光重畳により、「車両以外の多くの部分」を削除できている。
そして、黒い車両と白い車両は共に「同じように白く写って」おり、輝度偏光重畳画像における輝度値をそのまま「検出用の特徴量」として使用出来る。

また、車両の検出に用いられる際に、輝度偏光重畳部は、車両からの反射光以外の光が除去されるように、輝度画像に基づく値を出力するか、固定値を出力するか判断できる。

直上に説明した例では、輝度偏光重畳部は、偏光情報を有する画像の各領域の値に基き、輝度画像に基く値を出力するか、固定値を出力するかを判断(式（Ｆ）、（Ｇ）)する。

また、各領域の差分偏光度(ＳＤＯＰ)の値に基づいて、輝度画像に基づく値を出力するか、固定値を出力するかを判断する。

しかしこれに限らず、偏光度（ＤＯＰ）や偏光比に基づいて、輝度画像に基く値を出力するか、固定値を出力するか判断することもできる。

具体例３のように、輝度偏光重畳部が「ライトの照り返し光が除去されるように輝度画像に基く値」を出力するか、固定値を出力するか判断できる。

また、車両の検出に用いられる際に、輝度偏光重畳部は、車両からの反射光以外の光が除去されるように、輝度画像に基く輝度を出力するか、固定値を出力するか判断できる。

上に説明した実施の各形態では「輝度画像における飽和した領域を判断する飽和領域判断手段」を有することができる。

この場合、輝度偏光重畳部は、飽和している領域に関しては重畳方法を変更することができ、飽和している領域に関しては偏光情報の重畳量を０とすることができる。

あるいは、輝度偏光重畳部は、飽和している領域に関しては「出力画像の該当領域に対して定数を出力する」ことができる。

図１に即して説明した撮像部１０は、撮像素子１２上に領域分割された偏光フィルタ１３２を有する。

従って、上記実施の各形態により「偏光情報を有する画像に対し、偏光情報を各ピクセルの輝度の変化として輝度画像に重畳し、重畳された画像を出力画像として出力する画像処理方法」を実施できる。

上には、撮像素子への入射光が撮像素子の撮影可能範囲を超える場合（ピクセルの出力値が飽和する場合）には、輝度画像に偏光情報の重畳しない場合を説明した。

しかし、偏光画像から得られる輝度画像には、飽和した領域のみならず「飽和してはいないが、飽和に近い領域」も存在する。

このような「飽和に近い領域」の輝度画像に対して、偏光情報を重畳してしまうと、適正な輝度偏光重畳画像が得られなくなることが考えられる。

このような状況に対処するには、上記「飽和してはいないが、飽和に近い領域」に対する以下の対応が有効である。

即ち、飽和に近い領域とともに、その領域が「飽和に近い度合い」を判断する。

そして、飽和に近い領域では「飽和に近い度合いに応じて、輝度画像と偏光情報の重畳における割合を、飽和に近いほど輝度画像の割合が大きくなるように変化」させる。

前述の如く、輝度画像：Ｉ_bright（ｘ，ｙ）は、次式（Ｃ）によって与えられる。

Ｉ_bright（ｘ，ｙ）＝｛Ｉ_Ｓ(ｘ、ｙ)＋Ｉ_Ｐ(ｘ、ｙ)｝／２ （Ｃ）
即ち、輝度画像：Ｉ_bright（ｘ，ｙ）は、位置（ｘ、ｙ）で特定される画素の輝度で特定される。

そこで、個々の画素ごとに、Ｉ_bright（ｘ，ｙ）が、飽和しているか、飽和に近い状態であるかを判断し、さらに、飽和に近い度合いを判断する。

説明の簡単のため、位置（ｘ、ｙ）における画素の輝度：Ｉ_bright（ｘ，ｙ）が飽和しているときの値を「１」とし、Ｉ_bright（ｘ，ｙ）が０と１の間で変化するものとする。

そして「Ｉ_bright（ｘ，ｙ）≧０．９５」の領域を「飽和に極く近い領域」とする。
また「Ｉ_bright（ｘ，ｙ）≧０．８５」の領域を「飽和に近い領域」とする。
さらに「Ｉ_bright（ｘ，ｙ）＜０．８５」の領域を「飽和していない領域」とする。

図７に従って説明すると、スタート後、先ずステップ：Ｓ１で「その画素」即ち、（ｘ，ｙ）の位置の画素」が、飽和しているか否かが判断される。

「Ｉ_bright（ｘ，ｙ）＝１」であれば、その画素は飽和している。

もし飽和しているならば、ステップＳ３に進み、この場合「その画素においては偏光情報の重畳」は行わない。

飽和していない場合には、ステップ：Ｓ２に進み、「その画素」が「飽和に極く近い領域が否か」が判断される。

「１＞Ｉ_bright（ｘ，ｙ）≧０．９５」であれば、「飽和に極く近い領域」であり、この場合にも、ステップ３に進み、この領域（画素）でも「偏光情報の重畳」は行わない。

「Ｉ_bright（ｘ，ｙ）＜０．９５」であれば、ステップ４に進み、その画素が「飽和に近い領域であるか否か」が判断される。

「Ｉ_bright（ｘ，ｙ）＜０．８５」であれば、その画素は「飽和に近い領域でない」と判断され、ステップＳ５に進み、「偏光情報の重畳」を行う。

「０．９５＞Ｉ_bright（ｘ，ｙ）≧０．８５」であれば、その画素は「飽和に近い領域である」と判断される。

この場合は、ステップＳ６に進み、偏光情報の重畳の割合を変化させる。

即ち、Ｉ_bright（ｘ，ｙ）の値が、上限の０．９５に近づくほど、輝度画像の割合が大きくなるように、重畳の割合を変化させる。

「重畳の割合」を、演算式により変化させる場合の１例を説明する。

先ず、その画素が「飽和に近い領域」でないと判断された場合には、上記の如く、偏光情報の重畳を行なう。

即ち、この場合の当該画素における輝度偏光画像としての出力：Ｏｕｔｐｕｔ(ｘ、ｙ)は、数１の右辺で与えられる「Ｉ_{bright_por}(ｘ、ｙ)」である。

また、その画素が「飽和している領域」もしくは「飽和に極近い領域」である場合には、上記の如く「偏光情報の重畳」は行なわない。

従って、この場合の当該画素における出力：Ｏｕｔｐｕｔ(ｘ、ｙ)は「Ｉ_bright（ｘ，ｙ）」である。

その画素が「飽和に近い領域」である場合には、Ｉ_bright（ｘ，ｙ）の値が、上限の０．９５に近づくほど、輝度画像の割合が大きくなるように、重畳の割合を変化させる。

これを行うのに、例えば、次の関数：ratio(ｘ，ｙ)を定義する。

Ratio(ｘ，ｙ)＝{Ｉ_bright(ｘ，ｙ)−ａ}／ｂ 。

そして、出力：Ｏｕｔｐｕｔ(ｘ、ｙ)は、以下の如くに演算して決定する。

Ｏｕｔｐｕｔ(ｘ、ｙ)
＝ratio(ｘ，ｙ)・Ｉ_bright(ｘ，ｙ)＋{１−ratio(ｘ，ｙ）}・Ｉ_{bright_por}(ｘ、ｙ)
上記のａとｂは「画素の輝度により飽和を定義する定数」である。

「ａ、ｂ」が大きいほど、飽和の程度は小さく、「ａ、ｂ」が小さいほど飽和の程度は大きい。

「０．９５＞Ｉ_bright（ｘ，ｙ）≧０．８５」の範囲内にあるＩ_bright（ｘ，ｙ）に応じて「ａ、ｂ」を設定して、上記の如く「重畳の割合」を変化させる。

上記のように画素ごとに「飽和の程度（飽和しているか、飽和に極近いか、飽和に近いか）」を判断する機能は、飽和領域判断手段により判断させることができる。

この機能は、図１における輝度偏光重畳部２０に持たせることができる。

先には、数１における偏光情報重畳係数：ｋを、順光時と逆光時で切り替えるなど、環境に応じて変化させる場合を説明した。
しかし、環境以外にも「被写体の種類に応じて偏光情報重畳係数：ｋを変更する」ことが好ましい場合もある。

例えば、車載カメラ等では、路面や信号機の検知が重要である。

路面のように「白線など偏光依存性がある物体」は、多少ノイズが増加しても偏光情報重畳係数：ｋを大きくしたい。

反面、信号機のように偏光依存性がない物体に関しては、なるべくノイズを減らしたいため、偏光情報重畳係数：ｋを小さくしたい。

その手段の１つとして「各被写体が典型的に存在する画面上の位置」に応じて偏光情報重畳係数：ｋを変更することが考えられる。
上述の、路面と信号機の場合を例に取ると、撮像部により撮像される画像において、路面は「画像の下部」にあることが一般である。

従って、例えば、路面が存在する「画像下部」では偏光情報重畳係数：ｋを大きく設定し、それ以外の画面上部では、偏光情報重畳係数：ｋを小さく設定する。

このようにすると、必要な路面領域では偏光情報を有効に活用でき、偏光情報が意味を持たない他の領域では、偏光情報を用いず輝度画像をそのまま活かすようにできる。

このようにすることにより「ノイズの少ない画像」を取得することが出来る。

この例では、撮像画像の上部と下部で偏向情報重畳係数：ｋを変更する場合を例示したが、勿論、偏向情報重畳係数：ｋを変更する領域は上記の場合に限られない。

また、画像上で「偏光情報重畳係数：ｋを連続的に変更する」ことにより、変更の境目の不連続点の影響を避けることができる。
図８は、画像処理システム１００を車両５００に搭載し、車両制御を行う実施の１形態を示す図である。

画像処理システム１００は、上に説明した「撮像部・輝度偏光重畳部・画像処理／画像認識部」を有しており、上に説明した如くして、画像認識を行う。

画像処理システム１００の撮像部は、車両５００の定位置に設けられて、道路状況の撮像を行う。

撮像部により撮像された輝度情報は、前述の如くして偏光情報の重畳を行われ、その結果に基づき画像処理／画像認識部が所定の認識作業を行う。

画像処理／画像認識部による認識結果は、機器制御手段としての車両制御部２００へ送出される。
車両制御部２００は、入力された認識結果に基づいて、車両５００のブレーキやステアリング操作の補助などの車両制御を行う。

なお、「画像処理／画像認識部」は、画像処理システムに組み込んでも良いし、画像処理システムとは別体としてもよい。

「画像処理／画像認識部」を画像処理システムと別体とする場合、画像処理・画像認識部は、画像処理システムからの信号ＩＭＯをうけて必要な画像処理／画像認識を行い、その結果を車両制御部２００に向けて出力するようにすればよい。

図８は、撮像処理システムを車両制御に利用する場合を示しているが、撮像処理システムの利用は、これに限らず、車両以外の移動体（移動ロボット、船舶、航空機等）やＦＡ(ファクトリオートメーション)向けのロボット、農業システム等にも適用可能である。

図９は、画像処理システムを実現するハードウェアであるコンピュータシステムの１例を示すブロック図である。

コンピュータシステム１０００は、バス１１０と、ＣＰＵ１２０、ＲＯＭ１３０、ＲＡＭ１４０、ＨＤＤ（ハードディスク）１５０、及びＩ／Ｏ１６０を備えている。

ＣＰＵ１２０、ＲＯＭ１３０、ＲＡＭ１４０、ＨＤＤ１５０、Ｉ／Ｏ１６０は何れもバス１１０に接続され、バス１１０を通じて情報のやり取りを行う。

Ｉ／Ｏ１６０には、図１に符号１０で示す撮像部が接続される。

ＲＡＭ１４０は、ＣＰＵ１２０の作業領域として用いられる。

ＲＯＭ１３０（書き換え可能なものも含む）は、各種制御プログラムやテーブル、パラメータなどの固定情報の記録領域として用いられる。

上に説明した輝度偏光重畳部２０や、画像処理／画像認識部３０、車両制御部２００の機能を実現する「画像処理プログラム」は、図示されない光学ドライブ装置にＤＶＤ−ＲＯＭなどの記録媒体をセットして、ＨＤＤ２５０に一旦保存され、必要に応じてＲＡＭ１４０にロードされる。

画像処理の対象となる画像はＩ／Ｏ１６０に撮像部１０から入力される。

以上のように、この発明に依れば、以下の如き「画像処理システム」、「画像処理方法」を提供できる。

[１−１]
偏光情報を有する画像の前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部を有し、該輝度偏光重畳部により重畳された画像を出力画像として出力する機能を持ち、前記輝度偏光重畳部により輝度画像に重畳される偏光情報が差分偏光度である画像処理システム。

[１−２]
１−１の画像処理システムにおいて、輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有する画像処理システム。

[１−３]
１−１または１−２の画像処理システムにおいて、輝度偏光重畳部が、偏光情報と輝度画像の線形和として重畳を行うものである画像処理システム。

[１−４]
１−１または１−２の画像処理システムにおいて、輝度偏光重畳部が、偏光情報と輝度画像の積として重畳を行うものである画像処理システム。

[１−５]
１−１〜１−４の何れか１つの画像処理システムにおいて、輝度偏光重畳部により輝度画像に重畳される偏光情報が偏光度または差分偏光度である画像処理システム。

[１−６]
１−１〜１−４の何れか１つの画像処理システムにおいて、輝度偏光重畳部により輝度画像に重畳される偏光情報が偏光比である画像処理システム。

[１−７]
１−１〜１−６の何れか１つの画像処理システムにおいて、輝度画像への重畳に先立って、偏光情報のノイズを除去するノイズリダクション手段を有する画像処理システム。

[１−８]
１−１〜１−７の何れか１つの画像処理システムにおいて、輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、この撮像部の撮像における光源の状況を推定して判断する光源状況判断手段を有し、前記輝度偏光重畳部は、前記光源情報判断手段の出力に応じて、輝度画像への偏光情報の重畳方法を変化させる画像処理システム。

[１−９]
１−１〜１−８の何れか１つの画像処理システムにおいて、輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、この撮像部の撮像の時期が昼間であるか夜間であるかを推定して判断する昼夜判断手段を有し、前記輝度偏光重畳部は、前記昼夜判断手段の出力に応じて、輝度画像への偏光情報の重畳方法を変化させる画像処理システム。

[１−１０]
１−１〜１−１０の何れか１つの画像処理システムにおいて、偏光情報を有する画像の、所定範囲にける偏光情報の平均値を、前記偏光情報から減算してオフセットを除去する偏光情報オフセット除去手段を有し、該偏光情報オフセット除去手段によりオフセットを除去された偏光情報を輝度画像に重畳する画像処理システム。

[１−１１]
１−１０の画像処理システムにおいて、偏光情報オフセット除去手段は、偏光情報を有する画像の偏光度または差分偏光度の画像上の所定範囲の平均値を、偏光度または差分偏光度から除算する画像処理システム。

[１−１２]
１−１０または１−１１の画像処理システムにおいて、偏光情報の平均値を求める所定範囲が、偏光情報を有する画像の全面である画像処理システム。

[１−１３]
１−１０または１−１１の画像処理システムにおいて、偏光情報の平均値を求める所定範囲が、偏光情報を有する画像の全面から、空の領域を除いた領域である画像処理システム。

[１−１４]
１−１〜１−１３の何れか１つの画像処理システムにおいて、偏光情報を有する画像の撮像が、順光状態で行われたか逆光状態で行われたかを、撮像された前記画像の情報により推定し、判断する順光逆光判断手段を有する画像処理システム。

[１−１５]
１−１４の画像処理システムにおいて、順光逆光判断手段は、撮像された偏光情報を有する画像の偏光度または差分偏光度により、撮像が順光状態で行われたか逆光状態で行われたかを判断する画像処理システム。

[１−１６]
１−１４の画像処理システムにおいて、順光逆光判断手段は、撮像された偏光情報を有する画像の画面全体の偏光比の平均値により、撮像が順光状態で行われたか逆光状態で行われたかを判断する画像処理システム。

[１−１７]
１−１４〜１−１６の何れか１つの画像処理システムにおいて、順光逆光判断手段が順光状態と判断したとき、輝度画像への偏光情報の重畳量を０とする画像処理システム。

[１−１８]
１−１４〜１−１６の何れか１つの画像処理システムにおいて、順光逆光判断手段が順光状態と判断したとき、輝度画像への偏光情報の重畳量を変化させる画像処理システム。

[１−１９]
１−１〜１−１８の何れか１つの画像処理システムにおいて、輝度偏光重畳部は、偏光情報を有する画像の各領域の値に基いて、輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。

[１−２０]
１−１９の画像処理システムにおいて、輝度偏光重畳部は、各領域の偏光度の値に基いて、輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。

[１−２１]
１−１９の画像処理システムにおいて、輝度偏光重畳部は、各領域の差分偏光度の値に基き、輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。

[１−２２]
１−１９の画像処理システムにおいて、輝度偏光重畳部は、各領域の偏光比の値に基いて、輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。

[１−２３]
１−１９の画像処理システムにおいて、輝度偏光重畳部は、ライトの照り返し光が除去されるように輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。

[１−２４]
１−１９の画像処理システムにおいて、車両の検出に用いられ、輝度偏光重畳部は、車両からの反射光以外の光が除去されるように輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。

[１−２５]
１−１〜１−２４の何れか１つの画像処理システムにおいて、輝度画像における飽和した領域を判断する飽和領域判断手段を有し、輝度偏光重畳部は、飽和している領域に関しては重畳方法を変更する画像処理システム。

[１−２６]
１−２５の画像処理システムにおいて、輝度偏光重畳部は、飽和している領域に関しては偏光情報の重畳量を０とする画像処理システム。

[１−２７]
１−２５の画像処理システムにおいて、輝度偏光重畳部は、飽和している領域に関しては、出力画像の該当領域に対して定数を出力する画像処理システム。

[１−２８]
１−２５〜１−２７の何れか１つの画像処理システムにおいて、飽和領域判断手段が、輝度画像における飽和した領域とともに、飽和に近い領域と該領域における飽和に近い度合いを判断する機能を有し、前記飽和に近い領域では、前記飽和に近い度合いに応じて、輝度画像と偏光情報の重畳における割合を、飽和に近いほど輝度画像の割合が大きくなるように変化させる画像処理システム。

[１−２９]
１−１〜１−２８の何れか１つの画像処理システムにおいて、輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、前記輝度偏光重畳部は、撮像部により撮像された画像の位置に応じて、輝度画像への偏光情報の重畳方法を変化させる画像処理システム。

[１−３０]
１−１〜１−２９の何れか１つの画像処理システムにおいて、輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、前記撮像部は、撮像素子上に領域分割された偏光フィルタを有する画像処理システム。

[１−３１]
偏光情報を有する画像に対し、前記偏光情報を各ピクセルの輝度の変化として輝度画像に重畳し、重畳された画像を出力画像として出力する画像処理方法であって、前記１−１〜１−３０の何れか１つの画像処理システムを用いて行う画像処理方法。

[２−１]
偏光情報を有する画像の前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部を有し、該輝度偏光重畳部により重畳された画像を出力画像として出力する機能を持つ画像処理システムにおいて、輝度偏光重畳部が、偏光情報を有する画像の前記偏光情報の、画像上の所定範囲における平均値をオフセット量として、偏光情報から減算することによりオフセットを除去するオフセット除去部を有する画像処理システム。

[２−２]
２−１の画像処理システムにおいて、オフセット除去部は、偏光情報を有する画像の偏光度または差分偏光度を偏光情報とし、前記画像上の所定範囲における前記偏光情報の平均値をオフセット量として、前記偏光情報から減算する画像処理システム。

[２−３]
２−１の画像処理システムにおいて、オフセット除去部は、偏光情報を有する画像の偏光比を偏光情報とし、前記画像上の所定範囲における前記偏光情報の平均値をオフセット量として、前記偏光情報から減算する画像処理システム。

[２−４]
２−１〜２−３の任意の１つの画像処理システムにおいて、オフセット除去部は、偏光情報を有する画像の全面を所定範囲として、前記偏光情報の平均値をオフセット量とする画像処理システム。

[２−５]
２−１〜２−３の任意の１つの画像処理システムにおいて、オフセット除去部は、偏光情報を有する画像の、全面から空の領域を除いた領域を所定範囲として、前記偏光情報の平均値をオフセット量とする画像処理システム。

[２−６]
２−１〜２−６の任意の１つの画像処理システムにおいて、偏光情報を有する画像の偏光情報を用いて、撮像状態が順光状態であるか逆光状態であるかを判断する順光逆光判断手段を有する画像処理システム。

[２−７]
２−６の画像処理システムにおいて、順光逆光判断手段は、偏光度または差分偏光度の平均値を用いて、撮像状態が順光状態であるか逆光状態であるかを判断する画像処理システム。

[２−８]
２−６の画像処理システムにおいて、順光逆光判断手段は、偏光比の平均値を用いて、撮像状態が順光状態であるか逆光状態であるかを判断する画像処理システム。

[２−９]
２−６〜２−８の任意の１つの画像処理システムにおいて、順光逆光判断手段が、撮影状態を順光状態と判断したとき、輝度画像への偏光情報の重畳量を変化させる画像処理システム。

[２−１０]
２−９の画像処理システムにおいて、順光逆光判断手段が、撮影状態を順光状態と判断したとき、輝度画像への偏光情報の重畳量を０とする画像処理システム。

[２−１１]
２−１〜２−１０の任意の１つの画像処理システムにおいて、輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、前記撮像部は、撮像素子上に領域分割された偏光フィルタを有する画像処理システム。

[２−１１]
偏光情報を有する画像に対し、前記偏光情報を各ピクセルの輝度の変化として輝度画像に重畳し、重畳された画像を出力画像として出力する画像処理方法であって、２−１〜２−１１の任意の１つの画像処理システムを用いて行う画像処理方法。

また、これらの画像処理システムや画像処理方法を用いて、上述の「車両制御」等を行う機器制御システムや機器制御方法を実現できる。

１０ 撮像部
１２ 撮像素子
１３ 偏光フィルタ
２０ 輝度偏光重畳部
３０ 画像処理／画像認識部
ＩＭＰ 偏光画像（偏光情報を有する画像）
ＩＭＯ 輝度画像に対する処理が可能な出力画像

特開２０１１−２９９０３号公報 特許第４５６３５１３号公報 特開２０１２−１８５６０２号公報 特開２００２−２８６８６２号公報

Claims (29)

1. 偏光情報を有する画像の前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部を有し、該輝度偏光重畳部により重畳された画像を出力画像として出力する機能を持ち、
   前記輝度偏光重畳部により輝度画像に重畳される偏光情報が差分偏光度である画像処理システム。
2. 偏光情報を有する画像の前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部を有し、該輝度偏光重畳部により重畳された画像を出力画像として出力する機能を持ち、
   前記輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、この撮像部の撮像における光源の状況を推定して判断する光源状況判断手段を有し、
   前記輝度偏光重畳部は、前記光源状況判断手段の出力に応じて、輝度画像への偏光情報の重畳方法を変化させる画像処理システム。
3. 請求項２に記載の画像処理システムにおいて、
   偏光情報を有する画像の、所定範囲にける偏光情報の平均値を、前記偏光情報から減算してオフセットを除去する偏光情報オフセット除去手段を有し、
   該偏光情報オフセット除去手段によりオフセットを除去された偏光情報を輝度画像に重畳する画像処理システム。
4. 偏光情報を有する画像の前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部を有し、該輝度偏光重畳部により重畳された画像を出力画像として出力する機能を持ち、
   偏光情報を有する画像の、所定範囲にける偏光情報の平均値を、前記偏光情報から減算してオフセットを除去する偏光情報オフセット除去手段を有し、
   該偏光情報オフセット除去手段によりオフセットを除去された偏光情報を輝度画像に重畳する画像処理システム。
5. 請求項２〜４の何れか１項に記載の画像処理システムにおいて、
   前記輝度偏光重畳部により輝度画像に重畳される偏光情報が偏光度または差分偏光度または偏光比である画像処理システム。
6. 請求項１〜５の何れか１項に記載の画像処理システムにおいて、
   偏光情報の平均値を求める所定範囲が、偏光情報を有する画像の全面である画像処理システム。
7. 請求項１〜５の何れか１項に記載の画像処理システムにおいて、
   偏光情報の平均値を求める所定範囲が、偏光情報を有する画像の全面から、空の領域を除いた領域である画像処理システム。
8. 請求項１〜７記載の画像処理システムにおいて、
   偏光情報を有する画像の撮像が、順光状態で行われたか逆光状態で行われたかを、撮像された前記画像の情報により推定し、判断する順光逆光判断手段を有する画像処理システム。
9. 偏光情報を有する画像の前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部を有し、該輝度偏光重畳部により重畳された画像を出力画像として出力する機能を持ち、
   前記偏光情報を有する画像の撮像が、順光状態で行われたか逆光状態で行われたかを、撮像された前記画像の情報により推定し、判断する順光逆光判断手段を有する画像処理システム。
10. 請求項９記載の画像処理システムにおいて、
    輝度偏光重畳部により輝度画像に重畳される偏光情報が偏光度または差分偏光度または偏光比である画像処理システム。
11. 請求項１０記載の画像処理システムにおいて、
    順光逆光判断手段は、撮像された偏光情報を有する画像の偏光度または差分偏光度により、撮像が順光状態で行われたか逆光状態で行われたかを判断する画像処理システム。
12. 請求項９〜１１の何れか１項に記載の画像処理システムにおいて、
    順光逆光判断手段は、撮像された偏光情報を有する画像の画面全体の偏光比の平均値により、撮像が順光状態で行われたか逆光状態で行われたかを判断する画像処理システム。
13. 請求項９〜１２の何れか１項に記載の画像処理システムにおいて、
    順光逆光判断手段が、順光状態と判断したとき、輝度画像への偏光情報の重畳量を変化させる画像処理システム。
14. 請求項１〜１３の何れか１項に記載の画像処理システムにおいて、
    輝度偏光重畳部は、偏光情報を有する画像の各領域の値に基いて、輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。
15. 偏光情報を有する画像の前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部を有し、該輝度偏光重畳部により重畳された画像を出力画像として出力する機能を持ち、
    前記輝度偏光重畳部は、偏光情報を有する画像の各領域の値に基いて、輝度画像に基く値を出力するか、固定値を出力するか判断する画像処理システム。
16. 請求項１５記載の画像処理システムにおいて、
    輝度偏光重畳部により輝度画像に重畳される偏光情報が偏光度または差分偏光度または偏光比であるである画像処理システム。
17. 請求項１〜１６の何れか１項に記載の画像処理システムにおいて、
    輝度画像における飽和した領域を判断する飽和領域判断手段を有し、
    輝度偏光重畳部は、飽和している領域に関しては、重畳方法を変更する画像処理システム。
18. 偏光情報を有する画像の前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部を有し、該輝度偏光重畳部により重畳された画像を出力画像として出力する機能を持ち、
    輝度画像における飽和した領域を判断する飽和領域判断手段を有し、
    輝度偏光重畳部は、飽和している領域に関しては、重畳方法を変更する画像処理システム。
19. 請求項１８記載の画像処理システムにおいて、
    輝度偏光重畳部により輝度画像に重畳される偏光情報が偏光度または差分偏光度または偏光比である画像処理システム。
20. 請求項１〜１９の何れか１項に記載の画像処理システムにおいて、
    輝度偏光重畳部は、飽和している領域に関しては偏光情報の重畳量を０とする画像処理システム。
21. 請求項１〜２０の何れか１項に記載の画像処理システムにおいて、
    輝度偏光重畳部は、飽和している領域に関しては、出力画像の該当領域に対して定数を出力する画像処理システム。
22. 請求項１〜２１の何れか１項に記載の画像処理システムにおいて、
    飽和領域判断手段が、輝度画像における飽和した領域とともに、飽和に近い領域と該領域における飽和に近い度合いを判断する機能を有し、
    前記飽和に近い領域では、前記飽和に近い度合いに応じて、輝度画像と偏光情報の重畳における割合を、飽和に近いほど輝度画像の割合が大きくなるように変化させる画像処理システム。
23. 請求項１〜２２の何れか１項に記載の画像処理システムにおいて、
    輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、前記輝度偏光重畳部は、撮像部により撮像された画像の位置に応じて、輝度画像への偏光情報の重畳方法を変化させる画像処理システム。
24. 偏光情報を有する画像の前記偏光情報を、各ピクセルの輝度の変化として輝度画像に重畳する輝度偏光重畳部を有し、該輝度偏光重畳部により重畳された画像を出力画像として出力する機能を持ち、
    前記輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、前記輝度偏光重畳部は、撮像部により撮像された画像の位置に応じて、輝度画像への偏光情報の重畳方法を変化させる画像処理システム。
25. 請求項２４記載の画像処理システムにおいて、
    輝度偏光重畳部により輝度画像に重畳される偏光情報が偏光度または差分偏光度または偏光比である画像処理システム。
26. 請求項１〜２５の何れか１項に記載の画像処理システムにおいて、
    輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有し、前記撮像部は、撮像素子上に領域分割された偏光フィルタを有する画像処理システム。
27. 請求項１〜２６の何れか１項に記載の画像処理システムにおいて、
    輝度偏光重畳部により重畳処理を受ける偏光情報を有する画像を撮像する撮像部を有する画像処理システム。
28. 請求項１〜２７の何れか１項に記載の画像処理システムにおいて、
    輝度偏光重畳部が、偏光情報と輝度画像の線形和として重畳を行うものである画像処理システム。
29. 請求項１〜２８の何れか１項に記載の画像処理システムにおいて、
    輝度偏光重畳部が、偏光情報と輝度画像の積として重畳を行うものである画像処理システム。

Images