JP6183682B2 - 付着量算出装置、移動体機器制御システム及び付着量算出用プログラム - Google Patents

Description

本発明は、光源からの光が照射されるガラス等の光透過部材を撮像手段で撮像して得られる撮像画像に基づいて、その光透過部材に付着している付着物の量を算出可能な付着量算出装置及びこれを備えた移動体機器制御システム、並びに、付着量算出用プログラムに関するものである。

この種の付着量算出装置としては、例えば、特許文献１に記載された画像処理システムが知られている。この画像処理システムでは、車両等のウィンドウガラス（光透過部材）に光源から光を照射し、そのウィンドウガラスからの反射光を撮像手段の撮像素子で受光して撮像し、その撮像画像に基づいてウィンドウガラスに付着した雨滴などの付着物の量を算出する。この画像処理システムにおいては、まず、光源を点灯したときの画像信号を撮像素子から画像処理プロセッサに入力する。そして、入力された画像信号に対してエッジ検出処理を実行し、雨滴の画像領域と雨滴でない画像領域との境界を強調したエッジ画像を作成する。その後、このエッジ画像に対して円形状の領域を検出する円検出処理を実行し、検出した円形状領域（付着物画像領域）の個数を数え、これを雨量に変換する。

また、特許文献２には、自動車等の車外に取り付けられた撮像装置のレンズを覆うレンズカバー状導光部（光透過部材）に付着した水滴等の付着物を検出する機能を備えた撮像装置が開示されている。この撮像装置では、光源が点灯しているときに撮像手段の撮像素子で得られた画像と、光源が消灯しているときにその撮像素子で得られた画像との濃度差分画像を生成する。この濃度差分画像において所定の輝度以上である画素領域を付着物画像領域であると判断する。そして、その付着物画像領域ごとに画素数や重心座標を算出し、その算出結果から、付着物の数や大きさ、付着物の位置を特定する。

付着物の量を算出する付着量算出処理では、まず、光源から光透過部材を経由して撮像手段に入射する光（光源光）が受光され得る受光範囲に対応した光源画像領域内に存在する付着物画像領域を検出する付着物検出処理を行う。そして、この付着物検出処理の結果から付着物の量を算出する。付着物検出処理を行う対象とする画像領域（処理対象領域）内に光源画像領域外の画像領域（非光源画像領域）が含まれていると、その非光源画像領域についても付着物検出処理を行うことになる。非光源画像領域は、光源画像領域外の画像領域であるため、本来は付着物が検出されないことが想定されている。しかしながら、非光源画像領域で付着物が誤って検出される結果が生じる場合があり、その場合には、付着量算出結果に誤差を生じさせることになる。そのため、付着物検出処理の処理対象領域については、なるべく非光源画像領域を含まないように狭く設定することが望まれる。

ところが、通常、光源や撮像素子の組み付け誤差等により、撮像素子に対する光源光の入射位置が変化する。光源光の入射位置が変化すると、撮像画像中の光源画像領域の位置が変化するため、上述したように非光源画像領域をなるべく含まないように処理対象領域を狭く設定すると、組み付け誤差等によって光源画像領域が処理対象領域から外れてしまう。この場合、処理対象領域には、かえって非光源画像領域が多く含まれてしまい、逆に付着物量の算出精度を低下させることになる。そのため、組み付け誤差等があっても光源画像領域が処理対象領域から外れないように、予め非光源画像領域が多く含まれるように処理対象領域を広く設定せざるを得ず、高い付着物量算出精度を得ることが困難であった。

特に、車両、船舶、航空機等の移動体に搭載される付着量算出装置の場合、移動体の加速や減速によって光源や撮像素子に慣性力が作用して、光源と撮像素子との相対位置関係が変化したり、光源からの光照射方向が変化したりして、光源から光透過部材を経由して撮像手段に入射する光の入射位置が変化する。また、移動中の移動体に生じ得る揺れや振動等によっても、光源と撮像素子との相対位置関係が変化したり、光源からの光照射方向が変化したりして、光源から光透過部材を経由して撮像手段に入射する光の入射位置が変化することもある。そのため、移動体の加減速あるいは揺れや振動が生じても光源画像領域が処理対象領域から外れないように、予め非光源画像領域が多く含まれるように処理対象領域を広く設定せざるを得ず、高い付着物量算出精度を得ることが困難であった。

本発明は、以上の問題に鑑みなされたものであり、その目的とするところは、光透過部材に付着した付着物の量を精度よく算出することができる付着量算出装置、移動体機器制御システム及び付着量算出用プログラムを提供することである。

上記目的を達成するために、本発明は、光源からの光が照射される光透過部材の付着物観測部分を撮像手段で撮像して得られる撮像画像から、該付着物観測部分に付着している付着物を映し出す付着物画像領域を検出し、その検出結果から該付着物の量を算出する付着物量算出処理を実行する付着物量算出手段を備えた付着量算出装置において、上記付着物量算出手段は、上記光源から上記付着物観測部分を経由して上記撮像手段に入射した光が受光され得る複数の受光範囲にそれぞれ対応した複数の光源画像領域の上記撮像画像中における各位置情報を検出し、該各位置情報に基づいて上記付着物画像領域の検出を行う処理対象領域を特定する処理対象領域特定処理を実行し、該処理対象領域特定処理によって特定した処理対象領域に対して上記付着物量算出処理を実行することを特徴とする。

本発明においては、上記処理対象領域特定処理を実行することにより、光源から光透過部材の付着物観測部分を経由して撮像手段に入射した光が受光され得る受光範囲に対応した光源画像領域の撮像画像中における位置情報を元に、処理対象領域を特定する。これにより、付着物観測部分を経由した光源からの光の撮像手段への入射位置が変化しても、光源からの光が照射されている付着物観測部分を映し出している光源画像領域を含む適切な処理対象領域を特定することができる。更に、組み付け誤差や振動などによる光源画像領域の位置変動を考慮して処理対象領域を広く設定する必要がなくなるので、光源画像領域外の画像領域が少ない処理対象領域に対して付着物量算出処理を実行することができる。よって、光源画像領域外の画像領域による検出誤差が少なく、高い精度で付着物の量を算出することができる。

以上より、本発明によれば、光透過部材に付着した付着物の量を精度よく算出することができるという優れた効果が得られる。

実施形態における車載機器制御システムの概略構成を示す模式図である。 同車載機器制御システムにおける撮像ユニットの概略構成を示す模式図である。 （ａ）は、フロントガラスの外壁面上の雨滴に撮像レンズの焦点が合っているときの雨滴画像の例を示す説明図である。（ｂ）は、無限遠又は無限遠とフロントガラスとの間に焦点が合っているときの雨滴画像の例を示す説明図である。 雨滴検出用の撮像画像データに適用可能なカットフィルタのフィルタ特性を示すグラフである。 雨滴検出用の撮像画像データに適用可能なバンドパスフィルタのフィルタ特性を示すグラフである。 同撮像部の光学フィルタに設けられる前段フィルタの正面図である。 同撮像部の撮像画像データの画像例を示す説明図である。 実施形態における雨量算出処理の流れを示すフローチャートである。 画像解析ユニットにおける雨量算出処理を実行する雨量算出処理部の機能ブロック図である。 （ａ）は、点灯時画像の一画像例を示す説明図である。（ｂ）は、同（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。（ｃ）は、同（ａ）の画像例に対して決定される決定される処理対象領域の他の例を示す説明図である。 （ａ）は、図１０（ａ）に示した画像例と比較して光源画像領域が画像上方へ変動した点灯時画像の説明図である。（ｂ）は、同（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。 （ａ）は、図１０（ａ）に示した画像例と比較して光源画像領域が画像下方へ変動した点灯時画像の説明図である。（ｂ）は、同（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。 （ａ）は、点灯時画像の他の画像例を示す説明図である。（ｂ）は、同（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。 （ａ）は、図１３（ａ）に示した画像例と比較して光源画像領域が全体的に画像上方へ変動した点灯時画像の説明図である。（ｂ）は、同（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。 （ａ）は、図１３（ａ）に示した画像例と比較して光源画像領域が全体的に画像下方へ変動した点灯時画像の説明図である。（ｂ）は、同（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。 （ａ）は、図１３（ａ）に示した画像例と比較して各光源画像領域の位置が個別に変動した点灯時画像の説明図である。（ｂ）は、同（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。 比較実験例１の実験結果を示すグラフである。 比較実験例２の実験結果を示すグラフである。 比較実験例３の実験結果を示すグラフである。

以下、本発明に係る付着量算出装置を移動体機器制御システムである車載機器制御システムに用いた一実施形態について説明する。
なお、本発明に係る付着量算出装置は、車載機器制御システムに限らず、他のシステムにも適用できる。

図１は、本実施形態における車載機器制御システムの概略構成を示す模式図である。
本車載機器制御システムは、移動体である自動車などの自車両１００に搭載された撮像装置で撮像した自車両進行方向前方領域（撮像領域）の撮像画像データを利用して、ワイパーの駆動制御、ヘッドランプの配光制御、その他の車載機器の制御を行うものである。

本実施形態の車載機器制御システムに設けられる撮像装置は、撮像ユニット１０１に設けられており、走行する自車両１００の進行方向前方領域を撮像領域として撮像するものであり、例えば、自車両１００のフロントガラス１０５のルームミラー（図示せず）付近に設置される。撮像ユニット１０１の撮像装置で撮像された撮像画像データは、画像解析ユニット１０２に入力される。画像解析ユニット１０２は、撮像装置から送信されてくる撮像画像データを解析し、撮像画像データに自車両１００の前方に存在する他車両の位置、方角、距離を算出したり、光透過部材であるフロントガラス１０５に付着する雨滴や異物などの付着物を検出したり、撮像領域内に存在する路面上の白線（区画線）等の検出対象物を検出したりする。他車両の検出では、他車両のテールランプを識別することで自車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで自車両１００とは反対方向へ進行する対向車両を検出する。

画像解析ユニット１０２の算出結果は、ランプ制御手段としてのヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、自車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に自車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、自車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビームおよびロービームの切り替えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。

画像解析ユニット１０２の算出結果は、ワイパー制御手段としてのワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、自車両１００のフロントガラス１０５に付着した雨滴や異物などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した付着物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、自車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。

また、画像解析ユニット１０２の算出結果は、車両走行制御手段としての車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から自車両１００が外れている場合等に、自車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

図２は、撮像ユニット１０１の概略構成を示す模式図である。
撮像ユニット１０１は、撮像部２００と、光源２０２と、反射ミラー２０３とから構成されている。撮像ユニット１０１は自車両１００のフロントガラス１０５の内壁面側に設置される。撮像部２００及び光源２０２は、光源・撮像モジュール１０１Ａに固定支持されており、反射ミラー２０３は、ミラーモジュール１０１Ｂに固定支持されている。本実施形態において、光源２０２及び反射ミラー２０３は、フロントガラス１０５の外壁面に付着した付着物（以下、付着物が雨滴である場合を例に挙げて説明する。）を検出するためのものである。

光源・撮像モジュール１０１Ａは、撮像部２００が予め決められた撮像領域（車両前方領域）を撮像できるように、フロントガラス１０５の傾斜角度に関係なく、撮像部２００の撮像方向（撮像レンズの光軸方向）Ｐが特定の方向を向くように、自車両１００に固定される。ミラーモジュール１０１Ｂは、光源・撮像モジュール１０１Ａの光源２０２から照射される光をフロントガラス１０５に向けて反射させる反射ミラー２０３を固定支持するものであり、フロントガラス１０５の内壁面に固定される。したがって、ミラーモジュール１０１Ｂ内の反射ミラー２０３は、フロントガラス１０５の傾斜角度に応じてその反射面の方向（水平方向に対する方向）が変わることになる。光源・撮像モジュール１０１Ａは、フロントガラス１０５の傾斜角度に関係なく固定配置されるものであるため、フロントガラス１０５の傾斜角度が異なれば、光源・撮像モジュール１０１Ａに固定支持されている光源２０２から照射される光の反射ミラー２０３に対する入射角も変わってくる。

光源・撮像モジュール１０１Ａ及びミラーモジュール１０１Ｂは、回転連結機構１０１Ｃを介して連結されている。この回転連結機構１０１Ｃは、フロントガラス１０５の傾斜方向に対して直交する方向（図２中紙面前後方向）に延びる回転軸を有し、この回転軸を中心にして光源・撮像モジュール１０１Ａとミラーモジュール１０１Ｂとを相対回転させることができる。

このような構成を有する撮像ユニット１０１を自車両１００に設置する際、まず、ミラーモジュール１０１Ｂをフロントガラス１０５に固定する。この固定には、例えば、フロントガラス１０５に対してミラーモジュール１０１Ｂを接着したり、フロントガラス１０５に予め固定されたフック等の機構部品にミラーモジュール１０１Ｂを係合させたりする固定方法を採用できる。次に、固定したミラーモジュール１０１Ｂに対して回転連結機構１０１Ｃの回転軸を中心に光源・撮像モジュール１０１Ａを回転させ、光源・撮像モジュール１０１Ａの撮像部２００の撮像方向Ｐが上記特定の方向に一致するように、光源・撮像モジュール１０１Ａの角度調整を行い、光源・撮像モジュール１０１Ａを自車両１００に固定する。

光源２０２の光照射方向は、回転連結機構１０１Ｃの回転調整範囲内で常にミラーモジュール１０１Ｂの反射ミラー２０３の反射面に向かうように、光源・撮像モジュール１０１Ａに固定支持されている。本撮像ユニット１０１においては、フロントガラス１０５の傾斜角度が異なる場合でも、反射ミラー２０３で反射した光の方向（水平方向に対する方向）、すなわち、フロントガラス１０５の内壁面に入射する光の入射方向（水平方向に対する方向）は、一定方向を向くように構成されている。その結果、フロントガラス１０５の外壁面で反射した光がフロントガラス１０５の内壁面から出射するときの出射方向（水平方向に対する方向）は、フロントガラス１０５の傾斜角度に関係なく、一定となる。

フロントガラス１０５の外壁面に雨滴Ｒｄが付着していない場合、光源２０２から照射されて反射ミラー２０３で反射した光は、上述のようにフロントガラス１０５の外壁面と外気との界面で反射し、その正反射光は撮像部２００へ入射する。一方、フロントガラス１０５の外壁面に雨滴Ｒｄが付着している場合、光源２０２からの光は、フロントガラス１０５の外壁面と雨滴Ｒｄとの間における屈折率差により、フロントガラス１０５の外壁面を透過するなどして、撮像部２００へは入射しない。雨滴Ｒｄの有無によるこのような違いによって、画像解析ユニット１０２は、撮像部２００から送信される撮像画像データから、フロントガラス１０５に付着する雨滴Ｒｄを検出する。

なお、本実施形態の場合とは逆に、フロントガラス１０５の外壁面に雨滴Ｒｄが付着していない場合に光源２０２からの光が撮像部２００へ入射しないようにし、かつ、フロントガラス１０５の外壁面に雨滴Ｒｄが付着している場合に光源２０２からの光が撮像部２００へ入射するように構成することもできる。

本実施形態では、撮像レンズの焦点は、無限遠又は無限遠とフロントガラス１０５の外壁面との間に設定している。これにより、フロントガラス１０５上に付着した雨滴Ｒｄの検出を行う場合だけでなく、先行車両や対向車両の検出や白線の検出を行う場合にも、撮像部２００の撮像画像データから適切な情報を取得することができる。

例えば、フロントガラス１０５上に付着した雨滴Ｒｄの検出を行う場合、撮像画像データ上の雨滴画像の形状は円形状であることが多いので、後述するように、撮像画像データ上の雨滴候補画像領域が円形状であるかどうかを判断してその雨滴候補画像領域が雨滴画像であると識別する形状認識処理を行う。このような形状認識処理を行う場合、図３（ａ）に示すようにフロントガラス１０５の外壁面上の雨滴Ｒｄに撮像レンズの焦点が合っているよりも、上述したように無限遠又は無限遠とフロントガラス１０５との間に焦点が合っている方が、図３（ｂ）に示すように多少ピンボケして、雨滴の形状認識率（円形状）が高くなり、雨滴検出性能が高い。

光源２０２の発光波長は、例えば可視光や赤外光を用いることができる。ただし、光源２０２の光で対向車両の運転者や歩行者等を眩惑するのを回避する場合には、可視光よりも波長が長くて画像センサの受光感度がおよぶ範囲の波長、例えば８００ｎｍ以上１０００ｎｍ以下の赤外光領域が好ましい。本実施形態の光源２０２は、赤外光領域の波長を有する光を照射するものである。

特に、直射日光などの外界からの光の影響を低減するためには、９５０ｎｍを中心とした波長を選択することが有効である。ここで、フロントガラス１０５の外壁面で反射した光源２０２からの赤外波長光を撮像部２００で撮像する際、撮像部２００の画像センサでは、光源２０２からの赤外波長光のほか、例えば太陽光などの赤外波長光を含む大光量の外乱光も受光される。よって、光源２０２からの赤外波長光をこのような大光量の外乱光と区別するためには、光源２０２の発光量を外乱光よりも十分に大きくする必要があるが、このような大発光量の光源２０２を用いることは困難である場合が多い。

そこで、本実施形態においては、例えば、図４に示すように光源２０２の発光波長よりも短い波長の光をカットするようなカットフィルタか、もしくは、図５に示すように透過率のピークが光源２０２の発光波長とほぼ一致したバンドパスフィルタを介して、光源２０２からの光を画像センサで受光するように構成する。これにより、光源２０２の発光波長以外の光を除去して受光できるので、画像センサで受光される光源２０２からの光量は、外乱光に対して相対的に大きくなる。その結果、大発光量の光源２０２でなくても、光源２０２からの光を外乱交と区別することが可能となる。

ただし、本実施形態においては、撮像画像データから、フロントガラス１０５上の雨滴Ｒｄを検出するだけでなく、先行車両や対向車両の検出や白線の検出も行う。そのため、撮像画像全体について光源２０２が照射する赤外波長光以外の波長帯を除去してしまうと、先行車両や対向車両の検出や白線の検出に必要な波長帯の光を画像センサで受光できず、これらの検出に支障をきたす。そこで、本実施形態では、撮像画像データの画像領域を、フロントガラス１０５上の雨滴Ｒｄを検出するための雨滴検出用画像領域と、先行車両や対向車両の検出や白線の検出を行うための車両検出用画像領域とに区分し、雨滴検出用画像領域に対応する部分についてのみ光源２０２が照射する赤外波長光以外の波長帯を除去する光学フィルタを用いている。

図６は、光学フィルタの一例を示す正面図である。
図７は、撮像画像データの画像例を示す説明図である。
本実施形態の光学フィルタ２１０は、図７に示すように、車両検出用画像領域２１３である撮像画像上部２／３に対応する箇所に配置される赤外光カットフィルタ領域２１１と、雨滴検出用画像領域２１４である撮像画像下部１／３に対応する箇所に配置される赤外光透過フィルタ領域２１２とに、領域分割されている。赤外光透過フィルタ領域２１２には、図４に示したカットフィルタや図５に示したバンドパスフィルタを用いる。

対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の画像は、主に撮像画像中央部に存在することが多く、撮像画像下部には自車両前方の直近路面の画像が存在するのが通常である。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の識別に必要な情報は撮像画像中央部に集中しており、その識別において撮像画像下部の情報はあまり重要でない。よって、単一の撮像画像データから、対向車両や先行車両あるいは路端や白線の検出と雨滴の検出とを両立して行う場合には、図７に示すように、撮像画像下部を雨滴検出用画像領域２１４とし、撮像画像中央部を含む残りの撮像画像上部を車両検出用画像領域２１３とし、これに対応して光学フィルタ２１０を領域分割するのが好適である。

なお、撮像画像上部の情報は、自車両前方の上空の画像が存在するのが通常であり、撮像画像下部の情報と同様、対向車両のヘッドランプ及び先行車両のテールランプ並びに路端や白線の識別にはあまり重要でない。よって、雨滴検出用画像領域２１４を撮像画像上部に設けるようにしてもよいし、撮像画像上部と下部の両方に設けるようにしてもよい。

また、本実施形態においては、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで雨滴検出精度を悪化させる原因となる。このような場合でも、本実施形態では、撮像画像下部に対応する箇所に図４に示したカットフィルタや図５に示したバンドパスフィルタが配置されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が雨滴検出用画像領域２１４に含まれずに除去され、雨滴検出精度を悪化させることはない。

また、本実施形態の光学フィルタ２１０における車両検出用画像領域２１３に対応する箇所には、赤外光カットフィルタ領域２１１が配置される。この箇所のフィルタ領域は、可視光を透過できればよいので、全波長帯を透過する非フィルタ領域でもよいが、光源２０２からの赤外波長光が入射してもこれによるノイズが軽減されるように、赤外波長をカットできるのが望ましい。

ここで、先行車両を検出する際には、撮像画像上のテールランプを識別することで先行車両の検出を行うが、テールランプは対向車両のヘッドランプと比較して光量が少なく、また街灯などの外乱光も多く存在するため、単なる輝度データのみからテールランプを高精度に検出するのは困難である。そのため、テールランプの識別には分光情報を利用し、赤色光の受光量に基づいてテールランプを識別するようにしてもよい。

撮像領域からの光は、撮像部２００の撮像レンズを通り、光学フィルタ２１０を透過して、画像センサでその光強度に応じた電気信号に変換される。画像センサから出力される電気信号（アナログ信号）は、画像センサ上における各画素の明るさ（輝度）を示すデジタル信号に変換され、画像の水平・垂直同期信号とともに撮像画像データとして画像解析ユニット１０２へ出力される。

画像センサは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、その受光素子にはフォトダイオードＡを用いている。フォトダイオードは、画素ごとに２次元的にアレイ配置されており、フォトダイオードの集光効率を上げるために、各フォトダイオードの入射側にはマイクロレンズが設けられている。この画像センサがワイヤボンディングなどの手法によりＰＷＢ（printed wiring board）に接合されてセンサ基板が形成されている。

次に、本実施形態における付着量算出処理である雨量算出処理について説明する。
図８は、本実施形態における雨量算出処理の流れを示すフローチャートである。
図９は、画像解析ユニット１０２における雨量算出処理を実行する雨量算出処理部３００の機能ブロック図である。
まず、所定の雨量検出タイミングが到来したら、まず、光源２０２を点灯させて（Ｓ１）、撮像装置により画像（点灯時画像）を撮像する（Ｓ２）。これにより、光源２０２からの光が照射されたフロントガラス１０５の部分（雨滴観測部分）が撮像画像下部の雨滴検出用画像領域２１４に映し出された撮像画像（点灯時画像）のデータが、水平同期信号に同期して、画像格納メモリ３０１に格納される。また、この点灯時画像のデータは、光分布位置計算部３０２にも送られる。続いて、光源２０２を消灯させて（Ｓ３）、撮像装置により画像（消灯時画像）を撮像する（Ｓ４）。これにより、光源２０２から光が照射されていない状態のフロントガラス１０５の雨滴観測部分が撮像画像下部の雨滴検出用画像領域２１４に映し出された撮像画像（消灯時画像）のデータが、水平同期信号に同期して、画像格納メモリ３０１に格納される。点灯時画像の撮像時点と消灯時画像の撮像時点とはより近い時点であるのが好ましい。したがって、本実施形態では、点灯時画像及び消灯時画像として、連続する２フレームで撮像したものを使用する。

一方、光分布位置計算部３０２では、撮像した点灯時画像のデータから、その点灯時画像中における光源からの光が映し出されている光源画像領域の位置情報を取得し（Ｓ５）、取得した位置情報から、雨滴を映し出す雨滴画像領域を検出する範囲である処理対象領域を決定する処理を行う（Ｓ６）。このステップＳ５及びＳ６の処理についての詳細は後述する。

なお、雨量算出処理部３００に入力される垂直同期信号は、点灯時画像や消灯時画像の選択、画像格納メモリ３０１の書込許可、光分布位置計算部の計算許可などに利用される。また、点灯時画像や消灯時画像の画素数が多い場合には、適宜間引いて、画像格納メモリ３０１に格納するようにしてもよい。

本実施形態では、このようにして決定された処理対象領域に対し、差分画像生成部３０３において、点灯時画像と消灯時画像の輝度差分画像を作成する（Ｓ７）。その後、雨量算出部３０４において、その輝度差分画像からフロントガラス１０５の外壁面に付着している雨滴の量（雨量）を算出する（Ｓ８）。光源２０２を消灯させた状態で撮像された雨滴検出用画像領域２１４は、光源２０２からの光を含まない外乱光のみを映し出したものである。一方、光源２０２を点灯させた状態で撮像された雨滴検出用画像領域２１４は、外乱光と光源２０２からの光の両方を映し出したものである。したがって、これらの画像間の輝度差分を計算することで得られる輝度値（輝度差分画像の画素値）は、外乱光が除外され、光源２０２からの光に対応したものとなる。本実施形態では、このような輝度差分画像を用いることで、外乱光の影響を排除して、光源２０２からの光の受光量を高精度に検出することができる。

このようにして作成した輝度差分画像からフロントガラス１０５上の雨滴の量（雨量）を算出する（Ｓ８）。本実施形態においては、上述したように、光源２０２からの光のうち、雨滴Ｒｄが付着しているフロントガラス部分に入射した光は撮像部２００に入射せず、雨滴Ｒｄが付着していないフロントガラス部分に入射した光は撮像部２００に入射する。したがって、雨滴ＲＤを映し出す雨滴画像は、雨滴検出用画像領域２１４上において低輝度な画像として映し出される。したがって、輝度差分画像中から低輝度画像領域を抽出し、抽出された低輝度画像領域を、雨滴Ｒｄが映し出された雨滴画像領域の候補領域として特定する。具体的には、まず、輝度差分画像の画素値を所定の閾値と比較することにより２値化処理を行う。この２値化処理では、例えば、所定の閾値以上の画素値をもつ画素に「１」、そうでない画素に「０」を割り振ることで、２値化画像を作成する。次に、この２値化画像において、「０」が割り振られた画素が近接している場合には、それらを１つの低輝度画像領域として認識するラベリング処理を実施する。これによって、輝度値の低い近接した複数の画素の集合が、１つの低輝度画像領域として抽出される。

次に、このようにして特定される雨滴画像領域の候補領域に対し、形状識別処理を行って雨滴画像領域を特定する。撮像画像上の雨滴画像の形状は円形状であることが多いので、上述した低輝度画像領域抽出処理によって抽出した雨滴画像領域の候補領域が円形状であるかどうかの形状識別処理を行い、その結果から雨滴画像領域を特定する。そして、このようにして特定された雨滴画像領域の数をカウントした結果を雨量として算出する。ワイパー制御ユニット１０６は、例えば、この雨量の算出結果が所定の条件（例えば、連続して撮像された２０セットの撮像画像（点灯時画像と消灯時画像のセット）について、いずれも雨量のカウント値が１０以上であるという条件）を満たしたときに、ワイパー１０７の駆動制御やウォッシャー液の吐出制御を行う。

次に、雨量算出処理を行う画像範囲である処理対象領域の決定方法について詳しく説明する。
図１０（ａ）は、点灯時画像の画像例を示す説明図である。図１０（ｂ）は、図１０（ａ）の画像例に対して決定される処理対象領域の一例を示す説明図である。図１０（ｃ）は、図１０（ａ）の画像例に対して決定される決定される処理対象領域の他の例を示す説明図である。なお、これらの画像例において、雨滴検出用画像領域２１４内に白く浮かび上がっている画像部分が、光源２０２からの光の分布（光源画像領域）である。なお、これらの画像例は、雨滴Ｒｄが付着していない状況のものである。

図１０（ａ）に示す点灯時画像の例では、点灯時画像上における光源２０２からの光の分布（光源画像領域）が１つの楕円形状を示すものとなっている。点灯時画像上にこのような１つの楕円形状の光源画像領域が映し出される構成においては、当該１つの光源画像領域の位置情報としては、例えば、その重心位置Ｇの座標（ｘ_Ｇ，ｙ_Ｇ）を用いることができる。重心位置Ｇの座標は、例えば、雨滴検出用画像領域２１４内で一定の閾値を超える画素値（輝度）をもった各画素（画像画素）の座標情報を用いて算出することができる。このとき、重心位置Ｇの算出に用いる各画素の座標にそれぞれの画素値（輝度）の大きさに応じた重み付けを行ってもよい。

このようにして光源画像領域の重心位置Ｇの座標（ｘ_Ｇ，ｙ_Ｇ）を取得したら（Ｓ５）、続いて、その座標から、予め決められたアルゴリズムに従って処理対象領域２１５を決定する（Ｓ６）。この決定方法としては、例えば、図１０（ｂ）に示すように、重心位置Ｇと同じ重心位置をもつ予め決められた１つの長方形状の領域を処理対象領域２１５として決定する方法を採用することができる。また、例えば、図１０（ｃ）に示すように、重心位置Ｇと同じ重心位置をもつ予め決められた１つの長方形状の領域を画像横方向に複数分割した各領域をそれぞれ処理対象領域２１５として決定してもよい。

ここで、撮像部２００の画像センサや光源２０２の組み付け誤差によって光源画像領域の重心位置Ｇが一定に定まらない。また、アクセル操作やブレーキ操作によって自車両１００に加速度（加速、減速）が作用すると、撮像部２００や光源２０２に慣性力が働いて光源画像領域の重心位置Ｇが変動する場合がある。更には、砂利道や舗装途中の道路など、平滑でない（起伏がある）路面を自車両１００が走行しているときには、自車両１００に振動や揺れが発生し、これにより光源画像領域の重心位置Ｇが変動する場合もある。

本実施形態においては、例えば図１１（ａ）に示すように、図１０（ａ）に示した画像例と比較して光源画像領域が画像上方へ変動した点灯時画像が撮像された場合でも、その光源画像領域の位置情報（重心位置の座標）から、図１１（ｂ）に示すように、その点灯時画像上において光源２０２からの光が実際に映し出されている画像領域を、処理対象領域２１５として決定することができる。また、例えば図１２（ａ）に示すように、図１０（ａ）に示した画像例と比較して光源画像領域が画像下方へ変動した点灯時画像が撮像された場合でも、その光源画像領域の位置情報（重心位置の座標）から、図１２（ｂ）に示すように、その点灯時画像上において光源２０２からの光が実際に映し出されている画像領域を、処理対象領域２１５として決定することができる。

また、図１３（ａ）に示すように、点灯時画像上における光源２０２からの光の分布（光源画像領域）が複数の円形状を示すものとなる場合もある。このような場合には、例えば、それぞれの光源画像領域の重心位置Ｇ_１，Ｇ_２，・・・，Ｇ_ｎ−１，Ｇ_ｎの座標を、各光源画像領域の位置情報として用いてもよい。この場合における処理対象領域の決定方法としては、例えば、図１３（ｂ）に示すように、各光源画像領域の重心位置と同じ重心位置をそれぞれ有する予め決められた円形状の領域をそれぞれ処理対象領域２１５−１，２１５−２，・・・，２１５−ｎとして決定する方法を採用することができる。

その結果、例えば図１４（ａ）に示すように、図１３（ａ）に示した画像例と比較して光源画像領域が全体的に画像上方へ変動した点灯時画像が撮像された場合でも、各光源画像領域の位置情報（重心位置の座標）から、図１４（ｂ）に示すように、その点灯時画像上において光源２０２からの光が実際に映し出されている画像領域を、処理対象領域２１５−１，・・・，２１５−ｎとして決定することができる。また、例えば図１５（ａ）に示すように、図１３（ａ）に示した画像例と比較して光源画像領域が全体的に画像下方へ変動した点灯時画像が撮像された場合でも、その光源画像領域の位置情報（重心位置の座標）から、図１５（ｂ）に示すように、その点灯時画像上において光源２０２からの光が実際に映し出されている画像領域を、処理対象領域２１５−１，・・・，２１５−ｎとして決定することができる。

また、例えば図１６（ａ）に示すように、それぞれの光源画像領域の変動量が互いに異なるような点灯時画像が撮像された場合でも、各光源画像領域の位置情報（重心位置の座標）から、図１６（ｂ）に示すように、その点灯時画像上において光源２０２からの光が実際に映し出されている画像領域を、処理対象領域２１５−１，・・・，２１５−ｎとして決定することができる。

以上より、本実施形態によれば、組み付け誤差や自車両１００に作用する加速度あるいは振動や揺れの影響で光源画像領域の重心位置Ｇが変動しても、これに追従して、光源２０２からの光が実際に映し出されている画像領域を適切に処理対象領域２１５とすることができる。よって、光源２０２からの光を映し出している光源画像領域が処理対象領域から外れたり、光源２０２からの光を映し出していない非光源画像領域が処理対象領域内で多くを占めるような状況になったりすることがなく、適切な処理対象領域に対して雨量の算出を行うことができ、雨量を高い精度で算出することができる。

また、本実施形態においては、雨滴検出用画像領域２１４内において光源２０２からの光が実際に映し出されている光源画像領域を処理対象領域２１５として適切に限定することができる。そのため、組み付け誤差や自車両１００の加減速あるいは振動や揺れの影響を考慮したマージンを含める必要がないので、非光源画像領域を極力排除した狭い処理対象領域を設定することが可能となる。その結果、雨量の算出に用いられる処理対象領域に含まれる非光源画像領域の比率が小さく、非光源画像領域によるノイズ成分が少ない状態で雨量の算出を行うことができ、雨量を高い精度で算出することができる。

〔比較実験例１〕
次に、本発明者らが実際に行った比較実験（以下「比較実験例１」という。）について説明する。
本比較実験例１では、降雨状況が「大雨」の状況下において、撮像ユニット１０１を取り付けた自車両１００で車道を実際に走行し、そのときの雨量算出結果をパーソナルコンピュータに取り込み、パーソナルコンピュータ内の解析ソフトを用いて雨量算出結果を解析した。この比較実験例１では、撮像ユニット１０１内における撮像部２００や光源２０２の組み付け精度が悪いものを用い、また、撮像ユニット１０１の取り付け精度も悪いものを用いた。比較実験例１における実施例１は、上述した実施形態のように、光源画像領域の位置情報から決定される処理対象領域に対して雨量算出処理を実行したものであり、比較例１は、予め固定された処理対象領域に対して雨量算出処理を実行したものである。

図１７は、本比較実験例１の実験結果を示すグラフである。
このグラフに示されるように、比較例１は、算出された雨滴量が大きくばらついており、算出された雨滴量は本来の雨滴量よりも多めに算出されている。これは、組み付け誤差等あるいは自車両１００の加減速、振動、揺れなどによって生じる光源画像領域の位置変動により、実際の光源画像領域から処理対象領域がズレてしまい、非光源画像領域の低輝度部分が雨滴画像領域として誤検出された結果であることが推測される。

これに対し、実施例１は、比較例１よりも、算出された雨滴量のばらつきが小さく、算出された雨滴量も本来の雨滴量とほぼ一致するという算出結果が得られている。ここでいう本来の雨滴量とは、自車両１００のエンジンを完全にオフし、自車両に加減速、振動、揺れなどが生じていない状態で、雨滴量を算出したときの雨滴量である。なお、実施例１でも、算出された雨滴量に多少のばらつきが発生しているが、これは、雨粒の親水性や撥水性、雨が継続的にフロントガラスに落下した際の弾み、雨滴同士の衝突等によって、フロントガラス１０５の外壁面上における雨滴付着面積が時間的に変化し、その結果観測される雨滴検出領域の個数が変化していることが原因であると考えられる。

〔比較実験例２〕
次に、本発明者らが実際に行った他の比較実験（以下「比較実験例２」という。）について説明する。
本比較実験例２では、降雨状況が「大雨」の状況下において、撮像ユニット１０１を取り付けた自車両１００を停車した状態（エンジンはオンの状態）で、雨量算出結果をパーソナルコンピュータに取り込み、パーソナルコンピュータ内の解析ソフトを用いて雨量算出結果を解析した。比較実験例２における実施例２は、上記実施例１と同様、上述した実施形態のように、光源画像領域の位置情報から決定される処理対象領域に対して雨量算出処理を実行したものである。比較例２は、上記比較例１と同様、予め固定された処理対象領域に対して雨量算出処理を実行したものである。そのほかの条件は、上記比較実験例１と同様である。

図１８は、本比較実験例２の実験結果を示すグラフである。
このグラフに示されるように、比較例２は、算出された雨滴量が大きくばらついており、算出された雨滴量は本来の雨滴量よりも多めに算出されている。比較例２では、自車両１００を停車しているので、自車両１００に働く加減速や揺れなどの影響が無く、その分、比較例１よりもばらつきが小さくなっているが、エンジンの振動によって雨滴量が大きくばらついているものと推測される。これに対し、実施例２は、比較例２よりも、算出された雨滴量のばらつきが小さく、算出された雨滴量も本来の雨滴量とほぼ一致するという算出結果が得られている。

〔比較実験例３〕
次に、本発明者らが実際に行った更に他の比較実験（以下「比較実験例３」という。）について説明する。
本比較実験例３では、降雨状況が「快晴」の状況下（雨が全く降っていない状況下）において、撮像ユニット１０１を取り付けた自車両１００で車道を実際に走行し、そのときの雨量算出結果をパーソナルコンピュータに取り込み、パーソナルコンピュータ内の解析ソフトを用いて雨量算出結果を解析した。比較実験例３における実施例３は、上記実施例１と同様、上述した実施形態のように、光源画像領域の位置情報から決定される処理対象領域に対して雨量算出処理を実行したものである。比較例３は、上記比較例１と同様、予め固定された処理対象領域に対して雨量算出処理を実行したものである。そのほかの条件は、上記比較実験例１と同様である。

図１９は、本比較実験例３の実験結果を示すグラフである。
このグラフに示されるように、比較例３は、雨が降っていないにもかかわらず、雨滴量が存在するという算出結果が得られ、雨滴の明らかな誤検出が生じている。これは、組み付け誤差等あるいは自車両１００の加減速、振動、揺れなどによって生じる光源画像領域の位置変動により、実際の光源画像領域から処理対象領域がズレてしまい、非光源画像領域の低輝度部分が雨滴画像領域として誤検出された結果であることが推測される。
これに対し、実施例３は、雨滴量がゼロであるという算出結果が安定して得られており、雨滴の誤検出は生じていない。

また、比較実験例３においては、実施例３及び比較例３の雨量算出結果を上述した実施形態のようにワイパー１０７の駆動制御に用いたときのワイパー動作の確認も行った。その結果、比較例３では、雨が降っていないにもかかわらず、ワイパーが動作したのに対し、実施例３ではワイパーが動作しなかった。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様Ａ）
光源２０２からの光が照射されるフロントガラス１０５等の光透過部材の雨滴観測部分等の付着物観測部分を撮像部２００等の撮像手段で撮像して得られる撮像画像から、該付着物観測部分に付着している雨滴Ｒｄ等の付着物を映し出す雨滴画像領域等の付着物画像領域を検出し、その検出結果から該付着物の量（雨量）を算出する雨量算出処理等の付着物量算出処理を実行する雨量算出処理部３００等の付着物量算出手段を備えた付着量算出装置において、上記付着物量算出手段は、上記光源から上記付着物観測部分を経由して上記撮像手段に入射した光が受光され得る受光範囲に対応した光源画像領域の上記撮像画像中における重心位置Ｇの座標等の位置情報に基づいて、上記付着物画像領域の検出を行う処理対象領域２１５を特定する処理対象領域特定処理を実行し、該処理対象領域特定処理によって特定した処理対象領域に対して上記付着物量算出処理を実行することを特徴とする。
これによれば、付着物観測部分を経由した光源からの光の撮像手段への入射位置が変化しても、光源からの光が照射されている付着物観測部分を映し出している光源画像領域を含む適切な処理対象領域を特定することができる。更に、組み付け誤差や振動などによる光源画像領域の位置変動を考慮して処理対象領域を広く設定する必要がなくなるので、非光源画像領域が少ない処理対象領域に対して付着物量算出処理を実行することができる。よって、非光源画像領域による検出誤差が少なく、高い精度で付着物の量を算出することができる。

（態様Ｂ）
上記態様Ａにおいて、上記付着物量算出手段は、上記付着物の量の算出を行う際には、毎度、上記処理対象領域特定処理を実行することを特徴とする。
これによれば、光源画像領域の位置が刻々と変化するような場合でも、付着物の量を高い精度を算出することができる。

（態様Ｃ）
上記態様Ａ又はＢにおいて、上記処理対象領域特定処理で用いる光源画像領域の位置情報は、該光源画像領域の重心位置Ｇを示す情報であることを特徴とする。
これによれば、光源画像領域の位置を容易に特定することができる。

（態様Ｄ）
上記態様Ａ〜Ｃのいずれかの態様において、上記付着物量算出処理では、上記光源を点灯しているときの点灯時撮像画像と該光源を消灯しているときの消灯時撮像画像とを用いて上記付着物画像領域を検出することを特徴とする。
これによれば、光源からの光以外の外乱光の影響を抑えて、より高精度な付着物量の算出を実現することができる。

（態様Ｅ）
上記態様Ｄにおいて、上記付着物量算出処理では、上記点灯時撮像画像と上記消灯時撮像画像との間の差分画像を用いて上記付着物画像領域を検出することを特徴とする。
これによれば、簡易な処理で光源からの光以外の外乱光の影響を抑えることができる。

（態様Ｆ）
自車両１００等の移動体におけるフロントガラス１０５等の光透過部材の付着物観測部分に付着する雨滴Ｒｄ等の付着物の量を検出する付着量算出手段と、上記付着量算出手段の検出結果に基づいて、上記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、上記付着量算出手段として、上記態様Ａ〜Ｅのいずれかの態様に係る付着量算出装置を用いたことを特徴とする。
これによれば、移動体の移動中の振動や揺れなどによって光源画像領域の位置が変動しても、付着物の量を高い精度で算出することができ、移動体に搭載された所定の機器を適切に制御することができる。

（態様Ｇ）
光源からの光が照射される光透過部材の付着物観測部分を撮像手段で撮像して得られる撮像画像に基づいて該付着物観測部分に付着している付着物の量を算出する付着量算出装置のコンピュータに実行させるための付着量算出用プログラムであって、上記光源から上記付着物観測部分を経由して上記撮像手段に入射した光が受光され得る受光範囲に対応した光源画像領域の上記撮像画像中における位置情報に基づいて、上記付着物観測部分に付着している雨滴Ｒｄ等の付着物を映し出す雨滴画像領域等の付着物画像領域の検出を行う処理対象領域を特定する処理対象領域特定工程と、上記処理対象領域特定工程で特定された処理対象領域から、上記付着物画像領域を検出する付着物画像領域検出工程と、上記付着物画像領域検出工程の検出結果から上記付着物の量を算出する付着物量算出工程とを、上記コンピュータに実行させることを特徴とする。
これによれば、付着物の量を高い精度で算出することができる。
なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１００ 自車両
１０１ 撮像ユニット
１０２ 画像解析ユニット
１０５ フロントガラス
１０６ ワイパー制御ユニット
１０７ ワイパー
２００ 撮像部
２０２ 光源
２０３ 反射ミラー
２１０ 光学フィルタ
２１３ 車両検出用画像領域
２１４ 雨滴検出用画像領域
２１５ 処理対象領域
３００ 雨量算出処理部
３０１ 画像格納メモリ
３０２ 光分布位置計算部
３０３ 差分画像生成部
３０４ 雨量算出部

特開２００５−１９５５６６号公報 特開２００８−６４６３０号公報

Claims (7)

1. 光源からの光が照射される光透過部材の付着物観測部分を撮像手段で撮像して得られる撮像画像から、該付着物観測部分に付着している付着物を映し出す付着物画像領域を検出し、その検出結果から該付着物の量を算出する付着物量算出処理を実行する付着物量算出手段を備えた付着量算出装置において、
   上記付着物量算出手段は、上記光源から上記付着物観測部分を経由して上記撮像手段に入射した光が受光され得る複数の受光範囲にそれぞれ対応した複数の光源画像領域の上記撮像画像中における各位置情報を検出し、該各位置情報に基づいて上記付着物画像領域の検出を行う処理対象領域を特定する処理対象領域特定処理を実行し、該処理対象領域特定処理によって特定した処理対象領域に対して上記付着物量算出処理を実行することを特徴とする付着量算出装置。
2. 請求項１の付着量算出装置において、
   上記付着物量算出手段は、上記付着物の量の算出を行う際には、毎度、上記処理対象領域特定処理を実行することを特徴とする付着量算出装置。
3. 請求項１又は２の付着量算出装置において、
   上記処理対象領域特定処理で用いる光源画像領域の位置情報は、該光源画像領域の重心位置を示す情報であることを特徴とする付着量算出装置。
4. 請求項１乃至３のいずれか１項に記載の付着量算出装置において、
   上記付着物量算出処理では、上記光源を点灯しているときの点灯時撮像画像と該光源を消灯しているときの消灯時撮像画像とを用いて上記付着物画像領域を検出することを特徴とする付着量算出装置。
5. 請求項４の付着量算出装置において、
   上記付着物量算出処理では、上記点灯時撮像画像と上記消灯時撮像画像との間の差分画像を用いて上記付着物画像領域を検出することを特徴とする付着量算出装置。
6. 移動体における光透過部材の付着物観測部分に付着する付着物の量を検出する付着量算出手段と、
   上記付着量算出手段の検出結果に基づいて、上記移動体に搭載された所定の機器を制御する移動体機器制御手段とを備えた移動体機器制御システムにおいて、
   上記付着量算出手段として、請求項１乃至５のいずれか１項に記載の付着量算出装置を用いたことを特徴とする移動体機器制御システム。
7. 光源からの光が照射される光透過部材の付着物観測部分を撮像手段で撮像して得られる撮像画像に基づいて該付着物観測部分に付着している付着物の量を算出する付着量算出装置のコンピュータに実行させるための付着量算出用プログラムであって、
   上記光源から上記付着物観測部分を経由して上記撮像手段に入射した光が受光され得る複数の受光範囲にそれぞれ対応した複数の光源画像領域の上記撮像画像中における各位置情報を検出し、該各位置情報に基づいて上記付着物観測部分に付着している付着物を映し出す付着物画像領域の検出を行う処理対象領域を特定する処理対象領域特定工程と、
   上記処理対象領域特定工程で特定された処理対象領域から、上記付着物画像領域を検出する付着物画像領域検出工程と、
   上記付着物画像領域検出工程の検出結果から上記付着物の量を算出する付着物量算出工程とを、上記コンピュータに実行させることを特徴とする付着量算出用プログラム。