JP4668838B2 - 雨滴検出装置およびワイパー制御装置 - Google Patents

Description

本発明は、雨滴検出装置およびワイパー制御装置に関するものである。

雨滴検出装置として、特許文献１においては、ウィンドシールド上を撮像した画像を周波数解析し、背景と比較して雨滴部分が高周波数成分として抽出されることにより、高周波成分のエネルギー量により雨滴検出及び雨滴量を判断するようにしている。

他の技術として、特許文献２においては、ウィンドシールドに向けて光を照射する光源とウィンドシールド上の付着物による反射光を撮像する撮像装置を備えた画像処理システムにおいて撮像された画像を分析することで付着物を検出するようにしている。
特開２００１−１５３９６９号公報 特開２００５−１９５５６６号公報

ところが、特許文献１においては、雨滴部分は輪郭が明確に撮像されることより周波数解析により高周波成分が抽出されるが、水垢等の汚れなども高周波成分として抽出されるために雨滴以外のものを検出することがあり、また、水撥ね（スプラッシュ）等によりウィンドシールドの大部分が被水した場合には高周波成分が正確に抽出できない問題がある。

特許文献２においては、撥水処理されたウィンドシールドにおいて円形状の雨滴となる場合を想定しており、未撥水処理のウィンドシールド上の雨滴や突然の水撥ね（スプラッシュ）への対応が不十分という問題がある。

本発明は、上記問題点に着目してなされたものであり、その目的は、ウィンドシールドに雨滴が付着していることを高精度に検出することができる雨滴検出装置およびワイパー制御装置を提供することにある。

上記の課題を解決するために、請求項１に記載の発明では、車室内から、車両前方のウィンドシールドを撮像する撮像手段と、前記撮像手段により取得した画像を周波数解析して高周波成分があるか否か判定する高周波成分判定手段と、前記高周波成分判定手段により高周波成分があると、前記撮像手段により取得した画像において階調が変化する部位に挟まれた領域の幅が雨滴の径に相当する所定範囲内に入っているか否か判定し、所定範囲内に入っていると、ウィンドシールドに雨滴が付着していると判定する雨滴判定手段と、を備えた雨滴検出装置をその要旨とする。

請求項２に記載の発明では、車室内から、車両前方のウィンドシールドを撮像する撮像手段と、前記撮像手段により取得した画像を周波数解析して高周波成分があるか否か判定する高周波成分判定手段と、前記高周波成分判定手段により高周波成分があると、前記撮像手段により取得した画像において階調が変化する部位に挟まれた領域の幅が雨滴の径に相当する所定範囲内に入っているか否か判定し、所定範囲内に入っていると、ウィンドシールドに雨滴が付着していると判定する雨滴判定手段と、前記雨滴判定手段による雨滴の量に応じてワイパー装置による払拭動作を制御するワイパー制御手段と、を備えたワイパー制御装置をその要旨とする。

請求項１，２に記載の発明によれば、高周波成分判定手段において、撮像手段により取得した画像が周波数解析されて高周波成分があるか否か判定され、高周波成分判定手段により高周波成分があると、雨滴判定手段において、撮像手段により取得した画像において階調が変化する部位に挟まれた領域の幅が雨滴の径に相当する所定範囲内に入っているか否か判定され、所定範囲内に入っていると、ウィンドシールドに雨滴が付着していると判定される。

よって、水垢等の汚れなども高周波成分として抽出されるが、ウィンドシールドに雨滴が付着していることを高精度に検出することができる。そして、請求項２に記載の発明においては、このようにして検出された雨滴の量に応じてワイパー装置による払拭動作の制御が行われる。

請求項３に記載の発明では、請求項１に記載の雨滴検出装置において前記雨滴判定手段は、撮像手段により取得した画像において階調が変化する部位に挟まれた領域の幅が雨滴の径に相当する所定範囲内に入っており、しかも、画像において階調が変化する部位の階調変化量に応じた値が所定値よりも大きいと、ウィンドシールドに雨滴が付着していると判定するようにしている。また、請求項４に記載の発明では、請求項２に記載のワイパー制御装置において前記雨滴判定手段は、撮像手段により取得した画像において階調が変化する部位に挟まれた領域の幅が雨滴の径に相当する所定範囲内に入っており、しかも、画像において階調が変化する部位の階調変化量に応じた値が所定値よりも大きいと、ウィンドシールドに雨滴が付着していると判定する。

請求項３，４に記載の発明によれば、画像において階調が変化する部位に挟まれた領域の幅による判定に加えて階調変化量に応じた値に基づいてウィンドシールドに雨滴が付着していることをより確実に判定することができる。

請求項５に記載のように、請求項２に記載のワイパー制御装置において前記高周波成分判定手段により高周波成分があると判定された場合において、それまで生じていなかった、前記撮像手段により取得した画像において階調が変化する部位に挟まれた領域の幅が雨滴の径に相当する所定範囲よりも大きく、かつ、当該階調が変化する部位に挟まれた領域が２つ以上ある状態になると、ウィンドシールドに撥ねた水が付着したと判定する水撥ね判定手段と、前記水撥ね判定手段によりウィンドシールドに撥ねた水が付着したと判定されると、ワイパー装置を払拭動作させる水撥ね用ワイパー払拭制御手段と、をさらに備えると、ウィンドシールドに撥ねた水が付着した場合にもワイパー装置で払拭することができる。

請求項６に記載の発明では、請求項１に記載の雨滴検出装置において前記撮像手段により取得した画像の平均階調が所定値よりも小さいか否か判定する平均階調判定手段と、前記平均階調判定手段により画像の平均階調が所定値よりも小さいと、暗い照度環境であるとして車室内から車両前方のウィンドシールドに近赤外光を発する近赤外線投光器と、をさらに備えている。また、請求項７に記載の発明では、請求項２に記載のワイパー制御装置において前記撮像手段により取得した画像の平均階調が所定値よりも小さいか否か判定する平均階調判定手段と、前記平均階調判定手段により画像の平均階調が所定値よりも小さいと、暗い照度環境であるとして車室内から車両前方のウィンドシールドに近赤外光を発する近赤外線投光器と、をさらに備えている。

請求項６，７に記載の発明によれば、暗い照度環境であっても近赤外線投光器から車両前方のウィンドシールドに近赤外光を発することにより、撮像することができる。
請求項８に記載の発明では、請求項６に記載の雨滴検出装置において前記撮像手段における光学系に、前記近赤外線投光器の発光波長域の光を通過させるバンドパスフィルタを配置している。また、請求項９に記載の発明では、請求項７に記載のワイパー制御装置において前記撮像手段における光学系に、前記近赤外線投光器の発光波長域の光を通過させるバンドパスフィルタを配置している。

請求項８，９に記載の発明によれば、近赤外線投光器から車両前方のウィンドシールドに発した近赤外光のみがバンドパスフィルタを通して撮像手段に受光でき、外乱光（ノイズ）の影響を受けにくくなる。

請求項１０に記載のように、請求項１に記載の雨滴検出装置において前記撮像手段として、ウィンドシールドを通して車両前方の進行方向を撮像して車線または他車両の検出を行うためのものを兼用すると、構成の簡略化を図ることができる。

請求項１１に記載のように、請求項２に記載のワイパー制御装置において前記撮像手段による全撮像領域のうちの一部領域を、ワイパー装置による払拭領域であるとともにウィンドシールドに付着した雨滴を検出する領域とするようにしてもよい。

請求項１２に記載のように、請求項１０に記載の雨滴検出装置において前記撮像手段における光学系に可変焦点レンズを備え、ウィンドシールドに付着した雨滴を検出する際には、可変焦点レンズの焦点をウィンドシールド上に焦点が合うようにすると、雨滴を検出する際に焦点を合わす上で好ましい。

ここで、請求項１３に記載のように、請求項１２に記載の雨滴検出装置において、前記可変焦点レンズとして、電圧または電流制御により焦点を変える液晶レンズまたは液体レンズを用いるとよい。

以下、本発明を具体化した一実施形態を図面に従って説明する。
図１には、本実施形態における車両制御装置の全体構成を示す。
図１において、車両制御装置は雨滴検出装置１０とボディ系ＥＣＵ（電子制御ユニット）３０とエアコンＥＣＵ（電子制御ユニット）３１とメータ系ＥＣＵ（電子制御ユニット）３２を具備している。

ボディ系ＥＣＵ３０には、雨滴検出装置１０とワイパー装置３３とワイパー払拭切替スイッチ３８と車速検出装置３９と操舵角検出装置４０と車両状態検出装置４１とエンジン制御ＥＣＵ（電子制御ユニット）４２が接続されている。エアコンＥＣＵ３１にはエアコン切替スイッチ３５とエアコン装置３６が接続されている。メータ系ＥＣＵ３２にはインパネに設けた表示部３４が接続されている。エアコンＥＣＵ３１とボディ系ＥＣＵ３０とメータ系ＥＣＵ３２が接続されている。

雨滴検出装置１０に関して、雨滴検出装置１０は撮像装置１１と画像処理回路部１２と投光器１３を備えている。
図２には、雨滴検出装置（ワイパー制御装置）１０の詳しい構成を示す。

撮像装置１１は、撮像素子１４と光学フィルタ１５と光学レンズ１６と回路部１７から構成されている。撮像素子１４としてＣＣＤやＣＭＯＳが用いられる。光学フィルタ１５は可視光カットフィルタや所望の波長域の光を通過させるバンドパスフィルタなどから構成されている。光学レンズ１６は光を集光するためのものである。回路部１７は、電源や撮像素子１４内のフォトダイオードの電荷を取り出すためのＡ／Ｄ変換回路、増幅回路、タイミング回路などから構成され、撮像素子１４を作動させて画像を収集するためのものである。

画像処理回路部１２は、画像入力部１８と画像処理部１９と駆動制御部２０と入出力回路部２１から構成されている。画像処理部１９はＣＰＵ（中央演算処理装置）を中心に構成され、撮像素子１４により撮像された画像を分析処理する。画像入力部１８は回路部１７と画像処理部１９との入出力インターフェースとして機能する。駆動制御部２０は撮像素子１４や投光器１３を駆動制御する。投光器１３は近赤外光を発光して夜間や日陰などの低照度環境の場合に使用するものである。また、画像処理部（ＣＰＵ）１９は、入出力回路部２１および図１のボディ系ＥＣＵ３０を介してワイパー装置３３を駆動できるようになっている。

図３は、雨滴検出装置１０（ワイパー制御装置）の搭載説明図である。
図３において、ルームミラー５０に雨滴検出装置１０が一体化されている。詳しくは、ルームミラー５０における支持アーム部５０ａからアーム５１が分岐している。アーム５１に支持プレート５２が固定され、支持プレート５２には撮像装置１１が取り付けられている。このように、雨滴検出装置１０の設置箇所はルームミラー５０の前部であり、ウィンドシールド（フロントガラス）６０を通して車両進行方向である前方を撮像することができ、撮像装置１１の撮像素子１４は、車室内から、車両前方（進行方向）のウィンドシールド６０を撮像する。また、支持プレート５２には投光器１３が取り付けられている。投光器１３からウィンドシールド６０（前方）に近赤外光が発せられる。

図４は、撮像画像の説明図であり、車両の前方を撮像したものである。
図４において車線６２や他車両（対向車、先行車）などを検出する車両前方監視システムと兼用した場合の撮像画像として図示している。雨滴検出は撮像された全画像範囲ではなく、予め設定された雨滴検出範囲Ａ１を分析するものとしている。なお、兼用しない場合には雨滴検出範囲Ａ１だけを撮像する構成としてもよい。

次に、図５，６を用いて作用について説明する。
雨滴検出装置１０の画像処理部（ＣＰＵ）１９は、ステップ１００で画像を取り込み、ステップ１０１で背景の明るさを判定して、暗いとステップ１０２で投光器１３による投光を行わせる。詳細は図１４を用いて後述する。

画像処理部（ＣＰＵ）１９はステップ１０１，１０２を処理した後、ステップ１０３に移行して図８，９，１０に示す判定しきい値を算出する。詳細は後述する。
さらに、画像処理部（ＣＰＵ）１９は図５のステップ１０４で周波数解析を行い、ステップ１０５で高周波成分があるか否か判定する。ステップ１０３，１０４，１０５の処理について図７を用いて説明する。

図７において、（ａ）には雨滴がある場合、（ｂ）には雨滴がない場合を示す。周波数解析を行った結果、所定の高周波領域において雨滴の有無によりパワーが異なる。よって、所定の高周波領域におけるパワーの大きさにより雨滴の有無を判定することができる。

図５において、画像処理部（ＣＰＵ）１９はステップ１０５で高周波成分があると、ステップ１０６，１０７で水平方向および垂直方向の階調変化を抽出する。図８で説明するならば、水平方向の線Ｌ１についての階調の変化を調べるとともに垂直方向の線Ｌ２についての階調の変化を調べる。

そして、図５において、画像処理部（ＣＰＵ）１９はステップ１０８において階調が変化する部位に挟まれた領域の幅Ｗを求める（図１１，１２，１３参照）。詳しくは、階調が変化する部位において判定しきい値との交点間の距離を求める。この判定しきい値は図５のステップ１０３で算出され、詳しくは、図９に示すように画像中の平均階調が所定値以下ならば、水平方向については図１１に示すように平均階調値Ｈａｖに所定値を加算した値を判定しきい値とする。また、図８に示すように垂直方向については、図１３に示すように平均階調値Ｈａｖに所定値を加算した値を第１の判定しきい値とするとともに平均階調値Ｈａｖに所定値を減算した値を第２の判定しきい値とする。一方、図１０に示すように画像中の平均階調が所定値以上ならば、図１２に示すように平均階調値Ｈａｖに所定値を減算した値を判定しきい値とする。

画像処理部（ＣＰＵ）１９は幅Ｗを算出した後、図５のステップ１０９で幅Ｗが雨滴の径に相当する所定範囲内（１ｍｍ〜１０ｍｍ）に入っているか否か判定する。
ステップ１０８，１０９の処理について図８，９，１０を用いて説明を加える。

図８，９において、背景がさほど明るくない場合には、判定しきい値を用いて階調が変化する部位に挟まれた領域の幅Ｗを図１１，１３に示すように算出し、その幅Ｗが雨滴に相当する１ｍｍ〜１０ｍｍであるか否か判定する。一方、背景が明るい場合の画像例である図１０においては、図１２に示すように、判定しきい値を用いて階調が変化する部位に挟まれた領域の幅Ｗを算出し、その幅Ｗが雨滴に相当する１ｍｍ〜１０ｍｍであるか否か判定する。

このようにして、図３に示すごとくウィンドシールド６０上に雨滴６１が付着すると、図８に示すような画像が撮像され、この画像において画素の階調を分析すると、雨滴輪郭部分の極端な階調変化が確認される。この階調変化が周波数解析した際に高周波成分として抽出されるために、この高周波成分の有無を判定することで雨滴判定することが可能となる。そして、画像上で水平又は垂直又は両方を順次周波数解析すると、図７（ａ），（ｂ）に示すように雨滴有無により高周波成分に違いが生じる。このとき、図９に示すように、ウィンドシールド６０上の付着物７０、例えば水垢なども輪郭部分で極端な階調変化が確認される。そのため、高周波成分だけで判断する場合には誤検出する可能性がある。そこで、この階調変化に着目すると、雨滴はレンズのような効果を果たすために雨滴部分の全体が階調変化を示すのに対して、水垢は輪郭部分のみがサージのような階調変化を示す。このことを考慮して、階調変化しているサイズ（幅）を分析し、一般的な雨滴径相当（例えば直径φが１ｍｍ〜１０ｍｍ）のサイズ（幅）かどうかを判定することで雨滴以外の外乱を識別する。更に、図１０に示すように、逆光を受ける場合や白い壁など比較的明るい背景である場合においても、範囲全体の平均階調が高いことより、背景が明るいと判定して判定しきい値を設定して階調変化部分間のサイズ（幅）が雨滴径相当のサイズ（幅）かどうか判定する。

なお、図１４（ａ）に示すように投光器による投光がない場合には画面全体の階調が小さくなってしまうが、図５のステップ１０２の処理において投光器１３による投光が行われることによって、図１４（ｂ）に示すように画面全体の階調を大きくすることができる。詳しくは、図５のステップ１０１において画像中の平均階調を算出し、平均階調が所定値以下であったならばステップ１０２において投光が行われる。この投光器１３の投光動作は、撮像素子１４の露光と同期させてパルス発光動作させる。

図５の説明に戻り、画像処理部（ＣＰＵ）１９はステップ１０９で幅Ｗが所定範囲内であると、ステップ１１０に移行して、画像において階調が変化する部位の階調変化量に応じた値ｄ、即ち、図１１，１２，１３において判定しきい値からの突出量ｄを算出する。そして、画像処理部（ＣＰＵ）１９は図５のステップ１１１で、階調が変化する部位の階調変化量に応じた値ｄが所定値より大きいか否か判定して、大きいと雨滴であると判定する。そして、画像処理部（ＣＰＵ）１９は雨滴を検出すると、図６のステップ１１２に移行して雨滴量を求めるべく雨滴の占有率を算出する。ここで、雨滴量を、検出された雨滴の個数で判断すると運転者の視認性の感覚とズレが生じるおそれがあるので、このサイズ（幅Ｗ）が判定されたものからその雨滴面積を算出し、雨滴検出範囲の面積に対しての占有率を算出する。

雨滴占有率（雨滴量）の算出後に、画像処理部（ＣＰＵ）１９はステップ１１３で雨滴量が所定量よりも大きいか否か判定する。そして、占有率（雨滴量）が所定量よりも大きい場合には画像処理部（ＣＰＵ）１９はステップ１１４でワイパー装置３３の払拭動作を行わせ、また、占有率（雨滴量）が所定量よりも小さい場合にはステップ１１５でワイパー装置３３の払拭動作を停止する。

ステップ１１４での処理として、詳しくは、占有率（雨滴量）に応じてワイパー装置３３の払拭作動を連続、間欠に切替える。またここでの間欠動作として、占有率（雨滴量）に応じて払拭動作の周期（間隔）を調整して、長い（Ｈｉ）・中（Ｍｉｄ）・短い（Ｌｏ）に切替えるようにしてもよい。また、ワイパー装置３３の制御として、今回算出された雨滴占有率と前回算出された雨滴占有率を比較して、つまり、撮像される画像の時間的（フレーム間）変化により雨滴の量の増減を判定して、増加している場合にはワイパー装置３３の払拭動作を連続とし（連続払拭作動とし）、また、減少している場合にはワイパー装置３３の払拭動作を間欠としてもよい。また、払拭動作として間欠にする代わりに払拭動作速度を遅くしてもよい。

このような処理（ステップ１１４，１１５）を実行することにより、図１６において期間Ｔ３においては雨滴量が少ないので払拭作動を停止としているのに対し、期間Ｔ１においては雨滴量が多いので連続払拭作動となり、期間Ｔ２においては雨滴量が中程度なので払拭作動が間欠となる。

一方、画像処理部（ＣＰＵ）１９は前述の図５のステップ１０９において幅Ｗが雨滴の径に相当する所定の範囲から外れると、図６のステップ１１６で幅Ｗが雨滴の径に相当する所定範囲よりも大きく、かつ当該階調が変化する部位に挟まれた領域が２つ以上あるとステップ１１７に移行する。そして、画像処理部（ＣＰＵ）１９は今回の画像と前回の画像とを比較してそれまでに生じていなかったならば、ステップ１１８でスプラッシュであるとして、ステップ１１４に移行してワイパー払拭動作を連続とする（連続払拭作動とする）。

ステップ１１６，１１７，１１８の処理を、図１５を用いて説明する。図１５において、（ａ）は前回の画像であり、（ｂ）は今回の画像である。今回の画像において水撥ね（スプラッシュ）があり、前回の画像において水撥ね（スプラッシュ）はない。つまり、図１５（ａ）に比べ図１５（ｂ）に示すような突然の被水（スプラッシュ）が発生した場合には階調変化による高周波成分が抽出され、雨滴径相当のサイズ判定において外乱として判別され、幅Ｗが所定値以上かつ２つ以上あり、しかも前回の画像と今回の画像を比較して被水によるウィンドシールド６０上の視界悪化と判断し、連続払拭作動を行わせる。

雨滴の検出範囲について言及する。雨滴の検出範囲は撮像される全範囲（例えば、ＶＧＡ相当のＨ：６４０×Ｖ：４８０ピクセル）を検出範囲としてもよいが、図３，４に示すように、ウィンドシールド６０の傾斜により撮像素子１４により撮像されるウィンドシールド範囲において焦点が合う・合わない領域があることより比較的焦点が合う任意範囲Ａ１（例えば、Ｈ：１００×Ｖ：１００ピクセル）を選定する。範囲を狭めることは画像処理の負荷を低減する効果もある。任意範囲Ａ１は領域的に言えば、少なくとも縦、横が共に５０ｍｍ程度の範囲があればよい。また、運転者の視界方向に近い範囲（運転席が右側なら右寄りの範囲）であり、画像中心から下部（路面が撮像される範囲）に設定することが望ましい。なぜなら、運転者の視界に近い範囲とすることで実際の運転者の見るウィンドシールド６０上の雨滴６１の有無状態判定に適切であり、かつ撮像素子１４からウィンドシールド６０までの距離が大きくなり比較的焦点が合い易くなり、しかも、車線や他車両検出への影響が少なくなるためである。また、全撮像領域のうちの一部領域（Ａ１）を、ワイパー装置３３による払拭領域であるととともにウィンドシールド６０に付着した雨滴６１を検出する領域とするとよい。

撮像素子１４とウィンドシールド６０の距離について言及する。図３においてルームミラー５０の前面からウィンドシールド６０が近接し過ぎることより焦点が合わない場合には、図２のレンズ１６として可変焦点レンズを用いて、ウィンドシールド６０に焦点を合わすことと無限遠点に焦点を合わすことを、撮像周期（撮像フレーム）毎に切替える構成としてもよい。また、一般的な可変焦点レンズは遠近用の二種類のレンズを切替るものやモーターなどの駆動機構により光軸方向前後にレンズ位置を可変するものであり、体格の大型化や可動部を備えると言った欠点もあるため、代替として液晶レンズや液体レンズなどを用いて電気的に焦点を可変する構成とすることで小型化や可動部の無い構成としてもよい。

以上のごとく、撮像素子１４を備えた雨滴検出装置１０においてウィンドシールド６０上を撮像した画像を分析することでウィンドシールド６０上の雨滴６１を検出し、払拭作動を制御する。特に、ウィンドシールド６０上を撮像した画像を分析し、雨滴６１と水垢等の汚れなどを判別し、また突発の被水（スプラッシュ；水撥ね）も判別することができ、さらに、ウィンドシールド６０上の雨量を適切に検出すべく画像上の各階調変化（図１１，１２，１３において判定しきい値と階調変化ピークとの差ｄにて規定される階調変化量、階調変化部分のサイズＷ、経時変化など）を分析することにより、視界改善に適切な払拭作動を行うことができる。

また、先行文献２においては、光源（投光器）を付着物による反射光が撮像装置に入射するように配置しなければならないために、画像処理システム体格が大きくなるか光源がダッシュボード上等に配置され別体構成となり搭載性が悪いと言う不具合がある。また、車両前方を撮像する場合には、外乱（Ｎ：太陽光）が入射するために光源の照射した光（Ｓ）とのＳ／Ｎを改善させるためには光源を高出力のものにしなければならない。これに対し、本実施形態においては、背景が暗いときのみ投光するようにしており、強い光は必要なくＬＥＤの個数は少なくて済み、小型化できる。また、背景が暗いときにのみ投光器１３による投光を行わせることにより常に投光する場合に比べ太陽光によるＳ／Ｎの問題は生じない。さらに、ダッシュボード上には投光器は設置されておらず搭載性に優れている。

上記実施形態によれば、以下のような効果を得ることができる。
（１）雨滴検出装置の構成として、高周波成分判定手段および雨滴判定手段としての画像処理部（ＣＰＵ）１９は、撮像手段としての撮像素子１４により取得した画像を周波数解析して高周波成分があるか否か判定して、高周波成分があると撮像素子１４により取得した画像において階調が変化する部位に挟まれた領域の幅Ｗが雨滴の径に相当する所定範囲内に入っているか否か判定し、所定範囲内に入っていると、ウィンドシールド６０に雨滴６１が付着していると判定する。さらに、この構成に加えて、ワイパー制御装置の構成として、ワイパー制御手段としての画像処理部（ＣＰＵ）１９は、雨滴６１の量に応じてワイパー装置３３による払拭動作を制御する。よって、雨滴検出について、水垢等の汚れなども高周波成分として抽出されるが、ウィンドシールド６０に雨滴６１が付着していることを高精度に検出することができる。また、未撥水処理のウィンドシールド上の雨滴についても（円形状の雨滴とならなくても）検出することができる。そして、このようにして検出された雨滴６１の量に応じてワイパー装置３３による払拭動作の制御が行われる。

詳しくは、撮像素子１４により撮像した画像の分析として、雨滴の輪郭（エッジ）による画像階調の極端な変化に着目し周波数解析することで高周波成分として抽出し、画像階調の変化する幅（画素数）から一般的な雨滴径（例φ１〜φ１０ｍｍ）へのマッチング判定にて雨滴を検出する。

（２）さらに、雨滴判定手段としての画像処理部（ＣＰＵ）１９は、撮像素子１４により取得した画像において階調が変化する部位に挟まれた領域の幅Ｗが雨滴の径に相当する所定範囲内に入っており、しかも、画像において階調が変化する部位の階調変化量に応じた値ｄが所定値よりも大きいと、ウィンドシールド６０に雨滴６１が付着していると判定する。よって、画像において階調が変化する部位に挟まれた領域の幅Ｗによる判定に加えて階調変化量に応じた値ｄに基づいてウィンドシールド６０に雨滴６１が付着していることをより確実に判定することができる。

（３）ワイパー制御装置の構成として、水撥ね判定手段および水撥ね用ワイパー払拭制御手段としての画像処理部（ＣＰＵ）１９は、高周波成分があると判定した場合において、それまで生じていなかった、撮像素子１４により取得した画像において階調が変化する部位に挟まれた領域の幅Ｗが雨滴の径に相当する所定範囲よりも大きく、かつ、当該階調が変化する部位に挟まれた領域が２つ以上ある状態になると、ウィンドシールド６０に撥ねた水が付着したと判定し、ワイパー装置３３を払拭動作させる機能をさらに備えた。よって、ウィンドシールド６０に撥ねた水が付着した場合にもワイパー装置３３で払拭することができる。つまり、突然の被水（スプラッシュ、水はね）を検出した場合には直ちに高速払拭作動を行うことができる。

（４）平均階調判定手段としての画像処理部（ＣＰＵ）１９は撮像素子１４により取得した画像の平均階調が所定値よりも小さいか否か判定する機能を有し、また、近赤外線投光器１３は画像の平均階調が所定値よりも小さいと、暗い照度環境であるとして車室内から車両前方のウィンドシールド６０に近赤外光を発するようにした。よって、暗い照度環境であっても近赤外線投光器１３から車両前方のウィンドシールド６０に近赤外光を発することにより、撮像することができる。即ち、夜間や日陰などの暗い照度環境への対応として、近赤外線投光器１３を備えるとよい。

ここで、撮像素子１４における光学系に、近赤外線投光器１３の発光波長域の光を通過させるバンドパスフィルタ１５を配置することにより、近赤外線投光器１３から車両前方のウィンドシールド６０に発した近赤外光のみがバンドパスフィルタ１５を通して撮像素子１４に受光でき、太陽光などの外乱光（ノイズ）の影響を受けにくくなる。

（５）撮像素子１４として、ウィンドシールド６０を通して車両前方の進行方向を撮像して車線６２または他車両の検出を行うためのものを兼用した。これにより、構成の簡略化を図ることができる。つまり、雨滴検出装置を車線検出や他車両検出などの機能を備えた車両前方監視システムと兼用して撮像素子１４により撮像された画像の任意部分を雨滴の検出領域として設定し、ウィンドシールド６０上で比較的に焦点が合う領域であり、車線検出や他車両検出への影響が少ない領域を選定することとし、例えば、運転者の視線方向に近い範囲（運転席が右側なら右寄りの範囲）であり、画像中心から下部（路面が撮像される範囲）に設定する。この場合には運転者の視界に近い範囲を検出することで運転者の視界改善への効果が高く、かつ撮像素子１４からウィンドシールド６０までの距離が大きくなり、比較的焦点が合い易くなる。

ここで、撮像素子１４における光学系に可変焦点レンズ１６を備え、ウィンドシールド６０に付着した雨滴６１を検出する際には、可変焦点レンズ１６の焦点をウィンドシールド６０上に焦点が合うようにすると、雨滴を検出する際に焦点を合わす上で好ましい。つまり、車両の前方進行の無限遠点から近傍のウィンドシールド６０上に焦点が合うように可変な可変焦点レンズ１６を備え、ウィンドシールド６０に焦点を合わせると雨滴形状が適切に撮像され、自車両前方の周辺背景がボケたものとして撮像できることになり雨滴部分を強調できる。また、遠方に焦点を合わせることができるため車線や他車両の検出への影響が無くなる。このとき、可変焦点レンズ１６として、電圧または電流制御により焦点を変える液晶レンズまたは液体レンズを用いることにより、電気的（電圧、電流制御による）に焦点を可変制御可能とすることで可動部をなくし、小型化できる。

（６）ワイパー制御装置において撮像素子１４による全撮像領域のうちの一部領域（Ａ１）を、ワイパー装置３３による払拭領域であるとともにウィンドシールド６０に付着した雨滴６１を検出する領域とすることにより、車両前方監視システムと兼用する上で好ましいものとなる。

なお、前記実施形態は以下のように変更してもよい。
雨滴検出以外の検出要素として、図１７（ａ），（ｂ）に示すように、ウィンドシールド６０上の曇り（結露）９０の検出機能に応用してもよい。図１７（ａ）はウィンドシールド６０上に曇り（結露）９０がある場合を示し、図１７（ｂ）はウィンドシールド６０上に曇り（結露）９０がない場合を示す。撮像装置１１の撮像素子の露光（シャッター）時間と同期させて投光器１３を発光させ、撮像装置１１の撮像素子で受光される受光量変化により曇り（結露）９０の有無を判定する。図７（ｂ）のように曇り（結露）がない場合には投光器１３からの光はウィンドシールド６０上で反射され下方に向かうが、図７（ａ）のように曇り（結露）９０がある場合には投光器１３からの光はウィンドシールド６０上の曇り（結露）９０により乱反射してその一部が撮像装置１１の撮像素子に達し撮像素子における受光量が増加する。これにより、ウィンドシールド６０上の曇り（結露）９０を検出することができる。なお、投光器１３を撮像装置１１の近傍に配置するのではなく、ウィンドシールド６０の下方に配置し、ウィンドシールド６０上に曇り（結露）９０がない場合には投光器１３からの光をウィンドシールド６０上で反射して撮像装置１１の撮像素子で受光し、ウィンドシールド６０上に曇り（結露）９０がある場合には投光器１３からの光をウィンドシールド６０上の曇り（結露）９０で乱反射して撮像装置１１の撮像素子における受光量が減少することにより、ウィンドシールド６０上の曇り（結露）９０を検出するようにしてもよい。

このようにして、投光器１３から発光された光の撮像素子における受光量変化でウィンドシールド６０上の曇り（結露）９０を検出するようにしてもよい。

実施形態における車両制御装置の全体構成図。 雨滴検出装置（ワイパー制御装置）の構成図。 雨滴検出装置（ワイパー制御装置）の搭載状態を示す構成図。 撮像画像の説明図。 作用を説明するためのフローチャート。 作用を説明するためのフローチャート。 （ａ），（ｂ）は周波数解析を説明するための図。 画像処理を説明するための図。 画像処理を説明するための図。 画像処理を説明するための図。 幅Ｗ等の算出を説明するための図。 幅Ｗ等の算出を説明するための図。 幅Ｗ等の算出を説明するための図。 （ａ），（ｂ）は投光を説明するための図。 （ａ），（ｂ）はスプラッシュの検出を説明するための図。 雨滴量を説明するためのタイムチャート。 （ａ），（ｂ）は応用例を説明するための構成図。

符号の説明

１１…撮像装置、１３…投光器、１４…撮像素子、１５…フィルタ、１６…レンズ、１９…画像処理部、３３…ワイパー装置、６０…ウィンドシールド、６１…雨滴、６２…車線。

Claims (13)

1. 車室内から、車両前方のウィンドシールド（６０）を撮像する撮像手段（１４）と、
   前記撮像手段（１４）により取得した画像を周波数解析して高周波成分があるか否か判定する高周波成分判定手段（１９）と、
   前記高周波成分判定手段（１９）により高周波成分があると、前記撮像手段（１４）により取得した画像において階調が変化する部位に挟まれた領域の幅（Ｗ）が雨滴の径に相当する所定範囲内に入っているか否か判定し、所定範囲内に入っていると、ウィンドシールド（６０）に雨滴（６１）が付着していると判定する雨滴判定手段（１９）と、
   を備えたことを特徴とする雨滴検出装置。
2. 車室内から、車両前方のウィンドシールド（６０）を撮像する撮像手段（１４）と、
   前記撮像手段（１４）により取得した画像を周波数解析して高周波成分があるか否か判定する高周波成分判定手段（１９）と、
   前記高周波成分判定手段（１９）により高周波成分があると、前記撮像手段（１４）により取得した画像において階調が変化する部位に挟まれた領域の幅（Ｗ）が雨滴の径に相当する所定範囲内に入っているか否か判定し、所定範囲内に入っていると、ウィンドシールド（６０）に雨滴（６１）が付着していると判定する雨滴判定手段（１９）と、
   前記雨滴判定手段（１９）による雨滴（６１）の量に応じてワイパー装置（３３）による払拭動作を制御するワイパー制御手段（１９）と、
   を備えたことを特徴とするワイパー制御装置。
3. 前記雨滴判定手段（１９）は、撮像手段（１４）により取得した画像において階調が変化する部位に挟まれた領域の幅（Ｗ）が雨滴の径に相当する所定範囲内に入っており、しかも、画像において階調が変化する部位の階調変化量に応じた値（ｄ）が所定値よりも大きいと、ウィンドシールド（６０）に雨滴（６１）が付着していると判定することを特徴とする請求項１に記載の雨滴検出装置。
4. 前記雨滴判定手段（１９）は、撮像手段（１４）により取得した画像において階調が変化する部位に挟まれた領域の幅（Ｗ）が雨滴の径に相当する所定範囲内に入っており、しかも、画像において階調が変化する部位の階調変化量に応じた値（ｄ）が所定値よりも大きいと、ウィンドシールド（６０）に雨滴（６１）が付着していると判定することを特徴とする請求項２に記載のワイパー制御装置。
5. 前記高周波成分判定手段（１９）により高周波成分があると判定された場合において、それまで生じていなかった、前記撮像手段（１４）により取得した画像において階調が変化する部位に挟まれた領域の幅（Ｗ）が雨滴の径に相当する所定範囲よりも大きく、かつ、当該階調が変化する部位に挟まれた領域が２つ以上ある状態になると、ウィンドシールド（６０）に撥ねた水が付着したと判定する水撥ね判定手段（１９）と、
   前記水撥ね判定手段（１９）によりウィンドシールド（６０）に撥ねた水が付着したと判定されると、ワイパー装置（３３）を払拭動作させる水撥ね用ワイパー払拭制御手段（１９）と、
   をさらに備えたことを特徴とする請求項２に記載のワイパー制御装置。
6. 前記撮像手段（１４）により取得した画像の平均階調が所定値よりも小さいか否か判定する平均階調判定手段（１９）と、
   前記平均階調判定手段（１９）により画像の平均階調が所定値よりも小さいと、暗い照度環境であるとして車室内から車両前方のウィンドシールド（６０）に近赤外光を発する近赤外線投光器（１３）と、
   をさらに備えたことを特徴とする請求項１に記載の雨滴検出装置。
7. 前記撮像手段（１４）により取得した画像の平均階調が所定値よりも小さいか否か判定する平均階調判定手段（１９）と、
   前記平均階調判定手段（１９）により画像の平均階調が所定値よりも小さいと、暗い照度環境であるとして車室内から車両前方のウィンドシールド（６０）に近赤外光を発する近赤外線投光器（１３）と、
   をさらに備えたことを特徴とする請求項２に記載のワイパー制御装置。
8. 前記撮像手段（１４）における光学系に、前記近赤外線投光器（１３）の発光波長域の光を通過させるバンドパスフィルタ（１５）を配置したことを特徴とする請求項６に記載の雨滴検出装置。
9. 前記撮像手段（１４）における光学系に、前記近赤外線投光器（１３）の発光波長域の光を通過させるバンドパスフィルタ（１５）を配置したことを特徴とする請求項７に記載のワイパー制御装置。
10. 前記撮像手段（１４）として、ウィンドシールド（６０）を通して車両前方の進行方向を撮像して車線（６２）または他車両の検出を行うためのものを兼用したことを特徴とする請求項１に記載の雨滴検出装置。
11. 前記撮像手段（１４）による全撮像領域のうちの一部領域（Ａ１）を、ワイパー装置（３３）による払拭領域であるとともにウィンドシールド（６０）に付着した雨滴（６１）を検出する領域としたことを特徴とする請求項２に記載のワイパー制御装置。
12. 前記撮像手段（１４）における光学系に可変焦点レンズ（１６）を備え、ウィンドシールド（６０）に付着した雨滴（６１）を検出する際には、可変焦点レンズ（１６）の焦点をウィンドシールド（６０）上に焦点が合うようにしたことを特徴とする請求項１０に記載の雨滴検出装置。
13. 前記可変焦点レンズ（１６）として、電圧または電流制御により焦点を変える液晶レンズまたは液体レンズを用いたことを特徴とする請求項１２に記載の雨滴検出装置。

Images