JP7120109B2 - 車両における路面状態判定装置、運転支援システムおよび路面状態判定方法 - Google Patents

Description

本開示は車両における路面状態の判定技術に関する。

撮像装置およびレーダといった物標検出器を用いて、車両周囲の環境を検出する技術が提案されている（例えば、特許文献１）。

特開２０１７－１８２１３９号公報

しかしながら、車両が進行する道路の路面状態を判定することについては検討されておらず、また、一般的な撮像装置およびレーダといった人や車両の判別や距離測定のための検出器によっては道路の路面状態を精度良く判定するができないという問題がある。

したがって、道路の路面状態を精度良く判定することが求められている。

本開示は、以下の態様として実現することが可能である。

第１の態様は、車両における路面状態判定装置を提供する。第１の態様に係る路面状態判定装置は、路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第１の検出信号として取得する取得部と、前記第１の検出信号を用いて、路面状態を判定する制御部と、を備え、前記制御部は、前記第１の検出信号を用いて、自車両が進行するに連れて路面上の凹凸に対応する前記変化画素の位置が自車両から離間する場合には、前記種類は凸状路面であると判定し、自車両が進行するに連れて路面上の凹凸に対応する前記変化画素の位置が自車両に近接する場合には、前記種類は凹状路面であると判定する。
第１の態様の他の態様に係る路面状態判定装置は、路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第１の検出信号として取得する取得部と、前記第１の検出信号を用いて、路面状態の種類を判定する制御部と、を備え、前記制御部は、前記第１の検出信号を用いて路面の水平方向における前記変化画素の変位特性に対して周波数解析を実行し、第１の周波数以下の振幅が第１の振幅より大きい場合に前記種類は流れのある湿潤路であると判定する。
第１の態様の他の態様に係る路面状態判定装置は、路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第１の検出信号として取得する取得部と、前記第１の検出信号を用いて、路面状態の種類を判定する制御部と、を備え、前記制御部は、前記第１の検出信号を用いて路面の垂直方向における前記変化画素の変位特性に対して周波数解析を実行し、第２の周波数以下の振幅が第３の振幅より大きい場合に前記種類は冠水している湿潤路であると判定する。

第１の態様に係る車両における路面状態判定装置によれば、道路の路面状態を精度良く判定することができる。

第２の態様は、コンピュータによって実行される路面状態判定方法を提供する。第２の態様に係る路面状態判定方法は、路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第１の検出信号として取得し、前記第１の検出信号を用いて、自車両が進行するに連れて路面上の凹凸に対応する前記変化画素の位置が自車両から離間する場合には、前記路面状態の種類は凸状路面であると判定し、自車両が進行するに連れて路面上の凹凸に対応する前記変化画素の位置が自車両に近接する場合には、前記種類は凹状路面であると判定すること、を備える。
第２の態様の他の態様に係る路面状態判定方法は、路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第１の検出信号として取得し、前記第１の検出信号を用いて、路面の水平方向における前記変化画素の変位特性に対して周波数解析を実行し、第１の周波数以下の振幅が第１の振幅より大きい場合に前記路面状態の種類は流れのある湿潤路であると判定すること、を備える。
第２の態様の他の態様に係る路面状態判定方法は、路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第１の検出信号として取得し、前記第１の検出信号を用いて、路面の垂直方向における前記変化画素の変位特性に対して周波数解析を実行し、第２の周波数以下の振幅が第３の振幅より大きい場合に前記路面状態の種類は冠水している湿潤路であると判定すること、を備える。

第２の態様に係る路面状態判定方法によれば、道路の路面状態を精度良く判定することができる。なお、本開示は、路面状態判定プログラムまたは当該プログラムを記録するコンピュータ読み取り可能記録媒体としても実現可能である。

第１の実施形態に係る路面状態判定装置および運転支援システムが搭載された車両の一例を示す説明図。 第１の実施形態に係る路面状態判定装置の機能的構成を示すブロック図。 第１の実施形態に係る路面状態判定装置によって実行される路面状態判定処理の処理フローを示すフローチャート。 第１の実施形態に係る路面状態判定装置によって実行される路面状態判定処理の処理フローを示すフローチャート。 第１の実施形態に係る運転支援システムによって実行される運転支援処理の処理フローを示すフローチャート。 道路を上方から見た、水平方向における、道路境界と水流の一例を模試的に示す説明図。 道路を車両から見た、垂直方向における、道路境界と水面の一例を模試的に示す説明図。 車両の進行に伴う路面における凹凸の見え方を模式的に示す説明図。

本開示に係る車両における路面状態判定装置、運転支援システムおよび路面状態判定方法について、いくつかの実施形態に基づいて以下説明する。

第１の実施形態：
図１に示すように、第１の実施形態に係る車両における路面状態判定装置１００は、車両５００に搭載されて用いられる。路面状態判定装置１００は、少なくとも制御部および取得部を備えていれば良く、運転支援システム１０は、路面状態判定装置１００に加え、検出器としてのレーダＥＣＵ２１、ミリ波レーダ２１１、カメラＥＣＵ２２、カメラ２２１、イベントカメラＥＣＵ２６、イベントカメラ２６１および運転支援実行装置３１を備えている。なお、検出器としては、イベントカメラＥＣＵ２６およびイベントカメラ２６１に加えて、少なくともカメラＥＣＵ２２およびカメラ２２１が備えられていれば良い。第１の実施形態における車両５００は、さらに、回転角センサ２３、車輪速度センサ２４およびヨーレートセンサ２５を備えている。車両５００はさらに、車輪５０１、制動装置５０２、制動ライン５０３、ステアリングホイール５０４、フロントガラス５１０、フロントバンパ５２０およびリアバンパ５２１を備えている。車両５００は、内燃機関および電動機の少なくとも一方を車両走行用の駆動力源５０５として備えている。

レーダＥＣＵ２１は、電波を射出して物標からの反射波を検出するミリ波レーダ２１１と接続されており、ミリ波レーダ２１１により取得された反射波を用いて検出点、すなわち、反射点によって物標を表す第２の検出信号を生成し、出力する。カメラＥＣＵ２２は、単眼のカメラ２２１と接続されており、カメラ２２１によって取得された撮像画像から物標形状を特定し、予め用意されている対象物の形状パターンを用いたパターンマッチング処理によって判定した対象物の種別を示す第２の検出信号を生成し、出力する。物標形状の特定は、例えば、機械学習を用いたセマンティック・セグメンテーションなどによって実行される。撮像画像の各フレームに含まれる画素には、例えば、画素値情報（Ｒ、Ｇ，Ｂ）、位置情報としての座標情報が関連付けられている。レーダＥＣＵ２１およびミリ波レーダ２１１、並びにカメラＥＣＵ２２およびカメラ２２１は、自車両の周囲における対象物の情報を取得し、第２の検出信号として出力する第２の検出器に該当する。

イベントカメラＥＣＵ２６は、物体の変位に伴う物体の輝度値の変化を数μｓ単位で取得可能なイベントカメラ２６１と接続されており、物体の変位に応じた輝度値の変化が予め定められたしきい値以上の変化画素の情報を生成し、第１の検出信号として出力する。イベントカメラＥＣＵ２６およびイベントカメラ２６１は、路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて値が変化した変化画素の情報を取得し、第１の検出信号として出力する第１の検出器に相当する。路面状態の絶対的変位は、例えば、雨天時における路面上の雨水の流れや、水深であり、車両に対する路面状態の相対的変位は、例えば、進行する車両位置に対する凍結路における路面表面の凹凸形状の見え方の変位である。

各ＥＣＵ２１、２２、２６は、演算部、記憶部および入出力部を備えるマイクロプロセッサである。なお、レーダＥＣＵ２１およびミリ波レーダ２１１は検出波を射出して反射波および反射点を検出して、一般的に自車両と物標との間の距離を測距するための検出器に相当し、車両５００に対する物標の距離、相対速度および角度を検出する。この検出器としては、ミリ波レーダ２１１の他に、ライダー（ＬＩＤＡＲ：レーザレーダ）や、音波を射出しその反射波を検出する超音波検出器が用いられても良い。カメラＥＣＵ２２およびカメラ２２１は、物標の形状を３次元的に認識可能な検出器であり撮像装置が該当する、撮像装置としては、カメラ２２１の他に、３Ｄライダーが用いられても良い。カメラ２２１は、２以上のカメラによって構成されるステレオカメラやマルチカメラであっても良い。イベントカメラ２６１としては、フレーム群からなる検出信号を出力しないイメージセンサの他に、路面の水の流れや水面のうねりといった絶対的な高速変位、あるいは、車両の走行に伴う路面の相対的な高速変位を検出可能な高フレームレート、例えば、１０００ｆｐｓ以上のフレーム群からなる検出信号を出力可能な撮像装置が用いられても良い。

車両５００には、車両５００の制動を実現するための制動装置５０２、車両５００の操舵を実現するためのステアリングホイール５０４が備えられている。制動装置５０２は、各車輪５０１に備えられている。各制動装置５０２は、例えば、ディスクブレーキ、ドラムブレーキであり、運転者の制動ペダル操作に応じて制動ライン５０３を介して供給されるブレーキ液圧に応じた制動力で各車輪５０１を制動し、車両５００の制動を実現する。制動ライン５０３には制動ペダル操作に応じたブレーキ液圧を発生させるブレーキピストンおよびブレーキ液ラインが含まれる。なお、制動ライン５０３としては、ブレーキ液ラインに代えて、制御信号線とし、各制動装置５０２に備えられているアクチュエータを作動させる構成が採用されても良い。ステアリングホイール５０４は、ステアリングロッド、操舵機構および転舵軸４４を含む操舵装置４２を介して前側の車輪５０１と接続されている。

図２に示すように、路面状態判定装置１００は、制御部としての中央処理装置（ＣＰＵ）１０１およびメモリ１０２、取得部としての入出力インタフェース１０３、並びにバス１０４を備えている。ＣＰＵ１０１、メモリ１０２および入出力インタフェース１０３はバス１０４を介して双方向通信可能に接続されている。メモリ１０２は、自車両の運転支援を実行するための運転支援プログラムＰｒ１、イベントカメラ２６１の検出結果を用いて路面状態を判定するための路面状態判定プログラムＰｒ２、を不揮発的且つ読み出し専用に格納するメモリ、例えばＲＯＭと、ＣＰＵ１０１による読み書きが可能であって路面状態フラグ格納領域１０２ａを有するメモリ、例えばＲＡＭとを含んでいる。ＣＰＵ１０１はメモリ１０２に格納されている運転支援プログラムＰｒ１および路面状態判定プログラムＰｒ２を読み書き可能なメモリに展開して実行することによって制御部としての機能を実現する。なお、ＣＰＵ１０１は、単体のＣＰＵであっても良く、各プログラムを実行する複数のＣＰＵであっても良く、あるいは、複数のプログラムを同時実行可能なマルチコアタイプのＣＰＵであっても良い。

入出力インタフェース１０３には、レーダＥＣＵ２１、カメラＥＣＵ２２、イベントカメラＥＣＵ２６、回転角センサ２３、車輪速度センサ２４およびヨーレートセンサ２５、並びに運転支援実行装置３１がそれぞれ制御信号線を介して接続されている。レーダＥＣＵ２１、カメラＥＣＵ２２、イベントカメラＥＣＵ２６、回転角センサ２３、車輪速度センサ２４、ヨーレートセンサ２５からは、検出信号が入力され、運転支援実行装置３１には、要求トルクに応じた駆動力を指示する制御信号、制動レベルを指示する制御信号、操舵角を指示する制御信号が出力される。したがって、入出力インタフェース１０３は、第１の検出信号および第２の検出信号を含む、各種センサによって検出された検出信号を取得するための取得部として機能する。

ミリ波レーダ２１１はミリ波を射出し、物標によって反射された反射波を受信するセンサである。本実施形態において、ミリ波レーダ２１１は、フロントバンパ５２０およびリアバンパ５２１に配置されている。ミリ波レーダ２１１から出力される未処理の検出信号は、レーダＥＣＵ２１において処理され、物標の１または複数の代表位置を示す検出点または検出点列からなる検出信号として路面状態判定装置１００に入力される。あるいは、レーダＥＣＵ２１を備えることなく未処理の受信波を示す信号が検出信号としてミリ波レーダ２１１から路面状態判定装置１００に入力されても良い。未処理の受信波が検出信号として用いられる場合には、路面状態判定装置１００において物標の位置および距離を特定するための信号処理が実行される。

カメラ２２１は、ＣＣＤ等の撮像素子または撮像素子アレイを１つ備える撮像装置であり、可視光を受光することによって対象物の外形情報または形状情報を検出結果である画像データとして出力するセンサである。カメラ２２１によって撮像された画像データに対しては、カメラＥＣＵ２２によって上述の処理が施され、対象物の種別を示す第２の検出信号が生成される。カメラ２２１によって撮像された未処理の画像データが第２の検出信号として路面状態判定装置１００に入力されても良い。この場合には、路面状態判定装置１００において物標のセグメンテーション処理および種別の判別処理が実行される。本実施形態において、カメラ２２１はフロントガラス５１０の上部中央に配置されている。カメラ２２１から出力される画素データは、モノクロの画素データであっても良い。この場合には、セグメンテーションに際して輝度値が用いられる。

イベントカメラ２６１は、単一の撮像素子によって構成される複数の画素を有し、物体の変位に伴い生じる物体の輝度値の変化というイベントを数μｓ単位で検出可能なイベント検出型のイメージセンサである。イベントカメラ２６１は、物体における輝度値が変化した位置に対応する変化画素の情報、例えば、受光強度、画素座標を検出結果として出力し、複数の画素全てを走査して得られるフレーム単位の検出結果を出力しない。したがって、イベントカメラ２６１の検出結果を用いることにより、路面の絶対的変位や車両の走行に対する路面の相対的変位を抽出することが可能となり、路面状態を判定することが可能となる。本実施形態においては、イベントカメラＥＣＵ２６によって、検出した輝度値の変化が予め定められたしきい値以上の変化画素に関する位置座標および輝度値を含む情報、すなわち、路面状態の絶対的変位および相対的変位を示す情報が生成され、第１の検出信号として出力される。イベントカメラ２６１は、物体の変位に応じて値が変化した変化画素の情報を出力できれば良く、フレーム群からなる検出信号を出力しないイメージセンサの他に、既述の高フレームレートでフレーム群からなる検出信号を出力可能な撮像装置が用いられても良い。

回転角センサ２３は、ステアリングホイール５０４の操舵によりステアリンロッドに生じるねじれ量、すなわち、操舵トルク、を、ねじれ量に比例する電圧値として検出するトルクセンサであり、ステアリングホイール５０４の操舵角を検出する。本実施形態において、回転角センサ２３は、ステアリングホイール５０４と操舵機構とを接続するステアリングロッドに備えられている。

車輪速度センサ２４は、車輪５０１の回転速度を検出するセンサであり、各車輪５０１に備えられている。車輪速度センサ２４から出力される検出信号は、車輪速度に比例する電圧値または車輪速度に応じた間隔を示すパルス波である。車輪速度センサ２４からの検出信号を用いることによって、車両速度、車両の走行距離等の情報を得ることができる。

ヨーレートセンサ２５は、車両５００の回転角速度を検出するセンサである。ヨーレートセンサ２５は、例えば、車両の中央部に配置されている。ヨーレートセンサ２５から出力される検出信号は、回転方向と角速度に比例する電圧値である。

運転支援実行装置３１は、運転者によるアクセルペダル操作に応じて、または、運転者によるアクセルペダル操作とは無関係に駆動力源５０５の出力の増減を制御し、運転者による制動ペダル操作とは無関係に制動装置５０２による制動を実現し、あるいは、運転者によるステアリングホイール５０４の操作とは無関係に操舵装置４２による操舵を実現する。

第１の実施形態に係る路面状態判定装置１００により実行される路面状態判定処理について説明する。図３および図４に示す処理ルーチンは、例えば、車両の制御システムの始動時から停止時まで、または、スタートスイッチがオンされてからスタートスイッチがオフされるまで、所定の時間間隔、例えば数μｓにて繰り返して実行される。ＣＰＵ１０１が路面状態判定プログラムＰｒ２を実行することによって図３および図４に示す路面状態判定処理が実行される。

ＣＰＵ１０１は、入出力インタフェース１０３を介して、第１の検出信号であるイベントカメラ検出信号を取得する（ステップＳ１００）。具体的には、ＣＰＵ１０１は、イベントカメラＥＣＵ２６から出力される第１の検出信号を経時的に受信しており、イベントカメラ２６１によって検出された輝度値が変化した一または複数の変化画素の情報を取得する。路面上の水の流れ、水面の揺れやゆらぎといった物体自身の挙動に起因する絶対的変位、あるいは、進行する車両に対する凍結面の凹凸といった車両に起因する路面形状の相対的変位を示す複数の変化画素群の情報が第１の検出信号に含まれている。

ＣＰＵ１０１は、周囲情報、すなわち、第２の検出信号を取得する（ステップＳ１０２）。周囲情報は、例えば、カメラ２２１によって撮像された路面状態を表す撮像結果である撮像画像から抽出された路面の状態を示す情報である。ＣＰＵ１０１は、取得した周囲情報を用いて自車両の予定軌道の路面が濡れていない乾燥路であるか否かを判定する（ステップＳ１０４）。ＣＰＵ１０１は、撮像画像に含まれる路面相当領域の白み度合い、予め定められた乾燥路判定値よりも高い場合に乾燥路であると判定する。すなわち、濡れた路面である湿潤路は乾燥路に対して黒みが強くなるので、白み度合いによって路面の乾燥または湿潤を判定することができる。なお、周囲情報は、グレースケールである撮像画像またはグレースケール化されたカラーの撮像画像であっても良く、白み度合いは、明度または輝度の度合いということができる。ＣＰＵ１０１は、路面状態の種類が乾燥路であることを示していると判定すると（ステップＳ１０４：Ｙｅｓ）、図４のＡに進み、本処理ルーチンを終了する。なお、自車両の予定軌道の路面が濡れていない乾燥路であるか否かの判定は実行されなくても良く、また、第２の検出信号に代えて、ワイパーの作動信号がオンの場合には降雨または降雪状態にあり乾燥路でないこと、外気温が予め定められた温度、例えば４℃以下である場合には凍結路の可能性があり乾燥路でないと判定されても良い。

ＣＰＵ１０１は、路面状態が乾燥路であることを示していないと判定すると（ステップＳ１０４：Ｎｏ）、イベントカメラ２６１によって得られた第１の検出信号を用いてさらに路面状態を判定する対象となる路面を特定する（ステップＳ１０６）。路面状態が乾燥路でないとの判定には、路面の一部に湿潤域が存在する場合や湿潤域が点在する場合も含まれる。路面の特定は、例えば、図６および図７に示すように、第２の検出信号を用いて道路境界線ＲＢを判別し、道路境界線ＲＢによって囲まれる領域、すなわち、道路境界線ＲＢによって挟まれる領域を特定路面ＲＳに決定することによって実行される。あるいは、撮像画像を用いて判別された路面の一部の領域である湿潤域が特定路面ＲＳとして特定されても良く、イベントカメラ２６１によって取得された第１の検出信号において変化画素が存在するあるいは変化画素を含む領域が特定路面ＲＳとして特定されても良い。すなわち、特定路面ＲＳは、路面全体に限られず、路面の一部分、例えば、湿潤域や湿潤路において水深や流れた他の領域と異なる一部の領域であっても良く、これらが点在する複数の領域であっても良い。加えて、前方車両や対向車両といった他車両におけるタイヤ付近が特定路面ＲＳとして特定されても良い。

ＣＰＵ１０１は、第１の検出信号に含まれる特定路面ＲＳの変化画素情報、すなわち、イベントカメラ２６１によって取得された特定路面ＲＳの絶対的変位および相対的変位の少なくともいずれか一方を示す変化画素群の情報を取得する（ステップＳ１０８）。変化画素の情報の取得に際しては、前方車両や対向車両といった他車両におけるタイヤ付近を中心に情報取得が実行されても良い。湿潤路における路面状態の絶対的変位はタイヤ付近において顕著となるからである。なお、タイヤ付近領域の特定は、第１の検出信号を用いて実行されても良く、あるいは、カメラ２２１により得られる撮像画像を用いて実行されても良い。ＣＰＵ１０１は、取得した変化画素群の変位のうち、水平方向ＨＤの変位成分を抽出して、水平方向ＨＤの変位特性に対して周波数解析を行う（ステップＳ１１０）。ここで、水平方向ＨＤとは、図６に示す自車両Ｍ０の幅方向、あるいは、路面に平行な方向を意味する。降雨により特定路面ＲＳ上には水平方向に流れる水流ＨＦが発生する。特に、路肩または排水口が低くなるように傾斜が付されている道路ではより水流ＨＦは発生しやすく、また、前方車両のタイヤによって波高の高い水流が生成され得る。水平方向の変位成分には、水流ＨＦに対応する輝度変化である水平方向の変位成分、すなわち、様々な速度成分が含まれており、抽出された水平方向の変位成分に対して高速フーリエ変換（ＦＦＴ）を実行するによって周波数解析が実行される。なお、周波数解析は帯域フィルタを用いて実行されても良い。

ＣＰＵ１０１は、周波数解析の結果において第１の周波数ＸＨｚ以下の振幅Ａ０が第１の振幅Ａ１より大きいか否か、すなわち、Ａ０＞Ａ１であるか否かを判定する（ステップＳ１１２）。振幅Ａ０は、例えば、第１の周波数ＸＨｚ以下における振幅の平均値、最大値、中央値である。周波数Ｘは、例えば、流量の大きい、すなわち、流れの速い水流ＨＦの周波数に対応する１Ｈｚであり、振幅Ａ１は、例えば、流量の大きな水流ＨＦの水面高さの変化に対応する１０ｃｍである。なお、周波数Ｘおよび振幅Ａ１は例示に過ぎず、対象とする水流ＨＦの特性に応じて適切な値が採用され得る。ＣＰＵ１０１は、Ａ０＞Ａ１であると判定すると（ステップＳ１１２：Ｙｅｓ）、路面状態の種類は流量の大きな湿潤路であると判定し、路面状態フラグ格納領域１０２ａにおける路面流水量大フラグＷＦをオンして、すなわち、路面流水量大フラグＷＦ＝１として（ステップＳ１１４）、図４のＢに進む。ＣＰＵ１０１は、Ａ０＞Ａ１でないと判定すると（ステップＳ１１２：Ｎｏ）、第１の周波数ＸＨｚ以下の振幅Ａ０が第２の振幅Ａ２より小さいか否か、すなわち、Ａ０＜Ａ２であるか否かを判定する（ステップＳ１１６）。振幅Ａ２は、例えば、流量の小さい水流ＨＦの水面高さの変化に対応する１ｃｍである。なお、第１の周波数ＸＨｚに代えて、流量の小さい水流ＨＦに対応するより低い周波数が用いられても良い。ＣＰＵ１０１は、Ａ０＜Ａ２でないと判定すると（ステップＳ１１６：Ｎｏ）、路面は水量の少ない湿潤路であると判定し、図４のＢに進む。ＣＰＵ１０１は、Ａ０＜Ａ２であると判定すると（ステップＳ１１６：Ｙｅｓ）、図４のＣに進み、路面状態の種類は凍結路であると判定して、路面状態フラグ格納領域１０２ａにおける凍結路フラグＩＣをオンして、すなわち、凍結路フラグＩＣ＝１として（ステップＳ１３０）、本処理ルーチンを終了する。

図４におけるＢに続いて、ＣＰＵ１０１は、取得した、第１の検出信号に含まれる特定路面ＲＳの変化画素情報に含まれる変化画素群の変位のうち垂直方向ＶＤの変位成分を抽出して、垂直方向ＶＤの変位特性に対して周波数解析を行う（ステップＳ１１８）。ここで、垂直方向ＶＤとは、図７に示す自車両Ｍ０の高さ方向、あるいは、路面に垂直な方向ＶＤを意味する。降雨により特定路面ＲＳ上には垂直方向ＶＤに特定路面ＲＳを覆う流水層または冠水層が発生する。垂直方向の変位成分には、水流層の深さに対応する輝度変化である様々な水面ＷＳの高さの変位成分、すなわち、速度成分が含まれており、抽出された垂直方向の変位成分に対して高速フーリエ変換（ＦＦＴ）を実行するによって周波数解析が実行される。

ＣＰＵ１０１は、周波数解析の結果において第２の周波数Ｙ～ＺＨｚ以下の振幅Ｂ０が第３の振幅Ｂ１より大きいか否か、すなわち、Ｂ０＞Ｂ１であるか否かを判定する（ステップＳ１２０）。振幅Ｂ０は、例えば、第２の周波数Ｙ～ＺＨｚ以下における振幅の平均値、最大値、中央値である。周波数Ｙ～Ｚは、例えば、流れの遅い冠水層または流れの速い流水層の水面ＷＳの周波数に対応する０．１～３Ｈｚであり、振幅Ｂ１は、例えば、冠水路の水面ＷＳの高さの変化に対応する１ｃｍである。一般的に、水深が深い冠水層の水面は穏やかであり波高も低い。なお、第２の周波数Ｙ～ＺＨｚに代えて、ＹＨｚまたはＺＨｚのみが用いられても良く、周波数Ｙ～Ｚおよび振幅Ｂ１は例示に過ぎず、対象とする冠水路における冠水層または水流層の特性に応じて適切な値が採用され得る。ＣＰＵ１０１は、Ｂ０＞Ｂ１であると判定すると（ステップＳ１２０：Ｙｅｓ）、路面状態の種類は、特定路面ＲＳを覆う冠水層または流水層の水深は深く車両の走行に影響を与える冠水状態の湿潤路であると判定し、路面状態フラグ格納領域１０２ａにおける路面水深大フラグＷＤをオンして、すなわち、路面水深大フラグＷＤ＝１とする（ステップＳ１２２）。ＣＰＵ１０１は、Ｂ０＞Ｂ１でないと判定すると（ステップＳ１２０：Ｎｏ）、第２の周波数Ｙ～ＺＨｚ以下の振幅Ｂ０が第４の振幅Ｂ２より小さいか否か、すなわち、Ｂ０＜Ｂ２であるか否かを判定する（ステップＳ１２４）。振幅Ｂ２は、例えば、浅い流水層の水面ＷＳの高さの変化に対応する０．５ｃｍである。なお、第２の周波数Ｙ～ＺＨｚに代えて、浅い流水層に対応するより低い周波数が用いられても良い。ＣＰＵ１０１は、Ｂ０＜Ｂ２でないと判定すると（ステップＳ１２４：Ｎｏ）、路面状態の種類は浅い水流層を有する湿潤路であると判定し、ステップＳ１２８に進む。ＣＰＵ１０１は、Ｂ０＜Ｂ２であると判定すると（ステップＳ１２４：Ｙｅｓ）、路面状態の種類は凍結路であると判定して、路面状態フラグ格納領域１０２ａにおける凍結路フラグＩＣをオンして、すなわち、凍結路フラグＩＣ＝１として（ステップＳ１３０）、本処理ルーチンを終了する。

ＣＰＵ１０１は、路面流水量大フラグＷＦ＝１かつ路面水深大フラグＷＤ＝１であるか否かを判定し（ステップＳ１２６）、路面流水量大フラグＷＦ＝１かつ路面水深大フラグＷＤ＝１であると判定すると（ステップＳ１２６：Ｙｅｓ）、路面状態の種類は、ハイドロプレーニングを引き起こし得る状態にある湿潤路であると判定し、路面状態フラグ格納領域１０２ａにおけるハイドロフラグＨＰをオンして、すなわち、ハイドロフラグＨＰ＝１として（ステップＳ１２８）、本処理ルーチンを終了する。ＣＰＵ１０１は、路面流水量大フラグＷＦ＝１かつ路面水深大フラグＷＤ＝１でないと判定すると（ステップＳ１２６：Ｎｏ）、本処理ルーチンを終了する。

運転支援システム１０によって実行される運転支援処理の実行について図５を用いて説明する。図５に示す処理ルーチンは、例えば、車両の制御システムの始動時から停止時まで、または、スタートスイッチがオンされてからスタートスイッチがオフされるまで、所定の時間間隔、例えば数ｍｓにて繰り返して実行される。ＣＰＵ１０１が運転支援プログラムＰｒ１を実行することによって図５に示す運転支援処理が実行される。ＣＰＵ１０１は、路面状態フラグ格納領域１０２ａから路面状態フラグを取得する（ステップＳ２００）。ＣＰＵ１０１は、凍結路フラグＩＣ＝１であるか否かを判定し（ステップＳ２０２）、凍結路フラグＩＣ＝１である場合には（ステップＳ２０２：Ｙｅｓ）、凍結路運転支援を実行し（ステップＳ２０４）、本処理ルーチンを終了する。なお、凍結路運転支援を実行するとは、運転支援モードが凍結路運転支援に設定されること、並びに、運転支援モードが凍結路運転支援に設定され、かつ、運転支援実行装置３１を介して運転支援を実行することの双方を意味する。凍結路運転支援としては、例えば、緊急制動における制動開始タイミングを早く、すなわち、衝突余裕時間（ＴＴＣ）を大きくしたり、制動ラインに対して予め与圧を与えたり、制動力の立ち上がりを緩慢にしたり、制御定速走行・車間距離制御、すなわち、アダプティブクルーズコントロール（ＡＣＣ）における車速の低減、車間距離を拡大したりするといった運転支援が実行され得る。

ＣＰＵ１０１は、凍結路フラグＩＣ＝１でない場合には（ステップＳ２０２：Ｎｏ）、ハイドロフラグＨＰ＝１であるか否かを判定し（ステップＳ２０６）、ハイドロフラグＨＰ＝１である場合には（ステップＳ２０６：Ｙｅｓ）、ハイドロ運転支援を実行し（ステップＳ２０８）、本処理ルーチンを終了する。ハイドロ運転支援としては、例えば、制動ラインに対して予め与圧を与え緩減速させたり、制動力の立ち上がりを緩慢にしたり、操舵支援によって、より水深の低い走行レーンへ車線変更させたり、加速を制限したりするといった運転支援が実行され得る。

ＣＰＵ１０１は、ハイドロフラグＨＰ＝１でない場合には（ステップＳ２０６：Ｎｏ）、基準運転支援を実行し（ステップＳ２１０）、本処理ルーチンを終了する。基準運転支援は、乾燥路において、路上の障害物との衝突を回避または衝突による損害を低減する運転支援処理であり、ＴＴＣを用いた制動支援や操舵支援、あるいは、加速制限といった運転支援処理が含まれる。

以上説明した第１の実施形態に係る路面状態判定装置１００によれば、路面状態の絶対的変位に応じて輝度値が変化する変化画素の情報を用いて、路面状態の種類を判定することができるので、道路の路面状態を精度良く判定することができる。すなわち、路面を流れる水流や路面上の水深を輝度値の変化として高分解能で検出できる、例えば、イベントカメラ２６１の検出結果を用いることによって、路面状態の絶対的変位を示す路面上における水流の大小、水深の深浅といった変位を判定することにより、路面状態を精度良く判定することができる。さらに、路面状態が湿潤路であるのか凍結路であるのかを判定することができる。

第１の実施形態に係る路面状態判定装置１００を備える運転支援システム１０によれば、判定された路面状態が凍結路である場合には、凍結路運転支援が実行され、冠水路でありハイドロプレーニングの可能性がある場合には、ハイドロ運転支援が実行され、乾燥路である場合には基準運転支援が実行される。したがって、道路状態に応じた運転支援を実行することが可能となり、運転支援の実効性を向上させることができる。

他の実施形態：
（１）凍結路であるか否かは、路面の凹凸を判定することによって実行されても良い。すなわち、水面は平滑な平面または表面張力により平滑な球面を有しているのに対して、凍結面は氷粒によって非平滑であり凹凸な表面を有する。そこで、路面状態の絶対的変位に加えて、あるいは、路面状態の絶対的変位を用いることなく、進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を用いて凍結路であるか否かが判定されても良い。凍結路の表面には、図８に示すように凹部ＤＯおよび凸部ＰＯが存在する。図８に示すように、自車両Ｍ０が進行するに連れて対象物ＤＯ、ＰＯに対応する変化画素ＤＯ１、ＰＯ１の位置が自車両Ｍ０から離間する場合、すなわち、凸部ＰＯの一の外部エッジに対応する変化画素ＰＯ１の場合には、路面は凸状路面であると判定することが可能であり、自車両Ｍ０が進行するに連れて対象物ＤＯ、ＰＯに対応する変化画素ＤＯ１、ＰＯ１の位置が自車両Ｍ０に近接する場合、すなわち、凹部ＤＯの一の内部エッジに対応する変化画素ＤＯ１の場合には、路面は凹状路面であると判定することができる。外部エッジおよび内部エッジは太陽光または前照灯により形成される輝度境界線に相当する。なお、図８において変化画素ＤＯ１、ＰＯ１の変位は、対象物ＤＯ、ＰＯの右側を自車両Ｍ０が矢印で示す各位置を通過する際に観察される変位を模式的に示している。実際には、破線で示す対象物ＤＯ、ＰＯの輪郭ＤＯ２、ＰＯ２が自車両Ｍ０との距離に応じて変形して見えることにより変化画素ＤＯ１、ＰＯ１の位置は変位するが、図８においては、自車両Ｍ０に対する各変化画素ＤＯ１、ＰＯ１の変位を示すことを目的として対象物ＤＯ、ＰＯの輪郭ＤＯ２、ＰＯ２の変形は表していない。以上の考え方により、路面状態が凸状路面および凹状路面の少なくともいずれか一方であると判定された場合には、路面状態は凍結路であると判定することができる。路面状態の絶対的変位を用いた判定に加えて、進行する車両に対する路面状態の相対的変位を用いることによって、路面状態が凍結路であるとの判定精度を向上させることができる。また、路面状態が湿潤状態である場合、流水に伴う変位は、進行する車両に対する路面状態の相対的変位としては現れないので、進行する車両に対する路面状態の相対的変位を用いることによって、路面状態が湿潤路であるとの判定精度を向上させることができる。さらに、路面状態が氷結路であるとの判定は、氷結路判定が予め定められた距離にわたり継続される場合に決定されても良く、あるいは、交差点や北側路面といった凍結が発生しやすい、あるいは、凍結路が生成されやすい道路地形の特徴を加えて考慮して実行されても良い。

（２）上記実施形態においては、路面状態の種類として、乾燥路、湿潤路および凍結路のいずれかが判定されたが、路面状態の種類として、陥没・隆起路であるか否かが判定されても良い。図８を参照して説明したように、路面状態判定装置１００は、自車両Ｍ０が進行するに連れて対象物ＰＯに対応する変化画素ＰＯ１の位置が自車両Ｍ０から離間する場合には、路面状態の種類は凸状路面であると判定し、自車両Ｍ０が進行するに連れて対象物ＤＯに対応する変化画素ＤＯ１の位置が自車両Ｍ０に近接する場合には、路面状態の種類は凹状路面であると判定することによって路面が陥没または隆起しているか否かを判定することができる。また、凹部や凸部が大きいほど変化画素の変位は大きくなるので、凹部や凸部の大きさを判定することもできる。陥没・隆起路に対する運転支援としては、操舵支援により陥没部または隆起部を回避したり、制動支援または加速制限により自車両Ｍ０の速度を低下させたりする処理が実行され得る。

（３）上記実施形態においては、流水や流水層の変位を用いて湿潤路および凍結路の判定が行われた。これに対して、路面上の雪や砂を対象として対象物の絶対的変位を取得し、路面状態の種類が判定されても良い。一般的に路面上における雪や砂は、風や走行風によって水平方向に移動する。したがって、図３のステップＳ１０４にて乾燥路と判定された場合に、イベントカメラ２６１から出力される第１の検出信号を用いて、路面上における雪や砂の多少が判定されて、路面状態の種類として降雪路・積雪路、砂路の判定がなされても良い。この場合、対象物が垂直方向の上方へも変位する場合には、粉雪や細粒砂であると判定することができる。雪路や砂路は白み度合いが高く、カメラ２２によって乾燥路と判定されても良く、また、一般的には、乾燥路よりも白み度合いが高いので、雪路または砂路と判定された上で、対象物の変位特性を用いて雪路であるか砂路であるかが判定されても良い。雪路や砂路は滑りやすいので、雪路や砂路に対する運転支援としては、制動支援または加速制限により自車両Ｍ０の速度を抑制したり、急激な加減速を抑制したり、制動開始タイミングを早めたりする運転支援が実行され得る。

（４）上記実施形態においては、路面流水量大フラグＷＦ＝１である場合や路面水深大フラグＷＤ＝１である場合には、ハイドロフラグＨＰ＝１とされないが、ＷＦ＝１またはＷＤ＝１である場合には、制動装置５０２を定期的に緩作動させてロータ面を乾燥状態とするドライキープや、湿潤路用に早期作動するアンチロックブレーキ（ＡＢＳ）設定への切り替え、運転者に対する報知といった運転支援が実行されても良い。また、ＷＤ＝１であるという条件のみをもってハイドロフラグＨＰ＝１とされても良い。

（５）上記各実施形態においては、ＣＰＵ１０１が運転支援プログラムＰｒ１および路面状態判定プログラムＰｒ２を実行することによって、ソフトウェア的に運転支援処理並びに路面状態判定処理を実行する制御部が実現されているが、予めプログラムされた集積回路またはディスクリート回路によってハードウェア的に実現されても良い。すなわち、上記各実施形態における制御部およびその手法は、コンピュータプログラムにより具体化された一つまたは複数の機能を実行するようにプログラムされたプロセッサおよびメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部およびその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部およびその手法は、一つまたは複数の機能を実行するようにプログラムされたプロセッサおよびメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

以上、実施形態、変形例に基づき本開示について説明してきたが、上記した発明の実施の形態は、本開示の理解を容易にするためのものであり、本開示を限定するものではない。本開示は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本開示にはその等価物が含まれる。たとえば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…運転支援システム、２１１…ミリ波レーダ、２２１…カメラ、２６…イベントカメラＥＣＵ、２６１…イベントカメラ、３１…運転支援実行装置、１００…路面状態判定装置、１０１…ＣＰＵ、１０２…メモリ、１０３…取得部、５００…車両、Ｐｒ１…運転支援プログラム、Ｐｒ２…路面状態判定プログラム。

Claims (11)

1. 車両（５００）における路面状態判定装置（１００）であって、
   路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第１の検出信号として取得する取得部（１０３）と、
   前記第１の検出信号を用いて、路面状態の種類を判定する制御部（１０１、Ｐｒ２）と、を備え、
   前記制御部は、前記第１の検出信号を用いて、自車両が進行するに連れて路面上の凹凸に対応する前記変化画素の位置が自車両から離間する場合には、前記種類は凸状路面であると判定し、自車両が進行するに連れて路面上の凹凸に対応する前記変化画素の位置が自車両に近接する場合には、前記種類は凹状路面であると判定する、路面状態判定装置。
2. 車両（５００）における路面状態判定装置（１００）であって、
   路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第１の検出信号として取得する取得部（１０３）と、
   前記第１の検出信号を用いて、路面状態の種類を判定する制御部（１０１、Ｐｒ２）と、を備え、
   前記制御部は、前記第１の検出信号を用いて路面の水平方向における前記変化画素の変位特性に対して周波数解析を実行し、第１の周波数以下の振幅が第１の振幅より大きい場合に前記種類は流れのある湿潤路であると判定する、路面状態判定装置。
3. 車両（５００）における路面状態判定装置（１００）であって、
   路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第１の検出信号として取得する取得部（１０３）と、
   前記第１の検出信号を用いて、路面状態の種類を判定する制御部（１０１、Ｐｒ２）と、を備え、
   前記制御部は、前記第１の検出信号を用いて路面の垂直方向における前記変化画素の変位特性に対して周波数解析を実行し、第２の周波数以下の振幅が第３の振幅より大きい場合に前記種類は冠水している湿潤路であると判定する、路面状態判定装置。
4. 請求項２に記載の路面状態判定装置において、
   前記制御部はさらに、前記第１の周波数以下の振幅が前記第１の振幅よりも小さい第２の振幅以下である場合、前記種類は凍結路であると判定する、路面状態判定装置。
5. 請求項３に記載の路面状態判定装置において、
   前記制御部はさらに、前記第２の周波数以下の振幅が前記第３の振幅よりも小さい第４の振幅以下である場合に前記種類は凍結路であると判定する、路面状態判定装置。
6. 請求項２から５のいずれか一項に記載の路面状態判定装置において、
   前記取得部はさらに、路面状態の撮像結果を第２の検出信号として取得し、
   前記制御部は、前記第２の検出信号を用いて、路面状態が湿潤状態であると判定した場合に、前記周波数解析を用いる判定を実行する、路面状態判定装置。
7. 請求項１から５のいずれか一項に記載の路面状態判定装置において、
   前記制御部は、路面の内、前記変化画素が存在する領域を対象として前記路面状態の種類を判定する、路面状態判定装置。
8. 車両の運転支援システム（１０）であって、
   請求項１から請求項７のいずれか一項に記載の路面状態判定装置（１００）と、
   前記第１の検出信号を出力する第１の検出器（２６１）と、
   前記路面状態判定装置によって判定された路面状態に応じて、運転支援を実行する運転支援実行装置（３１）と、
   を備える運転支援システム。
9. コンピュータによって実行される路面状態判定方法であって、
   路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第１の検出信号として取得し、
   前記第１の検出信号を用いて、自車両が進行するに連れて路面上の凹凸に対応する前記変化画素の位置が自車両から離間する場合には、前記路面状態の種類は凸状路面であると判定し、自車両が進行するに連れて路面上の凹凸に対応する前記変化画素の位置が自車両に近接する場合には、前記種類は凹状路面であると判定すること、
   を備える、路面状態判定方法。
10. コンピュータによって実行される路面状態判定方法であって、
    路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第１の検出信号として取得し、
    前記第１の検出信号を用いて、路面の水平方向における前記変化画素の変位特性に対して周波数解析を実行し、第１の周波数以下の振幅が第１の振幅より大きい場合に前記路面状態の種類は流れのある湿潤路であると判定すること、
    を備える、路面状態判定方法。
11. コンピュータによって実行される路面状態判定方法であって、
    路面状態の絶対的変位または進行する車両に対する路面状態の相対的変位に応じて輝度値が変化する変化画素の情報を第１の検出信号として取得し、
    前記第１の検出信号を用いて、路面の垂直方向における前記変化画素の変位特性に対して周波数解析を実行し、第２の周波数以下の振幅が第３の振幅より大きい場合に前記路面状態の種類は冠水している湿潤路であると判定すること、
    を備える、路面状態判定方法。

Images