JP7546504B2 - 運転支援装置、運転支援方法、およびプログラム - Google Patents

Description

本発明は、運転支援装置、運転支援方法、およびプログラムに関する。

信号機が進行不許可を示していることを車両の乗員に報知することにより、車両が交差点の手前で余裕をもって停止できるよう乗員による運転を支援する技術がある。例えば、特許文献１には、交差点の中心などの基準地点から所定距離を隔てた地点を制御基準地点とし、制御基準地点を超えておらず、かつ、受信した信号機の情報に基づいて交差点の通過が不可であると判断した場合に、報知を行う技術が記載されている。

特開２０１２－２０３７８５号公報

特許文献１では、交差点内の所定の地点を基準地点として、乗員への報知を行うか否かを判断する地点を決定している。しかしながら、交差点や、自車両の前を走行する車両などの状況によって、進行可否に関する情報の報知を行う位置を動的に決めることが望ましい場合がある。

本発明は、このような事情を考慮してなされたものであり、信号機が示す進行可否の情報に基づいて車両の乗員に報知を行う位置を状況に応じて決めることができる運転支援装置、運転支援方法、およびプログラムを提供することを目的の一つとする。

この発明に係る運転支援装置、運転支援方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る運転支援装置は、車両の前方の画像に基づいて信号機の進行可否表示、および、前記信号機と前記車両との間に存在する参照オブジェクトを認識する認識部と、前記認識部が認識した前記参照オブジェクトのうち所定の種類の参照オブジェクトがある場合、前記所定の種類の参照オブジェクトの後端を基準とし、前記基準から前記車両までの距離と前記進行可否表示の認識結果とに応じて前記車両の乗員に報知するように報知装置を制御する報知制御部と、を備える運転支援装置である。

（２）：上記（１）の態様において、前記所定の種類の参照オブジェクトは、停止線と前記車両が走行する車線において前方に存在する他車両とを含み、前記報知制御部は、認識された前記参照オブジェクトに前記停止線と前記他車両とが含まれる場合に、前記停止線と前記他車両とのうち前記車両により近い参照オブジェクトの後端を前記基準とする、ものである。

（３）：上記（２）の態様において、前記所定の種類の参照オブジェクトは、更に、横断歩道を含み、前記報知制御部は、認識された前記参照オブジェクトに停止線が含まれず、かつ、前記横断歩道及び前記他車両が含まれる場合に、前記横断歩道と前記他車両とのうち前記車両により近い参照オブジェクトの後端を前記基準とする、ものである。

（４）：上記（３）の態様において、前記所定の種類の参照オブジェクトは、更に、交差点端部を含み、前記報知制御部は、認識された前記参照オブジェクトに停止線及び横断歩道が含まれず、かつ、前記交差点端部および前記他車両が含まれる場合に、前記交差点端部と前記他車両とのうち前記車両により近い参照オブジェクトの後端を前記基準とする、ものである。

（５）：上記（４）の態様において、前記報知制御部は、認識された前記参照オブジェクトに停止線、横断歩道および交差点端部のいずれも含まれない場合、前記信号機から前記車両の方向へ所定距離の位置と前記他車両の後端の位置とのうち前記車両に近い位置を前記基準とする、ものである。

（６）：上記（２）から上記（５）のいずれかの態様において、前記報知制御部は、前記車両と前記他車両との距離が所定以下である場合に前記報知を停止するよう前記報知装置を制御する、ものである。

（７）：上記（１）から上記（６）のいずれかの態様において、前記報知制御部は、前記進行可否表示の認識結果と前記車両の速度とに応じて前記報知を行うよう前記報知装置を制御する、ものである。

（８）：上記（１）から上記（７）のいずれかの態様において、前記報知制御部は、前記基準と前記車両との距離が前記車両の速度に応じた距離内である場合に前記報知を行うよう前記報知装置を制御する、ものである。

（９）：上記（１）から上記（８）のいずれかの態様において、前記車両は、車両の前方の前記画像を取得する画像取得部を備える、ものである。

（１０）：この発明の他の態様に係る運転支援方法は、コンピュータが、車両の前方の画像に基づいて信号機の進行可否表示、および、前記信号機と前記車両との間に存在する参照オブジェクトを認識し、認識された前記参照オブジェクトのうち所定の種類の参照オブジェクトがある場合、前記所定の種類の参照オブジェクトの後端を基準とし、前記基準から前記車両までの距離と前記進行可否表示の認識結果とに応じて前記車両の乗員に報知するように報知装置を制御する、運転支援方法である。

（１１）：この発明の他の態様に係るプログラムは、コンピュータに、車両の前方の画像に基づいて信号機の進行可否表示、および、前記信号機と前記車両との間に存在する参照オブジェクトを認識させ、認識された前記参照オブジェクトのうち所定の種類の参照オブジェクトがある場合、前記所定の種類の参照オブジェクトの後端を基準とし、前記基準から前記車両までの距離と前記進行可否表示の認識結果とに応じて前記車両の乗員に報知するように報知装置を制御させる、プログラムである。

（１）～（１１）によれば、信号機の進行可否表示の検知結果に応じた報知を行う位置を算出する基準となる位置を、車両前方の参照オブジェクトの検知結果に基づいて決めることができるため、車両周辺の状況に適したタイミングでの報知が可能となる。

（２）によれば、他車両と停止線とのうちいずれか自車両に近い方の手前で適切な距離を保って停止できるように乗員を支援することができる。

（３）によれば、停止線が認識されない場合でも、他車両と横断歩道とのうちいずれか自車両に近い方の手前で適切な距離を保って停止できるように乗員を支援することができる。

（４）によれば、停止線および横断歩道が認識されない場合でも、他車両と交差点端部とのうちいずれか自車両に近い方の手前で適切な距離を保って停止できるように乗員を支援することができる。

（５）によれば、停止線、横断歩道および交差点端部が認識されない場合でも、他車両と交差点付近のうちいずれか自車両に近い方の手前で適切な距離を保って停止できるように乗員を支援することができる。

（６）によれば、自車両が他車両に近づきすぎた場合には報知を停止することにより、乗員が前方へ注意を向けやすくすることができる。

（７）によれば、信号機の進行可否表示の検知結果が同じ場合でも、自車両の速度に応じて報知の内容を変えたり、報知を行わないようにしたりすることができる。

（８）によれば、自車両の速度が速い場合には、信号機が進行不許可を表示していることを早いタイミングで報知して、適切な距離を保って停止できるよう乗員を支援することができる。

（９）によれば、自車両の前方の画像を容易に取得することができる。

本発明の一実施形態による車両システムの構成図である。 同実施形態による運転支援装置が認識する参照オブジェクトを示す図である。 同実施形態による運転支援装置が認識する参照オブジェクトを示す図である。 同実施形態による運転支援装置が認識する参照オブジェクトを示す図である。 同実施形態による運転支援装置の処理を示すフロー図である。 同実施形態による運転支援装置の処理を示すフロー図である。

以下、図面を参照し、本発明の運転支援装置、運転支援方法、およびプログラムの実施形態について説明する。

図１は、実施形態に係る運転支援装置を利用した車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、外界センサ１０と、物体認識装置１６と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、運転操作子８０と、運転支援装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

外界センサ１０は、車両システム１が搭載される車両（以下、自車両Ｍ）の外界の情報を取得する。外界センサ１０は、カメラ１１と、レーダ装置１２と、ＬＩＤＡＲ（Light Detection and Ranging）１４とを備える。カメラ１１は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１１は、自車両Ｍの任意の箇所に取り付けられる。前方を撮像する場合、カメラ１１は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１１は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１１は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ＬＩＤＡＲ１４は、自車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、自車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１１、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を運転支援装置１００に出力する。物体認識装置１６は、カメラ１１、レーダ装置１２、およびＬＩＤＡＲ１４の検出結果をそのまま運転支援装置１００に出力してよい。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示する報知装置である。また、ＨＭＩ１３０は、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。

運転支援装置１００は、認識部１２０と、報知制御部１４０と、走行制御部１６０とを備える。認識部１２０、報知制御部１４０、および走行制御部１６０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め運転支援装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで運転支援装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

認識部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、認識部１２０は、信号機を認識する場合、ディープラーニング等による信号機の認識と、パターンマッチングによる信号機の認識とを並行して実行し、双方の認識結果を総合的に評価することにより信号機を認識してもよい。また、例えば、交差点を認識する場合、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。なお、認識部１２０は、ＡＩによる画像認識と、予め与えられたモデルによる画像認識との一方を行ってもよい。

認識部１２０は、カメラ１１、レーダ装置１２、およびＬＩＤＡＲ１４から物体認識装置１６を介して入力された情報に基づいて、自車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、運転支援に使用される。運転支援は、乗員への報知と、自車両Ｍの走行制御とを含む。

また、認識部１２０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１２０は、地図情報から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１１によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。地図情報は、内部又は外部に備えられる図示しない記憶装置に記憶される。なお、認識部１２０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。また、認識部１２０は、一時停止線、横断歩道などの道路事象を認識する。認識部１２０は、カメラ１１、レーダ装置１２、およびＬＩＤＡＲ１４から物体認識装置１６を介して入力された情報に基づいて、道路事象の位置を、上記の物体の位置と同様に算出する。

上記の機能により、認識部１２０は、カメラ１１によって撮像された自車両Ｍの前方の画像に基づいて、信号機、および、信号機と自車両Ｍとの間に存在する参照オブジェクトを認識する。参照オブジェクトは、物体及び道路事象を含み得る。具体的には、参照オブジェクトは、自車両Ｍと同じ車線に存在する他車両、一時停止線、横断歩道、交差点端部を含む。認識部１２０は、認識されたこれらの参照オブジェクトの位置を取得可能である。また、認識部１２０は、画像に基づいて信号機の状態を認識する。信号機の状態は、進行可否の表示を含む。

報知制御部１４０は、自車両Ｍの乗員への報知を行うようＨＭＩ３０を制御する。報知制御部１４０は、基準決定部１４２を備える。基準決定部１４２は、認識部１２０が認識した参照オブジェクトのうち所定の種類の参照オブジェクトと自車両Ｍとの距離に基づいて選択した参照オブジェクトの後端を算出基準とする。算出基準は、自車両Ｍの乗員への報知を開始する地点を計算するための基準である。後端とは、参照オブジェクトにおいて最も自車両Ｍに近い点である。参照オブジェクトの後端と自車両Ｍとの距離は、認識部１２０が認識した参照オブジェクトの後端の位置と、自車両の位置との差分により算出される。以下では、報知を開始する地点を、報知開始基準と記載する。

報知制御部１４０は、認識部１２０の認識結果に基づく情報を、ＨＭＩ３０の画面に表示させたり、ＨＭＩ１３０のスピーカから音により出力させたりする。一例として、報知制御部１４０は、信号機の進行可否の認識結果と自車両Ｍの速度とに応じた情報をＨＭＩ３０に出力させる。報知制御部１４０は、この出力を、自車両Ｍが報知開始基準を通過したタイミングで開始するようＨＭＩ３０に指示する。報知制御部１４０は、基準決定部１４２が決定した算出基準から距離Ｄｓだけ自車両Ｍの方向に近づいた地点を報知開始基準とする。また、報知制御部１４０は、ＨＭＩ３０への情報の出力を、自車両Ｍが報知終了基準を経過したタイミングで停止してもよい。報知制御部１４０は、他車両などの所定の種類の参照オブジェクトから距離Ｄｅ（＜Ｄｓ）だけ自車両Ｍの方向に近づいた地点を報知終了基準とする。なお、距離Ｄｓ、Ｄｅは、認識部１２０の認識結果又は車両センサ４０が出力した所定の情報に応じた距離でもよい。例えば、報知制御部１４０は、自車両Ｍの速度に応じて距離Ｄｓ、Ｄｅを決定してもよい。具体的には、報知制御部１４０は、現在の速度で自車両Ｍが走行中にブレーキ操作を行ったときに、所定の加速度以下で自車両Ｍが停止するまでにかかる距離以上を距離Ｄｓとする。また、報知制御部１４０は、現在の速度で自車両Ｍが走行中に、走行制御部１６０が認識部１２０の認識結果に基づいてブレーキ装置２１０の制御を行った場合に自車両Ｍが停止するまでに要する距離に基づいて距離Ｄｅを決定する。

走行制御部１６０は、自車両Ｍの走行制御を行う。走行制御とは、例えば、自車両Ｍの速度又は操舵の一方又は両方を制御することである。走行制御部１６０は、認識部１２０の認識結果や車両センサ４０の検出結果に基づいて、ブレーキ装置２１０を制御する。例えば、走行制御部１６０は、所定の参照オブジェクトと自車両Ｍとの距離が速度に応じた所定距離以内である場合に、ブレーキ装置２１０を制御する。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、走行制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、走行制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、走行制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、走行制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

図２、図３および図４は、運転支援装置１００が認識する参照オブジェクトを示す図である。運転支援装置１００の認識部１２０が自車両Ｍの前方の画像に基づいて認識する参照オブジェクトには、信号機Ａ１と、他車両Ａ２と、一時停止線Ａ３と、横断歩道Ａ４と、交差点端部Ａ５とが含まれ得る。他車両Ａ２は、自車両Ｍが走行する車線において、自車両Ｍの前に存在する他の車両である。認識部１２０は、他車両Ａ２と、一時停止線Ａ３と、横断歩道Ａ４と、交差点端部Ａ５と、信号機Ａ１から距離Ｄ１だけ自車両Ｍに近い地点Ａ６とのうち、自車両Ｍに最も近いものを算出基準とする。距離Ｄ１は、例えば、２ｍ程度である。車両は、交差点に進入する際、一時停止線Ａ３、横断歩道Ａ４、交差点端部Ａ５、地点Ａ６を順に通過する。そこで、認識部１２０が、参照オブジェクトとして一時停止線Ａ３、横断歩道Ａ４、交差点端部Ａ５のうち２以上を認識した場合、基準決定部１４２は、それら参照オブジェクトの種類の情報に基づいて自車両Ｍと近い参照オブジェクトを基準候補として選択する。このように、実際に距離を計測することなく、参照オブジェクトの種類によって、自車両Ｍと距離が近い参照オブジェクトを選択することが可能である。基準決定部１４２は、一時停止線Ａ３、横断歩道Ａ４、および交差点端部Ａ５のいずれも認識されなかった場合、地点Ａ６を基準候補とする。なお、認識部１２０は、自車両Ｍと一時停止線Ａ３との距離、自車両Ｍと横断歩道Ａ４との距離、自車両Ｍと交差点端部Ａ５との距離、自車両Ｍと地点Ａ６との距離を算出し、最も距離が短い参照オブジェクトを基準候補として選択してもよい。

基準決定部１４２は、他車両Ａ２が認識されなかった場合、基準候補の後端を算出基準とする。一方、他車両Ａ２が認識された場合、基準決定部１４２は、自車両Ｍと他車両Ａ２との距離、および、自車両Ｍと基準候補との距離を比較する。図２に示すように、自車両Ｍと他車両Ａ２との距離のほうが短い場合、基準決定部１４２は、他車両Ａ２の後端を算出基準に決定する。基準決定部１４２は、他車両Ａ２の後端から自車両Ｍの方向に距離Ｄｓだけ離れた地点Ｃ１を報知開始基準とする。また、基準決定部１４２は、他車両Ａ２の後端から自車両Ｍの方向に距離Ｄｅだけ離れた地点Ｃ２を報知終了基準とする。

一方、図３に示すように、自車両Ｍと基準候補との距離のほうが短い場合、基準決定部１４２は、基準候補の後端を算出基準に決定する。図３では、基準決定部１４２は、一時停止線Ａ３の後端を算出基準と判断する。基準決定部１４２は、一時停止線Ａ３の後端から自車両Ｍの方向に距離Ｄｓだけ離れた地点Ｃ３を報知開始基準とする。また、基準決定部１４２は、他車両Ａ２の後端から自車両Ｍの方向に距離Ｄｅだけ離れた地点Ｃ４を報知終了基準とする。

報知制御部１４０は、自車両Ｍが報知開始基準を通過したと判定すると、認識部１２０が認識した信号機Ａ１の進行可否表示に基づく報知を行う。例えば、報知制御部１４０は、自車両Ｍが報知開始基準を通過したタイミングにおいて、信号機Ａ１の点灯色が黄又は赤であり、かつ、自車両Ｍの速度が所定以上である場合に、進行不許可である旨を乗員に報知する。

図４では、基準決定部１４２は、他車両Ａ２の後端から自車両Ｍの方向に距離Ｄｅだけ離れた地点Ｃ５を報知開始基準とする。認識部１２０が信号機Ａ１の進行不許可表示を認識した時点で、すでに自車両Ｍは報知開始基準を通過している。この場合、報知制御部１４０は、進行不許可である旨を即時に乗員に報知する。

なお、地点Ｃ１、地点Ｃ３又は地点Ｃ５を通り、自車両Ｍの進行方向に垂直な線分を報知開始基準としてもよく、算出基準の後端を中心とした半径が距離Ｄｓの円の円周上を報知開始基準としてもよい。同様に、地点Ｃ２又は地点Ｃ４を通り、自車両Ｍの進行方向に垂直な線分を報知終了基準としてもよく、他車両Ａ２の後端を中心とした半径が距離Ｄｅの円の円周上を報知終了基準としてもよい。

なお、基準決定部１４２は、認識部１２０が新たな画像に基づき認識を行うたびに、新たな報知開始基準および報知終了基準を決定する。報知制御部１４０は、新たに決定された報知開始基準および報知終了基準に基づいて報知を行う。

図５は、運転支援装置１００が実行する算出基準決定処理を示すフロー図である。運転支援装置１００は、図５に示す算出基準決定処理を繰り返す。

基準決定部１４２は、認識部１２０が自車両Ｍの前方の画像に基づいて信号機を認識したか否かを判定する（ステップＳ１０５）。基準決定部１４２は、認識部１２０が信号機を認識していないと判定した場合、ステップＳ１０５の処理を繰り返す。基準決定部１４２は、認識部１２０が信号機を認識したと判定した場合、自車両Ｍの走行車線の前方に他車両を認識したか否かを判定する（ステップＳ１１０）。基準決定部１４２は、ステップＳ１１０において認識したと判定した場合には車両認識フラグに１を設定し（ステップＳ１１５）、ステップＳ１１０において認識しなかったと判定した場合には車両認識フラグに０を設定する（ステップＳ１２０）。

基準決定部１４２は、認識部１２０が自車両Ｍの前方に停止線を認識したか否かを判定する（ステップＳ１２５）。基準決定部１４２は、認識部１２０が停止線を認識したと判定した場合、停止線を基準候補とする（ステップＳ１３０）。基準決定部１４２は、認識部１２０が停止線を認識しなかったと判定した場合、認識部１２０が自車両Ｍの前方に横断歩道を認識したか否かを判定する（ステップＳ１３５）。基準決定部１４２は、認識部１２０が横断歩道を認識したと判定した場合、横断歩道を基準候補とする（ステップＳ１４０）。基準決定部１４２は、認識部１２０が横断歩道を認識しなかったと判定した場合、認識部１２０が自車両Ｍの前方に交差点端部を認識したか否かを判定する（ステップＳ１４５）。基準決定部１４２は、認識部１２０が交差点端部を認識したと判定した場合、交差点端部を基準候補とする（ステップＳ１５０）。基準決定部１４２は、認識部１２０が交差点端部を認識しなかったと判定した場合、ステップＳ１０５において認識部１２０が認識した信号機から所定距離だけ自車両Ｍの方向に近い地点を基準候補とする（ステップＳ１５５）。

基準決定部１４２は、ステップＳ１３０、ステップＳ１４０、ステップＳ１５０、又はステップＳ１５５の処理の後、車両認識フラグが１か否かを判定する（ステップＳ１６０）。基準決定部１４２は、車両認識フラグが１であると判定した場合、認識部１２０が認識した基準候補の後端の位置、および、他車両Ｍの後端の位置を取得する。基準決定部１４２は、取得したこれらの位置の情報に基づいて、自車両Ｍと基準候補の後端との距離、および、自車両Ｍと他車両の後端との距離を算出する。基準決定部１４２は、基準候補の後端と他車両の後端とのうち自車両Ｍとの距離が近い方を算出基準と決定する（ステップＳ１６５）。一方、基準決定部１４２は、車両認識フラグが１であると判定した場合、基準候補の後端を算出基準と判定する（ステップＳ１７０）。

図６は、運転支援装置１００が実行する報知処理を示すフロー図である。運転支援装置１００は、図５の算出基準決定処理の後、図６に示す報知処理を行う。

報知制御部１４０は、認識部１２０から進行可否情報を取得する（ステップＳ２０５）。例えば、認識部１２０は、信号機の点灯色が青である場合は進行許可と判定し、信号機の点灯色が黄又は赤である場合、進行不許可と判定する。また、認識部１２０は、信号機が矢印式信号であり、路面表彰が示す方向と、信号機が示す進行許可の方向とが一致しない場合に、進行不許可と判定してもよい。また、認識部１２０は、自車両Ｍのウインカー表示と、信号機が示す車両の進行許可の方向とが一致しない場合に、進行不許可と判定してもよい。

報知制御部１４０は、進行可否情報に応じた報知情報を選択する（ステップＳ２１０）。報知制御部１４０は、進行可否情報に加え、自車両Ｍの速度など、他の情報をさらに用いて報知情報を選択してもよい。報知が不要な場合、報知情報は選択されない。報知制御部１４０は、ステップＳ２１０において報知情報が取得できたか否かを判定する（ステップＳ２１５）。報知制御部１４０は、報知情報が取得できなかったと判定した場合、図６の処理を終了する。

報知制御部１４０は、報知情報が取得できたと判定した場合、基準決定部１４２が決定した算出基準を用いて、報知開始基準を算出する（ステップＳ２２０）。基準決定部１４２は、算出基準から距離Ｄｓだけ自車両Ｍの方向に離れた地点を報知開始基準とする。距離Ｄｓは、例えば、所定の距離又は自車両Ｍの速度に応じた距離である。報知制御部１４０は、自車両Ｍが報知開始基準よりも算出基準に近いか否かを判定する（ステップＳ２２５）。報知制御部１４０は、自車両Ｍが報知開始基準よりも算出基準から遠いと判定した場合、ステップＳ２１０からの処理を繰り返す。なお、報知制御部１４０は、自車両Ｍが報知開始基準よりも算出基準から遠いと判定した場合、ステップＳ２２５からの処理を繰り返してもよく、図６の処理を終了してもよい。報知制御部１４０は、自車両Ｍが報知開始基準よりも算出基準に近いと判定した場合、ＨＭＩ３０に報知情報を出力させる（ステップＳ２３０）。報知情報は、ＨＭＩ３０に出力させる画面データや音声データなどを含む。

報知制御部１４０は、報知が終了したか否かを判定する（ステップＳ２３５）。報知制御部１４０は、報知が終了したと判定した場合、図６の処理を終了する。報知制御部１４０は、報知が終了していないと判定した場合、自車両Ｍの走行車線の前方に存在する他車両から距離Ｄｅだけ自車両Ｍの方向に離れた地点を報知終了基準として算出する（ステップＳ２４０）。距離Ｄｅは、例えば、所定の距離又は自車両Ｍの速度に応じた距離である。報知制御部１４０は、自車両Ｍが報知終了基準よりも他車両に近いか否かを判定する（ステップＳ２４５）。報知制御部１４０は、自車両Ｍが報知終了基準よりも他車両から遠いと判定した場合、又は、他車両が認識されていない場合、ステップＳ２３５からの処理を繰り返す。報知制御部１４０は、自車両Ｍが報知終了基準よりも他車両に近いと判定した場合、報知を停止する（ステップＳ２５０）。これは、自車両Ｍが前を走行している他車両に接近しており、自車両Ｍが衝突軽減ブレーキの領域内に入る可能性が高まるためである。報知の停止により、接近している他車両に対して乗員の注意を向けやすくする。走行制御部１６０は、自車両Ｍが衝突軽減ブレーキの領域内に入ったと判断した場合、ブレーキ装置２１０を制御する。

なお、運転支援装置１００は、認識部１２０が信号機を検知した場合に図６に示す報知処理を行い、ステップＳ２２０の処理の前までに、図５に示すステップＳ１１０以降の処理を行ってもよい。

以上説明した実施形態によれば、運転支援装置は、信号機の検知結果に基づく報知を車両の乗務員へ行うタイミングを算出するための基準点を、自車両と信号機との間に存在する参照オブジェクトの種類に応じて決定する。よって、交差点の状況や自車両の前を走る他車両などの状況に応じたタイミングで報知を行うことができる。

上記の実施形態の車両にかえて、ロボットなどの他の移動体を用いることができる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
車両の前方の画像に基づいて信号機の進行可否表示、および、前記信号機と前記車両との間に存在する参照オブジェクトを認識させ、
前記認識部が認識した前記参照オブジェクトのうち所定の種類の参照オブジェクトがある場合、前記所定の種類の参照オブジェクトの後端を基準とし、前記基準から前記車両までの距離と前記進行可否表示の認識結果とに応じて前記車両の乗員に報知するように報知装置を制御する、
ように構成されている、運転支援装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…車両システム、１０…外界センサ、１１…カメラ、１２…レーダ装置、１６…物体認識装置、４０…車両センサ、８０…運転操作子、１００…運転支援装置、１２０…認識部、１４０…報知制御部、１４２…基準決定部、１６０…走行制御部、２００…走行駆動力出力装置、２１０…ブレーキ装置、２２０…ステアリング装置

Claims (9)

1. 車両の前方の画像に基づいて信号機の進行可否表示、および、前記信号機と前記車両との間に存在する参照オブジェクトを認識する認識部と、
   前記認識部が認識した前記参照オブジェクトのうち所定の種類の参照オブジェクトがある場合、前記所定の種類の参照オブジェクトの後端を基準とし、前記基準から前記車両までの距離と前記進行可否表示の認識結果とに応じて前記車両の乗員に報知するように報知装置を制御する報知制御部と、
   を備え、
   前記所定の種類の参照オブジェクトは、停止線と前記車両が走行する車線において前方に存在する他車両と横断歩道とを含み、
   前記報知制御部は、認識された前記参照オブジェクトに前記停止線と前記他車両とが含まれる場合に、前記停止線と前記他車両とのうち前記車両により近い参照オブジェクトの後端を前記基準とし、認識された前記参照オブジェクトに停止線が含まれず、かつ、前記横断歩道及び前記他車両が含まれる場合に、前記横断歩道と前記他車両とのうち前記車両により近い参照オブジェクトの後端を前記基準とする、
   運転支援装置。
2. 前記所定の種類の参照オブジェクトは、更に、交差点端部を含み、
   前記報知制御部は、認識された前記参照オブジェクトに停止線及び横断歩道が含まれず、かつ、前記交差点端部および前記他車両が含まれる場合に、前記交差点端部と前記他車両とのうち前記車両により近い参照オブジェクトの後端を前記基準とする、
   請求項１に記載の運転支援装置。
3. 前記報知制御部は、認識された前記参照オブジェクトに停止線、横断歩道および交差点端部のいずれも含まれない場合、前記信号機から前記車両の方向へ所定距離の位置と前記他車両の後端の位置とのうち前記車両に近い位置を前記基準とする、
   請求項２に記載の運転支援装置。
4. 前記報知制御部は、前記車両と前記他車両との距離が所定以下である場合に前記報知を停止するよう前記報知装置を制御する、
   請求項１から請求項３のいずれか一項に記載の運転支援装置。
5. 前記報知制御部は、前記進行可否表示の認識結果と前記車両の速度とに応じて前記報知を行うよう前記報知装置を制御する、
   請求項１から請求項４のいずれか一項に記載の運転支援装置。
6. 前記報知制御部は、前記基準と前記車両との距離が前記車両の速度に応じた距離内である場合に前記報知を行うよう前記報知装置を制御する、
   請求項１から請求項５のいずれか一項に記載の運転支援装置。
7. 前記車両は、車両の前方の前記画像を取得する画像取得部を備える、
   請求項１から請求項６のいずれか一項に記載の運転支援装置。
8. コンピュータが、
   車両の前方の画像に基づいて信号機の進行可否表示、および、前記信号機と前記車両との間に存在する参照オブジェクトを認識し、
   認識された前記参照オブジェクトのうち所定の種類の参照オブジェクトがある場合、前記所定の種類の参照オブジェクトの後端を基準とし、前記基準から前記車両までの距離と前記進行可否表示の認識結果とに応じて前記車両の乗員に報知するように報知装置を制御し、
   前記所定の種類の参照オブジェクトは、停止線と前記車両が走行する車線において前方に存在する他車両と横断歩道とを含んでおり、
   前記制御においては、認識された前記参照オブジェクトに前記停止線と前記他車両とが含まれる場合に、前記停止線と前記他車両とのうち前記車両により近い参照オブジェクトの後端を前記基準とし、認識された前記参照オブジェクトに停止線が含まれず、かつ、前記横断歩道及び前記他車両が含まれる場合に、前記横断歩道と前記他車両とのうち前記車両により近い参照オブジェクトの後端を前記基準とする、
   運転支援方法。
9. コンピュータに、
   車両の前方の画像に基づいて信号機の進行可否表示、および、前記信号機と前記車両との間に存在する参照オブジェクトを認識させ、
   認識された前記参照オブジェクトのうち所定の種類の参照オブジェクトがある場合、前記所定の種類の参照オブジェクトの後端を基準とし、前記基準から前記車両までの距離と前記進行可否表示の認識結果とに応じて前記車両の乗員に報知するように報知装置を制御させ、
   前記所定の種類の参照オブジェクトは、停止線と前記車両が走行する車線において前方に存在する他車両と横断歩道とを含んでおり、
   前記制御においては、認識された前記参照オブジェクトに前記停止線と前記他車両とが含まれる場合に、前記停止線と前記他車両とのうち前記車両により近い参照オブジェクトの後端を前記基準とし、認識された前記参照オブジェクトに停止線が含まれず、かつ、前記横断歩道及び前記他車両が含まれる場合に、前記横断歩道と前記他車両とのうち前記車両により近い参照オブジェクトの後端を前記基準とする、
   プログラム。

Images