JP7788915B2 - 運転支援装置、運転支援方法、およびプログラム - Google Patents

Description

本発明は、運転支援装置、運転支援方法、およびプログラムに関する。

近年、交通参加者の中でも脆弱な立場にある人々にも配慮した持続可能な輸送システムへのアクセスを提供する取り組みが活発化している。この実現に向けて運転支援技術に関する研究開発を通して交通の安全性や利便性をより一層改善する研究開発に注力している。これに関連して、狭路のすれ違い状態である場合に自車両と対向車両がすれ違う際の対向車両の速度に基づいて自車両のすれ違い運転の支援を許可するか否かを判定し、すれ違い運転の支援を許可すると判定された場合に側面カメラで撮像した撮像画像をディスプレイに表示させる技術が知られている（例えば、特許文献１参照）。

特開２０２０－１４９２０４号公報

ところで、運転支援技術において、他の様々な周辺状況に応じた適切な画像を表示できない場合があった。

本発明の態様は、このような事情を考慮してなされたものであり、周辺状況に応じてより適切な運転支援を行うことができる運転支援装置、運転支援方法、およびプログラムを提供することを目的の一つとする。そして、延いては持続可能な輸送システムの発展に寄与するものである。

この発明に係る運転支援装置、運転支援方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る運転支援装置は、車両の周辺状況を認識する認識部と、予め設定された複数の表示モードで前記車両を運転する乗員を支援するための画像を表示装置に表示させる表示制御部と、前記乗員による前記車両の運転操作または前記車両の走行を制御する運転制御部と、を備え、前記複数の表示モードは、少なくとも前記車両が道路の延伸方向に沿って走行する第１モードと、前記車両が交差点を走行する第２モードと、前記車両が合流区間を走行する第３モードと、前記車両が狭路を走行する第４モードと、前記車両が物体との接触を回避して走行する第５モードとに対応する表示モードを含み、前記表示制御部は、前記認識部により認識された周辺状況に基づいて前記複数の表示モードのうち何れかの表示モードに遷移させ、前記表示制御部は、前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を表示させ、更に前記車両の周辺に物体が存在する場合に、前記車両が進行すべき方向を表示させると共に、前記乗員に操舵操作を促す画像を表示させる、運転支援装置である。

（２）：上記（１）の態様において、前記表示制御部は、少なくとも、前記車両に擬した画像、前記車両の周辺の物体の位置を示す画像、前記車両が進行すべき方向を示す画像、前記車両の車線変更先の目標位置、前記自車両に加速または減速を促す画像、および前記乗員に操舵操作を促す画像のうち、前記認識部により認識された周辺された周辺状況に基づいて遷移された表示モードに基づいて、表示する画像を選択して表示させるものである。

（３）：上記（２）の態様において、前記表示制御部は、前記第３モードおよび前記第４モードにおける前記車両に擬した画像を、前記車両を上から見た画像で表示させ、前記第１モード、前記第２モード、および前記第５モードにおける前記車両Ｍに擬した画像は前記車両Ｍを後方から見た画像として表示させるものである。

（４）：上記（１）～（３）のうち何れか一つの態様において、前記表示制御部は、前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を前記第３モードで表示させる前記車両に擬した画像よりも大きく表示させるものである。

（５）：上記（１）～（４）のうち何れか一つの態様において、前記表示制御部は、前記認識部により認識された前記車両の道路の幅員が所定値未満である場合、或いは、前記車両の前方に存在する物体を避けて走行する場合または対面走行する物体とすれ違う場合であって、前記物体までの距離が所定距離未満且つ前記車両と前記物体との接触余裕時間が閾値以上である場合に、前記第４モードに対応する表示モードで画像を表示させるものである。

（６）：上記（５）の態様において、前記運転制御部は、前記乗員に前記車両と前記物体との接触を回避するための操舵操作を誘導する制御を行うものである。

（７）：上記（６）の態様において、前記運転制御部は、前記乗員により操作されるステアリングホイールに対する反力によって、前記乗員による操舵を誘導する操作を行うものである。

（８）：上記（１）～（７）のうち何れか一つの態様において、前記表示制御部は、前記認識部により前記車両の前方に存在する右折待ちまたは左折待ちで停車している他車両が認識された場合に、前記第４モードに対応する表示モードで画像を表示させるものである。

（９）：この発明の一態様に係る運転支援方法は、コンピュータが、車両の周辺状況を認識し、予め設定された複数の表示モードで前記車両を運転する乗員を支援するための画像を表示装置に表示させ、前記乗員による前記車両の運転操作または前記車両の走行を制御する運転制御を実行し、前記複数の表示モードは、少なくとも前記車両が道路の延伸方向に沿って走行する第１モードと、前記車両が交差点を走行する第２モードと、前記車両が合流区間を走行する第３モードと、前記車両が狭路を走行する第４モードと、前記車両が物体との接触を回避して走行する第５モードとに対応する表示モードを含み、認識した前記周辺状況に基づいて前記複数の表示モードのうち何れかの表示モードに遷移させ、前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を表示させ、更に前記車両の周辺に物体が存在する場合に、前記車両が進行すべき方向を表示させると共に、前記乗員に操舵操作を促す画像を表示させる、運転支援方法である。

（１０）：この発明の一態様に係るプログラムは、コンピュータに、車両の周辺状況を認識させ、予め設定された複数の表示モードで前記車両を運転する乗員を支援するための画像を表示装置に表示させ、前記乗員による前記車両の運転操作または前記車両の走行を制御する運転制御を実行させ、前記複数の表示モードは、少なくとも前記車両が道路の延伸方向に沿って走行する第１モードと、前記車両が交差点を走行する第２モードと、前記車両が合流区間を走行する第３モードと、前記車両が狭路を走行する第４モードと、前記車両が物体との接触を回避して走行する第５モードとに対応する表示モードを含み、認識された前記周辺状況に基づいて前記複数の表示モードのうち何れかの表示モードに遷移させ、前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を表示させ、更に前記車両の周辺に物体が存在する場合に、前記車両が進行すべき方向を表示させると共に、前記乗員に操舵操作を促す画像を表示させる、プログラムである。

上記（１）～（１０）の態様によれば、周辺状況に応じてより適切な運転支援を行うことができる。

実施形態に係る運転支援装置を利用した車両システム１の構成図である。 判定部１２０の機能を説明するための図である。 通常モードにおける第１の表示態様について説明するための図である。 通常モードにおける第２の表示態様について説明するための図である。 通常モードにおける第３の表示態様について説明するための図である。 通常モードにおける第４の表示態様について説明するための図である。 通常モードにおける第５の表示態様について説明するための図である。 通常モードにおける第６の表示態様について説明するための図である。 交差点モードにおける第１の表示態様について説明するための図である。 交差点モードにおける第２の表示態様について説明するための図である。 合流モードにおける第１の表示態様について説明するための図である。 合流モードにおける第２の表示態様について説明するための図である。 合流モードにおける第３の表示態様について説明するための図である。 合流モードにおける第４の表示態様について説明するための図である。 狭路通過モードにおける第１の表示態様について説明するための図である。 狭路通過モードにおける第２の表示態様について説明するための図である。 狭路通過モードにおける第３の表示態様について説明するための図である。 緊急回避モードにおける第１の表示態様について説明するための図である。 実施形態の運転支援装置１００よって実行される処理の流れの一例を示すフローチャートである。

以下、図面を参照し、本発明の運転支援装置、運転支援方法、およびプログラムの実施形態について説明する。なお、以下では、左側通行の法規が適用される場合について説明するが、右側通行の法規が適用される場合、左右を逆に読み替えればよい。

［全体構成］
図１は、実施形態に係る運転支援装置を利用した車両システム１の構成図である。車両システム１が搭載される車両（以下、自車両Ｍ）は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。また、以下では、一例として、運転支援装置が自動運転車両に適用されてもよい。自動運転とは、例えば、自動的に自車両Ｍの操舵または加減速のうち、一方または双方を制御して運転制御を実行することである。自車両Ｍの運転制御には、例えば、ＡＣＣ（Adaptive Cruise Control）や、ＡＬＣ（Auto Lane Changing）、ＬＫＡＳ（Lane Keeping Assistance System）、ＦＣＷ（Forward Collision Warning）、ＣＭＢＳ（Collision Mitigation Braking System）といった種々の運転支援が含まれてよい。自動運転車両は、乗員（運転者）の手動運転によって一部または全部の運転が制御されることがあってもよい。

車両システム１は、例えば、カメラ（撮像部の一例）１０と、レーダ装置１２と、ＬＩＤＡＲ（Light Detection and Ranging）１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ドライバモニタカメラ７０と、運転操作子８０と、運転支援装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４を組み合わせたものが「外界センサＥＳ」の一例である。外界センサＥＳには、車両の周辺状況を認識する他の検出部（例えば、ソナー）が含まれていてもよく、物体認識装置１６が含まれていてもよい。また、外界センサＥＳは、カメラ１０のみの構成や、カメラ１０およびレーダ装置１２のみといった簡易な構成であってもよい。ＨＭＩ３０は、「出力装置」の一例である。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、自車両Ｍの任意の箇所に取り付けられる。例えば、自車両Ｍの前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。また、自車両Ｍの後方を撮像する場合、カメラ１０は、リアウインドシールド上部やバックドア等に取り付けられる。また、自車両Ｍの側方および後側方を撮像する場合、カメラ１０は、ドアミラー等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波等の電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ＬＩＤＡＲ１４は、自車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、自車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、外界センサＥＳに含まれるカメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度等を認識する。物体認識装置１６は、認識結果を運転支援装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４の検出結果をそのまま運転支援装置１００に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。

通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）等を利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、ＨＭＩ制御部１４０の制御により自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、例えば、表示装置３２を備える。表示装置３２は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）表示装置等である。表示装置３２は、例えば、インストルメントパネルにおける運転席（ステアリングホイールに最も近い座席）の正面付近に設けられ、乗員がステアリングホイールの間隙から、或いはステアリングホイール越しに視認可能な位置に設置される。また、表示装置３２は、インストルメントパネルの中央に設置されてもよい。また、表示装置３２は、ＨＵＤ（Head Up Display）であってもよい。ＨＵＤは、運転席前方のフロントウインドシールドの一部に画像を投影することで、運転席に着座した乗員の眼に虚像を視認させる。表示装置３２は、後述するＨＭＩ制御部１４０によって生成される画像を表示する。また、ＨＭＩ３０は、例えば、スピーカ、スイッチ、マイク、ブザー、タッチパネル、キー等が含まれてよい。また、ＨＭＩ３０には、自動運転と乗員による手動運転とを相互に切り替える運転切替スイッチ等が含まれてもよい。スイッチには、例えば、ウインカスイッチ（方向指示器）が含まれる。ウインカスイッチは、例えば、ステアリングコラム、またはステアリングホイールに設けられる。ウインカスイッチは、例えば、乗員による自車両Ｍの車線変更の指示を受け付ける操作部の一例である。また、スイッチには、自車両Ｍの設定速度を調整するためのスイッチが含まれてもよい。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。また、車両センサ４０には、自車両Ｍの操舵角（操舵輪の角度でもよいし、ステアリングホイールの操作角度でもよい）を検出する操舵角センサが含まれてよい。また、車両センサ４０には、自車両Ｍの位置を取得する位置センサが含まれてよい。位置センサは、例えば、ＧＰＳ（Global Positioning System）装置から位置情報（経度・緯度情報）を取得するセンサである。また、位置センサは、ナビゲーション装置５０のＧＮＳＳ（Global Navigation Satellite System）受信機５１を用いて位置情報を取得するセンサであってもよい。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、地図情報５４を参照して決定する。地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。また、地図情報５４には、例えば、車線の中央の情報あるいは車線の境界の情報等が含まれてよく、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。地図情報５４は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ドライバモニタカメラ７０は、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラである。ドライバモニタカメラ７０は、自車両Ｍの運転席に着座した乗員（以下、運転者）の頭部を正面から（顔面を撮像する向きで）撮像可能な位置および向きで、自車両Ｍにおける任意の箇所に取り付けられる。例えば、ドライバモニタカメラ７０は、自車両Ｍのインストルメントパネルの中央部に設けられたディスプレイ装置の上部に取り付けられる。ドライバモニタカメラ７０は、配置された位置から自車両Ｍの運転者を含む車室内を撮影した画像を、運転支援装置１００に出力する。

運転操作子８０は、例えば、ステアリングホイールの他、アクセルペダル、ブレーキペダル、シフトレバー、その他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、運転支援装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。ステアリングホイールは、「運転者による操舵操作を受け付ける操作子」の一例である。操作子は、必ずしも環状である必要は無く、異形ステアリングやジョイスティック、ボタン等の形態であってもよい。ステアリングホイール８２には、ステアリング把持センサ８４が取り付けられている。ステアリング把持センサ８４は、静電容量センサ等により実現され、運転者がステアリングホイール８２を把持している（力を加えられる状態で接していることをいう）か否かを検知可能な信号を運転支援装置１００に出力する。また、ステアリングホイールは、運転支援装置１００の制御により、乗員（運転者）に所定方向に操舵させるため（または所定方向に操舵させないため）の反力を与える機構が設けられていてもよい。

運転支援装置１００は、例えば、認識部１１０と、判定部１２０と、運転制御部１３０と、ＨＭＩ制御部１４０と、記憶部１５０とを備える。認識部１１０と、判定部１２０と、運転制御部１３０と、ＨＭＩ制御部１４０とは、それぞれ、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め運転支援装置１００のＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで運転支援装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。ＨＭＩ制御部１４０は、「表示制御部」の一例である。

記憶部１５０は、上記の各種記憶装置、或いはＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現されてもよい。記憶部１５０は、例えば、プログラム、その他の各種情報等が格納される。また、記憶部１５０には、例えば、地図情報５４が格納されていてもよい。

認識部１１０は、外界センサＥＳから入力された情報に基づいて、自車両Ｍの周辺（自車両Ｍから所定距離以内）に存在する物体の位置、および速度、加速度等の状態を認識する。物体とは、例えば、他車両や、自転車、歩行者等の交通参加者である。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心等）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。また、認識部１１０は、物体の大きさや形状、色等の特徴情報に基づいて物体の種類（他車両、自転車、歩行者）等を認識してもよい。

また、認識部１１０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１１０は、カメラ１０によって撮像されたカメラ画像から自車両Ｍの左右の区画線を認識し、認識した区画線の位置に基づいて走行車線を認識する。なお、認識部１１０は、区画線に限らず、路肩、縁石、中央分離帯、ガードレール、フェンス、壁等を含む車線位置を特定可能な物標（走路境界、道路境界）を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１１０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識してもよい。

認識部１１０は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。認識部１１０は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１１０は、走行車線の何れかの側端部（区画線または道路境界）に対する自車両Ｍの基準点の位置等を、走行車線に対する自車両Ｍの相対位置として認識してもよい。なお、認識部１１０による走行車線の認識や走行車線に対する自車両Ｍの位置や姿勢の認識は、後述する特定部１５３により実行されてよい。

また、認識部１１０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示等がある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。

また、認識部１１０は、ドライバモニタカメラ７０の撮像画像を解析し、解析結果に基づいて自車両Ｍの乗員（特に運転者）の視線方向を認識する。

判定部１２０は、認識部１１０による認識結果に基づいて、運転制御部１３０が実行すべき自車両Ｍの走行状態（走行モード）を判定する。自車両Ｍの走行モードには、例えば、少なくとも道路の延伸方向（進行可能方向）に沿って走行する道なり走行モード（第１モードの一例）、自車両Ｍが交差点を走行する交差点モード（第２モードの一例）、自車両Ｍが合流区間を走行する合流モード（第３モードの一例）、自車両Ｍが道路の幅員が所定値未満の道路を通過する狭路通過モード（第４モードの一例）、および自車両Ｍと物体との接触を回避するための緊急回避モード（第５モードの一例）が含まれる。道なり走行モードは、「通常モード」の一例である。また、合流モードには、自車両Ｍが走行車線から隣接車線に車線変更を行うモード（車線変更モード）が含まれてよい。判定部１２０は、認識部１１０により認識され自車両Ｍの周辺の物体との位置関係や、地図情報５４から得られる自車両Ｍの周辺の道路情報に基づいて、自車両Ｍの走行モードを判定する。また、判定部１２０は、自車両Ｍの走行モードに対応付けられた表示モードを判定してもよい。また、判定部は、自車両Ｍと周辺物体との相対距離や相対速度、移動方向等に基づいて、自車両Ｍと周辺物体とが接触するか否かを判定したり、接近度合が閾値以上であるか否かを判定してもよい。判定部１２０の機能の詳細については後述する。

運転制御部１３０は、自車両Ｍの乗員による自車両Ｍの運転操作または自車両Ｍの走行を制御する。例えば、運転制御部１３０は、判定部１２０により判定された自車両Ｍの走行状態に対応する運転支援を実行する。運転支援には、例えば、乗員に所定方向へ操舵操作を実行させるために運転操作子８０のステアリングホイールに対して所定のトルク反力を付与する制御や、自車両Ｍと物体との接触を回避する制御、自車両Ｍを走行車線から隣接車線へ車線変更させる制御等が含まれてよい。また、運転制御部１３０は、自車両Ｍの乗員（特に運転者）が自車両Ｍの走行状態に応じた適切な運転ができるように、自車両Ｍの走行状態に応じた情報をＨＭＩ制御部１４０によりＨＭＩ３０から出力させてもよい。

ＨＭＩ制御部１４０は、ＨＭＩ３０により、乗員に所定の情報を通知したり、ＨＭＩ３０を介して操作された乗員の操作内容を取得する。所定の情報には、例えば、自車両Ｍの状態に関する情報や運転制御に関する情報等の自車両Ｍの走行に関連のある情報が含まれる。自車両Ｍの状態に関する情報には、例えば、自車両Ｍの速度、エンジン回転数、シフト位置等が含まれる。また、運転制御に関する情報には、例えば、車線変更を行うか否かの問い合わせや、上述した各走行モード（第１モード～第５モード）の実行の有無、運転モードの変更に関する情報、運転モードを切り替えるために必要な乗員に課される情報（乗員に対するタスク要求情報）に関する情報等が含まれる。また、所定の情報には、テレビ番組、ＤＶＤ等の記憶媒体に記憶されたコンテンツ（例えば、映画）等の自車両Ｍの走行制御に関連しない情報が含まれてもよい。また、所定の情報には、例えば、自車両Ｍの現在位置や目的地、燃料の残量に関する情報、自車両Ｍの走行車線が特定できているか否かを示す情報、走行モードが切り替わるまでの残距離、車線増減方向、増減レーン数、走行車線に並走する車線数（並走レーン数）等が含まれてよい。

例えば、ＨＭＩ制御部１４０は、上述した所定の情報を含む画像を生成し、生成した画像をＨＭＩ３０の表示装置３２に表示させてもよく、所定の情報を示す音声を生成し、生成した音声をＨＭＩ３０のスピーカから出力させてもよい。例えば、ＨＭＩ制御部１４０は、認識部１１０により認識された周辺状況に基づいて複数のモードのうち何れかのモードに対応する表示モードの画像を表示装置３２に表示させる。例えば、ＨＭＩ制御部１４０は、少なくとも、自車両Ｍに擬した画像、自車両Ｍの周辺の物体の位置を示す画像、自車両Ｍが進行すべき方向を示す画像、自車両Ｍの車線変更先の目標位置、乗員が注視すべき方向を示す画像、加速または減速を促す画像、および乗員に操舵操作を促す画像のうち、認識部により認識された周辺された周辺状況に基づいて遷移された表示モードに基づいて、表示する画像を選択して生成し、生成した画像を表示装置３２に表示させる。なお、自車両Ｍが進行すべき方向や自車両Ｍの乗員が注視すべき方向は、例えば、所定の認識モデルにより認識された物体の自車両Ｍに対する位置等に基づいて取得されてもよく、過去の走行履歴等に含まれる周辺状況に応じた熟練ドライバによる運転内容や視線方向等のデータから学習された学習済モデルに現在の自車両Ｍの周辺状況等を入力することで取得される。また、ＨＭＩ制御部１４０は、ＨＭＩ３０により受け付けられた情報を通信装置２０、ナビゲーション装置５０、運転制御部１３０等に出力してもよい。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、運転支援装置１００から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、運転支援装置１００から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、運転支援装置１００から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、運転支援装置１００から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。また、ステアリング装置２２０は、運転支援装置１００の制御により、乗員の運転操作により、所定の方向にステアリングホイールを回転させるように（所定の方向い回転させないように）トルク反力を付与してもよい。

［判定部］
次に、判定部１２０の機能の詳細について説明する。図２は、判定部１２０の機能を説明するための図である。図２の例では、上述した自車両Ｍの走行状態を示す５つのモード（通常モード（第１モード）、交差点モード（第２モード）、合流モード（第３モード）、狭路通過モード（第４モード）、緊急回避モード（第５モード））が示されている。例えば、判定部１２０は、通常モード（道なり走行モード）を基準として、所定の遷移条件を満たす場合に、条件に応じたモードに遷移させると判定し、遷移させたモードにおいて所定の復帰条件を満たす場合に、通常モードに遷移させると判定する。走行状態が各モードへ遷移した判定された場合に、運転制御部１３０は、ＨＭＩ制御部１４０に対し、判定結果に基づく表示モードに対応付けられた画像を生成させ、生成させた画像を表示装置３２に表示させる。以下、図２に示す各モードへの遷移条件および復帰条件について説明する。なお、図２の例では、通常モードから他のモードへの遷移条件および他のモードから通常モードへの復帰条件が設定されているが、通常モードを介さずに各モード間の遷移条件や復帰条件が設定されてよい。

＜通常モード（道なり走行モード）＞
通常モードは、自車両Ｍが走行する道路（車線）の形状が、交差点や合流車線、狭路等の所定の道路形状ではなく、且つ自車両Ｍと他車両とが接触する可能性が小さいと判定される場合の走行モードである。また、通常モードは、他のモードへの遷移条件を満たさない場合や、他のモードのおける復帰条件を満たした場合の走行モードであってもよい。判定部１２０は、例えば、自車両Ｍが走行する道路の形状を、自車両Ｍの位置情報に基づいて地図情報（地図情報５４）を参照することで取得してもよく、外界センサＥＳによる検出結果に基づいて取得してもよい。

通常モードを実行する場合、ＨＭＩ制御部１４０は、自車両Ｍに擬した画像を表示させ、更に自車両Ｍとの接近度合（接触する可能性の高さを示す指標値）が閾値以上（接触する可能性は小さいが相対距離が所定距離未満）の物体が存在する場合に乗員が注視すべき方向を示す画像を表示させ、自車両Ｍとの接近度合が閾値未満（接触する可能性が小さいが相対距離が所定距離以上）の物体が存在する場合に、自車両Ｍに対する物体の相対位置を示す画像を表示させる。

例えば、図２の道路ＲＤ１に示すように、自車両Ｍの前方に他車両ｍ１が存在する場合に、自車両Ｍの位置を基準にしたときの他車両ｍ１の位置を示す画像を表示装置３２に表示させたり、他車両ｍ１と接触しない経路を生成して表示装置３２に表示させてもよい。また、運転制御部１３０は、図２の道路ＲＤ２に示すように、自車両ｍ１を追い越す自転車等の物体（交通参加者）ＯＢ１が存在する場合に、自車両Ｍの位置を基準したときの他車両Ｍや物体ＯＢ１の位置や方向を示す画像を表示装置３２に表示させたり、自車両ｍ１や物体ＯＢ１を接触せずに追い越すための経路を示す画像を表示装置３２に表示させてもよい。運転制御部１３０は、自車両Ｍの操舵または速度のうち一方または双方を制御して、自車両Ｍが物体と接触しないような運転制御を行ってもよい。

＜交差点モード＞
通常モードから交差点モードへ遷移する条件（遷移条件Ａ）としては、例えば、自車両Ｍの位置に基づいて地図情報（地図情報５４）を参照し、自車両Ｍの進行方向であって、自車両Ｍから所定距離以内に交差点が存在することである。また、遷移条件Ａには、上記条件に加えて乗員の操作によりＨＭＩ３０のウインカスイッチが作動して左右何れかのウインカが点灯（点滅）している場合であってもよい。判定部１２０は、地図情報を参照することに代えて（または加えて）、外界センサＥＳによる検出結果に基づいて、自車両Ｍが交差点を走行するか否かを判定してもよい。判定部１２０により交差点モードに遷移させるとされた場合、運転制御部１３０は、自車両Ｍの走行モードを交差点モードに遷移させる。

交差点モードに遷移された場合、ＨＭＩ制御部１４０は、自車両Ｍに擬した画像を生成し、更に交差点内に接触する可能性がある物体が存在する場合に、自車両Ｍに対する物体の相対位置を示す画像を生成し、物体が自車両Ｍの進行方向に位置する場合に、乗員が注視すべき方向を示す画像を生成して、生成した画像を表示装置３２に表示させる。

例えば、ＨＭＩ制御部１４０は、図２の道路ＲＤ３に示すように、自車両Ｍの右折時に交差点を通行する他の自転車等の物体（交通参加者）ＯＢ１の位置を示す画像を表示装置３２に表示させたり、道路ＲＤ４に示すように、自車両Ｍの左折時に交差点付近を通行する他の自転車等の物体（交通参加者）ＯＢ２の位置を示す画像を表示装置３２に表示させる。

また、交差点モードから通常モードに復帰する条件（復帰条件Ａ）としては、例えば、自車両Ｍの位置が交差点から所定距離以上離れたことである。更に、復帰条件Ａとして、自車両Ｍが合流区間や狭路を走行してなく、且つ他の物体との接触可能性が高くない場合が含まれてよい。運転制御部１３０は、自車両Ｍの操舵または速度のうち一方または双方を制御して、自車両Ｍが物体と接触しないような運転制御を行ってもよい。

＜合流モード＞
通常モードから合流モードへ遷移する条件（遷移条件Ｂ）としては、例えば、自車両Ｍが同方向進行可能な複数の車線を含む道路を道なりに走行している場合、または現在走行中の車線が別車線に合流することを認識している場合であって、且つ乗員の操作によりＨＭＩ３０のウインカスイッチが作動して左右何れかのウインカが点灯（点滅）している場合である。また、遷移条件Ｂには、上記条件に加えて自車両Ｍの走行する道路が交差点付近でない場合が含まれてよい。更に判定部１２０は、自車両Ｍの位置に基づいて地図情報を参照し、自車両Ｍの進行方向であって、自車両Ｍから所定距離以内に合流区間が存在する場合に合流モードとし、所定距離以内に合流区間が存在しない場合に車線変更モードとして、更に細分化して判定してもよい。また、判定部１２０は、地図情報を参照することに代えて（または加えて）、外界センサＥＳによる検出結果に基づいて、自車両Ｍが合流区間を走行するか否かを判定してもよい。

合流モードに遷移した場合、ＨＭＩ制御部１４０は、自車両Ｍに擬した画像を表示させ、更に車線変更先の車線を走行中の他車両を第１所定色の画像で表示させると共に、車線変更先の目標位置（ターゲット位置）を示す画像を第２所定色の画像で表示させる。また、ＨＭＩ制御部１４０は、自車両Ｍに擬した画像に対して自車両Ｍが車線変更する側に第１所定色の画像と第２所定色の画像とを並べて表示させる。また、ＨＭＩ制御部１４０は、自車両Ｍと目標位置との位置関係に基づいて自車両Ｍを加速または減速させる画像を表示させてもよい。

例えば、ＨＭＩ制御部１４０は、図２の道路ＲＤ５、ＲＤ６に示すように、自車両Ｍの周辺に存在する他車両ｍ１、ｍ２と接触しないように、合流車線から本線へ車線変更したり、走行車線から隣接車線に車線変更する運転を支援するための画像を表示装置３２に表示させる。

運転制御部１３０は、自車両Ｍの操舵または速度のうち一方または双方を制御して、自車両Ｍが物体と接触しないような運転制御を行ってもよい。また、運転制御部１３０は、乗員に自車両Ｍを車線変更させるための操舵操作を誘導する制御を行ってもよい。この場合、運転制御部１３０は、乗員により操作されるステアリングホイールに対する反力によって、乗員による車線変更させるための操舵を誘導する操作を行う。

また、合流モードから通常モードに復帰する条件（復帰条件Ｂ）としては、例えばウインカの点灯が終了した場合である。また、他の条件としては、自車両Ｍの位置が合流区間から所定距離以上離れたことであってもよい。更に、復帰条件Ｂとして、自車両Ｍが交差点付近や狭路を走行してなく、且つ他の物体との接触可能性がない場合が含まれてよい。

＜狭路通過モード＞
通常モードから狭路通過モードへ遷移する条件（遷移条件Ｃ）としては、例えば、自車両Ｍの道路の幅員が所定値未満である場合である。また、遷移条件Ｃとしては、例えば、図２の道路ＲＤ７、ＲＤ８に示すように、自車両Ｍの前方に存在する物体を避けて走行する場合または対面走行する物体とすれ違う場合であって、物体までの距離が所定距離未満且つ自車両Ｍと物体との接触余裕時間ＴＴＣ（Time To Collision）が閾値以上である場合である。更に、遷移条件Ｃとして、自車両Ｍの走行可能領域として認識される領域の最低幅が所定値未満である場合（例えば、道路左端から右折待ち車両の最左端までの水平距離が所定値未満である場合）等が含まれてもよい。接触余裕時間ＴＴＣは、例えば、自車両Ｍと物体との関係において、相対距離から相対速度を除算することで算出される値である。閾値は、例えば固定値であってもよく、自車両Ｍの速度や物体の速度、道路状況等によって設定される可変値であってもよい。また、遷移条件Ｃには、自車両Ｍの速度が所定速度未満であることが含まれてもよい。

例えば、判定部１２０は、図２の道路ＲＤ８に示すように、自車両Ｍの前方に存在する右折待ちまたは左折待ちで停車している他車両ｍ１が認識され、自車両Ｍ（または他車両ｍ１）の走行車線の左側に隣接車線が存在しない場合に、狭路通過モードに遷移すると判定する。なお、他車両ｍ１が左折待ちで停車している場合であって、自車両Ｍの走行車線の右側に隣接車線が存在しない場合、または隣接車線はあるものの工事中であったり、車列等により隣接車線に自車両Ｍが入るスペースがない場合も狭路通過モードに遷移すると判定する。

狭路通過モードに遷移した場合、ＨＭＩ制御部１４０は、自車両Ｍに擬した画像を表示させ、更に自車両Ｍの周辺に物体が存在する場合に、自車両Ｍが進行すべき方向を表示させると共に、乗員に操舵操作を促す画像を表示させる。例えば、ＨＭＩ制御部１４０は、道路ＲＤ７や道路ＲＤ８に示す場面において、自車両Ｍの周辺に存在する他車両ｍ１、ｍ２と接触しないように、狭路を通過するための運転を支援するための画像を表示装置３２に表示させる。運転制御部１３０は、他車両ｍ１、ｍ２との接触を回避するための操舵制御や速度制御を実行してもよい。また、運転制御部１３０は、乗員に自車両Ｍと物体との接触を回避するための操舵操作を誘導する制御を行ってもよい。この場合、運転制御部１３０は、乗員により操作されるステアリングホイールに対する反力によって、乗員による操舵を誘導する操作を行う。

また、狭路通過モードから通常モードに復帰する条件（復帰条件Ｃ）としては、例えば、自車両Ｍが走行する道路の幅員が所定値以上である場合である。また、復帰条件Ｃとしては、自車両Ｍと他車両ｍ１とがすれ違ってから所定距離以上離れている場合や、自車両Ｍの速度が所定速度以上である場合が含まれてよい。更に復帰条件Ｃとして、自車両Ｍの走行可能領域として認識される領域の最低幅が所定値以上である場合（例えば、右折待ち車両の横を通過しようとして狭路通過モードが起動している際に、右折待ち車両が右折を完了し、走行可能領域が増加して最低幅が所定値以上となった場合）等が含まれてもよい。

＜緊急回避モード＞
通常モードから緊急回避モードへ遷移する条件（遷移条件Ｄ）としては、例えば、自車両Ｍと周辺に存在する物体との接触余裕時間ＴＴＣが閾値未満である場合である。なお、運転制御部１３０によって、自車両Ｍと周辺に存在する物体との接触余裕時間ＴＴＣが第１閾値未満である場合に前方接触予測警報（ＦＣＷ）等の運転支援が実行されたり、接触余裕時間ＴＴＣが第１閾値よりも小さい第２閾値未満である場合に、接触軽減ブレーキ（ＣＭＢＳ）等の運転支援が実行された場合に、何れかの運転支援が実行されたことを遷移条件Ｄに含めてもよい。

緊急回避モードに遷移した場合、ＨＭＩ制御部１４０は、自車両Ｍに擬した画像を表示させ、更に自車両Ｍに擬似画像に対して自車両が進行すべき方向を示す画像を表示させると共に、自車両Ｍに擬した画像の周囲の自車両Ｍが進行すべき方向以外の領域を第１モードから第４モードで表示される背景色とは異なる背景色で表示させる。

また、ＨＭＩ制御部１４０は、図２の道路ＲＤ９に示すように、自車両Ｍの前方に進入する自転車等の物体ＯＢ１、ＯＢ２と自車両Ｍとの接触を回避するための運転を支援するための画像を表示装置３２に表示させる。運転制御部１３０は、自車両Ｍの操舵または速度のうち一方または双方を制御して、自車両Ｍが物体と接触しないような運転制御を行ってもよい。

また、緊急回避モードから通常モードに復帰する条件（復帰条件Ｄ）としては、例えば、自車両Ｍと物体との接触余裕時間ＴＴＣが閾値以上である場合である。また、復帰条件Ｄには、自車両Ｍが交差点や合流区間、狭路等を走行していない場合が含まれてよい。

［各モードに対応して表示される画像について］
次に、上述した各モードにおいて表示される画像の一例について説明する。
＜通常モード：第１の表示態様＞
図３は、通常モードにおける第１の表示態様について説明するための図である。図３には、通常モードの実行時にＨＭＩ制御部１４０により生成され、表示装置３２に表示される画像ＩＭ１０Ａと、画像ＩＭ１０Ａに示す内容が表示される自車両Ｍの走行状態とが示されている。なお、画像ＩＭ１０Ａに含まれる表示内容やレイアウトについては、これに限定されるものではない。以降の図面の説明についても同様とする。

図３の例において、自車両Ｍは、車線Ｌ１、Ｌ２および歩道ＳＷ１、ＳＷ２を含む道路ＲＤ１１を延伸方向に向かって道なりに走行している走行しているものとする。また、領域ＶＡ１は、認識部１１０により認識された自車両Ｍの乗員（運転者）の視線方向を示している。

通常モードを実行している場合、ＨＭＩ制御部１４０は、自車両Ｍに擬した第１画像ＩＭ１１と、自車両Ｍの周囲（３６０度）を所定の基準（例えば等間隔）で１６分割した第２画像（方位画像）ＩＭ１２－１～ＩＭ１２－１６とを含む画像ＩＭ１０Ａを生成する。通常モードにおける第１画像ＩＭ１１は、後方から見た自車両Ｍに擬した画像である。また、第２画像ＩＭ１２－１～１２－１６のそれぞれには、自車両Ｍに最も近い領域ＡＲ１と、最も遠い領域ＡＲ３と、領域ＡＲ１とＡＲ３の間の領域ＡＲ２とを有する。第２画像ＩＭ１２－１～１２－１６は、所定の背景色（第１の背景色）で表示されている。

ＨＭＩ制御部１４０は、図３に示すように走行状態である場合に、認識部１１０により認識された周辺状況に基づいて自車両Ｍが物体と接触する可能性がなく自車両Ｍが進行できる方向に対応させた第２画像ＩＭ１２－１、ＩＭ１２－２、ＩＭ１２－１６を他の第２画像ＩＭ１２－３～ＩＭ１２－１５と異なる色（第１の強調色、例えば青）で表示させる。これにより、乗員（運転者）に自車両Ｍが物体と接触する可能性がない方向を認識させ易くすることができる。

＜通常モード：第２の表示態様＞
図４は、通常モードにおける第２の表示態様について説明するための図である。図４の例では、図３に示す走行状態と比較して、歩道ＳＷ１に物体（例えば、歩行者）ＯＢ１が存在する点で相違する。物体ＯＢ１は、認識部１１０により歩行者であると認識されており、歩行者は歩道ＳＷ１から車線Ｌ１に進入する可能性が低い。自車両Ｍと物体ＯＢ１との相対距離は所定距離以上である。したがって、物体ＯＢ１は、自車両Ｍとの接近度合が閾値未満の物体であると判断される。この場合、ＨＭＩ制御部１４０は、自車両Ｍから見た物体ＯＢ１の相対位置および物体ＯＢ１が存在する方向に基づいて、第２画像ＩＭ１２－１～１２－１６のうち、物体ＯＢ１が存在する方向の第２画像ＩＭ１２－１４であって、且つ第２の画像ＩＭ１２－１４の領域ＡＲ１～ＡＲ３のうち、自車両Ｍとの距離に対応する領域ＡＲ２を他の第２画像および他の領域と識別可能な色（第２の強調色、例えば緑）で表示させる画像ＩＭ１０Ｂを生成する。図４の例では、歩行者ＯＢ１が歩道ＳＷ１から車線Ｌ１に進入する可能性や自車両Ｍと接触する可能性が低いため、自車両Ｍに対する物体ＯＢ１の相対位置に対応させて物体ＯＢ１の位置を示す画像を第１の強調色よりも強調しない第２の強調色で表示させる。

＜通常モード：第３の表示態様＞
図５は、通常モードにおける第３の表示態様について説明するための図である。図５の例では、図３に示す走行状態と比較して、自車両Ｍが走行する車線Ｌ１上における自車両Ｍの前方に他車両ｍ１が存在する場面であって、自車両Ｍの他車両ｍ１との距離が所定距離以上離れている場面における表示態様を示すものである。なお、図５の例では、認識部１１０の認識結果によって、第２画像ＩＭ１２－１６の方向に存在する他車両を認識している場面を示している。

この場合、ＨＭＩ制御部１４０は、第２画像ＩＭ１２－１～ＩＭ１２－１６のうち、自車両Ｍが物体と接触する可能性がない方向を示す第２画像ＩＭ１２－１、１２－２を第１の強調色で表示させると共に、乗員の視線方向が他車両ｍ１の方向を向いている場合に他車両ｍ１の方向に相当する第２画像ＩＭ１２－１６の領域ＡＲ１～ＡＲ３のうち、２つの領域ＡＲ２，ＡＲ３を第２画像ＩＭ１２－１～ＩＭ１２－１５と異なる色（第３の強調色：例えば、橙色）で表示させる画像ＩＭ１０Ｃを生成する。なお、他車両ｍ１は、自車両Ｍが走行する車線Ｌ１上に存在するため、自車両Ｍと接触する可能性がある。そのため、第３の強調色で２つの領域を表示させることで、１つの領域を表示させる場合に比して、乗員に注意を向けさせ易くすることができる。なお、第３の表示態様において、乗員の視線方向が他車両ｍ１の方向を向いていない場合には、ＨＭＩ制御部１４０は、後述する通常モードの第６の表示態様で示すように、第４の強調色（例えば赤色）で他車両ｍ１の方向に相当する第２画像ＩＭ１２を表示させる。

＜通常モード：第４の表示態様＞
図６は、通常モードにおける第４の表示態様について説明するための図である。図６の例では、図５に示す走行状態と比較して、自車両Ｍが他車両ｍ１を追い越すために、車両Ｍを道路ＲＤ１１の延伸方向に対して右側に傾けて走行させるための指示を表示する場面を示すものである。なお、図６の例では、自車両Ｍの乗員の視線方向ＶＡ１は、他車両ｍ１を含まない方向を向いているものとする。また、図６に示す場面では、自車両と他車両ｍ１との接近度合が閾値以上であるものとする。この場合、ＨＭＩ制御部１４０は、第２画像ＩＭ１２－１～ＩＭ１２－１６のうち、自車両Ｍが向かうべき進路方向に相当する第２画像ＩＭ１２－２を第１の強調色で表示させる。なお、自車両Ｍが向かうべき進路方向とは、自車両Ｍが物体と接触する可能性（接触リスク）が閾値未満で進行可能な方向を含む。また、ＨＭＩ制御部１４０は、乗員が注視すべき方向を示す画像として、自車両Ｍから見た他車両ｍ１の方向に相当する第２画像ＩＭ１２－１６、ＩＭ１２－１の領域ＡＲ１～ＡＲ３のうち、２つの領域ＡＲ２，ＡＲ３を第３の強調色で表示させる画像ＩＭ１０Ｄを生成する。第３の表態様と比較して第３の強調色で表示される領域が増えることで、他車両ｍ１が自車両Ｍに接近していることおよび乗員が注視すべき方向をより明確に乗員に通知することができる。なお、図６に示す場面は、乗員が一度他車両ｍ１を認識した後の面であるため、上記「乗員が注視すべき方向」は、「乗員が注意を払うべき方向」と読み替えてもよい。

＜通常モード：第５の表示態様＞
図７は、通常モードにおける第５の表示態様について説明するための図である。図７の例では、図６に示す走行状態と比較して、自車両Ｍが他車両ｍ１を追い越した後、車線Ｌ１の中央に移動するための方向を指示する場面を示すものである。なお、図７の例では、自車両Ｍの乗員の視線方向ＶＡ１は、他車両ｍ１を含まない方向を向いているものとする。

この場合、ＨＭＩ制御部１４０は、第２画像ＩＭ１２－１～ＩＭ１２－１６のうち、自車両Ｍが進行すべき方向に対応する第２画像ＩＭ１２－１６を第１の強調色で表示させると共に、自車両Ｍから見た他車両ｍ１の存在する方向に相当する第２画像ＩＭ１２－１１の領域ＡＲ１～ＡＲ３のうち、自車両Ｍと他車両ｍ１との距離に応じて設定される１つの領域ＡＲ２を第３の強調色で表示させる画像ＩＭ１０Ｅを生成する。第５の表示態様では、すでに自車両Ｍが他車両ｍ１を追い越しているため、自車両Ｍと他車両ｍ１が接触する可能性が低い（接近度合が閾値未満である）。そのため、ＨＭＩ制御部１４０は、第２画像ＩＭ１２－１１の領域ＡＲ１～ＡＲ３のうち、他車両ｍ１の位置に相当する１つの領域ＡＲ２のみを第３の強調色で表示させる。これにより、他車両ｍ１との接触は低いものの、自車両Ｍの近くに他車両ｍ１が存在することを乗員に把握させ易くすることができる。

＜通常モード：第６の表示態様＞
図８は、通常モードにおける第６の表示態様について説明するための図である。図８の例では、自車両Ｍの進行方向（視線方向ＶＡ１）付近に、他の物体ＯＢ１、ＯＢ２が存在する場面を示すものである。他の物体ＯＢ１、ＯＢ２は、例えば、歩行者や自転車等の交通参加者である。また、他の物体ＯＢ１、ＯＢ２は、自車両Ｍが走行する車線Ｌ１上を移動し、自車両Ｍから所定距離以内に存在する。そのため、運転制御部１３０は、他の物体ＯＢ１、ＯＢ２と自車両Ｍとの接近度合が閾値以上であると判定する。

この場合、ＨＭＩ制御部１４０は、第２画像ＩＭ１２－１～ＩＭ１２－１６のうち、乗員が注視すべき方向を示す画像として、第２画像ＩＭ１２－１、ＩＭ１２－２、ＩＭ１２－１６のそれぞれにおける各領域ＡＲ１～ＡＲ３のうち、自車両Ｍと他の物体ＯＢ１、ＯＢ２の二つの領域に表示された領域ＡＲ２、ＡＲ３を他の第２画像と異なる色（第４の強調色：例えば赤色）で表示させる画像ＩＭ１０Ｆを生成する。第４の強調色は、第１～第３の強調色よりも強調した色である。これにより、自車両Ｍと接触する可能性が高く、乗員が注視すべき物体ＯＢ１、ＯＢ２が存在する方向を乗員に通知することができる。

なお、運転制御部１３０は、図８に示すような場面において、上述した画像１０Ｆを表示させることに加えて、自車両Ｍを減速させたり、停止させる等の速度制御を実行させてもよい。この場合、運転制御部１３０は、自車両Ｍと物体ＯＢ１、ＯＢ２との距離が所定距離以上離れた場合や、物体ＯＢ１、ＯＢ２が車線Ｌ１以外の位置に移動した場合には、減速または停止制御を解除してもよい。

＜交差点モード：第１の表示態様＞
図９は、交差点モードにおける第１の表示態様について説明するための図である。図９の例では、自車両Ｍが車線Ｌ１、Ｌ２と車線Ｌ３、Ｌ４とが交差する交差点付近の道路ＲＤ１２を走行する場面であって、且つ、自車両Ｍが車線Ｌ１から車線Ｌ３に右折する場面を示している。また、図９の例では、乗員の視線方向ＶＡに交差点付近に存在する物体ＯＢ１が含まれてなく、自車両Ｍと物体ＯＢ１とは、それぞれの相対距離や相対速度、移動方向に基づいて、判定部１２０により接触する可能性があると判定されているものとする。

交差点モードで交差点付近を走行する場合、ＨＭＩ制御部１４０は、自車両Ｍの周辺に存在する物体ＯＢ１を特に認識させ易くするため、視線方向ＶＡ１に相当する第２画像ＩＭ１２について強調表示を行わず、自車両Ｍに対して物体ＯＢ１が存在する位置に相当する第２画像ＩＭ１２－４を第４の強調色で表示させる画像ＩＭ１０Ｇを生成する。なお、図９の例では、自車両Ｍと物体ＯＢ１との相対距離に基づいて、第２画像ＩＭ１２－４の領域ＡＲ２のみが第４の強調色で表示されているが、相対距離に応じて領域ＡＲ１や領域ＡＲ３を第４の強調色で表示させてもよい。これにより、進行方向付近に物体が存在することを乗員に通知することができるため、乗員の注視すべき方向に乗員の視線を誘導させて物体ＯＢ１に気付き易くさせることができる。

＜交差点モード：第２の表示態様＞
図１０は、交差点モードにおける第２の表示態様について説明するための図である。図１０の例では、図９の示す第１の表示態様と比較して、乗員の視線方向に物体ＯＢ１が含まれている点で相違する。この場合、ＨＭＩ制御部１４０は、第４の強調色よりも強調度合が低い第３の強調色で物体が存在する位置に相当する第２画像ＩＭ１２－３を表示させる画像ＩＭ１０Ｈを生成する。

図１０の例では、自車両Ｍと物体ＯＢ１との相対距離に基づいて、自車両Ｍから見た物体ＯＢ１の位置に応じた第２画像ＩＭ１２－３の領域ＡＲ２のみが第３の強調色で表示されている、なお、ＨＭＩ制御部１４０は、相対距離が所定距離未満である場合に、第２画像ＩＭ１２－３の領域ＡＲ１や領域ＡＲ３を第３の強調色で表示させてもよい。

＜合流モード：第１の表示態様＞
図１１は、合流モードにおける第１の表示態様について説明するための図である。図１１の例では、走行方向に進行可能が車線Ｌ１、Ｌ２を含む道路ＲＤ１３において、自車両Ｍが車線Ｌ１から車線Ｌ２に車線変更する場面を示している。なお、図１１の例では、自車両Ｍの車線変更先である車線Ｌ２上を他車両ｍ１、ｍ２が走行しているものとする。

この場合、運転制御部１３０は、自車両Ｍと、他車両ｍ１、ｍ２のそれぞれとの相対速度や相対位置を導出し、導出した相対速度や相対位置に基づいて、自車両Ｍの車線変更先とする目標位置（ターゲット位置）を設定する。また、運転制御部１３０は、他車両ｍ１、ｍ２に接触することなく、ターゲット位置に移動するための運転を行うための画像をＨＭＩ制御部１４０に生成させる。

合流モードの第１の表示態様において、ＨＭＩ制御部１４０は、自車両Ｍを擬した第３画像ＩＭ２１と、自車両Ｍの周囲（３６０度）を所定の基準（例えば等間隔）で１２分割した第４画像（方位画像）ＩＭ２２－１～ＩＭ２２－１２と、他車両Ｍの位置を示す第５画像ＩＭ２３－１、ＩＭ２３－２と、ターゲット位置ＴＡ１を示す第６画像ＩＭ２４とを含む画像ＩＭ２０Ａを生成する。第３画像ＩＭ１２は、上から見た自車両Ｍに擬した画像である。また、第４画像ＩＭ２２－１～２２－１２のそれぞれには、自車両Ｍに最も近い領域ＡＲ１と、最も遠い領域ＡＲ３と、領域ＡＲ１とＡＲ３の間の領域ＡＲ２とを有する。

第５画像ＩＭ２３および第６画像ＩＭ２４は、それぞれが識別可能な表示態様で表示されていればよい。第５画像ＩＭ２３は、「第１所定色の画像」の一例であり、第６画像ＩＭ２４は、「第２所定色の画像」の一例である。また、第５画像ＩＭ２３および第６画像ＩＭ２４は、自車両Ｍに擬した第３画像に対して自車両Ｍの車線変更側の位置に並んで表示され、少なくとも一部が第４画像ＩＭ２２上に重畳して表示されてもよい。合流モードにおいて、第４画像ＩＭ２２は、自車両Ｍの加速または減速を示す情報が含まれる。

合流モードにおいては、自車両Ｍに擬した第３画像ＩＭ２１の位置を基準として、他車両Ｍの位置を示す第５画像ＩＭ２３－１、ＩＭ２３－２と、ターゲット位置ＴＡ１を示す第６画像ＩＭ２４を表示させることで、自車両Ｍに対する現在のターゲット位置ＴＡ１を乗員に認識させ易くすることができる。

図１１の例において、自車両Ｍの位置は、ターゲット位置ＴＡ１よりも所定距離以上後方に存在する。したがって、ＨＭＩ制御部１４０は、乗員に自車両Ｍの加速を促す画像を生成する。具体的には、第４画像ＩＭ２２－１～ＩＭ２２－１２のうち、自車両Ｍの加速を促すように、自車両Ｍの前方を示す第４画像ＩＭ２２－１を他の第４画像ＩＭ２２－２～ＩＭ２２－１２と異なる色で表示させる。なお、図１１の例では、所定距離以上離れているため、大きな加速を促すように第４画像ＩＭ２２－１の領域ＡＲ１～ＡＲ３の全てを異なる色で表示される。図１１の例では、領域ＡＲ１が最も濃い色で表示され、領域ＡＲ２、領域ＡＲ３になるにしたがって次第に薄い色で表示しているが、表示態様については、これに限定されない。

＜合流モード：第２の表示態様＞
図１２は、合流モードにおける第２の表示態様について説明するための図である。図１２の例では、図１１の例と比較して、自車両Ｍの位置とターゲット位置が接近している。この場合、ターゲット位置ＴＡ１は、まだ自車両Ｍよりも前方に存在する。したがって、ＨＭＩ制御部１４０は、自車両Ｍの前方を示す第４画像ＩＭ２２－１に含まれる領域ＡＲ１のみを他の第４画像ＩＭ２２－２～ＩＭ２２－１２と異なる色で表示させる画像ＩＭ２０Ｂを生成する。これにより、図１１の第１の表示態様と比較して、残し僅かな加速でよいことは、自車両Ｍがターゲット位置ＴＡ１に接近していることを容易に把握させることができる。

＜合流モード：第３の表示態様＞
図１３は、合流モードにおける第３の表示態様について説明するための図である。図１３の例では、図１２の例と比較して、自車両Ｍの横にターゲット位置が存在する。この場合、自車両Ｍの更なる加速が必要ないため、ＨＭＩ制御部１４０は、第４画像ＩＭ２２－１を他の画像ＩＭ２２－２～ＩＭ２２－１２と異ならせて表示させることを終了する。これにより、乗員は、ターゲット位置ＴＡの横に自車両Ｍが位置付けられていることを容易に把握することができる。したがって、乗員は、自車両Ｍの操舵操作を行い、自車両Ｍを車線Ｌ１から車線Ｌ２に車線変更させることで、ターゲット位置に自車両Ｍを位置付けることができる。また、図１３に示す第３の表示態様になった場合（つまり、自車両Ｍの位置がターゲット位置ＴＡ１の横に位置付けられた場合）、ＨＭＩ制御部１４０は、乗員に車線Ｌ１から車線Ｌ２へ車線変更を指示する情報（例えば、画像や音声）をＨＭＩ３０から出力させてもよい。また、運転制御部１３０は、自車両Ｍの乗員が操作するステリングホイールを右に回転させる（左に回転させない）トルク反力を付加してもよい。

＜合流モード：第４の表示態様＞
図１４は、合流モードにおける第４の表示態様について説明するための図である。図１４の例では、図１１の例と比較して、自車両Ｍに対するターゲット位置ＴＡ１が自車両Ｍより所定距離以上後方である場合に示している。この場合、ＨＭＩ制御部１４０は、乗員に自車両Ｍの減速を促す画像として、第４画像ＩＭ２２－１～ＩＭ２２－１２のうち、自車両Ｍに擬した第３画像ＩＭ２１の後方に位置付けられた第４画像ＩＭ２２－７の各領域ＡＲ１～ＡＲ３を他の第４画像とは異なる色で表示させる画像ＩＭ２０Ｄを生成する。また、ＨＭＩ制御部１４０は、自車両Ｍに対する他車両ｍ１、ｍ２、ターゲット位置ＴＡ１の相対位置に対応付けて、第５画像ＩＭ２３－１、ＩＭ２３－２と、第６画像ＩＭ２４とを、自車両Ｍに擬した第３画像ＩＭ２１の車線変更側の位置であって、且つ自車両ＭかＲなお相対距離に対応する位置に並べて表示させる。

これにより、画像ＩＭ２０Ｄによって自車両Ｍが車線変更するために減速が必要であることを乗員に容易に把握させることができる。なお、ＨＭＩ制御部１４０は、自車両Ｍとターゲット位置ＴＡ１との相対距離が近くなるほど、領域ＡＲ１～ＡＲ３のうち所定の色で強調表示させる領域を少なくしてもよい。これにより、現在の速度からどの程度減速させるのか（減速度合）を乗員に把握させ易くさせることができる。

＜狭路通過モード：第１の表示態様＞
図１５は、狭路通過モードにおける第１の表示態様について説明するための図である。図１５の例では、道路幅Ｗ１が所定幅未満であり、狭路であると判定される道路ＲＤ１４を走行する自車両Ｍと、自車両Ｍに対面して道路ＲＤ１４を走行する他車両ｍ１が示されている。また、図１５の例では、道路ＲＤ１４の両端の外側には、車両が通過できない壁（障害物の一例）ＷＬ１、ＷＬ２が存在しているものとする。

狭路通過モードの第１の表示態様において、ＨＭＩ制御部１４０は、自車両Ｍを擬した第７画像ＩＭ３１と、自車両Ｍの周囲（３６０度）を所定の基準（例えば等間隔）で１２分割した第８画像（方位画像）ＩＭ３２－１～ＩＭ３２－１２とを含む画像ＩＭ３０Ａと、ステアリングホイールを擬した画像ＩＭ４１、ＩＭ４２を含む画像ＩＭ４０Ａとを生成する。画像ＩＭ４０Ａは、乗員に操舵操作を促す画像の一例である。第７画像ＩＭ３１は、第３画像ＩＭ３１と同様に、自車両Ｍを上から見た画像であるが、第３画像ＩＭ２１よりも大きい画像である。狭路通過モードは、低速で走行するため自車両から遠い方の状況は重要視されなくてもよく、更に狭いエリアを走行するため物体と接触する可能性が高い状況となる。そのため、狭路通過モードにおける表示モードで自車両Ｍに擬した画像（第７画像ＩＭ３１）を合流モードでの自車両Ｍに擬した画像（第３画像ＩＭ２１）よりも大きく表示させることで、自車両Ｍを基準とした近くの物体の位置や進むべき方向を、より正確に把握させたり、乗員へ向けて他の態様に比較して近距離域での細かい操作が必要であることを注意喚起することができる。

第８画像ＩＭ３２－１～ＩＭ３２－１２のそれぞれは、上述した３つの領域ＡＲ１～ＡＲ３を有する。また、画像ＩＭ４０Ａは、自車両Ｍの現在の操舵量および操舵方向に合わせて表示される第１ステア画像ＩＭ４１と、自車両Ｍが進むべき方向に合わせた操舵量および操舵方向に合わせて表示される第２ステア画像ＩＭ４２とを含む。なお、ＨＭＩ制御部１４０は、画像ＩＭ３０ＡとＩＭ４０Ａとを所定範囲内に表示させてもよく、自車両Ｍが複数の表示装置３２を有する場合に画像ＩＭ３０ＡとＩＭ４０Ａを異なる表示装置に表示させてもよい。

図１５の例では、自車両Ｍと他車両ｍ１とが接近しており接触する可能性があると判定される。そのため、ＨＭＩ制御部１４０は、乗員に自車両Ｍを左側に移動させるように、第８画像ＩＭ３２－１～ＩＭ３２－１２のうち、自車両Ｍが進行すべき方向を示す第８画像ＩＭ３２－１２の全領域ＡＲ１～ＡＲ３を他の第８画像ＩＭ３２－１～ＩＭ３２－１２とは異なる色で表示させる。

また、ＨＭＩ制御部１４０は、画像ＩＭ４０Ａにおいて、乗員に自車両Ｍのステアリングホイールを左側に回転させるように、第２ステア画像ＩＭ４２を、第１ステア画像ＩＭ４１よりも左側に回転させて表示させる。これにより、自車両Ｍのステアリングホイールを左側に回転させるように乗員に操作を促すことができる。したがって、乗員は、ステアリングホイールを左側に回転させること、および回転量（操舵量）を容易に把握することができる。なお、狭路通過モードにおいて、運転制御部１３０は、乗員に自車両Ｍと他車両ｍ１との接触を回避するための操舵操作を誘導する制御を行ってもよい。この場合、運転制御部１３０は、乗員により操作されるステアリングホイールに対する反力によって、自車両Ｍが進行すべき方向に移動するように乗員による操舵を誘導する操作を行う。

＜狭路通過モード：第２の表示態様＞
図１６は、狭路通過モードにおける第２の表示態様について説明するための図である。図１６の例では、図１５に示す場面と比較して、乗員の操舵操作により、自車両Ｍが左側に移動している点で相違する。この場合、自車両Ｍの実際のステアリングホイールの操舵量および操舵方向と、自車両Ｍが進行すべき方向に対応付けられたステアリングホイールの操舵量および操舵方向とが合致する。そのため、ＨＭＩ制御部１４０により生成される画像ＩＭ４０Ｂには、第２ステア画像ＩＭ４２に第１ステア画像ＩＭ４１が重畳表示されているため、第１ステア画像ＩＭ４１のみが表示される。また、ＨＭＩ制御部１４０により生成される画像ＩＭ３０Ｂには、乗員の視線方向（自車両Ｍの正面方）に対応した第８画像ＩＭ３２－１の全領域ＡＲ１～ＡＲ３を他の第８画像ＩＭ３２－２～ＩＭ３２－１２と異なる色で表示される。

これにより、自車両Ｍが他車両ｍ１と接触しない方向に向かって進行していることを乗員に把握させ易くすることができる。

＜狭路通過モード：第３の表示態様＞
図１７は、狭路通過モードにおける第３の表示態様について説明するための図である。図１７に示す画面は、自車両Ｍが左側に移動したことにより他車両ｍ１とすれ違うことができたものの、道路ＲＤ１４の端部の外側に存在する壁ＷＬ１に接近している（自車両Ｍと壁ＷＬ１との距離が所定距離未満である）場面を示している。この場合、ＨＭＩ制御部１４０は、乗員が注視すべき方向を示す画像として、自車両Ｍから見た壁がある方向に対応する第８画像ＩＭ３２－１２の各エリアのうち、自車両Ｍに近い方の領域ＡＲ１を異なる色で表示させると共に、自車両Ｍが進行すべき方向（具体的には、自車両Ｍと壁ＷＬ１との接触を回避する方向）を示す第８画像ＩＭ３２－２の全領域ＡＲ１～ＡＲ３を、他の領域と異なる色で表示させた画像ＩＭ３０Ｃを生成する。また、ＨＭＩ制御部１４０は、全体のステアリングホイールの位置を基準にした第１ステア画像ＩＭ４１と、自車両Ｍの進むべき方向にステアリングホイールを回転させるための第２ステア画像４２とを含む画像ＩＭ４０Ｃを生成する。

このように、画像ＩＭ３０ＣおよびＩＭ４０Ｃを表示装置３２に表示させることで、自車両Ｍが壁ＷＬ１に接近していることを通知することができると共に、乗員に自車両Ｍの操舵操作を促すことができる。

＜緊急回避モード：第１の表示態様＞
図１８は、緊急回避モードにおける第１の表示態様について説明するための図である。図１８は、車線Ｌ１、Ｌ２と歩道ＳＷ１、ＳＷ２を含む道路ＲＤ１５の車線Ｌ１を走行する自車両Ｍと、歩道ＳＷ１側から車線Ｌ１に進入する物体（自転車）ＯＢ１示している。また、図１８の例では、緊急回避モードへの遷移条件Ｄを満たしているものとする。

緊急回避モードの第１の表示態様において、ＨＭＩ制御部１４０は、自車両Ｍに擬した第９画像ＩＭ５１と、自車両Ｍの周囲（３６０度）を所定の基準（例えば等間隔）で１６分割した第１０画像（方位画像）ＩＭ５２－１～ＩＭ５２－１６とを含む画像ＩＭ５０Ａを生成する。通常モードにおける第９画像ＩＭ５１は、第１画像ＩＭ１１と同様に、後方から見た自車両Ｍに擬した画像である。また、第２画像ＩＭ１２－１～１２－１６のそれぞれには、上述したように３つの領域ＡＲ１～ＡＲ３を有する。

緊急回避モードの場合は、ＨＭＩ制御部１４０は、自車両Ｍと物体ＯＢ１との接触を回避する方向を示す第９画像ＩＭ５２－４の全領域ＡＲ１～ＡＲ３を他の第９画像ＩＭ５２－１～ＩＭ５２－３、ＩＭ５２－５～ＩＭ５２－１６とは異なる色で強調表示させる。また、ＨＭＩ制御部１４０は、第９画像ＩＭ５２－１～ＩＭ５２－３、ＩＭ５２－５～５２－１６を上述の第１の背景色とは異なる第２の背景色で表示させる。第２の背景色は、第１の背景色よりも強調した色である。図１８に示すように、自車両Ｍの全周を第２の背景色で表示させることで、接触する可能性が高い物体が存在することを乗員に把握させ易くすることができる。

なお、緊急回避モードにおいて、ＨＭＩ制御部１４０は、狭路通過モードのようにステアリングホイールの操舵量および操舵方向に関する画像ＩＭ４０を表示させないようにする。これにより、複数の画像が表示されることにより、乗員の運転への注意が散漫になることを抑制することができる。

［処理フロー］
図１９は、実施形態の運転支援装置１００よって実行される処理の流れの一例を示すフローチャートである。なお、図１９の処理では、運転支援装置１００によって実行される各種処理のうち、主にモードに応じた画像表示処理を中心として説明する。なお、図７の処理は、所定周期または所定のタイミングで繰り返し実行されてよい。また、図１９の処理の最初のモードは、通常モード（道なり走行モード）であるものとする。

図１０の例において、認識部１１０は、自車両Ｍの周辺状況を認識する（ステップＳ１００）。次に、判定部１２０は、認識部１１０による認識結果に基づいて、自車両Ｍの走行状態のモードの判定処理を行う（ステップＳ１０２）。例えば、判定部１２０は、予め設定された複数のモードに対応付けられた遷移条件（例えば、遷移条件Ａ～Ｄ）のうち、何れかの遷移条件を満たすか否かを判定する（ステップＳ１０４）。何れかの遷移条件を満たす場合、運転制御部は、遷移条件に対応付けられたモードに遷移する（ステップＳ１０６）。次に、ＨＭＩ制御部１４０は、遷移したモードに対応付けられた画像を生成し（ステップＳ１０８）。生成した画像を表示装置３２に表示させて乗員に通知する（ステップＳ１１０）。

また、ステップＳ１０４の処理において、何れかの遷移条件を満たさないと判定された場合、ＨＭＩ制御部１４０は、通常モードに対応付けられた画像を生成し（ステップＳ１１２）、生成した画像を表示装置３２に表示させて乗員に通知する（ステップＳ１１４）。これにより、本フローチャートの処理は、終了する。

なお、図１９の処理では、通常モードから遷移条件を満たすことによって、遷移条件に対応するモードに遷移した後、所定の復帰条件を満たすことで通常モードに復帰する。この場合、ＨＭＩ制御部１４０は、通常モードに対応する表示態様の画像を生成して、表示装置３２に表示させることで、乗員に通知を行う。

＜変形例＞
上述した各画像の表示において、ＨＭＩ制御部１４０は、色による強調表示に代えて、グラデーションや模様、点滅、輝度、明度等の調整により、強調表示させてもよい。

以上の通り説明した実施形態によれば、運転支援装置１００において、車両の周辺状況を認識する認識部１１０と、予め設定された複数の表示モードで前記車両を運転する乗員を支援するための画像を表示装置に表示させるＨＭＩ制御部（表示制御部の一例）１４０と、前記乗員による前記車両の運転操作または前記車両の走行を制御する運転制御部１３０と、を備え、前記複数の表示モードは、少なくとも前記車両が道路の延伸方向に沿って走行する第１モードと、前記車両が交差点を走行する第２モードと、前記車両が合流区間を走行する第３モードと、前記車両が狭路を走行する第４モードと、前記車両が物体との接触を回避して走行する第５モードとに対応する表示モードを含み、前記表示制御部は、前記認識部により認識された周辺状況に基づいて前記複数の表示モードのうち何れかの表示モードに遷移させ、前記表示制御部は、前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を表示させ、更に前記車両の周辺に物体が存在する場合に、前記車両が進行すべき方向を表示させると共に、前記乗員に操舵操作を促す画像を表示させることにより、周辺状況に応じてより適切な運転支援を行うことができる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記プログラムを実行することにより、
自車両の周辺状況を認識し、
予め設定された複数の表示モードで前記車両を運転する乗員を支援するための画像を表示装置に表示させ、
前記乗員による前記車両の運転操作または前記車両の走行を制御する運転制御を実行し、
前記複数の表示モードは、少なくとも前記車両が道路の延伸方向に沿って走行する第１モードと、前記車両が交差点を走行する第２モードと、前記車両が合流区間を走行する第３モードと、前記車両が狭路を走行する第４モードと、前記車両が物体との接触を回避して走行する第５モードとに対応する表示モードを含み、
認識した前記周辺状況に基づいて前記複数の表示モードのうち何れかの表示モードに遷移させ、
前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を表示させ、
更に前記車両の周辺に物体が存在する場合に、前記車両が進行すべき方向を表示させると共に、前記乗員に操舵操作を促す画像を表示させる、
ように構成されている、運転支援装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…車両システム、１０…カメラ、１２…レーダ装置、１４…ＬＩＤＡＲ、１６…物体認識装置、２０…通信装置、３０…ＨＭＩ、３２…表示装置、４０…車両センサ、５０…ナビゲーション装置、７０…ドライバモニタカメラ、８０…運転操作子、１００…運転支援装置、１１０…認識部、１２０…判定部、１３０…運転制御部、１４０…ＨＭＩ制御部、１５０…記憶部、２００…走行駆動力出力装置、２１０…ブレーキ装置、２２０…ステアリング装置

Claims (14)

1. 車両の周辺状況を認識する認識部と、
   予め設定された複数の表示モードで前記車両を運転する乗員を支援するための画像を表示装置に表示させる表示制御部と、
   前記乗員による前記車両の運転操作または前記車両の走行を制御する運転制御部と、を備え、
   前記複数の表示モードは、少なくとも前記車両が道路の延伸方向に沿って走行する第１モードと、前記車両が交差点を走行する第２モードと、前記車両が合流区間を走行する第３モードと、前記車両が狭路を走行する第４モードと、前記車両が物体との接触を回避して走行する第５モードとに対応する表示モードを含み、
   前記表示制御部は、前記認識部により認識された周辺状況に基づいて前記複数の表示モードのうち何れかの表示モードに遷移させ、
   前記表示制御部は、前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を表示させ、
   更に前記車両の周辺に物体が存在する場合に、前記車両が進行すべき方向を表示させると共に、前記乗員に操舵操作を促す画像を表示させ、
   前記表示制御部は、前記車両の前方に存在する物体を避けて走行する場合または対面走行する物体とすれ違う場合であって、前記物体までの距離が所定距離未満且つ前記車両と前記物体との接触余裕時間が閾値以上である場合に、前記第４モードに対応する表示モードで画像を表示させる、
   運転支援装置。
2. 車両の周辺状況を認識する認識部と、
   予め設定された複数の表示モードで前記車両を運転する乗員を支援するための画像を表示装置に表示させる表示制御部と、
   前記乗員による前記車両の運転操作または前記車両の走行を制御する運転制御部と、を備え、
   前記複数の表示モードは、少なくとも前記車両が道路の延伸方向に沿って走行する第１モードと、前記車両が交差点を走行する第２モードと、前記車両が合流区間を走行する第３モードと、前記車両が狭路を走行する第４モードと、前記車両が物体との接触を回避して走行する第５モードとに対応する表示モードを含み、
   前記表示制御部は、前記認識部により認識された周辺状況に基づいて前記複数の表示モードのうち何れかの表示モードに遷移させ、
   前記表示制御部は、前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を表示させ、
   更に前記車両の周辺に物体が存在する場合に、前記車両が進行すべき方向を表示させると共に、前記乗員に操舵操作を促す画像を表示させ、
   前記表示制御部は、前記認識部により前記車両の前方に存在する右折待ちまたは左折待ちで停車している他車両が認識された場合に、前記第４モードに対応する表示モードで画像を表示させる、
   運転支援装置。
3. 車両の周辺状況を認識する認識部と、
   予め設定された複数の表示モードで前記車両を運転する乗員を支援するための画像を表示装置に表示させる表示制御部と、
   前記乗員による前記車両の運転操作または前記車両の走行を制御する運転制御部と、を備え、
   前記複数の表示モードは、少なくとも前記車両が道路の延伸方向に沿って走行する第１モードと、前記車両が交差点を走行する第２モードと、前記車両が合流区間を走行する第３モードと、前記車両が狭路を走行する第４モードと、前記車両が物体との接触を回避して走行する第５モードとに対応する表示モードを含み、
   前記表示制御部は、前記認識部により認識された周辺状況に基づいて前記複数の表示モードのうち何れかの表示モードに遷移させ、
   前記表示制御部は、前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を表示させ、
   更に前記車両の周辺に物体が存在する場合に、前記車両が進行すべき方向を表示させると共に、前記乗員に操舵操作を促す画像を表示させ、
   前記表示制御部は、前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した第１画像と、前記第１画像の周囲を所定の基準で分割した第２画像を表示させ、
   前記分割した第２画像のそれぞれは、前記車両からの距離に応じた複数の領域ごとに表示され、
   前記表示制御部は、前記周辺状況に基づいて、前記車両と、前記車両と対面して走行する他車両とが通過する場合に、前記第２画像の分割領域のうち前記車両が進行すべき方向を示す領域を他の分割領域とは異なる色で表示させる、
   運転支援装置。
4. 前記表示制御部は、少なくとも、前記車両に擬した画像、前記車両の周辺の物体の位置を示す画像、前記車両が進行すべき方向を示す画像、前記車両の車線変更先の目標位置、加速または減速を促す画像、および前記乗員に操舵操作を促す画像のうち、前記認識部により認識された周辺された周辺状況に基づいて遷移された表示モードに基づいて、表示する画像を選択して表示させる、
   請求項１または２に記載の運転支援装置。
5. 前記表示制御部は、前記第３モードおよび前記第４モードにおける前記車両に擬した画像を、前記車両を上から見た画像で表示させ、前記第１モード、前記第２モード、および前記第５モードにおける前記車両に擬した画像は前記車両を後方から見た画像として表示させる、
   請求項４に記載の運転支援装置。
6. 前記表示制御部は、前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を前記第３モードで表示させる前記車両に擬した画像よりも大きく表示させる、
   請求項１または２に記載の運転支援装置。
7. 前記運転制御部は、前記乗員に前記車両と前記物体との接触を回避するための操舵操作を誘導する制御を行う、
   請求項１に記載の運転支援装置。
8. 前記運転制御部は、前記乗員により操作されるステアリングホイールに対する反力によって、前記乗員による操舵を誘導する操作を行う、
   請求項７に記載の運転支援装置。
9. コンピュータが、
   車両の周辺状況を認識し、
   予め設定された複数の表示モードで前記車両を運転する乗員を支援するための画像を表示装置に表示させ、
   前記乗員による前記車両の運転操作または前記車両の走行を制御する運転制御を実行し、
   前記複数の表示モードは、少なくとも前記車両が道路の延伸方向に沿って走行する第１モードと、前記車両が交差点を走行する第２モードと、前記車両が合流区間を走行する第３モードと、前記車両が狭路を走行する第４モードと、前記車両が物体との接触を回避して走行する第５モードとに対応する表示モードを含み、
   認識した前記周辺状況に基づいて前記複数の表示モードのうち何れかの表示モードに遷移させ、
   前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を表示させ、
   更に前記車両の周辺に物体が存在する場合に、前記車両が進行すべき方向を表示させると共に、前記乗員に操舵操作を促す画像を表示させ、
   前記車両の前方に存在する物体を避けて走行する場合または対面走行する物体とすれ違う場合であって、前記物体までの距離が所定距離未満且つ前記車両と前記物体との接触余裕時間が閾値以上である場合に、前記第４モードに対応する表示モードで画像を表示させる、
   運転支援方法。
10. コンピュータが、
    車両の周辺状況を認識し、
    予め設定された複数の表示モードで前記車両を運転する乗員を支援するための画像を表示装置に表示させ、
    前記乗員による前記車両の運転操作または前記車両の走行を制御する運転制御を実行し、
    前記複数の表示モードは、少なくとも前記車両が道路の延伸方向に沿って走行する第１モードと、前記車両が交差点を走行する第２モードと、前記車両が合流区間を走行する第３モードと、前記車両が狭路を走行する第４モードと、前記車両が物体との接触を回避して走行する第５モードとに対応する表示モードを含み、
    認識した前記周辺状況に基づいて前記複数の表示モードのうち何れかの表示モードに遷移させ、
    前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を表示させ、
    更に前記車両の周辺に物体が存在する場合に、前記車両が進行すべき方向を表示させると共に、前記乗員に操舵操作を促す画像を表示させ、
    前記車両の前方に存在する右折待ちまたは左折待ちで停車している他車両が認識された場合に、前記第４モードに対応する表示モードで画像を表示させる、
    運転支援方法。
11. コンピュータが、
    車両の周辺状況を認識し、
    予め設定された複数の表示モードで前記車両を運転する乗員を支援するための画像を表示装置に表示させ、
    前記乗員による前記車両の運転操作または前記車両の走行を制御する運転制御を実行し、
    前記複数の表示モードは、少なくとも前記車両が道路の延伸方向に沿って走行する第１モードと、前記車両が交差点を走行する第２モードと、前記車両が合流区間を走行する第３モードと、前記車両が狭路を走行する第４モードと、前記車両が物体との接触を回避して走行する第５モードとに対応する表示モードを含み、
    認識した前記周辺状況に基づいて前記複数の表示モードのうち何れかの表示モードに遷移させ、
    前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を表示させ、
    更に前記車両の周辺に物体が存在する場合に、前記車両が進行すべき方向を表示させると共に、前記乗員に操舵操作を促す画像を表示させ、
    前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した第１画像と、前記第１画像の周囲を所定の基準で分割した第２画像を表示させ、
    前記分割した第２画像のそれぞれは、前記車両からの距離に応じた複数の領域ごとに表示され、
    前記周辺状況に基づいて、前記車両と、前記車両と対面して走行する他車両とが通過する場合に、前記第２画像の分割領域のうち前記車両が進行すべき方向を示す領域を他の分割領域とは異なる色で表示させる、
    運転支援方法。
12. コンピュータに、
    車両の周辺状況を認識させ、
    予め設定された複数の表示モードで前記車両を運転する乗員を支援するための画像を表示装置に表示させ、
    前記乗員による前記車両の運転操作または前記車両の走行を制御する運転制御を実行させ、
    前記複数の表示モードは、少なくとも前記車両が道路の延伸方向に沿って走行する第１モードと、前記車両が交差点を走行する第２モードと、前記車両が合流区間を走行する第３モードと、前記車両が狭路を走行する第４モードと、前記車両が物体との接触を回避して走行する第５モードとに対応する表示モードを含み、
    認識された前記周辺状況に基づいて前記複数の表示モードのうち何れかの表示モードに遷移させ、
    前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を表示させ、
    更に前記車両の周辺に物体が存在する場合に、前記車両が進行すべき方向を表示させると共に、前記乗員に操舵操作を促す画像を表示させ、
    前記車両の前方に存在する物体を避けて走行する場合または対面走行する物体とすれ違う場合であって、前記物体までの距離が所定距離未満且つ前記車両と前記物体との接触余裕時間が閾値以上である場合に、前記第４モードに対応する表示モードで画像を表示させる、
    プログラム。
13. コンピュータに、
    車両の周辺状況を認識させ、
    予め設定された複数の表示モードで前記車両を運転する乗員を支援するための画像を表示装置に表示させ、
    前記乗員による前記車両の運転操作または前記車両の走行を制御する運転制御を実行させ、
    前記複数の表示モードは、少なくとも前記車両が道路の延伸方向に沿って走行する第１モードと、前記車両が交差点を走行する第２モードと、前記車両が合流区間を走行する第３モードと、前記車両が狭路を走行する第４モードと、前記車両が物体との接触を回避して走行する第５モードとに対応する表示モードを含み、
    認識された前記周辺状況に基づいて前記複数の表示モードのうち何れかの表示モードに遷移させ、
    前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を表示させ、
    更に前記車両の周辺に物体が存在する場合に、前記車両が進行すべき方向を表示させると共に、前記乗員に操舵操作を促す画像を表示させ、
    前記車両の前方に存在する右折待ちまたは左折待ちで停車している他車両が認識された場合に、前記第４モードに対応する表示モードで画像を表示させる、
    プログラム。
14. コンピュータに、
    車両の周辺状況を認識させ、
    予め設定された複数の表示モードで前記車両を運転する乗員を支援するための画像を表示装置に表示させ、
    前記乗員による前記車両の運転操作または前記車両の走行を制御する運転制御を実行させ、
    前記複数の表示モードは、少なくとも前記車両が道路の延伸方向に沿って走行する第１モードと、前記車両が交差点を走行する第２モードと、前記車両が合流区間を走行する第３モードと、前記車両が狭路を走行する第４モードと、前記車両が物体との接触を回避して走行する第５モードとに対応する表示モードを含み、
    認識された前記周辺状況に基づいて前記複数の表示モードのうち何れかの表示モードに遷移させ、
    前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した画像を表示させ、
    更に前記車両の周辺に物体が存在する場合に、前記車両が進行すべき方向を表示させると共に、前記乗員に操舵操作を促す画像を表示させ、
    前記第４モードに対応する表示モードで画像を表示させる場合に、前記車両に擬した第１画像と、前記第１画像の周囲を所定の基準で分割した第２画像を表示させ、
    前記分割した第２画像のそれぞれは、前記車両からの距離に応じた複数の領域ごとに表示され、
    前記周辺状況に基づいて、前記車両と、前記車両と対面して走行する他車両とが通過する場合に、前記第２画像の分割領域のうち前記車両が進行すべき方向を示す領域を他の分割領域とは異なる色で表示させる、
    プログラム。