以下、本開示の実施形態(以下、本実施形態という。)について図面を参照しながら説明する。本図面に示された各部材の寸法は、説明の便宜上、実際の各部材の寸法とは異なる場合がある。
本実施形態の説明では、説明の便宜上、「左右方向」、「上下方向」、「前後方向」について適宜言及する場合がある。これらの方向は、図2に示すHUD(ヘッドアップディスプレイ)42について設定された相対的な方向である。ここで、「左右方向」は、「左方向」及び「右方向」を含む方向である。「上下方向」は、「上方向」及び「下方向」を含む方向である。「前後方向」は、「前方向」及び「後方向」を含む方向である。左右方向は、図2では示されていないが、上下方向及び前後方向に直交する方向である。
図1を参照して、本実施形態に係る車両システム2について以下に説明する。図1は、車両システム2のブロック図である。当該車両システム2が搭載された車両1は、手動運転モードあるいは自動運転モードで走行可能な車両(自動車)である。
図1に示すように、車両システム2は、車両制御部3と、車両用表示システム4(以下、単に「表示システム4」という。)と、センサ5と、カメラ6と、レーダ7とを備える。さらに、車両システム2は、HMI(Human Machine Interface)8と、GPS(Global Positioning System)9と、無線通信部10と、記憶装置11と、ステアリングアクチュエータ12と、ステアリング装置13と、ブレーキアクチュエータ14と、ブレーキ装置15と、アクセルアクチュエータ16と、アクセル装置17とを備える。
車両制御部3は、車両の走行を制御するように構成されている。車両制御部3は、例えば、少なくとも一つの電子制御ユニット(ECU:Electronic Control Unit)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含むコンピュータシステム(例えば、SoC(System on a Chip)等)と、トランジスタ等のアクティブ素子及びパッシブ素子から構成される電子回路を含む。プロセッサは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)及びTPU(Tensor Processing Unit)のうちの少なくとも一つを含む。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。メモリは、ROM(Read Only Memory)と、RAM(Random Access Memory)を含む。ROMには、車両制御プログラムが記憶されてもよい。例えば、車両制御プログラムは、自動運転用の人工知能(AI)プログラムを含んでもよい。AIプログラムは、多層のニューラルネットワークを用いた教師有り又は教師なし機械学習(特に、ディープラーニング)によって構築されたプログラム(学習済みモデル)である。RAMには、車両制御プログラム、車両制御データ及び/又は車両の周辺環境を示す周辺環境情報が一時的に記憶されてもよい。プロセッサは、ROMに記憶された各種車両制御プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。また、コンピュータシステムは、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)等の非ノイマン型コンピュータによって構成されてもよい。さらに、コンピュータシステムは、ノイマン型コンピュータと非ノイマン型コンピュータの組み合わせによって構成されてもよい。車両制御部3は、表示システム4の動作を制御してもよい。この場合、車両制御部3は表示システム4の一部を構成する。車両制御部3は判定部の一例である。
表示システム4は、ヘッドランプ20と、HUD42と、表示制御部43とを備える。
ヘッドランプ20は、車両1の前面における左側と右側に配置されており、ロービームを車両1の前方に照射するように構成されたロービームランプと、ハイビームを車両1の前方に照射するように構成されたハイビームランプとを備える。ロービームランプとハイビームランプの各々は、LED(Light Emitting Diode)やLD(Laser Diode)等の1以上の発光素子と、レンズ及びリフレクタ等の光学部材を有する。
HUD42は、少なくとも一部が車両1の内部に位置する。具体的には、HUD42は、車両1の室内の所定箇所に設置されている。例えば、HUD42は、車両1のダッシュボード内に配置されてもよい。HUD42は、車両1と乗員との間の視覚的インターフェースである。HUD42は、所定の情報(以下、HUD情報という。)が車両1の外部の現実空間(特に、車両の前方の周辺環境)と重畳されるように当該HUD情報を乗員に向けて表示するように構成されている。このように、HUD42は、AR(Augmented Reality)ディスプレイである。HUD42によって表示されるHUD情報は、例えば、車両1の走行に関連した車両走行情報及び/又は車両1の周辺環境に関連した周辺環境情報(特に、車両1の外部に存在する対象物に関連した情報)である。HUD42は表示部の一例である。HUD42の詳細は後述する。
表示制御部43は、ヘッドランプ20及びHUD42の動作を制御するように構成されている。さらに表示制御部43は、車両1の周囲にある少なくとも一つの他車両の運転モードを判定するよう構成されている。表示制御部43は、電子制御ユニット(ECU)により構成されている。電子制御ユニットは、1以上のプロセッサと1以上のメモリを含むコンピュータシステム(例えば、SoC等)と、トランジスタ等のアクティブ素子及びパッシブ素子から構成される電子回路を含む。プロセッサは、CPU、MPU、GPU及びTPUのうちの少なくとも一つを含む。メモリは、ROMと、RAMを含む。また、コンピュータシステムは、ASICやFPGA等の非ノイマン型コンピュータによって構成されてもよい。表示制御部43は判定部の一例である。
表示制御部43はHUD42を制御して、HUD42に車両1の周囲の地図情報Mや、車両1の位置情報、車両1の周囲にある少なくとも一つの他車両の位置情報、車両1の運転を支援する運転支援指示Xを表示するよう構成されている。運転支援指示Xは、一時停止指示X1又は警告指示X2を含む。HUD42には、少なくとも一つの他車両の位置情報とともに、識別子が表示されてもよい。車両1の周囲に複数の他車両がある場合、HUD42には各他車両の位置情報とともに、各位置情報に識別子が表示されてもよい。
本実施形態では、車両制御部3と表示制御部43は、別個の構成として設けられているが、車両制御部3と表示制御部43は一体的に構成されてもよい。表示制御部43と車両制御部3は、単一の電子制御ユニットにより構成されていてもよい。このとき、車両制御部3は、判定部として、車両1の周囲にある少なくとも一つの他車両の運転モードを判定する。また、表示制御部43は、ヘッドランプ20を制御するように構成された電子制御ユニットと、HUD42の動作を制御するように構成された電子制御ユニットの2つの電子制御ユニットによって構成されてもよい。また、HUD42の動作を制御する制御基板425が表示制御部43の一部として構成されていてもよい。
表示制御部43はセンサ5を制御して、車両1の乗員の指示に基づき、車両1の周囲にある少なくとも一つの他車両を指定するよう構成されている。センサ5は、例えば乗員の音声を検知する音センサである。車両1の乗員が少なくとも一つの他車両の識別子を発声した場合、センサ5は当該識別子に対応した指示を受け付けるよう構成されている。センサ5は、加速度センサ、速度センサ及びジャイロセンサのうち少なくとも一つを含んでもよい。センサ5は、車両1の走行状態を検出して、走行状態情報を車両制御部3に出力するように構成されている。センサ5は、運転者が運転席に座っているかどうかを検出する着座センサ、運転者の顔の方向を検出する顔向きセンサ、外部天候状態を検出する外部天候センサ及び車内に人がいるかどうかを検出する人感センサ等をさらに備えてもよい。センサ5は指定部の一例である。
カメラ6は、例えば、CCD(Charge-Coupled Device)やCMOS(相補型MOS)等の撮像素子を含むカメラである。カメラ6は、一以上の外部カメラ6Aと、内部カメラ6Bとを含む。外部カメラ6Aは、車両の周辺環境を示す画像データを取得した上で、当該画像データを車両制御部3に送信するように構成されている。車両制御部3は、送信された画像データに基づいて、周辺環境情報を取得する。ここで、周辺環境情報は、車両1の外部に存在する対象物(歩行者、他車両、標識等)に関する情報を含んでもよい。例えば、周辺環境情報は、車両1の外部に存在する対象物の属性に関する情報と、車両1に対する対象物の距離や位置に関する情報とを含んでもよい。外部カメラ6Aは、単眼カメラとしても構成されてもよいし、ステレオカメラとして構成されてもよい。また撮像カメラ30は、外部カメラ6Aに代用されてもよい。
内部カメラ6Bは、車両1の内部に配置されると共に、乗員を示す画像データを取得するように構成されている。表示制御部43は内部カメラ6Bを制御して、車両1の乗員の指示に基づき、車両1の周囲にある少なくとも一つの他車両を指定するよう構成されている。内部カメラ6Bは、乗員の視点Pを検知し、トラッキングするトラッキングカメラである。ここで、乗員の視点Pは、乗員の左目の視点又は右目の視点のいずれかであってもよい。または、視点Pは、左目の視点と右目の視点を結んだ線分の中点として規定されてもよい。表示制御部43は、内部カメラ6Bによって取得された画像データに基づいて、乗員の視点Pの位置を特定してもよい。乗員の視点Pの位置は、画像データに基づいて、所定の周期で更新されてもよいし、車両1の起動時に一回だけ決定されてもよい。内部カメラ6Bは指定部の一例である。
レーダ7は、ミリ波レーダ、マイクロ波レーダ及びレーザーレーダ(例えば、LiDARユニット)のうちの少なくとも一つを含む。例えば、LiDARユニットは、車両1の周辺環境を検出するように構成されている。特に、LiDARユニットは、車両1の周辺環境を示す3Dマッピングデータ(点群データ)を取得した上で、当該3Dマッピングデータを車両制御部3に送信するように構成されている。車両制御部3は、送信された3Dマッピングデータに基づいて、周辺環境情報を特定する。
HMI8は、運転者からの入力操作を受付ける入力部と、走行情報等を運転者に向けて出力する出力部とから構成される。入力部は、ステアリングホイール、アクセルペダル、ブレーキペダル、車両の運転モードを切替える運転モード切替スイッチ等を含む。出力部は、各種走行情報を表示するディスプレイ(HUD42を除く)である。GPS9は、衛星との通信を介して、車両1の位置情報を取得し、当該取得された位置情報を車両制御部3に出力するように構成されている。GPS9は第一通信部の一例である。衛星は外部機器の一例である。
無線通信部10は、車両1の周囲にある少なくとも一つの他車両に関する情報(例えば、当該他車両の位置情報や走行情報等)を当該他車両から受信すると共に、車両1に関する情報(例えば、車両1の位置情報や走行情報等)を当該他車両に送信するように構成されている(車車間通信)。無線通信部10は、車両1の周囲にある複数の他車両の位置情報をそれぞれ取得してもよい。無線通信部10は、信号機や標識灯等のインフラ設備から地図情報Mやインフラ情報を受信すると共に、車両1の走行情報をインフラ設備に送信するように構成されている(路車間通信)。また、無線通信部10は、歩行者が携帯する携帯型電子機器(スマートフォン、タブレット、ウェアラブルデバイス等)から歩行者に関する情報を受信すると共に、車両1の自車走行情報を携帯型電子機器に送信するように構成されている(歩車間通信)。
無線通信部10は、他車両、インフラ設備又は携帯型電子機器と直接通信してもよいし、アクセスポイントを介して通信してもよい。さらに、無線通信部10は、図示しない通信ネットワークを介して他車両、インフラ設備又は携帯型電子機器と通信してもよい。通信ネットワークは、インターネット、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)及び無線アクセスネットワーク(RAN)のうちの少なくとも一つを含む。無線通信規格は、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、ZigBee(登録商標)、LPWA、DSRC(登録商標)又はLi-Fiである。また、車両1は、他車両、インフラ設備又は携帯型電子機器と第5世代移動通信システム(5G)を用いて通信してもよい。無線通信部10は第二通信部及び第三通信部の一例である。
記憶装置11は、ハードディスクドライブ(HDD)やSSD(Solid State Drive)等の外部記憶装置である。記憶装置11には、2次元又は3次元の地図情報M及び/又は車両制御プログラムが記憶されてもよい。例えば、3次元の地図情報は、3Dマッピングデータ(点群データ)によって構成されてもよい。記憶装置11は、車両制御部3からの要求に応じて、地図情報Mや車両制御プログラムを車両制御部3に出力するように構成されている。地図情報Mや車両制御プログラムは、無線通信部10と通信ネットワークを介して更新されてもよい。
車両1が自動運転モードで走行する場合、車両制御部3は、走行状態情報、周辺環境情報、車両1の位置情報、地図情報M等に基づいて、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号のうち少なくとも一つを自動的に生成する。ステアリングアクチュエータ12は、ステアリング制御信号を車両制御部3から受信して、受信したステアリング制御信号に基づいてステアリング装置13を制御するように構成されている。ブレーキアクチュエータ14は、ブレーキ制御信号を車両制御部3から受信して、受信したブレーキ制御信号に基づいてブレーキ装置15を制御するように構成されている。アクセルアクチュエータ16は、アクセル制御信号を車両制御部3から受信して、受信したアクセル制御信号に基づいてアクセル装置17を制御するように構成されている。このように、車両制御部3は、走行状態情報、周辺環境情報、車両1の位置情報、地図情報M等に基づいて、車両1の走行を自動的に制御する。つまり、自動運転モードでは、車両1の走行は車両システム2により自動制御される。
一方、車両1が手動運転モードで走行する場合、車両制御部3は、アクセルペダル、ブレーキペダル及びステアリングホイールに対する運転者の手動操作に従って、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号を生成する。このように、手動運転モードでは、ステアリング制御信号、アクセル制御信号及びブレーキ制御信号が運転者の手動操作によって生成されるので、車両1の走行は運転者により制御される。
次に、車両1の運転モードについて説明する。なお、車両1の周囲にある少なくとも一つの他車両も以下の運転モードを有する。他車両の運転モードの説明は、車両1の運転モードの説明と重複するため省略する。
運転モードは、自動運転モードと手動運転モードのみからなる。手動運転モードでは、車両システム2が走行制御を自動的に行わないと共に、車両システム2の運転支援なしに運転者が車両1を運転する。手動運転モードは第二運転モードの一例である。自動運転モードは、第一自動運転モードと、第一自動運転モードの自動運転レベルよりも低い自動運転レベルである第二自動運転モードを含む。具体的に自動運転モードは、5段階のレベルを含む。自動運転モードは、レベル5である完全自動運転モードと、レベル4及びレベル3である高度運転支援モードと、レベル2及びレベル1である運転支援モードと、を含む。自動運転レベルは、レベル5が最も高く、レベル4、レベル3、レベル2の順番で低く、レベル1が最も低く設定されている。
完全自動運転モード(レベル5)では、車両システム2がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両1を運転できる状態にはない。完全自動運転モード(レベル5)が第一自動運転モードである場合、完全自動運転モード以外の、高度運転支援モード及び運転支援モード(レベル4からレベル1)が第二自動運転モードである。
レベル4の高度運転支援モードでは、車両1が特定条件下にある場合においては車両システム2がステアリング制御、ブレーキ制御及びアクセル制御の全ての走行制御を自動的に行うと共に、運転者は車両1を運転できる状態にはあるものの車両1を運転しない。例えばレベル4では、車両1が特定地域内を走行する場合には車両システム2が全ての走行制御を自動的に行い、車両1が特定地域外を走行する場合には運転者が車両1を運転してもよい。レベル4の高度運転支援モードが第一自動運転モードである場合、レベル3からレベル1の自動運転モードが第二自動運転モードである。
レベル3の高度運転支援モードでは、車両1が一定条件下にある場合においては、車両システム2が全ての走行制御を自動的に行うとともに、車両システム2からの要求に応じて運転者が車両1を運転してもよい。例えばレベル3では、車両1が高速道路を走行する場合、車両システム2が基本的に走行制御を自動的に行うものの、車両システム2が所定のタイミングで運転者に対して要求を送り、当該要求に応じて運転者が車両1を運転してもよい。
レベル2の運転支援モードでは、車両システム2が一定条件下においてステアリング制御、ブレーキ制御及びアクセル制御のうち一部の走行制御を自動的に行うと共に、車両システム2の運転支援の下で運転者が車両1を運転する。例えばレベル2では、車両1が高速道路を走行する場合であって、走行速度の遅い前走車がある場合には当該前走車を自動で追い越すよう、車両システム2が走行制御してもよい。レベル1の運転支援モードでは、車両システム2が一部の走行制御のみを行うにとどまり、基本的には運転者が車両1を運転する。例えばレベル1では、車両1が対象物に対して衝突しないよう自動的に車両1を停止させる、前走車と一定の距離を離した状態で車両1を走行させる、車両1が車線からはみ出さないよう走行させるよう、車両システム2が走行制御を行う。
車両1の周囲にある少なくとも一つの他車両がレベル5の完全自動運転モードあるいはレベル4の高度運転支援モードである場合、車両システム2が他車両の走行制御の大部分を行うため、他車両の走行を予測しやすい。一方、他車両がレベル3の高度運転支援モード、レベル2の運転支援モードあるいはレベル1の運転支援モードである場合、車両システム2が走行制御する場合よりも、他車両の運転者が他車両を運転する場合が多く、他車両の走行を予測しにくい。このため本例においては、レベル3からレベル1の自動運転モードは第二自動運転モードとして設定される。
表示制御部43は、無線通信部10と通信した他車両が、自動運転モードであるか否かを判定するよう構成されている。さらに車両制御部3または表示制御部43は、無線通信部10の通信を介して、他車両が第一自動運転モードか、第二自動運転モードであるかを判定するよう構成されている。車両制御部3または表示制御部43の判定処理は後述する。
次にHUD42の詳細を説明する。図2は本実施形態に係るHUD42の模式図である。図2に示すように、HUD42は、HUD本体部420を備えている。HUD本体部420は、ハウジング422と出射窓423を有する。出射窓423は可視光を透過させる透明板である。HUD本体部420は、ハウジング422の内側に、画像生成部(PGU:Picture Generation Unit)424と、制御基板425と、凹面鏡426と、駆動機構427と、平面鏡428とを有する。
画像生成部424は、光源と、光学部品と、表示デバイスとを有する。光源は、例えば、レーザ光源又はLED光源である。レーザ光源は、例えば、赤色レーザ光と、緑光レーザ光と、青色レーザ光をそれぞれ出射するように構成されたRGBレーザ光源である。光学部品は、プリズム、レンズ、拡散板、拡大鏡等を有する。表示デバイスは、液晶ディスプレイ、DMD(Digital Mirror Device)等である。画像生成部424の描画方式は、ラスタースキャン方式、DLP方式又はLCOS方式であってもよい。DLP方式又はLCOS方式が採用される場合、HUD42の光源はLED光源であってもよい。なお、液晶ディスプレイ方式が採用される場合、HUD42の光源は白色LED光源であってもよい。
制御基板425は、画像生成部424、駆動機構427の動作を制御するように構成されている。制御基板425は、CPU(Central Processing Unit)等のプロセッサとメモリが搭載され、メモリから読みだしたコンピュータプログラムをプロセッサが実行して、画像生成部424の動作を制御する。制御基板425は、表示制御部43から送信された画像データに基づいて、画像生成部424の動作を制御するための制御信号を生成した上で、当該生成された制御信号を画像生成部424に送信するように構成されている。また、制御基板425は、駆動機構427を介して凹面鏡426の向きを変更するように制御してもよい。
凹面鏡426は、画像生成部424から出射されて平面鏡428により反射された光の光路上に配置されている。具体的には、凹面鏡426は、HUD本体部420内において、画像生成部424及び平面鏡428の前側に配置されている。凹面鏡426は、画像生成部424により出射された光を、出射窓423を介してウインドシールド18(例えば、車両1のフロントウィンドウ)に向けて反射するよう構成されている。凹面鏡426は、虚像を形成する、凹状に湾曲した反射面を有し、画像生成部424から出射され結像した光の像を所定の倍率で反射させる。
HUD本体部420の出射窓423から出射された光は、ウインドシールド18に照射される。HUD本体部420からウインドシールド18に照射された光の一部は、乗員の視点Pに向けて反射される。この結果、乗員は、HUD本体部420から出射された光(所定の画像)をウインドシールド18の前方の所定の距離において形成された虚像として認識する。このように、HUD42によって表示される画像がウインドシールド18を通して車両1の前方の現実空間に重畳される結果、乗員は、所定の画像により形成される虚像オブジェクトIが車両外部に位置する道路上に浮いているように視認することができる。
なお、虚像オブジェクトIとして2D画像(平面画像)を形成する場合には、所定の画像を任意に定めた単一距離の虚像となるように投影する。虚像オブジェクトIとして3D画像(立体画像)を形成する場合には、互いに同一または互いに異なる複数の所定の画像をそれぞれ異なる距離の虚像となるように投影する。また、虚像オブジェクトIの距離(乗員の視点Pから虚像までの距離)は、画像生成部424から乗員の視点Pまでの距離を調整する(例えば画像生成部424と凹面鏡426との間の距離を調整する)ことによって調整可能である。また、HUD本体部420は、平面鏡428を有していなくてもよい。この場合、画像生成部424から出射された光は、平面鏡428で反射することなく、凹面鏡426に入射する。
次に、本実施形態に係る表示システム4の処理の流れを説明する。図3は表示システム4の処理の流れを示すフローチャートである。
図3に示すように、まず、GPS9が衛星との通信を介して車両1の位置情報を取得するとともに、無線通信部10が車両1の周囲にある少なくとも一つの他車両の位置情報を取得する(ステップ1)。車両1の周囲に複数の他車両がある場合、無線通信部10は、複数の他車両の位置情報をそれぞれ取得する。GPS9または無線通信部10は、所定時間毎に車両1の位置情報または他車両の位置情報を更新してもよい。取得された車両1の位置情報及び取得された他車両の位置情報は、車両制御部3を介して表示制御部43へ送信される。このとき、地図情報Mが記憶装置11に記憶されている場合には、当該地図情報Mも車両制御部3を介して表示制御部43へ送信される。地図情報Mは、インフラ設備と無線通信部10との路車間通信により取得され、表示制御部43へ送信されてもよい。
表示制御部43は他車両の位置情報を受信すると、当該他車両の位置情報に対して識別子を付与する(ステップ2)。車両1の周囲に複数の他車両がある場合には、各他車両の位置情報に識別子が付与される。識別子は、表示制御部43に送信される前、車両制御部3によって他車両の位置情報に付与されてもよい。
表示制御部43はHUD42に、車両1の周囲の地図情報Mを表示するとともに、当該地図情報M上に、取得した車両1の位置情報、取得した他車両の位置情報及び付与した識別子を表示する(ステップ3)。
次に表示制御部43は、センサ5または内部カメラ6Bが当該識別子に対応した指示を受け付けたか否かを判定する(ステップ4)。言い換えると表示制御部43は、識別子に対応した他車両が指定されたか否かを判定する。車両1の乗員がHUD42に表示された一つの識別子に対応した指示をセンサ5または内部カメラ6Bに対して送ることで、他車両が指定される。なお本例において乗員は車両1の運転手であるが、乗員は運転手に限定されない。乗員は、助手席または後部座席に座る乗員であってもよい。
他車両が指定されなかった場合には(ステップ4でNO)、表示システム4は車両1の位置情報及び他車両の位置情報を取得する処理(ステップ1)へ戻る。他車両が指定された場合(ステップ4でYES)、当該指定は表示制御部43へ送信される。表示制御部43は、送信された指定に基づいて無線通信部10が指定された一つの他車両と通信可能か否かを判定する(ステップ5)。
指定された他車両との通信が不可能である場合(ステップ5でNO)、他車両の運転モードは判定されることがないため、車両1の乗員は他車両の走行を予測しにくい。本例では、車両1の乗員に注意を促すため、指定された他車両との通信が不可能である場合表示制御部43はHUD42に警告指示X2を表示する(ステップ12)。指定された他車両との通信が可能である場合(ステップ5でYES)、表示制御部43は無線通信部10が通信した他車両の運転モードが手動運転モードか、自動運転モードか否かを判定する(ステップ6)。
無線通信部10が通信した他車両の運転モードは手動運転モードであると表示制御部43が判定した場合(ステップ6でYES)、他車両の運転者は車両システム2の運転支援なしに他車両を運転するため、車両1の乗員は他車両の走行を予測しにくい。この場合、表示制御部43はHUD42に運転支援指示Xを表示する。運転支援指示Xのうち一時停止指示X1あるいは警告指示X2のどちらを表示するかを判定するため、表示制御部43は、地図情報M及び車両1の位置情報に基づき、車両1の周囲が一般道か高速道路かを判定する(ステップ10)。無線通信部10が通信した他車両の運転モードは自動運転モードであると表示制御部43が判定した場合(ステップ6でNO)、表示制御部43は、当該他車両の運転モードが完全自動運転モードであるか否かを判定する(ステップ7)。
他車両の運転モードは完全自動運転モード(レベル5)であると表示制御部43が判定した場合(ステップ7でYES)、他車両の車両システム2が他車両の走行を制御するため、車両1の乗員は他車両の走行を予測しやすい。この場合乗員に対して他車両への注意を促す必要性はそれほど高くないため、表示制御部43はHUD42に運転支援指示Xを表示しない(ステップ13)。他車両の運転モードは完全自動運転モードではないと表示制御部43が判定した場合(ステップ7でNO)、表示制御部43は、当該他車両の運転モードが高度運転支援モードであるか否かを判定する(ステップ8)。
他車両の運転モードは高度運転支援モードではないと表示制御部43が判定した場合(ステップ8でNO)、他車両はレベル2の運転支援モードあるいはレベル1の運転支援モードである。この場合車両システム2による走行制御よりも他車両の運転者が手動で他車両を走行することが多いため、車両1の乗員は他車両の走行を予測しにくい。この場合、HUD42に乗員に対して他車両への注意を促す運転支援指示Xを表示するため、表示制御部43は車両1の周囲が一般道か高速道路かを判定する(ステップ10)。他車両の運転モードは高度運転支援モードであると表示制御部43が判定した場合(ステップ8でYES)、他車両の運転モードは、レベル4の高度運転支援モードかあるいはレベル3の高度運転支援モードである。次に表示制御部43は当該他車両が特定条件下にあるか否かを判定する(ステップ9)。
他車両は特定条件下であると表示制御部43が判定した場合(ステップ9でYES)、他車両の運転モードはレベル4の高度運転支援モードであって且つ特定条件下である。この場合、他車両の車両システム2が走行制御を行うため、車両1の乗員は他車両の走行を予測しやすい。したがって、乗員に対して他車両への注意を促す必要性はそれほど高くないため、表示制御部43はHUD42に運転支援指示Xを表示しない(ステップ13)。他車両は特定条件下ではないと表示制御部43が判定した場合(ステップ9でNO)、他車両の運転モードはレベル3の高度運転支援モードあるいは特定条件下ではないレベル4の高度運転支援モードである。他車両の運転者が他車両を手動で走行することが多く、車両1の乗員は他車両の走行を予測しにくいため、この場合表示制御部43はHUD42に運転支援指示Xを表示する。具体的には、表示制御部43が車両1の周囲は一般道か高速道路かを判定する(ステップ10)。なおステップ8とステップ9の間において、他車両はレベル3の高度運転支援モードなのかレベル4の高度運転支援モードであるのかを表示制御部43が判定してもよい。
表示制御部43が、車両1の周囲は一般道であると判定した場合(ステップ10で一般道)、車両1の乗員に対して他車両への注意を促すため、表示制御部43はHUD42に一時停止指示X1の運転支援指示Xを表示する(ステップ11)。一方表示制御部43が、車両1の周囲は高速道路であると判定した場合(ステップ10で高速道路)、表示制御部43はHUD42に警告指示X2の運転支援指示Xを表示する(ステップ12)。ステップ11、ステップ12、ステップ13のいずれかの処理が行われた後、表示システム4は車両1の位置情報及び他車両の位置情報を取得する処理(ステップ1)へ戻る。本例において表示システム4は、常時、車両1の周囲の地図情報M、車両1の位置情報、車両1の周囲にある少なくとも一つの他車両が存在する場合はその位置情報とその識別子がHUD42に表示され、他車両の運転モードに応じて運転支援指示XがHUD42に表示される。
図4は、車両1が二車線道路を走行する場合における、地図情報M、車両1の位置情報、他車両の位置情報及び識別子の表示例である。図4に示すように、車両1の周囲の地図情報Mが表示され、当該地図情報M上に車両1の位置情報が表示される。さらに車両1の周囲にある複数の他車両として、対向車2A、前走車2B及び後続車2Cがある。対向車2Aは、車両1の走行する車線の反対側にある車線を走行している。前走車2B及び後続車2Cは、車両1と同じ車線を走行している。対向車2Aの位置情報とともに識別子Aが地図情報M上に表示される。前走車2Bの位置情報とともに識別子Bが地図情報M上に表示される。後続車2Cの位置情報とともに識別子Cが地図情報M上に表示される(図3のステップ3)。
例えば車両1の乗員が、複数の他車両のうち対向車2Aの識別子Aを発声する。センサ5は乗員の音声を検知することで乗員からの指示を受け付け、対向車2Aを指定する(図3のステップ4でYES)。あるいは乗員は、HUD42に表示された対向車2Aの位置情報あるいは識別子Aに視点Pを一定時間固定し、内部カメラ6Bは乗員の視点Pを検知することで乗員からの指示を受け付け、対向車2Aを指定する(図3のステップ4でYES)。
対向車2Aが指定されると、無線通信部10は対向車2Aと車車間通信を行う(図3のステップ5でYES)。その後表示制御部43は、対向車2Aの運転モードを判定する(図3のステップ6~9)。対向車2Aの運転モードが、レベル5の完全自動モードである場合(図3のステップ7でYES)あるいは特定条件下におけるレベル4の高度運転支援モードである場合(図3のステップ9でYES)、車両1の乗員に対して他車両への注意を促す必要性はそれほど高くないため、表示制御部43はHUD42に運転支援指示Xを表示しない(ステップ13)。一方対向車2Aの運転モードが、手動運転モードである場合(図3のステップ6でYES)、レベル2またはレベル1の運転支援モードである場合(図3のステップ8でNO)、レベル3の高度運転支援モードあるいは特定条件下ではないレベル4の高度運転支援モードである場合(図3のステップ9でYES)には、表示制御部43はHUD42に運転支援指示Xを表示する。このとき、表示制御部43は車両1の周囲が一般道であるか、高速道路であるかを判定する(図3のステップ10)。
車両1が一般道を走行している場合においては、表示制御部43はHUD42に一時停止指示X1を表示する(図3のステップ11)。こうすることで、一般道における車両1と他車両との衝突事故を低減させるため、車両1の乗員に対して対向車2Aへの注意を促すことができる。
図5は、HUD42の表示例1として、車両1の周囲が一般道である場合の虚像オブジェクトIの一例である。図5に示すように、HUD42の表示領域右下に、地図情報Mや車両1の位置情報、他車両の位置情報が表示される。さらに運転支援指示Xとして、一時停止指示X1がHUD42の表示領域右上に表示される。なお図5は表示の一例であり、地図情報Mや一時停止指示X1の表示の大きさ、形状や表示箇所は限定されない。
車両1が高速道路を走行している場合においては、表示制御部43はHUD42に警告指示X2を表示する(図3のステップ12)。高速道路において車両1が一時停止した場合、車両1と後続車2Cが衝突してしまう可能性がある。したがって車両1が高速道路を走行している場合には、HUD42に一時停止指示X1よりは警告指示X2が表示される方が好ましい。
図6は、HUD42の他の表示例2として、車両1の周囲が高速道路である場合の虚像オブジェクトIの一例である。図6に示すように、HUD42の表示領域右下に、地図情報Mや車両1の位置情報、他車両の位置情報が表示される。さらに運転支援指示Xとして、警告指示X2がHUD42の表示領域右上に表示される。なお図6は表示の一例であり、地図情報Mや警告指示X2の表示の大きさ、形状や表示場所は限定されない。
以上説明したように本例の表示システム4は、指定された他車両が自動運転モードではないと表示制御部43が判定した場合にHUD42に運転支援指示Xを表示する。すなわち、注視すべき他車両が指定され、且つ当該他車両の自動運転モードではなく、当該他車両が車両に影響を与える可能性がある場合に、運転支援指示Xが表示される。このため車両1の乗員は当該他車両に注意を集中することができる。また、他車両の運転モードが自動運転モードではないと表示制御部43が判定した場合に、運転支援指示Xが表示されるので、HUD42には常に運転支援指示Xが表示される必要はない。したがって、表示システム4の表示負荷を低減することができる。
本例の表示システム4は、車両1の位置情報を取得するGPS9と、対向車2Aの位置情報を取得する無線通信部10とを備える。HUD42には車両1の位置情報及び対向車2Aの位置情報が表示される。このため車両1の乗員は、車両1と対向車2Aとの位置関係を容易に把握することができ、対向車2Aの識別子を指示するか否かを判定しやすくなる。また対向車2Aの位置情報は外部カメラ6Aで取得してもよい。ただし一般的に、車両1に影響を与え得る他車両が必ずしも外部カメラ6Aの検知範囲内に存在するとは限らない。本例のように無線通信部10が車車間通信を通じて対向車2Aの位置情報を取得すると、外部カメラ6Bの性能や検知範囲に依らずに対向車2Aの位置情報を取得することができる。
本例の表示システム4は指定された対向車2Aと通信する無線通信部10を備え、表示制御部43は、無線通信部10の通信を介して、対向車2Aが自動運転モードか否かを判定する。このため対向車2Aとの車車間通信により対向車2Aの運転モードを精度高く取得することができる。また、無線通信部10は指定された対向車2Aとのみ通信を行い、指定されていない前走車2B及び後続車2Cと通信する必要がない。このため、表示システム4の通信負荷を低減させることができる。
一般的に、複数の他車両全ての他車情報を取得して表示する場合、車両1の乗員が最も注視するべき対向車2Aの他車情報と、他の他車両である前走車2Bや後続車2Cの他車情報との区別がつきにくい。しかしながら本例の表示システム4は、センサ5あるいは内部カメラ6Bを用いて複数の他車両のうち一つの他車両を指定するので、当該一つの他車とのみ通信する。したがって表示システム4の通信負荷を低減させるとともに、車両1の乗員も最も注視するべき車両に集中することができる。
本例の表示システム4においては、無線通信部10が取得した対向車2Aの位置情報に識別子が付されて表示されるので、乗員は対向車2Aを指示することが容易となる。また、車両1の周囲に複数の他車両がある場合においても、複数の識別子が付されて表示されているので、複数の他車両から一つの他車両を特定することが容易となる。
センサ5あるいは内部カメラ6Bは識別子に対応した指示を受け付けるよう構成されているため、表示システム4は識別子に対応した他車両を正確に認識することができる。また車両の周囲に複数の他車両がある場合においても、表示システム4は識別子に対応する他車両を正確に認識するため、システムの認識精度が向上する。
指定された他車両の運転モードが手動運転モードである場合には、当該他車両の動きを予測することは比較的難しく、当該他車両が車両1に影響を与える可能性が高まる。本例の表示システム4によれば、他車両が手動運転モードであると表示制御部43が判定した場合にHUD42に運転支援指示Xが表示されるため、常に運転支援指示Xを表示する必要はない。したがって、表示システム4の表示負荷を低減することができる。
本例の表示システム4では、指定された対向車2Aが第二モードであると表示制御部43が判定した場合に、HUD42に運転支援指示Xが表示される。すなわち、注視すべき対向車2Aが指定され、且つ対向車2Aの自動運転レベルが低く対向車2Aが車両1に影響を与える可能性がある場合に、運転支援指示Xが表示される。このため車両1の乗員は対向車2Aに注意を集中することができる。
一般的に、指定された他車両が完全自動運転モードである場合には、当該他車両の動きを比較的容易に予測することができ、必ずしも運転支援指示Xを表示する必要はない。一方指定された他車両が完全自動運転モード以外の運転モードである場合には、当該他車両の動きを予測することは比較的難しく、運転支援指示Xを表示することが必要となる。本例の表示システム4によれば、対向車2Aが、完全自動運転モード以外の運転モードであると表示制御部43が判定した場合にHUD42に運転支援指示Xが表示されるため、常に運転支援指示Xを表示する必要はない。したがって、表示システム4の表示負荷を低減することができる。
本開示によれば、センサ5が乗員の音声を検知し、内部カメラ6Bが車両1の乗員の視線を検知するため、乗員は車両1の運転操作を中断することなく、センサ5あるいは内部カメラ6Bを介して対向車2Aの指定を指示することができる。
HUD42には一時停止指示X1又は警告指示X2が表示されるため、表示システム4の通信負荷及び表示負荷を低減しつつ、車両1の乗員に対して対向車2Aへの注意をより的確に促すことができる。
なお本例においては、表示制御部43が対向車2Aの運転モードや車両1の周囲が一般道か高速道路かを判定しているが、車両制御部3が対向車2Aの運転モードや車両1の周囲が一般道か高速道路かを判定してもよい。車両制御部3がGPS9、無線通信部10、センサ5や内部カメラ6Bを制御してもよいし、表示制御部43が車両制御部3を介してこれらを制御してもよい。またGPS9が車両1の位置情報を取得し、無線通信部10が対向車2Aの位置情報と運転モードを取得するが、これに限定されない。路車間通信として無線通信部10がインフラ設備から位置情報や運転モードを取得してもよい。この場合、第一通信部、第二通信部、第三通信部は同一装置である。
本例の表示システム4は対向車2Aを指定したが、他車両の指定は対向車2Aに限定されない。表示システム4は、前走車2Bあるいは後続車2Cを指定してもよい。三つの他車両の内、対向車2A及び前走車2Bの二つを同時に指定してもよい。この場合、三つ全ての他車両と車車間通信を行うよりも、指定された二つの対向車2A及び前走車2Bのみと車車間通信を行うため、表示システム4の通信負荷を低減させることができる。
図4は、車両1が二車線道路を走行する場合における表示例を示したが、本開示は当該場合に限定されない。図7は、車両1が車線変更する場合における、地図情報M、車両1の位置情報、他車両2B、2Cの位置情報及び識別子の表示例である。図7に示すように、車両1が一方の車線を走行しており、車両1の周囲にある複数の他車両として、前走車2B及び後続車2Cが他方の車線を走行している。車両1が、他方の車線であって、前走車2Bと後続車2Cの間へ車線変更する場合、車両1の乗員は前走車2Bあるいは後続車2Cの運転モードを確認したいことがある。本例の表示システム4は、図7に示すような車線変更の場合においても、車両1の乗員から、前走車2Bの識別子Bあるいは後続車2Cの識別子Cの指示を受け付け、当該指示に対応する車両と車車間通信を行うことで、指示に対応する車両の運転モードを判定することができる。
図7は、車両1が車線変更する場合における表示例を示したが、本開示は当該場合に限定されない。図8は、他車両2Dが、車両1が走行している車線に向かって車線変更する場合における、地図情報M、車両1の位置情報、他車両2Dの位置情報及び識別子Dの表示例である。図8に示すように、車両1が一方の車線を走行しており、車両1の周囲にある一つの他車両として、他車両2Dが他方の車線を走行している。他車両2Dが、車両1が走行している車線に向かって車線変更する場合、車両1の乗員は他車両2Dの運転モードを確認したいことがある。本例の表示システム4は、図8に示すような車線変更の場合においても、車両1の乗員から、他車両2Dの識別子Dの指示を受け付け、他車両2Dと車車間通信を行うことで、他車両2Dの運転モードを判定することができる。
図9は、車両1と他車両2Eが合流地点Jに向かって走行する場合における、地図情報M、車両1の位置情報、他車両2Eの位置情報及び識別子Eの表示例である。図9に示すように、車両1が一方の車線を走行しており、車両1の周囲にある一つの他車両として、他車両2Eが他方の車線を走行している。他車両2Eが、車両1が向かっている合流地点Jに向かって走行する場合、車両1の乗員は他車両2Eの運転モードを確認したいことがある。本例の表示システム4は、図9に示すような合流地点Jの場合においても、車両1の乗員から、他車両2Eの識別子Eの指示を受け付け、他車両2Eと車車間通信を行うことで、他車両2Eの運転モードを判定することができる。なお、表示システム4は、常時、地図情報M、車両1の位置情報、他車両2Eの位置情報とその識別子Eを表示する必要はない。例えば、通常は地図情報Mなどを表示せず、車両1が合流地点Jから300m離れた手前地点を通過したときに地図情報Mなどを表示してもよい。合流地点Jからの距離は、車両1が一般道を走行している場合は比較的短く設定され、高速道路を走行している場合には比較的長く設定されてもよい。表示システム4は、通常は地図情報Mなどを表示せず、車両1の乗員の表示指示に基づいて地図情報Mなどを表示してもよい。
図10は、車両1が第一交差点IS1、第二交差点IS2に向かって走行する場合における、地図情報M、車両1の位置情報、他車両2F、2Gの位置情報及び識別子F、Gの表示例である。図10に示すように、車両1の進行方向において第一交差点IS1と第二交差点IS2がある。車両1の周囲にある複数の他車両の一つとして、他車両2Fが第一交差点IS1に向かって走行している。ただし他車両2Fは、第一交差点IS1の一時停止線L1から離れて走行している。一方、車両1の周囲にある複数の他車両の一つとして、他車両2Gが第二交差点IS2に向かって走行している。他車両2Gは、第二交差点IS2の一時停止線L2近くを走行している。車両1が第一交差点IS1及び第二交差点IS2を通過する場合、車両1の乗員は他車両2Fあるいは他車両2Gの運転モードを確認したいことがある。特に、第二交差点IS2に接近している他車両2Gの運転モードを、第一交差点IS1から離れて走行している他車両2Fの運転モードよりも先に確認したいことがある。本例の表示システム4は、図10に示すような第一交差点IS1、第二交差点IS2の場合においても、車両1の乗員から、他車両2Gの識別子Gの指示を受け付け、他車両2Gと車車間通信を行うことで、他車両2Gの運転モードを判定することができる。なお図10において、車両1の乗員は他車両2F及び他車両2Gの二つを同時に指定してもよい。また表示システム4は、通常は地図情報Mなどを表示せず、車両1が交差点IS1から例えば300m離れた手前地点を通過したときに地図情報Mなどを表示してもよい。また本例では複数の交差点として第一交差点IS1、第二交差点IS2を示すが、交差点の数は一つでもよいし、三つ以上でもよい。
以上、本開示の実施形態について説明をしたが、本開示の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではないのは言うまでもない。本実施形態は単なる一例であって、請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本開示の技術的範囲は請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。
本出願は、2020年11月16日出願の日本出願第2020-190156号に基づく優先権を主張し、前記日本出願に記載された全ての記載内容を援用するものである。