JP6984624B2

JP6984624B2 - 表示制御装置および表示制御プログラム

Info

Publication number: JP6984624B2
Application number: JP2019018881A
Authority: JP
Inventors: 智堀畑; 祐介近藤
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2019-02-05
Filing date: 2019-02-05
Publication date: 2021-12-22
Anticipated expiration: 2039-02-05
Also published as: JP2020125033A; US20210341737A1; JP7251582B2; JP2021193020A; WO2020162109A1

Description

この明細書における開示は、虚像の表示を制御する表示制御装置および表示制御プログラムに関する。

従来、特許文献１に示すように、車両のフロントガラスに表示光を投影して乗員に虚像を表示する装置が開示されている。特許文献１の装置は、車両の現在位置と地図情報とに基づいて、車両前方の走路形状を虚像として表示する。

特許第４３７９６００号公報

特許文献１に示すような装置を用いて、前景中の特定の対象物に虚像を重畳表示することで、虚像の表示位置を対象物の位置に関連付けた情報提示をすることが考えられている。しかし、車両が走行する道路の状態によっては、対象物に対して虚像の表示位置がずれ、虚像の表示位置を対象物の位置に正しく関連付けられない状況が発生し得る。この場合、虚像の提示する情報が、乗員に誤認識される虞がある。

開示される目的は、虚像の提示する情報の誤認識を抑制可能な表示制御装置および表示制御プログラムを提供することである。

この明細書に開示された複数の態様は、それぞれの目的を達成するために、互いに異なる技術的手段を採用する。また、特許請求の範囲およびこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示す一例であって、技術的範囲を限定するものではない。

開示された表示制御装置のひとつは、車両（Ａ）において用いられ、乗員の前景に重畳される虚像（Ｖｉ）の表示を制御する表示制御装置であって、車両の走行する道路に関して、前景中の対象物の位置に虚像の表示位置を関連付け可能な道路条件が成立するか否かを判定する道路条件判定部（２０７）と、道路条件が成立する場合には、表示位置を対象物の位置に関連付けて情報を提示する重畳虚像（Ｇｉ１）として虚像を生成し、道路条件が不成立である場合には、虚像の少なくとも一部を、表示位置を対象物の位置に関連付けることなく情報を提示する非重畳虚像（Ｇｉ２）として生成する表示生成部（２１０）と、を備え、道路条件判定部は、道路がカーブ路および勾配路の少なくとも一方である場合に、道路条件が不成立であると判定する。
開示された表示制御装置のひとつは、車両（Ａ）において用いられ、乗員の前景に重畳される虚像（Ｖｉ）の表示を制御する表示制御装置であって、車両の走行する道路に関して、前景中の対象物の位置に虚像の表示位置を関連付け可能な道路条件が成立するか否かを判定する道路条件判定部（２０７）と、道路条件が成立する場合には、表示位置を対象物の位置に関連付けて情報を提示する重畳虚像（Ｇｉ１）として虚像を生成し、道路条件が不成立である場合には、虚像の少なくとも一部を、表示位置を対象物の位置に関連付けることなく情報を提示する非重畳虚像（Ｇｉ２）として生成する表示生成部（２１０）と、前景中における重畳虚像の重畳対象領域（ＳＡ）を特定する重畳対象領域特定部（２０６）と、を備え、道路条件判定部は、重畳対象領域特定部の特定結果に基づいて道路条件が成立するか否かを判定する。
開示された表示制御装置のひとつは、車両（Ａ）において用いられ、乗員の前景に重畳される虚像（Ｖｉ）の表示を制御する表示制御装置であって、車両の走行する道路に関して、前景中の対象物の位置に虚像の表示位置を関連付け可能な道路条件が成立するか否かを判定する道路条件判定部（２０７）と、道路条件が成立する場合には、表示位置を対象物の位置に関連付けて情報を提示する重畳虚像（Ｇｉ１）として虚像を生成し、道路条件が不成立である場合には、虚像の少なくとも一部を、表示位置を対象物の位置に関連付けることなく情報を提示する非重畳虚像（Ｇｉ２）として生成する表示生成部（２１０）と、を備え、道路条件判定部は、車両の走行する現在車線が特定不可能である場合に、道路条件が不成立であると判定する。

開示された表示制御プログラムのひとつは、車両（Ａ）において用いられ、乗員の前景に重畳される虚像（Ｖｉ）の表示を制御する表示制御プログラムであって、少なくとも１つの処理部（２０ａ）を、車両の走行する道路に関して、前景中の対象物の位置に虚像の表示位置を関連付け可能な道路条件が成立するか否かを判定する道路条件判定部（２０７）、道路条件が成立する場合には、表示位置を対象物の位置に関連付けて情報を提示する重畳虚像（Ｇｉ１）として虚像を生成し、道路条件が不成立である場合には、虚像の少なくとも一部を、表示位置を対象物の位置に関連付けることなく情報を提示する非重畳虚像（Ｇｉ２）として生成する表示生成部（２１０）、として機能させ、道路条件判定部は、道路がカーブ路および勾配路の少なくとも一方である場合に、道路条件が不成立であると判定する。
開示された表示制御プログラムのひとつは、車両（Ａ）において用いられ、乗員の前景に重畳される虚像（Ｖｉ）の表示を制御する表示制御プログラムであって、少なくとも１つの処理部（２０ａ）を、車両の走行する道路に関して、前景中の対象物の位置に虚像の表示位置を関連付け可能な道路条件が成立するか否かを判定する道路条件判定部（２０７）、道路条件が成立する場合には、表示位置を対象物の位置に関連付けて情報を提示する重畳虚像（Ｇｉ１）として虚像を生成し、道路条件が不成立である場合には、虚像の少なくとも一部を、表示位置を対象物の位置に関連付けることなく情報を提示する非重畳虚像（Ｇｉ２）として生成する表示生成部（２１０）、前景中における重畳虚像の重畳対象領域（ＳＡ）を特定する重畳対象領域特定部（２０６）、として機能させ、道路条件判定部は、重畳対象領域特定部の特定結果に基づいて道路条件が成立するか否かを判定する。
開示された表示制御プログラムのひとつは、車両（Ａ）において用いられ、乗員の前景に重畳される虚像（Ｖｉ）の表示を制御する表示制御プログラムであって、少なくとも１つの処理部（２０ａ）を、車両の走行する道路に関して、前景中の対象物の位置に虚像の表示位置を関連付け可能な道路条件が成立するか否かを判定する道路条件判定部（２０７）、道路条件が成立する場合には、表示位置を対象物の位置に関連付けて情報を提示する重畳虚像（Ｇｉ１）として虚像を生成し、道路条件が不成立である場合には、虚像の少なくとも一部を、表示位置を対象物の位置に関連付けることなく情報を提示する非重畳虚像（Ｇｉ２）として生成する表示生成部（２１０）、として機能させ、道路条件判定部は、車両の走行する現在車線が特定不可能である場合に、道路条件が不成立であると判定する。

これらの開示によれば、重畳虚像の表示位置を前景中の対象物の位置に関連付けることが不可能である場合には、非重畳虚像が生成される。非重畳虚像は、表示位置を前景中の対象物の位置に関連付けることなく情報を提示するので、その表示位置に関わらず同様の情報を乗員に認識させることができる。以上により、虚像の提示する情報の誤認識を抑制可能な表示制御装置および表示制御プログラムを提供することができる。

第１実施形態に係るＨＣＵを含む車両システムの概略図である。ＨＵＤの車両への搭載例を示す図である。ＨＣＵの概略的な構成を示すブロック図である。ＡＲ表示の一例を示す図である。非ＡＲ表示の一例を示す図である。比較例のＡＲ表示による表示ずれの様子を示す図である。ＨＣＵの実行する処理の一例を示すフローチャートである。

（第１実施形態）
第１実施形態の表示制御装置について、図１〜図７を参照しながら説明する。車両システム１は、自動車といった路上を走行する車両Ａで用いられるものである。車両システム１は、一例として、図１に示すように、ＨＭＩ（Human Machine Interface）システム２、ロケータ５、周辺監視センサ４、運転支援ＥＣＵ６、およびナビゲーション装置３を含んでいる。ＨＭＩシステム２、ナビゲーション装置３、周辺監視センサ４、ロケータ５、および運転支援ＥＣＵ６は、例えば車内ＬＡＮに接続されている。

ナビゲーション装置３は、ナビゲーション地図データを格納したナビゲーション地図データベース（以下、ナビゲーション地図ＤＢ）３０を備える。ナビゲーション装置３は、設定される目的地までの時間優先、距離優先等の条件を満たす経路を探索し、その探索した経路に従った経路案内を行う。ナビゲーション装置３は、探索した経路を予定経路情報として車内ＬＡＮに出力する。

ナビゲーション地図ＤＢ３０は、不揮発性メモリであって、リンクデータ、ノードデータ、道路形状等のナビゲーション地図データを格納している。ナビゲーション地図データは、高精度地図データよりも比較的広範囲のエリアにて整備されている。リンクデータは、リンクを特定するリンクＩＤ、リンクの長さを示すリンク長、リンク方位、リンク旅行時間、リンクの始端と終端とのノード座標、および道路属性等の各データから構成される。ノードデータは、地図上のノード毎に固有の番号を付したノードＩＤ、ノード座標、ノード名称、ノード種別、ノードに接続するリンクのリンクＩＤが記述される接続リンクＩＤ、交差点種別等の各データから構成される。ナビゲーション地図データは、経度座標および緯度座標で表された２次元の位置座標情報としてノード座標を有している。

ロケータ５は、図１に示すように、ＧＮＳＳ（Global Navigation Satellite System）受信機５０、慣性センサ５１、高精度地図データベース（以下、高精度地図ＤＢ）５２を備えている。ＧＮＳＳ受信機５０は、複数の人工衛星からの測位信号を受信する。慣性センサ５１は、例えばジャイロセンサおよび加速度センサを備える。ロケータ５は、ＧＮＳＳ受信機５０で受信する測位信号と、慣性センサ５１の計測結果とを組み合わせることにより、車両Ａの自車位置を逐次測位する。

なお、ロケータ５は、車両位置の測位に、自車に搭載された車速センサから逐次出力される検出結果から求めた走行距離等を用いてもよい。また、ロケータ５は、後述の高精度地図データと、道路形状および構造物の特徴点の点群を検出するＬＩＤＡＲ等の周辺監視センサ４での検出結果とを用いて、自車の車両位置を特定してもよい。ロケータ５は、測位した車両位置を自車位置情報として車内ＬＡＮへ出力する。

高精度地図ＤＢ５２は、不揮発性メモリであって、高精度地図データ（高精度地図情報）を格納している。高精度地図データは、道路に関する情報、白線および道路標示に関する情報、構造物に関する情報等を有している。道路に関する情報には、例えば地点別の位置情報、カーブ曲率や勾配、他の道路との接続関係といった形状情報が含まれている。白線や道路標示に関する情報には、例えば白線および道路標示の種別情報、位置情報、および形状情報が含まれている。構造物に関する情報には、例えば各構造物の種別情報、位置情報、および形状情報が含まれている。ここで構造物は、道路標識、信号機、街灯、トンネル、陸橋および道路に面する建物等である。高精度地図データは、位置情報に関して経緯度に加えて高度を含んだ３次元地図である。

周辺監視センサ４は、車両Ａに搭載されて車両Ａの周辺環境を監視する自律センサである。周辺監視センサ４は、歩行者、人間以外の動物、自車以外の車両等の移動する動的物標、および路上の落下物、ガードレール、縁石、走行区画線等の路面表示、および樹木等の静止している静的物標といった自車周辺の対象物を検出する。

例えば周辺監視センサ４としては、自車周囲の前方の所定範囲を撮像する前方カメラ４１、自車周囲の所定範囲に探査波を送信するミリ波レーダ４２、ソナー、ＬＩＤＡＲ等の探査波センサがある。前方カメラ４１は、逐次撮像する撮像画像をセンシング情報として車内ＬＡＮへ逐次出力する。探査波センサは、対象物によって反射された反射波を受信した場合に得られる受信信号に基づく走査結果をセンシング情報として車内ＬＡＮへ逐次出力する。第１実施形態の周辺監視センサ４は、少なくとも、自車の前方の所定範囲を撮像範囲とする前方カメラ４１を含む。前方カメラ４１は、例えば、自車のルームミラー、インストルメントパネル上面等に設けられている。

運転支援ＥＣＵ６は、乗員による運転操作の代行を行う自動運転機能を実行する。運転支援ＥＣＵ６は、ロケータ５から取得する自車の車両位置および地図データ、周辺監視センサ４でのセンシング情報をもとに、自車の走行環境を認識する。

運転支援ＥＣＵ６で実行する自動運転機能の一例としては、駆動力および制動力を調整することで、先行車との目標車間距離を維持するように自車の走行速度を制御するＡＣＣ（Adaptive Cruise Control）機能がある。また、前方のセンシング情報をもとに制動力を発生させることで、自車を強制的に減速させるＡＥＢ（Autonomous Emergency Braking）機能がある。なお、運転支援ＥＣＵ６は、自動運転の機能として他の機能を備えていてもよい。

ＨＭＩシステム２は、操作デバイス２１、ＤＳＭ２２、ヘッドアップディスプレイ（以下、ＨＵＤと表記）２３、およびＨＣＵ（Human Machine Interface Control Unit）２０を備えている。ＨＭＩシステム２は、自車のユーザである乗員からの入力操作を受け付けたり、自車の乗員に向けて情報を提示したりする。操作デバイス２１は、自車の乗員が操作するスイッチ群である。操作デバイス２１は、各種の設定を行うために用いられる。例えば、操作デバイス２１としては、自車のステアリングのスポーク部に設けられたステアリングスイッチ等がある。

ＤＳＭ２２は、近赤外光源、近赤外カメラおよび画像解析部を有している。ＤＳＭ２２は、近赤外カメラを運転席側に向けた姿勢にて、例えばインストルメントパネル１２の上面等に配置されている。ＤＳＭ２２は、近赤外光源によって近赤外光を照射された運転者の顔周辺または上半身を近赤外カメラで撮影し、運転者の顔を含んだ顔画像を撮像する。ＤＳＭ２２は、撮像した顔画像を画像解析部にて解析し、運転者の視点位置を検出する。ＤＳＭ２２は、視点位置を例えば３次元の位置情報として検出する。ＤＳＭ２２は、検出した視点位置の情報を、ＨＣＵ２０に逐次出力する。

ＨＵＤ２３は、図２に示すように、自車のインストルメントパネル１２に設けられている。ＨＵＤ２３は、例えば液晶式または走査式等のプロジェクタ２３１により、ＨＣＵ２０から出力される画像データに基づく表示画像を形成する。

ＨＵＤ２３は、プロジェクタ２３１によって形成される表示画像を、例えば凹面鏡等の光学系２３２を通じて、投影部材としてのフロントウインドシールドＷＳに規定された投影領域ＰＡに投影する。投影領域ＰＡは、運転席前方に位置するものとする。フロントウインドシールドＷＳによって車室内側に反射された表示画像の光束は、運転席に着座する乗員によって知覚される。また、透光性ガラスにより形成されるフロントウインドシールドＷＳを透過した、自車の前方に存在する風景としての前景からの光束も、運転席に着座する乗員によって知覚される。これにより、乗員は、フロントウインドシールドＷＳの前方にて結像される表示画像の虚像Ｖｉを、前景の一部と重ねて視認可能となる。

以上によりＨＵＤ２３は、車両Ａの前景に虚像Ｖｉを重畳表示する。ＨＵＤ２３は、虚像Ｖｉを前景中の特定の重畳対象に重畳し、所謂ＡＲ（Augmented Reality）表示を実現する。加えてＨＵＤ２３は、虚像Ｖｉを特定の重畳対象に重畳せず、単に前景に重畳表示する非ＡＲ表示を実現する。なお、ＨＵＤ２３が表示画像を投影する投影部材は、フロントウインドシールドＷＳに限られず、透光性コンバイナであってもよい。

ＨＣＵ２０は、プロセッサ２０ａ、ＲＡＭ２０ｂ、メモリ装置２０ｃ、Ｉ／Ｏ２０ｄ、これらを接続するバスを備えるマイクロコンピュータを主体として構成され、ＨＵＤ２３と車内ＬＡＮとに接続されている。ＨＣＵ２０は、メモリ装置２０ｃに記憶された表示制御プログラムを実行することにより、ＨＵＤ２３による表示を制御する。ＨＣＵ２０は、表示制御装置の一例であり、プロセッサ２０ａは処理部の一例である。メモリ装置２０ｃは、コンピュータによって読み取り可能なプログラムおよびデータを非一時的に格納する非遷移的実体的記憶媒体（non-transitory tangible storage medium）である。また、非遷移的実体的記憶媒体は、半導体メモリまたは磁気ディスクなどによって実現される。

ＨＣＵ２０は、ＨＵＤ２３にて虚像Ｖｉとして表示するコンテンツの画像を生成し、ＨＵＤ２３へと出力する。虚像Ｖｉの一例として、ＨＣＵ２０は、乗員に対して車両Ａの走行予定経路の案内情報を提示する経路案内画像を生成する。ＨＣＵ２０は、特に交差点等の右左折が必要な地点や車線変更が必要な地点において経路案内画像を生成する。

ＨＣＵ２０は、経路案内画像をＡＲ虚像Ｇｉ１または非ＡＲ虚像Ｇｉ２として選択的に表示する。ＡＲ虚像Ｇｉ１は、表示位置を前景中の対象物の位置と関連付けられて情報を提示する虚像Ｖｉである。経路案内画像をＡＲ虚像Ｇｉ１として生成する場合、ＨＣＵ２０は、前景中の進行予定経路の路面を対象物とする。一例として図４に示すように、ＡＲ虚像Ｇｉ１は、車両Ａの走行する現在車線から進行予定経路に沿って一列に並べられた、立体形状を呈する複数のオブジェクトとして生成される。これによりＡＲ虚像Ｇｉ１は、路面上の進行予定経路を示す。ＡＲ虚像Ｇｉ１は、車両Ａが移動しても乗員の見た目上で路面の特定位置に対して相対固定されて表示される。ＡＲ虚像Ｇｉ１は、重畳虚像の一例である。

非ＡＲ虚像Ｇｉ２は、表示位置を対象物の位置と関連付けることなく情報を提示する虚像Ｖｉである。非ＡＲ虚像Ｇｉ２は、前景中の特定の物体には重畳されず、単に前景に重畳されて進行予定経路を示す。一例として図５に示すように、非ＡＲ虚像Ｇｉ２は、交差点において右左折する際の曲がる方向を示す矢印状のオブジェクトとして生成される。非ＡＲ虚像Ｇｉ２は、フロントウインドシールドＷＳ等の車両構成に相対固定されているように表示される。非ＡＲ虚像Ｇｉ２は、非重畳虚像の一例である。

ＨＣＵ２０は、図３に示すように、経路案内画像の生成に関わる機能ブロックとして、撮像画像取得部２０１、高精度地図取得部２０２、勾配情報取得部２０３、視点位置特定部２０４、現在車線特定部２０５、重畳対象領域特定部２０６、道路条件判定部２０７、および表示生成部２１０を備える。

撮像画像取得部２０１は、前方カメラ４１の撮影した撮像画像を取得する。高精度地図取得部２０２は、ロケータ５から車両Ａの現在地周辺の高精度地図の情報を取得する。なお、高精度地図取得部２０２は、車両Ａの外部のサーバからプローブデータ等の３次元地図データを取得する構成であってもよい。勾配情報取得部２０３は、車両Ａの走行している道路の勾配に関する情報を取得する。例えば勾配情報取得部２０３は、高精度地図ＤＢ５２に格納されている道路の勾配情報を取得する。または、勾配情報取得部２０３は、撮像画像の画像認識処理の結果に基づいて、勾配情報を取得してもよい。また勾配情報取得部２０３は、慣性センサ５１等の車両Ａの姿勢を検出する姿勢センサからの情報に基づき、道路の勾配を算出することで勾配情報を取得してもよい。勾配情報取得部２０３は、特に下り勾配に関する情報を取得する。

視点位置特定部２０４は、ＤＳＭ２２で逐次検出する視点位置の情報から自車の車両位置を基準とする運転者の視点位置を特定する。例えば視点位置特定部２０４は、ＤＳＭ２２で検出する視点位置を、ＤＳＭ２２での視点位置の基準とする位置と自車における車両位置の基準となる位置とのずれに基づき自車の車両位置を基準とする視点位置に変換することで、自車の運転者の視点位置を特定する。

現在車線特定部２０５は、車両Ａの走行している現在車線を特定する。現在車線特定部２０５は、取得された撮像画像の画像認識処理により、現在車線を特定する。現在車線特定部２０５は、ナビゲーション地図データまたは高精度地図データ等の地図情報を併用して現在車線を特定してもよい。特定した現在車線に関する情報は、道路条件判定部２０７に出力される。また現在車線特定部２０５は、現在車線を特定できない場合、その旨の情報を道路条件判定部２０７に出力する。

重畳対象領域特定部２０６は、前景中におけるＡＲ虚像Ｇｉ１の重畳対象領域ＳＡを特定する。重畳対象領域ＳＡは、投影領域ＰＡ内におけるＡＲ虚像Ｇｉ１を重畳する対象となる領域である。経路案内画像の場合、重畳対象領域ＳＡは、投影領域ＰＡ内における前景中の対象物（進行予定経路の路面）の存在する領域と同等である。

重畳対象領域ＳＡを特定するため、重畳対象領域特定部２０６は、まず撮像画像に写る物体の中から、現在車線を含む進行予定経路の路面を抽出する。重畳対象領域特定部２０６は、例えば進行予定経路が複数の車線を跨ぐ場合、それら複数の車線の路面を抽出する。重畳対象領域特定部２０６は、例えば撮像画像の中から走行区画線を検出し、走行区画線の間の領域を路面として検出する。または、重畳対象領域特定部２０６は、撮像画像の画素ごとに写った物体をクラス分けするセマンティックセグメンテーション等の画像認識処理により、路面の抽出を行ってもよい。なお、重畳対象領域特定部２０６は、交差点に進入する道路の路面等、前景中の進行予定経路の路面のうちの所定の部分のみを抽出してもよい。

また重畳対象領域特定部２０６は、撮像画像から路面を抽出できない場合、取得した高精度地図データを併用して重畳対象領域ＳＡを特定する。重畳対象領域特定部２０６は、高精度地図データに含まれる道路の地点別の３次元位置情報を、視点位置および投影領域ＰＡの位置の情報と組み合わせて、路面を抽出する。

加えて重畳対象領域特定部２０６は、前方カメラ４１の設置位置、投影領域ＰＡの位置、および乗員の視点位置の相対的な位置関係に基づいて、乗員の視点位置から投影領域ＰＡを通して視認される前景の領域を、撮像画像の中から特定する。

重畳対象領域特定部２０６は、撮像画像における路面の抽出結果および投影領域ＰＡを通して視認される領域の特定結果に基づき、乗員の視点位置から投影領域ＰＡを通して視認される前景の領域のうち、進行予定経路の路面が占める領域を、重畳対象領域ＳＡとして特定する。加えて重畳対象領域特定部２０６は、特定した重畳対象領域ＳＡの面積の大きさを算出する。

道路条件判定部２０７は、各種情報に基づいて道路条件の成立判定を行う。道路条件は、車両Ａの走行する道路に関して前景中の重畳対象物の位置に虚像Ｖｉの表示位置を関連付け可能である場合に成立し、関連付け不可能である場合に不成立となる。前景中の重畳対象物の位置に虚像Ｖｉの表示位置を関連付け可能な場合とは、虚像ＶｉをＡＲ虚像Ｇｉ１として表示させた際に本来の重畳対象領域ＳＡに正しく重畳可能な場合である。道路条件判定部２０７は、複数の道路条件について成立判定を行う。より具体的には、道路条件判定部２０７は、現在車線の特定可否、重畳対象領域ＳＡの面積、および下り勾配の有無を道路条件として判定する。

道路条件判定部２０７は、現在車線特定部２０５にて現在車線が特定できない場合には、道路条件が不成立であると判定する。現在車線が特定できない場合とは、例えば走行区画線の認識確度が閾値よりも低い場合等である。現在車線が特定できない場合には、ＡＲ虚像Ｇｉ１の表示位置が現在車線に対してずれた位置となり得る。例えば経路案内画像の場合には、現在車線以外の他車線に進行予定経路が重畳され得るため、道路条件判定部２０７は、現在車線が特定できない場合に道路条件を不成立とする。

道路条件判定部２０７は、重畳対象領域特定部２０６にて算出された重畳対象領域ＳＡの面積が閾値を下回る場合には、道路条件が不成立であると判定する。重畳対象領域ＳＡの面積が閾値を下回る場合、対象物にＡＲ虚像Ｇｉ１を重畳するための十分な領域が投影領域ＰＡ内に存在せず、ＡＲ虚像Ｇｉ１の表示位置を重畳対象物の位置に関連付け不可能である。このような状況は、走行中の道路が、図６に示すように上り勾配である、またはカーブの曲率が大きい場合等に発生する。このような場合、図６に示すように、路面に対してＡＲ虚像Ｇｉ１が浮いたように表示され得るため、道路条件判定部２０７は、重畳対象領域ＳＡの面積が閾値を下回る場合に道路条件を不成立とする。

閾値は、生成するＡＲ虚像Ｇｉ１の表示範囲の大きさに応じて予め規定された値である。第１実施形態の場合、ＡＲ虚像Ｇｉ１の表示範囲は、立体形状を呈する複数のオブジェクト全体の表示範囲である。表示範囲は、表示サイズと言い換えることもできる。特にＡＲ虚像Ｇｉ１の縦方向の表示範囲の大きさが小さいほど、閾値は小さくなる。すなわち、道路条件判定部２０７は、表示範囲が少なくてよいＡＲ虚像Ｇｉ１の場合、重畳対象領域ＳＡが比較的小さくてもＡＲ虚像Ｇｉ１としての表示を優先させる。

道路条件判定部２０７は、道路が下り勾配である場合には、道路条件が不成立であると判定する。道路が下り勾配である場合、車両Ａは前方側が下がった状態となる。この状態で路面にＡＲ虚像Ｇｉ１を重畳すると、本来の路面位置よりも低い位置に重畳され、路面に対して沈み込んだようにずれて表示される虞があるため、道路条件判定部２０７は、道路が下り勾配である場合に道路条件を不成立とする。

表示生成部２１０は、道路条件の判定結果に応じた表示態様にて経路案内画像を生成する。すなわち、表示生成部２１０は、道路条件が成立していると判定された場合には、ＡＲ虚像Ｇｉ１として経路案内画像を生成し、道路条件が不成立であると判定された場合には、非ＡＲ虚像Ｇｉ２として経路案内画像を生成する。

表示生成部２１０は、ＡＲ虚像Ｇｉ１を生成する場合、路面の位置座標と、自車位置座標とに基づき、車両Ａに対する路面の相対位置を特定する。表示生成部２１０は、ナビゲーション地図データの２次元位置情報を用いて相対位置を特定してもよいし、高精度地図データを利用可能な場合には３次元位置情報を用いて相対位置を特定してもよい。表示生成部２１０は、特定された相対位置、ＤＳＭ２２から取得される乗員の視点位置、および投影領域ＰＡの位置の関係に基づき、幾何学的な演算によってＡＲ虚像Ｇｉ１の投影位置および投影形状を決定する。

ＡＲ虚像Ｇｉ１の生成において、表示生成部２１０は、ＡＲ虚像Ｇｉ１が信号機に重畳する場合に、重畳表示の態様を変更する。ＡＲ虚像Ｇｉ１が信号機に重畳するか否かは、例えば取得した撮像画像に対する画像認識処理により識別された信号機の位置情報と、決定されたＡＲ虚像Ｇｉ１の表示位置との関係に基づいて判定される。表示生成部２１０は、例えば、信号機に重畳しない位置にＡＲ虚像Ｇｉ１の表示位置を補正することで、重畳表示の態様を変更する。または、表示生成部２１０は、ＡＲ虚像Ｇｉ１の輝度を低下させる、透過度を上げる、輪郭等の一部のみを表示する等、よりＡＲ虚像Ｇｉ１と重畳する信号機の視認性を向上するように重畳表示の態様を変更してもよい。

表示生成部２１０は、非ＡＲ虚像Ｇｉ２を生成する場合、投影領域ＰＡ内の予め設定された位置を表示位置とする。表示生成部２１０は、生成したＡＲ虚像Ｇｉ１または非ＡＲ虚像Ｇｉ２のデータをＨＵＤ２３へと出力してフロントウインドシールドＷＳに投影させ、予定経路情報を乗員に提示する。

次に、ＨＣＵ２０が実行する処理の一例について、図７のフローチャートを参照して説明する。ＨＣＵ２０は、図７に示す処理を、経路案内画像の表示区間に車両Ａが到達した場合に実行する。

ＨＣＵ２０は、まずステップＳ１０で、撮像画像を取得する。ステップＳ２０では、高精度地図データが有る場合には高精度地図データを取得する。ステップＳ３０では、ＤＳＭ２２から視点位置を取得する。ステップＳ４０では、取得した視点位置、前方カメラ４１の設置位置、投影領域ＰＡの位置に基づいて、撮像画像に写った前景中における投影領域ＰＡを特定する。ステップＳ５０では、重畳対象物である路面を検出し、特定した前景中の投影領域内に占める重畳対象領域ＳＡを特定する。

ステップＳ６０では、取得した撮像画像に基づいて現在車線が特定可能か否かを判定する。現在車線が特定不可能であると判定した場合には、ステップＳ１２０へと進み、非ＡＲ虚像Ｇｉ２を経路案内画像として生成する。一方で、ステップＳ５０にて現在車線が特定可能であると判定すると、ステップＳ６０へと進む。ステップＳ６０では、撮像画像に基づいて、ＡＲ虚像Ｇｉ１の重畳対象領域ＳＡを特定する。ステップＳ７０では、特定した重畳対象領域ＳＡの面積が、閾値を上回るか否かを判定する。閾値を下回ると判定した場合には、ステップＳ１２０へと進む。

一方で、閾値を上回ると判定した場合には、ステップＳ８０へと進み、走行中の道路が下り勾配であるか否かを判定する。下り勾配であるか否かは、例えば勾配の閾値が予め設定された閾値を上回るか否かによって判定する。下り勾配であると判定されると、ステップＳ１２０へと進む。

ステップＳ８０にて下り勾配ではないと判定された場合には、ステップＳ９０へと進む。ステップＳ９０では、ＡＲ虚像Ｇｉ１の表示位置を決定し、ＡＲ虚像Ｇｉ１が信号機に重畳するか否かを判定する。信号機に重畳しないと判定された場合には、ステップＳ１００へと進み、ＡＲ虚像Ｇｉ１を生成する。信号機に重畳すると判定された場合には、重畳表示の態様を変更したＡＲ虚像Ｇｉ１を生成する。

ステップＳ１００、Ｓ１１０およびＳ１２０にて虚像Ｖｉを生成すると、ステップＳ１３０へと進み、生成した虚像ＶｉのデータをＨＵＤへと出力する。ステップＳ１３０の処理を行うと、再びステップＳ１０へと戻る。ＨＣＵ２０は、一連の処理を、車両Ａが経路案内画像の表示区間を通過するまで繰り返す。

次に第１実施形態のＨＣＵ２０の構成および作用効果について説明する。

ＨＣＵ２０は、車両Ａの走行する道路に関して、前景中の路面の位置に虚像Ｖｉの表示位置を関連付け可能な道路条件が成立するか否かを判定する道路条件判定部２０７を有する。ＨＣＵ２０は、表示生成部２１０を備える。表示生成部２１０は、道路条件が成立する場合には、表示位置を路面の位置に関連付けて走行予定経路を提示するＡＲ虚像Ｇｉ１として虚像Ｖｉを生成する。表示生成部２１０は、道路条件が不成立である場合には、表示位置を路面の位置に関連付けることなく走行予定経路を提示する非ＡＲ虚像Ｇｉ２として生成する表示生成部２１０を備える。

これによれば、ＨＣＵ２０は、道路条件が不成立である場合には、ＡＲ虚像Ｇｉ１ではなく非ＡＲ虚像Ｇｉ２によって乗員に情報を提示する。したがって、ＡＲ虚像Ｇｉ１の表示位置を前景中の対象物の位置に関連付けることが困難である場合には、表示位置を関連付けることなく情報の提示を行うことができる。これにより、ＨＣＵ２０は、乗員に対して表示位置に関わらず同様の情報を乗員に提示することができる。以上により、虚像Ｖｉの提示する情報の誤認識を抑制可能なＨＣＵ２０および表示制御プログラムを提供することができる。

ＨＣＵ２０は、道路がカーブ路および勾配路の少なくとも一方である場合に、道路条件が不成立であると判定する。これによれば、ＨＣＵ２０は、走行している道路の形状について虚像Ｖｉの表示位置の関連付けが不可能となり得る形状である場合に、道路条件を不成立とし、非ＡＲ虚像Ｇｉ２による情報提示を実施することができる。以上によりＨＣＵ２０は、走行している道路の形状に応じた表示態様による情報提示を実施し、情報の誤認識を抑制することができる。

ＨＣＵ２０は、前景中におけるＡＲ虚像Ｇｉ１の重畳対象領域ＳＡを特定する重畳対象領域特定部２０６を備える。道路条件判定部２０７は、特定された重畳対象領域ＳＡに基づいて道路条件が成立するか否かを判定する。これによれば、ＨＣＵ２０は、特定した重畳対象領域ＳＡに基づいてＡＲ虚像Ｇｉ１を表示するか非ＡＲ虚像Ｇｉ２を表示するか決定するので、ＡＲ虚像Ｇｉ１の表示位置を対象物の位置に関連付け可能か否かをより正確に判定することができる。

ＨＣＵ２０は、前方カメラ４１による路面の検出情報に基づいて重畳対象領域ＳＡを特定する。これによれば、ＨＣＵ２０は、経年変化の影響を受けることなく実際の走行時の前景中における重畳対象領域ＳＡを特定することができる。

ＨＣＵ２０は、前方カメラ４１の撮像画像に基づく重畳対象領域ＳＡの特定が不可能な場合、高精度地図データを併用して重畳対象領域ＳＡを特定する。これによれば、ＨＣＵ２０は、撮像画像のみでの重畳対象領域ＳＡの特定が不可能な場合でも、より正確に重畳対象領域ＳＡを特定することが可能になる。

ＨＣＵ２０は、生成するＡＲ虚像Ｇｉ１の表示サイズが小さいほど重畳対象領域ＳＡの面積の閾値を小さく変更する。したがってＨＣＵ２０は、ＡＲ虚像Ｇｉ１の表示サイズに応じた道路条件の判定が可能となる。

ＨＣＵ２０は、道路が下り勾配である場合に、道路条件が不成立であると判定する。下り勾配である場合には、ＡＲ虚像Ｇｉ１を表示すると路面に対して沈み込んだような重畳表示になり得るので、下り勾配である場合に非ＡＲ虚像Ｇｉ２とすることでこれを回避できる。特に第１実施形態のＨＣＵ２０は、重畳対象領域ＳＡが閾値を上回るか否かの判定に加えて道路が下り勾配であるか否かを判定する。したがってＨＣＵ２０は、重畳対象領域ＳＡの面積の判定だけでは判断できないＡＲ虚像Ｇｉ１の下方へのずれを生じる条件に応じてＡＲ虚像Ｇｉ１と非ＡＲ虚像Ｇｉ２とを切り替えることができる。

ＨＣＵ２０は、現在車線が特定不可能である場合に、道路条件が不成立であると判定する。現在車線が特定できない場合、ＡＲ虚像Ｇｉ１の表示位置を確定するのが困難になる。このような場合に非ＡＲ虚像Ｇｉ２にできるので、ＡＲ虚像Ｇｉ１の表示ずれを回避できる。

ＨＣＵ２０は、ＡＲ虚像Ｇｉ１が信号機に重畳する場合には、ＡＲ虚像Ｇｉ１の表示態様を変更する。これによれば、ＨＣＵ２０は、表示態様の変更により、ＡＲ虚像Ｇｉ１が信号機に重畳して信号機の視認性が低下することを回避できる。

（他の実施形態）
この明細書における開示は、例示された実施形態に制限されない。開示は、例示された実施形態と、それらに基づく当業者による変形態様を包含する。例えば、開示は、実施形態において示された部品および／または要素の組み合わせに限定されない。開示は、多様な組み合わせによって実施可能である。開示は、実施形態に追加可能な追加的な部分をもつことができる。開示は、実施形態の部品および／または要素が省略されたものを包含する。開示は、ひとつの実施形態と他の実施形態との間における部品および／または要素の置き換え、または組み合わせを包含する。開示される技術的範囲は、実施形態の記載に限定されない。開示されるいくつかの技術的範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味および範囲内での全ての変更を含むものと解されるべきである。

上述の実施形態において、ＨＣＵ２０は、道路条件の判定結果に基づき、ＡＲ虚像Ｇｉ１と非ＡＲ虚像Ｇｉ２とを切り替えるとした。これに代えて、ＨＣＵ２０は、道路条件が不成立である場合には、ＡＲ虚像Ｇｉ１の一部を非ＡＲ虚像Ｇｉ２に変更する構成であってもよい。この場合、ＨＣＵ２０は、ＡＲ虚像Ｇｉ１のうち特に対象物の位置に表示位置を関連付け不可能な部分、例えば重畳対象領域ＳＡから外れる部分を非ＡＲ虚像Ｇｉ２とすればよい。

上述の実施形態において、ＨＣＵ２０は、複数の道路条件について成立したか否かを判定する構成であるとした。これに代えて、ＨＣＵ２０は、少なくとも１つの道路条件についてのみ成立したか否かを判定し、その判定結果に基づいてＡＲ虚像Ｇｉ１を生成するか非ＡＲ虚像Ｇｉ２を生成するか決定してもよい。

上述の実施形態において、ＨＣＵ２０は、前方カメラ４１の撮像データに基づいて重畳対象領域ＳＡを特定するとした。これに代えてＨＣＵ２０は、ＬＩＤＡＲ等の他の周辺監視センサ４の検出情報に基づいて重畳対象領域ＳＡを特定してもよい。

上述の実施形態において、ＨＣＵ２０は、道路が上り勾配であるか否かを、重畳対象領域ＳＡの面積が閾値を上回るか否かによって判定するとした。これに代えて、ＨＣＵ２０は、道路が上り勾配であるか否かを、地図情報、姿勢センサの検出情報等により算出される勾配の大きさに基づいて判定してもよい。また同様に、ＨＣＵ２０は、カーブ路であるか否かを、カーブ曲率の大きさに基づいて判定してもよい。

上述の実施形態において、ＨＣＵ２０は、道路条件に基づくＡＲ虚像Ｇｉ１と非ＡＲ虚像Ｇｉ２との生成の切り替え制御を、経路案内画像について実施するとした。ＨＣＵ２０は、経路案内画像に限らず、種々の情報を提示する虚像Ｖｉについて切り替え制御を実施してよい。例えば、ＨＣＵ２０は、停止線を表す画像、先行車を強調する画像、レーンキープを促す画像等の表示について、上述の切り替え制御を実施してよい。

上述の実施形態のプロセッサは、１つまたは複数のＣＰＵ（Central Processing Unit）を含む処理部である。こうしたプロセッサは、ＣＰＵに加えて、ＧＰＵ（Graphics Processing Unit）およびＤＦＰ（Data Flow Processor）等を含む処理部であってよい。さらにプロセッサは、ＦＰＧＡ（Field-Programmable Gate Array）、並びにＡＩの学習および推論等の特定処理に特化したＩＰコア等を含む処理部であってもよい。こうしたプロセッサの各演算回路部は、プリント基板に個別に実装された構成であってもよく、またはＡＳＩＣ（Application Specific Integrated Circuit）およびＦＰＧＡ等に実装された構成であってもよい。

表示制御プログラム等を記憶するメモリ装置には、フラッシュメモリおよびハードディスク等の種々の非遷移的実体的記憶媒体（non-transitory tangible storage medium）が採用可能である。こうした記憶媒体の形態も、適宜変更されてよい。例えば記憶媒体は、メモリカード等の形態であり、車載ＥＣＵに設けられたスロット部に挿入されて、制御回路に電気的に接続される構成であってよい。

本開示に記載の制御部およびその手法は、コンピュータプログラムにより具体化された１つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置およびその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置およびその手法は、コンピュータプログラムを実行するプロセッサと１つ以上のハードウエア論理回路との組み合わせにより構成された１つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

２０ＨＣＵ（表示制御装置）、２０６重畳対象領域特定部、２０７道路条件判定部、２０ａプロセッサ（処理部）、２１０表示生成部、４１前方カメラ（車載センサ）、Ａ車両、Ｖｉ虚像、Ｇｉ１ＡＲ虚像（重畳虚像）、Ｇｉ２非ＡＲ虚像（非重畳虚像）、ＰＡ投影領域、ＳＡ重畳対象領域。

Claims

車両（Ａ）において用いられ、乗員の前景に重畳される虚像（Ｖｉ）の表示を制御する表示制御装置であって、
前記車両の走行する道路に関して、前記前景中の対象物の位置に前記虚像の表示位置を関連付け可能な道路条件が成立するか否かを判定する道路条件判定部（２０７）と、
前記道路条件が成立する場合には、前記表示位置を前記対象物の位置に関連付けて情報を提示する重畳虚像（Ｇｉ１）として前記虚像を生成し、前記道路条件が不成立である場合には、前記虚像の少なくとも一部を、前記表示位置を前記対象物の位置に関連付けることなく前記情報を提示する非重畳虚像（Ｇｉ２）として生成する表示生成部（２１０）と、
を備え、
前記道路条件判定部は、前記道路がカーブ路および勾配路の少なくとも一方である場合に、前記道路条件が不成立であると判定する表示制御装置。
車両（Ａ）において用いられ、乗員の前景に重畳される虚像（Ｖｉ）の表示を制御する表示制御装置であって、
前記車両の走行する道路に関して、前記前景中の対象物の位置に前記虚像の表示位置を関連付け可能な道路条件が成立するか否かを判定する道路条件判定部（２０７）と、
前記道路条件が成立する場合には、前記表示位置を前記対象物の位置に関連付けて情報を提示する重畳虚像（Ｇｉ１）として前記虚像を生成し、前記道路条件が不成立である場合には、前記虚像の少なくとも一部を、前記表示位置を前記対象物の位置に関連付けることなく前記情報を提示する非重畳虚像（Ｇｉ２）として生成する表示生成部（２１０）と、
前記前景中における前記重畳虚像の重畳対象領域（ＳＡ）を特定する重畳対象領域特定部（２０６）と、
を備え、
前記道路条件判定部は、前記重畳対象領域特定部の特定結果に基づいて前記道路条件が成立するか否かを判定する表示制御装置。
前記重畳対象領域特定部は、車載センサ（４１）による前記前景の検出情報に基づいて前記重畳対象領域を特定する請求項２に記載の表示制御装置。
前記重畳対象領域特定部は、前記検出情報に基づく前記重畳対象領域の特定が不可能な場合には、さらに３次元地図情報に基づいて前記重畳対象領域を特定する請求項３に記載の表示制御装置。
前記道路条件判定部は、前記虚像を投影可能な投影領域（ＰＡ）内における前記重畳対象領域の面積が閾値を下回る場合に、前記道路条件が不成立であると判定する請求項２から請求項４のいずれか１項に記載の表示制御装置。
前記道路条件判定部は、生成する前記重畳虚像の表示サイズが小さいほど前記閾値を小さく設定する請求項５に記載の表示制御装置。
前記道路条件判定部は、前記道路が下り勾配である場合に、前記道路条件が不成立であると判定する請求項５または請求項６に記載の表示制御装置。
前記道路条件判定部は、前記道路がカーブ路および勾配路の少なくとも一方である場合に、前記道路条件が不成立であると判定する請求項２から請求項７のいずれか１項に記載の表示制御装置。
前記道路条件判定部は、前記車両の走行する現在車線が特定不可能である場合に、前記道路条件が不成立であると判定する請求項１から請求項８のいずれか１項に記載の表示制御装置。
車両（Ａ）において用いられ、乗員の前景に重畳される虚像（Ｖｉ）の表示を制御する表示制御装置であって、
前記車両の走行する道路に関して、前記前景中の対象物の位置に前記虚像の表示位置を関連付け可能な道路条件が成立するか否かを判定する道路条件判定部（２０７）と、
前記道路条件が成立する場合には、前記表示位置を前記対象物の位置に関連付けて情報を提示する重畳虚像（Ｇｉ１）として前記虚像を生成し、前記道路条件が不成立である場合には、前記虚像の少なくとも一部を、前記表示位置を前記対象物の位置に関連付けることなく前記情報を提示する非重畳虚像（Ｇｉ２）として生成する表示生成部（２１０）と、
を備え、
前記道路条件判定部は、前記車両の走行する現在車線が特定不可能である場合に、前記道路条件が不成立であると判定する表示制御装置。
前記表示生成部は、前記重畳虚像が信号機に重畳する場合には、前記重畳虚像の表示態様を変更する請求項１から請求項１０のいずれか１項に記載の表示制御装置。
車両（Ａ）において用いられ、乗員の前景に重畳される虚像（Ｖｉ）の表示を制御する表示制御プログラムであって、
少なくとも１つの処理部（２０ａ）を、
前記車両の走行する道路に関して、前記前景中の対象物の位置に前記虚像の表示位置を関連付け可能な道路条件が成立するか否かを判定する道路条件判定部（２０７）、
前記道路条件が成立する場合には、前記表示位置を前記対象物の位置に関連付けて情報を提示する重畳虚像（Ｇｉ１）として前記虚像を生成し、前記道路条件が不成立である場合には、前記虚像の少なくとも一部を、前記表示位置を前記対象物の位置に関連付けることなく前記情報を提示する非重畳虚像（Ｇｉ２）として生成する表示生成部（２１０）、
として機能させ、
前記道路条件判定部は、前記道路がカーブ路および勾配路の少なくとも一方である場合に、前記道路条件が不成立であると判定する表示制御プログラム。
車両（Ａ）において用いられ、乗員の前景に重畳される虚像（Ｖｉ）の表示を制御する表示制御プログラムであって、
少なくとも１つの処理部（２０ａ）を、
前記車両の走行する道路に関して、前記前景中の対象物の位置に前記虚像の表示位置を関連付け可能な道路条件が成立するか否かを判定する道路条件判定部（２０７）、
前記道路条件が成立する場合には、前記表示位置を前記対象物の位置に関連付けて情報を提示する重畳虚像（Ｇｉ１）として前記虚像を生成し、前記道路条件が不成立である場合には、前記虚像の少なくとも一部を、前記表示位置を前記対象物の位置に関連付けることなく前記情報を提示する非重畳虚像（Ｇｉ２）として生成する表示生成部（２１０）、
前記前景中における前記重畳虚像の重畳対象領域（ＳＡ）を特定する重畳対象領域特定部（２０６）、
として機能させ、
前記道路条件判定部は、前記重畳対象領域特定部の特定結果に基づいて前記道路条件が成立するか否かを判定する表示制御プログラム。
車両（Ａ）において用いられ、乗員の前景に重畳される虚像（Ｖｉ）の表示を制御する表示制御プログラムであって、
少なくとも１つの処理部（２０ａ）を、
前記車両の走行する道路に関して、前記前景中の対象物の位置に前記虚像の表示位置を関連付け可能な道路条件が成立するか否かを判定する道路条件判定部（２０７）、
前記道路条件が成立する場合には、前記表示位置を前記対象物の位置に関連付けて情報を提示する重畳虚像（Ｇｉ１）として前記虚像を生成し、前記道路条件が不成立である場合には、前記虚像の少なくとも一部を、前記表示位置を前記対象物の位置に関連付けることなく前記情報を提示する非重畳虚像（Ｇｉ２）として生成する表示生成部（２１０）、
として機能させ、
前記道路条件判定部は、前記車両の走行する現在車線が特定不可能である場合に、前記道路条件が不成立であると判定する表示制御プログラム。