JP7577988B2 - 表示装置、移動体、表示方法及びプログラム - Google Patents

Description

本発明は、表示装置、移動体、表示方法及びプログラムに関する。

従来、車両のフロントウインドシールド等に各種情報を含む被投射画像の虚像を車両の前景に重畳表示し、車両の運転者に視認させるヘッドアップディスプレイ等の表示装置が知られている。

また、車両に取り付けられたカメラで取得される車両の前方画像に基づき車両前方にある道路標識や路面標示等の交通標識を認識し、前景で視認される道路の位置に仮想標識画像の虚像を重畳表示することで、交通標識が適用される道路を車両の運転者に指示する技術が開示されている（例えば、特許文献１参照）。

しかしながら、特許文献１の技術では、交通標識が適用される道路等の経路又は交通標識が前景の端部付近等で視認される場合には、前景における交通標識の位置に仮想標識画像等の所定画像の虚像を重畳表示するために、表示装置に広角の投射画角が求められ、表示装置のサイズやコストが増大する場合がある。

本発明は、狭い投射画角でも、交通標識が適用される経路又は交通標識を示すことを課題とする。

本発明の一態様に係る表示装置は、被投射画像の虚像を表示する表示装置であって、交通標識に基づいて取得される所定画像を含む前記被投射画像を生成する画像生成部と、前記交通標識の位置と、移動体の前方にある経路の位置と、に基づき、前記交通標識が適用される対象経路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる方向指示部と、前記交通標識に基づき、前記対象経路又は前記交通標識の何れか一方を前記存在方向の対象として決定する方向対象決定部と、を備える。

狭い投射画角でも、交通標識が適用される経路又は交通標識を示すことができる。

実施形態に係る表示装置が車両に搭載された構成例を示す図である。 投射部の構成例を示す図である。 表示装置が車両に搭載された車載システムの構成例を示すブロック図である。 検出装置の構成例を示すブロック図である。 画像処理装置の機能構成例を示すブロック図である。 実施形態に係る制御部のハードウェア構成例のブロック図である。 第１実施形態に係る制御部の機能構成例のブロック図である。 第１実施形態に係る制御部による処理例を示すフローチャートである。 前方画像の一例を示す図である。 被投射画像の一例を示す図である。 第１実施形態に係る車両の前景の一例を示す図である。 車両の移動により図１１の状態から変化した前景の一例を示す図である。 投射部の広角化を説明する図である。 第２実施形態に係る制御部の機能構成例を示す図である。 第２実施形態に係る制御部の処理例を示すフローチャートである。 第２実施形態に係る車両の前景の一例を示す図である。 車両の移動により図１６の状態から変化した前景の一例を示す図である。

以下、図面を参照して発明を実施するための形態について説明する。なお、各図面において、同一構成の部分には同一符号を付し、重複した説明を省略する場合がある。

実施形態に表示装置は、フロントウインドシールド（フロントガラス）等に各種情報を含む被投射画像の虚像を重畳表示し、車両等の移動体の運転者に視認させるものである。

また、交通標識に基づいて取得される仮想標識画像等の所定画像を含む被投射画像を生成し、交通標識の位置と移動体の前方にある経路の位置とに基づき、交通標識が適用される対象経路又は交通標識の何れか一方が存在する存在方向を、運転者に示す。

方向を示すことにより、前景で視認される対象経路の位置に、仮想標識画像等の所定画像の虚像を重畳表示するための投射画角の広角化を不要にする。これにより表示装置の投射画角が狭くても、対象経路又は交通標識の何れか一方を示すことを可能にする。

＜実施形態における用語について＞
（画像）
静止画像と動画像の両方を含み、映像も画像に含まれるものとする。

（前景）
移動体の運転者が視認する移動体の前方の風景をいう。例えば、車両のフロントウインドシールドを通じて運転者が視認する前方の風景が前景に該当する。

（運転者）
移動体を運転又は操縦する者のことをいう。例えば、車両のドライバ等が挙げられる。

（交通標識）
交通を利用する者に必要な情報を提供する物をいう。例えば交通標識は、情報を表示する部材である表示部材、情報を表示する画像、又は情報を表示するペイント等を含む。より具体的には、交通標識は、道路標識又は路面標示等を含む。道路標識とは、道路の近傍又は上空に設けられ、車両の運転者等の道路を利用する者に必要な情報を提供する表示板をいう。路面標示とは、交通を整理、誘導又は規制を目的とした情報提供のために道路の路面に設けられたペイントをいう。交通標識は、提供する情報に応じて予め定められた図形や記号、文字等を標示する。

（移動体）
移動可能な物体をいう。例えば移動体は、自動車、車両、電車、汽車又はフォークリフト等の陸上を移動可能な陸上移動体を含み、飛行機、気球又はドローン等の空中を移動可能な空中移動体を含み、船、船舶、汽船又はボート等の水上を移動可能な水上移動体を含む。

（経路）
移動体が移動する道、路、途又は方向をいう。例えば経路は、交通路、進行方向又は走行方向等を含み、陸上移動体が移動する道路、通路、通行路、走行路又は線路等を含み、空中移動体が移動する空路又は航空路等を含み、水上移動体が移動する水路、海路又は航路等を含む。

（仮想標識画像）
仮想的な交通標識の画像をいい、交通標識が表示する図形に対応する図形、又は交通標識が表示する文字に対応する文字の少なくとも一方を表示する画像をいう。例えば交通標識が「進入禁止」の道路標識である場合には、「進入禁止」の道路標識が表示するパターンと同じパターンの画像が仮想標識画像に該当する。

（被投射画像）
運転者に視認させるために投射される画像をいう。被投射画像は、車両の走行速度情報や仮想標識画像等の運転者に提供する情報等を含む。

（所定画像）
上記の被投射画像に含まれる画像をいう。例えば上記の仮想標識画像や交通標識を言葉に置き換えた文字を標示する文字画像等が所定画像に該当する。

（所定位置）
移動体が移動することで交通標識が前景から外れ、交通標識の情報が取得されなくなった場合に、被投射画像内で上記の所定画像を配置する位置をいう。

（対象経路）
交通標識が標示する情報が適用される経路をいう。例えば自動車が移動する経路である道路に６０ｋｍ／ｈの速度制限が適用されることを交通標識が標示する場合は、この６０ｋｍ／ｈ速度制限が適用される道路が対象経路に該当する。この場合の道路を対象道路という。対象道路は対象経路の一例である。

（存在方向）
運転者から見て、対象経路又は交通標識の何れか一方が存在する方向をいう。

以下、道路を移動可能な車両に搭載されるヘッドアップディスプレイ（ＨＵＤ；Head Up Display）を一例として、実施形態を説明する。ここで、道路は経路の一例であり、車両は移動体の一例であり、ＨＵＤは表示装置の一例である。

＜構成例＞
図１は、実施形態に係る表示装置１が車両８に搭載された構成の一例を示す図である。図１に示すように、表示装置１は制御部２０と投射部１０を備えている。

表示装置１は車両８に設けられたダッシュボードの内部に埋め込まれており、表示装置１の上面に設けられた射出窓３からフロントウインドシールド７１に向けて画像を投射する。投射された画像はフロントウインドシールド７１よりも正のＹ方向に虚像Ｉとして表示され、車両８の運転者Ｖにより視認される。運転者Ｖは、虚像Ｉを視認することで、車両８の正のＹ方向にある他の車両や路面等に視線を保ったまま、少ない視線移動で運転のために有用な情報を取得できる。

なお、表示装置１はフロントウインドシールド７１に画像を投射できればよく、ダッシュボードの他、天井やサンバイザなどに設置されていてもよい。

図１に示すように、表示装置１は、主要な構成要素として、投射部１０と、制御部２０とを備えている。投射部１０の投射方式としては、レーザ走査方式及びパネル方式が知られている。レーザ走査方式は、レーザ光源から射出されたレーザビームを２次元走査デバイスで走査し中間像（後述するスクリーンに投射される実像）を形成する方式である。パネル方式は、液晶パネル、ＤＭＤ（Digital Micro-mirror Device）パネル、蛍光表示管（ＶＦＤ；Vacuum Fluorescent Display）等のイメージングデバイスで中間像を形成する方式である。被投射画像は、レーザ走査方式により投射されるものと、パネル方式により投射されるものの両方を含む。

レーザ走査方式は、全画面を発光して部分的に遮光することで画像を形成するパネル方式とは違い、各画素に対して発光／非発光を割り当てることができるため、一般に高コントラストの画像を形成できる点で好適である。高コントラストであることで視認性が向上するため、パネル方式のＨＵＤよりも少ない注意資源で車両の乗員が情報を視認できることが明らかになっている。

特に、パネル方式では情報がない領域でも遮光しきれない光が投射され、ＨＵＤが画像を表示できる範囲に表示枠が投射されてしまう（この現象をポストカードという）。レーザ走査方式ではこのような現象がなく、コンテンツのみを投影できる。特に、ＡＲ（Augmented Reality）において、実在する風景に生成した画像を重ねて表示する際のリアリティが向上する。

なお、ＡＲとは、「拡張現実」と訳され、実在する風景に実在しないオブジェクトの画像を重ねて表示することで、目の前にある世界を仮想的に拡張する技術をいう。但し、パネル方式のＨＵＤであってもより少ない注意資源で視認できる（疲れにくい）態様で情報を表示できるＨＵＤであればよい。

図２は、投射部１０の構成の一例を示す図である。投射部１０は、主に、光源部１０１と、光偏向器１０２と、ミラー１０３と、スクリーン１０４と、凹面ミラー１０５とを備えている。なお、図２は主要な構成要素を示したに過ぎず、図示する以外の構成要素を備えてもよいし、図示する構成要素の一部を備えていなくてもよい。

光源部１０１は、Ｒｅｄ（Ｒ）、Ｇｒｅｅｎ（Ｇ）及びＢｌｕｅ（Ｂ）に対応した３つのレーザ光源（以下、ＬＤ：レーザダイオードとする）、カップリングレンズ、アパーチャ、合成素子及びレンズ等を備えており、３つのＬＤから出射されたレーザビームを合成して光偏向器１０２の反射面に向かって導く。光偏向器１０２の反射面に導かれたレーザビームは、光偏向器１０２により２次元的に偏向される。

光偏向器１０２としては、直交する２軸に対して揺動する１つの微小なミラーや、１軸に揺動又は回動する２つの微小なミラー等を用いることができる。光偏向器１０２は、半導体プロセス等で作製されたＭＥＭＳ（Micro Electro Mechanical Systems）ミラーとすることができる。光偏向器１０２は、圧電素子の変形力を駆動力とするアクチュエータにより駆動できる。但し、光偏向器１０２として、ガルバノミラーやポリゴンミラー等を用いてもよい。

光偏向器１０２により２次元的に偏向されたレーザビームはミラー１０３に入射し、ミラー１０３により折り返され、スクリーン１０４の表面（被走査面）上に２次元の画像（中間像）を描画する。ミラー１０３としては、凹面鏡等を用いることができるが、凸面鏡や平面鏡を用いてもよい。光偏向器１０２とミラー１０３でレーザビームの方向を偏向することで、投射部１０の小型化又は構成要素の配置を柔軟に変更できる。

スクリーン１０４としては、レーザビームを所望の発散角で発散させる機能を有するマイクロレンズアレイやマイクロミラーアレイを用いると好適であるが、レーザビームを拡散させる拡散板、表面が平滑な透過板や反射板等を用いてもよい。一般に光源部１０１からスクリーン１０４まではＨＵＤ装置と呼ばれる。但し、この他の部品を含んでもよい。

スクリーン１０４から射出されたレーザビームは、凹面ミラー１０５で反射され、フロントウインドシールド７１に投影される。凹面ミラー１０５はレンズと似た働きを備え、所定の焦点距離に像を結像させる機能を備える。このため、凹面ミラー１０５がレンズであるとすると物体に相当するスクリーン１０４上の像は凹面ミラー１０５の焦点距離によって定まる距離Ｒ_２の位置に結像する。従って、車両８の運転者Ｖ等の乗員から見た場合、フロントウインドシールド７１から距離Ｒ_１＋Ｒ_２の位置に虚像Ｉが表示される。車両８の運転者Ｖからフロントウインドシールド７１までの距離をＲ_３とすると、図２では車両８の運転者Ｖの視点Ｅから距離Ｒ（＝Ｒ_１＋Ｒ_２＋Ｒ_３）の位置に虚像Ｉが表示される（結像する）。

フロントウインドシールド７１への光束の少なくとも一部は車両８の運転者Ｖの視点Ｅに向けて反射される。この結果、車両８の運転者Ｖはフロントウインドシールド７１を介してスクリーン１０４の中間像が拡大された虚像Ｉを視認可能となる。換言すると、車両８の運転者Ｖから見て、フロントウインドシールド７１越しに中間像が拡大表示された虚像Ｉが表示される。

なお、一般にフロントウインドシールド７１は平面ではなく僅かに湾曲している。このため、凹面ミラー１０５の焦点距離だけでなくフロントウインドシールド７１の曲面によっても虚像Ｉの結像位置が決定されるが、距離Ｒは上述したようにほぼ距離Ｒ_１＋Ｒ_２によって定まる。視線移動が少なくて済むように虚像Ｉを遠方に結像させるには、距離Ｒ_１又はＲ_２を長くする。距離Ｒ_１を長くする方法としてはミラーで光路を折り返す方法があり、距離Ｒ２を長くする方法としては凹面ミラー１０５の焦点距離を調整する方法がある。

なお、フロントウインドシールド７１の影響で中間像の水平線が上又は下に凸形状となる光学歪みが生じるため、ミラー１０３及び凹面ミラー１０５の少なくとも一方は、歪みを補正するように設計、配置されることが好ましい。あるいは、投影される映像が歪みを考慮して補正されることが好ましい。

また、フロントウインドシールド７１よりも視点Ｅ側に透過反射部材としてコンバイナを配置してもよい。コンバイナに凹面ミラー１０５からの光を照射するようにしても、フロントウインドシールド７１に凹面ミラー１０５からの光を照射した場合と同様に、虚像Ｉとして情報を提示することができる。

＜表示装置１が搭載される車載システム２の構成例＞
次に、表示装置１が車両８に搭載された車載システム２を、図３を参照して説明する。図３は、表示装置１が車両８に搭載された車載システム２の構成の一例を示すブロック図である。

車載システム２はＣＡＮ（Controller Area Network）バス等の車載ネットワークＮＷを介して通信するカーナビゲーションシステム１１と、エンジンＥＣＵ（Electronic Control Unit）１２と、表示装置１と、ブレーキＥＣＵ１３と、ステアリングＥＣＵ１４と、画像処理装置１５と、検出装置１６とを備えている。

カーナビゲーションシステム１１は、ＧＰＳ（Global Positioning System）に代表されるＧＮＳＳ（Global Navigation Satellite System）を備え、車両８の現在地を検出して電子地図上に車両８の位置を表示する。

また、出発地と目的地の入力を受け付け、出発地から目的地までの経路を検索して電子地図上に経路を表示したり、進路変更の手前で車両８の乗員に進行方向を音声、文字（ディスプレイに表示される）、又はアニメーション等で案内したりする。なお、カーナビゲーションシステム１１は携帯電話網などを介してサーバと通信してもよい。この場合、サーバが電子地図を車両８に送信したり経路検索を行ったりすることができる。

エンジンＥＣＵ１２は、各センサからの情報と車両８の状況に合わせ、理想となる燃料噴射量の決定、点火時期の進角・遅角、動弁機構等の制御を行う。また、現在車速とアクセル開度の関係に対し変速段の切り替え線が定められたマップを参照する等して変速の必要性を判断する。エンジンＥＣＵ１２はこれらを組み合わせ先行車への追従走行時の加速や減速制御を行う。なお、エンジンと共に又はエンジンを動力とすることなく電気モータを動力としてもよい。

ブレーキＥＣＵ１３は、ＡＢＳ（Antilock Braking System）制御、先行車への追従走行時の制動制御、障害物とのＴＴＣ（Time To Collision）に基づく自動制動、坂道発進時の停止状態維持制御など、車両８の運転者Ｖによるブレーキペダルの操作がなくても車両８の車輪ごとに制動力を制御する。

ステアリングＥＣＵ１４は、車両８の運転者Ｖによるハンドルの操舵の方向と操舵量を検出し、操舵方向に操舵トルクを付加するパワーステアリング制御を行う。また、走行レーンからの逸脱を回避する方向、走行レーンの中央の走行を維持する方向、又は障害物との接近を回避する方向に、車両８の運転者Ｖによるハンドル操作がなくても操舵する。

検出装置１６は前方カメラ１６４等の各種のセンサを備えており、車両８の前方画像の撮像等の各種検出を行うことができる。ここで、前方カメラ１６４は、運転者Ｖがフロントウインドシールド７１を通して視認される前景に前方画像が対応するように位置及び傾きが調整され、車両８に取り付けられている。

画像処理装置１５は、前方カメラ１６４により撮像された車両８の前方画像に対して画像処理を実行し、被投射画像の生成で使用される情報を取得して表示装置１に出力する。

＜検出装置１６の構成例＞
次に、検出装置１６の構成を、図４を参照して説明する。図４は、検出装置１６の構成の一例を示すブロック図である。検出装置１６は、表示装置１が表示する車速を検出する車速センサ１６１、表示装置１が表示する車両情報を取得する車両情報センサ１６２、障害物を検出するレーダセンサ１６３と前方カメラ１６４、乗員に関する情報である乗員状態情報を取得する乗員状態情報センサ１６５、外部から渋滞情報などを受信するＶＩＣＳ受信装置１６６（登録商標。ＶＩＣＳ：Vehicle Information and Communication System Center）、及びインターネットなどに接続する外部通信装置１６７等を備えている。

なお、検出装置１６が備える各センサは検出装置１６にまとまって存在する必要はなく、車載されていればよい。

車速センサ１６１は、ドライブトレイン系のシャフトの回転と共に回転する磁石を、車体に固定されたセンサ部が検出し、回転速度に比例したパルス波を発生させる。単位時間のパルス数により車速を検出できる。

車両情報センサ１６２は、車速センサ１６１以外の車両情報を検出する１つ以上のセンサを備えている。例えば、燃料計センサ、シフトレバー位置センサ、オドメータ、トリップメータ、ウィンカセンサ、及び水温センサ等である。これらは一般的な構成で各車両情報を取得できればよい。燃料計センサは現在の残燃料を検出する。

シフトレバー位置センサは車両８の運転者Ｖが操作したシフトレバー位置を検出する。オドメータは車両８の走行距離を累積して総走行距離を提供する。トリップメータは車両８の運転者Ｖが初期化してから現在までの区間走行距離を提供する。

ウィンカセンサは車両８の運転者Ｖが操作したウィンカの方向を検出する。水温センサはエンジン冷却水の温度を検出する。これらは車両から取得できる情報の一例に過ぎず、この他、車両８から取得できる情報は車両情報となりうる。例えば、電気自動車やハイブリッド車ではバッテリ残量、回生電力量、又は、消費電力量等も取得できる。

前方カメラ１６４は車両８の前方（図１の正のＹ方向に対応する方向）を撮像する撮像装置である。前方カメラ１６４は、例えばルームミラーの裏側やその近くに取り付けられる。

前方カメラ１６４は単眼カメラの場合とステレオカメラの場合がある。距離情報を取得できる単眼カメラ又はステレオカメラの場合、レーダセンサ１６３がなくてもよい。しかし、距離情報を取得できる前方カメラ１６４に加え、レーダセンサ１６３があることで、前方カメラ１６４の距離情報とレーダセンサ１６３の距離情報をフュージョンし（統合し），互いのデメリットを補完しあって高精度な距離情報を取得できる。なお、レーダセンサ１６３と前方カメラ１６４の他にソニックセンサ（超音波センサ）等を備えていてもよい。

レーダセンサ１６３は車両８の前方、側方、後方など車両８の周囲にレーダを送信し、物体で反射して戻ってくるレーダを受信する。配置場所は車両８の周囲の障害物を検出できる場所であればよい。レーダセンサ１６３は送信から受信までの時間により物体までの距離を検出すると共に、レーダの照射方向により物体の方向を検出するＴＯＦ方式（Time Of Fright）がある。

ＴＯＦ方式のレーダセンサとしてＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）が知られている。また、連続的に送信波の周波数を大きくしながら受信波と送信波の混合波を生成し、周波数がわずかに異なることで生じる混合波のうなり周波数を距離に換算するＦＭＣＷ方式（Frequency Modulation Continuous Wave）がある。ＦＭＣＷ方式では複数の受信アンテナで受信波の位相ずれを検出することで物体の方向を推定する。

乗員状態情報センサ１６５は車両８の乗員から直接又は間接的に検出される乗員状態情報を検出するセンサである。代表的なものに顔カメラがある。顔カメラは車両８の乗員の顔を撮像して顔認証を行い、車両８の乗員を特定又は識別する。また、顔画像から顔向きや視線方向を検出することが可能になる。

この他、乗員状態情報センサ１６５は、例えば、心電センサ、心拍数センサ、血圧センサ、体温センサ、脈拍センサ、呼吸センサ、発汗センサ、瞬きセンサ、瞳孔センサ、脳波センサ、又は、筋電位センサ等でもよい。乗員状態情報センサ１６５としては例えば、腕時計型のウェアラブル端末（スマートウォッチ）を車両の乗員が装着する形態がある。

ＶＩＣＳ受信装置１６６はＶＩＣＳが配信する電波を受信する。なお、ＶＩＣＳは渋滞や交通規制等の道路交通情報を、ＦＭ多重放送やビーコンを使ってリアルタイムに車載装置に送信するシステムである。外部通信装置１６７は３Ｇ、４Ｇ、５Ｇ、ＬＴＥ及び無線ＬＡＮ等のネットワークを介してインターネット等に接続し各種の情報を受信する。例えば、雨、雪、霧などの天候情報を受信できる。

また、ニュース、音楽、動画等を受信してもよい。また、外部通信装置１６７は、例えば信号機の状態情報と信号が変わるまでの時間等を取得できる。このように、ＶＩＣＳ受信装置１６６と外部通信装置１６７は路車間通信を行う場合がある。この他、外部通信装置１６７は車間通信で他車両６が検出した情報を取得してもよい。

なお、先進運転システム(ADAS)では情報を表示して警告するだけでなく、車両８の制御を行う場合もある。この場合、ＥＣＵはレーダセンサ１６３又は前方カメラ１６４の少なくとも一方が検出する障害物の距離情報に基づいてエンジンＥＣＵ１２、ブレーキＥＣＵ１３及びステアリングＥＣＵ１４と連携して各種の運転支援を行う。例えば、先行車への追従走行時の加減速制御、自動制動、走行レーンからの逸脱回避、レーンキープ走行、及び、障害物の回避操舵等を行う。このような制御のために、前方カメラ１６４が撮像した画像から、ＥＣＵが白線等の道路ペイント等を認識する。

追従走行時の加減速制御では、ＥＣＵは車速に応じた目標の距離を維持するように動力と制動力を制御する。自動制動では、ＴＴＣに応じて、警告、ブレーキペダルの押下を促す表示、及び衝突の可能性が高い場合におけるシートベルトの巻き上げと衝突回避制動等を行う。走行レーンからの逸脱回避では、運転支援ＥＣＵ３６は撮像された画像から白線（走行区分線）を認識し、走行レーンを逸脱する方向と反対方向に操舵トルクを付加する。

また、レーンキープ走行では走行レーンの中央を目標走行ラインに設定し、目標走行ラインからの乖離に比例した操舵トルクを乖離とは反対方向に付加する。障害物の回避操舵では、制動では衝突を回避できないと判断した場合に、障害物を回避するための走行ラインを決定し、この走行ラインを走行する操舵トルクを付加する。

また、例えば車線変更時にレーダセンサ１６３又は前方カメラ１６４により、隣の車線のドアミラーに映らない領域（死角領域）を併走する車両を検知した場合に、乗員に警告する。このような支援をブラインドスポットモニタという。

＜画像処理装置１５の機能構成例＞
次に、画像処理装置１５の機能構成を説明する。画像処理装置１５は、車両８の前方における道路及び交通標識の位置情報等を算出して取得し、表示装置１に出力する処理を実行する。

図５は画像処理装置１５の機能構成の一例を示すブロック図である。図５に示すように、画像処理装置１５は、標識領域抽出部１５１と、道路領域抽出部１５２と、標識位置取得部１５３と、道路位置取得部１５４とを備えている。

標識領域抽出部１５１は、車両８の前方画像内で交通標識を含む画像領域を標識画像として抽出し、標識画像を標識位置取得部１５３に出力する。また道路領域抽出部１５２は、車両８の前方画像内で道路を含む画像領域を道路画像として抽出し、道路画像を道路位置取得部１５４に出力する。標識画像及び道路画像の抽出には、パターンマッチングやエッジ検出等の画像処理を適用できる。前方画像内に複数の道路と複数の標識が含まれる場合には、複数の標識及び複数の道路毎に標識画像及び道路画像が抽出される。なお、標識画像は前方画像内での標識画像の位置を表す座標情報を含み、道路画像は、前方画像内での道路画像の位置を表す座標情報を含んでいる。

また、標識領域抽出部１５１及び道路領域抽出部１５２が画像領域を抽出する方法の１つとして、機械学習を用いた画像認識方法も適用できる。機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが，データ識別等の判断に必要なアルゴリズムを，事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。

機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。なお、機械学習の手法には、パーセプトロン、ディープラーニング、サポートベクターマシン、ロジスティック回帰、ナイーブベイズ、決定木、ランダムフォレストなどがある。

標識位置取得部１５３は、標識画像に基づき、車両８の前方画像内での交通標識の位置情報を座標情報として取得する。道路位置取得部１５４は、道路画像に基づき、車両８の前方画像内での道路の位置情報を座標情報として取得する。前方画像内に複数の道路と複数の標識が含まれる場合は、複数の道路及び複数の標識毎に位置情報が取得される。

画像処理装置１５は、標識領域抽出部１５１が抽出した標識画像、標識位置取得部１５３が取得した交通標識の位置情報、道路位置取得部１５４が取得した道路の位置情報を、表示装置１に出力する。

なお、画像処理装置１５は、前方画像内に交通標識が含まれない場合には、標識位置の情報として座標（０、０）等のその旨を示すための標識無情報を出力する。また前方画像内に道路が含まれなくなった場合に道路無情報を出力するようにしてもよい。

＜制御部２０のハードウェア構成例＞
次に、制御部２０のハードウェア構成を、図６を参照して説明する。図６は、制御部２０のハードウェア構成の一例を示す図である。図６に示すように、制御部２０は、ＦＰＧＡ（Field-Programmable Gate Array）２０１と、ＣＰＵ（Central Processing Unit）２０２と、ＲＯＭ（Read Only Memory）２０３と、ＲＡＭ（Random Access Memory）２０４と、Ｉ／Ｆ（Interface）２０５と、バスライン２０６と、ＬＤドライバ２０７と、ＭＥＭＳコントローラ２０８と、ＨＤＤ（Hard Disk Drive）２１０とを備えている。ＦＰＧＡ２０１、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、Ｉ／Ｆ２０５及びＨＤＤ２１０は、バスライン２０６を介して相互に電気的に接続されている。

ＣＰＵ２０２は、制御部２０の各機能を制御する。ＲＯＭ２０３は、ＣＰＵ２０２が、制御部２０の各機能を制御するために実行するプログラム２０３ｐを記憶している。ＲＡＭ２０４にはプログラム２０３ｐが展開され、ＣＰＵ２０２がプログラム２０３ｐを実行するためのワークエリアとして使用される。また、ＲＡＭ２０４は画像メモリ２０９を有している。

画像メモリ２０９は虚像Ｉとして投影される画像の生成に使用される。Ｉ／Ｆ２０５は、画像処理装置１５や検出装置１６と通信するためのインターフェイスであり、例えば車両８のＣＡＮ（Controller Area Network）バス又はイーサネット（登録商標）等に接続される。

ＨＤＤ２１０は、制御部２０による処理を実行するプログラムや交通標識の画像データ等の各種データが記憶された不揮発性メモリであり、大容量記憶装置である。なお、ＨＤＤはＳＳＤ（Solid State Drive）等であってもよい。

ＦＰＧＡ２０１は、ＣＰＵ２０２が生成した画像に基づいてＬＤドライバ２０７を制御する。ＬＤドライバ２０７は投射部１０の光源部１０１のＬＤを駆動させることで、画像に応じたＬＤの発光を制御する。ＦＰＧＡ２０１は、画像の画素位置に応じた方向にレーザビームが偏向されるようにＭＥＭＳコントローラ２０８を介して投射部１０の光偏向器１０２を動作させる。

［第１実施形態］
＜制御部２０の機能構成例＞
次に、第１実施形態に係る制御部２０の機能構成を、図７を参照して説明する。図７は、制御部２０の機能構成の一例を示すブロック図である。図７に示すように、制御部２０は画像格納部２１と、識別部２２と、方向対象決定部２３と、方向テーブル格納部２４と、方向指示部２５と、画像生成部２６と、出力部２７とを備えている。

これらのうち、識別部２２、方向対象決定部２３、方向指示部２５及び画像生成部２６のそれぞれの機能はＣＰＵ２０２が所定のプログラムを実行すること等で実現される。また画像格納部２１及び方向テーブル格納部２４のそれぞれの機能はＨＤＤ２１０等により実現され、出力部２７の機能はＩ／Ｆ２０５等により実現される。

画像格納部２１は、交通標識に対応する仮想標識画像を格納するデータベースである。また格納されている交通標識の画像のそれぞれには、交通標識を識別するための識別情報が付与されている。仮想標識画像は、被投射画像内に配置されて被投射画像の虚像を運転者Ｖに視認させた際に運転者Ｖが視認可能な範囲で、小さいサイズの画像であってよい。

画像格納部２１は、その時点の道路交通で使用されている全ての交通標識の画像を格納していることが好ましいが、これに限定されるものではなく、使用される頻度が高いもの等の一部のものを格納していてもよい。また交通標識の変更や新規の交通標識の追加に対応させるために、格納されている画像が定期的に更新されることが好ましい。

この更新作業は、外部通信装置１６７を介してインターネット等から最新のデータがダウンロードされること等により行われる。定期的に自動で更新が行われてもよいし、車両８の運転者Ｖが車載システム２を操作して手動で更新作業を行ってもよい。

識別部２２は画像処理装置１５から入力される標識画像に基づき、画像格納部２１を参照して、標識画像が示す交通標識に対応する仮想標識画像及び識別情報を取得する。一例として、入力された標識画像と、画像格納部２１に予め格納されている１つ１つの交通標識の画像とをパターンマッチング処理し、類似度が予め定められた閾値以上になる画像を仮想標識画像として取得する。また取得された仮想標識画像に付与された識別情報を取得できる。

識別部２２は、取得した仮想標識画像を画像生成部２６に出力し、また識別情報を方向対象決定部２３に出力する。

方向対象決定部２３は、識別部２２から入力した交通標識の識別情報に基づき、運転者Ｖに示す存在方向として、対象道路が存在する方向か、又は交通標識が存在する方向の何れか一方を決定する。換言すると、存在方向の対象として、対象道路、又は交通標識の何れか一方を決定する。そして、決定した存在方向の対象を示す情報を方向指示部２５に出力する。

具体的には、方向対象決定部２３は、識別部２２から入力した交通標識の識別情報に基づき、予め定められた識別情報と存在方向との対応関係を示す対応テーブルを格納する方向テーブル格納部２４を参照して上記の決定を行う。

例えば進入禁止や一時停止等の道路に適用される交通標識の場合は、対象道路が存在方向の対象となる。一方、近隣に学校があることや横断歩道が近いこと等の道路の周辺環境に応じて注意を促し、交通規則を補助する交通標識の場合は、交通標識が存在方向の対象となる。なお、速度制限の交通標識等は、対象道路、又は交通標識の何れを存在方向の対象としてもよく、どちらにするかを表示装置１の製造者、車両８の製造者、又は表示装置１のユーザ等の設定により予め定めておくと好適である。

方向指示部２５は、交通標識の位置と車両８の前方にある道路の位置とに基づき、交通標識が適用される対象道路又は交通標識の何れか一方が存在する方向である存在方向、を運転者Ｖに示す機能を備える。

具体的には、方向指示部２５は、画像処理装置１５から交通標識及び道路のそれぞれの位置情報を入力し、また方向対象決定部２３から存在方向の対象情報を入力する。

存在方向の対象が対象道路である場合には、方向指示部２５は、交通標識の位置と車両８の前方にある道路の位置とに基づき、交通標識が適用される道路を対象道路として決定する。そして、予め定めた基準位置と対象道路の座標情報とを用い、基準位置に対して対象道路の存在する方向を存在方向θとして算出して取得する。

一方、存在方向の対象が交通標識である場合には、方向指示部２５は、基準位置と交通標識の座標情報とを用い、基準位置に対する交通標識の方向を存在方向θとして算出して取得する。

ここで、上記の基準位置には運転者Ｖの視点（眼）、又は視点に対応する位置を用いることができる。この場合は、運転者Ｖから見て対象道路又は交通標識の存在する方向が存在方向に該当する。

方向指示部２５は、存在方向θを画像生成部２６に出力し、画像生成部２６に存在方向θを含む被投射画像を生成させることで、運転者Ｖに存在方向θを示す。

画像生成部２６は、仮想標識画像が画像内に配置された被投射画像を生成する機能を備える。具体的には、画像生成部２６は、前方画像に対して基準位置を合わせた所定の画像サイズの被投射画像であって、基準位置から存在方向θの方向に仮想標識画像を配置した被投射画像を生成する。この所定の画像サイズは、投射部１０によるフロントウインドシールド７１への投射画角を狭くするために、被投射画像の虚像の大きさが前景より小さくなる画像サイズであることが好ましい。

被投射画像内への仮想標識画像の配置は、基準位置から存在方向θの方向の画像領域を仮想標識画像に置き換えることで実行される。また画像生成部２６は、車速表示等の他の情報を被投射画像内に配置することもできる。さらに画像生成部２６は、前方画像内に交通標識が含まれない場合には、仮想標識画像が含まれない被投射画像を生成する。

出力部２７は、画像生成部２６が生成した被投射画像の画像データを投射部１０に出力する。すなわち、ＬＤドライバ２０７及びＭＥＭＳコントローラ２０８を制御して、画像生成部２６が生成した被投射画像を投射部１０に投射させて虚像として表示させる。

＜制御部２０による処理例＞
次に、制御部２０による処理の流れを、図８を参照して説明する。図８は、制御部２０による処理の一例を示すフローチャートである。

まず、ステップＳ８１において、識別部２２は、画像処理装置１５から標識画像を入力する。

続いて、ステップＳ８２において、識別部２２は、標識画像に基づき、画像格納部２１を参照して、標識画像が示す交通標識に対応する仮想標識画像及び識別情報を取得する。そして、取得した仮想標識画像を画像生成部２６に出力し、また識別情報を方向対象決定部２３に出力する。

続いて、ステップＳ８３において、方向対象決定部２３は、識別部２２から入力した交通標識の識別情報に基づき、運転者Ｖに示す存在方向の対象として対象道路又は交通標識の何れか一方を決定する。そして、決定した存在方向の対象を示す情報を方向指示部２５に出力する。

続いて、ステップＳ８４において、方向指示部２５は、画像処理装置１５から交通標識及び道路のそれぞれの位置情報を入力する。なお、このステップＳ８４は、上述したステップＳ８１～Ｓ８３までの間の任意のタイミングで行われてよい。

続いて、ステップＳ８５において、交通標識が適用される対象道路又は交通標識の何れか一方が存在する存在方向を取得する。存在方向の対象が対象道路である場合には、方向指示部２５は、交通標識の位置と車両８の前方にある道路の位置とに基づき、交通標識が適用される道路を対象道路として決定する。そして、予め定めた基準位置と対象道路の座標情報とを用い、基準位置に対して対象道路の存在する方向を存在方向θとして算出して取得する。

一方、存在方向の対象が交通標識である場合には、方向指示部２５は、基準位置と交通標識の座標情報とを用い、基準位置に対する交通標識の方向を存在方向θとして算出して取得する。

その後、方向指示部２５は、存在方向θを画像生成部２６に出力する。

続いて、ステップＳ８６において、画像生成部２６は、基準位置から存在方向θの方向に仮想標識画像を配置した被投射画像を生成する。

続いて、ステップＳ８７において、出力部２７は、画像生成部２６が生成した被投射画像の画像データを投射部１０に出力する。

このようにして、表示装置１は、交通標識が適用される対象道路又は交通標識の何れか一方が存在する存在方向を運転者に示すための被投射画像を生成できる。そして、投射部１０による被投射画像の虚像を表示できる。

車両８の移動により変化する前方画像に応じて、被投射画像は随時更新され、更新された被投射画像の虚像が前景に重畳表示する。また、前方画像内に交通標識が含まれなくなった場合には、仮想標識画像が含まれない被投射画像の虚像が前景に重畳表示される。

＜第１実施形態の適用例＞
次に、前方画像、被投射画像、及び被投射画像を重畳表示した前景のそれぞれの具体例を用いて、表示装置１の適用例を説明する。

図９は前方カメラ１６４で撮像される前方画像８０の一例を示す図である。前方画像８０は、先行車両８１と、交通標識８２及び８３と、道路８４及び８５とを含んでいる。交通標識８２は道路８４に適用される道路標識であり、交通標識８３は道路８５に適用される道路標識である。

画像処理装置１５における標識領域抽出部１５１は、前方画像８０内で交通標識８２が含まれる標識画像８２ａと、交通標識８３が含まれる標識画像８３ａとを抽出し、それぞれを標識位置取得部１５３に出力する。また道路領域抽出部１５２は前方画像８０内で道路８４が含まれる道路画像８４ａと、道路８５が含まれる道路画像８５ａとを抽出し、それぞれを道路位置取得部１５４に出力する。

標識位置取得部１５３は、標識画像８２ａ内における交通標識８２の位置である標識位置８２ｂの座標情報を取得する。また標識画像８３ａ内における交通標識８３の位置である標識位置８３ｂの座標情報を取得する。このような標識位置は、一例として標識画像内で交通標識を構成する画素のうち、最も正のＸ方向側で且つ最も負のＹ方向側の画素の位置である。どの画素の位置を標識位置とするかは予め定められている。

同様に、道路位置取得部１５４は、道路画像８４ａ内における道路８４の位置である道路位置８４ｂの座標情報を取得する。また道路画像８５ａ内における道路８５の位置である道路位置８５ｂの座標情報を取得する。このような道路位置は、一例として道路画像の重心に該当する位置である。どの画素の位置を道路位置とするかは予め定められている。

識別部２２は、パターンマッチング処理を実行しやすいように、標識画像８２ａと標識画像８３ａを画像回転等の前処理で適宜補正する。その後、標識画像８２ａ及び８３ａに基づき、画像格納部２１を参照して仮想標識画像と識別情報を取得する。

図９の例では、交通標識８２及び８３は、それぞれ一方通行を標示する交通標識であるため、識別部２２は交通標識８２及び８３のそれぞれに対応する仮想標識画像として、一方通行の仮想標識画像を取得する。或いは一方通行に対応する仮想標識画像として、一方通行のため道路に進入できないことを示す進入禁止の仮想標識画像を取得してもよい。このような仮想標識画像の取得ルールは予め定められている。

一方通行の交通標識は、道路に適用される交通規則であるため、方向対象決定部２３は、識別部２２から入力した交通標識８２及び８３のそれぞれの識別情報に基づき、交通標識８２及び８３のそれぞれの存在方向の対象として、対象道路を決定する。

方向指示部２５は、前方画像８０内において、標識位置８２ｂに対する距離が最も近い道路８４を交通標識８２の対象道路として決定し、また標識位置８３ｂに対する距離が最も近い道路８４を交通標識８３の対象道路として決定する。図９の例では、標識位置８２ｂに対して道路８４と道路８５は同程度の距離にあるが、交通標識８３の対象道路との重複が考慮され、道路８４が対象道路として決定される。

図９における基準位置Ｖ_Ｃは運転者Ｖの視点（眼）に対応する位置である。道路位置８４ｂの座標（Ｘ_１、Ｙ_１）、道路位置８５ｂの座標を（Ｘ_２、Ｙ_２）、基準位置Ｖ_Ｃの座標（Ｘ_Ｃ、Ｙ_Ｃ）とすると、方向指示部２５は道路８４の存在方向θ_１と道路８５の存在方向θ_２を、それぞれ次の（１）式、（２）式を用いて算出する。
θ_１＝ａｒｃｔａｎ｛（Ｙ_１－Ｙ_Ｃ）／（Ｘ_１－Ｘ_Ｃ）｝ ・・・（１）
θ_２＝ａｒｃｔａｎ｛（Ｙ_２－Ｙ_Ｃ）／（Ｘ_２－Ｘ_Ｃ）｝ ・・・（２）
図１０は、画像生成部２６が生成した被投射画像９０の一例を示す図である。被投射画像９０は、交通標識８２が適用される道路８４の存在方向θ_１に配置された仮想標識画像９１と、図形画像９２と、所定位置に配置された車速画像９３とを画像内に含んで構成されている。ここで、仮想標識画像９１は所定画像の一例である。

仮想標識画像９１は、一方通行であるため進入できないことを標示する進入禁止の道路標識を仮想表示するものである。図形画像９２は存在方向θ_１を示す図形画像である。車速画像９３は車速センサ１６１により検出された車両８の車速を示す文字画像である。車速画像９３は、所定位置に固定され、車両８が移動して前方画像が変化しても位置が変化しない。このような車速画像９３は固定画像の一例である。

なお、本実施形態では、図形画像９２は、矢印及び立体的な円錐状の図形を表示して方向を示す方法を例示するが、方向を示すことができればこれら以外の如何なる方法を用いてもよい。例えば、「右」、「左前方」等の言語を表示して方向を示す文字画像を表示することもできる。この場合には、例えば表示装置１は、矢印及び立体的な円錐状の図形に代えて、或いは矢印及び立体的な円錐状の図形とともに「右前方」、「Right front」、或いは「水平から右側に角度θ_１度の方向」等の文字又は言語である文字画像を表示することができる。図１０で「右前方」という文字を表示する文字画像９４は、このような文字画像の一例である。

次に、図１１は、本実施形態における車両８の前景１００の一例を示す図である。前景１００は、表示装置１がフロントウインドシールド７１に被投射画像９０を投射することで、被投射画像９０の虚像９０'が重畳表示され、運転者Ｖにより視認される像である。図１１に示すように、虚像９０'のサイズは前景１００より小さくなっている。

交通標識８２が適用される対象道路である道路８４の存在方向θ_１に沿う方向に、仮想標識画像９１の虚像である仮想標識虚像９１'と、図形画像９２の虚像である図形虚像９２'が表示されている。また所定位置に車速画像９３の虚像である車速虚像９３'が表示されている。

交通標識８２に対応する仮想標識虚像９１'が存在方向θ_１に沿う方向に表示されることで、運転者Ｖは視線を移動させることなく、交通標識８２を認識できるとともに、交通標識８２が適用される道路８４を認識できる。

但し、仮想標識虚像９１'は、存在方向θ_１に沿う方向に厳密に表示しなくてもよく、運転者Ｖが対象道路や交通標識の存在する方向を認識できれば、存在方向θ_１から多少ずれた方向に表示されてもよい。

ここで、例えば、前景１００内で道路８４に重畳させて、仮想標識虚像９１'又は図形虚像９２'を表示させようとすると、虚像９０'より大きい虚像が求められ、投射部１０による投射画角に広角化が求められる。

これに対し、実施形態では、道路８４の存在方向θ_１を示すことで、前景１００内で道路８４が視認される位置に、仮想標識虚像９１'又は図形虚像９２'を重畳表示しなくても、運転者Ｖに交通標識８２が適用される道路８４を認識させられるようになっている。

図１２は、図１１の状態から車両８が移動した後の前景１００の一例を示す図である。車両８の移動に応じて前景１００が変化し、運転者Ｖから見た道路８４の存在方向もθ_１からθ_１１に変化している。存在方向の変化に応じて仮想標識虚像９１'が表示された位置が変化している。

また図形虚像９２'は、存在方向の変化に応じて位置が変化するとともに、形状も変化している。図形虚像９２'の立体的な円錐状の形状が変化することで、単なる矢印等で方向を示す場合と比較して、リアリティをより向上させて方向を示せる。車速虚像９３'は車両８の移動によらず位置が固定され、車速を示す数値のみが変化する。

仮想標識虚像９１'と図形虚像９２'は、基準位置Ｖｃと道路位置８４ｂとを結ぶ線上で車速虚像９３'の周囲に配置され、存在方向に応じて車速虚像９３'の周囲の円周上で位置が変化する。

なお、図９及び図１０では、交通標識８２が適用される道路８４の存在方向θ_１のみを示す例を示したが、交通標識８３が適用される道路８５の存在方向θ_２も同様に示すことができる。

＜表示装置１の作用効果＞
次に、表示装置１の作用効果について説明する。

ヘッドアップディスプレイ等の表示装置では、車両に取り付けられたカメラで取得される車両前方画像に基づき車両前方にある道路標識や路面標示等の交通標識を認識し、前景で視認される道路の位置に仮想標識画像を重畳表示するものがある。

しかし、このような装置では、交通標識が適用される道路又は交通標識が前景の端部付近等で視認される場合には、前景における交通標識の位置に仮想標識画像の虚像を重畳表示することが求められる。例えば、図１０における被投射画像の虚像９０'よりサイズが大きい虚像を重畳表示することが要求される。

ここで、図１３は投射部１０の広角化を説明する図である。図１３に示すように、虚像Ｉよりサイズが大きい虚像Ｉ'を運転者Ｖに視認させようとすると、虚像Ｉのための投射画角φより広角の投射画角φ'が必要になる。投射画角を広角化すると、表示装置が大きくなったり、虚像の品質を確保するために複雑で高価な投射レンズが必要になったりする場合がある。

これに対し、本実施形態では、対象道路又は交通標識の何れか一方が存在する存在方向を運転者Ｖに示す。例えば、存在方向に沿って仮想標識画像が画像内に配置され、また存在方向を示す図形が画像内に含まれる被投射画像を画像生成部２６に生成させ、この被投射画像の虚像を表示させることで、存在方向を示す。

方向を示すことで、前景で視認される対象道路の位置に、仮想標識画像等の所定画像の虚像を重畳表示しなくてもよくなり、投射画角の広角化が不要になる。これにより、図１３の投射画角φ等の狭い投射画角であっても、対象道路又は交通標識の何れか一方を示すことができる。

一方、交通標識には進入禁止や一時停止等の道路に適用されるものと、近隣に学校があることや横断歩道が近いこと等の道路の周辺環境に応じて注意を促す補助的なもの等がある。道路に適用される交通標識の場合は、対象道路を認識できたほうがよいが、補助的な交通標識の場合は、対象道路よりも交通標識自体を認識できたほうがよい。

これに対し、本実施形態では、交通標識に基づき、対象道路又は交通標識の何れか一方を存在方向の対象として決定する方向対象決定部を備える。これにより、道路に適用される場合には対象道路の存在方向を示し、補助的な交通標識の場合には交通標識の存在方向を示すことができ、交通標識に応じて適切な情報を運転者Ｖに提供できる。

また本実施形態では、車両８の移動に応じて変化する存在方向を示す。これにより、車両８の移動による状況の変化に応じて適切な情報を運転者Ｖに提供できる。

また本実施形態では、被投射画像内に固定して配置された車速画像９３等の固定画像の周囲に、存在方向に沿って仮想標識画像９１を配置して存在方向を示す。固定画像は運転者Ｖが視認する機会が多く、また見やすい位置に固定される場合が多い。このような固定画像の周囲に仮想標識画像９１を配置することで、運転者Ｖに見やすいように存在方向を示せる。

なお、本実施形態では、所定画像として仮想標識画像９１と図形画像９２を併せて表示させる例を示したが、何れか一方を表示させてもよい。また図形画像９２は単なる矢印の図形画像や角度表示等の存在方向を示す文字画像であってもよい。また存在方向を示すために存在方向に沿って仮想標識画像９１の位置を変化させる例を示したが、位置を変化させることなく、仮想標識画像９１の回転のみで存在方向を示してもよい。

また、本実施形態では、前方カメラ１６４が撮像した画像に基づき、画像処理装置１５が交通標識及び道路の位置情報を取得する例を示したが、これに限定されるものではない。カーナビゲーションシステム１１から入力される情報を利用して、車両８の前方における道路及び交通標識の位置情報を取得してもよい。また車両の姿勢を検出するジャイロセンサを車両８が備え、このジャイロセンサの検出値を利用してもよい。

また画像格納部２１が仮想標識画像を格納する例を示したが、これに限定されるものではない。交通標識が標示する情報を文字で表現した文字画像を格納してもよいし、交通標識を簡略化して表示する図形画像を格納してもよい。

さらに、識別部２２が画像格納部２１を参照して仮想標識画像と識別情報を取得し、また方向対象決定部２３が方向テーブル格納部２４を参照して存在方向の対象を決定する例を示したが、これに限定されるものではない。上述した機械学習を用いる方法により、識別部２２と方向対象決定部２３が機能を実現してもよい。

また、本実施形態では、単眼の前方カメラ１６４により撮像される画像を用いて２次元的な画像処理で存在方向θを取得する例を示したが、これに限定されるものではない。前方カメラ１６４としてのステレオカメラ等により検出される対象道路又は交通標識の少なくとも一方までの距離情報と、車両８と運転者Ｖとの既知の位置関係を用いて、射影関係に基づく３次元的な画像処理によって存在方向θを取得してもよい。このようにすることで、より高いリアリティで所定画像の虚像を運転者Ｖに視認させ、存在方向を示すことができる。

［第２実施形態］
次に、第２実施形態に係る表示装置１ａについて説明する。

車両８が移動すると、交通標識が車両８の前景に含まれなくなり、前方カメラ１６４により交通標識の情報が取得されなくなる場合がある。この場合、情報が取得されなくなった交通標識に対応する仮想標識画像を非表示にしてもよいが、制限速度等の道路の一定区間に適用される交通標識の場合は、情報が取得されなくなった後も、仮想標識画像の虚像を運転者Ｖに視認可能にしたほうが好ましい場合がある。

本実施形態では、車両８の移動により前方カメラ１６４により交通標識の情報が取得されなくなった場合に、仮想標識画像が画像内の所定位置に固定された被投射画像を生成する。これにより、情報が取得されなくなった場合にも、仮想標識画像の虚像を運転者Ｖが視認できるようにする。

また、交通標識に応じて、仮想標識画像が画像内の所定位置に固定された被投射画像を生成するか、または仮想標識画像が含まれない被投射画像を生成するかの何れか一方を選択する。これにより、情報が取得されなくなった場合に、仮想標識画像の虚像を表示するか、又は仮想標識画像を非表示にするかの何れか一方を、交通標識に応じて選択可能にする。

＜制御部２０の機能構成例＞
図１４は、表示装置１ａの備える制御部２０ａの機能構成の一例を示すブロック図である。図１４に示すように、制御部２０ａは、継続テーブル格納部２８と、情報保持部２９と、方向指示部２５ａと、画像生成部２６ａとを備えている。また方向指示部２５ａは、判定部２４１と、選択部２４２とを備えている。

これらのうち、継続テーブル格納部２８の機能はＨＤＤ２１０等により実現され、情報保持部２９の機能はＲＡＭ２０４等により実現される。

継続テーブル格納部２８は、予め定められた識別情報と表示継続情報との対応関係を示す対応テーブルを格納する。ここで、表示継続情報とは、仮想標識画像を所定位置に固定するか、または仮想標識画像を非表示にするかの何れか一方を示す情報をいう。例えば仮想標識画像を固定する場合は、表示継続情報を１とし、非表示にする場合は表示継続情報を０とする。

情報保持部２９は、車両８の移動前における交通標識の識別情報を一時的に保持する。車両８は走行中には常時移動しているため、車両８の移動前における交通標識の識別情報を、前方カメラ１６４の撮像周期における所定の時点の１周期前の識別情報にすると、移動直前の識別情報を取得できるため好適である。

方向指示部２５ａは、方向対象決定部２３から識別情報を入力する。そして、交通標識の情報が取得された場合には、その識別情報を情報保持部２９に出力して保持させる。一方、交通標識の情報が取得されなくなった場合には、表示継続情報を画像生成部２６ａに出力する。なお、方向指示部２５ａは、これ以外に方向指示部２５と同様の機能を備えている。

方向指示部２５ａにおける判定部２４１は、画像処理装置１５から入力される標識位置情報に基づき、交通標識の情報が取得されたか否かを判定し、判定結果を選択部２４２に出力する。

具体的には、交通標識が車両８の前景に含まれず、前方カメラ１６４により交通標識の情報が取得されなくなると、図５で説明したように、画像処理装置１５は標識無情報を出力する。判定部２４１は、標識無情報を入力した場合に、交通標識の情報が取得されなかったと判定する。

選択部２４２は、交通標識の情報が取得されなかった場合に、交通標識に基づき、仮想標識画像を所定位置に固定するか、又は仮想標識画像を非表示にするかの何れか一方を選択し、選択結果を画像生成部２６に出力する。

具体的には、選択部２４２は、交通標識の情報が取得されなかったと判定された場合に、情報保持部２９にアクセスして情報保持部２９が一時保持している交通標識の識別情報を取得する。そして、この識別情報に基づき継続テーブル格納部２８を参照して表示継続情報を取得する。この表示継続情報が上記の選択結果に対応する。

画像生成部２６ａは、仮想標識画像を所定位置に固定することを示す表示継続情報（例えば１）が入力された場合は、仮想標識画像が画像内の所定位置に固定された被投射画像を生成する。また仮想標識画像を非表示にすることを示す表示継続情報（例えば０）が入力された場合は、仮想標識画像が含まれない被投射画像を生成する。一方、交通標識の情報が取得された場合（標識位置の情報が標識無情報でない場合）は、基準位置から存在方向θの方向に仮想標識画像が配置された被投射画像を生成する。

＜制御部２０ａによる処理例＞
次に、制御部２０ａによる処理の流れを、図１５を参照して説明する。図１５は、制御部２０ａによる処理の一例を示すフローチャートである。図１５におけるステップＳ１５１～Ｓ１５４までの処理は、図８におけるステップＳ８１～Ｓ８４までの処理と同様であるため、ここでは重複する説明を省略する。また上記ステップ以外にも、図８における説明と重複する部分は、適宜説明を省略する。

ステップＳ１５５において、判定部２４１は、画像処理装置１５から入力される標識位置情報に基づき、交通標識の情報が取得されたか否かを判定する。

ステップＳ１５５で、取得されたと判定された場合は（ステップＳ１５５、Ｙｅｓ）、ステップＳ１５６において、方向指示部２５ａは、交通標識の識別情報を情報保持部２９に出力して保持させる。

続いて、ステップＳ１５７において、方向指示部２５ａは、対象道路又は交通標識の何れか一方が存在する存在方向θを取得し、これを画像生成部２６ａに出力する。

続いて、ステップＳ１５８において、画像生成部２６ａは、基準位置から存在方向θの方向に仮想標識画像を配置した被投射画像を生成する。その後、処理はステップＳ１６３に移行する。

一方、ステップＳ１５５で、交通標識の情報が取得されなかったと判定された場合は（ステップＳ１５５、Ｎｏ）、ステップＳ１５９において、選択部２４２は、情報保持部２９にアクセスして情報保持部２９が一時保持している交通標識の識別情報を取得する。

続いて、ステップＳ１６０において、選択部２４２は、識別情報に基づき継続テーブル格納部２８を参照して表示継続情報を取得する。

続いて、ステップＳ１６１において、画像生成部２６ａは表示継続情報に基づき、交通標識を継続表示するか否かを判定する。

ステップＳ１６１で、継続表示すると判定された場合は（ステップＳ１６１、Ｙｅｓ）、ステップＳ１６２において、画像生成部２６ａは、仮想標識画像が画像内の所定位置に固定された被投射画像を生成する。一方、継続表示しないと判定された場合は（ステップＳ１６１、Ｎｏ）、ステップＳ１６３において、画像生成部２６ａは、仮想標識画像が含まれない被投射画像を生成する。

続いて、ステップＳ１６４において、出力部２７は、画像生成部２６ａが生成した被投射画像を投射部１０に出力する。

このようにして、表示装置１ａは、車両８の移動により前方カメラ１６４により交通標識の情報が取得されなくなった場合に、交通標識に応じて、仮想標識画像が画像内の所定位置に固定された被投射画像、または仮想標識画像が含まれない被投射画像の何れか一方を生成できる。そして投射部１０による被投射画像の虚像を表示できる。

なお、所定位置に固定された仮想標識画像は、車両８の移動により前方画像で新たに交通標識の情報が取得されたタイミング等で、画像生成部２６ａにより非表示にすることができる。

＜第２実施形態の適用例＞
次に、前方画像、被投射画像、及び被投射画像を重畳表示した前景のそれぞれの具体例を用いて、表示装置１ａの適用例を説明する。

まず、図１６は、本実施形態における車両８の前景１００の一例を示す図である。前景１６０は、表示装置１ａがフロントウインドシールド７１に画像を投射することで、被投射画像の虚像１７１が重畳表示され、運転者Ｖにより視認される像である。前景１６０には、虚像１７１の他、交通標識１７２と、仮想標識虚像１７３と、図形虚像１７４と、車速虚像１７５とを含んでいる。

図１６の例では、交通標識が存在方向の対象と定められており、交通標識１７２の存在方向θ_１２に沿って仮想標識虚像１７３と図形虚像１７４が表示されている。また車速虚像１７５は所定位置に固定して表示されている。

次に、図１７は、図１６の状態から車両８が移動した後の前景１６０の一例を示す図である。車両８の移動に応じて前景１６０が変化し、図１６における交通標識１７２が含まれなくなっている。つまり、交通標識の情報が取得されない状態になっている。

図１７に示す例では、交通標識は制限速度の道路標識であり、道路の一定の区間に適用されるものであるため、交通標識の情報が取得されなくなった後も継続的に表示させることが好ましい。そのため、制限速度の道路標識を継続表示させるように継続テーブル格納部２８の対応テーブルで定められている。表示装置１ａは、この対応テーブルに基づき、仮想標識虚像１８３を車速虚像１８２の横に固定して継続表示している。車速虚像１８２の横に表示させると、運転者Ｖが車両８の車速と速度制限とを比較しやすくなって好適である。

なお、図１７では、車速虚像１８２の横に仮想標識虚像１８３を固定して表示する例を示したが、仮想標識虚像１８３を表示位置はこれに限定されるものではなく、任意の位置でよい。運転者Ｖが見みやすい位置が好適である。

＜表示装置１ａの作用効果＞
以上説明したように、本実施形態では、車両８の移動により交通標識の情報が取得されなくなった場合に、仮想標識画像が画像内の所定位置に固定された被投射画像を生成する。これにより、交通標識の情報が取得されなくなった場合にも、仮想標識画像の虚像を運転者Ｖに継続して視認させることができる。

また、本実施形態では、交通標識に応じて、仮想標識画像を所定位置に固定するか、または仮想標識画像を非表示にするかの何れか一方を選択する。これにより、交通標識の情報が取得されなくなった場合に、運転者Ｖに、所定位置に固定された仮想標識画像の虚像を表示するか、又は仮想標識画像を非表示にするかの何れか一方を、交通標識に応じて選択できる。そして、交通標識に応じて適切な情報を運転者Ｖに提供できる。

＜その他の好適例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

なお、上述した実施形態において、画像処理装置１５の備える機能の一部、又は全部を制御部２０が備える構成にしてもよい。また、制御部２０の備える機能の一部を画像処理装置１５やエンジンＥＣＵ１２、検出装置１６等の他の構成要素が備える構成にしてもよい。また、画像格納部２１や方向テーブル格納部２４等が格納する情報を外部サーバが格納し、ネットワークを介して外部サーバにアクセスすることで格納情報を参照できるように構成することもできる。

また、実施形態では、道路を経路の一例とし、車両を移動体の一例とし、ＨＵＤを表示装置の一例として説明したが、これらに限定されるものではない。道路以外の経路、車両以外の移動体、及びＨＵＤ以外の表示装置に対しても、実施形態を適用可能である。

また、実施形態は表示方法も含む。例えば、表示方法は、被投射画像の虚像を移動体の運転者に視認させる表示装置による表示方法であって、道路標識又は路面標示の少なくとも一方である交通標識に基づいて取得される所定画像を含む前記被投射画像を画像生成部が生成する工程と、前記交通標識の位置と、移動体の前方にある道路の位置と、に基づき、前記交通標識が適用される対象道路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる工程と、を行う。このような表示方法により、上述した表示装置と同様の効果を得ることができる。

また、実施形態はプログラムも含む。例えば、プログラムは、道路標識又は路面標示の少なくとも一方である交通標識に基づいて取得される所定画像を含む被投射画像を画像生成部が生成し、前記交通標識の位置と、移動体の前方にある道路の位置と、に基づき、前記交通標識が適用される対象道路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる処理をコンピュータに実行させる。このようなプログラムにより、上述した表示装置と同様の効果を得ることができる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

１ 表示装置
２ 車載システム
８ 車両（移動体の一例）
１０ 投射部
１５ 画像処理装置
１５１ 標識領域抽出部
１５２ 道路領域抽出部
１５３ 標識位置取得部
１５４ 道路位置取得部
１６ 検出装置
１６４ 前方カメラ
２０ 制御部
２１ 画像格納部
２２ 識別部
２３ 方向対象決定部
２４ 方向テーブル格納部
２５ 方向指示部
２６ 画像生成部
２７ 出力部
２８ 継続テーブル格納部
２９ 情報保持部
７１ フロントウインドシールド
８０ 前方画像
８２ 交通標識
８４ 道路（経路の一例）
９０ 被投射画像
９０' 虚像
９１ 仮想標識画像（所定画像の一例）
９１' 仮想標識虚像
９２ 図形画像
９２' 図形虚像
９３ 車速画像
９３' 車速虚像
１００ 前景
２１０ ＨＤＤ
Ｖｃ 基準位置
θ、θ_１、θ_２、θ_１１、θ_１２ 存在方向
φ 投射画角

特開２０１８－２００６２６号公報

Claims (13)

1. 被投射画像の虚像を表示する表示装置であって、
   交通標識に基づいて取得される所定画像を含む前記被投射画像を生成する画像生成部と、
   前記交通標識の位置と、移動体の前方にある経路の位置と、に基づき、前記交通標識が適用される対象経路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる方向指示部と、
   前記交通標識に基づき、前記対象経路又は前記交通標識の何れか一方を前記存在方向の対象として決定する方向対象決定部と、を備える
   表示装置。
2. 被投射画像の虚像を表示する表示装置であって、
   交通標識に基づいて取得される所定画像を含む前記被投射画像を生成する画像生成部と、
   前記交通標識の位置と、移動体の前方にある経路の位置と、に基づき、前記交通標識が適用される対象経路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる方向指示部と、を備え、
   前記方向指示部は、前記移動体の移動に応じて変化する前記存在方向を示す
   表示装置。
3. 被投射画像の虚像を表示する表示装置であって、
   交通標識に基づいて取得される所定画像を含む前記被投射画像を生成する画像生成部と、
   前記交通標識の位置と、移動体の前方にある経路の位置と、に基づき、前記交通標識が適用される対象経路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる方向指示部と、を備え、
   前記方向指示部は、前記存在方向を示す図形画像または文字画像を含む前記被投射画像を前記画像生成部に生成させることで、前記存在方向を示す
   表示装置。
4. 被投射画像の虚像を表示する表示装置であって、
   交通標識に基づいて取得される所定画像を含む前記被投射画像を生成する画像生成部と、
   前記交通標識の位置と、移動体の前方にある経路の位置と、に基づき、前記交通標識が適用される対象経路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる方向指示部と、を備え、
   前記方向指示部は、前記存在方向に沿って前記所定画像が画像内に配置された前記被投射画像を前記画像生成部に生成させることで、前記存在方向を示す
   表示装置。
5. 被投射画像の虚像を表示する表示装置であって、
   交通標識に基づいて取得される所定画像を含む前記被投射画像を生成する画像生成部と、
   前記交通標識の位置と、移動体の前方にある経路の位置と、に基づき、前記交通標識が適用される対象経路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる方向指示部と、を備え、
   前記方向指示部は、前記被投射画像内に固定して配置された固定画像の周囲に、前記存在方向に沿って前記所定画像が画像内に配置された前記被投射画像を前記画像生成部に生成させることで、前記存在方向を示す
   表示装置。
6. 前記存在方向は、前記移動体の運転者から見て前記対象経路又は前記交通標識の何れか一方が存在する方向である
   請求項１乃至５の何れか１項に記載の表示装置。
7. 前記所定画像は、前記交通標識に対応する図形又は文字の少なくとも一方を示す仮想標識画像である
   請求項１乃至６の何れか１項に記載の表示装置。
8. 前記交通標識を識別する識別部を備える
   請求項１乃至７の何れか１項に記載の表示装置。
9. 前記画像生成部は、
   前記移動体の移動により前記交通標識の情報が取得されなくなった場合に、前記所定画像が画像内の所定位置に固定された前記被投射画像を生成する
   請求項４、又は５に記載の表示装置。
10. 前記画像生成部は、
    前記移動体の移動により前記交通標識の情報が取得されなくなった場合に、前記交通標識に基づき、前記所定画像が画像内の所定位置に固定された前記被投射画像、又は前記所定画像が含まれない前記被投射画像の何れか一方を生成する
    請求項４、又は５に記載の表示装置。
11. 請求項１乃至１０の何れか１項に記載の表示装置を有する移動体。
12. 被投射画像の虚像を表示する表示装置による表示方法であって、表示装置が、
    交通標識に基づいて取得される所定画像を含む前記被投射画像を画像生成部が生成する工程と、
    前記交通標識の位置と、移動体の前方にある経路の位置と、に基づき、前記交通標識が適用される対象経路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させる工程と、
    前記交通標識に基づき、前記対象経路又は前記交通標識の何れか一方を前記存在方向の対象として決定する工程と、を行う
    表示方法。
13. 交通標識に基づいて取得される所定画像を含む被投射画像を画像生成部が生成し、
    前記交通標識の位置と、移動体の前方にある経路の位置と、に基づき、前記交通標識が適用される対象経路又は前記交通標識の何れか一方が存在する存在方向を出力し、前記存在方向を含む前記被投射画像を前記画像生成部に生成させ、
    前記交通標識に基づき、前記対象経路又は前記交通標識の何れか一方を前記存在方向の対象として決定する
    処理をコンピュータに実行させるプログラム。

Images