JP6550690B2

JP6550690B2 - 表示装置、車両

Info

Publication number: JP6550690B2
Application number: JP2014101333A
Authority: JP
Inventors: 賢一郎齊所; 横田　聡一郎; 聡一郎横田; 史子酒匂; 智子石垣; 博美吉川
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2014-05-15
Filing date: 2014-05-15
Publication date: 2019-07-31
Anticipated expiration: 2034-05-15
Also published as: JP2015219631A

Description

本発明は、表示装置、及び前記表示装置を搭載した車両に関する。

新たな車両安全技術として、ステレオカメラやヘッドアップディスプレイ（以降、ＨｕＤと称する場合がある）を用いた表示装置の技術開発が進んでいる。この技術は、測距が可能なステレオカメラと、運転者の視界に直接画像を投影するＨｕＤとを組み合わせたもので、拡張現実（ＡＲ：Augmented Reality）感のある運転中の映像体験が市場から期待されている。一方、市場において、自律運転に向けた技術開発が進められており、２０２０年には部分的な自律運転車両が市場に現れると言われている。

現在のＨｕＤの価値は、手動運転における視線移動の低減により安全運転を提供することにあるが、上記のような自律運転が普及する社会において、人の車両内での行為がどう変化するか、車両のインテリアはどう変わるか、に関して様々な場所で議論されている。そのような議論の中で、「自車両が今どのような状態にあるか」を乗員に通知する機能は少なくとも必要になると予測されている。

又、自律運転社会においては、集団隊列走行のための車両間通信技術が発達すると言われており、自車両が自律的に他車両に道を譲る等の利他的運転と、車両間のメッセージ交換が可能になる。

しかしながら、今までの車社会においては、方向指示器、サンキューハザード等のランプ類のみによる車両間メッセージのやり取りしかなく、後方以外の車両へメッセージ発信ができない、又、時には誤解をしてしまいクラクションを鳴らしてしまう等、車両間メッセージ交換の不十分さによる「移動の楽しみの阻害」が生じうる。

又、カーナビゲーション等を通したインターネット経由の情報送受信のみでは、「今そこにいる車両がメッセージを発している」感覚や、「今そこに見えている車両にメッセージを発している」感覚が得がたく、運転者が受容する情報と視界とのアンマッチングを感じてしまう。これにより、運転者が煩わしさを感じ、安全運転の阻害となるおそれもあり、ここでも「移動の楽しみの阻害」が生じうる。

本発明は、上記に鑑みてなされたものであり、自車外との快適なコミュニケーションを実現可能な表示装置等を提供することを課題とする。

本表示装置は、自車両と他車両との間で通信を行う車間通信部と、前記他車両に関する情報を検出する他車両検出部と、測距機能及び２次元輝度画像を同時に取得できる機能を備え、前記自車両の運転者の両眼を画角に捉えて運転者の視点を検出する運転者視点検出部と、前記車間通信部、前記他車両検出部、及び前記運転者視点検出部から入手した情報に基づいて画像を生成する画像生成部と、前記画像を前記運転者の視界に重畳して表示する画像表示部と、を有し、前記画像生成部は、前記車間通信部で受信した情報をメッセージに変換する表示メッセージ生成部と、前記他車両検出部で検出した前記他車両に関する情報、及び前記運転者視点検出部で検出した運転者の視点に基づいて、運転者の視点から視た車両位置を生成する車両位置生成部と、前記車両位置生成部で生成した車両位置に基づいて、前記メッセージを表示する位置を生成するメッセージ表示位置生成部と、を備え、前記画像表示部は、前記メッセージ表示位置生成部が生成した位置に、前記メッセージを表示し、前記車間通信部は、周囲に車両識別情報の送信を要請する要請信号を発信すると共に、前記要請信号を受けて前記他車両から送信された前記他車両の車両識別情報を受信し、前記画像生成部は、前記他車両の車両識別番号及び３Ｄモデルデータを含む車両識別情報に基づいて、前記メッセージを発信している前記他車両を特定する照合部を備えていることを要件とする。

開示の技術によれば、自車外との快適なコミュニケーションを実現可能な表示装置等を提供できる。

本実施の形態に係る表示装置を例示する図である。本実施の形態に係る画像表示部を例示する図である。本実施の形態に係る表示装置の動作を説明するための図（その１）である。第１撮像部がステレオカメラである場合のハードウェア構成を例示する図である。本実施の形態に係る表示装置の動作を説明するための図（その２）である。本実施の形態に係る表示装置の動作を説明するための図（その３）である。本実施の形態に係る表示装置による画像表示例を示す図（その１）である。本実施の形態に係る表示装置による画像表示例を示す図（その２）である。本実施の形態に係る表示装置による画像表示例を示す図（その３）である。本実施の形態に係る表示装置による画像表示例を示す図（その４）である。本実施の形態に係る表示装置による画像表示例を示す図（その５）である。

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

図１は、本実施の形態に係る表示装置を例示する図である。図１を参照するに、表示装置１は、自車両１２０に搭載されており、大略すると、他車両検出部１０と、運転者視点検出部２０と、車間通信部３０と、画像生成部４０と、画像表示部５０とを有する。

他車両検出部１０は、自車両１２０の前方の他車両に関する情報を検出する機能を有する。他車両検出部１０は、後述のように、第１撮像部１１と、第１信号処理部１５とを備えている（図３等参照）。第１撮像部１１は、ステレオカメラに代表される測距機能及び２次元輝度画像を同時に取得できる機能を備えていることが好ましい。第１撮像部１１は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内の天井部に配置することができる。第１撮像部１１を自車両１２０内のダッシュボード上等に配置してもよい。第１信号処理部１５の機能については後述する。

運転者視点検出部２０は、自車両１２０の運転者１３０の視点を検出する機能を有する。運転者視点検出部２０は、後述のように、第２撮像部２１と、第２信号処理部２５とを備えている（図３等参照）。第２撮像部２１は、ステレオカメラに代表される測距機能及び２次元輝度画像を同時に取得できる機能を備えていることが好ましい。運転者視点検出部２０は、運転者１３０の視線方向を検出するために、運転者１３０の両眼近傍を画角に捉える形態で配置されている。運転者視点検出部２０は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内の天井部に配置することができる。運転者視点検出部２０を自車両１２０内のダッシュボード上等に配置してもよい。第２信号処理部２５の機能については後述する。

車間通信部３０は、自車両１２０と他車両との間で通信（メッセージの送受信等）を行う機能を有する。車間通信部３０は、自車両１２０内の任意の位置に配置することができる。画像生成部４０は、他車両検出部１０、運転者視点検出部２０、及び車間通信部３０より入手した情報を統合して重畳画像を生成し、画像表示部５０に出力する機能を有する。画像生成部４０は、自車両１２０内の任意の位置に配置することができる。

画像表示部５０は、自車両１２０内で画像生成部４０が生成した画像を、運転者１３０の視界に虚像として重畳して表示する機能を有する、所謂ヘッドアップディスプレイである。画像表示部５０は、自車両１２０のインテリアデザインに準拠して任意の位置に配置してよく、例えば、自車両１２０内のダッシュボード上に配置することができる。画像表示部５０を自車両１２０内の天井部等に配置してもよい。或いは、画像表示部５０をダッシュボード内に埋め込んでもよい。

より詳しくは、画像表示部５０は、内部で生成した中間像をミラーやレンズ等で拡大虚像表示し、運転者１３０の視点から所定の距離感を持って画像を表示することができるモジュールである。画像表示部５０の実現形態としてはパネル投射型やレーザ走査型等があるが、本実施の形態では何れの形態を用いてもよい。但し、レーザ走査型は、虚像の広角化が可能であること、外光に対してロバストな高輝度画像を表示できることから、本実施の形態において用いると好適である。以下、レーザ走査型の画像表示部５０を例にして説明する。

図２は、本実施の形態に係る画像表示部を例示する図である。図２を参照するに、画像表示部５０は、大略すると、光源部５１と、光偏向器５２と、第１ミラー５３と、被走査面５４と、第２ミラー５５とを有する。なお、図２において、１３５は運転者の眼球（以降、眼球１３５とする）を、１１０は虚像（以降、虚像１１０とする）を示している。

光源部５１は、例えば、ＲＧＢに対応した３つのレーザ光源、カップリングレンズ、アパーチャ、合成素子、レンズ等を備えており、３つのレーザ光源から出射されたレーザ光を合成して光偏向器５２の反射面に向かって導く。光偏向器５２の反射面に導かれたレーザ光は、光偏向器５２により２次元的に偏向される。

光偏向器５２としては、例えば、直交する２軸に対して揺動する１つの微小なミラーや、１軸に揺動又は回動する２つの微小なミラー等を用いることができる。光偏向器５２は、例えば、半導体プロセス等で作製されたＭＥＭＳ（Micro Electro Mechanical Systems）とすることができる。光偏向器５２は、例えば、圧電素子の変形力を駆動力とするアクチュエータにより駆動することができる。

光偏向器５２により２次元的に偏向された光束は、第１ミラー５３に入射し、第１ミラー５３により折り返されて被走査面５４に２次元像を描画する。第１ミラー５３としては、例えば、凹面ミラーを用いることができる。第１ミラー５３の反射面は、例えば、アナモフィックとすることができる。つまり、第１ミラー５３の反射面は、所定方向の曲率と、それに直交する方向の曲率とが異なる反射面とすることができる。第１ミラー５３の反射面をアナモフィックとすることにより、反射面の曲面形状を調整可能となり、収差補正性能を向上できる。

被走査面５４は、第１ミラー５３で反射された光束が入射して２次元像が形成される透過性を有する面である。被走査面５４は、合成されたレーザ光を所望の発散角で発散させる機能を有しており、例えば、マイクロレンズアレイ構造とすると好適である。被走査面５４から射出された光束は、第２ミラー５５及び半透過鏡５９により拡大表示される。第２ミラー５５としては、例えば、凹面ミラーを用いることができる。画像表示部５０は、レンズやプリズム等の透過型光学素子を具備してもよい。

半透過鏡５９は、可視域の透過率が１０〜７０％程度である鏡であり、第２ミラー５５により折り返された光束が入射する側に、例えば、誘電体多層膜或いはワイヤーグリッド等が形成された反射面を有する。半透過鏡５９の反射面は、レーザが出射する光束の波長帯を選択的に反射するものとすることができる。すなわち、ＲＧＢに対応した３つのレーザからの出射光を包含する反射ピークや反射バンドを有するものや、特定の偏向方向に対して反射率を強めるように形成されたものとすることができる。

半透過鏡５９は、例えば、自車両１２０のフロントガラス１２５（図１参照）と一体化することができる。画像表示部５０を自車両１２０において運転者１３０の前方に配置することにより、半透過鏡５９の反射面で反射された光束は、運転席にいる運転者１３０の眼球１３５へ入射する。そして、被走査面５４の２次元像が、半透過鏡５９の反射面よりも前方の所定の位置に拡大された虚像１１０として運転者１３０に視認される。つまり、画像表示部５０により、所謂ヘッドアップディスプレイを実現できる。

なお、表示装置１において、他車両検出部１０、運転者視点検出部２０、車間通信部３０、及び画像生成部４０の一部又は全部は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、メインメモリ等を含む構成とすることができる。この場合、他車両検出部１０、運転者視点検出部２０、車間通信部３０、及び画像生成部４０の各種機能は、ＲＯＭ等に記録されたプログラムがメインメモリに読み出されてＣＰＵにより実行されることによって実現できる。

但し、他車両検出部１０、運転者視点検出部２０、車間通信部３０、及び画像生成部４０の一部又は全部は、ハードウェアのみにより実現されてもよい。又、他車両検出部１０、運転者視点検出部２０、車間通信部３０、及び画像生成部４０のぞれぞれは、物理的に複数の装置等により構成されてもよい。又、他車両検出部１０、運転者視点検出部２０、車間通信部３０、及び画像生成部４０の一部又は全部は、共通のＣＰＵ等により実現されてもよい。

次に、図３及び図４を参照しながら、車間通信部３０で受信した情報を処理するアルゴリズムの例について説明する。車間通信部３０で受信した情報は、画像生成部４０の表示メッセージ生成部４１によりメッセージ（文字や記号、アイコン等）に変換される。特に文字の場合は、運転中の瞬読性を考慮し、１５文字以下程度の文章にすることが好ましい。

他車両検出部１０において、第１撮像部１１から得られた光学情報は、第１信号処理部１５にて車両位置・距離に関する情報（３次元）に変換され、画像生成部４０の車両位置生成部４２に入力される。又、運転者視点検出部２０において、第２撮像部２１から得られた光学情報は、第２信号処理部２５にて運転者の視点の座標情報に変換され、画像生成部４０の車両位置生成部４２に入力される。

図４は、他車両検出部１０の第１撮像部１１がステレオカメラである場合のハードウェア構成を例示する図である。第１撮像部１１がステレオカメラである場合、第１撮像部１１は、第１カメラ部１２と第２カメラ部１３とを有する。第１カメラ部１２と第２カメラ部１３の一方が左目用、他方が右目用である。第１カメラ部１２と第２カメラ部１３とを並置することで、両者の視差情報を利用して、前方の対象物（他車両等）の奥行き情報を得ることができる。すなわち、対象物（他車両等）の３次元情報を得ることができる。

第１カメラ部１２と第２カメラ部１３は、例えば、互いに略平行に配置されている。第１カメラ部１２は、レンズ１２ａ、画像センサ１２ｂ、及びセンサコントローラ１２ｃを備えている。同様に、第２カメラ部１３は、レンズ１３ａ、画像センサ１３ｂ、及びセンサコントローラ１３ｃを備えている。

画像センサ１２ｂ及び１３ｂとしては、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor Device）等のイメージセンサを用いることができる。センサコントローラ１２ｃ及び１３ｃは、画像センサ１２ｂ及び１３ｂの露光制御、画像読み出し制御、外部回路との通信、及び画像データの送信制御等を行う機能を有する。センサコントローラ１２ｃ及び１３ｃは、ＣＰＵやＲＯＭ等を含んで構成されてもよい。

第１撮像部１１は、例えば、データバスライン及びシリアルバスラインを介して第１信号処理部１５と接続されている。第１信号処理部１５は、第１撮像部１１から得られた光学情報に基づいて輝度画像及び視差画像を生成することができる。又、第１信号処理部１５は、状況認識等の各種処理を実行制御することで、例えば他車両等の認識対象の認識を行うことができる。又、第１信号処理部１５は、前述のように、第１撮像部１１から得られた光学情報を車両位置・距離に関する情報（３次元）に変換することができる。

図３の説明に戻り、画像生成部４０の車両位置生成部４２は、他車両検出部１０で検出した車両位置・距離に関する（３次元）情報、及び運転者視点検出部２０で検出した運転者の視点の座標情報に基づいて、あたかも運転者の視点位置から見た座標となるように、車両位置・距離を３次元回転処理する。

すなわち、他車両検出部１０で得られた車両位置・距離に関する（３次元）情報は、車両位置生成部４２において、拡大縮小行列・回転行列・平行移動行列を用いた座標変換により世界座標に変換される。そして、更に、運転者視点検出部２０で得られた運転者の視点の座標情報も用いた同様の座標変換により、車両位置生成部４２において、運転者の視点位置から見た座標（運転者の視点から視た車両位置）に変換される。

画像生成部４０のメッセージ表示位置生成部４３は、車両位置生成部４２で生成した車両位置に基づいて、メッセージを表示する位置を生成する。具体的には、メッセージ表示位置生成部４３は、表示メッセージ生成部４１で生成したメッセージを、車両位置生成部４２で３次元回転処理により生成された３次元情報に配置し、画像表示部５０へ送信する。画像表示部５０は、メッセージ表示位置生成部４３が生成した位置に、表示メッセージ生成部４１で生成したメッセージを画像として表示する。

図５は、視界に存在する他車両の識別と車両検出結果を照合するアルゴリズムの例を示している。車間通信部３０は、例えば、周囲に車両識別情報の送信を要請する要請信号である車両識別プロービング信号３１を発信する。視界内の他車両に搭載された車間通信部３０Ａは、例えば、車間通信部３０が発信する車両識別プロービング信号３１を受けて、車間通信部３０にメッセージ３２及び車両識別番号・車両識別３Ｄモデル３３を返信する。

ここで、車両識別番号とは、車間通信を行うにあたり、各車両に付与されているＩＤ（Identification）である。なお、読み取り阻害要因がない場合には、車両識別番号を用いる方法の代わりに、ナンバープレートを読み取る方法を用いてもよい。又、車両識別３Ｄモデルとは、上記で認識した車両識別番号に対応した他車両の３Ｄモデルデータである。車両識別番号が受信されるだけで他車両の存在は検知できるが、視界のどこに対応しているのかが検知できない。３Ｄモデルデータを用いることで、受信した車両識別番号に対応した検知車両を視界中で探索することができる。なお、車両識別番号や車両識別３Ｄモデルを含めた車両識別に用い得る情報を、車両識別情報と称する場合がある。

なお、視界中の他車両は、自車に対して背を向けているもの、側面を向けているもの、対向しているもの等様々であるから、探索に用いるデータは３次元的である必要がある。但し、３Ｄモデルデータは、視界中に他車両を探索できる程度のものであれば、他車両の前方・側面・後方面の断面図の組み合わせ等の簡易なものであってもよい。又、３Ｄモデルデータは、後述の図９で示すように、凹凸が少ない面にメッセージを表示するために、他車両の表面の凹凸情報を含んでいると好適である。

画像生成部４０の照合部４４は、車両識別番号・車両識別３Ｄモデル３３に基づいて他車両検出部１０の撮像結果の中にメッセージを発信している他車両を探索し、車両位置検出と車両識別（メッセージを発信している他車両の特定）を行う。探索方法は、車両識別番号・車両識別３Ｄモデル３３に埋め込まれた簡易なデータから視界内の類似形状を検索する方法等の様々な方法が考えられる。

図６は、車両位置生成部のアルゴリズムの例を示している。本実施の形態において、他車両検出部１０の第１撮像部１１と運転者視点検出部２０の第２撮像部２１とは異なる場所にある。そのため、表示装置１は、画像を視界に重畳して表示するために、第１撮像部１１と第２撮像部２１との差分を補正する必要がある。

他車両検出部１０の第１信号処理部１５及び運転者視点検出部２０の第２信号処理部２５より、それぞれ車両位置（Ｘ，Ｙ，Ｚ）、運転者視点位置（ｘｅ，ｙｅ，ｚｅ）が得られる。ここで、ｘｅ及びｙｅは、運転者視点検出部２０に撮影される両眼位置から算出でき、ｚｅは両眼間隔から算出できる。

次に、車両位置（Ｘ，Ｙ，Ｚ）及び運転者視点位置（ｘｅ，ｙｅ，ｚｅ）を用いて、車両位置生成部４２の距離算出部４２ａにより運転者の視点と車両位置との距離を算出する。又、車両位置（Ｘ，Ｙ，Ｚ）及び運転者視点位置（ｘｅ，ｙｅ，ｚｅ）を用いて、角度算出部４２ｂにより、運転者の視点と他車両検出部１０の視線方向との差分（角度）を算出する。

次に、画像変換部４２ｃは、他車両検出部１０で検出した他車両の３次元位置情報を、運転者視点検出部２０で検出した運転者視点位置に合わせて回転及び伸縮する。具体的には、運転者の視点と車両位置との距離を用いて、画像変換部４２ｃで拡大縮小処理（伸縮）を行い、拡大縮小倍率（ｚｏｏｍ）を算出する。又、運転者の視点と他車両検出部１０の視線方向の差分（角度）を用いて画像変換部４２ｃで回転処理を行い、その結果と拡大縮小処理の結果に基づいて、表示位置算出部４２ｄで２次元表示装置である画像表示部５０の画像内表示位置（ｘｈ，ｙｈ）を算出する。

画像内表示位置（ｘｈ，ｙｈ）は、距離算出部４２ａにより算出された運転者の視点と車両位置との距離、及び、角度算出部４２ｂにより算出された運転者の視点と他車両検出部１０の視線方向の差分（角度）に基づいて、画像表示部５０の表示座標上への透視投影により決定することができる。拡大縮小倍率（ｚｏｏｍ）は、透視投影の際の倍率が反映される。

以上の処理によって、第１撮像部１１の光学情報から第１信号処理部１５が得た車両位置情報（Ｘ，Ｙ，Ｚ）を運転者１３０の視点に変換し、運転者１３０の視界と重なるメッセージ表示位置情報（ｘｈ，ｙｈ，ｚｏｏｍ）を算出することができる。

図７は、表示装置１によって車両位置を検出し前方の車両２１０のメッセージＭ_１を運転者１３０の視界に重畳して表示した例を示している。このように、メッセージＭ_１が吹き出し型のデザインである場合、吹き出し元が他車両の運転席近傍となるように表示すると、他車両のメッセージ発信者の存在感を増強することができる。但し、図７の場合には、メッセージ発信車両である車両２１０以外の対象を遮蔽してしまい、運転視界の阻害となるおそれがある。

図８は、表示装置１によって車両位置を検出し前方の車両２１０及び２２０のメッセージＭ_２及びＭ_３を運転者１３０の視界に重畳して表示した例を示している。この表示方式は、メッセージを発信している車両２１０及び２２０以外の視界を阻害しないというメリットがある。又、例えば、車両２１０のメッセージＭ_２が『車線変更したいです』、車両２２０のメッセージＭ_３が『次とまります』であった場合等において、メッセージＭ_２に対して、自車両は『道を譲る』等の即座な利他的行動に移ることができるというメリットがある。

又、メッセージＭ_２のような即座な行動で応答できるメッセージは点滅や素早い出現等の強調表示をし、メッセージＭ_３のような『文脈の認識程度』にとどめておけるメッセージは緩慢に出現や消滅をさせる等の抑制した表示をすることが好ましい。これにより、メッセージが視界に氾濫して運転者が煩わしく感じることを防ぐことができる。

又、表示メッセージ生成部４１がメッセージの緊急度を判別し、緊急度が高いと判別されたメッセージを強調表示するようにしてもよい。強調表示の方法としては、例えば、通常の文字よりも拡大して表示したり、点滅させて表示したりすることができる。

図９は、表示装置１によって車両位置を検出し前方の車両２１０及び２２０のメッセージＭ_４及びＭ_５を運転者１３０の視界に重畳して表示した例を示している。図９の例では、車両に重畳して文字のみを表示している。この表示方式では、メッセージＭ_４及びＭ_５が文字のみを表示しているため、表示内容による視界の対象の遮蔽率を最も小さくでき、視覚的煩雑さを低減する効果がある。又、他車両検出部１０により各車両の表面状態を検出して凹凸が少ない面にメッセージを表示すると、煩雑さ低減の効果を更に向上することができる。

図１０は、見通しが悪く信号機のない市街地交差点にて、対向車両２３０に右折を譲ってもらう例を示している。例えば、駐車車両２４０等の影響で対向車両２３０の見通しが悪い場合、ランプだけのメッセージでは譲る・譲らないが伝わりにくい。このような場合に、自車両が対向車両２３０から右折譲渡のメッセージＭ_６『お先にどうぞ！』を受け取ったとすると、表示装置１により、図１０のようにメッセージＭ_６『お先にどうぞ！』を運転者１３０の視界に重畳して表示することができる。なお、表示装置１が対向車両２３０にも搭載されている場合、自車両からも対向車両２３０に対して『ありがとう』等のメッセージを発信し、対向車両２３０は対向車両２３０の運転者の視界に重畳して自車両からのメッセージを表示することができる。

図１１は、建物２５０の近傍にメッセージＭ_７を表示した例を示している。このように、表示装置１は、第１撮像部１１で撮像した画像の背景に含まれる標識や看板、建物等に記載された文字を画像生成部４０に認識させ、画像生成部４０で他言語に翻訳し、画像表示部５０で表示する機能を有してもよい。

図１１の例では、画像生成部４０は、第１撮像部１１で撮像した『フジビル』という言語（日本語）を認識し、それを『Fuji Bld.』という他言語（英語）に翻訳してメッセージＭ_７を生成している。なお、翻訳結果であるメッセージＭ_７は、図８や図９と同様の方法で標識や看板、建物等に追従させて表示させることができる。又、翻訳は、日本語を英語に翻訳する場合には限定されず、英語を日本語に翻訳してもよいし、それ以外であってもよい。

図１１のような表示をするためには、例えば、表示メッセージ生成部４１に、第１撮像部１１が撮像した対象物に記載された文字を認識し、認識した文字を他言語に翻訳したメッセージを生成する機能を持たせることができる。又、車両位置生成部４２に、第１撮像部１１が撮像した対象物に関する情報、及び運転者視点検出部２０で検出した運転者の視点に基づいて、運転者の視点から視た対象物位置を生成する対象物位置生成部としての機能を持たせることができる。又、メッセージ表示位置生成部４３に、対象物位置生成部で生成した対象物位置に基づいて、メッセージを表示する位置を生成する機能を持たせることができる。

その他、下記のようなメッセージとシーンのバリエーションも考えられる。例えば、居眠り・うとうと運転の他車両からの情報を受信し、運転者１３０の視界に重畳して「ｚｚｚ」等と表示することができる。又、サンキューハザードの代替として、他車両から『ありがとう』等のメッセージを受け取った場合、そのメッセージを運転者１３０の視界に重畳して表示することができる。

又、他車両から『急いでいます！』等のメッセージを受け取った場合、そのメッセージを運転者１３０の視界に重畳して表示し、メッセージが表示された他車両に対し利他的に走行することができる。又、利己的走行をしてしまった後で他車両へ『ごめんなさい』等のメッセージを送信すると共に、送信したメッセージを運転者１３０の視界に重畳して表示することができる。

このように、本実施の形態に係る表示装置１では、他車両検出部１０により実風景を３Ｄ計測して他車両に関する情報を検出すると共に、運転者視点検出部２０により自車両の運転者の視点を検出する。そして、画像生成部４０が、車間通信部３０で受信した情報をメッセージに変換し、他車両検出部１０及び運転者視点検出部２０で検出した情報に基づいて運転者１３０の視点から視た車両位置を生成し、その車両位置に基づいてメッセージを表示する位置を生成する。そして、画像表示部５０が、情報を発信した他車両の近傍のメッセージ表示位置（運転者１３０の視界内）に、車間通信部３０が受信した情報を変換したメッセージを虚像として表示する。

これにより、情報を発信した他車両からのメッセージを、情報を発信した他車両があたかもそう発信しているかのように実風景に重畳させて表示することが可能となる。その結果、運転中に視線を外すことなく自車外との快適なコミュニケーションをとりながら走行することができる。

以上、好ましい実施の形態について詳説したが、上述した実施の形態に制限されることはなく、特許請求の範囲に記載された範囲を逸脱することなく、上述した実施の形態に種々の変形及び置換を加えることができる。

例えば、上記実施の形態では、他車両検出部１０が、輝度情報と距離情報を取得するステレオカメラ（複眼カメラ）を有する例を示した。しかし、他車両検出部１０は、他車両に関する輝度情報を所得する手段と、距離情報を取得する手段とを別々に有してもよい。輝度情報を取得する手段としては、例えば、単眼カメラを挙げることができる。又、距離情報を取得する手段としては、例えば、ミリ波レーダやレーザレーダ等を挙げることができる。

又、上記実施の形態では、文字による表示を中心に記載しているが、瞬間的な認識速度向上等のため、アイコン等の単純な図形を組み合わせたものを表示してもよい。つまり、上記実施の形態において、メッセージは文字であってもよいし、アイコンや記号等であってもよいし、それらを適宜組み合わせたものであってもよい。

又、画像表示部５０において、３つのレーザを用いる例を示したが、単一のレーザを用いて単色の画像を形成する構成としてもよい。この場合には、合成素子等は不要である。

１表示装置
１０他車両検出部
１１第１撮像部
１２第１カメラ部
１２ａ、１３ａレンズ
１２ｂ、１３ｂ画像センサ
１２ｃ、１３ｃセンサコントローラ
１３第２カメラ部
１５第１信号処理部
２０運転者視点検出部
２１第２撮像部
２５第２信号処理部
３０、３０Ａ車間通信部
３１車両識別プロービング信号
３２メッセージ
３３車両識別番号・車両識別３Ｄモデル
４０画像生成部
４１表示メッセージ生成部
４２車両位置生成部
４２ａ距離算出部
４２ｂ角度算出部
４２ｃ画像変換部
４２ｄ表示位置算出部
４３メッセージ表示位置生成部
４４照合部
５０画像表示部
５１光源部
５２光偏向器
５３第１ミラー
５４被走査面
５５第２ミラー
５９半透過鏡
１１０虚像
１２０自車両
１２５フロントガラス
１３０運転者
１３５眼球
２１０、２２０車両
２３０対向車両
２４０駐車車両
２５０建物
Ｍ_１〜Ｍ_７メッセージ

特許第４８０７２６３号

Claims

自車両と他車両との間で通信を行う車間通信部と、
前記他車両に関する情報を検出する他車両検出部と、
測距機能及び２次元輝度画像を同時に取得できる機能を備え、前記自車両の運転者の両眼を画角に捉えて運転者の視点を検出する運転者視点検出部と、
前記車間通信部、前記他車両検出部、及び前記運転者視点検出部から入手した情報に基づいて画像を生成する画像生成部と、
前記画像を前記運転者の視界に重畳して表示する画像表示部と、を有し、
前記画像生成部は、
前記車間通信部で受信した情報をメッセージに変換する表示メッセージ生成部と、
前記他車両検出部で検出した前記他車両に関する情報、及び前記運転者視点検出部で検出した運転者の視点に基づいて、運転者の視点から視た車両位置を生成する車両位置生成部と、
前記車両位置生成部で生成した車両位置に基づいて、前記メッセージを表示する位置を生成するメッセージ表示位置生成部と、を備え、
前記画像表示部は、前記メッセージ表示位置生成部が生成した位置に、前記メッセージを表示し、
前記車間通信部は、周囲に車両識別情報の送信を要請する要請信号を発信すると共に、前記要請信号を受けて前記他車両から送信された前記他車両の車両識別情報を受信し、
前記画像生成部は、前記他車両の車両識別番号及び３Ｄモデルデータを含む車両識別情報に基づいて、前記メッセージを発信している前記他車両を特定する照合部を備えている表示装置。
前記他車両に関する情報は、前記他車両の３次元位置情報であり、
前記車両位置生成部は、前記他車両の３次元位置情報を、前記運転者視点検出部で検出した運転者の視点の位置に合わせて回転及び伸縮する画像変換部を備えている請求項１記載の表示装置。
前記画像表示部は、前記メッセージを発信している前記他車両の車体に重畳して前記メッセージを表示する請求項１又は２記載の表示装置。
前記画像表示部は、前記メッセージを発信している前記他車両の凹凸が少ない面に前記メッセージを表示する請求項３記載の表示装置。
前記表示メッセージ生成部は、メッセージの緊急度を判別し、緊急度が高いと判別されたメッセージは強調表示する請求項１乃至４の何れか一項記載の表示装置。
前記画像表示部は、レーザ光源と、前記レーザ光源から出射されたレーザ光を偏向する光偏向器と、を備えている請求項１乃至５の何れか一項記載の表示装置。
請求項１乃至６の何れか一項記載の表示装置を搭載した車両。