JP7240208B2

JP7240208B2 - 車載表示装置、車載表示方法、および、コンピュータプログラム

Info

Publication number: JP7240208B2
Application number: JP2019041250A
Authority: JP
Inventors: 和則樋口; 裕治村岸; 敏之近藤; 文彦村瀬; 正明廣瀬
Original assignee: Denso Corp; Toyota Central R&D Labs Inc
Current assignee: Denso Corp; Toyota Central R&D Labs Inc
Priority date: 2019-03-07
Filing date: 2019-03-07
Publication date: 2023-03-15
Anticipated expiration: 2039-03-07
Also published as: US20200286292A1; JP2020144247A; US11176749B2

Description

本発明は、車載表示装置、車載表示方法、および、コンピュータプログラムに関する。

わき見運転による事故の低減や利便性の向上を目的として、車両の運転者の前方視界と、前方視界中の認識が必要な対象物の立体虚像とを重畳させて、車両の運転者に対象物を視認させる車載表示装置（ＨＵＤ：Ｈｅａｄ－ＵｐＤｉｓｐｌａｙ）が知られている。例えば、特許文献１には、対象物までの距離に応じて表示サイズが変更された対象物の虚像であって、対象物の奥行き情報を付加した虚像を、運転者の視界内に表示する技術が開示されている。

特開２００９－９０６８９号公報

しかしながら、特許文献１に記載の車載表示装置では、運転者の前方視界内で虚像を確認しやすいように、実際の距離の変化に沿った変更ではなく、遠くにあってもあまり小さくならないように虚像の表示サイズを変更する。このため、視界中の対象物の実物と虚像とを重ねて見るとき、大きさの違いから奥行きに違和感が生じるため、対象物の認知性が低下するおそれがある。

また、両眼視差を用いたＨＵＤでは、対象物までの距離に応じて求められる見込みサイズに基づいて立体虚像の表示サイズが決定されている。しかしながら、両眼視差を用いたＨＵＤで、表示サイズを距離に応じて幾何学的に一定の割合で縮小すると、遠方になるほど、運転者の知覚サイズと対象物のサイズとにずれが生じるため、対象物の認知性が低下するおそれがある。

本発明は、上述した課題を解決するためになされたものであり、車載表示装置において、車両の搭乗者の視界中の対象物の認知性を向上する技術を提供することを目的とする。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、車両の搭乗者の視界に立体表示を重畳させる車載表示装置が提供される。この車載表示装置は、前記視界を撮像し、視界画像を取得する撮像部と、前記搭乗者の眼球位置と視線方向を検出する検出部と、前記視界画像と前記搭乗者の眼球位置および視線方向とを用いて、前記視界中の前記搭乗者の注視点位置を同定する注視点同定部と、前記視界画像を用いて、前記視界画像に含まれる対象物の位置と距離を計測する計測部と、前記搭乗者の眼球位置と前記対象物の位置および距離とを用いて、前記視界に前記立体表示を融像するための表示画像を生成する画像生成部であって、前記搭乗者と前記対象物との距離に応じて、幾何学的に決定される前記立体表示の表示サイズに対する倍率が減少するように、前記表示画像を生成する前記画像生成部と、前記画像生成部で生成された前記表示画像を前記搭乗者の視界に表示する画像表示部と、を備える。

この構成によれば、画像生成部は、幾何学的に決定される立体表示の表示サイズに対する倍率を、搭乗者と対象物との距離に応じて減少するように、立体表示を融像する表示画像を生成し、搭乗者の視界内に表示する。ここで、「幾何学的に決定される立体表示の表示サイズの倍率」とは、例えば、搭乗者と対象物との距離に関わらず、一定の割合で変化する倍率を指している。一方、本発明の構成では、「倍率」は、搭乗者と対象物との距離に応じて減少するため、例えば、搭乗者と対象物との距離が長くなるほど、画像生成部は、「幾何学的に決定される立体表示の表示サイズ」に対する大きさが小さい表示画像を生成することとなる。これにより、立体表示のサイズが搭乗者の知覚サイズに合うような大きさとなるため、搭乗者の視界中に重畳された立体表示と、視界中の対象物の大きさとのずれを少なくすることができる。これにより、搭乗者による対象物の認知性を向上することができる。
また、車両の運転をしない搭乗者が車外の対象物の情報を取得する場合、該対象物の同定が容易になるため、認知性が向上し、車外の情報を容易に取得することができる。

（２）上記形態の車載表示装置において、前記画像生成部は、前記搭乗者と前記対象物との距離に応じて、前記立体表示の明度が増加するように、前記表示画像を生成してもよい。
この構成によれば、画像生成部は、立体表示の明度が、搭乗者と対象物との距離に応じて増加するように、表示画像を生成する。これにより、立体表示とすることによって生じる、距離に応じた明度に対する搭乗者の知覚のずれを少なくすることができる。したがって、明度による対象物の大きさの違和感をなくし、認知性をさらに向上することができる。

（３）上記形態の車載表示装置において、前記画像表示部は、前記表示画像を含む投写光を出射する出射部と、前記搭乗者の視界中に前記立体表示が融像するように前記投写光を反射させる反射部と、を備えてもよい。
この構成によれば、画像表示部は、出射部が出射する投写光を立体表示が融像するように反射する反射部を備えることによって、視界中に立体表示を融像することができる。これにより、搭乗者の視界中に立体表示を表示することができる。

（４）上記形態の車載表示装置において、前記画像生成部は、前記搭乗者の視界において前記対象物の近傍に表示される前記立体表示であって、前記搭乗者が操作する車両の進路情報を示す前記立体表示を生成する前記表示画像を生成してもよい。
この構成によれば、画像表示部は、視界中の対象物の立体表示だけでなく、車両の進路情報を示す立体表示も視界に重畳させることができる。これにより、進路情報の認知性が向上するため、搭乗者は、より安全に車両を操作することができる

（５）上記形態の車載表示装置において、前記画像生成部は、前記対象物が文字表示を含む場合、前記文字表示を読み取り可能なように設定されている前記倍率の下限値以上の倍率で前記立体表示が表示されるように、前記表示画像を生成してもよい。
この構成によれば、画像生表示部は、搭乗者の視界に、読み取り可能な文字表示を立体表示で表示することができる。これにより、搭乗者は、文字情報を容易に取得することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、車載表示装置、車載表示装置を含む車両システム、これら装置及びシステムの制御方法、これら装置及びシステムにおいて実行されるコンピュータプログラム、そのコンピュータプログラムを配布するためのサーバ装置、そのコンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。

第１実施形態の車載表示装置の概略構成を示した説明図である。第１実施形態の表示処理の手順を示すフローチャートである。視界に平面表示が重畳するときの両眼の視線の関係を示す説明図である。視界に立体表示が重畳するときの両眼の視線の関係を示す説明図である。融像距離と表示サイズに対する倍率との関係を示す説明図である。融像距離と明度との関係を示す説明図である。表示処理で表示される立体表示の一例を示す模式図である。

＜第１実施形態＞
図１は、第１実施形態の車両システム１の概略構成を示した説明図である。車両システム１は、車載表示装置（ＨＵＤ：Ｈｅａｄ－ＵｐＤｉｓｐｌａｙ）１０を搭載した車両９０である。車両システム１の利用者、すなわち、車両９０の運転者３は、自身の前方視界中に、車載表示装置１０が示す表示画像を視認することができる。本実施形態の車両システム１では、運転者３は、車載表示装置１０が示す表示画像によって、自身の視界に重畳する状態で、対象物の立体表示を見る。これにより、運転者３が、対象物を認知しやすくなる。

車載表示装置１０は、車両９０内に配置されている車載カメラ１１と、センターコンソール９１に裁置されたドライバカメラ１２と、ダッシュボード９２に内蔵された出射部１３と、フロントガラス９３の内側面に組み込まれた反射部１４と、これらの各部に接続されたＣＰＵ１５及び記憶部１６とを備えている。

車載カメラ１１は、運転者３の前方視界の外景を撮像するカメラである。車載カメラ１１が撮像し取得した視界画像には、運転者３の視界内の対象物の情報が含まれている。ここで、対象物の情報としては、例えば、標識などの静止したものであれば、その大きさや形状、運転者３からの距離などが含まれ、歩行者などの移動するものであれば、大きさや形状、距離に加えて、対象物の移動速度や移動方向の情報などが含まれる。
ドライバカメラ１２は、例えば、運転者３の顔を含む上半身の画像を撮像するカメラである。上半身の画像には、運転者３の眼球位置や視線方向に関する情報が含まれる。

出射部１３は、例えば、光源と、表示素子と、投写光学系とを備え、画像を含む光束（以下「投写光」とも呼ぶ）を出射する。光源は、例えば、発光ダイオード（ＬＥＤ：ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）、ＥＬ（エレクトロルミネセンス）、レーザなどの発光体である。表示素子は、例えば、液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、ＤＭＤ（ＤｉｇｉｔａｌＭｉｃｒｏｍｉｒｒｏｒＤｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ－ｅｌｅｃｔｒｏ－ｍｅｃｈａｎｉｃａｌＳｙｓｔｅｍ）などの透過型の表示素子や、ＥＬなど自発光型の表示素子であり、ＣＰＵ１５の出力に基づいて、画像を投写する。表示素子により投写された画像は、光源によって光束（投写光）とされる。投写光学系は、例えば、投影レンズ、ミラーなどを含み、投写光の発散角などを調整する。

反射部１４は、例えば、コンバイナであり、反射部１４に到達する光束の一部を反射するとともに、外景からの光を透過させることが可能な部材である。本実施形態では、反射部１４は、フロントガラス９３の内側面に組み込まれているが、反射部１４は、フロントガラス９３の内側面または外側面に固定されていてもよく、フロントガラス９３とは別体として設けられていてもよい。

ＣＰＵ１５は、車載表示装置１０の各部と図示しないＲＯＭ及びＲＡＭとに接続され、ＲＯＭに格納されているコンピュータプログラムをＲＡＭに展開して実行することにより、車載表示装置１０の各部を制御する。ＣＰＵ１５は、注視点同定部１５１、計測部１５２、および、画像生成部１５３としても機能する。注視点同定部１５１は、車載カメラ１１が取得した視界画像とドライバカメラ１２が取得した運転者３の上半身の画像を受信し、運転者３の注視点位置を同定する。計測部１５２は、車載カメラ１１が取得した視界画像を受信し、該視界画像に含まれる運転者３の注視点に位置する対象物の位置と距離を計測する。画像生成部１５３は、運転者３の眼球位置と対象物の位置および距離とを用いて、運転者３の視界に立体表示を融像するための表示画像を生成する。画像生成部１５３の詳細な作用は、後述する。

記憶部１６は、フラッシュメモリ、メモリカード、ハードディスクなどで構成される。記憶部１６には、人間の眼の特性に関する情報とともに、後述する表示処理において用いられる演算式が予め記憶されている。なお、ＣＰＵ１５と記憶部１６は、電子制御ユニット（ＥＣＵ、ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）により実装されてもよい。

図２は、表示処理の手順を示すフローチャートである。図２に示す表示処理は、運転者３の視界に立体表示を重畳させる方法であって、任意のタイミングで実行可能である。表示処理は、例えば、車載表示装置１０の起動後に実行され、車載表示装置１０が起動している間は繰り返し実行される。

最初に、ステップＳ１１において、運転者３の前方視界を撮像する。具体的には、車載カメラ１１は、運転者３の前方視界の外景を撮像する（図１の二点鎖線Ｌ１１参照）。車載カメラ１１は、撮像した画像である視界画像をＣＰＵ１５に出力する。

次に、ステップＳ１２において、運転者３の眼球位置と視線方向とを検出する。具体的には、ドライバカメラ１２は、運転者３の顔を含む上半身の画像を撮像する（図１の二点鎖線Ｌ１２参照）。運転者３の上半身の画像には、運転者３の眼が写っていることから、ドライバカメラ１２によって撮像された画像を用いると、運転者３の眼球位置とともに、運転者３の視線方向を検出可能である。ドライバカメラ１２は、撮像した運転者３の上半身の画像をＣＰＵ１５に出力する。

次に、ステップＳ１３において、運転者３の注視点位置を同定する。具体的には、注視点同定部１５１は、ステップＳ１１で取得した視界画像と、ステップＳ１２で取得した運転者３の上半身の画像とを用いて、前方視界中の運転者３の注視点を同定する。注視点同定部１５１は、注視点の同定結果をＣＰＵ１５に出力する。

次に、ステップＳ１４において、対象物の位置と距離を計測する。具体的には、計測部１５２は、ステップＳ１１で取得した視界画像を用いて、運転者３の注視点に位置する対象物について、視界画像での位置と、運転者３からの距離とを計測する。計測部１５２は、計測結果をＣＰＵ１５に出力する。

次に、ステップＳ１５において、表示画像を生成する。具体的には、画像生成部１５３は、ステップＳ１２で取得された運転者３の上半身の画像とステップＳ１４で計測された対象物の位置および距離とを用いて、運転者３の視界に対象物の立体表示を融像するための表示画像を生成する。本実施形態では、画像生成部１５３は、運転者３と対象物との距離に応じて、幾何学的に決定される立体表示の表示サイズに対する倍率（以下、「幾何学的表示サイズに対する倍率」という）が減少するように、表示画像を生成する。ここで、幾何学的表示サイズに対する倍率とは、本実施形態では、搭乗者と対象物との距離に関わらず、一定の割合で変化する倍率を指している。

ここで、本実施形態の車載表示装置１０において、運転者３の前方視界の外景に立体表示を重畳させる方法を説明する。
車載表示装置１０では、図１に示すように、出射部１３の表示素子（図１の点Ｐ１）によって投写された画像は、光源によって光束とされた投写光（図１の二点鎖線Ｌ１）として出射される。投写光Ｌ１は、反射部１４（図１の点Ｐ２）で反射されるとき、反射部１４において運転者３の前方視界の外光Ｌ２と結合される。投写光Ｌ１と外光Ｌ２とが結合された結合光Ｌ３が運転者３の眼球３Ａに到達すると、運転者３は、投写光Ｌ１による画像と外光Ｌ２による外景とが重畳された状態で、立体表示と外景を同時に視認する。

運転者３の眼球３Ａに到達する結合光Ｌ３のうち、投写光Ｌ１による画像は、結合光Ｌ３および外光Ｌ２が進行する方向であって、運転者３の眼球３Ａからの距離が距離Ｚの位置に仮定される仮想表示面１７（図１参照）に表示されているように見える。なお、距離Ｚは、運転者３の眼球３Ａから点Ｐ２を経て点Ｐ１までの距離と同じである。

図３は、運転者３の視界に平面表示が重畳するときの両眼の視線の関係を示す説明図である。図３（ａ）は、運転者３が、結合光Ｌ３によって平面表示を視認するときの、出射部１３が投写する表示画像を示している。ここでは、表示画像の一例を矢印Ａ１とする。
図３（ａ）に示す表示画像を出射部１３が投写すると、図３（ａ）の表示画像が、仮想表示面１７に写し出される。図３（ａ）の表示画像が仮想表示面１７に写し出される場合、運転者３の二つの眼球３ＡＲ、３ＡＬのそれぞれの視線Ｒｓ、Ｌｓは、図３（ｂ）に示すように、仮想表示面１７において交差する。すなわち、運転者３の二つの眼球３ＡＲ、３ＡＬは、仮想表示面１７に表示されている１つの矢印Ａ１を見ることとなるため、運転者３は、平面表示の１つの矢印Ａｐ１を、前方視界の外景と重畳する状態で視認することとなる。

一方、運転者３の視界に立体表示を重畳させるとき、車載表示装置１０は、運転者３の二つの眼球３ＡＲ、３ＡＬの視線Ｒｓ、Ｌｓが、仮想表示面１７とは異なる位置において交差するように、仮想表示面１７に画像を表示する。ここで、図１に示す状態において運転者３が注視点Ｐ３を注視しているとすると、運転者３の眼球３Ａから注視点Ｐ３までの距離を、融像距離Ｄとする。融像距離Ｄは、眼球３Ａから仮想表示面１７までの距離Ｚにより長く設定することが可能である。

図４は、運転者３の視界に立体表示が重畳するときの両眼の視線の関係を示す説明図である。運転者３の視界に立体表示を映すとき、出射部１３が投写する表示画像は、図４（ａ）のようになる。図４（ａ）に示す表示画像では、運転者３の２つの眼球３ＡＲ、３ＡＬのそれぞれが視認可能な２つの矢印Ａ１Ｒ、Ａ１Ｌがずれて表示されている。
図４（ｂ）には、図４（ａ）の表示画像を仮想表示面１７に表示したときの、２つの眼球３ＡＲ、３ＡＬの視線Ｒｓ、Ｌｓの関係を示す。図４（ｂ）に示すように、眼球３ＡＲの視線Ｒｓが矢印Ａ１Ｒを視認し、眼球３ＡＬの視線Ｌｓが矢印Ａ１Ｌを視認する。眼球３ＡＲの視線Ｒｓと眼球３ＡＬの視線Ｌｓとは、運転者３からの距離が融像距離Ｄの位置にある融像面１８で交差し、矢印Ａｔ１が融像される。これにより、運転者３は、図１の注視点Ｐ３に、立体表示の矢印Ａｔ１を視認することとなる。このとき、融像距離Ｄは、仮想表示面１７での矢印Ａ１Ｒと矢印Ａ１Ｌとの間隔を変化させることで変更することが可能である。

本実施形態では、上述したように、車載表示装置１０は、運転者３の前方視界の外景に立体表示を融像する。このとき、立体表示を融像するための画像を生成する画像生成部１５３は、幾何学的表示サイズに対する倍率が、運転者３と対象物との距離に応じて幾何学的な変化以上に減少するように、表示画像を生成する。

図５は、本実施形態の表示処理での融像距離と幾何学的表示サイズに対する倍率との関係を示す説明図である。ここで、人間の知覚の特性として、両眼視差による立体視では、融像距離が遠くなるほど知覚サイズが大きくなることが知られている。そこで、本実施形態の表示処理では、図５に示す融像距離と幾何学的表示サイズに対する倍率との関係に基づいて、以下の式（１）を用いて表示画像を生成する。
Ｈ（ｘ）＝Ｈ₀×ｆ（ｘ）・・・（１）
なお、Ｈ（ｘ）は、対象物までの距離ｘでの立体表示の大きさであって、画像生成部１５３が生成する表示画像中の、該立体表示を融像するための表示の大きさの根拠となる。Ｈ₀は、距離Ｚの位置、すなわち、仮想表示面１７上に表示される、幾何学的に計算された平面表示の大きさであって、ｆ（ｘ）は、距離ｘを変数とする図５に示す曲線を表す式である。図５に示すように、距離ｘが距離Ｚの場合、幾何学的表示サイズに対する倍率は１であるが、距離ｘが距離Ｚより大きくなるにつれて、幾何学的表示サイズに対する倍率が小さくなる。なお、幾何学的表示サイズに対する倍率が１のときの融像距離は、立体表示でない場合、言い換えると、両眼視差を用いない場合の表示距離に等しくすることが好ましい。

また、本実施形態では、車載表示装置１０は、画像生成部１５３において立体表示を融像するための画像を生成するとき、立体表示の明度の増加率が、運転者３と対象物との距離に応じて増加するように、表示画像を生成する。

図６は、本実施形態の表示処理での融像距離と明度との関係を示す説明図である。ここで、人間の知覚の特性として、両眼視差による立体視では、融像距離が遠くなるほど、暗く知覚されることが知られている。そこで、本実施形態の表示処理では、図６に示す融像距離と立体表示の明度との関係に基づいて、以下の式（２）によって、表示画像を生成する。
Ｍ（ｘ）＝Ｍ₀×ｇ（ｘ）・・・（２）
なお、Ｍ（ｘ）は、対象物までの距離ｘでの立体表示の明度であって、画像生成部１５３が生成する表示画像中の、該立体表示を融像するための表示の明度の根拠となる。Ｍ₀は、仮想表示面１７上に表示される平面表示の明度であって、ｇ（ｘ）は、距離ｘを変数とする図６に示す曲線を表す式である。図６に示すように、距離ｘが距離Ｚより大きくなるにつれて、明度が大きくなる。また、明度の増加率は、距離ｘに応じて増加するようになっている。

画像生成部１５３は、対象物までの距離ｘと、記憶部１６に記憶されている式（１）および式（２）を用いて、注視点Ｐ３に立体表示を融像できるように表示画像を生成する。具体的には、画像生成部１５３は、対象物までの距離ｘが長くなるほど、幾何学的表示サイズに対する倍率を小さくし、かつ、仮想表示面１７上に表示される平面表示の明度に対する明度を明るくする。このとき、幾何学的表示サイズに対する倍率が、距離ｘに応じて減少するようにし、かつ、立体表示の明度が、距離ｘに応じて増加するように、表示画像を生成する。画像生成部１５３は、生成した表示画像を出射部１３に出力する。

次に、図２に戻り、ステップＳ１６において、ステップＳ１５で生成された表示画像を運転者３の視界に表示する。具体的には、出射部１３は、画像生成部１５３が生成した表示画像を表示素子で形成し、反射部１４に向けて投写する。投写された投写光Ｌ１は、図１に示すように、反射部１４において反射されるとき、外光Ｌ２と結合され、運転者３の眼球３Ａに到達する。これにより、運転者３は、前方視界の外景に重畳する立体表示を視認する。

図７は、本実施形態での表示処理で表示される立体表示の一例を示す模式図である。図７には、運転者３から見える外景の模式図が示されている。
本実施形態の車載表示装置１０では、図７に示すように、標識７１を立体表示にすることで視認性を高め運転者３に注意を喚起したり、車両９０の経路を案内するための進路情報７２を表示することで運転者３の視線が車両９０の前方からそれることを少なくしたりする。

また、本実施形態の車載表示装置１０では、対象物が文字表示を含む場合、文字表示を読み取り可能なように設定されている倍率の下限値以上の倍率で立体表示が表示されるように、表示画像を生成する。例えば、図７に示す標識７１に示されている「止まれ」の文字７１ａは、運転者３が確実に読み取り可能な大きさで表示される。

以上のように、本実施形態の車載表示装置１０によれば、画像生成部１５３は、運転者３の前方視界の外景に重畳させる立体表示の、幾何学的表示サイズに対する倍率を、運転者３と対象物との距離ｘに応じて減少するように、立体表示を融像する表示画像を生成する。これにより、立体表示のサイズが運転者３の知覚サイズに合うような大きさとなるため、運転者３の視界中に重畳された立体表示と、視界中の対象物の大きさとのずれを少なくすることができる。これにより、運転者３による対象物の認知性を向上することができる。

また、本実施形態の車載表示装置１０によれば、画像生成部１５３は、立体表示の明度が、運転者３と対象物との距離に応じて増加するように、表示画像を生成する。これにより、立体表示とすることによって生じる、距離に応じた明度に対する運転者３の知覚のずれを少なくすることができる。したがって、明度による対象物の大きさの違和感をなくし、運転者３による対象物の認知性をさらに向上することができる。

また、本実施形態の車載表示装置１０によれば、出射部１３は、画像生成部１５３が生成した表示画像を投写光Ｌ１として出射する。反射部１４は、投写光Ｌ１を反射させることによって外光Ｌ２と結合させ、運転者３の眼球に投写光Ｌ１が結合した結合光Ｌ３を到達させる。これにより、運転者３の視界中に、立体表示を融像させることができる。

また、本実施形態の車載表示装置１０によれば、画像生成部１５３は、車両９０の経路を案内するための進路情報７２を表示するための表示画像を生成する。これにより、視界中の対象物だけでなく、車両９０の進路情報も視界に重畳させることができるため、進路情報の認知性が向上し、車両９０を安全に操作することができる。

また、本実施形態の車載表示装置１０によれば、画像生成部１５３は、対象物が文字表示を含む場合、文字表示を読み取り可能なように設定されている倍率の下限値以上の倍率で、立体表示が表示されるように、表示画像を生成する。これにより、画像表示部１５３は、運転者３の視界に、読み取り可能な文字表示を立体表示で表示することができるため、運転者は、文字情報を容易に取得することができる。

＜本実施形態の変形例＞
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

［変形例１］
上述の実施形態では、車載表示装置１０は、車両９０の運転者３の視界に重畳する状態で対象物の立体表示を表示するとした。しかしながら、対象物の立体表示が表示される対象の視界は、運転者に限定されない。車両９０を運転しない車両９０の搭乗者であってもよい。この場合、車両の運転をしない搭乗者が車外の対象物の情報を取得する場合、該対象物の同定が容易になるため、認知性が向上し、情報を容易に取得することができる。

［変形例２］
上述の実施形態では、幾何学的に決定される立体表示の表示サイズに対する倍率とは、搭乗者と対象物との距離に関わらず、一定の割合で変化する倍率を指すとした。しかしながら、幾何学的に決定される立体表示の表示サイズに対する倍率は、これに限定されない。

［変形例３］
上述の実施形態では、画像生成部１５３は、運転者３と対象物との距離に応じて幾何学的表示サイズに対する倍率を減少させるとともに、表示画像の明度についても、運転者３と対象物との距離に応じて増加するように、表示画像を生成するとした。しかしながら、幾何学的表示サイズに対する倍率だけ、運転者３と対象物との距離に応じて減少するように、表示画像を生成してもよい。

［変形例４］
上述の実施形態では、車載表示装置１０の構成の一例を示した。しかし、車載表示装置の構成はこれに限定されない。例えば、ドライバカメラ１２は、単一のカメラによって実現されてもよく、複数のカメラによって実現されてもよい。
また、上述の実施形態では、ドライバカメラ１２は、運転者３の顔を含む上半身の画像を撮像するとした。しかしながら、運転者３の上半身を撮像するドライバカメラ１２に代えて、運転者３の眼球の位置を取得する装置を備えていてもよい。また、運転者３による観察位置をあらかじめ想定して固定値を設定してもよい。

［変形例５］
上述の実施形態では、表示処理において表示される立体表示は、標識や経路案内の情報であるとした。しかしながら、立体表示はこれに限定されない。文字、図形、記号、または、これらの組み合わせなどの種々の態様を採用できる。また、立体表示は静止画には限定されず、動画であってもよい。

［変形例６］
上述の実施形態では、画像生成部１５３は、立体表示が文字である場合、立体表示を読み取り可能なように設定されている倍率の下限値以上の倍率で立体表示が表示されるように、表示画像を生成するとした。しかしながら、下限値は設定されていなくてもよい。

以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。

１…車両システム
３…運転者
３Ａ、３ＡＬ、３ＡＲ…眼球
１０…車載表示装置
１１…車載カメラ
１２…ドライバカメラ
１３…出射部
１４…反射部
１５…ＣＰＵ
１６…記憶部
１７…仮想表示面
１８…融像面
７１…標識
７２…進路情報
９０…車両
９１…センターコンソール
９２…ダッシュボード
９３…フロントガラス
１５１…注視点同定部
１５２…計測部
１５３…画像生成部

Claims

車両の搭乗者の視界に立体表示を重畳させる車載表示装置であって、
前記視界を撮像し、視界画像を取得する撮像部と、
前記搭乗者の眼球位置と視線方向を検出する検出部と、
前記視界画像と前記搭乗者の眼球位置および視線方向とを用いて、前記視界中の前記搭乗者の注視点位置を同定する注視点同定部と、
前記視界画像を用いて、前記視界画像に含まれる対象物の位置と距離を計測する計測部と、
前記搭乗者の眼球位置と前記対象物の位置および距離とを用いて、前記搭乗者と前記対象物との距離に応じて表示サイズが変化する前記対象物の立体表示を前記視界中に融像するための表示画像を生成する画像生成部と、
前記画像生成部で生成された前記表示画像を前記搭乗者の視界に表示する画像表示部と、を備え、
前記画像生成部は、前記搭乗者と前記対象物との距離に反比例するように決定される立体表示の表示サイズに対する、前記視界中に融像される立体表示の表示サイズの倍率が、前記画像表示部によって表示される前記表示画像の融像距離であって前記搭乗者と前記対象物との距離が長くなるにつれて長くなる融像距離が長くなるにつれて減少するように、前記表示画像を生成する、
車載表示装置。
請求項１に記載の車載表示装置であって、
前記画像生成部は、前記搭乗者と前記対象物との距離に応じて、前記立体表示の明度が増加するように、前記表示画像を生成する、
車載表示装置。
請求項１または請求項２に記載の車載表示装置であって、
前記画像表示部は、前記表示画像を含む投写光を出射する出射部と、前記搭乗者の視界中に前記立体表示が融像するように前記投写光を反射させる反射部と、を備える、
車載表示装置。
請求項１から請求項３のいずれか一項に記載の車載表示装置であって、
前記画像生成部は、前記搭乗者の視界において前記対象物の近傍に表示される前記立体表示であって、前記搭乗者が操作する車両の進路情報を示す前記立体表示を生成する前記表示画像を生成する、
車載表示装置。
請求項１から請求項４のいずれか一項に記載の車載表示装置であって、
前記画像生成部は、前記対象物が文字表示を含む場合、前記文字表示を読み取り可能なように設定されている前記倍率の下限値以上の倍率で、前記立体表示が表示されるように、前記表示画像を生成する、
車載表示装置。
車両の搭乗者の視界に立体表示を重畳させる車載表示方法であって、
前記視界を撮像し、視界画像を取得する撮像工程と、
前記搭乗者の眼球位置と視線方向を検出する検出工程と、
前記視界画像と前記搭乗者の眼球位置および視線方向とを用いて、前記視界中の前記搭乗者の注視点位置を同定する注視点同定工程と、
前記視界画像を用いて、前記視界画像に含まれる対象物の位置と距離を計測する計測工程と、
前記搭乗者の眼球位置と前記対象物の位置および距離とを用いて、前記搭乗者と前記対象物との距離に応じて表示サイズが変化する前記対象物の立体表示を前記視界中に融像するための表示画像を生成する前記画像生成工程と、
前記画像生成工程で生成された前記表示画像を前記搭乗者の視界に表示する画像表示工程と、を備え、
前記画像生成工程では、前記搭乗者と前記対象物との距離に反比例するように決定される立体表示の表示サイズに対する、前記視界中に融像される立体表示の表示サイズの倍率が、前記画像表示工程で表示される前記表示画像の融像距離であって前記搭乗者と前記対象物との距離が長くなるにつれて長くなる融像距離が長くなるにつれて減少するように、前記表示画像を生成する、
車載表示方法。
車両の搭乗者の視界への立体表示の重畳をコンピュータに実行させるコンピュータプログラムであって、
前記視界を撮像し、視界画像を取得する撮像機能と、
前記搭乗者の眼球位置と視線方向を検出する検出機能と、
前記視界画像と前記搭乗者の眼球位置および視線方向とを用いて、前記視界中の前記搭乗者の注視点位置を同定する注視点同定機能と、
前記視界画像を用いて、前記視界画像に含まれる対象物の位置と距離を計測する計測機能と、
前記搭乗者の眼球位置と前記対象物の位置および距離とを用いて、前記搭乗者と前記対象物との距離に応じて表示サイズが変化する前記対象物の立体表示を前記視界中に融像するための表示画像を生成する前記画像生成機能と、
前記画像生成機能によって生成された前記表示画像を前記搭乗者の視界に表示する画像表示機能と、を前記コンピュータに実行させ、
前記画像生成機能は、前記搭乗者と前記対象物との距離に反比例するように決定される立体表示の表示サイズに対する、前記視界中に融像される立体表示の表示サイズの倍率が、前記画像表示機能によって表示される前記表示画像の融像距離であって前記搭乗者と前記対象物との距離が長くなるにつれて長くなる融像距離が長くなるにつれて減少するように、前記表示画像を生成する、
コンピュータプログラム。