JP6690657B2 - 画像表示装置及び画像表示方法 - Google Patents

Description

本発明は、画像表示装置及び画像表示方法に関する。

ヘッドアップディスプレイ（以下、ＨＵＤという）装置は、車両のフロントガラス上に自車両の情報やナビゲーションを表示する運転補助装置として用いられると、運転中の運転者による視点移動が少ないので従来のカーナビゲーション装置よりも安全性が高い。その中でもレーザ方式ＨＵＤ装置は表示画像のコントラストや再現色数が多いことから特に視認性が高い。

開示の目的は、視認者の視認性を向上させることができる画像表示装置を提供することである。

本発明の一態様に係る画像表示装置は、表示画像を表示する表示部であって、表示する前記表示画像の色である表示色の色情報値として色情報目標値を用いる前記表示部と、光透過部材に投影された前記表示部の前記表示画像及び前記光透過部材越しに見える背景画像を含む画像を撮影する手段を用いて、前記表示部が前記光透過部材に投射して表示した前記表示画像の背景を撮影して取得した前記背景画像の色である背景色の色情報値が、前記手段を用いて、前記表示部が前記光透過部材に投射して表示した前記表示画像を撮影して取得した前記表示画像の表示色の色情報値と同一のとき又は類似するときは、前記表示部が前記光透過部材に投射して表示した前記表示画像の周辺部分、前記表示画像を除く前記表示部が画像を前記光透過部材に投射して表示する範囲である画像表示領域の全面、前記表示画像の内側、及び前記表示画像の外側部分のうちの何れかの色を、前記取得した背景色の色情報値及び前記取得した表示色の色情報値とは異なり類似しない色情報値による色である補正色に補正する第２の画像補正部と、を含む。

画像表示装置が実際に表示した表示画像の表示色の色情報値を色情報目標値に一致させることができるため、視認者の視認性を向上させることができる。

フロントガラス３０２越しに運転者３００が見る自車両３０１の前方風景に重ねて本発明の一実施形態に係る自動車用ＨＵＤ装置２００が表示する虚像の一例を示す正面図である。 当該実施形態に係る自動車用ＨＵＤ装置２００を搭載した自動車の内部配置例を模式的に示す一部破断の模式側面図である。 図２の自動車用ＨＵＤ装置２００の光学系２３０の内部構成例を模式的に示すブロック図である。 図２の自動車用ＨＵＤ装置２００の制御系２５０の内部構成例を示すブロック図である。 図２の自動車用ＨＵＤ装置２００及び周辺装置の概略構成例を示すブロック図である。 マンセル色相環とＲＧＢ値との関係を説明するための説明図である。 図４の補正色ルックアップテーブルの一例を示す図である。 図４の自動車用ＨＵＤ装置２００の制御系２５０によって実行される表示色補正処理例を示すフローチャートである。 図２の自動車用ＨＵＤ装置２００が画像を表示する範囲である画像表示領域１０１内に表示する表示画像１０２の周辺又は表示画像１０２を除く画像表示領域１０１の全面に、背景色とは異なる色を表示したときの例を示す正面図である。 図２の自動車用ＨＵＤ装置２００が画像表示領域１０１内に表示する表示画像１０２の内側又は外側部分に、背景色とは異なる色を表示したときの例を示す正面図である。

本発明に係る実施形態は、自動車用ＨＵＤ装置によって実際にフロントガラス上に表示された表示画像の色である表示色のＲＧＢ値が、当該表示画像の表示色のＲＧＢ目標値と一致するように当該自動車用ＨＵＤ装置を制御することによって運転者等の視認者の視認性を向上させる。

以下、本発明に係る実施形態について図面を参照して説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付して重複する説明を省略する。

図１は、フロントガラス３０２越しに運転者３００から見る自車両３０１の前方風景に重ねて本発明の一実施形態に係る自動車用ＨＵＤ装置２００（以下、ＨＵＤ装置２００という）によって表示される虚像の一例を示す正面図である。図２は当該実施形態に係るＨＵＤ装置２００を搭載した自動車内部の配置例を模式的に示す一部破断の模式側面図である。図３は図２のＨＵＤ装置２００の光学系の内部構成例を模式的に示すブロック図である。なおＨＵＤ装置２００は画像表示装置の一例である。

図２において、本実施形態に係るＨＵＤ装置２００は、例えば、移動体の一例としての走行体である自車両３０１のダッシュボード内に設置される。ダッシュボード内のＨＵＤ装置２００から発せられる画像光である投射光Ｌが光透過部材の一例であるフロントガラス３０２上で視認者である運転者３００に向かって反射される。これにより、運転者３００は、後述するナビゲーション画像等を虚像Ｇとして視認することができる。なお、フロントガラス３０２の内壁面に光透過部材としてのコンバイナを設置し、コンバイナによって反射する投射光Ｌによって運転者に虚像を視認させるようにしてもよい。

本実施形態においては、運転者３００から虚像Ｇまでの距離が５ｍ以上となるようにＨＵＤ装置２００の光学系等が設計されている。従来の一般的な自動車用ＨＵＤ装置は、運転者から虚像Ｇまでの距離が２ｍ程度であった。運転者は、通常、車両前方の無限遠点を注視しているか、数十ｍ先の先行車を注視している。このように遠方に焦点を合わせている運転者が２ｍ先の虚像Ｇを視認しようとする場合、焦点距離が大きく変化するので、運転者は眼球の水晶体を大きく動かすことになる。そのため、運転者が虚像Ｇに焦点を合わせるまでの焦点調整時間が長くなり、虚像Ｇの内容を認識するまでに時間がかかり、さらに、運転者３００の眼球が疲労しやすくなる場合が考えられる。また、虚像Ｇの内容に運転者が気付きにくく、その結果、虚像Ｇによって情報を運転者へ適切に提供することが困難になるような場合も考えられる。

本実施形態のように運転者３００から虚像Ｇまでの距離が５ｍ以上であれば、従来よりも眼球の水晶体を動かす量が減り、虚像Ｇへの焦点調整時間を短縮して虚像Ｇの内容を運転者３００が早期に認識できるようになる。また運転者３００の眼球の疲労を軽減することができる。さらには、虚像Ｇの内容に運転者が気付きやすくなり、虚像Ｇによって情報を運転者へ適切に提供することが容易になる。運転者３００から虚像Ｇまでの距離が５ｍ以上であれば、運転者３００は眼球をほとんど輻輳運動させることなく虚像Ｇに焦点を合わせることができる。したがって、運動視差を利用して距離感（知覚距離の変化）や奥行き感（知覚距離の違い）を運転者３００に知覚させる効果が眼球の輻輳運動によって薄まってしまうことが抑制される。よって、画像の距離感や奥行き感を利用した運転者３００の情報知覚効果を有効に発揮させることができる。

図３のＨＵＤ装置２００は、光学系２３０内に、赤色、緑色及び青色のレーザ光源２０１Ｒ，２０１Ｇ及び２０１Ｂと、各レーザ光源に対して設けられるコリメータレンズ２０２，２０３及び２０４と、２つのダイクロイックミラー２０５及び２０６とを含む。ＨＵＤ装置２００はさらに、光量調整部２０７と、光走査装置２０８と、自由曲面ミラー２０９と、光発散部材としてのマイクロレンズアレイ２１０と、光反射部材としての投射ミラー２１１とを含む。本実施形態に係る光源ユニット２２０として、レーザ光源２０１Ｒ，２０１Ｇ及び２０１Ｂ、コリメータレンズ２０２，２０３及び２０４、並びにダイクロイックミラー２０５及び２０６が、光学ハウジングによってユニット化されている。

レーザ光源２０１Ｒ，２０１Ｇ及び２０１ＢとしてはＬＤ（半導体レーザ素子）を利用することができる。赤色レーザ光源２０１Ｒから射出される光束の波長は例えば６４０ｎｍであり、緑色レーザ光源２０１Ｇから射出される光束の波長は例えば５３０ｎｍであり、青色レーザ光源２０１Ｂから射出される光束の波長は例えば４４５ｎｍである。

本実施形態に係るＨＵＤ装置２００は、マイクロレンズアレイ２１０上に結像される中間像を自車両３０１のフロントガラス３０２に投射することで、その中間像の拡大画像を運転者３００に虚像Ｇとして視認させる。レーザ光源２０１Ｒ，２０１Ｇ及び２０１Ｂから発せられる各色レーザ光は、それぞれ、コリメータレンズ２０２，２０３及び２０４で略平行光とされ、２つのダイクロイックミラー２０５及び２０６により合成される。合成されたレーザ光は、光量調整部２０７で光量が調整された後、光走査装置２０８のミラーによって偏向され、自由曲面ミラー２０９上を二次元的に走査する。光走査装置２０８で偏向され自由曲面ミラー２０９上を二次元的に走査する走査光Ｌ'は、自由曲面ミラー２０９で反射されて歪みを補正された後、マイクロレンズアレイ２１０に集光され、中間像を描画する。

なお、本実施形態では、中間像の画素（中間像の一点）ごとの光束を個別に発散させて出射する光発散部材としてマイクロレンズアレイ２１０を用いているが、代わりに他の光発散部材を用いてもよい。また、中間像Ｇ'の形成方法としては、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）を利用した方式でもよい。ただし、大きな虚像Ｇを高い輝度で表示する場合には、本実施形態のようにレーザ走査方式が好ましい。

また、液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）等を利用した方式では、虚像Ｇを表示する範囲である画像表示領域内の非画像部分（すなわち画像表示がなされていない空白部分）にも僅かながら光が照射され、これを完全に遮断することが難しい。そのため、当該非画像部分を通じた自車両３０１の前方風景の視認性が悪くなる場合が考えられる。これに対し、本実施形態のようにレーザ走査方式によれば、画像表示領域内の非画像部分については、レーザ光源２０１Ｒ，２０１Ｇ及び２０１Ｂを消灯させることにより当該非画像部分に光が照射されるのを完全に防ぐことができる。よって、当該非画像部分を通じた自車両３０１の前方風景の視認性がＨＵＤ装置２００から照射される光によって低下する事態を回避でき、前方風景の視認性の低下を回避することができる。

さらに、運転者に警告等を行うための警告画像の輝度を段階的に高めることで警告の度合いを強めるような場合、表示されている各種画像のうちの警告画像の輝度だけを段階的に高めるといった表示制御を行う。このように一部画像について部分的に輝度を高めるような表示制御を行う場合も、レーザ走査方式が好適である。液晶ディスプレイ（ＬＣＤ）や蛍光表示管（ＶＦＤ）等を利用した方式では、表示されている警告画像以外の画像についても輝度が高まってしまう場合が考えられる。そのため、警告画像とそれ以外の画像との間の輝度差を広げることができず、警告画像の輝度を段階的に高めることで警告の度合いを強めるという効果が十分に得られない場合が考えられるからである。

光走査装置２０８はＭＥＭＳ（Micro Electro Mechanical Systems）等の公知のアクチュエータ駆動システムでミラーを主走査方向及び副走査方向に傾斜動作させ、ミラーに入射するレーザ光を偏向して自由曲面ミラー２０９上を二次元的に走査（ラスタスキャン）させる。ミラーの駆動制御はレーザ光源２０１Ｒ，２０１Ｇ及び２０１Ｂの発光タイミングに同期して行われる。なお光走査装置２０８の構成は上記構成に限られない。例えば、代わりに、互いに直交する２つの軸回りをそれぞれ揺動あるいは回動する２つのミラーからなるミラー系を用いてもよい。

図４は図２のＨＵＤ装置２００の制御系２５０の構成例を示すブロック図である。図４において、ＨＵＤ装置２００の制御系２５０は、ＦＰＧＡ(Field Programmable Gate Array)２５１、ＣＰＵ(Central Processing Unit)２５２、ＲＯＭ(Read-Only Memory)２５３、ＲＡＭ(Random Access Memory)２５４、インタフェース（以下、Ｉ／Ｆという）２５５、バスライン２５６、ＬＤドライバ２５７及びＭＥＭＳコントローラ２５８を含む。ＦＰＧＡ２５１は、ＬＤドライバ２５７により、光源ユニット２２０のレーザ光源２０１Ｒ，２０１Ｇ及び２０１Ｂの動作を制御し、ＭＥＭＳコントローラ２５８により、光走査装置２０８のＭＥＭＳ２０８ａの動作を制御する。ＣＰＵ２５２は、ＨＵＤ装置２００の各機能を実現する。ＲＯＭ２５３は、ＣＰＵ２５２がＨＵＤ装置２００の各機能を実現するために実行する画像処理用プログラム等の各種プログラムを記憶している。ＲＡＭ２５４はＣＰＵ２５２のワークエリアとして使用される。Ｉ／Ｆ２５５は、外部コントローラ等と通信するためのインタフェースであり、例えば、自車両３０１のＣＡＮ（Controller Area Network）を介して、車両ナビゲーション装置４００、各種センサ５００装置等に接続される。また、Ｉ／Ｆ２５５には、フロントガラス３０２上に映し出されるＨＵＤ装置２００の表示画像及びフロントガラス３０２越しに見える背景画像を含む前方画像を撮影する前方撮影用カメラ１１０が接続される。さらに、ＲＯＭ２５３には、補正色ルックアップテーブル（以下、補正色ＬＵＴといい、詳細は後述する）２５３ｔを予め格納する。

図５は図２のＨＵＤ装置２００及び周辺装置の概略構成例を示すブロック図である。本実施形態においては、虚像Ｇによって運転者３００へ提供する運転者提供情報を取得する情報取得装置として、車両ナビゲーション装置４００、センサ装置５００等が設けられている。ＨＵＤ装置２００は、主に、画像光投射装置としての光学系２３０と、表示制御装置としての制御系２５０とを含む。

本実施形態に係る車両ナビゲーション装置４００としては、自動車等に搭載される公知の車両ナビゲーション装置を広く利用することができる。車両ナビゲーション装置４００からは、虚像Ｇに表示するルートナビゲーション画像を生成するための情報が出力され、この情報は制御系２５０に入力される。例えば、図１に示すように、自車両３０１が走行している道路の車線（走行レーン）の数、次に進路変更（右折、左折、分岐等）すべき地点までの距離、次に進路変更する方向等の情報を示す画像が含まれている。これらの情報が車両ナビゲーション装置４００から制御系２５０に入力される。これにより、制御系２５０の制御の下、ＨＵＤ装置２００によって以下の画像が表示される。すなわち、走行レーン指示画像７１１、車間距離提示画像７１２、進路指定画像７２１、残り距離画像７２２、交差点等名称画像７２３等のナビゲーション画像が上段画像表示領域Ａに表示される。

また、図１に示した画像例では、下段画像表示領域Ｂに、道路の固有情報（道路名、制限速度等）を示す画像が表示される。この道路の固有情報も、車両ナビゲーション装置４００から制御系２５０に入力される。制御系２５０は、当該道路固有情報に対応する道路名表示画像７０１、制限速度表示画像７０２、追い越し禁止表示画像７０３等を、ＨＵＤ装置２００によって下段画像表示領域Ｂに表示する。

図５のセンサ装置５００は、自車両３０１の挙動、自車両３０１の状態、自車両３０１の周囲の状況等を示す各種情報を検出するための１又は２以上のセンサを含む。センサ装置５００からは、虚像Ｇとして表示する画像を生成するためのセンシング情報が出力され、このセンシング情報は制御系２５０に入力される。例えば、図１に示した画像例には、自車両３０１の車速を示す車速表示画像７０４（図１では「８３ｋｍ／ｈ」という文字画像）を、下段画像表示領域Ｂに表示する。そのために、自車両３０１のＣＡＮ情報に含まれる車速情報がセンサ装置５００から制御系２５０に入力され、制御系２５０の制御の下、ＨＵＤ装置２００によって当該車速を示す文字画像が下段画像表示領域Ｂに表示される。

センサ装置５００は、自車両３０１の車速を検出するセンサ以外に、例えば以下に示すセンサを含んでよい。
（１）自車両３０１の周囲（前方、側方、後方）に存在する他車両、歩行者、建造物（ガードレールや電柱等）との距離を検出するレーザレーダ装置や撮像装置、及び自車両の外部環境情報（外気温、明るさ、天候等）を検出するためのセンサ
（２）運転者３００の運転動作（ブレーキ走査、アクセル開閉度等）を検出するためのセンサ
（３）自車両３０１の燃料タンク内の燃料残量を検出するためのセンサ
（４）エンジンやバッテリー等の各種車載機器の状態を検出するセンサ
このようなセンサ装置５００で検出した情報を制御系２５０へ送ることで、それらの情報を虚像ＧとしてＨＵＤ装置２００により表示して運転者３００へ提供することができる。

次に、ＨＵＤ装置２００によって表示される虚像Ｇについて説明する。本実施形態におけるＨＵＤ装置２００が虚像Ｇによって運転者３００へ提供する運転者提供情報は、運転者３００にとって有用な情報であればどのような情報であってもよい。本実施形態では、運転者提供情報を受動情報と能動情報とに大別している。

受動情報とは、所定の情報提供条件が満たされたタイミングで運転者３００によって受動的に認知される情報である。したがってＨＵＤ装置２００が有する設定タイミングで運転者３００へ提供される情報は受動情報に含まれ、また、情報が提供されるタイミングと提供する情報の内容との間に一定の関係性を有する情報も受動情報に含まれる。

受動情報としては、例えば、運転時の安全性に関わる情報、ルートナビゲーション情報等が挙げられる。運転時の安全性に関わる情報としては、自車両３０１と先行車両３５０との車間距離情報（車間距離提示画像７１２）、運転に関わる緊急性のある情報（運転者に緊急操作を指示する緊急操作指示情報等の警告情報あるいは注意喚起情報等）等がある。また、ルートナビゲーション情報は、予め設定された目的地までの走行ルートを案内するための情報であり、公知の車両ナビゲーション装置によって運転者へ提供される情報と同様であってよい。ルートナビゲーション情報としては、直近の交差点で走行すべき走行レーンを指示する走行レーン指示情報（走行レーン指示画像７１１）や、次に直進方向から進路変更すべき交差点や分岐点での進路変更操作を指示する進路変更操作指示情報等が挙げられる。進路変更操作指示情報としては、交差点等においていずれの進路をとるべきかの進路指定を行う進路指定情報（進路指定画像７２１）、進路変更操作を行う交差点等までの残り距離情報（残り距離画像７２２）、交差点等の名称情報（交差点等名称画像７２３）等がある。

能動情報とは、運転者３００が自ら決めるタイミングで運転者３００によって能動的に認知される情報である。能動情報は、運転者３００の希望するタイミングで運転者へ提供されれば十分な情報であり、例えば、情報が提供されるタイミングと提供される情報の内容との間の関係性が低いか、あるいはそのような関係性が無いような情報は、能動情報に含まれる。能動情報は、運転者３００の希望するタイミングで運転者３００が取得する情報であることから、ある程度の長い期間あるいは常時、表示され続けるような情報である。例えば、自車両３０１が走行している道路の固有情報、自車両３０１の車速情報（車速表示画像７０４）、現在時刻情報等が挙げられる。道路の固有情報としては、例えば、その道路名情報（道路名表示画像７０１）、その道路の制限速度等の規制内容情報（制限速度表示画像７０２、追い越し禁止表示画像７０３等）、その他当該道路に関わる情報として運転者３００にとって有用なものが挙げられる。

本実施形態では、このように大別される受動情報と能動情報とを、それぞれ対応する、虚像を表示する範囲である画像表示領域に表示する。具体的には、本実施形態では、二つの画像表示領域Ａ，Ｂを上下方向に並べて配置し、そのうちの上段画像表示領域Ａには主に受動情報に対応する受動情報画像を表示し、下段画像表示領域Ｂには主に能動情報に対応する能動情報画像を表示する。なお、能動情報画像の一部を上段画像表示領域Ａに表示する場合には、上段画像表示領域Ａに表示される受動情報画像の視認性を優先する態様で表示を行う。

また、本実施形態においては、表示される虚像Ｇとして、立体視を用いて表現された立体視画像を用いている。具体的には、上段画像表示領域Ａに表示される車間距離提示画像７１２及び走行レーン指示画像７１１として、遠近法により表現された遠近法画像を用いている。

詳しくは、車間距離提示画像７１２を構成する５本の横線の長さを上側に向かうほど短くなるようにして、車間距離提示画像７１２が１つの消失点に向かうように、透視図法により作図された遠近法画像を用いている。特に、本実施形態では、その消失点が運転者３００の注視点近傍に定まるように車間距離提示画像７１２を表示することにより、運転中の運転者３００は車間距離提示画像７１２の奥行き感を知覚しやすくなる。また、本実施形態では、さらに、横線の太さが上側に向かうほど細くなり、あるいは横線の輝度が上側に向かうほど低くなるような遠近法画像を用いている。これによって、運転中の運転者３００は、車間距離提示画像７１２の奥行き感をさらに知覚しやすくなる。

本実施形態に係るＨＵＤ装置２００は、ＨＵＤ装置２００が表示する表示画像の周辺又は表示画像を除いた画像表示領域全面に、背景色及び表示画像の表示色とは異なる、視認性の良い色を表示する。

本実施形態に係るＨＵＤ装置２００が有する第１の特徴は以下の通りである。すなわち、前方撮影用カメラ１１０で撮影された表示画像の表示色と、表示指示された表示色との情報から、両者に色の差があるか否か（運転者３００が両者の色の差を認識できるか否か）を判定し、両者に色の差がなくなるように表示指示を補正することで表示色を制御する（図８のＳ１〜Ｓ５）。その結果、ＨＵＤ装置２００によって実際に表示される虚像の表示色がＨＵＤ装置２００において当初表示指示された表示色と一致するように制御がなされるため、視認者の視認性を向上することができる。

本実施形態に係るＨＵＤ装置２００が有する第２の特徴は以下の通りである。すなわち、ＨＵＤ装置２００が表示する表示画像の背景の色である背景色のＲＧＢ値が表示画像の表示色のＲＧＢ値に類似しているか否かを判断する。その結果、両者が類似している（又は一致している）とき、補正色ＬＵＴ２５３ｔを参照して表示画像の周辺又は表示画像を除いた画像表示領域の全面の表示色を背景色にも表示色にもＲＧＢ値が類似しない補正色に補正する（図８のＳ６〜Ｓ９）。これにより、表示色に意味のある表示画像の背景の背景色が表示画像の表示色と同色の場合でも表示色を変えずに済むため、運転者３００に対し、表示画像の表示色が本来持つ意味を正確に認識させることができる。

以上により、視認者である運転者の表示画像に対する視認性を改善することができる。すなわち、表示画像の表示色と表示画像の背景の背景色とを比較し特定の条件であると判定した場合、表示画像の周辺又は表示画像を除いた画像表示領域全面に背景色と異なり表示色とも異なる色を表示し、両者の境界の視認性を高める。その結果、表示画像自体の表示色を変えず済むため、表示画像本来の意味を運転者３００に正確に認識させることができる。

図６はマンセル色相環とＲＧＢ値との関係を説明するための説明図である。図６において、マンセル色相環は色が円状に並び、各色は、それぞれが最も離れた位置にある色と補色関係にある。これを元に背景色の補色を求めることが可能となる。図６では代表とする５色を挙げたが、各色間をさらに細分化して数段階に分けてもよい。

図７は図４の補正色ＬＵＴ２５３ｔの一例を示す表である。図７の補正色ＬＵＴ２５３ｔは図６のマンセル色相環の反対色又は補色の関係を用いて予め作成されて図４のＲＯＭ２５３に格納される。図７の補正色ＬＵＴ２５３ｔでは、図６の５色に加え、補色の表現できない白を含めた６色の情報を、０〜２５５中の任意のｎを用いてＲＧＢ値を用いて表現し、それらに対する敗退色又は補色である補正色のＲＧＢ値を対応付けている。ＲＧＢ値は任意の数値を組み合わせることで、色差とともに明度差をつけることができる。

なお、補正色ＬＵＴ２５３ｔに格納する色は図６の場合同様、さらに細分化して各色間を数段階に分けもよく、また同じ色を明度によって細分化してもよい。補正色は図６のマンセル色相環を用いた補色関係を用いも決定しても良いし、視認性の高い色で補色の関係にない色を選んでもよい。白の補正色としては、予め想定できる背景色以外のＲＧＢ値、もしくは表示画像で使用することのないＲＧＢ値を有する色としてもよい。補正色ＬＵＴ２５３ｔに格納する値は他に、光源の光量、光量比、光量制御のための電流値設定等、変化させることによって色の変化が認識できる値を含んでもよい。

以下、本実施形態において適用可能な補正色の格納例又は使用例について説明する。
（補正色の格納例又は使用例１）
補正色ＬＵＴ２５３ｔにおいて、赤のＲＧＢ値（ｎ，０，０）の補正色として、白のＲＧＢ値（ｍ，ｍ，ｍ）、もしくは補色の青緑のＲＧＢ値（０，ｐ，ｐ）を用いる。ここで、ｍ，ｐは、それぞれ０〜２５５のうち、色の視認性が良くなる任意の数値である。例えば表示色のＲＧＢ値（２５５，０，０）と背景色のＲＧＢ値（２５５，０，０）とを比較すると、両者はともに赤のＲＧＢ値（ｎ，０，０）に分類され同色とみなすことができる。この結果、表示画像の周辺又は表示画像を除く画像表示領域１０１の全面に、例えば、白のＲＧＢ値（２５５，２５５，２５５）又は緑のＲＧＢ値（０，２５５，２５５）等を有する補正色を表示する。
（補正色の格納例又は使用例２）
例えば同じ色相に属する色同士であっても明度が違えば運転者３００は相違を認識できるという観点から、表示画像の表示色と背景画像の背景色とが同じ色相に属する色同士の場合には特にＲＧＢ値の補正を行わないようにする。すなわち、補正色ＬＵＴ２５３ｔにおいて、赤のＲＧＢ値Ｒ１（２５５，０，０）、赤のＲＧＢ値Ｒ２（２００，０，０）等、同じ色相に属する複数のＲＧＢ値（ｎ，０，０）をそれぞれ格納しておく。その上で、例えば表示色のＲＧＢ値（２５０，０，０）と背景色のＲＧＢ値（２１０，０，０）とを比較する（図８のステップＳ７）場合を想定する。この場合、ステップＳ７にて、表示色のＲＧＢ値（２５０，０，０）を補正色ＬＵＴ２５３ｔにおいて数値の近い上記した赤のＲＧＢ値Ｒ１（２５５，０，０）に分類し、背景色を数値の近い上記した赤のＲＧＢ値Ｒ２（２００，０，０）に分類することにより、両者は類似しないと判断され（ステップＳ７のＮＯ）、ステップＳ８及びステップＳ９によるＲＧＢ値の補正は行われない。
（補正色の格納例又は使用例３）
例えば補正色ＬＵＴ２５３ｔにおいて白のＲＧＢ値（ｎ，ｎ，ｎ）の補正色を格納する際、全ての表示画像及び背景画像に赤のＲＧＢ値（ｍ，０，０）を有する色が多く含まれる場合、赤のＲＧＢ値（ｍ，０，０）以外のＲＧＢ値の色を当該補正色として格納する。
（補正色の格納例又は使用例４）
表示画像と背景画像とを比較して両者のＲＧＢ値が類似している（又は一致している）ときは、表示画像の周辺、内側又は外側部分に、背景色とも表示色ともＲＧＢ値が異なる色を表示する。例えば、表示画像中に非画像部分（すなわちＨＵＤ装置２００による画像表示がなされていない空白部分）が存在する場合、非画像部分内部に補正色を表示することで非画像部分が見やすくなる。また、表示画像の外側に他の表示画像が隣接する場合、補正色の表示部分が当該他の表示画像と重ならないようにする。また、表示画像の外側に他の表示画像がない場合、表示画像の外側部分に補正色を表示する（例えば、補正色を表示した部分で表示画像を囲む（図１０の右下図を参照））。その場合であって表示画像中に非画像部分が存在する場合、非画像部分内部の表示色を変化させないことによって、運転者が表示画像の色の意味を誤認識することを防止することができる。
（補正色の格納例又は使用例５）
表示画像と背景画像とを比較してＲＧＢ値が類似している（又は一致している）ときは、表示画像の周辺又は表示画像を除く画像表示領域の全面に、背景色とも表示色ともＲＧＢ値が異なる、全ての表示画像及び背景画像に含まれない色を表示する（すなわち全ての表示画像及び背景画像に含まれない色のＲＧＢ値を有する色を表示する）。予め全ての表示画像及び背景画像に含まれない色を補正色と定めておくことで、運転者が補正色の意味を誤認識することがなくなる。
（補正色の格納例又は使用例６）
表示色と背景色との間で色差がなく、表示画像と背景画像との間で輝度差もない場合、表示画像の周辺又は表示画像を除く画像表示領域の全面に、背景色と表示色との間で輝度差を有する色を表示する。補正色ＬＵＴ２５３ｔに格納する補正色として、色差に加え輝度差を有する色が含まれる。ＲＧＢ値で表した場合、例えばＲ値とＧ値とＢ値との間の比率が同じｍ：ｎ：ｐである色同士でも絶対値が異なれば輝度が異なる。表示色と背景色との間で色差がなく輝度差もない場合、背景色との差が認識できる輝度の色を表示画像の周辺又は表示画像を除く画像表示領域の全面に表示することで、補正色を表示色と同じ色味で表示できるため、運転者が補正色の意味を誤認識することがなくなる。

図８は、図４の制御系２５０によって実行される表示色補正処理例を示すフローチャートである。

図８のステップＳ１において制御系２５０は、ＨＵＤ装置２００により表示する表示情報から、表示指示すべき表示色のＲＧＢ値を取得し、取得したＲＧＢ値をＲＧＢ目標値とする。ステップＳ２において制御系２５０は、表示情報を、ＲＧＢ目標値を用いてＨＵＤ装置２００によりフロントガラス３０２上に表示画像として投影して表示する。なお、ステップＳ１では、ＨＵＤ装置２００により表示する表示情報から取得した表示色のＲＧＢ値をＲＧＢ目標値としたが、本発明はこれに限られない。ＨＵＤ装置２００により表示する表示情報から取得した表示色のＲＧＢ値に基づいて、ＲＧＢ目標値を演算によって得るようにしてもよい。

次いで、ステップＳ３において制御系２５０は、実際にＨＵＤ装置２００によりフロントガラス３０２上に投影され表示された表示画像を前方撮影用カメラ１１０に撮影させ、撮影された表示画像から表示色のＲＧＢ値を取得する。ステップＳ４において制御系２５０は、ステップＳ３で取得した、撮影された表示画像の表示色のＲＧＢ値と、ステップＳ１で取得したＲＧＢ目標値との間に差があるか否か（異なるか否か）を判断する。判断結果がＹＥＳ（すなわち両者に差がある場合）のとき、制御系２５０はステップＳ５に進む一方、ＮＯのときはステップＳ６に進む。

ステップＳ５において制御系２５０は、撮影された表示画像の表示色のＲＧＢ値がＲＧＢ目標値に近付くように、ＨＵＤ装置２００が投影する表示画像のＲＧＢ値（図８では「投影ＲＧＢ値」）を補正し、補正後のＲＧＢ値を用いてＨＵＤ装置２００によりフロントガラス３０２上に表示画像を投影して表示し、ステップＳ３に戻る。上記ＲＧＢ値の補正では、例えば撮影した表示画像の表示色のＲＧＢ値がＲＧＢ目標値に近付く方向に、ＨＵＤ装置２００が投影する表示画像のＲＧＢ値を変化させ、その後ステップＳ５からステップＳ３に戻り、ステップＳ３〜Ｓ４の制御ループを繰り返す。このようにして制御系２５０は、実際に運転者３００に見える表示画像の表示色のＲＧＢ値をＲＧＢ目標値に所定の許容誤差範囲で実質的に一致させる。

ステップＳ６において制御系２５０は、前方撮影用カメラ１１０に、フロントガラス３０２越しに実際に見ることができる、ＨＵＤ装置２００により投影され表示されている表示画像の背景（すなわち、前方車両、路面等）を撮影させる。そして制御系２５０は、撮影された背景画像の色である背景色のＲＧＢ値を取得する。次いで、ステップＳ７において制御系２５０は、取得した背景色のＲＧＢ値が、ステップＳ３で取得した、撮影された表示画像の表示色のＲＧＢ値に類似しているか否かを判断する。判断結果がＹＥＳ（すなわち両者が類似するか一致する場合）のとき、制御系２５０はステップＳ８に進む一方、ＮＯのときはステップＳ１に戻る。

ステップＳ８において制御系２５０は上述した補正色ＬＵＴ２５３ｔを用い、ステップＳ３で取得した表示画像の表示色のＲＧＢ値及びステップＳ６で取得した背景色のＲＧＢ値の両者とは異なり、類似しない補正色のＲＧＢ値を取得する。次いで、ステップＳ９において制御系２５０は、取得した補正色のＲＧＢ値を用い、表示画像１０２の周辺又は表示画像１０２を除く画像表示領域１０１全面にＨＵＤ装置２００により補正色を投影してステップＳ１に戻る。

ステップＳ７〜Ｓ９において、背景色のＲＧＢ値が表示画像の表示色のＲＧＢ値と類似するか否かの比較を行っている。両者が類似している（又は一致している）場合、表示画像が背景に埋もれて運転者が認識できなくなる可能性があるため、表示画像を運転者に認識させるようにＨＵＤ装置２００による表示を変更する。すなわち、表示画像の表示色又は背景色のＲＧＢ値を補正色ＬＵＴ２５３ｔに格納されているＲＧＢ値と比較し、補正色ＬＵＴ２５３ｔに格納されている最も近いＲＧＢ値と対応付けられている補正色を取得する。そして取得した補正色を、表示画像の周辺又は表示画像を除く画像表示領域の全面に表示する。なお、上記の如く、両者が類似している場合に表示画像の表示色又は背景色のＲＧＢ値に近似するＲＧＢ値に対応する補正色を補正色ＬＵＴ２５３ｔから取得するのであり、補正色ＬＵＴ２５３ｔにはマンセル色相環の反対色又は補色の関係にある補正色が格納されている。したがって表示画像の表示色及び背景色の一方に対する反対色又は補色は、表示画像の表示色及び背景色のうちの他方とも、ほぼ反対色又は補色の関係にあると考えられる。したがってこのようにして補正色ＬＵＴ２５３ｔから取得される補正色は、表示画像の表示色及び背景色の双方と類似せず、異なる色と考えられる。

図９は図２のＨＵＤ装置２００が画像を表示する範囲である画像表示領域１０１に表示する表示画像１０２の周辺又は表示画像１０２を除く画像表示領域１０１全面に背景色とは異なる色を表示したときの一例を示す正面図である。

図９において、表示画像１０２の表示色とその背景色とが同色であった場合（例えば両者が白であった場合）、表示画像１０２の周辺（図９の右下の表示例）又は表示画像１０２を除く画像表示領域１０１全面（図９の左下の表示例）に背景色と表示画像１０２の表示色とは異なる色（図９ではハッチング）を表示する。なお便宜上、図９の上側の表示例では、表示画像１０２（すなわち「４０ｋｍ」の文字画像）の表示色は黒であり、背景画像は白である。しかしながら、実際には、例えば上記の如く両者が白の場合、表示画像１０２である文字画像も白で表示される。よってこの場合、図９の上側の表示例では、当該文字画像は背景に埋もれて認識が困難となる。

ＨＵＤ装置２００の制御系２５０が前方撮影用カメラ１１０によって撮影された画像の情報を用いて表示画像１０２の表示色を検出する際には表示画像１０２自体の色を検出し、背景色を検出する場合には画像表示領域１０１内の表示画像１０２を除いた部分に表示されている色、もしくは表示画像１０２の近傍の部分の色を検出する。そして、表示画像１０２の表示色が背景色と同一と分類された場合、表示画像１０２の周辺又は表示画像１０２を除いた画像表示領域１０１の全面に補正色を表示する。

図１０は図２のＨＵＤ装置２００が画像表示領域１０１内に表示する表示画像１０２の内側又は外側部分に背景色とは異なる色の補正色を表示したときの一例を示す正面図である。

例えば、表示画像１０２の表示色と背景色とが同色であった場合（例えば両者が白であった場合）、表示画像１０２の内側（図１０の右上の表示例）又は外側部分（図１０の右下の表示例）に背景色と表示色とは異なる色を表示する。図１０においては、画像表示領域１０１に、例として矢印の形状の表示画像１０２を表示している。なお、図１０の左側の表示例では便宜上、矢印の形状の表示画像１０２の輪郭線を図示しているが、実際にはこのような輪郭線は存在せず、内側に表示色が表示されている。よって上記の如く両者が白の場合、図１０の左側の表示例では、矢印の形状の表示画像１０２は背景に埋もれて認識が困難となる。表示画像１０２の表示色が背景色と同一と分類された場合、補正色を表示する部分は矢印の形状の表示画像１０２の内側でもよいし（図１０の右上の表示例）、矢印の形状の表示画像１０２の外側部分でもよい（図１０の右下の表示例）。

上記した本実施形態に係るＨＵＤ装置２００が有する第２の特徴の意義について以下に説明する。

ＨＵＤ装置が表示画像として表示する表示情報には道路標識の再現や警告等があり、表示情報の理解度を上げる手掛かりとして表示画像の表示色が重要な役割を担う。ここで表示画像の表示色がフロントガラス越しに見える、表示画像の背景の背景色の影響を受けることにより、運転者は表示画像の表示色を、本来の色からずれた色として視認する可能性がある。このような場合、表示色に特定の意味を持たせていても、背景色によって表示色が別色として視認されてしまうと、本来の表示色の意味が運転者に認識されない場合がある。その結果、表示色が運転者に誤解を与えたり不快感を与えたりし、正常な運転が阻害されるような場合が考えられる。そこでフロントガラスに投影された表示色をカメラ等で検出して背景色の影響を抑制することで、表示色を本来の色として視認されるようにすることが考えられる。

背景色が表示色と同色の場合（特定の場合）、表示色は本来の色のまま検出されるので表示色を補正する必要はないが、この場合、表示画像と非画像部分とを区別して認識することができなくなる可能性が考えられる。例えば表示情報を白色の表示画像として車速を表示している際に、車両が雪道等、白の背景色となる路面を走行するような場合である。この場合は検出した白の背景色とは異なる色に表示色を補正して表示することにより表示情報の視認性を向上させることができる。しかしながらこの方法では、表示色そのものに特定の意味が与えられていた場合、運転者に表示情報の意味を正確に認識させることが出来なくなる可能性が考えられる。また、場合によっては本来表示色に与えられていた意味とは異なる、補正後の表示色に与えられた意味に運転者が誤解する可能性も考えられる。

上記した本実施形態に係るＨＵＤ装置２００が有する第２の特徴によれば、表示画像と背景色を比較し、特定の条件に合致すると判定した場合には、表示画像の周辺又は表示画像を除く画像表示領域の全面に背景色とも表示色とも異なる色の補正色を表示して両者の間の境界の視認性を高める。その結果、表示色自体は変えないため、表示色の本来の意味を性格に運転者に認識させることができる。すなわち表示色と同色の背景色の場合であっても、表示色に意味を持たせた表示画像の表示色を変えずに済むため、運転者に表示画像の持つ意味を性格に認識させることができる。

特許文献１には、本来の表示色を反映しながら、表示画像の視認性を向上させる目的で、検出した背景色と、本来の表示色とに基づいて、例えば背景色の補色を混合する等して視認しやすい色に調整する方法が開示されている。しかし、特許文献１の技術では、表示色に意味があり背景色と同色の場合、表示色を補正して本来の色以外を表示した場合、表示色本来の意味が伝わらなくなってしまう可能性が考えられる。本実施形態に係るＨＵＤ装置２００が有する第２の特徴によれば、表示色自体を変えないため、表示色本来の意味が正確に運転者に伝わる。

以上の実施形態においては、自動車用ＨＵＤ装置２００について説明しているが、本発明はこれに限らず、その他の車両又はその他の用途のＨＵＤ装置、もしくはディスプレイ等の画像表示装置にも適用することができる。その場合運転者は視認者である。

以上の実施形態においては、ＲＧＢ値を色情報値の一例として使用しているが、明度座標等の他の色情報値を用いてもよい。

以上、画像表示装置及び画像表示方法を実施形態により説明したが、本発明は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。

本国際出願は２０１６年２月９日に出願した日本国特許出願第２０１６−０２３０２７号に基づく優先権を主張するものであり、日本国特許出願第２０１６−０２３０２７号の全内容を本国際出願に援用する。

１１０…前方撮影用カメラ
２００…自動車用ＨＵＤ装置
２１１…投射ミラー
２２０…光源ユニット
２３０…光学系
２５０…制御系
２５１…ＦＰＧＡ
２５２…ＣＰＵ
２５３…ＲＯＭ
２５３ｔ…補正色ルックアップテーブル（補正色ＬＵＴ）
２５４…ＲＡＭ
３００…運転者
３０１…自車両
３０２…フロントガラス
４００…車両ナビゲーション装置
５００…センサ装置
７１２…車間距離提示画像
Ａ…上段画像表示領域
Ｂ…下段画像表示領域

特開２０１４−１７２４０６号公報

Claims (10)

1. 表示画像を表示する表示部であって、前記表示画像の色である表示色の色情報値として色情報目標値を用いる前記表示部と、
   光透過部材に投影された前記表示部の前記表示画像及び前記光透過部材越しに見える背景画像を含む画像を撮影する手段を用いて、前記表示部が前記光透過部材に投射して表示した前記表示画像の背景を撮影して取得した前記背景画像の色である背景色の色情報値が、前記手段を用いて、前記表示部が前記光透過部材に投射して表示した前記表示画像を撮影して取得した前記表示画像の表示色の色情報値と同一のとき又は類似するときは、前記表示部が前記光透過部材に投射して表示した前記表示画像の周辺部分、前記表示画像を除く前記表示部が画像を前記光透過部材に投射して表示する範囲である画像表示領域の全面、前記表示画像の内側、及び前記表示画像の外側部分のうちの何れかの色を、前記取得した背景色の色情報値及び前記取得した表示色の色情報値とは異なり類似しない色情報値による色である補正色に補正する第２の画像補正部と、を含む画像表示装置。
2. 前記表示部が前記光透過部材に投射して表示した前記表示画像を撮影して取得した前記表示画像の表示色の色情報値が前記色情報目標値と異なるとき、前記表示部が前記光透過部材に投射して表示した前記表示画像を撮影して取得した前記表示画像の表示色の色情報値が前記色情報目標値になるように、前記表示部が前記光透過部材に投射して表示する前記表示画像の表示色の色情報値を補正する第１の画像補正部をさらに含み、
   前記第１の画像補正部による処理を、前記第２の画像補正部による処理に先立って実行する、請求項１に記載の画像表示装置。
3. 前記補正色の色情報値として、前記表示色の色情報値又は前記背景色の色情報値とは反対色又は補色の関係にある色情報値を用いる、請求項１又は２に記載の画像表示装置。
4. 前記表示色の色情報値及び前記背景色の色情報値がともに白色を示す色情報値であるときに、前記補正色の色情報値として赤色を示す色情報値を用いる、請求項１又は２に記載の画像表示装置。
5. 前記補正色の色情報値として、前記表示画像及び前記背景画像に含まれない色情報値を用いる、請求項１又は２に記載の画像表示装置。
6. 前記表示色と前記背景色との間に色差も輝度差もないときは、前記補正色の色情報値として、前記表示色と前記背景色とは明度の異なる色を示す色情報値を用いる、請求項１又は２に記載の画像表示装置。
7. 前記補正色の色情報値を予め格納する記憶部をさらに含む、請求項１又は２に記載の画像表示装置。
8. 前記画像表示装置は、車両のフロントガラスに前記表示画像を投影して表示するヘッドアップディスプレイである、請求項１〜７のうちのいずれか１項に記載の画像表示装置。
9. 表示画像を表示する表示ステップであって、表示する前記表示画像の表示色の色情報値として色情報目標値を用いる前記表示ステップと、
   光透過部材に投影された前記表示ステップにおける前記表示画像及び前記光透過部材越しに見える背景画像を含む画像を撮影する手段を用いて、前記表示ステップで前記光透過部材に投射して表示した前記表示画像の背景を撮影して取得した前記背景画像の色である背景色の色情報値が、前記手段を用いて、前記表示ステップで前記光透過部材に投射して表示した前記表示画像を撮影して取得した前記表示画像の表示色の色情報値と同一のとき又は類似するときは、前記表示ステップで前記光透過部材に投射して表示した表示画像の周辺部分、当該表示画像を除く前記表示ステップで画像を前記光透過部材に投射して表示する範囲である画像表示領域の全面、前記表示画像の内側、及び前記表示画像の外側部分のうちの何れかの色を、前記取得した背景色の色情報値及び前記取得した記表示色の色情報値とは異なり類似しない色情報値による色である補正色に補正する第２の画像補正ステップと、を含む画像表示方法。
10. 前記表示ステップで前記光透過部材に投射して表示した前記表示画像を撮影して取得した前記表示画像の表示色の色情報値が前記色情報目標値と異なるとき、前記表示ステップで前記光透過部材に投射して表示した前記表示画像を撮影して取得した前記表示画像の表示色の色情報値が前記色情報目標値になるように、前記表示ステップで前記光透過部材に投射して表示する前記表示画像の表示色の色情報値を補正する第１の画像補正ステップをさらに含み、
    前記第１の画像補正ステップを、前記第２の画像補正ステップに先立って実行する、請求項９に記載の画像表示方法。

Images