JP7047730B2 - 表示制御装置及び表示制御プログラム - Google Patents

Description

この明細書による開示は、虚像の表示を制御する表示制御装置及び表示制御プログラムに関する。

従来、例えば特許文献１には、車両の進行方向を示す矢印の虚像を、車両前方の路面上に重畳表示させる虚像生成システムが開示されている。この虚像生成システムのナビゲーションＥＣＵは、車両にピッチ変化が生じても、路面上への虚像の重畳表示が維持されるように、映像の投影位置を車両のピッチ変化に合わせて補正する。ナビゲーションＥＣＵには、制御装置としてのＣＰＵ、及びＲＡＭ等のワーキングメモリが設けられている。

特開２０１７－９４８８２号公報

特許文献１のナビゲーションＥＣＵのＣＰＵは、虚像として表示される画像を、メモリから読み出しつつ、ピッチ変化に合わせた補正を行い、ヘッドアップディスプレイ（以下、「ＨＵＤ」）に出力していると推定される。こうした処理にて、ＣＰＵは、画像だけでなく、画像を補正するための補正情報も、一つのメモリから読み出す必要がある。そのため、路面上への虚像の重畳表示を維持すべく、上記の処理を継続した場合、ＣＰＵのメモリへのアクセスについて、遅延発生の虞が生じ得た。

本開示は、画像補正に関連するメモリへのアクセス遅延を抑制可能な表示制御装置及び表示制御プログラムの提供を目的とする。

上記目的を達成するため、開示された一つの態様は、車両（Ａ）において用いられ、車両の前景に重畳される虚像表示を制御する表示制御装置であって、虚像表示のために投影される出力画像（Ｐｏ）を、入力画像（Ｐｉ）の補正によって生成する補正演算部（６４）と、補正演算部によって読み出し可能に入力画像を記憶する第一メモリ（７１）及び第二メモリ（７２）と、を備え、第一メモリ及び第二メモリの両方は、入力画像を補正する補正演算に用いられる補正情報を、補正演算部によって読み出し可能に記憶しており、補正演算部は、第一メモリ及び第二メモリの一方から入力画像を読み出しつつ、第一メモリ及び第二メモリの他方から補正情報を読み出す表示制御装置とされる。

また開示された一つの態様は、車両（Ａ）において用いられ、車両の前景に重畳される虚像表示を制御する表示制御プログラムであって、少なくとも一つの処理部（６０）に、当該処理部と結合された第一メモリ（７１）及び第二メモリ（７２）の両方に補正情報を格納し（Ｓ１０１）、第一メモリ及び第二メモリの一方に入力画像（Ｐｉ）を書き込み（Ｓ１０３，Ｓ１１０）、第一メモリ及び第二メモリの一方から書き込まれた入力画像を読み出しつつ、第一メモリ及び第二メモリの他方から補正情報を読み出し（Ｓ１０７，Ｓ１１４）、補正情報を用いて入力画像を補正する補正演算により、虚像表示のために投影される出力画像（Ｐｏ）を生成する（Ｓ１０８，Ｓ１１５）、ことを含む処理を実行させる表示制御プログラム。

これらの態様では、第一メモリ及び第二メモリのそれぞれに、補正演算に用いられる補正情報が記憶されている。故に、補正演算部又はプロセッサは、第一メモリ及び第二メモリの両方を活用し、入力画像の読み出しを実施しできるうえに、入力画像を読み出していない他方のメモリから補正情報を読み出すことができる。こうした読み出し処理の分散によれば、画像補正に関連したメモリへのアクセス遅延が、抑制可能になる。

加えて、開示された一つの態様は、車両（Ａ）において用いられ、車両の前景に重畳される虚像表示を制御する表示制御装置であって、虚像表示のために投影される出力画像（Ｐｏ）を、入力画像（Ｐｉ）の補正によって生成する補正演算部（６４）と、入力画像及び入力画像の補正演算に用いられる補正情報を、補正演算部によって読み出し可能に記憶するメモリ（２７０）と、を備え、補正情報は、出力画像における画素の位置を示した補正後座標と、補正後座標の画素に割り当てられる入力画像の画素の位置を示した補正前座標と、補正前座標から連続して読み出す画素の数を示したバースト長と、を含む表示制御装置とされる。

また開示された一つの態様は、車両（Ａ）において用いられ、車両の前景に重畳される虚像表示を制御する表示制御プログラムであって、少なくとも一つの処理部（６０）に、当該処理部と結合されたメモリ（２７０）に補正情報を格納し（Ｓ１０１）、メモリに書き込まれた入力画像（Ｐｉ）と、補正情報とを読み出し（Ｓ１０７，Ｓ１１４）、補正情報を用いて入力画像を補正する補正演算により、虚像表示のために投影される出力画像（Ｐｏ）を生成する（Ｓ１０８，Ｓ１１５）、ことを含む処理を実行させ、メモリには、出力画像における画素の位置を示した補正後座標と、補正後座標の画素に割り当てられる入力画像の画素の位置を示した補正前座標と、補正前座標から連続して読み出す画素の数を示したバースト長と、を含む補正情報が準備される表示制御プログラム。

これらの態様では、出力画像及び入力画像における画素位置の対応関係を規定する補正後座標及び補正前座標に加えて、補正前座標から連続して読み出す画素の数を示したバースト長が、補正情報に含まれている。こうしたデータ構成によれば、補正後座標及び補正前座標を、出力画像における各画素について個別に規定するよりも、補正情報のデータ量が少なくなる。以上のような補正情報の圧縮によれば、画像補正に関連したメモリへのアクセス遅延は、抑制され得る。

尚、上記括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。

本開示の第一実施形態による表示制御ＥＣＵを含む虚像表示システムの全体像を示すブロック図である。 入力画像を補正し、出力画像を生成する処理を詳細に説明するための図である。 両メモリに準備される歪み補正テーブルの詳細を示す図である。 処理部による各メモリへのアクセス処理の詳細を示すタイミングチャートである。 処理部にて実施される画像補正処理の詳細を示すフローチャートである。 本開示の第二実施形態による表示制御ＥＣＵを含む虚像表示システムの全体像を示すブロック図である。 第二実施形態での処理部によるメモリへのアクセス処理の詳細を示すタイミングチャートである。

以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。

（第一実施形態）
図１に示す本開示の第一実施形態による表示制御装置の機能は、表示制御ＥＣＵ（Electronic Control Unit）１００に実装されている。表示制御ＥＣＵ１００は、描画ＥＣＵ３０及びＨＵＤ４０等と共に、車両Ａにおいて用いられる虚像表示システム１０を構成している。虚像表示システム１０は、車両Ａの前景に重畳される虚像Ｖｉを用いた表示により、車両Ａに関連する種々の情報を運転者に提示する。表示制御ＥＣＵ１００は、上述の描画ＥＣＵ３０及びＨＵＤ４０と電気的に接続されている。

描画ＥＣＵ３０は、複数の車載表示器と直接的又は間接的に接続されており、各車載表示器の表示を統合的に制御する。描画ＥＣＵ３０は、各車載表示器の表示内容を決定し、各車載表示器へ向けて映像データを逐次出力する。描画ＥＣＵ３０は、車載ネットワークの通信バス等と電気接続されており、映像データの生成に必要なデータを、車載ネットワークから取得する。描画ＥＣＵ３０は、車載ネットワーク等から取得した情報を用いて、虚像表示のための映像データを生成し、表示制御ＥＣＵ１００へ向けて逐次出力する。

ＨＵＤ４０は、ウィンドシールドＷＳの下方にて、インスツルメントパネルに設けられた収容空間に収容される車載表示器である。ＨＵＤ４０は、ウィンドシールドＷＳに規定された投影領域ＰＡへの光の投影により、運転者から視認可能に虚像Ｖｉを表示する。詳記すると、ＨＵＤ４０からウィンドシールドＷＳの投影領域ＰＡへ向けて射出された虚像Ｖｉの光は、投影領域ＰＡによってアイポイント側へ向けて反射され、運転者によって知覚される。運転者は、投影領域ＰＡを通して見える前景に、虚像Ｖｉが重畳された表示を視認する。ＨＵＤ４０は、例えばアイポイントから車両Ａの前方向に１０～２０ｍ程度の空間中に虚像Ｖｉを結像させる。

ＨＵＤ４０によって表示される虚像Ｖｉには、ＡＲ（Augmented Reality）表示物が含まれている。ＡＲ表示物は、拡張現実表示に用いられる虚像Ｖｉである。ＡＲ表示物として表示される虚像Ｖｉの表示位置は、投影領域ＰＡを通して視認される前景中の特定物体、例えば、前走車、歩行者及び路面等の重畳対象に関連付けられている。ＡＲ表示物としての虚像Ｖｉは、こうした重畳対象に相対固定されているように、重畳対象を追って、運転者の見た目上で移動する。そのため、車両Ａの姿勢が変化した場合でも、虚像Ｖｉが重畳対象に重畳表示された状態は、維持される。一例として、走行すべき車線の範囲を示すバーチャルレーン表示等が、ＡＲ表示物として虚像表示される。尚、ＨＵＤ４０によって表示される虚像Ｖｉには、ＡＲ表示物だけでなく、非ＡＲ表示物が含まれていてもよい。非ＡＲ表示物は、特定の重畳対象には重畳されず、ウィンドシールドＷＳ等の車両構成に相対固定されているように表示される。

ＨＵＤ４０は、ＬＣＤ（Liquid Crystal Display）４１、バックライト４２及び反射光学系４３と、これらの光学要素を収容する筐体等によって構成されている。ＬＣＤ４１は、多数の画素が配列されてなる表示面を有している。ＬＣＤ４１は、各画素に設けられた赤色、緑色、及び青色等のサブ画素の光の透過率を増減させ、表示面に種々の画像をカラー表示する。ＬＣＤ４１の表示面には、出力映像データＶｄｏに基づく出力画像Ｐｏ（後述する）が連続的に表示される。バックライト４２は、ＬＣＤ４１を背面側から透過照明し、表示面に描画された出力画像Ｐｏを発光表示させる。反射光学系４３は、凸面鏡及び凹面鏡等の反射鏡を含む構成である。反射光学系４３は、ＬＣＤ４１から射出された出力画像Ｐｏの光を、反射によって広げつつ投影領域ＰＡに投影する。こうした投影により、出力画像Ｐｏを拡大させてなる虚像Ｖｉが表示される。尚、反射光学系４３には、例えば回折によって出力画像Ｐｏを拡大する回折光学素子（Diffractive Optical Element：ＤＯＥ）等が用いられてもよい。

表示制御ＥＣＵ１００は、描画ＥＣＵ３０及びＨＵＤ４０間にて映像データを中継し、ＨＵＤ４０による虚像Ｖｉの表示を制御する制御装置である。表示制御ＥＣＵ１００は、慣性センサ５１及び回路基板等によって構成されている。回路基板には、処理部６０、第一メモリ７１、第二メモリ７２、記憶部７４及び入出力インターフェース等が設けられている。回路基板に形成されたデータバス５０には、慣性センサ５１、第一メモリ７１、第二メモリ７２、記憶部７４及び処理部６０等が高速アクセス可能に接続されている。

慣性センサ５１は、車両Ａの姿勢変化を計測する計測部である。慣性センサ５１は、ジャイロセンサを主体に構成されており、車両Ａの姿勢変化のうちで、特にピッチ方向の角速度を計測する。慣性センサ５１は、例えば回路基板に固定されていてもよく、又は表示制御ＥＣＵ１００の金属筐体等に固定されていてもよい。慣性センサ５１には、ローパスフィルタ、ＡＤ変換部、及びハイパスフィルタ等が、ジャイロセンサの出力信号を処理する信号処理回路として設けられている。ローパスフィルタは、出力信号に含まれる高周波ノイズを除去する。ＡＤ変換部は、ローパスフィルタを通過したアナログ信号をデジタル信号に変換する。ハイパスフィルタは、出力信号に含まれるドリフト成分を除去する。慣性センサ５１は、信号処理回路を通過した出力信号を、車両Ａのピッチ方向の変位を示すピッチ計測情報として、データバス５０に逐次出力する。

第一メモリ７１及び第二メモリ７２は、例えばＤＤＲ（Dynamic Random Access Memory）２又はＤＤＲ３等の規格に準じたＳＤＲＡＭのメモリモジュールを主体に構成されている。第一メモリ７１及び第二メモリ７２は、互いに実質同一構成の揮発性メモリであり、容量及びアクセス速度等も実質同一となるように揃えられている。第一メモリ７１及び第二メモリ７２は、それぞれ個別にデータバス５０に接続されている。第一メモリ７１及び第二メモリ７２は、処理部６０と結合されて、処理部６０のワーキングメモリとして機能する。

第一メモリ７１及び第二メモリ７２は、互いに独立した状態で、処理部６０のワーキングメモリとして機能可能である。具体的には、第一メモリ７１及び第二メモリ７２は、物理的に独立したメモリ構成として、データバス５０に繋がる回路基板上のメモリスロットに組み付けられている。さらに、処理部６０は、第一メモリ７１へのアクセス期間中でも併行して第二メモリ７２にアクセス可能であり、同様に、第二メモリ７２へのアクセス期間中でも併行して第一メモリ７１にアクセス可能である。即ち、処理部６０は、第一メモリ７１及び第二メモリ７２のうちの一方のアクセスに制限されることなく、他方のメモリにもアクセス可能である。

記憶部７４は、ＲＯＭ又はフラッシュメモリ等の不揮発性の記憶媒体を主体に構成されている。記憶部７４は、データバス５０に接続されており、処理部６０に提供されるデータを保持している。記憶部７４には、処理部６０によって実行される種々のプログラムが格納されている。加えて記憶部７４には、虚像表示に必要とされる多数のパラメータが格納されている。こうしたパラメータの一つとして、後述する歪み補正テーブルＴＢｃが、記憶部７４には記憶されている。

処理部６０は、描画ＥＣＵ３０にて生成された映像データ（以下、「入力映像データＶｄｉ」）を加工し、ＨＵＤ４０へ向けて出力する出力映像データＶｄｏを生成する。処理部６０は、入力映像データＶｄｉの各フレームを構成する入力画像Ｐｉを補正し、出力映像データＶｄｏの各フレームとなる出力画像Ｐｏを描画する。

処理部６０は、第一メモリ７１及び第二メモリ７２へのアクセスを制御するメモリコントローラ等を含む構成である。処理部６０は、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）及び他の専用機能を備えたＩＰコア等を組み合わせた構成とされている。処理部６０には、信号生成部６１、データ書込部６３及び補正演算部６４等が設けられている。

信号生成部６１は、出力映像データＶｄｏの受信側となるＬＣＤ４１に、各フレーム画像の読み出しタイミングを伝える同期信号を生成する。信号生成部６１は、少なくとも垂直同期信号（Vertical Synchronizing signal，図４ ＶＳＹＮＣ参照）を生成する。垂直同期信号は、出力画像Ｐｏと共に外部のＨＵＤ４０へ向けて出力される。垂直同期信号に基づき、ＬＣＤ４１は、一つの出力画像Ｐｏから次の出力画像Ｐｏへと、画面の書き換えを開始する。垂直同期信号にて、一つのフレーム（出力画像Ｐｏ）に割り当てられたオン期間には、ブランキング期間Ｔｂと画面表示期間Ｔｄとが含まれている。ブランキング期間Ｔｂは、映像が表示されない期間であり、画面表示期間Ｔｄの前後に設定されている。一方、画面表示期間Ｔｄは、映像が表示される期間である。

データ書込部６３は、第一メモリ７１及び第二メモリ７２のそれぞれに、データを書き込む処理を実行する。データ書込部６３は、表示制御ＥＣＵ１００の起動直後、虚像Ｖｉの表示が開始される前に、記憶部７４に格納された補正情報としての歪み補正テーブルＴＢｃを読み出し、第一メモリ７１及び第二メモリ７２の両方に、歪み補正テーブルＴＢｃを書き込む。第一メモリ７１及び第二メモリ７２は、表示制御ＥＣＵ１００への給電が停止されるまで、歪み補正テーブルＴＢｃのデータを消去することなく保持し続ける。

データ書込部６３は、描画ＥＣＵ３０から表示制御ＥＣＵ１００への入力映像データＶｄｉの出力が開始されると、伝送される入力映像データＶｄｉを受信する。データ書込部６３は、取得した入力映像データＶｄｉにて連続する個々のフレーム画像を、入力画像Ｐｉとして第一メモリ７１及び第二メモリ７２に書き込む処理を実施する。データ書込部６３は、歪み補正テーブルＴＢｃの格納領域とは異なるアドレスに入力画像Ｐｉを書き込む。データ書込部６３は、第一メモリ７１及び第二メモリ７２に、入力画像Ｐｉを交互に書き込んでいく。例えばデータ書込部６３は、ｎ番目のフレームを第一メモリ７１に入力画像Ｐｉとして書き込んだ場合、ｎ＋１番目のフレームを第二メモリ７２に入力画像Ｐｉとして書き込む。以上のスイッチングにより、第一メモリ７１及び第二メモリ７２は、補正演算部６４によって読み出し可能に、異なる入力画像Ｐｉを記憶した状態となる。

補正演算部６４は、図１及び図２に示すように、入力画像Ｐｉの補正によって出力画像Ｐｏを生成する。補正演算部６４は、出力画像Ｐｏを生成に際して、第一メモリ７１及び第二メモリ７２の一方から入力画像Ｐｉを読み出しつつ、第一メモリ７１及び第二メモリ７２の他方から歪み補正テーブルＴＢｃを読み出す処理を実施する。補正演算部６４は、入力画像Ｐｉに対する補正として、ピッチ補正と歪み補正とを実施する。

ピッチ補正は、車両Ａの姿勢変化（ピッチング）に起因する重畳対象からの虚像Ｖｉの位置ずれを低減（相殺）させる補正である。ピッチ補正の対象は、車両Ａに生じるピッチ方向の振動のうちで、例えば０．５～２Ｈｚまでの周波数帯域の振動とされる。補正演算部６４は、入力画像Ｐｉの中で出力画像Ｐｏに使用する範囲（図２ 中間画像Ｐｍ）を、慣性センサ５１から取得するピッチ計測情報に基づき、決定する。具体的に、補正演算部６４は、ピッチ計測情報に基づき、車両Ａの姿勢変化のうちで、ピッチングに起因する姿勢補正量として、ピッチ補正量を算出する。ピッチ補正量は、ピッチ計測情報の示す車両ピッチ角が増えるほど、大きな値となる。補正演算部６４は、ピッチ補正量に基づき、入力画像Ｐｉのうちで出力画像Ｐｏに使用する中間画像Ｐｍの上下方向の位置を決定する。尚、中間画像Ｐｍのサイズ（例えば１２８０×４８０ピクセル）は、入力画像Ｐｉのサイズ（例えば１２８０×７２０ピクセル）よりも小さく、且つ、出力画像Ｐｏのサイズと同程度とされる。

歪み補正は、投影領域ＰＡ及び反射光学系４３での反射に起因する虚像Ｖｉの変形を考慮し、歪みを低減（相殺）させた状態で虚像Ｖｉが表示されるように、出力画像Ｐｏの形状を予め変形させておく補正である。歪み補正の補正演算には、補正情報としての歪み補正テーブルＴＢｃが用いられる。補正演算部６４は、中間画像Ｐｍ（入力画像Ｐｉ）における画素の二次元配列を、歪み補正テーブルＴＢｃに基づき並び替える処理により、中間画像Ｐｍを変形させてなる出力画像Ｐｏを生成する。

尚、実際の処理では、中間画像Ｐｍの生成は、省略される。即ち、補正演算部６４は、中間画像Ｐｍに相当する入力画像Ｐｉの範囲の画素を直接的に並び替えて、出力画像Ｐｏを直接的に生成できる。

以上の歪み補正にて使用される歪み補正テーブルＴＢｃは、図３に示すように、ＬＣＤ座標、元画像座標、及びバースト長を含む一組のデータセットを多数連続させてなるファイル構成である。ＬＣＤ座標は、補正後座標に相当し、出力画像Ｐｏにおける画素の位置を示す情報である。ＬＣＤ座標は、ＬＣＤ４１の画面上におけるＸ座標及びＹ座標を示す値である。元画像座標は、補正前座標に相当し、対応するデータセットのＬＣＤ座標の画素に割り当てられる入力画像Ｐｉの画素の位置を、Ｘ座標及びＹ座標によって示している。バースト長は、元画像座標から連続して読み出す画素の数を示している。

歪み補正テーブルＴＢｃの一組のデータセットにおける数値の並びは、＜ＬＣＤのＸ座標＞，＜ＬＣＤのＹ座標＞，＜元画像のＸ座標＞，＜元画像のＹ座標＞，＜バースト長＞の順とされている。最初（一行目）の数値群は、出力画像Ｐｏの最初の５１ピクセルは、（－１，－１）の無効ピクセル（黒背景）であることを示している。二つ目（二行目）の数値群は、出力画像Ｐｏの５１ピクセル目には、入力画像Ｐｉの（０，５０）の画素情報（階調値）を割り当てることを示している。三つ目（三行目）の数値群は、出力画像Ｐｏの５２ピクセル目には、入力画像Ｐｉの（０，４９）から５ピクセル分の画素情報を連続して割り当てることを示している。

尚、入力画像Ｐｉ及び出力画像Ｐｏにおける画素の並びは、一例として、左上が１ピクセル目の座標（０，０）とされており、右方向に行くに従い２ピクセル目、３ピクセル目・・・ｎピクセル目となる。そして、一つ下の行の左端の画素が、ｎ＋１ピクセル目となる。

次に、処理部６０によって実施される画像補正処理の詳細を、図４及び図５に基づき、図１及び図２を参照しつつ、時系列に沿って説明する。こうした画像補正処理は、表示制御ＥＣＵ１００への電力供給の開始に基づき開始され、表示制御ＥＣＵ１００が停止されるまで継続される。

表示制御ＥＣＵ１００の起動直後では、初期処理の一つとして、処理部６０は、記憶部７４から歪み補正テーブルＴＢｃを読み出し、第一メモリ７１及び第二メモリ７２の両方に、歪み補正テーブルＴＢｃを格納する処理を実施する（Ｓ１０１）。初期処理の終了後、処理部６０は、垂直同期信号のオンタイミングとなる時刻ｔ１を待機した状態となる（Ｓ１０２）。

時刻ｔ１～ｔ４は、ｎフレーム目の出力画像Ｐｏが虚像表示される期間である。時刻ｔ１にて、データ書込部６３は、第一メモリ７１への入力画像Ｐｉの書き込みを開始する（Ｓ１０３）。この時刻ｔ１からの期間では、描画ＥＣＵ３０より取得する入力映像データＶｄｉの現在フレームが、ｎ＋１フレーム目の入力画像Ｐｉとして、第一メモリ７１に書き込まれる。こうした画像の書き込みは、シーケンシャルであるため、画像の読み出しと比べて高速に処理され得る。

次に処理部６０は、ピッチ補正量の決定タイミングを待機し（Ｓ１０４）、ピッチ補正量を決定する演算を実施する（Ｓ１０５）。ピッチ補正量の決定タイミングは、画面表示期間Ｔｄの前側（直前）に設定されたブランキング期間Ｔｂの後半、且つ最後に設定されており、具体的には、ブランキング期間Ｔｂから画面表示期間Ｔｄに切り替わる時刻ｔ２の直前（所定時間前）とされている。補正演算部６４は、画面表示期間Ｔｄへの切り替わり時刻ｔ２直前にて慣性センサ５１により計測されたピッチ計測情報を用いて、ピッチ補正量を決定する。

時刻ｔ２となると（Ｓ１０６）、補正演算部６４は、第二メモリ７２に記憶されているｎフレーム目の入力画像Ｐｉの読み出しを開始する。こうした処理に併行して、補正演算部６４は、第一メモリ７１からの歪み補正テーブルＴＢｃの読み出しを開始する（Ｓ１０７）。歪み補正テーブルＴＢｃは、入力画像Ｐｉの書き込み処理中である第一メモリ７１から読み出される。

そして補正演算部６４は、直前に決定したピッチ補正量と、歪み補正テーブルＴＢｃとに従い、読み出した入力画像Ｐｉを逐次補正し、出力画像ＰｏとしてＨＵＤ４０に出力する（Ｓ１０８）。以上により、時刻ｔ２から時刻ｔ３の画面表示期間Ｔｄにて、ＬＣＤ４１の画面には、ｎフレーム目の出力画像Ｐｏが描画される。尚、表示制御ＥＣＵ１００の起動直後にて、入力画像Ｐｉが第二メモリ７２に記憶されていない場合には、出力画像Ｐｏの生成及び出力は、スキップされる。

次の時刻ｔ４～ｔ７は、ｎ＋１フレーム目の出力画像Ｐｏが虚像表示される期間となる。垂直同期信号のオンタイミングとなる時刻ｔ４にて、データ書込部６３は、第二メモリ７２への入力画像Ｐｉの書き込みを開始する（Ｓ１０９，Ｓ１１０）。時刻ｔ４からの期間では、描画ＥＣＵ３０より取得する入力映像データＶｄｉの現在フレームが、ｎ＋２フレーム目の入力画像Ｐｉとして、第二メモリ７２に書き込まれる。その結果、第二メモリ７２に記憶されていたｎフレーム目の入力画像Ｐｉのデータは、ｎ＋２フレーム目の入力画像Ｐｉのデータによって上書きされる。

ピッチ補正量の決定タイミングとなる時刻ｔ５となると、補正演算部６４は、Ｓ１０５と同様に、最新のピッチ計測情報を用いてピッチ補正量を決定する（Ｓ１１１，Ｓ１１２）。そして、ブランキング期間Ｔｂから画面表示期間Ｔｄに切り替わる時刻ｔ５にて、補正演算部６４は、第一メモリ７１に記憶されているｎ＋１フレーム目の入力画像Ｐｉの読み出しを開始する（Ｓ１１３，Ｓ１１４）。さらに、補正演算部６４は、入力画像Ｐｉの読み出し開始と併行して、第二メモリ７２からの歪み補正テーブルＴＢｃの読み出しを開始する。この場合も、歪み補正テーブルＴＢｃは、入力画像Ｐｉの書き込み処理中である第二メモリ７２から読み出される。

そして補正演算部６４は、Ｓ１０８と同様に、直前に決定したピッチ補正量と、歪み補正テーブルＴＢｃとに従い、読み出した入力画像Ｐｉを逐次補正し、出力画像ＰｏとしてＨＵＤ４０に出力する（Ｓ１１５）。以上により、時刻ｔ５から時刻ｔ６の画面表示期間Ｔｄにて、ＬＣＤ４１の画面には、ｎ＋１フレーム目の出力画像Ｐｏが描画される。時刻ｔ１～ｔ７の処理であって、Ｓ１０２～Ｓ１１５の処理の繰り返しにより、出力映像データＶｄｏに基づく虚像Ｖｉが表示される。

ここまで説明した第一実施形態では、第一メモリ７１及び第二メモリ７２のそれぞれに、歪み補正テーブルＴＢｃが記憶されている。故に、補正演算部６４は、第一メモリ７１及び第二メモリ７２の両方を活用し、入力画像Ｐｉの読み出しを実施しできるうえに、入力画像Ｐｉを読み出していない他方のメモリから歪み補正テーブルＴＢｃを読み出すことができる。こうした読み出し処理の分散によれば、画像補正に関連したメモリへのアクセス遅延が、抑制可能になる。その結果、高性能なメモリ採用に起因するコストの上昇を抑えつつ、映像データのスループット及びレイテンシの良好な表示制御ＥＣＵ１００が提供できる。

加えて第一実施形態では、歪み補正テーブルＴＢｃが補正情報として用いられている。歪み補正テーブルＴＢｃは、出力画像Ｐｏ及び入力画像Ｐｉにおける画素位置の対応関係を規定するＬＣＤ座標及び元画像座標に加えて、元画像座標から連続して読み出す画素の数をバースト長によって規定している。こうした歪み補正テーブルＴＢｃのデータ構成によれば、出力画像Ｐｏにおける各画素について、ＬＣＤ座標及び元画像座標の対応関係を個別に規定するよりも、補正情報のデータ量は、少なくなる。さらに、入力画像Ｐｉの読み出しに際して、画素情報のバースト転送が実施され得る。以上のことから、バースト長を規定する歪み補正テーブルＴＢｃの採用によっても、画像補正に関連したメモリへのアクセス遅延は、抑制可能となる。

また第一実施形態の補正演算部６４は、第一メモリ７１及び第二メモリ７２のうちで、入力画像Ｐｉが書き込まれている一方のメモリから、歪み補正テーブルＴＢｃを読み出す。換言すれば、歪み補正テーブルＴＢｃは、入力画像Ｐｉの読み出し中ではないメモリから、読み出される。以上のように、各メモリ７１，７２へのアクセス処理のうちで、入力画像Ｐｉを読み出す処理が、最も重い処理となる。そのため、歪み補正テーブルＴＢｃの読み出しは、入力画像Ｐｉを読み出しているメモリではなく、入力画像Ｐｉを書き込んでいるメモリから行うのが、遅延抑制に有効となる。

さらに第一実施形態の補正演算部６４は、車両Ａのピッチングに起因するピッチ補正量を、垂直同期信号に設けられた前側のブランキング期間Ｔｂの後半（最後）において決定する。こうした決定タイミングの設定によれば、ピッチ補正量は、最新の車両姿勢を反映した値になり得る。以上によれば、メモリアクセスの遅延抑制効果と相俟って、出力画像Ｐｏに基づく虚像Ｖｉは、車両姿勢が変化しても、重畳対象に精度良く追従可能となる。

尚、第一実施形態では、入力映像データＶｄｉが「映像データ」に相当し、データ書込部６３が「画像書込部」に相当し、表示制御ＥＣＵ１００が「表示制御装置」に相当する。

（第二実施形態）
図６及び図７に示す第二実施形態は、第一実施形態の変形例である。第二実施形態の虚像表示システム２１０に採用される表示制御ＥＣＵ２００は、第一実施形態の二つのメモリ７１，７２（図１参照）に相当する構成として、一つのメモリ２７０を備えている。メモリ２７０には、第一実施形態と実質同一の歪み補正テーブルＴＢｃが格納されている。加えてメモリ２７０には、少なくとも二フレーム分の入力画像Ｐｉを一時記憶可能な記憶領域が確保されている。第二実施形態では、データ書込部６３によるメモリ２７０への書き込みアクセス、及び補正演算部６４によるメモリ２７０からの読み出しアクセスの各詳細が、第一実施形態とは異なっている。

データ書込部６３は、表示制御ＥＣＵ２００の起動直後、記憶部７４に格納された歪み補正テーブルＴＢｃを読み出し、メモリ２７０への書き込みを行う。加えてデータ書込部６３は、描画ＥＣＵ３０による入力映像データＶｄｉの出力が開始されると、入力映像データＶｄｉの各フレーム画像を、入力画像Ｐｉとしてメモリ２７０に書き込む処理を実施する。補正演算部６４は、垂直同意信号のオンタイミング（時刻ｔ１）にて、メモリ２７０への入力画像Ｐｉの書き込みを開始する。補正演算部６４は、メモリ２７０に確保された二つの記憶領域に、交互に入力画像Ｐｉを書き込んでいく。

補正演算部６４は、第一実施形態と同様に、歪み補正テーブルＴＢｃを用いた入力画像Ｐｉの歪み補正を実施する。補正演算部６４は、ブランキング期間Ｔｂから画面表示期間Ｔｄに切り替わるタイミング（時刻ｔ２）にて、メモリ２７０に書き込まれた入力画像Ｐｉの読み出しと、メモリ２７０に準備された歪み補正テーブルＴＢｃの読み出しとを、実質同時に開始する。補正演算部６４は、一つのメモリ２７０からの入力画像Ｐｉ及び歪み補正テーブルＴＢｃの読み出しを、併行実施する。そして、逐次読み出す歪み補正テーブルＴＢｃのＬＣＤ座標、元画像座標及びバースト長の各値に基づき、入力画像Ｐｉを補正してなる出力画像Ｐｏを生成し、ＨＵＤ４０に逐次出力する。

ここまで説明した第二実施形態のように、一つのメモリ２７０を採用した表示制御ＥＣＵ２００であっても、歪み補正テーブルＴＢｃを補正情報として採用すれば、入力画像Ｐｉと併行してメモリ２７０から読み出す必要のあるデータ量が、削減され得る。以上によれば、第一実施形態と同様の効果を奏し、画像補正に関連したメモリへのアクセス遅延は、抑制可能となる。尚、第二実施形態では、表示制御ＥＣＵ２００が「表示制御装置」に相当する。

（他の実施形態）
以上、本開示の複数の実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

上記第一実施形態の変形例１にて、補正演算部は、歪み補正テーブルＴＢｃ（図３参照）に替えて、補正関数を補正情報として歪み補正に用いる。変形例１では、第一メモリ及び第二メモリの両方に、補正関数が準備される。補正関数は、投影領域及び光学反射系の湾曲形状を考慮した多項式又は単項式として、予め規定されている。補正関数では、ＬＣＤ座標（Ｘ，Ｙ）が入力パラメータとされ、元画像座標（Ｘ，Ｙ）が出力パラメータとされている。補正演算部は、ＬＣＤ座標（Ｘ，Ｙ）を補正関数に順に代入する処理により、各ＬＣＤ座標に割り当てられる元画像座標（Ｘ，Ｙ）を特定する。

また変形例２では、補正関数の入力パラメータに、視認者（運転者）のアイポイントの座標情報がさらに含まれている。表示制御ＥＣＵは、例えばドライバステータスモニタ等の検出情報を用いて、アイポイントの現在位置を特定する。補正演算部は、特定されたアイポイントの座標データを補正関数に適用し、現在のアイポイントに対応する補正関数を準備する。そして補正演算部は、アイポイント情報を適用された補正関数に、ＬＣＤ座標（Ｘ，Ｙ）を順に代入する処理により、各ＬＣＤ座標に割り当てられる元画像座標（Ｘ，Ｙ）を特定する。

以上のような、変形例１，２では、各メモリの物理的なアクセス速度を引き上げなくても、入力画像及び補正情報の読み出しに要する時間が短縮され得る。その結果、上記実施形態と同様に、画像補正に関連したメモリアクセスの遅延抑制効果が発揮可能となる。

上記第一実施形態の変形例３にて、両メモリに準備される歪み補正テーブルは、バースト長を含まないデータ構成とされている。変形例３の歪み補正テーブルでは、出力画像における各画素について、ＬＣＤ座標及び元画像座標の対応関係が、個別に規定されている。

上記実施形態における表示制御ＥＣＵは、他の車載構成と一体的な構成であってもよい。具体的に、上記実施形態の変形例４では、表示制御ＥＣＵは、ＨＵＤと一体的に構成されている。即ち、変形例４では、入力映像データを補正する機能が、ＨＵＤに実装されている。また上記実施形態の変形例５では、表示制御ＥＣＵは、描画ＥＣＵと一体的に構成されている。即ち、変形例５の描画ＥＣＵは、慣性センサにて計測された姿勢情報を用いて補正を行い、補正済みとされた出力映像データを、ＨＵＤへ向けて出力する。さらに上記実施形態の変形例６では、描画ＥＣＵ、表示制御ＥＣＵ及びＨＵＤの全機能が、一つの虚像表示ユニットに集約されている。

上記第一実施形態の変形例７における補正演算部は、二つのメモリのうちで、入力画像を読み出し中の一方から、補正情報を読み出す。上記実施形態の変形例８では、ピッチ補正量の決定タイミングが、垂直同期信号における前側のブランキング期間の前半に設定されている。

表示制御ＥＣＵにて補正された出力映像データの各出力画像を、虚像として空中表示させるＨＵＤの具体的な投影構成は、適宜変更されてよい。例えば変形例９のＨＵＤには、ＬＣＤ及びバックライトに替えて、ＥＬ（Electro Luminescence）パネルが設けられている。さらに、ＥＬパネルに替えて、プラズマディスプレイパネル、ブラウン管及びＬＥＤ等の表示器を用いたプロジェクタがＨＵＤには採用可能である。

また変形例１０のＨＵＤには、ＬＣＤ及びバックライトに替えて、レーザモジュール（以下「ＬＳＭ」）及びスクリーンが設けられている。ＬＳＭは、例えばレーザ光源及びＭＥＭＳ（Micro Electro Mechanical Systems）スキャナ等を含む構成である。スクリーンは、例えばマイクロミラーアレイ又はマイクロレンズアレイである。変形例１０のＨＵＤでは、ＬＳＭから照射されるレーザ光の走査により、スクリーンに出力画像が描画される。ＨＵＤは、スクリーンに投影された出力画像を反射光学系によって投影領域に投影し、虚像を空中表示させる。

また変形例１１のＨＵＤには、ＤＬＰ（Digital Light Processing，登録商標）プロジェクタが設けられている。ＤＬＰプロジェクタは、多数のマイクロミラーが設けられたデジタルミラーデバイス（以下、「ＤＭＤ」）と、ＤＭＤに向けて光を投射する投射光源とを有している。ＤＬＰプロジェクタは、ＤＭＤ及び投射光源を連携させた制御により、出力画像をスクリーンに描画する。さらに、変形例１２のＨＵＤでは、ＬＣＯＳ（Liquid Crystal On Silicon）を用いたプロジェクタが採用されている。

上記実施形態の変形例１３では、出力画像の光が、ウィンドシールドとは別の車載構成に投影される。具体的に、変形例１３では、ウィンドシールドとは別体で設けられた投影部材（例えばコンバイナ等）に、出力画像の光が投影される。

上記第一実施形態の変形例１４では、第一メモリとして用いられるメモリモジュールが、第二メモリとして用いられるメモリモジュールと物理的に異なっている。こうした変形例１４のように、各メモリとして採用されるメモリモジュールは、容量及び読み書きのアクセス速度等の仕様が互いに異なっていてもよい。

上記第一実施形態の変形例１５では、第一メモリ及び第二メモリが一つのメモリモジュールに統合されている。第一メモリ及び第二メモリは、共通のメモリスロットを介してデータバスに接続されている。変形例１５では、データバスへの接続経路が見た目上で別れていなくても、処理部は、二つのメモリへのアクセスを独立的に実施可能である。即ち、処理部は、一方のメモリへのアクセスに速度的な影響を受けることなく、他方のメモリにアクセス可能である。以上のように、第一メモリ及び第二メモリは、物理的に独立した構成でなくてもよい。

上記実施形態にて、表示制御ＥＣＵでのピッチ補正の対象とされる周波数帯域は、例えば悪路走行中、ブレーキ操作を複数回入力した場合、車両を急発進又は急減速させる場合等の走行シーンにて生じる振動を含む帯域であった。補正演算部によるピッチ補正のように、出力画像中の描画物をシフトさせる電子的な補正では、姿勢計測から虚像表示までのタイムラグが短縮され得る。一方で、相殺可能な補正量は、確保され難い。故に、ピッチ補正の対象となる周波数帯域は、上記のような走行シーンを想定した範囲とされるのがよい。

但し、表示制御ＥＣＵでの補正対象とされる周波数帯域は、適宜変更されてもよい。さらに、表示制御ＥＣＵの補正対象とされる周波数帯域よりも低い周波数帯域については、描画ＥＣＵでの入力画像の生成時に補正されるのが望ましい。

入力画像Ｐｉ、中間画像Ｐｍ及び出力画像Ｐｏの各画像サイズ（解像度）は、適宜変更されてよい。入力映像データ及び出力映像データのデータ量（ｂｐｓ）は、各画像の縦解像度、横解像度、ＲＧＢの数、階調、フレームレート等の積になる。故に、第一メモリ及び第二メモリ等のアクセス速度を考慮のうえ、画像補正の遅延が拡大しないように、各解像度、階調及びフレームレート等は、決定されることが望ましい。各解像度、階調、フレームレート等を小さくし、データ量を減少させることで、安価なメモリを用いても、システムを成立させることが可能になる。また補正演算部は、各メモリへのアクセス状態を監視し、読み出し速度が不足しそうな場合に、解像度、階調及びフレームレート等を下げる調整を行ってもよい。

上記実施形態の変形例１６の慣性センサは、ジャイロセンサ及び加速度センサを組み合わせた構成である。この慣性センサは、ヨー方向、ピッチ方向、ロール方向の各角速度を検出する３軸のジャイロセンサと、車両の前後方向、上下方向、左右方向の各加速度を検出する３軸の加速度センサとを備えた６軸のモーションセンサである。さらに、変形例１７の慣性センサは、加速度センサのみを備え、ジャイロセンサを備えない。以上の変形例１６，１７のように、慣性センサの構成は、適宜変更されてよい。さらに、慣性センサの計測対象とされる姿勢変化も、ピッチングに限定されず、ロールやヒーブ等を含んでいてもよい。

さらに、変形例１８の慣性センサは、表示制御ＥＣＵに内蔵された構成ではない。変形例１８の慣性センサは、表示制御ＥＣＵの外部に設けられており、電気配線等を通じて、表示制御ＥＣＵの回路基板と接続されており、車両の姿勢変化を計測した計測情報をデータバスに逐次提供可能である。

表示制御ＥＣＵにおける処理部の具体的な構成は、適宜変更可能である。処理部は、ＣＰＵ等に加えて、ＧＰＵ（Graphics Processing Unit）等の演算コアを含んでいてもよい。さらに処理部は、ＣＰＵ及びＦＰＧ等を含んでなるＳｏＣ（System-on-a-Chip）の形態であってもよく、物理的に独立した複数の演算コアを回路基板に個別実装してなる形態であってもよい。

処理部を各機能部として機能させるプログラム（表示制御プログラム）は、ＣＰＵ又はＧＰＵ等に処理内容を指示する通常のソフトウェアであってもよく、又はＦＰＧＡを任意のハードウェア論理回路として機能させるハードウェアプログラムであってもよい。

表示制御ＥＣＵの記憶部には、フラッシュメモリ及びハードディスク等の種々の非遷移的実体的記憶媒体（non-transitory tangible storage medium）が採用可能である。加えて、虚像表示に関連するプログラム及びパラメータを記憶する記憶媒体は、回路基板上に実装された記憶媒体に限定されず、例えばメモリカード等の形態であり、カードスロット部に挿入されて、データバスに電気的に接続される構成であってよい。さらに、記憶媒体は、表示制御ＥＣＵの記憶装置へのコピー元となる光学ディスク及び汎用コンピュータのハードディスクドライブ等であってもよい。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

Ａ 車両、Ｐｉ 入力画像、Ｐｏ 出力画像、Ｔｂ ブランキング期間、Ｔｄ 画面表示期間Ｔｄ、Ｖｄｉ 入力映像データ（映像データ）、６０ 処理部、６１ 信号生成部、６３ データ書込部（画像書込部）、６４ 補正演算部、７１ 第一メモリ、７２ 第二メモリ、２７０ メモリ、１００，２００ 表示制御ＥＣＵ（表示制御装置）

Claims (8)

1. 車両（Ａ）において用いられ、前記車両の前景に重畳される虚像表示を制御する表示制御装置であって、
   前記虚像表示のために投影される出力画像（Ｐｏ）を、入力画像（Ｐｉ）の補正によって生成する補正演算部（６４）と、
   前記補正演算部によって読み出し可能に前記入力画像を記憶する第一メモリ（７１）及び第二メモリ（７２）と、を備え、
   前記第一メモリ及び前記第二メモリの両方は、前記入力画像を補正する補正演算に用いられる補正情報を、前記補正演算部によって読み出し可能に記憶しており、
   前記補正演算部は、前記第一メモリ及び前記第二メモリの一方から前記入力画像を読み出しつつ、前記第一メモリ及び前記第二メモリの他方から前記補正情報を読み出す表示制御装置。
2. 前記第一メモリ及び前記第二メモリの両方には、
   前記出力画像における画素の位置を示した補正後座標と、
   前記補正後座標の画素に割り当てられる前記入力画像の画素の位置を示した補正前座標と、
   前記補正前座標から連続して読み出す画素の数を示したバースト長と、を含む前記補正情報が記憶されている請求項１に記載の表示制御装置。
3. 前記第一メモリ及び前記第二メモリの両方には、前記出力画像及び前記入力画像における画素の位置の対応関係を規定する補正関数が、前記補正情報として記憶されている請求項１に記載の表示制御装置。
4. 複数の前記入力画像を連続させてなる映像データ（Ｖｄｉ）を取得し、当該映像データの各フレームとなる各前記入力画像を、前記第一メモリ及び前記第二メモリに交互に書き込む画像書込部（６３）、をさらに備え、
   前記補正演算部は、前記第一メモリ及び前記第二メモリのうちで、前記画像書込部によって前記入力画像が書き込まれている一方から、前記補正情報を読み出す請求項１～３のいずれか一項に記載の表示制御装置。
5. 車両（Ａ）において用いられ、前記車両の前景に重畳される虚像表示を制御する表示制御装置であって、
   前記虚像表示のために投影される出力画像（Ｐｏ）を、入力画像（Ｐｉ）の補正によって生成する補正演算部（６４）と、
   前記入力画像及び前記入力画像の補正演算に用いられる補正情報を、前記補正演算部によって読み出し可能に記憶するメモリ（２７０）と、を備え、
   前記補正情報は、
   前記出力画像における画素の位置を示した補正後座標と、
   前記補正後座標の画素に割り当てられる前記入力画像の画素の位置を示した補正前座標と、
   前記補正前座標から連続して読み出す画素の数を示したバースト長と、を含む表示制御装置。
6. 前記出力画像と共に外部へ出力される垂直同期信号を生成する信号生成部（６１）、をさらに備え、
   前記補正演算部は、前記車両の姿勢変化に起因する姿勢補正量を、前記垂直同期信号にて画面表示期間（Ｔｄ）の前側に設定されるブランキング期間（Ｔｂ）の後半において決定する請求項１～５のいずれか一項に記載の表示制御装置。
7. 車両（Ａ）において用いられ、前記車両の前景に重畳される虚像表示を制御する表示制御プログラムであって、
   少なくとも一つの処理部（６０）に、
   当該処理部と結合された第一メモリ（７１）及び第二メモリ（７２）の両方に補正情報を格納し（Ｓ１０１）、
   前記第一メモリ及び前記第二メモリの一方に入力画像（Ｐｉ）を書き込み（Ｓ１０３，Ｓ１１０）、
   前記第一メモリ及び前記第二メモリの一方から書き込まれた前記入力画像を読み出しつつ、前記第一メモリ及び前記第二メモリの他方から前記補正情報を読み出し（Ｓ１０７，Ｓ１１４）、
   前記補正情報を用いて前記入力画像を補正する補正演算により、前記虚像表示のために投影される出力画像（Ｐｏ）を生成する（Ｓ１０８，Ｓ１１５）、ことを含む処理を実行させる表示制御プログラム。
8. 車両（Ａ）において用いられ、前記車両の前景に重畳される虚像表示を制御する表示制御プログラムであって、
   少なくとも一つの処理部（６０）に、
   当該処理部と結合されたメモリ（２７０）に補正情報を格納し（Ｓ１０１）、
   前記メモリに書き込まれた入力画像（Ｐｉ）と、前記補正情報とを読み出し（Ｓ１０７，Ｓ１１４）、
   前記補正情報を用いて前記入力画像を補正する補正演算により、前記虚像表示のために投影される出力画像（Ｐｏ）を生成する（Ｓ１０８，Ｓ１１５）、ことを含む処理を実行させ、
   前記メモリには、
   前記出力画像における画素の位置を示した補正後座標と、
   前記補正後座標の画素に割り当てられる前記入力画像の画素の位置を示した補正前座標と、
   前記補正前座標から連続して読み出す画素の数を示したバースト長と、を含む前記補正情報が準備される表示制御プログラム。

Images