JP2021072455A - 投影システム - Google Patents

Abstract

【課題】虚像の位置ずれを精度良く抑制する投影システムを提供する。【解決手段】投影システム（１００）は、車両のフロントガラスの前方に虚像を表示する。投影システム（１００）は、虚像を表す光をフロントガラスに投影する投影装置（１０）と、車両の位置および車外の情報の少なくとも一つを取得する情報取得装置（２０）と、情報取得装置が取得した情報に基づいて虚像の表示を制御する表示処理装置（３０）と、車両の姿勢変動を検出する検出装置（４０）と、車両の姿勢変動に基づいて虚像の表示位置の補正量を設定する補正処理装置（５０）と、を備え、虚像を基準位置と補正量とに基づいて表示し、虚像の表示の制御中に所定条件に基づいて虚像の表示位置を基準位置に戻す。【選択図】図２

Description

本開示は、車両のフロントガラスの前方に虚像を表示する投影システムに関する。

特許文献１は、ヘッドアップディスプレイ（ＨＵＤ）装置を用いて、拡張現実（ＡＲ）表示を行う車両情報投影システムを開示している。ＨＵＤ装置は、車両のフロントガラスに虚像を表す光を投影することで、車両の乗員である視認者に、車両の外界の実景とともに虚像を視認させている。例えば、車両の案内経路を表す虚像を実景内の表示対象（例えば、道路）に対応付けて表示する。これにより、乗員は、実景を視認しながら案内経路を確認することができる。特許文献１の車両情報投影システムは、車速センサを備え、加速度に応じて虚像の表示位置を補正している。これにより、車両の急減速及び急加速時に、虚像の位置ずれが生じることを抑制している。

特開２０１５−１０１３１１号公報

本開示は、虚像の位置ずれを精度良く抑制する投影システムを提供する。

本開示の投影システムは、車両のフロントガラスの前方に虚像を表示する投影システムであって、虚像を表す光をフロントガラスに投影する投影装置と、車両の位置および車外の情報の少なくとも一つを取得する情報取得装置と、情報取得装置が取得した情報に基づいて、虚像の表示を制御する表示処理装置と、車両の姿勢変動を検出する検出装置と、車両の姿勢変動に基づいて虚像の表示位置の補正量を設定する補正処理装置と、を備え、虚像を基準位置と補正量とに基づいて表示し、虚像の表示の制御中に所定条件に基づいて虚像の表示位置を基準位置に戻す。

これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。

本開示の投影システムによれば、検出装置が検出した車両の姿勢変動に関する変動量が閾値より大きいときに虚像の表示位置を基準位置に戻す。これにより、虚像の位置ずれを精度良く補正することができる。具体的には、車両姿勢の検出誤差を抑制でき、精度の良い車両姿勢の検出が可能になる。

ヘッドアップディスプレイ（ＨＵＤ）を説明するための図 第１、第２、第３実施形態における投影システムの構成を示すブロック図 車両が傾いていないときの例を示す図 フロントガラスから見える実景の例を示す図 虚像が基準位置に表示される例を示す図 拡張現実（ＡＲ）表示の一例を示す図 車両の前傾姿勢を示す図 車両が前傾姿勢のときに虚像の位置ずれが生じる例を説明するための図 補正後の虚像の表示例を示す図 センサのノイズによる虚像の位置ずれを説明するための図 第１実施形態における表示処理を示すフローチャート 第１実施形態における補正処理を示すフローチャート 第２実施形態における表示処理を示すフローチャート 第２実施形態における補正処理を示すフローチャート 第３実施形態における補正処理を示すフローチャート 第４実施形態における補正処理を示すフローチャート

（本開示の基礎となった知見）
センサの出力に基づいて検出した車両の状態（例えば、姿勢）に応じて虚像の表示位置を補正する場合、センサのノイズに起因した補正誤差が発生する。よって、常時もしくは長時間、センサの出力に基づいた補正をしていると、補正誤差が累積されて、虚像の表示位置が、実景内の所定の表示対象（例えば、道路）に対して大きくずれる場合がある。

例えば、路面の凹凸などの形状による車両の振動を高精度に検出するために、ジャイロセンサを使用することが考えられる。車両の３軸方向の角度（ロール角、ピッチ角、及びヨー角）は、ジャイロセンサによって検出される角速度を積分演算することによって得られる。しかし、ジャイロセンサは、デバイスの特性により、静止状態でも出力の角速度がゼロにならない。所謂、ドリフトが発生する。よって、角速度の積分演算において、ドリフトによる誤差が累積され、得られる角度に誤差が生じる。この場合、ジャイロセンサの出力に基づいて、虚像の表示位置を補正し続けると、補正誤差が大きくなる。よって、視認者は、虚像の表示に対して違和感を覚える。

本開示の投影システムは、ジャイロセンサなどの検出装置が検出した車両の姿勢変動に関する変動量が閾値より大きいときに、虚像の表示位置を基準位置に戻す。これにより、車両の姿勢変動を検出するセンサのノイズに起因した補正誤差を低減する。例えば、ジャイロセンサのドリフトに起因した補正誤差を低減する。

（第１実施形態）
以下、第１実施形態について、図面を参照しながら説明する。

１． 投影システムの構成
図１は、ヘッドアップディスプレイ（ＨＵＤ）を説明するための図である。図１において、車両２００のロール軸をＸ軸とし、車両２００のピッチ軸をＹ軸とし、車両２００のヨー軸をＺ軸としている。すなわち、Ｘ軸は、Ｙ軸及びＺ軸と直交し、虚像Ｉｖを視認する乗員Ｄの視線方向に沿った軸である。Ｙ軸は、虚像Ｉｖを視認する乗員Ｄから見て左右方向に沿った軸である。Ｚ軸は、車両２００の高さ方向に沿った軸である。

本実施形態の投影システム１００は、車両２００のフロントガラス２１０の前方の実景に虚像Ｉｖを重畳する、所謂、拡張現実（ＡＲ）表示を行うＨＵＤシステムである。虚像Ｉｖは、所定の情報を示す。例えば、虚像Ｉｖは、目的地へ案内するための経路、目的地への到達予想時刻、進行方向、速度、種々の警告などを示す図形及び文字である。投影システム１００は、車両２００に設置され、虚像Ｉｖを表す表示光Ｌｃを車両２００のフロントガラス２１０の表示領域２２０内に投影する。本実施形態において、表示領域２２０は、フロントガラス２１０の一部の領域である。なお、表示領域２２０は、フロントガラス２１０の全領域であってもよい。表示光Ｌｃは、フロントガラス２１０によって、車内の方向に反射される。これにより、車両２００内の乗員（視認者）Ｄは、反射された表示光Ｌｃを、車両２００の前方にある虚像Ｉｖとして視認する。

投影システム１００は、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、及び補正処理装置５０を含む。

投影装置１０は、虚像Ｉｖを表す表示光Ｌｃを表示領域２２０内に投影する。投影装置１０は、例えば、虚像Ｉｖの画像を表示する液晶表示素子、液晶表示素子を照明するＬＥＤなどの光源、液晶表示素子が表示する画像の表示光Ｌｃを表示領域２２０に反射するミラー及びレンズなどを含む。投影装置１０は、例えば、車両２００のダッシュボード内に設置される。

情報取得装置２０は、車両の位置及び車外の情報を取得する。具体的には、情報取得装置２０は、車両２００の位置を測定して位置を示す位置情報を生成する。情報取得装置２０は、さらに、対象物、及び対象物までの距離などを示す車外情報を取得する。対象物は、人、標識、道路などである。情報取得装置２０は、車両２００の位置情報及び車外情報の少なくとも１つを含む車両関連情報を出力する。

表示処理装置３０は、情報取得装置２０から得られる車両関連情報などに基づいて、虚像Ｉｖの表示を制御し、虚像Ｉｖの画像データを投影装置１０に出力する。

姿勢検出装置４０は、車両２００の姿勢変動を検出する。

補正処理装置５０は、姿勢検出装置４０によって検出された車両２００の姿勢変動に基づいて、虚像Ｉｖの表示位置の補正量を算出する。

図２は、投影システム１００の内部構成を示すブロック図である。

本実施形態において、情報取得装置２０は、地理座標系における車両２００の現在地を示す位置を検出するＧＰＳ（Global Positioning System）モジュール２１を含む。具体的には、ＧＰＳモジュール２１は、ＧＰＳ衛星からの電波を受信して、受信した地点の緯度及び経度を測位する。ＧＰＳモジュール２１は、測位した緯度及び経度を示す位置情報を生成する。情報取得装置２０は、さらに、外景を撮像して撮像データを生成するカメラ２２を含む。情報取得装置２０は、例えば、撮像データから対象物を特定し、対象物までの距離を測定する。情報取得装置２０は、対象物及び対象物までの距離を示す情報を車外情報として生成する。情報取得装置２０は、位置情報及び車外情報を含む車両関連情報を表示処理装置３０に出力する。なお、カメラ２２によって生成された撮像データが表示処理装置３０に出力されてもよい。

表示処理装置３０は、通信部３１、表示制御部３２、及び記憶部３３を含む。

通信部３１は、所定の通信規格（例えば、ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）、ＣＡＮ（controller area network）、ＳＰＩ（Serial Peripheral Interface））に準拠して外部機器との通信を行う回路を含む。

表示制御部３２は、半導体素子などで実現可能である。表示制御部３２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。表示制御部３２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。表示制御部３２は、記憶部３３に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。

記憶部３３は、表示処理装置３０の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部３３は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。

記憶部３３には、虚像Ｉｖを表す複数の画像データ３３ｉが格納されている。表示制御部３２は、情報取得装置２０から得られる車両関連情報に基づいて、表示する虚像Ｉｖを決定する。表示制御部３２は、決定した虚像Ｉｖの画像データ３３ｉを記憶部３３から読み出して、投影装置１０に出力する。さらに、表示制御部３２は、虚像Ｉｖの表示位置を設定する。表示制御部３２は、虚像Ｉｖを表示するか否か又は表示中か否かを示す表示情報を補正処理装置５０に出力する。

本実施形態において、姿勢検出装置４０は、角速度を検出するジャイロセンサ４１を含む。ジャイロセンサ４１は、検出した角速度を、車両２００の姿勢変動を示す姿勢変動情報として補正処理装置５０に出力する。

補正処理装置５０は、通信部５１と補正制御部５２とを含む。

通信部５１は、所定の通信規格（例えばＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標）、ＣＡＮ（controller area network）、ＳＰＩ（Serial Peripheral Interface））に準拠して外部機器との通信を行う回路を含む。

補正制御部５２は、半導体素子などで実現可能である。補正制御部５２は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。表示制御部３２の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。補正制御部５２は、補正処理装置５０内の図示しない記憶部に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。

補正制御部５２は、機能的構成として、ずれ量算出部５２ａ、補正量算出部５２ｂ及び判定部５２ｃを含む。

ずれ量算出部５２ａは、姿勢検出装置４０が出力する姿勢変動情報に基づいて、車両２００の姿勢（角度のずれ量）を算出する。例えば、ずれ量算出部５２ａは、ジャイロセンサ４１が検出した角速度を積分演算することによって、車両２００の３軸方向の角度（ロール角、ピッチ角、及びヨー角）を算出する。これにより、図１に示すＸ軸（ロール軸）、Ｙ軸（ピッチ軸）、及びＺ軸（ヨー軸）方向における車両２００のずれ量（角度）を算出することができる。なお、本実施形態では、３軸方向の全ての角度を算出するが、１軸又は２軸方向の角度を算出してもよい。例えば、Ｙ軸及びＺ軸方向の角度のみを算出してもよい。

補正量算出部５２ｂは、車両２００の姿勢（角度のずれ量）に応じて、虚像Ｉｖの表示位置の補正量を算出する。具体的には、補正量算出部５２ｂは、ずれ量算出部５２ａが算出した角度（ピッチ角及びヨー角）のずれ量を画素数に換算して、ずれている分の画素数（以下、「ずれ画素数」ともいう）を元に戻すような補正量を決定する。ロール角については、角度のまま出力される。例えば、ずれ量算出部５２ａは、ロール角のずれ量を元に戻すような補正量を決定する。本実施形態では、補正量は、Ｙ軸方向及びＺ軸方向における画素数によって示される。補正量算出部５２ｂは、算出した補正量を表示処理装置３０に出力する。

判定部５２ｃは、内部に備える比較部５２ｄにおいて、姿勢検出装置４０の出力又は姿勢検出装置４０の出力を演算処理した結果（以後、変動量Ｖとする）と閾値ａ（第１閾値）との大小関係を比較して、虚像の表示位置を基準位置に戻すか否かを判定し、判定結果をずれ量算出部５２ａに出力する。姿勢検出装置４０の出力の演算処理は、姿勢検出装置４０又は補正処理装置５０のずれ量算出部５２ａや判定部５２ｃ、又は、他の構成で行われてもよい。変動量Ｖは、例えばジャイロセンサ４１により検出される角速度、又は角速度を積分した角度（角度の絶対値および角度の変化量）である。判定部５２ｃは、例えば、データをブーリアン型として２値化して出力する。変動量Ｖが閾値ａ以下であればＴＲＵＥ、変動量Ｖが閾値ａより大きいときはＦＡＬＳＥとなる。判定部５２ｃは、データをブーリアン型に限定せず、整数型でもよく、それ以外で出力してもよい。

表示処理装置３０と補正処理装置５０は、通信部３１，５１により、双方向に通信する。表示処理装置３０は、補正処理装置５０に表示情報を出力する。補正処理装置５０は、表示処理装置３０に補正量を出力する。

図３Ａ〜図３Ｄを参照して、ＡＲ表示について説明する。図３Ａは、車両２００が傾いていないときの例を示している。図３Ｂは、図３Ａに示す車両２００のフロントガラス２１０から見える実景の例を示している。図３Ｃは、表示領域２２０から見える虚像Ｉｖの一例を示している。図３Ｄは、図３Ｂに示す実景に図３Ｃに示す虚像Ｉｖが重なって表示される例を示している。投影システム１００は、図３Ｂに示す実景に図３Ｃに示す虚像Ｉｖを重畳させる。虚像Ｉｖの基準位置（初期位置）Ｐ０は、虚像Ｉｖの種類、車両２００の状態（位置及び姿勢）、及び地図データなどに基づいて、決定された位置である。例えば、表示対象２３０が走行車線であって、虚像Ｉｖが進行方向を示す矢印の場合、基準位置Ｐ０は走行車線の中央である。基準位置Ｐ０は、例えば、図３Ｃにおいて、表示領域２２０内におけるＹ座標とＺ座標の値で設定される。基準位置Ｐ０は、外部装置から取得される。外部装置から出力される基準位置Ｐ０は、乗員数、荷重の変動、及びガソリンの減少などによる姿勢の変動に基づいて変化する場合があるため、例えば、最初に取得した基準位置（初期位置）と異なる場合がある。なお、表示処理装置３０が、車両関連情報及び地図データなどに基づいて、基準位置Ｐ０を設定してもよい。表示処理装置３０は、車両関連情報に基づいて、虚像Ｉｖの大きさを設定してもよい。

図４Ａは、車両２００が前傾姿勢になった状態の例を示している。図４Ｂは、車両２００の姿勢変動に応じて、虚像Ｉｖの表示位置が表示対象２３０からずれた場合を例示している。図４Ｃは、補正後の虚像Ｉｖの表示位置を示している。

路面の凸凹、車両２００の急加速又は急減速などにより、車両２００が傾く場合がある。例えば、車両２００が急減速すると、図４Ａに示すように車両２００は前傾姿勢になる。この場合、図４Ｂに示すように、フロントガラス２１０から見える表示対象２３０の位置が車両２００の傾きに応じて変動する。そのため、虚像Ｉｖを基準位置Ｐ０に表示した場合、虚像Ｉｖが表示対象２３０からずれる。例えば、図４Ｂに示すように矢印の先が対向車線２３１内になる。よって、投影システム１００は、車両２００の姿勢に応じたずれを戻す方向に虚像Ｉｖの表示位置を調整する。具体的には、図４Ｃに示すように、補正処理装置５０が、車両２００の角度に起因した表示位置のずれがない位置Ｐ１となるように補正量Ｃを算出する。すなわち、表示処理装置３０は、虚像Ｉｖの表示位置を「基準位置Ｐ０＋補正量Ｃ」に設定する。これにより、投影装置１０は、虚像Ｉｖを表示対象２３０に対応する位置Ｐ１に表示することができる。このように、車両２００が傾いた場合であっても、虚像Ｉｖの表示位置を補正量Ｃに基づいて基準位置Ｐ０から変更することで、実景内の表示対象２３０に対応する位置Ｐ１に虚像Ｉｖを表示することができる。

図５は、ジャイロセンサ４１などのセンサのノイズによって、虚像Ｉｖの表示位置が表示対象２３０からずれた場合を例示している。上述したように、例えば、ジャイロセンサ４１が検出する角速度にはドリフトによる誤差が含まれるため、角速度の積分演算に基づく補正量の算出を長期間継続すると、その補正量に含まれる誤差が大きくなる。この場合、例えば、車両２００が実際には傾いていないときであっても、車両２００が傾いていることが検出され、補正量Ｃがゼロにならなくなる。そのため、虚像Ｉｖの補正処理の継続時間が長くなるほど、虚像Ｉｖの表示位置（＝基準位置Ｐ０＋補正量Ｃ）が表示対象２３０より大きくずれてくる。例えば、実際に表示される位置Ｐ１（＝基準位置Ｐ０＋補正量Ｃ）が、表示対象２３０に対して表示させたい位置Ｐ２とならない。本実施形態は、このセンサのノイズに起因した位置ずれＥを低減するために、後述するように、判定部５２ｃの出力、つまり、車両の姿勢変動に関する変動量に基づいて、補正量Ｃをゼロにリセットする。具体的には、変動量Ｖが、閾値ａより大きいときに、補正量Ｃをゼロにリセットする。これにより、変動量Ｖが、閾値ａより大きいときに、虚像Ｉｖの表示位置を表示させたい位置Ｐ２に戻す。

２． 表示処理装置の動作
図６は、表示処理装置３０の表示制御部３２が行う表示処理を示している。図６に示す表示処理は、例えば、車両２００のエンジンが始動したとき、又は虚像Ｉｖの表示開始を指示するためのボタンが操作されたときなどに開始される。

表示制御部３２は、情報取得装置２０から車両関連情報を取得する（Ｓ１０１）。表示制御部３２は、車両関連情報に基づいて、表示する虚像Ｉｖを決定する（Ｓ１０２）。表示制御部３２は、虚像Ｉｖの基準位置Ｐ０を外部装置から取得する（Ｓ１０３）。表示制御部３２は、補正処理装置５０から出力される表示位置の補正量Ｃを取得する（Ｓ１０４）。

表示制御部３２は、基準位置Ｐ０と補正量Ｃとに基づいて、投影装置１０に虚像Ｉｖを表示させる（Ｓ１０５）。例えば、表示制御部３２は、表示対象に対応する虚像Ｉｖの画像データ３３ｉを記憶部３３から読み出し、虚像Ｉｖの表示位置を「基準位置Ｐ０＋補正量Ｃ」に設定して、投影装置１０に出力する。

表示制御部３２は、表示処理を継続するか否かを判断する（Ｓ１０６）。例えば、車両２００のエンジンが停止したとき、又は虚像Ｉｖの表示の終了を指示するためのボタンが操作されたときなどに、表示制御部３２は表示処理を終了する。表示処理を継続する場合は、ステップＳ１０１に戻る。

３． 補正処理装置の動作
図７は、補正処理装置５０の補正制御部５２が行う補正処理を示している。図７に示す補正処理は、例えば、車両２００のエンジンが始動したとき、又は虚像Ｉｖの表示開始を指示するためのボタンが操作されたときなどに開始される。図７の補正処理は、例えば、図６の表示処理と共に開始される。なお、図７に示す補正処理は、虚像Ｉｖの位置補正の開始を指示するためのボタンが操作されたときに開始されてもよい。

ずれ量算出部５２ａは、ジャイロセンサ４１から出力される角速度を示す姿勢変動情報を取得する（Ｓ２０１）。ずれ量算出部５２ａは、取得した姿勢変動情報に基づいて、車両２００の姿勢、すなわち、３軸方向に対する角度であるずれ量を算出する（Ｓ２０２）。具体的には、ずれ量算出部５２ａは、角速度を積分演算することによって、車両２００の角度を算出する。補正量算出部５２ｂは、３軸方向に対するずれ量に基づいて、虚像Ｉｖの表示位置の補正量Ｃを算出する（Ｓ２０３）。具体的には、補正量算出部５２ｂは、ピッチ角及びヨー角について車両２００の角度であるずれ量を画素数に換算して、画素数で示されるずれ量を相殺するような補正量Ｃを決定する。ロール角については、角度のまま、ずれ量を相殺する補正量Ｃを決定する。

本実施形態では、補正量Ｃを「補正量Ｃ＝−（現時点のずれ量）＋（ゼロリセット時のずれ量）」として定義する。以下、ゼロリセット時のずれ量をオフセット値とも称する。オフセット値は、後述するステップＳ２０８において設定される。オフセット値の初期値は、例えばゼロである。ステップＳ２０３の補正量の算出において、ずれ量算出部５２ａが、角度単位で、「−現時点の姿勢（角度）＋オフセット値（角度）」を算出して補正量算出部５２ｂに出力し、補正量算出部５２ｂは入力した値を画素数に換算してもよい。また、ずれ量算出部５２ａは、現時点の姿勢（角度）を補正量算出部５２ｂに出力し、補正量算出部５２ｂが、姿勢（角度）を画素数に換算した後で、「−現時点のずれ量（画素数）＋オフセット値（画素数）」を算出してもよい。

比較部５２ｄは、変動量Ｖ（姿勢検出装置４０の出力又は姿勢検出装置４０の出力に基づいた演算処理結果）を取得する（Ｓ２０４）。そして、比較部５２ｄは、変動量Ｖと閾値ａとを比較する（Ｓ２０５）。

変動量Ｖが閾値ａ以下であれば（Ｓ２０５でＹｅｓ）、補正量算出部５２ｂは、算出した補正量Ｃを表示処理装置３０に出力する（Ｓ２０６）。これにより、虚像Ｉｖが「基準位置Ｐ０＋補正量Ｃ」で示される位置に表示される。

変動量Ｖが閾値ａより大きい場合は（Ｓ２０５でＮｏ）、補正制御部５２は、補正量Ｃをゼロにリセットする（Ｓ２０８）。具体的には、例えば、ずれ量算出部５２ａが、オフセット値（角度）を「オフセット値（角度）＝姿勢（角度）」に設定する。これにより、ずれ量算出部５２ａから補正量算出部５２ｂに、「−姿勢（角度）＋オフセット値（角度）」で示される角度、すなわち０度が出力される。又は、補正量算出部５２ｂは、ずれ量算出部５２ａが算出した姿勢（角度）を画素数（ずれ画素数）に換算し、オフセット値（画素数）を「オフセット値（画素数）＝ずれ画素数」に設定する。これにより、「−ずれ量（画素数）＋オフセット値（画素数）」で算出される補正量Ｃがゼロになる。このようにして、車両の姿勢変動に関する変動量Ｖが閾値ａより大きいときに、表示位置が基準位置Ｐ０に戻される。

補正制御部５２は、補正処理を継続するか否かを判断する（Ｓ２０７）。例えば、車両２００のエンジンが停止したとき、又は虚像Ｉｖの表示の終了を指示するためのボタンが操作されたときなどに、補正制御部５２は補正処理を終了する。補正処理を継続する場合は、ステップＳ２０１に戻る。ステップＳ２０１に戻った後は、次のＳ２０３の補正量の算出において、前のステップＳ２０８で設定したオフセット値が使用される。

以上のように、本実施形態では、変動量Ｖが閾値ａより大きいときに、「オフセット値＝ずれ量」に設定することで、補正量Ｃをゼロにする。換言すると、変動量Ｖが閾値ａより大きいときに、表示位置が基準位置Ｐ０にリセットされる。「補正量Ｃ＝−ずれ量＋オフセット値」であるため、次に虚像Ｉｖを表示するとき（図６のステップＳ１０５）の表示位置である「基準位置Ｐ０＋補正量Ｃ」は、「基準位置Ｐ０＋オフセット値−ずれ量」に相当する。このオフセット値が、変動量Ｖが閾値ａより大きいときのずれ量に設定されることで、補正処理装置５０から表示処理装置３０に出力される、センサのノイズに起因した補正誤差がリセットされる。

４． 効果及び補足等
本発明の投影システム１００は、車両２００のフロントガラス２１０の前方に虚像Ｉｖを表示する。投影システム１００は、虚像Ｉｖを表す表示光Ｌｃをフロントガラス２１０に投影する投影装置１０と、車両２００の位置および車外の情報の少なくとも一つを取得する情報取得装置２０と、情報取得装置２０が取得した情報に基づいて虚像Ｉｖの表示を制御する表示処理装置３０と、車両２００の姿勢変動を検出する姿勢検出装置４０と、車両２００の姿勢変動に基づいて虚像Ｉｖの表示位置の補正量Ｃを設定する補正処理装置５０と、を備える。表示処理装置は、検出装置が検出した車両の姿勢変動に関する変動量Ｖに基づいて虚像の表示位置を基準位置に戻す。

これにより、姿勢検出装置４０のノイズに起因した車両姿勢の検出誤差を抑制でき、精度の良い車両姿勢の検出が可能になる。

投影システム１００は、変動量Ｖが閾値ａ以下のときは、基準位置Ｐ０と補正量Ｃに基づいて虚像Ｉｖを表示し、変動量Ｖが閾値ａより大きいときに、虚像Ｉｖの表示位置を基準位置Ｐ０に戻す。具体的には、補正処理装置５０は、変動量Ｖが閾値ａより大きいときに、補正量Ｃをゼロにリセットする。

補正量Ｃをゼロにリセットすることによって、車両姿勢を検出するために用いられるセンサのノイズの累積に起因した表示位置のずれ量を低減することができる。また、変動量Ｖが閾値ａより大きいとき、すなわち車両２００の姿勢変化が大きく、乗員Ｄから見える外景の変化が大きいときにリセットを行うため、虚像Ｉｖの表示位置がリセットにより変動することによって視認者が違和感を覚えることを抑制することができる。また、変動量Ｖが閾値ａより大きくなる度に補正量がリセットされるため、補正量のリセットの機会が増加する。よって、センサのノイズに起因した車両姿勢の検出誤差を抑制でき、精度の良い車両姿勢の検出が可能になる。また、変動量Ｖが閾値ａ以下のときは、車両姿勢に基づいた補正量Ｃで表示位置が補正される。よって、車両姿勢に起因した表示位置のずれを抑制することができる。

本実施形態では、変動量Ｖが閾値ａ以下のときの補正量Ｃは、変動量Ｖが閾値ａ以下のときの車両２００の姿勢変動に基づく表示位置のずれ量と、変動量Ｖが閾値ａ以下となる前の車両２００の姿勢変動に基づく表示位置のずれ量（オフセット値）とに基づいて設定される。

表示処理装置３０は、車両２００の位置、車外の情報、及び表示タイミングなどに基づいて、虚像Ｉｖを表示するか否かを決定する。これにより、実景の中の表示対象に対応付けて虚像Ｉｖを表示させることができる。よって、視認者に違和感なく、虚像Ｉｖで示す情報を視認させることができる。

なお、ステップＳ２０８において、補正量Ｃをゼロにリセットする方法は任意である。本実施形態では、「補正量Ｃ＝−ずれ量＋オフセット値」としたが、補正量Ｃを「補正量Ｃ＝−ずれ量」としてもよい。この場合、ずれ量自体をゼロにすることで、補正量Ｃをゼロにリセットする。具体的には、ジャイロセンサ４１の出力に基づいて車両姿勢を算出する場合に、ずれ量算出部５２ａにおいて算出される角速度の積分量をゼロにリセットする。

（第２実施形態）
第１実施形態では、オフセット値によって補正量Ｃを変更した。具体的には、虚像Ｉｖを表示するときは表示位置を「基準位置Ｐ０＋補正量Ｃ」に設定し、このときの補正量Ｃを「補正量Ｃ＝−ずれ量＋オフセット値（ゼロリセット時のずれ量）」に設定した。本実施形態では、「補正量Ｃ＝−ずれ量」とし、「基準位置Ｐ０’＝基準位置Ｐ０＋オフセット値（ゼロリセット時のずれ量）」として、基準位置をオフセット値によって変更する。オフセット値の初期値は、例えば、ゼロである。

図８は、表示処理装置３０の表示制御部３２が行う表示処理を示している。第２実施形態の図８のステップＳ３０１〜Ｓ３０３，Ｓ３０６は、第１実施形態の図６のステップＳ１０１〜Ｓ１０３，Ｓ１０６と同一である。本実施形態では、表示制御部３２は、虚像を表示させるときに、補正量と共にオフセット値（画素数）を補正処理装置５０から取得する（Ｓ３０４）。表示制御部３２は、虚像Ｉｖの表示位置を「基準位置Ｐ０’（＝基準位置Ｐ０＋オフセット値）＋補正量Ｃ（＝−ずれ量）」に設定して、投影装置１０に虚像Ｉｖを表示させる（Ｓ３０５）。

図９は、補正処理装置５０の補正制御部５２が行う補正処理を示している。第２実施形態の図９のステップＳ４０１〜Ｓ４０５，Ｓ４０７は、第１実施形態の図７のステップＳ２０１〜Ｓ２０５，Ｓ２０７と同一である。本実施形態では、補正制御部５２は、変動量Ｖが閾値ａ以下のときに、補正量と共にオフセット値（画素数）を表示処理装置３０に出力する（Ｓ４０６）。このオフセット値は、変動量Ｖが閾値ａより大きいときに設定される（Ｓ４０８）。具体的には、オフセット値を「オフセット値＝ゼロリセット時のずれ量」に設定する。これにより、図８のステップＳ３０５において、「基準位置Ｐ０’（＝基準位置Ｐ０＋オフセット値）」で示される虚像Ｉｖの基準位置Ｐ０’がオフセット値によって基準位置Ｐ０からシフトされる。

（第３実施形態）
第１実施形態では、補正制御部５２は、変動量Ｖが閾値ａより大きいときに補正量Ｃをゼロにリセットした。本実施形態では、補正制御部５２は、補正量Ｃの大きさをゼロにならないように所定量小さくする。そして、変動量Ｖが閾値ａよりも大きくなる度に補正量Ｃを徐々に小さくする。

図１０は、第３実施形態における補正処理を示している。第３実施形態の図１０のステップＳ５０１〜Ｓ５０７は、第１実施形態の図７のステップＳ２０１〜Ｓ２０７と同一である。

本実施形態では、変動量Ｖが閾値ａより大きい場合（Ｓ５０５でＮｏ）、補正量算出部５２ｂは、ステップＳ５０３で算出した補正量Ｃがゼロか否かを判断する（Ｓ５０８）。補正量Ｃがゼロでなければ、補正量Ｃの大きさがゼロにならないように、補正量Ｃの大きさを所定量（補正量Ｃよりも小さな値）小さくする（Ｓ５０９）。具体的には、例えば、補正量算出部５２ｂは、「補正量Ｃ＝−（ずれ量−オフセット値）」において、「オフセット値＝所定量」に設定する。所定量は、虚像Ｉｖの表示領域２２０内の表示位置に応じて、設定されてもよい。補正量Ｃがゼロであれば、ステップＳ５０７に進む。

このように、補正処理装置５０は、変動量Ｖが閾値ａより大きくなる度に、補正量Ｃを所定量ずつ小さくするため、虚像Ｉｖの位置は徐々に基準位置Ｐ０に戻る。虚像Ｉｖの位置が急に大きく変わらないため、乗員Ｄが、虚像Ｉｖの表示位置の変化に対して違和感を覚えることを抑制することができる。すなわち、表示位置のシフトによる見た目の違和感を抑制することができる。

なお、補正量Ｃを所定量小さくすることに代えて、第２実施形態で示すオフセット値を、変動量Ｖが閾値ａより大きい時のずれ量より一定量小さな値に設定してもよい。

（第４実施形態）
変動量Ｖが閾値ａより大きいときに、第１実施形態では補正量Ｃをゼロにリセットし、第３実施形態では補正量Ｃの大きさを補正量Ｃの大きさがゼロにならないように、所定量小さくした。本実施形態では、補正量Ｃの大きさに応じて補正量の変化量を変更する。具体的には、補正量Ｃが閾値ｂ（第２閾値）以上の場合は補正量Ｃを補正量Ｃの大きさがゼロにならないように、所定量小さくし、補正量Ｃが閾値ｂ未満のときは、補正量をゼロにリセットする。

図１１は、第４実施形態における補正処理を示している。第４実施形態の図１１のステップＳ６０１〜Ｓ６０７は、第１実施形態の図７のステップＳ２０１〜Ｓ２０７及び第３実施形態の図１０のステップＳ５０１〜Ｓ５０７と同一である。

本実施形態では、変動量Ｖが閾値ａより大きい場合（Ｓ６０５でＮｏ）、補正量算出部５２ｂは、ステップＳ６０３で算出した補正量Ｃが閾値ｂ以上か否かを判断する（Ｓ６０８）。補正量Ｃが閾値ｂ以上であれば、補正量Ｃの大きさがゼロにならないように、補正量Ｃを所定量（補正量Ｃよりも小さな値）小さくする（Ｓ６０９）。具体的には、例えば、補正量算出部５２ｂは、「補正量Ｃ＝−（ずれ量−オフセット値）」において、「オフセット値＝所定量」に設定する。補正量Ｃが閾値ｂより小さければ、補正量Ｃをゼロにリセットする。具体的には、「オフセット値＝ずれ量」に設定する。

このように、補正処理装置５０は、変動量Ｖが閾値ａより大きくなる度に、補正量Ｃが閾値ｂ以上の場合は補正量を所定量ずつ小さくし、補正量Ｃが閾値ｂよりも小さい場合は補正量をゼロにリセットする。これにより、表示位置の補正を車両２００の傾きに応じて、見た目に違和感なく行うことができる。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。そこで、以下、他の実施形態を例示する。

上記実施形態では、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、及び補正処理装置５０がそれぞれ別個の装置である場合を例示した。しかし、複数の装置が一つの装置として一体的に形成されてもよい。例えば、表示処理装置３０と補正処理装置５０が一つの装置として一体的に形成されてもよい。情報取得装置２０と表示処理装置３０とが一つの装置として一体的に形成されてもよい。姿勢検出装置４０と補正処理装置５０が一つの装置として一体的に形成されてもよい。別個に形成された装置は、有線又は無線により互いに通信可能に接続される。なお、投影装置１０、情報取得装置２０、表示処理装置３０、姿勢検出装置４０、及び補正処理装置５０の全てが一つの装置として形成されてもよい。この場合、通信部３１，５１はなくてもよい。

上記実施形態では、情報取得装置２０がＧＰＳモジュール２１とカメラ２２を含む例について説明した。しかし、情報取得装置２０は、車両２００から周囲の対象物までの距離と方向を計測する距離センサを含んでもよく、計測した距離と方向を示す距離情報を表示処理装置３０に出力してもよい。情報取得装置２０は、車両２００の速度を検出する車速センサを含んでもよいし、ナビゲーションシステムを含んでもよい。情報取得装置２０は、ＧＰＳモジュール２１、距離センサ、及びカメラ２２などのうち、１つ以上を含んでもよい。この場合、情報取得装置２０としての機能を有するＧＰＳモジュール２１、距離センサ、及びカメラ２２などは、一つの装置に内蔵されてもよいし、個別に車両２００に取り付けられてもよい。

上記実施形態では、姿勢検出装置４０がジャイロセンサ４１を含む例について説明した。しかし、姿勢検出装置４０は、車両２００の加速度を検出する加速度センサを含んでもよく、検出した加速度を姿勢変動情報として出力してもよい。姿勢検出装置４０は、路面からの高さを検出する車高センサを含んでもよく、検出した高さを姿勢変動情報として出力してもよい。姿勢検出装置４０は、他の公知のセンサを含んでもよい。姿勢検出装置４０は、ジャイロセンサ４１、加速度センサ、及び車速センサなどのうちの１つ以上を含んでもよい。この場合、姿勢検出装置４０としての機能を有するジャイロセンサ４１、加速度センサ、及び車高センサなどは、一つの装置に内蔵されてもよいし、個別に車両２００に取り付けられてもよい。

上記実施形態では、表示処理装置３０が虚像を基準位置と補正処理装置５０が設定した補正量とに基づいて表示し、虚像の表示の制御中に所定条件に基づいて、虚像の表示位置を基準位置に戻す。この所定条件を検出装置が検出した車両の姿勢変動に関する変動量であるとした。そして、変動量が閾値ａより大きいときに補正値をゼロにリセットしたり、補正量をゼロにならないように所定量小さくしたりするとした。また、変動量が閾値ａより大きいときに補正量が閾値ｂ以上の場合は補正量をゼロにならないように所定量小さくし、補正量が閾値ｂよりも小さい場合は補正量をゼロにリセットするとした。

この所定条件を、表示処理装置３０が虚像の表示の制御中に、虚像の表示／非表示の状態であるとし、虚像が表示されていないとき（虚像の非表示中）に補正量をゼロにリセットするなどとしてもよい。また、この所定条件を、乗員Ｄのアイポイントと投影システムのアイボックスの関係であるとし、乗員Ｄの動きによりアイポイントがアイボックスから外れたときに補正量をゼロにリセットするなどとしてもよい。また、この所定条件を、乗員Ｄの視線であるとし、乗員Ｄの視線が表示処理装置３０が表示している虚像から離れたときに補正量をゼロにリセットするなどとしてもよい。また、この所定条件を、車両の移動速度であるとし、移動速度が閾値ｃより大きいときに補正値をゼロにリセットするなどとしてもよい。また、情報取得装置２０が取得した車両からの外景であるとし、外景の変化が大きいときに補正値をゼロにリセットするなどとしてもよい。

（実施形態の概要）
（１）本開示の投影システムは、車両のフロントガラスの前方に虚像を表示する投影システムであって、虚像を表す光をフロントガラスに投影する投影装置と、車両の位置および車外の情報の少なくとも一つを取得する情報取得装置と、情報取得装置が取得した情報に基づいて、虚像の表示を制御する表示処理装置と、車両の姿勢変動を検出する姿勢検出装置と、車両の姿勢変動に基づいて虚像の表示位置の補正量を設定する補正処理装置と、を備え、虚像を基準位置と補正量とに基づいて表示し、虚像の表示の制御中に所定条件に基づいて、虚像の表示位置を基準位置に戻す。

これにより、虚像の位置ずれを精度良く補正することができる。

（２）（１）の投影システムにおいて、所定条件は、検出装置が検出した車両の姿勢変動に関する変動量であるしてもよい。

（３）（２）の投影システムにおいて、補正処理装置は、変動量Ｖが閾値ａより大きいときに、補正量をゼロにリセットしてもよい。

（４）（２）の投影システムにおいて、補正処理装置は、変動量Ｖが閾値ａより大きいときに、補正量をゼロにならないように所定量小さくしてもよい。

（５）（２）の投影システムにおいて、補正処理装置は、変動量Ｖが閾値ａより大きいときに、補正量が閾値ｂ以上の場合は補正量をゼロにならないように所定量小さくし、補正量が閾値ｂよりも小さい場合は補正量をゼロにリセットしてもよい。

（６）（２）の投影システムにおいて、変動量Ｖが閾値ａ以下のときの補正量は、変動量Ｖが閾値ａ以下のときの車両の姿勢変動と、変動量Ｖが閾値ａ以下になる前の車両の姿勢変動とに基づいて設定されるとしてもよい。

（７）（２）から（６）の投影システムにおいて、変動量は、姿勢検出装置により検出された角速度であるとしてもよい。

（８）（２）から（６）の投影システムにおいて、変動量は、姿勢検出装置により検出された角速度から演算した角度の変化量であるとしてもよい。

（９）（２）から（６）の投影システムにおいて、姿勢検出装置は、ジャイロセンサ、加速度センサ、及び車高センサのうちの少なくとも一つを含むとしてもよい。

（１０）本開示の別の投影システムは、車両のフロントガラスの前方に虚像を表示する投影システムであって、虚像を表す光をフロントガラスに投影する投影装置と、車両の位置および車外の情報の少なくとも一つを取得する情報取得装置と、情報取得装置が取得した情報に基づいて、虚像の表示を制御する表示処理装置と、車両の姿勢変動を検出する姿勢検出装置と、車両の姿勢変動による虚像の表示位置のずれ量を算出する補正処理装置と、を備え、前記虚像の表示の制御中に所定条件に基づいて、基準位置を設定し、基準位置とずれ量とに基づいて虚像の表示位置を設定する。

（１１）（１０）の投影システムにおいて、所定条件として、出装置が検出した車両の姿勢変動に関する変動量が第１閾値より大きいときは、変動量が第１閾値より大きいときの車両の姿勢変動に基づいて基準位置を設定し、変動量が第１閾値以下のときは、基準位置と補正処理装置が算出したずれ量とに基づいて虚像の表示位置を設定する検出装置が検出した車両の姿勢変動に関する変動量であるしてもよい。

本開示の全請求項に記載の投影システムは、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。

本開示は、虚像を表す光を車両のフロントガラスに投影して、フロントガラスの前方に虚像を視認させる投影システムに適用可能である。

１０ 投影装置
２０ 情報取得装置
２１ ＧＰＳモジュール
２２ カメラ
３０ 表示処理装置
３１ 通信部
３２ 表示制御部
３３ 記憶部
４０ 姿勢検出装置
４１ ジャイロセンサ
５０ 補正処理装置
５１ 通信部
５２ 補正制御部
５２ａ ずれ量算出部
５２ｂ 補正量算出部
５２ｃ 判定部
５２ｄ 比較部
１００ 投影システム

Claims (13)

1. 車両のフロントガラスの前方に虚像を表示する投影システムであって、
   前記虚像を表す光を前記フロントガラスに投影する投影装置と、
   前記車両の位置および車外の情報の少なくとも一つを取得する情報取得装置と、
   前記情報取得装置が取得した情報に基づいて、前記虚像の表示を制御する表示処理装置と、
   前記車両の姿勢変動を検出する検出装置と、
   前記車両の姿勢変動に基づいて前記虚像の表示位置の補正量を設定する補正処理装置と、
   を備え、
   前記虚像を基準位置と前記補正量とに基づいて表示し、前記虚像の表示の制御中に所定条件に基づいて、前記虚像の表示位置を基準位置に戻す、
   投影システム。
2. 前記所定条件は、前記検出装置が検出した前記車両の姿勢変動に関する変動量である、
   請求項１に記載の投影システム。
3. 前記補正処理装置は、前記変動量が第１閾値より大きいときに、前記補正量をゼロにリセットする、
   請求項２に記載の投影システム。
4. 前記補正処理装置は、前記変動量が第１閾値より大きいときに、前記補正量をゼロにならないように所定量小さくする、
   請求項２に記載の投影システム。
5. 前記補正処理装置は、前記変動量が第１閾値より大きいときに、前記補正量が第２閾値以上の場合は前記補正量をゼロにならないように所定量小さくし、前記補正量が前記第２閾値よりも小さい場合は前記補正量をゼロにリセットする、
   請求項２に記載の投影システム。
6. 前記変動量が第１閾値以下のときの前記補正量は、前記変動量が前記第１閾値以下のときの前記車両の姿勢変動と、前記変動量が前記第１閾値以下になる前の前記車両の姿勢変動とに基づいて設定される、
   請求項２に記載の投影システム。
7. 前記変動量は、前記検出装置により検出された角速度である、
   請求項２から６のいずれかに記載の投影システム。
8. 前記変動量は、前記検出装置により検出された角速度から演算した角度の変化量である、
   請求項２〜６のいずれかに記載の投影システム。
9. 前記検出装置は、ジャイロセンサ、加速度センサ、及び車高センサのうちの少なくとも一つを含む、
   請求項２から６のいずれかに記載の投影システム。
10. 車両のフロントガラスの前方に虚像を表示する投影システムであって、
    前記虚像を表す光を前記フロントガラスに投影する投影装置と、
    前記車両の位置および車外の情報の少なくとも一つを取得する情報取得装置と、
    前記情報取得装置が取得した情報に基づいて、前記虚像の表示を制御する表示処理装置と、
    前記車両の姿勢変動を検出する検出装置と、
    前記車両の姿勢変動による前記虚像の表示位置のずれ量を算出する補正処理装置と、
    を備え、
    前記虚像の表示の制御中に所定条件に基づいて、基準位置を設定し、前記基準位置と前記ずれ量とに基づいて前記虚像の表示位置を設定する、
    投影システム。
11. 前記所定条件として、
    前記検出装置が検出した前記車両の姿勢変動に関する変動量が第１閾値より大きいときは、前記変動量が前記第１閾値より大きいときの前記車両の姿勢変動に基づいて基準位置を設定し、
    前記変動量が前記第１閾値以下のときは、前記基準位置と前記補正処理装置が算出したずれ量とに基づいて前記虚像の表示位置を設定する、
    請求項１０に記載の投影システム。
12. 前記変動量は、前記検出装置により検出された角速度である、
    請求項１１に記載の投影システム。
13. 前記変動量は、前記検出装置により検出された角速度から演算した角度の変化量である、
    請求項１１に記載の投影システム。

Images