JP7204772B2 - ヘッドアップディスプレイシステム - Google Patents

Description

本発明は、車両に搭載し映像の表示位置を好適に補正するヘッドアップディスプレイシステムに関するものである。

近年、車両のフロントガラスを介して前方に映像情報を虚像として表示する車両用映像表示装置（ヘッドアップディスプレイ（以下、ＨＵＤ））が実用化されている。その際、表示する映像情報として運転者向けの情報を提供することで、車両の運転操作を支援することができる。

例えば特許文献１には、車両振動に応じた表示画像の表示位置の補正について記載される。ここでは、強調画像（実景中の特定の対象物に対して所定の位置関係を持つように表示される画像）は表示位置の補正処理を実行し、非強調画像（対象物に対して所定の位置関係を持たないで表示される画像）は補正処理を実行しない構成が提案されている。

特開２０１７－１３５９０号公報

上記特許文献１では、振動検出方法として「例えば３軸加速度センサ等で構成され」と述べているが、センサ検出値を用いて具体的にどのように補正するかについては記載されていない。すなわち、本件発明者等の検討によれば、ジャイロセンサを用いてピッチング揺れ（回転ブレ）の補正を行う場合、カーブ走行時に表示映像（オブジェクト）がピッチング揺れと関係ない方向に移動してしまうという現象を発見した。これは運転者に違和感を与えるため、回避する必要がある。また、高精度に補正処理を行う場合、ピッチング揺れだけでなく、上下方向の揺れ成分（シフトブレ）を含めて補正する必要がある。その際、類似技術として例えばカメラの手振れ補正法が知られているが、そのまま適用できず、運転者の視点位置を考慮して補正せねばならない。

本発明の目的は、車両の振動に対し、運転者に違和感を与えず映像の表示位置を好適に補正するヘッドアップディスプレイシステムを提供することである。

本発明のヘッドアップディスプレイシステムでは、車両の振動を検出するためにジャイロセンサを設置する。映像データ生成部は、ジャイロセンサにより取得した２軸方向の角速度情報をもとに、表示するオブジェクトの表示位置のピッチング補正を行う。車両が傾いた状態でカーブ走行する場合、映像表示範囲内の定位置に表示する常時表示オブジェクトについては、ピッチング補正を抑制または中止する。前方センシング装置で検出した特定の物体に重ねて表示する実景重畳オブジェクトについては、表示の明るさを暗くまたは消去する。

また、本発明のヘッドアップディスプレイシステムでは、車両の振動成分として回転ブレとシフトブレを検出するためにジャイロセンサと加速度センサを設置する。映像データ生成部は、ジャイロセンサにより取得した角速度情報と、加速度センサにより取得した加速度情報をもとに、表示するオブジェクトの表示位置の補正を行う。加速度センサにおける鉛直変位が車両の回転ブレにより生じたとみなした場合の回転半径を求め、視点検出装置により検出した運転者の視点位置の情報から、運転者の位置における前記車両の回転ブレとシフトブレを算出し、オブジェクトの表示位置の補正を行う。

本発明によれば、車両の振動に対し、運転者に違和感を与えず映像の表示位置を好適に補正するヘッドアップディスプレイシステムを提供することができる。

車両に搭載したＨＵＤシステム１の概要を示す図。 ＨＵＤシステム１の全体構成を示すブロック図。 ＨＵＤ装置１０の内部構成を示すブロック図。 視点検出装置２０の内部構成を示すブロック図。 前方センシング装置３０の内部構成を示すブロック図。 表示する映像データの種類を説明する図。 車両の振動を示す図。 車両の振動に伴う表示映像の揺れを示す図。 ピッチング揺れの測定を示す図（実施例１）。 ピッチング揺れに伴う表示位置の移動を示す図。 表示位置の補正を示す図。 カーブ走行時の映像表示例を説明する図。 車両の３軸方向の回転を説明する図。 車体が傾かない状態でカーブを曲がる場合を示す図。 車体が傾いた状態でカーブを曲がる場合を示す図。 対処法１による常時表示オブジェクトの補正を説明する図。 対処法１による実景重畳オブジェクトの補正を説明する図。 対処法１で用いる補正関数（減衰項）を示す図。 対処法１による補正後の表示例を示す図。 実景重畳オブジェクトを消去する効果を説明する図。 対処法１のフローチャートを示す図。 対処法２のフローチャートを示す図。 ２つの振動成分（回転ブレ）を示す図（実施例２）。 ２つの振動成分（シフトブレ）を示す図（実施例２）。 補正計算（支点Ｓが車両の後方）を説明する図。 補正計算（支点Ｓが車両の前方）を説明する図。 センサと運転者間の距離Ｌの測定法を示す図。 フローチャートを示す図。 変形例における補正計算を説明する図。 運転者の鉛直変位ｈｄの測定法を示す図。

本発明によるヘッドアップディスプレイシステム（以下、ＨＵＤシステム）の実施形態について、図面を用いて説明する。

図１は、車両に搭載したＨＵＤシステム１の概要を示す図である。ＨＵＤシステム１は、映像表示機能の本体部であるＨＵＤ装置１０と、運転者の視点位置を検出する視点検出装置２０と、車両の前方の物体を検出する前方センシング装置３０から構成される。

ＨＵＤ装置１０は車両２のダッシュボードの下部に搭載され、映像表示装置で生成した映像をミラーを介して車両２のフロントガラス３（ウィンドシールドとも呼ぶ）に投射する。ウィンドシールド３にて反射された映像は運転者の目５’に入射し、運転者は映像を視認することができる。そのとき運転者は、ウィンドシールド３の前方に存在する虚像８を見ていることになる。ＨＵＤ装置１０内のミラー駆動部５３は、運転者の目５’の高さ（Ａ，Ｂ，Ｃ）に応じてミラー５２を軸回転させ、虚像８の表示位置（高さ方向）を調整する。この調整により、運転者は虚像８を見やすい位置で視認することができる。

視点検出装置２０は、例えばダッシュボードの上に設置し、運転者の目５’の位置（距離と高さ）を測定する。視点検出装置２０は、ドライバモニタリングシステム（ＤＭＳ）に用いられる。前方センシング装置３０は、例えばウィンドシールド３の上部に設置し、車両２の前方の物体（特定の対象物）を検出し、物体までの距離を測定する。ＨＵＤ装置１０は、視点検出装置２０と前方センシング装置３０の検出情報に基づいて、表示すべき映像を決定するとともに運転者の見やすい位置に表示する。なお、運転者の視認する虚像８のことを単に「映像８」とも呼ぶことにする。

図２Ａは、ＨＵＤシステム１の全体構成を示すブロック図である。ＨＵＤシステム１は、ＨＵＤ装置１０と視点検出装置２０と前方センシング装置３０で構成される。図２Ｂ～図２Ｄは、それぞれの装置の内部構成を示している。各装置１０，２０，３０は、情報取得部、ＣＰＵ、メモリ、インターフェースを含む制御部（ＥＣＵ：Electronic Control Unit）１１，２１，３１を有している。また各装置１０，２０，３０は、ＣＡＮ（Controller Area Network）などの通信バス６１を介して車両ＥＣＵ６０に接続されている。

図２Ｂは、ＨＵＤ装置１０の内部構成を示すブロック図である。情報取得部１２は、車両に取り付けた各種センサからの車両情報を取得する。センサとして、車両２の速度情報を取得する車速センサ４１、車両２の振動や揺れの状態として、加速度情報を取得する加速度センサ４２、角速度情報（ジャイロ情報）を取得するジャイロセンサ４３を備える。また、車両２の位置や進行方向を示す地図情報を生成するために、ＧＰＳ（Global Positioning System：全地球測位システム）信号を取得するＧＰＳ受信機４４や、ＶＩＣＳ（Vehicle Information and Communication System：道路交通情報通信システム、登録商標（以下同様））信号を受信するＶＩＣＳ受信機４５を備える。その他、図示しないエンジン始動センサ、ハンドル操舵角センサ、温度センサ、照度センサなど、各種のセンサが取り付けられている。

ＨＵＤ装置１０のＣＰＵ１３は、映像データ生成部１３２や音声データ生成部１３１を有し、入力した車両情報に基づき運転者に提供する映像データや音声データを生成する。メモリ１４は、ＣＰＵ１３が実行するプログラムや各種制御データを格納するとともに、表示する映像データを記憶する。音声データ生成部１３１が生成した音声データは、音声用インターフェース１５を介してスピーカ５４から出力される。映像データ生成部１３２が生成した映像データは、表示用インターフェース１６を介して映像表示部５０により表示される。映像表示部５０は、ＬＥＤやレーザなどの光源、照明光学系、液晶素子などの表示素子により映像光を生成する映像表示装置５１と、生成された映像光をウィンドシールド３に向けて出射するミラー５２を有する。ＣＰＵ１３内のミラー調整部１３３は、ミラー駆動部５３を介してミラー５２の回転を調整する。通信部１３４は、通信用インターフェース１７を介して通信バス６１に接続され、視点検出装置２０や前方センシング装置３０との間で検出データや制御データの送受信を行う。

図２Ｃは、視点検出装置２０の内部構成を示すブロック図である。情報取得部２２は、車両に取り付けた距離検出器４６により運転者の視点位置までの距離情報を取得し、ＣＰＵ２４に転送する。距離検出器４６には、例えばＴＯＦ（Time of Flight）センサなどが用いられる。また、車内カメラ４７により車内の画像を撮影し、カメラ用インターフェース２３を介してＣＰＵ２４に転送し、映像解析部２４１により運転者の視点を検出する。メモリ２５は、ＣＰＵ２４が実行するプログラムを格納するとともに、検出情報を記憶する。通信部２４２は、通信用インターフェース２６を介して、運転者の距離情報や視点情報をＨＵＤ装置１０へ送信する。

図２Ｄは、前方センシング装置３０の内部構成を示すブロック図である。情報取得部３２は、車両に取り付けた距離検出器４８により車両前方の物体（車両、標識、歩行者など）までの距離情報を取得し、ＣＰＵ３４に転送する。距離検出器４８には、例えばＴＯＦ（Time of Flight）センサなどが用いられる。また、車外カメラ４９により前方の画像を撮影し、カメラ用インターフェース３３を介してＣＰＵ３４に転送し、映像解析部３４１により物体を検出する。メモリ３５は、ＣＰＵ３４が実行するプログラムを格納するとともに、検出情報を記憶する。通信部３４２は、通信用インターフェース３６を介して、前方物体の距離情報や検出情報をＨＵＤ装置１０へ送信する。

図３は、表示する映像データの種類を説明する図である。図３には運転席から見た車両前方の実景７０を示し、この中に前方走行する車両７１が存在する。破線枠８０はＨＵＤ装置１０による映像表示範囲を示し、２種類のオブジェクトを表示している。

実景重畳オブジェクト８１は、実景にある特定の物体（車両、人、標識など）に重ねて表示するオブジェクトである。ここでは、前方車両に注意を喚起するためのアラート（リング）を表示している。その他の実景重畳オブジェクト８１としては、経路情報、白線／路肩、店舗情報（ポップアップ）などを走行路や建物などに重ねて表示する。

常時表示オブジェクト８２は、実景に重ねず映像表示範囲８０内の定位置に表示するオブジェクトである。ここでは、速度情報を映像表示範囲８０の右下位置に表示している。その他の常時表示オブジェクト８２としては、残燃料、気温、行先情報などをそれぞれの定位置に表示する。

なお、表示するオブジェクトの映像データは、ＨＵＤ装置１０の映像データ生成部１３２により３Ｄ描画ライブラリを用いて生成され、またその表示位置が設定される。実景重畳オブジェクト８１を表示する場合、前方センシング装置３０により実景７０に存在する物体（車両、人、標識など）を検知し、その位置を算出する。そして映像データ生成部１３２は、検知した物体に重畳させるようにオブジェクトを描画する。

図４Ａと図４Ｂは、車両の振動に伴う表示映像の揺れを説明する図である。図４Ａのように路面の凹凸などにより車両２が矢印方向に振動すると、それに応じて運転者の見る映像８も揺れてしまう。揺れの方向は、車両２の上下振動を取り上げる。

図４Ｂは車内から見た表示映像の揺れを示す。ＨＵＤ装置１０による映像表示範囲８０は車両を基準に設定されるので、車両が揺れると映像表示範囲８０も上下に変動し、それに伴って表示されるオブジェクト８１，８２の位置も上下に変動する。オブジェクトの揺れは運転者にとって不快感につながるだけでなく、実景重畳オブジェクト８１は実景７０内の物体（例えば車両７１）からずれて表示されるので、好ましくない。なお、実景重畳オブジェクト８１は、本来前方物体に重畳して表示されるものであるが、前方センシング装置３０の物体検出性能が車両の揺れの速度に追従できない場合には、オブジェクトを重畳させて表示するのが困難となる。

以下、車両の振動（揺れ）に対する表示映像の補正方法を場合分けして説明する。実施例１ではピッチング揺れ（回転成分）を対象とし、実施例２ではピッチング揺れとシフト揺れ（平行移動成分）を対象とする。

実施例１では、ピッチング揺れ（回転成分）を補正対象とし、ジャイロセンサを用いて補正処理を行う場合について説明する。

図５Ａ～図５Ｃは、ジャイロセンサを用いたピッチング補正の基本動作を説明する図である。
図５Ａは、ピッチング揺れの測定を示す図である。車両２に設置したジャイロセンサ４３でｙ軸周りの回転速度、すなわちピッチング方向（ピッチ方向）の角速度ωpitchを測定する。ＣＰＵ１３は角速度ωpitchを積分し、角度変化量（ピッチ角度）θpitchを求める。

図５Ｂは、ピッチング揺れに伴う表示位置の移動を示す図である。運転者５の見る映像表示範囲８０は、ピッチ角度θpitchに応じて上方向にΔｚだけ移動する（Ａ位置→Ｂ位置）。これに伴い運転者５の見るオブジェクト８１，８２の表示位置も、上方向にΔｚだけ移動してしまう。

図５Ｃは、映像データ生成部１３２による表示位置の補正を示す図である。Ｂ位置においては、映像表示範囲８０内のオブジェクト８１，８２の表示位置を、下方にΔｚだけシフトさせる。これにより、運転者５の見るオブジェクトの表示位置が変わらないようにする。すなわち、ピッチ角度θpitchに応じてオブジェクトの表示位置をずらすことで、車両振動に伴うオブジェクトの揺れを抑制する。

ここで本発明者等は、カーブ走行時に映像表示範囲がピッチング揺れと関係ない方向に移動してしまう現象を見出した。

図６は、カーブ走行時の映像表示例を説明する図である。この例では、車両が交差点を右折する際に車体が左方向に傾いて走行する場合を示す。映像表示範囲８０には、前方の歩行者７２に重畳させてオブジェクト８１が表示されている。しかし、路面は平坦で車両の上下揺れがないのにもかかわらず、本来表示したい位置８１’から上方向にずれて表示されるため、見にくい表示となる。

この現象について考察する。交差点やカーブで車体が左右方向に傾いた状態で曲がると、後述する理由でジャイロセンサ４３は見かけ上のピッチ成分を検出する。ＨＵＤ装置の制御部１１はこのピッチ成分を補正しようとして、表示するオブジェクトを上下方向にずらすことに原因があると考えられる。

図７Ａ～図７Ｃは、見かけ上のピッチ成分が発生する理由を説明する図である。
まず、図７Ａで示すように、車両の３軸方向の回転を次のように定義する。車両２の進行方向をｘ軸、左右方向をｙ軸、上下（鉛直）方向をｚ軸とすると、ｘ軸の周りの回転をロール方向、ｙ軸の周りの回転をピッチ方向、ｚ軸の周りの回転をヨー方向、と呼ぶ。ここで、車両２が左方向に曲がる場合を考える。
図７Ｂは、車体が傾かない状態でカーブを曲がる場合を示す。この場合ジャイロセンサ４３では、ヨー方向の角速度ωのみ検出する。

図７Ｃは、車体が傾いた状態でカーブを曲がる場合を示す。鉛直軸に対しロール方向に傾きθrollが与えられる。このときジャイロセンサ４３では、車両の３軸方向を基準として角速度を検出するので、ヨー方向の角速度ωyawだけでなく、ピッチ方向の角速度ωpitchが発生する。

ピッチ方向の角速度ωpitchは、
ωpitch＝ω・sinθroll （１－１）
となりωpitchの成分が現れる。また、ヨー方向の角速度ωyawは、
ωyaw＝ω・cosθroll （１－２）
となる。（１－１）、（１－２）式より、
ωpitch＝ωyaw・tanθroll （１－３）
このようにジャイロセンサでは、ヨー方向の角速度ωyawだけでなく、ロール方向の傾きθrollで決まるピッチ方向の角速度ωpitchを検出する。その結果、ＨＵＤ装置の制御部１１はこのピッチ成分ωpitchを補正しようとして、表示するオブジェクトを上下方向にずらすことになる。

上記したカーブ走行時の不要な表示補正を回避するために、以下に述べる［対処法１］または［対処法２］を施す。

［対処法１］
対処法１では、補正対象を常時表示オブジェクトと実景重畳オブジェクトに分け、補正量の修正または表示明るさの変更を行うものである。

図８Ａ～図８Ｃは、対処法１におけるオブジェクトの補正を説明する図である。まず、図８Ａの常時表示オブジェクト８２の補正から説明する。

ジャイロセンサ４３で検出されたピッチ角度がθpitchのとき、常時表示オブジェクトについては、補正で用いるピッチ角度を（２）式を用いてθcに修正する。
θc＝θpitch・(1+exp(a(ωyaw+ω0)))^-1・(1+exp(-a(ωyaw-ω0)))^-1
＝θpitch・Ｇ （２）
ここに、（２）式の減衰項Ｇは図８Ｃに示す補正関数で、ヨー方向の角速度|ωyaw|が閾値ω0より小さい場合はＧ＝１、|ωyaw|が閾値ω0より大きい場合はＧ＝０に漸近する関数である。ここに、減衰項Ｇ内の係数ａを調整することで、Ｇ＝１とＧ＝０の間を滑らかに遷移させることができる。なお、関数Ｇは上記式に限らず、閾値ω0を境界としてＧ＝１とＧ＝０とを滑らかに遷移させるものであれば良い。

図８Ａでは、（２）式を用いた補正の例を示している。ヨー方向の角速度ωyawが小さい場合には、検出したピッチ角度θpitchをそのまま補正用のピッチ角度θcとして用いるが、ヨー方向の角速度ωyawが大きい場合には、補正用のピッチ角度θcを０に近づける。つまり、車両が急激にカーブを曲がろうとする場合には、ジャイロセンサによりピッチ角度θpitchが検出されてもオブジェクトの表示位置の補正を抑制または中止するようにする。

次に、図８Ｂの実景重畳オブジェクト８１の補正について説明する。実景重畳オブジェクトの表示位置は実景内の物体に重畳されるので、ジャイロセンサ４３で検出されたピッチ角度θpitchとは無関係となる。その代わり、実景重畳オブジェクトの表示の明るさを、ジャイロセンサ４３で検出されたヨー方向の角速度ωyawに応じて変更する。

オブジェクトの変更前の明るさをＰとしたとき、変更後の明るさＰcを（３）式で修正する。
Ｐc＝Ｐ・(1+exp(a(ωyaw+ω0)))^-1・(1+exp(-a(ωyaw-ω0)))^-1
＝Ｐ・Ｇ （３）
ここに、（３）式の減衰項Ｇは前記（２）式の減衰項Ｇと同じ関数で、ヨー方向の角速度|ωyaw|が閾値ω0より小さい場合はＧ＝１、|ωyaw|が閾値ω0より大きい場合はＧ＝０に漸近する。

図８Ｂでは、（３）式を用いた補正の例を示している。ヨー方向の角速度ωyawが小さい場合には、オブジェクトの表示の明るさＰｃは本来の明るさＰとするが、ヨー方向の角速度ωyawが大きい場合には、表示の明るさＰｃを０に近づける。つまり、ヨー方向の角速度が大きい場合には、オブジェクト表示を暗くまたは消去するようにする。これは、車両が急激にカーブを曲がろうとする場合には、実景の重畳すべき物体が左右方向に移動する可能性が高く、よってオブジェクトの重畳表示自身を中止するのが適切と考えられるからである。

図９は、対処法１による補正後の表示例を示す図である。ヨー方向の角速度ωyawが閾値ω0より大きい場合には、常時表示オブジェクト８２（速度表示など）はピッチング揺れに応じて移動させず、固定表示とする。一方、実景重畳オブジェクト８１（アラートなど）は、明るさを０に近い値に変更して、表示を中止（消去）する。

図１０は、実景重畳オブジェクトを消去することの効果を説明する図である。運転席から見た車外の風景を示す。カーブや交差点で急激に車体の向きを変えている最中には、運転者は車両の前方７３ではなく、進行方向７４を注視している。この最中、映像表示範囲８０に動きのあるオブジェクト（アラートなど）８１を表示すると、運転者が気を取られ、わき見状態となり危険である。また、前方センシング装置３０の検出速度性能が低い場合、車体の急激な向きの変化に対応できず、検出遅延により対象物とは異なる箇所にアラート８１を表示してしまう恐れがある。よって、急激に向きを変化させる場合は実景重畳オブジェクト８１を消去することで、この問題を回避することができる。

図１１は、対処法１のフローチャートを示す図である。ＨＵＤ装置の制御部１１は以下の流れで補正処理を実行する。
Ｓ１０１：ジャイロセンサ４３からヨー方向とピッチ方向の角速度（ωyaw、ωpitch）を取得する。

Ｓ１０２：ピッチ方向の角速度ωpitchについてフィルタ処理を施す。具体的には、ＨＰＦでオフセット除去、ＬＰＦで高周波ノイズ除去を行う。
Ｓ１０３：フィルタ処理したωpitchを積分し、ピッチ角度θpitchを算出する。さらに一定の減衰係数を掛け、発散を防止する。

Ｓ１０４：前記（２）式でピッチ角度θpitchを修正し、θcを算出する。すなわち、ヨー方向の角速度|ωyaw|が閾値ω0より大きい場合は、ピッチ角度θcを０に近づける。
Ｓ１０５：前記（３）式でオブジェクトの明るさＰを修正し、Ｐcを算出する。すなわち、ヨー方向の角速度|ωyaw|が閾値ω0より大きい場合は、オブジェクトの明るさＰcを０に近づける。

Ｓ１０６：映像データ生成部１３２は、修正後のピッチ角度θcに応じて常時表示オブジェクトの位置を移動させる。
Ｓ１０７：修正後の明るさＰcに応じて実景重畳オブジェクトの明るさを変更する。これらの補正を施されたオブジェクトは映像表示部５０により表示される。
Ｓ１０８：映像の表示終了か否かを判定し、継続する場合はＳ１０１に戻り、上記処理を繰り返す。

［対処法２］
次に、対処法１の変形例として対処法２について説明する。対処法２では、ジャイロセンサ４３で３軸方向の角速度を測定し、角速度のロール成分ωrollも考慮して、実質的なピッチング角度θc’を算出する。ジャイロセンサ４３で測定した角速度のピッチ成分ωpitch、ヨー成分ωyaw、ロール成分ωrollに対し、ロール成分ωrollについては時間積分してロール角度θrollとする。

ピッチング補正に用いる角速度ωc’は、以下の式から求める。
ωc’＝ωpitch－ωyaw・tanθroll (４)
（４）式で得られる角速度ωc’は、ヨー成分ωyawとロール角度θrollの影響が考慮されているので、実質的なピッチ成分となる。

上記ωc’を時間積分し、実質的なピッチ角度θc’を求める。このθc’に応じて表示オブジェクトの位置を変えることで補正を行なう。この場合、実景重畳オブジェクトについても明るさの変更（消去）を行わず、常時表示オブジェクトと同様に処理する。

図１２は、対処法２のフローチャートを示す図である。
Ｓ１１１：ジャイロセンサ４３からロール方向とヨー方向とピッチ方向の角速度（ωroll、ωyaw、ωpitch）を取得する。

Ｓ１１２：各方向の角速度（ωroll、ωyaw、ωpitch）についてフィルタ処理を施す。具体的には、ＨＰＦでオフセット除去、ＬＰＦで高周波ノイズ除去を行う。
Ｓ１１３：フィルタ処理したωrollを積分し、ロール角度θrollを算出する。さらに一定の減衰係数を掛け、発散を防止する。

Ｓ１１４：前記（４）式から角速度ωc’を算出する。その際、ωpitch、ωyaw、θrollの位相を調整する。
Ｓ１１５：角速度ωc’を時間積分し、実質的なピッチ角度θc’を算出する。さらに一定の減衰係数を掛け、発散を防止する。

Ｓ１１６：映像データ生成部１３２は、ピッチ角度θc’に応じて常時表示オブジェクトおよび実景重畳オブジェクトの位置を移動させる。
Ｓ１１７：映像の表示終了か否かを判定し、継続する場合はＳ１１１に戻り、上記処理を繰り返す。

対処法１と対処法２を比較する。対処法１ではロール方向を考慮する必要がないため、２軸ジャイロセンサで実施可能である。対処法１を実行する場合、ユーザが好みに合わせて閾値ω0と係数ａを自由に変更できるものとする。対処法２では３軸ジャイロセンサが必要であるが、実質的なピッチング角度に基づいてオブジェクトを常に表示する。

ＨＵＤ装置１０が３軸ジャイロセンサを実装している場合は、対処法１と対処法２をユーザが選択できる構成とする。また、実景重畳オブジェクトの種類に応じて、対処法１と対処法２を割り当ててもよい。例えば、店舗情報など文字を含むポップアップオブジェクトの場合は、ユーザが注視して危険であるため対処法１を割り当て、文字を含まないオブジェクトの場合は、対処法２を割り当てるのがよい。

実施例１によれば、車両がカーブ走行時に表示オブジェクトがピッチング揺れと関係ない方向に移動してしまう現象を回避することができる。これにより、車両が急激な方向転換を行なう際に、運転者がわき見状態となることを回避し、安全運転の維持に寄与する効果がある。

実施例１では、車両の振動の補正対象としてピッチング揺れを扱ったが、車両の振動には、回転成分と平行移動成分が存在する。実施例２では、両者の成分を扱う。そのために車両の揺れセンサとしてジャイロセンサ４３と加速度センサ４２を使用する。

図１３Ａと図１３Ｂは、補正対象とする２つの振動成分を示す図である。図１３Ａは回転成分を示し、ピッチング角度θpitchで表され、「回転ブレ」と呼ぶことにする。図１３Ｂは上下方向の平行移動成分を示し、変位ｈで表され、「シフトブレ」と呼ぶことにする。いずれもオブジェクトの表示位置が上下方向にずれる要因となる。

これらを補正対象とするため、ジャイロセンサ４３と加速度センサ４２を使用し、カメラの手振れ補正の技術を適用する。ただし、カメラの手振れ補正では、撮像面におけるブレを求めるが、センサと撮像面の位置関係は固定であるので運転者の位置を考慮する必要がない。これに対し実施例２の場合、運転者の位置（視点）におけるブレを求める必要がある。その際運転者の位置は、身長や体勢により異なるため、視点検出装置２０を用いてリアルタイムに測定するようにした。

図１４Ａと図１４Ｂは、実施例２における補正計算を説明する図である。ジャイロセンサ４３と加速度センサ４２（合わせてジャイロ・加速度センサとも呼ぶ）は、運転者５の前方に設置されている。ここでは２つの揺れ状態を示し、図１４Ａは回転ブレの支点Ｓが車両の後方にある場合、図１４Ｂは支点Ｓが車両の前方にある場合である。車両の回転ブレとシフトブレの両方を扱うため、補正計算に使用するパラメータは、以下の通りである。

ジャイロセンサ４３から求めた角速度のピッチ成分ωpitchを積分し、ピッチ角度θpitchを算出する。ジャイロ・加速度センサ４３，４２と運転者５間の距離をＬとする。ジャイロ・加速度センサ４３，４２位置における鉛直変位をｈgとする。運転者５位置における鉛直変位をｈdとする。ｈgが回転ブレにより生じたとみなした場合の回転半径をＲとする。補正計算では、回転ブレ量に対応するピッチ角度θpitchと、シフトブレ量に対応する運転者５位置における変位ｈdを求める。

各パラメータの間で、次の関係式が成り立つ。
ｈg＝Ｒ・θpitch (ただし、θpitch＜＜1) （５－１）
dｈg/dt（＝Ｖz）＝Ｒ・（dθpitch/dt) （５－２）
d²ｈg/dt²（＝αz）＝Ｒ・(d²θpitch/dt²) （５－３）
（５－２）もしくは（５－３）式より回転半径Ｒを求め、（５－１）式に代入することでｈgが求まる。

（５－２）式を使用する場合、速度dｈg/dtは、加速度センサ４２のｚ成分（αz）から、フィルタ処理（ＨＰＦなど）で重力加速度を除去し、時間積分したものである（Ｖzとする）。dθpitch/dtは、ジャイロセンサ４３のピッチ成分（ωpitch）である。

（５－３）式を使用する場合、加速度d²ｈg/dt²は、加速度センサ４２のｚ成分（αz）からフィルタ処理で重力加速度を除去したものである。d²θpitch/dt²は、ジャイロセンサ４３のピッチ成分を時間微分したもの（dωpitch/dt）である。

図１５は、ジャイロ・加速度センサ４３，４２と運転者５間の距離Ｌの測定法を示す図である。距離Ｌは、運転者５の身長や体勢により異なるため、視点検出装置２０の測距機能（距離検出器４６）を用いてリアルタイムに測定する。この図では、運転者５ａ，５ｂに対する距離Ｌａ，Ｌｂが測定される。

以上より各パラメータｈg、Ｒ、Ｌの値が求まると、（５－４）式により運転者５の位置における鉛直変位ｈdを算出する。
ｈd＝ｈg・(Ｒ－Ｌ)／Ｒ （５－４）
オブジェクトの表示位置の補正では、回転ブレ量であるθpitchとシフトブレ量であるｈdに応じてオブジェクト位置をずらして表示する。

図１６は、実施例２のフローチャートを示す図である。
Ｓ２０１：ジャイロセンサ４３から３軸方向の角速度（ωroll，ωyaw，ωpitch）を取得する。

Ｓ２０２：ピッチ成分ωpitchをフィルタ処理し（ＨＰＦでオフセット除去、ＬＰＦで高周波ノイズ除去）、フィルタ処理したωpitchを積分し、ピッチ角度θpitchを算出する（減衰係数を掛け、発散を防止）。
Ｓ２０３：フィルタ処理したωpitchを微分し、dωpitch／dtを算出する。

Ｓ２０４：加速度センサ４２から３軸方向の加速度（αx，αy，αz）を取得する。
Ｓ２０５：鉛直成分の加速度αzをフィルタ処理し（ＨＰＦで重力加速度を除去、ＬＰＦで高周波ノイズ除去）、さらに積分して鉛直方向の速度Ｖzを算出する（減衰係数を掛け、発散を防止）。

Ｓ２０６：上記で求めたαz，Ｖz，ωpitch，dωpitch/dtを用いて、回転半径Ｒとセンサの鉛直変位ｈgを算出する。このとき、（５－２）または（５－３）式からＲを算出し、（５－１）式からｈgを算出する。
Ｓ２０７：視点検出装置２０でジャイロ・加速度センサ４３，４２と運転者５間の距離Ｌを測定する。

Ｓ２０８：上記で求めたＲ，ｈg，Ｌを用いて、（５－４）式から運転者５の鉛直変位ｈdを算出する。
Ｓ２０９：回転ブレ量θpitchとシフトブレ量ｈdに応じてオブジェクトの表示位置を変更する。
Ｓ２１０：表示終了か否かを判定し、継続する場合はＳ２０１に戻り、上記処理を繰り返す。

ここで、実施例２には以下の変形例が可能である。変形例ではジャイロセンサ４３と２個の加速度センサ４２を設置して、回転半径を別の手法で求めるものである。

図１７は、変形例における補正計算を説明する図である。車両の前後位置に、加速度センサ４２ａと４２ｂをそれぞれ取り付ける。２個の加速度センサ４２ａ，４２ｂ間の距離をＤ（固定）とする。ジャイロセンサ４３から求めたピッチ角度をθpitchとする。前方の加速度センサ４２ａの位置における鉛直変位をｈga、後方の加速度センサ４２ｂの位置における鉛直変位をｈgbとする。回転ブレに対応する支点Ｓとするとき、変位ｈgaに対する回転半径をＲa、変位ｈgbに対する回転半径をＲbとする。

各パラメータの関係は以下の式で表される。
ｈga＝Ｒa・θpitch（ただし、θpitch＜＜１） （６－１ａ）
ｈgb＝Ｒb・θpitch（ただし、θpitch＜＜１） （６－１ｂ）
dｈga/dt＝Ｒa・（dθpitch/dt） （６－２ａ）
dｈgb/dt＝Ｒb・（dθpitch/dt） （６－２ｂ）
d²ｈga/dt²＝Ｒa・（d²θpitch/dt²） （６－３ａ）
d²ｈgb/dt²＝Ｒb・（d²θpitch/dt²） （６－３ｂ）
Ｒa－Ｒb＝Ｄ ・・・（６－４）
（６－２ａ），（６－２ｂ）式もしくは（６－３ａ），（６－３ｂ）式より回転半径Ｒa、Ｒbを求める。

まず、（６－２ａ），（６－２ｂ）式を用いる場合は、
（dｈga/dt）／Ｒa＝（dｈgb/dt）／Ｒb （６－５）
ここで、速度成分（dｈga/dt）＝Ｖa、（dｈgb/dt）＝Ｖbとおくと、（６－４），（６－５）式より、
Ｒa＝Ｄ・Ｖa／（Ｖa－Ｖb) （６－６ａ）
Ｒb＝Ｄ・Ｖb／（Ｖa－Ｖb) （６－６ｂ）
となり、回転半径Ｒa、Ｒbが求まる。

一方、（６－３ａ），（６－３ｂ）式を用いる場合は、
（d²ｈga/dt²）／Ｒa＝（d²ｈgb/dt²）／Ｒb （６－７）
ここで、加速度成分（d²ｈga/dt²）＝αa、（d²ｈgb/dt²）＝αbとおくと、（６－４），（６－７）式より
Ｒa＝Ｄ・αa／（αa－αb） （６－８ａ）
Ｒb＝Ｄ・αb／（αa－αb） （６－８ｂ）
となり、回転半径Ｒa、Ｒbが求まる。

なお、回転半径Ｒa、Ｒbの符号は、加速度センサ４２ａ、４２ｂと支点Ｓの位置関係で正負が決まる。（６－１ａ），（６－１ｂ）式より、θpitchと変位ｈgx（x:a,b）の極性（方向）が同じであればＲx（x:a,b）は正、異なれば負となる。図１７の場合はＲa，Ｒbとも正の値である。

図１８は、運転者の鉛直変位ｈｄの測定法を示す図である。前方の加速度センサ４２ａと運転者５間の距離Ｌは、視点検出装置２０の測距機能（距離検出器４６）を用いて測定する。

以上より各パラメータｈga、Ｒa、Ｌの値が求まると、（６－９）式により運転者５の位置における鉛直変位ｈdを算出する。
ｈd＝ｈga・（Ｒa－Ｌ）／Ｒa （６－９）
オブジェクトの補正では、回転ブレ量θpitchとシフトブレ量ｈdに応じてオブジェクト位置をずらして表示する。上記変形例によれば、回転半径Ｒを求めるにあたりジャイロセンサ４３の値を使用する必要がない。

実施例２によれば、車両の振動として回転ブレとシフトブレの両方を検出するとともに、運転者の視点位置を考慮することで、表示オブジェクトの表示位置を高精度に補正することができる。

１：ヘッドアップディスプレイ（ＨＵＤ）システム、
２：車両、
３：ウィンドシールド、
５，５’：運転者（運転者の目）、
８：虚像、
１０：ＨＵＤ装置、
１１，２１，３１：制御部、
２０：視点検出装置、
３０：前方センシング装置、
４２：加速度センサ、
４３：ジャイロセンサ、
５１：映像表示装置、
８０：映像表示範囲、
８１，８２：表示オブジェクト、
１３２：映像データ生成部。

Claims (8)

1. 車両に搭載し該車両の前方に映像を表示するヘッドアップディスプレイ装置と、前記車両の前方の物体を検出する前方センシング装置とを備えたヘッドアップディスプレイシステムにおいて、
   前記ヘッドアップディスプレイ装置には、映像データを生成する映像データ生成部と、
   前記映像データの映像光を出射する映像表示部を有し、
   前記映像データ生成部が生成する映像データには、映像表示範囲内の定位置に表示する常時表示オブジェクトと、前記前方センシング装置で検出した特定の物体に重ねて表示する実景重畳オブジェクトがあり、
   前記車両には、該車両の振動を検出するためにジャイロセンサが設置されており、
   前記映像データ生成部は、前記ジャイロセンサにより取得した２軸方向の角速度情報をもとに、前記映像表示部により表示するオブジェクトの表示位置のピッチング補正を行うものであって、
   前記車両が傾いた状態でカーブ走行する場合、前記常時表示オブジェクトについてはピッチング補正を抑制または中止し、前記実景重畳オブジェクトについてはオブジェクトの表示を暗くまたは中止することを特徴とするヘッドアップディスプレイシステム。
2. 請求項１に記載のヘッドアップディスプレイシステムにおいて、
   前記常時表示オブジェクトの補正について、
   前記ジャイロセンサにより取得したヨー方向の角速度｜ωｙａｗ｜が閾値ω0より小さい場合はＧ＝１に漸近し、前記｜ωｙａｗ｜が前記閾値ω０より大きい場合はＧ＝０に漸近する減衰項Ｇと、前記ジャイロセンサで検出されたピッチ角度とを掛け算することでピッチング補正を行うことを特徴とするヘッドアップディスプレイシステム。
3. 請求項２に記載のヘッドアップディスプレイシステムにおいて、
   前記常時表示オブジェクトについては、前記減衰項ＧがＧ＝０に漸近する場合、ピッチング補正を行わないことを特徴とするヘッドアップディスプレイシステム。
4. 請求項１に記載のヘッドアップディスプレイシステムにおいて、
   前記実景重畳オブジェクトの補正について、
   前記ジャイロセンサにより取得したヨー方向の角速度｜ωｙａｗ｜が閾値ω0より小さい場合はＧ＝１に漸近し、前記｜ωｙａｗ｜が前記閾値ω０より大きい場合はＧ＝０に漸近する減衰項Ｇと、前記実景重畳オブジェクトの変更前の表示の明るさを掛け算することで明るさ補正を行うことを特徴とするヘッドアップディスプレイシステム。
5. 請求項４に記載のヘッドアップディスプレイシステムにおいて、
   前記実景重畳オブジェクトについては、前記減衰項ＧがＧ＝０に漸近する場合、オブジェクトの表示を中止することを特徴とするヘッドアップディスプレイシステム。
6. 車両に搭載し該車両の前方に映像を表示するヘッドアップディスプレイ装置と、前記車両の前方の物体を検出する前方センシング装置とを備えたヘッドアップディスプレイシステムにおいて、
   前記ヘッドアップディスプレイ装置には、映像データを生成する映像データ生成部と、
   前記映像データの映像光を出射する映像表示部を有し、
   前記映像データ生成部が生成する映像データには、映像表示範囲内の定位置に表示する常時表示オブジェクトと、前記前方センシング装置で検出した特定の物体に重ねて表示する実景重畳オブジェクトがあり、
   前記車両には、該車両の振動を検出するためにジャイロセンサが設置されており、
   前記映像データ生成部は、前記ジャイロセンサにより取得した３軸方向の角速度情報をもとに、前記映像表示部により表示するオブジェクトの表示位置のピッチング補正を行うものであって、
   前記ジャイロセンサで取得した角速度のピッチング成分ωpitch、ヨー成分ωyaw、ロール成分ωｒｏｌｌに対し、ロール成分ωｒｏｌｌについては時間積分してロール角度θrollとしたとき、
   ωc’＝ωｐｉｔｃｈ－ωｙａｗ・tanθroll
   より角速度ωc’を求め、前記常時表示オブジェクトと前記実景重畳オブジェクトの表示位置のピッチング補正を行うことを特徴とするヘッドアップディスプレイシステム。
7. 車両に搭載し該車両の前方に映像を表示するヘッドアップディスプレイ装置と、運転者の視点位置を検出する視点検出装置とを備えたヘッドアップディスプレイシステムにおいて、
   前記ヘッドアップディスプレイ装置には、映像データを生成する映像データ生成部と、
   前記映像データの映像光を出射する映像表示部を有し、
   前記車両には、該車両の振動成分として回転ブレとシフトブレを検出するためにジャイロセンサと加速度センサが設置されており、
   前記映像データ生成部は、前記ジャイロセンサにより取得した角速度情報と、前記加速度センサにより取得した加速度情報をもとに、前記映像表示部により表示するオブジェクトの表示位置の補正を行うものであって、
   前記加速度センサにおける鉛直変位が前記車両の回転ブレにより生じたとみなした場合の回転半径を求め、前記視点検出装置により検出した前記運転者の視点位置の情報から、前記運転者の位置における前記車両の回転ブレとシフトブレを算出し、オブジェクトの表示位置の補正を行うことを特徴とするヘッドアップディスプレイシステム。
8. 請求項７に記載のヘッドアップディスプレイシステムにおいて、
   前記加速度センサを前記車両の前後位置に２個設置し、前記２個の加速度センサの鉛直変位から前記回転半径を求めることを特徴とするヘッドアップディスプレイシステム。

Images