JP7319367B2

JP7319367B2 - 振動補償の装置および振動補償の方法

Info

Publication number: JP7319367B2
Application number: JP2021528325A
Authority: JP
Inventors: ユリヨヴィチスドブニコフ、ヴィクトル
Original assignee: ハーマンインターナショナルインダストリーズ，インコーポレイテッド
Priority date: 2019-03-15
Filing date: 2019-12-28
Publication date: 2023-08-01
Anticipated expiration: 2039-12-28
Also published as: KR20210011980A; WO2020190248A1; GB202017697D0; KR102501257B1; DE112019004159T5; JP2021533420A; US20210185232A1; GB2588305A; CN112673619A; GB2588305B; UA120581C2

Description

本発明は、車両、特に車に関し、拡張オブジェクトを表示するために車両の振動を補償および予測するのに使用され得る。

車両のウインドスクリーン表示ユニットが車両内の運転手の視野に虚像を作成することが、知られている。表示ユニットは、運転手の視野内のウインドスクリーン上に投影される画像信号を生成し発信する発信ユニットを含む。運転手は、投影された画像信号を虚像として認知する。表示ユニットは、投影路セクションに影響を与える少なくとも１つの移動可能な反射鏡を含む。虚像表現は、発信ユニットの制御された動作によって影響を受け、さらに、鏡の中央位置の画像信号に対する、発信された画像の信号の変化によっても影響を受ける。発信ブロックの動作は、認識された交通状況に依存して行われる［ＤＥ２０１５１０１１６１６Ａ１、２０１７－０３－０９］。

上記既知のユニットは、仮想オブジェクトを表示するために使用され、２つの方法でこの表示を補正する可能性を提供しているが、そのような必要な補正を予測および推定する機構は提供していない。したがって、デバイスの記載には、検討対象の処理に必要なユニットがなく、それ自体が、必要な特徴（画像補償の可能性）を有する記載されたシステムの一部である。

少なくとも１種類の拡張オブジェクトを車両内に位置する表面上に表示するように画像センサが設計されている、車両用の表示装置が知られている。この表示装置は、補償ツールを含む。この補償ツールにより、車両の動きに依存して、少なくとも１種類の表示された拡張オブジェクトのために、画像補償機構が実施される［ＤＥ１０２０１６００９５０６Ａ１、２０１７－０４－１３］。

上述した装置は、高周波振動補償ユニット、および補償を行う対応する周波数分離機構を含まない。装置ユニットのカスケード接続がないため、補償のカスケード処理が不可能となっている。前記処理は本発明のキー要素のうちの１つであり、これによって、異なる出現性質を有する振動成分の補償のために、周波数、レイテンシ、および精度において最適な方法が使用可能となる。また、上記既知の装置において提案されたユニットの接続では、異なる周波数に対する空間成分の補償に加えて、補償への別のアプローチを必要とする時間レイテンシの正確な評価ができない。この周知のデバイスにおいて提案された方法は、表示の処理の直前に仮想オブジェクトの位置を固定することを示唆している。一方、本提案された方法では、オブジェクト同士および現実世界のオブジェクトに対する、オブジェクトの相対位置の低周波数変化を予測する。これにより、表示デバイス（投影ディスプレイ）に生じるレイテンシをなくすことができる。

請求された発明に最も近いものは、車両内に位置する表面上に少なくとも１種類の拡張オブジェクトを表示する画像生成器を含む、車両用表示装置である。少なくとも１種類の拡張オブジェクトは、車両自体のモーションを少なくとも補償するように設計された補償デバイスを用いて車両の動きに従って調整されてもよい。この目的のために、補償装置は認識装置に接続され、認識装置によって、少なくとも車両自身の状態が検知され得、車両の動きが、特定された状態によってもたらされ得る。補償装置は、認識装置から受信した結果に基づき、１種類の拡張オブジェクトに対応する情報の少なくとも一部を修正するように設計される［ＤＥ１０２０１５００７５１８Ａ１、２０１６－０２－２５］。

ＤＥ２０１５１０１１６１６Ａ１、２０１７－０３－０９ＤＥ１０２０１６００９５０６Ａ１、２０１７－０４－１３ＤＥ１０２０１５００７５１８Ａ１、２０１６－０２－２５

この周知の装置は、２つのユニット（認識デバイスと、補償の可能性を有する情報を表示するためのデバイス）を有する。車内のこの認識デバイスは、信号受信からその認識の結果が出るまでのレイテンシの値が大きく、これにより、このデバイスを、提案されたデバイスの主題の主効果としての補償のために使用することができない。また、予測ユニットおよび高周波補償がないために、投影ディスプレイに期待される結果を得ることができない。

車両付近の環境についての情報を作成する方法は知られている。そこでは、車両付近の現実の環境オブジェクトが視覚的に表示され、これらの仮想オブジェクトが現実のオブジェクトとともに拡張現実の形で重畳される。車両の現在の動きプロファイルおよび／または車両付近の少なくとも１つの現実のオブジェクトの動きプロファイルに従って、仮想オブジェクトを表示する時間が決定される［ＤＥ１０２０１６００９５０６Ａ１］。

この方法は、ジャイロおよび加速度計振動評価の最終ステージを含んでいない。最終ステージは、最も高い周波数および精度を有し、上述した結果を達成しかつさらなる補償のためにそのような振動の周波数分離を提供できるものである。

上記方法は、車両および周囲のオブジェクトのモーションに関連する補償を記述している。この方法では、時間レイテンシおよび予測を考慮しているが、上記処理が高周波補償の最終ステップとつながっていない。

上記方法には、得られた結果の異なる周波数への分離がない。これは本提案の本質的な部分である。なぜなら、これによって、どの振動要素が補償される必要があり、どの振動要素が運転手の知覚の悪化および注意散漫につながるだけに過ぎないのか、を示す実験および試験に基づく最適な補償を可能にするからである。

データレイテンシの主たる源が特定されないため、システムを実際に実施することが困難になる。それら主たる源が分からなければ、異なる補償周波数へ分離することもまた不可能である。なぜなら、それらは、データの受信だけなくデータの送信においても、周波数およびレイテンシに依存しているからである。

プロトタイプの方法では、表示されたオブジェクトの相対位置は、表示の前の非常に短い時間で決定される。投影ディスプレイ上での時間を考慮すると、このアプローチでは、プロトタイプの主たる対象である車および周囲のオブジェクトの低周波数予測された動きに対してさえ、既存の設計技術（ＤＭＤ－デジタルマイクロミラーデバイス）で少なくとも２０ｍｓの更なるレイテンシが生じる。

本発明の基礎は、自動車拡張現実システムのための振動補償の装置を作成することである。本装置は、ディスプレイ上の画像がゼロレイテンシで運転手によって認知されるという事実から生じる拡張オブジェクトの位置の複合的補正、小丘や道の隆起を克服するための補償、ならびに車両揺動の様々な周波数および振幅の補償を提供する。これにより、これらの揺動を他の車両の揺動から分離してそれらの予測された部分を区別し、最適な補償のために残りの揺動を分類することが可能となる。

本発明の第２の目的は、自動車拡張現実システムのための振動補償の方法を作成することである。これは、データは遅延されるが投影ディスプレイ上の画像はゼロレイテンシで運転手によって認知されるという事実から生じる拡張オブジェクトの位置の複合的補正、ならびに、車両の揺動を他の車両の変位から分離しそれらの予測可能な部分を分離するために、車両の揺動の様々な周波数および振幅の補償を提供することを目的とする。

上記設定された目的は、以下の事実により解決される。すなわち、本発明による、振動補償モジュールを含む、自動車拡張現実システムのための振動補償の装置が、予測モジュールに接続された、認識前向きカメラと、ジャイロセンサと、加速度計と、車両センサとを含み、ジャイロセンサ、加速度計、および車両センサは、位置決めモジュールにも接続されており、ジャイロセンサおよび加速度計は振動補償モジュールにも接続されており、予測モジュール、位置決めモジュール、振動補償モジュール、および車両センサは、投影ディスプレイに接続された、データ描画のモジュールに接続されている。

上記設定された目的はまた、以下の事実により解決される。すなわち、本発明による、振動補償モジュールを含む、自動車拡張現実システムのための振動補償の装置が、認識モジュールに接続された、前向きカメラと、ジャイロセンサと、加速度計と、車両センサとを含み、認識モジュール、ジャイロセンサ、加速度計、および車両センサは予測モジュールに接続されており、ジャイロセンサ、加速度計、および車両センサは位置決めモジュールにも接続されており、ジャイロセンサおよび加速度計は振動補償モジュールにも接続されており、予測モジュール、位置決めモジュール、振動補償モジュール、および車両センサは、投影ディスプレイに接続された、データ描画のモジュールに接続されている。

上記設定された第２の目的は、以下の事実により解決される。すなわち、本発明による、自動車拡張現実システムのための振動補償の方法であって、車両および周囲のオブジェクトのモーションに関連づけられた、時間レイテンシおよび予測を考慮した補償が記述される、方法において、前向きカメラのマトリックスに光が入る瞬間に対するレイテンシと対応する周波数で前向きカメラからの認識結果が予測モジュール内へ転送され、ジャイロセンサおよび加速度計は、予測モジュールおよび位置決めモジュール内へデータを転送し、車両センサは様々な周波数およびレイテンシで予測モジュールおよび位置決めモジュール内へデータを転送し、車両位置および回転が、モジュール動作の累積時間分だけ現在の瞬間から隔たった瞬間のそれらの相対変位とともに位置決めモジュールによって算出され、車両位置、回転、および相対変位が予測モジュール内へ転送され、予測モジュールにおいて、受信したデータに基づいて、静的および動的オブジェクトの位置が別々に予測され、ジャイロセンサおよび加速度計からのデータが車両の振動補償モジュール内へ入り、振動補償モジュールにおいて、低周波数振動の予測が、描画およびデータ表示モジュールの動作の期間にわたって行われ、振動の残部が投影ディスプレイ上における視覚化のためにデータ描画モジュール内へ予測された部分とともに与えられ、一方で、データ描画モジュールにおいて、計算が行われ、振動補償モジュールの動作の期間にわたって積分された部分の一部または全部が加算され、運転手の目の変位を補償するために形成される画像の補正が、描画モジュールにおけるすべての補正の後に適用され、運転手のための最終結果が投影ディスプレイ上に視覚化される。

上記設定された第２の目的は以下の事実によっても解決される。すなわち、本発明による、自動車拡張現実システムのための振動補償の方法であって、車両および周囲のオブジェクトのモーションに関連づけられた、時間レイテンシおよび予測を考慮した補償が記述される、方法において、前向きカメラからのビデオストリームが認識モジュール内へ転送され、ジャイロセンサおよび加速度計と車両センサとがデータを認識モジュール内へ転送し、認識モジュール内において、受信したデータに基づいて周囲のオブジェクトが認識され、認識の結果が予測モジュール内へ転送され、ジャイロセンサおよび加速度計は、データを予測モジュールおよび位置決めモジュール内へ転送し、車両センサは、様々な周波数およびレイテンシで予測モジュールおよび位置決めモジュール内へデータを転送し、車両位置および回転が、モジュール動作の累積時間分だけ現在の瞬間から隔たった瞬間のそれらの相対変位とともに位置決めモジュールによって算出され、車両位置、回転、および相対変位が予測モジュール内へ転送され、予測モジュールにおいて、受信したデータに基づいて、静的および動的オブジェクトの位置が別々に予測され、ジャイロセンサおよび加速度計からのデータが車両の振動補償モジュール内へ入り、振動補償モジュールにおいて、低周波数振動の予測が、描画およびデータ表示モジュールの動作の期間にわたって行われ、振動の残部が投影ディスプレイにおける視覚化のためにデータ描画モジュール内へ予測された部分とともに与えられ、一方で、データ描画モジュールにおいて計算が行われ、振動補償モジュールの動作の期間にわたって積分された部分の一部または全部が加算され、運転手の目の変位を補償するために形成される画像の補正が描画モジュールにおけるすべての補正の後に適用され、運転手のための最終結果が投影ディスプレイ上に視覚化される。

現代の車における、より長いレイテンシを有するがよりよい精度を有する、より低い周波数データから始まって、より頻繁により速く到来するが時間経過とともに誤差を蓄積し得る周波数データまで行われる、このカスケードアプローチは、請求された装置をプロトタイプから区別する。

本装置は、すべてのデータを使用する。すなわち、自身のモーションについてのデータならびに静的および動的オブジェクトのモーションについてのデータ；高周波加速度計およびジャイロセンサからのデータ；ならびに予測モジュールからのデータを使用する。これらの機構の２つしか使用しない、またはそれら機構を相互接続を考慮せずに使用している、周知の類似物とは異なり、この提案されたアプローチによれば、高品質の結果を得ることができ、この種の装置の高必要条件を提供できる。
－表示システム動作時間レベルでのレイテンシ
－補正および予測における誤差の蓄積の排除
－データを取得後なるべく早く使用すること
－利用可能な最大周波数におけるデータの効果的使用
－異なる振動性質に対する様々な振動補償戦略の可能性

車両の位置および角度における高周波変化の効果的な補償は、この補償より下の周波数における自身のモーションおよび他のオブジェクトの動きの補償と密接にリンクしている。この関係は請求された発明において示されており、達成された結果は、より低い周波数からより高い周波数へ補償を行うという、提案されたカスケードスキームによるものである。
本明細書は、例えば、以下の項目も提供する。
（項目１）
振動補償モジュールを含む自動車拡張現実システムのための振動補償の装置であって、予測モジュールに接続された、認識前向きカメラと、ジャイロセンサおよび加速度計と、車両センサとを含み、前記ジャイロセンサおよび加速度計とセンサレーダーとは位置決めモジュールに接続されており、前記ジャイロセンサおよび加速度計は振動補償モジュールにも接続されており、前記予測モジュール、前記位置決めモジュール、前記振動補償モジュール、および前記車両センサは、投影ディスプレイに接続された、データ描画のモジュールに接続されている、ことを特徴とする、装置。
（項目２）
前記振動補償モジュールを含む自動車拡張現実システムのための振動補償の装置であって、認識モジュールに接続された、前向きカメラと、ジャイロセンサと、加速度計と、車両センサとを含み、前記認識モジュール、前記ジャイロセンサ、前記加速度計、および前記車両センサは予測モジュールに接続されており、前記ジャイロセンサ、前記加速度計、および前記車両センサは位置決めモジュールにも接続されており、前記ジャイロセンサおよび前記加速度計は振動補償モジュールにも接続されており、前記予測モジュール、前記位置決めモジュール、前記振動補償モジュール、および前記車両センサは、前記投影ディスプレイに接続された、データ描画の前記モジュールに接続されている、ことを特徴とする装置。
（項目３）
自動車拡張現実システムのための振動補償の方法であって、車両および周囲のオブジェクトのモーションに関連づけられた、時間レイテンシおよび予測を考慮した、前記補償が記述される、方法において、
前記前向きカメラのマトリックスに光が入る瞬間に対するレイテンシと対応する周波数で前記前向きカメラからの認識結果が前記予測モジュール内へ転送され、前記ジャイロセンサおよび加速度計は、前記予測モジュールおよび位置決めモジュール内へデータを転送し、前記車両センサは様々な周波数およびレイテンシで前記予測モジュールおよび前記位置決めモジュール内へデータを転送し、車両位置および回転が、モジュール動作の累積時間分だけ現在の瞬間から隔たった瞬間のそれらの相対変位とともに前記位置決めモジュールによって算出され、当該車両位置、回転、および相対変位が前記予測モジュール内へ転送され、前記予測モジュールにおいて、受信した前記データに基づいて、静的および動的オブジェクトの位置が別々に予測され、前記ジャイロセンサおよび加速度計からの前記データが車両の前記振動補償モジュール内へ入り、前記振動補償モジュールにおいて、低周波数振動の予測が、データ描画およびデータ表示モジュールの動作の期間にわたって行われ、前記振動の残部が投影ディスプレイ上における視覚化のために前記データ描画モジュール内へ前記予測された部分とともに与えられ、一方で、前記データ描画モジュールにおいて、計算が行われ、前記振動補償モジュールの動作の期間にわたって積分された成分の一部または全部を加算し、運転手の目の変位を補償するために形成される画像の補正が前記描画モジュールにおけるすべての補正の後に適用され、前記運転手のための最終結果が前記投影ディスプレイ上に視覚化される、ことを特徴とする、方法。
（項目４）
自動車拡張現実システムのための振動補償の方法であって、車両および周囲のオブジェクトのモーションに関連付けられた、時間レイテンシおよび予測を考慮した、前記補償が記述される、方法において、
前向きカメラから認識モジュール内へビデオストリームが転送され、前記ジャイロセンサ、加速度計、および車両センサがデータを前記認識モジュール内へ転送し、受信したデータに基づいて、前記認識モジュールは、周囲のオブジェクトを認識し、予測結果を前記予測モジュール内へ転送し、前記ジャイロセンサおよび前記加速度計は、前記予測モジュールおよび位置決めモジュール内へデータを転送し、前記車両センサは、様々な周波数およびレイテンシで前記予測モジュールおよび前記位置決めモジュール内へデータを転送し、車両位置および回転が、モジュール動作の累積時間分だけ現在の瞬間から隔たった瞬間のそれらの相対変位とともに前記位置決めモジュールによって算出され、当該車両位置、回転、および相対変位が前記予測モジュール内へ転送され、前記予測モジュールにおいて、受信した前記データに基づいて、静的および動的オブジェクトの位置が別々に予測され、前記ジャイロセンサおよび前記加速度計からの前記データが車両の前記振動補償モジュール内へ入り、前記振動補償モジュールにおいて、低周波数振動の予測が、データ描画およびデータ表示モジュールの動作の期間にわたって行われ、前記振動の残部が投影ディスプレイ上における視覚化のために前記データ描画モジュール内へ前記予測された部分とともに与えられ、一方で、前記データ描画モジュールにおいて計算が行われ、前記振動補償モジュールの動作の期間にわたって積分された成分の一部または全部が加算され、運転手の目の変位を補償するために形成される画像の補正が、前記描画モジュールにおけるすべての補正の後に適用され、前記運転手のための最終結果が前記投影ディスプレイ上に視覚化される、ことを特徴とする、方法。

プロトタイプと異なり、本発明の方法は、どの振動要素が補償される必要があり、どの振動要素が運転手の知覚の悪化および注意散漫につながるだけに過ぎないのか、を示す実験および試験に基づく最適な補償を可能にする。

表示されたオブジェクトの相対位置が表示前の非常に短い時間で決定されるプロトタイプと比較して、請求された発明はこの欠点を有しない。なぜなら、位置決定は、さらに低周波数振動も含む、物理的表示処理の時間に対応する時間分だけ先の予測を考慮しているからである。

本発明を図示する。
認識されたオブジェクトをカメラが提供する、車両の振動補償の装置の図。ビデオストリームをカメラが提供する、車両の振動補償の装置の図。

第１の実施形態による車両の振動補償の装置は、３軸周りの回転を含む車両の相対変位および絶対位置を算出する、自身のモーションおよび周囲のオブジェクトの動きを予測するモジュール４に接続された、認識されたオブジェクトを提供する認識前向きカメラ１と、ジャイロセンサおよび加速度計２と、車両センサ３とを含む。ジャイロセンサおよび加速度計２と車両センサ３とは、位置決めモジュール５にも接続されており、ジャイロセンサおよび加速度計２は、ジャイロセンサおよび加速度計測定に基づいて動作する振動補償モジュール６にも接続されている。予測モジュール４、位置決めモジュール５、振動補償モジュール６、および車両センサ３は、投影ディスプレイ８上に表示を行うためのデータ描画モジュール７に接続されている。データ描画モジュール７は投影ディスプレイ８に接続されている。

第２の実施形態による車両の振動補償の装置は、ビデオストリームにより自身のモーションと、周囲の動的オブジェクトと、周囲の静的オブジェクトとを認識するためのモジュール９に接続された、ビデオストリームを提供する前向きカメラ１と、ジャイロセンサおよび加速度計２と、車両センサ３（少なくともステアリングホイール回転および車両速度）とを含む。認識モジュール９と、ジャイロセンサおよび加速度計２と、車両センサ３とは、予測モジュール４に接続されている。ジャイロセンサおよび加速度計２と車両センサ３とは、認識モジュール５にも接続されている。ジャイロセンサおよび加速度計２は、振動補償モジュール６にも接続されている。予測モジュール４、位置決めモジュール５、振動補償モジュール６、および車両センサ３は、投影ディスプレイ８に接続されたデータ描画モジュール７に接続されている。

車両の振動補償の装置は、以下のように動作する。

第１の実施形態では、認識前向きカメラ１は、前向きカメラ１のマトリックスに光が入る瞬間に対するレイテンシと周波数Ｆ_１Ａで、予測モジュール４へ認識結果を転送する。

第２の実施形態では、前向きカメラ１は、前向きカメラ１のマトリックスに光が入る瞬間に対するレイテンシと周波数Ｆ_１Ｂで、認識モジュール９内へビデオストリームを転送する。ジャイロセンサおよび加速度計２は、認識モジュール９内へ周波数Ｆ_２とレイテンシでデータを転送する。車両のセンサ３は様々な周波数とレイテンシでモジュール９へデータを転送する。認識モジュール９は、受信したデータに基づき、周波数Ｆ_１Ｂで周囲のオブジェクトを認識し、前向きカメラ１のマトリックスに光が入る瞬間に対するレイテンシと周波数Ｆ_１Ｂで、認識結果を予測モジュール４内へ転送する。

さらに、両実施形態では、処理は同様である。ジャイロセンサおよび加速度計２は、周波数Ｆ_２で予測モジュール４内へデータを転送し、また、位置決めモジュール５内にも転送する。車両のセンサ３は様々な周波数およびレイテンシで予測モジュール４ならびに位置決めモジュール５へデータを転送する。位置決めモジュール５は、車両の位置とその相対変位を算出し、それらを、必要なおそらくは変化する周波数Ｆ_４で予測モジュール４へ転送する。

位置決めモジュール５は、モジュール４、７、および８の動作の累積時間分だけ現在の瞬間から隔たった瞬間についての、車両の位置および回転ならびにそれらの相対変位を算出し、それらを周波数Ｆ_４でデータ描画モジュール７内へ転送する。

受信したデータに基づき、予測モジュール４は、静的および動的オブジェクトの位置を別々に予測する。それは、後者を、それらオブジェクトの動きならびにジャイロセンサおよび加速度計２からのより高い周波数データの予測された非ランダム値としてのモデルから減算し、それらを対応する利用可能な時間間隔で積分することによって行われる。予測は、モジュール７および９の動作の累積時間分だけ結果予測の時間から隔たった瞬間に対して生じる。

車両の振動補償モジュール６は、ジャイロセンサおよび加速度計２からデータを受信し、時間間隔でデータを描画および表示するモジュール７の動作に関して低振動周波数の予測をする。振動の残部は、予測された部分と組み合わせて、異なる周波数に対応する付加的な部分として、投影ディスプレイ８に表示するためにデータ描画モジュール７へ提供される。

データ描画モジュール７は計算を行い、振動補償モジュール６の動作の期間にわたって積分された部分の一部または全部を加算する。

本レビューの範囲外において、運転手の目の変位を補償するために形成される画像の補正は、モジュール７において説明した補正のすべてを行った後、適用される。

データ転送および時間間隔をあけた投影ディスプレイ８での視覚化に関し、上記カスケード様式で推定され補正された、すべての拡張オブジェクトの最終予測位置は、描画され、投影ディスプレイ８へ転送され、投影ディスプレイ８において表示され、それによって、運転手が車両の前の仮想光景の形で最終結果を見ることができるようになる。そのオブジェクトの動きは、提案されたシステムによる運転手の視野における現実のオブジェクトの動きに対応している。

Claims

車両内の拡張現実システムのための振動補償の装置であって、
前向きカメラと、
ジャイロセンサと、
加速度計と、
車両センサと、
データ描画モジュールと、
前記ジャイロセンサ、前記加速度計、および前記車両センサと接続され、前記ジャイロセンサ、前記加速度計、および前記車両センサからデータを受信する位置決めモジュールであって、前記位置決めモジュールは、前記車両の位置および回転を算出する、位置決めモジュールと、
前記前向きカメラ、前記ジャイロセンサ、前記加速度計、前記車両センサ、および前記位置決めモジュールと接続され、前記前向きカメラ、前記ジャイロセンサ、前記加速度計、前記車両センサ、および前記位置決めモジュールからデータを受信する予測モジュールであって、前記予測モジュールは、前記車両のモーションおよび周囲のオブジェクトの動きを予測する、予測モジュールと、
前記ジャイロセンサおよび前記加速度計と接続され、前記ジャイロセンサおよび前記加速度計からデータを受信する振動補償モジュールであって、前記振動補償モジュールは、前記データ描画モジュールの動作の期間にわたって低振動周波数を予測する、振動補償モジュールと、
前記データ描画モジュールと接続され、前記データ描画モジュールから結果を受信する投影ディスプレイと
を備え、
前記データ描画モジュールは、前記予測モジュール、前記位置決めモジュール、前記振動補償モジュール、および前記車両センサと接続され、前記予測モジュール、前記位置決めモジュール、前記振動補償モジュール、および前記車両センサからデータを受信し、
前記データ描画モジュールは、前記振動補償モジュールからの前記予測された低振動周波数ならびに前記予測モジュールからの前記予測されたモーションおよび前記予測された動きの１つ以上の部分を組み合わせ、
前記データ描画モジュールは、前記投影ディスプレイによる表示のために、前記組み合わせられた１つ以上の部分に基づいて画像を描画する、装置。
前記予測モジュールはさらに、静的および動的オブジェクトの位置を予測することにより、予測された部分を生成する、請求項１に記載の装置。
前記データ描画モジュールはさらに、前記振動補償モジュールの動作の期間にわたって前記１つ以上の部分を積分する、請求項１に記載の装置。
車両内の拡張現実システムのための振動補償の装置であって、
前向きカメラと、
ジャイロセンサと、
加速度計と、
車両センサと、
前記前向きカメラ、前記ジャイロセンサ、前記加速度計、および前記車両センサと接続され、前記前向きカメラ、前記ジャイロセンサ、前記加速度計、および前記車両センサからデータを受信する認識モジュールであって、前記認識モジュールは、周囲のオブジェクトを認識する、認識モジュールと、
データ描画モジュールと、
前記ジャイロセンサ、前記加速度計、および前記車両センサと接続され、前記ジャイロセンサ、前記加速度計、および前記車両センサからデータを受信する位置決めモジュールであって、前記位置決めモジュールは、前記車両の位置および回転を算出する、位置決めモジュールと、
前記認識モジュール、前記ジャイロセンサ、前記加速度計、前記車両センサ、および前記位置決めモジュールと接続され、前記認識モジュール、前記ジャイロセンサ、前記加速度計、前記車両センサ、および前記位置決めモジュールからデータを受信する予測モジュールであって、前記予測モジュールは、前記車両のモーションおよび周囲のオブジェクトの動きを予測する、予測モジュールと、
前記ジャイロセンサおよび前記加速度計と接続され、前記ジャイロセンサおよび前記加速度計からデータを受信する振動補償モジュールであって、前記振動補償モジュールは、前記データ描画モジュールの動作の期間にわたって低振動周波数を予測する、振動補償モジュールと、
前記データ描画モジュールと接続され、前記データ描画モジュールから結果を受信する投影ディスプレイと
を備え、
前記データ描画モジュールは、前記予測モジュール、前記位置決めモジュール、前記振動補償モジュール、および前記車両センサと接続され、前記予測モジュール、前記位置決めモジュール、前記振動補償モジュール、および前記車両センサからデータを受信し、
前記データ描画モジュールは、前記振動補償モジュールからの前記予測された低振動周波数ならびに前記予測モジュールからの前記予測されたモーションおよび前記予測された動きの１つ以上の部分を組み合わせ、
前記データ描画モジュールは、前記投影ディスプレイによる表示のために、前記組み合わせられた１つ以上の部分に基づいて画像を描画する、装置。
前記予測モジュールはさらに、静的および動的オブジェクトの位置を予測することにより、予測された部分を生成する、請求項４に記載の装置。
前記データ描画モジュールはさらに、前記振動補償モジュールの動作の期間にわたって前記１つ以上の部分を積分する、請求項４に記載の装置。
自動車拡張現実システムのための振動補償の方法であって、車両および周囲のオブジェクトのモーションに関連づけられた、時間レイテンシおよび予測を考慮した、方法において、
前向きカメラのマトリックスに光が入る瞬間に対するレイテンシと対応する周波数で前記前向きカメラからの認識結果が予測モジュール内へ転送され、ジャイロセンサおよび加速度計は、前記予測モジュールおよび位置決めモジュール内へデータを転送し、車両センサは様々な周波数およびレイテンシで前記予測モジュールおよび前記位置決めモジュール内へデータを転送し、車両位置および回転が、モジュール動作の累積時間分だけ現在の瞬間から隔たった瞬間のそれらの相対変位とともに前記位置決めモジュールによって算出され、当該車両位置、回転、および相対変位が前記予測モジュール内へ転送され、前記予測モジュールにおいて、受信した前記データに基づいて、静的および動的オブジェクトの位置が別々に予測され、前記ジャイロセンサおよび加速度計からの前記データが車両の振動補償モジュール内へ入り、前記振動補償モジュールにおいて、低周波数振動の予測が、データ描画およびデータ表示モジュールの動作の期間にわたって行われ、前記振動の残部が投影ディスプレイ上における視覚化のために前記データ描画およびデータ表示モジュール内へ予測された部分とともに与えられ、一方で、前記データ描画およびデータ表示モジュールにおいて、計算が行われ、前記振動補償モジュールの動作の期間にわたって積分された成分の一部または全部を加算し、運転手の目の変位を補償するために形成される画像の補正が前記データ描画およびデータ表示モジュールにおけるすべての補正の後に適用され、前記運転手のための最終結果が前記投影ディスプレイ上に視覚化される、ことを特徴とする、方法。
自動車拡張現実システムのための振動補償の方法であって、車両および周囲のオブジェクトのモーションに関連付けられた、時間レイテンシおよび予測を考慮した、方法において、
前向きカメラから認識モジュール内へビデオストリームが転送され、ジャイロセンサ、加速度計、および車両センサがデータを前記認識モジュール内へ転送し、受信したデータに基づいて、前記認識モジュールは、周囲のオブジェクトを認識し、予測結果を予測モジュール内へ転送し、前記ジャイロセンサおよび前記加速度計は、前記予測モジュールおよび位置決めモジュール内へデータを転送し、前記車両センサは、様々な周波数およびレイテンシで前記予測モジュールおよび前記位置決めモジュール内へデータを転送し、車両位置および回転が、モジュール動作の累積時間分だけ現在の瞬間から隔たった瞬間のそれらの相対変位とともに前記位置決めモジュールによって算出され、当該車両位置、回転、および相対変位が前記予測モジュール内へ転送され、前記予測モジュールにおいて、受信した前記データに基づいて、静的および動的オブジェクトの位置が別々に予測され、前記ジャイロセンサおよび前記加速度計からの前記データが車両の振動補償モジュール内へ入り、前記振動補償モジュールにおいて、低周波数振動の予測が、データ描画およびデータ表示モジュールの動作の期間にわたって行われ、前記振動の残部が投影ディスプレイ上における視覚化のために前記データ描画およびデータ表示モジュール内へ予測された部分とともに与えられ、一方で、前記データ描画およびデータ表示モジュールにおいて計算が行われ、前記振動補償モジュールの動作の期間にわたって積分された成分の一部または全部が加算され、運転手の目の変位を補償するために形成される画像の補正が、前記データ描画およびデータ表示モジュールにおけるすべての補正の後に適用され、前記運転手のための最終結果が前記投影ディスプレイ上に視覚化される、ことを特徴とする、方法。