JP6587626B2 - カメラシステムによって様々な位置で撮影された複数の個別画像を１つの共通の画像につなぎ合わせるための方法 - Google Patents

Description

本発明は、カメラシステムによって様々な位置から撮影された複数の個別画像を１つの共通の画像につなぎ合わせるための方法に関する。

このような方法は、例えばドライブアシストシステムに使用される。ドライブアシストシステムは、車両の移動中に車両の運転者を支援することを目指している。

このような支援は次のような形式で行われる。
運転者の視野内に存在しない障害物との衝突を避けるために、車両の近傍領域の周囲を運転者に表示し、車両の移動中に走行快適性を高めるために、運転者のいくつかのアクティビティを肩代わりし、運転者のアクティビティを監視して、危険な状況が発生した場合に介入し、かつ／または乗車している運転者の必要性なしに自動運転する。

本発明は、特に、構成された視界をサラウンドビューシステム内にマッピングすることを目指している。

複数のカメラを備えたシステムにおいて、複数のカメラ画像をつなぎ合わせることが困難な課題であることは明らかである。画像が様々な位置にあるセンサにより検出されるという事実によって、複数の画像は視野変化に基づいて異なるものになる。２つのセンサが互いに離れていればいるほど、視野変化は大きくなり、それによって２つの画像の相違は互いに大きくなる。

複数のカメラ画像をつなぎ合わせるための様々な方法は、複数の画像の１つの共通の視界を生成するために設計されている。これらの画像は、一般的な形式で、同時に作動する様々なセンサによって検出されるか、様々な位置において連続する時点で作動する個別のセンサによって検出される。

様々な視界の画像をつなぎ合わせるための最新の従来技術は間隔評価に基づいており、この間隔評価は、個別の画像間の相違が大きいことによる影響を修正するための手段を提供する。間隔評価は、画像データから直接的に行われるか、または別のセンサデータとの融合の結果であってよい（例えば超音波システム、ライダーシステムまたはレーダシステム）。

自動車の周囲を所定の視界で表示するための方法はドイツ連邦共和国特許公開第１０２０１１０８２８８１号明細書により公知である。ドイツ連邦共和国特許公開第１０２０１１０８２８８１号明細書では、自動車の周囲の第１の画像情報が車載カメラシステムの少なくとも１つの車載カメラによって検出される。この方法では、三次元情報、例えば奥行き情報または三次元座標が、撮影された第１の画像情報に関連して決定される。三次元情報を用いて、第１第２の画像情報が所望の視界に応じて変換される。最終的に、第２の画像情報に基づく所望の視界における自動車の周囲が表示される。

サラウンドビューシステムにおいては、それぞれ構成された視界は、画像に基づくレンダリング（ＩＢＲ＝image based rendering）によって生成され、この場合、想定された投影面にテクスチャを備えるために、実際の画像が使用される。この投影面は、典型的な形式で、様々なセンサによって供給可能な間隔情報に基づいて表される。

類似の複数の点が互いに近くで投影されることによって、間隔情報に基づく投影面の変形が２つの画像の相違を小さくすることは明らかである。

それにも拘わらず、この解決策の公知の問題点は、投影面をダイナミックに変化させる必要があり、それによってしばしば、視覚上の不都合な効果を引き起こす原因となる鋭いエッジが生ぜしめられる、という点にある。

カメラシステムによって様々な位置から撮影された複数の個別画像を１つの共通の画像につなぎ合わせるための本発明の方法は、第１の幾何学形状を有する第１の投影面および第２の幾何学形状を有する第２の投影面を提供し、この場合、第１の投影面の各点に、第２の投影面上の点が所属しており、個別画像内に表示された対象物の、カメラシステムに対する配置を表す位置情報を検出し、検出された位置情報に基づいて、第１の投影面の第１の幾何学形状を変形し、個別画像のテクスチャ情報を、変形された第１の投影面の面領域に割り当て、第１の投影面の点のテクスチャ情報を、第２の投影面の対応する所属の点に伝送し、第２の投影面の視界から共通の画像を生成することを含む。この場合、第１および第２の投影面は仮想の面である。

これは好適である。何故ならば、このような形式でつなぎ合った範囲における複数の画像の大きい相違が縮小されるからである。さらに、第２の投影面の最小限の幾何学的変化によって若しくは幾何学的変化が存在しないことによって、スムーズな視覚的効果が得られる。画像妨害信号は減少される。しかも、共通の画像の生成時の演算コストの低減が得られる。

従属請求項は、本発明の好適な実施態様を示す。

この場合、第１の投影面が複数の多角形または基本形より形成され、これらの多角形または基本形の位置がそれぞれ１つのベクトルまたは頂点によって規定されていれば、好適である。これによって、必要な演算出力を最小限にすることができる。さらに、これによって第１の投影面の幾何学的な分解能の簡単な適合を行うことができる。

さらに、個別画像が、カメラシステムの周囲内の１つの共通の領域を示すオーバラップ領域をマッピングするようになっていれば、好適である。このようなオーバラップ領域によって、２つの個別画像間の特にスムーズな視覚的移行が得られる。

同様に、位置情報が複数の個別画像と同時に検出されるようになっていれば、好適である。これによって、幾何学的なデータとグラフィックなデータとの間のずれは最小化され、それによって、このようなずれに基づいて発生する画像妨害信号は阻止される。

好適には、カメラシステムは車両のサラウンドビューシステムである。これは好適である。何故ならば、このような周辺状況内には、位置情報を検出するために必要なセンサがしばしば既に存在しているからである。

さらに、個別画像が、時間的にずらしてカメラシステムの同じカメラによって検出されるようになっていれば、好適である。これによって、必要なカメラの数は減少され、ひいてはさらなるコスト的な利点が得られる。

本発明による方法を実行するために設計された画像処理ユニットまたはコンピュータは、同様に好適である。このような画像処理ユニットまたはコンピュータは、本発明による方法のすべての利点を有している。さらに、これによって、既存のカメラシステムを簡単な形式で拡張することができるユニットが提供される。

また、コンピュータで読み込まれたときに、本発明による方法を実行するために適したプログラム部分を有しているコンピュータプログラム製品が好適である。このようなコンピュータプログラム製品によって、既存の画像処理ユニットを拡張するための簡単な方法が提供される。

本発明による方法を実行するために設計された画像処理ユニットを備えた車両を示す図である。 第１および第２の投影面を示す図である。 変形された第１の投影面を示す図である。 伝送されたテクスチャ情報を有する第２の投影面を示す図である。

本発明の実施例を、添付の図面を用いて以下に詳しく説明する。

図１は、本発明による方法を実行するために設計された画像処理ユニット２を備えた車両１を示す。

車両１は、カメラシステムを有するサラウンドビューシステムを装備している。カメラシステムは、車両１の全周囲を検出する４つのカメラ１１〜１４を有している。第１のカメラ１１の光軸は車両の縦軸線に沿って前方に向けられており、第２のカメラ１２の光軸は車両の縦軸線に沿って後方に向けられており、第３のカメラ１３の光軸は車両の横軸線に沿って右方向に向けられており、第４のカメラ１４の光軸は車両の横軸線に沿って左方向に向けられている。これらのカメラ１１〜１４によって、相応のカメラの視野内に存在する、車両の周囲のそれぞれの部分を表示する個別画像が検出される。隣接し合うカメラの視野はオーバラップしている。従って、例えば車両の前方右側の領域は、第１のカメラ１１によっても、また第３のカメラ１３によっても検出される。従って、カメラ１１〜１４のそれぞれ検出された個別画像によって、それぞれ隣接するカメラによっても検出される、カメラシステムの周囲内の領域を示すオーバラップ領域がマッピングされ、カメラ１１〜１４によって検出された個別画像は、それぞれ１つの画像データ配線を介して画像処理ユニット２に伝送される。

車両はさらに間隔センサ装置を装備している。この間隔センサ装置は、複数の超音波センサ２０を有している。これらの超音波センサ２０は、車両１の外側範囲に配置されていて、これらの超音波センサ２０が全体で車両１の全周囲を検出し、それによって車両１の周囲内に存在する対象物３０の位置情報を検出するように、それぞれ互いに間隔を保っている。カメラシステムおよびひいてはカメラ１１〜１４も、また間隔センサ装置およびひいては超音波センサ２０も、それぞれ車両１の定置の位置に配置されているので、間隔センサ装置は、カメラシステムに対する対象物３０の位置情報を検出することができる。超音波センサ２０によって検出された位置情報は、それぞれ１つのデータ配線を介して画像処理ユニット２に伝送される。画像処理ユニット２は電子計算機である。

画像処理ユニット２によって、個別画像を１つの共通の画像につなぎ合わせるための方法が実行される。この場合、幾何学的に形成された投影面の２重のセットが使用され、この際に、一方の投影面はレンダリングされるのではなく、単に個別画像をつなぎ合わせるための補助として使用されるだけであることが、基本的な考え方である。この幾何学的に形成された補助的な投影面は、これらの投影面がこれらの投影面間に同数の頂点および結合部を有するように、可視的な投影面に１対１結合で結合される。

このために、第１段階でまず、第１の幾何学形状を有する第１の投影面Ｇ′および第２の幾何学形状を有する第２の投影面Ｇが準備される。第１の投影面Ｇ′も、また第２の投影面Ｇも、仮想の三次元空間内で、その幾何学構造の幾何学形状を例えばベクトルによって示すことができる。この場合、仮想の三次元空間は最も簡単なケースでは、車両周囲の実際に存在する空間のマップである。つまり、仮想の三次元空間内の各位置点に、車両周囲の実際に存在する空間内の位置点が割り当てられている、ということである。第１の投影面Ｇ′および第２の投影面Ｇは、例えばそれぞれ複数の多角形およびそれぞれ１つの所属の頂点によって規定されていてよい。

図２は、仮想の三次元空間内の第１の投影面Ｇ′および第２の投影面Ｇを示す。この場合、簡略化のために、第１の投影面Ｇ′および第２の投影面Ｇが設定されている仮想の三次元空間の二次元平面だけが示されている。第１の投影面Ｇ′は、複数の点Ｐ′_０〜Ｐ′_７より成っている。第２の投影面Ｇは、複数の点Ｐ_０〜Ｐ_７より成っている。これらの点の数は、ここに記載された８つの点に限定されるものではなく、それぞれの要求に適合され得ることは自明である。第１の投影面Ｇ′の各点Ｐ′_０〜Ｐ′_７に、第２の投影面Ｇ上の点Ｐ_０〜Ｐ_７が所属している。図面に示した例では、第１の投影面Ｇ′の点Ｐ′_０に、第２の投影面Ｇの点Ｐ_０が割り当てられている。第１の投影面Ｇ′の点Ｐ′_１に、第２の投影面Ｇの点Ｐ_０が割り当てられている。第１の投影面Ｇ′の点Ｐ′_２に、第２の投影面Ｇの点Ｐ_２が割り当てられている。第１の投影面Ｇ′の点Ｐ′_３に、第２の投影面Ｇの点Ｐ_３が割り当てられている、等々である。

この場合、第２の投影面の幾何学形状は、例えば第２の投影面の各点が、仮想のカメラの位置である仮想の三次元空間内の点から見ることができるように選定されている。この場合、仮想のカメラは、複数の個別画像からつなぎ合わされた共通の画像に相当する画像を検出するであろうカメラである。従って、第２の投影面は、仮想のカメラの位置を巡って例えば球面状に延在していてよく、この場合、仮想のカメラの位置は必ずしもこの球面の範囲の中央に位置していなくてもよい。別の例では、第２の投影面Ｇの幾何学形状は、もちろん異なって規定されてよい。従って、第２の投影面Ｇの幾何学形状は、同様に、車両１を完全にまたは部分的にのみ包囲するかまたは特別にカメラ１１〜１４によって検出された領域に適合された、別の丸い形状または角張った形状を有していてよい。

第２段階Ｓ２で、カメラシステムに対する、個別画像内に表示された対象物３０の配置を表す位置情報が、間隔センサによって検出され、画像処理ユニット２に伝送される。

第３段階Ｓ３で、検出された位置情報に基づいて、第１の投影面Ｇ′の第１の幾何学形状の変形が行われる。これは、例えば、まず位置情報が、同様に第１の投影面Ｇ′も設定されている仮想の三次元空間内に伝送されることによって行うことができる。

これは図３に例として示されている。図３は、変形された第１の投影面Ｇ′を示す。個別画像内に示された対象物３０は、この対象物３０に該当する位置情報によって、仮想の三次元空間に伝送される。これは可能である。何故ならば、仮想の三次元空間内の各位置点に、車両周囲の実際に存在する空間内の位置点が割り当てられているからである。

ここに記載された例として挙げられた状況において、対象物３０は、車両１の右隣にある対象物である。対象物３０は、超音波センサ２０によって検出され、車両１およびカメラシステムに対する、対象物３０の形状および対象物３０の位置を表す位置情報が、画像処理ユニットに伝送される。画像処理ユニットで、対象物３０のマップが仮想の三次元空間内に生成される。

第１の投影面Ｇ′の幾何学形状は、仮想のカメラの位置に対する第１の投影面上のすべての点の間隔が、これらの第１の投影面上のすべての点が仮想のカメラに向けられた、対象物３０の表面上に位置するように、短縮されることによって、変形される。この場合、第１の投影面Ｇ′のこのような変形は、例えば対象物３０の、車両１とは反対側およびひいては対象物の全形状が、間隔センサ装置によって完全に検出され得ないときでも可能であることは明らかである。点の位置は、特に、１つの点が位置する多角形の位置が変えられ、つまり所属の頂点が変えられることによって、変えられる。つまり、第１の投影面Ｇ′の補助的な幾何学形状は、間隔情報に基づいて変形される。

第４段階Ｓ４で、変形された第１の投影面Ｇ′の面領域に対する、個別画像のテクスチャ情報の割り当てが行われる。この例では、テクスチャ情報は、カメラ１１〜１３のうちの１つの個別画像から得られる色情報に相当する。

これは、同様に図３に例として示されている。図３では、第３のカメラ１３の光学的な中心３１が仮想の三次元空間内に示されている。仮想の三次元空間内の各位置点に、車両周囲の実際に存在する空間内に位置点が割り当てられているので、同様に、仮想の三次元空間内のカメラシステムの第３のカメラ１３の位置が明らかである。第３のカメラ１３の光学的な中心３１の前に、第３のカメラ１３によって検出された、カメラ投影面３２内の個別画像が位置している。実際に存在する空間内で、このカメラ投影面３２は第３のカメラ１３の画像センサに相当し、ひいては第３のカメラ１３によって検出された個別画像にも相当する。第３のカメラ１３の個別画像の各点は、カメラ投影面３２上の点である。これらの点は、例えば、同様に色情報と関連付けられている座標（ｕ，ｖ）によって表される。カメラ投影面３２は、対象物３０と第３のカメラ１３の光学的な中心３１との間に位置している。このことは同時に、第３のカメラ１３の個別画像内の対象物３０が示されている、ということである。

各点Ｐ′_０〜Ｐ′_７と第３のカメラ１３の光学的な中心３１との間に直線が引かれ、各点Ｐ′_０〜Ｐ′_７に、それぞれ所属の直線が通る、個別画像の点の色情報が割り当てられることによって、第１の投影面Ｇ′の各点Ｐ′_０〜Ｐ′_７に色情報が割りふられる。従って、各点Ｐ′_０〜Ｐ′_７に、第３のカメラ１３の個別画像より成る、同様に色情報が関連付けられている座標（ｕ，ｖ）が割り当てられる。

第１の点Ｐ′_０に、第３のカメラ１３の個別画像より成る第１の座標（ｕ_０，ｖ_０）が割り当てられ、第２の点Ｐ′_１に、第３のカメラ１３の個別画像より成る第２の座標（ｕ_１，ｖ_１）が割り当てられ、第３の点Ｐ′_２に、第３のカメラ１３の個別画像より成る第３の座標（ｕ_２，ｖ_２）が割り当てられる、等々である。従って、第１の投影面Ｇ′の点のそれぞれに、色情報およびひいてはテクスチャも割り当てられる。

対象物３０が２つのカメラの個別画像のオーバラップ範囲内に位置しているために、対象物３０がカメラシステムの２つのカメラの個別画像内に示されている場合、第１の投影面の個別点に、２つのカメラのテクスチャ情報を割り当てることができる。対象物３０が、例えば第３のカメラ１３の個別画像内にも、また第１のカメラ１１の個別画像内にも示されている場合、この領域に、第１のカメラ１１の個別画像のテクスチャ情報または第３のカメラ１３の個別画像のテクスチャ情報（つまり色情報）が割り当てられてよい。この場合、一方のカメラが優先されるか、またはこのような点に例えば、２つの可能な色値の中間値から形成される色値が割り当てられる。

この場合、各個別点のためにテクスチャ情報を個別に算出する必要は必ずしもない。同様に、個別画像の領域、およびひいては複数の点の色情報も、第１の投影面Ｇ′のそれぞれ１つの多角形、若しくはこの多角形に所属する頂点に割り当てられてよい。

第５の方法段階で、第１の投影面の複数の点のテクスチャ情報が第２の投影面の相応の所属する複数の点に伝送される。これは、第１の投影面Ｇ′の点に割り当てられた座標（ｕ，ｖ）または少なくともこの座標に関連付けられた色情報が、第２の投影面Ｇの所属の点に伝送されることによって、行われる。従って、テクスチャ情報は、変形にさらされていない第２の投影面Ｇに伝送されている。

テクスチャ情報が各個別点のために個別に算出されるのではなく、多角形的に算出されている場合、第１の投影面Ｇ′の多角形の色情報は、それぞれ第２の投影面Ｇの所属の多角形に伝送される。

これは図４に示されている。図４は、伝送されたテクスチャ情報を有する第２の投影面Ｇを示す。第１の点Ｐ_０に、第３のカメラ１３の個別画像より成る第１の座標（ｕ_０，ｖ_０）が割り当てられ、第２の点Ｐ_１に、第３のカメラ１３の個別画像より成る第２の座標（ｕ_１，ｖ_１）が割り当てられ、第３の点Ｐ_２に、第３のカメラ１３の個別画像より成る第３の座標（ｕ_２，ｖ_２）が割り当てられ、等々であることが明らかである。従って、第２の投影面Ｇの点Ｐ_０〜Ｐ_７のそれぞれに、色情報およびひいてはテクスチャが割り当てられる。

第６の方法段階で、第２の投影面の視界から１つの共通の画像の生成が行われる。この視界は、ここでは仮想のカメラの位置から見た視界である。つまり、第２の投影面Ｇだけが見えて、この第２の投影面Ｇのために第１の投影面Ｇ′が見えないときに、仮想のカメラがその仮想の三次元空間内の位置から撮影されるであろう画像が算出されるか若しくはレンダリングされる、ということである。第２の投影面Ｇは、全体的にまたは部分的に表示される可視的な投影面としてみなされてよい。この場合、仮想のカメラの位置はこの時点では必要に応じて新たに選択され得る、ということを指摘しておく。

次いで、共通の画像が画像アウトプット装置、例えば車両１の内部に設けられたディスプレイにアウトプットされる。

要約すれば、本発明によれば、まず様々なセンサデータから得られる間隔情報が受信される。次いで、第１の投影面Ｇ′の幾何学形状を変形するために必要なパラメータが間隔情報から抽出される。このパラメータによって、第１の投影面の幾何学形状の変形が行われる。次いで、第１の投影面Ｇ′の各多角形／頂点のための座標の形のテクスチャ情報が算出される。この座標の形のテクスチャ情報が第２の投影面Ｇに伝送される。次いで、算出されたテクスチャ情報を有する第２の投影面Ｇから画像のレンダリングが行われる。

本発明は、車両に設けられたサラウンドビューシステムを用いて表されているが、本発明による方法は、複数の個別画像が１つの共通の画像につなぎ合わせられる別の分野においても用いることができる。

以上の文書的な開示の他に、明示的には図１〜４の開示が参照される。

１ 車両
２ 画像処理ユニット
１１ 第１のカメラ
１２ 第２のカメラ
１３ 第３のカメラ
１４ 第４のカメラ
２０ 超音波センサ
３０ 対象物
３１ 光学的な中心
３２ カメラ投影面
Ｇ 第２の投影面
Ｇ′ 第１の投影面
Ｐ_０〜Ｐ_７；Ｐ′_０〜Ｐ′_７ 点
ｕ，ｖ 座標

Claims (10)

1. カメラシステムによって様々な位置から撮影された複数の個別画像を１つの共通の画像につなぎ合わせるための方法において、
   第１の幾何学形状を有する第１の投影面（Ｇ′）および球面状に延在する第２の投影面（Ｇ）を提供し、この場合、前記第１の投影面（Ｇ′）の各点（Ｐ′０−Ｐ′７）に、前記第２の投影面（Ｇ）上の点（Ｐ０−Ｐ７）が所属しており、
   前記個別画像内に表示された対象物（３０）の、前記カメラシステムに対する配置を表す位置情報を検出し、
   検出された前記位置情報に基づいて、前記第１の投影面（Ｇ′）の前記第１の幾何学形状を変形し、
   前記個別画像のテクスチャ情報を、変形された前記第１の投影面（Ｇ′）の面領域に割り当て、
   前記第１の投影面（Ｇ′）の前記点（Ｐ′０−Ｐ′７）のテクスチャ情報を、変形されていない前記第２の投影面（Ｇ）の対応する所属の前記点（Ｐ０−Ｐ７）に伝送し、
   前記第２の投影面（Ｇ）の視界から前記共通の画像を生成する
   ことを特徴とするカメラシステムによって様々な位置から撮影された複数の個別画像を１つの共通の画像につなぎ合わせるための方法。
2. 前記第１の投影面（Ｇ′）を複数の多角形または基本形より形成し、これらの多角形または基本形の位置をそれぞれ１つのベクトルまたは頂点によって規定する
   ことを特徴とする請求項１記載の方法。
3. 前記個別画像が、前記カメラシステムの周囲内の１つの共通の領域を示すオーバラップ領域をマッピングする
   ことを特徴とする請求項１又は２に記載の方法。
4. 前記位置情報が前記個別画像と同時に検出される
   ことを特徴とする請求項１〜３の何れか１項に記載の方法。
5. 前記カメラシステムが、
   車両（１）のサラウンドビューシステムによって取り囲まれている
   ことを特徴とする請求項１〜４の何れか１項に記載の方法。
6. 前記個別画像が、
   時間的にずらして前記カメラシステムの同じカメラによって検出される
   ことを特徴とする請求項１〜５の何れか１項に記載の方法。
7. 請求項１〜６の何れか１項に記載の方法を実行するために設計されている
   画像処理ユニット（２）。
8. 請求項１〜６の何れか１項に記載の方法を実行するために設計されている
   コンピュータ。
9. コンピュータに請求項１〜６のいずれかに１項に記載の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
10. コンピュータに請求項１〜６のいずれかに１項に記載の方法を実行させるためのプログラム。
    

Images