JP5571199B2 - 地面に基づく画像と上からとられた画像の組み合わせに基づく三次元モデル法 - Google Patents

Description

本発明は、地面に基づくカメラ画像と上からとられたカメラ画像の組み合わせに基づく三次元モデル法であって、上からとられた画像に基づく存在する３Ｄモデルを地面レベルからとられた画像に基づく３Ｄモデルと突き合わせ、３Ｄモデル全体を改良することを含む方法に関する。

この関連において、地面に基づく画像は、地面から直接とられた画像、並びに例えば低空飛行のヘリコプターによって低い高さからとられた画像を含むものである。

地面に基づく装置からとられた画像を例えば飛行機によって空からとられた画像と組み合わせる基本的なアイディアは、特にＵＳ２００８／０２２１８４３Ａ１から、また２００３ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ‘０３）の手続においてＦｒｕｈｅ Ｃ他による論文「Ｃｏｎｓｔｒｕｃｔｉｎｇ ３Ｄ Ｃｉｔｙ Ｍｏｄｅｌｓ ｂｙ Ｍｅｒｇｉｎｇ Ｇｒｏｕｎｄ−Ｂａｓｅｄ ａｎｄ Ａｉｒｂｏｒｎ ｖｉｅｗｓ」から知られている。

地面に基づく装置からとられた画像を空からとられた画像と組み合わせるというこれらの二つの文献による解決策は、かなり複雑であり、画像情報の手による処理を伴なう。さらに、閉塞（ｏｃｃｌｕｓｉｏｎ）によって起こる問題の複雑性について全く述べられていない。不明瞭化（ｏｂｓｃｕｒａｔｉｏｎ）として閉塞を起こす物体の例は、木、照明用ポール、車などからの不明瞭化である。

街路からとられた画像からの眺め（「ストリートビュー」と称されることが多い）を作り上げるために今日利用可能な解決策があることも注意される。これらの解決策は、既知の方向を有する既知の地理参照位置からとられた３６０度カバーすることが多い画像に基づく。例えばマップ上で特定の地点を選択することによって、この地点から周囲を眺めることが可能である。観察者の目でなされた解釈以外の他の三次元モデルは作られない。

本発明の目的は、実施するには複雑でなく、自動的に実施でき、閉塞複雑性の問題を処理することができ、現実的な又は実際的な三次元世界の詳細なモデルを作ることができる、三次元モデル法を得ることである。

本発明の目的は、第１パラグラフに記載の三次元モデル法において、上からとられた画像に基づく３Ｄモデルと地面レベルからとられた画像に基づく３Ｄモデルがともに立体画像処理から作り上げられること、及び３Ｄモデル全体を得るための突き合わせにより、地面レベルからとられた画像及び上からとられた画像からのジオメトリー及び画像テクスチャーの推定、及び閉塞に関する工程を制御するために各カメラ位置からの３Ｄモデル全体における可視性の推定を含む工程が自動的に実施されることを特徴とする方法によって得られる。

地面からとられた画像は、地面レベルからの画像がとられるときのカメラの位置及び姿勢、及び各画素の方向についての情報を含むことが好ましい。

上からとられた画像に基づく三次元モデル、及び地面レベルからとられた画像との突き合わせは、地面に基づくシステムから見た多重深さの取り扱いを可能にし、例えば木が建物の前に位置されるときに木と建物の観察を分割することによって可能にする。

好ましくは、地面レベルからとられた画像に基づく３Ｄモデルは、要求により上からとられた画像に基づく存在する３Ｄモデルによって制御される。

好ましい方法によれば、高解像テクスチャーを有する地面レベルからとられた情報は、本質的に垂直及び下方に傾斜した表面を地面レベルからとられた画像に基づく画像で置換することによって上からとられた画像に基づく存在する３Ｄモデルの画像の質を高めるために使用される。全体モデルにおけるテクスチャーとして地面からとられた高解像画像の使用は、全体モデルの画像品質の向上をもたらす。

さらに好ましい方法によれば、上からとられた画像に基づく存在する３Ｄモデルを地面レベルからとられた画像と突き合わせることは、とられた画像の位置及び姿勢情報に基づく。

別の好ましい方法によれば、地面レベルから利用可能な全ての画像及び上からとられた画像は、ジオメトリー及びテクスチャーの両方に関して三次元モデルを推定するために考慮される。この方法は、最終三次元モデルの作成における最大の画像情報を利用する。

有利には、屋根のような高いレベルの表面が、上からとられた画像から推定されかつテクスチャー化され、家の正面のような垂直面が、地面レベルからとられた利用可能な画像から推定され、これらの画像からテクスチャー化される。この推定方法は、高品質画像情報が最終三次元モデルの作成に使用されることを確実にする。

地面レベルから及び上から画像をとるとき、画像の正確な位置と正確な姿勢の間の幾つかのずれが起こりやすい。かかるずれを最小化するためには、地面からとられた画像が位置及び姿勢のずれを補償するために相互に関連させられることが提案される。さらに、位置及び姿勢のずれを補償するために３Ｄモデルにおける地面からとられた画像が３Ｄモデルにおける上からとられた画像と関連させられることが提案される、地面レベルから並びに上からの画像と組み合わせた相互画像のためのフィッティング手順が可能である。

本発明は、添付図面を参照してより詳細に記載されるだろう。

図１ａ−１ｄは、不明瞭を含む閉塞問題を概略的に示す。

図１ａは、地面に基づくカメラによる撮像を示す上からの家の眺めである。図１ｂは、図１ａの家の地面に基づく眺めである。

図１ｃは、上から撮像される図１ａ及び１ｂの家の上からの眺めである。図１ｄは、上から撮像するカメラによる撮像を示す家の地面に基づく眺めである。

図２は、上からの画像の取り込みを概略的に示す。

図３ａは、データを収集するために使用される既知の立体写真法の一例を示す。図３ｂは、データを収集するために使用されるべき提案される立体写真法を示す。

図４は、地面に基づく画像と上からとられた画像の組み合わせに基づくモデル法の一例を概略的に示す。

不明瞭化問題は、家１の前に木２を有する家１を示す図１ａ−１ｄを参照して記載されるだろう。図１ａによれば、カメラは位置３．１−３．４で画像をとるために配置され、画像の視界は角度表示４．１−４．４によって示される。これらの画像は、三次元の地面に基づくモデルを形成するために使用される。示された角度表示から、木２は、特にその樹冠８によって家の正面９を隠す部分であることが明らかである。さらに、光条件に依存して、木２は家の正面９に影（図示せず）を作るだろう。

図１ｃ及び１ｄによれば、上からの撮像が示される。再び四つのカメラ位置５．１〜５．４は、とられた画像に対する画像の視界を示す対応する角度表示６．１〜６．４で示されている。これらの画像は、上からとられた三次元モデルを形成するために使用される。空輸システムから上から撮像するとき、現実的な周囲のある部分が撮像から除外される。この場合において、木２の幹７は目に見えない。

しかしながら、地面に基づく画像及び空輸システムからの画像からの画像情報を組み合わせることによって、閉塞及び不明瞭化問題のほとんどが対処される。もし空からの画像に基づく三次元モデルが利用可能であるなら、この先駆的な知識は木２の不明瞭化を取り扱うために使用されることができる。即ち、幾つかの異なる深さが観察方向で取り扱わなければならない。他方、上からとられた三次元モデルは木の幹７を観察することができず、それは地面に基づく三次元モデルからモデル化されることができる。

立体撮像のために使用される画像を収集するための原理が述べられる。図２によれば、カメラ１２を与えられた飛行機１１が第一位置では破断していない線によって示され、第二位置では破線によって地形１３上に示されている。図に示されるように、地形は高さが異なり、家のような切り立った構成１４及び波状の丘のような波状構成１５がある。第一位置におけるカメラの位置はｘ，ｙ，ｚによって示され、姿勢はα，β，γによって示される。従って、全て六つの回転度及び位置が利用可能である。示された第二カメラ位置に対する対応する位置及び姿勢はｘ′，ｙ′，ｚ′及びα′，β′，γ′によって示される。カメラ１２による地形のカバー範囲は第一位置に対しては線１６，１７によって示され、第二位置に対しては線１６′，１７′によって示される。第一位置からとられた地形の画像を第二位置からとられた画像と比較するとき、重複部分１８が同定されることができる。もし重複部分１８が観察されるなら、第一位置からとられた画像が切り立った構成１４の垂直な右部分１４．１についての画像情報を欠き、一方、同じ垂直右部分１４．１が第二位置から容易に撮像されることがわかる。従って、同じ領域位置をカバーする複数の画像を持っているので、現実の世界に密接に一致する三次元画像を作り上げる可能性を増加する。

図３ａは、既知の立体写真法の一例を示す。かかる方法は、飛行方向に約５０〜６０％の重複があり、隣接飛行に対しては主に重複はないが、実際には穴を避けるために約１０％の重複があるように、地形の上で下方に向けたカメラを与えられた飛行機又は他の飛行物体を飛ばすことによって得られる。図では、上部灰色ストリップ１９は第一飛行の足跡を示し、下部灰色ストリップ２０は第二飛行の足跡を示す。ストリップ１９，２０では、一つおきの画像からの足跡が立体矩形２３−３０として示され、一方、それらの間の一つおきの画像からの足跡が飛行方向２２に垂直な破線によって画定される矩形３１−３６として示されている。示された方法によって地面上の各地点は二つの画像でカバーされ、これらの画像から立体的な推定値が計算されることができる。

図３ｂは、使用されることができる立体写真法の別の提案される例を示す。提案される方法では、上部及び下部ストリップ１９，２０は飛行方向２２において８０％の重複を示し、隣接飛行間で６０％の重複を示す。飛行方向における好適な提案される重複は約６０〜９０％であり、隣接飛行間では約６０〜８０％である。異なるストリップ１９，２０では、飛行方向に沿って繰り返し存在する五つの連続する足跡を示す五つの異なる矩形３７〜４１を同定することができる。五つの矩形は、飛行方向に垂直な五つの異なる境界線（実線、ダッシュドット線、短いダッシュ線、長いダッシュ線、及びダッシュダブルドット線）によって示される。示されかつ図３ｂを参照して記載された方法によって、地面上の各地点は少なくとも１０個の画像でカバーされ、全てのこれらの画像は、領域の各地点に対する立体的な推定値に寄与することができる。

本発明の３Ｄモデル法に関係する画像処理は、図４を参照して記載される。

図２，３ａ及び３ｂを参照して上記に従って収集されかつ記憶ユニット４５で利用可能であることができる画像４４は、同じ領域位置をカバーする各可能な画像対ｎに対するステレオ視差を計算するステレオ視差ブロック４２に適用される。関係する各画像に対して画像がとられる位置ｘ，ｙ，ｚ及び姿勢α，β，γが知られている。即ち、全ての六つの回転度及び位置が知られている。さらに、各ステレオ視差の確実性の程度が推定される。この確実性の程度は局所コントラスト、可視性及び／又は解像度に基づくことができる。

ステレオ視差ブロック４２で計算されたステレオ視差は、推定された確実性の程度に注目して重み付けブロック４３において重み付け工程に供される。重み付け後に重み付けブロック４３の出力として利用可能なものは、格子として視覚化されることができる高さモデル４６である。この第一モデルから、元の立体的な推定値が、可視性、局所コントラスト、解像度のような情報及び不明瞭性のような可視性を考慮して、推定された３Ｄモデルの法線ベクトルに基づいて自動的にかつ適応して再重み付けされる。この関連において、例えば建物の上にまっすぐとられた画像は屋根構造（建物の側面ではない）を推定するために使用される。別の例は、建物の前側及び後側の混合を避けることであることができる。そばからの画像及び接続された測定を利用する反復法によって、隠された部分を明らかにする信頼性のある３Ｄモデルが得られる。重み付け法では、アウトライアーは区別されることができ、簡単な例として領域に対して残っているステレオ視差は、同様のステレオ視差の集中を見い出すために平均化又は他の算術的方法によって一緒に重み付けされる。

より簡単な計算では、同じ領域の二つの画像だけを要求する一つだけの立体写真対で十分であり、重み付けは簡略化されることができ、又は省略されることさえできる。

重み付けブロック４３の出力の３Ｄモデル４６に基づいて、三角形のワイヤーモデル４７が作り上げられ、三角形は、観察方向に適合する画像で覆われる。

同様の撮像が地面レベルからとられ、立体処理のための画像５４が記憶ユニット５５に記憶され、ステレオブロック５２で処理される。関係する各画像に対して、上からの撮像に関する場合と同様に、画像がとられる位置ｘ，ｙ，ｚ及び姿勢α，β，γは知られている。即ち、六つの回転度及び位置が知られている。ステレオ視差は、次いで三次元格子モデル５６が作り上げられる前に重み付けブロックで重み付けに供されることができる。地面に基づく画像を上からとられた画像と組み合わせるとき、画像情報が、上からとられた画像に対する画像モデルからの要求で格子モデル５６から取り出され、高解像テクスチャーが、地面に基づく格子モデルからとられた覆いを有する三角形のワイヤーモデル４７を完了するために地面に基づく格子モデルから取り出される。地面に基づくモデルと上からとられた画像に基づくモデルからのテクスチャーの全ての組み合わせは、画像がとられる位置ｘ，ｙ，ｚ及び姿勢α，β，γに関する完全な情報が全ての画像について知られていることを利用する。

図４では、画像処理は、上からとられた画像及び地面レベルからとられた画像について異なる処理チャネルによって示される。しかしながら、含まれるブロックの少なくとも一部が両チャネルに対して共通であることが可能である。

本発明は、上で例示した方法に限定されず、添付の特許請求の範囲内で変更可能である。

Claims (8)

1. 地面に基づくカメラ画像と上からとられたカメラ画像との組み合わせに基づく三次元モデル法であって、関係する画像に対して画像がとられる姿勢及び位置の情報が利用可能であり、三次元モデル法が、上からとられた画像に基づく存在する３Ｄモデルを地面レベルからとられた画像に基づく３Ｄモデルと突き合わせ、３Ｄモデル全体を改良することを含み、上からとられた画像に基づく３Ｄモデルと地面レベルからとられた画像に基づく３Ｄモデルがともに立体画像処理から作り上げられ、立体画像処理が、上からの撮像及び地面レベルからの撮像に対して、同じ領域位置をカバーする各可能な画像対に対するステレオ視差の計算、及び確実性の程度の推定を含むこと、重み付け工程が、推定された確実性の程度に注目してステレオ視差の重み付けを実施し、格子として視覚化された高さモデルを生成すること、元の立体視差推定値が、再び確実性の程度を考慮して、格子として視覚化された高さモデルの法線ベクトルに基づいて自動的にかつ適応して再重み付けされること、及び３Ｄモデル全体を得るための突き合わせにより、高さモデルに基づく地面レベルからとられた画像及び上からとられた画像からのジオメトリー及び画像テクスチャーの推定、及び閉塞に関する工程を制御するために各カメラ位置からの３Ｄモデル全体における可視性の推定を含む工程が自動的に実施されることを特徴とする方法。
2. 地面レベルからとられた画像に基づく３Ｄモデルが、要求により上からとられた画像に基づく存在する３Ｄモデルによって制御されることを特徴とする請求項１に記載の方法。
3. 地面レベルから利用可能な全ての画像及び上からとられた画像が、ジオメトリー及び画像テクスチャーの両方に関して三次元モデルを推定するために考慮されることを特徴とする請求項１又は２に記載の方法。
4. 高解像テクスチャーを有する地面レベルからとられた画像情報が、本質的に垂直及び下方に傾斜された表面を地面レベルからとられた画像に基づく画像で置換することによって上からとられた画像に基づく存在する３Ｄモデルの画像の質を向上するために使用されることを特徴とする請求項１〜３のいずれかに記載の方法。
5. 屋根のような高いレベルの表面が、上からとられた画像から推定されかつテクスチャー化されることを特徴とする請求項１〜４のいずれかに記載の方法。
6. 家の正面のような垂直面が、地面レベルからとられた利用可能な画像から推定され、これらの画像からテクスチャー化されることを特徴とする請求項１〜５のいずれかに記載の方法。
7. 地面からとられた画像が、位置及び姿勢のずれを補償するために相互に関連させられることを特徴とする請求項１〜６のいずれかに記載の方法。
8. ３Ｄモデルにおける地面からとられた画像が、位置及び姿勢のずれを補償するために３Ｄモデルにおける上からとられた画像と関連させられることを特徴とする請求項１〜７のいずれかに記載の方法。

Images