JP4102386B2

JP4102386B2 - ３次元情報復元装置

Info

Publication number: JP4102386B2
Application number: JP2005159249A
Authority: JP
Inventors: 一彦天野; 茂木村; 洋一大橋
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-05-31
Filing date: 2005-05-31
Publication date: 2008-06-18
Anticipated expiration: 2025-05-31
Also published as: JP2006337075A

Description

本発明は、撮影対象までの距離、撮影対象の形状および撮影したカメラの動きを画像から推定する３次元情報復元装置に関するものである。

カメラで撮影した画像データから撮影対象の３次元形状を求める手法として、ステレオ視あるいは両眼立体視と呼ばれる手法がある。２台のカメラのレンズ中心を離して配置して同一の撮影対象を撮影し、視点の異なる画像から撮影対象の奥行きを３角測量の原理で求めて撮影対象の３次元形状を復元する。

また、両眼立体視と同様の原理を用いて画像データから撮影対象の３次元形状を求める手法として運動立体視と呼ばれる手法がある。両眼立体視のように２台のカメラを配置するのではなく、運動立体視は、１台のカメラを移動させて視点の異なる画像を１台のカメラから得る。動画像データから時間差のある画像データを取り出せば、両眼立体視と同様に３角測量の原理により撮影対象の奥行きを求めることができる。

さらに、画像データだけを用いてカメラの運動量と撮影対象の距離を求める手法として、８点アルゴリズムと呼ばれる手法がある（非特許文献１）。８点アルゴリズムは、撮影対象上の８点を観測してカメラの移動の前後の８点の対応からカメラの運動量と８点の距離を求める手法である。

また、画像データだけを用いてカメラの運動量と撮影対象の距離を求める別の手法として、因子分解法と呼ばれる手法がある（非特許文献２）。カメラの移動の前後の画像の対応点の位置を成分に持つ計測行列を、カメラ又は撮影対象の運動を表現する行列と撮影対象の形状を表現する行列との積に分解することで動画像データから撮影対象の形状とカメラの視点の相対位置を同時に求める手法である。

H.C.Longuet-Higgins,"Computer Algorithm for Reconstructing a Scene From Two Projections,"Nature, vol.293, pp.133-135, Sept 1981. C. Tomasi and T. Kanade,"Shape and motion from image streams under orthography: A factorization method,"International Journal of Computer Vision, 9(2):pp.137-154, 1992.

しかしながら、従来技術には次のような課題がある。
従来の両眼立体視の技術を用いた３次元情報復元装置は、現実的なカメラの配置では遠距離にある撮影対象の距離を正確に求めることができず、また、カメラが２台必要であるという問題がある。
また、従来の運動立体視の技術を用いた３次元情報復元装置は、カメラの運動量を計測する手段が別に必要になるという難点がある。
また、従来の８点アルゴリズムや因子分解法の技術を用いた３次元情報復元装置は、撮影対象上の空間的に密な点の距離情報を求めることができないという問題がある。

本発明は上述のような課題を解決するためになされたもので、１台のカメラから得られた２次元の画像から、カメラの３次元運動と撮影対象上の空間的に密な３次元形状を求めることのできる３次元情報復元装置を提供することを目的とする。

本発明に係る３次元情報復元装置は、撮影対象を撮影したカメラの移動量と回転量の動き情報を動画像入力データに基づいて逐次推定する運動推定部と、撮影対象までの距離情報を動画像入力データに基づいて逐次推定する距離推定部とを備えた３次元情報復元装置であって、運動推定部は、今回時刻の動画像入力データと、今回時刻の仮定したカメラの移動量と回転量の動き情報と、距離推定部で推定された前回時刻の距離情報とに基づいて前回時刻のカメラ位置から見た動画像入力データを座標の第１変換後の動画像入力データとして生成し、第１変換後の動画像入力データと前回時刻の動画像入力データとの明度誤差をカメラの移動量と回転量の修正量で偏微分した結果として得られる方程式の解を用いて、今回時刻の仮定したカメラの移動量と回転量の動き情報を逐次修正することにより今回時刻のカメラの移動量と回転量の動き情報を推定し、距離推定部は、複数の今回時刻の仮定した距離情報のそれぞれに対して、前回時刻の動画像入力データと、運動推定部で推定された今回時刻のカメラの移動量と回転量の動き情報とに基づいて複数の座標の第２変換後の動画像入力データを生成し、複数の第２変換後の動画像入力データの中から、今回時刻の動画像入力データとの明度の一致度が最大となる第２変換後の動画像入力データを特定する処理を今回時刻の動画像入力データの画素毎に行い、特定した第２変換後の動画像入力データに対応する今回時刻の仮定した距離情報を今回時刻の距離情報として推定するものである。

本発明によれば、距離推定部が出力する距離情報を運動推定部の入力とし、運動推定部が出力する動き情報を距離推定部の入力とし、運動推定部および距離推定部の演算結果を交互に利用することにより、入力画像の情報だけから、運動推定部により撮影したカメラの動きを推定することができるとともに、距離推定部により撮影対象までの距離情報を推定することができ、１台のカメラから得られた２次元の画像から、カメラの３次元運動と撮影対象上の空間的に密な３次元形状を求めることのできる３次元情報復元装置を得ることができる。

以下、本発明の３次元情報復元装置の好適な実施の形態につき図面を用いて説明する。
本発明の３次元情報復元装置は、運動推定部と距離推定部とを備え、互いの推定結果を交互に利用することにより、１台のカメラからの動画像入力データからカメラの３次元運動と撮影対象上の空間的に密な３次元形状を求めることができることを特徴とする。

実施の形態１．
図１は、本発明の実施の形態１における３次元情報復元装置の構成図である。３次元情報復元装置は、運動推定部１００と距離推定部２００とで構成される。運動推定部１００は、動画像入力データである動画像データＩ（ｘ、ｙ、ｔ）と、距離推定部２００が出力する前回時刻の距離情報Ｄ（ｘ、ｙ、ｔ−δｔ）を受けて、カメラの３次元空間上の今回時刻の動き情報Ｍ（ｔ）を推定する。

ここでｘおよびｙは、画像平面上の座標を表す変数であり、ｔは時刻を表す。また、δｔは、動画像における１フレーム〜数フレームに対応する僅かな時間を表す。以下の記載において、ｔ−δｔは、ｔを今回時刻とした場合の前回時刻に相当する。そして、今回時刻の動き情報Ｍ（ｔ）とは、前回時刻ｔ−δｔから今回時刻ｔまでのカメラの動きに相当する。

動画像データであるＩ（ｘ、ｙ、ｔ）は、時刻ｔにおける点（ｘ、ｙ）上の画像の明度を表し、距離情報であるＤ（ｘ、ｙ、ｔ−δｔ）は、カメラのレンズ中心から点（ｘ、ｙ）方向に直線を延ばしたとき、時刻ｔ−δｔにおけるカメラのレンズ中心から直線と撮影対象とが交わる交点までの距離を表す。

カメラの動きは、カメラのレンズ中心の移動量Ｔ＝（Ｕ、Ｖ、Ｗ）とカメラの回転量Ω＝（Ａ、Ｂ、Ｃ）とを用いて表すことができ、撮影装置の動き情報Ｍ（ｔ）は、時刻ｔにおける（Ｕ、Ｖ、Ｗ、Ａ、Ｂ、Ｃ）を成分に持つベクトルとして表すことができる。

図２は、本発明の実施の形態１におけるカメラの動き量を表す成分（Ｕ、Ｖ、Ｗ、Ａ、Ｂ、Ｃ）の座標軸上でのそれぞれの方向を説明する図である。図２において、ｘｙ座標系は、画像面を表す２次元の座標系である。画像面に垂直にＺ軸をとり、画像面からカメラの焦点距離ｆだけ離れたＺ軸上に原点Ｏをとる。この原点Ｏは、視点を表し、カメラのレンズの中心に対応する。この原点Ｏからｘ軸、ｙ軸に平行にそれぞれＸ軸、Ｙ軸をとる。

ＸＹＺ座標系は、カメラに固定した座標系であり、カメラを中心とした３次元空間を表す。空間上の点Ｐ＝（Ｘ、Ｙ、Ｚ）は、この点Ｐと原点Ｏとを結ぶ直線の画像面との交点ｐに投影されることを表している。撮影装置の動きを表すＵ、Ｖ、Ｗは、それぞれＸ軸、Ｙ軸、Ｚ軸方向の撮影装置の並進移動量を表し、撮影装置の動きを表すＡ、Ｂ、Ｃは、それぞれＸ軸、Ｙ軸、Ｚ軸まわりの右ねじ方向の回転量を表すものとする。

距離推定部２００は、動画像データＩ（ｘ、ｙ、ｔ）と、運動推定部１００が出力するカメラの今回時刻の動き情報Ｍ（ｔ）を受けて、撮影対象までの今回時刻の距離情報Ｄ（ｘ、ｙ、ｔ）を推定する。

すなわち、ある時刻ｔを今回時刻とすると、まず始めに、運動推定部１００は、今回時刻の動画像データＩ（ｘ、ｙ、ｔ）と、距離推定部２００で推定された前回時刻の距離情報Ｄ（ｘ、ｙ、ｔ−δｔ）とに基づいて、今回時刻の動き情報Ｍ（ｔ）を推定する。次に、距離推定部２００は、今回時刻の動画像データＩ（ｘ、ｙ、ｔ）と、運動推定部１００で推定された今回時刻の動き情報Ｍ（ｔ）に基づいて、今回時刻の距離情報Ｄ（ｘ、ｙ、ｔ）を推定する。そして、これらの処理を交互に繰り返すことにより、本発明の３次元情報復元装置は、動き情報と距離情報を逐次推定することとなる。

図３は、本発明の実施の形態１における３次元情報復元装置の構成図であり、運動推定部１００と距離推定部２００の詳細な構成を示している。図３において、運動推定部１００は、第１の画像記憶部１１０、第１の座標変換部１２０、時空間微分処理部１３０、運動誤差推定部１４０、および運動誤差修正部１５０で構成される。一方、距離推定部２００は、第２の画像記憶部２１０、第２の座標変換部２２０、マッチング処理部２３０、および対応点探索部２４０で構成される。

始めに、運動推定部１００の作動原理を説明する。第１の画像記憶部１１０は、動画像データＩ（ｘ、ｙ、ｔ）を逐次記憶する記憶部であり、今回時刻ｔに対する前回時刻ｔ−δｔの動画像データＩ（ｘ、ｙ、ｔ−δｔ）を常に記憶している。

第１の座標変換部１２０は、前回時刻ｔ−δｔにおける距離情報Ｄ（ｘ、ｙ、ｔ−δｔ）と、今回時刻の仮定したカメラの動き情報Ｍ’（ｔ）を用いて、今回時刻の動画像データＩ（ｘ、ｙ、ｔ）を座標変換し、今回時刻の動画像データＩ（ｘ、ｙ、ｔ）を前回時刻ｔ−δｔにおけるカメラの位置から見た画像データに相当する第１変換後の動画像データＩ^Ｗ（ｘ、ｙ、ｔ）を生成する。

また、今回時刻の仮定したカメラの動き情報Ｍ’（ｔ）は、最終的に推定されるべき今回時刻のカメラの動き情報Ｍ（ｔ）に対して誤差量を含んでいるものであり、この誤差量を繰り返し演算により最小化することにより、今回時刻のカメラの動き情報Ｍ（ｔ）を求めることとなる。そこで、まず始めに、第１の座標変換部１２０による第１変換後の動画像データＩ^Ｗ（ｘ、ｙ、ｔ）の具体的な生成方法について、以下に説明する。

仮定したカメラの動き情報をＭ’（ｔ）＝（Ｕ、Ｖ、Ｗ、Ａ、Ｂ、Ｃ）とすると、撮影対象上の点がＭ’（ｔ）により画面上で見かけ上、移動して見え、オプティカル・フロー（ｘ（・）、ｙ（・））が生じる。ここで、（・）は、その前の記号の上に・が付されていることを意味する。撮影対象の画面上の点ｐは、撮影対象上の点Ｐと撮影装置の焦点距離ｆ、撮影対象のＺ座標であるＤを用いて下式（１）で表される。

画面上での見かけの動きであるオプティカル・フローは、式（１）を微分することにより、下式（２）で表される。

ここで、カメラに固定したＸＹＺ座標系が移動することにより、撮影対象上の点の位置が移動することから、カメラのレンズ中心の移動量Ｔ＝（Ｕ、Ｖ、Ｗ）およびカメラの回転量Ω＝（Ａ、Ｂ、Ｃ）による関係式Ｐ（・）＝−Ｔ−Ω×Ｐを用いて式（２）を変形し、各成分に分解すると、下式（３）が得られる。ここで、Ｐ（・）は、Ｐの上に・が付されていることを意味する。

第１の座標変換部１２０は、式（３）の（ｘ（・）、ｙ（・））を用いて下式（４）により座標変換を行う。

時空間微分処理部１３０は、第１の画像記憶部１１０が出力する前回時刻ｔ−δｔにおける入力画像Ｉ（ｘ、ｙ、ｔ−δｔ）および第１の座標変換部１２０が出力する第１変換後の画像Ｉ^Ｗ（ｘ、ｙ、ｔ）に対して下式（５）〜（７）の演算を行って３種類の画像を出力する。

式（５）および式（６）は、それぞれｘ軸方向およびｙ軸方向の空間微分を表し、ディジタル画像処理で公知のＰｒｅｗｉｔｔオペレータやＳｏｂｅｌオペレータにより実現することができる。式（７）は、時間方向の微分に関連した式であり、時間差のある２画面の差分を表している。

運動誤差推定部１４０は、時空間微分処理部１３０が出力する３種類の微分画像Ｉ_ｘ（ｘ、ｙ、ｔ−δｔ）、Ｉ_ｙ（ｘ、ｙ、ｔ−δｔ）、Ｉ_ｔ（ｘ、ｙ、ｔ）を受けて、第１の座標変換部１２０の入力に使用した、仮定したカメラの動き情報Ｍ’（ｔ）に含まれる誤差を推定する。

ここで、運動誤差推定部１４０の作動原理を具体的に説明する。カメラが移動して視点が僅かに変化した場合にも、撮影対象上の移動前後の同じ点において、画面上での明度は、ほとんど変化しない。従って、下式（８）が成り立つ。

ところが、仮定したカメラの動き情報Ｍ’（ｔ）に誤差が含まれると、Ｍ’（ｔ）の誤差が式（３）に従ってオプティカル・フロー（ｘ（・）、ｙ（・））の誤差（Δｘ（・）、Δｙ（・））となる。そして、画面上の対応点の誤差となって現れ、式（８）の明度に誤差が生じることになり、式（８）の右辺は、０にはならない。式（８）の左辺を２画面が重なる範囲Ｒ内で下式（９）のように加算すると、画面全体での明度の誤差の合計を表す式が得られる。

ｘ、ｙ、ｔの変化が小さい場合、Ｉ（ｘ、ｙ、ｔ）に対するテーラー展開から、式（９）は、下式（１０）のように近似することができる。

ここで、オプティカル・フローの誤差（Δｘ（・）、Δｙ（・））は、前述のように仮定したカメラの動き情報Ｍ’（ｔ）の推定誤差に起因する。そこで、カメラの動きの各成分の誤差を（ΔＵ、ΔＶ、ΔＷ、ΔＡ、ΔＢ、ΔＣ）と表すと、仮定したカメラの動き情報Ｍ’（ｔ）の推定誤差に起因する画面の明度誤差は、下式（１１）で表すことができる。

画面の明度誤差を最小にするような動きの各成分の誤差（ΔＵ、ΔＶ、ΔＷ、ΔＡ、ΔＢ、ΔＣ）は、明度誤差を最小化する動きの各成分の修正量と捉えることができる。この修正量を求めるために、ｅ_ｃをΔＵ、ΔＶ、ΔＷ、ΔＡ、ΔＢ、ΔＣそれぞれで偏微分すると、ｅ_ｃの最小点では偏微分がそれぞれ０となる。したがって、偏微分が全て０とおいた連立方程式（１２）を解くことにより、ｅ_ｃを最小にするΔＵ、ΔＶ、ΔＷ、ΔＡ、ΔＢ、ΔＣを求めることができる。

運動誤差推定部１４０は、式（１２）を解く演算手段であり、仮定したカメラの動き情報Ｍ’（ｔ）の推定誤差（ΔＵ、ΔＶ、ΔＷ、ΔＡ、ΔＢ、ΔＣ）を出力する。式（１２）の第１式であるｅ_ｃのΔＵによる偏微分は、展開すると下式（１３）となる。

式（１２）の第２式から第６式も同様に展開することができ、展開した結果は、いずれも未知数（ΔＵ、ΔＶ、ΔＷ、ΔＡ、ΔＢ、ΔＣ）についての１次式となり、未知数に係る係数は、カメラの焦点距離ｆと、画面上の座標（ｘ、ｙ）と、時空間微分処理部１３０が出力する３種類の微分画像Ｉ_ｘ、Ｉ_ｙ、Ｉ_ｔと、撮影対象上の点のＺ座標Ｄを用いて表すことができる。加算演算Σの後に、係数は定数となるので、式（１２）は、６元１次の連立方程式として簡単に解くことができる。

運動誤差修正部１５０は、第１の座標変換部１２０に前述したような仮定したカメラの動き情報Ｍ’（ｔ）＝（Ｕ、Ｖ、Ｗ、Ａ、Ｂ、Ｃ）を出力するとともに、運動誤差推定部１４０が求めた修正量（ΔＵ、ΔＶ、ΔＷ、ΔＡ、ΔＢ、ΔＣ）を下式（１４）のように加算することによりカメラの誤差の少ない新たな仮定した動き情報Ｍ’（ｔ）としてデータを更新する。

運動誤差修正部１５０により更新された仮定したカメラの動き情報Ｍ’（ｔ）は、再び第１の座標変換部１２０に対して出力される。そして、第１の座標変換部１２０、時空間微分処理部１３０、および運動誤差推定部１４０による上述した一連の処理により、更新された仮定したカメラの動き情報Ｍ’（ｔ）に対応する新たな修正量（ΔＵ、ΔＶ、ΔＷ、ΔＡ、ΔＢ、ΔＣ）が算出される。

運動誤差修正部１５０は、新たな修正量（ΔＵ、ΔＶ、ΔＷ、ΔＡ、ΔＢ、ΔＣ）を用いて再び仮定したカメラの動き情報Ｍ’（ｔ）を更新する。このような処理を繰り返すことにより、仮定したカメラの動き情報Ｍ’（ｔ）に含まれる誤差量を小さくしていくことができる。

すなわち、運動推定部１００は、今回時刻の動画像データＩ（ｘ、ｙ、ｔ）、距離推定部２００が出力する前回時刻の距離情報Ｄ（ｘ、ｙ、ｔ−δｔ）、および仮定したカメラの動き情報Ｍ’（ｔ）に基づいて、仮定したカメラの動き情報Ｍ’（ｔ）に含まれている誤差量を算出して仮定したカメラの動き情報Ｍ’（ｔ）を更新する処理を所定回数繰り返すことにより、仮定したカメラの動き情報Ｍ’（ｔ）に含まれている誤差を減少させる。

運動誤差修正部１５０は、所定回数の繰り返し演算処理が終了した後に、最終的に更新された仮定したカメラの動き情報Ｍ’（ｔ）を、推定すべき今回時刻のカメラの動き情報Ｍ（ｔ）として出力する。

また、運動誤差修正部１５０が出力する仮定したカメラの動き情報Ｍ’（ｔ）の初期値は、Ｍ’（ｔ）＝（０、０、０、０、０、０）から始めてもよいし、前回時刻ｔ−δｔにおいて最終的に推定されたカメラの動き情報Ｍ（ｔ−δｔ）を初期値としてもよい。

運動推定部１００は、所定の回数だけ運動誤差推定と運動誤差修正を繰り返して、時刻ｔのカメラの動き情報Ｍ（ｔ）の推定演算を確定する。Ｍ（ｔ）の推定演算を確定した後、運動推定部１００は、入力データの時刻をｔからｔ＋δｔに進めて同様の演算を繰り返す。

すなわち、運動推定部１００は、次回時刻の動画像データＩ（ｘ、ｙ、ｔ＋δｔ）と、距離推定部２００が出力する今回時刻の距離情報Ｄ（ｘ、ｙ、ｔ）を受け、第１の画像記憶部１１０は、次回時刻ｔ＋δｔにおける入力画像Ｉ（ｘ、ｙ、ｔ＋δｔ）を記憶し、事前に記憶していた今回時刻の入力画像Ｉ（ｘ、ｙ、ｔ）を出力して、次回時刻のカメラの動き情報Ｍ（ｔ＋δｔ）を推定する上記演算を実行する。

次に、距離推定部２００の作動原理を説明する。距離推定部２００は、今回時刻の動画像データＩ（ｘ、ｙ、ｔ）と、運動推定部１００が出力する今回時刻のカメラの動き情報Ｍ（ｔ）を受けて、撮影対象までの今回時刻の距離情報Ｄ（ｘ、ｙ、ｔ）を推定する。

第２の画像記憶部２１０は、動画像データＩ（ｘ、ｙ、ｔ）を逐次記憶する記憶部であり、今回時刻ｔに対する前回時刻ｔ−δｔの動画像データＩ（ｘ、ｙ、ｔ−δｔ）を常に記憶している。

第２の座標変換部２２０は、今回時刻のカメラの動き情報Ｍ（ｔ）と、対応点探索部２４０が出力する、距離情報Ｄを求めるための仮定した今回時刻の距離情報Ｄ’（ｘ、ｙ）を用いて、第２の画像記憶部２１０に記憶された前回時刻の動画像データＩ（ｘ、ｙ、ｔ−δｔ）を座標変換し、前回時刻の動画像データＩ（ｘ、ｙ、ｔ−δｔ）を今回時刻ｔにおけるカメラの位置から見た画像データに相当する第２変換後の動画像データＩ^ＷＷ（ｘ、ｙ、ｔ−δｔ）を生成する。

前回時刻ｔ−δｔから今回時刻ｔまでのカメラの動き情報であるＭ（ｔ）が与えられると、時刻ｔから時刻ｔ−δｔまでの時間を遡ったカメラの逆の動き（Ｕ’、Ｖ’、Ｗ’、Ａ’、Ｂ’、Ｃ’）は、（Ｕ、Ｖ、Ｗ、Ａ、Ｂ、Ｃ）の符号を変える等、逆変換して簡単に求められる。カメラを時刻ｔの位置から時刻ｔ−δｔの位置に移動させた場合に生じる画面上での見かけの動きであるオプティカル・フロー（ｘ’（・）、ｙ’（・））は、式（３）と同様に下式（１５）で表される。

第２の座標変換部２２０は、式（１５）の（ｘ’（・）、ｙ’（・））を用いて下式（１６）により座標変換を行う。

図４は、本発明の実施の形態１における仮定した距離情報Ｄ’（ｘ、ｙ）とカメラの動き情報Ｍ（ｔ）とオプティカル・フロー（ｘ’（・）、ｙ’（・））の関係を図示したものである。時刻ｔの画像Ｉ（ｘ、ｙ、ｔ）上で見ている点（ｘ、ｙ）が、実際の３次元空間上では、距離Ｄ’の位置にあると仮定すると、時刻ｔ−δｔの画像Ｉ（ｘ、ｙ、ｔ−δｔ）上では、オプティカル・フロー（ｘ’（・）、ｙ’（・））分だけずれて見えることを表している。距離Ｄ’の仮定が正しければ、式（１６）による座標変換の結果であるＩ^ＷＷ（ｘ、ｙ、ｔ−δｔ）は、Ｉ（ｘ、ｙ、ｔ）と同じ撮影対象物上の点を見ているので、撮影対象物上の反射の影響が無視できる場合、画素の明度は一致する。

マッチング処理部２３０は、対応点探索部２４０が出力した仮定した距離情報Ｄ’（ｘ、ｙ）が正しいかどうかを判定するために、第２の座標変換部２２０が出力する第２変換後の動画像データＩ^ＷＷ（ｘ、ｙ、ｔ−δｔ）と、今回時刻の動画像データＩ（ｘ、ｙ、ｔ）とのそれぞれの画面上の点（ｘ、ｙ）における明度の一致度を計算する。明度が一致しているかどうかは、点（ｘ、ｙ）の近傍の画素、例えば、ｘ方向に±４画素およびｙ方向に±４画素の範囲内にある画素の明度を使用して、正規化相互相関や各画素の明度差の絶対値の和を評価値として用いることができる。

対応点探索部２４０は、仮定した距離情報Ｄ’（ｘ、ｙ）を適当な範囲内で変化させることにより、複数の仮定した距離情報Ｄ’（ｘ、ｙ）を出力する。第２の座標変換部２２０は、複数の仮定した距離情報Ｄ’（ｘ、ｙ）のそれぞれに対応した座標変換の結果Ｉ^ＷＷ（ｘ、ｙ、ｔ−δｔ）を出力する。

マッチング処理部２３０は、複数の仮定した距離情報Ｄ’（ｘ、ｙ）のそれぞれに対応したＩ^ＷＷ（ｘ、ｙ、ｔ−δｔ）と今回時刻の動画像データＩ（ｘ、ｙ、ｔ）との一致度を示す評価値Ｖ（ｘ、ｙ）を出力する。さらに、対応点探索部２４０は、複数の仮定した距離情報Ｄ’（ｘ、ｙ）に対応してマッチング処理部２３０が出力する複数の評価値Ｖ（Ｄ’、ｘ、ｙ）の各点（ｘ、ｙ）毎に最も評価値のよい仮定した距離を探索する。

図５は、本発明の実施の形態１における対応点探索の様子の説明図である。複数の仮定した距離情報Ｄ’（ｘ、ｙ）として、Ｄ１、Ｄ２、Ｄ３の３つを仮定したときに、Ｄ２において明度の一致度を表す評価値Ｖ（Ｄ’、ｘ、ｙ）が最小値を示していることを表しており、Ｄ２を点（ｘ、ｙ）における今回時刻の距離情報Ｄ（ｘ、ｙ、ｔ）とする。

図５においては、評価値Ｖの数値が小さいほど明度がよく一致していることを表している。図５に示す対応点探索は、各点（ｘ、ｙ）毎に実施する。この結果、撮影対象上の空間的に密な３次元形状を求めることができる。以上の処理手順により、距離推定部２００は、撮影対象までの今回時刻の距離情報Ｄ（ｘ、ｙ、ｔ）を推定する。

距離推定部２００が出力する撮影対象までの今回時刻の距離情報Ｄ（ｘ、ｙ、ｔ）は、次の時刻の運動推定部１００の演算の入力となる。今回時刻ｔと次回時刻ｔ＋δｔの表記をδｔだけずらして表記して、今回時刻をｔ−δｔ、次回時刻をｔと表記することにより、運動推定部１００の作動原理と距離推定部２００の作動原理で説明した演算を繰り返して実行する。

これにより、実施の形態１による３次元情報復元装置は、動画像データＩ（ｘ、ｙ、ｔ）を入力としてカメラの３次元空間上の動き情報Ｍ（ｔ）および距離情報Ｄ（ｘ、ｙ、ｔ）を推定することができる。

運動推定部１００の最初の演算を行う時は、距離推定部２００の出力が得られていないが、このときは、前回時刻の距離情報Ｄ（ｘ、ｙ、ｔ−δｔ）に基づいて撮影対象までの距離を仮定して適当な定数等の初期値を与えておけばよい。

以上のように、実施の形態１によれば、運動推定部と距離推定部が互いの推定結果を交互に利用することにより、１台のカメラからの動画像入力データから動き情報と距離情報を精度よく推定でき、その結果としてカメラの３次元運動と撮影対象上の空間的に密な３次元形状を求めることができる。

なお、実施の形態１の説明において、運動推定部１００は、所定の回数だけ運動誤差推定と運動誤差修正を繰り返して、時刻ｔのカメラの動き情報Ｍ（ｔ）の推定演算を確定する場合について説明したが、これに限定されるものではない。算出される修正量（ΔＵ、ΔＶ、ΔＷ、ΔＡ、ΔＢ、ΔＣ）の収束状況を所定値と比較することにより、時刻ｔのカメラの動き情報Ｍ（ｔ）の推定演算を確定することも可能である。

実施の形態２．
図６は、本発明の実施の形態２における３次元情報復元装置の構成図である。図６における運動推定部１００の構成は、実施の形態１で示した図３における運動推定部１００の構成と同様である。また、図６における距離推定部２００の構成は、実施の形態１で示した図３における距離推定部２００の構成と比較すると、画像更新判定部２５０を新たに備えている。

実施の形態１の場合と同様に、運動推定部１００は、今回時刻の動画像データＩ（ｘ、ｙ、ｔ）と、距離推定部２００が出力する前回時刻の距離情報Ｄ（ｘ、ｙ、ｔ−δｔ）を受けて、カメラの３次元空間上の今回時刻の動き情報Ｍ（ｔ）を推定する。また、距離推定部２００は、今回時刻の動画像データＩ（ｘ、ｙ、ｔ）と、運動推定部１００が出力する今回時刻のカメラの動き情報Ｍ（ｔ）を受けて、撮影対象までの今回時刻の距離情報Ｄ（ｘ、ｙ、ｔ）を推定する。

次に、実施の形態１と構成の異なる距離推定部２００の動作を中心に説明する。画像更新判定部２５０は、運動推定部１００が出力する撮影装置の今回時刻の動き情報Ｍ（ｔ）に応じて第２の画像記憶部２１０および対応点探索部２４０の更新を制御し、第２の座標変換部２２０に入力する撮影装置の動き情報を制御する。

仮定した距離情報Ｄ’（ｘ、ｙ）とカメラの動き情報Ｍ（ｔ）とオプティカル・フロー（ｘ’（・）、ｙ’（・））の関係は、先の図４に示すとおりである。すなわち、視点の異なる方向から撮影対象物上の点を対応付けて、カメラの動き情報Ｍ（ｔ）とカメラのレンズの中心と撮影対象物上の点から形成される三角形から距離情報Ｄを求めるので、カメラの動き情報Ｍ（ｔ）の大きさが小さい場合、撮影対象物上の点を頂点とする角度が小さくなる。

この場合、カメラのレンズの中心と撮影対象物上の点とを結ぶ方向に誤差が生じると、距離情報Ｄの誤差に大きく影響する。そこで、画像更新判定部２５０は、動き情報Ｍ（ｔ）を逐次累積していき、その累積後の動き情報ΣＭ（ｔ）の大きさ｜ΣＭ（ｔ）｜が所定の大きさを超えたときに、第２の画像記憶部２１０に対して記憶する画像の更新指令を出力する。また、この更新指令は、対応点探索部２４０に対する演算指令にもなる。

第２の画像記憶部２１０は、動画像データＩ（ｘ、ｙ、ｔ）を入力して記憶するとともに、画像更新判定部２５０の指令を受けた時刻を今回時刻ｔとして、前回時刻ｔ−δｔに記憶した動画像データＩ（ｘ、ｙ、ｔ−δｔ）を出力する。図７は、本発明の実施の形態２における累積後の動き情報ΣＭ（ｔ）に関する累積の始点と、画像の更新指令、第２の画像記憶部２１０の出力の変化を説明する図である。

図７において、画像更新判定部２５０は、累積動き情報の累積を時刻ｔ１から始め、時刻ｔ４のとき累積動き情報である下式（１７）が所定の大きさを超えたことにより、更新指令を出力している例を示している。

このとき、第２の画像記憶部２１０は、時刻ｔ１からδｔだけ前の画像を記憶して時刻ｔ１から時刻ｔ４まで繰り返し出力し、更新指令を受けた時刻ｔ４の次の時刻ｔ５において、時刻ｔ５からδｔだけ前の時刻（この例では時刻ｔ４に相当）に記憶していた画像Ｉ（ｘ、ｙ、ｔ４）を出力する。

また、画像更新判定部２５０は、時刻ｔ４において、時刻ｔ１から累積を始めた累積動き情報を出力した後、時刻ｔ５において累積動き情報の累積の始点を時刻ｔ５に設定し直す。

第２の座標変換部２２０は、画像更新判定部２５０が出力する累積動き情報と、対応点探索部２４０が出力する、距離情報Ｄを求めるための仮定した距離情報Ｄ’（ｘ、ｙ）を用いて、第２の画像記憶部２１０が出力する動画像データＩを座標変換し、時刻ｔにおけるカメラの位置から見た第２変換後の動画像データＩ^ＷＷを生成する。座標変換の式は、実施の形態１の場合と同様に式（１５）に基づいて実行する。

マッチング処理部２３０の作動原理は、実施の形態１の場合と同様である。

対応点探索部２４０の作動原理は、カメラの動き情報Ｍ（ｔ）の大きさが小さい場合、距離情報Ｄの誤差が大きくなるので、累積後の動き情報ΣＭ（ｔ）の大きさ｜ΣＭ（ｔ）｜が所定の大きさを超えたとき、画像更新判定部２５０が出力する更新指令を受けて撮影対象までの距離情報Ｄ（ｘ、ｙ、ｔ）を推定すること以外は、実施の形態１の場合と同様である。

実施の形態２によれば、画像更新判定部を有することにより、動き情報の累積値が所定値を超えたタイミングで距離情報の推定を行うことができ、誤差要因を抑えた距離情報の推定を実現できる。さらに、誤差要因を抑えた距離情報に基づいて動き情報が推定されるため、動き情報の誤差要因も抑えることができる。

実施の形態３．
図８は、本発明の実施の形態３における３次元情報復元装置の構成図である。図８における運動推定部１００の構成は、実施の形態１で示した図３における運動推定部１００の構成と比較すると、微分信頼度算出部１６０を新たに備えている。また、図８における距離推定部２００の構成は、実施の形態１で示した図３における距離推定部２００の構成と比較すると、距離信頼度算出部２６０を新たに備えている。

次に、実施の形態１と異なる構成を中心に、動作を説明する。運動誤差推定部１４０は、実施の形態１の場合と同様に、連立方程式（１２）を解く演算手段であるが、偏微分の展開式（１３）において、実施の形態１では、２画面が重なる範囲を示す領域をＲとすると、領域Ｒ内の全ての画素について加算演算を実施している。

これに対して、実施の形態３における運動誤差推定部１４０は、微分信頼度算出部１６０および距離信頼度算出部２６０が出力する信頼度に基づいて、時空間微分処理部１３０が出力する微分画像の信頼度、および対応点探索部２４０が出力する距離情報の信頼度が高い画素の情報のみを偏微分の展開式の加算演算に使用している。

微分信頼度算出部１６０は、時空間微分処理部１３０が出力する微分画像を判定して、明度勾配が平坦な画素および明度勾配が極端に急峻な画素については、低い信頼度を出力する。この理由は、式（１０）による微分画像Ｉ_ｘ（ｘ、ｙ、ｔ−δｔ）、Ｉ_ｙ（ｘ、ｙ、ｔ−δｔ）、Ｉ_ｔ（ｘ、ｙ、ｔ）とオプティカル・フロー（ｘ（・）、ｙ（・））の誤差（Δｘ（・）、Δｙ（・））との関係が、明度勾配が平坦な画素および明度勾配が極端に急峻な画素においては成立し難くなるためである。

例えば、微分画像に対する適当な判定しきい値Ｔｄｅｖ＿ｍｉｎとＴｄｅｖ＿ｍａｘを設定し、下式（１８）としてＣｄｅｖ（ｘ、ｙ、ｔ−δｔ）を微分信頼度として出力する。

距離信頼度算出部２６０は、複数の仮定した距離情報Ｄ’（ｘ、ｙ）に対するそれぞれの評価値Ｖ（Ｄ’、ｘ、ｙ）、および評価値が最小値を示す距離情報Ｄ（ｘ、ｙ）を対応点探索部２４０から受け取り、距離情報Ｄ（ｘ、ｙ）の安定性を判定して、距離情報Ｄ（ｘ、ｙ）の距離信頼度Ｃｄｉｓ（ｘ、ｙ、ｔ）を出力する。

図９は、本発明の実施の形態３における距離情報Ｄ（ｘ、ｙ）の距離信頼度に関する説明図である。この図９においては、先の図５と同様に、評価値Ｖが小さい方が第２の座標変換部２２０が出力する座標変換後の動画像データＩ^ＷＷ（ｘ、ｙ、ｔ−δｔ）と動画像データＩ（ｘ、ｙ、ｔ）の画面上の点（ｘ、ｙ）との明度の一致度がよいことを表している。

図９（ａ）において、評価値が最小値Ｖｍｉｎを示す距離情報Ｄ（ｘ、ｙ）の近傍の評価値Ｖ（Ｄ’、ｘ、ｙ）の曲率半径ｒａは小さく、その逆数である曲率Ｃｕｒｖ（ｘ、ｙ）は大きいこととなる。したがって、この場合には、先に対応点探索部２４０で探索された評価値が最小値Ｖｍｉｎを示す距離情報Ｄ（ｘ、ｙ）は、他の距離情報と比較して明らかに小さい評価値を有しているものとして、安定していると見なすことができ、信頼度は高いと考えられる。

一方、図９（ｂ）において、評価値が最小値Ｖｍｉｎを示す距離情報Ｄ（ｘ、ｙ）の近傍の評価値Ｖ（Ｄ’、ｘ、ｙ）の曲率半径ｒｂは大きく、その逆数である曲率Ｃｕｒｖ（ｘ、ｙ）は小さいこととなる。したがって、この場合には、先に対応点探索部２４０で探索された評価値が最小値Ｖｍｉｎを示す距離情報Ｄ（ｘ、ｙ）は、他の距離情報と比較して明らかに小さい評価値を有しているものとは必ずしもいえず、距離情報が前後することがあり、安定していないと見なすことができ、信頼度は低いと考えられる。

距離信頼度算出部２６０は、例えば、評価値の最小値Ｖｍｉｎおよび評価値が最小値を示す点における曲率Ｃｕｒｖに対して適当な判定しきい値ＴｖとＴｃｕｒｖを設定し、下式（１９）としてＣｄｉｓ（ｘ、ｙ、ｔ）を距離信頼度として出力する。

なお、上述した曲率Ｃｕｒｖは、評価値Ｖ（Ｄ’、ｘ、ｙ）を２次微分することにより得ることが可能である。

運動誤差推定部１４０は、微分信頼度算出部１６０が出力する微分信頼度Ｃｄｅｖ（ｘ、ｙ、ｔ−δｔ）および距離信頼度算出部２６０が出力する時刻ｔ−δｔにおける距離信頼度Ｃｄｉｓ（ｘ、ｙ、ｔ−δｔ）を受けて、Ｃｄｅｖ（ｘ、ｙ、ｔ−δｔ）＝１、かつＣｄｉｓ（ｘ、ｙ、ｔ−δｔ）＝１のとき、式（１３）におけるｘ、ｙ∈ＲのΣの加算を実行する。

式（１２）の第２式から第６式の展開式においても、式（１３）と同様にｘ、ｙ∈ＲのΣの加算が現れるが、同様にＣｄｅｖ（ｘ、ｙ、ｔ−δｔ）＝１、かつＣｄｉｓ（ｘ、ｙ、ｔ−δｔ）＝１のとき、ｘ、ｙ∈ＲのΣの加算を実行する。

この結果、運動誤差推定部１４０は、信頼度の高い範囲のデータのみを採用して動き情報の誤差量を推定することができる。

実施の形態３によれば、運動誤差推定部は、微分信頼度および距離信頼度に基づいて、微分信頼度が高く、かつ距離信頼度が高い画素の情報のみを偏微分の展開式の加算演算に使用することにより、動き情報および距離情報の推定誤差を抑えることができる。

実施の形態４．
図１０は、本発明の実施の形態４における３次元情報復元装置の構成図である。図１０における運動推定部１００の構成は、実施の形態１で示した図３における運動推定部１００の構成と比較すると、第３の画像記憶部１７０を新たに備えている。また、図１０における距離推定部２００の構成は、実施の形態１で示した図３における距離推定部２００の構成と比較すると、第４の画像記憶部２７０を新たに備えている。さらに、運動推定部１００および距離推定部２００の前段に、ピラミッド画像生成部３００が新たに設けられている。

次に、実施の形態１と異なる構成を中心に、動作を説明する。まず、ピラミッド画像生成部３００は、入力画像の解像度がレベル０からレベルＬ（Ｌは１以上の整数）に従って粗くなる１組のピラミッド画像を生成する。図１１は、本発明の実施の形態４におけるピラミッド画像の説明図である。レベル０は、入力画像と同じ解像度を持ち、レベル数が大きくなるにつれて解像度が低くなる。解像度が低くなると画素数が少なくなるので、画像の大きさを小さくして解像度が低いことを表している。

運動推定部１００内の第３の画像記憶部１７０は、ピラミッド画像生成部３００が出力する１組のピラミッド画像を一旦、記憶する記憶部であり、解像度の低いピラミッド画像から解像度の高いピラミッド画像の順に出力する。第１の画像記憶部１１０、第１の座標変換部１２０、時空間微分処理部１３０、運動誤差推定部１４０および運動誤差修正部１５０の作動原理は、実施の形態１の場合と同様である。

運動推定部１００は、まず始めに、解像度の最も低いレベルＬのピラミッド画像に対して、実施の形態１の場合と同様に、所定の回数だけ運動誤差推定と運動誤差修正を繰り返して時刻ｔのカメラの動き情報Ｍ（ｔ）を推定演算する。次に、第３の画像記憶部１７０は、１段階だけ解像度の高いレベル（Ｌ−１）のピラミッド画像を出力する。

そして、運動推定部１００は、レベルＬのピラミッド画像を用いて求めた動き情報Ｍ（ｔ）を運動誤差修正部１５０による新たな仮定した動き情報Ｍ’（ｔ）の初期値として、時刻ｔのレベル（Ｌ−１）のピラミッド画像に対するカメラの動き情報Ｍ（ｔ）を推定演算する。

運動推定部１００は、各解像度レベルで推定された動き情報Ｍ（ｔ）を次に解像度が高いレベルでの仮定した動き情報Ｍ’（ｔ）の初期値として使用し、第３の画像記憶部１７０が最も解像度の高いレベル０のピラミッド画像を出力するまで運動誤差推定と運動誤差修正を繰り返すことにより、最終的に、時刻ｔのカメラの動き情報Ｍ（ｔ）の推定演算を確定する。

一方、距離推定部２００内の第４の画像記憶部２７０は、ピラミッド画像生成部３００が出力する１組のピラミッド画像を一旦、記憶する記憶部であり、解像度の低いピラミッド画像から解像度の高いピラミッド画像の順に出力する。第２の画像記憶部２１０、第２の座標変換部２２０、マッチング処理部２３０および対応点探索部２４０の作動原理は、実施の形態１の場合と同様である。

距離推定部２００は、解像度の低いレベルＬのピラミッド画像に対して、実施の形態１の場合と同様に、撮影対象までの距離情報Ｄ（ｘ、ｙ、ｔ）を推定する。次に、第４の画像記憶部２７０は、１段階だけ解像度の高いレベル（Ｌ−１）のピラミッド画像を出力して、距離推定部２００は、レベルＬのピラミッド画像を用いて求めた距離情報Ｄ（ｘ、ｙ、ｔ）を対応点探索部２４０の探索範囲を限定するために使用する。

図１２は、本発明の実施の形態４における対応点探索部２４０の探索範囲を限定する様子の説明図である。レベル（Ｌ−１）のピラミッド画像に対する複数の仮定した今回時刻の距離情報Ｄ’（ｘ、ｙ）としては、レベルＬのピラミッド画像を用いて求めた距離情報Ｄ（ｘ、ｙ、ｔ）を挟み、かつ、レベルＬにおける探索範囲よりも狭い範囲を設定することにより、その中から最も評価値の高いものをレベル（Ｌ−１）における今回時刻の距離情報Ｄ（ｘ、ｙ）として探索する。

このように、探索範囲を狭めることにより、対応点探索の処理時間を短縮し、レベルＬのピラミッド画像を用いて求めた距離情報Ｄ（ｘ、ｙ、ｔ）よりも解像度の高い距離情報を得ることができる。距離推定部２００は、第４の画像記憶部２７０が最も解像度の高いレベル０のピラミッド画像を出力するまで距離情報の推定を繰り返して距離情報Ｄ（ｘ、ｙ、ｔ）の推定演算を確定する。

実施の形態４によれば、ピラミッド画像を用いて解像度の低い画像から動き情報および距離情報を推定しながら検索範囲を徐々に狭めることにより、最終的に解像度の高い画像の動き情報および距離情報を効率よく、かつ高精度で推定できる。

実施の形態５．
図１３は、本発明の実施の形態５における３次元情報復元装置の構成図である。図１３における運動推定部１００の構成は、実施の形態１で示した図３における運動推定部１００の構成と比較すると、絶対運動量換算部１８０を新たに備えている。また、図１３における距離推定部２００の構成は、実施の形態１で示した図３における距離推定部２００の構成と比較すると、絶対距離換算部２８０を新たに備えている。

次に、実施の形態１と異なる構成を中心に、動作を説明する。運動推定部１００の最初の演算を行う時は、距離推定部２００の出力が得られていないので、距離情報Ｄ（ｘ、ｙ、ｔ−δｔ）として撮影対象までの距離を仮定して、適当な定数等の初期値を与えて、運動推定部１００の演算を開始することとなる。

したがって、運動推定部１００が出力するカメラの動き情報、および距離推定部２００が出力する撮影対象までの距離情報の相対値が得られても、実際のカメラの動き量および撮影対象までの絶対距離に対して誤差が含まれていることがある。

そこで、本実施の形態５における絶対運動量換算部１８０は、外部からジャイロ等のモーションセンサにより計測したカメラの動き情報を受けて、外部から入力したカメラの移動量Ｔｓ＝（Ｕs、Ｖs、Ｗs）と、運動誤差修正部１５０が出力するカメラの移動量Ｔ＝（Ｕ、Ｖ、Ｗ）との大きさとを定期的に比較する、あるいは１度だけ比較する。

そして、絶対運動量換算部１８０は、運動誤差修正部１５０が出力するカメラの動き量を絶対動き量に換算する補正係数Ｋを求めて、外部からジャイロ等のモーションセンサの情報が得られない時間は、この補正係数Ｋを運動誤差修正部１５０が出力するカメラの移動量Ｔ＝（Ｕ、Ｖ、Ｗ）に掛けて絶対運動量Ｍａ（ｔ）を出力する。

補正係数Ｋの算出は、下式（２０）による。絶対運動量の算出は、下式（２１）による。式（２０）において、｜｜は、ベクトルの大きさを表す。また、絶対運動量換算部１８０は、補正係数Ｋを出力する。

一方、絶対距離換算部２８０は、絶対運動量換算部１８０が出力する補正係数Ｋを受けて、対応点探索部２４０が出力する距離情報を絶対距離Ｄａ（ｘ、ｙ、ｔ）に換算して出力する。絶対距離の算出は、下式（２２）による。

実施の形態５によれば、カメラの動き情報を外部センサから受け取り補正係数を算出することにより、動き情報および距離情報を絶対量に換算することができる。さらに、外部センサからの情報が得られない時間は、推定した動き情報と補正係数Ｋから絶対運動量を出力することができる。さらに、動画像入力データに基づいて、絶対運動量および絶対距離を推定演算の周期に応じて逐次出力することができる。

実施の形態６．
図１４は、本発明の実施の形態６における３次元情報復元装置の構成図である。図１４における運動推定部１００の構成は、実施の形態１で示した図３における運動推定部１００の構成と比較すると、絶対運動量換算部１８０を新たに備えており、図１３と同一の構成である。また、図１４における距離推定部２００の構成は、実施の形態１で示した図３における距離推定部２００の構成と比較すると、絶対距離換算部２８０を新たに備えており、図１３と同一の構成である。

次に、実施の形態１と異なる構成、および実施の形態５と異なる機能を中心に、動作を説明する。運動推定部１００の最初の演算を行う時は、距離推定部２００の出力が得られていないので、距離情報Ｄ（ｘ、ｙ、ｔ−δｔ）として撮影対象までの距離を仮定して、適当な定数等の初期値を与えて、運動推定部１００の演算を開始することとなる。

そこで、本実施の形態６における絶対距離換算部２８０は、外部からレーザー測距器等の距離センサにより計測した撮影対象の距離情報を受けて、外部から入力した撮像対象上の１点（ｘ１、ｙ１）の距離Ｄｓ（ｘ１、ｙ１）と、対応点探索部２４０が出力する撮影対象の距離情報Ｄ（ｘ１、ｙ１、ｔ）とを定期的に比較する、あるいは１度だけ比較する。

そして、絶対距離換算部２８０は、対応点探索部２４０が出力する撮像対象の距離情報を絶対距離に換算する補正係数Ｋを求めて、外部からレーザー測距器等の距離センサの情報が得られない時間は、補正係数Ｋを対応点探索部２４０が出力する撮像対象の距離情報Ｄ（ｘ、ｙ、ｔ）に掛けて絶対距離Ｄａ（ｘ、ｙ、ｔ）を出力する。

補正係数Ｋの算出は、下式（２３）による。絶対距離の算出は、下式（２４）による。また、絶対距離換算部２８０は、補正係数Ｋを出力する。

補正係数Ｋを求めるのに、上記説明では、１点（ｘ１、ｙ１）距離Ｄｓ（ｘ１、ｙ１）を使用したが、撮像対象上の複数の点の距離情報から複数の補正係数を求めて、それらの平均値を補正係数Ｋとしてもよい。

一方、絶対運動量換算部１８０は、絶対距離換算部２８０が出力する補正係数Ｋを受けて、運動誤差修正部１５０が出力する動き情報を絶対運動量Ｍａ（ｔ）に換算して出力する。絶対運動量の算出は、下式（２５）による。

実施の形態６によれば、距離情報を外部センサから受け取り補正係数を算出することにより、動き情報および距離情報を絶対量に換算することができる。さらに、外部センサからの情報が得られない時間は、推定した距離情報と補正係数Ｋから絶対距離を出力することができる。さらに、動画像入力データに基づいて、絶対運動量および絶対距離を推定演算の周期に応じて逐次出力することができる。

本発明の実施の形態１における３次元情報復元装置の構成図である。本発明の実施の形態１におけるカメラの動き量を表す成分の座標軸上でのそれぞれの方向を説明する図である。本発明の実施の形態１における３次元情報復元装置の構成図である。本発明の実施の形態１における仮定した距離情報Ｄ’（ｘ、ｙ）とカメラの動き情報Ｍ（ｔ）とオプティカル・フロー（ｘ’（・）、ｙ’（・））の関係を図示したものである。本発明の実施の形態１における対応点探索の様子の説明図である。本発明の実施の形態２における３次元情報復元装置の構成図である。本発明の実施の形態２における累積後の動き情報ΣＭ（ｔ）に関する累積の始点と、画像の更新指令、第２の画像記憶部の出力の変化を説明する図である。本発明の実施の形態３における３次元情報復元装置の構成図である。本発明の実施の形態３における距離情報Ｄ（ｘ、ｙ）の距離信頼度に関する説明図である。本発明の実施の形態４における３次元情報復元装置の構成図である。本発明の実施の形態４におけるピラミッド画像の説明図である。本発明の実施の形態４における対応点探索部の探索範囲を限定する様子の説明図である。本発明の実施の形態５における３次元情報復元装置の構成図である。本発明の実施の形態６における３次元情報復元装置の構成図である。

符号の説明

１００運動推定部、１１０第１の画像記憶部、１２０第１の座標変換部、１３０時空間微分処理部、１４０運動誤差推定部、１５０運動誤差修正部、１６０微分信頼度算出部、１７０第３の画像記憶部、１８０絶対運動量換算部、２００距離推定部、２１０第２の画像記憶部、２２０第２の座標変換部、２３０マッチング処理部、２４０対応点探索部、２５０画像更新判定部、２６０距離信頼度算出部、２７０第４の画像記憶部、２８０絶対距離換算部。

Claims

撮影対象を撮影したカメラの移動量と回転量の動き情報を動画像入力データに基づいて逐次推定する運動推定部と、
撮影対象までの距離情報を動画像入力データに基づいて逐次推定する距離推定部と
を備えた３次元情報復元装置であって、
前記運動推定部は、今回時刻の動画像入力データと、今回時刻の仮定したカメラの移動量と回転量の動き情報と、前記距離推定部で推定された前回時刻の距離情報とに基づいて前回時刻のカメラ位置から見た動画像入力データを座標の第１変換後の動画像入力データとして生成し、前記第１変換後の動画像入力データと前回時刻の動画像入力データとの明度誤差をカメラの移動量と回転量の修正量で偏微分した結果として得られる方程式の解を用いて、前記今回時刻の仮定したカメラの移動量と回転量の動き情報を逐次修正することにより今回時刻のカメラの移動量と回転量の動き情報を推定し、
前記距離推定部は、複数の今回時刻の仮定した距離情報のそれぞれに対して、前回時刻の動画像入力データと、前記運動推定部で推定された前記今回時刻のカメラの移動量と回転量の動き情報とに基づいて複数の座標の第２変換後の動画像入力データを生成し、前記複数の第２変換後の動画像入力データの中から、今回時刻の動画像入力データとの明度の一致度が最大となる第２変換後の動画像入力データを特定する処理を今回時刻の動画像入力データの画素毎に行い、特定した第２変換後の動画像入力データに対応する今回時刻の仮定した距離情報を今回時刻の距離情報として推定する
ことを特徴とする３次元情報復元装置。
前記運動推定部は、
前記動画像入力データが逐次記憶される第１の画像記憶部と、
前記今回時刻の仮定したカメラの移動量と回転量の動き情報を出力する運動誤差修正部と、
前記今回時刻の動画像入力データと、前記今回時刻の仮定したカメラの移動量と回転量の動き情報と、
前記距離推定部で推定された前回時刻の距離情報とに基づいて前記第１変換後の動画像入力データを生成する第１の座標変換部と、
前記第１の画像記憶部に記憶された前回時刻の動画像入力データに基づいて前記前回時刻の動画像入力データの空間微分による微分画像を算出するとともに、前記第１変換後の動画像入力データと前回時刻の動画像入力データとの差分に基づいて、時間微分による微分画像を算出する時空間微分処理部と、
時空間微分されたそれぞれの前記微分画像と前記前回時刻の距離情報とに基づいて、前記第１変換後の動画像入力データと前記前回時刻の動画像入力データとの明度誤差をカメラの移動量と回転量の修正量で偏微分した結果として得られる方程式の解をカメラの移動量と回転量の動き情報誤差量として算出する運動誤差推定部とを備え、
前記運動誤差修正部は、前記運動誤差推定部で算出された前記カメラの移動量と回転量の動き情報誤差量を加算することにより前記今回時刻の仮定したカメラの移動量と回転量の動き情報を更新して前記第１の座標変換部に出力し、その後、更新した今回時刻の仮定したカメラの移動量と回転量の動き情報に対応して前記運動誤差推定部で算出された新たなカメラの移動量と回転量の動き情報誤差量を受信することにより、前記更新した今回時刻の仮定したカメラの移動量と回転量の動き情報をさらに更新する処理を所定回数繰り返すことにより最終的に更新した今回時刻の仮定したカメラの移動量と回転量の動き情報を今回時刻のカメラの移動量と回転量の動き情報として推定し、
前記距離推定部は、
前記動画像入力データが逐次記憶された第２の画像記憶部と、
前記複数の今回時刻の仮定した距離情報を出力する対応点探索部と、
前記複数の今回時刻の仮定した距離情報のそれぞれに対して、前記第２の画像記憶部に記憶された前記前回時刻の動画像入力データと、
前記運動推定部で推定された前記今回時刻のカメラの移動量と回転量の動き情報とに基づいて前記複数の第２変換後の動画像入力データを生成する第２の座標変換部と、
前記複数の第２変換後の動画像入力データのそれぞれに対して、前記今回時刻の動画像入力データとの明度の一致度に基づく複数の２次元的な評価値を算出するマッチング処理部とを備え、
前記対応点探索部は、今回時刻の動画像入力データの画素毎に、前記マッチング処理部で算出された前記複数の２次元的な評価値の中から最も一致度の高い評価値に対応する今回時刻の仮定した距離情報を今回時刻の距離情報として推定する、
ことを特徴とする請求項１に記載の３次元情報復元装置。
前記距離推定部は、前記運動推定部から出力される各時刻におけるカメラの移動量と回転量の動き情報を累積し、累積結果が所定値を超えるごとに、画像更新指令を出力する画像更新判定部をさらに備え、
前記画像更新判定部から前記画像更新指令が出力されるごとに今回時刻の距離情報を推定することを特徴とする請求項２に記載の３次元情報復元装置。
前記距離推定部は、前記対応点探索部からの前記複数の仮定した距離情報に対応するそれぞれの評価値に基づいて、最も一致度の高い評価値に対応する距離情報の近傍における評価値の曲率から距離信頼度を判定する距離信頼度算出部をさらに備え、
前記運動推定部は、前記時空間微分処理部が出力する空間微分による前記微分画像を所定値と比較することにより前記微分画像の微分信頼度を算出する微分信頼度算出部をさらに備え、
前記運動誤差推定部は、前記微分信頼度算出部が出力する前記微分信頼度およ
び前記距離信頼度算出部が出力する前記距離信頼度を受けて、時空間微分された
それぞれの前記微分画像において、前記微分信頼度が高く、かつ前記距離信頼度
が高い領域を特定して前記カメラの移動量と回転量の動き情報誤差量を算出する、
ことを特徴とする請求項２に記載の３次元情報復元装置。
動画像入力データに基づいて複数の解像度レベルを有する１組のピラミッド画像データを生成するピラミッド画像生成部をさらに備え、
前記運動推定部は、前記ピラミッド画像生成部からの前記１組のピラミッド画像が記憶される第３の画像記憶部をさらに備え、
前記１組のピラミッド画像の解像度レベルの最も低い画像データに対するカメラの移動量と回転量の動き情報を推定し、その後、前記カメラの移動量と回転量の動き情報を今回時刻の仮定したカメラの移動量と回転量の動き情報の初期値として、次に解像度レベルの低い画像データに対するカメラの移動量と回転量の動き情報を推定する処理を繰り返すことにより解像度レベルの最も高い画像データに対するカメラの移動量と回転量の動き情報を推定し、
前記距離推定部は、前記ピラミッド画像生成部からの前記１組のピラミッド画像が記憶される第４の画像記憶部をさらに備え、
前記１組のピラミッド画像の解像度レベルの最も低い画像データに対する距離情報を推定し、その後、前記距離情報の近傍範囲を前記複数の今回時刻の仮定した距離情報の初期値として、次に解像度レベルの低い画像データに対する距離情報を推定する処理を繰り返すことにより解像度レベルの最も高い画像データに対する距離情報を推定する、
ことを特徴とする請求項２に記載の３次元情報復元装置。
前記運動推定部は、外部の動きセンサにより計測されたカメラの移動量と回転量の動き情報と、前記運動誤差修正部で推定された前記カメラの移動量と回転量の動き情報とに基づいて絶対運動量に換算する補正係数を算出し、逐次推定される前記カメラの移動量と回転量の動き情報に前記補正係数を掛け合わせることにより絶対運動量を逐次算出する絶対運動量換算部をさらに備え、
前記距離推定部は、前記絶対運動量換算部から前記補正係数を受けて、前記対応点探索部により逐次推定される距離情報に前記補正係数を掛け合わせることにより絶対距離を逐次算出する絶対距離換算部をさらに備えることを特徴とする請求項２に記載の３次元情報復元装置。
前記距離推定部は、外部の距離センサにより計測された撮影対象の距離情報と、前記対応点探索部で推定された前記距離情報とに基づいて絶対距離に換算する補正係数を算出し、逐次推定される前記距離情報に前記補正係数を掛け合わせることにより絶対距離を逐次算出する絶対距離換算部をさらに備え、
前記運動推定部は、前記絶対距離換算部から前記補正係数を受けて、前記運動誤差修正部により逐次推定されるカメラの移動量と回転量の動き情報に前記補正係数を掛け合わせることにより絶対運動量を逐次算出する絶対運動量換算部をさらに備えることを特徴とする請求項２に記載の３次元情報復元装置。