JP6310288B2 - 画像処理装置および３次元物体トラッキング方法 - Google Patents

Description

本発明は、画像処理装置および３次元物体トラッキング方法に関し、特に、２次元映像から対象物体の３次元空間内での動作をトラッキングする画像処理装置に用いて好適なものである。

従来、単一のビデオ映像内の対象物体をトラッキングする手法は、画像処理の分野で多数提案されている。特に、パーティクルフィルタを用いた対象物体のトラッキングは非常によく知られた手法である。しかし、これらの対象物体のトラッキング手法の多くは、２次元映像内における対象物体のトラッキングであり、３次元空間内での動作のトラッキングは実現できない。

ところで、マーカーレスＡＲ（Augmented Reality）の研究において、映像内の３次元空間を認識するシステムに関する研究がいくつか存在する。特に、単眼カメラを用いて３次元空間を認識する研究として、ＰＴＡＭ（Parallel Tracking and Mapping）がよく知られている。ＰＴＡＭでは、映像内の画像特徴点から平面に近い部分を認識することで３次元座標系を定め、映像の各フレーム間の画像特徴点の相対的な位置関係から３次元位置を認識する。しかしながら、ＰＴＡＭは空間追跡を目的として設計されており、物体追跡に利用するためには、３次元空間の認識精度や追跡精度の面で十分でない。

また、２次元の画像を処理して対象物体の３次元位置・姿勢を把握するための技術として、特許文献１に記載の技術も提案されている。特許文献１に記載の画像処理装置は、撮像装置を用いて実空間を撮像することにより生成される入力画像を取得する画像取得部と、入力画像に映る１つ以上の特徴点の位置に基づいて、実空間と撮像装置との間の相対的な位置及び姿勢を認識する認識部と、認識される相対的な位置及び姿勢を用いた拡張現実アプリケーションを提供するアプリケーション部とを備えている。

この特許文献１に記載の技術によれば、単眼カメラにより撮像された２次元画像から対象物体の３次元位置・姿勢を検出することが可能である。しかしながら、この特許文献１に記載の技術は、２次元画像の中から特徴的な部分を特定し、その特徴点の位置に基づいて対象物体の３次元位置・姿勢を検出する仕組みであるため、検出の精度は特徴点の抽出数と抽出精度に大きく依存する。そのため、特徴点が多く存在する空間や大きな空間に対する処理には適しているが、特徴点の少ない空間や限られた狭い空間に対する処理では３次元位置・姿勢の検出精度が悪くなってしまうという問題があった。

これに対して、物体の３次元トラッキングを行う方法として、モーションキャプチャと呼ばれる技術が存在する。しかしながら、モーションキャプチャの場合は特別な計測装置が必要である。そのため、これらのハードウェア環境を利用することが難しい現場に対しては導入が困難であるという問題があった。

特開２０１３−２２５２４５号公報

本発明は、このような問題を解決するために成されたものであり、処理対象とする空間の性質によらず、単眼カメラにより撮像された２次元映像から対象物体の３次元空間内での動作を精度よくトラッキングできるようにすることを目的とする。

上記した課題を解決するために、本発明では、撮像装置を用いて実空間を撮像することにより生成される２次元映像から所定フレーム間隔毎に静止画としての２次元画像を抽出し、当該抽出した各フレームの２次元画像から対象物体の３次元位置および姿勢の空間情報を順次取得することにより、対象物体の３次元空間内での動作をトラッキングするようにしている。具体的には、現フレームの２次元画像から対象物体の境界を抽出し、当該抽出した境界の各点と撮像装置の中心位置とをそれぞれ結んでできる複数の直線により放射形状を３次元空間の座標系上に生成する。一方、前フレームの２次元画像から求められた対象物体の３次元位置を用いて２次元画像上に投影した対象物体の３次元データから、対象物体が２次元画像に写ったときに境界となる点を３次元データのサンプル点として抽出する。そして、放射形状上にサンプル点が位置するように３次元データの位置合わせを行い、位置合わせされた３次元データから対象物体の３次元位置および姿勢の空間情報を取得するようにしている。

上記のように構成した本発明によれば、撮像装置により撮像される対象物体の２次元画像から生成された３次元的な放射形状と対象物体の３次元データとの位置合わせを通じて、２次元画像による２次元空間と３次元データによる３次元空間とを結びつけることができる。３次元データは対象物体の３次元位置・姿勢を有しているので、位置合わせをした３次元データから対象物体の正確な３次元位置・姿勢を取得することができる。このような処理を、撮像装置により撮像される２次元映像から所定フレーム間隔毎に取得される２次元画像のそれぞれについて行うことにより、対象物体のトラッキングを行うことができる。これにより、処理対象とする空間の性質によらず、単眼の撮像装置により撮像された２次元映像から対象物体の３次元空間内での動作を精度よくトラッキングすることができる。

第１の実施形態による画像処理装置の機能構成例を示すブロック図である。 本実施形態で用いるピンホールカメラモデルの原理を説明するための図である。 本実施形態の放射形状生成部により生成される放射形状の例を示す図である。 ２次元画像平面の座標系と３次元空間の座標系との関係を示す図である。 本実施形態の位置補正部により３次元データの位置補正が行われた結果を示す図である。 第１の実施形態による画像処理装置の動作例を示すフローチャートである。 第２の実施形態による画像処理装置の機能構成例を示すブロック図である。 混合正規分布を用いた前景および背景のラベリングについて説明するための図である。 コーシー分布と正規分布との比較を示す図である。 第２の実施形態による画像処理装置の動作例を示すフローチャートである。

(第１の実施形態)
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態による画像処理装置１００の機能構成例を示すブロック図である。図１に示すように、第１の実施形態による画像処理装置１００は、その機能構成として、２次元映像取得部１０、２次元画像取得部２０およびトラッキング部３０を備えて構成されている。また、トラッキング部３０は、その具体的な機能構成として、境界抽出部１１、放射形状生成部１２、３次元データ投影部１３、サンプル点抽出部１４、位置合わせ部１５、空間情報取得部１６およびカメラパラメータ記憶部１７を備えている。

上記各機能ブロックは、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロックは、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

本実施形態において解決すべき主な課題は、「２次元画像に写る対象物体の３次元位置・姿勢を定めること」である。単眼カメラ２００で撮像される２次元映像を、静止画としての２次元画像が連続的に表示されているものとみると、各２次元画像における対象物体の３次元位置・姿勢が定まれば、連続的に位置・姿勢を取得することで３次元トラッキングを行うことができる。

３次元位置・姿勢が定まった対象物体の２次元画像上における像は、画像平面と３次元空間との対応関係を用いれば簡単に求めることができる。しかし、本実施形態で解決すべき課題はその逆問題であり、解決は単純ではない。この課題に対して、本実施形態では、図２に示すようなピンホールカメラモデルを用いて２次元画像と３次元空間とを結び付ける。

図２に示すように、ピンホールカメラモデルは、カメラ中心２１および画像平面２２を持つ。対象物体２３上のある点２５は、その点２５とカメラ中心２１とを結んだ直線２６と、画像平面２２との交点２４上に写し出される。これを逆に捉えると、対象物体２３上の点２５が画像平面２２上に投影された像の境界線上の点２４になるとき、対象物体２３は点２５において、カメラ中心２１と点２４とを結ぶ直線２６に接すると言える。つまり、２次元画像上に投影した対象物体２３の像の境界となる点２５は、カメラ中心２１と２次元画像の対象物体の境界上の点２４とを結んだ直線２６上に存在する。

そこで、本実施形態では、「２次元画像に写る対象物体の境界」に「２次元画像平面に投影した対象物体の３次元データによる像の境界」を一致させ、その状態での３次元データから対象物体の３次元位置・姿勢を取得するという手法をとった。

なお、カメラ中心２１と画像平面２２との距離を焦点距離と呼ぶ。また、単位距離あたりのピクセル数を解像度と呼ぶ。本実施形態では、単眼カメラ２００は固定しておき、対象物体が動くものとする。また、キャリブレーションを事前に行い、単眼カメラ２００の焦点距離および解像度を算出しておく。そして、これらの焦点距離および解像度を、カメラパラメータとしてあらかじめカメラパラメータ記憶部１７に記憶しておく。また、単眼カメラ２００のオートズーム機能は無効にしておく。

図１に示した各機能ブロックは、上述のような処理を行うための構成である。２次元映像取得部１０は、単眼カメラ２００を用いて実空間を撮像することにより生成される２次元映像を取得する。また、２次元画像取得部２０は、２次元映像取得部１０により取得された２次元映像からｎフレーム間隔毎（ｎは１以上の任意の数）に静止画としての２次元画像を取得する。

なお、図１の例では、パーソナルコンピュータ等の画像処理装置１００に単眼カメラ２００を接続しておき、単眼カメラ２００で撮像された２次元映像を２次元映像取得部１０がリアルタイムに取得する例を示しているが、本発明はこれに限定されない。例えば、単眼カメラ２００で撮像した２次元映像をメモリに記憶させ、このメモリに記憶された２次元映像を２次元映像取得部１０が後から取り込むようにしてもよい。

トラッキング部３０は、２次元画像取得部２０により取得された各フレームの２次元画像から対象物体の３次元位置および姿勢の空間情報を取得することにより、対象物体の３次元空間内での動作をトラッキングする。対象物体の３次元位置および姿勢は、具体的には以下に説明する各機能ブロック１１〜１７によって取得する。

境界抽出部１１は、２次元画像取得部２０により現フレームで取得された２次元画像から対象物体の境界を抽出する。２次元画像における対象物体の境界とは、対象物体の画像と背景の画像との境界に当たる線のことであり、対象物体の構成面の境界線が２次元画像における対象物体の境界になるとは限らない。境界抽出部１１は、例えば、２次元画像から前景抽出処理により対象物体を抽出した後、抽出した対象物体から境界を抽出する。境界の抽出は、例えば、いわゆるエッジ検出処理（画像の輝度や色などが鋭敏に（不連続に）変化している箇所を特定する処理）によって行うことが可能である。

放射形状生成部１２は、単眼カメラ２００の中心位置と境界抽出部１１により抽出された境界の各点とをそれぞれ結んでできる複数の直線により放射形状を生成する。図３は、放射形状生成部１２により生成される放射形状の例を示す図である。なお、図３では図示の便宜上、放射形状を構成する直線３６を４本のみ示している。図３に示すように、放射形状生成部１２は、カメラパラメータ記憶部１７に記憶されているカメラパラメータから求められるカメラ中心３１と、画像平面３２に写る２次元画像における対象物体の境界の各点３４とをそれぞれ結んでできる複数の直線３６により放射形状を３次元空間の座標系上に生成する。

なお、本実施形態では、２次元画像平面の座標系と３次元空間の座標系との関係を、図４のように定める。すなわち、２次元画像平面３２上の座標系を、幅方向をｗ軸、高さ方向をｈ軸とする。一方、３次元空間の座標系を、カメラ中心３１を原点、カメラ中心３１から画像平面３２に垂直に下した方向をｚ軸、ｚ軸と直交し画像平面３２のｗ軸と平行な方向をｘ軸、ｚ軸と直交し画像平面３２のｈ軸と平行な方向をｙ軸とする。また、ｚ軸と画像平面３２との交点を画像中心とする。

３次元データ投影部１３は、ピンホールカメラモデルに基づき、対象物体を表す３次元データを２次元画像上に投影する。ここで投影する３次元データは、例えば、対象物体と同一形状を、三角形または四角形から成る複数のメッシュで表現した３次元のメッシュデータである。トラッキングを開始した直後の最初のフレームの処理時は、３次元データを所定の初期位置に投影する。その初期位置は任意であるが、２次元画像に写る対象物体がある位置の近傍に投影されるような位置を初期位置として設定するのが好ましい。

すなわち、境界抽出部１１により抽出された境界により、２次元画像上に写っている対象物体の位置が分かっている。また、単眼カメラ２００の位置も、カメラパラメータ記憶部１７に記憶されたカメラパラメータにより既知である。よって、これらの情報から、ピンホールカメラモデルにより３次元空間上における対象物体の大凡の位置は推定可能である。

一方、２フレーム目以降の処理時において、３次元データ投影部１３は、空間情報取得部１６によって前フレームの２次元画像から求められた対象物体の３次元位置を用いて、対象物体を表す３次元データを投影する。

サンプル点抽出部１４は、３次元データ投影部１３により２次元画像上に投影された対象物体の３次元データから、対象物体が２次元画像に写ったときに境界となる複数の点を３次元データのサンプル点として抽出する。図３において、符号３３は位置合わせ前の位置に投影された３次元データで表される対象物体であり、符号３５は当該３次元データによる対象物体３３から抽出される複数のサンプル点である。図３の例では、２次元画像上の４つの境界点３４に対応する４つのサンプル点３５（３次元データの位置合わせ前の位置では、境界点３４と正確に位置が対応していない）を示している。

例えば、投影される３次元データがメッシュデータの場合、対象物体は３つまたは４つの節点を結んで形成される三角形または四角形の形状をした複数のメッシュにより表現されている。そのメッシュの面から法線を伸ばした場合に、対象物体の境界となる場所では、カメラ中心から見た法線の角度がほぼ９０度になる。そこで、サンプル点抽出部１４は、ある１つの節点を共通に持つ複数のメッシュの面からそれぞれ法線を伸ばし、カメラ中心から見た法線の角度を確認する。そして、法線の角度が９０度より小さいメッシュと９０度より大きいメッシュとが混在している場合、当該ある１つの節点をサンプル点として抽出する。サンプル点抽出部１４は、この処理を複数の節点について行うことにより、対象物体が２次元画像に写ったときに境界となる複数の点を３次元データのサンプル点として抽出する。

なお、図３では説明の便宜上、対象物体３３の３次元データを実際に２次元画像上に投影している状態を示しているが、必ずしも実際に３次元データを投影して２次元画像上に表示させる必要はない。すなわち、対象物体３３の３次元データを仮想的に投影して、計算によって複数のサンプル点を抽出することが可能である。

位置合わせ部１５は、放射形状生成部１２により生成された放射形状上に、サンプル点抽出部１４により抽出されたサンプル点が位置するように、３次元データの位置合わせを行う。例えば、位置合わせ部１５は、いわゆるＩＣＰ（Iterative Closest Point）アルゴリズムを用いて、放射形状の直線３６とサンプル点３５との対応を最近点により求め、当該求めた対応を最小化する変換処理を繰り返すことによって３次元データの位置合わせを行う。

図５は、位置合わせ部１５により３次元データの位置合わせが行われた結果を示す図である。図５に示すように、３次元データの位置合わせが行われると、３次元データ上から抽出した複数のサンプル点３５は、放射形状生成部１２により生成された放射形状を構成する複数の直線３６上に位置することとなる。

空間情報取得部１６は、このように位置合わせ部１５により位置合わせされた３次元データから対象物体の３次元位置および姿勢の空間情報を取得する。３次元データは３次元のメッシュデータであるから、もともと対象物体の３次元位置・姿勢の空間情報を持っている。そこで、空間情報取得部１６は、位置合わせされた３次元メッシュデータが持っている３次元位置・姿勢の空間情報を取得すればよい。

図６は、上記のように構成した第１の実施形態による画像処理装置１００の動作例を示すフローチャートである。この図６に示すフローチャートは、画像処理装置１００の電源をオンにして、対象物体のトラッキングを行うことを指示する操作をユーザが行ったときに開始する。

まず、２次元映像取得部１０は、３次元位置・姿勢を把握しようとする対象物体を含む実空間を撮像することによって生成された２次元映像を単眼カメラ２００から取得する（ステップＳ１）。また、２次元画像取得部２０は、２次元映像取得部１０により取得された２次元映像から１フレーム分の２次元画像を取得する（ステップＳ２）。

次に、境界抽出部１１は、２次元画像取得部２０により取得された２次元画像から対象物体の背景との境界を抽出する（ステップＳ３）。さらに、放射形状生成部１２は、単眼カメラ２００の中心位置と境界抽出部１１により抽出された境界の各点とをそれぞれ結んでできる複数の直線により放射形状を３次元空間の座標系上に生成する（ステップＳ４）。

一方、３次元データ投影部１３は、対象物体を表す３次元メッシュデータをピンホールカメラモデルに基づき投影する（ステップＳ５）。そして、サンプル点抽出部１４は、３次元データ投影部１３により２次元画像上に投影された対象物体の３次元データから、対象物体が２次元画像に写ったときに境界となる点を３次元データのサンプル点として抽出する（ステップＳ６）。

なお、ステップＳ２〜Ｓ６の処理は、必ずしも以上に説明した順序で処理する必要はない。例えば、ステップＳ５〜Ｓ６の処理を最初に行い、その後でステップＳ２〜Ｓ４の処理を行うようにしてもよい。または、ステップＳ２〜Ｓ４の処理とステップＳ５〜Ｓ６の処理とを同時に行うようにしてもよい。ただし、ステップＳ５の処理よりステップＳ３の処理を先に行っておくと、２次元画像上に写っている対象物体の位置が分かるので、最初のフレームの処理時に、実際に対象物体がある位置またはその近傍を、３次元データを投影する初期位置として推定することが可能である。

次に、位置合わせ部１５は、例えばＩＣＰアルゴリズムを用いて、放射形状生成部１２により生成された放射形状上に、サンプル点抽出部１４により抽出されたサンプル点が位置するように、３次元データの位置合わせを行う（ステップＳ７）。その後、空間情報取得部１６は、位置合わせ部１５により位置合わせされた３次元データから対象物体の３次元位置および姿勢の空間情報を取得する（ステップＳ８）。

次に、画像処理装置１００は、対象物体のトラッキングを終了するか否かを判定する（ステップＳ９）。例えば、ユーザが画像処理装置１００の電源をオフにする操作や、トラッキング処理を停止させるための操作を行った場合、画像処理装置１００はトラッキングを終了すると判定し、図６に示すフローチャートの処理は終了する。一方、トラッキングを終了しない場合、処理はステップＳ１に戻り、次のフレームに関する処理を継続する。

以上詳しく説明したように、第１の実施形態によれば、単眼カメラ２００により撮像される対象物体の２次元画像から生成された３次元的な放射形状と対象物体の３次元データとの位置合わせを通じて、２次元画像による２次元空間と３次元データによる３次元空間とを結びつけることができる。３次元データは対象物体の３次元位置・姿勢を有しているので、位置合わせした３次元データから対象物体の正確な３次元位置・姿勢を取得することができる。このような処理を、単眼カメラ２００により撮像される２次元映像から所定フレーム間隔毎に取得される２次元画像のそれぞれについて行うことにより、対象物体のトラッキングを行うことができる。これにより、処理対象とする空間が特徴点を多く有する空間であるか大きな空間であるかといった性質によらず、単眼カメラ２００により撮像された２次元画像から対象物体の３次元空間内での動作を精度よくトラッキングすることができる。

（第２の実施形態）
次に、本発明の第２の実施形態を図面に基づいて説明する。図７は、第２の実施形態による画像処理装置１００’の機能構成例を示すブロック図である。なお、この図７において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図７に示すように、第２の実施形態によるトラッキング部３０’は、その機能構成として、位置補正部１８を更に備えている。また、境界抽出部１１および３次元データ投影部１３に代えて、境界抽出部１１’および３次元データ投影部１３’を備えている。境界抽出部１１’は、その具体的な機能構成として、前景抽出処理部１１ａおよび境界抽出処理部１１ｂを備えている。

前景抽出処理部１１ａは、教師データから生成した学習データを用いて前景抽出処理を行うことにより、２次元画像取得部２０により取得された２次元画像から対象物体を抽出する。境界抽出処理部１１ｂは、前景抽出処理部１１ａにより抽出された対象物体から境界を抽出する。上述した第１の実施形態でもこれと同様に、２次元画像から前景抽出処理により対象物体を抽出した後、抽出した対象物体から境界を抽出しているが、第２の実施形態では前景抽出を、教師データありの機械学習を用いた処理によって行う。

対象物体のトラッキングの追従性を良くするためには、前景抽出処理および境界抽出処理をリアルタイムに（高速に）行うことが望まれる。前景抽出を行う方法として、例えば、グラフカットを用いた前景抽出処理がよく知られている。しかし、この方法は、抽出精度が高い半面、最小カット問題と呼ばれる問題を解く必要があるため、処理コストが高い。そのため、トラッキングで必要とされるリアルタイム処理には適さない。そこで、本実施形態では、抽出精度は多少劣るが、高速でリアルタイム処理に適した前景抽出として、教師データから生成した学習データを用いて前景抽出処理を行う。そして、後処理である位置合わせ処理において、前景抽出により発生したノイズを許容するような処理を行う。

まず、学習データの生成について説明する。本実施形態では、対象物体の画像および背景の画像を教師データとして用いる。前景抽出処理部１１ａは、これらの教師データから抽出したデータを混合正規分布によりモデル化することで学習データを作成する。混合正規分布とは、複数の正規分布に和が１となる重みを掛けて、その総和をとることで作成した確率分布であり、複数の山を持つ。混合正規分布は、データ内に頻度のピークが複数あるようなデータをモデル化する場合によく用いられる確率分布である。

ここで、モデルの作成方法について説明する。前景抽出処理部１１ａは、モデル作成のために、教師データの各ピクセルの色を３次元の座標値で表現する（ここでは、この座標値を色座標値と呼ぶことにする）。色の表現方法としては、ＲＧＢ値やＨＳＶ値がよく知られている。本実施形態では、人間の感覚的な色の把握に近い表現であるＨＳＶ値を用いるものとする。ＨＳＶ値は、円錐形状の座標系の１点として表される。なお、ここでは色モデルとしてＨＳＶ値を用いる例について説明するが、他のモデル（例えば、ＣＩＥ−Ｌａｂ）などでもよい。

前景抽出処理部１１ａは、２次元画像を構成する各ピクセルのＲＧＢ値をＨＳＶ値に変換し、これをさらに、ＨＳＶ座標系を表す円錐を３次元空間に埋め込んだときの対応する座標値に変換することで、各ピクセルのＲＧＢ値を３次元の色座標値に変換する。ここで、前景抽出処理部１１ａは、前景および背景の各ピクセルのＲＧＢ値を３次元の色座標値に変換し、これらの色座標値の確率分布を混合正規分布の最尤推定により算出する。最尤推定とは、与えられたデータの発生確率が最も高くなるような確率分布を算出する手法である。そして、算出した混合正規分布を学習データとして使用する。

この混合正規分布の各正規分布に、前景または背景のいずれかをラベリングすることができる。すなわち、正規分布の中心付近に前景の色座標値が多く集まっている場合はその正規分布を前景としてラベリングし、背景の色座標値が多く 集まっている場合はその正規分布を背景としてラベリングする。図８の例では、左側の正規分布の付近には前景のデータが集まっており、右側の正規分布の付近には背景のデータが集まっている。そのため、左側の正規分布は前景を表す正規分布、右側の正規分布は背景を表す正規分布としてラベリングされる。

次に、以上のように生成した学習データを用いた前景抽出方法について説明する。前景抽出処理部１１ａは、２次元画像取得部２０により取得された２次元画像の各ピクセルについて前景または背景の判定を行い、前景と判定されたピクセルを抽出することで前景抽出を行う。

具体的には、前景抽出処理部１１ａは、２次元画像の各ピクセルのＲＧＢ値から変換した色座標値と、学習データの各正規分布の中心とのマハラノビス距離 を算出する。マハラノビス距離とは、分布の分散を考慮した距離である。前景抽出処理部１１ａは、マハラノビス距離が最小となる正規分布のラベル（前景または背景）をそのピクセルのラベルとすることで、各ピクセルが前景であるか背景であるかを判定する。

この処理は、各ピクセルに対してマハラノビス距離を計算するのみであるため、計算が非常に高速である。また、ピクセル間の隣接関係を考慮しないため、すべてのピクセルを独立に計算できる。そのため、複数のＣＰＵやＧＰＧＰＵ（General-purpose computing on graphics processing units）を用いた並列処理による高速化と非常に相性がよい方法である。

前景抽出処理部１１ａは、以上のようにして、２次元画像取得部２０により取得された２次元画像の各ピクセルについて前景または背景の判定を行った後、前景と判定されたピクセルを抽出することで対象物体の抽出を行う。なお、この方法によると、対象物体とは異なる場所も前景として抽出され、対象物体以外のノイズが残ることがある。そこで、以下に説明するように、このノイズを考慮した位置合わせ処理を行う。

位置補正部１８は、３次元データ投影部１３’が２次元画像上に投影する３次元データの位置を補正する。具体的には、境界抽出部１１’により前フレームの２次元画像から抽出された対象物体と、現フレームの２次元画像から抽出された対象物体との中心位置をそれぞれ算出し、両中心位置の差分量に基づいて、３次元データを投影する位置を補正する。すなわち、２フレーム目以降の処理時において、３次元データ投影部１３’は、前フレームの２次元画像から求められた対象物体の３次元位置を用いて、３次元データを投影する２次元画像上の位置を定めている。位置補正部１８は、上述の差分量を３次元空間における差分量に変換して、それを前フレームの３次元データの位置に加えることにより、当該３次元データを投影する位置を補正する。

ここで、２次元画像上の対象物体の中心位置の算出方法が課題となる。上述したように、境界抽出部１１’における対象物体の抽出処理の結果にはノイズが含まれている。そのため、境界抽出部１１’により抽出された対象物体のピクセル値を単純に平均すると、ノイズの影響により中心位置がずれてしまう。そのため、ノイズに対して頑健な中心位置推定が必要となる。そこで、位置補正部１８は、境界抽出部１１’により抽出された対象物体のピクセル値に対して、コーシー分布の最尤推定を適用して対象物体の中心位置を算出する。

図９は、コーシー分布と正規分布とを比較した図である。コーシー分布は正規分布と比較して裾の部分の確率が大きく、ノイズに対して頑健な性質をもつことが知られている。したがって、対象物体のピクセルに対して、コーシー分布を用いた最尤推定により中心を推定することにより、境界抽出部１１’で生じたノイズにより受ける影響を最小限に抑え、対象物体の中心位置をより正確に捉えることができる。

そして、３次元データ投影部１３’は、位置補正部１８により補正された２次元画像上の位置に３次元データを投影する。この位置補正部１８により補正された位置は、前フレームの２次元画像から求められた対象物体の３次元位置を用いて設定された位置に比べて、現フレームにおいて実際に対象物体が存在する位置に近くなっている。これにより、位置合わせ部１５がＩＣＰアルゴリズムに基づき行う３次元データの位置合わせを、より高精度に行うことができる。

図１０は、上記のように構成した第２の実施形態による画像処理装置１００の動作例を示すフローチャートである。この図１０に示すフローチャートは、画像処理装置１００’の電源をオンにして、対象物体のトラッキングを行うことを指示する操作をユーザが行ったときに開始する。

まず、２次元映像取得部１０は、３次元位置・姿勢を把握しようとする対象物体を含む実空間を撮像することによって生成された２次元映像を単眼カメラ２００から取得する（ステップＳ１１）。また、２次元画像取得部２０は、２次元映像取得部１０により取得された２次元映像から１フレーム分の２次元画像を取得する（ステップＳ１２）。

次に、境界抽出部１１’は、２次元画像取得部２０により取得された２次元画像から前景抽出処理により対象物体を抽出した後、抽出した対象物体の背景との境界を抽出する（ステップＳ１３）。さらに、放射形状生成部１２は、単眼カメラ２００の中心位置と境界抽出部１１’により抽出された境界の各点とをそれぞれ結んでできる複数の直線により放射形状を３次元空間の座標系上に生成する（ステップＳ１４）。

一方、３次元データ投影部１３’は、３次元データをピンホールカメラモデルに基づき２次元画像上に投影する（ステップＳ１５）。ここで３次元データを投影する位置は、最初のフレームの処理時は任意の位置であり、２フレーム目以降の処理時は、前フレームの２次元画像から求められた対象物体の３次元位置である。位置補正部１８は、このように３次元データ投影部１３’により設定された位置を補正する（ステップＳ１６）。

３次元データ投影部１３’は、位置補正部１８により補正された位置に、対象物体を表す３次元メッシュデータを投影する（ステップＳ１７）。そして、サンプル点抽出部１４は、３次元データ投影部１３により２次元画像上に投影された対象物体の３次元データから、対象物体が２次元画像に写ったときに境界となる点を３次元データのサンプル点として抽出する（ステップＳ１８）。

次に、位置合わせ部１５は、例えばＩＣＰアルゴリズムを用いて、放射形状生成部１２により生成された放射形状上に、サンプル点抽出部１４により抽出されたサンプル点が位置するように、３次元データの位置合わせを行う（ステップＳ１９）。その後、空間情報取得部１６は、位置合わせ部１５により位置合わせされた３次元データから対象物体の３次元位置および姿勢の空間情報を取得する（ステップＳ２０）。

次に、画像処理装置１００’は、対象物体のトラッキングを終了するか否かを判定する（ステップＳ２１）。ここで、トラッキングを終了すると判定された場合、図１０に示すフローチャートの処理は終了する。一方、トラッキングを終了しない場合、処理はステップＳ１１に戻り、次のフレームに関する処理を継続する。

以上詳しく説明したように、第２の実施形態によれば、２次元画像から対象物体を抽出する処理と、２次元画像上に投影した３次元データの位置合わせ処理とを高速に行うことによって対象物体の追従性を良好するととともに、当該対象物体の抽出処理を高速化することによって残るノイズの影響を最小限に抑え、対象物体の３次元空間内での動作を精度よくトラッキングすることができる。

なお、上記第１および第２の実施形態では、３次元データの一例としてメッシュデータを用いる例について説明したが、対象物体の３次元位置・姿勢を有するデータであれば、メッシュデータ以外のデータを用いてもよい。例えば、ＣＡＤデータを用いてもよい。ＣＡＤデータは、複数の３次元空間上の曲面式および境界線を表す式により構成されている。各曲面式および境界線に関して、カメラ中心に向かう画像平面上への投影を考えると、ＣＡＤデータは、画像平面上における２次元空間上の曲面式および境界線を表す式として表現される。このとき、対象物体を構成する全ての曲面および境界線を投影した形状の最外周線を取得することにより、対象物体が２次元画像に写ったときの境界線を取得することが可能である。サンプル点抽出部１４は、この境界線上から複数のサンプル点を抽出する。ただし、ＣＡＤデータをメッシュデータに変換した後に投影した方が、処理が早くなる点で好ましい。その他の３次元データについてもメッシュデータに変換することができれば本処理を適用することが可能である。

また、上記第１および第２の実施形態では、２次元画像から対象物体の境界を抽出する処理として、前景抽出処理により対象物体を抽出した後、抽出した対象物体から境界を抽出する例について説明したが、本発明はこれに限定されない。すなわち、これ以外の公知の手法により対象物体の境界を抽出するようにしてもよい。

また、上記第１および第２の実施形態では、カメラ中心と２次元画像から抽出された対象物体の境界の各点とをそれぞれ結んでできる複数の直線により放射形状を生成する例について説明したが、境界上の全ての点を通る放射形状である必要は必ずしもない。すなわち、対象物体の境界上からいくつかの代表点を抽出し、その抽出した代表点とカメラ中心とをそれぞれ結んでできる複数の直線により放射形状を生成するようにしてもよい。

また、上記第１および第２の実施形態では、ＩＣＰアルゴリズムを用いて３次元データの位置補正を行う例について説明したが、本発明はこれに限定されない。例えば、SoftassignアルゴリズムやＥＭ−ＩＣＰアルゴリズムなど、３次元点群の位置合わせに用いられる他のアルゴリズムを利用してもよい。

その他、上記第１および第２の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０ ２次元映像取得部
２０ ２次元画像取得部
１１，１１’ 境界抽出部
１２ 放射形状生成部
１３，１３’ ３次元データ投影部
１４ サンプル点抽出部
１５ 位置合わせ部
１６ 空間情報取得部
１７ カメラパラメータ記憶部
１８ 位置補正部
１００，１００’ 画像処理装置
２００ 単眼カメラ

Claims (7)

1. 撮像装置を用いて実空間を撮像することにより生成される２次元映像を取得する２次元映像取得部と、
   上記２次元映像取得部により取得された上記２次元映像から所定フレーム間隔毎に静止画としての２次元画像を取得する２次元画像取得部と、
   上記２次元画像取得部により取得された各フレームの２次元画像から対象物体の３次元位置および姿勢の空間情報を取得することによって上記対象物体の３次元空間内での動作をトラッキングするトラッキング部とを備え、
   上記トラッキング部は、
   上記２次元画像取得部により現フレームで取得された上記２次元画像から対象物体の境界を抽出する境界抽出部と、
   上記撮像装置の中心位置と上記境界抽出部により抽出された境界の各点とをそれぞれ結んでできる複数の直線により放射形状を３次元空間の座標系上に生成する放射形状生成部と、
   上記２次元画像取得部により取得された前フレームの２次元画像から求められた対象物体の３次元位置を用いて、上記対象物体を表す３次元データを上記２次元画像上に投影する３次元データ投影部と、
   上記２次元画像上に投影した上記対象物体の３次元データから、上記対象物体が上記２次元画像に写ったときに境界となる点を上記３次元データのサンプル点として抽出するサンプル点抽出部と、
   上記放射形状生成部により生成された放射形状上に、上記サンプル点抽出部により抽出されたサンプル点が位置するように上記３次元データの位置合わせを行う位置合わせ部と、
   上記位置合わせ部により位置合わせされた上記３次元データから上記対象物体の３次元位置および姿勢の空間情報を取得する空間情報取得部とを備えたことを特徴とする画像処理装置。
2. 上記境界抽出部により前フレームの２次元画像から抽出された対象物体の中心位置および現フレームの２次元画像から抽出された対象物体の中心位置をそれぞれ算出し、両中心位置の差分量に基づいて上記３次元データを投影する位置を補正する位置補正部を更に備え、
   上記３次元データ投影部は、上記位置補正部により補正された上記２次元画像上の位置に、上記対象物体を表す３次元データを投影することを特徴とする請求項１に記載の画像処理装置。
3. 上記境界抽出部は、教師データから生成した学習データを用いて前景抽出処理を行うことにより、上記２次元画像から上記対象物体を抽出する前景抽出処理部と、
   上記前景抽出処理部により抽出された上記対象物体から上記境界を抽出する境界抽出処理部とを備えたことを特徴とする請求項２に記載の画像処理装置。
4. 上記位置補正部は、上記２次元画像のピクセル値に対して、コーシー分布の最尤推定を適用して上記対象物体の中心位置を算出することを特徴とする請求項３に記載の画像処理装置。
5. 上記位置合わせ部は、上記放射形状生成部により生成された放射形状と、上記サンプル点抽出部により抽出されたサンプル点との対応を最近点により求め、当該求めた対応を最小化する変換処理を繰り返すことによって上記３次元データの位置合わせを行うことを特徴とする請求項１記載の画像処理装置。
6. 上記３次元データは、上記対象物体と同一形状を、三角形または四角形から成る複数のメッシュで表現した３次元のメッシュデータであることを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 画像処理装置の２次元映像取得部が、撮像装置を用いて実空間を撮像することにより生成される２次元映像を取得する第１のステップと、
   上記画像処理装置の２次元画像取得部が、上記２次元映像取得部により取得された上記２次元映像から静止画としての２次元画像を取得する第２のステップと、
   上記画像処理装置の境界抽出部が、上記２次元画像取得部により現フレームで取得された上記２次元画像から対象物体の境界を抽出する第３のステップと、
   上記画像処理装置の放射形状生成部が、上記撮像装置の中心位置と上記境界抽出部により抽出された境界の各点とをそれぞれ結んでできる複数の直線により放射形状を３次元空間の座標系上に生成する第４のステップと、
   上記画像処理装置の３次元データ投影部が、上記２次元画像取得部により取得された前フレームの２次元画像から求められた対象物体の３次元位置を用いて、上記対象物体を表す３次元データを上記２次元画像上に投影する第５のステップと、
   上記画像処理装置のサンプル点抽出部が、上記２次元画像上に投影した上記対象物体の３次元データから、上記対象物体が上記２次元画像に写ったときに境界となる点を上記３次元データのサンプル点として抽出する第６のステップと、
   上記画像処理装置の位置合わせ部が、上記放射形状生成部により生成された放射形状上に、上記サンプル点抽出部により抽出されたサンプル点が位置するように上記３次元データの位置合わせを行う第７のステップと、
   上記画像処理装置の空間情報取得部が、上記位置合わせ部により位置合わせされた上記３次元データから上記対象物体の３次元位置および姿勢の空間情報を取得する第８のステップとを有し、
   上記第１のステップから上記第８のステップの処理を上記２次元映像の所定フレーム間隔毎に行い、各フレームの２次元画像から上記対象物体の３次元位置および姿勢の空間情報を取得することによって上記対象物体の３次元空間内での動作をトラッキングすることを特徴とする３次元トラッキング方法。

Images