JP3944841B2

JP3944841B2 - 対象物の動作追跡方法

Info

Publication number: JP3944841B2
Application number: JP2002191392A
Authority: JP
Inventors: 泰代喜多; 勝彦坂上; 大祐堤
Original assignee: Hokkaido Prefecture; National Institute of Advanced Industrial Science and Technology AIST
Current assignee: Hokkaido Prefecture; National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2002-06-28
Filing date: 2002-06-28
Publication date: 2007-07-18
Anticipated expiration: 2022-06-28
Also published as: JP2004038330A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置により撮影した対象物の動画像（時系列画像）に基づいて画像処理装置により動画像中の対象物の動きを解析する対象物の動作追跡方法に関する。
【０００２】
【従来の技術】
牛などの家畜の監視においては、事故や病気による異常を早期に発見するため、その動きを毎日確認することが重要である。震えなどの挙動がおかしいもの、反対に動きが少ないなどの異常な振る舞いは、その瞬間ごとに判断することは難しく、連続した動き情報から分析することが必要である。そのためには、ある程度の時間監視し続けることが重要であり、これらのデータを自動的に収集して、異常を早期に発見し、酪農事業者などに知らせる監視システムの構築が求められている。Ｍａｇｅｅら［後述の１］は牛の歩行を監視することにより、その異常を検出する方法の研究を行っている。
【０００３】
【発明が解決しようとする課題】
この方法は、牛体全体の輪郭を取得し、かつ、動きによって変化する輪郭を複数取得しておく必要がある。動きの推定に用いる場合、推定したい動きに応じた輪郭を取得しておかなければならず、必ずしも簡便とはいえない。
【０００４】
そこで、本発明の目的は、日常、容易に得られる時系列画像を用いて、牛の動きをトラッキング（追跡）することができる対象物の動作追跡方法を提供することにある。
【０００５】
【課題を解決するための手段】
このような目的を達成するために、請求項１の発明は、撮像装置により動作追跡対象となる対象物を撮影し、当該撮影により得られる時系列画像に基づいて画像処理装置内において前記時系列画像内の前記対象物の動作を追跡する対象物の動作追跡方法において、前記対象物の基本形状を示す画像を予め前記画像処理装置に登録しておき、前記画像処理装置は、前記基本形状を示す画像に基づき、対象物の動きを表す複数のパラメタとその動きによって生じる画像上の見え方の変化との関係式を予め定めておき、それに基づく拘束条件付変形可能モデルを配置し、前記撮像装置により得られる時系列画像の画像特徴を前記拘束条件付変形モデルで追跡することにより前記対象物の動作を追跡するステップを実行し、前記対象物の動作の追跡のために、前記基本形状として前記対象物の複数の部位の模様の輪郭が使用され、前記関係式は、前記対象物の動きを表す複数のパラメタをベクトルｑ、前記画像上の輪郭の見え方の変化を前記部位の模様の輪郭の画像の座標位置ｕで表した場合にｕ＝Ｆ（ｑ）の関数の形態で表され、前記対象物の動作を追跡するステップでは、前記複数の部位の模様の輪郭の動きを前記拘束条件付変形可能モデルの動きとして追跡し、当該追跡した画像上の輪郭の見え方の変化を表す輪郭の画像の座標位置ｕから前記関係式ｕ＝Ｆ（ｑ）により対象物の動きを表す複数のパラメタとしての前記ベクトルｑを算出することを特徴とする。
【０００７】
請求項２の発明は、請求項１に記載の対象物の動作追跡方法において、前記対象物の動作を追跡するステップでは、前記対象物の部位ごとにその位置姿勢の動きの追跡が行われることを特徴とする。
【０００８】
請求項３の発明は、請求項２に記載の対象物の動作追跡方法において、前記撮像装置による撮影は、複数の前記部位が最も重なりにくい角度から行われることを特徴とする。
【０００９】
【発明の実施の形態】
図面を参照して本発明の実施形態を詳細に説明する。
【００１０】
本実施形態は、日常、容易に得られる時系列画像を用いて、牛の動きをトラッキング方法の確立を目指すものである。この課題においては、次の事柄が問題を難しくする。
１）牛同士の重なりが見え方を複雑にする。
２）自然状況では牛と背景のコントラストがあまり大きくない場合がある。
３）非剛体運動の追跡である。
【００１１】
はじめに、牛の重なりを防ぐため、牛舎内の天井にカメラを設置し、図６（ａ）に示すような上から見た画像を使用した。この画像では脚の動きはよく観察できないが、脚以外の主な部分はよく観察でき、異常な動きを特定できるだけの十分な情報を得ることができると考える。上から見た画像は口田らによって牛の体重の推定を行う研究［後述の文献４参照］で用いられている。その上から見た画像では背景は地面または床面であり、一般に暗い場合が多い。
【００１２】
一方、白い模様は暗い背景に対して、コントラストが高く、容易に抽出することができる。日本では乳牛の９０％以上、飼育牛全体でも５０％がホルスタイン種であり、その身体には黒と白の模様を有する。今回、牛体の輪郭を用いず、抽出の容易な白い模様を使用して、牛の動きのトラッキングを行った。この方法では模様のない牛には適用できないが、多くの牛体には模様があるため実用性は十分あるといえる。
【００１３】
牛体は非剛体であるため、画像上における牛体の見え方の変化は複雑になり、動きのパラメタを求めることは難しい。しかしながら、あらかじめ、見え方を学習することによって、この問題を解決する方法が提案されている［文献１，３参照］。
【００１４】
一方、上から見た牛の画像において、牛体を胴部、頭部、首部は比較的容易に分離できる。また、これら３つ部分は重なりなしに観察できる。我々はこれら各部分の動きを独立に考慮することによって、学習を必要とすることなしに、簡便に牛体の動きの推定を行った。特に、仔細な動きを除けば頭部と胴部の動きは剛体として扱うことができ、牛の動きを簡素に表現できる。これら各部分上の白い模様の見え方の変化は、その運動によってもたらされるため、この見え方の変化を観測することにより牛の動きの推定を行う。
【００１５】
次に、白い模様の抽出について考える。観測された画像より任意の領域から境界を抽出する一方法にＳｎａｋｅｓ［後述の文献２参照］のようなｄｅｆｏｒｍａｂｌｅｍｏｄｅｌが提案されている。しかしながら、一般にＳｎａｋｅｓの「硬さ」と「滑らかさ」のパラメタを抽出したい対象にあわせることは難しい。
【００１６】
パラメタの調整に関する問題点を解決する方法として、ＡｃｔｉｖｅＳｈａｐｅＭｏｄｅｌｓ［文献３参照］が提案されている。この方法はあらかじめ変形した輪郭の例を与えて学習させることにより、変形する対象を抽出するものである。このｄｅｆｏｒｍａｂｌｅｍｏｄｅｌは学習によって得られた変形規則に従って変形するため、新しい画像内における類似した輪郭の探索などに有効である。学習が必要であることが問題となる場合も考えられるが、ノイズや重なりに対してロバストな特性を有する点や、変形の定式化が難しい場合や不明な場合に有効である。
【００１７】
本願発明者の方法は牛の動きとそれによって生じる牛の模様の見え方変化が簡単な関係式で表されることを利用し、その変化より動きパラメタを求めるものである。よって、一度模様を登録しておけば、学習過程を要することなく動きパラメタを得ることができる。登録した模様の見え方の変化という拘束を付けたｄｅｆｏｒｍａｂｌｅｍｏｄｅｌを用いることで、模様の抽出とトラッキングにロバスト性を持たせることができる。このようにして、模様をトラッキングしながら、その見え方の変化を与える動きパラメタを得ることができ、その結果、牛の動きの推定を行うことができる。
【００１８】
（モニタリング方法）
時系列画像は牛舎内の天井に設置したカメラで取得する。図６（ａ）は、その時系列画像の一例である。牛の動きは頭部、首部、胴部のそれぞれにおいて、白い模様をトラッキングすることによって推定する。牛の各部分は図１に示すそれぞれの座標系で記述する。３つに分割した各部分の動き情報を統合することにより、牛全体の動きを詳細に把握することができる。また、「震え」のように一部の動きのみでもその異常を知ることも可能である。
【００１９】
各牛の白い模様の輪郭情報を点の集合として頭部、首部、胴部の各部分ごとにあらかじめ登録しておく。登録するデータは上から見た画像より取得する。現在、模様の登録を手動で行っているが、自動的に登録する方法を検討している。
【００２０】
モニタリングは「探索モード」と「トラッキングモード」の２つのモードに分けることができる。探索モードでは入力画像より牛の位置を求め、個体を識別し、トラッキングに必要な初期位置と姿勢を得る。トラッキングモードでは探索モードで得られた初期位置から対象のトラッキングを行う。これらのプロセスは個体ごと部分ごとに行い、入力画像上に複数の牛があっても同時並行的に処理が可能である。
【００２１】
（変形拘束付きｄｅｆｏｒｍａｂｌｅｍｏｄｅｌ）
【００２２】
【外１】

【００２３】
【数１】

【００２４】
【外２】

【００２５】
【数２】

【００２６】
【外３】

【００２７】
【数３】

【００２８】
【外４】

【００２９】
【外５】

【００３０】
【外６】

【００３１】
【数４】

【００３２】
【外７】

【００３３】
模様のモデルを３Ｄとして与えておけば、基本的にはどのような運動にも対応できる。今回の実験では、牛は飲水器までの移動と水を飲む行為が中心となっている。そのため、胴部の動きは平面的であり、寝転ぶなど、胴部が傾く動きはない。このため、胴部の白い模様の見え方の変化は、画像上の２次元的な平行移動と画像光軸周りの回転のみである。
【００３４】
また、上から見た画像からみえる頭部上面は平面的と仮定できる。このため、この頭部上面が画像面と平行になった時の観測パターンをこの平面上の２Ｄパターンと捕らえ、その見え方変化から、画像面上の平行移動、及び任意軸周りの回転を求めることができる。求める運動を以上述べたものに限定すれば、モデル点は２次元座標でよく、新たな設備を必要とすることなく、観測用の一台のカメラだけから対象の牛の白模様モデルを作成することができる長所がある。
【００３５】
【外８】

【００３６】
（初期位置の探索）
牛の位置の検出は、入力画像より牛の胴部にある白い模様を探すことから始める。牛の胴部は頭部や首部に比べて領域が大きく、動きも遅いため、検出が容易に行える。通常、牛が立っている状態や歩いている状態においては、ほとんど胴部は地面に平行であり、白い模様の見え方は図１（ａ）におけるＸ−Ｙ平面上の平行移動とＺ軸まわりの回転のみと見なせる。そのため、２次元テンプレートの照合問題として扱える。入力画像内に大きな白い領域を順に、あらかじめ登録した胴部の輪郭情報とを比較して、個体の特定と胴部の位置・姿勢（Ｚ軸周りの回転）を推測する。
【００３７】
胴部の位置・姿勢が推測できると、首部と頭部の位置の探索を行う。首部と頭部の動きうる範囲は胴部の周辺に限定されるため、その限定した範囲で首部・頭部の白い模様を探索する。図３に探索領域の例を示す。図３の白枠内にある白い領域を順に探す。大きな白い領域のある枠を頭部のある位置とし、白い領域の重心にあらかじめ登録した頭部の輪郭情報を配置する。頭部の位置が決まれば、その向きを推定する。向きは胴部と頭部の位置関係から推定する。各位置に対する頭部の向きを推定した例を図３の白枠内に点線で示す。登録した輪郭情報から変形拘束付きｄｅｆｏｒｍａｂｌｅｍｏｄｅｌを用いて白枠内の観測された輪郭を抽出する。その結果として得られた輪郭はトラッキングモードの初期値となる。
【００３８】
（輪郭の追随）
前述したように、一度、牛の位置・姿勢の初期状態が推定できるとその輪郭を次のフレームにおける初期値として、フレーム内の画像のエッジに適合させ、模様を抽出する一連のプロセスを繰り返すことで模様のトラッキングを行う。拘束条件付きｄｅｆｏｒｍａｂｌｅｍｏｄｅｌを用いて、模様を抽出することで、トラッキングしながら、同時に動きパラメタを求めることができる。各部分のトラッキングに用いる白い模様は必ずしも１つの領域でなく、同じ動きで表せる部分上の複数の領域の模様を１つの単位として扱う。
【００３９】
（実画像における実験）
牛舎内の飲水器を監視した時系列画像に対して本方法を適用した。カメラを牛舎の天井に設置することで、水を飲みに飲水器に接近する牛の動きを明瞭に観察できる。この実験では、頭部と胴部に白い模様を持つ２頭の牛についてトラッキングを行った。また、首部については前述したとおり実装していないのでトラッキングは行っていない。この実験では牛が水を飲むときなど頭部の大きな動きを含んだ時系列画像を用いており、トラッキングの評価に適している。
【００４０】
図４は探索モードにおける、トラッキングモードのための初期状態の探索過程を示している。この状態は、すでに、牛の個体識別が済み、胴部の位置および姿勢が推定された状態である。図４（ａ）の黒い実線は、拘束条件付きｄｅｆｏｒｍａｂｌｅｍｏｄｅｌをあらかじめ登録しておいた頭部の模様の輪郭情報で初期化したもので、画像上の配置は図４（ａ）に示したように、２値化して得た白い模様の重心を通り、かつ首の付け根との位置関係から推定した角度で配置したものである。探索モードによって得られた位置・姿勢を元にしているため、白い模様と一致していない。図４（ｂ）にある中央に黒点を配した白丸は図２に示した方法で求めた観測対象のエッジである。図４（ｃ）は５０回繰り返し処理を行った後のｄｅｆｏｒｍａｂｌｅｍｏｄｅｌの状態である。白い模様の輪郭を抽出していることがわかる。
【００４１】
異なる２頭の牛に対するトラッキングの結果を図５に示す。胴部の位置・姿勢は地面に対してほとんど平行運動と見なせるので、画像上に楕円で近似して表示した。また、頭部の動きは推定した動きパラメタを用いて台形を剛体として変形させて表示した。現在、首部は頭部と胴部を単純に結んだ曲線で表示しており、その動きを正しく示してはいない。この実験では、頭部の高さ（Ｚ軸方向）を算出していないが、首部の長さなどを考慮するなどして推定する方法を検討している。
【００４２】
推定した動きパラメタのうち、頭部の角度の評価方法について述べる。評価に用いた画像の例を図６に示す。図６（ａ）と（ｂ）はそれぞれ上から見た画像と横から見た画像であり、同期がとれている。Ｚ軸、Ｘ軸周りの回転角度をそれぞれ図６（ａ）（ｂ）より、マニュアルで計測し、これを正解として、本方法により上からの観測画像だけから算出された解と比較した。
【００４３】
算出される解は、図１（ｃ）に示す、頭部物体座標のＸ軸周りの解で、この画像からマニュアルで計測される世界座標系のＸ軸周りの解と厳密に等しくないが、このことがＸ軸周りの回転角度の正解に与える影響は、この例（Ｚ軸周りに約１０度回転）では、Ｘ軸周りの回転角度が４５度のとき、約０．５度であるため無視している。また、Ｙ軸周りの回転については正解を得る画像が得られなかったので評価していない。
【００４４】
図７に牛Ｂの時系列画像における頭部の角度の変化を示す。示した角度は図１（ｃ）に示した座標軸のＸ軸とＺ軸周りの回転の変化でＺ軸周りの変化を’○’、Ｘ軸周りの変化を’□’で示した。図８には本方法によって推定した角度と評価用に上から見た画像と同時に横から見た画像から直接計測した角度との差（推定誤差）を示す。図８で示した角度は図７と同様にＸ軸とＺ軸周りの回転角度である。Ｚ軸周りの変化を’○’、’●’、Ｘ軸周りの変化を’＋’、’×’で示した。Ｘ軸周りの回転角度が大きくなると白い模様が非常に小さくなるため、トラッキングができなくなる。
【００４５】
実験の結果、Ｘ軸周りの回転角度が約７０度を越えるとトラッキングが難しくなった。この場合には、白い模様が小さく見える状態になるとトラッキングを中止し、「探索」モードにして再度、頭部の位置を探すこととする。Ｘ軸周りの角度が０〜３０度付近で大きな誤差を示しているのはこの角度での見え方の変化が小さいために起こると考えられる。しかしながら、その誤差は多くても１５度となっている。全体的には、Ｘ軸周りの平均誤差は６．９度、Ｚ軸周りの平均誤差は５．５度であった。これらの結果は牛の動きを認識するためには許容できる範囲と考える。
【００４６】
（まとめ）
本願発明者は拘束条件付きdeformable modelを用いて、牛体表面にある白い模様をトラッキングする事で、牛の動きを監視する方法をここに提案する。上から見た画像を用いることで、牛の動きの推定に必要な胴部、首部、頭部のそれぞれの動きを重なりなしに明瞭に観測できる。胴部と頭部、各部分の白い模様の見え方とその動きの関係から得られる結果を用いて、動きパラメタを推定しながら、良好にトラッキングが行えた。
【００４７】
今回の実験において、もっとも動きの大きい頭部のトラッキングが可能なことを確認した。頭部の姿勢の推定誤差はおおむね１０度以下であった。今後は、あらかじめ登録する輪郭情報を３Ｄ化し、かつ、首部の曲がりを考慮したより詳細な動きパラメタを得るように本方法を拡張していく予定である。あわせて、現在、得られる動きパラメタを用いて、監視装置への適用を進めてゆきたい。
【００４８】
参考文献
［１］Ｄ．ＭａｇｅｅａｎｄＲ．Ｂｏｙｌｅ： ”Ｆｅａｔｕｒｅｔｒａｃｋｉｎｇｉｎｒｅａｌｗｏｒｌｄｓｃｅｎｅｓ（ｏｒｈｏｗｔｏｔｒａｃｋａｃｏｗ）”，ＩｎＩＥＥＣｏｌｌｏｑｕｉｕｍｏｎＭｏｔｉｏｎＡｎａｌｙｓｉｓａｎｄＴｒａｃｋｉｎｇ，ｐｐ．２／１２／７，１９９９
［２］Ｍ．Ｋａｓｓ，Ａ．Ｗｉｔｋｉｎ，ａｎｄＤ．Ｔｅｒｚｏｐｏｕｌｏｓ： ”Ｓｎａｋｅｓ：ａｃｔｉｖｅｃｏｎｔｏｕｒｍｏｄｅｌｓ”，ＩｎＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，Ｖｏｌ．１，Ｎｏ．４，ｐｐ．３２１３３１，１９８８
［３］Ｔ．Ｆ．Ｃｏｏｔｅｓ，Ｃ．Ｊ．Ｔａｙｌｏｒ，Ｄ．Ｈ．Ｃｏｏｐｅｒ，ａｎｄＪ．Ｇｒａｈａｍ： ”ＡｃｔｉｖｅＳｈａｐｅＭｏｄｅｌｓＴｈｅｉｒＴｒａｉｎｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎ”，ＩｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＩｍａｇｅＵｎｄｅｒｓｔａｎｄｉｎｇ，Ｖｏｌ．６１，Ｎｏ．１，ｐｐ．３８５９，１９９５
［４］口田ら、“肥育牛舎内における非接触型自動増体管理システムの構築”、ホクサイテック財団北海道の研究開発、ｐｐ．１１９１２４，２０００
上述の説明は学術論文として発表されているので、説明が技術的に高度であり、通常の技術者にとっては難解と思われる個所がある。そこで、上記説明の補足説明を行う。
【００４９】
本発明に係わる対象物の動作追跡方法は、生体に代表されるような複雑な動きをする対象物を、比較的単純な動きで記述できる各部分に分割し、各部分の動きを並行して追跡することにより全体の動きを頑健、高速に把握する。
【００５０】
各部分の基本状態における形状情報から、その部分がとり得る動きによって観測画像上での見え方がどのように変形しうるかを定式化して表し、その式に従ってしか変形しない変形可能輪郭モデルを用いて、観測画像上の対象部分の抽出およびその動きの特定を同時に行う。
【００５１】
また、本実施形態の方法を適用した対象物の動作追跡システムは、時系列画像を監視入力するカメラと、上述した画像処理を実行する画像処理装置により構築することができる。画像処理装置は、上記カメラにより撮影した対象物の時系列画像の中の対象物部分を比較的単純な動きに記述できる部分に分割して、その１つの部分を基本形状部分として、監視入力画像中の基本形状部分に関する模様候補を検出する。
【００５２】
次に画像処理装置は、対象物毎に予め登録された基本形状部分の模様に基づき、前記検出された基本形状部分の模様により基本形状部分の位置及び姿勢の検出を行なう。
【００５３】
さらに画像処理装置は、前記基本形状部分の位置及び姿勢を元に、その他の部分の位置及び姿勢の候補を算出し、それに基づき、各部分に関する模様の検出を行ない、拘束条件付き変形可能モデルを配置する。
【００５４】
画像処理装置は、連続する時系列画像で、各模様をその模様毎の拘束条件付き変形可能モデルで並列に追跡することにより、各部分の位置及び姿勢を追跡しかつ算出する。また、画像処理装置は、各部分の動きを並行して追跡することにより全体の動きを把握する。
【００５５】
本発明を、牛の動作の追跡・把握のために実施した例を用いて説明する。図９に、画像処理装置により牛の動作を追跡・認識する処理手順を示す。
【００５６】
ステップ1:
牛舎内の天井に設置したTVカメラで時系列画像を取得する。図６（ａ）はその一例である。
【００５７】
ステップ2:
監視入力画像中に、胴体部分の白い模様候補が検出されれば、その模様をもとに、どの個体の牛がどのような姿勢で存在するかの検出を画像処理装置により行なう。白い模様の画像またはその特徴は、あらかじめ各牛ごとに画像処理装置に登録しておくが、その前処理については、以下の通りである。
【００５８】
[前処理]
まず、撮影された対象物の時系列画像を画像処理装置の表示画面に表示し、手動操作により位置指定により対象物の画像を比較的単純な動きに記述できる部分で分割する。牛を上部から観測する場合、胴体、首、頭の部分に分けることによって、胴体部の動きは(そのしなりを無視すれば)剛体運動、頭部の動きも剛体運動で記述できる。首部に関しては、剛体運動とその首軸に添った曲がりの運動で記述できる。
【００５９】
各牛の白い模様の輪郭情報を点の座標集合として頭部、首部、胴部の各部分ごとにあらかじめ画像処理装置に登録しておく。登録するデータは、頭部の模様のある鼻面が天井と平行になるような頭の状態の時に、同じ観測カメラより入力した画像より取得する。
【００６０】
ステップ3:
図３に示すように、胴体画像の位置・姿勢を元に、首部画像、頭部画像の位置・姿勢の候補を算出し、それに基づき、各部分画像上の白い模様の検出を行ない、拘束条件付き変形可能モデルを配置する。配置した各モデルを用いて、時系列画像中の白い模様を追跡し、その見え方の変化から各部分の位置・姿勢を決定する。この部分の処理の詳細に関しては、後述の[拘束条件付き変形可能モデル] で述べる。
【００６１】
図４（ａ）の黒い実線は、頭部の模様の輪郭情報に基づく拘束条件付き変形可能モデルで、首の付け根との位置関係から推定した角度で配置したものである。図４（ｂ）にある中央に黒点を配した白丸は図５に示した方法で求めた観測対象のエッジである。具体的に、変形可能モデル上の各点(図中黒丸)の法線方向（図中矢印方向）に、画像上で明るさの大きく変化する点(図中白丸)を探索する。図４ｃ）は収束後の状態で、白い模様の輪郭を抽出していることがわかる。この状態のモデルのパラメータより、頭部の位置・姿勢がわかる。
【００６２】
ステップ4:
連続する時系列画像で、各模様をその模様毎の拘束条件付き変形可能モデルで並列に追跡することにより、各部分の位置・姿勢を追跡・算出する。図５はこのようにして、頭部と胴体の模様を追跡して得られた、牛の姿勢変化を表している。
【００６３】
【発明の効果】
従来、単一の観測画像からは動物の活動のような複雑な動きの追跡、把握は、不可能であった。本発明は、対象物の動きをその動きの拘束に従った変形可能輪郭モデルを用いることにより、ビデオカメラのような簡易な一台の撮像装置で追跡・把握できるようになる。これにより、たとえば、家畜の日常動作を休みなく自動監視する技術が実現され、一日のうち数回の震えにしか現れないような初期病状や、突発的な異常事態の発生などの検出が可能となる。
【００６４】
また、画像特徴として対象物の模様を使用することで、撮影画像の中に他の物体が含まれていても対象物を確実に検出することができる。
【００６５】
また、対象物の複数の部位ごとにその動きを追跡することにより動作の追跡精度がさらに高まる。
【００６６】
さらに複数の部位が重りにくい角度から撮像装置よる撮影を行うことにより、画像追跡に使用するデータの欠落を防止し、さらに追跡精度を高めることができる。
【図面の簡単な説明】
【図１】（ａ）、（ｂ）、（ｃ）は対象物の部位の位置を検出するための座標系を示す説明図である。
【図２】拘束条件付変形可能モデルを説明するための説明図である。
【図３】探索領域を説明するための説明図である。
【図４】（ａ）、（ｂ）、（ｃ）は探索モードにおける、トラッキングモードのための初期状態の探索過程を説明するための説明図である。
【図５】（ａ）および（ｂ）はトラッキングの結果を示す説明図である。
【図６】（ａ）および（ｂ）は対象物の撮影画像を模式的に示す説明図である。
【図７】時系列画像における頭部の角度の変化を示す説明図である。
【図８】推定した角度と評価用に上から見た画像と同時に横から見た画像から直接計測した角度との差（推定誤差）を示す説明図である。
【図９】本発明の実施形態の処理手順を示す説明図である。

Claims

撮像装置により動作追跡対象となる対象物を撮影し、当該撮影により得られる時系列画像に基づいて画像処理装置内において前記時系列画像内の前記対象物の動作を追跡する対象物の動作追跡方法において、
前記対象物の基本形状を示す画像を予め前記画像処理装置に登録しておき、
前記画像処理装置は、
前記基本形状を示す画像に基づき、対象物の動きを表す複数のパラメタとその動きによって生じる画像上の見え方の変化との関係式を予め定めておき、それに基づく拘束条件付変形可能モデルを配置し、
前記撮像装置により得られる時系列画像の画像特徴を前記拘束条件付変形モデルで追跡することにより前記対象物の動作を追跡する
ステップを実行し、
前記対象物の動作の追跡のために、前記基本形状として前記対象物の複数の部位の模様の輪郭が使用され、前記関係式は、前記対象物の動きを表す複数のパラメタをベクトルｑ、前記画像上の輪郭の見え方の変化を前記部位の模様の輪郭の画像の座標位置ｕで表した場合にｕ＝Ｆ（ｑ）の関数の形態で表され、前記対象物の動作を追跡するステップでは、前記複数の部位の模様の輪郭の動きを前記拘束条件付変形可能モデルの動きとして追跡し、当該追跡した画像上の輪郭の見え方の変化を表す輪郭の画像の座標位置ｕから前記関係式ｕ＝Ｆ（ｑ）により対象物の動きを表す複数のパラメタとしての前記ベクトルｑを算出する
ことを特徴とする対象物の動作追跡方法。
請求項１に記載の対象物の動作追跡方法において、前記対象物の動作を追跡するステップでは、前記対象物の部位ごとにその位置姿勢の動きの追跡が行われることを特徴とする対象物の動作追跡方法。
請求項２に記載の対象物の動作追跡方法において、前記撮像装置による撮影は、複数の前記部位が最も重なりにくい角度から行われることを特徴とする対象物の動作追跡方法。