JP3780017B2 - 時系列画像解析装置及びその解析方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、時系列画像中から所定の対象物を抽出し、解析を行う時系列画像解析装置に係り、対象物の動作を高精度に解析を行う時系列画像解析装置及びその解析方法に関する。
【０００２】
【従来の技術】
一般に、ＣＣＤカメラ等の画像撮影装置により撮影された画像の認識を行うための種々の技術が知られている。例えば、「だ円によるシルエット図形の記述と表現」（木本伊彦他 電子情報通信学会論文誌 Ｄ−II Ｖｏｌｌ．Ｊ７６−ＤII Ｎｏ．６ Ｐ１１５９〜Ｐ１１６７）に記載されるように、自然画像から２値化処理を行うことにより、シルエットの抽出を行い、その抽出されたシルエット領域内を全探索し、面積最大の楕円の当て嵌めを行う。そして、当て嵌めを行われていない残りのシルエット領域に関しても同様に楕円の当て嵌めを行い、対象物の形状の認識を行っている。
【０００３】
【発明が解決しようとする課題】
しかし前述した従来の手法では、対象物の認識が一枚の静止画像とこの静止画像から抽出されたシルエット画像のみで行われている。従って、影や遮蔽の影響で対象物の本来の形状の情報が欠落している場合、どの部位が欠落しているのか、またはこのどの部位がどのような動きをしているのか解析することができない。 さらに誤認識が生じた場合でも、それが実際に、誤認識であるかどうか判定できない。
そこで本発明は、対象物の形状と動作に関する知識を利用し、対象物の動きを高精度に解析を行うことができる時系列画像解析装置及びその解析方法を提供することを目的とする。
【０００４】
【課題を解決するための手段】
上記目的を達成するために、時系列画像中の所定の対象物であって動作に周期性を有する対象物を解析する時系列画像解析装置において、上記時系列画像中の所定の時間範囲内の複数の画像から対象物であるシルエット画像を抽出する形状生成手段と、上記対象物の形状及び動きによる形状変化に関する知識を、上記対象物を構成する部位のそれぞれについてパラメータとして格納する対象物モデル手段と、上記形状生成手段によって抽出された対象物から上記対象モデル手段に格納されたパラメータと対応したパラメータを算出するパラメータ算出手段と、上記パラメータ算出手段から算出された対応パラメータであって時系列画像の個別の画像毎にそれぞれ算出されたすべてのパラメータの全体と上記対象物モデル手段のパラメータであって時系列画像に対応するモデル毎のパラメータの全体のうちから、シルエット画像と対象物モデルとが動作タイミング的に互いに略同じ形状となる時間タイミングの上記パラメータ同志を照合し、この照合結果に基づいて上記パラメータ算出手段によって算出されたパラメータを修正することによって上記パラメータ算出手段のみによって算出されることにより生じる対象物の形状誤差を最小化させることにより対象物の形状及びパラメータを整合させる整合手段と、を有する時系列画像解析装置を提供する。
【０００５】
さらに、時系列画像中の所定の対象物であって動作に周期性を有する対象物を解析する動画像解析方法において、上記対象物の形状及び動きによる形状変化に関する知識を、上記対象物を構成する部位のそれぞれについてパラメータ化することによってモデル化し、上記モデル化されたパラメータのうち、動きに関する知識を時間の関数として格納し、上記時系列画像中の所定の時間範囲内の複数の画像から上記対象物を抽出して、上記モデル化されたパラメータに対応するパラメータを算出し、上記モデル化されたパラメータと上記対象物から算出されたパラメータとに対して動作タイミング的に上記時系列画像中の対象物と上記モデルとが略同じ形状となる時間タイミングについてそれぞれのパラメータを照合対象とすべく時間タイミングの間の同期をとり、同期した上記対象物からのパラメータによる形状と、上記モデル化されたパラメータによる形状との大きさが合うようにこれら両形状の大きさ比率を求めこの大きさ比率に基づいて上記モデル化されたパラメータを補正し、上記対象物と上記モデルとが動作タイミング的に互いに略同じ形状となる時間タイミングの上記パラメータ同志を照合し、この照合結果に基づいて上記対象物に基づいて算出したパラメータを上記関数から求められたパラメータに基づいて修正することによって上記修正を行わない場合に生じる対象物の形状誤差を最小化させることにより整合する時系列画像解析方法を提供する。
【０００６】
【作用】
以上のような構成の時系列画像解析装置により、時系列画像中の所定の時間範囲内の複数の画像から対象物を抽出し、所定の期間に渡る対象物を構成する部位の形状と動きをパラメータとして表し、他方で上記所定の期間に対応する期間に渡り上記対象物のモデルを上記パラメータに対応するパラメータとして格納する。上記複数の画像において、全体として、対象物から求められたパラメータと、モデルのパラメータとが整合するように、すなわち、それぞれのパラメータの値が所定の関係を満たすように対象物から求められたパラメータを補正することによって、対象物の動きが認識され、高精度に解析される。若しくは、上記パラメータ算出手段によって算出されたパラメータから対象物を表す画像として構成される画像と上記形状生成手段によって抽出された対象物が所定の関係を満たすように上記対象物のパラメータを補正することによって対象物の動きを解析する。
【０００７】
また、時系列画像解析方法により、所定の期間に渡る時系列画像中の対象物を構成する各部位のパラメータを算出し、抽出された対象物に基づいて、モデルの大きさの補正が行われ、対象物とモデルの動きの同期がとられた後、上記所定の期間に対応する期間に渡り対象物から算出されたパラメータとモデルのパラメータのそれぞれの大きさが所定の関係を満たすように対象物から算出されたパラメータが補正される。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について詳細に説明する。
図１は、本発明による第１実施形態としての時系列画像解析装置の概略的な全体の構成例を示す図である。
【０００９】
この時系列画像解析装置は、ＣＣＤカメラ等からなる画像の入力部１と、上記入力部１からの画像入力信号をデジタル化するＡ／Ｄ部２と、上記Ａ／Ｄ部２からのデジタル画像信号をフレーム単位で一時的に記憶するバッファメモリ部３と、上記バッファメモリ部３からの画像データを保存する磁気ディスク等からなる補助入出力部４と、上記画像データ中で背景（静止画像領域）から所望の対象物（動画像領域）を抽出し、シルエット画像として生成する形状生成部５と、上記形状生成部５により生成されたシルエット画像を、予め解析の対象となる物体の各部位（パーツ）の形状に対応する単純な幾何学的な形状、例えば図２に示す楕円のような幾何学形状で各部位を表現するためのモデル形状や動作の情報などが格納されている対象物モデル部６と、上記形状生成部５と上記対象物モデル部６により対象物を構成する部位に分割し、各部位の位置や傾斜角のパラメータを概略的に算出するパラメータ算出部７と、上記対象物モデル部６が出力するパラメータ群全体を上記パラメータ算出部７により算出されたパラメータ群全体及び形状生成部５が生成したシルエット画像群に整合させる整合部８と、上記整合部８で算出されたパラメータ群を画像生成部１２に出力する。上記画像生成部１２にて画像化された解析結果の出力をアナログ化するＤ／Ａ部９と、アナログ化された画像データを出力する出力部１０と、これらの構成部の動作を制御する制御部１１とで構成される。
【００１０】
以上のように構成された時系列画像解析装置における画像解析について説明する。
まず、入力部１は撮影した映像を光電変換し、制御部１１の制御に基づき、所定時間の映像信号としてＡ／Ｄ部２へ転送する。上記Ａ／Ｄ部２は、上記映像信号をデジタル画像信号に変換し、バッファメモリ部３へ転送する。このバッファメモリ部３は、複数のフレームメモリで構成され、Ａ／Ｄ部２からの上記デジタル画像信号を一時的に記憶し、フレーム単位の画像データに変換して順次、磁気ディスク装置などの補助入出力部４へ出力する。
【００１１】
上記補助入出力部４は、制御部１１の制御により上記画像データを形状生成部５へ出力する。形状生成部５では、上記画像データにおいて、解析処理の対象物が存在しない背景画像と、対象物の存在している原画像との差の絶対値を算出した後、２値化処理し、動画像領域（対象物のシルエット画像）のみを取り出す。ここで、上記背景画像は、予め撮影したものを用いてもよいし、原画像から背景画像を生成して用いてもよい。
上記形状生成部５で生成されたシルエット画像は、対象物モデル部６、パラメータ算出部７、整合部８にそれぞれ出力される。
【００１２】
上記対象物モデル部６は、制御部１１の制御により、シルエット画像と対象物の形状の情報を用いてモデルサイズの校正を行う。上記パラメータ算出部７では、制御部１１の制御により、形状生成部５のシルエット画像と、対象物モデル部６の各出力から対象物の各部位の位置や傾斜角のパラメータを概略的に決定する。 具体的な一例としては、形状生成部５で生成されたシルエット画像よりスケルトンの抽出を行う。抽出されたスケルトンは、元のシルエットの幅の情報を含んでいる。また、スケルトンの抽出方法に関しては、例えば、総研出版刊「コンピュータ画像処理入門」（ｐ７７）などに記載されており、ここでの詳細な説明は省略する。
【００１３】
次に上記対象物モデル部６の各部位のサイズに基づきスケルトンの分割を行う。分割されたスケルトンの中心点が各部位の位置に、傾きが傾斜角に相当する。また、中心点におけるスケルトンの幅情報を許容範囲εとする。
【００１４】
そして、形状生成部５で生成されたシルエット画像、対象物モデル部６のモデル、パラメータ算出部７で算出された各部位のパラメータは、整合部８にそれぞれ出力される。上記整合部８では、形状生成部５、対象物モデル部６、パラメータ算出部７の各出力を用いて、時系列画像中の対象物と対象物モデル部６の動作に関する時刻の同期を行い、パラメータ算出部７により算出されたパラメータ群全体と対象物モデル部６のパラメータ群全体および形状生成部５のシルエット画像群との関係を照合し、誤差を最小化させる。
【００１５】
上記整合部８の出力は、制御部１１の制御により、画像生成部１２に転送され、算出されたパラメータを例えば、楕円等で表すことにより画像化する。上記画像生成部１２で生成された画像は、Ｄ／Ａ部９に転送して、アナログ信号に変換される。さらに制御部１１により上記アナログ信号をディスプレイ等の出力部１０へ出力し、画像解析結果を表示する。
【００１６】
次に図２は、対象物モデル部６に格納されているモデルを説明するための図である。
図２（ａ）は、例えば、人間の形状を対象物とし、この形状を胴体、頭、手足等の複数の部位に分解して、楕円で表現した場合のモデルを示す。但し上記楕円は単純な幾何学的形状の一例であり、数字は部位の番号であり、ａ，ｂは、各部位の長さを表す。このモデルでは、各部位のサイズ比、接続関係など対象物に関して、予め分かっている標準的な情報が格納してある。
【００１７】
図２（ｂ）は、各部位の接続関係と接続番号を示す。
対象物の各部位の大きさを対象物の身長に対する比率として定義し、対象物モデル部６に格納する。また、各部位の大きさの校正を行うために、モデルの対象物の高さ方向の大きさ（身長）ｍｈもモデルの一部として格納しておく。なお、単純な幾何学的形状としては、楕円に限定されるものではなく、線分や円柱などで記述することも勿論可能である。
【００１８】
また、対象となる動作の各部位の位置や傾斜角の理論的な数値データが時刻に対応して格納されている。対象物の対象となる動作の数値データの算出を行うために、マーカを用いて数値データを収集する。ここで、数値データとは、各部位の中心位置（ｘ，ｙ）、傾斜角θのことである。
【００１９】
マーカを対象物の各部位の中心位置に装着し、対象となる動作の撮影を行う。撮影された画像からマーカを抽出し、抽出されたマーカの重心を各部位の中心点（ｘ，ｙ）とする。このマーカの傾斜角は、例えば抽出されたマーカの細線化を行い、この線の傾きを角度θとする。マーカの形状は、例えば長方形など傾斜角の算出が行うことが可能である形状であればよい。
【００２０】
また、マーカは各部位の接続位置つまり、関節に装着してもよい。この場合の数値データの算出方は、マーカを抽出し、各マーカの位置の算出を行う。接続関係にある部位の２つのマーカの位置を用いて（１）式に示すように部位の長さ、傾斜角、中心点の算出を行う。
このマーカを各部位の接続位置に装着することにより、各部位の長さを正確に算出することができる。なお、マーカ形状は、円形のように動作の妨げにならず、各部位の長さ、傾斜角、中心点の算出が行うことが可能である形状であればよい。また、上記２つのマーカは、色マーカや電球のように公知であるマーカを用いて行うこともできる。
【００２１】
図１３は、マーカ装着と数値データ算出法の概念図であり、（ａ）は、マーカを各部位の中心位置に装着した例であり、（ｂ）は、マーカを各部位の接続関係にある部位に装着した例である。
【００２２】
【数１】

【００２３】
ここで、（ｘ_ｉ ，ｙ_ｉ ），（ｘ_ｊ ，ｙ_ｊ ）は接続関係にある部位のマーカの位置であり、（ｘ，ｙ）は各部位の中心点、θは各部位のなす傾斜角、ａは各部位の長さを表している。
【００２４】
また、算出された数値データは、全て格納してもよいし、対象となる動作に周期性がある場合、動作の周期成分を抽出し、一周期分のみ格納してもよい。また、対象となる動作の理論的な数値データは時間に対応させて、図１４に示すようなテーブルとして保存してもよいし、各数値データを各部位ごとに補間関数により数式化して係数のみを保存してもよい。また、図３に示すような存在可能領域として保存してもよい。
【００２５】
次に図１５は、対象物モデル部６に格納されている各数値データを各部位ごとに補間関数により数式化して格納する概念を示す。図１５（ａ）に示すように、格納された時刻ｉ−１，ｉ，ｉ＋１の各数値データから微分値（差分値）を算出する。
【００２６】
そして図１５（ｂ）に示すように、この微分値の変動が所定の閾値以上になる点を節点とする。抽出された節点間をスプライン関数などで補間を行い、算出された係数のみを格納しておく。スプライン関数に関しては例えば、「スプライン関数入門」（電機大出版局）などに記載されている。なお節点は、時刻ｉ−１，ｉ，ｉ＋１の各数値データの２次微分値の変曲点としてもよい。変曲点を節点とすることにより、数値データの変化が小さい運動についても節点を抽出することができる。
【００２７】
なお、対象となる部位の動作に周期性がある場合、その動作の周期成分を抽出し、一周期分の各部位の論理的な（理論的な）数値データを格納してもよい。また、対象となる部位の動作の論理的な（理論的な）数値データは、時間に対応させたテーブルの形態で保存してもよい。また図３に示すような存在可能領域として保存してもよい。
【００２８】
図３（ｂ）に示すような歩行１周期における各部位の存在可能領域を理論的な数値データを基に以下のように算出する。
モデルの画像から対象物の領域（シルエット）を包含する矩形を公知である手法で、図３（ａ）のように抽出し、この矩形のｘ軸方向の中心線（中点）を求める。この中心線を一致させるように、つまりｘ座標を一致させるように各部位の理論的な数値データ（中心点）を重ね合わせる。
【００２９】
これにより図３（ｂ）の黒点で示す各部位の中心点の分布を求めることができる。この中心点の分布を包含する領域、つまり、各部位の中心点が存在可能な領域として存在可能領域を定める。この存在可能領域は、幾何学的な形状である楕円や半円のパラメータの組み合わせで記述する。
【００３０】
具体的には、頭部と胴体部は、中心点の平均値を中心とする楕円で示し、手部・上腕部・前腕部は肩の位置を、大腿部・臑部・足部は腰の位置を中心とする円（扇形）の組み合わせで示している。肩・腰の位置（ｘ_{ｓｈｏｕｌｄｅｒ}，ｙ_{ｓｈｏｕｌｄｅｒ}），（ｘ_{ｗａｉｓｔ} ，ｙ_{ｗａｉｓｔ} ）は（２）式で算出される。
【００３１】
【数２】

【００３２】
ここで、（ｘ_２ ，ｙ_２ ）は上記で算出した胴体部の中心点、ａ_２ は胴体部の長さ、θ_２ は胴体部の傾斜角を示す。
（３）式を用いて、手部・上腕部・前腕部・大腿部・臑部・足部の中心点を包含するような幾何学的な形状の算出を行う。
【００３３】
【数３】

【００３４】
ただし、ｒは各部位の中心点を全て包含するような円の半径、ｐｈｉは円周角を示す。図１６は、半径ｒや円周角ｐｈｉの算出方法の説明図である。これらは円の中心点（（ｘ_{ｓｈｏｕｌｄｅｒ}，ｙ_{ｓｈｏｕｌｄｅｒ}）または（ｘ_{ｗａｉｓｔ} ，ｙ_{ｗａｉｓｔ} ））と各部位の全中心点との距離と角度を例えば（４）式のように算出する。
【００３５】
【数４】

【００３６】
ここで、ｘ_０３は、時刻０、部位番号３のｘ座標を示し、ｒ_０ ，ｐｈｉ_０ は腰の位置から部位番号３である大腿部までの距離、角度を示す。この計算を解析を行う全ての時刻に対して行い、ｒ_ｉ ，ｐｈｉ_ｉ の最大・最小の値からｒ_ｍａｘ ，ｒ_ｍｉｎ ，ｐｈｉ_ｍａｘ ，ｐｈｉ_ｍｉｎ を自動的に求めることができる。この操作を各部位に関して行う。
求められた図３（ｂ）に示す存在可能領域は画像として格納するのではなく、半径ｒや円周角ｐｈｉや中心点（ｘ，ｙ）や回転角θや長軸・短軸の長さａ，ｂのパラメータをテーブルとして格納しておく。処理を行う際、このパラメータを用いて図３（ｂ）に示す画像として回復する。
【００３７】
図４は、前述した整合部８の具体的な構成を示すブロック図である。
この整合部８において、形状生成部５と対象物モデル部６の出力は、同期部２１に転送される。同期部２１では、形状生成部５のシルエット画像群と対象物モデル部６のモデルのパラメータ群から同期をとるために、同じ動作となる時刻を複数個算出する。対象物モデル部６と同期部２１の各出力は、周期校正部２２に転送される。本実施形態では、解折対象の動作に周期性があるものを前提としている。そこで、周期校正部２２では、同期部２１で算出された複数の同期時刻とから算出される１周期にかかる時間と、対象物モデル部６の出力であるモデルパラメータに予め含まれているモデルの１周期にかかる時刻とに基づいて、モデルデータの周期の校正を行う。形状生成部５と対象物モデル部６とパラメータ算出部７と同期部２１と周期校正部２２はパラメータ修正部２３に出力される。
【００３８】
このパラメータ修正部２３では、一画像内でモデルとの対比による時系列画像のパラメータの修正を行う。形状生成部５と対象物モデル部６とパラメータ算出部７とパラメータ修正部２３の出力は、最適化処理部２４に転送する。最適化処理部２４では、パラメータ算出部７により算出されたパラメータ群全体を周期校正された対象物モデル部６のパラメータ群全体および形状生成部５のシルエット画像群に整合される。
【００３９】
図５は、同期部２１の処理における概念図である。同期部２１では、時刻ｔｉｍｅにおけるモデルの位置や傾斜角のパラメータを用いて単純な幾何学的形状の一例として楕円を生成し、時系列画像中の対象物のシルエット画像群とのマッチングを行う。マッチング誤差が最小となるシルエット画像の時刻が、モデルにおける時刻ｔｉｍｅに相当することになる。
【００４０】
上記同期部２１について、対象物が人間である場合の具体的な例を、図１７に示すフローチャートを参照して説明する。
まず、モデルから基準動作であるｃｌｏｓｅ状態（手足が閉じている状態）の時刻ｃｒｏｓｓの算出を行う（ステップＳ１）。図１８はｃｌｏｓｅ状態の算出方法の概念図である。基準動作ｃｌｏｓｅ状態の時刻の算出方法は、対象物モデル部６に格納されているモデルのパラメータをスプライン関数から算出し、全ての時刻に関して頭部（部位の番号０）と他の部位群とのｘ座標の差の総和を算出する。この総和が一番小さくなる時刻がｃｒｏｓｓとなる。図５は同期時刻ｔｉｍｅの算出方法の概念図である。
【００４１】
次に、時刻ｃｒｏｓｓのモデルのパラメータを用いて時刻ｃｒｏｓｓのモデルの楕円画像を生成する（ステップＳ２）。この時刻ｃｒｏｓｓのモデルのシルエット画像と時刻ｔｉｍｅの時系列画像のシルエット画像を包含する外接四辺形を公知である手法で抽出し、この外接四辺形のｘ軸方向の中心線を一致させる。時系列画像のシルエット画像とモデルの楕円画像との面積差を算出する。
全ての時刻の時系列画像のシルエット画像との面積差を算出し、面積差が最小である時刻ｐｅｒｉｏｄが時刻ｃｒｏｓｓと同動作を行う時刻である（ステップＳ３）。
【００４２】
以上のように、モデルのｃｌｏｓｅ状態の楕円画像と時系列画像中の対象物のシルエット画像群とのマッチングを行うことで、モデルと時系列画像との同期をとることができる。
また、以下のような方法でも同期時刻を算出することも可能である。対象物モデル部６に格納されているモデルのシルエット画像群と時系列画像のシルエット画像群の面積の最小（又は最大）となる時刻を複数個算出する。算出された時刻がモデルと時系列画像の同期の時刻となる。例えば、人間の歩行動作を解析対象とした場合、シルエット画像の面積が最小となるときは、ほぼ直立した状態を示している。ここで、モデルと時系列画像のシルエットの面積最小時刻を算出するということは、直立状態の時刻の同期をとっていることになる。このようにすることで、楕円画像を生成する必要がなくなるので、処理時間を短縮することができる。
【００４３】
図６と図２０は、周期校正部２２の処理における概念を示す。周期校正部２２は、対象となる動作に周期性がある場合のみ行われる。同期部２１により算出された複数の同期の時刻により、一周期にかかる時間Ｔの算出を行う。対象物モデル部６に格納されているモデルの一周期にかかる時間Ｍ_Ｔと時系列画像の一周期にかかる時間Ｔとの比ｒ_ａ＝Ｍ_Ｔ／Ｔを求め、この比ｒ_ａを用いてモデルの周期の校正を行う。
【００４４】
図１９に示すフローチャートを参照して、周期校正部２２について説明する。対象物モデル部６に格納してあるモデルの一周期分の動作の時刻Ｍ_Ｔ とし、同期部２１により算出された複数の同期の時刻により、一周期にかかる時間Ｔの算出を行う（ステップＳ１１）。モデルの一周期にかかる時間Ｍ_Ｔ と時系列画像の一周期にかかる時間Ｔとの比ｒ_ａ＝Ｍ_Ｔ／Ｔを求め（ステップＳ１２）、この比ｒ_ａを用いてパラメータ修正部２３でモデルの周期の校正を行う。この処理は、一周期単位で行われる。このため対象物の動作が周期が増すごとに加速するような状況にも対応できる。これは動作の数値データをスプライン関数の係数として保存しているため、任意の時刻の数値データが算出できるためである。
【００４５】
図７は、パラメータ修正部２３の処理における概念図である。パラメータ修正部２３では、時系列画像の時刻ｔｉｍｅの各部位のパラメータと時刻ｔｉｍｅに対応するモデルの各部位のパラメータの差の算出を行う。パラメータ算出部７で算出された許容範囲εを閾値とする。各パラメータ間の差が所定の閾値以上であるとき、時系列画像のパラメータをモデルのパラメータに置換し、例えば単純な幾何学的形状の一例として楕円を生成し、シルエット画像との誤差の算出を行う。算出された誤差が置換前より増加した場合、パラメータの置換は破棄される。上記過程を各パラメータに対して行い、画像内でのパラメータの修正を行う。
【００４６】
図２１に示すフローチャートを参照して、パラメータ修正部２３について説明する。
モデルの対象物と時系列画像の対象物の大きさの比率の算出を行う（ステップＳ２１）。対象物モデル部６に格納してあるモデルの対象物の高さ方向の大きさをｍｈとし、時系列画像の対象物（シルエット画像）を包含する外接四辺形を算出し、高さ方向の大きさｈを算出する。これを用いてモデルと時系列画像の対象物の大きさの比率ｓｃａｌｅ＝ｍｈ／ｈを算出する。対象物の各部位の大きさを比率ｓｃａｌｅ倍して大きさの修正を行った後、以下の処理を行う。
【００４７】
周期校正部２２で算出した比率ｒ_ａを用いて時系列画像に対応するモデルの時刻の算出を行う（ステップＳ２２）。モデルの時刻を比率ｒ_ａ倍し、時系列画像の時刻がｒ_ａ倍されたモデルの一周期分の時刻を越えていたら、越えた分だけモデルの始め時刻に対応するように合わせる。
【００４８】
時刻ｔｉｍｅの初期設定を行う（ステップＳ２３）。時刻の同期がとれたら時刻ｔｉｍｅの時系列画像のパラメータから楕円画像を生成する（ステップＳ２４）。時刻ｔｉｍｅの時系列画像のシルエット画像と楕円画像との面積差を算出し、ｄｉｆｆ１に格納する（ステップＳ２５）。
【００４９】
同期処理を行った時刻ｔｉｍｅのモデルのパラメータをスプライン関数から算出し、時刻ｔｉｍｅのモデルと時系列画像のパラメータの差の絶対値の算出を各部位毎に行う（ステップＳ２６）。差の絶対値をパラメータ算出部７で算出された許容範囲εと比較し（ステップＳ２７）、小さければ（ＮＯ）ステップＳ２８に移行し、時刻ｔｉｍｅのインクリメントを行い、ステップＳ２４に戻る。
【００５０】
しかし、ステップＳ２７で大きければ（ＹＥＳ）、モデルと時系列画像のパラメータの入れ替えを各部位毎に行う（ステップＳ２９）。時系列画像の対象物とモデルの対象物の位置が異なるため、シルエット画像を利用して、位置合わせを行い、パラメータの入れ替えを直接行うようにする。時刻ｔｉｍｅの時系列画像のシルエット画像とそれに対応するモデルのシルエット画像を包含する外接四辺形を抽出し、外接四辺形のｘ軸方向の中心線を一致させる。つまり、外接四辺形の中心のｘ座標を一致させるためのモデルの移動量を算出し、この移動量をもとにモデルのパラメータの修正を行い、入れ替えを行う。
【００５１】
入れ替えたパラメータから楕円画像の生成を行い（ステップＳ３０）、ステップＳ２５と同様にステップＳ３０で生成した楕円画像とシルエット画像の面積差を算出し、ｄｉｆｆ２に格納する（ステップＳ３１）。パラメータ入れ替え前の面積差ｄｉｆｆ１と入れ替え後の面積差ｄｉｆｆ２を比較し（ステップＳ３２）。ｄｉｆｆ２がｄｉｆｆ１より小さい場合（ＮＯ）、ステップＳ２８に戻り、時刻ｔｉｍｅのインクリメントを行い、ステップＳ２４に戻る。一方、大きい場合（ＹＥＳ）、パラメータの入れ替えを破棄する（ステップＳ３３）。ステップＳ２４からステップＳ３３は、全ての部位に対してまとめて処理を行う。時刻ｔｉｍｅと時系列画像の終了時刻を比較し、時刻ｔｉｍｅが終了時刻より小さい場合（ＮＯ）ステップＳ２８に戻り、時刻ｔｉｍｅのインクリメントを行い、ステップＳ２４に戻る。大きい場合（ＹＥＳ）処理を終了する。
【００５２】
図８は、最適化処理部２４の処理における概念図である。上記パラメータ算出部７で算出された時系列画像のパラメータ群、対象物モデル部６のモデルのパラメータ群と形状生成部５で生成されたシルエット画像群の三者を整合する。このための手法の一例として評価関数を設定し、最小化する。例えば人間を対象とした解析の場合、（５）式のように評価関数Ｅ_Ｔ定義し、評価関数Ｅ_Ｔをアニーリングや最急降下法などを用いて最小化することにより、時系列画像のパラメータ群の最適なパラメータの算出を行う。
【００５３】
【数５】

【００５４】
ここで、Ｔは周期、ｉ＝Ｔ〜Ｔ＋１は時刻、ｊ＝１〜１４は部位、ｌ＝１〜１３は図２（ｂ）に示すような各部位の接続番号、Ｐｍはモデルのパラメータ群、Ｐは時系列画像中の対象物の各部位のパラメータ群である。第１項は対象物のパラメータをモデルのパラメータと整合させる。Ｓｉｌは時系列画像中の対象物のシルエット画像、Ｐａｒは時系列画像のパラメータにより生成した楕円画像であり、第２項は時系列画像のパラメータをシルエット画像に整合させる。
【００５５】
Ｌｍ及びＬは、図２（ｂ）に示される１３組の接続関係にある部位の中心点間の距離である。つまり頭部と胴体部などの結合関係にある部位の中心位置間の距離である。Ｌｍはモデルに関する各部位の中心点間の距離、Ｌは時系列画像中に関する各部位の中心点間の距離を表す。第三項は、時系列画像中の対象物の各部位間のパラメータの結合関係をモデルの結合関係に整合させる。ｋは、それぞれの項のウエイトである。
【００５６】
なお、（６）式のような評価関数Ｅ_Ｔをアニーリングや最急降下法などを用いて時系列画像のパラメータ群の最適なパラメータの算出を行うことも可能である。
【００５７】
【数６】

【００５８】
ここで、Ｔは周期、ｉ＝Ｔ〜Ｔ＋１は時刻、ｊ＝１〜１４は部位、ｌ＝１〜１３は図２（ｂ）に示すような各部位の接続番号。Ｐｍはモデルのパラメータ群、Ｐは時系列画像中の対象物の各部位のパラメータ群である。第一項は対象物のパラメータをモデルのパラメータと整合させる。Ｓｉｌは時系列画像中の対象物のシルエット画像、Ｐａｒはモデルのパラメータにより生成した楕円画像であり、第二項はモデルのパラメータをシルエット画像に整合させる。Ｌｍ及びＬは、図２（ｂ）に示される１３組の結合関係にある中心点間の距離である。つまり、頭部と胴体部などの結合関係にある部位の中心位置間の距離である。Ｌｍはモデルに関する各部位の中心点間の距離、Ｌは時系列画像中に関する各部位の中心点間の距離を表す。第三項は、時系列画像中の対象物の各部位間のパラメータの結合関係をモデルの結合関係に整合させる。Ｐｃは時刻ｉ−２，ｉ−１，ｉ，ｉ＋１，ｉ＋２の時系列画像のパラメータに、重みをそれぞれ１：２：３：２：１だけ与え、平均値を算出した値であり、第四項は、時系列画像のパラメータを前後の時刻から推測されるパラメータ値に整合させる。ｋは、各項に対するウエイトである。
【００５９】
上記３者の整合をとり、時系列画像のパラメータ群の最適なパラメータの算出をアニーリングを利用して行う方法を以下に示す。図２２に示すフローチャートを参照して、最適化処理部２４を説明する。
【００６０】
まず、温度Ｔｅｍｐ_ｉｎｔ と反復回数ｎの初期設定を行う（ステップＳ４１）。ｉｔｅｒａｔｉｏｎとＴｅｍｐの初期設定を行う（ステップＳ４２）。初期エネルギーｉｎｉｔ ｅｎｇの算出を行う（ステップＳ４３）。
初期エネルギーは、（５）式や（６）式の評価関数を計算した結果を表す。乱数ｒａｎを発生させ、微小変化を与える値ｇとパラメータの種類ｘｙｒと時刻ｔｉｍｅと部位番号ｐを決定する（ステップＳ４４）。例えば、０〜１までの乱数を発生せた場合の各パラメータは、
ｔｉｍｅ＝ｒａｎ×画像の枚数
ｘｙｒ＝ｒａｎ×３ （ｘｙｒ＝１の時ｘ，ｘｙｒ＝２の時ｙ，
ｘｙｒ＝３の時ｒａｄ）
ｐ＝ｒａｎ×１４
ｇ＝部位番号ｐの部位の長さ×（ｒａｎ×２．１−１．０）
として与えられる。
【００６１】
時刻ｔｉｍｅの時系列画像のパラメータｘｙｒ［ｔｉｍｅ］［ｐ］に微小変化ｇを与える（ステップＳ４５）。微小変化を与えたパラメータを用いてエネルギーｅｎｇの算出を行う（ステップＳ４６）。初期エネルギーｉｎｉｔ ｅｎｇとエネルギーｅｎｇを比較し（ステップＳ４７）、ｉｎｉｔ ｅｎｇがｅｎｇより小さいならば（ＮＯ）、ステップＳ４８にに移行し、乱数ｒａｎとｅｘｐ［（ｅｎｇ−ｉｎｉｔ ｅｎｇ）／Ｔｅｍｐ］を比較し、条件を満たさないならば（ＮＯ）、ステップＳ４４に戻り、新たな乱数ｒａｎを発生させる。
【００６２】
またステップＳ４８又はステップＳ４７の条件を満たすならば（ＹＥＳ）、この微小変化を受け入れ、パラメータ値の更新を行い、エネルギーの値の入れ替えを行う（ｉｎｉｔ ｅｎｇ＝ｅｎｇ）（ステップＳ４９）。
反復回数ｉｔｅｒａｔｉｏｎがｓ初期値ｎより小さいか否か判断し（ステップＳ５０）、条件を満たす場合（ＹＥＳ）、温度を下げ、反復回数ｉｔｅｒａｔｉｏｎを更新した後（ステップＳ５１）、ステップＳ４４に戻り、新たな乱数ｒａｎを発生させる。しかし条件を満たさない場合には（ＮＯ）、最適化処理を終了する。
【００６３】
また最適化処理を行うにあたって、条件によっては本来接続している部位、例えば手部と前腕部とが離れてしまうことがある。これを防ぐために、各部位のパラメータに与える微小変化の範囲を限定し、各部位の分離を防止する方法を説明する。各部位の分離を防止するために、従来不変としてきた長軸，短軸の長さを適応的に調節するモデルを付加する。具体的には、最適化処理で微小変化を与える時に分離を防止するような制限を設ける。
【００６４】
各部位の中心座標に微小変化を与える場合を考える。
この段階では所定の長さの長軸で結合していることを仮定する。微小変化を与える注目部位とそれに連結している部位の長軸の長さを所定長だけ延長する。延長した長軸を半径とする円を考える。この円が分離しないよう、つまり常に接する、または交差するように注目している部位の円を移動する。
【００６５】
このときの中心座標が描く軌跡が、結合を維持したままで微小変化を与えられる領域となる。図２３は、対象物が人間である場合の各部位の分離防止に関する概念図である。図２３をもとに人間の場合について具体的に説明する。例えば、手部と上腕部に結合している前腕部の中心座標に微小変化を与える場合を考える。この段階では所定の長さの長軸で結合していることを仮定する。手部，上腕部，前腕部の長軸の長さを所定長（例えば１０％）延長し、この３つの円が分離しないよう、前腕部の（１０％膨張した）円を移動する。
【００６６】
このときの中心座標が描く軌跡が、結合を維持したままで微小変化を与えられる領域となる。ただし、端点の注目部位とそれと連結する部位が分離しないような円の移動は、モデルに基づき各関節間の移動可能範囲角度を越えないように行う。なお、長軸と同じ比率だけ短軸を調整することで、プロポーションを一定に保つことができる。
以上のように行うことで、微小変化の付与を限定することになるので、最適化処理を高速化でき、各部位の分離を防止することができる。
【００６７】
また、本発明は関節がパーツでつながれた動体、例えば多関節ロボットや動物などの動きの解析も同様な方法で行うことが可能である。例えば、多関節ロボットの動きの解析を行う場合、以下のように行う。ロボットに関する形状の知識 （大きさ・接続関係）と関数化された各部位の動作の知識と各部位の存在可能領域をロボットの動きの知識として格納する。
【００６８】
背景画像と入力画像との差をとり、シルエット画像を抽出する。シルエット画像と存在可能領域とのＡＮＤ処理を行うことにより、各部位の概略的なパラメータの算出を行う。このパラメータをモデルを用いて修正し、最適化処理を行う。この手法により、ロボットの動きを解析し、これをもとに最適化することができる。
【００６９】
また、形状生成部５のシルエット画像を用いない最適化も考えられる。
一例として、以下のような判定基準が挙げられる。モデルのパラメータ群と時系列画像中の対象物の各部位のパラメータ群の差がある閾値以下であり、且つ、時間的に前後の画像の同部位のパラメータと時系列画像中の対象物の各部位のパラメータ群の差がある閾値以下ならば、置換しないものとする。
【００７０】
そして整合部８で算出されたパラメータを制御部１１からの制御に基づき、画像生成部１２に出力する。上記画像生成部１２では、整合部８で算出されたパラメータに基づいて、例えば、楕円を生成し、各部位のパラメータの画像化を行う。ただし、楕円ではなく、線分や円柱などで画像化を行ってもよい。上記画像生成部１２にて画像化された解析結果の出力をＤ／Ａ部９に転送し、アナログ信号に変換する。さらに制御部１１からの信号に基づき、上記アナログ信号をディスプレイなどの出力部１０へ出力し、画像解析結果をディスプレイなどで表示する。すなわち、図９（ａ）に示すような時系列画像に関して、図９（ｂ）に示す解析結果が得られる。
【００７１】
以上のような時系列画像解析装置は、対象物の動作のパラメータを数式化することで情報量を削減でき、モデルの各部位のサイズや位置を校正することで多くの被写体に適用でき、撮影距離の差によるサイズの違いも補正できる。また、遮蔽や影の影響により対象物の形状や動作が正確にとらえられなかった場合に、対象物の形状や動作による形状変化の知識を用いて補正を行い、対象物の動作を高精度に解析することができる。また、周期性を利用することにより、モデルの情報量を削減することができ、周期を校正することで同じ動作で速度が異なる場合にも対応することができる。
【００７２】
以上の説明では、同期部２１において同期する時刻を決定して動きのマッチングを行うものとしたが、この処理を省略し、時系列画像群とモデルパラメータ群との全ての組み合わせについて探索を行うようにしてもよい。
また、周期校正部２２において周期性のある動作について周期の校正を行うものとしたが、この処理は省略してもよい。また周期校正部２２は、同期部２１が省略されている場合に行われない。
【００７３】
また、パラメータ修正部２３においてパラメータの修正を行うものとしたがこの処理は省略可能である。また本実施形態では、各部位を表現する単純な幾何学的形状として楕円を用いたが、線分や円柱などで記述することもよい。
【００７４】
次に第２実施形態の時系列画像解析装置について説明する。
この第２実施形態の構成は、基本的には第１実施形態と同等であり、ここでは異なる部分のみ説明を行う。
図１０は、第２実施形態におけるパラメータ算出部７の具体的な構成例を示す。ここで、第１実施形態と同等の構成部には第１実施形態の構成部と同じ参照符号を付し、その説明を省略する。
【００７５】
このパラメータ算出部７は、形状生成部５と対象物モデル部６からの出力が候補領域算出部３１に転送される。この候補領域算出部３１の出力は、整合部８に転送される。最適化処理を高速に行うため、対象物の各部位の位置や傾斜角のパラメータを概略的に算出を行うものである。
時系列画像中の対象物の各部位の候補領域を算出し、算出された候補領域と対象物の形状から候補領域の結合関係を求め、結合関係にある領域群の各位置や傾斜角のパラメータおよび各パラメータが存在する可能な範囲の算出を行う。以降、各パラメータが存在する可能な範囲を許容範囲という。
【００７６】
図１１は、時系列画像中の対象物の各部位の候補領域の算出における概念を示す。パラメータの算出方法について、図２４のフローチャートを参照して、候補領域算出部３１を説明する。
対象物モデル部６に格納されている各部位の存在可能領域のパラメータ群を画像化する（ステップＳ５１）。具体的には、対象物モデル部６に格納されている幾何学的な形状である円や楕円などのパラメータ（中心点・半径・回転角など）を用いて画像の生成を行う。例えば、（３）式を満たす画素（ｘ，ｙ）には１を、満たさない場合には、“０”を格納し、２値画像の生成を行う。
【００７７】
次に図３のように画像化した存在可能領域とシルエット画像を用いて各部位の候補領域の算出を行う（ステップＳ５２）。図１１（ｂ）に示すシルエット画像に外接する矩形を求め、この矩形の中心線を求めておく。また、ステップＳ５２で画像化された存在可能領域に外接する矩形から中心線の位置を算出し、両者の中心線を一致させた形でＡＮＤ出力を求める。
【００７８】
この結果が、図１１（ｃ）に示すような各部位が存在する候補領域になる。抽出された各部位の候補領域から端点領域の選択を行う（ステップＳ５３）。端点領域とは、一方向のみが他の領域と結合している領域（手や足）のことである。まず、端点領域の重心点（ｘ，ｙ）の算出を行う（ステップＳ５４）。重心点の算出方法は、例えば端点領域のｘおよびｙ座標を加算し、それぞれの加算された値を端点領域の画素数で割った値などがある。
【００７９】
図１２は、候補領域と対象物の形状から候補領域の結合関係を求め、結合関係にある領域群の各位置や傾斜角および許容範囲の算出する処理の概念を示す。時系列画像の対象物の各部位の位置（中心点）は以下のように算出される。
まず、端点領域と結合関係にある結合領域の算出を行う（ステップＳ５５）。具体的には、端点領域の部位の大きさｌと、端点領域と接続する他の領域の部位の大きさｌ′と対象物モデル部６の対象物の形状により結合関係を求める。対象物が人間の場合、端点領域である手と結合関係にある部位は前腕であるので、ｌ，ｌ′には、それぞれの部位の長軸の長さが格納される。
【００８０】
そして各領域の結合関係について、次のように算出される。端点領域の重心点を中心とする半径Ｒ（＝（ｌ＋ｌ′）／２）の円を描き、その円上に存在する領域を端点領域と結合する領域つまり結合領域とする。円と結合領域が重複する部分の重心を、結合する領域の中心点（ｘ，ｙ）とする（ステップＳ５６）。
【００８１】
図１２（ｂ）は、端点領域の重心を中心点とする半径（ｌ＋ｌ′）／２の円と重複する領域であり、図１２（ｄ）の結合領域の太線が円と結合領域が重複する部分となる。また、円弧が結合領域と重複した円弧の長さの１／２を許容範囲εとする（ステップＳ５７）。つまり、図１２（ｄ）の結合領域の太線（重複した領域）のどこでも中心点となりえる可能性を持っているため、この重なり部分の１／２をεとし、中心点の座標を（ｘ±ε，ｙ±ε）とする。
【００８２】
図１２（ｄ）は、許容範囲εの算出方法の概略図を表す。全ての部位の結合領域を検出したか否か判断し（ステップＳ５８）、全ての部位に関して検出していない場合（ＮＯ）、結合領域を新たな端点領域とし（ステップＳ５９）、ステップＳ５５にフィードバックする。
全ての部位に関して検出を行った場合（ＹＥＳ）、各部位の重心点に対応する傾斜角の算出を行う（ステップＳ６０）。具体的には、０°〜１８０°まで５°間隔で上記で算出した点（ｘ，ｙ）を中心点とする楕円を生成し、シルエット画像とのマッチング誤差が最小となった角度傾斜角とする。
【００８３】
図１２（ｅ）には、傾斜角の算出方法の概略を示す。ただし、結合領域を算出する際、複数の結合領域が検出された場合には、対象物の形状や結合関係にある部位間の傾斜角などの情報を用いて、矛盾が生じる場合にはその結合関係は破棄し、結合関係の絞り込みを行う。
なお、時系列画像中の対象物の移動方向と対象物モデル部６に格納されているモデルの移動方向が逆の場合にも以下のようにすることにより適応することができる。
【００８４】
まず、時系列画像から対象物の移動方向の検出を行う。移動方向の検出方法は、例えば、シルエット画像の重心を算出し、重心のｘ座標の変化で求めることができる。対象物の移動方向が、対象物モデル部６に格納されている動作の移動方向と一致しているか判断を行う。同一方向であれば、モデルのパラメータをそのまま使用し、逆方向の場合には以下の処理を行い、モデルの動作を反転させる。対象物が人間である場合のモデルの動作を反転する手法に関する具体的な例を以下に示す。図４９は、モデルの反転に関する概念図である。
【００８５】
補間関数から各時刻の胴体部の位置（ｘ_２ ，ｙ_２ ）座標の算出を行う。胴体部（ｉ＝２）以外の部位ｉに関して、胴体部と各パラメータとの差の算出を、図４９のΔｘ_５ ＝（ｘ_２ −ｘ_５ ）やΔｙ_５ ＝（ｙ_２ −ｙ_５ ）のように行う。胴体部のパラメータ（ｘ_２ ，ｙ_２ ，θ_２ ）に先で算出した差を加算し、部位に対応する逆の部位（例えば、右手ならば左手）に加算結果を格納する。つまり、ｘ_８ ＝Δｘ_５ ＋ｘ_２ ，ｙ_８ ＝Δｙ_５ ＋ｙ_２ のように行う。
【００８６】
この様に行うことで、１つのモデルで逆向きの動きを行っている対象物の動作の解析も行うことができる。なお、上記の説明では、各部位を表現する単純な幾何学的形状として楕円を用いたが、これは楕円だけでなく線分や円柱などで記述することも可能である。
図１２（ｅ）においては、各部位を表現する単純な幾何学的形状として楕円を用いたが、これは楕円だけでなく線分や円柱などで記述することも可能である。本実施形態では、時系列画像中の対象物の各部位のパラメータを概略的に算出することで最適化処理の負担を軽減し、処理時間を短縮することができる。
【００８７】
次に第３実施形態としての時系列画像解析装置について説明する。
図２５には、第３実施形態として、時系列画像解析装置の全体構成の一例を示す。本実施形態の構成は、基本的には第１実施形態と同等であり、同じ構成部材には同一の参照符号を付し、異なる部分のみ説明する。
【００８８】
この時系列画像解析装置において、入力部１からの入力信号は、Ａ／Ｄ部２、バッファメモリ部３を経由して補助入出力部４に保存される。補助入出力部４の信号は、形状生成部５へ出力される。形状生成部５の出力は、対象物モデル部６、整合部４１に転送される。対象物モデル部６は、整合部４１に接続されている。整合部４１で算出されたパラメータを制御部１１からの制御に基づき、画像生成部１２に出力する。上記画像生成部１２にて画像化された解析結果の出力をＤ／Ａ部９を経由して出力部１０へ出力される。また、制御部１１の制御信号により、入力部１、補助入出力部４、対象物モデル部６、整合部４１、出力部１０がそれぞれ制御される。
【００８９】
このような時系列画像解析装置は、高速な解析処理に好適し、対象物の各部位の位置や傾斜角の概略的なパラメータの算出を行なわず、モデルのパラメータを対象物の各部位の初期パラメータ値として扱うものである。
【００９０】
まず、ＣＣＤカメラ等の入力部１は、制御部１１からの制御信号に基づき所定時間の映像信号をＡ／Ｄ部２へ転送する。Ａ／Ｄ部２は、入力部１からの上記映像信号をデジタル信号へ変換してバッファメモリ部３へ転送する。このバッファメモリ部３は、複数のフレームメモリで構成されており、Ａ／Ｄ部２からの上記デジタル信号を記憶し、これを順次補助入出力部４へ出力する。
【００９１】
上記補助入出力部４は、制御部１１の制御信号により、上記デジタル信号を形状生成部５へ出力する。形状生成部５では、対象物の存在していない背景画像と対象物の存在している原画像との差の絶対値を算出した後、その絶対値を２値化処理し、動領域のみが取り出される。この動領域が対象物のシルエット画像となる。ここで、背景画像は、予め撮影されているものを用いてもよいし、原画像から生成された背景画像を用いてもよい。
【００９２】
上記形状生成部５で生成されたシルエット画像は、対象物モデル部６、整合部４１に転送される。対象物モデル部６は、対象物の形状や動作の情報などが格納されている。また、制御部１１の制御信号により、前の実施形態で説明したと同様にサイズの校正を行う。形状生成部５で生成されたシルエット画像、対象物モデル部６のモデルは、整合部４１に出力される。整合部４１では、形状生成部５、対象物モデル部６の出力により、時系列画像中の対象物と対象物モデル部６の動作に関する時刻の同期を行い、対象物モデル部６のパラメータ群全体を形状生成部５のシルエット画像群に整合させる。
【００９３】
そして整合部４１で算出されたパラメータを制御部１１からの制御信号により、画像生成部１２に出力する。上記画像生成部１２にて画像化された解析結果の出力をＤ／Ａ部９に転送し、アナログ信号に変換する。さらに制御部１１からの制御信号に基づき、上記アナログ信号をディスプレイなどの出力部１０へ出力し、画像解析結果を表示する。
【００９４】
次に図２６は、整合部４１の処理におけるブロック構成を示す。
前段の形状生成部５と対象物モデル部６の出力は、整合部４１の同期部２１に転送される。この同期部２１では、時系列画像中の対象物と対象物モデル部６における動作に関する時刻の同期をとる。
【００９５】
そして対象物モデル部６と同期部２１の出力は、周期校正部２２に転送される。周期校正部２２では、制御部１１からの制御信号により、対象となる動作に周期性がある場合には、同期部２１で算出された複数の同期時刻とモデルに基づいて一周期に要する時間を算出し、各部位の位置や傾斜角のモデルのパラメータの校正を行う。そして形状生成部５と対象物モデル部６の出力は、最適化処理部５１に転送する。最適化処理部５１では、対象物モデル部６のパラメータ群全体を形状生成部５のシルエット画像群に整合させる。
【００９６】
上記最適化処理部５１では、対象物モでル部６のモデルのパラメータ群と形状生成部５で生成されたシルエット画像群の２者を整合する。このための手法の一例として評価関数を設定し、最小化する。例えば、人間を対象物とした解析の場合、（７）式のように評価関数ＥＴ定義し、評価関数ＥＴを上記実施形態同様にアニーリングや最急降下法などを用いて最小化することにより、時系列画像のパラメータ群の最適なパラメータの算出を行う。
【００９７】
【数７】

【００９８】
ここで、Ｔは周期、ｉ＝Ｔ〜Ｔ＋１は時刻である。Ｓｉｌは時系列画像中の対象物のシルエット画像、Ｐａｒはモデルのパラメータにより生成した楕円画像であり、第一項はモデルのパラメータをシルエット画像に整合させる作用をもつ。Ｐｃは時刻ｉ−２，ｉ−１，ｉ，ｉ＋１，ｉ＋２の時系列画像のパラメータに、重みをそれぞれ１：２：３：２：１だけ与え、平均値を算出した値である。第二項は、時系列画像のパラメータを前後の時刻から推測されるパラメータ値に整合させる作用をもつ。ｋは、各項に対するウエイトである。
【００９９】
また前述した説明では、各部位を表現する単純な幾何学的形状として楕円を用いたが、これは線分や円柱などで記述することも可能である。
上記実施形態では、構成が簡単になり、時系列画像の初期パラメータの算出を行わないので、第１実施形態に比べて高速に処理を行うことができる。
【０１００】
次に第４実施形態としての時系列画像解析装置について説明する。
本実施形態の全体的な構成は、第３実施形態と同等であり、異なる構成となる図２７に示す整合部４１のみ説明する。
この整合部４１においては、形状生成部５と対象物モデル部６の出力は、最適化処理部６１に転送する。最適化処理部６１では、ニューラルネットワークを利用することにより、時系列画像のシルエット画像に最適な時系列画像の各部位のパラメータ群（位置）の算出を行う。対象物モデル部６と最適化処理部６１の出力は傾斜角算出部６２に転送され、時系列画像のシルエット画像に最適な時系列画像の各部位の回転角の算出を行う。傾斜角算出部６２の出力は、画像生成部１２に出力される。
【０１０１】
図２７に示すように、上記形状生成部５の時系列画像のシルエット画像と対象物モデル部６のモデルのパラメータ群とシルエット画像群の出力は、最適化処理部６１に転送する。最適化処理部６１では、階層型ニューラルネットワークを用いて、時系列画像のシルエット画像に最適な時系列画像の各部位の位置のパラメータ群の算出を行う。最適化処理部６１で算出された各部位のパラメータ群（位置）は、傾斜角算出部６２に転送され、時系列画像のシルエット画像に最適な時系列画像の各部位の回転角の算出を行う。傾斜角算出部６２で算出されたパラメータ群は、画像生成部１２に出力される。
【０１０２】
図２８（ａ）は、３層の階層型ニューラルネットワークの学習法に関する概念図である。対象物モデル部６に格納されているモデルのシルエット画像を、入力層に入力する。ネットワークを介した結果がモデルの各部位の位置のパラメータとなるように学習させ、各ユニットの重みを決定する。学習は、動作１周期分の画像に対して行われ、重みの更新を行う。なお学習方法は、例えば公知である誤差逆伝搬法を用いて行うことができる。この重みを利用し、撮影された画像の各部位の位置の算出を行う。形状生成部５の時系列画像のシルエット画像を入力層に入力し、ネットワークを介することで、シルエット画像に最適な各部位の位置の算出を行うことができる。図２８（ｂ）は、撮影された画像に対するパラメータ算出に関する概念図である。
【０１０３】
傾斜角算出部６２では、最適化処理部６１で算出された各部位のパラメータ群（位置）と対象物モデル部６に格納されている各部位の大きさ（楕円の短軸、長軸の長さ）と形状生成部５の時系列画像のシルエット群を用いて、時系列画像群の各部位の傾斜角の算出を行う。最適化処理部６１で算出された各部位の位置（ｘ，ｙ）を中心点、対象物モデル部６の各部位の大きさ（楕円の短軸ｂ／２、長軸の長さａ／２）を用いて楕円の生成を行う。傾斜角に関しては、０°〜１８０°まで５°間隔で上記のパラメータを用いて楕円を生成し、シルエット画像とマッチング誤差が最小となった角度を傾斜角とする。また、傾斜角の算出は、前述した図１２（ｅ）にその概念を示している。そして、算出された各部位のパラメータ群から楕円画像を生成し、画像生成部９に転送する。
この第４実施形態では、ニューラルネットワークを用いることにより、最適化処理部２４の構成が簡単になり、最適化パラメータの調整を意識的に行われなくても学習により、これを獲得することができる。
【０１０４】
次に第５実施形態としての時系列画像解析装置について説明する。
図２９には、時系列画像解析装置の全体構成の一例を示す。本実施形態の全体的な構成は、第３実施形態と同等であり、同じ構成部位には同一の参照符号を付し、説明する。
【０１０５】
この時系列画像解析装置においては、入力部１からの入力信号は、Ａ／Ｄ部２、バッファメモリ部３を経由して補助入出力部４に保存される。補助入出力部４の信号は、形状生成部５へ出力される。形状生成部５の出力は、対象物モデル部７１、パラメータ算出部７、整合部７２に転送される。上記対象物モデル部７１は、パラメータ算出部７、整合部７２に接続されている。
【０１０６】
そしてパラメータ算出部７の出力は、整合部７２に接続されている。整合部７２の出力は、対象物モデル部７１と画像生成部１２に出力される。画像生成部１２の出力を、Ｄ／Ａ部９を経由して、出力部１０へ出力される。また制御部１１の制御信号により、入力部１、補助入出力部４、対象物モデル部７１、パラメータ算出部７、整合部７２、出力部１０がそれぞれ制御される。この時系列画像解析装置は、モデルを処理の進行に伴い適応的に学習させるものである。
【０１０７】
この時系列画像解析装置において、ＣＣＤカメラ等の入力部１は、制御部１１からの制御に基づき所定時間の映像信号をＡ／Ｄ部２へ転送する。Ａ／Ｄ部２は入力部１からの上記映像信号を、デジタル信号へ変換してバッファメモリ部３へ転送する。
そしてバッファメモリ部３は、複数のフレームメモリで構成され、Ａ／Ｄ部２からの上記デジタル信号を記憶し、これを順次、磁気ディスク装置などの補助入出力部４へ出力する。補助入出力部４は、制御部１１からの制御信号により上記デジタル信号を形状生成部５へ出力する。形状生成部５では、対象物のシルエット領域の抽出を行う。
【０１０８】
次に形状生成部５で生成されたシルエット画像は、対象物モデル部７１、パラメータ算出部７、整合部７２に転送される。対象物モデル部７１は、対象物の形状や動作の情報などが格納されている。また動作に関する情報は、整合部７２の出力に基づき更新される。パラメータ算出部７では、制御部１１の制御に基づいて形状生成部５のシルエット画像と対象物モデル部７１の出力から、対象物の各部位の位置や傾斜角のパラメータを概略的に決定する。
【０１０９】
そして、形状生成部５で生成されたシルエット画像、対象物モデル部７１のモデル、パラメータ算出部７で算出された各部位のパラメータは、整合部７２に出力される。整合部７２では、形状生成部５、対象物モデル部７１、パラメータ算出部７の出力により、時系列画像中の対象物と対象物モデル部７１のモデルの時刻の同期を行い、対象物モデル部７１のパラメータ群全体をパラメータ算出部７により算出されたパラメータ群全体、及び形状生成部５のシルエット画像群に整合させる。整合部７２の出力を制御部１１からの制御に基づき、対象物モデル部７１と画像生成部１２へ転送する。
【０１１０】
上記画像生成部１２の出力は、Ｄ／Ａ部９に転送し、アナログ信号に変換する。さらに制御部１１からの信号に基づき上記アナログ信号をディスプレイなどの出力部１０へ出力し、画像解析結果を表示する。
【０１１１】
以下に、対象物モデル部７１および整合部７２の説明を行う。
図３０は、モデルパラメータの更新に関する概念を示し、図３４は、対象物モデル部７１の構成を示す。
まず制御部１１からの制御により、形状知識部８１と動作知識部８２の出力をパラメータ算出部７と整合部７２に転送する。パラメータ算出部７にて算出された概略的なパラメータと形状知識部８１と動作知識部８２の出力を整合部７２に出力する。そして制御部１１からの制御信号に基づき整合部７２の出力は、動作知識部８２にフィードバックされる。
【０１１２】
上記対象物モデル部７１において、時系列画像の最初の一周期では、第１実施形態と同様に外部から与えられた形状知識部８１と動作知識部８２の初期モデルをパラメータ算出部７、整合部７２に出力する。
【０１１３】
そして２周期目以降は、整合部７２で算出された補正パラメータを格納し、外部から与えられたモデルは初期モデルとして別に保存しておく。この補正パラメータに基づき、動作知識部８２のモデルを更新し、以降の処理においては、更新されたモデルを各処理部に出力する。モデルの更新方法は、例えば更新前のモデルに各部位の各パラメータに補正パラメータを加えた値とする。
【０１１４】
図３２は、整合部７２の処理におけるブロック図である。形状生成部５と対象物モデル部７１の出力は、同期部２１に転送される。同期部２１と対象物モデル部７１の出力は、周期校正部２２に転送される。形状生成部５と対象物モデル部７１とパラメータ算出部７と同期部２１と周期校正部２２はパラメータ修正部２３に出力される。形状生成部５と対象物モデル部７１とパラメータ修正部２３の出力は、最適化処理部２４に転送する。最適化処理部２４の出力は、画像生成部１２へ、最適化処理部２４と対象物モデル部７１の出力は補正パラメータ算出部９１へ転送される。補正パラメータ算出部９１の出力は対象物モデル部７１にフィードバックする。
【０１１５】
上記同期部２１では、対象物モデル部７１と形状生成部５の出力に基づき、時系列画像中の対象物と対象物モデル部７１のモデルに関する時刻の同期をとる。周期校正部２２では、対象となる動作に周期性がある場合、各部位の位置や傾斜角のモデルのパラメータの校正を行う。パラメータ修正部２３では、一画像内でモデルとの対比による時系列画像のパラメータの修正を行う。
【０１１６】
そして最適化処理部２４では、時系列画像中の対象物に最適なパラメータの算出を行う。最適化処理部２４の出力は、制御部１１からの制御信号により、画像生成部１２と補正パラメータ算出部９１に出力される。補正パラメータ算出部９１では、最適化処理部２４で算出されたパラメータと対象物モデル部７１のモデルパラメータとの各部位の各パラメータの差分情報を求める。この差分情報をモデルの補正パラメータとして対象物モデル部７１にフィードバックする。
なお、上記実施形態と同様な方法を用いて対象物に最適なパラメータを算出する場合、各パラメータの差分情報をベクトルとして保存することで、このベクトルの方向に重みをかけて、微小変化を与えることができる。また、３周期以降は、補正パラメータのテーブルの部分を置き換えるだけでよい。
【０１１７】
図３０（ｂ）は、最適化処理での微小変化の与え方に関する概念図である。 この第５実施形態では、モデルを随時更新することにより、解析を行う対象物に適したモデルを作成することができ、処理を高精度にかつ高速に行うことができる。
【０１１８】
次に第６実施形態としての時系列画像解析装置について説明する。
本実施形態の全体的な構成は、第５実施形態と同等であり、異なる構成となる対象物モデル部について説明する。本実施形態は、各部位のモデルを階層的に分割し、各部位毎に交換可能なモデルに関するものである。
【０１１９】
図３３は、本実施形態の対象物モデル部の具体的な構成例を示す。
この対象物モデル部において、形状知識部８１と動作知識部１０１の出力はパラメータ算出部７へ、形状知識部８１と動作知識部１０１とパラメータ算出部７の出力は、整合部７２に転送される。整合部７２の出力は、制御部１１からの制御信号により動作知識部１０１に出力される。
【０１２０】
この対象物モデル部は、制御部１１の制御信号により、形状知識部８１と各部位毎に階層的に保存されている動作知識部１０１の出力をパラメータ算出部７と整合部７２に転送する。パラメータ算出部７にて算出された概略的なパラメータと形状知識部８１と動作知識部１０１の出力を整合部７２に出力する。整合部７２では、モデルと適合する部位とモデルの切り替えを行う部位の抽出を行う。制御部１１の制御に基づき整合部７２の出力は、動作知識部１０１にフィードバックされる。
【０１２１】
そして対象物モデル部７１では、対象物の形状構造の中心となる部位に関して他の部位との結合を階層的に保存する。図３４には、人間を例とした場合の胴体部を基準に他の部位が結合しているツリー構造を示す。このように階層的なモデルから、１番目に格納されているモデルのパラメータを取り出し、パラメータ算出部７へ出力し、概略的なパラメータの算出を行う。算出された概略的なパラメータとモデルを整合部７２に出力し、切り替えを行う部位の検出を行う。整合部７２で検出された切り替えを行う部位の階層構造下に格納されている次のモデルをパラメータ算出部７と整合部７２に出力する。
【０１２２】
上記整合部７２では、対象物モデル部７１から出力されたモデルから時系列画像のパラメータの最適解を算出する。最適化処理では、適合性を判断するために、上記実施形態では評価関数Ｅにおいて、（６）式のように１４種類の全部位の総和をとっていた（ｊ＝１〜１４）。これを、個々の部位ごとの式に分解して、１４種類の評価関数を得る。個々の評価関数に対して評価基準を設け、評価関数Ｅが評価基準より大きい部位の選択を行う。
【０１２３】
具体的には、評価基準となる閾値を設定し、各部位の評価関数Ｅが所定の閾値を越えたか否か判断する。この場合の評価は、上記ツリー構造の上部から行うものとする。つまり人間の場合、胴体部から行う。上記評価関数Ｅが閾値を越えて、選択された部位を動作知識部１０１に出力する。この操作は、各部位の評価関数が閾値を越えなくなるまで行う。またモデルが決定した後で、各部位の評価関数が閾値より大きくなった場合には、上記のような手法でモデルの切り替えを行う。この第６実施形態によれば、モデルの情報量を減少することができ、より多くの動作の解析を行うことができる。
【０１２４】
次に第６実施形態としての時系列画像解析装置について説明する。
本実施形態の全体的な構成は、第１実施形態と同等であり、異なる構成について説明する。本実施形態は、複数のモデルから解析対象画像に最適なモデルの選択する方法に関するものである。
図３５は、第７実施形態の時系列画像解析装置の構成を示し、同じ構成部位には同一の参照符号を付し、説明する。
【０１２５】
この時系列画像解析装置において、入力部１からの入力信号は、Ａ／Ｄ部２、バッファメモリ部３を経由して補助入出力部４に保存され、該補助入出力部４の出力信号は形状生成部５へ出力される。形状生成部５の出力は、対象物モデル部６、解析部１１１に転送される。
【０１２６】
対象物モデル部６は、解析部１１１に接続される。解析部１１１の出力は、モデル決定部１１２と画像生成部１２に接続されている。モデル決定部１１２の出力は、対象物モデル部６に出力される。画像生成部１２の出力は、Ｄ／Ａ部９を経由して、出力部１０へ出力される。また、制御部１１からの制御信号により、入力部１、補助入出力部４、対象物モデル部６、解析部１１１、モデル決定部１１２、出力部１０がそれぞれ制御される。
【０１２７】
このような時系列画像解析装置において、ＣＣＤカメラ等の入力部１は、制御部１１からの制御に基づき所定時間の映像信号をＡ／Ｄ部２へ転送する。Ａ／Ｄ部２は入力部１からの上記映像信号を、デジタル信号へ変換してバッファメモリ部３へ転送する。バッファメモリ部３は複数のフレームメモリで構成され、Ａ／Ｄ部２からの上記デジタル信号を記憶し、これを順次、補助入出力部４へ出力する。
【０１２８】
上記補助入出力部４は、制御部１１からの制御信号により、上記デジタル信号を形状生成部５へ出力する。形状生成部５では、対象物のシルエット領域を抽出する。形状生成部５で生成されたシルエット画像は、対象物モデル部６、解析部１１１に転送される。対象物モデル部６は、対象物の形状や複数の動作の情報などが格納されている。
【０１２９】
また解析部１１１では、複数のモデルに対して解析を行い、対象物の各部位の位置や傾斜角のパラメータの算出を行う。この解析部１１１で算出された複数モデルに対する各部位のパラメータは、制御部１１からの制御信号に基づいて、モデル決定部１１２と画像生成部１２へ出力される。モデル決定部１１２では、解析部１１１の出力により、複数のモデルに対して算出された評価関数が最小値をもつモデルの抽出を行い、モデルの決定を行う。
【０１３０】
そしてモデル決定部１１２で決定されたモデルを対象物モデル部６に出力し、以降の解析には決定されたモデルに関する情報が対象物モデル部６から出力されるようになる。解析部１１１の出力を制御部１１からの制御に基づき、画像生成部１２を経由してＤ／Ａ部９に転送し、アナログ信号に変換する。さらに制御部１１からの制御信号により、上記アナログ信号をディスプレイなどの出力部１０へ出力し、画像解析結果を表示する。
【０１３１】
図３６は、前述した解析部１１１の処理におけるブロック構成を示し、図３７は、複数モデルから時系列画像中の対象物に最適なモデルの選択法に関する概念を示す。
形状生成部５のシルエット画像は、方向決定部１２１に出力され、方向決定部１２１の出力は対象物モデル部６にフィードバックする。この形状生成部５のシルエット画像と、対象物モデル部６の各モデルは、パラメータ算出部１２２に出力される。パラメータ算出部１２２の出力は、整合部１２３に転送され、制御部１１からの制御信号により、モデル決定部１１２及び画像生成部１２に出力される。
【０１３２】
そして方向決定部１２１では、形状生成部５のシルエット画像の面積に基づいて、対象物の移動方向の検出を行う。具体的には、シルエット画像の面積が時刻とともに変化しない場合には、カメラ光軸方向に対して垂直方向に、時刻とともに増減する場合、カメラの光軸方向に対して平行または斜めに移動している。 つまり、シルエット画像の面積の増減の割合で、移動方向の決定を行う。検出された移動方向を対象物モデル部６にフィードバックする。対象物の移動方向検出は、シルエットの重心点をベクトルとして検出することで決定したり、シルエット画像を包含する外接四角形の面積や中心を検出することも可能である。形状生成部５のシルエット画像と対象物モデル部６の検出された移動方向に対応する複数のモデルをパラメータ算出部１２２に出力する。
【０１３３】
例えば、人物の動作解析の場合、歩行，走行，着席，静止等の複数のモデルが対象物モデル部６に格納されており、形状に関するモデルと方向決定部１２１で検出された方向の動作に関するモデルがパラメータ算出部１２２に出力される。パラメータ算出部１２２では、前述した実施形態におけるパラメータ算出部７と同様にそれぞれのモデルを用いて概略的なパラメータの算出を行う。整合部１２３は、パラメータ算出部１２２の出力と形状生成部５と対象物モデル部６の各モデルから上記実施形態の整合部８と同様に時系列画像中の対象物に最適なパラメータを算出し、最適化処理後の評価関数Ｅ（モデルとのマッチング誤差）の算出を行う。その際、動作と同期がとれない、つまり、上記実施形態での同期部２１における面積誤差が所定の閾値より大きかった場合には、そのモデルは破棄され、以降の処理は行わない。
【０１３４】
そして同期のとれたモデルに対し、上記実施形態と同様に最適化処理を行う。上記整合部１２３の出力は、制御部１１からの制御信号により、モデル決定部１１２と画像生成部１２に転送される。但し、パラメータ算出部と整合部は対象物モデル部６に格納されているモデルの数だけ増やすことができ、また並列に処理を行うことができる。なお、モデルが決定している場合、整合部１２３の出力は、モデル決定部１１２に転送されず、パラメータ算出部と整合部は１つだけ使用される。
【０１３５】
上記モデル決定部１１２では、整合部１２３から出力された複数の評価関数Ｅの中から最小のものを最適モデルとして選択する。選択されたモデルを対象物モデル部６にフィードバックし、以降の解析には対象物モデル部６から決定されたモデルが出力されるようになる。この後、選択されたモデルを用いて処理を継続し、評価関数Ｅが所定値を越えた場合にモデルの再選択を行うことを繰り返す。なお、このような処理により、対象物の動作が決まっていない場合でも、解析を行うことができる。この処理は並列でなく、最適化処理の誤差を１モデルづつ算出し、最後に誤差の最小なモデルを選択することも可能である。
【０１３６】
次に第８実施形態としての時系列画像解析装置について説明する。
本実施形態の全体的な構成は、第２実施形態と同等であり、異なる構成について説明する。本実施形態は、処理を行う優先順位を考慮することで、ある部位のパラメータが決定すると、それと結合関係にある全ての部位の候補領域をより限定し、最適化処理を高速に行うものである。
図３８は、第８実施形態の時系列画像解析装置におけるパラメータ算出部の構成を示し、同じ構成部位には同一の参照符号を付し、説明する。
【０１３７】
このパラメータ算出部においては、対象物モデル部６と形状生成部５の出力は、候補領域算出部１３１に転送される。候補領域算出部１３１では、時系列画像中の対象物の各部位の候補領域を算出し、誤差が少ない、つまり候補領域の面積が小さい部位に関して優先的に処理を行い、他の部位の候補領域の限定を行う。候補領域算出部１３１の出力は、候補領域算出部１３１と整合部８に転送される。
【０１３８】
図３９は、処理の優先順位の導入による、時系列画像中の対象物の各部位の存在候補領域の算出における概念を示す図である。
まず、候補領域算出部１３１では、第２実施形態の候補領域算出部３１と同様に存在可能領域１とシルエット画像とのＡＮＤ処理にて候補領域１を求める。候補領域１の中で誤差が少ないと推定できる領域、つまり面積の所定の閾値より小さい候補領域、例えば人間の場合、頭部や胴体部や手部に関しては、候補領域の重心点を中心とする楕円を発生させ、シルエット画像とのマッチングをとることでパラメータの算出を行う。
【０１３９】
この３点の位置が確定すると、他の部位の存在しうる領域は限定される。つまり、確定された部位と結合関係にある部位の間の関節角や各部位の長さなどの拘束条件を用いるとより限定された候補領域が算出される。
具体的には、対象物が人間の場合、候補領域１の面積が小さい頭部・胴体部・手部が優先的に処理され、位置が確定する。頭部及び胴体部の位置が確定すると、各部位の長さから存在可能領域１が存在可能領域２のように限定された領域となる。即ち、胴体部の中心点から（２）式を用いて、肩の位置を算出する。そして肩の位置を中心とする半径ｒの円を考える。ここで、半径ｒとは、上腕部の領域に関しては（上腕部の長さ／２）、前腕部の領域に関しては（上腕部＋前腕部／２）、手部に関しては（上腕部／＋前腕部／２＋手部）のことを示す。
【０１４０】
次に、前述した中心点と半径をもつ円と存在可能領域１の共通部分の算出を行い、存在可能領域２の抽出を行う。第２実施形態と同様に、存在可能領域２とシルエット画像のＡＮＤ処理にて候補領域２を算出し、この領域を利用して各部位の各位置や傾斜角および許容範囲の算出を行う。
【０１４１】
また、図３９に示す破線のように、候補領域１から候補領域２を直接抽出する手法を以下に示す。
まず、確定された胴体部の中心点から肩の位置を（２）式より算出する。例えば、各部位間の長さを利用して前腕部領域を限定する場合、手部や肩の中心点を中心とする半径（手部の長さ／２＋前腕部の長さ／２＋ε_０ ）、（上腕部の長さ＋前腕部の長さ／２＋ε_０ ）の円を考える。ここで、手部の候補領域の面積の例えば１０％をε_０ とする。この２つの円と候補領域１の共通領域を候補領域２とする。
【０１４２】
同様に、他の部位に関しても、候補領域１より限定された候補領域２の算出を行う。また、肩と手部のなす角度は肩と前腕部及び肩と上腕部のなす角度より大きい。また肩と前腕部のなす角度は、肩と上腕部のなす角度より大きいという、上記例に関する各関節間の角度の拘束条件から、より限定された候補領域２を得ることができる。
【０１４３】
図４０は、限定された候補領域２の算出に関する概念を示す図である。候補領域２を用いて、第２実施形態と同様に、各部位の各位置や傾斜角および許容範囲の算出を行う。
制御部１１からの制御信号により、これらのパラメータ群は、整合部８に出力され、最適化処理を行う。時間軸上での最適化処理では、確定された頭部と胴体部と手部を処理の対象から外すことができる。また、微小変化を与える頻度を少なくするなどにより処理を高速化できる。
この第８実施形態によれば、確度の高い部位の位置を優先的に確定し、これをもとにして他の部位について適正な初期値からの最適化を行うため、最適化処理を高速化することができる。
【０１４４】
次に第９実施形態としての時系列画像解析装置について説明する。
図４１には、第９実施形態の整合部７２の具体的な構成例を示す。本実施形態の全体的な構成は、第５実施形態と同等であり、異なる構成について説明する。本実施形態は、過去の最適化情報を用いて予測を行い高速に処理を行うものである。
【０１４５】
この整合部７２において、形状生成部５と対象物モデル部７１の出力が同期部２１に入力され、この同期部２１と対象物モデル部７１の出力は、周期校正部２２に転送される。形状生成部５と対象物モデル部７１とパラメータ算出部７と同期部２１と周期校正部２２のそれぞれの出力は、パラメータ修正部２３に送出される。また、形状生成部５と対象物モデル部７１とパラメータ修正部２３の出力は、最適化処理部２４に転送する。最適化処理部２４の出力は、動きベクトル算出部１４１と画像生成部１２に転送される。動きベクトル算出部１４１での出力は最適化処理部２４にフィードバックする。
【０１４６】
そして上記同期部２１では、対象物モデル部７１と形状生成部５の出力に基づき、時系列画像中の対象物と対象物モデル部７１における動作に関する時刻の同期をとる。上記周期校正部２２では、対象となる動作に周期性がある場合、各部位の位置や傾斜角のモデルのパラメータの校正を行う。パラメータ修正部２３では、一画像内でモデルとの対比による時系列画像のパラメータの修正を行う。
【０１４７】
図４２は、動きベクトル算出の概念を示し、図４３には、予測を利用した最適化処理の概念を示す。
最適化処理部２４では、まず最初の数枚（例えば５枚）のみ、上記実施形態と同様な方法で最適化処理を行う。制御部１１の制御に基づき、最適化されたパラメータを動きベクトル算出部１４１に出力する。動きベクトル算出部１４１では、最適化処理部２４で算出されたパラメータが過去数枚分記憶され、これらから次時刻の最適解（パラメータ）を予測する。予測の方法は、時刻に対する各パラメータの変化から、線形予測を用いてもよい。また部位の位置・傾斜角から動きベクトルを求め、これを利用することにより行うことができる。算出された次時刻のパラメータは、最適化処理部２４に出力され、上記実施形態のモデルのパラメータを動きベクトル算出部１４１で予測されたパラメータに置き換え、アニーリング等の最適化処理を行う。
この第９実施形態では、前時刻のパラメータから予測したパラメータを用いるため、時間的な連続性が良好となる最適化処理を行うことができる。
【０１４８】
次に第１０実施形態としての時系列画像解析装置について説明する。
図４４には、第１０実施形態の整合部の具体的な構成例を示す。本実施形態の全体的な構成は、第５実施形態と同等であり、異なる構成について説明する。本実施形態は、各部位の時系列画像のパラメータとモデルのパラメータとの誤差を算出し、誤差つまりパラメータの調整度に応じて微小変化の与え方を変化させるものである。
【０１４９】
この整合部７２において、形状生成部５と対象物モデル部７１の出力は、同期部２１に転送される。同期部２１と対象物モデル部７１の出力は、周期校正部２２に転送される。形状生成部５と対象物モデル部７１とパラメータ算出部７と同期部２１と周期校正部２２はパラメータ修正部２３に出力される。形状生成部５と対象物モデル部７１とパラメータ修正部２３の出力は、最適化処理部２４に転送する。最適化処理部２４と対象物モデル部７１の出力は、制御部１１の制御に基づき調整度算出部１５１へ、最適化処理部２４の出力は、画像生成部１２に転送される。調整度算出部１５１での出力は対象物モデル部７１にフィードバックする。
【０１５０】
そして同期部２１では、対象物モデル部７１と形状生成部５の出力に基づき、時系列画像中の対象物と対象物モデル部７１における動作に関する時刻の同期をとる。周期校正部２２では、対象となる動作に周期性がある場合、各部位の位置や傾斜角のモデルのパラメータの校正を行う。パラメータ修正部２３では、一画像内でモデルとの対比による時系列画像のパラメータの修正を行う。
【０１５１】
図４５は、調整度算出の概念を示す図である。つまり最適化処理部２４では、パラメータ修正部２３の出力に基づいて、１周期目のみ上記実施形態と同様な方法でアリーニング等の最適化処理を行う。制御部１１からの制御信号により、最適化処理部２４で算出されたパラメータを調整度算出部１５１に出力する。この調整度算出部１５１では、最適化処理部２４で算出されたパラメータと対象物モデル部７１のパラメータの差に応じて調整度の算出を行う。ここで調整度とは、最適化処理部２４の微小変化の与え方を示すものである。調整度の算出方法は、最適化処理部２４で算出されたパラメータと対象物モデル部７１のパラメータの差を算出し、その差の例えば１０％を調整度とする。つまり、調整度の値が大きいほど、そのパラメータを調整する必要があるため、微小変化の与え方を他の部位より大きくする。
【０１５２】
そして算出された調整度は、最適化処理部２４に出力される。最適化処理部２４では、調整度に基づいて微小変化を次のようにして算出する。例えば、乱数を用いて与えられた初期の微小変化に調整度を乗じたものを微小変化に加えた値を新たな微小変化とする。
【０１５３】
次に２周期目以降は、この調整度を用いて最適化処理を行う。制御部１１からの制御信号により、最適化処理部２４で算出されたパラメータが画像生成部１２に転送される。なお、調整度の与え方は、各部位毎に与えるのではなく、画像単位で与えることもできる。図４５（ｂ）は、歩行動作の調整度算出に関する概念図である。例えば、歩行動作の場合では両手・両足が重ならない状況では各部位の調整度は低く、画像全体の調整度も低くなる。一方、両手・両足が重なり後ろの手や足が隠れてしまう場合は調整度が高くなる。画像単位の調整度は、静止画像のレベルで得られたパラメータから楕円画像を生成し、シルエット画像との差とすることもできる。また、一周期単位で処理を行う場合、調整度の高い画像への微小変化の付与を抑制することもできる。
【０１５４】
この第１０実施形態によれば、各部位のパラメータの調整度つまり、誤差に応じて最適化処理にて扱う微小変化の与え方を変化させるため、処理を高速化に行うことができる。
【０１５５】
次に第１１実施形態としての時系列画像解析装置について説明する。
図４６には、第１１実施形態の整合部の具体的な構成例を示す。本実施形態の全体的な構成は、第５実施形態と同等であり、異なる構成について説明する。 本実施形態は、パラメータ修正部２３での修正情報を用いて、最適化処理の微小変化の与え方を限定するものである。
【０１５６】
この整合部７２において、形状生成部５と対象物モデル部７１の出力は、同期部２１に転送される。同期部２１と対象物モデル部７１の出力は、周期校正部２２に転送される。形状生成部５と対象物モデル部７１とパラメータ算出部７と同期部２１と周期校正部２２はパラメータ修正部２３に出力される。形状生成部５と対象物モデル部７１とパラメータ修正部２３の出力は、最適化処理部２４に転送する。パラメータ修正部２３と最適化処理部２４の出力は、制御部１１の制御に基づき確信度算出部１６１へ、最適化処理部２４の出力は、画像生成部１２に転送される。確信度算出部１６１での出力は最適化処理部２４にフィードバックする。
【０１５７】
そして同期部２１では、対象物モデル部７１と形状生成部５の出力に基づき、時系列画像中の対象物と対象物モデル部７１における動作に関する時刻の同期をとる。周期校正部２２では、対象となる動作に周期性がある場合、各部位の位置や傾斜角のモデルのパラメータの校正を行う。パラメータ修正部２３では、一画像内でモデルとの対比による時系列画像のパラメータの修正を行う。パラメータ修正部２３で行われる時系列画像のパラメータとモデルのパラメータの差が所定の閾値以下と判断された部位（信頼性：高）、差が閾値以上でモデルとの置換を行った部位（信頼性：中）、差が閾値以上でモデルとの置換が破棄された部位 （信頼性：低）の３段階の情報を確信度算出部１６１に転送する。図４７は、パラメータ修正部２３で得られる情報に関する概念を示す図である。
【０１５８】
まず、確信度算出部１６１では、３つの分類に基づき微小変化の与えかたを変える。例えば、差が閾値以下の部位では閾値εを半径ｒとする円内の微小変化を与え、差が閾値以上でモデルとの置換を行った部位は置換前の部位があった方向（角度θ）を除く閾値εを半径ｒとする円内で、差が閾値以上でモデルとの置換が破棄された部位は閾値εの２倍を半径ｒとする円内の微小変化を与える。
【０１５９】
次に算出された半径ｒ、角度θは、最適化処理部２４に出力される。最適化処理部２４では、半径ｒ、角度θの円内に、与えられた微小変化が存在するか判断し、存在するならば、その微小変化を用いて最適化を行う。図４８は、確信度を利用した微小変化の与え方の概念図である。制御部１１の制御に基づき最適化処理部２４の出力が画像生成部１２に転送される。
この第１１実施形態によれば、パラメータの修正に関する情報を利用して、最適化処理にて扱う微小変化を与える範囲を限定することで処理を高速化することができる。
【０１６０】
以上の実施形態に基づいて説明したが、本明細書には、以下のような発明も含まれる。
（１）時系列画像中の所定の対象物を解析する時系列画像解析装置において、
上記時系列画像中の所定の時間範囲内の複数の画像から対象物であるシルエット画像を抽出する形状生成手段と、
上記対象物の形状及び動きによる形状変化に関する知識を、上記対象物を構成する部位のそれぞれについてパラメータとして格納する対象物モデル手段と、
上記形状生成手段によって抽出された上記対象物から上記対象物モデル手段に格納されたパラメータと対応したパラメータを算出するパラメータ算出手段と、
上記パラメータ算出手段から算出された対応パラメータの全体と対象物モデル手段のパラメータの全体を照合し、誤差を最小化させることにより整合させる整合手段と、
を有することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，５，７の実施形態が対応する。
従って、遮蔽などの影響で算出不可能であった時系列画像中の所定の対象物を構成する部位のパラメータは、モデルのパラメータに整合することによって、対象物を認識し、対象物の動きを高精度に解析することができる。
【０１６１】
（２）上記（１）項記載の時系列画像解析装置の対象物モデル手段において、上記対象物の形状に関する知識は、対象物を構成する複数の部位に分割し、分割された各部位の大きさを対象物の全体の大きさに対する比率として定義し、また各部位間の接続関係をテーブルに格納することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
【０１６２】
（３）上記（１）項若しくは（２）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段において、
上記時系列画像中から動領域を抽出し、該動領域に外接する矩形を算出し、該矩形の縦方向のサイズと予め格納してある、各部位の全体の大きさに対する比率に基づき、各部位のサイズの修正を行い、対象物のサイズを校正することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
従って、モデルのサイズを校正することで多くの被写体に適用でき、撮影距離の差によるサイズの違いも補正できる。
【０１６３】
（４）上記（１）項に記載の時系列画像解析装置において、
上記パラメータを、上記時系列中の上記対象物の各部位に対応する楕円の位置、傾き、大きさとすることを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，２，３，４，５，６，７，８，９，１０，１１の実施形態が対応する。
従って、対象物の形状を楕円で表現することにより、時系列画像中の対象物との整合が容易である。
【０１６４】
（５）上記（１）項乃至（４）項のいずれか１項に記載の時系列画像解析装置において、
上記パラメータの少なくとも１つは、パラメータの代表値とその許容範囲とすることを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第２，８の実施形態が対応する。
従って、上記のパラメータを決定する際に各部位のパラメータの許容範囲の算出を行ことにより、算出した各パラメータ解の柔軟性をもたすことができる。
【０１６５】
（６）上記（１）項に記載の時系列画像解析装置の対象物モデル手段において、上記対象物の動きによる形状変化に関する知識は移動する上記対象物の各部位のパラメータのことであり、該部位に装着したマーカの動きに基づき算出することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
【０１６６】
（７）上記（６）項記載の時系列画像解析装置の対象物モデル手段において、上記マーカは、上記対象物の各部位の中心位置に装着することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
【０１６７】
（８）上記（６）項記載の時系列画像解析装置の対象物モデル手段において、上記マーカは、上記対象物の各部位間の接続箇所に装着することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
【０１６８】
（９）上記（１）項乃至（８）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段において、
上記対象物の形状変化に関連する動作のパラメータを時間軸上に所定の時間間隔で割り付けることを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，３，４，５，６，７，９，１０の実施形態が対応する。
従って、対象となる動作パラメータを、時間軸上に所定の時間間隔に割り付けることによって、対象物の動作速度の変化に対応することができる。
【０１６９】
（１０）上記（１）項乃至（９）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段において、
上記パラメータをテーブルとして保持することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，３，４，５，６，７，９，１０，１１の実施形態が対応する。
従って、対象となる動作のパラメータをテーブルとして保存することによって、処理が容易になる。
【０１７０】
（１１）上記（１）項乃至（９）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段において、
上記パラメータを補間関数を用いて数式として保持することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，３，４，５，６，７，９，１０，１１の実施形態が対応する。
【０１７１】
従って、対象となる動作のパラメータを、各部位ごとに補間関数により数式として保存することにより、モデルのデータ量を削減することができる。
【０１７２】
（１２）上記（１）項乃至（１１）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段において、
上記時系列画像における対象物の部位の動作の周期成分を抽出し、一周期分のパラメータのみの格納を行うことを特徴とする時系列画像解析装置。
従って、動作に周期性がある場合、動作から周期成分を抽出し、一周期分のパラメータのみを格納することによって、モデルの情報量を削減することができる。 この発明に関する実施形態は、第１，３，４の実施形態が対応する。
【０１７３】
（１３）上記（１）項に記載の時系列画像解析装置の対象物モデル手段において、
さらに、上記パラメータに関する各部位の存在可能領域を算出する存在可能領域算出手段を付加したことを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
従って、対象となる動作の各部位のパラメータを用いて存在可能領域を算出することにより時系列画像の各部位のパラメータを高速に算出することができる。
（１４）上記（１３）項記載の時系列画像解析装置の対象物モデル手段において、
上記存在可能領域算出手段により算出された存在可能領域の形状を単純な幾何学的形状を組み合わせた形状として保持することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
従って、算出した存在可能領域を幾何学的な形状のパラメータの組み合わせとして表現することにより、モデルの情報量を削減することができる。
【０１７４】
（１５）上記（１３）項記載の時系列画像解析装置のパラメータ算出手段において、
上記存在可能領域算出手段により出力される存在可能領域に基づいて、上記時系列画像中の上記対象物の各部位の存在候補領域の算出を行う候補領域算出手段と、を付加したことを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第２，８の実施形態が対応する。
従って、上記で算出した存在可能領域と時系列画像中の対象物のシルエット画像のＡＮＤ処理を行い、各部位の候補領域を一括的に算出を行うことによって、処理が高速になり、後処理の負荷を軽減できる。
【０１７５】
（１６）上記（１５）項記載の時系列画像解析装置のパラメータ算出手段において、
上記候補領域算出手段により出力される存在可能領域に基づき、上記対象物の各部位のパラメータ群の算出を行うことを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第２の実施形態が対応する。
従って、上記で求められた各部位の候補領域の結合関係を決定し、パラメータの算出を行うことによって、後処理の負荷を軽減できる。
【０１７６】
（１７）上記（１６）項記載の時系列画像解析装置のパラメータ算出手段において、上記パラメータ群の算出を行う際に、上記候補領域算出手段により算出された候補領域と上記対象物モデル手段に基づく各部位のサイズより各パラメータの許容範囲を算出することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第２の実施形態が対応する。
従って、上記で求められた候補領域とモデルのサイズにより算出されたパラメータの許容範囲の算出を行うことによって、後処理の負荷を軽減できる。
【０１７７】
（１８）上記（１）項若しくは（１７）項のいずれか１項に記載の時系列画像解析装置において、
上記時系列画像の一画像内でモデルとの対比により各パラメータの修正を行うパラメータ修正手段を付加したことを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
従って、モデルと時系列画像のパラメータの差を算出し、閾値より大きい場合、パラメータを置換し、マッチング誤差を算出し、増大する場合は、破棄することよって、真値に近いパラメータを算出するため、最適化処理が高速になる。
【０１７８】
（１９）上記（１５）項乃至（１７）項のいずれか１項に記載の時系列画像解析装置のパラメータ算出手段は、上記形状生成手段によって抽出された上記対象物の移動方向を算出する移動方向算出手段と、上記対象物の移動方向と上記対象物モデル手段に格納されている動きに関する知識の移動方向とが同一か否か判断する移動方向判断手段と、上記対象物と上記対象物モデル手段に格納されている動きに関する知識の移動方向が同一でない場合、上記対象物モデル手段に格納されている動きに関するパラメータの修正を行うモデル修正手段と、
をさらに有することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第２の実施形態が対応する。
従って、１つの装置で双方向に移動する対象物の解析も行うことができる。
【０１７９】
（２０）上記（１）項記載の時系列画像解析装置の整合手段は、
上記パラメータ手段から算出された対応パラメータの全体と対象物モデル手段のパラメータの全体及び、形状生成手段で抽出された対象物のシルエット画像を照合し、誤差を最小化させることを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第２の実施形態が対応する。
【０１８０】
（２１）上記（１）項記載の時系列画像解析装置において、
上記整合手段は、さらに、上記パラメータ算出手段によって算出された上記対象物のパラメータから対象物を表す画像として構成される画像と上記形状生成手段によって抽出された対象物とが整合するように上記対象物のパラメータを補正することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，５，７の実施形態が対応する。
従って、時系列画像中の対象物の各部位のパラメータをモデルのパラメータ及び、時系列画像中の対象物に整合させることによりさらに高精度の解析が可能となる。
【０１８１】
（２２）上記（１）項又は（２１）項のいずれか１項に記載の時系列画像解析装置の整合手段は、前記時刻の同期を取るための同期手段を有し、上記同期手段は、上記対象物モデル手段にパラメータとして格納されている対象物の各部位の所定の動きの状態変化を時刻として検出する動き検出手段と、
上記動き検出手段により検出された時刻の上記対象物モデル手段に格納されている対象物と上記パラメータ算出手段により算出されたパラメータから同一の動きの状態である時刻の算出を行う時刻算出手段と、
により構成されることを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，３，５，９，１０，１１の実施形態が対応する。
従って、モデルの所定の動きの時刻のパラメータを用いて楕円画像の生成を行い、時系列画像中の対象物のシルエット画像群とのマッチングを行い、また、マッチング誤差が最小となるシルエット画像の時刻の算出を行うことによって、全画像と全モデルとの比較を省略できるため、高速処理を行うことができる。
【０１８２】
（２３）上記（１２）項記載の時系列画像解析装置の整合手段において、
上記時系列画像における対象物の部位の動作周期と、前回に設定された上記対象物モデル手段の対象物の部位の動作周期の比に基づいて、上記対象物モデル手段の周期の校正を行う周期校正手段を具備することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１，３，５，９，１０，１１の実施形態が対応する。
従って、各時系列画像の動作周期の算出を行う。算出した一周期あたりの時間とモデルの一周期あたりの時間との比率を算出し、この比率を用いてモデルの周期の校正を行うことによって、対象物の動作速度が変化した場合にも柔軟に対応することができる。
【０１８３】
（２４）時系列画像中の所定の対象物を解析する動画像解析方法において、
上記対象物の形状及び動きによる形状変化の知識を、上記対象物を構成する部位のそれぞれについてパラメータ化することによってモデル化し、
上記モデル化されたパラメータのうち、動きに関する知識を時間の関数として格納し、
上記時系列画像中の所定の時間範囲内の複数の画像から上記対象物を抽出して、上記モデル化されたパラメータに対応するパラメータを算出し、
上記モデル化されたパラメータと上記対象物から算出されたパラメータとの間の同期をとり、同期した上記対象物からのパラメータによる形状と、上記モデル化されたパラメータによる形状との大きさが合うように上記モデル化されたパラメータを補正し、
上記対象物に基づいて算出したパラメータを上記関数から求められたパラメータに整合することを特徴とする時系列画像解析方法。
この発明に関する実施形態は、第１，２の実施形態が対応する。
従って、時系列画像中の対象物を構成する各部位のパラメータを算出し、抽出された対象物に基づいて、モデルの大きさの補正が行われ、対象物とモデルの動きの同期がとられた後、対象物から算出されたパラメータとモデルのパラメータのそれぞれの大きさが所定の関係を満たすように対象物から算出されたパラメータが補正される。
【０１８４】
（２５）時系列画像中の所定の対象物を解析する動画像解析方法において、
上記対象物の形状および動作の知識を所定部位に関するパラメータとしてモデル化し、上記モデルを数式化して格納し、上記対象物に関し上記モデルに対応する概略的なパラメータを算出し、上記対象物と上記モデル間の時刻の同期をとり、上記対象物と上記モデル間のサイズの校正を行い、
上記対象物パラメータ全体を上記モデルのパラメータ全体及び上記時系列画像中の所定の対象物に整合する、ことを特徴とする時系列画像解析方法。
この発明に関する実施形態は、第１，２の実施形態が対応する。
従って、時系列画像中の対象物の各部位のパラメータを概略的に算出し、対象物とモデルのサイズの校正と同期時刻の算出を行い、さらに、時系列画像中の対象物の各部位のパラメータ群、モデルのパラメータ群、時系列画像中の対象物のシルエット画像の３者を整合する評価関数を定義し、この評価関数を最小化することを行うことによって、対象物の動作を高精度に解析することができる。
【０１８５】
（２６）上記（２２）項記載の上記同期手段は、
上記形状生成手段によって抽出された対象物と上記対象物モデル手段に格納されている対象物の面積が最小または最大となる時刻を算出することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１の実施形態が対応する。
【０１８６】
（２７）上記（１）項に記載の時系列画像解析装置の整合手段は、上記形状生成手段のシルエット画像を入力すると対象物の各部位のパラメータを出力するニューラルネットワークを付加することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第４の実施形態が対応する。
【０１８７】
（２８）上記（１）項及び（９）項乃至（１２）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段は、
さらに上記整合手段により算出されたパラメータと、上記対象物モデル手段のパラメータとの差から算出される補正パラメータに基づき、該対象物モデル手段に記憶しているパラメータを更新するパラメータ更新手段を有することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第５の実施形態が対応する。
従って、モデルの動きに関するパラメータを処理の進行に伴い、適用的に学習させることで、処理の高精度化と高速化を行うことができる。
【０１８８】
（２９）上記（１）項及び（９）項乃至（１２）項及び（２８）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段は、上記対象物を構成する主となる任意の部位のパラメータを上位階層とし、これらの部位と結合する部位のパラメータを下位階層として、各部位の動きに関するモデルを階層的に保存することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第６の実施形態が対応する。
（３０）上記（２９）項記載の時系列画像解析装置の対象物モデル手段は、上記整合手段による整合の際に、整合する度合いが所定の閾値を越えた前記各部位のパラメータのみ新たに変更することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第６の実施形態が対応する。
【０１８９】
従って、必要な部位のみモデルを切り換えることが可能となり、より多くの状況に対応可能な処理を行うことができる。
【０１９０】
（３１）上記（１）項及び（９）項乃至（１２）項及び（２８）項のいずれか１項に記載の時系列画像解析装置の対象物モデル手段において、上記整合手段に使用するために上記対象物モデル手段から抽出されるパラメータは、対象物の部位の複数の動きのパラメータに対して、誤差が最小となるように選択されたパラメータであることを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第７の実施形態が対応する。
従って、対象物の動作が予め分かっていない動作に関しても自動的にモデルを選択することができる。
【０１９１】
（３２）上記（１６）項及び（１７）項のいずれか１項に記載の時系列画像解析装置のパラメータ算出手段は、
上記候補領域算出手段により出力される各部位の存在可能領域において、該存在可能領域の面積が所定の閾値以下の部位から優先的にパラメータ群の算出を行い、他の部位の存在可能領域を限定することを特徴とする時系列画像解析装置。この発明に関する実施形態は、第８の実施形態が対応する。
【０１９２】
従って、部位毎に処理の優先順位を付加することで、処理の高精度化と高速化を行うことができる。
【０１９３】
（３３）上記（１）項及び（２０）項のいずれか１項に記載の時系列画像解析装置の整合手段は、各部位の次時刻のパラメータを過去の各部位のパラメータから予測する動きベクトル予測手段を、さらに有することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第９の実施形態が対応する。
従って、モデルのパラメータに比べ過去の画像からパラメータを算出しているため、時間的な連続性が維持され、１枚の画像での最適化においても良好なパラメータを得ることができる。
【０１９４】
（３４）上記（１）項及び（２０）項及び（３３）項のいずれか１項に記載の時系列画像解析装置の整合手段は、
各動きにおける各部位のパラメータの調整度を算出する調節度算出手段と、 上記調節度算出手段で算出された調整度に基づき、各部位に与える微小変化を更新する最適化処理手段と
を有することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１０の実施形態が対応する。
【０１９５】
（３５）上記（３４）項記載の時系列画像解析装置の調節度算出手段は、上記対象物モデル手段に格納されているパラメータと時系列画像のパラメータの差を算出することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１１の実施形態が対応する。
従って、各部位毎に微小変化の与え方を変化させることで、高精度かつ高速な処理の実現が可能となる。
【０１９６】
（３６）上記（１）項及び（２０）項及び（３３）項のいずれか１項に記載の時系列画像解析装置の整合手段は、上記パラメータ修正手段により行われた修正情報に基づき、整合手段における各部位のパラメータに関して微小変化を与える領域及び空間を算出する確信度算出手段をさらに、有することを特徴とする時系列画像解析装置。
この発明に関する実施形態は、第１１の実施形態が対応する。
従って、各部位毎に微小変化の与える範囲を限定させることで、高精度かつ高速な処理の実現が可能となる。
【０１９７】
【発明の効果】
以上詳述したように本発明によれば、対象物の形状と動作に関する知識を利用することによって、従来遮蔽などの影響で解析不可能であった部分に関する対象物の動きも高精度に解析を行うことができる時系列画像解析装置及びその解析方法を提供することができる。
【図面の簡単な説明】
【図１】本発明による第１実施形態としての時系列画像解析装置の概略的な全体の構成例を示す図である。
【図２】図１に示した対象物モデル部に格納されているモデル形状を説明するための図である。
【図３】対象物モデル部に記憶されるモデル形状が存在する存在可能領域を説明するための図である。
【図４】図１に示した整合部の具体的な構成例を示す図である。
【図５】図４に示した同期部の処理を説明するための概念を示す図である。
【図６】図４に示した周期校正部の処理を説明するための概念を示す図である。
【図７】図４に示したパラメータ修正部の処理を説明するための概念を示す図である。
【図８】図４に示した最適化処理部の処理を説明するための概念を示す図である。
【図９】第１実施形態において、処理画像と解析結果の関係を示す図である。
【図１０】第２実施形態におけるパラメータ算出部の具体的な構成例を示す図である。
【図１１】時系列画像中の対象物の各部位の存在候補領域の算出における概念を示す図である。
【図１２】結合関係にある候補領域群の位置や傾斜角および許容範囲の算出における概念を示す図である。
【図１３】マーカ装着と数値データ算出法の概念図である。
【図１４】数値データのテーブル格納の一例を示す図である。
【図１５】対象物モデルに格納されている各数値データを各部位ごとに補正関数により数式化して格納する概念を示す図である。
【図１６】存在可能領域のパラメータ算出を説明するための概念を示す図である。
【図１７】同期処理を説明するためのフローチャートである。
【図１８】モデルがｃｌｏｓｅ状態の時刻算出方法の概念を示す図である。
【図１９】周期校正部を説明するためのフローチャートである。
【図２０】周期校正部の処理を説明するための概念を示す図である。
【図２１】パラメータの修正について説明するためのフローチャートである。
【図２２】最適化処理について説明するためのフローチャートである。
【図２３】各部位の分離防止に関する概念を示す図である。
【図２４】パラメータの算出について説明するためのフローチャートである。
【図２５】第３実施形態としての時系列画像解析装置の概略的な全体の構成例を示す図である。
【図２６】第３実施形態における整合部の構成を示す図である。
【図２７】第４実施形態としての時系列画像解析装置における整合部の構成例を示す図である。
【図２８】階層型ニューラルネットワークを用いた最適化処理部の概略的な構成を示す図である。
【図２９】第５実施形態としての時系列画像解析装置の概略的な全体の構成例を示す図である。
【図３０】モデルパラメータの更新に関する概念を説明するための図である。
【図３１】対象物モデル部の構成例を示す図である。
【図３２】第５実施形態における整合部の構成を示す図である。
【図３３】第６実施形態としての時系列画像解析装置における対象物モデル部の構成を示す図である。
【図３４】人間を例とした各部位のツリー構造例を示す図である。
【図３５】第７実施形態としての時系列画像解析装置の概略的な全体の構成例を示す図である。
【図３６】第７実施形態における解析部の構成を示す図である。
【図３７】複数モデルから時系列画像中の対象物に最適なモデルの選択法に関する概念を示す図である。
【図３８】第８実施形態としての時系列画像解析装置のパラメータ算出部の構成例を示す図である。
【図３９】処理の優先順位を導入した時系列画像中の対象物の各部位の存在候補領域の算出における概念を示す図である。
【図４０】限定された候補領域２の算出に関する概念を示す図である。
【図４１】第９実施形態としての時系列画像解析装置における整合部の構成を示す図である。
【図４２】動きベクトル算出の概念を示す図である。
【図４３】予測を利用した最適化処理の概念を示す図である。
【図４４】第１０実施形態としての時系列画像解析装置における整合部の構成を示す図である。
【図４５】調整度算出の概念を示す図である。
【図４６】第１１実施形態としての時系列画像解析装置における整合部の構成を示す図である。
【図４７】パラメータ修正部で得られる情報に関する概念を示す図である。
【図４８】確信度を利用した微小変化の与え方の概念を示す図である。
【図４９】モデルの反転に関する概念を示す図である。
【符号の説明】
１…入力部、２…Ａ／Ｄ部、３…バッファメモリ部、４…補助入出力部、５…形状生成部、６…対象物モデル部、７…パラメータ算出部、８…整合部、９…Ｄ／Ａ部、１０…出力部、１１…制御部。

Claims (8)

1. 時系列画像中の所定の対象物であって動作に周期性を有する対象物を解析する時系列画像解析装置において、
   上記時系列画像中の所定の時間範囲内の複数の画像から対象物であるシルエット画像を 抽出する形状生成手段と、
   上記対象物の形状及び動きによる形状変化に関する知識を、上記対象物を構成する部位のそれぞれについてパラメータとして格納する対象物モデル手段と、
   上記形状生成手段によって抽出された対象物から上記対象モデル手段に格納されたパラメータと対応したパラメータを算出するパラメータ算出手段と、
   上記パラメータ算出手段から算出された対応パラメータであって時系列画像の個別の画像毎にそれぞれ算出されたすべてのパラメータの全体と上記対象物モデル手段のパラメータであって時系列画像に対応するモデル毎のパラメータの全体のうちから、シルエット画像と対象物モデルとが動作タイミング的に互いに略同じ形状となる時間タイミングの上記パラメータ同志を照合し、この照合結果に基づいて上記パラメータ算出手段によって算出されたパラメータを修正することによって上記パラメータ算出手段のみによって算出されることにより生じる対象物の形状誤差を最小化させることにより対象物の形状及びパラメータを整合させる整合手段と、
   を有することを特徴とする時系列画像解析装置。
2. 請求項１に記載の時系列画像解析装置において、
   上記整合手段は、さらに、上記パラメータ算出手段によって算出された上記対象物のパラメータから対象物を表す画像として構成される画像と上記形状生成手段によって抽出された対象物とが整合するように上記対象物のパラメータを補正することを特徴とする時系列画像解析装置。
3. 請求項１に記載の時系列画像解析装置において、
   上記整合手段は、上記パラメータ手段から算出された対応パラメータの全体と対象物モデル手段のパラメータの全体及び、形状生成手段で抽出された対象物のシルエット画像を照合し、誤差を最小化させることを特徴とする時系列画像解析装置。
4. 請求項１に記載の時系列画像解析装置において、
   上記整合手段は、各部位の次時刻のパラメータを過去の各部位のパラメータから予測する動きベクトル予測手段を、さらに有することを特徴とする時系列画像解析装置。
5. 請求項１に記載の時系列画像解析装置の対象物モデル手段において、
   上記対象物の動きによる形状変化に関する知識は、移動する上記対象物の各部位のパラメータのことであり、当該部位に装着したマーカの動きに基づき算出することを特徴とする時系列画像解析装置。
6. 請求項１に記載の時系列画像解析装置の対象物モデル手段において、
   さらに、上記パラメータに関する各部位の存在可能領域を算出する存在可能領域算出手段を付加したことを特徴とする時系列画像解析装置。
7. 時系列画像中の所定の対象物であって動作に周期性を有する対象物を解析する動画像解析方法において、
   上記対象物の形状及び動きによる形状変化に関する知識を、上記対象物を構成する部位のそれぞれについてパラメータ化することによってモデル化し、
   上記モデル化されたパラメータのうち、動きに関する知識を時間の関数として格納し、
   上記時系列画像中の所定の時間範囲内の複数の画像から上記対象物を抽出して、上記モデル化されたパラメータに対応するパラメータを算出し、
   上記モデル化されたパラメータと上記対象物から算出されたパラメータとに対して動作タイミング的に上記時系列画像中の対象物と上記モデルとが略同じ形状となる時間タイミングについてそれぞれのパラメータを照合対象とすべく時間タイミングの間の同期をとり、
   同期した上記対象物からのパラメータによる形状と、上記モデル化されたパラメータによる形状との大きさが合うようにこれら両形状の大きさ比率を求めこの大きさ比率に基づいて上記モデル化されたパラメータを補正し、
   上記対象物と上記モデルとが動作タイミング的に互いに略同じ形状となる時間タイミングの上記パラメータ同志を照合し、この照合結果に基づいて上記対象物に基づいて算出したパラメータを上記関数から求められたパラメータに基づいて修正することによって上記修正を行わない場合に生じる対象物の形状誤差を最小化させることにより整合する、
   ことを特徴とする時系列画像解析方法。
8. 時系列画像中の所定の対象物であって動作に周期性を有する対象物を解析する動画像解析方法において、
   上記対象物の形状及び動作の知識を所定部位に関するパラメータとしてモデル化し、
   上記モデルを数式化して格納し、
   上記対象物に関し上記モデルに対応する概略的なパラメータを算出し、上記対象物と上記モデル間の形状が動作タイミング的に略同じ形状となる時間タイミングについてそれぞれのパラメータを照合対象とすべく時間タイミングに関する時刻の同期をとり、
   上記時系列画像中の対象物と上記モデルとの大きさの比率を求め、その比率に基づいて上記対象物と上記モデル間のサイズの校正を行い、上記対象物パラメータであって時系列画像の個別の画像毎にそれぞれ算出されたすべてのパラメータ全体を上記モデルのパラメータであって上記時系列画像に対応するモデル毎のパラメータ全体と照合し、この照合結果に基づいて上記時系列画像中の所定の対象物のパラメータを修正することによって上記修正を行わない場合に生じる対象物の形状誤差を最小化させることにより対象物を整合する、ことを特徴とする時系列画像解析方法。

Images