JP4257421B2 - 動作体運動データ分節処理装置。 - Google Patents

Description

本発明は、複数の独立した運動自由度を有する動作体、例えば、人間、動物などの動作体の運動を時系列に計測したデータを時間的に分節化する情報処理を行う動作体運動データ分節処理装置に関するものである。

従来において、動作体の運動を表す時系列データの時間分節化の処理方法には、次のような処理方法がある。なお、ここでの動作体としては、人体や動物の身体ないしは非生物の物体などが対象となる。さらにコンピュータグラフィックスで映像化される仮想的な物体も対象となる。また動作体は単数の場合も複数の場合もある。

（１）等時間間隔での動作体運動分節化法：
この方法は、時系列動作体運動時系列データの内容に関わらず分節の長さが一定の時間間隔になるように分節化する方法である。具体的には、等時間間隔でのストロボ写真撮影による動作体運動の連続写真撮影法や、撮像時間頻度を少なくした監視カメラによる動画撮影法がある。通常の高撮像時間頻度での連続動画撮影に比べ、動作のデータが少なくなり、動作情報の分析、検索、および保存に有利になる場合に用いられる。

（２）トリガ条件による動作体運動分節化法：
この方法は、撮影対象の状況が特定の条件（トリガ条件）を満たした場合のみ、動作体運動の写真ないし動画を撮影ないし記録することで、時間分節化された動作体運動時系列データを得る方法である。例えば、非特許文献１に示されるように、踊りの音楽の拍子のタイミングで、踊りの動作体運動時系列データを分節化する方法などがある。

（３）動作体運動の速度または運動エネルギーに基づく動作体運動分節化法：
この方法は、撮影対象の動作体の全身または一部の運動の速度または運動エネルギーを計測し、その運動エネルギーが特定の閾値以下である時点を、動作の分節点と判定し、動作体運動時系列データを分節化する方法である。例えば、非特許文献２に示されるように、人体の腕と足の特定位置の変位を時系列に計測したデータに対して、当該特定位置の速度を計算し、速度の絶対値の和が一定の閾値より小さい場合に、動作の分節をみなす方法がある。
白鳥貴亮，中澤篤志，池内克史，"楽音のリズムを考慮した舞踊動作の解析"，第２１回日本ロボット学会学術講演会講演論文集，２００３年 中澤，中岡，池内，"モーションキャプチャデータからの舞踊動作プリミティブの抽出"，第19回日本ロボット学会学術講演会予稿集，２００１年

ところで、従来における動作体運動分節化法には、次のような解決されるべき問題点が残っている。すなわち、動作体運動のデータの時間的な分節化における従来の動作体運動分節化法が抱える以下の問題点である。

（１）等時間間隔での動作体運動分節化法は、運動の状況に関係なく分節化を行う。このため、時間間隔が細かすぎると、本来ならば一連の動作と解釈すべき部分を分断する恐れがある。逆に時間間隔が長すぎると、動作が激しく変化している部分であっても一まとまりの動作分節と解釈し、本来、行うべき分節化を行わない可能性が増える。

（２）トリガ条件による動作体運動分節化法は、トリガ条件が動作体運動の内容に無関係であると、等時間間隔での動作体運動分節化法と同様の欠点を持つ。トリガ条件を動作体運動の内容に応じて設定する方法が考えられるが、動作体運動を適切に分節化するトリガ条件の定め方として、広く適応可能で定量的な指針は、現在のところ提示されていない。このため、トリガ条件の適切な設定は困難である。

（３）動作体運動の速度または運動エネルギーの大小に応じた動作体運動分節化法は、動作体運動が遅くまたは全体的動作ではない場合に問題が生じる。例えば、１体の人間身体の運動の分節化を行う場合において考えると、一般的には、手作業など体の一部分のみによる動作では運動エネルギーと運動速度は小さく、歩行など全身的な動作の場合では運動エネルギーと運動速度は大きい。このため、この方法では、全身的動作のデータは分節化されにくく、手作業動作のデータは過度に分節化されやすいという欠点がある。

また、動作体が静止していなくとも、動作体運動の特徴が大きく変わる場合は、動作の分節と見なすべきである。しかしながら、この方法では動作体が静止していない場合は、動作が分節化されにくいという欠点がある。

本発明は、上記のような問題を解決するためになされたものであり、本発明の目的は、複数の独立した運動自由度を有する動作体、例えば、人間、動物などの動作体の運動を時系列に計測したデータを時間的に分節化する情報処理を行う動作体運動データ分節処理装置を提供することにある。

上記の目的を達成するため、本発明の動作体運動データ分節処理装置においては、基本的な構成として、動作体の複数の部位の運動に関する変位、速度、加速度、関節角度、関節角速度、関節角加速度など力学的な特徴量同士の相関関係の時間的変化に基づいて、動作データの時間的分節化を行う構成を備えるものとする。つまり、動作体運動データ分節処理装置は、動作体の複数の部位の位置、速度、または加速度の時系列データを入力し、各データの間に生じる動作の相関関係に関する特徴量を算出し、算出した特徴量の分布を時間的にクラスタ化することによって、動作の時間的な分節するタイミング位置を判定し、時系列データを分節する。

一般に人間および動物の動作体運動の制御は、動作体の多数の筋肉に対して少数の動作指令を分配することでなされている。したがって、動作制御の切り替えは、動作指令の波形の変化および動作指令の分配方式の変化として観測され得る。

従来における動作体運動分節化法の手法の多くは、動作指令の波形の変化を観測していたが、動作指令の分配方式の変化を明示的に観測の対象としてはいない。

このため、本発明の動作体運動データ分節処理装置においては、動作指令の波形の変化のみならず、動作指令の分配方式の変化も観測し、これらに応じて、動作体運動制御の切り替えを検知し、これを以って動作体運動の時間分節点と判定する。

したがって、本発明は第１の形態として、本発明の動作体運動データ分節処理装置が、基本的な構成においては、動作体の運動を計測した時系列データを時間的に分節化する動作体運動データ分節処理装置であって、動作体の少なくとも二つの部位の変位、関節の関節角度、これら物理量の時間微分値、時間積分値の時系列データによって構成される動作体運動時系列データを、入力する動作体運動時系列データ入力手段と、前記動作体運動時系列データの少なくとも２つの構成要素のデータ系列に含まれる少なくとも１つの時点でのデータに応じて、前記構成要素の間の相関の強度を表す指数として定義された指標の部位間動作相関指数を算出する部位間動作相関指数計算手段と、少なくとも２つの時点における部位間動作相関指数の値に応じて動作分節時点を判定する動作分節時点判定手段とを有する。

この場合に、本発明の動作体運動データ分節処理装置において、前記動作体運動時系列データ入力手段が入力する動作体運動時系列データは、人間または動物の四肢、頭部、尾部、末端、または関節点の変位についての関節角度、これら物理量の時間微分値、高階時間微分値、時間積分値、高階時間積分値のいずれかによって構成される時系列データであり、また、前記部位間動作相関指数計算手段が算出する部位間動作相関指数は、動作体運動時系列データの少なくとも２つの時点データの、積率相関係数、順位相関係数、内積、当該データ値の重み付き和、または当該データ値の重み付き積を計算し、該計算結果を部位間動作相関指数として出力するものである。

また、本発明の動作体運動データ分節処理装置において、更に、動作体の運動を時系列に計測した動作体運動時系列データの入力に応じて、該データに該データを時間的に分節化した情報を付加した分節情報付き動作体運動時系列データを出力する動作体運動分節化手段と、分節情報付き動作体運動時系列データの少なくとも１つの動作分節の内の、少なくとも１つの時点のデータ内容を抽出したものである動作体運動要約データを出力する動作体運動要約手段とを有することを特徴とする。

また、本発明は第２の形態として、動作体の運動を計測した時系列データを時間的に分節化する処理をコンピュータにより実行させる動作体運動データ分節処理プログラムであって、基本的な処理ステップでは、動作体の少なくとも二つの部位の変位、関節の関節角度、これら物理量の時間微分値、時間積分値の時系列データによって構成される動作体運動時系列データを入力する第１ステップと、前記動作体運動時系列データの少なくとも２つの構成要素のデータ系列に含まれる少なくとも１つの時点でのデータに応じて、前記構成要素の間の相関の強度を表す指数として定義された指標の部位間動作相関指数を算出する第２ステップと、少なくとも２つの時点における部位間動作相関指数の値に応じて動作分節時点を判定する第３ステップとの処理をコンピュータにより実行させる。

この場合に、動作体運動データ分節処理プログラムにおいては、第１ステップにより入力する動作体運動時系列データは、人間または動物の四肢、頭部、尾部、末端、または関節点の変位についての関節角度、これら物理量の時間微分値、高階時間微分値、時間積分値、高階時間積分値のいずれかによって構成される時系列データであり、第２ステップが算出する部位間動作相関指数は、動作体運動時系列データの少なくとも２つの時点データの、積率相関係数、順位相関係数、内積、当該データ値の重み付き和、または当該データ値の重み付き積を計算し、該計算結果を部位間動作相関指数として出力する。

また、本発明の第２の形態の動作体運動データ分節処理プログラムにおいては、更に、動作体の運動を時系列に計測した動作体運動時系列データの入力に応じて、該データに該データを時間的に分節化した情報を付加した分節情報付き動作体運動時系列データを出力する第４ステップと、分節情報付き動作体運動時系列データの少なくとも１つの動作分節の内の、少なくとも１つの時点のデータ内容を抽出したものである動作体運動要約データを出力する第５ステップとの処理をコンピュータにより実行させるようにしている。

本発明の動作体運動データ分節処理装置および動作体運動データ分節処理プログラムによれば、動作体運動時系列データを分節化する処理を行う場合に、時間分節点の設定を、動作体の要素の間に存する運動状況の相関状況に基づいて行うため、運動の時間的なまとまりと分節点を、動作体の運動エネルギーに依存せずに判定できる。さらに、運動状況の相関状況の計算は、動作体の機構や運動要素数を問わず基本的に適用できる。

以下、本発明を実施する場合の一形態について図面を参照して説明する。図１は、本発明による動作体運動データ分節処理装置のシステム構成のハードウェア構成を示す図であり、図２にソフトウエア構成を示している。図１において、１００はキーボードおよびマウスからの入力操作を受け付ける入力部、１０１は例えば数値データ等の入力操作のためのキーボード、１０２は選択入力操作のためのポインティングデバイスのマウス、１０３はマイクロプロセッサ（ＣＰＵ）およびメモリなどと共に制御プログラムを含むシステム装置から構成される演算部、１０４は例えばディスプレイ装置から構成される表示部、１０５はハードディスク装置などから構成されるデータベースである。

図２は、本発明による動作体運動データ分節処理装置のソフトウエア構成の概略を機能ブロックとして示す図である。図２に示すように、動作体運動データ分節処理装置のソフトウエア構成は、動作体運動時系列データ入力処理部２０２と、部位間動作相関指数計算処理部２０３と、動作分節時点判定処理部２０４を主要部として構成される。

動作体運動時系列データ入力処理部２０２が、動作体運動時系列データ２０１を入力する処理を行う。動作体運動時系列データ２０１は、後に詳述するように、動作体の少なくとも二つの部位の変位、関節の関節角度、これら物理量の時間微分値、時間積分値の時系列データによって構成される時系列データである。

ここでの動作体の運動の時系列データは、例えば、モーションキャプチャーシステムを利用するなどして、予めデータが取得されて作成され、必要な前処理が行われ、データベース１０５のデータとして格納されているものとする。また、動作体運動時系列データ入力処理部２０２において、この前処理を含めて入力処理を行うように構成されていても良い。つまり、入力されるデータとしては、センサにより検出される動作体の少なくとも二つの部位の位置データの時系列データから、関節の関節角度、これら物理量の時間微分値、時間積分値の時系列データが生成されるように構成されていても良い。

部位間動作相関指数計算処理部２０３においては、動作体運動時系列データの少なくとも２つの構成要素のデータ系列に含まれる少なくとも１つの時点でのデータに応じて、部位間動作相関指数を算出する処理を行う。そして、算出された結果に応じて、動作分節時点判定処理部２０４は、少なくとも２つの時点における部位間動作相関指数の値に応じて動作分節時点を判定する。判定された結果データは、動作分節時点データ２０５として出力される。必要に応じて、表示部１０４においてデータ加工されて表示される。

本発明の実施例の理解を容易とするため、動作体の運動を記述した時系列データを時間的に分節化するための最小のシステム構成で実現する場合について具体的に説明する。まず、動作体運動時系列データについて説明する。

図３は、分析の対象となる動作体である人体における観測する対象の部位を説明する図である。これらの部位の各位置の動きのデータは、モーションキャプチャーシステムを利用するなどして動作体の各部位の動作による運動時系列データが取得される。例えば、人体のＡ〜Ｋの１１箇所のＸＹＺ座標を、６０Ｈｚのサンプリングレートにて計測したデータを、動作体運動時系列データとして用いる。本実施例においては、具体的には、動作体運動時系列データのデータサンプル回数は７２としている。これをＮとする。

図４は、処理対象となる動作体運動時系列データに対応する人体の姿勢を、等時間間隔で抜き出して描画した図である。この図４は、動作体の動作を一定時間間隔のストロボ状連続静止画にて示した図となっている。つまり、図３により示している観測対象の部位Ａ〜Ｋの位置が黒丸で表現されており、動作体運動時系列データは、そのデータ値を、例えば、アスキーデータないしバイナリデータにより記述されたデータとして、コンピュータのファイルシステムにおけるファイルとして構成されている。

ここでの処理対象とする動作体運動時系列データ２０１としては、単体の人体の各部位の運動の時系列データに限らず、他の動作体における動作を分節化する場合においては、その対応の時系列データとする。図５は、計測対象とする道路交通物体の計測部位を示した説明図である。例えば、図５に示すように、交通路上の人間と自動車の重心位置のＸＹＺ座標のデータを、動作体運動時系列データとして用いることもできる。

また、動作体運動時系列データ２０１としては、座標データ以外にも、点の移動速度や加速度などのデータを用いることもできる。ジャイロ計や加速度計を用いて動作を計測する場合は、得られるデータは座標や角度の速度や加速度であることが多い。こうした異なる次元の物理量が混交したデータであってもよい。その場合は、必要に応じて物理量を変換する処理が行われる。

次に、本発明による動作体運動データ分節処理装置の情報処理について説明する。本実施例ではコンピュータを用いて全ての手段を実現するものとする。図２に示すソフトウェア構成は情報処理の流れを示すブロック図となっている。個々の処理部の詳細について、処理の順序に沿って説明する。

まず、動作体運動時系列データ入力処理部２０２について説明すると、動作体運動時系列データ入力処理部２０２は、前述したように、動作体運動時系列データのファイルを入力する処理モジュールである。例えば、一例として、コンピュータのファイルシステムによって実現される。

次に、部位間動作相関指数計算処理部２０３について説明すると、部位間動作相関指数計算処理部２０３は、入力された動作体運動時系列データ２０１について、そのデータ要素間に存在する相関関係を表す指数を計算する処理モジュールである。動作体運動時系列データは、離散時間的にサンプリングされたデータであるから、データの形態は時系列の数列データであり、例えば、動作体の各部位の点ＡのＸＹＺデータの時刻ｎ番目におけるデータは、式（１）に記述されるような３次元ベクトルの形態となる。

本実施例では、動作体運動計測のサンプリング時間は１／６０［秒］である。動作体運動時系列データを時間的に微積分の操作を加えたデータを算出して分析に用いることもできる。離散時間サンプリングでの時系列データの時間的な微積分の計算は、データに下記に例示する演算を施すことで、近似的に実現できる。動作体の各部位の例えば点Ａについては、次に示す式（２）によって、点Ａの座標の時間積分値が求まる。

式（３）によって、点Ａの座標の時間微分値、すなわち点Ａの移動速度ベクトルが求まる。

式（４）によって、点Ａの速度の絶対値が求まる。

式（５）によって、点Ａの移動加速度ベクトルが求まる。

式（６）によって、点Ａの移動加速度が求まる。

観測した点の間の相対位置ベクトルは、式（７）に記述する位置ベクトルの減算を行うことにより求められる。式（７）では、点Ｂから点Ａに向かう相対位置ベクトルの計算例を示している。

観測した点の間の相対位置ベクトルについても、式（２）〜式（６）を用いて、時間積分および時間微分の計算や速度や加速度の計算を行うことができる。

観測した任意の３点によって構成される角度は、式（８）によって求められる。すなわち、相対位置ベクトルの内積値をベクトルの絶対値で除し、コサイン逆関数を計算によって求められる。式（８）は、点Ｂにおいて、線分ＡＢと線分ＢＣがなす角度を計算する数式を例示している。

観測した任意の３点によって構成される角度についても、前述したように、式（２）〜（６）のベクトルの計算を行う場合と同様に、時間積分および時間微分の計算や速度や加速度の計算を行うことができる。

以上に説明したそれぞれの計算処理を行うことで、観測した動作体の部位についての座標や速度や加速度などのベクトル値や絶対値を求める。動作体の角度についても同様に角度、角速度、角加速度などを計算して求める。

このようにして観測した動作体の部位についての座標や速度や加速度などのベクトル値や絶対値が求められたので、次に、部位間動作相関指数を計算する。具体的に説明する。

部位間動作相関指数の計算処理では、動作体運動時系列データを構成する２つのデータ系列について、両者の相関の強度を、データ時刻ごとに計算する。動作体運動時系列データのデータ値をそのまま計算に用いることができる。また、前述した式（２）〜式（８）によって求めた時間積分値や時間微分値や角度に変換したデータを用いることもできる。

次に、部位間動作相関指数の計算の対象となるデータ系列をαとβとして、計算処理について数式を参照して説明する。相関の強度を表す指数としては、様々に定義することができる。例えば、次のような指標を用いることができる。式（９）によって、データ系列αとβの、データ時刻ｎ、相関時間遅れｄにおける相関指数を求めることができる。これを第１種部位間動作相関指数と呼ぶことにする。

この第１種部位間動作相関指数は計算が簡便であり、また、データの値の大きさを反映した相関指数である。

また、別の相関の強度を表す指数としては、例えば、式（１０）に示されるように、データ系列αとβの、データ時刻ｎ、相関時間遅れｄにおける相関指数を用いることができる。ここでは、これを第２種部位間動作相関指数と呼ぶことにする。

この第２種部位間動作相関指数は、第１種部位間動作相関指数を正規化したものであって、データの値の大きさに依らない相関指数となっている。

また、別の相関の強度を表す指数としては、例えば、式（１１）に示されるように、データ系列αとβの、データ時刻ｎ、相関時間遅れｄにおける別種の相関指数を用いることができる。ここでは、これを第３種部位間動作相関指数と呼ぶことにする。

但し、式（１１）における上線記号はデータ系列の平均を意味する。データ系列の平均を求めるためには、例えば、式（１２）に示される計算を行う。式（１２）はデータ系列αの平均値を求める場合の計算例である。

したがって、この第３種部位間動作相関指数は、データ系列の直流成分によらない相関係数となっている。

更に別の相関の強度を表す指数として、例えば、式（１３）に示されるように、データ系列αとβの、データ時刻ｎ、相関時間遅れｄにおける、別種の相関指数を用いることができる。ここでは、これを第４種部位間動作相関指数と呼ぶことにする。

この第４種部位間動作相関指数は、データの値の大きさおよびデータ系列の直流成分によらない相関係数である。

また、更に別の相関の強度を表す指数として、例えば、式（１４）に示されるように、データ系列αとβの、データ時刻ｎ、相関時間遅れｄにおける、更に別種の相関指数を用いることができる。ここでは、これを第５種部位間動作相関指数と呼ぶことにする。

更に別の相関の強度を表す指数として、例えば、式（１５）に示されるように、データ系列αとβの、データ時刻ｎからｎ＋ｓまでにおける、相関時間遅れｄでの、別種の相関指数を用いることができる。ここでは、これを第６種部位間動作相関指数と呼ぶことにする。第６種部位間動作相関指数は、数学では共分散と呼ばれるものである。

更に別の相関の強度を表す指数として、例えば、式（１６）に示されるように、データ系列αとβの、データ時刻ｎからｎ＋ｓまでにおける、相関時間遅れｄでの、別種の相関指数を用いることができる。ここでは、これを第７種部位間動作相関指数と呼ぶこととにする。第７種部位間動作相関指数は、数学では積率相関係数と呼ばれるものである。

ここでの部位間動作相関指数は、１次元のデータ系列についてだけではなく、多次元のデータ系列に対しても計算できる。例えば、２次元のデータ系列、つまり２つのデータ系列によって構成されるベクトル（α，β）と（γ，δ）との相関指数は、次の式（１７）示される演算式によって求められる。この例では、データ時刻ｎからｎ＋ｓまで、相関時間遅れｄでの相関指数を求めている。ここでは、これを第８種部位間動作相関指数と呼ぶことにする。

同様にして、より高次元のデータ系列についても、データ系列の要素ごとの部位間動作相関指数の積和の値を以って、部位間動作相関指数を定義することもできる。例えば、式（１８）によって、データ系列の要素（α，β）と（γ，δ）により、更に別の相関指数を定義することができる。これを第９種部位間動作相関指数と呼ぶこととする。

第９種部位間動作相関指数は、数学的には信号（α，β）と（γ，δ）との内積と呼ばれる。この第９種部位間動作相関指数を部位間動作相関指数として用いることができる。

本実施例の動作体運動データ分節処理装置においては、上記のようなそれぞれの部位間動作相関指数のいずれの部位間動作相関指数も用いることが基本的にできる。また、順位相関係数などの他の相関係数を用いることも基本的にできる。しかし、実用上は、動作体の運動の性質によって、また計算コストを勘案して、分析に適する相関指数を選択することになる。

また、本実施例の動作体運動データ分節処理装置においては、人体の運動のデータを、関節角速度に変換して相関分析を行う。図６は、分析対象の動作体である人体の骨格構造を概略的に説明する図である。

人体の運動の全体を把握する目的においては、各関節角度の時系列データが存在すれば充分である。この場合、人体機構の主要な関節角度を相関分析の対象に採用することで、情報処理を効率化することができる。

部位間動作相関指数計算処理部２０３は、動作体運動時系列データを参照して、人体機構の主要な関節角度である∠ＡＢＣ，∠ＡＢＤ，∠ＡＢＦ，∠ＢＤＥ，∠ＢＦＧ，∠ＢＡＨ，∠ＢＡＪ，∠ＡＨＩ，∠ＡＪＫの各角度の時系列データを、前述した式（８）に準じて計算する。さらに、これら角度データの時間差分を計算することで角速度を算出する。表１は、これらの角速度と角度の変数名と意味する内容をまとめたものである。

本実施例においては、部位間動作相関指数計算処理部２０３は、これらの角速度データの間に存在する第１種部位間動作相関指数を計算する。もちろん、他種の部位間動作相関指数を用いることもできる。具体的には、次の式（１９）〜式（２３）によるC1(d)[n]、C2(d)[n]、C3(d)[n]、C4(d)[n]、C5(d)[n]のそれぞれの値を計算する。

C1(d)[n]=N[n]+RS[n]+RE[n+d]+LS[n]+LE[n+d]
+RT[n]+RK[n+d]+LT[n]+LK[n+d] …(19)
C2(d)[n]=N[n]+RS[n+d]+RE[n+2d]+LS[n+d]+LE[n+2d]
+RT[n+2d]+RK[n+3d]+LT[n+2d]+LK[n+3d] …(20)
C3(d)[n]=N[n]+RS[n]+RE[n]+LS[n]+LE[n]
-RT[n+d]-RK[n+d]-LT[n+d]-LK[n+d] …(21)
C4(d)[n]=RS[n]+RE[n]-LS[n+d]-LE[n+d]
+RT[n]+RK[n]-LT[n+d]-LK[n+d] …(22)
C5(d)[n]=RS[n]+RE[n]-LS[n+d]-LE[n+d]
-RT[n+d]-RK[n+d]+LT[n]-LK[n] …(23)

これら５つの値は、動作体の歩容や制御形態を表す値である。本実施例ではパラメータｄとして、−８、−４、−２、−１、０、１、２、４、８の場合、それぞれについて計算することとする。また、ｄ＝０の場合だけ計算することでも、動作データの分節化は可能である。

よって、５種類のデータについてパラメータｄを違えた９種の値を計算するので、４５個の部位間動作相関指数が計算される。式（２４）は、この部位間動作相関指数ＣＣをベクトル表現したものである。
CC[n] = {C1(-8)[n], C1(-4)[n], C1(-2)[n], C1(-1)[n],
C1(0)[n], C1(1)[n], C1(2)[n], C1(4)[n], C1(8)[n],
C2(-8)[n], C2(-4)[n], C2(-2)[n], C2(-1)[n],
C2(0)[n], C2(1)[n], C2(2)[n], C2(4)[n], C2(8)[n],
C3(-8)[n], C3(-4)[n], C3(-2)[n], C3(-1)[n],
C3(0)[n], C3(1)[n], C3(2)[n], C3(4)[n], C3(8)[n],
C4(-8)[n], C4(-4)[n], C4(-2)[n], C4(-1)[n],
C4(0)[n], C4(1)[n], C4(2)[n], C4(4)[n], C4(8)[n],
C5(-8)[n], C5(-4)[n], C5(-2)[n], C5(-1)[n],
C5(0)[n], C5(1)[n], C5(2)[n], C5(4)[n], C5(8)[n]}
…(24)

図７は、部位間動作相関指数の全要素の絶対値の時間的変遷を示すグラフである。図７では、ＣＣ［ｎ］の各要素の絶対値をｎ＝１から７２の範囲において表示したグラフとなっている。横軸は時間ｎである。縦軸にはＣＣの要素の行を配列し、下部から順にC1(-8)[n]、C1(-4)[n]にはじまり、最上部のC5(8)[n]の行で終わる。各欄の描画の濃度は要素の絶対値に比例して表示されている。部位間動作相関指数計算処理部２０３は、コンピュータ上にて作動するプログラムとして実現される。つまり、一つの処理モジュールとして構成される。

次に、動作分節時点判定処理部２０４について説明する。これについても一つの処理モジュールとして構成される。動作分節時点判定処理部２０４は、部位間動作相関指数計算処理部２０３によって計算された計算結果の部位間動作相関指数ＣＣ［ｎ］のデータを参照する。ここで、参照するｎの範囲は、１からＮまでとする。動作分節時点判定処理部２０４は、ＣＣ［ｎ］をｎ＝１からＮまでの区間において、所定の判定基準により判定して動作体運動時系列データを分節化する。具体的には、時系列データの各分節の先頭となる時点（以下、「分節先頭時点」）を計算して出力する。

部位間動作相関指数に基づいて、動作体運動時系列データを分節化する動作分節時点の判定には、様々な方法を用いることができる。例えば、基本的には部位間動作相関指数について、次の解釈に基づいて分節化する。部位間動作相関指数の変動が少ない期間は、動作の様態に変化が少ない期間であるから、分節のまとまりとみなし、逆に、部位間動作相関指数の変動が大きい期間は、動作の様態に類似性がなく、動作の分節とみなす。

このような判定処理による分節化処理としては、例えば次の２つの方法のいずれかにより行う。第１の方法としては、部位間動作相関指数の時間微分値の絶対値を計算し、これが比較的大きい時点を分節先頭時点として判定する。判定の条件は、時間微分値の絶対値が特定の閾値より大きいこと、時間微分値の絶対値の上位特定位に入ることを判定するものとする。

また、第２の方法としては、ｎ＝１からＮまでの部位間動作相関指数ＣＣ［ｎ］をクラスタリング手法を用いて分類し、その分類結果に基づいて分節先頭時点を判定する方法である。次に、第２の方法を用いた場合を説明する。

クラスタリングとは、相異なるｎとｍについて、ベクトルＣＣ［ｎ］とＣＣ［ｍ］が類似していれば、ｎとｍを同一のグループに分類することである。ベクトル同士の類似を表す数学的な指標としては、ノルム距離やベクトル内積や積率相関係数や順位相関係数などを用いることができる。ここでは、例えば、１次ノルム距離に基づくＫ平均法クラスタリングを行う。ベクトルの１次ノルム距離とは、式（２５）によって定義される量である。１次ノルム距離は街路距離とも呼ばれる。

ただしＣＣｋ［ｎ］はベクトルＣＣ［ｎ］のｋ番目の要素である。

本実施例ではＫ平均法クラスタリングを一般的な方法で使用する。すなわち、最初にクラスタ核の位置を適当に定める。ここでは、例えば、４つの核を用意する。核の個数の指定は、例えばキーボードまたはマウス等の入力装置によるコマンド入力することにより、装置に外部から与えてもよい。また、スタージェスの公式などを用いることによって動作分節時点判定処理部２０４が判定処理の中で自動で定めることもできる。

核の位置は３５次元のベクトルで表される。これを、Core1, Core2, Core3, Core4と置く。核の初期位置は重複しなければ、いかなる値でも構わない。次に、動作分節時点判定処理部２０４は、暫定分類の処理を行う。

これは、まず、ｎ＝１からＮまでについて、ＣＣ［ｎ］と各クラスタ核との１次ノルム距離を計算する。その結果、１次ノルム距離が最も小さいクラスタ核の番号を、ｎの暫定分類先クラスタ番号とする。次に、動作分節時点判定手段は核位置の更新を行う。各暫定分類先クラスタに含まれるＣＣ［ｎ］の平均値を計算し、それを新規の核位置とする。以降、動作分節時点判定手段は暫定分類と核位置の更新の更新を数回繰り返す。例えば、１０回繰り返す。終了した段階での暫定分類をＣＣ［ｎ］の分類結果とする。

図８は、動作体運動時系列データの分節化処理の結果を示したグラフである。図８に示すグラフにおいて、Clustering Raw Resultの行は、ＣＣ［ｎ］の分類結果を示している。各ｎについて、分類先のクラスタ番号に応じた縦位置に、棒を描画している。なお、クラスタ番号は名義尺度であり、その値の大きさや順序には意味は無い。

なお、本実施例ではＣＣ［ｎ］のベクトル絶対値が小さい場合は、元の動作が微弱であるとして、クラスタリングの処理から除外してある。よって、棒が描画されていない領域が存在するものとなっている。このような処理によって、動作体運動時系列データは時間的に分節化されることになる。

この結果のまま出力してもよいが、ここでは、より妥当な分節した結果とするため、クラスタ結果の補正を行うこととする。動作体運動時系列データの内容によっては、分節結果「Clustering Raw Result」の変化の激しい区間が存在する。このような区間は、動作体運動時系列データが不安定に変化している区間である。

図８の一部の区間に示されるように、Clustering Raw Resultの変化の激しい区間が存在する。Clustering Raw Resultの短い分節では１サンプル時間、つまり６０分の１秒程度の持続時間しかない。このように極めて短い分節が回答されることは、過剰な分節によるものであり不適切な判定結果である。これに対処するため、動作分節時点判定処理部２０４では、持続時間が短い分節を除去する処理を行う。具体的には、ここでは、６サンプル時間、つまり０．１秒未満の持続しかもたない区間を排除することとする。このため、動作分節時点判定処理部２０４では、６サンプル時間以上の持続を持つ分節の先頭時刻を出力する。すなわち、図８に示すように、この場合は、４，１７，２７，３５，５７，６４である。図７のClustering Fine Resultの行は、この結果を図示している。

このようにして、動作分節時点判定処理部２０４は、最終的に、動作体運動時系列データ２０１を分節した結果データとして、すなわち、ここでの動作分節時点データ２０５として、４，１７，２７，３５，５７，６４を出力する。出力の形態は、テキストファイルとして出力される。

上述したように、動作体運動時系列データ２０１は分節化されるが、分節化したそれぞれの動作体運動時系列データを１つのデータとして、代表的なデータに要約する処理を行うにも変形できる。この要約する処理を行うことによって、データの大きさは、元の動作を記述する動作体運動時系列データの大きさに比べて小さくなる。つまり、動作体運動時系列データの圧縮が行われたことになる。動作体運動時系列データが、動作体の運動の時系列データが、身体姿勢の画像として作成された場合、元の動作を想起させる効果のある少数の姿勢データを抽出される。

次に、動作体の運動を記録したデータ、すなわち、動作体運動時系列データを要約する処理について説明する。この処理においては、前処理として、前述した動作体運動時系列データを分節化する処理を用いる。

図９は、本発明による変形例の要約処理部を付加した動作体運動データ分節処理装置のソフトウエア構成の概略を機能ブロックとして示す図である。図９に示すように、ソフトウエア構成は、動作体運動分節化処理部３０２と、動作体運動要約処理部３０４を主要部として構成される。

動作の概略を説明すると、動作体運動時系列データ３０１が入力された動作体運動分節化処理部３０２は、動作体の運動を時系列に計測した動作体運動時系列データの入力に応じて、該データに該データを時間的に分節化した情報を付加した分節情報付き動作体運動時系列データ３０３を出力する。この分節情報付き動作体運動時系列データ３０３を動作体運動要約処理部３０４に入力し、動作体運動要約処理部３０４において、分節情報付き動作体運動時系列データの少なくとも１つの動作分節の内の、少なくとも１つの時点のデータ内容を抽出したものである動作体運動要約データ３０５を出力する。

具体的に説明する。図９に、情報処理の流れを示すように、ここでの動作体運動時系列データ３０１としては、先の実施例として説明したデータを用いる。動作体運動分節化処理部３０２としては、前述した分節化処理を行うと共に、その分節情報を付加した分節情報付き動作体運動時系列データ３０３とする。分節化処理では、前述したような信号処理を行い、そして、動作体運動時系列データに動作分節時点データを付加したデータとし、分節情報付き動作体運動時系列データ３０３を出力する。

次に、動作体運動要約処理部３０４について説明すると、動作体運動要約処理部３０４は、はじめに、分節情報付き動作体運動時系列データ３０３から、ここに付加されている動作分節時点データに従って、動作体運動時系列データを切り分ける。例えば、前述したように、動作分節時点データが４，１７，２７，３５，５７，６４という結果であったとすると、この場合には、ｎの値が４から１６までの区間、１７から２６までの区間、２７から３４までの区間、３５から５６までの区間、５７から６３までの区間、６４から７２までの区間の６つの区間に、動作体運動時系列データを切り分ける。

分節は、運動学的に類似した特徴を持つ動作が継続している区間である。従って、分節から１つの時点の動作体運動時系列データを抜き出し、人間に提示することによって、その分節の運動学的特徴を想起させることが期待できるデータが得られる。１つの時点の動作体運動時系列データとは、具体的には、その時点の身体姿勢のデータである。

１つの時点の動作体運動時系列データとして、適切な時点を選んで身体姿勢のデータを動作体運動要約データとして抽出することができれば、それらは紙芝居や漫画の表現のように、各分節の身体姿勢データは各分節の動作の内容を代表して、元の動作を人間に想起させる効果が得られるデータとなる。

このような動作体運動要約データの抽出方法として様々な方法が利用できる。例えば、分節の時間的中央の時点、動作体の運動エネルギーが最大値をむかえる時点、動作体運動時系列データの特定のデータ系列の値が最大値ないし最小値をむかえる時点など、その時点における動作体運動時系列データを、動作体運動要約データとして抜き出す方法を用いることができる。

ここでの実施例としては、動作体運動要約処理部３０４は、分節の先頭の時点における動作体運動時系列データを、動作体運動要約データとして出力するものとする。具体的には動作体運動要約データは、動作分節時点データである４，１７，２７，３５，５７，６４の値のテキストと、ｎの値が４，１７，２７，３５，５７，６４における動作体運動時系列データの構成データの値を列記したテキストデータとして実現できる。この動作体運動要約データの大きさは、元の動作を記述する動作体運動時系列データの大きさに比べ、小さくなる。つまり、動作体運動時系列データの圧縮が行われたことになる。

図１０は、分節代表データの内容に基づいて、身体姿勢の画像として作成した図を例示している。図１０を参照すると、動作体運動時系列データから明らかに元の動作を想起させる効果のある少数の姿勢データを抽出できている。このようなデータは、紙芝居や漫画表現のように、各分節の身体姿勢データは各分節の動作の内容を代表して、元の動作を人間に想起させる動作態様のデータとなっている。

本発明は、動作体の運動の時系列データを分節するので、分節された各データは、例えば、理学療法における動作体運動分析や、監視カメラによる不審人物の検知や、使用者の身振りを用いた入力装置や、ジェスチャーの認識装置や、スポーツ映像からのダイジェスト映像または静止画写真の自動作成に用いることができる。また、動作体機構に限らず、群集や動作体器官や非生物物体の動作データに対しても適用することができる。

例えば、図５に示すように、交差点にて信号待ちをしている人間の群集や自動車の群れについて、それぞれの位置の時系列データが与えられた場合に、本発明を用いることで、赤信号と青信号の状態遷移を反映した時間の分節化が行える。なぜならば、赤信号が提示されている交通路にある人間と自動車は停止しているが、一方青信号が提示されている交通路では人間と自動車は移動するため、共通の交通路にある人間および自動車の位置変化には強い相関が観測される。このため、相関係数の符号と絶対値の変化を計測できれば、それは信号の提示状況を強く反映したものとなり、信号提示状況を、直接検知することなく精度よく推定することができる。

本発明による動作体運動データ分節処理装置のシステム構成のハードウェア構成を示す図である。 本発明による動作体運動データ分節処理装置のソフトウエア構成の概略を機能ブロックとして示す図である。 分析の対象となる動作体である人体における観測する対象の部位を説明する図である。 処理対象となる動作体運動時系列データに対応する人体の姿勢を、等時間間隔で抜き出して描画した図である。 計測対象とする道路交通物体の計測部位を示した説明図である。 分析対象の動作体である人体の骨格構造を概略的に説明する図である。 部位間動作相関指数の全要素の絶対値の時間的変遷を示したグラフである。 動作体運動時系列データの分節化処理の結果を示したグラフである。 本発明による変形例の要約処理部を付加した動作体運動データ分節処理装置のソフトウエア構成の概略を機能ブロックとして示す図である。 分節代表データの内容に基づいて身体姿勢の画像として作成した図の例示図である。

符号の説明

１００…入力部、
１０１…キーボード、
１０２…マウス、
１０３…演算部、
１０４…表示部、
１０５…データベース、
２０２…動作体運動時系列データ入力処理部、
２０３…部位間動作相関指数計算処理部、
２０４…動作分節時点判定処理部、
３０２…動作体運動分節化処理部、
３０４…動作体運動要約処理部

Claims (6)

1. 動作体の運動を計測した時系列データを時間的に分節化する動作体運動データ分節処理装置であって、
   動作体の少なくとも二つの部位の変位、関節の関節角度、これら物理量の時間微分値、時間積分値の時系列データによって構成される動作体運動時系列データを、入力する動作体運動時系列データ入力手段と、
   前記動作体運動時系列データの少なくとも２つの構成要素のデータ系列に含まれる少なくとも１つの時点でのデータに応じて、前記構成要素の間の相関の強度を表す指数として定義された指標の部位間動作相関指数を算出する部位間動作相関指数計算手段と、
   少なくとも２つの時点における部位間動作相関指数の値に応じて動作分節時点を判定する動作分節時点判定手段と
   を有する動作体運動データ分節処理装置において、
   前記部位間動作相関指数計算手段が算出する部位間動作相関指数は、動作体運動時系列データの少なくとも２つの時点データの、積率相関係数、順位相関係数、内積、当該データ値の重み付き和、または当該データ値の重み付き積を計算し、該計算結果を部位間動作相関指数として出力する
   ことを特徴とする動作体運動データ分節処理装置。
2. 請求項１に記載の動作体運動データ分節処理装置において、
   前記動作体運動時系列データ入力手段が入力する動作体運動時系列データは、人間または動物の四肢、頭部、尾部、末端、または関節点の変位についての関節角度、これら物理量の時間微分値、高階時間微分値、時間積分値、高階時間積分値のいずれかによって構成される時系列データである
   ことを特徴とする動作体運動データ分節処理装置。
3. 請求項１に記載の動作体運動データ分節処理装置において、更に、
   動作体の運動を時系列に計測した動作体運動時系列データの入力に応じて、該データに該データを時間的に分節化した情報を付加した分節情報付き動作体運動時系列データを出力する動作体運動分節化手段と、
   分節情報付き動作体運動時系列データの少なくとも１つの動作分節の内の、少なくとも１つの時点のデータ内容を抽出したものである動作体運動要約データを出力する動作体運動要約手段と
   を有することを特徴とする動作体運動データ分節処理装置。
4. 動作体の運動を計測した時系列データを時間的に分節化する処理をコンピュータにより実行させる動作体運動データ分節処理プログラムであって、
   動作体の少なくとも二つの部位の変位、関節の関節角度、これら物理量の時間微分値、時間積分値の時系列データによって構成される動作体運動時系列データを入力する第１ステップと、
   前記動作体運動時系列データの少なくとも２つの構成要素のデータ系列に含まれる少なくとも１つの時点でのデータに応じて、前記構成要素の間の相関の強度を表す指数として定義された指標の部位間動作相関指数を算出する第２ステップと、
   少なくとも２つの時点における部位間動作相関指数の値に応じて動作分節時点を判定する第３ステップと
   の処理をコンピュータにより実行させる動作体運動データ分節処理プログラムにおいて、
   前記第２ステップが算出する部位間動作相関指数は、動作体運動時系列データの少なくとも２つの時点データの、積率相関係数、順位相関係数、内積、当該データ値の重み付き和、または当該データ値の重み付き積を計算し、該計算結果を部位間動作相関指数として出力する
   ことを特徴とする動作体運動データ分節処理プログラム。
5. 請求項４に記載の動作体運動データ分節処理プログラムにおいて、
   前記第１ステップにより入力する動作体運動時系列データは、人間または動物の四肢、頭部、尾部、末端、または関節点の変位についての関節角度、これら物理量の時間微分値、高階時間微分値、時間積分値、高階時間積分値のいずれかによって構成される時系列データである
   ことを特徴とする動作体運動データ分節処理プログラム。
6. 請求項４に記載の動作体運動データ分節処理プログラムにおいて、更に、
   動作体の運動を時系列に計測した動作体運動時系列データの入力に応じて、該データに該データを時間的に分節化した情報を付加した分節情報付き動作体運動時系列データを出力する第４ステップと、
   分節情報付き動作体運動時系列データの少なくとも１つの動作分節の内の、少なくとも１つの時点のデータ内容を抽出したものである動作体運動要約データを出力する第５ステップと
   の処理をコンピュータにより実行させることを特徴とする動作体運動データ分節処理プログラム。

Images