JP3570163B2

JP3570163B2 - 動作及び行動の認識方法及び装置及びシステム

Info

Publication number: JP3570163B2
Application number: JP17803097A
Authority: JP
Inventors: 宗利鵜沼; 芳明宇佐美; 勉西岡; 知屋敷; 士郎野中; 茂於保; 勝男田代
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-07-03
Filing date: 1997-07-03
Publication date: 2004-09-29
Anticipated expiration: 2017-07-03
Also published as: JPH10113343A

Description

【０００１】
【発明の属する技術分野】
本発明は、人間或は動物或は機械等の状態が変化する物体（以下では被験体と総称する）の動作及び行動計測に係り、特に、その動作及び行動の認識方法、及びその方法を用いた装置、及びその装置を含むシステムに関する。
【０００２】
なお、本明細書においては、被験体の動作或は行動を「動作／行動」と略記しする。
【０００３】
【従来の技術】
人間の動作・作業の計測に関する基本的な従来技術は、“図説エルゴノミクス”野呂影勇、日本規格協会、１９９０年２月１４日発行、５３８頁から５４４頁に記載されている。この従来技術には、ＶＴＲや直接目視による人間の動作や作業の計測方法が開示されている。
【０００４】
また、加速度センサを用いて人間の動作や作業を計測する従来技術が、特公平７−９６０１４号公報に開示されている。この従来技術では、各種動作毎に、人体に取り付けられた加速度センサから得られる振動波形をＡ／Ｄ変換し、得られた離散的なＡ／Ｄ変換値振動パターンテーブルとして用意し、入力振動波形をＡ／Ｄ変換した結果と上記振動パターンテーブルとを所定のタイミングで計時部から出力されるタイミング信号に同期して比較判定している。本従来技術によれば、振動パターンテーブルを制作した動作と同じ動作、あるいは、同じ動作速度において認識処理を行うことができる。
【０００５】
【発明が解決しようとする課題】
ＶＴＲや直接目視により被験者の動作や行動・作業を観測する、前者の従来技術では、以下のような問題点がある。
【０００６】
（１）ＶＴＲの解析或は直接目視は、観測者が被験者の身体の位置や行っている作業を時々刻々記録する必要があり、観測者に非常な手間がかかる。
【０００７】
（２）死角になる部分はＶＴＲあるいは直接目視により観測されない。
【０００８】
（３）被験者が移動する場合、観測者は被験者を追跡しなければならない。
【０００９】
（４）被験者がＶＴＲや観測者の視線を意識してしまう。
【００１０】
（５）被験者の関節の位置の計測では、単に関節の位置を計測しそれを再現するだけで、行動や作業を自動的に認識することはできず、再現した動作を人間が再認識しなければならない。
【００１１】
また、後者の従来技術では、以下のような問題点がある。
【００１２】
（６）歩行動作や走行動作ではありがちなピッチの違いによって、例えば「のろのろ歩く」と「速足で歩く」とのように同じ「歩く」動作でも、その速度が異なる場合、振動パターンテーブルと入力振動波形とでは時間軸方向の長さが異なるため相関が検出できず、違う動作と誤認識してしまう。したがって、ピッチの異なる動作を正しく認識するには、異なるピッチに応じた振動パターンテーブルを新たに追加する必要がある。さらに、通常ピッチは連続的に変化するため、より正確に認識を行うためには、多くの振動パターンが必要となる。よって、より正確な認識を行うには、非常に大きな振動パターンテーブルが必要になるという問題がある。
【００１３】
（７）「歩きながら団扇であおぐ」とか「走っている電車の中を歩く」等のように複数の動作が組み合っているような動作を認識する場合でも、「歩きながら団扇であおぐ」，「走っている電車の中を歩く」をそれぞれ１つの振動パターンとして登録する必要がある。さらに、「歩きながら団扇であおぐ」場合には、足を地面についた瞬間に団扇が下に向かってあおがれているか、上に向かっているかによって振動波形が異なるため、それぞれの場合についても振動パターンを新たに登録しておく必要がある。この場合も実際の認識には、非常に大きな振動パターンテーブルが必要になるという問題がある。
【００１４】
（８）人体に加わっている加速度のみを測定し、これをデータとして認識を行っている。このため、身体をねじる等の角加速度に特徴が現れる動作の認識が難しい。
【００１５】
（９）認識の対象が間欠的な動作に限定されている。一般的に人間の行動は、複数の動作を行って１つの行動が達成される。例えば「イスに座る」場合には、「歩く」→「止まる」→「座る」のように動作が移り変わる。このような複数の動作からなる１つの行動を、正しく認識するような技術については、全く開示されていない。
【００１６】
（１０）従来の認識手法においては、認識結果を分かり易く表現する手法については考慮されていない。
【００１７】
本発明は上述したような問題点を考慮してなされたもので、人間や動物や機械などの動く物体（被験体）の動作や行動をより正しく認識することができる認識方法、および、その方法を用いた装置、および、その装置を含むシステムを提供することを目的とする。
【００１８】
より具体的には、本発明の目的は、以下のような技術的課題を実現することができる認識方法及び装置及びシステムを提供することにある。
【００１９】
（１）観測者に負担のかからないように動作や行動或は作業を自動認識する。
（２）物体の影などによる死角の影響がない。
【００２０】
（３）被験体が移動しても観測に支障をきたさない。
【００２１】
（４）被験体に負担をかけない。
【００２２】
（５）単なる動作計測に留まらず、計測結果から被験体の動作或は行動、更には作業内容を認識あるいは推定可能とする。
【００２３】
（６）動作の速度に影響されない。
【００２４】
（７）複数の動作が重ね合わされた場合でも認識を可能とする。
【００２５】
（８）加速度以外の現象も参考して、より多くの種類の動作を認識する。
【００２６】
（９）間欠的な動作計測に留まらず、動作の履歴により被験者（被験物）の行動さらには作業内容を認識あるいは連想あるいは推定する。
【００２７】
（１０）動作／行動の認識結果をコンピュータアニメーションを用いて分かり易く表現する。コンピュータアニメーションの制御は、動作／行動の認識結果をもとに制御する。
【００２８】
【課題を解決するための手段】
上記目的を達成するために、本発明による被験体の動作／行動を認識する認識装置は、前記被験体に取り付けられ、当該被験体の動作／行動に伴う状態変化を観測する計測手段と、前記観測結果における特徴量を抽出する特徴量抽出手段と、当該認識装置により認識すべき動作／行動についての特徴量を記憶する記憶手段と、前記観測結果から抽出した特徴量と記憶してある特徴量とから、前記被験体の動作／行動を認識する認識手段と、前記認識結果を出力する出力手段とを有する。
【００２９】
より具体的には、本発明による認識方法及び装置及びシステムは、例えば以下のような手段を備える。
【００３０】
（１）被験体の動作や行動に伴う状態変化を自動的に計測する計測器を被験体に取り付け、計測データを観測者に送信する。
【００３１】
（２）映像や視覚によらない、加速度センサや速度センサ或は位置センサ等により、被験体の状態変化を計測する。
【００３２】
（３）観測結果を、無線等により伝送する。
【００３３】
（４）動作や行動に伴う、状態変化が顕著に表れる、少数の観測点で状態変化を計測する。
【００３４】
（５）予め動作或は行動の特徴量を抽出しておき、計測データから抽出した特徴量と比較し、相関の高い特徴量が表している動作或は行動を認識結果として出力する。
【００３５】
（６）１つの動作を表すものとして予め測定されている波形を、該動作の開始から終了までの時間（動作時間）で正規化する。正規化する場合には動作の開始から終了までの時間を“１”とするもので、例えば歩行の場合は２歩が１周期となる。その後、関数化あるいはフーリエ変換やウェーブレット変換等により各動作の特徴的な成分を抽出し、関数化した場合にはその係数を、フーリエ変換などをした場合には抽出した成分を、参照すべき動作の特徴量として登録する。次に、動作を認識する場合には、入力波形から動作の開始と終了を認識し、この動作の継続時間により入力波形を正規化し、その後上述したような関数化あるいはフーリエ変換やウェーブレット変換等を行うことで係数や特徴成分を抽出し、この抽出した係数や成分を予め登録してある特徴量と比較することで、認識を行う。
（７）異なる動作の特徴量同士を重ね合わせた結果を用いて、観測結果の認識を行う。例えば「歩く」動作の特徴量と「団扇をあおぐ」動作の特徴量とを重ねあわせる。
【００３６】
（８）動作や行動を観測する場合には、加速度データばかりでなく、被験体の動作や行動に伴う速度，位置，角加速度，角速度，回転角，生体情報等の他の物理量に関するデータも合わせて取得して、認識処理に利用する。
【００３７】
（９）動作の履歴より連想される行動を連想動作として登録しておき、観測され認識された動作の履歴と前記連想動作とを比較することで、被験体の行動を連想する。
【００３８】
（１０）コンピュータアニメーションの生成手法の特徴量成分の選択や強さの制御を、被験者の動作／行動の認識結果を用いて行う。
【００３９】
上記各手段によれば、例えば以下のような効果を達成することができる。
【００４０】
（１）自動的に測定データが送られてくるため、観測者に負担をかけない。
【００４１】
（２）死角が生じないセンサである。
【００４２】
（３）無線のため、被験体が何処に移動しようが、観測者は追跡する必要はない。
【００４３】
（４）観測点が少ないため被験体に負担をかけない。更に、目視等をしていないので、被験体に観測者の視線の影響を与えない。
【００４４】
（５）自動認識のため、計測した生データを直接観測者が扱う必要がない。
【００４５】
（６）時間軸が正規化されているため、動作速度に影響されず認識が行える。
（７）特徴量の組み合わせも考慮するため、より複雑な動作も認識できる。
【００４６】
（８）加速度以外の物理量も用いて認識を行うため、加速度にはあまり特徴が現れない動作においても認識ができる。
【００４７】
（９）複数の動作の組み合わせにより行われる行動（以下では作業と呼ぶ）も認識できる。
【００４８】
（１０）認識結果を分かり易く観測者に提示することができる。
【００４９】
【発明の実施の形態】
以下、本発明の一実施形態を図１により説明する。本実施形態では被験者１を、動作或は行動（以下では動作／行動と略記する）の認識の対象として説明する。
【００５０】
本実施形態での動作及び行動の認識装置は、被験者１に取り付けられた計測器２，３と、計測器２，３からの計測結果をデジタル化するＡ／Ｄ変換器４と、デジタル化した計測結果から特徴量を抽出する特徴量抽出部５と、予め計測され抽出された各種動作および行動の特徴量を格納した特徴量データベース６と、特徴量抽出部５で抽出された特徴量が示す動作／行動を特徴量データベース６に格納されたデータを用いて認識する信号処理部７と、認識結果を出力する出力部８とを有する。
【００５１】
特徴量抽出部５及び信号処理部７は、例えば、以下に説明するような特徴量抽出処理および動作／行動の認識処理を実行するプログラムを記憶するためのメモリと、該プログラムを実行するためのＤＳＰあるいはＭＰＵとを備える情報処理装置により実現される。また、出力部８は、例えば液晶パネルやＣＲＴを備える表示装置により実現される。
【００５２】
本実施形態では、動作／行動に伴う状態変化を計測するための計測器２，３が被験者１に取り付けられている。図１の例では、腰の位置に取り付けられた状態変化の計測器２と、腕に取り付けられた状態変化の計測器３とが示されている。これら状態変化の測定器は、状態変化が顕著に現れる場所に取り付ける。例えば、観測しようとする状態変化が足に現れるような場合には、状態変化の測定器を足に取り付けると良い。また、計測器の数は１個でも複数個でも構わない。
【００５３】
状態変化の計測器２，３で計測された結果は、Ａ／Ｄ変換器４により時々刻々とデジタル信号に変換される。変換されたデジタル信号は、信号の特徴量抽出部５により処理され、当該信号に特有な特徴が抽出される。この特徴抽出処理の様子を図２を用いて説明する。
【００５４】
ここでは状態変化を測定する測定器として、図２に示すように、腰に取り付けられた加速度センサを例にとり説明する。この加速度センサは、人体の身長方向に沿った加速度を計測する。加速度センサからの出力結果２０は、人間の「歩く」，「走る」，「しゃがむ」，「横になる」の動作で得られたそれぞれに特有の時系列データ例２１〜２４を示している。本例の場合、データ２１，２２では歩行或は走行による周期的な加速度変化が、データ２３では単発の変化が、データ２４においては横になったために重力加速度が測定されず、加速度が無い状態が観測されている。
【００５５】
上記データをＡ／Ｄ変換器４でデジタル化した後、信号解析の一手法である時間−周波数解析（一例としてフーリエ変換）した結果、周波数スペクトラム２５が得られる。上記各データ２１〜２４に対応する解析結果は、周波数スペクトラム２６，２７，２８，２９のようになる。各解析結果の棒グラフは、フーリエ変換して得られた周波数成分のスペクトル強度を表している。各動作の周波数特性は各々異なり、この違いが各動作の特徴量となる。
【００５６】
本実施形態では、動作／行動を認識するための信号処理部７での参照データとなる特徴量を、予め、その状態が知られている動作や行動に係るデータから抽出し、登録しておく。この参照データを登録する場合には、図１の経路９を介して、動作／行動の特徴量のデータベース６に蓄える（図２の処理３０）。
【００５７】
動作／行動を認識するための信号処理部７では、特徴量抽出部５より時々刻々と送られてくる、現在の被験者１の動作／行動に起因する特徴量データ１０を受け入れ、このデータ１０と既にデータベース６に登録されている各種動作／行動の特徴量の参照データ１１とを比較する。すなわち、現在送られて来ている特徴量とデータベース６に蓄えられている各種特徴量との相関を取り、最も相関が高い特徴量に対応する動作／行動が、被験者１が現在行っている動作／行動として判定され、その判定結果は出力部８により出力される。
【００５８】
本発明において相関のとる方法は特に限定されるものではないが、例えば図２９に示すような方法がある。本方法では、最初、被験者１の動作／行動に対応する測定波形のスペクトラムである特徴量データ１０に対応する、以下の数１を満足するように正規化された周波数成分Ｆ（ｍ）を求めておく。同様に、相関をとる相手となる参照データ１１に対応する、以下の数２を満足するように正規化された各周波数成分Ｇ（ｍ）を求めておく。
【００５９】
【数１】

【００６０】
【数２】

【００６１】
次に、上記両データ１０，１１の相関を示す関数として以下の数３により関数Ｈ（ｍ）を定義する。
【００６２】
【数３】

関数Ｈ（ｍ）は両データの重なりあった部分２９０を指すものであり、Ｈ（ｍ）が以下の数４を満足した場合には、相関があると判断する。
【００６３】
【数４】

【００６４】
ここでＨ（ｍ）の最大値は１．０である。よって、全く同じものであることが要求されている場合には、α＝１．０とするが、ある程度似ているものが要求されている場合には、αを１．０よりも少し小さい値とする。なお、複数の参照データとの比較を行う場合には、Ｈ（ｍ）の積分値の一番大きなものを、被験者１が行っている動作／行動とするか、あるいは積分値の値に応じて可能性のある候補として決定する。
【００６５】
さらに、上記数４ではスペクトラムの全ての周波数成分は同じ重みをもつように設定されているが、各成分毎に異なる重み付けをしても良い。例えば、動作固有のスペクトラムがでる場合には、その部分の重みを大きくするとか、雑音がある場合にはその成分の重みを小さくするなどしてもよい。β（ｍ）をそれぞれの周波数成分ｍに固有な重み関数とすると、相関を示す関数Ｈ（ｍ）は以下のように定義することができる。
【００６６】
【数５】

このように本実施形態によれば、状態変化を測定しその測定結果を単なる測定値として利用するのではなく、状態変化の測定値から認識処理を行うことにより、状態変化から被験者の動作／行動を自動認識できるといった効果がある。
【００６７】
さらに、本実施形態によれば、被験者の身体に取り付けられた少数（本実施形態では最低１個所）の状態変化の測定器により測定された測定結果より、被験者の身体全体としての動きを認識でき、少ない測定器により身体全体のマクロ的な動作を推測できるといった効果がある。
【００６８】
さらに、本実施形態によれば、測定器を取り付けるべき測定個所が少ないため、被験者に負担をかけないといった効果がある。
【００６９】
さらに、本実施形態によれば、被験者の動作／行動の状態を、他の場所に伝送する場合、状態変化を測定した測定値（測定サイクル毎の測定値）をそのまま伝送するのに比べ、認識後は各動作／行動サイクル毎に認識結果を伝送すればよく、情報量を減縮できるといった効果もある。
【００７０】
本実施形態では、特徴量抽出部５が周波数解析としてフーリエ変換を行う場合の例を説明したが、本発明で用いることができる周波数解析法はこれに限定されるものではない。例えばウェーブレット変換をはじめとする時間周波数解析等の他の周波数解析を行い、その変換結果から特徴量を抽出しても構わない。
【００７１】
ウェーブレット変換を用いた例を図３により説明する。２１０は、最上段に図示されている被験者の動作に対応して測定された加速度変化である。この波形をウェーブレット変換すると、Ｌｅｖｅｌ（ウェーブレット成分）に特徴的な値が表れる。例えば、「歩く」動作の場合には、２１３のＬｅｖｅｌＣに特徴的な値２１４が表れる。同様に「しゃがむ」場合には、２１１のＬｅｖｅｌＡの２１５のように、「走る」場合には、２１２のＬｅｖｅｌＢ及び２１３のＬｅｖｅｌＣに２１６のような値が表れる。本例の場合では、これらがそれぞれの動作を表す特徴量であり、この特徴量により動作／行動を認識することができる。
【００７２】
なお、特徴量としてウェーブレット成分を用いた場合の相関の取り方は、上記周波数成分を特徴量として用いた場合と同様である。ただし、周波数成分での相関の取り方では各周波数成分の強度の値で相関を取るが、ウェーブレット成分の場合には、各レベル毎の時間に関する強度の相関をとり、さらにレベルの相関も取る。
【００７３】
また、本実施形態ではデジタル化した信号を用いた周波数解析によって得られる特徴量について説明したが、本発明で用いることができる特徴量はこれに限定されるものではない。本発明において特徴量とは、その量を用いて動作や行動が区別できるものであれば他の形態の特徴量を用いても良い。例えば、測定器２，３から出力されたアナログ信号の周波数特性を複数のフィルタ回路からなるスペクトラムアナライザによって抽出し、抽出したアナログ値の周波数成分を特徴量として、各成分毎にアナログの比較器で比較することで、相関を求める構成としても良い。また、測定器の出力信号に対して予め定めた次数の関数をフィッテイグし、その関数に含まれる係数の組み合わせにより特徴量をあらわすような構成としても良い。
【００７４】
また、本実施形態では相関関係を用いて動作／行動の認識を行っているが、相関関係を求める代わりにニューラルネットを用いても、本実施形態と同様な効果を得ることができる。この場合、動作／行動を認識するための信号処理部７は、ニューラルネットで構成する。また、動作／行動の特徴量のデータベース６を作る際には、既知の動作／行動について予め抽出された特徴量をニューラルネットへの教師信号としてニューラルネットへ覚え込ませる。認識の際には、観測した測定値から特徴量抽出部５により特徴量を抽出し、ニューラルネットで構成される信号処理部７へ入力し、認識を行う。
【００７５】
また、本実施形態では、説明の簡略化のために垂直方向１軸の測定結果を利用した場合を例に説明したが、横方向の加速度あるいは前後方向の加速度等、上記垂直方向以外の加速度変化の測定からも特徴量を抽出して、それぞれの値からあるいはそれらを複合的に判断して認識しても構わない。
【００７６】
また、本実施形態では、状態変化の測定器として人体の身長方向での加速度を感知する加速度センサを例に取り、加速度の変化より特徴量を抽出する例を説明したが、加速度センサの代わりに速度センサ或は位置センサを用い、速度或は位置の変化より加速度を算出（１次或は２次微分）しても、上記と同様な効果を達成することができる。
【００７７】
また、本実施形態では加速度変化の特徴量を抽出していたが、速度変化より特徴量を抽出して、速度変化より抽出し登録されたデータベースの特徴量との相関を取っても、本実施形態と同様に実施することができる。この場合、加速度センサを用いた場合は、１次積分を行い速度を算出し実施し、位置センサを用いた場合は１次微分を行い速度を算出し実施する。また同様に、位置変化より特徴量を抽出して、位置変化より抽出し登録されたデータベースの特徴量との相関を取っても良い。この場合、加速度センサを用いた場合は、２次積分を行い位置を算出し、速度センサを用いた場合は１次積分を行い位置を算出する。
【００７８】
また、本実施形態では、被験体として人間を例に挙げて説明したが、もちろん人間以外の動物や多関節型のロボット等についても、同様に動作や行動の認識を行うことができる。
【００７９】
また、本実施形態では「歩く」，「走る」といった被験体の全体の動きの認識を例として説明しているが、被験体の特定の場所に取り付けられた状態変化の測定器により、前記特定の場所の状態変化を測定して、その状態変化の特徴量から、前記特定の場所の動きや動作／行動を認識することも、本実施形態と同様な方法で可能である。
【００８０】
例えば、腕時計に取り付けられた状態変化の測定器により、手と一緒に動く腕時計の状態変化より特徴量を抽出し、前以て記録してある、手の動きによる腕時計から計測された特徴量と比較することにより、手の動きや動作／行動を認識することが可能である。同様に、靴や靴下に取り付けられた状態変化の測定器により足の動きや動作／行動を認識したり、帽子やメガネに取り付けられた状態変化の測定器により頭の動きや動作／行動を認識することも可能である。
【００８１】
また、本実施形態では「歩く」，「走る」といった被験体の全体としての動きの認識を例として説明しているが、被験体が動かす機器に状態変化の測定器を取り付け、被験体が動かした機器の状態変化を測定し、その状態変化の特徴量から機器の動きや動作を認識することも、本実施形態と同様な方法で可能である。
【００８２】
例えば、筆記用具、あるいはコンピュータシステムにおいて筆記用具の代わりに用いられる入力装置（例えばマウス等）に状態変化の測定器を取り付ければ、筆記用具の状態変化より、その状態変化の特徴量を抽出し、文字や図形を書いた場合の特徴量、あるいは、サインをした場合の特徴量と比較することにより文字認識や図形認識、さらにサインの認識も可能である。
【００８３】
次に、被験者の動作速度が変る場合に用いることができる認識方法を実現するための認識装置の一実施形態を、図４及び図５を用いて説明する。
【００８４】
一般に人間や動物等が動作を行う場合、例えば同じ「歩く」でも、「ゆっくり歩いたり」，「早く歩いたり」する。そのため１歩を歩くためにかかる所要時間の長さが変化する。時間が変化するということは、周波数が変化するということになり、前以て蓄えてある動作の特徴量を比較した場合、正常に認識されなくなるという場合もある。この問題を解決するのが本実施形態である。
【００８５】
本実施形態での認識装置は、図４に示すように、上記図１の装置において、Ａ／Ｄ変換器４と特徴量抽出部５との間に、測定対象となる動作時間の計測および該動作時間による正規化処理を行う正規化部２２１を設けている。
【００８６】
本実施形態では、測定の対象となる動作（例えば歩行）の周期となる動作所要時間を、図５（ａ）の２２２に示すように定義し、１歩にかかる時間よりも長い時間の窓関数で観測波形を切り出し周波数解析すると、図５（ｂ）のような、歩いた場合の１歩に相当する基本周波数スペクトル２２４が得られる。ここで動作速度が変化するということは、このスペクトル２２４が左右に移動するということである。
【００８７】
そこで本実施形態では、Ａ／Ｄ変換器４による変換処理後、正規化部２２１において動作の所要時間を計測する。具体的には、動作が周期運動であれば、前述の基本周波数（動作所要時間２２２）より求める。また、「しゃがむ」などの周期運動でない場合には、図３の２１９及び２２０の加速度変化のエッジ部分の長さ、あるいは、ウェーブレット変換のあるＬｅｖｅｌに表れる（この例では、ＬｅｖｅｌＡ）信号（２１７及び２１８）の距離より求めることができる。
【００８８】
この動作の所要時間分だけ観測波形を切り出すことによって正規化し、その結果を周波数解析した結果が図５（ｃ）である。このような処理は、時間正規化処理と呼ばれるものであり、時間伸縮関数と呼ばれる関数を用いることでも実現することができる。
【００８９】
正規化処理後のスペクトラムでは、図５（ｃ）に示すように、第１高調波に動作の基本周波数スペクトル２２５が表れる。これは、２２４以降の高周波成分を２２４が第１高調波になるように平行移動したものと同じであるため、図５（ｂ）のスペクトラムを特徴量として得た後に、平行移動する等の補正処理を行う構成としても良い。この結果、図５（ｃ）の横軸は１歩を基準にした周波数となる。上述した正規化処理は、動作／行動の特徴量のデータベース６を作る場合、および、データベース６の参照データを利用して観測波形を認識する場合のどちらにおいても行われる。
【００９０】
本実施形態によれば、信号処理部７には動作時間に依存しない、動作毎の区切りとして特徴量が入力されてくるために、動作時間に左右されず正確な認識処理を行うことができる。さらに、観測した、動作時間を出力することにより、例えば「ゆっくり歩いている」あるいは「速く歩いている」等の、より詳細な動作の区別も可能である。
【００９１】
次に、動作速度が変化した場合の他の実施形態を図６を用いて説明する。
【００９２】
本実施形態の認識装置は、図６に示すように上記図１の装置において、Ａ／Ｄ変換器４と特徴量抽出部５との間に観測波形の伸縮処理を行う伸縮部２３１を設け、さらに、該Ａ／Ｄ変換器４と特徴量データベース６との間に特徴量抽出部５を設けている。ここでは、特徴量データベース６の構築は、上記図１と同様の方法で行う。
【００９３】
本実施形態では、観測波形を認識しうる場合には伸縮部２３１により該観測波形の変形を行う。具体的には、観測波形の時間軸を伸び縮みさせる処理を行う。時間軸を伸ばすと言うことは、動作時間が長くなる（遅くなる）ことに相当し、縮めるということは動作時間が短くなる（早くなる）ことを意味する。この伸縮処理を予め定めたいろいろな伸縮値で行った後に、各処理結果毎に特徴量抽出部５により特徴量を抽出し、信号処理部７により認識処理を行う。
【００９４】
認識処理部７では、観測波形を時間軸で伸縮した各種波形に対応する特徴量が入力され、その中で一番相関のある特徴量に対応する動作が認識結果として出力される。この場合の伸縮率も併せて出力することにより、特徴量データベース６に蓄えられている動作との動作時間の違いも認識することができる。
【００９５】
本実施例によれば、動作速度が変化しても正しい認識が行うことができる効果がある。さらに、動作時間（動作速度）も認識できるといった効果もある。
【００９６】
本実施形態では観測波形を時間軸に沿って伸縮したが、本発明では識別しようとする動作に固有の特徴量が大きく変えられない限り、該観測波形に関する他の特性を伸縮させても構わない。例えば、観測波形の信号強度を伸縮させ、この伸縮させた観測波形を用いて認識処理を行い、さらに、認識が成功した時に用いた伸縮率を表示する構成としても良い。
【００９７】
次に、複数の特徴量を選択し、それらを重ね合せて生成した新たな特徴量に基づいて認識処理を行う実施形態について、図７を用いて説明する。
【００９８】
上記図１，図４，図６の実施形態では、観測した特徴量と前以て蓄えられているデータベース６とからそれぞれ１つずつの特徴量を選択し、これら選択した特徴量間での相関をとって認識処理を行っていた。これに対し本実施形態では、複数の特徴量を組み合わせて認識を行う。
【００９９】
人間が行動を行う場合、「歩きながら手を振ったり」，「電車の中を歩く」等の行動をする場合がある。ところが上記図１等の実施形態では、「歩きながら手を振ったり」，「電車の中を歩く」等を１つの動作としてとらえ、その動作全体の特徴量を抽出し、それぞれを動作／行動のデータベース６に蓄える必要があった。しかし、「歩きながら手を振ったり」，「電車の中を歩いたり」は、周波数領域で考えると、「歩く」及び「手を振る」それぞれの特徴量の重ね合わせである。同様に「電車の中を歩く」は、「電車の振動」及び「歩く」の特徴量の重ね合せと考えることができる。
【０１００】
そこで、本実施形態では、このように複数の特徴量が重ね合わさった動作においては図７に示すような処理を用いて、動作／行動の認識を行う。
【０１０１】
最初に、認識処理において重ね合わせる特徴量Ａ３０１，特徴量Ｂ３０２，特徴量Ｃ３０３を選択する。前述の例では、「歩く」，「手を振る」，「電車の振動」の特徴量に相当する。
【０１０２】
次に、これらの特徴量Ａ，Ｂ，Ｃを用いて、特徴量の組み合わせ部３０４により重ね合せ処理を行う。例えば、特徴量を周波数解析で行った場合であれば、この処理は、各周波数スペクトルの重ね合わせになる。
【０１０３】
最後に、上記重ね合わせ処理により生成された新たな特徴量（Ａ＋Ｂ＋Ｃ）と、特徴量抽出部５により抽出された観測信号に対応する特徴量１０とに基づいて、動作／行動を認識するための信号処理部７において認識処理を行い、その認識結果を出力部８より出力する。
【０１０４】
なお、上記重ね合せ処理では、新たに生成される特徴量をＱとすると、
【０１０５】
【数６】
Ｑ＝Ａ＋Ｂ＋Ｃ …（数６）
としていたが、各特徴量に重みを持たせ、
【０１０６】
【数７】
Ｑ＝αＡ＋βＢ＋γＣ …（数７）
ただし、α，β，γは各特徴量の重み
とし、各特徴量の重み（強さ）を制御することも可能である。
【０１０７】
本実施形態においては、複数の特徴量を組み合わせ、新たな特徴量を生成し、認識処理が行えるので、いろいろな特徴量が組み合わされた複雑な動作／行動についても認識処理を行えるという効果がある。
【０１０８】
次に、状態変化の測定器を複数取り付ける場合の実施形態を図８を用いて説明する。
【０１０９】
上記図１の実施形態では、状態変化の測定器の取り付けられている所は図８の腰３１の位置で、測定軸は３２（身体の身長方向）となっていた。この場合、人間の身長方向の状態変化しか測定することができない。人間の重心は、ほぼ腰の位置にあると言われている。従って、立った状態で、手を上げた場合、重心を保つために手を上げた反対の方向に腰の位置がわずかに移動する。それを観測するためには、３４の軸方向の状態変化の測定器が必要となる。同様に、首を前や後ろに倒した状態を測定するためには、３３の方向軸の測定器が必要となる。更には、腰の回転なども測定するためには軸方向３２周りの回転方向３７等も測定する必要がある。更に詳細な情報が必要な場合には、左手のひじ３５での動き３６等も測定する必要がある。
【０１１０】
よって、軸方向３２で被験者のおおまかな動作／行動、例えば「歩く」，「走る」などを認識し、軸方向３３，３４あるいは軸方向３２周りの回転方向３７により、更に細い付加動作、例えば、「右手を上げる」，「首を倒す」，「腰を捻る」などを認識することにより、「歩きながら、右手を上げる」とか、「走りながら首を倒す」，「立って腰を捻る」等といった複合動作／行動を認識できるようになる。
本実施形態によれば、複数の状態変化の測定器を設けることにより、それぞれの測定器により測定され認識された結果を組み合わせることが出来るようになり、更に詳細な動作や行動を認識できるといった効果がある。
【０１１１】
本実施形態では、身体の各部の空間的な動きを検出する場合について説明したが、本発明において測定器の設定場所及び測定する状態変化の種類はこれらに限定されるものではない。例えば測定器の設定場所としては、上記した部分のほかに、顔の各部に取り付けて表情の変化に伴う顔の各部の動きを、上記状態変化としてとらえる構成としても良い。さらに、顔や身体の各部の空間的な動きを検出する代わりに、その変化をもたらす筋肉の状態を直接検出する測定器を用いても良い。
【０１１２】
次に、加速度以外の物理量或は生体情報も利用して行動／動作の特徴量を総合的に判断し、動作／行動を認識するシステムの実施形態について図９を参照して説明する。
【０１１３】
本実施形態の認識システムは、図９に示すように、被験者に取り付けられた計測手段により測定された様々な情報に基づいて認識処理を行う認識装置４０１〜４０４と、これら認識装置の認識結果を用いて総合的な認識処理を実行する認識装置４０５と、その認識結果を出力する出力部８とを有する。
【０１１４】
認識装置４０１は、例えば上記図１の実施形態に示されている、被験者に取り付けられた加速度センサによりもたらされる加速度情報から認識処理を実行する装置である。
【０１１５】
認識装置４０２は、速度による認識装置である。例えば、被験者である人間の速度の変化を検出することにより、その人間が歩いているか、あるいは、乗り物に乗っているか等を判断する。
【０１１６】
認識装置４０３は、位置による認識装置であり、被験者の位置や被験者がどのような軌跡を描いて移動するかなどにより、行動を認識する。
【０１１７】
認識装置４０４は、生体情報による認識装置である。生体情報とは、脈拍，血圧，体温，血糖値，呼吸，筋電，心電，血流，脳波などである。例えば被験者が人間であるとすると、その行動に伴い前述した生体情報も変化する。本装置では、この変化により人間がどのような状態に置かれているかを認識する。例えば、運動をすれば、心拍数が増え呼吸数も増える。血圧を測定する位置によっては、姿勢の違いを判定することもできる。動作量や精神状態，体調等は体温変化により判る。眠っているか起きているかは脳波で判る。体調等は血糖値で判る。運動状態は筋電の変化で判る。
【０１１８】
認識装置４０２，４０３，４０４においては、観測した各種情報は波形の形で観測される。この波形をＡ／Ｄ変換し、さらに認識装置４０１において加速度から特徴量を求めたように、それぞれの認識装置においても特徴量を抽出し、それをもとにして認識処理を行う。
【０１１９】
ただし、上述した各認識装置それぞれ単独では、認識結果にあいまい性があり、正確な認識処理ができない場合がある。そこで、本実施形態では、認識装置４０５により、各種の認識装置４０１〜４０４の認識結果を利用して、さらに、総合的に被験者の動作／行動を判断し、その認識結果を出力部８により出力する。
【０１２０】
本実施形態によれば、複数のセンシング方法により認識された結果より総合的に判断し、より正確な認識結果を得ることができる。
【０１２１】
次に、被験者の動作及び行動の認識と、動作／行動している被験者の位置を計測とを組み合わせた装置の実施形態を図１０及び図１１を用いて説明する。図１０は本実施形態による装置の構成図、図１１は本実施形態での位置計測についての説明図である。
【０１２２】
本実施形態の認識装置は、図１０に示すように、上記図１の実施形態の装置に、被験者１の位置を計測する位置計測部４１を追加したものである。ここで、上記図１の実施形態と同じ構成については同じ符号を付し、その説明を省略する。
位置計測部４１は、例えば、以下に説明するようなセルラーシステムを利用した装置により実現される。また、その他にも、位置を計測する装置としては、被験者１に発信機を取り付け、そこから発せられる電波を複数の受信地点より電波の渡来方向を観測し求める方法や、基準となる複数の発信源から渡来する電波を観測しそれをもとに自分の位置を割り出す方法（ＧＰＳ，オメガ，ロラン，デッカ等）や、レーザや磁場・超音波による方法などがある。いずれを用いても、本実施形態と同様の効果をもたらす。
【０１２３】
セルラーシステムとは、図１１に示すように、例えばアンテナ５１により通信が行われる領域５０の中に限られ、別の領域で通信を行うためには、これまで通信を行っていた領域に隣接する、別のアンテナにより通信を切替え通信を行うシステムである。ここで一つのアンテナで通信可能な領域５０をセル或はゾーンと言う。このシステムでは、交信できるセルが非常に狭いために、交信を行っているアンテナを特定することにより、発信者のいる領域を特定することができる。それぞれのセルを１−１〜３−３とし、被験者を５２，５３，５４とする。
【０１２４】
本実施形態では、それぞれの被験者には、上記図１０の装置のうち計測器２，３と処理部４〜７が取り付けられており、信号処理部７からの認識結果を、セルラーシステムを介して伝送しているものとする。すなわち、本実施形態において位置計測部４１は、認識結果を被験者１が所属するセルのアンテナへ送る送信部と、前記アンテナを介して送られてきた認識結果を受信する受信部とから実現される。
【０１２５】
被験者５２の行動（この例では「しゃがむ」）は、上記図１の実施形態で説明した手法で認識され、セル１−１にあるアンテナを介して送られてくる。従って、被験者５２は、セル１−１の領域内で「しゃがんでいる」と認識される。同様に、被験者５３はセル２−２内で「走っている」と認識され、被験者５４はセル３−２内で「歩いている」と認識される。
【０１２６】
このように本実施形態によれば、「何処の位置で」，「どのような動作／行動をしているか」といったことが認識できるという効果がある。
【０１２７】
次に、認識結果の履歴をもとに、被験者の行動や作業状況或は被験者の置かれている環境や位置を推測するシステムの実施形態について、図１２〜図１４を用いて説明する。
【０１２８】
本実施形態のシステムは、図１２に示すように、単一の動作／行動を認識する認識装置６１と、認識された動作／行動の履歴を記憶する記憶装置６２と、連想パターンのデータベースが予め格納されている記憶装置６３と、記憶装置６２，６３のデータを利用して被験者の行動や作業状況あるいは被験者の置かれている環境を連想或は推測する連想処理装置６４と、その連想或は推測結果を出力する出力装置６５とを有する。
【０１２９】
動作／行動の認識装置６１は、前述した図１或は図１０の認識装置と同じ構成を有するものとする。ただし、これら装置の出力部８はここでは省略することができる。上述した実施形態で説明したように認識装置６１は、ある時間内に起こる単一の動作／行動だけ認識する。従って、幾つかの動作／行動の積み重ねで完結する作業などを認識するのには適していない。
【０１３０】
そこで本実施形態では、認識装置６１で認識した動作／行動を順次、動作／行動の履歴を記憶する記憶装置６２に記憶する。記憶された動作／行動の履歴は、例えば図１３のデータ７１のように、時系列に並べられ記録される。
【０１３１】
記憶された履歴情報７１は、連想処理装置６４により連想パターンの記憶装置６３に記憶されている記憶パターンを参照しながら監視される。ここで、連想パターンとは、図１４に示すように、認識不能な動作をも含む複数の動作の組み合わせと、この組み合わせから連想される一つの作業との対応関係を示すパターンを言う。
【０１３２】
本実施形態の動作をプラント監視員の点検作業を例にとって説明する。プラント監視員の点検作業の場合、ある領域（地域）内での点検作業の内容はかなり限られている。従って、少ない動作／行動の組み合わせで作業内容を推測することができる。図１４の８１はその例で、「梯子を登る」，「歩く」，「認識不能」といった動作の並びである。なお「認識不能」とは、何か動作は行っているがそれが複雑なため、認識装置６１ではその動作を特定することが出来ない動作を指す。
【０１３３】
さらに、もしこの領域内で、梯子を登って「何か」行うべき作業が、「制御盤操作」しかなかったら、「認識不能」は「制御盤操作」と推測する。更に、「梯子を登る」動作から「高所で」と言う、被験者（プラント監視員）が置かれている環境も推測される。従って、「梯子を登る」，「歩く」，「認識不能」から連想および推測される作業は「高所での制御盤操作」と認識される。また、同様に、「階段を下りる」，「歩く」，「しゃがむ」，「認識不能」の動作パターン８３の場合には、例えば「床面でのバルブ操作」と連想させる。
【０１３４】
これらの連想パターンを参考にしながら連想処理装置６４は、動作／行動の履歴を記憶する記憶装置６２を常に監視している。例えば、図７の区間Ａ（７２）のように連想パターン８１と同じ動作パターンが監視データ中に表れた場合には、この区間で被験者１は「高所での制御盤操作」を行っているという認識結果を連想処理装置６４は出力する。同様に、区間Ｂ（７３）では、連想パターン８３と同じ動作パターンが表れているため、この区間で被験者は「床面でバルブ操作」を行っていると認識される。
【０１３５】
更に、作業内容ばかりではなく、位置も特定することができる。例えば認識装置６１として上記図１０の認識装置を使用し、その位置計測器４１として上記図１１に示したセルラー方式を用いた場合、精密な位置計測は不可能で、あくまでもある領域内に存在すると分かる程度の位置測定精度である。ところが、本実施形態と組み合わせることにより、もしも「高所で制御盤操作」する場所が、その領域内に１個所しか無い場合に、「高所で制御盤操作」と認識されれば、すなわち被験者のいるその場所は、「高所で制御盤操作をする場所」と特定することができる。
【０１３６】
本実施形態によれば、複数の動作の履歴及び組み合せパターンにより、被験者の行動や作業の状況及び置かれている環境を認識できるといった効果がある。
【０１３７】
更に、複雑な動作のために、波形認識の手法では認識できなかった動作でも、動作の履歴及び起こるであろう作業の内容から、その動作内容を推測できるといった効果がある。
【０１３８】
更に、作業を行う場所が決まっている場合には、被験者の作業を認識することにより、その認識結果を利用して、被験者が作業を行っている正確な場所を特定できるといった効果もある。
【０１３９】
次に、本発明を適用した、標準的な動作と計測動作の違いを被験者に提示することができる装置の実施形態を、図１５及び図１６を用いて説明する。
【０１４０】
本実施形態は、事故などにより足などに障害を受けた場合のリハビリテーションに利用できるものである。ここで言う標準的な動作とは、障害を受ける前の歩行動作等を言い、計測動作とは、障害を受けている現在の被験者の歩行動作等を言うものとする。
【０１４１】
本実施形態の装置は、図１５に示すように、被験者１に取り付けられた計測器２，３と、計測器２，３からの計測結果をデジタル化するＡ／Ｄ変換器４と、デジタル化した計測結果から特徴量を抽出する特徴量抽出部５と、予め計測され抽出された各種標準動作や行動の特徴量を格納する標準動作特徴量データベース９１と、特徴量抽出部５で抽出された特徴量が示す動作と標準動作特徴量データベース９１に格納された標準動作との違いを検出する信号処理部９２と、検出された標準動作との違いを出力する出力部９３とを有する。
【０１４２】
標準動作特徴量データベース９１には、被験者の事故前の標準動作の特徴量を抽出して登録しておくのが最適であるが、それがない場合には、多数の被験者の平均的な動作から求めた特徴量を標準動作として用いてもよい。信号処理部９２は、上記のような標準動作と現在被験者が行っている動作との違いを、例えば図１６に示すように算出する。ここで標準動作とは、図１６（ア）に示すような周波数スペクトル１０１であるとする。
【０１４３】
一般的にはリハビリが未だ進んでいない状態では、動作がスムーズに行えない。このために、例えば図１６（ａ）の周波数スペクトラム１０２のように、スペクトル成分１０６及び１０７に、対応する標準動作のスペクトラム成分との差異が大きく現れる。周波数スペクトル１０１と周波数スペクトル１０２の差分（絶対値）結果が周波数スペクトラム１０４である。この差分結果には動作がスムーズに行えないためにスペクトル成分１０８及び１０９が表れている。被験者には、このスペクトラムの差分結果を出力部９３によって提示し、標準動作との違いを視覚的に示すことができる。
【０１４４】
被験者は、上記のような突出したスペクトル成分が差分結果に表れないようにリハビリを行う。すなわち、図１６（ｂ）の周波数スペクトル１０３のように、標準的な周波数スペクトル１０１とできるだけ同じスペクトラムが得られるように、リハビリを続ける。リハビリが完了すると、被験者の動作が標準的な動作とほぼ等しくなり、周波数スペクトル１０５に示すように、目立った差分スペクトルは表れなくなる。
【０１４５】
本実施形態では、患者のリハビリを例に取り説明したが、スポーツ選手の動作の矯正等にも同様の用法を用い実施することができる。
【０１４６】
本実施形態によれば、自動的に、リハビリの進度や動作の矯正の進度が提示出来るといった効果がある。
【０１４７】
次に、本発明を適用した、標準的な動作と計測動作との違いを検出し、該検出した違いの原因を被験者に提示することができる認識装置の実施形態を、図１７を用いて説明する。
【０１４８】
本実施形態の認識装置は、図１７に示すように、上記図１５の認識装置において、異常動作の特徴量データベース１１１と、異常動作の原因を認識するための信号処理部（以下では第２の信号処理部と呼ぶ）１１２とを付加したものである。なお、ここで言う「異常動作」とは、例えば、事故などにより足などに障害を受けたために、足の上げ方が標準的な歩行と異なる動作を言う。異常動作の特徴量データベース１１１には、種々な異常動作の特徴量が記憶されている。例えば、図１６の周波数スペクトル１０４が、右足のつま先の上げ方が標準動作と異なるために表れたとすると、スペクトル成分の差分結果１０９及び１０８は、「右足のつま先の上げ方」が異常なために表れる特徴量となる。このように種々な異常動作を予め観測し、その特徴量を抽出しておくことで、異常動作の特徴量データベース１１１を構築しておく。
【０１４９】
この異常動作の特徴量データベース１１１を参照して、異常動作の原因を認識する第２の信号処理部１１２が、被験者に動作に現れている異常動作の原因を認識する。処理の内容は、前述した、動作／行動の認識手法と同様で、計測動作と標準動作の違いを算出する信号処理部９２で算出した計測動作と標準動作の差と、異常動作特徴量データベース１１１に蓄えられている異常動作の特徴量との相関を求め、最も相関が高い特徴量が示している異常原因を、文字或はグラフィックス等を用いて、認識結果として出力部１１３より出力する。
【０１５０】
本実施形態では、患者のリハビリを例に取り説明したが、スポーツ選手の動作の矯正等にも同様の用法を用い実施することができる。
【０１５１】
本実施形態によれば、自動的に、異常動作の原因を認識できるといった効果がある。
【０１５２】
次に、本発明を適用した動作及び行動認識装置を、作業性評価システム或は作業内容評価システムの作業データ収集用に用いた場合のシステムの実施形態を、図１８を用いて説明する。
【０１５３】
作業評価或は作業内容評価は、生産管理工学などで盛んに研究されている分野である。作業評価／作業内容評価を行うためには、作業データの収集を行わなければならない。従来、この作業データの収集は人手に頼らなければならず、多大の労力を必要とした。本実施形態では、人手に頼らなければならなかった作業データの収集を、自動的に行うことを目的とするものである。
【０１５４】
本実施形態のシステムは、例えば図１８に示すように、各被験者Ａ，Ｂ，Ｃにそれぞれ取り付けられた認識装置１２０，１２１，１２２と、各認識装置からの認識結果を格納するデータベース１２３，１２４，１２５と、各データベースに格納された各被験者の動作や行動の履歴を受け入れる作業性評価システム１２６及び作業内容評価システム１２７とから構成される。
【０１５５】
被験者Ａ，被験者Ｂ，被験者Ｃに取り付けられた動作及び行動の認識装置１２０，１２１，１２２は、本発明が適用された認識装置であり、時々刻々と各被験者の動作／行動を自動的に認識するもので、具体的には上記図１や上記図１０の装置を用いることができる。認識結果は、伝送経路１２８を介して、各被験者の動作及び行動の履歴を記憶するデータベース１２３，１２４，１２５に蓄える。この伝送経路１２８は有線である必要はなく、無線を用いても構わない。無線を用いて認識結果を送る場合には、被験者が自由に動き回れるといった効果が生まれてくる。
【０１５６】
動作／行動の履歴が記憶されているデータベースに蓄えられた値は、作業性評価システム１２６或は作業内容評価システム１２７が参照し、それぞれのシステムでの評価が行われる。
【０１５７】
本実施形態によれば、作業データの収集が自動的に行えるために、大幅な労力の削減をはかることができる。
【０１５８】
なお、本実施形態においては、作業データの収集に本発明を適用した装置を利用したものであり、実際に使用される作業性評価システム１２６および作業内容評価システム１２７の具体的内容については全く限定するものではない。
【０１５９】
次に、本発明を適用した動作及び行動の認識装置を、人員の適正配分システム或は適正作業時間配分システムの作業データ収集用に用いた場合のシステムの実施形態を、図１９を用いて説明する。
【０１６０】
ここで言う人員の適正配分システムとは、作業員の作業の負荷などを考慮して、各工区毎に配分する人員の数を制御するシステムのことを言う。また、適正作業時間配分システムは、作業員の作業の負荷に応じ作業時間を制御するシステムのことを言う。何れのシステムでも、多数の作業者の作業内容をリアルタイムで把握する必要がある。本実施形態は、多数の作業者の作業内容をリアルタイムで把握することが容易となるシステムを提供することを目的とする。
【０１６１】
本実施形態のシステムは、例えば図１９に示すように、上記図１８に示されていた認識装置１２０，１２１，１２２およびデータベース１２３，１２４，１２５に加えて、これらデータベースに収集されたデータを利用する人員の適正配分システム１３４および適正作業時間の配分システム１４１と、各被験者Ａ，Ｂ，Ｃに取り付けられている、これら配分システムからの指示を受け付ける指示受付装置１３１，１３５，１３８とから構成されている。
【０１６２】
各被験者に取り付けられている動作及び行動の認識装置１２０，１２１，１２２は、時々刻々と各被験者の動作／行動を自動的に認識し、各被験者の動作及び行動の履歴をデータベース１２３，１２４，１２５に蓄える。この認識結果を伝送する経路は無線を用いても構わない。この場合、被験者は自由に動き回れるといった効果が生まれてくる。
【０１６３】
動作／行動の履歴が記憶されているデータベースに蓄えられた値を、人員の適正配分システム１３４或は適正作業時間の配分システム１４１が参照し、各システムは、各作業員の作業負荷状況を予め定めた方法により判断する。例えば、人員の適正配分システム１３４は、ある作業員の作業に過剰な負荷がかかっているとデータから判断した場合には、負荷のかかっていない別の作業員を選択し、その選択した作業員を経路１３０を介して呼び出し、付加のかかっている作業員の作業の応援にあたらせるよう指示を出す。
【０１６４】
また、適正作業時間の配分システム１４１は、ある作業員の作業の積算負荷がある値を越えたことを感知すると、値を超えた作業員には休息を促し、別の作業員に作業をあたらせる指令を経路１４２を介して、それぞれ指示受付装置へ送ることができる。
【０１６５】
本実施形態によれば、多数の作業者の作業内容をリアルタイムで把握でき、その作業状況により作業員を最適に配置できるといった効果がある。
【０１６６】
次に、本発明を適用した認識装置を利用して、特定の動作及び行動を行った場合にその旨を通知することができるシステムの実施形態を、図２０を用いて説明する。
【０１６７】
本実施形態のシステムは、保護が必要な社会的弱者や独り作業員が、何らかの原因で危険な状態になった時に、保護者あるいは管理者にその旨を自動通報するためのものである。なお、本実施形態では、上記図１２の実施形態での装置に含まれているものと同じ構成を一部含んでいる。これら同じ構成については上記図１２と同じ符号を付し、詳細な説明を省略する。
【０１６８】
本実施形態のシステムは、図２０に示すように、動作／行動の認識装置６１と、認識された動作／行動の履歴を記憶する記憶装置６２と、特定動作パターンを記憶する記憶装置１４５と、これら両記憶装置６２，１４５に記憶されたデータを利用して被験者の特定動作や行動を連想或は推測する連想処理装置６４と、連想或は推測の結果に応じて保護者へ特定のメッセージを通報する通報装置１４６と、該メッセージを受信する受信装置１４７とを有する。
【０１６９】
動作／行動の認識装置６１は、前述した図１の認識装置に相当する。この認識装置は、ある限られた時間内に起こる単一の動作／行動だけを認識するもので、幾つかの動作／行動の積み重ねで完結するような行動や作業などを認識するには適していない。そこで、認識した動作／行動は時々刻々と、動作／行動の履歴を記憶する記憶装置６２に記憶される。
【０１７０】
さらに、上記記憶された履歴情報は、連想処理装置６４により、特定動作パターンの記憶装置１４５に記憶されている記憶パターンを参照しながら、常に監視される。ここで言う特定動作パターンとは、「突然倒れた」とか「高所から落ちた」といった行動等を認識するための複数の動作の組み合わせパターンである。
例えば「突然倒れた」という行動は、「歩行あるいは立ったままで静止」→「短い時間で横になる」→「横になったままで静止」という動作パターンによって認識される。また、「高い所から落ちた」という行動は、「上に登る」→「落ちる」→「いろいろぶつかる」→「地面に到着」→「動かない」という動作パターンによって認識できる。
【０１７１】
なお、「上に登る」という動作は、例えば重力加速度よりも大きな上方向の加速度が続くことを検出することで認識できる。また、「落ちる」，「いろいろぶつかる」，「地面に到着」という動作はそれぞれ、「全ての方向の加速度がゼロ（自由落下のため）」，「いろいろな方向から短時間に強い加速度を受ける」，「かなり強い加速度を受ける」ということを検出することで認識できる。
【０１７２】
このような動作パターンを用いて被験者の行動を認識することにより、本実施形態では動作や行動の誤認を排除することができる。例えば「センサを身体から外してテーブルに乱暴に置いた場合」を考えてみる。この場合、センサはかなり大きな加速度を検出するが、単一動作を認識する認識装置では、これまでの動作の履歴を知らないため、このセンサ出力から被験者が「落ちた」あるいは「倒れた」と認識する可能性が高くなる。一方、連想処理装置によれば、上記大きな加速度の検出の前後の動作を調べることができるため、被験者の状況の把握ができ、より正しい認識を得ることができる。例えば、センサが身体に取り付けられている場合にはありえない加速度等を検出することにより「装置を外した」という動作を予め認識しておけば、単一動作だけを認識した場合に発生するような誤認を避けることができる。
【０１７３】
これらの特定動作パターンを連想処理装置６４が、記憶装置６２に記憶されている履歴情報の中から発見すると、保護者への通報装置１４６を介し保護者へ、例えば発見した特定動作パターンの内容を通報するように指令を出す。保護者は通報の受信装置１４７により、この通報を受信して、被験者の置かれている状況を把握することができる。
【０１７４】
本実施形態によれば、保護が必要な社会的弱者や、独り作業員が、何らかの原因で危険な状態になった時に、その保護者あるいは管理者にその旨を自動通報することができるといった効果がある。
【０１７５】
また、本実施形態の認識装置に、上記図１０で説明した被験者の位置を計測する位置計測手段４１を取り付けるか、あるいは、上記図１２の連想処理装置６４のように被験者の動作履歴から被験者の位置を特定するようにし、異常時には当該位置情報を付加して通報することにより、被験者が「何処で」，「何が起こったか」を把握できるという効果が生まれる。
【０１７６】
更に、上記のような位置計測手段４１を設けることで、特定動作パターンが観測されても、その観測された位置に応じて、通報するかしないかを選択できるように構成してもよい。例えば、病院の診察室や自宅のベッドで横になったときなどに、被験者が倒れたとして誤報を発することをなくす効果が生まれる。
【０１７７】
次に、本発明による動作及び行動の認識装置を行動分析・行動追跡・行動監視に適用したシステムの実施形態を、図２１を用いて説明する。
【０１７８】
本実施形態では動物の行動分析を例にして説明する。この分野では、従来、動物の移動軌跡に関して種々の研究例がある。ところが、従来の研究例では、動物の動作／行動については人間の目視による観測方法しかなく、人間が観測できない場所にいる動物の動作や行動に関しては、明らかにされていない部分が多い。本実施形態のシステムは、この動作／行動の追跡を自動的に行うことができるものである。
【０１７９】
本実施形態のシステムは、図２１に示すような構成を有している。本図において、１５１及び１５２は、行動分析・行動追跡・行動監視の対象となる“鳥”である。それぞれの鳥には、その鳥の状態変化を計測すると共に、該計測結果を無線を用いて送信する計測・通信器１５０が取り付けられている。人工衛星１５３は、それぞれの鳥から送られてくる状態変化の測定値を受信するとともに、鳥がデータを送信した位置を計測する。
【０１８０】
位置を測定する方法としては、例えば計測・通信器１５０にＧＰＳ受信機を内蔵させ、行動のデータを衛星１５３に送信する際に、行動データと共にＧＰＳ受信機により計測した鳥の現在位置を示す位置データを併せて送信する方法がある。また、複数の衛星１５３で、鳥から送信される電波を受信し三角測量により鳥の位置検出を行う方法をとっても良い。
【０１８１】
人工衛星１５３で収集及び計測したデータは、例えば上記図１の動作及び行動の認識装置１５４に送られ、短い期間内での鳥の動作／行動が認識される。例えば、鳥の姿勢があまり変わらずに位置が移動しない場合には睡眠中であると認識し、鳥の姿勢が変わらずにその位置だけが大きく変化する場合には飛行中であると認識し、鳥の姿勢が大きく変化し位置はあまり変化しない場合には捕食中であると認識する。
【０１８２】
本実施形態のシステムでは、さらに、認識されたこれらの鳥の動作や行動等の情報は、行動分析部１５５，行動追跡部１５６，行動監視部１５７に送られる。行動分析部１５５では、例えば、観測対象となる鳥の目覚め，移動，捕食，睡眠等の時刻を調べる等して、鳥の行動パターンの分析を行う。行動追跡部１５６では、鳥の行動範囲や捕食するために移動する移動軌跡が分析される。行動監視部１５７では、鳥の各個体毎の現在位置や行動などを把握することで、行動監視が行われる。
【０１８３】
最後に、ＣＲＴ等の表示装置１５８に、上述した装置で得られた各分析結果を一覧して分かるように表示する。本図に示すのは、人工衛星１５３で計測したある個体の移動軌跡上に、その鳥が行った行動を重ねて表示した例である。本例によれば、鳥の各個体が「いつ」，「何処で」，「どのような行動」を行ったかが自動的に分かる。
【０１８４】
本実施形態によれば、観測対象物の移動軌跡及び動作／行動を、人間が行けない場所でも自動的に観測できるという効果がある。
【０１８５】
更に、本実施形態によれば、観測者が直接目視で対象を観察する必要がないため、人間の視線による動物行動の変化もなく、自然の姿の動作や行動が観測できるといった効果もある。
【０１８６】
次に、本発明による動作／行動の認識方法を利用したジェスチャ認識装置についての実施形態を、図２２を用いて説明する。
【０１８７】
ジェスチャとは、ある特定の意味を示す動作を予め決めておき、この決められた動作を行う事により、伝えたい意味を伝達する手段を言う。この場合、演ずる動作が一般的に意味するものとジェスチャで伝えたい意味がちがっていてもかまわない。例えば、「右方向を指で指し示した」場合に、予めこのジェスチャは、「左方向に進めの意味」と取り決めておけば、このジェスチャを解釈する人は、“左方向へ”進んで行くこととなる。
【０１８８】
本実施形態の装置は、上記図１の装置において、ジェスチャの意味とそれに対応する動作／行動とを対応づける変換テーブルのデータベース１６１と、信号処理部７で認識された動作／行動と前記変換テーブルとから被験者１のジェスチャの意味を認識するジェスチャの認識部１６２とを付加し、出力部１６３から認識されたジェスチャの意味する内容を出力するものである。
【０１８９】
本実施形態において、被験者１が行うジェスチャは計測部２，３により計測され、その計測信号はＡ／Ｄ変換器４によりデジタル化され、デジタル化された信号から特徴量抽出部５により特徴量が抽出される。このようにして抽出されたジェスチャ動作に対応する特徴量は、動作／行動を認識するための信号処理装置７に送られ、一般的に意味する動作／行動として認識される。ここで認識された結果は、ジェスチャの認識装置１６２に送られる。
【０１９０】
ジェスチャの認識装置１６２は、予め決められた動作／行動の意味する内容がテーブルとして記憶されているジェスチャの変換テーブルデータベース１６１を参照しながら入力され、ジェスチャの意味を認識する。この変換テーブルの中身は、先程の例では「右方向を指で指し示した」→「左方向に進め」となっている。このようにして認識されたジェスチャの意味する内容が判定され、出力部１６３により出力される。
【０１９１】
本実施形態によれば、予め決められたジェスチャを行うことにより、そのジェスチャに対応して定められている特定の意味を伝達することが可能となる。
【０１９２】
更に、ジェスチャは予め意味が決められた動作なので、このジェスチャを認識することにより、動作の意味する曖昧さがなくなるといった効果もある。
【０１９３】
次に、本発明を適用した動作及び行動の認識装置に無線手段を付加した装置の実施形態を、図２３を用いて説明する。
【０１９４】
本実施形態の装置では、認識に係る作用効果は上記図１の実施形態の装置と同じであるが、付加された無線機能により、検出した被験者１の状態変化に関するデータを伝送する点が異なるものである。
【０１９５】
本実施形態の認識装置は、図２３に示すように、被験者１に取り付けるべき被験者側装置１７３と測定者側装置１７７との２つの部分からなる。被験者側装置１７３は、被験者１に取り付けられた状態変化の計測部１７１（上記図１の計測器２，３に相当）と、その計測部１７１により計測された信号を送信するための無線送信部１７２とを有している。このため、被験者１が持ち歩かなければならない装置は、計測部１７１と送信部１７２の２種類だけとなり小型化ができるため、被験者がより自由に動き回ることができる。
【０１９６】
無線伝送される信号１７８は、例えば、状態変化の計測部１７１により測定された信号そのもの（アナログ信号）としても良いし、Ａ／Ｄ変換してデジタル信号にして送っても良い。また、本実施形態で用いる信号の種類は特に限定されないが、例えば電波や赤外線等を用いることができる。
【０１９７】
測定者側装置１７７に送られた測定結果は、受信部１７４により受信され、動作及び行動の認識部１７５により認識される。認識部１７５は、例えば上記図１の実施形態でのＡ／Ｄ変換器４，信号の特徴量抽出部５，動作／行動の特徴量データベース６、及び動作／行動を認識するための信号処理部７から構成される。認識部１７５での認識結果は出力部１７６へ送られ、出力される。
【０１９８】
本実施形態によれば、状態変化の測定部１７１により測定された結果を無線により伝送するため、被験者１は自由に動き回ることができ、被験者１に大きな負担をかけないといった効果がある。
【０１９９】
更に、被験者側に取り付ける装置は、状態変化の測定部とその信号を送信する送信部のみから構成されるため、小型軽量化がはかれるといった効果もある。
【０２００】
次に、本発明を適用した動作及び行動の認識装置に無線手段を付加した装置の他の実施形態を図２４を用いて説明する。
【０２０１】
本実施形態は、被験者側装置で被験者の動作や行動を認識し、その認識結果を無線通信にて測定者側装置へ送るものである。上記図２３の装置と同じ構成については、同じ符号を付しその説明を省略する。
【０２０２】
被験者側装置１８４の状態変化の計測部１７１により計測された信号は、動作／行動の認識部１７５により認識される。この認識結果は無線送信部１８１から送信され、測定者側装置１８５へ送られる。測定者側装置１８５に送られた認識結果は直接出力部１７６により出力される。
【０２０３】
ここで、無線伝送する情報１８３は認識された結果であり、測定情報に比べかなり圧縮された状態となっている。このため、無線の帯域或は伝送のために占有する時間がかなり小さくてすむ。さらに、被験者１は、装置を持って自由に動き回ることができる。
【０２０４】
本実施形態によれば、状態変化の測定器により測定された結果を無線により伝送するため、被験者は自由に動き回ることができ、被験者に負担をかけないといった効果がある。
【０２０５】
更に、無線伝送する情報が少ないため、無線帯域の狭帯域化或は無線チャネルの占有時間の減少或は伝送速度の高速化といった効果もある。
【０２０６】
上記図２３，２４の実施形態では、無線機能を備えることによって被験者がもち歩くべき装置の小型化をはかったが、この無線機能を実現する送信部／受信部の代わりに、可搬式のデータ記憶装置とそのデータの読み出し装置とをそれぞれ、被験者側と測定者側とに設ける構成としても良い。この構成によれば、測定された被験者の動作データあるいは動作の認識データを一時的に記憶しておき、観測者側では被験者が立ち寄った際にでも、前記データの読み出し装置によって前記データ記憶装置からデータを直接読みだすことができる。
【０２０７】
次に、本発明を適用した動作／行動の認識装置にプリペード機能を付加したシステムの実施形態を、図２５を用いて説明する。
【０２０８】
本実施形態のシステムは、図２５に示すように、被験者側の装置として、被験者の動作／行動を認識する認識装置１９２と、プリペード機能を実現するための料金残高の記憶装置１９５及び料金残高の計算装置１９６とを有する。また、本実施形態のシステムは、観測者側の装置として、認識結果を受け付ける受付装置１９３と、受け付けた認識結果に応じて、料金残高の減数指令あるいは料金残高の確認指令等を出力するプリペード機能制御装置１９７とを有する。
【０２０９】
ここでは実施形態の一応用例として、遊技場での遊技の例を取り説明する。遊技場での動作／行動認識装置１９２は、ジェスチャ入力のために使用されるものとし、例えば上記図１或は上記図２２の装置により実現されるものとする。
【０２１０】
本例では、遊技者（被験者）があるジェスチャを行うと、そのジェスチャを認識装置１９２が認識し、そのジェスチャの認識結果が遊技装置（観測者側装置）への入力指令となり、遊技者が遊技を楽しむと言うものである。例えば、遊技者が「ある技のジェスチャ」をすると、該遊技装置に表示されるキャラクタがその技を実行し戦うといったことである。
【０２１１】
また、遊技をする場合には料金を支払うが、本実施形態では、遊技者側の装置にプリペード機能を実現するための装置１９５，１９６を内蔵している。本実施形態では、被験者が遊技を開始すると、認識装置１９２がこれを検出し、その認識結果を遊技装置側の受付装置１９３へ送る。遊技装置側では、受付装置１９３で受け付けた認識結果に対応する遊技の種類等に応じて、プリペード機能制御装置１９７が、遊技者の料金残高の減数指令や料金残高の確認指令等の指令を遊技者側へ送る。遊技者側では、料金残高の計算装置１９６が送られてきた指令に応じて、料金残高の記憶装置１９５に蓄えられている残高の減数等を行う。
【０２１２】
なお、図示されていないが、被験者側の装置には警告手段が設けられており、記憶装置１９５に記憶されている残高がある値以下になった場合に、遊技者への警告を発するよう構成されている。また、遊技者は遊技を開始する前に、予め定められた料金を遊技装置側へ支払い、その支払った金額に応じた、料金残高の記憶装置１９５の初期値を設定するよう構成されている。
【０２１３】
本実施形態によれば、遊技をするためのジェスチャ入力機能とプリペード機能とを融合することができる。従って、多くの装置を遊技者が携帯しなくても遊技を自由に楽しめるといった効果がある。
【０２１４】
次に、動作／行動の認識装置にクレジット機能を付加したシステムの実施形態を、図２６を用いて説明する。本実施形態において、上記図２５のものと同じ装置については、同じ符号を付しその詳細な説明は省略する。
【０２１５】
本実施形態のシステムは、被験者側の装置として、動作／行動の認識装置１９２及び料金支払指令装置１９８を有し、観測者側の装置として、認識結果の受付装置１９３及び支払指令の受信装置１９９を有している。なお、ここでも、システムの一例として、上記図２５の実施形態で説明した、遊技場での遊技の例を取り説明する。
【０２１６】
本実施形態においては、被験者側に取り付けるべき装置がクレジットカード機能を内蔵している。すなわち、遊技者が遊技を行うと、認識装置１９２がその遊技の種類などを認識し、その認識結果に応じた料金の支払指令が、料金支払指令装置１９８より発せられる。この支払命令は、観測者側の受信装置１９９により受信され、該当するクレジット会社への支払料金やクレジット番号の通知等の処理がクレジット処理装置２００により実行される。
【０２１７】
本実施形態によれば、遊技をするためのジェスチャ入力機能とクレジット機能とを融合することができる。従って、多くの装置を遊技者が携帯しなくても良いといった効果がある。
【０２１８】
次に、本発明を適用した動作／行動の認識装置に預かり金機能を付加したシステムの実施形態を、図２７を用いて説明する。本実施形態において、上記図２５の実施形態と同じ装置については、同じ符号を付しその詳細な説明は省略する。本実施形態のシステムは、被験者側の装置として、動作／行動の認識装置１９２及び預かり金返却指令装置２０２を有し、観測者側の装置として、認識結果の受付装置１９３及び預かり金支払装置２０３を有している。なお、ここでも、システムの一例として、上記図２５の実施形態で説明した、遊技場での遊技の例を取り説明する。
【０２１９】
ここでは、遊技者がジェスチャの入力装置（認識装置１９２）を借り出して遊技を行い、遊技終了後にはこれらを返却するものとする。このように遊技で使用する装置の一部を貸出する際に、貸し出した装置が返却されない場合には、ペナルティをかけると回収率が上がる効果があることが知られている。その一つとして預かり金制度がある。本実施形態のシステムはこれを支援するもので、遊技者がジェスチャ入力装置１９２を借り受ける時に預かり金を支払い、ジェスチャ入力装置１９２を返却した時点で預かり金の返却を受ける制度である。
【０２２０】
本システムにおいて遊技者は、ジェスチャ入力装置１９２を借り受け、観測者側に預かり金を支払う。ジェスチャ入力装置１９２を返却すると、ジェスチャ入力装置１９２と共に被験者側の装置として取り付けられている預かり金返却指令装置２０２より指令が、観測者側の預かり金支払い装置２０３に発せられる。預かり金支払い指令装置２０３はその指令を受信し、遊技者に預かり金を返却する。
【０２２１】
本実施形態によれば、動作／行動の認識装置の回収率が上がるといった効果がある。
【０２２２】
なお、本実施形態のシステムは、ジェスチャ入力装置を格納すると共に、所定の金額の預かり金を受け入れて、その１つを払い出すジェスチャ入力装置の自動貸出装置、および、貸し出されたジェスチャ入力装置を受け入れ、預かり金と同じ金額の金を払い出すジェスチャ入力装置の自動回収装置のいずれにも適用することができる。
【０２２３】
次に、本発明を適用した動作／行動の認識装置に領域への侵入或は退出を確認する機能を付加したシステムの実施形態を、図２８を用いて説明する。本実施形態において、上記図２５の装置と同じものについては、同じ符号を付しその詳細な説明は省略する。
【０２２４】
本実施形態のシステムは、被験者側の装置として、動作／行動の認識装置１９２及び領域侵入或は退出装置への応答装置２０５を有し、観測者側の装置として、認識結果の受付装置１９３、領域侵入或は退出確認装置２０６及び告知装置２０７とを有している。なお、ここでも、システムの一例として、上記図２５の実施形態で説明した、遊技場での遊技の例を取り説明する。
【０２２５】
ここでは、遊技者がジェスチャの入力装置（被験者側装置）を借り出して遊技を行い、遊技終了後にはこれらを返却するものとする。ところで、認識装置１９２の回収に際しては、遊技者に返却を促す提示をすると回収率が上がる効果がある。例えば、遊技をする領域から他の領域に退出しようとした場合に、もしも、ジェスチャ入力装置を持ったまま退出しようとすると、これを検出して警告を発する方法がある。本実施形態は、これを自動的に行う事を目的とする。
【０２２６】
ジェスチャ入力装置には、ジェスチャの認識を行う認識装置１９２と、領域侵入或は退出装置への反応装置２０５とが内蔵されている。一方、観測者側の領域侵入或は退出確認装置２０６からは、極く近い領域にのみ届く電波が発せられている。
【０２２７】
遊技者が、ジェスチャ入力装置を付けたまま、その領域を退出しようとすると、領域の境界に取り付けられている領域侵入或は退出確認装置２０６より発している信号を応答装置２０５が受信し、その応答信号を確認装置２０６に返す。確認装置２０６は、その信号を受信することで、被験者がジェスチャ入力装置をもったまま、この遊技領域から退出しようとしていることを検出することができる。この検出結果を受けて、告知装置２０７は被験者に対し警告を発する。
【０２２８】
本実施形態によれば、動作／行動の認識装置の回収率が上がるといった効果がある。
【０２２９】
ここで、周期運動を例にとり、動作の認識の例を詳細に説明する。
【０２３０】
周期運動の認識の基礎となる歩行周期の抽出方法の説明図を図４７に示す。歩行周期とは、踵接地（振れ戻った足の踵が接地した瞬間）から同側脚の踵接地までの経過時間であり、左右の脚を同じ速さで運ぶとすると２歩進むのに必要な時間が歩行周期となる。平坦地において様々な歩行速度や歩行状態（「歩く」，「走る」等）における身体の上下方向の加速度信号の周波数特性を観測したところ、標準的な歩行や走行においては、図４７（ａ）の２００１のような歩行周期を中心周波数とする１本の非常に強いスペクトルが存在することが分かった。従って、標準的な歩行や走行の動作については、このスペクトルを単純な閾値処理で抽出することにより歩行周期を容易に求めることが出来る。ところが、歩行周期約１．５秒以上で極端にゆっくり歩いたり（健常者の平均的な歩行周期１．０３秒，高齢者の歩行周期１．４３秒）、足を引き摺って歩いたりした場合、図４７（ｂ）に示すように、歩行周期の周波数２００２以外にもスペクトルが現れ、極端な場合２００６のように歩行周期のスペクトル強度よりも大きくなる場合があることが判明した。（図４７（ａ）及び図４７（ｂ）は、直流成分を除く各スペクトルを最大スペクトル強度で正規化している。）しかし、幸いにして観測した歩行周期０．３５〜２．０秒（「走る」〜「極端にゆっくり歩く」）の歩行動作においては、走行周期の周波数よりも低い周波数に強いスペクトルが存在しないことが分かり次の処理を行う事が可能である。以下図４７（ｃ）を参照して説明する。
【０２３１】
（１）直流成分（第０次の高調波）を除く全ての周波数スペクトルの平均値Ｔを求める。
【０２３２】
【数８】

【０２３３】
（２）平均値Ｔ（２００３）より大きいスペクトルを残す閾値処理を行うために
【０２３４】
【数９】
ｎ≠０かつＰ（ｎ）＞Ｔ …（数９）
の条件を連続的に満たす区間（ａ_ｉ，ｂ_ｉ）を求める。
【０２３５】
ここで、閾値をパワースペクトルの平均値Ｔとしたのは、動作の種類により、歩行周期を示すスペクトル強度及びそれ以外のスペクトル強度が共に変動するため、固定閾値では歩行周期スペクトルを抽出出来ない場合があるためである。
【０２３６】
なお、本実施例では、平均値Ｔを閾値としているが、計測データの雑音の状態においてＴにある係数を掛けた閾値で判定処理を行う場合も考えられる。
【０２３７】
（３）（数９）を満たす区間の中で、最も低い周波スペクトル群（ｉ＝０）の区間内で最大スペクトル強度Ｐ（ｊ）２００５及びその周波数ｊ２００４を求める。
【０２３８】
【数１０】
Ｓ＝Ｐ（ｊ）＝ｍａｘ［Ｐ（ａ_０），Ｐ（ｂ_０）］ …（数１０）
ここで、Ｓは歩行周期のスペクトル強度を表す値である。また、周波数ｊは１秒間の歩数であるので２歩で１周期である歩行周期Ｇ_Ｃは、
【０２３９】
【数１１】

【０２４０】
のようにして求めることができる。
【０２４１】
図４７（ａ）及び（ｂ）では２００１及び２００２が抽出した歩行周波数を示すスペクトルである。歩行周期０．３５〜２．０秒に於いて本手法の抽出手法と並行してストップウォッチを用いた計測を行ったが、ストップウォッチで計測した値とほぼ一致している。
【０２４２】
「歩く」，「走る」の違いは、両足共に地面から離れる区間の存在の有無である。両足が離れ自由落下の区間に入ると身体に取り付けられた加速度センサにより観測される加速度は約０Ｇ、つまりほぼ無重力の状態として観測されるであろう。そこでこの無重力状態が有るか否かを判断することにより「歩く」と「走る」の違いを認識することが出来ると考えた。標準的な「歩く」及び「走る」の観測波形を図４８（ａ）及び（ｂ）に示す。図４８（ａ）の「歩く」の場合、重力加速度１．０Ｇを中心に振幅約０．３Ｇの加速度変化を示している。従って、身体に受ける加速度の最小値は約０．７Ｇとなっており無重力状態は存在していない。図４８（ｂ）の「走る」では、振幅が１．０Ｇ程度まで大きくなり、０．０Ｇの無重力の状態が存在している。この無重力状態を認識するために、歩行周期の認識に用いた、歩行周期のスペクトル強度を利用した。なぜなら、加速度変化が仮に歩行周期のみを表現するサインカーブであるとすると、得られる歩行周期のスペクトル強度は、歩行周期の振幅の値となるからである。現実には、ＦＦＴを行う窓関数の幅と歩行周期とのサンプリング関係，サインカーブよりずれた加速度変化の影響、更に加速度センサ内の微小分銅の慣性力の影響等により完全には一致せず、「走る」の判定は、歩行周期の振幅を０．８Ｇで行っている。しかし、静止状態から「歩く」そして「走る」への歩行状態の推移の判定に、この歩行周期のスペクトル強度が利用出来ることに着目しスペクトル強度での認識を採用した。もちろん、測定波形の最小加速度値を見つけることでも判定が可能であるが、雑音による誤認識の問題を考慮する必要がある。
【０２４３】
観察の結果、静止状態から「歩く」そして「走る」へと激しい動作へ推移するに従い、認識した歩行周期のスペクトル強度が動作の推移に伴い強くなる事が判った。そこで、「歩く」，「走る」といった２値的な認識ではなく、歩行周期のスペクトル強度を参考にして歩行の状態を細分化し認識することを試みた。図４９に歩行周期のスペクトル強度に対する認識項目の確度の割り当ての様子を示す。各認識項目の認識確度ｗ_ｎは、歩行周期のスペクトル強度Ｓの関数として表し、スペクトル強度の取り得る値Ｓ_Ｕにおいて、
【０２４４】
【数１２】
ｗ_ｎ：Ｓ_Ｕ→〈０，１〉 …（数１２）
のように０と１との間の任意の値を取るとする。以後これを認識確度の評価関数とする。評価関数は２つの種類を用いる。１つは「歩行」や「走る」を評価する関数であり、ある値以上のスペクトル強をより強くなると「走行」の状態、「走る」の状態と評価する、
【０２４５】
【数１３】

【０２４６】
のような関数を用いる。もう１つの関数は、「のんびり」や「力強く」を評価する関数であり、ある値でピークを持つ、
【０２４７】
【数１４】

【０２４８】
のような関数を用いた。また、各パラメータの値は、健常な被験者数名の様子を観察しながら決めたものである。横軸が歩行周期のスペクトル強度、縦軸が認識確度となっている。認識する動作は、「静止」，「歩行」，「走る」。また、
「静止」状態から標準的な「歩く」までの過程の度合いを表現する「のんびり」。更に、標準的な「歩く」から「走る」までの過程の度合いを表現する「力強く」の５種類である。
【０２４９】
「静止」の認識は、歩行周期のスペクトル強度が０．００６Ｇ以下の状態とした。これは、静止状態で計測した加速度の最大スペクトル強度が０．００４Ｇ程度有り雑音を歩行周期と誤認識させないための閾値処理である。
【０２５０】
「歩行」の認識は、静止状態の閾値より認識確度を増加させ、歩行周期のスペクトル強度が０．０３Ｇ以上では１．０になるようにした（２１０１）。「走行」とは「走る」も含む全ての歩行動作を示すと定義する。従って、周期運動と認識されると常に「走行」の認識確度は０以上となる。これは、歩行周期２．０秒という極端にゆっくりな歩行を行い、更に身体の上下運動を極力抑えた歩行の場合の歩行周期のスペクトル強度が０．０３Ｇであり、静止状態（０．００６Ｇ）と歩行状態（０．０３Ｇ）の曖昧な区間を表現するためにこのような処理を行っている。従って、「歩行」の評価関数は、
【０２５１】
【数１５】
ｗ_歩行（Ｓ：０．００６，０．０３） …（数１５）
を用いた。
【０２５２】
「のんびり」の認識は、静止状態の閾値より単調増加させ、０．１Ｇで最大確度１．０にし、以後０．３Ｇまで単調減少させ０．３Ｇで確度を０．０にしている（２１０２）。これは、被験者がのんびり歩いた場合のスペクトル強度が約０．１Ｇ、標準的に歩いた場合が０．３Ｇであったためにこのようにした。評価関数は、
【０２５３】
【数１６】
ｗ_のんびり（Ｓ：０．００６，０．１，０．３） …（数１６）
となる。
【０２５４】
「力強く」の認識は、標準的な歩き（０．３Ｇ）から増加させ、０．５Ｇで最大確度に、そして、０．８Ｇで確度０．０にしている（２１０３）。これも「のんびり」と同様、被験者の行った「力強く歩く」と「走る」を観察して決定した。評価関数は、
【０２５５】
【数１７】
ｗ_力強く（Ｓ：０．３，０．５，０．８） …（数１７）
となる。
【０２５６】
「走る」は、０．５Ｇより増加させ、０．８Ｇ以上は認識確度を１．０にしている（２１０４）。両足とも地面に付かない時間が存在する、「非常に静かな走り」を行った場合に観測した、スペクトル強度が約０．８Ｇであったためこの値とした。評価関数は、
【０２５７】
【数１８】
ｗ_走る（Ｓ：０．５，０．８） …（数１８）
を用いた。
【０２５８】
認識は、抽出した歩行周期のスペクトル強度の値より上記の評価関数を用い、各認識項目の確度を決定する。例えば、歩行周期のスペクトル強度が０．６Ｇである場合、「歩行」の確度が１．０で「走る」を含む歩行状態である事を示し、「力強く」の確度が０．６７、「走る」の確度が０．３３の動作を被験者が行っていると認識される。
【０２５９】
立位（「立っている」）と這位（「横になっている」）は、加速度センサで観測した加速度変化の平均値で認識する。加速度センサは、その構造上１軸方向の加速度変化に観測する。加速度センサの感度方向と重力方向を一致させた傾き角０度の場合、重力加速度と等しい１．０Ｇが観測されている。傾きを増やすと角度にほぼ比例しながら徐々に加速度が小さくなり、加速度センサの感度方向と重力方向が直交した傾き角９０度になると、重力加速度は観測されなくなる。従って、静止状態であれば、観測された加速度値により加速度センサの傾き（＝身体の傾き）を計測することが出来る。また、身体を動かした状態では、重力以外の加速度が外力として身体に加わらないと仮定すると、観測される加速度の時間平均値が重力加速度になると考えられる。従って、加速度変化の平均値を求め重力加速度と比較する事により身体の傾きを求める事ができる。加速度変化の平均値は、周波数解析したときの直流成分（第０次高調波）として出力されており、これを利用する。求めた身体の傾きより立位・這位を判定する。
【０２６０】
本発明による認識手法は、「力強く」の確度が０．６７、「走る」の確度が０．３３といったように各認識項目の認識確度を出力する。従って、出力結果だけを見ただけでは被験者がどのような動作を行っているかが分かり難い形になっている。そこで、本実施形態では、動作の認識結果を、数値や言葉で表すのではなく、ＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）を用いてアニメーションで表示する手法について述べ、直感的で分かり易い表示方法を説明する。
【０２６１】
図３０は、動作／行動の認識装置により認識された結果を多関節構造体の動作／行動の表現方法を用い、コンピュータグラフィックスを用いたアニメーションで表示するシステムの構成図である。
【０２６２】
本構成図は、被験者１に取り付けられた計測器２，３と計測器により計測された結果をもとに動作／行動を認識する動作／行動の認識装置１０３３及び認識に用いるための動作あるいは行動の特徴量データベース１０３０と、認識結果１０３４をもとに認識結果を２次元あるいは３次元の画像として表示するため多関節構造体の動作／行動の表現装置１０３５及び動作／行動を表現するために必要な動作／行動の特徴量を記憶するデータベース１０３１と、表現した結果を画像として表示するための出力装置１０３２により構成される。
【０２６３】
先ず、被験者１に取り付けられた計測器２あるいは３より送られた計測結果は動作／行動の認識装置１０３３に送られ、動作あるいは行動の特徴量データベース１０３０に蓄えられている特徴量と比較され認識結果が出力される（１０３４）。例えばこの例では「歩く」動作とする。この結果は多関節構造体の動作／行動の表現装置１０３５へ出力される。
【０２６４】
表現装置１０３５は、認識装置１０３３の認識結果である動作の特徴に基づいて、その特徴に応じた特徴データを記憶部１０３１から取り出して多関節構造体（本例では人間）の動作情報を生成し、ディスプレイ１０３２にアニメーション表示する。
【０２６５】
特徴に応じた人間の動作を、コンピュータグラフィックスを用いて表現する手法は、本願発明の発明者らが執筆した“コンピュータアニメーションにおける感情を伴った人間の歩行動作の生成方法”電子情報通信学会論文誌、Ｄ−ＩＩ、Ｖｏｌ．Ｊ７６−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．１８２２−１８３１，１９９３年８月或いはＵＳＰａｔｅｎｔ５，４８３，６３０号公報に記載されている。この文献では、人間の様々な歩行動作から、各歩行の特徴を表す特徴量成分を抽出し、抽出した様々な特徴量成分を組み合わせたり、特徴量成分の強さを制御することにより、様々な動作をコンピュータアニメーションにより表現する手法について述べられている。
【０２６６】
本発明では、上記文献に記載されている手法を用いて、認識した動作の特徴に応じたアニメーションの表示を行う。
【０２６７】
本発明の発明者らにおいて執筆された上記文献に開示された手法は、動作の特徴量を制御することにより様々な周期動作を生成することが出来る。以下に、処理の概要を簡単に説明する。
【０２６８】
図３１は、動作の特徴量を用いた人間の動作の生成方法を表す概略図である。図３１では、右膝の関節の動き１０４４ｊ（ｔ）を表す例について説明しているが、その他の関節の動きも同じ手法により生成し身体全体の関節の動きを生成する。
【０２６９】
先ず、様々な歩行動作を行った時の関節の曲げ角度を実測し、「標準的な歩行」Ｂ（ω）と実測を行った歩行動作の関節の動きＪ（ω）の周波数特性の差を抽出し、
【０２７０】
【数１９】
Ｇ（ω）＝Ｂ（ω）−Ｊ（ω） …（数１９）
実測した動作を表す特徴量Ｇ（ω）として抽出する。この特徴量を特徴量のデータベース１０４１として、図３０の記憶部１０３１に蓄える。この手法では「歩く」，「走る」などのように動詞的表現の他に「元気に」，「落ち込んで」などのような副詞的表現や歩行の個性なども抽出することができる。
【０２７１】
動作の生成は、生成しようとする動作の特徴量を組み合わせ新たな特徴量を創り出し、その特徴量から関節の動きｊ（ｔ）を生成する逆変換処理を行う。この時以下の式（数２０）に示すように、複数の特徴量を重ね合わせたり、それぞれの特徴量の重み（強さ）を制御することにより、実測した動作以外の動作も生成することが出来る。
【０２７２】
【数２０】

【０２７３】
例えば、「歩く」と「元気に」（元気に歩くより抽出した、副詞的な特徴量）を重ね合わせた場合、実測した「元気に歩く」が生成される。ここで、特徴量「元気に」の重みを制御することにより、例えば、重みを１以下にすれば、「標準に歩く」と「元気に歩く」の中間の動作が、１以上にすれば、「元気に」が強調されて「非常に元気に歩く」といったように副詞の内挿や外挿といった表現ができる。さらに、実測していない新たな動作も生成できる。例えば、「標準的に歩く」に「走る」の特徴量を加えて作った「走る」という動作に「元気に」加えることにより「元気に走る」といった実測していない動作を新たに生成することができる。この手法の特徴は、様々な人間の動作を特徴量の選択及び組み合わせ更にその重みを制御することにより簡単に生成することができるところにある。これら動作情報の生成は、図３０に示した動作情報生成装置１０３５で生成される。
【０２７４】
動作の特徴量を用いた人間の動作の生成方法における特徴量の選択及び特徴量の重みを、加速度センサを用いた動作の認識手法で得られた各動作の認識確度を用いて制御することにより、認識結果をＣＧアニメーションで表示することができる。認識結果をＣＧアニメーション表示する概略図を図３２に示す。例えば、認識結果が図３２（１０５０）で示すように、歩行の認識確度がｗ_歩行、各認識項目Ｒ_ｎの認識確度がｗ_ｎであったとする。先ず、特徴量のデータベース１０４１より認識項目Ｒ_ｎに対応する特徴量Ｇ_ｎ（ω）を選択する。これらの値より前述の式のように特徴量の重ね合わせを行うが、歩行の認識表現のためにｗ_歩行により
【０２７５】
【数２１】

のように合成された特徴量全体の制御を行う。この制御により、認識確度が１より小さくなると身体全体の動きがだんだん小さくなり、歩行の認識確度が０になると全ての関節角が０となり直立状態が表現される。
【０２７６】
更に、認識した歩行周期と同じ歩行周期で動くように周波数ωを選択することによりＣＧアニメーションを生成し被験者と同じ歩行周期で足を運ぶＣＧキャラクタが生成できる。これにより、認識結果の動作速度も表現することができる。本発明の認識手法を用い動作を認識し、その結果をＣＧアニメーションにより表示した表示画面の一例を図３３，図３４，図３５，図３６に示す。それぞれの図の（ａ）は加速度センサから測定した加速度値の測定波形、（ｂ）は測定加速度の平均値、（ｃ）は認識結果、（ｅ）は体動スペクトル、（ｆ）は歩行周期スペクトル、（ｇ）は認識結果のアニメーション表示できる。
【０２７７】
先ず図３３の例を説明する。（ａ）の測定波形１０６０は、横軸が時間、縦軸が加速度である。この例では、初め静止状態にいた被験者が徐々に歩き始め最後に力強く歩く動作を行っている。静止状態から元気に歩くに従って振幅が大きくなるのが判る。（ｂ）は、（ａ）の加速度波形の平均値である。この例では、被験者は常に立った状態であるので重力加速度であるほぼ１．０Ｇの値を常に示している（１０６１）。（ｅ）は、測定波形を周波数解析した体動スペクトルを表している。横軸が周波数、縦軸がスペクトル強度となっている。スペクトル強度の一番強い周波数１０７２が歩行周期を表すスペクトルであり（ｆ）は歩行周期と認識されたスペクトルを抜け出して表示したものである。図３３中の（ｅ）と（ｆ）は、縦軸のスケールが異なるだけで同じスペクトルである。（ｅ）は最大スペクトル強度がグラフの最大スケールになるように正規化している。現在時点が（ａ）のグラフ中の１０７１であるとき、（ｅ）が認識結果のスペクトルを示すように表示を行う。また（ｅ）のグラフは、横軸が時間、縦軸に認識項目を配置してある。認識項目は、下から順に、「歩行」１０７５，「力強く」１０７４，「のんびり」１０７３である。各認識の認識確度（重み）は、色の濃さで表している。色が白い場合認識確度は０．０、黒い場合は、認識確度が１．０であることを表している。静止状態の区間１０６７では、認識された認識項目が無いため何も表示されていない。歩き始めの区間１０６８では、「歩行」と「のんびり」の色が徐々に黒くなり、各認識項目の認識確度が高くなっているのが判る。更に、歩き始めと元気にの境界付近１０７０に達すると「のんびり」の色が徐々に白くなっている。これは、標準的な歩行に近づいたためであり「のんびり」の認識確度が徐々に下がっているのを表している。境界を越えると「力強く」の認識確度が徐々に増加し「力強く歩く」状態を認識しているのが判る。認識結果をアニメーション表示しているのが（ｇ）である。このアニメーションは、現在（グラフ（ａ）の１０７１の時点）の認識結果を表示しており「元気に歩く」動作表示している。
【０２７８】
また、（ｈ）には、詳細に図示はしていないが、横軸を時間、縦軸を周波数とし、各画素の濃度でスペクトル強度を表す体動スペクトログラムが表示される。
図３４は「走る」を認識した例である。測定波形（ａ）の振幅がかなり大きくなっているのが判る。（ｆ）の特徴量の歩行周期のスペクトル強度１０８０は、図３４のそれに比べかなり大きい。認識結果は（ｇ）のように「走る」状態をアニメーション表示している。図３５は「のんびり歩く」場合の認識例である。
【０２７９】
「のんびり歩く」つまり「静かにゆっくり歩いている」状態なので（ｆ）のように測定波形の振幅も大きくない。抽出した特徴量の基本周波数のスペクトル強度も図３５の１０８１のようにかなり小さくなっている。認識結果は、図３５の（ｇ）のように「のんびりした歩き」（「とぼとぼした歩き」）をアニメーションで表現している。これは、「歩く」の特徴量に「とぼとぼ」の特徴量を認識した認識確度に応じて重ね合わせて表現している。図３６は「倒れた」場合の認識例である。倒れた地点を点線１０８２で示す。点線１０８２を境に、観測波形は、０．０Ｇへと急激に減少し、加速度の平均値も徐々に０．０Ｇへ推移している。これは、立位の状態から臥位の状態になり、加速度センサの測定軸が重力方向と直交してしまい重力加速度が観測できなくなったためである。認識結果は図３６の（ｇ）のように臥位の状態をアニメーションで表示している。
【０２８０】
なお、本実施形態において、例えばリハビリテーションの訓練の状況を認識（診断）及びその表示などに用いる場合、認識した結果をそのままアニメーション表示するのではなく、例えば、足を引き摺る動作が認識された場合、その認識確度（重み）を強調しアニメーション表示することにより、足を引き摺る動作を強調して表示することも可能である。この場合、不具合個所が強調されて分かり易く表現される。勿論、リハビリテーション以外のあらゆる、動作／行動の認識においても、強調処理を行い、認識結果を分かり易くするというのもかまわない。
【０２８１】
このように本実施形態によれば、動作或いは行動の認識結果を直感的に分かり易いアニメーションとして表現することが可能となり、観測者に分かり易く認識結果を提示出来るといった効果がある。
【０２８２】
なお、表示装置に多関節構造体をアニメーションで表示することを説明したが、動作の特徴を表す静止画のポーズでもかまわない。例えば、「歩く」の場合、歩いている人間を横から撮影しその静止画を「歩く」場合の特徴量（特徴画像）とし、認識結果が「歩く」と判定された場合、この画像を読み出し表示する。この場合、前記アニメーション表示に比べ演算量が少ないため、処理速度の遅い計算機においても表示が可能であるといった効果がある。
【０２８３】
次に、被験者の位置及び動作或いは行動を認識した結果を表示する実施形態について説明する。図３７は、被験者の位置及び動作或いは行動を認識した結果を表示するための構造図である。１１００は動作／行動の認識装置である。これは、例えば図１において説明した手法により、人間の動作或いは行動を認識する。１１０１は多関節構造体の動作或いは行動の表現処理部である。これは、例えば図３１により説明した手法により、１１００において認識した多関節構造体の動作或いは行動の認識結果をもとに、多関節構造体の動作或いは行動をアニメーション表示する機能を有する。１１０２は、被験者の位置の計測装置である。これは、図１１において説明した手法などにより被験者の位置を特定する。１１０３は、地理情報或いは建物内情報を表示する処理部である。ここで言う地理情報とは、山野の標高データ，道路や線路データ，建物や構造物の位置や形状データなどであり、建物内情報とは、建築物の間取りや機器の配置などの情報である。これらの情報は、データベース１１０４に格納されている。１１０５は表示装置である。１１０２により計測された被験者の位置の周囲の地理或いは建物内情報を１１０３の地理情報或いは建物内情報を表示する手法で２次元或いは３次元で表現し、この中の観測者の位置に１１０１の多関節構造体の動作或いは行動の表現処理を用い、多関節構造体のアニメーションを表示させる。
【０２８４】
図３８は、被験者の位置及び動作／行動を認識した結果をもとに表示した表示画面の一例であり、病院内の患者等の位置や行動を表示している例である。この例では、建物内の配置情報などが描かれているが、被験者が外に出れば、野外の道路や公園などを表現するのも同様に出来る。１１０５は、表示画面である。食堂（１１０６），談話室（１１０７），個室（１１０８）の配置情報は、図３７の地理情報或いは建物内情報のデータベース（１１０４）をもとに造られる。内部にいる人間１１１０，１１１１，１１１２，１１１４，１１１５，１１０９は、各人被験者の位置の計測装置（１１０２）と動作／行動の認識装置（１１００）を携帯しており、１１１６或いは、１１１３のＰＨＳの基地局から送信される電波の強さ等を参照に被験者の位置の計測装置（３７の１１０２）により位置を計測される。また、動作／行動の認識装置（３７の１１００）により動作或いは行動を認識され、多関節構造体の動作／行動の表現部によりアニメーション表示されている。この例では、被験者１１０９は、個室１の前を元気に歩いており、被験者１１１４と被験者１１１５は食堂で座っている。
【０２８５】
このように本実施形態によれば、被験者がどこでどのような動作或いは行動を行っているかを非常に分かり易く表現することが可能となり、観測者に分かり易く認識結果を提示出来るといった効果がある。
【０２８６】
また、本実施形態によればテレビカメラなどによる観測に起りがちな死角などの影響が起りにくく、いかなる場所においても良好に観測できるといった効果がある。
【０２８７】
さらに、本実施形態によればテレビカメラでは、距離が離れると被験者が小さくなり観測し難くなるが、本実施形態を用いれば観測結果のデータを伝送が出来る領域内であれば、いかなる場所においても良好に観測できるといった効果がある。
【０２８８】
さらに、本実施形態によればテレビカメラによる観測によれば、画像を監視することにより、「だれかどこにいた」といった事も明らかになり、プライバシーの侵害の可能性も生じる。ところが例えば、図３８の被験者１１１４及び１１１５の例において、１１１４及び１１１５、更には他の被験者のアニメーションキャラクタの形状を同一とし、各個人の歩き方の癖などを除いて動作或いは行動をアニメーション表示をすることにより、食堂の１１１４及び１１１５の位置に２人座っているのは判るが、それ以外の個人情報を知ることは出来ずプライバジーの保護が出来るといった効果もある。
【０２８９】
異常事態発生時の自動通報の表示例を図３９を用いて説明する。異常事態とは、患者が「倒れた」や「苦しんでいる」などの状態を指す。被験者１１１２が、個室４の前で倒れている状態である。前記実施形態では、プライバシー保護の観点から個人情報を隠す表示方法を示したが、本例は、異常事態が発生したら個人情報を積極的に開示する例である。異常事態の認識は、図２０で説明した手法を用いる。図２０の説明においては、特定の動作／行動の認識として説明したが、本実施形態は病院を例にしており、特定動作／行動とは、患者の異常事態を差す。図２０の手法については既に説明したので省略する。異常事態が発生したら、被験者の位置及び動作或いは行動を１１１２のようにアニメーション表示するとともに、被験者が形態している装置のＩＤ番号を参考に１１１７のように個人の名前や、病歴，担当医，保護者等を表示する。
【０２９０】
この実施形態により、異常事態が発生した場合においては、観察者は即座に、置かれている状況や、その人の個人情報を即座に把握することができ、他の人のプライバジーを守りつつ、異常事態発生者には、其の対策のための個人情報を即座に提示できるといった効果がある。
【０２９１】
図４０は、病院スタッフの位置や動作或いは行動を表示する例である。上記の実施形態において、異常事態が発生した場合、対応可能なスタッフ選択する必要がある。そこで、病院スタッフの位置や動作或いは行動を表示した例である。病院スタッフは、１１１８であり病院スタッフを示す帽子をアニメーションキャラクタに取り付けてある。この例では、スタッフ１１１８は、歩いており、十分対応可能な状態といえるが、例えば、動作認識の結果が、手術や他の患者の対応を表していれば、直接各スタッフの確認をとらずとも、この画面を見ながら、他の近隣のスタッフを探すことが可能となる。
【０２９２】
本実施形態によれば、対応可能な人間を、直接確認をとらずとも判断できるといった効果がある。
【０２９３】
なお、上記実施形態では、判断を観察している人間が行うように記載したが、患者の位置・異常事態の起った原因・病歴・担当医及び周囲にいるスタッフの位置・作業状態・専門などをもとに各種最適化アルゴリズムにより計算機が自動的に判断し最適なスタッフを選択することも可能である。
【０２９４】
異常事態発生時に異常事態が発生するまでの経緯を表示するためのシステムの構成図を図４１を用い説明する。異常事態を認識するのは図２０の手法を用いる。図４１の構成図は、異常事態認識後に処理を行うための構成図である。
【０２９５】
被験者の位置・動作／行動を記録する記憶装置（１１２０）には、動作／行動の認識装置（１１００）により認識された、動作／行動の種類と、被験者の位置の計測装置（１１０２）により計測された位置情報、更に認識を行った時刻が記録される。図４２には、被験者の位置・認識した動作／行動の情報を、記憶装置に記憶した一例として示す。上段（１１２２）が動作／行動の項目、下段（１１２３）が、時刻（ｔ）及び位置座標（ｘ，ｙ，ｚ）を表している。これらの値は、認識される毎に随時追加されていく。この例では、最後に認識された記憶した位置が１１２５であり、左上に行くに従い古くなる。
【０２９６】
ここで、例えば、事情事態の特定パターンが「倒れる」「横になる」「横になる」…であるとする。このパターンが現れると、異常事態の認識装置（１１２５）は、異常事態の経緯を表示するために移動も含む多関節構造体の動作／行動の表現処理部（１１２６）を用いアニメーション処理を行う。
【０２９７】
１１２６を用いて表示した、異常事態が発生した経緯を表示する表示例を図４３に示す。観測者が倒れた地点は１１１２である。異常事態の認識装置（１１２５）が、図４２の１１２１の特定動作パターンを認識すると、被験者の位置・動作／行動を記録する記憶装置（１１２０）よりある一定時間溯り（この例では、１１２４の「元気に歩く」の状態）その時の位置情報と、被験者の動作／行動をもとに順次新しい時刻へ向かってアニメーションを開始する。従って、この例では、１１３０の区間においては「元気に歩き」、区間１１３１では「歩く」、区間１１３２においては「立ち止まり」、区間１１３３では「倒れ」、区間１１３４では「横になり」動かなくなるアニメーションが生成できる。なお、上記の過程を繰り返すことにより、異常事態に陥った経緯を繰り返して表示することも可能である。
【０２９８】
本実施形態によれば、異常事態に陥った経緯を過去に溯って表示することができるため、異常事態の経緯から判断出来る異常事態の詳細な把握，異常事態の対処方法の検討が行い易くなる効果がある。
【０２９９】
次に、動作／行動の認識結果を元に位置計測装置により求めた測定値の精度を向上させるシステムの構成についての実施形態を図４４及び図４５を用いて説明する。図４４は、動作／行動の認識結果を元に位置計測精度を向上させるためのシステム構成図、図４５は、動作／行動の認識結果を元に位置計測精度を向上させる説明図である。
【０３００】
動作／行動の認識装置１１００については説明の詳細を省略する。被験者の位置計測装置１１０２では、複数の基地局より発せられる電波の電界強度分布を前以って計測或いはシミュレーションにより求め、被験者の持つ端末で複数の基地局の電波を受信し、それぞれの電界強度を計測し、計測した電界強度と前以って求めてある電界強度分布を比較位置の候補を算出する。例えば、図４５の例で被験者の持つ端末が、基地局Ａ（１１５０）の電波を電界強度ＸｄＢで受信し、基地局Ｂ（１１５１）の電波をＹｄＢで受信したとする。前以って、計測或いはシミュレーションを行い求めた基地局Ａ（１１５０）の電界強度分布及び基地局Ｂ（１１５１）の電界強度分布１１５３は１１５２及び１１５３のようになる。従って、両局からの電界強度の条件を満足する部分は１１５４の領域となり、被験者はこの領域のどこかに存在するということになる。しかし、端末側での電界強度の測定精度，電波の乱反射などのためにこの領域はかなり大きくおおまかな位置しか特定することができない。そこで、地理情報或いは建物内情報からの位置の推定方法１１４０では、１１０２により求めた被験者の存在領域から、動作／作動の認識装置１１００より求めた被験者の動作／行動と地理情報或いは建物内情報１１０４により詳細な場所を特定する。例えば、図４５の例で、被験者１１５６が、「階段を登る」という動作が認識されたとすると、地理情報或いは建物内情報１１０４より階段のある場所を検索し、被験者１１５６は、領域１１５４の中の階段のある場所（１１５５の場所）であると特定できる。また、被験者が１１５７のように、地形などにより影響されない場所にいる場合には、少なくとも階段上でないことは明らかであるし、階段を登り終えた時間と歩行動作を行っている時間から位置を推定する事も出来る。
【０３０１】
この事について図４６を用い更に詳しく説明する。図４６は、動作及び行動の認識結果により位置を特定した結果を元に位置を補正する手法を説明する説明図である。この図では１１６５に示す方位とする。この例では、セルラーシステムの基地局Ａ（１１５０）により発せられる電波により大凡な絶対位置を測定する装置と被験者に付けられた歩数を計測する装置及び方位や進行方向の変化を計測する装置により相対位置を計測する装置にさらに、上記説明した動作及び行動の認識結果により位置を特定する装置を用い被験者の位置を計測する。前述したように、セルラーシステムでは、測定精度があまり高くない。従って、電界強度の条件が同一エリア内であれば、被験者が移動してもそれを計測することができない。そこで、相対位置を計測する手段が必要になる。相対位置を計測する装置は、歩数の数を数え被験者の平均的な歩幅から移動距離を計測し、被験者に取り付けられた方位センサ或いはジャイロなどにより被験者の移動方向を計測する。測定した移動距離と移動方向を積分することにより被験者の相対的な移動位置が計測できる。これにより電界強度の条件が同一エリア内であっても被験者の移動を計測することができる。被験者の絶対的な位置は、セルラーシステムで計測した絶対位置を初期値とし、相対位置を計測する計測装置により計測された相対値を積分し求める。ところが、被験者の初期の位置を決定する、絶対位置を計測する計測装置の測定精度が悪い。従って、最初の誤差が後々まで影響することになる。さらに、相対位置を測定する装置においても、サンプリング間隔や測定誤差，積分誤差により誤差が蓄積されてくる。そこで、動作及び行動の認識結果により位置を特定する装置を用い被験者の位置を補正する。
【０３０２】
図４６の例では、動作及び行動の認識結果が「階段を昇り終えた」と認識されれば、被験者は、階段の上端である１１６０の位置であると特定できる。これは、セルラーシステムにより計測した計測結果１１５４よりもはるかに位置精度は高い。これを絶対位置の初期値として、相対位置を計測する計測装置により被験者の位置を追尾する。
【０３０３】
絶対位置の初期値１１６０からは、被験者の方位センサ或いはジャイロにより被験者が南の方向に進んでいると計測される。また、歩数の計測装置により距離が算出され１１６３の移動軌跡が求められる。区間１１６５では、被験者が西に方向を変えている。これは、方位センサ或いはジャイロにより計測されさらに歩数により区間１１６５の移動軌跡が算出される。それ以後も同様に軌跡を算出し、現在の被験者の位置１１６１を求めることができる。
【０３０４】
なお、上記実施形態では、絶対位置を計測する手段として、セルラーシステムを例に説明しているが、その他の絶対位置を計測するシステム、例えば、ＧＰＳ等でも同様である。
【０３０５】
上記実施形態では、標準的な歩幅より距離を算出しているが、動作及び行動の認識結果により、例えば「のんびり歩く」や「走る」等を認識し、その認識項目と認識確度よりその動作及び行動状態での歩幅を算出し、歩数より距離を求めることもできる。この場合、標準的な歩幅で求めた距離よりも更に精度が向上する。
【０３０６】
上記実施形態では、標準的な歩幅より距離を算出しているが、被験者の進行方向の加速度或いは速度をセンサにより計測し、加速度の場合には重積分、速度の場合には、積分することにより距離を算出してもかまわない。
【０３０７】
上記実施形態では、絶対位置を計測する計測装置と動作及び行動の認識装置を組み合わせた装置により求めた位置を初期状態の位置としているが、相対位置の計測装置で計測中に、位置を特定できるような動作或いは行動を被験者が行った場合、その動作或いは行動を元に地理情報或いは建物内情報を参考に位置を再度特定し、その値を初期値としてもかまわない。この場合、サンプリング間隔や測定誤差，積分誤差による誤差の蓄積をなくすことができる。これはセルラーシステムのサービスエリア外などで計測する場合に特に有効である。絶対位置を計測する手段がないため相対位置を計測する手段のみにより位置を計測することになり、誤差の蓄積が問題になるが、本手法を用い逐次補正することにより誤差の蓄積をなくすことができる。
【０３０８】
本実施形態では、複数の基地局を持つセルラーシステムを用いて位置を計測する手法について述べたが、衛星を用いて測位するＧＰＳやその他の計測装置と組み合せ、位置精度を向上させることも可能である。
【０３０９】
また、描画方法においては、本実施形態により求めた被験者の位置を画面内に置き、被験者の移動に伴い随時被験者の位置と同期して描画範囲を描画することも可能である。
【０３１０】
さらに、本実施形態により求めた被験者の位置により被験者のナビゲーションをするシステムも同様の手法により可能である。
【０３１１】
本実施形態によれば、従来の位置計測装置により計測した計測位置をさらに精度よく補正することができるといった効果がある。
【０３１２】
以上の実施形態による動作又は行動の認識装置は、測定器２を傷病人や老人に着けてもらうことで、病院内，老人ホーム内又は家庭において老人等の介護に役立てることができる。また、乳幼児に測定器２を着用させ、特定の行動時に警報を鳴らすようにすれば、家庭等での乳幼児の監視にも役立てることができる。
【０３１３】
【発明の効果】
本発明によれば、被験者あるいは被験物体の状態変化を測定しその測定結果を単なる測定値として利用するのではなく、該状態変化の測定値の特徴量を用いて認識処理を自動的に行うため、被験者の動作或いは行動をより正しく認識することができる。
【図面の簡単な説明】
【図１】本発明による動作及び行動の認識装置の一実施形態の構成を示すブロック図。
【図２】腰に取り付けられた加速度センサからの出力例を示す説明図。
【図３】ウェーブレット変換を用いた時間周波数解析結果の一例を示す説明図。
【図４】本発明による認識装置の他の実施形態の構成を示すブロック図。
【図５】（ａ）は、図４の実施形態における観測波形の一例を示すグラフ、
（ｂ）は、図５（ａ）のデータのスペクトラム解析結果を示すグラフ、
（ｃ）は、正規化処理後のスペクトラム解析結果を示すグラフ。
【図６】本発明による認識装置の他の実施形態の構成を示すブロック図。
【図７】本発明による認識装置の他の実施形態の要部構成を示すブロック図。
【図８】状態変化の測定点及び計測軸の例を示す説明図。
【図９】本発明を適用した認識システムの実施形態の構成を示すブロック図。
【図１０】位置計測装置と組み合わせた動作及び行動の認識装置の実施形態の構成を示すブロック図。
【図１１】図１０の実施形態における位置計測方法を示す説明図。
【図１２】作業履歴より作業状況或いは被験者が置かれている環境を推測して出力するシステムの実施形態の構成を示すブロック図。
【図１３】図１２の実施形態において蓄えられた動作或いは行動の履歴を示す説明図。
【図１４】図１２の実施形態における連想パターンの例を示す説明図。
【図１５】標準動作と計測動作の違いを表示する認識装置の実施形態の構成を示すブロック図。
【図１６】（ａ）は、測定動作と標準動作の差の算出例を示す説明図、
（ｂ）は、測定動作と標準動作の差の他の算出例を示す説明図。
【図１７】標準動作と計測動作の違いより、違いの原因を出力する認識装置の実施形態の構成を示すブロック図。
【図１８】本発明による認識装置を作業性評価システム或いは作業内容評価システムの作業データ収集用に用いたシステムの実施形態の構成を示すブロック図。
【図１９】本発明による認識装置を人員の適正配分システム或いは適正作業時間配分システムの作業データ収集用に用いたシステムの実施形態の構成を示すブロック図。
【図２０】特定の動作及び行動を行った場合にその旨を通知する認識装置の実施形態の構成を示すブロック図。
【図２１】本発明による認識装置を行動分析・行動追跡・行動監視に適用したシステムの実施形態の構成を示す説明図。
【図２２】本発明を適用したジェスチャ認識装置の実施形態の構成を示すブロック図。
【図２３】本発明による認識装置に無線装置を付加した一実施形態の構成を示すブロック図。
【図２４】本発明による認識装置に無線装置を付加した他の実施形態の構成を示すブロック図。
【図２５】本発明による認識装置にプリペイド機能を付加したシステムの構成例を示すブロック図。
【図２６】本発明による認識装置にクレジット機能を付加したシステムの構成例を示すブロック図。
【図２７】本発明による認識装置に預かり金機能を付加したシステムの構成例を示すブロック図。
【図２８】本発明による認識装置に領域への侵入或は退出を確認する機能を付加したシステムの構成例を示すブロック図。
【図２９】特徴量から相関をとる方法の一例を示す説明図。
【図３０】動作及び行動の認識装置により認識された結果を多関節構造体の動作及び行動の表現方法を用いて表示するシステムの構成図。
【図３１】多関節構造体の動作及び行動の表現方法の説明図。
【図３２】複数の特徴量の重ね合わせとして認識された場合の動作及び行動の表現方法の説明図。
【図３３】認識結果の表示画面の例を示す図。
【図３４】認識結果の表示画面の例を示す図。
【図３５】認識結果の表示画面の例を示す図。
【図３６】認識結果の表示画面の例を示す図。
【図３７】被験者の位置及び動作或いは行動を認識した結果を表示するためのシステムの構成図。
【図３８】被験者の位置及び動作或いは認識した結果をもとに表示した例を示す図。
【図３９】異常事態発生時の自動通報の表示例を示す図。
【図４０】スタッフの配置表示例を示す図。
【図４１】異常事態発生時に、異常事態が発生するまでの経緯を表示するためのシステムの構成図。
【図４２】被験者の位置及び認識した動作及び行動を記憶する記憶装置に記憶したデータの一例を示す図。
【図４３】異常事態が発生した経緯を表示する表示例を示す図。
【図４４】動作及び行動の認識結果を元に位置計測精度を向上させるシステムの構成図。
【図４５】動作及び行動の認識結果を元に位置計測精度を向上させる説明図。
【図４６】動作及び行動の認識結果により位置を特定した結果を元に位置を補正する手法を説明する説明図。
【図４７】動作又は行動の加速度周波数のスペクトル強度を表す図。
【図４８】動作又は行動の加速度の測定波形を表す図。
【図４９】スペクトル強度と、認識確度との関係を表す図。
【符号の説明】
１…被験者、２…状態変化の測定器（腰用）、３…状態変化の測定器（腕用）、４…Ａ／Ｄ変換器、５…信号の特徴量抽出部、６…動作或いは行動の特徴量、７…動作或いは行動を認識するための信号処理部、８…認識結果を出力する出力部、４１…被験者の位置計測部、６２…動作或いは行動の履歴を記憶する記憶装置、６３…連想パターンの記憶装置、６４…連想処理装置、１２６…作業性評価システム、１２７…作業内容評価システム、１３４…人員の適正配分システム、１４１…適正作業時間の配分システム、１４６…保護者への通報装置、１４７…通報の受信装置、１６２…ジェスチャの認識装置。

Claims

被験体の動作又は行動を監視する認識装置において、
前記被験体に取り付けられ、当該被験体の動作又は行動を認識する動作認識手段と、
当該被験体の位置を計測する位置計測手段と、
地理情報又は建物内情報を格納した格納部と、
前記動作認識手段による被験体の動作又は行動と前記位置計測手段による計測結果及び前記格納部の地理情報又は建物内情報から当該被験体の位置を求める位置推定処理部とを備え、
前記動作認識手段は
前記被験体の行動に伴う状態変化を観測した時系列データの周波数成分を特徴量として抽出する特徴量抽出手段と、
前記観測結果から抽出した前記特徴量から前記被験体の動作又は行動を認識する認識手段とを備え、
前記位置推定処理部は、前記格納部の地理情報又は建物内情報を参照して、前記動作認識手段により認識された特定の動作又は行動に対応する位置情報を求めて、前記位置計測手段により計測した位置情報を補正する
ことを特徴とする認識装置。
請求項１に記載の認識装置において、
前記観測結果から前記動作又は行動の時間的特性を特徴づける動作時間を求める動作時間測定手段と、
前記求めた動作時間により、前記観測結果を正規化する正規化手段とをさらに有し、
前記特徴量抽出手段は、前記正規化された観測結果を用いて前記特徴量を抽出することを特徴とする認識装置。
請求項１に記載の認識装置において、
前記認識された動作又は行動について計測された前記動作時間を出力する出力手段を備えたことを特徴とする認識装置。
請求項１において、
前記動作認識手段は、前記特徴量のうちの複数の特徴量に基づき、前記被験体の動作又は行動を、前記複数の特徴量に対応する複数の動作又は行動を組み合わせた動作又は行動として認識することを特徴とする認識装置。
請求項１に記載の認識装置において、
前記位置推定処理部では、前記格納部の地理情報又は建物内情報の内、前記位置計測手段により計測した位置情報の周辺から前記動作認識手段により認識された特定の動作又は行動に対応する位置情報を検索して、前記位置計測手段により計測した位置情報の代わりとすることを特徴とする認識装置。
請求項１に記載の認識装置において、
前記位置計測手段は、初期位置からの前記被験体の相対位置を計測する計測手段を有し、
前記推定処理部では、前記格納部の地理情報又は建物内情報の内、前記位置計測手段により計測した位置情報の周辺から前記動作認識手段により認識された特定の動作又は行動に対応する位置情報を検索して、当該位置情報を前記位置計測手段における新たな初期位置とすることを特徴とする認識装置。