JP5455787B2 - 動作解析装置および動作解析方法 - Google Patents

Description

本発明は、標準動作との比較により比較対象動作の解析を行う動作解析装置および動作解析方法に関する。

従来、動作の特徴を示す多次元の動作特徴量に対する主成分分析により標準動作の部分空間を求め、求めた標準動作の部分空間と比較対象動作の動作特徴量との距離に基づいて、比較対象動作の解析を行う装置がある（例えば特許文献１参照）。

特許文献１に記載の装置（以下「従来装置」という）は、動画像からの特徴抽出である立体高次局所自己相関（ＣＨＬＡＣ）特徴を用いて、比較対象動作から異常動作を検出する。具体的には、従来装置は、蓄積された複数の標準動作のそれぞれから動作特徴量の特徴データを抽出し、抽出した複数の特徴データから、主成分分析手法により、主成分ベクトルに基づく部分空間（以下単に「部分空間」という）を生成する。そして、従来装置は、比較対象動作からも同様に動作特徴量の特徴データを抽出し、抽出した特徴データと部分空間との距離が所定値よりも大きい場合に、その比較対象動作を異常であると判定する。

このような従来装置は、標準動作を統計的に学習するため、設計の段階で標準動作の定義を特に行うことなく、監視対象に則した異常動作検出を行うことができる。

ところで、異常動作の判定漏れをできるだけ防ぐためには、部分空間を生成する際に用いる特徴データの累積寄与率（以下「寄与度」という）を高く設定すれば良い。寄与度とは、生成される部分空間（主成分ベクトル）が元の特徴データをどの程度説明しているかを示す指標値である。一方で、標準動作の誤判定をできるだけ防ぐためには、主成分分析に用いる特徴データの寄与度を低く設定すれば良い。元の特徴データでは網羅されなかった標準動作のばらつきは、寄与度が低い場合には吸収されるためである。

すなわち、寄与度の最適値は、監視対象や要求される検出精度（以下「解析条件」という）に依存する。このため、寄与度は、解析条件に適合する値が設定されることが望ましい。

また、例えば、工場で動作解析を行う場合には、解析したい作業に合わせてカメラの設置場所を頻繁に変えることが想定される。したがって、主成分分析によって比較対象動作の解析を行う装置（以下「動作解析装置」という）は、できるだけ簡単に、解析条件に適合する寄与度を設定可能であることが望ましい。

特開２００６−７９２７２号公報

しかしながら、従来装置では、解析条件に適合する寄与度を設定するためには、実験等により、寄与度毎に標準動作についての解析結果と異常動作についての解析結果とを蓄積し、各寄与度の当否を検証する必要がある。また、異常動作が非定常な動作を含み得るもの（以下、非定常な動作を含み得る異常動作を「非定常動作」という）である場合、膨大な異常動作の特徴データを用いて解析および検証を行う必要がある。すなわち、従来装置は、解析条件に適合する寄与度を設定するのに非常に手間が掛かる。

本発明の目的は、解析条件に適合する寄与度を簡単に設定することができる動作解析装置および動作解析方法を提供することである。

本発明の動作解析装置は、動画像を用いて非定常動作を抽出する動作解析装置において、学習データを入力する動作データ入力部と、前記動作データ入力部が入力した前記学習データから動作特徴量を抽出する動作特徴抽出部と、前記学習データの一部に対して、前記動作特徴抽出部が抽出した動作特徴量を用いて主成分分析を行い、部分空間を学習する主成分分析部と、前記動作特徴抽出部が抽出した学習データの動作特徴量と、前記主成分分析部が学習した部分空間との距離を算出する学習データ距離算出部と、前記学習データ距離算出部が算出した距離のうち、前記主成分分析部が前記部分空間の学習に用いた学習データから算出された距離と、前記主成分分析部が前記部分空間の学習に用いなかった学習データから算出された距離とから、前記主成分分析部が前記主成分分析に用いた寄与度の適合性を判定する寄与度判定部とを具備する。

本発明の動作解析方法は、動画像を用いて非定常動作を抽出する動作解析方法において、学習データを入力するステップと、前記学習データから動作特徴量を抽出するステップと、前記学習データの一部から抽出した動作特徴量を用いて主成分分析を行い、部分空間を学習するステップと、前記学習データの動作特徴量と前記部分空間との距離を算出するステップと、前記学習データの動作特徴量と前記部分空間との距離のうち、前記部分空間の学習に用いた学習データから算出された距離と、前記部分空間の学習に用いなかった学習データから算出された距離とから、前記主成分分析に用いた寄与度の適合性を判定するステップとを有する。

本発明によれば、解析条件に適合する寄与度を簡単に設定することができる。

本発明の実施の形態１に係る動作解析装置を含む動作解析システムの構成を示すシステム構成図 本実施の形態１に係る動作解析装置の構成を示すブロック図 本実施の形態１における寄与度と距離との関係を説明するための図 本実施の形態１に係る動作解析装置の全体動作を示すフローチャート 本実施の形態１における寄与度判定処理を示すフローチャート 本実施の形態１における平均値の比を用いる場合の評価値の算出例を示す図 本実施の形態１における標準偏差の比を用いる場合の評価値の算出例を示す図 本発明の実施の形態２に係る動作解析装置の構成を示すブロック図 本実施の形態２に係る動作解析装置の全体動作を示すフローチャート 本実施の形態２における結果表示画面の一例を示す図 本実施の形態２における結果表示画面の他の例を示す図

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る動作解析装置を含む動作解析システムの構成を示すシステム構成図である。

本実施の形態は、本発明を、熟練作業者と一般作業者とが働く工場において各一般作業者の動作を解析するための動作解析システムに適用した例として説明する。作業者の動作は、例えば、製品を作業台にセットし、部品を取って製品本体にはめるといった動作を複数回繰り返し、製品を隣に送るといった複数の単位動作からなる一連の動作である。具体的には、本実施の形態に係る動作解析システムは、ある作業工程に従事する熟練作業者の姿を撮影し、同じ撮影アングルで同一の作業工程に従事するときの各一般作業者の姿を撮影して、各一般作業者の動作の解析を行うものである。以下、上述の一般的な単位動作と、動作解析システム１００によって１つの逸脱動作として抽出される単位とを、「動作」と総称する。

図１において、動作解析システム１００は、センサ装置２００、本実施の形態に係る動作解析装置３００、出力装置４００、および入力装置５００を有する。

センサ装置２００は、人の動作を検出する装置であり、作業者の動作を計測したデータを動作解析装置３００へ出力する。ここでは、センサ装置２００は、撮影した画像の画像フレームデータ（動画像データ）をリアルタイムに出力するカメラであり、工場の組み立てラインに並んで作業する各作業者を個別に撮影可能である。

以下、一連の標準動作を撮影した映像から得られた特徴データを「学習データ」という。また、非定常動作を含むかもしれない一連の動作を撮影した映像から特徴データは、「解析対象データ」という。学習データおよび解析対象データは、適宜、「動作データ」と総称する。

動作解析装置３００は、学習データから主成分分析により学習した部分空間と、解析対象データの各動作特徴量との距離に基づいて、解析対象データの解析を行う。

また、動作解析装置３００は、解析対象データの解析に先立って、学習データの解析を行い、主成分分析に用いられる寄与度の適合性を判定し、判定結果をユーザに提示する。そして、動作解析装置３００は、ユーザから、解析対象データの評価に用いる寄与度（以下「設定寄与度」という）の設定を受け付ける。ここで、寄与度の適合性とは、その寄与度を適用したときに異常動作と標準動作とがどの程度正しく分別されるか、つまり、ユーザが希望する差異をどの程度正しく分別するかを示す指標である。

具体的には、動作解析装置３００は、一部の学習データから抽出された動作特徴量を用いて主成分分析を行い、部分空間を学習する。以下、部分空間の学習に用いられた学習データ群は、「部分空間作成用データ」という。また、部分空間の学習に用いられなかった学習データ群は、「寄与度評価用データ」という。

「部分空間作成用データ」は、学習データから任意に選ばれる。たとえば、学習データが複数のデータファイルからなる場合、動作解析装置３００は、任意の一つのファイルを「寄与度評価用データ」とし、その「寄与度評価用データ」を除いたすべての学習データを「部分空間作成用データ」とする。ここで、動作解析装置３００は、ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法を用いても良い。ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法では、ｎ個の学習データが与えられた場合、ｎ個の学習データは、（ｎ−１）個の訓練データ（「部分空間作成用データ」）と、１個の評価用データ（「寄与度評価用データ」）とに分割される。次に、ｌｅａｖｅ−ｏｎｅ−ｏｕｔ法では、（ｎ−１）個の訓練データを用いた学習結果によって、１個の評価用データが評価される。この場合、分割の仕方はｎ通りあるため、その全てに対する評価結果の平均が計算され、平均値が、評価値として利用されることになる。

そして、動作解析装置３００は、部分空間と部分空間作成用データとの距離と、部分空間と寄与度評価用データとの距離を算出する。以下、部分空間と部分空間作成用データとの距離を、「基準距離」といい、部分空間と寄与度評価用データとの距離を、「評価距離」という。そして、動作解析装置３００は、基準距離と評価距離との差に関する評価値が適正範囲となるような寄与度を求める。次に、動作解析装置３００は、求めた寄与度を設定寄与度の候補としてユーザに提示する。ここで、評価値の適正範囲とは、要求される精度で異常動作と標準動作とが分別されるような数値範囲である。

動作解析装置３００は、ＣＰＵ（central processing unit）、ＲＡＭ（random access memory）等の記憶媒体、および動画像データを取得するビデオキャプチャ回路等を含むコンピュータである。すなわち、動作解析装置３００は、記憶する制御プログラムをＣＰＵが実行することによって動作する。

出力装置４００は、例えば液晶ディスプレイを有するモニタであり、動作解析装置３００から入力される結果表示画面のデータを出力する。なお、出力装置４００は、遠隔地に配置された装置（遠隔監視装置、携帯電話機等）であっても良い。この場合、出力装置４００は、例えば、インターネット等のネットワークを介して動作解析装置３００と接続される。

入力装置５００は、例えばポインティングデバイスとしてのマウスとキーボートとから成り、ユーザが動作解析装置３００を操作するためのインタフェースである。

このような動作解析システム１００は、学習データのみに基づいて寄与度の適合性を判定し、判定結果をユーザに提示することができる。したがって、ユーザは、提示された判定結果のみを確認して、主成分分析に用いた寄与度の適合性を効率良く解析することができるので、解析条件に適合する寄与度を簡単に設定することができる。

なお、本実施の形態に係る動作解析装置３００は、動作解析に用いる寄与度の適合性を、学習データのみに基づいて簡単に判定可能である点に特徴を有する。したがって、本実施の形態では、寄与度の適合性の判定までの動作とその動作を実現する装置部を中心として説明を行う。

図２は、動作解析装置３００の構成を示すブロック図である。

図２において、動作解析装置３００は、動作データ入力部３１０、動作特徴抽出部３２０、主成分分析部３３０、学習データ距離算出部３４０、および寄与度判定部３５０を有する。

動作データ入力部３１０は、動作特徴抽出部３２０からの要求に応じて、センサ装置２００から学習データを取得し、動作特徴抽出部３２０へ転送する。動作データの転送は、リアルタイムで行われても良いし、動作データを格納してから行われても良い。また、動作データ入力部３１０は、入力装置５００のユーザ操作を受けて、動作を開始するようにしても良い。

動作特徴抽出部３２０は、動作データ入力部３１０から入力された学習データから動作特徴量を抽出する。そして、動作特徴抽出部３２０は、抽出した動作特徴量を、主成分分析部３３０へ出力する。

ここでは、動作特徴量は、特許文献１に開示されているＣＨＬＡＣ特徴とする。ＣＨＬＡＣ特徴は、２次元画像データからの特徴抽出である高次局所自己相関（ＨＬＡＣ）特徴を、時間軸も加えて３次元に拡張したものであり、画像の平面空間に時間軸を加えた３次元座標系における動きの特徴を示す特徴ベクトルである。

動作特徴抽出部３２０は、例えば、以下の式（１）に示すＮ次自己相関関数を用いて、ＣＨＬＡＣ特徴ｘを算出する。

ｆは時系列画像であり、変数ｒおよびＮ個の変数ａ_ｉ（ｉ＝１，・・・，Ｎ）は画像内の２次元座標と時間とを成分として持つ３次元のベクトルである。時間方向の積分範囲は、どの程度の時間方向の相関を取るかによって定まる。すなわち、積分範囲は、Ｎ枚の静止画像（局所特徴画像）から構成される３次元のピクセル集合であり、変数ｒは画像中の１ピクセル（位置ピクセル）であり、変数ａはｒからの変位ベクトルである。そして、ｆ（ｒ）は位置ｒの関数値であり、局所特徴画像の位置ｒの輝度値を表す。

ＣＨＬＡＣ特徴の場合、変位は３次元であり、変位ベクトルの組み合わせ（変位パターン）の数は、０次で１個、１次で１３個、２次で２３７個である。したがって、ＣＨＬＡＣ特徴は、２値化画像の場合、合計２５１次元の特徴ベクトルとして表される。

主成分分析部３３０は、部分空間作成用データから部分空間を学習し、学習した部分空間を定義する主成分ベクトルと、学習データとを、学習データ距離算出部３４０へ出力する。

主成分分析部３３０は、例えば、以下のようにして主成分ベクトルを算出する。Ｍ次元のＣＨＬＡＣ特徴ベクトルｘと、主成分ベクトル（固有ベクトル）を列に並べた行列Ｕと、共分散行列Σとは、それぞれ、以下の式（２）〜式（４）によって表すことができる。なお、Ｍ＝２５１であり、μは特徴ベクトルｘの平均ベクトルであり、Ｅは期待値を求める演算記号（Ｅ＝（１／Ｎ）Σ）である。

このとき、主成分分析部３３０は、行列Ｕを、以下の式（５）の固有値問題により求める。

固有値の対角行列Λと、第Ｋ固有値までの累積寄与率（寄与度）η_Ｋとは、それぞれ、以下の次（６）および式（７）によって表される。

主成分分析部３３０は、累積寄与率η_Ｋが所定値（例えばη_Ｋ＝０.９９）となる次元までの固有ベクトルｕ_１，・・・，ｕ_Ｋにより張られる空間を、部分空間として適用する。

ここでは、主成分分析部３３０は、予め定められた第１〜第３の累積寄与率η_Ｋ１〜η_Ｋ３のそれぞれについて部分空間を求める。ここでは、第１の累積寄与率η_Ｋ１＝０.９９、第２の累積寄与率η_Ｋ２＝０.９９９９、第３の累積寄与率η_Ｋ３＝０.９９９９９９とする。以下、第１〜第３の累積寄与率η_Ｋ１〜η_Ｋ３を適用して算出された部分空間を、順に、第１〜第３の部分空間という。どの第１〜第３の累積寄与率η_Ｋ１〜η_Ｋ３の適合性が高いかは、監視対象や要求される検出精度に依存する。

学習データ距離算出部３４０は、第１〜第３の部分空間のそれぞれについて、部分空間作成用データとの距離（基準距離）と、部分空間と寄与度評価用データとの距離（評価距離）とを算出する。以下、第１〜第３の部分空間に対する基準距離は、順に、第１〜第３の基準距離という。また、第１〜第３の部分空間に対する評価距離は、順に、第１〜第３の評価距離という。そして、学習データ距離算出部３４０は、第１〜第３の基準距離および第１〜第３の評価距離を、寄与度判定部３５０へ出力する。

学習データ距離算出部３４０は、例えば、以下のようにして基準距離および評価距離を算出する。主成分直交基底Ｕ_Ｋ＝［ｕ_１，・・・，ｕ_Ｋ］によって張られた部分空間への射影子Ｐおよびそれに対する直交補空間への射影子Ｐ_⊥は、以下の式（８）によって表される。なお、Ｕ’は行列Ｕの転置行列であり、Ｉ_ＭはＭ次の単位行列である。

このとき、学習データ距離算出部３４０は、以下の式（９）を用いて、部分空間Ｕへの垂線の２乗距離ｄ^２ _⊥（つまり直交補空間での２乗距離）を算出する。さらに、学習データ距離算出部３４０は、算出した２乗距離ｄ^２ _⊥から、垂直距離ｄ_⊥を、部分空間と対象とする特徴データとの距離（以下、単に「距離」という）として算出する。

寄与度判定部３５０は、第１〜第３の基準距離および第１〜第３の評価距離から、第１〜第３の部分空間の作成に用いた第１〜第３の寄与度の適合性を判定する。具体的には、寄与度判定部３５０は、寄与度毎に、基準距離の平均値と評価距離の平均値との差異の大きさを示す評価値に基づいて、適合性を判定する。以下、第１〜第３の寄与度に対応する評価値を、順に、第１〜第３の評価値という。

図３は、寄与度と距離との関係を説明するための図である。具体的には、図３は、寄与度を変化させたときの、学習データの距離および解析対象データの距離のプロット図である。

ここでは、主成分分析部３３０は、非定常状態を含まないある学習データを、部分空間作成用データＡと、部分空間作成用データＢと、寄与度評価用データとに分けるものとする。そして、主成分分析部３３０は、部分空間作成用データＡおよび部分空間作成用データＢの全体から、部分空間を算出するものとする。以下、部分空間作成用データＡと部分空間との距離は、基準距離Ａという。部分空間作成用データＢと部分空間との距離は、基準距離Ｂという。寄与度評価用データと部分空間との距離は、評価距離という。

図３（Ａ）〜図３（Ｃ）において、横軸は時間を示し、縦軸は距離を示す。また、図中において、三角（▲）のプロット５１１は基準距離Ａを示し、丸（●）のプロット５１２は基準距離Ｂを示し、菱形（◆）のプロット５１３は評価距離を示す。図３（Ａ）〜図３（Ｃ）は、順に、第１の累積寄与率η_Ｋ１＝０.９９のときの距離、第２の累積寄与率η_Ｋ２＝０.９９９９のときの距離、第３の累積寄与率η_Ｋ３＝０.９９９９９９のときの距離である。

図３に示すように、全体的には、寄与度によらず、基準距離Ａと基準距離Ｂとの間の差異に比べて、基準距離Ａおよび基準距離Ｂと評価距離との間の差異は大きい。

ところが、第１の累積寄与率と第２の累積寄与率との間で比較すると、第１の累積寄与率における基準距離Ａおよび基準距離Ｂと評価距離との間の差異はより小さい。すなわち、学習対象となったものの距離と、学習対象となっていないものの距離との間には、微細な差しか出ていない。これは、設定寄与度が低ければ低いほど、標準動作との差異がより大きい異常動作しか検出されない可能性がより高くなるということを示す。

また、第３の累積寄与率と第２の累積寄与率との間で比較すると、第３の累積寄与率における基準距離Ａおよび基準距離Ｂと評価距離との間の差異はより大きい。すなわち、学習対象となったものと学習対象となっていないものとの間で、距離の大きい差が出ている。これは、設定寄与度が高ければ高いほど、細かい動作の差異に基づいて、標準動作が異常動作として検出されてしまう可能性がより高くなるということを示す。

このように、寄与度が高くなればなるほど、部分空間作成用データに対する学習が進み、基準距離と評価距離との差が大きくなる。寄与度が低くても抽出される動作の差異は、各学習データの個別の差に左右されない大きな差異であるといえる。また、寄与度が非常に高い場合に抽出される動作の差異は、学習データの個別の差まで反映されてしまった細かい差異であるといえる。

動作解析の目的に応じて、抽出すべき動作の差異の大きさは異なる。このため、一律の基準において差異が大きいと判定される動作を提示するのではなく、抽出された動作の差異の大きさそのものを提示することは、解析結果を理解するうえで役に立つ。寄与度判定部３５０は、基準距離の平均値と評価距離の平均値との差分を評価値として用いて、寄与度の適合性を判定する。

このように構成された動作解析装置３００は、学習データのみから、寄与度の適合性を判定することができる。

以下、動作解析装置の動作について説明する。

図４は、動作解析装置３００の全体動作を示すフローチャートである。

まず、ステップＳ１０００において、動作データ入力部３１０は、動作データ（ここでは学習データのみ）を入力し、動作特徴抽出部３２０において、学習データの特徴量を抽出する。

そして、ステップＳ２０００において、主成分分析部３３０は、学習データを部分空間作成用データと寄与度評価用データとに分けたときの、部分空間作成用データから、部分空間を算出する。ここでは、主成分分析部３３０は、上述の通り、第１〜第３の部分空間を生成する。

そして、ステップＳ３０００において、学習データ距離算出部３４０は、部分空間に対する学習データの距離、つまり基準距離および評価距離を算出する。ここでは、学習データ距離算出部３４０は、上述の通り、第１〜第３の基準距離および第１〜第３の部分空間を生成する。

そして、ステップＳ４０００において、寄与度判定部３５０は、寄与度判定処理を行う。寄与度判定処理は、基準距離と評価距離に基づいて、寄与度の適合性を判定する処理である。

図５は、寄与度判定処理を示すフローチャートである。

まず、ステップＳ４１００において、寄与度判定部３５０は、部分空間作成用データの距離（基準距離）の平均値ａを求める。

そして、ステップＳ４２００において、寄与度判定部３５０は、寄与度評価用データの距離（評価距離）の平均値ｂを求める。なお、ステップＳ４１００、Ｓ４２００の処理順序は逆でも良い。

そして、ステップＳ４３００において、寄与度判定部３５０は、評価値ｃとして、平均値ａと平均値ｂとの比ｃ＝ｂ／ａを求める。ここでは、動作解析装置３００は、第１〜第３の評価値ｃ_１〜ｃ_３を求める。

図６は、評価値ｃとして平均値の比を用いる場合の第１〜第３の評価値の算出例を示す図である。

図６に示すように、例えば、寄与度０.９９、０.９９９９、０.９９９９９９に対応する第１〜第３の評価値ｃ_１〜ｃ_３は、順に、１.２、２.０３、１６.３７となる。

そして、図５のステップＳ４４００において、寄与度判定部３５０は、予め設定された適正範囲ｄを取得し、評価値ｃと適正範囲ｄとを比較して、寄与度の適合性のレベルを判定し、判定結果を出力する。

例えば、適正範囲ｄは、１.５＜ｃ＜２.５の範囲に設定される。また、例えば、寄与度の適合性のレベルとして、適正範囲ｄ以下、適正範囲ｄ、および適正範囲ｄ以上の３つの範囲に対応する３つのレベルが設定される。この場合、寄与度判定部３５０は、評価値ｃが１.５以下の場合、「学習が少ない」であると判定する。また、寄与度判定部３５０は、評価値ｃが１.５よりも大きく２.５よりも小さい場合、「適正」であると判定する。また、寄与度判定部３５０は、評価値ｃの値が２.５よりも大きい場合、「学習し過ぎ」であると判定する。したがって、図６の例では、寄与度判定部３５０は、寄与度０.９９を「学習が少ない」であると判定し、寄与度０.９９９９を「適正」であると判定し、寄与度０.９９９９９９を「学習しすぎ」であると判定する。

このような動作により、動作解析装置３００は、基準距離および評価距離を算出し、これらの平均値の差分から、寄与度の適合性を判定することができる。

なお、動作解析装置３００は、評価値ｃとして、距離の最大値、最小値、または標準偏差等、距離に関する他の統計量における比を用いても良い。例えば、動作解析装置３００は、基準距離の平均値ａ、評価距離の平均値ｂ、基準距離の標準偏差ｅ、評価距離の標準偏差ｆを用いて、評価値ｃとして、ｃ＝ｅ／ｆ、またはｃ＝ａ／ｅを算出する。また、動作解析装置３００は、複数の統計量の演算結果を用いて、レベルを判定しても良い。例えば、動作解析装置３００は、評価値ｃとして、ｃ＝ａ＋ｅを用い、適正範囲ｄを、ａ＋ｅ＜ｂ＜ａ＋２ｅ＋ｂとする。つまり、動作解析装置３００は、ｂ＜ａ＋ｅの場合には「学習が少ない」、ａ＋ｅ＜ｂ＜ａ＋２ｅ＋ｂの場合には「適正」、ａ＋２ｅ＋ｂ＜ｂの場合には「学習しすぎ」と、それぞれ判定する。

図７は、評価値として標準偏差の比を用いる場合の各寄与度の評価値の算出例を示す図である。

図７に示すように、例えば、寄与度０.９９、０.９９９９、０.９９９９９９に対応する第１〜第３の評価値ｃ_１〜ｃ_３は、順に、１.０８、２.１３、１６.１８となる。適正範囲ｄとの関係で、平均値が用いられる場合と同様に、レベルが判定される。

以上のように、本実施の形態に係る動作解析装置３００は、学習データのみに基づいて寄与度の適合性を判定し、判定結果をユーザに提示することができる。これにより、動作解析装置３００は、ユーザに対して判定結果のみを確認して主成分分析に用いた寄与度の適合性を効率良く解析することや、適正レベルの寄与度の自動設定を可能にする。すなわち、動作解析装置３００は、解析条件に適合する寄与度を簡単に設定することができる。

なお、動作解析装置３００は、学習データのうち部分空間作成用データとして用いる部分を変化させて、つまり、部分空間作成用データを変化させて、各寄与度に対して複数回の評価値を算出し、複数の判定結果を取得するようにしても良い。また、動作解析装置３００は、その複数の判定結果を代表する結果を、最終的な判定結果として取得するようにしても良い。これにより、動作解析装置３００は、統計的により安定した結果を得ることができる。

また、動作解析装置３００は、予め定めた複数の寄与度について判定を行うのではなく、寄与度の値を変化させながら、寄与度の判定結果が適正を示すまで、処理を繰り返すようにしてもよい。これにより、動作解析装置３００は、学習データを入力するだけで、自動で適正な寄与度を求めることができる。

また、動作解析装置３００は、ユーザから評価値ｃの適正範囲ｄや、算出の対象となる寄与度に対する変更を受け付けるユーザインタフェースを有しても良い。これにより、ユーザは、寄与度の判定結果を確認しながら、適正な寄与度をより確実に得ることができる。

（実施の形態２）
本発明の実施の形態２は、寄与度の適合性を解析対象データの解析結果と共にユーザに提示することにより、ユーザの解析結果の理解を助けるようにしたものである。

図８は、本実施の形態に係る動作解析装置の構成を示すブロック図であり、実施の形態１の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。

図８に示すように、本実施の形態に係る動作解析装置３００ａは、図１に示す構成に加えて、解析対象データ距離算出部３６０ａおよび表示情報生成部３７０ａを有する。

本実施の形態では、動作データ入力部３１０は、動作特徴抽出部３２０からの要求に応じて、センサ装置２００から学習データおよび解析対象データを取得し、動作特徴抽出部３２０へ転送する。また、動作特徴抽出部３２０は、動作データ入力部３１０から入力された学習データおよび解析対象データから動作特徴量を抽出し、抽出した動作特徴量を、解析対象データ距離算出部３６０ａへ出力する。また、寄与度判定部３５０は、寄与度の適合性についての判定結果を、表示情報生成部３７０ａへ出力する。

解析対象データ距離算出部３６０ａは、動作特徴抽出部３２０から入力された学習データの全てから、第１〜第３の累積寄与率η_Ｋ１〜η_Ｋのそれぞれについて部分空間を求める。以下、第１〜第３の累積寄与率η_Ｋ１〜η_Ｋ３を適用して算出された部分空間を、順に、第１〜第３の部分空間という。なお、解析対象データ距離算出部３６０ａが算出する第１〜第３の部分空間は、主成分分析部３３０が算出する第１〜第３の部分空間とは、基となる学習データが一致しないため、必ずしも一致するとは限らない。

そして、解析対象データ距離算出部３６０ａは、学習した第１〜第３の部分空間のそれぞれについて、解析対象データとの距離（以下「解析対象距離」という）を算出する。以下、第１〜第３の部分空間に対する解析対象距離を、順に、第１〜第３の解析対象距離という。そして、解析対象データ距離算出部３６０ａは、第１〜第３の解析対象距離を、表示情報生成部３７０ａへ出力する。

表示情報生成部３７０は、寄与度判定部３５０の判定結果と、解析対象データ距離算出部３６０ａの算出結果から、解析対象データの解析結果を示す結果表示画面を生成し、生成した結果表示画面を、出力装置４００によりユーザに提示する。

このような構成を有する動作解析装置３００ａは、解析対象データの解析結果（つまり異常動作の有無）を、寄与度の適合性と共に、ユーザに提示することができる。すなわち、ユーザは、動作解析装置３００ａを用いることにより、寄与度の適合性を確認しながら、動作の解析を行うことができる。

以下、動作解析装置３００ａの動作について説明する。

図９は、動作解析装置３００ａの全体動作を示すフローチャートであり、実施の形態１の図４に対応するものである。図４と同一部分には同一ステップ番号を付し、これについての説明を省略する。

動作解析装置３００ａは、寄与度判定処理を行った後（Ｓ４０００、図５）、ステップＳ５０００ａへ進む。

ステップＳ５０００ａにおいて、動作特徴抽出部３２０は、全ての学習データの動作の動作特徴量を抽出する。そして、学習データ距離算出部３４０は、全ての学習データを用いて、第１〜第３の寄与度のそれぞれによる主成分分析を行い、第１〜第３の部分空間を生成する。なお、動作解析装置３００ａは、ステップＳ５０００ａの処理を実行せず、ステップＳ２０００において生成した第１〜第３の部分空間をそのまま用いてもよい。

そして、ステップＳ６０００ａにおいて、動作特徴抽出部３２０は、解析対象データの動作の動作特徴量を抽出する。なお、動作解析装置３００ａは、ステップＳ６０００ａの処理を、ステップＳ５０００ａの処理の前に行っても良く、例えば、ステップＳ１０００の前または後に行っても良い。

そして、ステップＳ７０００ａにおいて、動作特徴抽出部３２０は、第１〜第３の部分空間と解析対象データの動作特徴量との距離（解析対象距離）を算出する。

そして、ステップＳ８０００において、表示情報生成部３７０ａは、ステップＳ４０００で判定した寄与度の適合性と、ステップ７０００ａで算出した寄与度毎の解析対象距離とを用いて、結果表示画面の表示データを生成する。そして、表示情報生成部３７０ａは、生成した表示データを出力装置４００へ出力すると共に、結果表示画面に対するユーザ操作を、入力装置５００を介して受け付ける。

このような動作により、動作解析装置３００ａは、ユーザに対して、解析対象データの解析結果（つまり異常動作の有無）を、寄与度の適合性と共に、ユーザに提示することができる。

なお、動作解析装置３００ａは、寄与度を変えながら、ステップＳ２０００〜Ｓ７０００ａの処理を繰り返してもよい。また、動作解析装置３００ａは、寄与度を変えながら、寄与度の判定結果が所望の結果となるまでステップＳ２０００〜Ｓ４０００の処理を繰り返し、その後、ステップＳ５０００〜Ｓ７０００の処理を実行してもよい。これにより、動作解析装置３００ａは、目的に合致した寄与度の主成分分析を用いて、解析対象データの非定常動作に該当する部分を、自動で抽出することができる。

また、動作解析装置３００ａは、寄与度を変えながら、寄与度の判定結果が所望の結果となるまで、ステップＳ２０００〜Ｓ７０００を行う処理を繰り返してもよい。これにより、動作解析装置３００ａは、例えば、寄与度の適合性が低い（学習が少ない）主成分分析を用いて、解析対象データの非定常部分を、自動で抽出することができる。また、動作解析装置３００ａは、寄与度の適合性が高い（学習が少なく、抽出される非定常部分は個人差レベルと推定される）主成分分析を用いて、抽出した解析対象データの非定常部分を、自動で抽出することができる。

結果表示画面は、「適正」と判定された寄与度による解析結果のみを表示するものであっても良いし、第１〜第３の寄与度による解析結果をその寄与度の適合性と共に表示するものであっても良い。

図１０は、「適正」と判定された寄与度による解析結果のみを表示する結果表示画面の一例を示す図である。

図１０に示すように、結果表示画面６１０は、解析結果表示領域６１１、再生ボタン６１２、画像表示領域６１３、一時停止ボタン６１４、終了ボタン６１５、および標準動作表示領域６１６を有する。

表示情報生成部３７０ａは、結果表示画面６１０において、解析結果表示領域６１１に、解析対象距離の時系列データ６１７と、所定の閾値を示す閾値表示線６１８と、解析対象距離が閾値を超える箇所を示すマーカ６１９とを表示する。また、表示情報生成部３７０ａは、結果表示画面６１０において、左右に移動操作可能な再生箇所表示線６２０を表示する。

更に、表示情報生成部３７０ａは、結果表示画面６１０において、表示中の解析対象距離の時系列データ６１７が、適正な寄与度により算出されたものであることを示すメッセージ６２１を表示する。

表示情報生成部３７０ａは、再生ボタン６１２がクリックされると、比較対象動作の撮影画像を画像表示領域６１３で再生すると共に、再生箇所表示線６２０を再生に合わせて移動させる。また、表示情報生成部３７０ａは、画像の再生中に一時停止ボタン６１４がクリックされると、画像の再生を一時的に停止する。また、表示情報生成部３７０ａは、標準動作表示領域６１６において、画像表示領域６１３における比較対象動作の撮影画像の再生と同期して、標準動作の撮影画像を再生する。

このような結果表示画面６１０が提示されることにより、ユーザは、再生箇所表示線６２０をマーカ６１９部分に移動させて再生ボタン６１２をクリックして、異常動作の映像を素早くピックアップして確認することができる。また、ユーザは、比較対象動作と標準動作とを視覚的に比較することができる。更に、ユーザは、適正な寄与度による解析結果であることを確認することができるので、解析対象データの動作解析結果を正しく理解することができる。

図１１は、第１〜第３の寄与度による解析結果をその寄与度の適合性と共に表示する結果表示画面の一例を示す図であり、図１０に対応するものである。図１０と同一部分には同一符号を付し、これについての説明を省略する。

図１１に示すように、結果表示画面７１０は、第１〜第３の寄与度に対応する第１〜第３の解析結果表示領域６１１_１〜６１１_３と、各寄与度の適合性を示す寄与度適合性表示領域７１１とを有する。

表示情報生成部３７０ａは、寄与度適合性表示領域７１１において、第１〜第３の寄与度の解析対象距離が閾値を超える箇所を示す第１〜第３のマーカ６１９_１〜６１９_３を表示する。表示情報生成部３７０ａは、該当箇所が重複する場合には、例えば、より低い寄与度に対応するマーカ６１９を優先的に表示する。そして、表示情報生成部３７０ａは、各マーカ６１９に対応する寄与度の適合性を、そのマーカ６１９の色や模様等で表示する。

このような結果表示画面７１０が提示されることにより、ユーザは、寄与度の異なる複数の動作解析結果を、その寄与度の適合性を併せて確認することができるので、解析対象データの動作解析結果を正しく理解することができる。また、全てのレベルの解析結果が提示されるので、ユーザは、より確実に異常動作を抽出することができる。

寄与度が異なる解析対象距離は、その値の取り得る範囲、つまり、その値が示す意味が異なるため、ただ第１〜第３の解析結果表示領域６１１_１〜６１１_３を提示されただけでは、ユーザはこれらの解析結果を総合的に捉え難い。しかし、結果表示画面７１０には、各寄与度の適合性を示す寄与度適合性表示領域７１１も提示されるので、ユーザは、寄与度の異なる解析結果を容易に総合的に捉えることができる。

このように、本実施の形態によれば、寄与度の適合性を解析対象データの解析結果と共にユーザに提示するので、ユーザの解析結果の理解を助けることができる。

なお、以上説明した各実施の形態では、適合性判定の対象とする寄与度を、０.９９、０.９９９９、０.９９９９９９としたが、値および個数共にこれらに限定されない。また、寄与度の適合性のレベルの個数および各レベルに対応する評価値は、上述の例に限定されない。

また、解析の対象となる動作データは、カメラ映像に限定されない。解析の対象となる動作データは、例えば、モーションキャプチャ装置で取得したマーカの位置のみを画像化したデータや、マーカの位置から作成したアニメーションデータでも良い。

また、解析に用いられる動作特徴量は、ＣＨＬＡＣ特徴量に限定されない。解析に用いられる動作特徴量は、例えば、重み付き方向ヒストグラムを用いた高次の局所特徴量でも良い。この場合、動作解析装置は、濃度勾配画像から画像の局所的な方向ヒストグラムを求め、求めた方向ヒストグラムを動作特徴量とすれば良い。

更にいえは、解析に用いられる動作特徴量は、動画像データから抽出される動作特徴量に限定されない。解析に用いられる動作特徴量は、たとえば、動作から得られる距離データ、温度データ、加速度データ、磁気データ、音データ等、動作の特徴を示す多次元の動作特徴量を抽出可能な各種データであっても良い。この場合、センサ装置は、距離センサ、温度センサ、加速度センサ、および磁気センサ、集音センサ等の適切な装置とする必要がある。これらのセンサは、動作の主体者が装着しても良いし、動作の主体者が使用する道具に装着しても良い。例えば、センサ装置は、モーションキャプチャを用いて取得したマーカの識別番号と位置情報を含む時系列のデータを、多次元の動作特徴量として用いるものであっても良い。

また、動作解析装置は、解析結果の提示を、画面表示と併せて、または画面表示に代えて、音声出力により行っても良い。この場合、出力装置は、ラウドスピーカ等を備える必要がある。

また、以上説明した各実施の形態では、本発明を工場における作業動作の解析するための装置に適用したが、これに限定されない。本発明は、例えば、車両運転、スポーツ、調理、楽器演奏等、各種の動作を解析する装置等、他の各種装置に適用することができる。

本発明に係る動作解析装置および動作解析方法は、解析条件に適合する寄与度を簡単に設定することができる動作解析装置および動作解析方法として有用である。

１００ 動作解析システム
２００ センサ装置
３００、３００ａ 動作解析装置
３１０ 動作データ入力部
３２０ 動作特徴抽出部
３３０ 主成分分析部
３４０ 学習データ距離算出部
３５０ 寄与度判定部
３６０ａ 解析対象データ距離算出部
３７０ａ 表示情報生成部
４００ 出力装置
５００ 入力装置

Claims (8)

1. 動画像を用いて非定常動作を抽出する動作解析装置において、
   学習データを入力する動作データ入力部と、
   前記動作データ入力部が入力した前記学習データから動作特徴量を抽出する動作特徴抽出部と、
   前記学習データの一部に対して、前記動作特徴抽出部が抽出した動作特徴量を用いて主成分分析を行い、部分空間を学習する主成分分析部と、
   前記動作特徴抽出部が抽出した学習データの動作特徴量と、前記主成分分析部が学習した部分空間との距離を算出する学習データ距離算出部と、
   前記学習データ距離算出部が算出した距離のうち、前記主成分分析部が前記部分空間の学習に用いた学習データから算出された距離と、前記主成分分析部が前記部分空間の学習に用いなかった学習データから算出された距離とから、前記主成分分析部が前記主成分分析に用いた寄与度の適合性を判定する寄与度判定部と、
   を具備する動作解析装置。
2. 前記寄与度判定部は、前記部分空間の学習に用いた学習データから算出された距離の平均値と、前記部分空間の学習に用いなかった学習データから算出された距離の平均値との比から、前記寄与度の適合性を判定する、
   請求項１記載の動作解析装置。
3. 前記寄与度判定部は、前記部分空間の学習に用いた学習データから算出された距離の標準偏差と、前記部分空間の学習に用いなかった学習データから算出された距離の標準偏差との比から、前記寄与度の適合性を判定する、
   請求項１記載の動作解析装置。
4. 前記寄与度の適合性の判定結果を出力する表示情報生成部、を更に具備する、
   請求項１記載の動作解析装置。
5. 前記動作特徴抽出部が抽出した前記解析対象データの動作特徴量と、前記主成分分析部が学習した部分空間との距離を算出する解析対象データ距離算出部、を更に具備し、
   前記表示情報生成部は、
   前記解析対象データ距離算出部が算出した距離と併せて、当該距離の算出に用いられた前記寄与度の適合性の判定結果を出力する、
   請求項４記載の動作解析装置。
6. 前記主成分分析部は、
   複数の寄与度のそれぞれについて前記部分空間を学習し、
   前記表示情報生成部は、
   前記複数の寄与度のそれぞれについて、前記解析対象データ距離算出部が算出した距離と、適合性の判定結果とを出力する、
   請求項５記載の動作解析装置。
7. 前記動作特徴量はＣＨＬＡＣ特徴である、
   請求項１記載の動作解析装置。
8. 動画像を用いて非定常動作を抽出する動作解析方法において、
   学習データを入力するステップと、
   前記学習データから動作特徴量を抽出するステップと、
   前記学習データの一部から抽出した動作特徴量を用いて主成分分析を行い、部分空間を学習するステップと、
   前記学習データの動作特徴量と前記部分空間との距離を算出するステップと、
   前記学習データの動作特徴量と前記部分空間との距離のうち、前記部分空間の学習に用いた学習データから算出された距離と、前記部分空間の学習に用いなかった学習データから算出された距離とから、前記主成分分析に用いた寄与度の適合性を判定するステップと、
   を有する動作解析方法。
   

Images