JP5118038B2 - ユーザの動きを分析するシステム及び方法 - Google Patents

Description

本発明は、ユーザの動きを分析するシステム及び方法に関する。より詳細には、本発明は、たとえば卒中といった神経の損傷後のユーザの運動機能を評価する新たな技術に関する。

不全片麻痺（hemiparesis）、すなわち肢の片側衰弱（a single-sided weakness of the limbs）は、卒中（stroke）に続く最も一般的な機能障害である。ＵＳ７００．０００では、新たなケースの発作が毎年生じている。致命的に、そのケースの２０％において、発作は、被害者の６０％における障害を引き起こしている。リハビリの措置及び労働力の損失は、毎年米国社会に＄５０Ｂドルのコストを与えている。

コストを最適化しつつリハビリの努力を最大にするため、リハビリのエクササイズは、管理する専門家を利用可能にすることなしに、家庭で患者により継続されることが望ましい。適切なフィードバックがリハビリの成功を強化することが知られている。このため、エクササイズの自動的な評価が必要である。

従来技術から、たとえば書き取りのエクササイズのコンピュータ化された評価、耐久力測定、又は入力装置でのエクササイズによるといった、異なる運動障害の評価が知られている。これら公知のシステム及び方法は、家庭での使用ではなく、専門的な環境での使用が意図されている。

他の公知の技術は、ユーザの運動能力を評価するためにユーザのビデオ画像データを使用した、ビデオアプローチに基づいている。ＵＳ６８１６６０３Ｂ２は、ビデオ処理を組み込んだリモートメディカルモニタリングの方法及び装置を示し、複数のシルエットが生成及び結合され、動きのポートレートが供給され、この動きのポートレートから、最終的な動き特性が計算される。前記患者で指摘されている複雑なビデオ処理手順は、実質的な前処理及び後処理を含む。これにより、ボディセグメンテーションの非常に複雑なタスクが実行される。

本発明の目的は、監視されない家庭での環境で使用することができる、ユーザの動きを分析するためのシンプル、ロバストかつ低コストの技術を提供することにある。

上記目的は、ユーザの動きを分析する方法により、本発明に従って達成され、本方法は、指示に従って調整された動きをユーザに実行させるステップ、ユーザをビデオ記録することで、画像系列の形式でビデオ画像データを生成するステップ、画像系列において、コンピュータビジョン技術を有するコンピュータシステムを使用して、左半身及び右半身でのオプティカルフロー（optical flow）の共時性（synchronicity）の程度を判定するステップ、及び、共時性の程度に基づいてユーザの運動の機能を評価するステップを含む。さらに、適切なフィードバックは、訂正及び／又は評価の形式でユーザに与えることができる。

また、本発明の目的は、ユーザの動きを分析するシステムにより達成され、本システムは、指示に従って調整された動きをユーザに実行させるために適合されるディスプレイユニット及び／又はオーディオインタフェース、ユーザをビデオ記録することで画像系列の形式でビデオ画像データを生成するために適合されるビデオカメラ、コンピュータビジョン技術を含むコンピュータシステムを有する。前記コンピュータシステムは、左半身と右半身でのオプティカルフローの共時性の程度をビデオ画像データに基づいて判定するために適合される。本システムは、共時性の程度に基づいてユーザの運動の機能を評価するために適合される分析ユニットをさらに含む。

また、本発明の目的は、ユーザの動きを分析するコンピュータプログラムにより達成され、本プログラムは、ユーザの左半身及び右半身でのオプティカルフローの共時性の程度を画像系列において判定するコンピュータ命令を含む。画像系列の形式での前記ビデオ画像データは、ユーザをビデオ記録することで生成される。本プログラムは、コンピュータプログラムがコンピュータで実行されたとき、共時性の程度に基づいてユーザの運動の機能を評価するためにコンピュータ命令を含む。本発明に従う必要な技術的な効果は、本発明に係るコンピュータプログラムの命令に基づいて実現することができる。係るコンピュータプログラムは、ＣＤ−ＲＯＭのようなキャリアに記録することができるか、インターネット又は別のコンピュータネットワークを通して利用可能となる。実行の前に、コンピュータプログラムは、たとえばＣＤ−ＲＯＭプレーヤにより、又はインターネットから、キャリアからコンピュータプログラムを読取り、それをコンピュータのメモリに記憶することでコンピュータにロードされる。コンピュータは、とりわけ、中央処理装置（ＣＰＵ）、バスシステム、たとえばＲＡＭ又はＲＯＭ等といったメモリ手段、たとえばフロプティカルディスク又はハードディスクユニット等のようなストレージ手段、及び入力／出力ユニットを含む。代替的に、本発明の方法は、たとえば１以上の集積回路を使用するといった、ハードウェアで実現される。

本発明のコアとなる考えは、ユーザの身体のうちの左半身及び右半身の共時性の程度に基づいてユーザの運動機能を評価することである。測定値として、ユーザの身体の左半身と右半身でのオプティカルフローの共時性が使用される。言い換えれば、画像系列におけるモーションフロー（motion flow）は、ユーザの動きの共時性が決定的な基準として使用されるように評価される。本発明によれば、コンピュータがユーザの手又は肘等としてビデオ画像の所定の部分を識別することは、ユーザの運動機能を評価するために関連しない。コンピュータシステムは、オプティカルフローに関してビデオデータのみを分析する。セグメント化、又は他の複雑で時間のかかる高価なタスクは必要とされない。したがって、システムは、家庭環境でのロバストな動作のための要件を達成する。

用語「共時性」が使用される場合はどこであっても、用語「非共時性」がこれに応じて使用される場合があることが指摘される必要がある。言い換えれば、本発明に係る方法を実行しつつ、共時性の程度又は非共時性の程度が判定されるかは、本発明にとって重要ではない。狙いは、たとえばユーザの上肢の動きが同期的（すなわち同時）であること、及び／又はどの程度まで同期的ではないことを判定することである。本発明によれば、たとえば上肢及び下肢の動き又はユーザの顔の動きといった、異なる種類の動きを評価することができる。

本発明に係る新たな方法及びシステムは、以下の点で特徴づけされる。ユーザは反射型のマーカ等を運ぶ必要がない。照明条件は、既知である必要がない。ユーザの衣服は既知である必要はない。ユーザは、カメラの動作エリア内で自由に自身を位置させる場合がある。これにより、従来技術の主要な問題が解決される。さらに、これらの利点は、監視されない家庭用の環境で使用可能なシンプル、ロバスト、及び低コストの技術により達成することができる。

本発明のこれらの態様及び他の態様は、従属の請求項で定義される以下の実施の形態に基づいてさらに説明される。
本発明の好適な実子の形態によれば、ユーザは、ディスプレイユニット及び／又はオーディオインタフェースにより指示される。したがって、ユーザは、たとえば上肢の調整された動きといった、所定のフィジカルなタスクを実行するための命令を受ける。好ましくは、要求されるタスクは、ディスプレイユニットでユーザに表示され、及び／又は、たとえば音声シンセサイザにより話されて、オーディオインタフェースを介してユーザに送信される。さらに、ディスプレイユニットは、エクササイズの終わりで又はエクササイズの途中でビジュアルなフィードバックを供給するために適合されることが好ましく、オーディオインタフェースは、ユーザにオーディオフィードバックを供給するために適合されることが好ましい。言い換えれば、ディスプレイユニット及び／又はオーディオインタフェースは、ユーザへの評価の結果を供給するために適合される。

本発明によれば、共時性の程度は、ユーザの身体の左半身及び右半身でのオプティカルフローに基づいて決定される。左半身と右半身との間で区別するため、ユーザの身体のセンターラインは、本発明の別の好適な実子の形態に従って、ユーザの顔をトラッキングすることで決定される。このため、（パン及びチルトの動きを可能にするためにサーボモータが設けられる）可動式のビデオカメラとの組み合わせで、トラッキングソフトウェアが使用される。これにより、ユーザは、運動機能のテストの間にビデオカメラの動作レンジ内で自由に移動することが可能になる。言い換えれば、モニタユニットとの組み合わせにおけるコンピュータビジョン技術は、ユーザの身体の垂直方向の中心線が画像の中心線と一致するように、ユーザをトラッキングし、カメラを配置するために利用され、この場合、垂直方向の身体の中心線を判定することは、顔及び他の身体の部分のような特徴のためのトラッキングソフトウェアにより達成される。代替的に、垂直方向の身体の中心線を判定するタスクは、身体に取り付けられたフィジカルマーカをトラッキングすることで達成することができる。

共時性の程度を判定するため、コンピュータビジョン技術によりセンターラインの左に割り当てられるビデオ画像データは、ユーザの左半身に割り当てられ、コンピュータビジョン技術によりセンターラインの右に割り当てられるビデオ画像データは、ユーザの右半身に割り当てられる。

本発明の別の好適な実施の形態によれば、記録されたビデオ画像は、静的な動き領域にセグメント化される。共時性の程度を判定するため、ユーザの身体の左半身と右半身におけるフローコンポーネントが計算され、互いに比較される。フローコンポーネントを計算するため、好ましくは３フレームの３Ｄ再帰型のサーチの動き予測アルゴリズムが使用される。この類のアルゴリズムは、変位ベクトルによりユーザの動きを記述し、ユーザの動きに関する容易かつ直接的な分析を可能にする。

共時性の程度が計算された後、ユーザの運動機能の評価が実行される。このため、共時性の程度は、本発明の別の好適な実施の形態に従って閾値と比較される。これにより、閾値は、たとえばユーザの上肢の深刻な麻痺の判定を可能にする静的な値である。代替的に、閾値は、動的に適合され、たとえば日又は月の期間で、ユーザの運動のリハビリテーションの進展を判定することができる。

最後に、本発明の更に別の好適な実施の形態によれば、評価の結果は、好ましくはユーザにビジュアルなフィードバックを提供するために適合されるディスプレイユニット及び／又はユーザにオーディオのフィードバックを提供するオーディオインタフェースを使用して、ユーザに発せられる。

本発明のこれらの態様及び他の態様は、以下の実施の形態及び添付図面を参照して、例示を通して、以下に詳細に説明される。

システム１は、指示に従って調整された動きをユーザ４に実行させる（ステップ１００）ために適合させるディスプレイユニット２及びオーディオインタフェース３を有する。言い換えれば、システム１は、エクササイズを実行する事に関してユーザ４に指示する手段を有する。ユーザ４は、たとえば腕を同時に上げ下げするといった、所定の動きを実行することが要求される。命令は、ディスプレイ２により短いビデオクリップ又はアニメーションの形式で、及び／又は話者５を介して話された命令としてユーザ４に与えられる。ディスプレイ２及びオーディオインタフェース３は、好ましくは結合され、インタフェースユニット６を形成することが好ましい。インタフェースユニット６として、たとえば、コンピュータモニタ、ＴＶセット、ハンドヘルドデバイス等が使用される。インタフェースユニット６、特にディスプレイ２は、エクササイズの間及び／又はテストの終わりでユーザ４に視覚的なフィードバックを供給するために適合される。エクササイズの間に与えられるフィードバックは、エクササイズがユーザにより良好に実行されているかに関する情報を含む。テストの終わりでユーザ４に与えられるフィードバックは、テストの結果に関する情報を含む。

システム１は、ユーザ４をビデオ記録することで（ステップ１１０）画像系列の形式でビデオ画像データを生成するために適合されるビデオカメラ７を更に有する。本発明のため、１つのビデオカメラ７で充分である。しかし、２以上のビデオカメラ７を使用することができ、ビデオ画像処理は更に複雑になる。ビデオカメラ７として、たとえばＰｈｉｌｉｐｓＴｏｕＣａｍといった非常にシンプルな標準的なカメラを使用することができる。かかるビデオカメラ７により、本発明の目的にとって充分である、低解像度又は中解像度でのビデオ画像の記録が可能になる。ビデオカメラ７には、カメラレンズのパン及びチルトの動きを可能にするサーボモータを有するモニタユニット８が設けられている。ビデオカメラ７及びモータユニット８は結合され、カメラユニット１０を形成する。かかるビデオカメラ７は、たとえばＰｈｉｌｉｐｓ Ｈｏｍｅ Ｄｉａｌｏｇ Ｓｙｓｔｅｍから知られている。

本発明の非常にシンプルな実施の形態では、ＴＶセットは、インタフェースユニットとしての役割を果たすために使用され、たとえばユーザにより話される指示といった音声入力のため、ビデオカメラ７のビルトインマイクロフォン９が使用される。別の実施の形態では（図示せず）、ディスプレイ２、オーディオインタフェース３及びビデオカメラ７，８が結合され、単一の装置を形成する。これにより、システムが高価な配線なしに機能するので、特に高齢者にとってシステムの容易な動作が可能となる。

システム１は、とりわけコンピュータビジョン技術を実現するコンピュータシステム１１を更に有する。たとえば標準的なパーソナルコンピュータであるコンピュータシステム１１は、本発明のシステム１の制御を実行するために適合される。この目的のため、コンピュータシステム１１は、カメラユニット１０及びインタフェースユニット６と接続される。ビデオカメラ７から、画像系列は、コンピュータシステム１１の処理ユニット１２に転送される。

さらに、コンピュータシステム１１は、ビデオ画像データの計算、結果を判定及び評価する全てのタスクを実行するために適合される。これは、ソフトウェアがコンピュータシステム１１で実行されるとき、本発明の方法のステップを実行するために適合されるコンピュータ命令を含むコンピュータソフトウェアにより本発明に従って達成される。

コンピュータシステム１１は、ハードウェア、ソフトウェア又は両者の組み合わせの形式で実現される機能モジュール又はユニットを有する。

ソフトウェアユニットとして実現されるのが好ましいコンピュータシステムの第一のユニット１１は、テストを開始するためにユーザコマンドに従ってビデオ記録を開始するために適合される。言い換えれば、ユーザ４が予め定義されたＳＴＡＲＴ命令を話し、この命令がマイクロフォン９により記録された場合、実行されるユーザの動きは、ビデオカメラ７により記録される。記録の間、要求される動きを表示するアニメーションは、ディスプレイ２に表示される。

ソフトウェアユニットとして好ましくは実現されるコンピュータシステム１１の第二のユニットは、ビデオカメラ７がユーザインタフェース１３に従うように、モータユニット８を制御するために適合される。これにより、モータユニット８は、ユーザの身体のセンターラインが画像のセンターラインと一致するように、ユーザの顔１３をトラックし、ビデオカメラ７を位置するために利用される。

カメラ画像が捕捉される間、画像は、フェーストラッキングソフトウェア及びビデオカメラ７のパン／チルト機能のため、ユーザの顔の中心線（垂直方向の中心線１７）にセンタリングされる。したがって、画像の左半分と右半分は、ユーザの身体の左半分１４と右半分１５に対応する。パン／チルト機能は、エクササイズの記録の開始の前に、ユーザ４を追跡するために使用される。ビデオ記録の間、この機能はスイッチオフにされ、ユーザ４は、彼の場所で立っていることが想定される。

画像系列が記録された後、コンピュータシステム１１の処理ユニット１２内で画像は処理される（ステップ１２０）。この処理ユニット１２は、ソフトウェアユニットとして実現されることが好ましいが、勿論、ハードウェアユニットの形式で実現することもできる。処理ユニット１２は、記録された画像系列におけるオプティカルフローを計算するために適合され、すなわち、ユニットは、ビデオ画像データに基づいて、左半身１４と右半身１５でのオプティカルフローの共時性の程度を判定するために適合される。図３を参照されたい。この目的のため、記録された画像系列におけるフローを計算するために特定のアルゴリズムが使用される。

画像を処理するアルゴリズムは、Gerard de Haan等による“True motion estimation with 3D-recursive search block matching” in IEEE transactions on circuits and systems of video technology, volume 3, number 5, October 1993, page 368 et seqq.,に記載される３次元の再帰型サーチのブロックマッチングアルゴリズムであり、本出願はこの引例を明示的に引用し、引用により本明細書に盛り込まれる。このアルゴリズムは、他の公知のブロックマッチングアルゴリズムに対する比較において極端に効率的であり、原理的に、リアルタイムでの記録画像の処理を可能にする。

さらに、“3-frame block matching”として知られるアルゴリズムのバリエーションが利用される。この名称は、現在のカメラ画像が前の画像と後の画像に比較され、対応する画素ブロックが処理ユニット１２により前方及び後方の時間方向でサーチされることを示している。これは、閉塞（occlusion）問題を回避し、以前に構築されたバックグランドのモデルなしで、動いているフォアグランド１９と静止しているバックグランド１８における画像のセグメント化を可能にする。この事実は、ビデオカメラ７のパン／チルト機能のために、バックグランドに関する情報がエクササイズの記録の開始の前に収集することができないケースにおいて重要である。

処理ユニット１２により上述されたアルゴリズムを適用することから得られる結果は、捕捉された画像に対応するフローフィールドである。これは、画像における画素のそれぞれのブロックについて、前の画像に関する変位は、２次元ベクトルｆ（ｘ,ｙ,ｔ）１６として処理ユニット１２により記憶されることを意味し、ｘ及びｙは画素の座標であり、ｔはカメラ画像が捕捉される時間であり、ｔ＝０は記録される系列の開始であり、ｔ＝Ｔは終了時間である。言い換えれば、このアルゴリズムは、変位ベクトル１６によりユーザの動きを記述する。かかる変位ベクトルの例は図３に示されている。アルゴリズムは、多数のビデオ画像内の画素ブロックを比較する。この目的のため、アルゴリズムは、前の画像からアルゴリズムにとって既に公知である特定の画素ブロック（たとえば３×３画素）を画像において検出する。変位ベクトル１６は、この画素ブロックの変位を定義し、オプティカルフローを定義する。しかし、アルゴリズムは、画素のブロックがユーザ４の腕を示しているのか、肘を示しているのかを知らない。

フローフィールドｆ（ｘ,ｙ,ｔ）が与えられると、画像の左半分と右半分における全体のフローＦＬ（ｔ）とＦＲ（ｔ）は、画像の左半分と右半分における全ての画素ｆ（ｘ,ｙ,ｔ）を合計することで処理ユニット１２により計算される。ＦＬ（ｔ）とＦＲ（ｔ）は、エントリとしてそれぞれのサイドで全体のオプティカルフローのｘ及びｙ成分を有する２次元ベクトルである。

完全な動き系列ＦＬ_tot及びＦＲ_totを通して画像の左半分と右半分における動きの合計は、処理ユニット１２により計算される。これら２つの値の何れかの絶対値が予め定義された閾値よりも低い場合、それぞれの側で動きが行われないことを処理ユニット１２により判断される。これは、全体的にエクササイズを繰り返すこと、又は患者が一方の側で動きを行うことができないという結論のいずれかに導く。

ｔを０とＴの間であるとして、時間系列ＦＬ（ｔ）及びＦＲ（ｔ）が与えられると、動きの共時性が評価される。このため、時間系列ＦＬ（ｔ）及びＦＲ（ｔ）のｘ及びｙ成分の相関係数は、処理ユニット１２により計算され、これらの量はＣ_x及びＣ_yと呼ばれる。相関係数Ｃ_x及びＣ_yの定義により、−１と１との間の値を有する。ここで、値１は、共時性であることを意味し、−１は非共時性であることを意味する。Ｃ_x及びＣ_yが０である場合、動きは同期されていない。

Ｓ_AとしてＡ（ｔ）の標準偏差が与えられ、Ｓ_BとしてＢ（ｔ）の標準偏差が与えられる、２つのスカラー量Ａ（ｔ）及びＢ（ｔ）の相関係数Ｃ_ABは、
Ｃ_AB＝（＜ＡＢ＞−＜Ａ＞＜Ｂ＞）／（Ｓ_AＳ_B）
である。ここで括弧は、時間系列にわたる平均値を示す。

２つの身体の側での同期した動きについて、動き、従ってｘ方向におけるオプティカルフローは非同期であることが期待され、すなわち、相関係数Ｃ_x＝−１であることが期待される。ｙ方向における動きについて、同期した動きが期待され、すなわちＣ_y＝１である。したがって、Ｃ＝｜−１−Ｃ_x｜＋｜１−Ｃ_y｜は、同期した動きからの導出のためのスカラーの測定値である。ここで｜｜は絶対値を示す。

予め定義された閾値又はパーソナライズされた閾値の何れかのため、動きから得られる値Ｃ（相関係数）は、期待に従っている動きを記述するものとして判断されるか、判断されない。

図３に例示されるユーザ４に従う対称な腕の動きを説明する図は、図４に示される。この図は、左側のフローベクトル２０のＹ成分及び右側のフローベクトル２１のＹ成分のビデオフレームの数にわたる、全ての動きベクトルの合計を示す。この例では相関係数Ｃ_yは０．８２であり、ユーザ４の対称的な（同期した）腕の動きを示している。相関係数は、共時性の速度としての役割を果たす。

図６は、図５に例示されるユーザ４に係る非対称な腕の動きを説明する図を示しており、相関係数Ｃ_yは０．２１であり、ユーザ４の非対称な（非同期の）腕の動きを示している。明らかに見ることができるように、ユーザの右の腕は、要求されたエクササイズを非常に良好にではなく実行している。実行されるユーザの右の腕は、殆ど動きがない。結果として、右半身１５は、左半身１６とは異なる運動の振る舞いを示し、計算された相関係数１６は、図４に例示される例とは異なる。

相関ファクタはオプティカルフローにのみ基づいて計算されるので、この方法は、様々な照明条件、バックグランド及び患者の衣服に関してロバストである。本システムは、マーカを身につけるか装置を保持することをユーザ４に要求することなしに、動きの等時性を検出する。異なる身体の部分へのユーザの身体のセグメント化が不要である。また、ユーザの身体の部分の位置は無関係である。

共時性の程度が計算された後、ユーザの運動機能の評価が実行される（ステップ１３０）。この目的のため、ソフトウェアユニットとして実現されるのが好ましい、コンピュータシステム１１の分析ユニット２は、要求されたエクササイズを評価又は格付けをする、すなわち共時性の程度に基づいてユーザの運動機能を評価するために適合される。共時性の程度、すなわち相関ファクタは、コンピュータシステム１１に記憶されている閾値と比較される。

卒中の被害者のグループ及び健康制御のグループからのデータを有して、運動予測の分析の結果を評価するための静的な閾値が定義される。代替的に、それぞれのテストの共時性の程度が記憶され、閾値は、動的に適合される。このケースでは、共時性の程度は、リハビリテーションの進展の指標としての役割を果たす。この実施の形態では、分析ユニットは、個々のユーザの性能を格付けするために特にトレーニングされる。分析ユニットは、記録された履歴データを使用して、前のパフォーマンスとの比較において現在のパフォーマンスを評価する。このパーソナライズされたアルゴリズムにより、リハビリテーションの成功の格付け及び卒中のイベントの再発の信頼できる検出が可能となる。評価の結果は、好ましくはディスプレイ２及び／又はオーディオインタフェース３を使用してユーザ４に発せられる（ステップ１４０）。

たとえばシステムがユーザの顔１３のトラッキングを実行するために使用することができないために、ビデオ画像データの分析が無効な結果となった場合、又は可能な結果が判定されない場合、たとえば最後のエクササイズを繰り返すようにユーザに要求するといった、インタフェースユニット６を介してコンピュータシステム１１からユーザ４に新たな命令が与えられる。しかし、利用されるアルゴリズムのロバスト性のため、たとえばユーザの僅かな回転等といったビデオ画像の記録の間のユーザ４の動きは、全体の結果に影響を及ぼすものではなく、したがって大部分のケースで無視することができる。

本発明は、家庭での卒中の検査の応用の一部として使用することができる。かかる応用は、遠隔医療及びｅ−ｈｅａｌｔｈプラットフォームの一部となるように適合されることが好ましい。従来技術のシステムとは対照的に、本発明は、ビデオカメラ７を除いて更なるセンサ又は入力装置をなしに不全片麻痺のためのエクササイズを評価するシステムの実現を提供する。さらに、本発明は、患者に視覚的なフィードバックを提供する。要求されるエクササイズは、ユーザ４により自由に実行され、カメラ７により記録される。画像を処理した後、評価及びフィードバックが与えられる。そのロバスト性及び低コストの標準的なコンピュータ機器の使用のため、監視のない家庭環境での使用のために特に適している。

本発明が上述された例示的な実施の形態の詳細に制限されないこと、本発明は、本発明の精神又は本質的な属性から逸脱することなしに他の特定の形式で実施される場合があることは、当業者にとって明らかである。したがって、本実施の形態は、全ての観点で例示的なものであって、限定的なものではないと考えられ、本発明の範囲は、上述された説明によってではなく、特許請求の範囲により示され、請求項の等価な概念の意味及び範囲内での全ての変形は、本発明に包含されることが意図される。さらに、単語「有する“comprising”」は、他のエレメント又はステップを排除するものではなく、コンピュータシステム又は別のユニットのような単一のエレメントは請求項で引用される幾つかの手段の機能を達成する場合があることは明らかである。

本発明に係るシステムの概念的なブロック図である。 本発明に係る方法の簡略化されたフローチャートである。 同期して移動する腕をもつユーザの概念的な図である。 同期した腕の動きを説明する図である。 同期して移動する腕をもつユーザの概念的な図である。 非同期の腕の動きを説明する図である。

符号の説明

１ ：システム
２ ：ディスプレイ
３ ：オーディオインタフェース
４ ：ユーザ
５ ：スピーカ
６ ：インタフェースユニット
７ ：ビデオカメラ
８ ：モータユニット
９ ：マイクロフォン
１０：カメラユニット
１１：コンピュータユニット
１２：処理ユニット
１３：ユーザの顔
１４：左半身
１５：右半身
１６：変位ベクトル
１７：センターライン
１８：静的なエリア
１９：移動エリア
２０：左サイドのフローベクトル
２１：右サイドのフローベクトル
２２：分析ユニット

Claims (15)

1. ユーザの動きを分析する分析装置の動作方法であって、
   前記分析装置の実行手段が、指示に従って調整された動きをユーザに実行させるステップと、
   前記分析装置の生成手段が、ユーザをビデオ記録することで、画像系列の形式でビデオ画像データを生成するステップと、
   前記分析装置の判定手段が、コンピュータビジョン技術を有するコンピュータシステムを使用して、前記画像系列において、左半身及び右半身のオプティカルフローを形成する第一の方向における成分の間の第一の相関と、前記左半身及び右半身のオプティカルフローを形成する第二の方向における成分の間の第二の相関とを計算するステップと、
   前記分析装置の評価手段が、計算された第一の相関及び第二の相関に基づいてユーザの運動機能を評価するステップと、
   を含むことを特徴とする方法。
2. 調整された動きをユーザに実行させる前記ステップは、ディスプレイ及び／又はオーディオインタフェースを使用してユーザに指示するステップを含む、
   ことを特徴とする請求項１記載の方法。
3. 調整された動きをユーザに実行させる前記ステップは、上肢の調整された動きを実行するようにユーザに指示するステップを含む、
   ことを特徴とする請求項１記載の方法。
4. 前記第一の相関及び第二の相関を計算する前記ステップは、静的なエリアと移動エリアに画像をセグメント化するステップを含む、
   ことを特徴とする請求項１記載の方法。
5. 前記第一の相関及び第二の相関を計算する前記ステップは、ユーザの身体の左半身におけるフローの成分と右半身におけるフローの成分を比較するステップを含む、
   ことを特徴とする請求項１記載の方法。
6. 前記第一の相関及び第二の相関を計算する前記ステップは、左半身と右半身を定義するためにユーザの身体のセンターラインをビデオ画像データに基づいて決定するステップを含む、
   ことを特徴とする請求項１記載の方法。
7. 前記第一の相関及び第二の相関を計算する前記ステップは、ユーザの顔をトラッキングするステップを含む、
   ことを特徴とする請求項１記載の方法。
8. 前記フロー成分は、３フレームの３次元再帰型サーチの動き予測アルゴリズムを使用して計算される、
   ことを特徴とする請求項１記載の方法。
9. ユーザの運動機能を評価する前記ステップは、前記第一の相関、第二の相関と、閾値とをそれぞれ比較するステップを含む、
   ことを特徴とする請求項１記載の方法。
10. ユーザの運動機能を評価する前記ステップは、ユーザの肢及び／又は顔、特にユーザの上肢の麻痺の深刻さを判定するステップを含む、
    ことを特徴とする請求項１記載の方法。
11. ユーザの運動機能を評価する前記ステップは、ユーザの運動のリハビリテーションの進展を判定するステップを含む、
    ことを特徴とする請求項１記載の方法。
12. ユーザに視覚に基づくフィードバックを提供するために適合されるディスプレイ、及び／又はユーザに聴覚に基づくフィードバックを提供するために適合されるオーディオインタフェースを使用して、ユーザの前記評価の結果を知らせるステップを更に含む、
    請求項１記載の方法。
13. ユーザの動きを分析するシステムであって、
    指示に従って調整された動きをユーザに実行させるディスプレイ及び／又はオーディオインタフェースと、
    ユーザをビデオ記録することで、画像系列の形式でビデオ画像データを生成するビデオカメラと、
    コンピュータビジョン技術を有するコンピュータシステムであって、前記ビデオ画像データにおいて、左半身及び右半身のオプティカルフローを形成する第一の方向における成分の間の第一の相関と、前記左半身及び右半身のオプティカルフローを形成する第二の方向における成分の間の第二の相関とを計算するコンピュータシステムと、
    計算された第一の相関及び第二の相関に基づいてユーザの運動機能を評価する分析ユニットと、
    を含むことを特徴とするシステム。
14. ユーザに音声情報を提供し、ユーザに視覚に基づく情報を提供するために適合されるディスプレイ、及び／又は聴覚に基づく情報を提供するために適合されるオーディオインタフェースを更に含む、
    ことを特徴とする請求項１３記載のシステム。
15. コンピュータに、
    指示に従って調整された動きをユーザに実行させるステップと、
    ユーザをビデオ記録することで、画像系列の形式でビデオ画像データを生成するステップと、
    コンピュータビジョン技術を有するコンピュータシステムを使用して、前記画像系列において、左半身及び右半身のオプティカルフローを形成する第一の方向における成分の間の第一の相関と、前記左半身及び右半身のオプティカルフローを形成する第二の方向における成分の間の第二の相関とを計算するステップと、
    計算された第一の相関及び第二の相関に基づいてユーザの運動機能を評価するステップと、
    を含むユーザの動きを分析する分析装置の動作方法を実行させるための命令を含むコンピュータプログラム。

Images