JP5253588B2

JP5253588B2 - 内部距離形状関連法を用いた手姿勢の取り込み及び認識

Info

Publication number: JP5253588B2
Application number: JP2011552073A
Authority: JP
Inventors: ダリウシュ，ベーザド; ゴパラン，ラグフラマン
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2009-02-25
Filing date: 2010-02-19
Publication date: 2013-07-31
Anticipated expiration: 2030-02-19
Also published as: US20100215271A1; WO2010099034A1; US9904845B2; WO2010099035A1; JP5647155B2; JP2012518857A; JP2012518856A; US20100215257A1; US8428311B2

Description

本開示は全般的にはシステムによる動作追跡の技術分野に関し、より具体的には映像入力からの手形状分類に関する。

手形状を取り込み、認識する方法に関する関心が、その広範な用途ゆえに高まっている。認識された手形状を使って、手動作をロボットシステムに転送でき（例えば、遠隔操縦、遠隔操作）、普及型ユーザーインターフェイスを実行し、具体的な手の動きを検知する。

手の動きを取り込むための従来の解決法のひとつにおいて、データグローブをつけた実演者を計装する。実演者が特定のタスクを実演する間に、データグローブに装着したセンサがグローブ上の選択した特徴点の関節角度、すなわちデカルト座標を計測する。S. Ekvall and D. Kragic, "Grasp recognition for programming by demonstration", Int. Conf. Robotics and Automation (ICRA), 748-753 (2005) を参照。しかしながら、グローブの構成を計測して根本的な手の動きを取り込めるが、グローブはしばしば実演者が対象物と接触するのを妨げ、自然な手の動きを妨げうる。さらに、正確な計測を確保するには、異なる寸法の手に対して適切に適合させるための較正と調整が必要である。

他の従来の解決法として、データグローブの代わりに、実演者の手の上にマーカーを設置し、マーカーの位置を追跡することで手関節を記録する。N. Pollard and V. B. Zordan, "Physically based grasping control from examples", AMC SIGGRAPH/ Eurographics Symp. On Computer Animation, 311-318 (2005)を参照。また、L. Chang, N. Pollard, T. Mitchell, and E. Xing, "Feature selection for grasp recognition from optical markers", Intelligent Robots and Systems (IROS), 2944-2950 (2007) を参照。マーカー遮蔽の影響を最小にするため、マルチビデオカメラを使用してマーカーを追跡する。この解決法は時間がかかり、計器を備えた制御された環境での相当な較正が必要である。

また、多数の解決法が手姿勢の認識のために開発されている。Y. Wu and T. S. Huang, "Vision-Based Gesture Recognition: A Review", Lecture Notes in Computer Science, 1739-103 (1999) を参照。例えば、視点不変性を扱う解決法がある（Y. Wu and T. S. Huang, "View-Independent Recognition of Hand Postures" (2000) を参照）。複雑な背景における認識を扱う解決法がある（J. Triesch and C. von der Malsburg, "A System for Person-Independent Hand Posture Recognition against Complex Backgrounds", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 1449-1453 (2001) を参照）。ＳＩＦＴ特徴を用いた適応的学習法を扱う解決法がある（C. Wang and K. Wang, "Hand Posture Recognition Using Adaboost with SIFT for Human Robot Interaction", LECTURE NOTES IN CONTROL AND INFORMATION SCIENCES, 370-317 (2008) を参照）。しかし、これらの解決法は不十分であり、なぜならその出力がライティング、色むらのばらつきや視点の変化などの視認条件に大幅に左右されやすいからである。

それゆえ、特に、リアルタイムで手姿勢を効果的にかつ正確に取り込み認識するシステムや方法が不足している。

本発明の実施形態は手姿勢を取り込み、認識する方法（及び対応するシステム及びコンピュータプログラム製品）を提供する。一つの特徴は、単一のタイムフライトカメラを用いて、一連の深度画像中に演者の手の動きを取り込むことである。深度画像から手領域を同定し、区画する。区画した手領域に対して内部距離形状関連法（ＩＤＳＣ）記述子を決定し、取り込んだ手姿勢を認識するため分類する。

もう一つの特徴又は方法は、対応する手姿勢を同定するラベルと訓練画像のＩＤＳＣ記述子を分類子に付与することにより、分類子を訓練してＩＤＳＣ記述子を分類する。ひとたび分類子を訓練すれば、分類子は、分類子を訓練した姿勢クラスの一つへ対応するＩＤＳＣ記述子を分類することで手姿勢を認識できる。

本明細書に記載した特徴及び利点のすべてを包含しなくてもよい。特に、図面、明細書及び特許請求の範囲に照らして、多くの追加可能な特徴及び利点があることは当業者に明らかである。さらに、本明細書中で用いられた文言は、読みやすさや例示のために主として選択したものであって、開示した本発明の対象を輪郭付けすなわち限定するために選択したものではないと理解できる。

本発明の一実施形態に係る手姿勢認識のための姿勢推定システムを説明するブロック図である。図１に示した本発明の一実施形態に係る姿勢推定システムの構成を説明するブロック図である。本発明の一実施形態に係る手姿勢認識及び体姿勢推定プロセスを説明するフロー図である。図２に示した本発明の一実施形態に係る手姿勢認識モジュールの構成を説明するブロック図である。は本発明の一実施形態に係る手姿勢認識プロセスをまとめて説明するフロー図である。は本発明の一実施形態に係る手姿勢認識プロセスをまとめて説明するフロー図である。本発明の一実施形態に係る人体モデルを説明する図である。は図１に示した本発明の一実施形態に係る姿勢推定システムを訓練し試験するために使用する画像を示す図である。は図１に示した本発明の一実施形態に係る姿勢推定システムを訓練し試験するために使用する画像を示す図である。は図１に示した本発明の一実施形態に係る姿勢推定システムを訓練し試験するために使用する画像を示す図である。

本発明は、リアルタイムで手姿勢を認識するためのシステム（及び対応する方法及びコンピュータプログラム製品）を提供する。該システムは、映像入力中の手領域を同定し、区画し、内部距離形状関連法（ＩＤＳＣ）記述子を算出することにより、区画した手領域を取り込み、ＩＤＳＣ記述子を分類することにより、手姿勢を認識する。

一般性を失わない説明をするために、以下の記載では、取り込み、認識した姿勢は、人間の手の姿勢であると仮定する。当業者ならば、ここに記載された技術を、人間や例えば動物など他の動作生成体の他の体部分の姿勢を取り込み、認識するために使用可能であると理解できる。

図面（図）と以下の記載は、説明としてのみ本発明の実施形態に関する。以下、添付図面中に説明した数件の実施形態、実施例を詳細に参照する。実際に類似した参照番号は、いずれも図面中に使用でき、類似の機能性を示すことに留意する。図面は説明するためにのみ、開示したシステム（又は方法）の実施形態を描写する。当業者であれば、以下の記載から、本明細書に記載した原理から離れることなく、本明細書で説明した構造や方法の代替的実施形態を採用しうることが容易に理解できる。

概観
図１は、ソースシステム１０２中の演者の手姿勢（手形状、手パターン、手状態とも呼ぶ）を認識するための姿勢推定システム１００を説明するブロック図である。一実施形態において、手姿勢の認識に加え、姿勢推定システム１００は、演者の他の体部位の全体ポーズ及び／又は姿勢をも推定する。ソースシステム１０２は、一連の演者の映像を生成し、それらを画像ストリーム１０８として姿勢推定システム１００に送信する。一実施形態において、ソースシステム１０２は、タイムオブフライトカメラ（ＴＯＦカメラ、タイムオブフライト距離画像センサとも呼ぶ）などのカメラを使用して演者の姿勢を連続的に取り込み、深度画像ストリーム１０８を姿勢推定システム１００に送信する。姿勢推定システム１００は、受信したストリーム１０８中の一つの手領域（又は二つの手領域）と他の体特徴を検知し、手領域中の手姿勢を認識し、人体モデルでの演者の手姿勢と体姿勢を再現する。

手姿勢を認識し人の姿勢を推定するのに加えて又はその代わりに、姿勢推定システム１００を、動作リターゲッティング、追跡及び推定、生体力学における関節トルクの推定などの他目的にも使用できる。動作リターゲッティングにおいて、姿勢推定システム１００は、認識した手姿勢と再現した姿勢に基づいてソースシステム１０２の動作記述子を生成し、動作リターゲッティングシステムに動作記述子を送信する。動作リターゲッティングシステムは、ソースシステム１０２の動作をシミュレートするため、目標システムの動作を制御する関節変数を生成する。動作リターゲッティングに関する更なる情報は、米国特許出願 No. 11/734,758、２００７年４月１２日出願、発明の名称 "Control Of Robots From Human Motion Descriptors" にある。

姿勢推定システムのアーキテクチャーの概観
図２は、本発明の一実施形態に係る手姿勢を認識し体姿勢を推定するための姿勢推定システム１００の構成を説明するブロック図である。姿勢推定システム１００は、深度画像ストリーム１０８中の検知された特徴に基づき、手領域を同定し、これらの検知された特徴から演者の体姿勢を再現する。特徴（すなわち、特徴点、解剖学的特徴、要点）は、人体の顕著な解剖学的目印の３Ｄ位置に対応する。一般性を失うことなく、姿勢推定システム１００は、図６に示す１４点（ｋ＝１４）のかかる体特徴を追跡する。図示したように、１４点の特徴は、頭部中央、左肩部、右肩部、左肘部、右肘部、左手首部、右手首部、腰部、左臀部、右臀部、左膝部、右膝部、左足首部及び右足首部である。再現（又は推定）した人体の姿勢ｑは、演者の姿勢を追従する人体モデルによって記述する。一実施形態において、人体モデルは、演者の体にそっくりな人体の解剖学的モデルである。

図２に示すように、姿勢推定システム１００は、特徴検知モジュール２０２、補間モジュール２０４、欠落特徴付加モジュール２０６、姿勢再現モジュール（制約閉ループ逆運動学モジュールとも呼ぶ）２０８及び不明瞭部解像モジュール２１０を備える。

特徴検知モジュール２０２は、深度画像ストリーム１０８を受信し、深度画像ストリーム１０８中の特徴を検知し、検知結果を出力するよう構成されている。検知結果中の遮蔽、信頼できない観察又は低確信度のため、ｍ（ｍ＝０…ｋ）で表す特定の画像フレームについての検知された特徴の実際数は、ｋよりも少なくてもよい。検知された特徴は、位置ベクトルｐ_det２２０で表され、個別の検知された特徴に対応する３Ｄ位置ベクトルを連結することにより形成する。

補間モジュール２０４は、特徴検知モジュール２０２から受信した位置ベクトルｐ_det２２０を低域通過フィルター処理し、補間された特徴
２２２を生成する。一実施形態において、ＴＯＦカメラ（例えば、Swiss Ranger SR-3000 3D タイムオブフライトカメラ）を用いて、約１５フレーム毎秒で、姿勢推定システム１００に送信した深度画像を取り込む。姿勢再現モジュール２０８での数値積分を安定的に実行するため、補間モジュール２０４は、より高速（例えば、１００Ｈｚ）で、ベクトル
２２２で表される検知された特徴をリサンプリングする。

欠落特徴付加モジュール２０６は、深度画像ストリーム１０８中で欠落特徴の位置での
を付加し、ｐ_d２２４で表される所望の（又は付加した）特徴ベクトルを生成する。上述のとおり、遮蔽又は信頼できない観察のため、各フレームでの検知された特徴数は、１４よりも少なくてもよい（すなわち、ｍ＜ｋ＝１４）。欠落特徴付加モジュール２０６は、予測された特徴ｐ２２８を姿勢再現モジュール２０８からフィードバック経路２４０を通じて受信し、ｐ２２８を用いて欠落特徴を付加する。付加特徴ｐ_d２２４は、姿勢再現モジュール２０８の入力として使用されるｋ＝１４の所望の特徴を表す。

姿勢再現モジュール２０８は、ｐ_d２２４、正確な人体モデル及びその制約に基づいて推定姿勢ｑ２３０及び予測された特徴ｐ２２８を生成する。姿勢再現モジュール２０８は、更に、ｐ２２８を欠落特徴付加モジュール２０６及び不明瞭部解像モジュール２１０に送信し、後発の不明瞭部を解像し、断続的に欠落し又は遮蔽された特徴を推定する。推定（又は再現、回復）した姿勢は、ベクトルｑ２３０によってパラメータ表記され、人体モデル中の全自由度ｎにおける予測動作及び予測された姿勢を表す。予測された特徴ｐ２２８を欠落特徴付加モジュール２０６にフィードバックして断続的に欠落し又は遮蔽された特徴を付加し、不明瞭部解像モジュール２１０にフィードバックして多重的な特徴候補が検知された場合、不明瞭部を解像する。

姿勢再現モジュール２０８は、深度画像ストリーム１０８中に取り込んだ手姿勢を認識するように構成された手姿勢認識モジュール２５０を備える。手姿勢認識モジュール２５０は、ｐ_d２２４に基づき深度画像ストリーム１０８中の手姿勢を同定し、深度画像ストリーム１０８から手領域を区画する。手姿勢認識モジュール２５０は、内部距離形状関連法（ＩＤＳＣ）記述子（ＩＤＳＣシグネチャーとも呼ばれる）を算出することにより、区画した手領域の手姿勢を記述し、ＩＤＳＣ記述子を分類することにより、手姿勢を認識する。手姿勢認識モジュール２５０の例示的アーキテクチャー及び演算を図４、５Ａ及び５Ｂについて以下に詳述する。

不明瞭部解像モジュール２１０は、特徴検知モジュール２０２が多重的な見込みある特徴候補を検知した場合、不明瞭部を解像する。不明瞭部解像モジュール２１０は、予測された特徴ｐ２２８を姿勢再現モジュール２０８からフィードバック経路２４０を通じて受信し、ｐ２２８を用いて不明瞭部を解像する。例えば、ｐ２２８は、特徴の一候補（すなわち、特徴検知モジュール２０２から）の仮説的位置が、非常にありえないことを示してもよく、不明瞭部解像モジュール２１０に検知された特徴として特徴の別の候補を選択させてもよい。他の例として、不明瞭部解像モジュール２１０は、検知された特徴とすべき対応する予測された特徴に最近接する特徴候補を選択してもよい。代替的に又は付加的に、不明瞭部解像モジュール２１０は、予測された特徴を検知された特徴として使用してもよい。

姿勢推定システム１００又は上述したその構成要素のいずれかは、ソフトウェア（例えば、プロセッサーによって実行可能な命令を備えるモジュール）、ハードウェア（例えば、特定用途集積回路ＡＳＩＣ）又はそれらの組み合わせとして構成してもよい。ソフトウェア及び／又はハードウェアは、プロセッサー、メモリー、コンピュータ読み取り可能な記憶媒体（例えば、ハードドライブ）、ネットワークインターフェイス、適用可能なオペレーティングシステムと機能性ソフトウェア（例えば、ネットワークドライバー、通信プロトコール）を備えるように構成したコンピュータシステム内で演算してもよい。当業者ならば、他の実施形態が、図２に示したものと異なる及び／又は付加したモジュールを有することができると理解しうる。同様に、本明細書の記載と異なる方法でモジュール間に機能性を配置できる。さらに、いくつかの機能を姿勢推定システム１００以外のエンティティによって提供できる。

姿勢推定方法の概観
図３は、本発明の一実施形態に係る人体姿勢推定及び手姿勢認識するための姿勢推定システム１００の例示プロセス３００を説明するフロー図である。

特徴検知モジュール２０２は、深度画像ストリーム１０８中の演者の体特徴を検知する３１０。一実施形態において、特徴検知モジュール２０２は、ＩＤＳＣ記述子を用いて輪郭部内の対応する要点を検知することにより、体特徴を検知する。ＩＤＳＣに基づく特徴検知に関する更なる情報は、米国特許出願 No. ##/###,###、本願と同日出願、発明の名称 " Detecting Body Features Using Inner Distance Shape Contexts " にある。他の実施形態において、特徴検知モジュール２０２は、最初に頭部、首部、胴体部（Ｈ−Ｎ−Ｔ）変形可能テンプレートと肢部を検知して、次に検知したＨ−Ｎ−Ｔテンプレートと肢部に基づいて特徴を位置決めすることにより、特徴を検知する３１０。Ｈ−Ｎ−Ｔテンプレート基づく特徴検知に関する更なる情報は、米国特許出願 No. 12/317,369、２００８年１２月１９日出願、発明の名称 "Controlled Human Pose Estimation From Depth Image Streams" 及び米国特許出願 No. 12/455,257、２００９年５月２９日出願、発明の名称 "Controlled Human Pose Estimation From Depth Image Streams" にある。多重的な特徴候補を検知した場合、特徴検知モジュール２０２は、事前に生成した予測された特徴ｐを用いて不明瞭部を解像する。

補間モジュール２０４は、検知された特徴ｐ_detを補間し(ステップ３２０)、より高速（例えば、１００Ｈｚ）で、データをリサンプリングする。一実施形態において、補間モジュール２０４は、局所三次元スプライン補間法ルーチンを用いて検知された特徴を補間する（３２０）。姿勢再現モジュール２０８で実行する数値積分の安定性を確実にして、補間を実行する。一実施形態において、補間モジュール２０４は、フィルター処理特徴を補間する前に検知された特徴ｐ_detを低域通過フィルター処理する。

欠落特徴付加モジュール２０６は、検知されない特徴の位置に補間された特徴
を付加し（ステップ３３０）、特徴付加ベクトルｐ_dを生成する。上述のとおり、特徴検知モジュール２０２は、遮蔽又は信頼できない観察のため、各フレームにおいて１４点未満の体特徴を検知する場合がある。欠落特徴付加モジュール２０６は、事前に生成した予測された特徴ｐを用いてこれら検知されない特徴を推定する。ｍ＜ｋの場合、再現姿勢の順運動学計算から得た（ｋ−ｍ）個の予測された特徴ｐを、検知された特徴に付加する。

姿勢再現モジュール２０８は、人体モデルにおける演者の観察体姿勢ｑを再現し（ステップ３４０）、後発の特徴（又は特徴点位置）ｐを予測する。各特徴の予測位置は、ベクトルＰ₁によって表され、腰部関節座標系に対応する基礎フレームを参照する。一実施形態において、姿勢再現モジュール２０８は、観察した特徴を追跡し、重要度又は信頼度のレベルに応じて特徴に優先順位を付すことにより、人体姿勢を再現する（３４０）。姿勢再現モジュール２０８は、関節の制限や自己侵入回避などの人体モデルの運動学的制約を適用することで、後発の特徴を予測する。

手姿勢認識モジュール２５０は、深度画像ストリーム１０８中に取り込んだ演者の手姿勢を認識する（ステップ３５０）。検知された特徴に基づき深度画像ストリーム１０８中の手領域を同定し、演者の皮膚色に基づき手領域を区画する。区画した手領域ごとにＩＤＳＣ記述子を算出し、手姿勢クラス内にＩＤＳＣ記述子を分類するよう訓練したサポートベクターマシン（ＳＶＭ）へＩＤＳＣ記述子を付与する。ＩＤＳＣ記述子の分類に基づき手姿勢を認識する。

ハードウェア及び／又はソフトウェア又はそれらの組み合わせの実施形態で、方法３００の一部分又は複数部分を実行してもよい。例えば、ここに記載した動作実行命令を通して方法３００を具体化してもよく、かかるインスツルメンテーションは、有形なコンピュータ読み取り可能な記憶媒体（例えば、フラッシュメモリー、ＲＡＭ、不揮発性磁気記憶装置）に記憶可能であり、コンピュータプロセッサーが実行可能である。さらに、当業者ならば、他の実施形態では、異なる順番で方法３００のステップを実行可能であることを理解しうる。また、他の実施形態が、ここに記載したものと異なる及び／又は付加的なステップを備えてもよい。姿勢推定システム１００は、同時に及び／又は並列にプロセス３００の多重ステップ又は多重インスタンスを実行できる。

手姿勢認識モジュールのアーキテクチャーの概観
図４は、本発明の一実施形態に係る手姿勢認識モジュール２５０内のモジュールの詳細図を説明する高次ブロック図である。手姿勢認識モジュール２５０の数件の実施形態では、ここの記載とは異なる及び／又は別のモジュールを有する。姿勢推定システム１００と同様に、ソフトウェア及び／又はハードウェアで、手姿勢認識モジュール２５０のモジュールを構築してもよく、ここの記載とは異なる方法で、他の実施形態に従って、モジュールに機能性を付与できる。図示したように、手姿勢認識モジュール２５０は、手領域同定及び区画モジュール（区画モジュールとも呼ぶ）４１０、分散方向推定モジュール４２０、ＩＤＳＣモジュール４３０、及び姿勢分類モジュール４４０を備える。

手領域同定及び区画
区画モジュール４１０は、画像（例えば、画像ストリーム１０８中の深度画像）中に検知した人体像中の手領域を同定し、残りの人体像から手領域を分離する。一実施形態において、区画モジュール４１０は、画像中に検知した左右の手首部の位置に基づき手領域を同定し、皮膚色に基づき残りの人体像から手領域を区画する。一実施形態において、画像中の演者は、長袖シャツを着用する。そのため、残りの人体像から手領域を分離するため、皮膚色を手掛かりとして使用できる。

区画モジュール４１０は、同定した手位置近傍の手領域及び非皮膚領域に相関する皮膚領域のガウシアン・モデルを構築し、画像中の画素が構築したガウシアン・モデルと相関する程度を計測する。一実施形態において、区画モジュール４１０は、本プロセスでは正規化ＲＧＢ色空間を使用する。区画モジュール４１０は、画像画素の正規化赤色及び緑色成分に基づきガウシアン・混合モデルを創出する。例えば、各画素を下記（１）式のベクトルによって表す。

ここで、Ｒ、Ｇ、Ｂはその画素の赤色、緑色、青色成分である。下記（２）式のように画像から、同一領域（皮膚又は非皮膚）の画素Ｙ_iをグループ化する。

ここで、ｉ＝｛１，２｝（１は皮膚、２は非皮膚）であり、Ｎは画素数を表す。Ｎ個の画素の平均値及び共分散を計算し、下式によってガウシアン・モデルを構築する。

その後、２つのガウシアン・モデルに対する類似度に応じて、皮膚クラス又は非皮膚クラス所属に、Ｎ個の画素を分類する。区画モジュール４１０は、この分類問題を最大事後確率（ＭＡＰ）型に型変換し、事後確率を下式の尤度と事前確率の関数で表す。

ここで、ｐ（θ｜Ｘ）は、事後確率分布（すなわち、与えられた画素がクラスθ（ここでは、皮膚又は非皮膚）に属する確率）であり、ｐ（Ｘ｜θ）は、尤度関数（クラスθに関する画素の類似性の測度）であり、ｐ（θ）は、事前確率（特定クラスの正規化生起率）である。そこで、２クラス問題については、下式の場合、画素Ｘは、クラス１に属することとする。

式（５）〜（７）は、事前確率が等しいと仮定した場合、２クラス問題について等価である。決定に使用する尤度関数は、下式に従い計算する。

従って、ｐ（Ｘ｜θ_skin）＞ｐ（Ｘ｜θ_non-skin）の場合、皮膚領域に画素を分類し、あるいは逆に分類する。本プロセスを画像中の全画素について行い、皮膚区画の出力を得る。区画モジュール４１０は、誤ったラベル付けをしたであろう画素をフィルインする膨張などの形態演算に区画した結果をかけることができる。膨張は、局所的同質性を維持するように区画した結果を平滑化する低域通過フィルター処理と類似する。一実施形態において、形態演算の適用中に２本の別々の指がつながるのを防止するため、区画モジュール４１０は、この目的を達するため、３×３低域通過フィルター処理を用いる。区画モジュール４１０は、合成した皮膚／非皮膚マップを切り取り、手領域を作り出す。

分散方向の推定
分散方向推定モジュール４２０は、各区画した手領域の主分散方向を推定するよう構成する。主分散方向（分散方向とも呼ぶ）は、手の主配向方向を記述する。同類の配向方向を有する手形状を同一群に置き、同様に処理する（例えば、同一のＳＶＭに付与する）など、それらの分散方向に従って手領域をグループ化できる。

一実施形態において、分散方向推定モジュール４２０は、最大分散方向に沿って手領域を射影する主成分分析（ＰＣＡ）を用いて主分散方向を推定する。ＰＣＡに関する更なる情報は、M. Turk and A. Pentland, "Face recognition using eigenfaces", Computer Vision and Pattern Recognition (CVPR 91), 586-591 (1991) にある。分散方向推定モジュール４２０は、区画した手領域の共分散行列から固有ベクトルを計算するため、ＰＣＡアルゴリズムを適用する。固有ベクトル（大規模固有値に対応する）は、手領域の最大分散方向を表す。従って、分散方向推定モジュール４２０は、以下の代表式に要約するように最大固有値を有する固有ベクトルの座標に基づいて手領域の分散方向を推定できる。

標本点の値がその２Ｄ位置に対応する区画した手領域の一組のＮ個の標本点｛Ｘ₁，Ｘ₂，…Ｘ_N｝について考察する。分散方向推定モジュール４２０は、ＰＣＡを使用して、線形変換Ｗ^Tを計算することにより、最大分散方向を推定する。分散方向推定モジュール４２０は、下式で定義した全分散行列を計算することにより、Ｗ^Tを計算する。

ここで、Ｎは標本点の数を表し、μは全標本の平均位置である。射影行列Ｗ_optを射影標本の全分散行列の行列式を最大化するように選択する。すなわち、下式による。

ここで、Ｗ₁及びＷ₂は一組の２次元固有ベクトルである。この場合、最大固有値に対応する固有ベクトルＷ_eigは、最大分散方向を与える。そして、分散方向の推定を、以下の関数によって計算する。

ＩＤＳＣ記述子の計算
ＩＤＳＣモジュール４３０は、領域に対する内部距離形状関連法（ＩＤＳＣ）記述子を算出することにより、区画した手領域を特徴付ける。形状関連は、形状間の類似性及び対応点を計測するために使用する記述子である。S. Belongie, J. Malik, and J. Puzicha, "Shape Matching and Object Recognition Using Shape Contexts", IEEE Trans. Pattern Analysis and Machine Intel. (PAMI), 509-522 (2002)を参照。対象の形状関連は、輪郭部内の他のすべての点に関して対象の輪郭部に沿った各々の点を記述する。形状の輪郭部上にｎ個の点がある場合を考察する。点ｐ_iの形状関連は、（１３）式で定義する残余のｎ−１点の相対座標の粗いヒストグラムｈ_iである。

ここで、ｋはヒストグラムビンの指標を表す。輪郭部上の全ての他の点に関し、輪郭部上の各点について距離と角度の両者に基づきヒストグラムを計算する。ビンは、通常、対数極座標空間において一様になるように選ぶ。

ＩＤＳＣ法は、形状関連法を拡張した方法である。H. Ling and D. W. Jacobs, "Shape Classification Using the Inner-Distance", IEEE Trans. Pattern Analysis and Machine Intel. (PAMI), 286-299 (2007) を参照。形状関連と同様に、ＩＤＳＣは、対数極座標空間中の輪郭点のヒストグラムであり、各点が他のすべての輪郭点との距離及び角度に関する関連状態を記述する。ＩＤＳＣは、形状関連と、輪郭点間の距離及び角度を計算する方法が本質的に相違する。形状関連記述子は、正規化ユークリッド距離測度を使用し、一方、ＩＤＳＣ記述子は、対象の輪郭部内を移動する最短経路に沿って輪郭点間の内部距離を計算する。また、内部角度と呼ぶ、対象の輪郭部の内側でのＩＤＳＣにおける角度関係を計測する。内部角度は、開始点での輪郭接線とその開始点から始まる内部距離の方向間の角度として定義する。内部距離及び内部角度を（１３）式に適用することにより、ＩＤＳＣ記述子を計算する。

ＩＤＳＣモジュール４３０は、区画した手領域の輪郭に沿って輪郭点をサンプリングし、各サンプリングした輪郭点の内部距離及び内部角度を（１３）式に適用することにより、手領域に対するＩＤＳＣ記述子を算出（又は決定）する。一実施形態において、手形状の境界に沿って一様に、輪郭点を選択する。得られたＩＤＳＣ記述子は、他のすべてのサンプリングした輪郭点に関連するサンプリングした各輪郭点の分布を取り込み、それによって区画した手領域の形状を豊富に記述する。

手姿勢の分類
姿勢分類モジュール４４０は、サポートベクターマシン（ＳＶＭ、ＳＶＭ分類子とも呼ぶ）を用いて手領域のＩＤＳＣ記述子を分類することにより、手領域中に観察される手姿勢を認識する。ＳＶＭに関する更なる情報は、C.J.C. Burges, "A Tutorial on Support Vector Machines for Pattern Recognition", Data Mining and Knowledge Discovery, 2(2): 121-167 (1998) を参照。姿勢分類モジュール４４０は、対応する訓練手画像の手状態（例えば、「開」、「閉」）を同定するラベルと、訓練手画像のＩＤＳＣ記述子をＳＶＭ分類子に付与することにより、最初にＳＶＭ分類子を訓練する。ＳＶＭ分類子は、すべてのＩＤＳＣ記述子を分離する線形分離超平面を見出すよう試行する。ｘ_iが訓練事例であり、ｙ_iがそれらに対応するラベルである場合、ＳＶＭ分類子は、すべてのｉについて、下記（１４）式を満足する最適分離超平面を見出すように試行する。

ここで、ｗは超平面に対する垂線であり、｜ｂ｜／｜｜ｗ｜｜は、ｘ_iから超平面への垂直距離である。

実際に、ＩＤＳＣ記述子は、線形分離可能でなくてもよい。ここでの前提は、原次元では線形分離可能でないＩＤＳＣ記述子でも、より高次元空間ではうまく分離できるようになることである。そこで、ＳＶＭ分類子は、ＩＤＳＣ記述子をほとんど誤りなく分類する最良の線形分離超平面を見出すように、より高次元空間へデータを射影する。このプロセスにおいて、アルゴリズムは、「サポートベクター」として２クラスに分離するのに不可欠な訓練標本を同定し、これらのベクトルに基づき更なる分類を実行する。

ＳＶＭ分類子の訓練後、姿勢分類モジュール４４０は、分類のために訓練したＳＶＭ分類子へＩＤＳＣ記述子を付与することにより、試験画像（又は動画）中の手姿勢を認識する。一実施形態において、ＳＶＭ分類子は、類似の分散方向を有する手領域の各群（配向ビンとも呼ぶ）向けに訓練する。姿勢分類モジュール４４０は、手形状分類のために適切なＳＶＭ分類子（すなわち、試験画像が属する配向ビンに関連する分類子）へ対応するＩＤＳＣ記述子を射影することにより、手領域中に取り込んだ手形状を認識する。

手姿勢認識方法の概観
図５Ａ及び５Ｂは、手姿勢認識モジュール２５０が一実施形態に係る手姿勢を認識する例示的プロセスをまとめて説明するフローチャートである。プロセス３００と同様に、手姿勢認識プロセスは、ハードウェア及び／又はソフトウェア又はそれらの組み合わせの実施形態で実行してもよい。他の実施形態では、姿勢認識プロセスのステップを異なる順番で実行可能である。手姿勢認識モジュール２５０は、同時に及び／又は並列にプロセスの多重ステップ又は多重インスタンスを実行できる。

ここで、図５Ａを参照すると、フローチャートは、例示的プロセス５００を説明するものであり、手姿勢認識モジュール２５０が、本発明の一実施形態に係る対応する手状態に対する手形状ＩＤＳＣ記述子を分類する一組のＳＶＭ分類子を訓練する。図示したように、手姿勢認識モジュール２５０は、取り込んだ手姿勢（例えば、「開」、「閉」）を表示するラベルに関連した一組の訓練画像を受領する（５１０）。訓練画像の例は、記録した深度画像ストリーム中の深度画像である。

手姿勢認識モジュール２５０は、訓練画像中の手領域を同定する（５１２）。一実施形態において、最初に訓練画像を姿勢推定システム１００によって処理し、体姿勢特徴を検知する。手姿勢認識モジュール２５０は、訓練画像中に検知した特徴の位置に基づき手領域を同定する（５１２）。例えば、手姿勢認識モジュール２５０は、検知した左右の手首部近傍の可視端点付近の画像領域として訓練画像中の手領域を同定する。

手姿勢認識モジュール２５０は、皮膚色を使用して残りの訓練画像から同定した複数の手領域を区画し（５１４）、ＰＣＡアルゴリズムを使用して区画したこれら複数の手領域の分散方向を推定する（５１６）。手姿勢認識モジュール２５０は、手領域の輪郭部に沿って輪郭点をサンプリングし、サンプリングした各輪郭点の内部距離及び内部角度に式１３を適用することにより、区画したすべての手領域に対しＩＤＳＣ記述子を算出する（５１８）。

手姿勢認識モジュール２５０は、手領域の分散方向に基づきすべての区画した手領域（又は手領域のＩＤＳＣ記述子）を複数の異なる配向ビンへグループ化し（５２０）、前記複数の異なる配向ビンの各配向ビンのすべてのＩＤＳＣ記述子及び前記手領域に対応する手状態を示すすべての手状態ラベルをその各配向ビンに対応するサポートベクターマシン（ＳＶＭ）分類子に付与して、各配向ビンに対応するＳＶＭ分類子を訓練する（５２２）。

ここで、図５Ｂを参照すると、フロー図は、例示的プロセス５５０を説明するものであり、手姿勢認識モジュール２５０は、本発明の一実施形態に係る試験画像中に取り込んだ手姿勢を認識する。プロセス５５０は、プロセス５００が終了したら、すなわち、ＳＶＭ分類子を訓練したら、すぐに起動する。図示したように、プロセス５００と同様に、手姿勢認識モジュール２５０は、試験画像中の手領域を同定し５５２、試験画像から手領域を区画し（５５４）、区画した手領域に対して分散方向を推定し（５５６）、区画した手領域に対してＩＤＳＣ記述子を算出する（５５８）。

手姿勢認識モジュール２５０は、その分散方向に基づき区画された手領域が属する配向ビンに対応するＳＶＭ分類子を同定し（５６０）、分類するために同定したＳＶＭ分類子へＩＤＳＣ記述子を付与することにより、ＩＤＳＣ記述子を分類する（５６２）。手姿勢認識モジュール２５０は、試験画像中に取り込んだ手姿勢として分類結果と関連する手形状を認識する。

開示したフレームワークの一実施形態において、数組の手形状を認識する試験を行った。試験では単一のカメラを使用して実演者の手姿勢を取り込んだ。区画した手領域（又は対応するＩＤＳＣ記述子）をそれらの分散方向に基づいて１０群の配向ビンへ（すなわち、ビン１[0°, 18°)へ, ビン２［18°, 36°)へ, …,ビン１０[168°, 180°)へ）グループ化した。

試験した第一の姿勢群は、開・閉という２種類の手形状を含む。ＳＶＭ分類子は、一状態あたり約５０例の開／閉の手形状のＩＤＳＣ記述子を使用して訓練した。一度ＳＶＭ分類子を訓練すると、姿勢認識システム１００を、異なる演者が開／閉した手で異なる日常動作を演じる８本の異なる動画について試験する。動画は、非常に高角度の面内の手回転（＋／−１８０°まで）及び実質的に面外の手回転（＋／−４５°まで）を含んだ。動画をフレームレートでサンプリングし、手領域を取得するため皮膚色を使用して得られた画像を区画した。その後、区画した手領域に対してＩＤＳＣ記述子を取得し、分類するため訓練したＳＶＭ分類子（その主配向方向カテゴリーに一致する）へＩＤＳＣ記述子を射影した。

図７Ａに、姿勢推定システム１００を訓練し、試験するのに用いる手姿勢の画像を示す。上列は数個の閉じた手状態の訓練画像である。中列は数個の開いた手状態の訓練画像である。下列は数個の訓練画像である。姿勢認識システム１００は、試験回数あたり、８種のデータセット中に取り込んだ閉じた手状態の８５％、開いた手状態の９３％を正確に認識した。

さらに２群の姿勢群を、より複雑な手形状パターンを認識するプラットフォームの汎用性を評定するため試験した。具体的には、プラットフォームを、握るときにも手話にも使用する手姿勢を認識するために適用した。かかる用途には、Ｎクラスパターンマッチング問題（ここで、Ｎはクラスの全数である）の解決を伴い、一対多に構成してＮＳＶＭ分類子を使用した。一つ抜き法を分類に用いた。さもなければ、類似の訓練及び試験手順を続いて行った。

握り手の認識については、前記したプラットフォームを、Cutkosky et. al. in "On grasp choice, grasp models, and the design of hands for manufacturing tasks", Robotics and Automation, IEEE Transactions, 5(3):269-279 (1989)が提案する握り手の体系的分類の部分集合を認識するために適用する。具体的には、プラットフォームに、小径握り手、四指と親指の握り手、精密円板状握り手、プラットフォーム状握り手という４区分の握り手パターンを認識するよう訓練した。三名の異なる人物が異なる視認姿勢で各４区分の握りカテゴリーを実演する動画を一台のカメラで記録した。姿勢は、実質的に面内回転を含んだ。姿勢認識システム１００は、平均８４％の認識率に達した。

手話パターンマッチングについては、プラットフォームを、K. Fujimura and X. Liu, "Sign recognition using depth image streams", Proceedings of the 7th International Conference on Automatic Face and Gesture Recognition, 381-386 (2006)から採用した８種類の手話を認識するために適用した。姿勢認識システム１００は、平均８０％の分類正確度に達した。

図７Ｂ及び７Ｃは、各々姿勢認識システム１００を訓練及び試験するのに使用した付加的な握り手パターン及び手話の画像を示す。上列及び中列は、数個の具体的なパターンの訓練画像であり、下列は、数個の対応する試験画像である。

図７Ａ〜Ｃに示すように、訓練画像と試験画像は常に類似するわけではない。被験者は、訓練画像と試験画像の集録中ともに自由に手を回転した。これらの結果は、プラットフォームが、現実の設定で、視点不変性ある、個人依存性のない一般的な手状態の認識に対して非常に有効であると確認できたため、非常に有望である。

更なる詳細な実験については、米国仮出願 No. 61/155,439、２００９年２月２５日出願を参照ください。

付加的な実施形態
上述の実施形態は、リアルタイムで演者の手姿勢を認識する姿勢推定システムを記載する。当業者ならば、姿勢推定システムを人間や例えば動物などの他の動作生成体の他の体部分の姿勢を認識するために使用可能であると理解できる。加えて、姿勢推定システムは、動作リターゲッティング、ロボットの動作の生成及び制御、生体力学における関節トルクの推定などの付加的な機能を提供するように構成できる。例えば、姿勢推定システムの出力は、リアルタイムに手の動作をロボットの手に伝達するのに効果的に使用でき、そのため、ロボットの遠隔把握操縦などの用途に直ちに適用できる。

上述の記載の数箇所の部分は、実施形態を、例えば、図３及び５Ａ〜５Ｂに記述したプロセスや処理という、アルゴリズムのプロセス又は処理の観点から記載する。

本発明の一実施形態を、類似の参照番号が同一又は機能的に類似する要素を示す図を参照しながら上述に記載した。また、図において、各参照番号の最左の数値が、参照番号を最初に使用した図に対応する。

明細書中の「一実施形態」又は「実施形態」という記述は、本発明の実施形態の少なくとも一つが、実施形態に関して記載した特定の特徴、構造、特性を備えることを意味する。明細書中のさまざまな箇所に見られる「一実施形態」又は「実施形態」という語句は、必ずしも同一の実施形態について言及するものではない。

数箇所の詳細な説明は、コンピュータメモリー内のデータビット上の処理についてのアルゴリズム及び記号表現の観点から行った。これらのアルゴリズムの記述及び表現は、データ処理技術分野の当業者が、他の当業者に最も効果的に作業内容を伝達するために使用する手段である。ここでアルゴリズムは、また一般的には、所望の結果へ導く自己矛盾のない一連のステップ（命令）であると理解される。ステップは、物理量の物理的操作を要する。必ずしも必須ではないが、通常、これらの物理量は、記録、転送、結合、対比又は操作可能な電気的、磁気的又は光学的信号の形態をとる。第一に、一般的用法であることから、これらの信号をビット、値、要素、記号、文字、用語、数値などと名付けるとしばしば好都合である。さらに、物理量の物理的操作を要するステップの特定の配列を、モジュールや符号装置と名付けると一般性を失うことなく、しばしば好都合である。

しかしながら、これらすべての用語及び類似する用語は、適切な物理量に関連し、これらの量に貼り付ける単なる便宜的なラベルである。特に言及しない限り、さもなければ、後述の説明から明らかな場合を除いて、「処理する」、「計算する」、「算出する」、「決定する」又は「表示する」などの用語を用いる説明は、明細書中にわたりコンピュータシステムメモリーやレジスター若しくは他のかかる情報記憶装置、送信装置又は表示デバイス内の物理（電子）量として表されるデータを操作し変換するコンピュータシステム又は類似の電子計算装置の動作及び処理に関するものと理解される。

本発明の特定の形態は、アルゴリズムの形でここに記載したプロセスのステップ及び命令を備える。本発明のプロセスのステップ及び命令を、ソフトウェア、ファームウェア又はハードウェア中で具体化でき、ソフトウェア中で具体化した場合、多様なオペレーションシステムが使用する異なるプラットフォームへダウンロードしてプラットフォーム上に駐在でき、プラットフォームから処理することができる点が注目される。本発明は、また、コンピュータプログラム製品中にあってもよく、計算システム上で実行可能である。

本発明は、また、ここでの処理を実行する装置にも関する。この装置は、目的に特化して構築してもよく、コンピュータ内に記録するコンピュータプログラムによって選択的に作動又は再現した汎用コンピュータを備えてもよい。かかるコンピュータプログラムは、コンピュータ読み取り可能な記憶媒体に記録してもよく、限定されないが、例えば、フロッピーディスク（登録商標）、光学ディスク、ＣＤ−ＲＯＭ、磁気光学ディスク、読み取り専用記憶素子（ＲＯＭ）、ランダムアクセスメモリー（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光学カード、特定用途向け集積回路（ＡＳＩＣ）のいずれか又は電気的命令を記憶するのに適した媒体のいずれかであり、各々コンピュータシステムバスに連結している。メモリーとしては、情報／データ／プログラムを記録できる上述の及び／又は他のデバイスが挙げられる。さらに、本明細書中で言及したコンピュータは、単一のプロセッサーを備えてもよく、増強した計算容量仕様に対してはマルチプロセッサー設計を採用して構築してもよい。

ここに示したアルゴリズムと表示装置は、特定のコンピュータや他の装置に固有的に関連するものではない。多様な汎用システムは、ここの教示に従ったプログラムとともに使用してもよく、本方法のステップを実行するために、より特化した装置を構築するのが便利であると分かってもよい。これらの多様なシステムの構造は、以下の記載から明らかである。さらに、本発明は、特定のプログラミング言語いずれかに関して記載したものではない。多様なプログラミング言語を使用して、以下に記載した本発明の教示を実行してもよく、特定言語についての以下の言及は、本発明の実施可能性と最良の形態を開示するために提供したものであると理解できる。

さらに、本明細書中で用いられた文言は、読みやすさや例示のために主として選択したものであって、開示した本発明の対象を輪郭付けすなわち限定するために選択したものではない。したがって、本発明の開示は、特許請求の範囲で規定した本発明の範囲を説明する意図であり、限定するものではない。

Claims

画像中に取り込んだ手姿勢を認識するコンピュータを用いる方法であって、
前記コンピュータは、
前記画像中の手領域を同定し、
前記画像中の前記手領域の分散方向を推定し、
前記画像中の同定した前記手領域に対応する、前記分散方向に基づかない内部距離形状関連法（ＩＤＳＣ）記述子を決定し、
前記推定した分散方向と前記分散方向と対応する複数の配向ビンの１つとを結びつけ、
前記複数の配向ビンの１つと前記分散方向と対応する複数の分散方向を有する複数の訓練画像に基づいて生成される分類子であって、前記配向ビンに対応する分類子を同定し、
前記分類子は、複数の手姿勢クラスに対応する複数の基準ＩＤＳＣ記述子を備え、
前記分類子へ前記ＩＤＳＣ記述子を付与することにより、前記複数の手姿勢クラスのひとつへ前記同定した手領域を分類することを特徴とする方法。
前記コンピュータは、
訓練画像中の基準手領域に基準ＩＤＳＣ記述子を決定し、
前記基準手領域のそれぞれを、前記複数の手姿勢クラスのひとつにラベル付けし、
前記基準ＩＤＳＣ記述子及び前記手領域に対応する手姿勢クラスを前記分類子に付与することにより、前記複数の手姿勢クラスへ手領域を分類する前記分類子を訓練することを特徴とする請求項１に記載の方法。
前記コンピュータは、
前記訓練画像及び皮膚色に基づく前記画像から前記手領域を区画することを特徴とする請求項２に記載の方法。
前記手領域を区画する過程が、前記区画した手領域に形態演算を適用する過程を備える請求項３に記載の方法。
前記コンピュータは、
前記訓練画像中の前記基準手領域の分散方向を推定し、
関連する前記訓練画像の分散方向に基づいて配向ビンへ前記訓練画像中の前記基準手領域をグループ化し、
前記分類子を訓練する過程は、前記配向ビン中の前記基準手領域の前記ＩＤＳＣ記述子を前記分類子に付与して、各前記配向ビンに対する前記分類子を訓練する過程を備える請求項２に記載の方法。
前記分散方向を推定する過程が、最大分散方向に沿って前記手領域を射影するため、主成分分析法（ＰＣＡ）を適用する過程と、前記手領域の前記分散方向として前記最大分散方向を決定する過程を備える請求項１に記載の方法。
前記画像が、単一のタイムオブフライトカメラによって撮影した深度画像を備える請求項１に記載の方法。
前記分類子が、前記対応する手姿勢クラスに応じて、ＩＤＳＣ記述子を分離する線形分離超平面を決定する請求項１に記載の方法。
前記分類子が、サポートベクターマシン（ＳＶＭ）分類子を備える請求項８に記載の方法。
前記画像中の前記手領域を同定する過程が、前記画像中に検知した体特徴に基づいて前記画像中の前記手領域を同定する過程を備える請求項１に記載の方法。
コンピュータに読み取り可能なコンピュータプログラムコードを格納する不揮発性の媒体であって、
前記コンピュータプログラムコードは、前記コンピュータに対して、
前記画像中の手領域を同定する過程と；
前記画像中の前記手領域の分散方向を推定する過程と；
前記画像中の同定した前記手領域に対応する、前記分散方向に基づかない内部距離形状関連法（ＩＤＳＣ）記述子を決定する過程と；
前記推定した分散方向と前記分散方向と対応する複数の配向ビンの１つとを結びつける過程と；
前記複数の配向ビンの１つと前記分散方向と対応する複数の分散方向を有する複数の訓練画像に基づいて生成される分類子であって、前記配向ビンに対応する分類子を同定する過程であって、
前記分類子は、複数の手姿勢クラスに対応する複数の基準ＩＤＳＣ記述子を備える過程と；
前記分類子へ前記ＩＤＳＣ記述子を付与することにより、前記複数の手姿勢クラスのひとつへ前記同定した手領域を分類する過程と
を実行させることを特徴とする媒体。
前記コンピュータプログラムコードは、前記コンピュータに対して、
訓練画像中の基準手領域に基準ＩＤＳＣ記述子を決定する過程と；
前記基準手領域のそれぞれを、前記複数の手姿勢クラスのひとつにラベル付けする過程と；
前記基準ＩＤＳＣ記述子及び前記手領域に対応する手姿勢クラスを前記分類子に付与することにより、前記複数の手姿勢クラスへ手領域を分類する前記分類子を訓練する過程と
を更に実行させることを特徴とする請求項１１に記載の媒体。
前記コンピュータプログラムコードは、前記コンピュータに対して、
前記訓練画像及び皮膚色に基づく前記画像から前記手領域を区画する過程を更に実行させることを特徴とする請求項１２に記載の媒体。
前記手領域を区画する過程が、前記区画した手領域に形態演算を適用する過程を備える請求項１３に記載の媒体。
前記コンピュータプログラムコードは、前記コンピュータに対して、
前記訓練画像中の前記基準手領域の分散方向を推定する過程と；
関連する前記訓練画像の分散方向に基づいて配向ビンへ前記訓練画像中の前記基準手領域をグループ化する過程を更に実行させ、
前記分類子を訓練する過程は、前記配向ビン中の前記基準手領域の前記ＩＤＳＣ記述子を前記分類子に付与して、各前記配向ビンに対する前記分類子を訓練する過程を備える請求項１２に記載の媒体。
画像中に取り込んだ手姿勢を認識するシステムであって、
前記システムは、
実行可能なコンピュータプログラムコードを実行するためのコンピュータプロセッサーと；
前記コンピュータに読み取り可能な前記コンピュータプログラムコードを格納する不揮発性の媒体と
を有し、
前記コンピュータプログラムコードは、前記コンピュータプロセッサーに対して、
前記画像中の手領域を同定する過程と；
前記画像中の前記手領域の分散方向を推定する過程と；
前記画像中の同定した前記手領域に対応する、前記分散方向に基づかない内部距離形状関連法（ＩＤＳＣ）記述子を決定する過程と；
前記推定した分散方向と前記分散方向と対応する複数の配向ビンの１つとを結びつける過程と；
前記複数の配向ビンの１つと前記分散方向と対応する複数の分散方向を有する複数の訓練画像に基づいて生成される分類子であって、前記配向ビンに対応する分類子を同定する過程であって、
前記分類子は、複数の手姿勢クラスに対応する複数の基準ＩＤＳＣ記述子を備える過程と；
前記分類子へ前記ＩＤＳＣ記述子を付与することにより、前記複数の手姿勢クラスのひとつへ前記同定した手領域を分類する過程と
を実行させるシステム。
前記コンピュータプログラムコードは、前記コンピュータプロセッサーに対して、
訓練画像中の基準手領域に基準ＩＤＳＣ記述子を決定する過程と；
前記基準手領域のそれぞれを、前記複数の手姿勢クラスのひとつにラベル付けする過程と；
前記基準ＩＤＳＣ記述子及び前記手領域に対応する手姿勢クラスを前記分類子に付与することにより、前記複数の手姿勢クラスへ手領域を分類する前記分類子を訓練する過程を
更に実行させる請求項１６に記載のシステム。
前記コンピュータプログラムコードは、前記コンピュータプロセッサーに対して、
前記訓練画像及び皮膚色に基づく前記画像から前記手領域を区画する過程を更に実行させることを特徴とする請求項１７に記載のシステム。
前記手領域を区画する過程が、前記区画した手領域に形態演算を適用する過程を備える請求項１８に記載のシステム。