JP7768414B2

JP7768414B2 - 変換方法、変換プログラムおよび変換装置

Info

Publication number: JP7768414B2
Application number: JP2024546576A
Authority: JP
Inventors: 達也鈴木
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2022-09-13
Filing date: 2022-09-13
Publication date: 2025-11-12
Anticipated expiration: 2042-09-13
Also published as: EP4589249A1; EP4589249A4; JPWO2024057423A1; CN119630940A; WO2024057423A1; US20250148626A1

Description

本発明は、変換方法等に関する。

３次元の人の動きの検出に関しては、複数台の３Ｄレーザセンサから人の３Ｄ骨格座標をｃｍオーダーの精度で検出する３Ｄセンシング技術が確立されている。この３Ｄセンシング技術は、体操採点支援システムへの応用や、他のスポーツ、他分野への展開が期待されている。３Ｄレーザセンサを用いた方式を、レーザ方式と表記する。

レーザ方式では、レーザを１秒間に約２００万回照射し、レーザの走行時間（Time of Flight：ＴｏＦ）を基に、対象となる人を含めて、各照射点の深さや情報を求める。レーザ方式は、高精度な深度データを取得できるが、レーザスキャンやＴｏＦ測定の構成および処理が複雑であるため、ハードウェアが複雑および高価になるという欠点がある。

レーザ方式の代わりに、画像方式によって、３Ｄ骨格認識を行う場合もある。画像方式では、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージャによって、各ピクセルのＲＧＢ（Red Green Blue）データを取得する方式であり、安価なＲＧＢカメラを用いることができる。

ここで、複数カメラを用いた３Ｄ骨格認識に関する従来技術について説明する。図１８は、３Ｄ骨格認識に関する従来技術を説明するための図である。図１８に示す例では、カメラ３０ａ，３０ｂは、ユーザＵ１の画像を撮影する。カメラ３０ａ，３０ｂが撮影した画像をそれぞれ、画像３１ａ、３１ｂとする。

画像３１ａ，３１ｂはそれぞれ、学習モデル３２ａ，３２ｂに入力され、学習モデル３２ａ，３２ｂはそれぞれ、２Ｄキーポイント３３ａ，３３ｂを出力する。学習モデル３２ａ，３２ｂは、訓練済みのディープラーニングモデル等である。２Ｄキーポイント３３ａ，３３ｂは、２次元の骨格情報等である。

従来技術では、２Ｄキーポイント３３ａ，３３ｂを統合することで、３Ｄキーポイント３４を生成する。３Ｄキーポイント３４は、３次元の骨格情報等である。たとえば、３Ｄキーポイント３４には、人体モデルの各関節の３次元の座標が設定される。

図１９は、人体モデルの一例を示す図である。図１９に示すように、人体モデルは２１個の関節ａｒ０～ａｒ２０によって定義される。３Ｄキーポイント３４は、人体モデルで定義された各関節ａｒ０～ａｒ２０に対して、ｘ、ｙ、ｚの３次元座標が設定される。

図１９に示す各関節ａｒ０～ａｒ２０と、関節名との関係は、図２０に示すものとなる。図２０は、関節名の一例を示す図である。たとえば、関節ａｒ０の関節名は「SPINE_BASE」である。関節ａｒ１～ａ２０の関節名は、図２０に示すとおりであり、説明を省略する。

ここで、画像方式の骨格認識の性能を向上させるために、３Ｄキーポイントから、ディープラーニングモデルの学習データを生成し、追加学習する方法がある。

従来技術では、３Ｄキーポイントから学習データを直接生成することが難しいため、３Ｄキーポイントを、一旦、階層構造データに変換し、係る階層構造データを基にして、学習データを生成している。かかる階層構造データには、BVH（Biovision Hierarchy）データが含まれる。

たとえば、BVHデータは、「HIERARCY」と、「MOTION」の２つのセクションで構成されている。まず、HIERARCYでは、人体の骨格構造を複数のノードによって定義し、基準姿勢のデータを持つ。人体の骨格構造を示す複数のノードには、人体の基準の関節のノードを示す「ROOT」と、関節のノードを示す「JOINT」、手足先等の先端部のノードを示す「End」が含まれる。HIERARCYでは、最上位のROOTから最下位のEndまでのノードの接続順を定義している。隣接するノードには、上位のノードから、下位のノードに向けて「関節方向ベクトル」が設定される。

図２１は、基準姿勢の一例を示す図である。図２１に示す例では、基準姿勢をノードｒｎ、ｎ０～ｎ２０によって示す。ノードｒｎは、ROOTである。ノードｎ０～ｎ２、ｎ４～ｎ１２、ｎ１４～ｎ１６、ｎ１８は、JOINTである。ノードｎ３、ｎ１３、ｎ１７、ｎ１９、ｎ２０は、Endである。基準姿勢における各ノード間の関節方向ベクトルを「OFFSET」と定義する。

一方、MOTIONには、総フレーム数、１フレーム当たりの時間が設定され、１フレーム毎に、ROOTの３次元位置、ROOTの３次元回転角、各JOINTの回転角の情報が含まれる。

図２２は、ROOTの３次元回転角の一例を説明するための図である。たとえば、ROOTの３次元回転角は、グローバル座標系のROOTのノードｒｎ－１を、ROOT座標系のROOTのノードｒｎ－２に変換するオイラー角（θｘ、θｙ、θｚ）である。

図２３は、JOINTの３次元回転角の一例を説明するための図であるたとえば、JOINTの３次元回転角は、上位JOINT座標系から注目JOINT座標系に変換するオイラー角（θｘ、θｙ、θｚ）である。たとえば、注目するJOINTをノードｎ４とすると、ノードｎ４の上位のノードは、ノードｎ２となる。この場合、上位JOINT座標系は、ノードｎ２の座標系である。注目JOINT座標系は、ノードｎ４の座標系である。

ここで、３Ｄキーポイントは、３次元座標データであり、ROOT、JOINTの情報がないので、単純に、３Ｄキーポイントから、ROOTの３次元回転角、各JOINTの３次元回転角を求めることができない。たとえば、従来技術では、逆運動学を基にして、３Ｄキーポイントから、ROOTの３次元回転角、各JOINTの３次元回転角を求めている。

逆運動学は、マニピュレーター等の多関節ロボットにおいて、入力として与えられた目標位置に、手先などの部分が到達するための関節角度を計算する方法である。

図２４は、逆運動学を説明するための図である。代表例として、勾配法による逆運動学について説明する。図２４に示す例では、目標位置tarが与えられている。逆運動学では、目標位置tarと、手先の位置ｈ１との誤差ｅを０に近づける関節角度ｑを計算し、ｑを繰り返し更新するステップを繰り返し実行する。

たとえば、３Ｄキーポイントから、BVHデータのROOTの３次元回転角、各JOINTの３次元回転角を求める処理手順は、図２５に示す処理手順となる。

図２５は、従来技術の処理手順を示すフローチャートである。図２５では、従来技術の処理を実行する装置を、従来装置と表記する。図２５に示すように、従来装置は、３Ｄキーポイントを取得する（ステップＳ１０）。

従来装置は、３Ｄキーポイントを基にして、骨の長さを計算する（ステップＳ１１）。従来装置は、HIERARCYを記述する（ステップＳ１２）。従来装置は、ROOTの３次元座標を計算する（ステップＳ１３）。

従来装置は、逆運動学に基づき、ROOT、JOINTの３次元回転角を計算する（ステップＳ１４）。従来装置は、MOTIONを記述する（ステップＳ１５）。

続いて、図２５のステップＳ１４で説明した、逆運動学に基づき、ROOT、JOINTの３次元回転角を算出する処理手順について説明する。図２６は、逆運動学に基づき、ROOT、JOINTの３次元回転角を算出する処理手順を示すフローチャートである。図２６に示すように、従来装置は、３Ｄキーポイントの関節位置p_｛tar｝と、BVHデータの関節位置の初期値q_｛src｝の入力を受け付ける（ステップＳ２０）。

従来装置は、q_｛src｝から、順運動学ＦＫにより、p_｛src｝を計算する（ステップＳ２１）。従来装置は、式（１）に基づき、関節位置間の誤差ｅを算出する（ステップＳ２２）。

e=|p_｛tar｝-p_｛src｝|・・・（１）

従来装置は、誤差ｅが、εよりも小さい場合には（ステップＳ２３，Ｙｅｓ）、ステップＳ２７に移行する。一方、従来装置は、誤差ｅが、εよりも小さくない場合には（ステップＳ２３，Ｎｏ）、ステップＳ２４に移行する。

ステップＳ２４以降の処理について説明する。従来装置は、誤差ｅを小さくする関節角度ｑ（q_｛src｝）の速度として、ヤコビ行列Ｊを計算する（ステップＳ２４）。

従来装置は、式（２）を基にして、誤差ｅのヤコビ行列Ｊから誤差を小さくする変位Δｑ（Δq_｛src｝）を計算する（ステップＳ２５）。

Δq=-J^－１e・・・（２）

従来装置は、式（３）を基にして、ｑを更新し（ステップＳ２６）、ステップＳ２１に移行する。

q=q+Δq・・・（３）

ステップＳ２７以降の処理について説明する。従来装置は、q_｛src｝の値を、q_｛tar｝の値に設定する（ステップＳ２７）。従来装置は、上述したステップＳ２１～ステップＳ２７の処理を、全関節分実行する（ステップＳ２８）。従来装置は、q_｛tar｝を出力する（ステップＳ２９）。

図２７は、図２６の処理を補足説明するための図である。図２７に示すように、３Ｄキーポイントの関節位置p_｛tar｝、BVHデータの関節角度の初期値q_｛src｝を入力し、図２６のステップＳ２０～Ｓ２９の処理を実行すると、BVHデータのモーションq_｛tar｝が出力される。

特開２０２２－９２５２８号公報

しかしながら、上述した従来技術では、逆運動学を基にして、３Ｄキーポイントを階層構造データに変換しているため、計算量が多いという問題がある。

たとえば、図２６で説明した逆運動学の処理では、誤差ｅが、εよりも小さくなるまで、ステップＳ２１～Ｓ２６の処理が繰り返し実行される。

１つの側面では、本発明は、３Ｄキーポイントを階層構造データに変換するための計算量を減らすことができる変換方法、変換プログラムおよび変換装置を提供することを目的とする。

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、人体に含まれる複数の関節と、複数の関節に対する座標とがそれぞれ設定された骨格情報と、人体に含まれる複数の関節と、複数の関節に対する基準座標とがそれぞれ設定された基準姿勢情報とを取得する。コンピュータは、基準姿勢情報に設定された第１の関節に対応する第２の関節を、骨格情報に設定された複数の関節から特定する。コンピュータは、第１の関節の基準座標から、第２の関節の座標までの相対回転角を計算し、相対回転角を階層構造データに設定することで、骨格情報を階層構造データに変換する。

３Ｄキーポイントを階層構造データに変換するための計算量を減らすことができる。

図１は、剛体位置合わせによってROOTの３次元回転角を計算する処理を説明するための図である。図２は、ロドリゲスの回転公式によってJOINTの３次元回転角を計算する処理を説明するための図（１）である。図３は、ロドリゲスの回転公式によってJOINTの３次元回転角を計算する処理を説明するための図（２）である。図４は、本実施例に係る変換装置の構成を示す機能ブロック図である。図５は、３Ｄキーポイントテーブルのデータ構造の一例を示す図である。図６は、階層構造データのデータ構造の一例を説明するための図である。図７は、BVHデータのデータ構造の一例を示す図である。図８は、モデルデータの一例を示す図である。図９は、補正角度辞書のデータ構造の一例を示す図である。図１０は、補正実行部の処理を説明するための図である。図１１は、生成部の処理を説明するための図である。図１２は、本実施例に係る変換装置の処理手順を示すフローチャートである。図１３は、第１計算処理の処理手順を示すフローチャートである。図１４は、第２計算処理の処理手順を示すフローチャートである。図１５は、補正処理の処理手順を示すフローチャートである。図１６は、本実施例に係る変換装置の効果を説明するための図である。図１７は、実施例の変換装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。図１８は、３Ｄ骨格認識に関する従来技術を説明するための図である。図１９は、人体モデルの一例を示す図である。図２０は、関節名の一例を示す図である。図２１は、基準姿勢の一例を示す図である。図２２は、ROOTの３次元回転角の一例を説明するための図である。図２３は、JOINTの３次元回転角の一例を説明するための図である。図２４は、逆運動学を説明するための図である。図２５は、従来技術の処理手順を示すフローチャートである。図２６は、逆運動学に基づき、ROOT、JOINTの３次元回転角を算出する処理手順を示すフローチャートである。図２７は、図２６の処理を補足説明するための図である。

以下に、本願の開示する変換方法、変換プログラムおよび変換装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例に係る変換装置の処理について説明する。変換装置は、階層構造データの基準姿勢が既知であることに着目する。階層構造データの基準姿勢の説明は、図２１で説明したものと同様である。変換装置は、基準姿勢から３Ｄキーポイントまでの相対回転角を計算することで、３ＤキーポイントをBVHデータに変換する際の繰り返し計算をなくし、計算量を減らす。

たとえば、変換装置は、剛体位置合わせによってROOTの３次元回転角を計算する。また、変換装置は、ロドリゲスの回転公式によってJOINTの３次元回転角を計算する。

まず、変換装置が、剛体位置合わせによってROOTの３次元回転角を計算する処理の一例について説明する。図１は、剛体位置合わせによってROOTの３次元回転角を計算する処理を説明するための図である。変換装置は、階層構造データ（基準姿勢のデータ）の各ノードを事前定義に従って、３点以上の剛体関節ノードと、それ以外のノードとに分割する。図２１で説明したように、基準姿勢の各ノードは、ノードｒｎ，ｎ０～ｎ２０となる。図１に示す例では、変換装置は、基準姿勢４０に含まれる各ノードのうち、ノードｎ０，ｎ１０，ｎ１４を、剛体関節ノードとして選択する。

変換装置は、３Ｄキーポイント４１に含まれる各関節から、剛体関節ノード（ノードｎ０，ｎ１０，ｎ１４）に対応する、関節群を特定する。図１に示す例では、剛体関節ノードに対応する関節群は、関節ａｒ０，ａｒ１０，ａｒ１４となる。以下の説明では、３Ｄキーポイントに含まれる各関節のうち、剛体関節ノードに対応する関節群を「剛体対応関節」と表記する。

変換装置は、剛体関節ノード（ノードｎ０，ｎ１０，ｎ１４）から、剛体対応関節（関節ａｒ０，ａｒ１０，ａｒ１４）までの相対回転角を剛体位置合わせで計算し、ROOTの３次元回転角とする。

剛体位置合わせは、３点以上の組合せのsourceとtargetとから、式（４）に従った最小二乗法により、sourceをtargetに合わせる際の変換パラメータを求める手法である。変換パラメータには、回転行列Ｒ、並進ｔ、スケールｃが含まれる。本実施例では、回転行列Ｒを、オイラー角に変換し、ROOTの３次元回転角として利用する。

式（４）において、「ｘ」は、３点以上のsourceの座標である。sourceの座標は、剛体関節の３次元座標である。「ｙ」は、３点以上のtargetの座標である。targetの座標は、剛体対応関節の３次元座標である。変換装置は、式（４）のｅ^２が最小となる回転行列Ｒ、並進ｔ、スケールｃを求める。

続いて、変換装置が、ロドリゲスの回転公式によってJOINTの３次元回転角を計算する処理の一例について説明する。図２および図３は、ロドリゲスの回転公式によってJOINTの３次元回転角を計算する処理を説明するための図である。まず、図２について説明する。変換装置は、３Ｄキーポイント４１の注目関節の関節方向ベクトルを、ローカル座標系の関節方向ベクトルに変換する。３Ｄキーポイント４１の関節方向ベクトルは、隣接する関節において、下位の関節から、上位の関節に向かうベクトルである。

図２に示す例では、注目関節を関節ａｒ０として説明を行う。関節ａｒ０の関節方向ベクトルv_｛tar｝は、下位の関節ａｒ０から、上位の関節ａｒ１に向かうベクトルである。

変換装置は、注目関節の関節方向ベクトルに、上記の式（４）で求めた回転行列Ｒの逆行列（Ｒ^－１）を乗算することで、ローカル座標系の関節方向ベクトルに変換する。たとえば、注目関節の関節方向ベクトルv_｛tar｝に、Ｒ^－１を乗算することで、ローカル座標系の関節方向ベクトルv_｛tar_local｝が得られる。変換装置は、３Ｄキーポイント４１の各関節について、上記処理を繰り返し実行することで、ローカル座標系の３Ｄキーポイント４２を得る。

続いて、変換装置は、３Ｄキーポイント４２の関節方向ベクトルと、基準姿勢４０の関節方向ベクトルとの法線を回転軸とした、３Ｄキーポイント４２の関節方向ベクトルと、基準姿勢４０の関節方向ベクトルとのなす角θを特定する。ここでは、一例として、３Ｄキーポイント４２の関節方向ベクトルv_｛tar_local｝と、基準姿勢４０の関節方向ベクトルv_｛src｝とを用いて説明する。関節方向ベクトルv_｛src｝は、基準姿勢のノードｎ０から、ノードｎ１に向かうベクトルである。

図３の説明に移行する。図３において、ｎは、関節方向ベクトルv_｛tar_local｝と、基準姿勢４０の関節方向ベクトルv_｛src｝との法線である。変換装置は、関節方向ベクトルv_｛tar_local｝と、関節方向ベクトルv_｛src｝との外積によって、法線ｎを特定する。変換装置は、法線ｎを回転軸として、関節方向ベクトルv_｛tar_local｝と、関節方向ベクトルv_｛src｝とのなす角θを特定する。

変換装置は、法線ｎを回転軸、なす角θを回転角度とし、ロドリゲスの回転公式により相対回転角を計算し、JOINTの３次元回転角として利用する。

ロドリゲスの回転公式とは、関節方向ベクトルのsourceとtargetにより特定した回転軸（法線ｎ）、回転角度（なす角θ）から、式（５）に従って、回転行列Ｒを計算する公式である。関節方向ベクトルのsourceは、基準姿勢４０の関節方向ベクトル（v_｛src｝）である。関節方向ベクトルのtargetは、ローカル座標系の３Ｄキーポイント４２の関節方向ベクトル（v_｛tar_local｝）である。

変換装置は、式（５）によって求められるＲ_ｎ（θ）を、オイラー角に変換することで、JOINTの３次元回転角として利用する。

上記のように、本実施例に係る変換装置は、階層構造データの基準姿勢から３Ｄキーポイントまでの相対回転角を計算することで、計算量を減らすことができる。たとえば、変換装置は、変換装置は、剛体位置合わせによってROOTの３次元回転角を計算する。また、変換装置は、ロドリゲスの回転公式によってJOINTの３次元回転角を計算する。

次に、図１～図３で説明した処理を実行する変換装置の構成例について説明する。図４は、本実施例に係る変換装置の構成を示す機能ブロック図である。図４に示すように、この変換装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

通信部１１０は、ネットワークを介して、外部装置等との間でデータ通信を実行する。通信部１１０は、ＮＩＣ（Network Interface Card）等である。後述する制御部１５０は、通信部１１０を介して、外部装置との間でデータをやり取りする。

入力部１２０は、変換装置１００の制御部１５０に各種の情報を入力する入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。

記憶部１４０は、３Ｄキーポイントテーブル１４１、階層構造データ１４２、学習データテーブル１４４を有する。記憶部１４０は、メモリなどの記憶装置である。

３Ｄキーポイントテーブル１４１は、３Ｄキーポイントに関する情報を保持するテーブルである。図５は、３Ｄキーポイントテーブルのデータ構造の一例を示す図である。図５に示すように、３Ｄキーポイントテーブル１４１は、フレーム番号と、各関節（関節の識別情報）に対応する３次元座標とを対応付けて保持する。

フレーム番号は、３Ｄキーポイントを生成する場合に用いた画像を識別するフレーム番号である。各関節の識別情報は、関節を一意に特定する情報である。図５の説明では、関節ａｒ０～ａｒ２０を、関節の識別情報として用いる。たとえば、関節ａｒ０は、「SPINE_BASE」に対応する。関節ａｒ１は、「SPINE_MID」に対応する。関節ａｒ２０は、「HAND_TIP_RIGHT」に対応する。その他の関節の、関節名との関係は、図２０に示される。

３Ｄキーポイントテーブル１４１のあるフレーム番号（たとえば、０００１）に対応する関節ａｒ０～ａｒ２０の各３次元座標が、あるフレーム番号（たとえば、０００１）に対応する３Ｄキーポイントとなる。

階層構造データ１４２は、３Ｄキーポイントを変換することで得られるデータである。図６は、階層構造データのデータ構造の一例を説明するための図である。図６に示すように、階層構造データ１４２は、BVHデータ５０と、モデルデータ６０とを有する。

図７は、BVHデータのデータ構造の一例を示す図である。図７に示すように、BVHデータには、HIERARCY５１と、MOTION５２とが含まれる。HIERARCY５１は、ノード定義情報５１ａ、階層構造定義情報５１ｂ、基準姿勢情報５１ｃ、チャネル情報５１ｄを含む。

ノード定義情報５１ａは、図２１に示したノードｒｎ，ｎ０～ｎ２０のうち、どのノードが、ROOTであり、どのノードが、JOINTであり、どのノードが、Endであるかを定義する情報である。たとえば、ノードｒｎは、ROOTである。ノードｎ０～ｎ２、ｎ４～ｎ１２、ｎ１４～ｎ１６、ｎ１８は、JOINTである。ノードｎ３、ｎ１３、ｎ１７、ｎ１９、ｎ２０は、Endである。

階層構造定義情報５１ｂは、最上位となるROOTから、最下位となるEndまでのノードの接続順を定義する情報である。

基準姿勢情報５１ｃは、図２１で説明した基準姿勢の情報である。たとえば、基準姿勢情報５１ｃでは、基準姿勢となる各ノードの関節方向ベクトルを定義する。

チャネル情報５１ｄは、後述する各フレームのモーションデータ５２ｃに登録されるデータを定義する情報である。

MOTION５２は、フレーム数５２ａ、フレームタイム５２ｂ、モーションデータ５２ｃを含む。フレーム数５２ａは、総フレーム数を示す。フレームタイム５２ｂは、１フレーム当たりの時間を示す。

モーションデータ５２ｃは、１フレームの情報として、ROOTの３次元位置、ROOTの３次元回転角、各JOINTの３次元回転角が登録される。一つの３Ｄキーポイントから、一つのモーションデータ５２ｃが生成される。

図８は、モデルデータの一例を示す図である。たとえば、モデルデータ６０には、SMPL（Skinned Multi-Person Linear Model）６１ａ、MakeHuman６１ｂ、Autodesk Character Generator６１ｃ等が含まれる。

SMPL６１ａは、３Ｄ身長スキャンデータで学習された、姿勢や体形を調整可能な３Ｄ身体ＣＧ（Computer Graphics）モデルである。MakeHuman６１ｂは、性別、身長、体形、人種などを調整可能な３Ｄ身体ＣＧモデルである。Autodesk Character Generator６１ｃは、表情、筋肉、毛髪、スタイルなどのdetailを調整可能な３Ｄ身体ＣＧモデルである。

図４の説明に戻る。補正角度辞書１４３は、JOINTの３次元回転角を補正するための情報を保持する辞書である。図９は、補正角度辞書のデータ構造の一例を示す図である。図９に示すように、補正角度辞書１４３は、フレーム番号と、ラベルと、補正角度とを対応付ける。

フレーム番号は、３Ｄキーポイントを生成する場合に用いた画像を識別するフレーム番号であり、３Ｄキーポイントを識別する情報でもある。ラベルは、「順手」、「逆手」等のラベルが設定される。ラベルが「なし」の場合には、該当する補正角度が存在しないことを意味する。補正角度は、各関節の補正角度が設定される。かかる補正角度を基にして、JOINTの３次元回転角が補正される。

学習データテーブル１４４は、階層構造データ１４２を基にして生成される学習データを保持する。学習データは、入力を画像、正解ラベルを関節座標とするデータである。学習データは、ＮＮ（Neural Network）等の機械学習モデルを訓練する場合に利用される。

図４の説明に戻る。制御部１５０は、取得部１５１と、第１計算部１５２と、第２計算部１５３と、補正実行部１５４と、設定部１５５と、生成部１５６と、学習部１５７とを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等である。

取得部１５１は、ネットワークを介して、外部装置等から、３Ｄキーポイントテーブル１４１の情報、補正角度辞書１４３の情報等を取得する。取得部１５１は、取得した３Ｄキーポイントテーブル１４１、補正角度辞書１４３の情報を、記憶部１４０に格納する。

第１計算部１５２は、３Ｄキーポイントテーブル１４１から、３Ｄキーポイントを取得し、階層構造データ１４２から基準姿勢を取得する。３Ｄキーポイントには、フレーム番号が付与されているものとする。第１計算部１５２は、基準姿勢と、３Ｄキーポイントとを基にして、剛体位置合わせによってROOTの３次元回転角を計算する。第１計算部１５２が、剛体位置合わせによってROOTの３次元回転角を計算する処理は、図１で説明した処理に対応する。第１計算部１５２は、所定の変換公式により、ROOTの３次元回転角をオイラー角に変換する。

なお、第１計算部１５２は、３Ｄキーポイントを基にして、関節間の骨の長さを計算する。第１計算部１５２は、ROOTの３次元座標として算出する。

第１計算部１５２は、３Ｄキーポイントと、基準姿勢と、計算結果（ROOTの３次元回転角＜回転行列Ｒ、オイラー角＞、ROOTの３次元座標）とを、第２計算部１５３に出力する。

第２計算部１５３は、３Ｄキーポイントと、基準姿勢と、ROOTの３次元回転角＜回転行列Ｒ＞とを基にして、ロドリゲスの回転公式によって各JOINTの３次元回転角を計算する。第２計算部１５３が、ロドリゲスの回転公式によって各JOINTの３次元回転角を計算する処理は、図２、図３で説明した処理に対応する。第２計算部１５３は、所定の変換公式により、各JOINTの３次元回転角をオイラー角に変換する。

第２計算部１５３は、３Ｄキーポイントと、ROOTの３次元回転角＜回転行列Ｒ、オイラー角＞）と、計算結果（各JOINTの３次元回転角＜回転行列Ｒ、オイラー角＞）と、ROOTの３次元座標とを、補正実行部１５４に出力する。

補正実行部１５４は、各JOINTの３次元回転角（オイラー角）を、補正角度辞書１４３を基にして補正する。図１０は、補正実行部の処理を説明するための図である。図１０のBVHデータ７０は、基準姿勢に、各JOINTの３次元回転角（補正前）を適用したデータである。ここで、補正角度辞書１４３の補正角度であって、３Ｄキーポイントのフレーム番号に対応する各関節の補正角度の情報を、補正角度情報１４３－１とする。補正角度情報１４３－１では、関節ａｒ５の補正角度が「－９０°」であり、関節ａｒ８の補正角度が「＋９０°」である。

補正実行部１５４は、BVHデータ７０の各ノード（関節）のうち、関節ａｒ５に対応するノードｎ８の３次元回転角を、補正角度「－９０°」で補正する。また、補正実行部１５４は、BVHデータ７０の各ノード（関節）のうち、関節ａｒ８に対応するノードｎ８の３次元回転角を、補正角度「＋９０°」で補正する。補正実行部１５４は、係る補正をBVHデータ７０に対して実行することで、BVHデータ７１が生成される。BVHデータ７０の関節ａｒ５，ａｒ８に対応する回転角度は、実際の人物の姿勢７５の回転角度に整合しないが、BVHデータ７１の関節ａｒ５，ａｒ８に対応する回転角度は、実際の人物の姿勢７５の回転角度に整合する。

なお、補正実行部１５４は、以下の手順によって、JOINTの３次元回転角を補正する。補正実行部１５４は、補正前のJOINTの３次元回転角（オイラー角の形式）を、３次元回転角（回転行列Ｒの形式）に変換する。補正実行部１５４は、着目する関節の方向と、補正角度から、補正角度の補正回転行列R_｛correct｝を算出する。補正実行部１５４は、補正前の３次元回転角（回転行列Ｒの形式）に、補正回転行列R_｛correct｝を乗算することで、補正後の３次元回転角（回転行列Ｒの形式）を算出する。

補正実行部１５４は、補正後の３次元回転角（回転行列Ｒの形式）を、補正後の３次元回転角（オイラー角の形式）に戻し、JOINTの３次元回転角を更新する。

なお、補正実行部１５４は、３Ｄキーポイントのフレーム番号に対応する各関節の補正角度が「なし」の場合には、前後のフレーム番号の補正角度を基にして、補正角度を補間する。たとえば、補正実行部１５４は、球面線形補間を実行する。補正実行部１５４は、補間した補正角度を用いて、上記のように、JOINTの３次元回転角を補正する。

補正実行部１５４は、３Ｄキーポイントと、ROOTの３次元回転角（オイラー角の形式）と、各JOINTの３次元回転角（オイラー角の形式）と、ROOTの３次元座標とを、設定部１５５に出力する。

上述した第１計算部１５２、第２計算部１５３、補正実行部１５４は、各３Ｄキーポイントについて、上記処理を繰り返し実行する。

設定部１５５は、階層構造データ１４２に、各種情報を設定する。たとえば、設定部１５５は、階層構造データ１４２に、HIERARCY５１、MOTION５２の情報を記述する。設定部１５５は、予め準備される情報を基にして、HIERARCY５１を記述する。設定部１５５は、予め準備される情報を基にして、MOTION５２のフレーム数５２ａ、フレームタイム５２ｂを記述する。設定部１５５は、第１計算部１５２、第２計算部１５３、補正実行部１５４の算出結果を基にして、モーションデータ５２ｃを記述する。

生成部１５６は、階層構造データ１４２を基にして、学習データを生成する。図１１は、生成部の処理を説明するための図である。生成部１５６は、階層構造データ１４２の基準姿勢に、ROOTの３次元回転角（オイラー角の形式）と、各JOINTの３次元回転角（オイラー角の形式）を適用することで、BVHデータ８０を生成する。

生成部１５６は、BVHデータ８０と、モデルデータ６０とを基にして、人物のモデル８１を生成する。生成部１５６は、仮想カメラ８１ａ，８１ｂを設定する。生成部１５６は、仮想カメラ８１ａ，８１ｂを用いて、モデル８１の仮想視点位置からの各画像を生成する。たとえば、生成部１５６は、仮想カメラ８１ａが撮影した画像８２ａと、人物のモデル８１の関節座標８２ｂとを対応付けて、学習データ８２を生成する。

生成部１５６は、上記処理を繰り返し実行することで、複数の学習データを生成し、生成した学習データを、学習データテーブル１４４に登録する。

学習部１５７は、学習データテーブル１４４の学習データを基にして、学習モデルを訓練する。たとえば、学習部１５７は、画像を学習モデルに入力して得られる出力と、正解ラベル（関節座標）との誤差が小さくなるように、誤差逆伝播法に基づき、パラメータを更新する。

次に、本実施例に係る変換装置１００の処理手順の一例について説明する。図１２は、本実施例に係る変換装置の処理手順を示すフローチャートである。図１２に示すように、変換装置１００の第１計算部１５２は、３Ｄキーポイントテーブル１４１から、３Ｄキーポイントを取得する（ステップＳ１０１）。第１計算部１５２は、骨の長さを計算する（ステップＳ１０２）。

変換装置１００の設定部１５５は、階層構造データ１４２のHIERARCY５１を記述する（ステップＳ１０３）。第１計算部１５２は、ROOTの３次元座標を計算する（ステップＳ１０４）。第１計算部１５２は、第１計算処理（剛体位置合わせによるROOT３次元回転角の計算処理）を実行する（ステップＳ１０５）。

変換装置１００の第２計算部１５３は、第２計算処理（ロドリゲスの回転公式によるJOINTの３次元回転角の計算処理）を実行する（ステップＳ１０６）。変換装置１００の補正実行部１５４は、補正処理を実行する（ステップＳ１０７）。

設定部１５５は、計算結果を基にして、階層構造データ１４２のMOTION５２を記述する（ステップＳ１０８）。

次に、図１２のステップＳ１０５に示した第１計算処理の処理手順について説明する。図１３は、第１計算処理の処理手順を示すフローチャートである。図１３に示すように、変換装置１００の第１計算部１５２は、BVHデータの各ノードを３点以上の剛体関節q_｛src_rb｝と、それ以外の関節に分類する（ステップＳ２０１）。

第１計算部１５２は、剛体関節q_｛src_rb｝と対応する３Ｄキーポイントの関節群p_｛tar_rb｝を抽出する（ステップＳ２０２）。第１計算部１５２は、剛体関節q_｛src_rb｝と、３Ｄキーポイントの関節群p_｛tar_rb｝とを基にして、剛体位置合わせで相対回転角R_｛global｝を計算する（ステップＳ２０３）。

第１計算部１５２は、相対回転角R_｛global｝を、ROOTの３次元回転角として出力する（ステップＳ２０４）。

次に、図１２のステップＳ１０６に示した第２計算処理の処理手順について説明する。図１４は、第２計算処理の処理手順を示すフローチャートである。図１４に示すように、変換装置１００の第２計算部１５３は、関節数Ｎ＝２１、関節インデックスｉ＝１、ローカル座標変換行列R=R_｛global｝を設定する（ステップＳ３０１）。

第２計算部１５３は、式（６）に基づき、関節インデックスｉの親関節のindexとしてi_pを取得する（ステップＳ３０２）。parentは関節インデックスとその親関節のインデックスが対応付けられたデータ配列であり、関節インデックスiを入力すると、その親関節のインデックスをparent(i)として出力する。

i_p=parent(i)・・・（６）

第２計算部１５３は、式（７）に基づき、関節座標joint(i)、joint(i_p)から、関節インデックスiの関節方向ベクトルv_｛tar｝を計算する（ステップＳ３０３）。jointは関節インデックスとその関節座標が対応付けられたデータ配列であり、関節インデックスiを入力すると、その関節座標joint(i)を出力する。

v_｛tar｝=joint(i)-joint(i_p)・・・（７）

第２計算部１５３は、式（８）に基づき、関節方向ベクトルv_｛tar｝とローカル座標変換行列Ｒから、ローカル座標系の関節方向ベクトルとなるv_｛tar_local｝を計算する（ステップＳ３０４）。

v_｛tar_local｝=R^-1*v_｛tar｝・・・（８）

第２計算部１５３は、BVHデータの基準姿勢から、関節方向ベクトルv_｛src｝を計算する（ステップＳ３０５）。第２計算部１５３は、ロドリゲスの回転公式によりv_｛src｝からv_｛tar_local｝への相対回転角Ｒｉを計算し、関節インデックスｉのJOINTの３次元回転角とする（ステップＳ３０６）。

第２計算部１５３は、関節インデックスｉがＮ未満の場合には（ステップＳ３０７，Ｙｅｓ）、各JOINTの３次元回転角R_｛local｝=(R1,R2,・・・R21)を出力する（ステップＳ３０８）。

一方、第２計算部１５３は、関節インデックスｉがＮ未満でない場合には（ステップＳ３０７，Ｎｏ）、関節インデックスｉに１を加算する（ステップＳ３０９）。第２計算部１５３は、ローカル座標変換行列Rに、相対回転角Riを乗算した値によって、ローカル座標変換行列Rを更新し（ステップＳ３１０）、ステップＳ３０２に移行する。

次に、図１２のステップＳ１０７に示した補正処理の処理手順について説明する。図１５は、補正処理の処理手順を示すフローチャートである。図１５に示すように、変換装置１００の補正実行部１５４は、補正角度辞書１４３を１行読み込む（ステップＳ４０１）。補正実行部１５４は、読み込んだ行に、ラベルがない場合には（ステップＳ４０２，Ｎｏ）、ステップＳ４０４に移行する。

補正実行部１５４は、読み込んだ行に、ラベルがある場合には（ステップＳ４０２，Ｙｅｓ）、補正角度辞書１４３から各関節の補正角度を取得する（ステップＳ４０３）。

補正実行部１５４は、補正角度辞書１４３の全ての行を読み込んでいない場合には（ステップＳ４０４，Ｎｏ）、ステップＳ４０１に移行する。一方、補正実行部１５４は、補正角度辞書１４３の全ての行を読み込んだ場合には（ステップＳ４０４，Ｙｅｓ）、ステップＳ４０５に移行する。

補正実行部１５４は、補正角度辞書１４３のうち、ラベルなしの行を１行読み込む（ステップＳ４０５）。補正実行部１５４は、読み込んだ行の直前、直後の行に補正角度が存在するか否かを判定する（ステップＳ４０６）。補正実行部１５４は、直前、直後の行の補正角度を基にして、補正角度を補間する（ステップＳ４０７）。

補正実行部１５４は、補正角度辞書１４３のうち、ラベルなしの行を全て読み込んでいない場合には（ステップＳ４０８，Ｎｏ）、ステップＳ４０５に移行する。一方、補正実行部１５４は、補正角度辞書１４３のうち、ラベルなしの行を全て読み込んだ場合には（ステップＳ４０８，Ｙｅｓ）、ステップＳ４０９に移行する。

補正実行部１５４は、現在のフレーム番号に対応する各関節の補正角度を読み込み、補正回転行列R_｛correct｝を計算する（ステップＳ４０９）。補正実行部１５４は、式（９）を基にして、各関節のJOINTの３次元回転角R_｛local｝を更新する（ステップＳ４１０）。

R_｛local_corrected｝=R_｛correct｝*R_｛local｝・・・（９）

補正実行部１５４は、R_｛local_corrected｝をJOINTの３次元回転角に設定する（ステップＳ４１１）。

次に、本実施例に係る変換装置１００の効果について説明する。変換装置１００は、３Ｄキーポイントと、階層構造データ１４２の基準姿勢とを取得し、基準姿勢の所定の関節から、３Ｄキーポイントの対応する関節までの相対回転角を計算し、相対回転角を階層構造データ１４２に設定する。これによって、計算量を削減して、３Ｄキーポイントから、階層構造データを生成することができる。

たとえば、変換装置１００は、基準姿勢の剛体関節ノードから、係る剛体関節ノードに対応する３Ｄキーポイントの関節群までの相対回転角を剛体位置合わせで計算する。これによって、繰り返し計算を行うことなく、ROOTの３次元回転角を効率的に計算することができる。

変換装置１００は、３Ｄキーポイントの関節方向ベクトルを、ローカル座標系の関節方向ベクトルに変換する。変換装置１００は、３Ｄキーポイントの関節方向ベクトルと、基準姿勢の関節方向ベクトルとの法線を回転軸とした、各関節方向ベクトルのなす角θを特定し、ロドリゲスの回転公式により相対回転角を計算し、JOINTの３次元回転角として利用する。これによって、繰り返し計算を行うことなく、各JOINTの３次元回転角を効率的に計算することができる。

また、ロドリゲスの回転公式により相対回転角を計算することで、最短経路でのJOINTの３次元回転角を求めることができ、人間にとって不自然なひねり回転角となることを抑止できる。

図１６は、本実施例に係る変換装置の効果を説明するための図である。たとえば、ひねり回転角は、画像９０に示す骨９０ａを軸とした回転角となる。人体モデル９１は、従来技術によって３Ｄキーポイントを階層構造データに変換した結果を用いて生成した人体モデルである。人体モデル９２は、本実施例に係る変換装置１００が、３Ｄキーポイントを階層構造データに変換した結果を用いて生成した人体モデルである。

人体モデル９１は、関節がねじれるような不自然なひねり回転角を取っているが、人体モデル９２では、不自然なひねり回転角を取っていない。

また、本実施例に係る変換装置１００は、補正角度辞書１４３の補正角度の情報を基にして、JOINTの３次元回転角を補正する。これによって、従来技術では求めることが難しい実際のひねり回転と整合するようなひねり回転角を求めることができる。

次に、上述した変換装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１７は、実施例の変換装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図１７に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、有線または無線ネットワークを介して、カメラ１５、外部装置等との間でデータの授受を行う通信装置２０４と、インタフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。

ハードディスク装置２０７は、取得プログラム２０７ａ、第１計算プログラム２０７ｂ、第２計算プログラム２０７ｃ、補正実行プログラム２０７ｄ、設定プログラム２０７ｅ、生成プログラム２０７ｆ、学習プログラム２０７ｇを有する。また、ＣＰＵ２０１は、各プログラム２０７ａ～２０７ｆを読み出してＲＡＭ２０６に展開する。

取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。第１計算プログラム２０７ｂは、第１計算プロセス２０６ｂとして機能する。第２計算プログラム２０７ｃは、第２計算プロセス２０６ｃとして機能する。補正実行プログラム２０７ｄは、補正実行プロセス２０６ｄとして機能する。設定プログラム２０７ｅは、設定プロセス２０６ｅとして機能する。生成プログラム２０７ｆは、生成プロセス２０６ｆとして機能する。学習プログラム２０７ｇは、学習プロセス２０６ｇとして機能する。

取得プロセス２０６ａの処理は、取得部１５１の処理に対応する。第１計算プロセス２０６ｂの処理は、第１計算部１５２の処理に対応する。第２計算プロセス２０６ｃの処理は、第２計算部１５３の処理に対応する。補正実行プロセス２０６ｄの処理は、補正実行部１５４の処理に対応する。設定プロセス２０６ｅの処理は、設定部１５５の処理に対応する。生成プロセス２０６ｆの処理は、生成部１５６の処理に対応する。学習プロセス２０６ｇの処理は、学習部１５７の処理に対応する。

なお、各プログラム２０７ａ～２０７ｇについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｇを読み出して実行するようにしてもよい。

１００変換装置
１１０通信部
１２０入力部
１３０表示部
１４０記憶部
１４１３Ｄキーポイントテーブル
１４２階層構造データ
１４３補正角度辞書
１４４学習データテーブル
１５０制御部
１５１取得部
１５２第１計算部
１５３第２計算部
１５４補正実行部
１５５設定部
１５６生成部
１５７学習部

Claims

人体に含まれる複数の関節と、複数の関節に対する座標とがそれぞれ設定された骨格情報と、人体に含まれる複数の関節と、複数の関節に対する基準座標とがそれぞれ設定された基準姿勢情報とを取得し、
前記基準姿勢情報に設定された第１の関節に対応する第２の関節を、前記骨格情報に設定された複数の関節から特定し、
前記第１の関節の基準座標から、前記第２の関節の座標までの相対回転角を計算し、
前記相対回転角を階層構造データに設定することで、前記骨格情報を前記階層構造データに変換する
処理をコンピュータが実行することを特徴とする変換方法。
前記計算する処理は、複数の前記第１の関節の基準座標から、複数の前記第２の関節の座標までの相対回転角を剛体位置合わせで計算することを特徴とする請求項１に記載の変換方法。
前記計算する処理は、前記第２の関節の第２ベクトルを、前記剛体位置合わせの計算結果を基にして変換し、第１の関節の第１ベクトルと、変換した前記第２の関節の第２ベクトルとの法線を回転軸とした、前記第１ベクトルと前記第２ベクトルとのなす角を、ロドリゲスの回転公式に適用することで、前記相対回転角を更に計算することを特徴とする請求項２に記載の変換方法。
前記骨格情報に設定された補正角度を基にして、前記相対回転角を補正する処理を更に実行することを特徴とする請求項３に記載の変換方法。
人体に含まれる複数の関節と、複数の関節に対する座標とがそれぞれ設定された骨格情報と、人体に含まれる複数の関節と、複数の関節に対する基準座標とがそれぞれ設定された基準姿勢情報とを取得し、
前記基準姿勢情報に設定された第１の関節に対応する第２の関節を、前記骨格情報に設定された複数の関節から特定し、
前記第１の関節の基準座標から、前記第２の関節の座標までの相対回転角を計算し、
前記相対回転角を階層構造データに設定することで、前記骨格情報を前記階層構造データに変換する
処理をコンピュータに実行させることを特徴とする変換プログラム。
人体に含まれる複数の関節と、複数の関節に対する座標とがそれぞれ設定された骨格情報と、人体に含まれる複数の関節と、複数の関節に対する基準座標とがそれぞれ設定された基準姿勢情報とを取得し、
前記基準姿勢情報に設定された第１の関節に対応する第２の関節を、前記骨格情報に設定された複数の関節から特定し、
前記第１の関節の基準座標から、前記第２の関節の座標までの相対回転角を計算し、
前記相対回転角を階層構造データに設定することで、前記骨格情報を前記階層構造データに変換する
処理を実行する制御部を有する変換装置。