JP7446566B2 - ボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習 - Google Patents

Description

〔関連出願の相互参照〕
本出願は、２０２０年３月３１日に出願された「ボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習４Ｄ顔／身体変形トレーニング（ＶＯＬＵＭＥＴＲＩＣ ＣＡＰＴＵＲＥ ＡＮＤ ＭＥＳＨ－ＴＲＡＣＫＩＮＧ ＢＡＳＥＤ ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ４Ｄ ＦＡＣＥ／ＢＯＤＹ ＤＥＦＯＲＭＡＴＩＯＮ ＴＲＡＩＮＩＮＧ）」という名称の米国仮特許出願第６３／００３，０９７号の米国特許法第１１９条（ｅ）に基づく優先権を主張するものであり、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。

本発明は、娯楽産業のための３次元コンピュータビジョン及びグラフィックスに関する。具体的には、本発明は、映画、ＴＶ、音楽及びゲームコンテンツ生成のために３次元コンピュータビジョン及びグラフィックスを取得して処理することに関する。

仮想人間製作は非常に手動的であり、時間がかかり、高価である。ＣＧアートワークをゼロから手作りするのではなく、マルチビューカメラ３Ｄ／４Ｄスキャナによってリアルなデジタル人間モデルを効率的に製作することが最近の傾向である。カメラキャプチャベースの人間デジタル化（ｃａｍｅｒａ ｃａｐｔｕｒｅｄ ｂａｓｅｄ ｈｕｍａｎ ｄｉｇｉｔｉｚａｔｉｏｎ）のための様々な３Ｄスキャナスタジオ（３Ｌａｔｅｒａｌ、Ａｖａｔｔａ、ＴＥＮ２４、Ｐｉｘｅｌ Ｌｉｇｈｔ Ｅｆｆｅｃｔ、Ｅｉｓｋｏ）及び４Ｄスキャナスタジオ（４ＤＶｉｅｗｓ、Ｍｉｃｒｏｓｏｆｔ、８ｉ、ＤＧｅｎｅ）が世界規模で存在する。

写真ベースの３Ｄスキャナスタジオは、複数の高解像度写真カメラ配列からなる。３Ｄスキャンの従来技術は、通常、リグ付きモデリングを生成するために使用され、変形をキャプチャしないので、アニメーションのために手作りを必要とする。ビデオベースの４Ｄスキャナ（４Ｄ＝３Ｄ＋時間）スタジオは、複数の高フレームレートマシンビジョンカメラ配列からなる。４Ｄスキャナスタジオは、自然な表面動特性をキャプチャするが、固定されたビデオ及び動作に起因して、新規の顔表情又は身体動作を生成することができない。ダミーアクターが、多くの動作のシーケンスを行う必要があり、これは、アクターにとって莫大な作業負荷を意味する。

機械学習変形トレーニングのためのメッシュ追跡ベースの動的４Ｄモデリングは、高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを使用するステップと、メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、メッシュ位置合わせを使用して、４Ｄスキャンされた人間の顔及び全身のメッシュと３Ｄ ＣＧ物理シミュレータとの間の空間的一致を確立するステップと、機械学習を使用して、物理シミュレータからデルタとして表面変形をトレーニングするステップと、を含む。標準ＭｏＣＡＰアニメーションワークフローを使用して、自然なアニメーションのための変形を予測及び合成することができる。標準ＭｏＣＡＰアニメーションワークフローを使用する機械学習ベースの変形合成及びアニメーションは、入力として、ＭｏＣＡＰアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、アニメーション（変形を含まず）のための３Ｄモデルパラメータを解決する（３Ｄソルビング（３Ｄ ｓｏｌｖｉｎｇ））ステップと、３Ｄソルビングによって解決された３Ｄモデルパラメータに基づいて、ＭＬトレーニングから４Ｄ表面変形を予測するステップと、を含む。

一態様では、装置の非一時的メモリにプログラムされた方法は、メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、を含む。前記方法は、高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを使用するステップを更に含む。前記ボリュメトリックキャプチャシステムは、高品質写真及びビデオを同時にキャプチャするように構成される。前記方法は、複数の別個の３Ｄスキャンを取得するステップを更に含む。前記方法は、標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記変形を予測及び合成するステップを更に含む。前記方法は、入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、アニメーションのための３Ｄモデルパラメータを解決するステップと、３Ｄソルビング（３Ｄ ｓｏｌｖｉｎｇ）によって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、を更に含む。

別の態様では、装置は、アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、を実行するためのものである、非一時的メモリと、前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、を含む。前記アプリケーションは、高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを使用するように更に構成される。前記ボリュメトリックキャプチャシステムは、高品質写真及びビデオを同時にキャプチャするように構成される。前記アプリケーションは、複数の別個の３Ｄスキャンを取得するように更に構成される。前記アプリケーションは、標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記変形を予測及び合成するように更に構成される。前記アプリケーションは、入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、アニメーションのための３Ｄモデルパラメータを解決するステップと、３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、を実行するように更に構成される。

別の態様では、システムは、高品質４Ｄスキャンのためのボリュメトリックキャプチャシステムと、コンピュータ装置であって、前記コンピュータ装置は、メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、を実行するように構成されるコンピュータ装置と、を含む。前記コンピュータ装置は、標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記変形を予測及び合成するように更に構成される。前記コンピュータ装置は、入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、アニメーションのための３Ｄモデルパラメータを解決するステップと、３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、を実行するように更に構成される。前記ボリュメトリックキャプチャシステムは、高品質写真及びビデオを同時にキャプチャするように構成される。

別の態様では、装置の非一時的メモリにプログラムされた方法は、入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、アニメーションのための３Ｄモデルパラメータを解決するステップと、３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、を含む。

いくつかの実施形態による、時間／コスト効率の良いゲームキャラクタの自然なアニメーションのためのボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習４Ｄ顔／身体変形トレーニングを実装する方法のフローチャートである。 いくつかの実施形態による、時間／コスト効率の良いゲームキャラクタの自然なアニメーションのためのボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習４Ｄ顔／身体変形トレーニングを実装する方法のフローチャートである。 いくつかの実施形態による変形トレーニング方法を実装するように構成される例示的なコンピュータ装置のブロック図である。

従来技術の３Ｄスキャン技術とは異なり、本明細書で説明する変形トレーニングの実装は、顔表情又は身体言語の任意の新規の動作と自然な変形との合成である、機械学習（ＭＬ）による暗黙変形を含む動的顔及び全身モデリングを生成することができる。

本明細書で説明する方法は、「写真－ビデオボリュメトリックキャプチャシステム」からの写真－ビデオキャプチャに基づく。写真－ビデオベースのキャプチャは、２０１９年１２月２０日に出願された「動的４Ｄ人間の顔及び身体デジタル化のための写真－ビデオベースの時空間ボリュメトリックキャプチャシステム（ＰＨＯＴＯ－ＶＩＤＥＯ ＢＡＳＥＤ ＳＰＡＴＩＡＬ－ＴＥＭＰＯＲＡＬ ＶＯＬＵＭＥＴＲＩＣ ＣＡＰＴＵＲＥ ＳＹＳＴＥＭ ＦＯＲ ＤＹＮＡＭＩＣ ４Ｄ ＨＵＭＡＮ ＦＡＣＥ ＡＮＤ ＢＯＤＹ ＤＩＧＩＴＩＺＡＴＩＯＮ）」という名称のＰＣＴ特許出願ＰＣＴ／ＵＳ２０１９／０６８１５１号に説明されており、その開示内容全体は、全ての目的に対して引用により本明細書に組み込まれる。説明されているように、写真－ビデオキャプチャシステムは、疎な時間（ｓｐａｒｓｅ ｔｉｍｅ）で高忠実度テクスチャをキャプチャすることができ、写真キャプチャ間にビデオをキャプチャして、ビデオを使用して疎な写真（ｓｐａｒｓｅ ｐｈｏｔｏｓ）間の一致（例えば遷移）を確立することができる。一致情報を使用して、メッシュ追跡を実装することができる。

ゲームスタジオは、アニメーションワークフローにおいて、モーションキャプチャ（ＭｏＣＡＰ）（理想的には、自然なモーションキャプチャとして統一された顔／身体）を使用するが、自然な表面変形（例えば、肉体動特性）を含むアニメーションを自動的に生成しない。通常、ゲームコンピュータグラフィックス（ＣＧ）設計者は、３Ｄリグ付きモデルの上に、手作りされた変形（４Ｄ）を追加するが、これは時間がかかる。

他のシステムは、変形を含む自然なアニメーションを生成するが、依然として高レベルの手動（手作り）作業を有する。このようなシステムは、機械学習（ＭＬ）トレーニングによって自動化されない。他のシステムは、顔アニメーションの変形を合成することができるが、新たなワークフロー（例えば、標準ＭｏＣＡＰワークフローにとってフレンドリではない）を必要とする。

本明細書では、ＭＬ変形トレーニングのためのメッシュ追跡ベースの動的４Ｄモデリングを説明する。ＭＬ変形トレーニングのためのメッシュ追跡ベースの動的４Ｄモデリングは、高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを使用するステップと、メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、メッシュ位置合わせを使用して、４Ｄスキャンされた人間の顔及び全身のメッシュと３Ｄ ＣＧ物理シミュレータとの間の空間的一致を確立するステップと、機械学習を使用して、物理シミュレータからデルタとして表面変形をトレーニングするステップと、を含む。標準ＭｏＣＡＰアニメーションワークフローを使用して、自然なアニメーションのための変形を予測及び合成することができる。標準ＭｏＣＡＰアニメーションワークフローを使用する機械学習ベースの変形合成及びアニメーションは、入力として、ＭｏＣＡＰアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、アニメーション（変形を含まず）のための３Ｄモデルパラメータを解決する（３Ｄソルビング）ステップと、３Ｄソルビングによって解決された３Ｄモデルパラメータに基づいて、ＭＬトレーニングから４Ｄ表面変形を予測するステップと、を含む。

モデリング時、顔プロセス及び身体プロセスが行われる。本明細書で説明するように、いくつかの実施形態では、顔プロセス及び身体プロセスの両方は写真ベースである。これは、ビデオカメラの代わりに写真カメラを使用して、入力のためのコンテンツを取得することを意味する。写真カメラによって取得された入力を使用して、筋肉変形を含む多くの異なるポーズ（例えば、腕を上げる、腕を下げる、体をねじる、腕を横に広げる、脚をまっすぐにする）をキャプチャすることによって、モデルを生成する。ポーズに応じて、（例えば、マッチング技術を使用して）最も近い形状（単複）を決定する。次に、複数の形状を融合して、筋肉変形がよりリアルになるようにする。いくつかの実施形態では、キャプチャされた情報は疎に存在する。スパース検知（ｓｐａｒｓｅ ｓｅｎｓｉｎｇ）から、システムは、モデルモーションが何であるべきかを逆マッピングすることができる。スパース検知を高密度モデリングマッピングにマッピングすることができ、したがって、反復プロセスが何度も行われる。モデリング設計者は、写真（例えば３Ｄスキャン）からモデルを生成し、設計者は、４Ｄ（３Ｄ＋時間）であるアニメーションを模倣しようと試みる。アニメーショングループは、スパースモーションキャプチャから動画化するが、検知が疎であるので、マッピングが困難である場合があり、したがって、多くの反復が発生する。しかしながら、この実装を改良することができる。

顔及び身体モデリングはブランク形状に基づき、ブランク形状は写真に基づき、写真は３Ｄベースである（例えば、変形情報が存在しない）。各状態はスパース３Ｄスキャンであるので、表面の遷移状態が存在しない。検知も疎であるが、高品質モデルを時間的に動画化する。

２０１７年７月１８日に出願された「パーツベースのキーフレーム及び先験的モデルを用いたロバストなメッシュトラッキング及び融合（ＲＯＢＵＳＴ ＭＥＳＨ ＴＲＡＣＫＩＮＧ ＡＮＤ ＦＵＳＩＯＮ ＢＹ ＵＳＩＮＧ ＰＡＲＴ－ＢＡＳＥＤ ＫＥＹ ＦＲＡＭＥＳ ＡＮＤ ＰＲＩＯＲＩ ＭＯＤＥＬ）」という名称の米国特許第１０，４３１，０００号などのメッシュ追跡技術の多くの例がある。別の例は、一連のテクスチャ化された３Ｄスキャンを入力として、一貫したトポロジを含む一連のメッシュを出力として生成するＷｒａｐ４Ｄである。

キャプチャ時間中に、４Ｄキャプチャ（例えば、顔及び／又は身体を見ることができる）があり、筋肉がどのように動くかを見ることができる。例えば、ターゲット被写体に動くように要求することができ、筋肉が変形する。非常に複雑な状況では、アニメータがこれを行うことは非常に困難である。モデル段階中に、任意の複雑な筋肉変形を学習する。これは、アニメーション段階において合成を可能にする。また、これは、現在のＭｏＣＡＰワークフローに修正を組み込むことも可能にする。ＭＬを使用して、製作段階中にモーションがキャプチャされる場合、検知が疎であるので、システムはモーション（例えば変形）を高密度化する。いくつかの実施形態では、変形は、写真－ビデオキャプチャから既知である。

図１Ａ～図１Ｂに、いくつかの実施形態による、時間／コスト効率の良いゲームキャラクタの自然なアニメーションのためのボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習４Ｄ顔／身体変形トレーニングを実装する方法のフローチャートを示す。

ステップ１００において、高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを利用する。ＰＣＴ特許出願ＰＣＴ／ＵＳ２０１９／０６８１５１号に説明されているように、ボリュメトリックキャプチャシステムは、高品質４Ｄスキャンのために写真及びビデオを同時に取得することができる。高品質４Ｄスキャンは、高品質モデリングのためのより高密度のカメラビューを含む。いくつかの実施形態では、ボリュメトリックキャプチャシステムを利用する代わりに、３Ｄコンテンツ及び時間情報を取得するための別のシステムを利用する。例えば、少なくとも２つの別個の３Ｄスキャンを取得する。この例を更に進めて、別個の３Ｄスキャンをキャプチャ及び／又はダウンロードすることができる。

ステップ１０２において、静的３Ｄモデリングを実装する。スキャンのために高品質情報がキャプチャされると、静的３Ｄモデルを使用して、線形モデリングを実装する。しかしながら、４Ｄキャプチャ（写真及びビデオキャプチャ及び時間）が実装されるので、一致を迅速に確立することができ、これを使用して、キャラクタモデルを生成することができる。静的３Ｄモデリングは生画像から開始し、次に、画像を整理し、スタイル／パーソナリティ特徴を適用し、テクスチャ化を実行して、変形を含まないフレーム毎の高品質を生成するようにする。高頻度ディテールも適用する。

ステップ１０４において、リギングを実行する。リギングは、キャラクタを、２つのパーツ、すなわち、キャラクタを描画するために使用される表面表現（例えば、メッシュ又は皮膚）及び階層的な相互連結されたパーツのセット（例えば、骨格を形成する骨）で表現するコンピュータアニメーションの技術である。任意の方法で、リギングを実行することができる。

ステップ１０８において、ＭＬ変形トレーニングのためのメッシュ追跡ベースの動的４Ｄモデリングを実装する。低品質ビデオを使用して、時間的一致のためのメッシュ追跡を改善することができる。キャラクタモデルと４Ｄキャプチャとの間のデルタを生成することができる。デルタは、ＭＬ変形トレーニングのために使用することができる。デルタトレーニング技術の一例は、衣服が存在する状態でも制御可能で正確なままである人々の３Ｄモデルを再構成するために、ディテールが豊富な陰関数とパラメトリック表現とを組み合わせる暗黙パートネットワーク（ＩＰネット）を含む。服を着た人の表面上でサンプリングされたスパース３Ｄポイントクラウドが与えられると、暗黙パートネットワーク（ＩＰネット）を使用して、服を着た人の外側３Ｄ表面と、内側身体表面と、パラメトリック身体モデルとの意味的一致とを共同で予測する。次に、一致を使用して、身体モデルを内側表面にフィッティングし、次に、衣服、顔及び髪のディテールをキャプチャするために、外側表面に対して（パラメトリック身体＋変位モデルの下で）身体モデルを非剛体変形する。例示的なＩＰネットについては、Ｂｈａｒａｔ Ｌａｌ Ｂｈａｔｎａｇａｒら、「３Ｄ人間再構成のための陰関数学習とパラメトリックモデルとの組み合わせ（Ｃｏｍｂｉｎｉｎｇ Ｉｍｐｌｉｃｉｔ Ｆｕｎｃｔｉｏｎ Ｌｅａｒｎｉｎｇ ａｎｄ Ｐａｒａｍｅｔｒｉｃ Ｍｏｄｅｌｓ ｆｏｒ ３Ｄ Ｈｕｍａｎ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）」（コーネル大学、２０２０年）によって更に説明されている。

メッシュ追跡が実装される（例えば、フレーム間の一致を確立する）と、デルタ情報を決定することができる。デルタ情報を用いて、トレーニングを実装することができる。トレーニング知識に基づいて、ＭｏＣＡＰワークフロー中に合成することが可能である。

ステップ１１０において、ＭｏＣＡＰ情報を取得する。任意の方法で、ＭｏＣＡＰ情報を取得することができる。例えば、ターゲットが、マーキングを含む専用スーツを着用する標準モーションキャプチャを実装する。顔／身体が統一されたＭｏＣＡＰを実装することができる。顔及び身体を一緒にキャプチャすることによって、フィッティングがより自然になる。

ステップ１１２において、２Ｄビデオから４ＤアニメーションへのＭＬ ４Ｄソルビング及び変形合成を実装する。４Ｄ ＭＬソルビング及び変形合成のために、ＭｏＣＡＰ情報を使用することができる。いくつかの実施形態では、逆マッピングを適用する。ソルビングは、ＭｏＣＡＰ情報をモデルにマッピングすることを含む。入力は疎であるが、高密度マッピングを解決する。暗黙４Ｄソルビングのために、ボリュメトリックキャプチャされたデータを使用するＭＬを使用することができる。

ステップ１１４において、自然な変形を含む４Ｄアニメーションにキャラクタモデルを適用するリターゲットを適用する。リターゲットは、顔のリターゲットと、全身のリターゲットとを含む。

ステップ１１６において、シェーディング及びリライティングを含むレンダリングを実装して、最終ビデオをレンダリングする。

いくつかの実施形態では、より少ない又は更なるステップが実装される。いくつかの実施形態では、ステップの順序が変更される。

ターゲット被写体の顔に近い高密度カメラ設定を利用する従来の実装とは異なり、本明細書で説明するシステムは、モーションに焦点を当て、ターゲット被写体から遠いカメラ設定を使用して、スパースモーション（例えば骨格モーション）をキャプチャする。更に、本明細書で説明するシステムでは、より多くの身体及び顔アニメーションを含むより大きい視野が可能である。

図２に、いくつかの実施形態による変形トレーニング方法を実装するように構成される例示的なコンピュータ装置のブロック図を示す。コンピュータ装置２００は、画像及びビデオなどの情報の取得、記憶、計算、処理、通信及び／又は表示のために使用することができる。コンピュータ装置２００は、変形トレーニングの態様のいずれかを実装することができる。一般に、コンピュータ装置２００を実装するのに適したハードウェア構造は、ネットワークインターフェイス２０２、メモリ２０４、プロセッサ２０６、Ｉ／Ｏ装置２０８、バス２１０及び記憶装置２１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサが選択される限り重要ではない。メモリ２０４は、当業で周知の任意の従来のコンピュータメモリとすることができる。記憶装置２１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、超高精細ドライブ、フラッシュメモリカード、又はその他の任意の記憶装置を含むことができる。コンピュータ装置２００は、１又は２以上のネットワークインターフェイス２０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置２０８は、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインターフェイス及びその他の装置のうちの１つ又は２つ以上を含むことができる。記憶装置２１２及びメモリ２０４には、変形トレーニング方法を実装するために使用される変形トレーニングアプリケーション２３０が記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置２００には、図２に示すものよりも多くの又は少ないコンポーネントを含めることもできる。いくつかの実施形態では、変形トレーニングハードウェア２２０が含まれる。図２のコンピュータ装置２００は、変形トレーニング方法のためのアプリケーション２３０及びハードウェア２２０を含むが、変形トレーニング方法は、ハードウェア、ファームウェア、ソフトウェア、又はこれらの任意の組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、変形トレーニングアプリケーション２３０がメモリにプログラムされ、プロセッサを使用して実行される。別の例として、いくつかの実施形態では、変形トレーニングハードウェア２２０が、変形トレーニング方法を実装するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。

いくつかの実施形態では、（単複の）変形トレーニングアプリケーション２３０は、いくつかのアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールは、１又は２以上のサブモジュールも含む。いくつかの実施形態では、より少ない又は更なるモジュールを含めることもできる。

好適なコンピュータ装置の例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ電話／携帯電話、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤー、タブレットコンピュータ、モバイル装置、ビデオプレーヤー、ビデオディスクライター／プレーヤー（例えば、ＤＶＤライター／プレーヤー、高精細ディスクライター／プレーヤー、超高精細ディスクライター／プレーヤー）、テレビジョン、家庭用娯楽システム、拡張現実デバイス、仮想現実デバイス、スマートジュエリー（例えば、スマートウォッチ）、車両（例えば、自動運転車両）又は他の任意の好適なコンピュータ装置を含む。

本明細書で説明した変形トレーニング方法を利用するには、デジタルカメラ／カムコーダ／コンピュータなどの装置を使用してコンテンツを取得し、次に、同じ装置又は１又は２以上の追加の装置がコンテンツを分析する。変形トレーニング方法は、ユーザの支援を伴って、又はユーザの関与を伴わずに自動的に実装されて、変形トレーニングを実行することができる。

動作時、変形トレーニング方法は、より正確かつ効率的な変形及びアニメーション方法を提供する。

メッシュ追跡動的４Ｄモデルを使用して、一致を生成することが可能であり、これはＭＬトレーニングを可能にする。一致情報がないと、変形情報（例えば、肩の筋肉が動いている時にどのように変形するか）を決定することができない場合がある。４Ｄボリュメトリックキャプチャにおいてメッシュ追跡を使用して、変形情報を決定することができる。ＭＬが行われると、顔及び身体のためのデルタが存在し、次に、その情報をアニメーションのために使用することができる。アニメータは、ストーリーを語るためにキャラクタを使用する。しかしながら、ディテール情報が重すぎる場合があるので、後で使用するために、詳細情報を余分にセーブする。アニメータは、最初は、「軽い」モデル（例えば、詳細情報を含まない）を使用する。

標準ＭｏＣＡＰアニメーションワークフローを使用する機械学習ベースの変形合成及びアニメーションは、スパース検知を使用する。スパース検知では、より広い視野が可能であり、したがって、顔及び身体を一緒にキャプチャすることができる。スパース検知のギャップを埋めるために時間がかかる手作りの情報を使用する代わりに、写真－ビデオボリュメトリックキャプチャを使用して、モデリング段階中に表面動特性変形を学習し、次に、アニメーション段階中に表面動特性変形を使用する。ゲームスタジオは、それらの標準ＭｏＣＡＰワークフローを使用することができる。これは、プロセスの多くの態様において、効率及び品質の向上を提供する。

ボリュメトリックキャプチャ及びメッシュ追跡ベースの機械学習４Ｄ顔／身体変形トレーニングのいくつかの実施形態
１．装置の非一時的メモリにプログラムされた方法であって、
メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、
メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、
を含む方法。

２．高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを使用するステップを更に含む、第１項に記載の方法。

３．前記ボリュメトリックキャプチャシステムは、高品質写真及びビデオを同時にキャプチャするように構成される、第２項に記載の方法。

４．複数の別個の３Ｄスキャンを取得するステップを更に含む、第１項に記載の方法。

５．標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記変形を予測及び合成するステップを更に含む、第１項に記載の方法。

６．入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を更に含む、第１項に記載の方法。

７．装置であって、
アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、
メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、
を実行するためのものである、非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
を含む装置。

８．前記アプリケーションは、高品質４Ｄスキャンのためにボリュメトリックキャプチャシステムを使用するように更に構成される、第７項に記載の装置。

９．前記ボリュメトリックキャプチャシステムは、高品質写真及びビデオを同時にキャプチャするように構成される、第８項に記載の装置。

１０．前記アプリケーションは、複数の別個の３Ｄスキャンを取得するように更に構成される、第７項に記載の装置。

１１．前記アプリケーションは、標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記変形を予測及び合成するように更に構成される、第７項に記載の装置。

１２．前記アプリケーションは、
入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を実行するように更に構成される、第７項に記載の装置。

１３．システムであって、
高品質４Ｄスキャンのためのボリュメトリックキャプチャシステムと、
コンピュータ装置であって、前記コンピュータ装置は、
メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたって時間的一致を確立するステップと、
メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
機械学習を使用して、前記３Ｄコンピュータグラフィックス物理シミュレータからデルタとして表面変形をトレーニングするステップと、
を実行するように構成されるコンピュータ装置と、
を含むシステム。

１４．前記コンピュータ装置は、標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記変形を予測及び合成するように更に構成される、第１３項に記載のシステム。

１５．前記コンピュータ装置は、
入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を実行するように更に構成される、第１３項に記載のシステム。

１６．前記ボリュメトリックキャプチャシステムは、高品質写真及びビデオを同時にキャプチャするように構成される、第１３項に記載のシステム。

１７．装置の非一時的メモリにプログラムされた方法であって、
入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
アニメーションのための３Ｄモデルパラメータを解決するステップと、
３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
を含む方法。

本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこれらの実施形態の詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。当業者には、特許請求の範囲によって定められる本発明の趣旨及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。

１００ 高品質４Ｄスキャンのためのボリュメトリックキャプチャシステム
１０２ 静的３Ｄモデリング
１０４ リギング
１０８ ＭＬ変形トレーニングのためのメッシュ追跡ベースの動的４Ｄモデリング
１１０ ＭｏＣＡＰ情報を取得
１１２ ２Ｄビデオから４ＤアニメーションへのＭＬ ４Ｄソルビング及び変形合成
１１４ ゲームキャラクタのリターゲット
１１６ レンダリング（シェーディング、リライティング）
２００ コンピュータ装置
２０２ ネットワークインターフェイス
２０４ メモリ
２０６ プロセッサ
２０８ Ｉ／Ｏ装置
２１０ バス
２１２ 記憶装置
２２０ 変形トレーニングハードウェア
２３０ 変形トレーニングアプリケーション

Claims (12)

1. 装置の非一時的メモリにプログラムされた方法であって、
   高品質４Ｄスキャンのために高品質写真及びビデオを同時にキャプチャするよう構成されたボリュメトリックキャプチャシステムを使用してキャラクタモデルを生成するステップと、
   メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたってフレーム間の時間的一致を確立するステップと、
   メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
   機械学習を使用して、確立された前記時間的一致及び空間的一致に基づいて、前記３Ｄコンピュータグラフィックス物理シミュレータからキャラクタモデルと４Ｄキャプチャとの間のデルタとして表面変形をトレーニングするステップと、
   を含むことを特徴とする方法。
2. 複数の別個の３Ｄスキャンを取得するステップを更に含むことを特徴とする、請求項１に記載の方法。
3. 標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記表面変形を予測及び合成するステップを更に含むことを特徴とする、請求項１に記載の方法。
4. 入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
   アニメーションのための３Ｄモデルパラメータを解決するステップと、
   ３Ｄソルビング（３Ｄ ｓｏｌｖｉｎｇ）によって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
   を更に含むことを特徴とする、請求項１に記載の方法。
5. 装置であって、
   アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
   高品質４Ｄスキャンのために高品質写真及びビデオを同時にキャプチャするよう構成されたボリュメトリックキャプチャシステムを使用してキャラクタモデルを生成するステップと、
   メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたってフレーム間の時間的一致を確立するステップと、
   メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
   機械学習を使用して、確立された前記時間的一致及び空間的一致に基づいて、前記３Ｄコンピュータグラフィックス物理シミュレータからキャラクタモデルと４Ｄキャプチャとの間のデルタとして表面変形をトレーニングするステップと、
   を実行するためのものである、非一時的メモリと、
   前記非一時的メモリに結合され、前記アプリケーションを処理するように構成されるプロセッサと、
   を含むことを特徴とする装置。
6. 前記アプリケーションは、複数の別個の３Ｄスキャンを取得するように更に構成されることを特徴とする、請求項５に記載の装置。
7. 前記アプリケーションは、標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記表面変形を予測及び合成するように更に構成されることを特徴とする、請求項５に記載の装置。
8. 前記アプリケーションは、
   入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
   アニメーションのための３Ｄモデルパラメータを解決するステップと、
   ３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
   を実行するように更に構成されることを特徴とする、請求項５に記載の装置。
9. システムであって、
   高品質写真及びビデオを同時にキャプチャするよう構成された、高品質４Ｄスキャンのためのボリュメトリックキャプチャシステムと、
   コンピュータ装置であって、前記コンピュータ装置は、
   メッシュ追跡を使用して、４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスにわたってフレーム間の時間的一致を確立するステップと、
   メッシュ位置合わせを使用して、前記４Ｄスキャンされた人間の顔及び全身のメッシュシーケンスと３Ｄコンピュータグラフィックス物理シミュレータとの間の空間的一致を確立するステップと、
   機械学習を使用して確立された前記時間的一致及び空間的一致に基づいて、前記３Ｄコンピュータグラフィックス物理シミュレータからキャラクタモデルと４Ｄキャプチャとの間のデルタとして表面変形をトレーニングするステップと、
   を実行するように構成されるコンピュータ装置と、
   を含むことを特徴とするシステム。
10. 前記コンピュータ装置は、標準モーションキャプチャアニメーションを使用して、自然なアニメーションのための前記表面変形を予測及び合成するように更に構成されることを特徴とする、請求項９に記載のシステム。
11. 前記コンピュータ装置は、
    入力として、モーションキャプチャアクターの単一ビュー又はマルチビュー２Ｄビデオを使用するステップと、
    アニメーションのための３Ｄモデルパラメータを解決するステップと、
    ３Ｄソルビングによって解決された前記３Ｄモデルパラメータに基づいて、機械学習トレーニングから４Ｄ表面変形を予測するステップと、
    を実行するように更に構成されることを特徴とする、請求項９に記載のシステム。
12. 前記ボリュメトリックキャプチャシステムは、高品質写真及びビデオを同時にキャプチャするように構成されることを特徴とする、請求項９に記載のシステム。

Images