Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7595641B2 - 裸の身体の形状を身体の隠れているスキャン像から推定する方法 - Google Patents
[go: Go Back, main page]

JP7595641B2 - 裸の身体の形状を身体の隠れているスキャン像から推定する方法 - Google Patents

裸の身体の形状を身体の隠れているスキャン像から推定する方法 Download PDF

Info

Publication number
JP7595641B2
JP7595641B2 JP2022502059A JP2022502059A JP7595641B2 JP 7595641 B2 JP7595641 B2 JP 7595641B2 JP 2022502059 A JP2022502059 A JP 2022502059A JP 2022502059 A JP2022502059 A JP 2022502059A JP 7595641 B2 JP7595641 B2 JP 7595641B2
Authority
JP
Japan
Prior art keywords
shapes
neural network
simulated
shape
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022502059A
Other languages
English (en)
Other versions
JP2022544353A (ja
Inventor
ペンペン・フ
アドリアン・ムントーヌ
ヌールバクシュ・ナスタラン
ステファン・スタージェス
Original Assignee
フライエ・ユニバーシタイト・ブリュッセル
ツリーディーズ・エスペーエルエル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フライエ・ユニバーシタイト・ブリュッセル, ツリーディーズ・エスペーエルエル filed Critical フライエ・ユニバーシタイト・ブリュッセル
Publication of JP2022544353A publication Critical patent/JP2022544353A/ja
Application granted granted Critical
Publication of JP7595641B2 publication Critical patent/JP7595641B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—Three-dimensional [3D] animation
    • G06T13/40—Three-dimensional [3D] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、ニューラルネットワーク、詳細にはディープラーニングネットワークをトレーニングするための、隠れている、たとえば着衣した身体の形状と、対応する裸の、たとえば非着衣の身体の形状とからなるトレーニングデータセットを生成する方法に関する。本発明はまた、トレーニングデータセットを使用して、ニューラルネットワークをトレーニングする方法に関する。本発明はまた、トレーニングされたニューラルネットワークを使用して、裸の、たとえば非着衣の身体の形状を、スキャンされた隠れている、たとえば着衣した身体の形状から推定するための方法および対応するシステムに関する。身体は、人間もしくは動物の身体、すなわち物体の身体を指すことができる。
着衣した人間の身体の形状およびポーズを推定することは、バーチャル試着ツール、非接触身体計測、およびバーチャルリアリティにおけるアバター作成など、かなりの数の新たに出現したアプリケーションにとってきわめて重要な仕事である。身体の形状の推定方法の精度に影響をもたらす重要な側面は、データ取得および身体の予測モデルである。
正確な身体の形状は、衣服をまとっていない人をスキャンすることによって得ることができることは明らかであるが、その手順は、多くの人にとっていまだに便利でなく、しばしばプライバシーに対する権利を侵害するものである。このことはまた、スキャンされるために肌にぴったりした衣服を着用する必要がある場合も同様である。したがって、身体の形状を、着衣した身体のスキャン像から推定するように特に設計されている方法を確立することが望ましい。着衣した身体のスキャン像により作業する際の主な課題は、非剛性の布地の変形が被験者のポーズの変化から生じることによって引き起こされる。
既存の身体の形状の推定方法では、この課題について、統計的な人間の身体モデルが、スキャンされた着衣した身体にフィットするという条件付き最適化問題として系統的に説明しているが、それは、計算コストが高くつき、初期化パラメータに影響されやすい。より良い精度を得るために、いくつかの方法では、着衣した人間のメッシュのシーケンスが、それらの入力データとして採用されている。例として、Anguelov D.らのACM Transactions on graphics (TOG)、24、408～416(2005)には、異なるポーズを使用して形状を最適化することによって、着衣した人間のスキャン像シーケンスにフィットさせるためのSCAPE(Shape Completion and Animation of People)という名称の統計的形状モデルについて記載されている。しかしながら、統計的モデルは、通常、過度に平滑であり、特徴の細部が欠けている。これを解決するために、Loper M.らのACM Transactions on graphics (TOG)、34、248(2015)には、着衣した人間のシーケンスにフィットさせるためのSMPL(Skinned Multi-Person Linear Model)という名称の公開の頂点ベースのモデルについて記載されており、より多くのパラメータを最適化することによって詳細な結果が得られている。最適化ベースの方法は大きな結果を生み出すことができるが、計算コストが高くつき、初期化、異なるタイプの様々なノイズ源、および不完全なデータに影響されやすい。これらの問題を克服するためには、いずれのテンプレートもまたは初期化ステップもなしに、身体の形状を予測する高速な方法が何よりも重要である。
Anguelov D. et al.，ACM Transactions on graphics (TOG)，24，408～416，2005 Loper M. et al.，ACM Transactions on graphics (TOG)，34，248，2015 Bastioni, M，MB-Lab，https://github.com/animate1978/MB-Lab，10/02/2019 CLO，www.clo3d.com Blenderのオープンソース3Dコンピュータグラフィックスソフトウェア，www.blender.org Yuan, W., Khot, T., Held, D., Mertz, C., Hebert, M.，PCN(Point Completion Network)，International Conference on 3D Vision (3DV)，728～737，2018 Achlioptas, P., Diamanti, O., Mitliagkas, I., Guibas, L.，Learning Representations and Generative Models for 3D Point Clouds，arXiv preprint arXiv:1707.02392，2017 Yang, Y., Feng, C., Shen, Y., Tian, D.，FoldingNet: Interpretable Unsupervised Learning on 3D Point Clouds，arXiv preprint arXiv:1712.07262，2017 Qi, C.R. et al.，Pointnet: Deep learning on Point Sets for 3d Classification and Segmentation，IEEE Conference on Computer Vision and Pattern Recognition，4，2017 Ge, L. et al.，Hand PointNet: 3d Hand Pose Estimation using Point Sets，IEEE Conference on Computer Vision and Pattern Recognitionの議事録，8417～8426，2018 L. Ge, Y. Cai, J. Weng, J. Yuan，Hand pointnet: 3d hand pose estimation using point sets，IEEE Conference on Computer Vision and Pattern Recognitionの議事録，pp. 8417～8426，2018 Y. Yang, C. Feng, Y. Shen, D. Tian，Foldingnet: Point cloud auto-encoder via deep grid deformation，IEEE Conference on Computer Vision and Pattern Recognitionの議事録，pp. 206～215，2018 Kingma, D.P., Ba, J.，Adam: A Method for Stochastic Optimization，arXiv preprint arXiv:1412.6980，2014 Abadi, M., Barham, P., Chen, J., Chen, Z., Davis, A., Dean, J., Devin, M, Ghemawat, S., Irving, G., Isard, M., Kudlur, M.，Tensorflow: a System for Large-scale Machine Learning，TensorFlow，OSDI，265～283，2016 Hasler, N., Stoll, C., Rosenhahn, B., Thormaehlen, T., Seidel, H.P.，Estimating body shape of dressed humans，Computers & Graphics，33(3)，pp.211～216，2009 Kanazawa, A., Black, M.J., Jacobs, D.W., Malik, J.，End-to-end recovery of human shape and pose，IEEE Conference on Computer Vision and Pattern Recognitionの議事録，pp. 7122～7131，2018 T. Groueix, M. Fisher, V. G. Kim, B. C. Russell, M. Aubry，3dcoded: 3d correspondences by deep deformation，European Conference on Computer Vision (ECCV)の議事録，pp. 230～246，2018 M. Kowalski, J. Naruniec, M. Daniluk，Livescan3d: A fast and inexpensive 3d data acquisition system for multiple kinect v2 sensors，International Conference on 3D Vision，IEEE，pp. 318～325，2015 P. Hu, T. Komura, D. Holden, Y. Zhong，Scanning and animating characters dressed in multiple-layer garments，The Visual Computer，33巻，第6～8号，pp. 961～969，2017 PhotoScan，https://www.agisoft.com/
本発明の目的は、上述の弱点を克服することである。具体的には、本発明の目的は、より少ない労力により、および/または従来技術よりも正確である身体の形状予測モデルを得ることを可能にすることである。
身体の形状を推定するためにニューラルネットワークをトレーニングし検証するには、着衣した人間の身体と、それらの対応する非着衣の身体とからなるデータセットが必要である。スキャニングテクノロジーによって制限されている3Dスキャナは、被験者の最も外側の表面しか得ることができない。そのため、衣服によって遮蔽された、下にある身体の幾何形状を同時に捕捉することは不可能である。1つの直感的解決策は、まず、被験者に自分の衣服を脱ぎ、スキャニング中に静止ポーズを維持する、またはある運動を行うように頼み、次いで、同じ被験者に自分の衣服をまた身に付け、スキャニング中に同じ静止ポーズを維持する、または同じ運動を行うように頼むことになる。この形での静止ポーズのスキャニングは、被験者が、スキャニング中に絶対にじっとしたままであるようにトレーニングされているか、または必要なだけ高速なスキャナが使用されるかのいずれかの場合に可能である。しかしながら、トレーニングデータセットのサイズ要件が大きいことに起因して、この手法によりデータ収集を行うことは、きわめて高くつき、時間がかかる。さらには、このやり方で運動シーケンスをスキャンするために、衣服のあり、なしで同一の動作を再現することは、人間の被験者にとってほぼ不可能であり、その結果は、十分に信頼できるものになることができない。ポーズフィッティングおよび浸透解像は、この問題を単に視覚的に「解決する(fix)」ことはできるが、さらなる誤差をもたらすことになる。
本発明者らは、着衣した人間の点群を対応する身体の点群に変換するために非線形関数を学習するためのやり方を見出した。点群は、3Dスキャナによって生成される生データである。
より概括的には、本発明の態様は、人間または動物の身体の裸体の、すなわち、非着衣の形状を推定することを対象とするだけでなく、同様に、物体の形状にも適用可能であり、たとえば、コーティングもしくはカバーリングの1つまたは複数の層によって隠されている物体の身体の裸の形状を推定することも対象とする。
そのため、本発明の第1の態様によれば、添付の特許請求の範囲に提示されている、ニューラルネットワークをトレーニングするために、隠れている、たとえば着衣した身体の形状と、対応する覆いを取り去った、すなわち、裸の、たとえば非着衣の身体の形状とからなるトレーニングデータセットを生成する方法が提供される。
本明細書に記載の、身体の隠れている形状と、対応する覆いを取り去った形状とからなるトレーニングデータセットを生成する方法は、第1のデータセットをコンピュータ生成するステップを含む。第1のデータセットは、複数の身体の複数の裸の形状を表す複数の第1の表面表現を含む。複数の身体の複数のシミュレートされた隠れている形状を得るために、コンピュータ実施プログラムを用いて、複数の裸の形状を(仮想的に)隠す。複数のシミュレートされた隠れている形状は、スキャニングシミュレータに適用される。スキャニングシミュレータは、複数のシミュレートされた隠れている形状を表す複数の第2の表面表現を含む第2のデータセットを生成する。
本発明の第2の態様によれば、添付の特許請求の範囲に提示されている、ニューラルネットワークをトレーニングする方法が提供される。
本発明の第3の態様によれば、添付の特許請求の範囲に提示されている、隠れている、たとえば非着衣の身体の形状を、物理的に隠れている、たとえば着衣した身体の形状から推定する方法が提供される。
本発明の第4の態様によれば、添付の特許請求の範囲に提示されているコンピュータプログラムコードが提供される。
本発明の第5の態様によれば、添付の特許請求の範囲に提示されているシステムが提供される。
本発明の第6の態様によれば、添付の特許請求の範囲に提示されている、ニューラルネットワークをトレーニングするためのトレーニングデータセットが提供される。
本発明においては、裸の身体の形状推定は、トレーニングされたニューラルネットワーク、有利にはディープラーニングネットワークによって行われている。このニューラルネットワークは、本明細書に記載の態様により開発された特定のトレーニングデータセットを使用してトレーニング済みである。トレーニングデータセットは、コンピュータ生成によって排他的に獲得済みである対応する(すなわち、対にされ、位置合わせされた)隠れている(着衣した)身体の形状と裸の(非着衣の)身体の形状とを含む。トレーニングデータセットは、有利には、異なるポーズの身体の形状を含み、それにより、ニューラルネットワークは、裸の身体の形状を、異なるポーズの隠れている身体のスキャン像から推定することが可能になる。トレーニングデータセットを純粋にコンピュータ生成により生成することによって、形状、ポーズ、寸法、および着衣スタイルの変化が大きい身体を含む非常に大きいトレーニングデータセットを得ることができる。これにより、ニューラルネットワークをより効果的にトレーニングすることが可能になる。さらには、本発明の態様によりトレーニングデータセットをコンピュータ生成することによって、よく位置合わせされ、対にされた、着衣した身体メッシュと非着衣の身体メッシュとを得ることができ、それにより、ニューラルネットワークを、精度を高めてトレーニングすることが可能になる。
次に、本発明の態様について、同じ参照数字が同じ特徴を示す添付の図面を参照して詳細に説明する。
10人の非着衣の身体の形状(5人の男性、5人の女性)からなる、本発明によるグラウンドトゥルース(ground truth)データセットを表す図である。 異なるポーズの、異なる服飾スタイルで着衣している、図1の1人の男性および1人の女性の身体の形状を表す図である。 三次元スキャニングシミュレーションの図であり、(a)は、提示されたバーチャルスキャナのカメラ位置の正面図であり、(b)は、提示されたバーチャルスキャナのカメラ位置の上面図であり、(c)は、各カメラによって捕捉された点群がグレースケールで強調されているスキャン像データであり、(d)は、シミュレートされたノイズのクローズアップであり、(e)は、シミュレートされたくぼみのクローズアップであり、(f)は、遮蔽部のクローズアップである。 (a)は、非着衣の身体のメッシュサンプルの図であり、(b)は、(a)についての着衣した人間メッシュサンプルの図であり、(c)は、スキャナシミュレータを使用した(b)のスキャン像の図である。 トレーニングされたニューラルネットワークを得るための、本発明による方法のステップの概観図である。バーチャルスキャナにより得られる着衣した身体の形状データセットは、身体の形状のすべての向きを位置合わせするためのOriented Bounding Box(OBB)正規化へと供給され、その後、グラウンドトゥルースデータセットと一緒に、エンコーダ/デコーダニューラルネットワークに供給される。 本発明によるデータセットによりトレーニングされるニューラルネットワークにより女性の身体の形状を推定した後のテスト結果の図である。上の行は、トレーニングされたニューラルネットワークへの入力としての着衣した人間スキャン像であり、中間の行は、推定された身体であり、下の行は、グラウンドトゥルースである。 本発明の態様による、ニューラルネットワークをトレーニングする方法の方法ステップを表す図である。 本明細書に記載の、非着衣の身体の形状を、着衣した身体の形状から推定するためのシステムを概略的に表す図である。 実験2について、従来技術の方法との再構成誤差の比較を表す図である。各点のグレーの強さは、ミリメートルの単位で頂点ごとの誤差を示している。 異なるスキャナにより得られた実際のスキャン像からの非着衣の身体の推定結果と、図9の同じ身体推定方法により行われた実際のスキャン像からの非着衣の身体の推定結果との視覚的比較を表す図である。上の行の身体は、スキャナ[4]によりスキャンされ、中間の行の身体は、スキャナ[5]によりスキャンされ、下の行の身体は、スキャナ[6]によりスキャンされたものである。
本発明の態様は、非着衣の人間の身体の形状を、着衣した身体のスキャン像から推定する特定の分野について説明する。本明細書に説明する態様が、概して、物体または人間の身体の裸の形状を、隠れている形状のスキャン像から推定することに適用され得ることに留意すると好都合になる。具体的には、本明細書に使用される着衣(dressed)または非着衣(undressed)という用語は、それぞれ、少なくとも部分的に隠れており(concealed)、裸(bare)である(または覆いが取り去られている(unveiled))ことを指すことができる。
非着衣の身体の形状を、着衣した身体のスキャン像から推定するためにニューラルネットワークを学習することの1つの問題は、グラウンドトゥルースデータ(非着衣の身体の形状)と、対応する着衣したデータとを含む信頼できるトレーニングデータセットを有することである。従来技術のトレーニングデータセットは、着衣した身体の形状しか含まず、非着衣の形状は、着衣した形状から構成または推定しなくてはならず、そのことはまさに根本的問題であり、行うことはかなり困難である。
本発明においては、異なる手法が踏襲され、すなわち、トレーニングデータセットは、コンピュータを用いて生成される非着衣の(裸体の)身体の形状の第1のデータセットから始まって生成される。第1のデータセットを開発するための異なる種類のソフトウェアパッケージが存在する(たとえば、https://github.com/animate1978/MB-Labから入手可能なBastioni, MのMB-Lab、10/02/2019)。例として、第1のデータセットは、図1に示されているように、異なる身体の形状の少なくとも3人の、有利には少なくとも5人の非着衣の(裸体の)男性被験者、および少なくとも3人の、有利には少なくとも5人の非着衣の(裸体の)女性被験者を含むことができる。それらの形状は、プロの画家の経験により確立され得る。Manuel Bastioni Labソフトウェアパッケージによって提供される重要な利点は、よく定義されたスケルトンおよびスキニングのウェイトがあらかじめ定義されていることである。
第1のデータセットの異なる身体の形状は、表面メッシュなど、任意の適切なデジタル形式で、好ましくは点群として提供され得る。
第1のデータセットの身体の形状はすべて、単一ポーズとすることができる。しかしながら、異なるポーズでの身体の形状を提供することは有利になる。異なるポーズは、ストレッチしている、組んでいるなどの四肢、たとえば、腕および/または脚のうちの1つまたは複数の異なる向き、好ましくは、異なる展開状態または関節状態をとる身体を指す場合がある。これは、たとえば、第1のデータセットの身体の形状を開発するのに使用されるソフトウェアパッケージから直接、異なるポーズを生成するといった異なるやり方で得ることができる。別の可能性は、特定の身体の形状の運動シーケンスを得ることを可能にする専用のソフトウェアパッケージを使用することである。歩行、身体の回転、膝の引上げ、スクワット、U字ポーズのひねり、およびウォーミングアップを含む運動シーケンスが、線形ブレンドスキニングによって適用されてもよい。
したがって、第1のデータセットは、1つまたは複数のポーズもしくは姿勢の異なる身体のタイプ(性別、年齢、身体のプロポーションなど)の複数の非着衣の身体の形状を含むことができる。第1のデータセットは、したがって、身体の形状および姿勢のグラウンドトゥルースを表す。
第1のデータセットの複数の非着衣の身体の形状は、有利には、三角形および頂点を含む身体メッシュとして提供される。例として、1つの身体メッシュは、少なくとも5000個の頂点、有利には少なくとも10000個の頂点、有利には少なくとも15000個の頂点を含むことができる。
次に、第2のデータセットが、着衣した身体の形状に対応して、第1のデータセットから生成される。
この目的のために、CLO(www.clo3d.com)など、適切な市販の服飾CADモデリングソフトウェアを使用して、第1のデータセットの身体の形状に付ける衣類をシミュレートすることができる。より大きいデータセットを得るために、第1のデータセットからの身体の形状には、異なる服飾スタイル、たとえば、Tシャツおよび長ズボン、長袖の重ね着の衣服、幅の広い衣服、たとえば女性用のドレスおよび男性用の幅の広いズボン、サッカーのウェア、ならびに幅の広い長袖の衣服のうちの1つまたは複数により着衣し得る。各被験者は、複数の服飾スタイルにより着衣し得る。CLOなどのいくつかのソフトウェアパッケージは、現実的な着衣した人間アニメーションシーケンスを得るのに使用され得る物理ベースのシミュレーションエンジンを含む。異なる服飾スタイルの例は、図2に示されている。服飾スタイルには、靴を含めることができる。
服飾工程を迅速化するために、自動着衣技法を使用することができる。そのような技法においては、複数の衣類を含む衣類テンプレートが使用される。衣類テンプレートは、複数の衣類または衣服が与えられる1つまたは複数の基準の(非着衣の)身体を含むことができる。基準の身体は、メッシュまたは点群として提供され得、上記に示した適切な市販の服飾CADモデリングソフトウェアを使用して衣類を着せることができる。
これらの衣類のうちの1つまたはそれらの組合せは、衣類テンプレートから、第1のデータセットの複数の非着衣の身体の形状に転写される。有利には、衣類の頂点は、基準の身体の三角形に拘束付けられる(bound)。有利には、衣類の各頂点は、たった1つの三角形ではなく、基準の身体の少なくとも3つの、好ましくは6つの最も近い三角形上に拘束付けられる。この単純な改良により、結果的に、着衣し直された衣類の表面が平滑になり得る。実際、有利には、第1のデータセットの複数の身体メッシュは、対応する、可能性としては同様の意味論上の頂点および三角形を有し、それらはまた、衣類を転写するのに使用される基準の身体の意味論上の頂点および三角形に対応することができる。結果として、変形した衣類は、目標の身体の形状およびポーズによって速く推測可能である。この拘束付けが局所演算(local operation)であるとき、しわなどのより現実的な服飾細部が、衣類を目標の身体に転写する間に合成されることになる。
多数の身体ポーズおよび多数の服飾スタイルを生成することによって、着衣した身体の形状の数の大きさが効果的に増大し得る。有利には、本発明の方法においては、身体のタイプ(形状)およびポーズのうちの一方またはそれらの組合せで互いに異なっている少なくとも5000個の、有利には少なくとも10000個の、有利には少なくとも20000個の、有利には少なくとも25000個のシミュレートされた着衣した身体の形状が生成される。1つの例においては、上述の方法論に基づいて、48,100個のシミュレートされた着衣した人間のメッシュが構築され、各メッシュは、対応するグラウンドトゥルース(非着衣の)形状を有する。たとえば、着衣した形状が、同じ非着衣の身体の形状に与えられる異なる服飾スタイルを指す場合、多数の着衣した身体の形状は、(非着衣の)同じグラウンドトゥルースを共有することができることに留意すると好都合になる。
三次元スキャナシミュレータが、第2のデータセットを生成するために、シミュレートされた着衣した身体の形状に適用される。
上述のシミュレーションにより得られた着衣した身体の形状は、人間の身体のスキャニングを含む現実世界のシナリオを表していない、きれいな、密な、詳細な3D身体モデルである。ノイズは、現実の人間の3Dスキャニングシナリオにおいては、捕捉された点群および他の表面表現に影響を及ぼす重要な摂動であり、したがって、本発明においては、ノイズ摂動をトレーニングデータセットにおいて考慮に入れる。
その上、合成の着衣した人間モデルは、3Dデータとしてアクセスできる多層の服飾を有するが、現実シナリオの人間3Dスキャニングは、単一層の表面表現をもたらすことになる。
上記の問題に対処するために、現実的3Dスキャナをシミュレートし測定結果に影響を及ぼす固有のノイズ摂動を組み込んでいるバーチャルスキャニング方法論が使用される。中心極限定理(Central Limit Theorem)によれば、取得パイプラインにおける様々なノイズ源は、ガウスノイズ分布に組み合わさる。したがって、バーチャルスキャナからの結果として生じる深さデータは、ガウスノイズによって破損させられ、現実世界の取得手順におけるノイズがシミュレートされ得る。
たとえば、バーチャルスキャナは、図3(a)および(b)に示されている図の4つの異なる点から被験者の4つの深さ画像を捕捉する四カメラ(飛行時間型の)システムとして構築される。4つのカメラは、正方形の隅に配置され、着衣した身体の形状は、正方形の(幾何学的)中心に置かれる。より多くのカメラまたはより少ないカメラがバーチャルスキャナにおいて実装されてもよいことに留意すると好都合になる。ガウスノイズが、現実世界において使用されることになる3Dカメラ(スキャナ)のノイズシグネチャを表すスキャンされたデータに追加される。これらのカメラにより、深さ画像を得ることが可能になる。捕捉された深さ画像は、3D点群に逆投影され、それは、次の等式を用いてカメラの外部パラメータを利用することによって位置合わせされ得る。
Figure 0007595641000001
式中、Sは、結果として生じる着衣した人間の疑似スキャン像であり、Rは、カメラの外部マトリクスであり、Cは、1つのカメラからのデータであり、mは、カメラの数である。
上述のシミュレーション方法論を使用して得られたアニメーション化された着衣した人間のメッシュのそれぞれについての点群または任意の他の適切な表面表現は、バーチャルスキャナによって、容易に生成され得る。
図3(c)～(f)を参照すると、現実的なスキャンされた点群は、スキャナシミュレータ(バーチャルスキャナ)から得ることができることがわかる。ノイズ、くぼみ、および遮蔽部が、バーチャル3Dスキャナによって捕捉される点群に存在する。結果として生じるデータセットは、着衣した人間のスキャンされた点群(メッシュ)の第2のデータセットと、きれいなグラウンドトゥルースの身体の点群(メッシュ)の第1のデータセットとからなる。バーチャルスキャナは、Blenderのオープンソース3Dコンピュータグラフィックスソフトウェア(www.blender.org)において実装された。
有利には、法線、色、および曲率などの局所プロパティが、点群に関連付けされ得る。この目的のために、オフセットと呼ばれるプロパティが、第2のデータセットの身体のメッシュの各頂点(すなわち、点)に割り当てられる。スキャンされた着衣した身体のメッシュ(第2のデータセット)上の各頂点
Figure 0007595641000002
 について、対応する頂点
Figure 0007595641000003
 が、関連のグラウンドトゥルースの身体のメッシュ(第1のデータセット)、たとえば、最近点として決定される。
Figure 0007595641000004
 のオフセットが、以下のように決定される。
Figure 0007595641000005
このオフセットは、さらに後述するニューラルネットワークをトレーニングするために使用され得る。
第1のデータセット(非着衣の身体の形状)と第2のデータセット(着衣した身体の形状)はともに、有利には、点群として、または少なくとも、非着衣の身体の形状を物理的に3Dスキャンされた着衣モデルから推定することを可能にするようにニューラルネットワークをトレーニングするためにニューラルネットワークに入力されるのに適している形式で利用可能である。
身体の形状推定モデルの問題は、次のように表すことができる。
B=d(e(D))
式中、eは、エンコーダを示し、dは、デコーダを示し、Dは、きれいな場合またはノイズが多い場合がある着衣した人間の点群であり、Bは、身体の推定された点群である。これは、身体の形状および姿勢の推定が、Dを所与としてBを予測するように定義され得ることを意味している。この定式化の下では、DとBとの間の明確な対応関係は存在しないことに留意されたい。DからBへのマッピングは、上述のデータセットに基づいてトレーニングされるニューラルネットワークにより行われる。
図5を参照すると、1つの例において、ニューラルネットワーク10は、エンコーダ/デコーダのアーキテクチャとして構成されている。第1に、エンコーダ11は、k次元の特徴ベクトルを生成することによって入力点群Dを記述する。第2に、デコーダ12は、生成された特徴ベクトルを使用して(非着衣の)身体点群を作り出す。デコーダ12は、International Conference on 3D Vision (3DV)、728～737 (2018)におけるYuan, W.、Khot, T.、Held, D.、Mertz, C.、およびHebert, M.のPCN(Point Completion Network)に記載されているものとすることができ、Achlioptas, P.、Diamanti, O.、Mitliagkas, I.、およびGuibas, L.のLearning Representations and Generative Models for 3D Point Clouds、arXiv preprint arXiv:1707.02392 (2017)に記載の完全結合型デコーダ(fully-connected decoder)と、Yang, Y.、Feng, C.、Shen, Y.、およびTian, D.のFoldingNet: Interpretable Unsupervised Learning on 3D Point Clouds、arXiv preprint arXiv:1712.07262 (2017)に記載の折畳み型デコーダ(folding-based decoder)との組合せである。完全結合型デコーダは、疎らな点群を予測するのに適しており、一方、折畳み型デコーダは、密な点群を推定する際によく働く。これらのデコーダの組合せは、点群の局所特性と大域特性とをともに捕らえることが可能になり、それを構成するデコーダの性能を上回る。
ディープニューラルネットワークのトレーニングには、よく定義された損失関数が必要である。損失関数は、ニューラルネットワークがいかによく身体の点群を推定しているかについて、出力をグラウンドトゥルースの身体の形状の点群と比較することによって評価する。点群の不規則性に起因して、費用関数は、点の全順列が同じ結果につながるようなやり方で定義すべきである。これを実行するために、Chamfer Distance(CD)およびEarth Mover's Distance (EMD)などの順列不変関数が使用され得る。予測された点群C1とグラウンドトゥルース点群C2との間のChamfer距離は、以下のように定義される。
Figure 0007595641000006
式中、C1およびC2は、それぞれ、異なるサイズ|C1|、|C2|とすることができる。この関数は、各点と他の集合におけるその最近傍との間のすべての距離を平均化する。この距離尺度を用いると、均一な分布による点群を生成するニューラルネットワークにつながらない。この問題に取り組みために、Earth Mover's Distanceが使用され得る。C1とC2との間のEMD距離は、以下のように定義される。
Figure 0007595641000007
式中、Φ:C1→C2は、双射である。この距離尺度により、C1とC2との間の平均の点間距離を最小化することができる。点間マッピングは、予測された点群の均一性を確保する。しかしながら、最適なΦを見つけることは、特に高解像度の点群の場合、計算コストが高くつく。両方の損失関数を活用するために、完全結合型デコーダによって予測される疎らな身体の点群は、CD損失値とEMD損失値との和によって評価され得、一方、折畳み型デコーダによって予測される密な身体の点群は、CD損失関数によって評価される。
より具体的には、初期の身体推定損失を、EMDを使用して、以下のように決定することができる。
Figure 0007595641000008
式中φ(ν)は、予測された初期の非着衣の身体の頂点(点)
Figure 0007595641000009
 におけるνという対応点を表す。このEMDは、予測された初期の非着衣の身体の頂点
Figure 0007595641000010
 と、初期のグラウンドトゥルース(GT)の身体の頂点
Figure 0007595641000011
 との間の誤差である。
続いて、粗い再構成損失を、初期の身体推定損失と同様に、EMDを使用して、以下のように決定することができる。
Figure 0007595641000012
式中、φ(ν)は、予測された粗い非着衣の身体の頂点
Figure 0007595641000013
 におけるνという対応点を表す。このEMDは、予測された粗い非着衣の身体の頂点
Figure 0007595641000014
 と、粗いグラウンドトゥルース(GT)の身体の頂点
Figure 0007595641000015
 との間の誤差である。
続いて、細かい再構成損失を、対称Chamfer Distance(symmetric chamfer distance、SCD)を使用して、以下のように決定することができる。
Figure 0007595641000016
SCDは、推定された密な非着衣の身体の頂点
Figure 0007595641000017
 と、グラウンドトゥルース(GT)の身体の頂点
Figure 0007595641000018
 との間の平均最近点距離である。
オプションで、オフセット損失を示すさらなる損失関数が、上記の損失関数に追加され、有利には、頂点オフセットΔOをトレーニングするのに使用される。オフセット損失OLは、以下のように定義することができる。
Figure 0007595641000019
式中、OL(ΔO,ΔOGT)は、l1損失であり、それは、予測されたオフセットΔOと、グラウンドトゥルースオフセット
Figure 0007595641000020
 との間の誤差を最小化する。
有利には、上記の損失関数を組み合わせて、以下のように定義される最終的な損失関数が得られる。
Figure 0007595641000021
式中、αOL、αinitial、αcoarse、およびαSCDは、各項の寄与を調整する重みである。
第1のデータセットおよび第2のデータセットは、有利には、任意の適切な表面表現のテータセットとしてニューラルネットワークに入力される。有利には、データセットは、点群として入力される。点群の使用を可能にする可能なネットワークアーキテクチャは、IEEE Conference on Computer Vision and Pattern Recognition、4 (2017)のQi, C.R.らのPointnet: Deep learning on Point Sets for 3d Classification and Segmentationに記載されている。
第1のデータセットおよび第2のデータセットの処理の課題は、身体の大域的向きの大きい変化に対処することである。従来、幾何学的データは、すべてのメッシュまたは点群を境界ボックスの中心に置いて、それらを単位球面にスケーリングすることによって正規化され得る。しかしながら、このことは、出力された身体の点群が、入力された着衣した人間のスキャン像の向きに非常に依存しているとき、余計な作業である場合がある。向きに対する不変性を達成するための別の有利なやり方は、IEEE Conference on Computer Vision and Pattern Recognitionの議事録、8417～8426(2018)におけるGe, L.らのHand PointNet: 3d Hand Pose Estimation using Point Setsに記載のOriented Bounding Box (OBB)正規化と呼ばれる進化型正規化法を採用することである。
そのため、第2のデータセット、および有利には第1のデータセットの得られた点群は、まず、それらの向きを正規化させてから、正規化モジュール13におけるトレーニングに向けてニューラルネットワークに入力されることになる。
バーチャルスキャナ14において実装されるノイズに起因して、第2のデータセットの点がすべて、等しい程度の信頼性を有するわけではなくなる。困難な領域(たとえば、脇の下)においてスキャナによって生成される点は、身体の非常に見えやすい部分に位置する点よりもノイズが生じやすい。別の重要な観察事項は、布地が身体に対して密着している領域に位置する点は、布地が身体に対してゆったりしている困難な領域に位置する点よりも正確な身体の形状推定結果につながりやすいことである。有利には、信頼度を第2のデータセットの点群のそれぞれに関連付ける信頼度マップが、第2のデータセットにおいて生成される。信頼度マップは、有利には、身体の形状を正しく推定する際にそれをガイドするためにニューラルネットワークに入力される。
信頼度値をコンピュータ計算する可能なやり方は、その信頼度値を3D点ごとに(または他の表面表現、たとえばメッシュ、ベジエ曲線などが使用される場合には、選択された節点において)ノイズの局所分散(local variance)に反比例させることである。これらの分散は、様々なポーズについての着衣した身体のデータセットおよび非着衣の均等物を使用して推定され得る。結果として生じる分散が高いほど、対応する3D点の信頼度は低くなる。別の可能性は、着衣した身体のモデルと、対応する非着衣の身体の形状との間の各点における相対距離を考慮に入れることである。様々な身体のポーズについての平均相対距離および相対距離の分散は、コンピュータ計算され得る。信頼度は、結果として生じる分散に反比例する。
図7を参照すると、第1のデータセットおよび第2のデータセットによりニューラルネットワークをトレーニングする方法100は、座標(x、y、z)によりn個の点からなる入力点群を生成するために、着衣した身体のメッシュをバーチャルスキャンする第1のステップ101を含む。入力点群は、正規化された点群を得るために、ステップ102において正規化される。例として、正規化は、たとえば、IEEE Conference on Computer Vision and Pattern Recognition、2018の議事録pp. 8417～8426におけるL. Ge、Y. Cai、J. Weng、およびJ. Yuanの「Hand pointnet: 3d hand pose estimation using point sets」に記載のOBB正規化として行うことができる。有利には、正規化された点群は、m個の正規化された点を含むサブサンプリングされた点群を得るためにサブサンプリングされ、ただし、m<nである。有利には、たとえば、上述したサブサンプリングされた点群の点について、オフセットが決定される。m個のサブサンプリングされた点とオフセットとの間の残差は、初期の非着衣の身体の点を表す。初期の非着衣の身体の点は、ステップ103においてニューラルネットワークのエンコーダ部に供給される。エンコーダは、これらの点における特徴を学習するためにこれらの初期の身体の点を消費する。エンコーダからの特徴は、粗いまたは疎らな身体の点を出力するためにステップ104においてニューラルネットワークのデコーダ部に供給される。たとえば、上述したCDおよび/またはEMDを実装するデコーダは、粗い身体の点を生成するために多層パーセプトロン(MLP)モジュールにより実装され得る。次いで、デコーダは、ステップ105において、粗い身体の点を精緻化して密な非着衣の身体の点群を得る。デコーダは、粗い身体の点を精緻化するように構成されている折畳みモジュールを含むことができる。折畳みモジュールは、上述したCDにより実装され得る。IEEE Conference on Computer Vision and Pattern Recognition、2018の議事録pp. 206～215におけるY. Yang、C. Feng、Y. Shen、
およびD. Tianの「Foldingnet: Point cloud auto-encoder via deep grid deformation」に記載の折畳みモジュールが実装され得る。デコーダは、オプションで、精緻化された粗い身体の点を非正規化する非正規化モジュールを含み、密な身体の点を得ることができる。精緻化ステップ105は、オプションで、点群/身体メッシュの元のスケールおよび向きを回復するために非正規化ステップ106を含む。
図8を参照すると、システム200は、三次元(3D)身体スキャニングデバイス202に接続されたコンピューティングデバイス201を備える。3D身体スキャニングデバイス202は、多角形(polygon)の隅に配置され多角形の中心領域に位置決めされた身体をスキャンするように構成された1つまたは複数のカメラ203を備えることができる。カメラ203は、この目的に適している任意のカメラ、たとえば、飛行時間(TOF)カメラとすることができる。
コンピューティングデバイス201は、本明細書に説明するトレーニングされたニューラルネットワーク10を備え、ニューラルネットワークとの間でデータを受信および/または送信するためにニューラルネットワーク10に結合されている1つまたは複数のユーザアプリケーション204を含むことができる。ユーザアプリケーション204のうちの1つは、着衣した身体のスキャン像を受け取るために3D身体スキャニングデバイス202に動作可能に結合され得、そのスキャン像は、次いで、非着衣の身体のメッシュを推定するために、トレーニングされたニューラルネットワーク10に供給される。
実験1
上記の方法は、テスト済みである。48100個のモデルのトレーニングデータセットを上述の手順を用いて得た。スキャニングシミュレーションを、構造化光カメラ(structured-light camera)用に設計されているノイズモデルを有するKinect v1ブレンダのシミュレーションにより行った。データセットを、90%、5%、および5%ずつ、それぞれ、トレーニングデータセット、検証データセット、およびテスト用データセットに分割した。トレーニングは、Kingma, D.P.、およびBa, J.のAdam: A Method for Stochastic Optimization、arXiv preprint arXiv:1412.6980 (2014)に記載のAdamオプティマイザを使用して行った。TensorFlow(OSDI、265～283、(2016)におけるAbadi, M.、Barham, P.、Chen, J.、Chen, Z.、Davis, A.、Dean, J.、Devin, M、Ghemawat, S.、Irving, G.、Isard, M.、およびKudlur, M.のTensorflow: a System for Large-scale Machine Learning)に基づいて、デスクトップPC(Intel(R) Xeon(R) Silver 4112 CPU @ 2.60GHz 64GB RAM GPU GeForce GTX 1080Ti)における50個のエポックおよびバッチサイズ16について、初期学習率0.0001を使用した。学習率は、50K反復ごとに0.7ずつ低下させる。エンコーダにおける入力点群、エンコーダにおける特徴ベクトル、デコーダにおける疎らな出力、およびデコーダにおける密な出力のサイズは、それぞれ6144、1024、2048、および16384であった。デコーダによって予測される疎らな身体の点群は、CD損失値とEMD損失値との和によって評価し、一方、折畳み型デコーダによって予測される密な身体の点群は、CD損失関数によって評価した。
推定された身体の形状を、テスト用データからのグラウンドトゥルースの身体の点群と比較した。ドレスなどの幅広の衣服から身体の形状を推定することはより困難であるので、性能を女性データに関してテストした。結果は、表1に示されている。いくつかの比較グラフィカル形状が、図6に示されている。
表1: 推定された身体の形状の数値結果である。各女性被験者に対して、服飾スタイルごとに10フレームが、テスト用データセットからランダムに選択され(項5.1参照)、グラウンドトゥルース(GT)の身体のメッシュと方法結果との間のミリメートル単位の平均の点間距離が報告された。
注記: FHDは、前方ハウスドルフ距離(forward Hausdorff distance)、すなわち、GTの全点から、推定された身体上の点までの距離の全点からの最小距離を推定された身体の全点について平均化したものである。RHDは、逆ハウスドルフ距離(reverse Hausdorff distance)、すなわち、推定された身体の全点からGTにおける点までの最小距離をすべてのBについて平均化したものである。AVGは、FHDとRHDとの平均である。
Figure 0007595641000022
実験2
100,000人の男性モデルおよび100,000人の女性モデルのトレーニングデータセットを上述の手順を用いて生成した。3つのタイプの衣服を各々に着せ、したがって、600,000個の着衣したスキャン像と、対応する200,000個のグラウンドトゥルースの身体の形状が得られた。このデータセットは、本明細書において以降、BUGデータセットと呼ぶ。トレーニング段階においては、データセットを、97%、2%、および1%ずつ、それぞれ、トレーニング、検証、およびテスト用に分割した。トレーニングは、実験1のようにAdamオプティマイザを使用して行った。学習率は、50K反復ごとに0.7ずつ低下させた。等式(5)による損失関数を使用した。等式(5)に定義された各項の重みを、αOL=1、αinitial=1、αcoarse=1、およびαCD=1に設定した。広く使用されている評価距離尺度Chamfer Distance (CD)を使用した。CD誤差は、再構成された身体のメッシュとグラウンドトゥルースの身体のメッシュとの間の平均ユークリッド距離である。測定単位は、mmである。CD誤差を以下のように定義した。
Figure 0007595641000023
頂点間誤差の平均値および平均標準偏差を計算した。
トレーニングされたニューラルネットワークを、BUGデータセットによりテストした。BUGデータセットは、グラウンドトゥルースのポーズした身体のモデルを含み、それを使用して、本発明の方法を従来技術の方法と定量的に比較した。この実験においては、[INV]とラベル付けされた本発明の方法を、[1]Hasler, N.、Stoll, C.、Rosenhahn, B.、Thormaehlen, T.、およびSeidel, H.P.の2009、Estimating body shape of dressed humans、Computers & Graphics、33(3)、pp.211～216、[2]IEEE Conference on Computer Vision and Pattern Recognitionの議事録(pp. 7122～7131)におけるKanazawa, A.、Black, M.J.、Jacobs, D.W.、およびMalik, J.の2018、End-to-end recovery of human shape and pose、[3]European Conference on Computer Vision (ECCV)、2018の議事録pp. 230～246におけるT. Groueix、M. Fisher、V. G. Kim、B. C. Russell、およびM. Aubry、「3dcoded: 3d correspondences by deep deformation」と比較した。評価は、2000個の身体メッシュを含むBUGテスト用データセットに基づいた。図9は、いくつかの推定された身体の形状の誤差マップを示している。本発明の方法を使用して推定された身体の形状の頂点の90%超が10mm未満の頂点ごとの誤差を有し、それによって、従来技術の基準方法の性能を上回る。
実験3
センサノイズおよび欠測データに対する本発明の方法のロバスト性をテストした。[4]Multi-Kinectスキャニング(2015 International Conference on 3D Vision、IEEE、2015、pp. 318～325におけるM. Kowalski、J. Naruniec、およびM. Danilukの「Livescan3d: A fast and inexpensive 3d data acquisition system for multiple kinect v2 sensors」、[5]Microsoft Kinect Version 2およびターンテーブルスキャニングシステム(P. Hu, T. Komura、D. Holden、およびY. Zhong、「Scanning and animating characters dressed in multiple-layer garments」、The Visual Computer、33巻、第6～8号、pp. 961～969、2017)、ならびに[6]PhotoScan (https://www.agisoft.com/)と呼ばれる写真測量スキャニングシステムを含む3つの一般的なスキャニングシステムを使用して、3人の被験者を捕捉し、非着衣の身体の形状を、本発明の方法[INV]を使用するスキャン像から推定し、方法[1]～[3]と比較した。図10は、視覚的比較を示している。結果[1]は、極度の浸透問題を有し、結果[2]は、形状および姿勢の観点から不正確であり、結果[3]は、より太って、不自然に変形している。それとは反対に、本発明による方法の結果は、もっともらしく信頼できる。推定された身体(明るく色付けされた領域)は、衣類(暗く色付けされた領域)のほぼ内側にある。[4]からのスキャン像は、非常にノイズが多く、不完全であり、不正確に位置合わせされている。[5]からのスキャン像は、頭の領域に欠測データを有するが、きれいなメッシュである。[6]からのスキャン像は、腕および股の領域にノイズを有する。[1]の性能は、予期せぬノイズに起因して低下する。[2]の誤差は大きい。[3]の性能は、維持されるように思われるが、推定された身体は、やはり、現実と比較してサイズが大き過ぎる。本発明の方法の結果は、従来技術の方法の結果と最良に比較されるような結果となった。これにより、非着衣の身体の形状を着衣した身体スキャン像から推定する本発明の方法が、異なるスキャナによって捕捉されたスキャン像に関して使用可能であり、大きいノイズレベルおよび欠測データに対してロバストであることを可能にすることが証明される。
本発明はまた、実行時間の観点で、従来技術の方法を性能が上回る結果となった。本発明の方法の1つのスキャン像に基づく再構成時間は、5.8秒であったが、[1]の場合、11分であり、[3]の場合、1分であった。[2]の再構成時間は、1つの写真に基づいて2.5分であった。その上、方法[1]および[3]には、追加的に先行モデルが与えられることが必要であり、方法[2]には、二次元の接合部が与えられることが必要であり、それらはいずれも、本発明の方法に必要ではなかった。そのような追加のデータが、現実世界の適用例において必ずしも利用可能とは限らない。
可能な適用例は、人間の身体のスキャニング、人間生体認証、ファッション品、具体的には、人間または動物が身に付けることになる服飾履物および服飾アクセサリ、ならびに自動物体認識の分野である。
10 ニューラルネットワーク
11 エンコーダ
12 デコーダ
13 正規化モジュール
14 バーチャルスキャナ
100 方法
200 システム
201 コンピューティングデバイス
202 三次元(3D)身体スキャニングデバイス
203 カメラ
204 ユーザアプリケーション

Claims (16)

  1. コンピュータにより実施される、ニューラルネットワークをトレーニングするための、身体の隠れている形状と、対応する覆いが取り去られている形状とからなるトレーニングデータセットを生成する方法であって、
    複数の身体の複数の裸の形状を表す複数の第1の表面表現を含む第1のデータセットを生成するステップと、
    前記複数の身体の複数のシミュレートされた隠れている形状を得るために、前記複数の裸の形状を仮想的に隠すステップと、
    前記複数のシミュレートされた隠れている形状をスキャニングシミュレータに適用するステップであって、前記スキャニングシミュレータが、前記複数のシミュレートされた隠れている形状を表す複数の第2の表面表現を含む第2のデータセットを生成する、ステップと、
    前記複数の第2の表面表現の節点に関連する、または前記複数の第2の表面表現を表す点群の点に関連する、信頼度値を生成するステップであって、前記信頼度値が前記ニューラルネットワークに入力される、ステップと、
    を含む方法。
  2. 前記第1の表面表現が、複数のポーズをとる複数の裸の形状を表す、請求項1に記載の方法。
  3. 前記シミュレートされた隠れている形状が、多層表面を含む、請求項1または2に記載の方法。
  4. 前記スキャニングシミュレータが、前記多層表面を含む前記シミュレートされた隠れている形状を、単一層表面を表す前記第2の表面表現に変換する、請求項3に記載の方法。
  5. 前記スキャニングシミュレータが、写真測量法ベースのシミュレータである、請求項1から4のいずれか一項に記載の方法。
  6. 前記スキャニングシミュレータが、ノイズモデルを含み、前記ノイズモデルが、シミュレートされたノイズを前記複数の第2の表面表現に追加する、請求項1から5のいずれか一項に記載の方法。
  7. 前記スキャニングシミュレータが、多角形の隅に配置されている複数のカメラシミュレータを含み、前記シミュレートされた隠れている形状が、前記多角形の中心に配置され、前記複数のカメラシミュレータが、異なる視野角から前記シミュレートされた隠れている形状を撮像する、請求項1から6のいずれか一項に記載の方法。
  8. 前記第1の表面表現が第1の点群であり、および/または、前記第2の表面表現が第2の点群である、請求項1から7のいずれか一項に記載の方法。
  9. 前記複数の裸の形状が、複数の人間または動物の身体の複数の非着衣の形状を表し、仮想的に隠す前記ステップが、前記複数の非着衣の形状を仮想的に着衣させるステップを含み、前記複数のシミュレートされた隠れている形状が、前記複数の人間または動物の身体の複数のシミュレートされた着衣した形状である、請求項1から8のいずれか一項に記載の方法。
  10. 前記複数のシミュレートされた着衣した形状が、有利にはタイトフィットの服飾およびルーズフィットの服飾を含む、複数の服飾スタイルにおいてシミュレートされた着衣した形状を含む、請求項9に記載の方法。
  11. コンピュータにより実施される、ニューラルネットワークをトレーニングする方法であって、
    請求項1から10のいずれか一項に記載の方法により、隠れている形状と、対応する裸の形状とからなるトレーニングデータセットを生成するステップと、
    前記第1のデータセットおよび前記第2のデータセットを前記ニューラルネットワークに適用するステップであって、前記第1のデータセットが、グラウンドトゥルースデータセットとみなされ、前記複数の第2の表面表現が関連する信頼度値とともに節点を含み、前記信頼度値が入力として前記ニューラルネットワークに与えられる、ステップと
    を含む方法。
  12. コンピュータにより実施される、裸の形状を身体の物理的に隠れている形状から推定する方法であって、
    請求項11に記載の方法により、ニューラルネットワークをトレーニングするステップと、
    三次元カメラデバイスにより、前記物理的に隠れている形状をスキャンし、前記物理的に隠れている形状を表す第3の表面表現を生成するステップと、
    前記第3の表面表現を前記ニューラルネットワークに適用するステップであって、前記ニューラルネットワークが、前記身体の推定された裸の形状を表す第4の表面表現を出力する、ステップと
    を含む方法。
  13. 前記ノイズモデルが、前記三次元カメラデバイスに関連するノイズシグネチャを表す、請求項6を引用する請求項12に記載の方法。
  14. 前記ニューラルネットワークが、前記第3の表面表現のポーズと実質的に同じポーズで前記第4の表面表現を出力する、請求項2を引用する請求項12または13に記載の方法。
  15. コンピュータにおいて実行されると、請求項1から14のいずれか一項に記載の方法を行うように構成されている、コンピュータプログラムコード。
  16. 請求項12から14のいずれか一項に記載の方法を行うように構成されたコンピュータと、前記コンピュータに接続された三次元カメラデバイスとを備える、システム。
JP2022502059A 2019-07-12 2020-07-10 裸の身体の形状を身体の隠れているスキャン像から推定する方法 Active JP7595641B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19186137 2019-07-12
EP19186137.6 2019-07-12
PCT/EP2020/069611 WO2021009062A1 (en) 2019-07-12 2020-07-10 Methods of estimating a bare body shape from a concealed scan of the body

Publications (2)

Publication Number Publication Date
JP2022544353A JP2022544353A (ja) 2022-10-18
JP7595641B2 true JP7595641B2 (ja) 2024-12-06

Family

ID=67296982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022502059A Active JP7595641B2 (ja) 2019-07-12 2020-07-10 裸の身体の形状を身体の隠れているスキャン像から推定する方法

Country Status (5)

Country Link
US (3) US11922593B2 (ja)
EP (1) EP3997670A1 (ja)
JP (1) JP7595641B2 (ja)
CN (1) CN114375463A (ja)
WO (1) WO2021009062A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2725927B2 (es) * 2019-04-17 2020-11-26 Univ Valencia Politecnica Sistema de obtencion de datos utiles para el analisis de la morfometria corporal y metodo asociado
US20230105492A1 (en) * 2020-03-03 2023-04-06 Shifamed Holdings, Llc Prosthetic cardiac valve devices, systems, and methods
CN115298708A (zh) * 2020-03-30 2022-11-04 上海科技大学 多视角神经人体渲染
FR3114429B1 (fr) * 2020-09-23 2023-05-26 Squaremind Systeme et procede pour generer un modele de corps humain
CN112258512B (zh) * 2020-10-16 2023-05-26 抖音视界有限公司 点云分割方法、装置、设备和存储介质
CN115769259B (zh) * 2020-12-21 2025-06-17 谷歌有限责任公司 从影像学习铰接形状重建
WO2022197024A1 (en) 2021-03-16 2022-09-22 Samsung Electronics Co., Ltd. Point-based modeling of human clothing
CN113205104A (zh) * 2021-04-23 2021-08-03 广西大学 一种基于深度学习的点云补全方法
USD1034691S1 (en) * 2021-11-24 2024-07-09 Nike, Inc. Display screen with icon
USD1033481S1 (en) * 2021-11-24 2024-07-02 Nike, Inc. Display screen with icon
EP4466666A1 (en) * 2022-01-17 2024-11-27 Snap Inc. Ar body part tracking system
US11823346B2 (en) * 2022-01-17 2023-11-21 Snap Inc. AR body part tracking system
US12430863B2 (en) * 2022-08-21 2025-09-30 Adobe Inc. Deformable neural radiance field for editing facial pose and facial expression in neural 3D scenes
USD1052615S1 (en) * 2022-10-13 2024-11-26 Lg Electronics Inc. Display panel with animated graphical user interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341516A (ja) 2004-05-25 2005-12-08 Takeshi Hattori 階層化最尤推定計算方式
JP2010055301A (ja) 2008-08-27 2010-03-11 Toyota Motor Corp 運転状態監視装置
JP2015184875A (ja) 2014-03-24 2015-10-22 株式会社東芝 データ処理装置及びデータ処理プログラム
JP2015201123A (ja) 2014-04-10 2015-11-12 日本電信電話株式会社 被写体認識装置、被写体認識方法及び被写体認識プログラム
US20180122146A1 (en) 2010-06-10 2018-05-03 Brown University Parameterized model of 2d articulated human shape

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
US10460158B2 (en) 2014-06-19 2019-10-29 Kabushiki Kaisha Toshiba Methods and systems for generating a three dimensional representation of a human body shape
US10282914B1 (en) * 2015-07-17 2019-05-07 Bao Tran Systems and methods for computer assisted operation
US10163003B2 (en) * 2016-12-28 2018-12-25 Adobe Systems Incorporated Recognizing combinations of body shape, pose, and clothing in three-dimensional input images
CN106934385A (zh) * 2017-03-24 2017-07-07 深圳市唯特视科技有限公司 一种基于3d扫描的人物身体形状估计方法
US11158121B1 (en) * 2018-05-11 2021-10-26 Facebook Technologies, Llc Systems and methods for generating accurate and realistic clothing models with wrinkles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341516A (ja) 2004-05-25 2005-12-08 Takeshi Hattori 階層化最尤推定計算方式
JP2010055301A (ja) 2008-08-27 2010-03-11 Toyota Motor Corp 運転状態監視装置
US20180122146A1 (en) 2010-06-10 2018-05-03 Brown University Parameterized model of 2d articulated human shape
JP2015184875A (ja) 2014-03-24 2015-10-22 株式会社東芝 データ処理装置及びデータ処理プログラム
JP2015201123A (ja) 2014-04-10 2015-11-12 日本電信電話株式会社 被写体認識装置、被写体認識方法及び被写体認識プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Endri Dibra et al.，"HS-Nets: Estimating Human Body Shape from Silhouettes with Convolutional Neural Networks"，2016 Fourth International Conference on 3D Vision (3DV)，米国，IEEE，2016年10月25日，pp.108-117
大山 芽依、外２名，"着衣人物の単一深度画像からの体型推定"，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2018年01月11日，Vol.117, No.391，pp.189-194

Also Published As

Publication number Publication date
WO2021009062A1 (en) 2021-01-21
US20220245911A1 (en) 2022-08-04
US20240193899A1 (en) 2024-06-13
US20260045056A1 (en) 2026-02-12
EP3997670A1 (en) 2022-05-18
US11922593B2 (en) 2024-03-05
CN114375463A (zh) 2022-04-19
US12462516B2 (en) 2025-11-04
JP2022544353A (ja) 2022-10-18

Similar Documents

Publication Publication Date Title
JP7595641B2 (ja) 裸の身体の形状を身体の隠れているスキャン像から推定する方法
US10679046B1 (en) Machine learning systems and methods of estimating body shape from images
Yang et al. Physics-inspired garment recovery from a single-view image
Hu et al. Learning to estimate the body shape under clothing from a single 3-D scan
Hu et al. 3DBodyNet: Fast reconstruction of 3D animatable human body shape from a single commodity depth camera
CN110310285B (zh) 一种精确的基于三维人体重建的烧伤面积计算方法
Chen et al. Tensor-based human body modeling
Bang et al. Estimating garment patterns from static scan data
KR20180069786A (ko) 3d 신체 모델에 대한 3d 의복 모델의 이미지 파일을 생성하기 위한 방법 및 시스템
Ballester et al. Data-driven three-dimensional reconstruction of human bodies using a mobile phone app
Kaashki et al. Deep learning-based automated extraction of anthropometric measurements from a single 3-D scan
Yan et al. Learning anthropometry from rendered humans
US12367600B2 (en) Methods and systems for representing a user
EP3801201A1 (en) Measuring surface distances on human bodies
Wang et al. Dynamic human body reconstruction and motion tracking with low-cost depth cameras
Chen et al. Parametric 3D modeling of a symmetric human body
Hu et al. Predicting high-fidelity human body models from impaired point clouds
Alemany et al. Three-dimensional body shape modeling and posturography
CN119963708B (zh) 三维数字人体生成方法及系统
Parrilla et al. Capture and automatic production of digital humans in real motion with a temporal 3D scanner
Jiang et al. Observation-oriented silhouette-aware fast full body tracking with Kinect
Wang et al. Evaluation of hybrid deep learning and optimization method for 3D human pose and shape reconstruction in simulated depth images
Zhong et al. DI-Net: Decomposed implicit garment transfer network for digital clothed 3D human
Cannavò et al. A framework for animating customized avatars from monocular videos in virtual try-on applications
Zwettler et al. Three-step Alignment Approach for Fitting a Normalized Mask of a Person Rotating in A-Pose or T-Pose Essential for 3D Reconstruction based on 2D Images and CGI Derived Reference Target Pose.

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240422

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241126

R150 Certificate of patent or registration of utility model

Ref document number: 7595641

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150