JP7703695B2 - ３ｄマイクロジオメトリ及び反射率モデリング - Google Patents

Description

〔関連出願との相互参照／引用による組み入れ〕
本出願は、２０２１年６月８日に米国特許商標庁において出願された米国特許出願第１７／３４２，０５８号の優先権の利益を主張するものである。上記出願の各々はその全体が引用により本明細書に組み入れられる。

本開示の様々な実施形態は、３次元（３Ｄ）モデリングに関する。具体的には、本開示の様々な実施形態は、３Ｄマイクロジオメトリ及び反射率モデリングのシステム及び方法に関する。

コンピュータグラフィックス分野の進歩は、フォトリアリスティックな３Ｄ顔モデリングのために人間の顔の３Ｄ形状及びテクスチャを推定する様々な技術の発展をもたらした。高忠実度３Ｄモデルは、娯楽業界、ゲーム業界、デザイン業界及びヘルスケア業界などの多くの業界に需要を有することができる。例えば、娯楽及びゲーム業界では、３Ｄ顔モデリングを利用してフォトリアリスティックな顔アニメーションを作成し、或いはゲームキャラクタの３Ｄフェイスを開発することができる。３Ｄモデリングに使用される従来の撮像設定は、一貫した照明条件を有していないことがある。この結果、従来の撮像設定によって取得された画像に基づいて構築された３Ｄモデルは、３Ｄモデルの３Ｄ形状に関連する不正確さを有していることがある。また、３Ｄモデルに含まれる表面レベルの詳細が、表面ジオメトリ及び表面反射の面で弱い場合がある。

当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法の限界及び不利点が明らかになるであろう。

実質的に少なくとも１つの図に関連して図示及び／又は説明し、特許請求の範囲にさらに完全に示すような、３次元（３Ｄ）マイクロジオメトリ及び反射率モデリングのシステム及び方法を提供する。

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

本開示の実施形態による、３次元（３Ｄ）マイクロジオメトリ及び反射率モデリングのための例示的なネットワーク環境を示すブロック図である。 本開示の実施形態による、３Ｄマイクロジオメトリ及び反射率モデリングのための例示的なシステムを示すブロック図である。 本開示の実施形態による、３Ｄマイクロジオメトリ及び反射率モデリングのための例示的な写真測量設定を示す図である。 本開示の実施形態による、無指向性照明条件下で取り込んだ画像例を示す図である。 本開示の実施形態による、指向性照明条件下で取り込んだ画像例を示す図である。 本開示の実施形態による、３Ｄマイクロジオメトリ及び反射率モデリングの例示的な動作を図５Ｂ～図５Ｄと共に示す図である。 本開示の実施形態による、３Ｄマイクロジオメトリ及び反射率モデリングの例示的な動作を図５Ａ、図５Ｃ及び図５Ｄと共に示す図である。 本開示の実施形態による、３Ｄマイクロジオメトリ及び反射率モデリングの例示的な動作を図５Ａ、図５Ｂ及び図５Ｄと共に示す図である。 本開示の実施形態による、３Ｄマイクロジオメトリ及び反射率モデリングの例示的な動作を図５Ａ～図５Ｃと共に示す図である。 本開示の実施形態による、３Ｄマイクロジオメトリ及び反射率モデリングのための例示的な方法を示すフローチャートである。

３次元（３Ｄ）マイクロジオメトリ及び反射率モデリングのための開示するシステム及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、複数の画像を受け取るように構成できるシステム及び方法を提供する。複数の画像は、顔の第１の一連の画像及び顔の第２の一連の画像を含むことができる。ある実施形態によれば、システムは、人間被験者の顔の複数の画像を複数の視点から取り込むように複数の撮像装置を制御することができる。いくつかの実施形態では、システムが、複数の撮像装置が第１の一連の画像を取り込んでいる間に一連のフラッシュ装置を同時に作動させることができる。第１の一連の画像内の顔は、無指向性照明に曝されたものであることができる。さらに、システムは、複数の撮像装置が第２の一連の画像を取り込んでいる間に一連のフラッシュ装置を順次に作動させることができる。第２の一連の画像内の顔は、指向性照明に曝されたものであることができる。

システムは、受け取った複数の画像に基づいて３Ｄ顔メッシュを生成するように構成することができる。システムは、顔の一連のテクスチャマップを推定するために、生成された３Ｄ顔メッシュと第２の一連の画像とを使用することによって一連の皮膚反射率モデリング動作（ｓｋｉｎ－ｒｅｆｌｅｃｔａｎｃｅ ｍｏｄｅｌｉｎｇ ｏｐｅｒａｔｉｏｎｓ）を実行することができる。ある実施形態によれば、一連の皮膚反射率モデリング動作は、拡散反射モデリング動作（ｄｉｆｆｕｓｅｄ ｒｅｆｌｅｃｔｉｏｎ ｍｏｄｅｌｉｎｇ ｏｐｅｒａｔｉｏｎ）、鏡面分離動作（ｓｐｅｃｕｌａｒ ｓｅｐａｒａｔｉｏｎ ｏｐｅｒａｔｉｏｎ）、及び鏡面反射モデリング動作（ｓｐｅｃｕｌａｒ ｒｅｆｌｅｃｔｉｏｎ ｍｏｄｅｌｉｎｇ ｏｐｅｒａｔｉｏｎ）を含むことができる。いくつかの実施形態では、システムが、人間被験者の顔の拡散法線マップ（ｄｉｆｆｕｓｅ ｎｏｒｍａｌ ｍａｐ）及び顔の拡散アルベドマップ（ｄｉｆｆｕｓｅ ａｌｂｅｄｏ ｍａｐ）を生成するために（例えば、ランバート光モデル（Ｌａｍｂｅｒｔｉａｎ ｌｉｇｈｔ ｍｏｄｅｌ）に基づいて）拡散反射モデリング動作を実行することができる。拡散アルベドマップは、推定された一連のテクスチャマップのうちの第１のテクスチャマップとすることができる。１又は２以上の実施形態では、システムが、生成された拡散法線マップ及び生成された拡散アルベドマップに基づいて第２の一連の画像から鏡面反射情報を分離するために鏡面分離動作を実行することができる。いくつかの実施形態では、システムが、顔の鏡面アルベドマップ（ｓｐｅｃｕｌａｒ ａｌｂｅｄｏ ｍａｐ）、顔の鏡面法線マップ（ｓｐｅｃｕｌａｒ ｎｏｒｍａｌ ｍａｐ）、及び顔の粗さマップ（ｒｏｕｇｈｎｅｓｓ ｍａｐ）を生成するために（例えば、ブリンフォン光モデル（Ｂｌｉｎｎ－Ｐｈｏｎｇ ｌｉｇｈｔ ｍｏｄｅｌ）に基づいて）鏡面反射モデリング動作を実行することができる。鏡面アルベドマップ、鏡面法線マップ及び粗さマップは、推定された一連のテクスチャマップのうちの第２のテクスチャマップと呼ぶことができる。システムは、（第１のテクスチャマップ及び第２のテクスチャマップなどの）推定された一連のテクスチャマップに基づいて、生成された３Ｄ顔メッシュをテクスチャ化（ｔｅｘｔｕｒｉｚｅ）することができる。テクスチャ化は、推定された一連のテクスチャマップ内のマイクロジオメトリ皮膚詳細（ｍｉｃｒｏｇｅｏｍｅｔｒｙ ｓｋｉｎ ｄｅｔａｉｌｓ）及び皮膚反射率詳細（ｓｋｉｎ ｒｅｆｌｅｃｔａｎｃｅ ｄｅｔａｉｌｓ）を含むテクスチャ情報を生成された３Ｄ顔メッシュ上にマッピングすることを含むことができる。

いくつかの従来の方法では、顔の画像が無指向性照明でしか取得されないことがある。従って、このような画像は、高忠実度３Ｄモデルの生成のための正確なテクスチャマップを生成するのに必要な情報を十分に有していないことがある。一方で、本開示のシステムは、無指向性照明及び指向性照明の両方で画像を取り込むように複数の撮像装置を制御して一連のフラッシュ装置を作動させることができる。無指向性照明下での画像は、顔の正確な３Ｄ形状を推定するために使用することができ、指向性照明下での画像は、（毛穴レベルの詳細、隆起、しわなどの）マイクロジオメトリ皮膚詳細及び（鏡面アルベド、粗さなどの）皮膚反射率詳細の両方を含むテクスチャマップを推定するために使用することができる。システムは、正確な３Ｄ形状マップ及びテクスチャマップの両方を利用して、高忠実度かつフォトリアリスティックな顔の３Ｄモデルを生成することができる。

図１は、本開示の実施形態による、３次元（３Ｄ）マイクロジオメトリ及び反射率モデリングのための例示的なネットワーク環境を示すブロック図である。図１にはネットワーク環境１００を示す。ネットワーク環境１００は、システム１０２、複数の撮像装置１０４、一連のフラッシュ装置１０６、及び通信ネットワーク１０８を含むことができる。システム１０２、複数の撮像装置１０４及び一連のフラッシュ装置１０６は、通信ネットワーク１０８を介して互いに通信するように構成することができる。ネットワーク環境１００には、例えば人物の顔１１０を示す。複数の撮像装置１０４は、顔１１０の第１の一連の画像１１４及び第２の一連の画像１１６を含む複数の画像１１２を取得することができる。

システム１０２は、人物の顔１１０に関連する（第１の一連の画像１１４及び第２の一連の画像１１６などの）複数の画像１１２を受け取るように構成できる好適なロジック、回路及びインターフェイスを含むことができる。システム１０２は、受け取った複数の画像１１２に基づいて３Ｄ顔メッシュ１１８を生成し、一連の皮膚反射率モデリング動作を実行して、生成された３Ｄ顔メッシュ１１８のテクスチャ化のためのテクスチャマップを生成するようにさらに構成することができる。テクスチャ化は、３Ｄ顔メッシュ１１８上にマイクロジオメトリ皮膚詳細及び皮膚反射率詳細を生成することができる。システム１０２の例としては、以下に限定するわけではないが、メインフレームマシン、サーバ、コンピュータワークステーション、（ゲーム機などの）ゲーム装置、（ｅＸｔｅｎｄｅｄ Ｒｅａｌｉｔｙ（ＸＲ）ヘッドセットなどの）ヘッドマウントディスプレイ、ウェアラブルディスプレイ装置、消費者向け電子（ＣＥ）装置、又はモバイルコンピュータを挙げることができる。

複数の撮像装置１０４は、人物の顔１１０の複数の画像１１２を対応する複数の視点から取り込むように構成できる好適なロジック、回路及びインターフェイスを含むことができる。複数の撮像装置１０４は、取り込んだ複数の画像１１２をシステム１０２に送信するようにさらに構成することができる。撮像装置の例としては、以下に限定するわけではないが、イメージセンサ、広角カメラ、アクションカメラ、カムコーダ、（デジタル一眼レフカメラ（ＤＳＬＲ）又はデジタル一眼ミラーレス（ＤＳＬＭ）などの）デジタルカメラ、カメラ付き携帯電話機、及び／又は複数のフォーマット及び異なるフレームレートで画像を取り込む能力を有するいずれかの画像取り込み装置を挙げることができる。

一連のフラッシュ装置１０６は、システム１０２によって生成されたトリガー信号に基づいて光のフラッシュを生成するように構成することができる。光のフラッシュは、人物の顔１１０を照明するように生成することができる。一連のフラッシュ装置１０６の例としては、以下に限定するわけではないが、内蔵及びポップアップカメラフラッシュ装置、専用カメラフラッシュ装置、マクロリングライトカメラフラッシュ装置（ｍａｃｒｏ ｒｉｎｇ ｌｉｇｈｔ ｃａｍｅｒａ ｆｌａｓｈ ｕｎｉｔ）、及びハンマーヘッドカメラフラッシュ装置（ｈａｍｍｅｒｈｅａｄ ｃａｍｅｒａ ｆｌａｓｈ ｕｎｉｔ）を挙げることができる。

なお、本開示は、システム１０２から分離した装置としての複数の撮像装置１０４及び一連のフラッシュ装置の実装に限定されるものではない。従って、いくつかの実施形態では、本開示の範囲から逸脱することなく、複数の撮像装置１０４及び一連のフラッシュ装置をシステム１０２に含めることもできる。

通信ネットワーク１０８は、システム１０２、複数の撮像装置１０４及び一連のフラッシュ装置１０６が互いに通信できるようにする通信媒体を含むことができる。通信ネットワーク１０８は、有線接続又は無線接続のいずれかであることができる。通信ネットワーク１０８の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、（ロングタームエボリューション及び５Ｇ新無線などの）セルラー又は無線モバイルネットワーク、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１０８に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル及びインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ８０２．１１ｓ、ＩＥＥＥ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルのうちの少なくとも１つを挙げることができる。

システム１０２は、動作時に、複数の画像１１２を対応する複数の視点から取り込むように複数の撮像装置１０４を制御するよう構成することができる。複数の撮像装置１０４は、３Ｄ構造上の対応する第１の複数の位置に配置することができる。例えば、３Ｄ構造は、少なくとも１人の人物を収容するのに十分な空間を提供するドーム型のケージ構造とすることができる。一連のフラッシュ装置１０６は、３Ｄ構造上の対応する一連の複数の位置に配置することができる。各撮像装置及び各フラッシュ装置は、３Ｄ構造の空間内の人物を複数の視点から取り囲むように３Ｄ構造上に配置することができる。このような配置の例を図３に示す。

一連のフラッシュ装置１０６は、複数の撮像装置１０４が顔１１０の複数の画像１１２を取り込んでいる期間内に作動することができる。限定ではなく一例として、一連のフラッシュ装置１０６は、定められた期間（～１．５秒）内に２つのカメラショットのために作動することができる。第１のショットでは、複数の撮像装置１０４が第１の一連の画像１１４を取り込んでいる間に、一連のフラッシュ装置１０６を同時に作動させて顔１１０を無指向性照明に曝すことができる。第２のショットでは、複数の撮像装置１０４が第２の一連の画像１１６を取り込んでいる間に、一連のフラッシュ装置１０６を順次パターンで作動させて顔１１０を指向性照明に曝すことができる。複数の画像１１２を取り込む詳細については、例えば図３にさらに示す。

システム１０２は、いずれかの時点に複数の撮像装置１０４から（第１の一連の画像１１４及び第２の一連の画像１１６を含むことができる）複数の画像１１２を受け取るように構成することができる。ある実施形態では、システム１０２が、様々なソースからの画像のリポジトリを維持するサーバから複数の画像１１２を受け取ることができる。第１の一連の画像１１４の顔１１０は無指向性照明に曝されたものであることができ、第２の一連の画像１１６の顔１１０は指向性照明に曝されたものであることができる。

ある実施形態によれば、システム１０２は、受け取った第１の一連の画像１１４に基づいて第１の３Ｄ顔メッシュを生成するようにさらに構成することができる。第１の３Ｄ顔メッシュは、顔１１０の未加工３Ｄスキャンとすることができ、スパイク又は尖ったエッジ、大小の穴、及びその他の形状異常などのアーチファクトを含むことができる。システム１０２は、生成された第１の３Ｄ顔メッシュに一連のモデルクリーンアップ動作を適用して、精緻化された第１の３Ｄ顔メッシュを取得するように構成することができる。限定ではなく一例として、このようなモデルクリーンアップ動作は、第１の３Ｄ顔メッシュからアーチファクトを除去するために適用することができる。システム１０２は、受け取った第２の一連の画像１１６に基づいて第２の３Ｄ顔メッシュをさらに生成することができる。２Ｄ画像からの３Ｄ顔メッシュの３Ｄ再構成には、当業者に周知と考えられる多くの技術が存在する。例えば、第１の３Ｄ顔メッシュ及び第２の３Ｄ顔メッシュは、いずれも（多視点画像からの３次元形状復元（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ：ＳｆＭ）などの）写真測量ベースの方法、立体画像を必要とする方法、又は（陰影画像からの形状推定法（ｓｈａｐｅ ｆｒｏｍ ｓｈａｄｉｎｇ：ＳｆＳ）、フォトメトリックステレオ法、又はテクスチャ画像からの形状推定法（ｓｈａｐｅ ｆｒｏｍ ｔｅｘｔｕｒｅ：ＳｆＴ）などの）単眼手掛かりを必要とする方法を使用して生成することができる。このような方法の詳細については、簡潔にするために本開示からは省略している。

システム１０２は、精緻化された第１の３Ｄ顔メッシュと生成された第２の３Ｄ顔メッシュとの間のアフィン変換を推定することができる。その後、システム１０２は、精緻化された第１の３Ｄ顔メッシュに推定されたアフィン変換を適用して３Ｄ顔メッシュ１１８を生成することができる。生成された３Ｄ顔メッシュは、生成された第２の３Ｄ顔メッシュに剛体位置合わせ（ｒｉｇｉｄ ａｌｉｇｎ）して非テクスチャ化（ｕｎ－ｔｅｘｔｕｒｅ）することができる。３Ｄ顔メッシュ１１８の生成の詳細については、例えば図５Ａ及び図５Ｂにさらに示す。

システム１０２は、生成された３Ｄ顔メッシュ１１８及び第２の一連の画像１１６を使用することによって一連の皮膚反射率モデリング動作を実行して顔１１０の一連のテクスチャマップを推定することができる。ある実施形態によれば、一連の皮膚反射率モデリング動作は、拡散反射モデリング動作、鏡面分離動作、及び鏡面反射モデリング動作を含むことができる。一連の皮膚反射率モデリング動作の実行の詳細については、例えば図５Ｃ及び図５Ｄに示す。

システム１０２は、推定された一連のテクスチャマップに基づいて、生成された３Ｄ顔メッシュ１１８をテクスチャ化することができる。テクスチャ化は、推定された一連のテクスチャマップのマイクロジオメトリ皮膚詳細及び皮膚反射率詳細を含むテクスチャ情報を生成された３Ｄ顔メッシュ１１８上にマッピングする動作を含むことができる。生成された３Ｄ顔メッシュ１１８のテクスチャ化の詳細については、例えば図５Ｄにさらに示す。

図２は、本開示の実施形態による、３Ｄマイクロジオメトリ及び反射率モデリングのための例示的なシステムを示すブロック図である。図２の説明は、図１の要素に関連して行う。図２にはシステム１０２のブロック図２００を示す。システム１０２は、回路２０２、メモリ２０４、入力／出力（Ｉ／Ｏ）装置２０６、及びネットワークインターフェイス２０８を含むことができる。回路２０２は、メモリ２０４、Ｉ／Ｏ装置２０６及びネットワークインターフェイス２０８に通信可能に結合することができる。

回路２０２は、システム１０２によって実行される異なる動作に関連するプログラム命令を実行するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。回路２０２は、それぞれ独立したプロセッサとして実装できる１又は２以上の特殊処理ユニットを含むことができる。ある実施形態では、１又は２以上の特殊処理ユニットを、１又は２以上の特殊処理ユニットの機能をまとめて実行する統合プロセッサ又はプロセッサ群として実装することができる。回路２０２は、当業で周知の複数のプロセッサ技術に基づいて実装することができる。回路２０２の実装例としては、以下に限定するわけではないが、ｘ８６ベースのプロセッサ、ｘ６４ベースのプロセッサ、グラフィックプロセッシングユニット（ＧＰＵ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、（視覚処理ユニット（ＶＰＵ）などの）コプロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、マイクロコントローラ、中央処理装置（ＣＰＵ）、及び／又はこれらの組み合わせを挙げることができる。

メモリ２０４は、回路２０２によって実行されるプログラム命令を記憶するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。メモリ２０４は、（第１の一連の画像１１４及び第２の一連の画像１１６を含む）複数の画像１１２を記憶するように構成することができる。メモリ２０４は、生成された３Ｄ顔メッシュ１１８及び推定された一連のテクスチャマップを記憶するように構成することもできる。メモリ２０４の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードなどを挙げることができる。

Ｉ／Ｏ装置２０６は、ユーザからの入力を受け取り、受け取った入力に基づいて出力を提供するように構成できる好適なロジック、回路及びインターフェイスを含むことができる。様々な入力／出力装置を含むことができるＩ／Ｏ装置２０６は、回路２０２と通信するように構成することができる。例えば、システム１０２は、Ｉ／Ｏ装置２０６を介して、複数の画像１１２を取り込むように複数の撮像装置１０４を制御するためのユーザ入力を受け取ることができる。ディスプレイなどのＩ／Ｏ装置２０６は、生成された３Ｄ顔メッシュ１１８、推定された一連のテクスチャマップ又はテクスチャ化された３Ｄ顔メッシュなどの入力及び／又は出力をレンダリングすることができる。Ｉ／Ｏ装置２０６の例としては、以下に限定するわけではないが、タッチ画面、ディスプレイ装置、キーボード、マウス、ジョイスティック、マイク、及びスピーカを挙げることができる。

ネットワークインターフェイス２０８は、通信ネットワーク１０８を介した回路２０２、複数の撮像装置１０４及び一連のフラッシュ装置１０６間の通信を容易にするように構成できる好適なロジック、回路及びインターフェイスを含むことができる。ネットワークインターフェイス２０８は、様々な既知の技術を使用してシステム１０２と通信ネットワーク１０８との有線又は無線通信をサポートするように実装することができる。ネットワークインターフェイス２０８は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダ－デコーダ（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カード、又はローカルバッファ回路を含むことができる。

ネットワークインターフェイス２０８は、インターネット、イントラネット、或いはセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及びメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークとの有線又は無線通信を可能にするように構成することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ－ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、５Ｇ ＮＲ、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ又はＩＥＥＥ８０２．１１ｎなどの）ワイヤレスフィデリティ（ＷｉＦｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ－Ｆｉ）、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（Ｗｉ－ＭＡＸ）、電子メール用プロトコル、インスタントメッセージ、及びショートメッセージサービス（ＳＭＳ）などの複数の通信標準、プロトコル及び技術のうちの１つ又は２つ以上を使用するように構成することができる。

図１で説明したようなシステム１０２によって実行される機能又は動作は回路２０２によって実行することができる。回路２０２によって実行される動作については、例えば図３、図４Ａ、図４Ｂ、図５Ａ、図５Ｂ、図５Ｃ及び図５Ｄで詳細に説明する。

図３は、本開示の実施形態による、３Ｄマイクロジオメトリ及び反射率モデリングのための例示的な写真測量設定（ｐｈｏｔｏｇｒａｍｍｅｔｒｙ ｓｅｔｕｐ）を示す図である。図３の説明は、図１及び図２の要素に関連して行う。図３には、３Ｄ構造３０２、複数の撮像装置１０４、一連のフラッシュ装置３０６、及び一連のディフューザ３０８を含む図３００を示す。図３００には、３Ｄ構造３０２の内部に座っている人物３１０も示す。

複数の撮像装置１０４は、３Ｄ構造３０２上の対応する第１の複数の位置に配置する（又は取り付ける）ことができる。図示のように、例えば３Ｄ構造３０２は、人物３１０又は少なくとも人物３１０の顔を含むのに十分な空間を有するドーム型の照明リグ（ｌｉｇｈｔｉｎｇ ｒｉｇ）とすることができる。複数のフラッシュ装置３０６及び一連のディフューザ３０８は、３Ｄ構造３０２上の対応する第２の複数の位置及び対応する第３の複数の位置にそれぞれ配置し又は取り付けることができる。３Ｄ構造３０２における複数の撮像装置１０４、一連のフラッシュ装置１０６及び一連のディフューザ３０８の配置は、各撮像装置、フラッシュ装置及びディフューザが特定の視点から人物３１０の顔３１２の方に向いているようなものであることができる。撮像装置は、第１の視点から顔３１２の画像を取得することができ、フラッシュ装置は、（第１の視点と同じ視点又は異なる視点であることができる）第２の視点から顔３１２を照明することができる。

図３００には、人物３１０の（額などの）顔３１２に配置された一連の符号化ターゲット３１４を示す。いくつかの事例では、このような符号化ターゲット３１４が一意のコード又は識別子を含むことができ、これらの各コード又は識別子は、取り込まれた複数の画像１１２の各々において顔３１２の一部の位置を一意的に識別するのに役立つことができる。例えば、一連の符号化ターゲット３１４は、顔３１２上に配置された時に複数の撮像装置に対して異なる角度で見えることができる。特定の符号化ターゲットのコード値が異なる視点からの複数の画像内で識別される場合には、各画像内の符号化ターゲットの位置を顔３１２の共通部分に対して参照することができる。

回路２０２は、複数の画像１１２を対応する複数の視点から取り込むように複数の撮像装置１０４を制御するよう構成することができる。限定ではなく一例として、回路２０２は、複数の撮像装置１０４を、第１の瞬間に第１の画像１１４を取り込むように制御するとともに、第２の瞬間に第２の一連の画像１１６を取り込むようにさらに制御することができる。第１の瞬間と第２の瞬間との間には、約１．５秒の時間差が存在することができる。

ある実施形態では、回路２０２を、複数の撮像装置１０４が第１の瞬間に第１の一連の画像１１４を取り込んでいる間に一連のフラッシュ装置１０６を同時に作動させるように構成することができる。一連のフラッシュ装置１０６内のフラッシュ装置の数は、複数の撮像装置１０４の数以下であることができる。一連のフラッシュ装置１０６の同時作動は、３Ｄ構造３０２内の照明が無指向性であることを可能にすることができる。無指向性照明は、人物３１０の顔３１２が均一に照明されることを可能にすることができる。第１の一連の画像１１４は、無指向性照明に曝された人物３１０の顔３１２の画像を含むことができる。第１の一連の画像１１４は、人物３１０の顔３１２の（３Ｄ顔メッシュ１１８などの）正確な３Ｄ顔メッシュを生成するために利用することができる。

ある実施形態では、回路２０２が、複数の撮像装置１０４が第２の瞬間に第２の一連の画像４０４を取り込んでいる間に一連のフラッシュ装置１０６を順次パターンでさらに作動させることができる。一連のフラッシュ装置１０６の順次的作動は、３Ｄ構造３０２内の照明が指向性であることを可能にすることができる。指向性照明は、各画像内の人物３１０の顔３１２を部分的に照明することができる。ある実施形態によれば、指向性照明の光強度は、無指向性照明の光強度よりも高いことができる。無指向性照明の光強度を減少させると、人物３１０の顔３１２に当たる照明量を減少させることができる。複数の撮像装置１０４が顔３１２の画像を取り込んでいる間は、一連のディフューザ３０８を利用して顔３１２に当たる照明の影響を和らげることができる。

いくつかのシナリオでは、撮像装置の（シャッターの作動などの）制御の時点と、撮像装置が（複数の画像１１２のうちの）画像を取り込む時点との間の差分に起因して、各撮像装置が関連する遅延を有することができる。このような時間の遅れは、複数の撮像装置１０４のハードウェア制約に起因することができる。回路２０２は、各撮像装置が直面する遅延に一致する設定間隔で各フラッシュ装置を順次パターンで作動させることができる。ある実施形態では、回路２０２が、（複数の撮像装置１０４のうちの）第１の一群の撮像装置が第２の一連の画像１１６のうちの１又は２以上の第１の画像を取り込んでいる間に、一連のフラッシュ装置１０６のうちの第１のフラッシュ装置のサブセットを作動させることができる。回路２０２は、（複数の撮像装置１０４のうちの）第２の一群の撮像装置が第２の一連の画像１１６のうちの１又は２以上の第２の画像を取り込んでいる間に、一連のフラッシュ装置１０６の第２のフラッシュ装置のサブセットを作動させることができる。第２の一連の画像１１６は、人物３１０の顔３１２のマイクロジオメトリ皮膚詳細及び皮膚反射率詳細を取り込むために利用することができる。

図４Ａに、本開示の実施形態による、無指向性照明条件下で取り込まれた画像例を示す。図４Ａの説明は、図１、図２及び図３の要素に関連して行う。図４Ａには、第１の一連の画像４０２を含む図４００Ａを示す。第１の一連の画像４０２は、複数の撮像装置３０４が第１の瞬間に生成することができる。第１の一連の画像４０２は、対応する複数の視点からの人物３１０の顔３１２を含むことができる。第１の一連の画像４０２の顔３１２は、無指向性照明に曝されたものであることができる。例えば、第１の画像は顔３１２の左側ビューを含むことができ、第２の画像は顔３１２の右側ビューを含むことができ、第３の画像は顔３１２の正面ビューを含むことができる。第１の一連の画像４０２の画像の数は、第１の瞬間に第１の一連の画像４０２を取り込むように制御できる撮像装置の数に依存することができる。限定ではなく一例として、撮像装置の数は２４であることができ、第１の一連の画像４０２の画像の数も２４であることができる。

図４Ｂに、本開示の実施形態による、指向性照明条件下で取り込まれた画像例を示す。図４Ｂの説明は、図１、図２、図３及び図４Ａの要素に関連して行う。図４Ｂには、第２の一連の画像４０４を含む図４００Ｂを示す。第２の一連の画像４０４は、複数の撮像装置３０４が第２の瞬間に出力することができる。第２の一連の画像４０４は、対応する複数の視点からの人物３１０の顔３１２を含むことができる。第２の一連の画像４０４の顔３１２は、指向性照明に曝されたものであることができる。例えば、第１の画像は顔３１２の左側ビューを含むことができ、第２の画像は顔３１２の右側ビューを含むことができ、第３の画像は顔３１２の正面ビューを含むことができる。第２の一連の画像４０４の画像の数は、撮像装置の数に依存することができる。例えば、撮像装置の数は２４であることができ、第２の一連の画像４０４の画像の数も２４であることができる。

図５Ａ、図５Ｂ、図５Ｃ及び図５Ｄに、本開示の実施形態による、３Ｄマイクロジオメトリ及び反射率モデリングのための例示的な動作を集合的に示す。図５Ａ、図５Ｂ、図５Ｃ及び図５Ｄには、本明細書で説明する５０２～５２６の例示的な動作を示すブロック図５００を示す。ブロック図５００に示す例示的な動作は５０２から開始することができ、図１のシステム１０２又は図２の回路２０２などのいずれかのコンピュータシステム、装置又はデバイスによって実行することができる。ブロック図５００の１又は２以上のブロックに関連する例示的な動作については離散ブロックで示しているが、これらは例示的な動作の実装に応じてさらなるブロックに分割し、より少ないブロックに結合し、又は削除することもできる。

５０２において、複数の画像１１２を受け取ることができる。ある実施形態によれば、回路２０２は、複数の撮像装置３０４から複数の画像１１２を受け取るように構成することができる。複数の画像１１２は、第１の一連の画像４０２及び第２の一連の画像４０４を含むことができる。例えば、第１の一連の画像４０２は、第１の画像４０２Ａ、第２の画像４０２Ｂ、第３の画像４０２Ｃ、及び第Ｎの画像４０２Ｎを含むことができる。第２の一連の画像４０４は、第１の画像４０４Ａ、第２の画像４０４Ｂ、第３の画像４０４Ｃ、及び第Ｎの画像４０４Ｎを含むことができる。第１の一連の画像４０２及び第２の一連の画像４０４は、人物３１０の顔３１２を含むことができる。第１の一連の画像４０２内の顔３１２は無指向性照明に曝されたものであることができ、第２の一連の画像４０４内の顔３１２は指向性照明に曝されたものであることができる。

５０４において、受け取った第１の一連の画像４０２に基づいて第１の３Ｄ顔メッシュ５０４Ａを生成することができる。ある実施形態によれば、回路２０２は、受け取った第１の一連の画像４０２に基づいて第１の３Ｄ顔メッシュ５０４Ａを生成するように構成することができる。２Ｄ画像からの３Ｄ顔メッシュの３Ｄ再構成には、当業者に周知と考えられる多くの技術が存在する。例えば、第１の３Ｄ顔メッシュ５０４Ａは、（多視点画像からの３次元形状復元（ＳｆＭ）などの）写真測量ベースの方法、（動きからの構造（ＳｆＭ）など）、立体画像を必要とする方法、又は（陰影画像からの形状推定法（ＳｆＳ）、フォトメトリックステレオ法、又はテクスチャ画像からの形状推定法（ＳｆＴ）などの）単眼手掛かりを必要とする方法を使用して生成することができる。このような方法の詳細については、簡潔にするために本開示からは省略している。

ある実施形態では、第１の３Ｄ顔メッシュ５０４Ａが人物３１０の顔３１２の未加工３Ｄスキャンであることができ、尖ったエッジ（すなわち、大きな二面角を有するエッジ）、スパイク、又は穴（大小のサイズ）などのアーチファクトを含むことができる。本明細書で説明するように、第１の３Ｄ顔メッシュ５０４Ａを精緻化するために一連のモデルクリーンアップ動作を実行することができる。

５０６において、生成された第１の３Ｄ顔メッシュ５０４Ａに一連のモデルクリーンアップ動作を適用して、精緻化された第１の３Ｄ顔メッシュ５０６Ａを取得することができる。ある実施形態によれば、回路２０２は、生成された第１の３Ｄ顔メッシュ５０４Ａに一連のモデルクリーンアップ動作を適用して、精緻化された第１の３Ｄ顔メッシュ５０６Ａを取得するように構成することができる。ある実施形態では、一連のモデルクリーンアップ動作が、第１の３Ｄ顔メッシュ５０４Ａから望ましくない領域を除去すること、第１の３Ｄ顔メッシュ５０４Ａ内の（空きスペースなどの）小さな穴を満たすこと、及び第１の３Ｄ顔メッシュ５０４Ａからスパイクを除去することを含むことができる。

第１の３Ｄ顔メッシュ５０４Ａ上の（人物３１０の顔３１２の一部ではない可能性がある）誤った推定ポリゴンなどの望ましくない領域は除去することができる。第１の３Ｄ顔メッシュ５０４Ａには、いくつかの空きスペース又は穴（すなわち、ポリゴンが存在しない十分に大きなスペース）が存在することがある。このような穴は、第１の３Ｄ顔メッシュ５０４Ａの忠実度に影響を与える恐れがある。従って、例えば第１の３Ｄ顔メッシュ５０４Ａ内の穴の近傍のノードの配置又は形状に依拠する好適な予測法を使用して、このような望ましくない穴を除去することができる。いくつかの事例では、いくつかの場所における誤った深さの推定によって、第１の３Ｄ顔メッシュ５０４Ａ上に望ましくないスパイクが生じることがある。回路２０２は、第１の３Ｄ顔メッシュ５０４Ａ上のこのような望ましくないスパイクを除去又は平滑化して、精緻化された第１の３Ｄ顔メッシュ５０６Ａを取得することができる。

５０８において、受け取った第２の一連の画像４０４に基づいて第２の３Ｄ顔メッシュ５０８Ａを生成することができる。ある実施形態によれば、回路２０２は、受け取った第２の一連の画像４０４に基づいて第２の３Ｄ顔メッシュ５０８Ａを生成するように構成することができる。第１の３Ｄ顔メッシュ５０４Ａと同様に、第２の３Ｄ顔メッシュ５０８Ａも、（多視点画像からの３次元形状復元（ＳｆＭ）などの）写真測量ベースの方法、（動きからの構造（ＳｆＭ）など）、立体画像を必要とする方法、又は（陰影画像からの形状推定法（ＳｆＳ）、フォトメトリックステレオ法、又はテクスチャ画像からの形状推定法（ＳｆＴ）などの）単眼手掛かりを必要とする方法を使用して生成することができる。このような方法の詳細については、簡潔にするために本開示からは省略している。

第２の３Ｄ顔メッシュ５０８Ａは、人物３１０の顔３１２の未加工３Ｄスキャンであることができ、１又は２以上のアーチファクトを含むことができる。ある実施形態によれば、第２の３Ｄ顔メッシュ５０８Ａをさらに精緻化することができる。回路２０２は、第２の３Ｄ顔メッシュ５０８Ａに（５０６で説明したような）一連のモデルクリーンアップ動作を適用することに基づいて、生成された第２の３Ｄ顔メッシュ５０８Ａを精緻化することができる。

５１０において、精緻化された第１の３Ｄ顔メッシュ５０６Ａと生成された第２の３Ｄ顔メッシュ５０８Ａとの間のアフィン変換を推定することができる。回路２０２は、精緻化された第１の３Ｄ顔メッシュ５０６Ａと生成された第２の３Ｄ顔メッシュ５０８Ａとの間のアフィン変換を推定するように構成することができる。ある実施形態によれば、アフィン変換は、一連の符号化ターゲット３１４に基づいて推定することができる。限定ではなく一例として、回路２０２は、受け取った第１の一連の画像４０２内の一連の符号化ターゲット３１４の第１の位置を決定するように構成することができる。回路２０２は、受け取った第２の一連の画像４０４内の顔３１２上の一連の符号化ターゲット３１４の第２の位置をさらに決定することができる。アフィン変換は、決定された第１の位置と決定された第２の位置との比較に基づいて推定することができる。

最初は、精緻化された第１の３Ｄ顔メッシュ５０６Ａ及び第２の３Ｄ顔メッシュがいずれも剛体位置合わせされていないことがあるので、精緻化された第１の３Ｄ顔メッシュ５０６Ａ及び第２の３Ｄ顔メッシュ５０８Ａの対応するノード間の差分がゼロでない場合がある。この差分は、例えばＬ１又はＬ２ノルムを使用して計算することができる。図示のように、例えばヒートマップ５１０Ａは、精緻化された第１の３Ｄ顔メッシュ５０６Ａと生成された第２の３Ｄ顔メッシュ５０８Ａとの間のノード毎の差分を表す。ヒートマップ５１０Ａの左半分の点は、２つのメッシュの対応するノード間の差分がヒートマップ５１０Ａの右半分の点と比べて大きいことを表す。

５１２において、精緻化された第１の３Ｄ顔メッシュ５０６Ａに推定されたアフィン変換を適用することができる。ある実施形態によれば、回路２０２は、精緻化された第１の３Ｄ顔メッシュ５０６Ａに推定されたアフィン変換を適用して３Ｄ顔メッシュ５１２Ａを生成するように構成することができる。生成された３Ｄ顔メッシュ５１２Ａは、生成された第２の３Ｄ顔メッシュ５０８Ａに剛体位置合わせすることができる。

アフィン変換は、回転値及び並進値の行列を含むことができる。この行列に基づいて、精緻化された第１の３Ｄ顔メッシュ５０６Ａの相対的位置及び配向を、第２の３Ｄ顔メッシュ５０８Ａの相対的位置及び配向に一致するように更新することができる。図示のように、例えばヒートマップ５１０Ｂは、３Ｄ顔メッシュ５１２Ａと生成された第２の３Ｄ顔メッシュ５０８Ａとの間のノード毎の差分を表す。ヒートマップ５１０Ｂの顔領域上の全ての点は、３Ｄ顔メッシュ５１２Ａ及び生成された第２の３Ｄ顔メッシュ５０８Ａの対応するノード間の差分がゼロに近いことを表す。従って、ヒートマップ５１０Ｂは、３Ｄ顔メッシュ５１２Ａ及び生成された第２の３Ｄ顔メッシュ５０８Ａの両方を剛体位置合わせできることを示す。

５１４において、第２の一連の画像４０４にホワイトバランス動作を適用して一連のホワイトバランス画像（ｗｈｉｔｅ－ｂａｌａｎｃｅｄ ｉｍａｇｅｓ）を生成することができる。第２の一連の画像４０４の異なる画像では、照明変動に起因して顔３１２の色がわずかに異なることがある。ホワイトバランス動作を適用して、第２の一連の画像４０４の全部又は一部の画像内の顔３１２の皮膚の色を補正することができる。ある実施形態によれば、回路２０２は、第２の一連の画像４０４にホワイトバランス動作を適用して一連のホワイトバランス画像を生成するように構成することができる。その後、回路２０２は、一連のホワイトバランス画像から鏡面情報（ｓｐｅｃｕｌａｒ ｉｎｆｏｒｍａｔｉｏｎ）を除去することによって（第１の無鏡面画像（ｓｐｅｃｕｌａｒ－ｌｅｓｓ ｉｍａｇｅ）５１４Ａ及び第２の無鏡面画像５１４Ｂなどの）一連の無鏡面画像を取得することができる。鏡面情報を除去することで、一連のホワイトバランス画像内の人物３１０の顔３１２からハイライトを除去することができる。鏡面情報は、一連のホワイトバランス画像の各画像内の色情報を赤色－緑色－青色（ＲＧＢ）空間からＳＵＶ色空間に変換することに基づいて除去することができる。ＲＧＢ空間からの色情報は、ＲＧＢ空間のＲＧＢ座標ベクトルの回転によってＳＵＶ色空間に変換することができる。

５１６において、生成された３Ｄ顔メッシュ５１２Ａに基づいて顔３１２のＵＶ座標マップを決定することができる。ある実施形態によれば、回路２０２は、生成された３Ｄ顔メッシュ５１２Ａに基づいて顔３１２のＵＶ座標マップを決定するように構成することができる。顔３１２のＵＶ座標マップは、２Ｄ ＵＶ座標空間上での３Ｄ顔メッシュ５１２Ａの表現であることができる。その後、回路２０２は、決定されたＵＶ座標マップ上に（第１の無鏡面画像５１４Ａ及び第２の無鏡面画像５１４Ｂなどの）一連の無鏡面画像をテクスチャマッピングすることによって、顔３１２の初期テクスチャマップを生成することができる。顔３１２の初期テクスチャマップは、一連の無鏡面画像内の顔３１２の皮膚及び／又はその他の可視部分からのテクスチャ情報及び色情報を含むことができる。初期テクスチャマップはＵＶ座標空間で表すことができ、「Ｕ」及び「Ｖ」はテクスチャ値の２Ｄ座標であることができる。

５１８において、一連の皮膚反射率モデリング動作を実行することができる。本明細書で説明するように、回路２０２は、生成された３Ｄ顔メッシュ５１２Ａ及び第２の一連の画像４０４を使用することによって一連の皮膚反射率モデリング動作を実行することができる。このような動作は、人物３１０の顔３１２の一連のテクスチャマップを推定するために実行することができる。ある実施形態によれば、一連の皮膚反射率モデリング動作は、拡散反射モデリング動作、鏡面分離動作、及び鏡面反射モデリング動作を含むことができる。拡散反射モデリング動作は、拡散法線マップ及び拡散アルベドマップを生成するために実行することができる。鏡面反射分離動作は、鏡面反射情報分離マップを生成するために実行することができる。鏡面反射モデリング動作は、人物３１０の顔３１２の鏡面アルベドマップ、鏡面法線マップ及び粗さマップを生成するために実行することができる。

５２０において、拡散反射モデリング動作を実行することができる。ある実施形態では、回路２０２を、第２の一連の画像４０４に対して拡散反射モデリング動作を実行するように構成することができる。拡散反射モデリング動作は、（５１６で取得された）顔３１２の初期テクスチャマップに基づいて顔３１２の拡散法線マップ５２０Ａを生成するために実行することができる。拡散反射モデリング動作は、初期テクスチャマップ及び生成された拡散法線マップ５２０Ａに基づいて顔３１２の拡散アルベドマップ５２０Ｂを生成するためにさらに実行することができる。拡散アルベドマップ５２０Ｂは、（例えば、５１８において）推定される一連のテクスチャマップのうちの第１のテクスチャマップと呼ぶことができる。

ある実施形態では、拡散法線マップ５２０Ａ及び拡散アルベドマップの生成がランバート光モデルに基づくことができる。ランバート光モデルは、以下の方程式（１）によって表すことができ、

（１）
ここで、ｎは拡散法線であり、ρは拡散アルベドであり、Ｌ_Iは光の方向である。光の方向は、複数の撮像装置３０４の各々の所定の位置及び配向から決定することができる。

５２２において、鏡面分離動作を実行することができる。ある実施形態によれば、回路２０２は、第２の一連の画像４０４から鏡面反射情報を分離するために鏡面分離動作を実行するように構成することができる。鏡面反射情報は、生成された拡散法線マップ５２０Ａ及び生成された拡散アルベドマップ５２０Ｂに基づいて分離することができる。一例として、分離された鏡面反射情報を含むマップ５２２Ａを示す。

５２４において、鏡面反射モデリング動作を実行することができる。ある実施形態によれば、回路２０２は、第２の一連の画像４０４に対して鏡面反射モデリング動作を実行するように構成することができる。鏡面反射モデリング動作は、顔３１２の鏡面法線マップ５２４Ａ、顔３１２の鏡面アルベドマップ５２４Ｂ、及び顔３１２の粗さマップ５２４Ｃを生成するために実行することができる。鏡面法線マップ５２４Ａ、鏡面アルベドマップ５２４Ｂ及び粗さマップ５２４Ｃは、分離された鏡面反射情報（及び第２の一連の画像４０４）に基づいて生成することができる。鏡面法線マップ５２４Ａは、第２の一連の画像４０４内の顔３１２の輝き及びハイライト情報（ｓｈｉｎｅ ａｎｄ ｈｉｇｈｌｉｇｈｔ ｉｎｆｏｒｍａｔｉｏｎ）を含むことができる。鏡面アルベドマップ５２４Ｂは、顔３１２の色情報を含んで人物３１０の顔３１２のハイライト情報及び影情報を含まないことができる。粗さマップ５２４Ｃは、人物３１０の顔３１２の皮膚の粗さを表すことができる。粗さマップ５２４Ｃは、白黒カラーテクスチャ画像として表すことができる。鏡面法線マップ５２４Ａ、鏡面アルベドマップ５２４Ｂ及び粗さマップ５２４Ｃは、（５１６で推定された）一連のテクスチャマップのうちの第２のテクスチャマップと呼ぶことができる。第１のテクスチャマップ及び第２のテクスチャマップは、人物３１０の顔３１２のマイクロジオメトリ皮膚詳細及び皮膚反射率詳細を含むことができる。

ある実施形態では、鏡面法線マップ５２４Ａ、鏡面アルベドマップ５２４Ｂ及び粗さマップ５２４Ｃの生成が、ブリンフォン光モデルに基づくことができる。ブリンフォン光モデルは、以下の方程式（２）によって表すことができ、

（２）
ここで、ｎは鏡面法線であり、ρは鏡面アルベドであり、αは表面粗さに関連する。

５２６において、生成された３Ｄ顔メッシュ５１２Ａをテクスチャ化することができる。ある実施形態によれば、回路２０２は、推定された一連のテクスチャマップに基づいて、生成された３Ｄ顔メッシュ５１２Ａをテクスチャ化するように構成することができる。テクスチャ化は、推定された一連のテクスチャマップのマイクロジオメトリ皮膚詳細及び皮膚反射率詳細を含むテクスチャ情報を生成された３Ｄ顔メッシュ５１２Ａ上にマッピングする動作を含むことができる。ある実施形態によれば、推定された一連のテクスチャマップは、顔３１２の拡散アルベドマップ５２０Ｂ、顔３１２の鏡面法線マップ５２４Ａ、顔３１２の鏡面アルベドマップ５２４Ｂ、及び顔３１２の粗さマップ５２４Ｃを含むことができる。マイクロジオメトリ皮膚詳細情報は、毛穴、隆起、そばかす及びしわなどの様々な皮膚成分のテクスチャ情報を含むことができる。同様に、皮膚反射率詳細は、拡散反射成分、鏡面反射成分、アルベド成分及び粗さ成分の情報を含むことができる。テクスチャ化された３Ｄ顔モデル５２６Ａは、マイクロジオメトリ皮膚詳細及び皮膚反射率詳細の両方を含むことができる。従って、テクスチャ化された３Ｄ顔モデル５２６Ａは、人物３１０の顔３１２の高忠実度３Ｄモデルとして取り扱うことができる。

ブロック図５００については、５０２、５０４、５０６、５０８、５１０、５１２、５１４、５１６、５１８、５２０、５２２、５２４及び５２６などの離散的動作として示しているが、本開示はこのように限定されるものではない。従って、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、特定の実装に応じてこのような離散的動作をさらなる動作にさらに分割し、より少ない動作に結合し、又は削除することもできる。

図６は、本開示の実施形態による、３Ｄマイクロジオメトリ及び反射率モデリングのための例示的な方法を示すフローチャートである。
図６の説明は、図１、図２、図３、図４Ａ、図４Ｂ、図５Ａ、図５Ｂ、図５Ｃ及び図５Ｄの要素に関連して行う。図６にはフローチャート６００を示す。フローチャート６００に示す方法は、システム１０２又は回路２０２などのいずれかのコンピュータシステムによって実行することができる。方法は、６０２から開始して６０４に進むことができる。

６０４において、顔３１２の第１の一連の画像４０２及び顔３１２の第２の一連の画像４０４を含むことができる複数の画像１１２を受け取ることができる。ある実施形態によれば、回路２０２は、人物３１０の顔３１２の第１の一連の画像４０２及び顔３１２の第２の一連の画像４０４を含むことができる複数の画像１１２を受け取るように構成することができる。第１の一連の画像４０２の顔３１２は無指向性照明に曝されたものであることができ、第２の一連の画像４０４の顔３１２は指向性照明に曝されたものであることができる。複数の画像１１２を受け取る詳細については、例えば図３にさらに示している。

６０６において、受け取られた複数の画像１１２に基づいて３Ｄ顔メッシュ５１２Ａを生成することができる。ある実施形態によれば、回路２０２は、受け取った複数の画像１１２に基づいて３Ｄ顔メッシュ５１２Ａを生成するように構成することができる。３Ｄ顔メッシュ５１２Ａの生成の詳細については、例えば図５Ａにさらに示している。

６０８において、生成された３Ｄ顔メッシュ５１２Ａ及び第２の一連の画像４０４を使用することによって一連の皮膚反射率モデリング動作を実行して顔３１２の一連のテクスチャマップを推定することができる。ある実施形態によれば、回路２０２は、生成された３Ｄ顔メッシュ５１２Ａ及び第２の一連の画像４０４を使用することによって一連の皮膚反射率モデリング動作を実行して顔３１２の一連のテクスチャマップを推定するように構成することができる。一連の皮膚反射率モデリング動作の実行の詳細については、例えば図５Ｃ及び図５Ｄに示している。

６１０において、推定された一連のテクスチャマップに基づいて、生成された３Ｄ顔メッシュ５１２Ａをテクスチャ化することができる。ある実施形態によれば、回路２０２は、推定された一連のテクスチャマップに基づいて、生成された３Ｄ顔メッシュ５１２Ａをテクスチャ化するように構成することができる。テクスチャ化は、推定された一連のテクスチャマップのマイクロジオメトリ皮膚詳細及び皮膚反射率詳細を含むテクスチャ情報を生成された３Ｄ顔メッシュ５１２Ａ上にマッピングする動作を含むことができる。３Ｄ顔メッシュ５１２Ａのテクスチャ化の詳細については、例えば図５Ｄにさらに示している。制御は終了に進むことができる。

フローチャート６００については、６０２、６０４、６０６、６０８及び６１０などの離散的動作として示しているが、本開示はこのように限定されるものではない。従って、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、特定の実装に応じてこのような離散的動作をさらなる動作にさらに分割し、より少ない動作に結合し、又は削除することもできる。

本開示の様々な実施形態は、機械及び／又はコンピュータが（システム１０２などの）システムを動作させるために実行できる命令を記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体を提供することができる。命令は、機械及び／又はコンピュータに、（顔１１０などの）顔の（第１の一連の画像１１４などの）第１の一連の画像及び（第２の一連の画像１１６などの）顔１１０の第２の一連の画像を含むことができる（複数の画像１１２などの）複数の画像を受け取ることを含む動作を実行させることができる。第１の一連の画像１１４の顔１１０は無指向性照明に曝されたものであることができ、第２の一連の画像１１６の顔１１０は指向性照明に曝されたものであることができる。動作は、受け取った複数の画像１１２に基づいて（３Ｄ顔メッシュ１１８などの）３次元（３Ｄ）顔メッシュを生成することをさらに含むことができる。動作は、生成された３Ｄ顔メッシュ１１８及び第２の一連の画像１１６を使用することによって一連の皮膚反射率モデリング動作を実行して顔１１０の一連のテクスチャマップを推定することをさらに含むことができる。動作は、推定された一連のテクスチャマップに基づいて、生成された３Ｄ顔メッシュ１１８をテクスチャ化することをさらに含むことができる。テクスチャ化は、推定された一連のテクスチャマップのマイクロジオメトリ皮膚詳細及び皮膚反射率詳細を含むテクスチャ情報を生成された３Ｄ顔メッシュ１１８上にマッピングする動作を含むことができる。

本開示の例示的な態様は、（回路２０２などの）回路を含む（図１のシステム１０２などの）システムを提供することができる。回路２０２は、（顔１１０などの）顔の（第１の一連の画像１１４などの）第１の一連の画像及び顔１１０の（第２の一連の画像１１６などの）第２の一連の画像を含むことができる（複数の画像１１２などの）複数の画像を受け取るように構成することができる。第１の一連の画像１１４の顔１１０は無指向性照明に曝されたものであることができ、第２の一連の画像１１６の顔１１０は指向性照明に曝されたものであることができる。回路２０２は、受け取った複数の画像１１２に基づいて（３Ｄ顔メッシュ１１８などの）３次元（３Ｄ）顔メッシュを生成するようにさらに構成することができる。回路２０２は、生成された３Ｄ顔メッシュ１１８と第２の一連の画像１１６とを使用することによって一連の皮膚反射率モデリング動作を実行して顔１１０の一連のテクスチャマップを推定するようにさらに構成することができる。回路２０２は、推定された一連のテクスチャマップに基づいて、生成された３Ｄ顔メッシュ１１８をテクスチャ化するようにさらに構成することができる。テクスチャ化は、推定された一連のテクスチャマップのマイクロジオメトリ皮膚詳細及び皮膚反射率詳細を含むテクスチャ情報を生成された３Ｄ顔メッシュ１１８上にマッピングする動作を含むことができる。

ある実施形態によれば、システム１０２は、（３Ｄ構造３０２などの）３Ｄ構造上の対応する第１の複数の位置に配置された（複数の撮像装置３０４などの）複数の撮像装置をさらに含むことができる。回路２０２は、複数の画像１１２を対応する複数の視点から取り込むように複数の撮像装置３０４を制御するようさらに構成することができる。

ある実施形態によれば、システム１０２は、３Ｄ構造３０２上の対応する第２の複数の位置に配置された（一連のフラッシュ装置３０６などの）一連のフラッシュ装置をさらに含むことができる。回路２０２は、複数の撮像装置３０４が第１の一連の画像４０２を取り込んでいる間に一連のフラッシュ装置３０６を同時に作動させるようにさらに構成することができる。回路２０２は、複数の撮像装置３０４が第２の一連の画像４０４を取り込んでいる間に一連のフラッシュ装置３０６を順次パターンで作動させることができる。

ある実施形態によれば、指向性照明の光強度は、無指向性照明の光強度よりも高いことができる。

ある実施形態によれば、回路２０２は、受け取った第１の一連の画像４０２に基づいて（第１の３Ｄ顔メッシュ５０４Ａなどの）第１の３Ｄ顔メッシュを生成するようにさらに構成することができる。回路２０２は、生成された第１の３Ｄ顔メッシュ５０４Ａに一連のモデルクリーンアップ動作を適用して、（精緻化された第１の３Ｄ顔メッシュ５０６Ａなどの）精緻化された第１の３Ｄ顔メッシュを取得することができる。回路２０２は、受け取った第２の一連の画像４０４に基づいて（第２の３Ｄ顔メッシュ５０８Ａなどの）第２の３Ｄ顔メッシュをさらに生成することができる。回路２０２は、精緻化された第１の３Ｄ顔メッシュ５０６Ａと生成された第２の３Ｄ顔メッシュ５０８Ａとの間のアフィン変換を推定することができる。回路２０２は、精緻化された第１の３Ｄ顔メッシュ５０６Ａに推定されたアフィン変換をさらに適用して３Ｄ顔メッシュ５１２Ａを生成することができる。生成された３Ｄ顔メッシュ５１２Ａは、生成された第２の３Ｄ顔メッシュ５０８Ａに剛体位置合わせすることができる。

ある実施形態によれば、回路２０２は、受け取った第１の一連の画像４０２内の顔３１２上の（一連の符号化ターゲット３１４などの）一連の符号化ターゲットの第１の位置を決定するようにさらに構成することができる。回路２０２は、受け取った第２の一連の画像４０４内の顔３１２上の一連の符号化ターゲット３１４の第２の位置を決定することができる。回路２０２は、決定された第１の位置と決定された第２の位置との比較に基づいてアフィン変換をさらに推定することができる。

ある実施形態によれば、回路２０２は、第２の一連の画像４０４にホワイトバランス動作を適用して一連のホワイトバランス画像を生成するようにさらに構成することができる。回路２０２は、一連のホワイトバランス画像から鏡面情報を除去することによって（第１の無鏡面画像５１４Ａ及び第２の無鏡面画像５１４Ｂなどの）一連の無鏡面画像を取得することができる。鏡面情報は、受け取った第２の一連の画像４０４内の各画像内の色情報を赤色－緑色－青色（ＲＧＢ）空間からＳＵＶ色空間に変換することに基づいて除去することができる。

ある実施形態によれば、回路２０２は、生成された３Ｄ顔メッシュ５１２Ａに基づいて顔３１２のＵＶ座標マップを決定するようにさらに構成することができる。回路２０２は、決定されたＵＶ座標マップ上に一連の無鏡面画像をテクスチャマッピングすることによって顔３１２の初期テクスチャマップをさらに生成することができる。

ある実施形態によれば、一連の皮膚反射率モデリング動作は、拡散反射モデリング動作、鏡面分離動作、及び鏡面反射モデリング動作を含むことができる。

ある実施形態によれば、回路２０２は、初期テクスチャマップに基づいて顔３１２の（拡散法線マップ５２０Ａなどの）拡散法線マップを生成するために、拡散反射モデリング動作を実行するようにさらに構成することができる。回路２０２は、初期テクスチャマップ及び生成された拡散法線マップ５２０Ａに基づいて顔３１２の（拡散アルベドマップ５２０Ｂなどの）拡散アルベドマップをさらに生成することができる。拡散アルベドマップ５２０Ｂは、推定された一連のテクスチャマップのうちの第１のテクスチャマップとすることができる。

ある実施形態によれば、回路２０２は、生成された拡散法線マップ５２０Ａ及び生成された拡散アルベドマップ５２０Ｂに基づいて第２の一連の画像４０４から鏡面反射情報を分離するために、鏡面分離動作を実行するようにさらに構成することができる。

ある実施形態によれば、回路２０２は、分離された鏡面反射情報に基づいて顔３１２の（鏡面アルベドマップ５２４Ｂなどの）鏡面アルベドマップ、顔３１２の（鏡面法線マップ５２４Ａなどの）鏡面法線マップ、及び顔３１２の（粗さマップ５２４Ｃなどの）粗さマップを生成するために、鏡面反射モデリング動作を実行するようにさらに構成することができる。鏡面アルベドマップ５２４Ｂ、鏡面法線マップ５２４Ａ及び粗さマップ５２４Ｃは、推定された一連のテクスチャマップのうちの第２のテクスチャマップとすることができる。

ある実施形態によれば、推定された一連のテクスチャマップは、顔３１２の拡散アルベドマップ５２０Ｂ、顔３１２の鏡面アルベドマップ５２４Ｂ、顔３１２の鏡面法線マップ５２４Ａ、及び顔３１２の粗さマップ５２４Ｃを含むことができる。

本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアとの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムとは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、あらゆる言語、コード又は表記法におけるあらゆる表現を意味する。

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。

６００ フローチャート
６０２ 開始
６０４ 顔の第１の一連の画像及び顔の第２の一連の画像を含む複数の画像を受け取り、第１の一連の画像の顔は無指向性照明に曝されたものであり、第２の一連の画像の顔は指向性照明に曝されたものである
６０６ 受け取った複数の画像に基づいて３次元（３Ｄ）顔メッシュを生成する
６０８ 生成された３Ｄ顔メッシュ及び第２の一連の画像を使用することによって一連の皮膚反射率モデリング動作を実行して顔の一連のテクスチャマップを推定する
６１０ 推定された一連のテクスチャマップに基づいて、生成された３Ｄ顔メッシュをテクスチャ化し、テクスチャ化は、推定された一連のテクスチャマップのマイクロジオメトリ皮膚詳細及び皮膚反射率詳細を含むテクスチャ情報を生成された３Ｄ顔メッシュ上にマッピングする動作を含む

Claims (16)

1. システムであって、
   無指向性照明に曝された顔の第１の一連の画像と、指向性照明に曝された顔の第２の一連の画像とを含む複数の画像を受け取り、
   前記受け取った複数の画像に基づいて３次元（３Ｄ）顔メッシュを生成し、
   前記生成された３Ｄ顔メッシュ及び前記第２の一連の画像を使用することによって一連の皮膚反射率モデリング動作を実行して前記顔の一連のテクスチャマップを推定し、
   前記推定された一連のテクスチャマップに基づいて、前記生成された３Ｄ顔メッシュをテクスチャ化する、
   ように構成された回路を備え、
   前記テクスチャ化は、前記推定された一連のテクスチャマップのマイクロジオメトリ皮膚詳細及び皮膚反射率詳細を含むテクスチャ情報を前記生成された３Ｄ顔メッシュ上にマッピングする動作を含み、
   ３Ｄ構造上の対応する第１の複数の位置に配置された複数の撮像装置をさらに備え、前記回路は、前記複数の画像を対応する複数の視点から取り込むように前記複数の撮像装置を制御するよう構成され、
   前記３Ｄ構造上の対応する第２の複数の位置に配置された一連のフラッシュ装置をさらに備え、前記回路は、
   前記複数の撮像装置が前記第１の一連の画像を取り込んでいる間に前記一連のフラッシュ装置を同時に作動させ、
   前記複数の撮像装置が前記第２の一連の画像を取り込んでいる間に前記一連のフラッシュ装置を順次パターンで作動させる、
   ようにさらに構成される、
   ことを特徴とするシステム。
2. 前記指向性照明の光強度は、前記無指向性照明の光強度よりも高い、
   請求項１に記載のシステム。
3. 前記回路は、
   前記受け取った第１の一連の画像に基づいて第１の３Ｄ顔メッシュを生成し、
   前記生成された第１の３Ｄ顔メッシュに一連のモデルクリーンアップ動作を適用して精緻化された第１の３Ｄ顔メッシュを取得し、
   前記受け取った第２の一連の画像に基づいて第２の３Ｄ顔メッシュを生成し、
   前記精緻化された第１の３Ｄ顔メッシュと前記生成された第２の３Ｄ顔メッシュとの間のアフィン変換を推定し、
   前記精緻化された第１の３Ｄ顔メッシュに前記推定されたアフィン変換を適用して前記３Ｄ顔メッシュを生成する、
   ようにさらに構成され、
   前記生成された３Ｄ顔メッシュは、前記生成された第２の３Ｄ顔メッシュに剛体位置合わせされる、
   請求項１に記載のシステム。
4. 前記回路は、
   前記受け取った第１の一連の画像内の前記顔上の一連の符号化ターゲットの第１の位置を決定し、
   前記受け取った第２の一連の画像内の前記顔上の前記一連の符号化ターゲットの第２の位置を決定し、
   前記決定された第１の位置と前記決定された第２の位置との比較に基づいて前記アフィン変換を推定する、
   ようにさらに構成される、請求項３に記載のシステム。
5. 前記回路は、
   前記第２の一連の画像にホワイトバランス動作を適用して一連のホワイトバランス画像を生成し、
   前記一連のホワイトバランス画像から鏡面情報を除去することによって一連の無鏡面画像を取得する、
   ようにさらに構成され、
   前記鏡面情報は、前記受け取った第２の一連の画像の各画像内の色情報を赤色－緑色－青色（ＲＧＢ）空間から別の色空間に変換することに基づいて除去される、
   請求項１に記載のシステム。
6. 前記回路は、
   前記生成された３Ｄ顔メッシュに基づいて前記顔のＵＶ座標マップを決定し、
   前記決定されたＵＶ座標マップ上に前記一連の無鏡面画像をテクスチャマッピングすることによって前記顔の初期テクスチャマップを生成する、
   ようにさらに構成される、請求項５に記載のシステム。
7. 前記一連の皮膚反射率モデリング動作は、拡散反射モデリング動作、鏡面分離動作、及び鏡面反射モデリング動作を含む、
   請求項６に記載のシステム。
8. 前記回路は、
   前記初期テクスチャマップに基づいて前記顔の拡散法線マップを生成し、
   前記初期テクスチャマップ及び前記生成された拡散法線マップに基づいて前記顔の拡散アルベドマップを生成する、
   ために前記拡散反射モデリング動作を実行するようにさらに構成され、
   前記拡散アルベドマップは、前記推定された一連のテクスチャマップのうちの第１のテクスチャマップである、
   請求項７に記載のシステム。
9. 前記回路は、前記生成された拡散法線マップ及び前記生成された拡散アルベドマップに基づいて前記第２の一連の画像から鏡面反射情報を分離するために前記鏡面分離動作を実行するように構成される、
   請求項８に記載のシステム。
10. 前記回路は、前記分離された鏡面反射情報に基づいて前記顔の鏡面アルベドマップ、前記顔の鏡面法線マップ及び前記顔の粗さマップを生成するために前記鏡面反射モデリング動作を実行するように構成され、
    前記鏡面アルベドマップ、前記鏡面法線マップ及び前記粗さマップは、前記推定された一連のテクスチャマップのうちの第２のテクスチャマップである、
    請求項９に記載の方法。
11. 前記推定された一連のテクスチャマップは、前記顔の拡散アルベドマップ、前記顔の鏡面アルベドマップ、前記顔の鏡面法線マップ、及び前記顔の粗さマップを含む、
    請求項１に記載のシステム。
12. 無指向性照明に曝された顔の第１の一連の画像と、指向性照明に曝された顔の第２の一連の画像とを含む複数の画像を受け取ることと、
    前記受け取った複数の画像に基づいて３次元（３Ｄ）顔メッシュを生成することと、
    前記生成された３Ｄ顔メッシュ及び前記第２の一連の画像を使用することによって一連の皮膚反射率モデリング動作を実行して前記顔の一連のテクスチャマップを推定することと、
    前記推定された一連のテクスチャマップに基づいて、前記生成された３Ｄ顔メッシュをテクスチャ化することと、
    を含み、
    前記テクスチャ化は、前記推定された一連のテクスチャマップのマイクロジオメトリ皮膚詳細及び皮膚反射率詳細を含むテクスチャ情報を前記生成された３Ｄ顔メッシュ上にマッピングする動作を含み、
    ３Ｄ構造上の対応する第１の複数の位置に配置された複数の撮像装置を、前記複数の画像を対応する複数の視点から取り込むように制御することをさらに含み、
    前記複数の撮像装置が前記第１の一連の画像を取り込んでいる間に、前記３Ｄ構造上の対応する第１の複数の位置に配置された一連のフラッシュ装置を同時に作動させることと、
    前記複数の撮像装置が前記第２の一連の画像を取り込んでいる間に前記一連のフラッシュ装置を順次パターンで作動させることと、
    をさらに含む、
    ことを特徴とする方法。
13. 前記受け取った第１の一連の画像に基づいて第１の３Ｄ顔メッシュを生成することと、
    前記生成された第１の３Ｄ顔メッシュに一連のモデルクリーンアップ動作を適用して精緻化された第１の３Ｄ顔メッシュを取得することと、
    前記受け取った第２の一連の画像に基づいて第２の３Ｄ顔メッシュを生成することと、
    前記精緻化された第１の３Ｄ顔メッシュと前記生成された第２の３Ｄ顔メッシュとの間のアフィン変換を推定することと、
    前記精緻化された第１の３Ｄ顔メッシュに前記推定されたアフィン変換を適用して前記３Ｄ顔メッシュを生成することと、
    をさらに含み、
    前記生成された３Ｄ顔メッシュは、前記生成された第２の３Ｄ顔メッシュに剛体位置合わせされる、
    請求項１２に記載の方法。
14. 前記受け取った第１の一連の画像内の前記顔上の一連の符号化ターゲットの第１の位置を決定することと、
    前記受け取った第２の一連の画像内の前記顔上の前記一連の符号化ターゲットの第２の位置を決定することと、
    前記決定された第１の位置と前記決定された第２の位置との比較に基づいて前記アフィン変換を推定することと、
    をさらに含む、請求項１３に記載の方法。
15. 前記推定された一連のテクスチャマップは、前記顔の拡散アルベドマップ、前記顔の鏡面アルベドマップ、前記顔の鏡面法線マップ、及び前記顔の粗さマップを含む、
    請求項１２に記載の方法。
16. コンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、システムによって実行された時に、
    無指向性照明に曝された顔の第１の一連の画像と、指向性照明に曝された顔の第２の一連の画像とを含む複数の画像を受け取ることと、
    前記受け取った複数の画像に基づいて３次元（３Ｄ）顔メッシュを生成することと、
    前記生成された３Ｄ顔メッシュ及び前記第２の一連の画像を使用することによって一連の皮膚反射率モデリング動作を実行して前記顔の一連のテクスチャマップを推定することと、
    前記推定された一連のテクスチャマップに基づいて、前記生成された３Ｄ顔メッシュをテクスチャ化することと、
    を含む動作を前記システムに実行させ、
    前記テクスチャ化は、前記推定された一連のテクスチャマップのマイクロジオメトリ皮膚詳細及び皮膚反射率詳細を含むテクスチャ情報を前記生成された３Ｄ顔メッシュ上にマッピングする動作を含み、
    ３Ｄ構造上の対応する第１の複数の位置に配置された複数の撮像装置を、前記複数の画像を対応する複数の視点から取り込むように制御することをさらに含む動作を前記システムに実行させ、
    前記複数の撮像装置が前記第１の一連の画像を取り込んでいる間に、前記３Ｄ構造上の対応する第１の複数の位置に配置された一連のフラッシュ装置を同時に作動させることと、
    前記複数の撮像装置が前記第２の一連の画像を取り込んでいる間に前記一連のフラッシュ装置を順次パターンで作動させることと、
    をさらに含む動作を前記システムに実行させる、
    ことを特徴とする非一時的コンピュータ可読媒体。

Images