JP7633730B2 - ３次元仮想モデルの生成のためのテキスチャーリング方法及びそのためのコンピューティング装置 - Google Patents

Description

本出願は、室内空間に対する３次元仮想モデルの生成のためのテキスチャーリング方法及びそのためのコンピューティング装置に関する。

近頃では、実際の空間に対応するオンライン上の仮想空間の提供を受けることにより、ユーザーが自ら実際の空間に訪問せずともあたかも実際の空間にいるかのような体験をすることが可能な仮想空間の実現技術の開発への取り組みが盛んに進められている。このような現実の空間に基づく仮想技術は、デジタルツインまたはメタバース（ｍｅｔａｖｅｒｓｅ）の実現のための技術であって、多種多様な開発が行われている。

このような仮想空間を実現するためには、実現しようとする実際の空間を対象として撮影された平面画像を取得し、これに基づいて立体的な仮想画像、すなわち、３次元仮想モデルを生成して仮想空間を提供する過程が必要である。

このような３次元仮想モデルは、室内空間の内部の複数の地点から撮影されたデータに基づいて生成される。このような場合、３次元仮想モデルを構成するために、室内空間の複数の地点から３６０°にて取得された色相及び距離データを収集し、これに基づいて３次元仮想モデルを生成する。

このような３次元仮想モデルは、室内空間に対する撮影に基づいて生成されることから、撮影に際してカメラの死角地域に対しては画像データを有することができないため穴（ホール）が生じてしまうという問題がある。

本出願の一つの技術的な側面は、上述した従来の技術の問題を解消するために案出されたものであって、本出願に開示される一実施形態によれば、撮影に際してカメラの死角地域によって生じるホールフェイスを効果的に埋めることを目的とする。

本出願に開示される一実施形態によれば、室内の複数の地点において生成された複数枚の画像のうちから３次元モデルのフェイスに適した画像を効果的に選択することを目的とする。

本出願に開示される一実施形態によれば、室内の複数の他の地点の間の異なる撮影条件によって生じる色ムラをより一層正確に補償することを目的とする。

本出願の課題は、上述した課題に何ら制限されるものではなく、言及されていない他の課題は、下記の記載から当業者にとって明らかに理解できる筈である。

本出願の一つの技術的な側面は、３次元仮想モデルの生成のためのテキスチャーリング方法を提案する。前記３次元仮想モデルの生成のためのテキスチャーリング方法は、室内空間の複数の撮影地点においてそれぞれ生成される複数のデータセット－前記データセットは、色相画像及び深度画像を含む－に基づいて３次元仮想モデルを生成するコンピューティング装置において行うことが可能な方法であって、前記室内空間の複数の撮影地点においてそれぞれ生成された複数のデータセットに基づいて３次元メッシュモデルを生成するステップと、前記３次元メッシュモデルに含まれている複数のフェイスのそれぞれに対して、フェイスと色相画像との間の連関性に基づいて前記３次元メッシュモデルに含まれている前記複数のフェイスのそれぞれに対してテキスチャーリングを行うステップと、前記連関性が設定されないため穴（Ｈｏｌｅ）として示されるホールフェイスを識別するステップと、前記ホールフェイスと関連付けられた複数の連関バーテックスを確認し、確認された複数の連関バーテックスの色相に基づいて前記ホールフェイスの色相を設定するステップと、を含んでいてもよい。

本出願の他の一つの技術的な側面は、コンピューティング装置を提案する。前記コンピューティング装置は、一つ以上のインストラクションを記憶するメモリー及び前記メモリーに記憶された前記一つ以上のインストラクションを実行する少なくとも一つのプロセッサーを備え、前記少なくとも一つのプロセッサーは、前記一つ以上のインストラクションを実行することにより、室内空間の複数の撮影地点においてそれぞれ生成される複数のデータセット－前記データセットは、色相画像及び深度画像を含む－を用意し、前記室内空間の複数の撮影地点においてそれぞれ生成された複数のデータセットに基づいて３次元メッシュモデルを生成し、前記３次元メッシュモデルに含まれている複数のフェイスのそれぞれに対して、フェイスと色相画像との間の連関性に基づいて前記３次元メッシュモデルに含まれている前記複数のフェイスのそれぞれに対してテキスチャーリングを行い、前記連関性が設定されないため穴（Ｈｏｌｅ）として示されるホールフェイスを識別し、前記ホールフェイスと関連付けられた複数の連関バーテックスを確認し、確認された複数の連関バーテックスの色相に基づいて前記ホールフェイスの色相を設定してもよい。

本出願のさらに他の一つの技術的な側面は、記憶媒体を提案する。前記記憶媒体は、コンピューターにて読み取り可能なインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を記憶している記憶媒体である。前記インストラクションは、コンピューティング装置により実行されるとき、前記コンピューティング装置をして、室内空間の複数の撮影地点においてそれぞれ生成される複数のデータセット－前記データセットは、色相画像及び深度画像を含む－を用意する動作と、前記室内空間の複数の撮影地点においてそれぞれ生成された複数のデータセットに基づいて３次元メッシュモデルを生成する動作と、前記３次元メッシュモデルに含まれている複数のフェイスのそれぞれに対して、フェイスと色相画像との間の連関性に基づいて前記３次元メッシュモデルに含まれている前記複数のフェイスのそれぞれに対してテキスチャーリングを行う動作と、前記連関性が設定されないため穴（Ｈｏｌｅ）として示されるホールフェイスを識別する動作と、前記ホールフェイスと関連付けられた複数の連関バーテックスを確認し、確認された複数の連関バーテックスの色相に基づいて前記ホールフェイスの色相を設定する動作と、を行わしめてもよい。

上記の課題の解決手段は、本出願の特徴をいずれも列挙したものではない。本出願の課題の解決のための多種多様な手段は、以下の詳細な説明の欄の具体的な実施形態を参照してより一層詳しく理解することができる筈である。

本出願によれば、下記のような効果が一つもしくはそれ以上得られる。

本出願に開示される一実施形態によれば、ポイントクラウドのポイントの色相を用いてホールフェイスを埋めることにより、ホールフェイスを効率よいリソースにて正確に埋めることができるという効果がある。

本出願に開示される一実施形態によれば、３次元モデルのフェイスに適した画像を効果的に選択することにより、室内において互いに離れている複数の地点から撮影される画像に基づく３次元生成環境下でもより一層正確なテキスチャーリングを提供することができるという効果がある。

本出願に開示される一実施形態によれば、室内の複数の異なる地点の間の異なる撮影条件によって生じる色ムラを正確に補償して、仮想の室内空間の各面に対して異質感を極力抑え、実際の空間との類似度がさらに高い仮想空間のテキスチャーを提供することができるという効果がある。

本出願の効果は上述した効果に何ら制限されるものではなく、言及されていない他の効果は特許請求の記載から当業者にとって明確に理解できるものであろう。

本出願に開示される一実施形態に係る３次元仮想モデルの生成のためのテキスチャーリング方法を提供するシステムを説明するための一つの例示図である。 本出願に開示される一実施形態に係る３次元仮想モデルの生成のためのテキスチャーリング方法を説明する手順図である。 本出願に開示される一実施形態に係る３次元仮想モデルの生成のためのテキスチャーリング方法を説明する手順図である。 本出願に開示される一実施形態に係る色相画像の取得例を説明する図である。 本出願に開示される一実施形態に係る色相画像の取得例を説明する図である。 本出願に開示される一実施形態に係る色相画像の取得例を説明する図である。 本出願に開示される一実施形態に係る色相画像の取得例を説明する図である。 本出願に開示される一実施形態に係る３次元仮想モデルの生成のための色相画像の選定方法を説明する手順図である。 本出願に開示される一実施形態に係る色相画像の選定例を説明する図である。 本出願に開示される一実施形態に係る色相画像の選定例を説明する図である。 本出願に開示される一実施形態に係る色相画像の選定例を説明する図である。 本出願に開示される一実施形態に係る色相画像の選定例を説明する図である。 本出願に開示される一実施形態に係る３次元仮想モデルの生成のためのアンシーンフェイスの設定方法を説明する手順図である。 本出願に開示される一実施形態に係るアンシーンフェイスの設定例を説明する図である。 本出願に開示される一実施形態に係るアンシーンフェイスの設定例を説明する図である。 本出願に開示される一実施形態に係る３次元仮想モデルの生成のための色相の補正方法を説明する手順図である。 本出願に開示される一実施形態に係る色相の補正例を説明する図である。 本出願に開示される一実施形態に係る色相の補正例を説明する図である。 本出願に開示される一実施形態に係る３次元仮想モデルの生成のためのアンシーン領域のテキスチャーリング方法を説明する手順図である。 本出願に開示される一実施形態に係るアンシーン領域のテキスチャーリング例を説明する図である。 本出願に開示される一実施形態に係るコンピューティング装置を説明するブロック構成図である。

以下、添付図面に基づいて、本出願の好適な実施形態について説明する。

しかしながら、このような実施形態は本発明の技術的思想をいずれも代弁するものではないため、この開示の実施形態の多種多様な変更（ｍｏｄｉｆｉｃａｔｉｏｎｓ）、均等物（ｅｑｕｉｖａｌｅｎｔｓ）、及び／又は代替物（ａｌｔｅｒｎａｔｉｖｅｓ）を含むものと理解されるべきである。

この開示を説明するに当たって、関連する公知の機能もしくは構成についての具体的な説明がこの開示の要旨を余計に曖昧にする虞があると認められる場合、その詳細な説明は省略する。この開示において用いた用語は、単に特定の実施形態を説明するために用いられたものであり、本発明の権利範囲を限定しようとする意図はない。単数の表現は、文脈からみて明らかに他の意味を有さない限り、複数の言い回しを含む。

この開示において、「有する」、「有していてもよい」、「含む」、「含んでいてもよい」、「備える」、「備えていてもよい」などの言い回しは、当該特徴（例えば、数字、機能、動作、もしくは部品などの構成要素）の存在を示し、さらなる特徴の存在を排除しない。

図面の説明と関連して、類似のもしくは関連する構成要素に対しては類似の参照符号が付されることができる。アイテムに対応する名詞の単数型は、本明細書中で特に指摘したり、明らかに文脈と矛盾したりしない限り、前記アイテムの一つ又は複数を含むことができる。本出願において、「Ａ又はＢ」、「Ａ及びＢのうちの少なくとも一方」、「Ａ又はＢのうちの少なくとも一方」、「Ａ、Ｂ又はＣ」、「Ａ、Ｂ及びＣのうちの少なくとも一つ」及び「Ａ、Ｂ、又はＣのうちの少なくとも一つ」のような語句のそれぞれは、それらの語句のうちの相当する語句に一緒に書き並べられた項目のうちのいずれか一つ、又はそれらのあらゆる可能な組み合わせを網羅することができる。

「第１の」、「第２の」、又は「第１番目の」、「第２番目の」などの言い回しは、単に当該構成要素を他の構成要素と互いに区別するために用いられるものに過ぎず、それらの言い回しにより当該構成要素の他の側面（例えば、重要性又は順番または順序）などが限定されることはない。

ある（例えば、第１の）構成要素が他の（例えば、第２の）構成要素に、「機能的に」又は「通信的に」という用語とともに、又はこれらの用語なしに、「結合された」とか、「接続された」とか、「連結された」とか、と言及された場合、それは、前記ある構成要素が前記他の構成要素に直接的に、又は第３の構成要素を挟んで結合、接続又は連結されることができるということを意味する。

この開示において用いられた言い回しの「～するように構成された（又は、設定された）（ｃｏｎｆｉｇｕｒｅｄ ｔｏ）」は、場面や状況に応じて、例えば、「～に適した（ｓｕｉｔａｂｌｅ ｆｏｒ）」、「～する能力を有する（ｈａｖｉｎｇ ｔｈｅ ｃａｐａｃｉｔｙ ｔｏ）」、「～するように設計された（ｄｅｓｉｇｎｅｄ ｔｏ）」、「～するように変更された（ａｄａｐｔｅｄ ｔｏ）」、「～するように作られた（ｍａｄｅ ｔｏ）」、又は「～をすることができる（ｃａｐａｂｌｅ ｏｆ）」に書き替えられてもよい。言い回しの「～するように構成された（又は、設定された）」は、必ずしもハードウェア的に「特別に設計された（ｓｐｅｃｉｆｉｃａｌｌｙ ｄｅｓｉｇｎｅｄ ｔｏ）」もののみを意味するとは限らない。

その代わりに、ある状況では、「～するように構成された装置」という言い回しは、その装置が他の装置又は部品とともに「～することができる」ということを意味することがある。例えば、語句「Ａ、Ｂ、及びＣを行うように構成された（又は、設定された）プロセッサー」は、当該動作を行うための専用プロセッサー（例：埋め込みプロセッサー）、又はメモリー装置に記憶された一つ以上のソフトウェアプログラムを実行することにより、当該動作を行うことが可能な汎用プロセッサー（ｇｅｎｅｒｉｃ－ｐｕｒｐｏｓｅ ｐｒｏｃｅｓｓｏｒ）（例：ＣＰＵ又はアプリケーションプロセッサ―）を意味することがある。

実施形態において、「モジュール」もしくは「部」は、少なくとも一つの機能や動作を行い、ハードウェア又はソフトウェアにより実現されてもよいし、ハードウェアとソフトウェアとの組合せにより具現されてもよい。また、複数の「モジュール」もしくは複数の「部」は、特定のハードウェアにより実現される必要がある「モジュール」もしくは「部」を除いては、少なくとも一つのモジュールとして一体化されて少なくとも一つのプロセッサーにより実現されてもよい。

本出願の多種多様な実施形態は、機器（ｍａｃｈｉｎｅ）－例えば、ユーザー端末５００やコンピューティング装置３００－により読み取り可能な記憶媒体（ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）に記憶された一つ以上のコマンドを含むソフトウェア（例えば、プログラム）として実現されてもよい。例えば、プロセッサー３３０は、記憶媒体から記憶された一つ以上のコマンドのうちの少なくとも一つのコマンドを呼び出し、それを実行することができる。これは、装置が前記呼び出された少なくとも一つのコマンドに従って少なくとも一つの機能を行うように運営されることを可能にする。前記一つ以上のコマンドは、コンパイラーにより生成されたコード又はインタープリーターにより実行可能なコードを含んでいてもよい。機器にて読み取り可能な記憶媒体は、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体の形態で提供されてもよい。ここで、「非一時的」は、記憶媒体が有形の（ｔａｎｇｉｂｌｅ）装置であり、信号（ｓｉｇｎａｌ）（例えば、電磁気波）を含まないということを意味するものに過ぎず、この言い回しは、データが記憶媒体に半永久的に記憶される場合と一時的に記憶される場合とを区別しない。

本出願の実施形態を説明するために多種多様な手順図が開示されているが、これは、各ステップ又は動作の説明のしやすさのためのものであって、必ずしも手順図に描かれている順序に従って各ステップが行われるとは限らない。すなわち、手順図における各ステップは、互いに同時に行われてもよいし、手順図に描かれている順序の通りに行われてもよいし、又は手順図における順序とは逆の順序に従って行われてもよい。

図１は、本出願に開示される一実施形態に係る３次元仮想モデルの生成のためのテキスチャーリング方法を提供するシステムを説明するための一つの例示図である。

３次元仮想モデルの生成のためのテキスチャーリング方法を提供するシステムは、画像取得装置１００と、コンピューティング装置３００、及びユーザー端末５００を備えていてもよい。

画像取得装置１００は、球状の仮想画像を生成するのに用いられる色相画像及び深度マップ（デプスマップ）画像を生成する装置である。

図示の例において、画像取得装置１００は、距離測定装置と、図示の例における深度スキャナーと、カメラと、を備えていてもよい。

カメラは、撮影機能を提供する機器であって、被写領域（撮像領域）に対して色相にて表現される色相画像を生成する。

この出願明細書において、色相画像は、色相により表現される画像をいずれも包括するものであって、特定の表現方式に制限されるものではない。したがって、色相画像は、赤（Ｒｅｄ）、緑（Ｇｒｅｅｎ）、青（Ｂｌｕｅ）により表現されるＲＦＧ画像のみならず、Ｃｙａｎ（シアン）、Ｍａｇｅｎｔａ（マゼンタ）、Ｙｅｌｌｏｗ（イエロー）、Ｋｅｙ Ｐｌａｔｅ（ブラック）により表現されるＣＭＹＫ画像など多種多様な標準に適用可能である。

一例として、カメラは、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、個人用デジタル情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブル撮影デバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、メガネ型ウェアラブル端末であるスマートグラス（ｓｍａｒｔ ｇｌａｓｓ））などが用いられてもよい。

深度スキャナーは、被写空間－すなわち、被撮影領域－に対して深度情報を生成して深度マップ画像を生成することが可能な装置である。

この出願明細書において、深度マップ画像は、被写空間に関する深度情報を含む画像である。例えば、深度マップ画像における各ピクセルは、撮像地点から撮影された被写空間の各地点－各ピクセルに対応する地点－までの距離情報であってもよい。

深度スキャナーは、このような深度マップ画像を生成し、距離の測定のための所定のセンサー、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ（光による検知と測距））センサー、赤外線センサー、超音波センサーなどを備えていてもよい。あるいは、深度スキャナーは、センサーに取って代わって距離情報を測定することが可能なステレオカメラ（ｓｔｅｒｅｏ ｃａｍｅｒａ）、ステレオスコピック（立体視）カメラ（ｓｔｅｒｅｏ ｓｃｏｐｉｃ ｃａｍｅｒａ）、３次元深度カメラ（３Ｄ ｄｅｐｔｈ ｃａｍｅｒａ）などを備えていてもよい。

カメラは、被写空間に対する色相画像を生成し、深度スキャナーは、被写空間に対する深度マップ（Ｄｅｐｔｈ ｍａｐ）画像を生成する。カメラによって生成された色相画像と深度スキャナーによって生成された深度マップ画像は、同一の被写空間に対して同一の条件（例えば、解像度など）を対象として生成されることができ、その結果、互いに１：１にてマッチングできる。

このような色相画像及び深度マップ画像は、３６０°パノラマ画像であってもよい。深度スキャナーとカメラは、実際に存在する室内空間に対して３６０°パノラマ画像の形態、すなわち、それぞれ３６０°深度マップパノラマ画像と３６０°色相パノラマ画像を生成することができ、これをコンピューティング装置３００に与えることができる。あるいは、実施形態に応じて、コンピューティング装置３００が深度スキャナー及びカメラから受信されたデータに基づいて３６０°深度マップパノラマ画像と３６０°色相パノラマ画像を生成してもよい。

深度スキャナーとカメラは、実際に存在する室内空間に対して３６０°パノラミック画像の形態、すなわち、それぞれ３６０°深度マップパノラミック画像と３６０°色相パノラミック画像を生成することができ、これをコンピューティング装置３００に与えることができる。

深度スキャナーは、このような３６０°の撮影が行われた室内の複数の地点のそれぞれに関する距離情報を生成することができる。このような距離情報は、撮影地点を基準とする相対的な距離情報であってもよい。例えば、深度スキャナーは、室内空間に対する平面図を備え、ユーザーの入力に応じて平面図内における最初の開始の室内地点の入力を受けることができる。次いで、深度スキャナーは、画像解析及び／又は移動感知センサー－例えば、３軸加速度センサー及び／又はジャイロセンサーなど－に基づいて相対的な距離移動情報を生成することができる。例えば、開始の室内地点からの相対的な距離移動情報に基づいて第２の室内地点に関する情報を生成し、第２の室内地点からの相対的な距離移動情報に基づいて第３の室内地点に関する情報を生成することができる。あるいは、このような距離情報の生成は、カメラによって行われてもよい。

一実施形態において、深度スキャナーとカメラは、一台の画像取得装置として実現されることが可能である。例えば、画像取得装置１００は、画像の取得のためのカメラと距離の測定のためのＬｉＤＡＲセンサーを備えるスマートフォンであってもよい。実施形態に応じて、このようなスマートフォンが据え置かれてスマートフォンの制御に従いスマートフォンを３６０°回転駆動するクレードル装置とスマートフォンとが一台の画像取得装置として実現されてもよい。

深度スキャナー又はカメラは、撮影の高さに関する情報を記憶してコンピューティング装置３００に与えることができる。このような撮影高さ情報は、コンピューティング装置３００において３次元仮想モデルを生成するのに用いられてもよい。

深度マップ画像と色相画像は、３６０°画像を与えるための好適な形態のパノラマ画像、例えば、正距円筒図法によるパノラマ画像であってもよい。但し、説明のしやすさのために、以下では、これらを特に区別せず、深度マップ画像及び色相画像とまとめて称する。

ユーザー端末５００は、ユーザーがコンピューティング装置３００に接続して室内空間に対応する仮想の３次元モデルを体験することが可能な電子機器であって、例えば、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、個人用デジタル情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ポータブルマルチメディアプレーヤー（ＰＭＰ：ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、パソコン（ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ヘッドマウントディスプレイ（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））などを網羅する。しかしながら、これらの他にも、ユーザー端末５００は、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）に用いられる電子機器を備えていてもよい。

コンピューティング装置３００は、室内の複数の地点においてそれぞれ生成された色相画像と深度マップ画像を用いて、室内空間に対応する３次元仮想空間である３次元仮想モデルを生成することができる。

コンピューティング装置３００は、現実の空間に対応する仮想空間であって、室内の複数の撮影地点において生成された色相画像及び深度マップ画像（Ｄｅｐｔｈ ｍａｐ ｉｍａｇｅ）に基づいて３次元モデルを生成することができる。３次元モデルは、深度情報が反映された仮想モデルであって、実際のものと同等の立体的な空間を提供することができる。

コンピューティング装置３００は、室内空間の複数の撮影地点においてそれぞれ生成される複数のデータセット－前記データセットは、色相画像、深度画像及び各地点の位置情報を含む－に基づいて、３次元の上に複数のポイント集合－例えば、ポイントクラウド－を生成し、このようなポイント集合に基づいて３次元メッシュモデルを生成することができる。３次元メッシュモデルは、ポイントクラウドに基づいて選定された複数のバーテックスに基づいて、複数のフェイス（ｆａｃｅ）－又は、ポリゴン（ｐｏｌｙｇｏｎ）－を設定して作られるメッシュモデルであってもよい。一例として、隣り合う３つのバーテックス（ｖｅｒｔｅｘ）を基準として一つのフェースを生成することができ、それぞれのフェースは、３つの頂点として設定される平らな三角形であってもよい。

３次元メッシュモデルにおいてそれぞれのフェイスが決定されれば、コンピューティング装置３００は、それぞれのフェイスと関連付けられた色相画像に基づいてそれぞれのフェイスの色相値を設定することができる。フェイスと関連付けられた色相画像は、フェイスに垂直な方向ベクトルを基準として設定されてもよい。

コンピューティング装置３００は、それぞれのフェイスの色相値を設定するために一枚の色相画像を選択してもよく、このために、それぞれの色相画像に対して複数の重み付け値要素を算出した後、これに基づいて重み付け値を算定することができる。コンピューティング装置３００は、重み付け値に基づいていずれか一枚の色相画像を選択することができる。

コンピューティング装置３００は、アンシーンフェイスへの色入れ・色埋めを行うことができる。アンシーン（Ｕｎｓｅｅｎ）フェイスとは、撮像画像に表示されていないフェイスのことをいう。例えば、撮影地点よりも高い平面－例えば、冷蔵庫の上面など－の場合、カメラによって撮影されないためアンシーンフェイスとして設定される。コンピューティング装置３００は、バーテックスのカラー情報に基づいてこのようなアンシーンフェイスを色で埋める（フィリング、ｆｉｌｌｉｎｇ）ことができる。

コンピューティング装置３００は、それぞれのフェイスへの色入れ・色埋めが完了して生成される３次元モデルに対して色相補正を行うことができる。本出願において同一のカメラにて撮影するとしても、室内空間の複数の地点における撮影条件は互いに異なる。明るさの度合い、さらなる光源、光源の色相など、たとえ同一の室内空間であるとしても室内空間の各地点における撮影条件が異なる。例えば、窓際の室内の撮影地点においては、太陽による自然光が追加され、照明が消えた室内の撮影地点においては照度が低くなるため、カメラの撮影条件が変更されることがある。このように、室内空間の複数の地点は撮影条件が異なるため、同一の被写体に対しても各色相画像は互いに異なる色相値を有することになる。したがって、一つの被写体が複数のフェイスを有し、それぞれのフェイスが互いに異なる色相画像に基づいてテキスチャーリングされるとすれば、一つの被写体の色相の表現にムラが生じてしまう虞がある。コンピューティング装置３００は、このようなムラを補償するために色相補正を行うことができる。このような色相補正は、室内空間の複数の撮影地点の間の差による要素を反映して行われることができる。

以上述べたように、本出願の発明における３次元モデルは、室内空間に対応する仮想空間を生成するための条件によって特殊な環境を有する。すなわち、室内空間に対する色相画像及び深度画像を取得することが求められ、このために、室内の複数の撮影地点において色相画像及び深度画像を取得することになる。一方、画像を取得する室内地点が多ければ多いほど、３次元モデルに対するデータ量がさらに多くなるため、３次元モデルの表現が向上するが、本出願の実施形態においては、コンピューティング装置３００における処理に伴い、このような３次元モデルの表現、例えば、テキスチャーリングを向上させることができ、それにより、室内画像の取得のための室内の撮影地点の数を適正な数に設定しても高い品質の３次元モデルを取得するようにする。

以下、図２から図１５を参照して、このようなコンピューティング装置３００についてさらに詳しく説明する。

図２は、３次元仮想モデルの生成のためのテキスチャーリング方法を説明する手順図である。

図２を参照すると、コンピューティング装置３００は、画像取得装置１００から複数の室内空間の各室内地点においてそれぞれ生成された複数のデータセットの提供を受ける（Ｓ２０１）。複数のデータセットは、実際に存在する室内空間の各室内地点においてそれぞれ生成されるものであって、例えば、３６０°色相画像及び３６０°深度画像を含んでいてもよい。

コンピューティング装置３００は、複数のデータセットに基づいて３次元メッシュモデルを生成することができる（Ｓ２０２）。

コンピューティング装置３００は、室内空間の複数の撮影地点を３次元座標系に投影して、複数の撮影地点のそれぞれに対応する複数の３次元基準座標を設定することができる。一例として、複数のデータセットには色相画像、深度画像に加えて、位置情報を含めてもよく、コンピューティング装置３００は、このような位置情報を用いて複数の撮影地点のそれぞれに対応する複数の３次元基準座標を設定することができる。一実施形態において、このような位置情報は、以前の撮影地点から現在の撮影地点までの相対的な距離情報であってもよく、最初の開始の室内地点を基準として相対的な距離情報を反映して複数の撮影地点のそれぞれに対応する複数の３次元基準座標を設定することができる。コンピューティング装置３００は、複数の撮影地点に対する３次元基準座標を基準として、各撮影地点において生成された色相画像及び深度画像を反映して３次元空間にポイントクラウドを生成することができる。例えば、コンピューティング装置３００は、複数の撮影地点において生成された色相画像のデータ及び深度画像のデータを３次元基準座標に反映して３次元空間に設定された複数のポイントを含むポイントクラウドデータを生成することができる。コンピューティング装置３００は、ポイントクラウドを構成する複数のポイントのうちから少なくとも一部を選定して複数のバーテックスを設定することができる。このようにして選定された複数のバーテックスに基づいて３次元メッシュモデルが構成されることが可能になる。

すなわち、３次元メッシュモデルは、３次元空間において座標として表現される複数のバーテックスと、そのようなバーテックスを用いて定義される多角形の面であるフェイス－又は、ポリゴン－と、により表現されることができる。ここで、それぞれのバーテックスは、それぞれ固有の３次元座標を有し、かつ、それぞれ色相データを有することができる。すなわち、それぞれのバーテックスと関連付けられる色相画像のデータに基づいて各バーテックスの色相が設定できる。例えば、ポイントは、３次元基準座標を基準として、色相画像の色相と深度画像における距離を反映して３次元空間上においてそれぞれ固有の３次元座標と色相を有する。例えば、色相画像と深度画像は、同一の撮影基準に従い生成されて互いに１：１にて対応することができ、色相画像の各ピクセルは色相値を、かつ深度画像の各ピクセルは深度値を有することができる。コンピューティング装置３００は、基準座標においてこのような色相値と深度値を反映してポイントクラウドを形成することができる。バーテックスは、このようなポイントクラウドに基づいて選択されたものであって、同様に３次元座標値と色相値を有することができる。

一実施形態において、コンピューティング装置３００は、３次元ポイントクラウドを所定の単位空間に分割し、単位空間に含まれている複数のポイントを代表する一つのポイントを設定し、これに基づいてバーテックスを設定することができる。コンピューティング装置３００は、所定の単位空間－例えば、１ｃｍ^３－に含まれる複数のポイントを一つのポイントとして設定してもよく、一例として、所定の単位空間に含まれる複数のポイントの平均の色相値と平均の座標値に基づいて一つのポイントを設定することができる。他の例として、所定の単位空間に含まれる複数のポイントの中央の色相値と中央の座標値に基づいて一つのポイントを設定することができる。このような例において、コンピューティング装置３００は、同一のポイントの正規化を行った後、このようなポイントに基づいて所定の面を形成する頂点を選別してバーテックスとして決定することができる。

コンピューティング装置３００は、３次元メッシュモデルに含まれている複数のフェイスのそれぞれに対して、フェイスと色相画像との間の連関性に基づいて３次元メッシュモデルに含まれている前記複数のフェイスのそれぞれに対してテキスチャーリングをすることができる（Ｓ２０３）。

コンピューティング装置３００は、ステップＳ２０３において連関性が設定されていないホールフェイス－これは、色相データ値が選択されないため穴（Ｈｏｌｅ）として示され、これをホールフェイスと称する－を識別し（Ｓ２０４）、ホールフェイスと関連付けられた複数の連関バーテックスの色相に基づいて前記ホールフェイスの色相を設定することができる（Ｓ２０５）。

図３は、本出願に開示される他の一実施形態に係る３次元仮想モデルの生成のためのテキスチャーリング方法を説明する手順図である。

図３を参照すると、コンピューティング装置３００は、画像取得装置１００から複数の室内空間の各室内地点においてそれぞれ生成された複数のデータセットの提供を受ける（Ｓ３０１）。ここで、データセットは、当該地点から撮影された色相画像、深度画像及び当該室内地点に関する位置情報を含む。

コンピューティング装置３００は、複数のデータセットに基づいて、室内空間に対する３次元モデルを生成するための３次元メッシュモデルを生成する（Ｓ３０２）。

３次元メッシュモデルは、各室内地点に対して、色相画像及び深度画像に基づいて生成される複数のポイント集合－例えば、ポイントクラウド－を生成し、これらを位置情報に基づいて３次元空間の上に配置することにより生成できる。

コンピューティング装置３００は、ポイントクラウドに基づいて複数のバーテックスを選定し、選定された複数のバーテックスに基づいて複数のフェイスを設定して３次元メッシュモデルを生成することができる。一例として、コンピューティング装置３００は、隣り合う３つのバーテックスを基準として一つの三角形のフェイスを設定することができる。

このような３次元メッシュモデルにおけるフェイスには色相値が設定されていない状態であるため、コンピューティング装置３００は、それぞれのフェイスに対する色相値を設定するために、すなわち、テキスチャーリングを行うためにステップＳ３０３からＳ３０４までを繰り返して行う。

コンピューティング装置３００は、３次元メッシュモデルに含まれている複数のフェイスのうちのいずれか一つ（第１の）のフェイスを選択し、第１のフェイスと関連付けられた複数枚の色相画像のうち、第１のフェイスに適したいずれか一枚の第１の色相画像を選択することができる（Ｓ３０３）。

ここで、第１のフェイスと関連付けられた色相画像を選定するに際して、コンピューティング装置３００は、第１のフェイスに垂直な単位ベクトルを算出し、これを基づいて当該単位ベクトルに対応する撮影角度を有する少なくとも一枚の色相画像を当該フェイスと関連付けられた色相画像として選定することができる。これは、色相画像の撮影に際して、当該色相画像の撮影角度に関する情報が一緒に生成されるため、色相画像に対する撮影高さ及び撮影角度の情報に基づいて第１のフェイスと関連付けられた、すなわち、第１のフェイスが映されている色相画像を選定することができる。例えば、コンピューティング装置３００は、第１のフェイスに垂直な単位ベクトルと、それと所定の角度内において対向する、すなわち、所定角度内において向かい合う撮影角度を有する色相画像を、当該フェイスと関連付けられた色相画像として選定することができる。

コンピューティング装置３００は、フェイスと関連付けられた色相画像のうち、当該フェイスに適したいずれか一枚の色相画像を選別することができる。例えば、コンピューティング装置３００は、関連付けられた色相画像のそれぞれに対して複数の重み付け値要素を算出した後、これに基づいて重み付け値を算定した後、重み付け値に基づいていずれか一枚の色相画像を選択することができる。

一例として、第１のフェイスとマッチングされる第１の色相画像は、３次元メッシュモデルと関連付けられた複数枚の色相画像のうちから、第１のフェイスに対する撮影方向、解像度及びカラーノイズを基準として評価して選別されてもよい。

コンピューティング装置３００は、選択されたいずれか一枚の色相画像から、第１のフェイスに対応するローカル領域を選択して第１のフェイスにマッピングしてテキスチャーリングを行うことができる（Ｓ３０４）。

コンピューティング装置３００は、それぞれの色相画像の撮影位置に関する情報を有しているため、それぞれの色相画像における各オブジェクトと３次元メッシュモデルの各オブジェクトとを互いに投影してマッピングすることができる。したがって、このような２次元色相画像と３次元メッシュモデルとの投影マッピングに基づいて、当該フェイスに対応する２次元色相画像におけるローカル領域を選択することができる。

コンピューティング装置３００は、３次元メッシュモデルのすべてのフェイスに対して、上述したステップＳ３０３からＳ３０４までを繰り返し行って、各フェイスに対して色相情報を生成してテキスチャーリングを行うことができる（Ｓ３０５）。このようにして生成された３次元モデルは、各色相画像の間の色相補正が行われていない状態であるため、同一の面に対してもムラが生じる虞がある。これは、前述したように、室内の各撮影地点からの撮影環境が異なるからである。

コンピューティング装置３００は、このような室内の各撮影地点からの撮影環境による色相差を補正するために、カラー調整を行うことができる（Ｓ３０６）。

図２に示される一実施形態と図３に示される一実施形態とは互いに区別して説明しているが、各ステップが互いに代替されるなど、互いに組み合わせて実施されてもよい。

図４から図７は、本出願に開示される一実施形態に係る色相画像の取得例を説明する図であって、これらを参照して説明する。

図４は、一例として、室内空間内の六面体の被写体と、これに対して室内の第１の撮影地点ＰＰ１と第２の撮影地点ＰＰ２を示す斜視図であり、図５は、図４に対応する平面図である。図６は、第１の撮影地点ＰＰ１から撮影された色相画像の一例を、図７は、第２の撮影地点ＰＰ２から撮影された色相画像の一例を示す。

図６及び図７は、同一の被写体に対して色相画像を撮影したが、図７においては、陰影による色相の変化が生じた例を示している。

図８は、本出願に開示される一実施形態に係る３次元仮想モデルの生成のための色相画像の選定方法を説明する手順図である。図８に示される一実施形態は、コンピューティング装置３００において行われるフェイスと色相画像との間の連関性を決定する実施形態に関するものである。図８においては、連関性を決定する３種類の重み付け値が開示されているが、実施形態に応じて、このような３種類の重み付け値は種々に組み合わせられて使用可能であるということはいうまでもない。

図８に示される手順図は、第１のフェイスと関連付けられる複数枚の色相画像のうち、第１のフェイスとマッピングされるべき第１の色相画像を選択する過程に関するものである。図９から図１２は、本出願に開示される一実施形態に係る色相画像の選定例を説明する図であって、これをさらに参照して説明する。

図８を参照すると、コンピューティング装置３００は、３次元メッシュモデルの第１のフェイスに対する基準ベクトル、すなわち、第１のフェイスに垂直な第１の方向ベクトルを設定することができる（Ｓ８０１）。

コンピューティング装置３００は、第１のフェイスと関連付けられた複数枚の色相画像に対して、第１の方向ベクトルと方向性の連関性を有する第１の重み付け値要素をそれぞれ算定することができる（Ｓ８０２）。

コンピューティング装置３００は、第１のフェイスと関連付けられた複数枚の色相画像の撮影方向を確認し、第１のフェイスの第１の方向ベクトルと前記撮影方向との間の方向性の連関性に基づいて第１の重み付け値要素を算定することができる。例えば、第１のフェイスの第１の方向ベクトルと撮影方向との角度が小さければ小さいほど、さらに高い重み付け値要素が算定できる。

コンピューティング装置３００は、第１のフェイスと関連付けられた複数枚の色相画像に対して、解像度に対する第２の重み付け値要素をそれぞれ算定することができる（Ｓ８０３）。

一例として、コンピューティング装置３００は、前記複数枚の色相画像それ自体に対する解像度を確認し、これを基づいて第２の重み付け値要素を算定することができる。すなわち、高い解像度を有するほど高い第２の重み付け値要素を有するように算定することができる。

他の例として、コンピューティング装置３００は、テキスチャーリングの対象となるオブジェクト又は当該オブジェクトの一部であるフェイスを識別し、識別されたオブジェクト又はフェイスの解像度に基づいて第２の重み付け値要素を算定することができる。このようなオブジェクト又はフェイスに対する解像度は、撮影地点におけるオブジェクトの間の距離に反比例して設定されるため、距離の側面からみて有利な色相画像に高い第２の重み付け値が与えられる。

コンピューティング装置３００は、第１のフェイスと関連付けられた複数枚の色相画像に対して、カラーノイズに対する第３の重み付け値要素をそれぞれ算定することができる（Ｓ８０４）。

コンピューティング装置３００は、各色相画像に対してカラーノイズを算出することができる。カラーノイズを算出するために、深層畳み込み敵対的生成ネットワーク（ＤＣＧＡＮ：Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を用いた教師なし学習、Ｅｎｌｉｇｈｔｅｎ ＧＡＮを用いた方法など種々の方法論が適用可能である。

コンピューティング装置３００は、カラーノイズが少なければ少ないほど高い第３の重み付け値要素が与えられるようにすることができる。

コンピューティング装置３００は、第１の重み付け値要素から第３の重み付け値要素を反映して、前記複数枚の色相画像のそれぞれに対して重み付け値を算出することができる。コンピューティング装置３００は、一番高い重み付け値を有する一枚の色相画像を第１のフェイスとマッピングされる第１の画像として選定することができる（Ｓ８０５）。

第１の重み付け値要素から第３の重み付け値要素の反映には多種多様なアルゴリズムが適用可能である。例えば、コンピューティング装置３００は、第１の重み付け値要素から第３の重み付け値要素を単に合算するか、あるいはこれらの平均を導き出すなど、種々の方式により重み付け値を算定することができる。

上述した例においては、第１の重み付け値要素から第３の重み付け値要素をいずれも反映する場合を示しているが、本発明はこれに何ら限定されるものではない。したがって、第１の重み付け値要素と第２の重み付け値要素に基づいて重み付け値を算定するか、あるいは、第１の重み付け値要素と第３の重み付け値要素に基づいて重み付け値を算定するなどの変形実施が可能である。但し、このような変形に際しても、第１の重み付け値要素を含むことがさらに高い性能を提供する要素である。

図９は、六面体のうちの第１のフェイスＦｃ１に垂直な第１の方向ベクトルを設定する例を示している。図９と図４に示される例を参照すると、第１の撮影地点ＰＰ１が第２の撮影地点ＰＰ２よりもさらに高い第１の重み付け値を有する筈であるということが分かる。

図１０は、第１の撮影地点ＰＰ１からの色相画像における第１のフェイスに対応するローカル領域Ｐ１Ｆｃ１を、図１１は、第２の撮影地点ＰＰ２からの色相画像における第１のフェイスに対応するローカル領域Ｐ２Ｆｃ１を例示している。

図１０及び図１１を参照すると、図１０に示される第１の撮影地点ＰＰ１からの色相画像が図１１の色相画像よりもさらに高い解像度を有するため、第２の重み付け値要素がさらに高い筈であるということが分かる。

カラーノイズは、図１１に示される第２の撮影地点ＰＰ２からの色相画像においてさらに高く設定される筈であり、したがって、図１０に示される第１の撮影地点ＰＰ１がさらに高い第３の重み付け値要素を有する筈である。

したがって、第１のフェイスに対しては、第１の撮影地点ＰＰ１からの色相画像が選択される筈であり、第１の撮影地点ＰＰ１からの色相画像におけるローカル領域（Ｐ１Ｆｃ１）を第１のフェイスとマッチングして第１のフェイスに対してテキスチャーリングが行われたことを図１２において示している。

図１３は、本出願に開示される一実施形態に係る３次元仮想モデルの生成のためのアンシーンフェイスの設定方法を説明する手順図である。

上述した過程によって各フェイスに対して色相画像のマッピング及びテキスチャーリングが行われるが、一部のフェイスの場合にはマッピングすべき画像が選択されない場合もある。このようなフェイスは、通常、アンシーンフェイスと呼ばれるが、これは、画像撮影角度の側面からみて、撮影が不可能な部分において生じる。

図１４は、このようなアンシーンフェイスが示された３次元モデルを示している。アンシーンフェイスは、青色にて表示され、ベッドの寝具の後側、洗面台の下の部分、テーブルによって隠れた部分などにアンシーンフェイスが生じるということが分かる。

コンピューティング装置３００は、このようなアンシーンフェイスに対して図１３に示されるように色入れ・色埋めを行うことができる。

図１３を参照すると、コンピューティング装置３００は、未撮影の領域によって生じるアンシーンフェイスを設定することができる（Ｓ１３０１）。コンピューティング装置３００は、フェイスとマッピングされる色相画像がないフェイスをアンシーンフェイスとして設定することができる。

コンピューティング装置３００は、アンシーンフェイスと関連付けられた複数のバーテックスのそれぞれの色相値を確認する（Ｓ１３０２）。

各フェイスが３つのバーテックスを有する三角形である例を挙げると、コンピューティング装置３００は、アンシーンフェイスを構成する３つのバーテックスの色相値を確認することができる。一例として、バーテックスの色相値は、バーテックスを構成する深度画像のピクセルに対応する色相画像のピクセル値として決定できる。すなわち、コンピューティング装置３００は、ある一つのバーテックスを決定するために位置情報を導き出すのに用いられる深度画像を選択することができ、かつ、当該深度画像と同一のデータセットを構成する色相画像を選択することができる。コンピューティング装置３００は、当該深度画像からバーテックスに対応するバーテックス連関深度ピクセルを選択することができ、かつ、深度画像から選択されたバーテックス連関深度ピクセルに対応するある一つのバーテックス連関の色相ピクセルを色相画像から選択することができる。コンピューティング装置３００は、バーテックス連関の色相ピクセルの色相値を当該バーテックスの色相値として設定することができる。

コンピューティング装置３００は、複数のバーテックスのそれぞれの色相値に基づいて前記アンシーンフェイスを埋めることができる。例えば、コンピューティング装置３００は、各バーテックスを開始点として設定し、各バーテックスの色相値に基づいて隣り合うバーテックスの色相値とグラジエントして前記アンシーンフェイスの色相値を設定することができる（Ｓ１３０３）。ここで、グラジエントとは、色相グラデーション（ｇｒａｄａｔｉｏｎ）によって設定される色彩の変更される手法のことをいうものであり、このようなグラデーション手法としては種々の方式が適用可能である。

図１５は、図１４の例に対して、アンシーンフェイスが埋められた例を示しており、示されている例において、色相グラデーションに基づいてアンシーンフェイスが埋められるということが分かる。このようなグラデーションによるアンシーンフェイスのテキスチャーリングは、それ自体としては、周りの色相とやや不自然な感じが生じるものの、以下において説明する色相の補正過程によってより一層自然に補償できる。

図１６は、本出願に開示される一実施形態に係る３次元仮想モデルの生成のための色相の補正方法を説明する手順図である。

前述したように、室内の撮影地点の間の撮影環境が異なるため、同一の面に対しても互いに異なる色相にて表示される可能性がある。特に、複数のフェイスが隣り合って一つの連なった面又は曲面を形成する場合、各フェイスの色相値の差は不自然な感じを与える。

図１７は、色相の補正が行われる前の３次元モデルの一部を例示しており、図１７の例においては、同一の壁面に対してかなりの色ムラが生じるということが分かる。コンピューティング装置３００は、このような色歪み、すなわち、室内の撮影地点の間の撮影環境の差によって引き起こされる色歪みを補償するための処理を提供し、図１６を参照して説明する。

図１６を参照すると、コンピューティング装置３００は、テキスチャーリングが完了した第１の３次元モデルに対して色相画像の間の補正及び隣り合うフェイスの間の補正を行うことができる。

コンピューティング装置３００は、隣り合う撮影地点から撮影された色相画像同士を連関付けて画像サブセットを設定することができる（Ｓ１６０１）。このような色相画像サブセットは、複数設定されてもよい。コンピューティング装置３００は、それぞれの色相画像サブセットに対して、当該色相画像サブセットと関連付けられた色相画像の間の補正重み付け値に基づいてグローバル色相補正を行うことができる（Ｓ１６０２）。このようなグローバル色相補正は、画像の全体に対して行われるものである。

一例として、コンピューティング装置３００は、色相画像サブセットと関連付けられた色相画像に対して主な色相を決定することができる。図１７の例において、主な色相は灰色であてもよく、図１７と関連付けられた色相画像に対して主な色相である灰色に対してそれぞれ主な色相重み付け値を設定することができる。主な色相重み付け値は、関連付けられた色相画像の主な色相に関する平均値に対する差から設定されてもよい。主な色相が平均値からさらに多くの差が出る色相画像であるほど、補正重み付け値が高く設定され、それぞれの色相画像に対して補正重み付け値に基づいて色相補正を行うことができる。このようにしてグローバル色相補正が行われると、色相画像それ自体に対する補正が行われたわけであるため、このような補正済みの画像に基づいてテキスチャーリングを再び行うことができる。

その後、コンピューティング装置３００は、フェイスの間の差に基づいてローカル色相補正を行うことができる。

コンピューティング装置３００は、隣り合うフェイス同士を連関付けて複数のフェイスサブセットを設定することができる（Ｓ１６０３）。

コンピューティング装置３００は、フェイスサブセットのそれぞれに対して、フェイスサブセットを構成するフェイスの間の色相差を平準化するように設定することで、ローカル色相補正を行うことができる（Ｓ１６０４）。このような色相差の平準化には様々な方式が適用可能であるため、ここでは特定の方式に何ら限定されない。

図１８は、図１７の例に対してグローバル色相補正及びローカル色相補正が適用された例を示している。図１７において大きな色相差を有していた部分がかなり類似の色相に補正されているということが分かる。

実際のユーザーは、同一の面又は曲面に対して色々な色相がある場合、これがかなり不自然なもののように感じられてしまうため、実際の３次元モデルに対する実感のあふれる画像を提供するのにはこのような色相補正の役割が大きい。

本出願においては、このような色相補正を行うに際して、グローバル補正とローカル補正とを組み合わせて行うが、これは、撮影地点がかなり離れており、それによって撮影条件の差が大きな本発明においてはこのような組み合わせの色相補正を通して３次元モデルをより一層自然に表現することができる。

図１９は、本出願に開示される一実施形態に係る３次元仮想モデルの生成のためのアンシーン領域のテキスチャーリング方法を説明する手順図である。

図１９を参照すると、コンピューティング装置３００は、３次元メッシュモデルの複数のフェイスのうちから、好適な色相画像が選択されないため穴として示されるホールフェイスを選択することができる（Ｓ１９０１）。このようなホールフェイスは、撮影に際して死角に位置して生じるため、アンシーン（Ｕｎｓｅｅｎ）領域によって生じるアンシーンホールフェイスと称する。

コンピューティング装置３００は、アンシーンホールフェイスと関連付けられた複数の連関バーテックスを選別することができる（Ｓ１９０２）。

コンピューティング装置３００は、選別された複数の連関バーテックスのそれぞれの色相を確認し（Ｓ１９０３）、確認された複数の連関バーテックスの色相に基づいて補間してアンシーンホールフェイスの色相を設定してテキスチャーリングを行うことができる（Ｓ１９０２）。

図２０は、本出願に開示される一実施形態に係るアンシーン領域のテキスチャーリング例を説明する図であって、図２０の（ａ）は、アンシーン領域が生じた例を示しており、図２０の（ｂ）は、このようなアンシーン領域がテキスチャーリングされた例を示している。

図２１は、本出願に開示される一実施形態に係るコンピューティング装置を説明するブロック構成図である。図２１に示されるように、この開示の一実施形態に係るコンピューティング装置３００は、通信モジュール３１０と、メモリー３２０及びプロセッサー３３０を備えていてもよい。しかしながら、このような構成は単なる例示的なものに過ぎず、この開示を実施するに際して、このような構成要素に加えて、新たな構成要素が追加されてもよいし、一部の構成要素が省略されてもよいということはいうまでもない。

通信モジュール３１０は回路を備え、外部装置（サーバーを含む）との通信を行うことができる。具体的には、プロセッサー３３０は、通信モジュール３１０を介して結ばれた外部装置から各種のデータ又は情報を受信することもできれば、外部装置に各種のデータ又は情報を伝送することもできる。

通信モジュール３１０は、ＷｉＦｉモジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、無線通信モジュール、及び近距離無線通信（ＮＦＣ）モジュールのうちの少なくとも一つを備えていてもよく、ＩＥＥＥ、Ｚｉｇｂｅｅ（登録商標）、第三世代（３Ｇ：３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、第三世代パートナーシップ・プロジェクト（３ＧＰＰ（登録商標）：３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）、ロングターム・エボリューション（ＬＴＥ：Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、第五世代（５Ｇ：５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）などといったように、多種多様な通信規格に従って通信を行うことができる。

メモリー３２０には、コンピューティング装置３００に関する少なくとも一つの指令が記憶されてもよい。メモリー３２０には、コンピューティング装置３００を駆動するためのオペレーティングシステム（Ｏ／Ｓ：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が記憶されてもよい。また、メモリー３２０には、この開示の多種多様な実施形態に従いコンピューティング装置３００が動作するための各種のソフトウェアプログラムやアプリケーションが記憶されてもよい。そして、メモリー３２０は、フラッシュメモリー（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリーやハードディスク（Ｈａｒｄ Ｄｉｓｋ）などの磁気記憶媒体などを備えていてもよい。

具体的には、メモリー３２０には、この開示の多種多様な実施形態に従いコンピューティング装置３００が動作するための各種のソフトウェアモジュールが記憶されてもよく、プロセッサー３３０は、メモリー３２０に記憶された各種のソフトウェアモジュールを実行してコンピューティング装置３００の動作を制御することができる。すなわち、メモリー３２０は、プロセッサー３３０によりアクセスされ、プロセッサー３３０によるデータの読み取り／記録／修正／削除／更新などが行われてもよい。

その他にも、この開示の目的を達成するための範囲内において必要となる多種多様な情報がメモリー３２０に記憶されてもよく、メモリー３２０に記憶された情報は、外部装置から受信されたり、ユーザーにより入力されたりすることにより更新されてもよい。

プロセッサー３３０は、一つ以上のプロセッサーから構成されてもよい。

プロセッサー３３０は、コンピューティング装置３００の全般的な動作を制御する。具体的には、プロセッサー３３０は、上述したような通信モジュール３１０及びメモリー３２０を備えるコンピューティング装置３００の構成と接続され、上述したようなメモリー３２０に記憶された少なくとも一つの指令を実行してコンピューティング装置３００の動作を全般的に制御することができる。

プロセッサー３３０は、多種多様な方式により実現されることが可能である。例えば、プロセッサー３３０は、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、埋め込みプロセッサー、マイクロプロセッサー、ハードウェアコントロールロジック、ハードウェア有限状態機械（ＦＳＭ：ｈａｒｄｗａｒｅ Ｆｉｎｉｔｅ Ｓｔａｔｅ Ｍａｃｈｉｎｅ）、デジタルシグナルプロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）のうちの少なくとも一つにより実現されてもよい。一方、この開示において、プロセッサー３３０という用語は、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、グラフィックス処理装置（ＧＰＵ：Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及び主処理装置（ＭＰＵ：Ｍａｉｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを網羅する意味として使用可能である。

一方、上述した実施形態に係るコンピューティング装置３００において行われる制御方法は、プログラムにより実現されてコンピューティング装置３００に提供され得る。例えば、コンピューティング装置３００の制御方法を含むプログラムは、非一時的なコンピューターにて読み取り可能な媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）に記憶されて提供され得る。

以上において、コンピューティング装置３００の制御方法、そしてコンピューティング装置３００の制御方法を実行するプログラムを含むコンピューターにて読み取り可能な記録媒体について簡略に説明したが、これは、重複する説明を省略するためのものに過ぎず、電子装置１００についての様々な実施形態は、コンピューティング装置３００の制御方法、そしてコンピューティング装置３００の制御方法を実行するプログラムを含むコンピューターにて読み取り可能な記録媒体に対しても適用されることが可能であるということはいうまでもない。

一方、機器にて読み取り可能な記憶媒体は、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体の形態で提供され得る。ここで、「非一時的」は、記憶媒体が有形の（ｔａｎｇｉｂｌｅ）装置であり、信号（ｓｉｇｎａｌ）（例えば、電磁気波）を含まないということを意味するものに過ぎず、この言い回しは、データが記憶媒体に半永久的に記憶される場合と一時的に記憶される場合とを区別しない。例えば、「非一時的な記憶媒体」は、データが一時的に記憶されるバッファーを備えていてもよい。

以上において説明した本出願は、前述した実施形態及び添付図面により何ら限定されるものではなく、特許請求の範囲により限定され、本出願の構成は、本出願の技術的な思想を逸脱しない範囲内においてその構成を種々に変更及び改造することができるということを本出願が属する技術分野において通常の知識を有する者は容易に理解できる筈である。

［謝辞］

本発明は、大韓民国政府が支援した次の研究課題の支援を受けて海外への出願が行われたものである。

研究課題の情報
部処名：韓国観光公社
研究事業名：観光グローバル先導企業の後続支援
課題名：スマートフォン連動型人間／物事の自動認識及びトラッキング撮影機器
主管機関：（株）ツリーアイ
研究期間：２０２２．０３．０４～２０２２．１２．３１

本発明は、ポイントクラウドのポイントの色相を用いてホールフェイスを埋めることにより、ホールフェイスを効率よいリソースにて正確に埋めることができるという効果があるので、産業上の利用可能性が高い。

また、本発明は、３次元モデルのフェイスに適した画像を効果的に選択することにより、室内において互いに離れている複数の地点から撮影される画像に基づく３次元生成環境下でもより一層正確なテキスチャーリングを提供することができるという効果があるので、産業上の利用可能性が高い。

さらに、本発明は、室内の複数の他の地点の間の異なる撮影条件によって生じる色ムラを正確に補償して、仮想の室内空間の各面に対して異質感を極力抑え、実際の空間とさらに高い類似度を有する仮想空間のテキスチャーを提供することができるという効果があるので、産業上の利用可能性が高い。

１００ 画像取得装置
３００ コンピューティング装置
３１０ 通信モジュール
３２０ メモリー
３３０ プロセッサー
５００ ユーザー端末

Claims (15)

1. 室内空間の複数の撮影地点においてそれぞれ生成される複数のデータセット－前記データセットは、色相画像及び深度画像を含む－に基づいて３次元仮想モデルを生成するコンピューティング装置において行うことが可能な方法であって、
   前記室内空間の複数の撮影地点においてそれぞれ生成された複数のデータセットに基づいて３次元メッシュモデルを生成するステップと、
   前記３次元メッシュモデルに含まれている複数のフェイスのそれぞれに対して、フェイスと色相画像との間の連関性に基づいて前記３次元メッシュモデルに含まれている前記複数のフェイスのそれぞれに対してテキスチャーリングを行うステップと、
   前記連関性が設定されないため穴（Ｈｏｌｅ）として示されるホールフェイスを識別するステップと、
   前記ホールフェイスと関連付けられた複数の連関バーテックスを確認し、確認された複数の連関バーテックスの色相に基づいて前記ホールフェイスの色相を設定するステップと、
   を含み、
   前記連関性は、各フェイスと関連付けられる複数枚の色相画像のそれぞれに対して、当該フェイスに対する方向ベクトルに基づいて方向性の連関性に対する第１の重み付け値要素を算定し、
   各フェイスと関連付けられる複数枚の色相画像のそれぞれに対して、当該色相画像の解像度に対する第２の重み付け値要素を算定した後、
   前記第１の重み付け値要素及び前記第２の重み付け値要素に基づいて計算し、
   前記第１の重み付け値要素は、第１のフェイスの第１の方向ベクトルと撮影方向との角度が小さければ小さいほど、さらに高く設定される
   ３次元仮想モデルの生成のためのテキスチャーリング方法。
2. 前記３次元メッシュモデルを生成するステップは、
   前記複数の撮影地点を複数の３次元基準座標として設定するステップと、
   前記複数の撮影地点において生成された前記色相画像のデータ及び前記深度画像のデータを前記３次元基準座標に反映して３次元空間に設定された複数のポイントを含むポイントクラウドデータを生成するステップと、
   前記複数のポイントのうちから少なくとも一部を選定して複数のバーテックスを設定するステップと、
   を含む、請求項１に記載の３次元仮想モデルの生成のためのテキスチャーリング方法。
3. 前記複数のバーテックスは、前記３次元メッシュモデルを構成し、
   それぞれのバーテックスは、
   それと関連付けられた色相画像のデータに基づいて設定される色相データを含む、請求項２に記載の３次元仮想モデルの生成のためのテキスチャーリング方法。
4. 前記３次元メッシュモデルに含まれている前記複数のフェイスのそれぞれに対してテキスチャーリングを行うステップは、
   各フェイスに対して、それと関連付けられる複数枚の色相画像のそれぞれに対して複数の重み付け値要素を算定し、算定された複数の重み付け値要素に基づいて前記連関性を決定していずれか一枚の色相画像を選別するステップと、
   選別されたいずれか一枚の色相画像のうち、当該フェイスに対応するローカル領域を当該フェイスにマッピングしてテキスチャーリングを行うステップと、
   を含む、請求項１に記載の３次元仮想モデルの生成のためのテキスチャーリング方法。
5. 前記３次元メッシュモデルに含まれている前記複数のフェイスのそれぞれに対してテキスチャーリングを行うステップは、
   一番高い連関性を有する一枚の色相画像を選別するステップ
   を含む、請求項１に記載の３次元仮想モデルの生成のためのテキスチャーリング方法。
6. 前記３次元メッシュモデルに含まれている前記複数のフェイスのそれぞれに対してテキスチャーリングを行うステップは、
   各フェイスと関連付けられる複数枚の色相画像のそれぞれに対して、カラーノイズに基づく第３の重み付け値要素を算定するステップと、
   前記第１の重み付け値要素乃至前記第３の重み付け値要素に基づいて前記連関性を計算するステップと、
   一番高い連関性を有する一枚の色相画像を選別するステップと、
   を含む、請求項１に記載の３次元仮想モデルの生成のためのテキスチャーリング方法。
7. 前記ホールフェイスと関連付けられた複数の連関バーテックスを確認し、確認された複数の連関バーテックスの色相に基づいて前記ホールフェイスの色相を設定するステップは、
   前記ホールフェイスの頂点に対応する複数のバーテックスを前記複数の連関バーテックスとして設定するステップと、
   前記複数の連関バーテックスの色相データをそれぞれ確認するステップと、
   前記複数の連関バーテックスの色相データを色相補間して前記ホールフェイスの色相を設定するステップと、
   を含む、請求項３に記載の３次元仮想モデルの生成のためのテキスチャーリング方法。
8. コンピューティング装置であって、
   一つ以上のインストラクションを記憶するメモリーと、
   前記メモリーに記憶された前記一つ以上のインストラクションを実行する少なくとも一つのプロセッサーと、
   を備え、
   前記少なくとも一つのプロセッサーは、前記一つ以上のインストラクションを実行することにより、
   室内空間の複数の撮影地点においてそれぞれ生成される複数のデータセット－前記データセットは、色相画像及び深度画像を含む－を用意し、
   前記室内空間の複数の撮影地点においてそれぞれ生成された複数のデータセットに基づいて３次元メッシュモデルを生成し、
   前記３次元メッシュモデルに含まれている複数のフェイスのそれぞれに対して、フェイスと色相画像との間の連関性に基づいて前記３次元メッシュモデルに含まれている前記複数のフェイスのそれぞれに対してテキスチャーリングを行い、
   前記連関性が設定されないため穴（Ｈｏｌｅ）として示されるホールフェイスを識別し、
   前記ホールフェイスと関連付けられた複数の連関バーテックスを確認し、確認された複数の連関バーテックスの色相に基づいて前記ホールフェイスの色相を設定し、
   前記連関性は、各フェイスと関連付けられる複数枚の色相画像のそれぞれに対して、当該フェイスに対する方向ベクトルに基づいて方向性の連関性に対する第１の重み付け値要素を算定し、
   各フェイスと関連付けられる複数枚の色相画像のそれぞれに対して、当該色相画像の解像度に対する第２の重み付け値要素を算定した後、
   前記第１の重み付け値要素及び前記第２の重み付け値要素に基づいて計算し、
   前記第１の重み付け値要素は、第１のフェイスの第１の方向ベクトルと撮影方向との角度が小さければ小さいほど、さらに高く設定される
   コンピューティング装置。
9. 前記コンピューティング装置は、
   前記複数の撮影地点を複数の３次元基準座標として設定し、
   前記複数の撮影地点において生成された前記色相画像のデータ及び前記深度画像のデータを前記３次元基準座標に反映して３次元空間に設定された複数のポイントを含むポイントクラウドデータを生成し、
   前記複数のポイントのうちから少なくとも一部を選定して複数のバーテックスを設定する、請求項８に記載のコンピューティング装置。
10. 前記複数のバーテックスは、前記３次元メッシュモデルを構成し、
    それぞれのバーテックスは、
    それと関連付けられた色相画像のデータに基づいて設定される色相データを含む、請求項９に記載のコンピューティング装置。
11. 前記コンピューティング装置は、
    各フェイスに対して、それと関連付けられる複数枚の色相画像のそれぞれに対して複数の重み付け値要素を算定し、算定された複数の重み付け値要素に基づいて前記連関性を決定していずれか一枚の色相画像を選別し、
    選別されたいずれか一枚の色相画像のうち、当該フェイスに対応するローカル領域を当該フェイスにマッピングしてテキスチャーリングを行う、請求項８に記載のコンピューティング装置。
12. 前記コンピューティング装置は、
    一番高い連関性を有する一枚の色相画像を選別する、
    請求項８に記載のコンピューティング装置。
13. 前記コンピューティング装置は、
    各フェイスと関連付けられる複数枚の色相画像のそれぞれに対して、カラーノイズに基づく第３の重み付け値要素を算定し、
    前記第１の重み付け値要素乃至前記第３の重み付け値要素に基づいて前記連関性を計算し、
    一番高い連関性を有する一枚の色相画像を選別する、
    請求項８に記載のコンピューティング装置。
14. 前記コンピューティング装置は、
    前記ホールフェイスの頂点に対応する複数のバーテックスを前記複数の連関バーテックスとして設定し、
    前記複数の連関バーテックスの色相データをそれぞれ確認し、
    前記複数の連関バーテックスの色相データを色相補間して前記ホールフェイスの色相を設定する、請求項１０に記載のコンピューティング装置。
15. コンピューターにて読み取り可能なインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を記憶している記憶媒体において、
    前記インストラクションは、コンピューティング装置により実行されるとき、前記コンピューティング装置をして、
    室内空間の複数の撮影地点においてそれぞれ生成される複数のデータセット－前記データセットは、色相画像及び深度画像を含む－を用意する動作と、
    前記室内空間の複数の撮影地点においてそれぞれ生成された複数のデータセットに基づいて３次元メッシュモデルを生成する動作と、
    前記３次元メッシュモデルに含まれている複数のフェイスのそれぞれに対して、フェイスと色相画像との間の連関性に基づいて前記３次元メッシュモデルに含まれている前記複数のフェイスのそれぞれに対してテキスチャーリングを行う動作と、
    前記連関性が設定されないため穴（Ｈｏｌｅ）として示されるホールフェイスを識別する動作と、
    前記ホールフェイスと関連付けられた複数の連関バーテックスを確認し、確認された複数の連関バーテックスの色相に基づいて前記ホールフェイスの色相を設定する動作と、
    を行わしめ、
    前記連関性は、各フェイスと関連付けられる複数枚の色相画像のそれぞれに対して、当該フェイスに対する方向ベクトルに基づいて方向性の連関性に対する第１の重み付け値要素を算定し、
    各フェイスと関連付けられる複数枚の色相画像のそれぞれに対して、当該色相画像の解像度に対する第２の重み付け値要素を算定した後、
    前記第１の重み付け値要素及び前記第２の重み付け値要素に基づいて計算し、
    前記第１の重み付け値要素は、第１のフェイスの第１の方向ベクトルと撮影方向との角度が小さければ小さいほど、さらに高く設定される、
    記憶媒体。

Images