JP7672629B2 - ビデオベースのメッシュ圧縮 - Google Patents

Description

〔関連出願との相互参照〕
本出願は、２０２０年１０月７日に出願された「ビデオベースのメッシュ圧縮（ＶＩＤＥＯ ＢＡＳＥＤ ＭＥＳＨ ＣＯＭＰＲＥＳＳＩＯＮ）」という名称の米国仮特許出願第６３／０８８，７０５号、及び２０２０年１０月６日に出願された「ビデオベースのメッシュ圧縮」という名称の米国仮特許出願第６３／０８７，９５８号の米国特許法第１１９条に基づく優先権を主張するものであり、これらの文献は全体が全ての目的で引用により本明細書に組み入れられる。

本発明は、３次元グラフィックスに関する。具体的には、本発明は、３次元グラフィックスの符号化に関する。

近年、３Ｄから２Ｄへの投影に基づいて点群などのボリュメトリックコンテンツ（ｖｏｌｕｍｅｔｒｉｃ ｃｏｎｔｅｎｔ）を圧縮する新規方法が標準化されている。このＶ３Ｃ（ビジュアルボリュメトリックビデオベース圧縮）としても知られている方法は、３Ｄボリュメトリックデータを複数の２Ｄパッチにマッピングした後に、さらにこれらのパッチをアトラス画像に編成し、その後にビデオエンコーダで符号化する。アトラス画像は、点の幾何形状、それぞれのテクスチャ、及びどの位置を点群再構成のために検討すべきであるかを示す占有マップに対応する。

２０１７年、ＭＰＥＧは、点群圧縮のための公募要領（ｃａｌｌ ｆｏｒ ｐｒｏｐｏｓａｌ：ＣｆＰ）を発行した。現在ＭＰＥＧは、複数の提案の評価後に、（八分木及び同様の符号化法に基づく）３Ｄネイティブ符号化技術、又は３Ｄから２Ｄへの投影後に従来のビデオ符号化を行うもの、という２つの異なる点群圧縮技術を検討している。動的３Ｄシーンの場合、ＭＰＥＧは、パッチ表面モデリング、３Ｄから２Ｄ画像へのパッチの投影、及びＨＥＶＣなどのビデオエンコーダを使用した２Ｄ画像の符号化に基づく試験モデルソフトウェア（ＴＭＣ２）を使用している。この方法は、ネイティブな３Ｄ符号化よりも効率的であり、容認可能な品質で競争的ビットレートを達成できることが証明されている。

米国特許出願公開第１７／１６１，３００号明細書

この標準は、（ビデオベースの方法又はＶ－ＰＣＣとしても知られている）投影ベースの方法の３Ｄ点群符号化の成功を受けて、将来のバージョンでは３Ｄメッシュなどのさらなる３Ｄデータを含むことが予想されている。しかしながら、この標準の現在のバージョンは、一連の未連結の点の送信にしか適しておらず、従って３Ｄメッシュ圧縮で必要とされるような点の連結性を送信する機構は存在しない。

Ｖ－ＰＣＣの機能をメッシュに拡張する方法も提案されてきた。１つの可能な方法は、Ｖ－ＰＣＣを使用して頂点を符号化した後に、ＴＦＡＮ又はエッジブレーカ（Ｅｄｇｅｂｒｅａｋｅｒ）のようなメッシュ圧縮法を使用して連結性を符号化するものである。この方法の限界は、頂点から生成された点群が低密度になることなく投影後に効率的に符号化できるように、元々のメッシュが高密度であることが必要な点である。さらに、頂点の順序が連結性の符号化に影響を与えるため、メッシュ連結性を再編する異なる方法が提案されている。低密度メッシュ（ｓｐａｒｓｅ ｍｅｓｈ）を符号化する別の方法は、ＲＡＷパッチデータを使用して３Ｄにおける頂点位置を符号化するものである。ＲＡＷパッチは（ｘ，ｙ，ｚ）を直接符号化するので、この方法では、全ての頂点がＲＡＷデータとして符号化される一方で、上述したような同様のメッシュ圧縮法によって連結性が符号化される。なお、ＲＡＷパッチではいずれかの好ましい順序で頂点を送信することができ、従って連結性符号化から生じた順序を使用することができる。この方法は低密度な点群を符号化することができるが、ＲＡＷパッチは３Ｄデータの符号化効率が悪く、この手法からは三角面の属性などのさらなるデータが失われることがある。

本明細書では、メッシュ表面データの投影及び連結性データのビデオ表現を用いた３Ｄメッシュデータの圧縮法について説明する。方法は、３Ｄ表面パッチを利用してメッシュ表面上の連結三角形の組を表す。投影された表面データは、パッチ（メッシュパッチ）に記憶されてアトラスデータに符号化される。メッシュの連結性、すなわち表面パッチの頂点及び三角形は、ビデオベースの圧縮技術を使用して符号化される。このデータは頂点ビデオデータという名称の新たなビデオコンポーネントにカプセル化され、開示する構造は、頂点の組を層状に分離してメッシュの連結性の詳細度を作成することによって、階層的メッシュ符号化（ｐｒｏｇｒｅｓｓｉｖｅ ｍｅｓｈ ｃｏｄｉｎｇ）を可能にする。この手法は、点群及びマルチビュー＋深度コンテンツの符号化に現在使用されているＶ３Ｃ（ボリュメトリックビデオベースの）標準の機能を拡張する。

１つの態様では、方法が、入力されたメッシュに対してメッシュボクセル化を実行することと、ラスタライズされたメッシュ表面と頂点位置及び連結性情報とを含むパッチにメッシュをセグメント化するパッチ生成を実行することと、ラスタライズされたメッシュ表面から、視覚的ボリュメトリックビデオベース圧縮（Ｖ３Ｃ）画像を生成することと、頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することと、Ｖ３Ｃ画像及びビデオベースのメッシュ圧縮に基づいてＶ３Ｃビットストリームを生成することと、を含む。頂点位置及び連結性情報は、表面パッチの三角形情報を含む。頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することから得られるデータは、頂点ビデオコンポーネント構造にカプセル化される。頂点ビデオコンポーネント構造は、頂点の組を層状に分離してメッシュ連結性の詳細度を生成することによって階層的メッシュ符号化を可能にする。１つの層のみが実装される場合、ビデオデータが占有マップに埋め込まれる。連結性情報は、ポアソン表面再構成又はボールピボッティングを含む表面再構成アルゴリズムを使用して生成される。ラスタライズされたメッシュ表面からＶ３Ｃ画像を生成することは、未追跡のメッシュ情報と追跡されたメッシュ情報とを組み合わせることを含む。方法は、２次元投影パッチ領域においてエッジ消去フィルタを実行することをさらに含む。方法は、連結性情報のパッチベースの表面細分化を実行することをさらに含む。

別の態様では、装置が、入力されたメッシュに対してメッシュボクセル化を実行し、ラスタライズされたメッシュ表面と頂点位置及び連結性情報とを含むパッチにメッシュをセグメント化するパッチ生成を実行し、ラスタライズされたメッシュ表面から、視覚的ボリュメトリックビデオベース圧縮（Ｖ３Ｃ）画像を生成し、頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行し、Ｖ３Ｃ画像及びビデオベースのメッシュ圧縮に基づいてＶ３Ｃビットストリームを生成する、ためのアプリケーションを記憶する非一時的メモリと、メモリに結合されてアプリケーションを処理するように構成されたプロセッサと、を含む。頂点位置及び連結性情報は、表面パッチの三角形情報を含む。頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することから得られるデータは、頂点ビデオコンポーネント構造にカプセル化される。頂点ビデオコンポーネント構造は、頂点の組を層状に分離してメッシュ連結性の詳細度を生成することによって階層的メッシュ符号化を可能にする。１つの層のみが実装される場合、ビデオデータが占有マップに埋め込まれる。連結性情報は、ポアソン表面再構成又はボールピボッティングを含む表面再構成アルゴリズムを使用して生成される。ラスタライズされたメッシュ表面からＶ３Ｃ画像を生成することは、未追跡のメッシュ情報と追跡されたメッシュ情報とを組み合わせることを含む。アプリケーションは、２次元投影パッチ領域においてエッジ消去フィルタを実行するようにさらに構成される。アプリケーションは、連結性情報のパッチベースの表面細分化を実行するようにさらに構成される。

別の態様では、システムが、３次元コンテンツを取得する１又は２以上のカメラと、入力されたメッシュに対してメッシュボクセル化を実行し、ラスタライズされたメッシュ表面と頂点位置及び連結性情報とを含むパッチにメッシュをセグメント化するパッチ生成を実行し、ラスタライズされたメッシュ表面から、視覚的ボリュメトリックビデオベース圧縮（Ｖ３Ｃ）画像を生成し、頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行し、Ｖ３Ｃ画像及びビデオベースのメッシュ圧縮に基づいてＶ３Ｃビットストリームを生成する、ことによって３次元コンテンツを符号化するエンコーダと、を含む。頂点位置及び連結性情報は、表面パッチの三角形情報を含む。頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することから得られるデータは、頂点ビデオコンポーネント構造にカプセル化される。頂点ビデオコンポーネント構造は、頂点の組を層状に分離してメッシュ連結性の詳細度を生成することによって階層的メッシュ符号化を可能にする。１つの層のみが実装される場合、ビデオデータが占有マップに埋め込まれる。連結性情報は、ポアソン表面再構成又はボールピボッティングを含む表面再構成アルゴリズムを使用して生成される。ラスタライズされたメッシュ表面から前記Ｖ３Ｃ画像を生成することは、未追跡のメッシュ情報と追跡されたメッシュ情報とを組み合わせることを含む。エンコーダは、２次元投影パッチ領域においてエッジ消去フィルタを実行するように構成される。エンコーダは、連結性情報のパッチベースの表面細分化を実行するように構成される。

いくつかの実施形態による、Ｖ３Ｃメッシュ符号化を実行する方法のフローチャートを示す図である。 いくつかの実施形態によるメッシュボクセル化の図である。 いくつかの実施形態によるパッチ生成の図である。 いくつかの実施形態によるパッチラスタ化の図である。 いくつかの実施形態によるＶ３Ｃ画像生成の図である。 いくつかの実施形態による頂点ビデオデータの画像を示す図である。 いくつかの実施形態による例示的な詳細度生成の画像を示す図である。 いくつかの実施形態によるメッシュの図である。 いくつかの実施形態によるメッシュ再構成の図である。 いくつかの実施形態による、点群パッチとメッシュパッチとの混合物の送信を可能にする高レベル構文及び画像の図である。 いくつかの実施形態による、未追跡のメッシュ情報と追跡されたメッシュ情報とを組み合わせた図である。 いくつかの実施形態による、未追跡のメッシュ情報と追跡されたメッシュ情報とを組み合わせた図である。 いくつかの実施形態によるパッチベースのエッジ消去の例示的な画像を示す図である。 いくつかの実施形態によるパッチベースのクラスタリングデシメーションの例示的な画像を示す図である。 いくつかの実施形態によるパッチベースの表面細分化の例示的な画像を示す図である。 いくつかの実施形態によるパッチベースの表面再構成の例示的な画像を示す図である。 いくつかの実施形態による三角形エッジ検出の図である。 いくつかの実施形態による、色に基づいて分離された三角形のセグメント化エッジの図である。 いくつかの実施形態による、結合三角形のセグメント化エッジの図である。 いくつかの実施形態による、エッジのサイズ変更及び再スケーリングの図である。 いくつかの実施形態による、エッジのサイズ変更及び再スケーリングの図である。 いくつかの実施形態による、エッジのサイズ変更及び再スケーリングの図である。 いくつかの実施形態による、エッジのサイズ変更及び再スケーリングの図である。 いくつかの実施形態による、エッジのサイズ変更及び再スケーリングの図である。 いくつかの実施形態による、ビデオベースのメッシュ圧縮法を実装するように構成された例示的なコンピュータ装置のブロック図である。 いくつかの実施形態によるビデオベースのメッシュ圧縮を実行するように構成されたシステムの図である。

本明細書では、メッシュ表面データの投影及び連結性データのビデオ表現を用いた３Ｄメッシュデータの圧縮法について説明する。この方法は、３Ｄ表面パッチを利用してメッシュ表面上の連結三角形の組を表す。投影された表面データは、パッチ（メッシュパッチ）に記憶されてアトラスデータに符号化される。メッシュの連結性、すなわち表面パッチの頂点及び三角形は、ビデオベースの圧縮技術を使用して符号化される。このデータは頂点ビデオデータという名称の新たなビデオコンポーネントにカプセル化され、開示する構造は、頂点の組を層状に分離してメッシュの連結性の詳細度を作成することによって、階層的メッシュ符号化を可能にする。この手法は、点群及びマルチビュー＋深度コンテンツの符号化に現在使用されているＶ３Ｃ（ボリュメトリックビデオベースの）標準の機能を拡張する。

ビデオエンコーダを使用した３Ｄ点群符号化では、点群を表すビデオを生成するために３Ｄから２Ｄへの投影が重要である。これらのビデオを生成する最も効率的な方法は、３Ｄパッチを使用することによって物体の表面をセグメント化し、正射影を使用して、共にバンドル化されてビデオエンコーダの入力として使用されるセグメント化深度画像を生成することである。さらに、投影ステップによって捕捉されなかった点を直接ビデオ信号内で符号化することもできる。現在の点群標準では、メッシュの連結性を符号化する規定の方法が存在しないため、３Ｄメッシュを符号化することができない。さらに、この標準は頂点間の相関性を活用することができないので、頂点データが少ない場合には上手く機能しない。

本明細書では、ボリュメトリックデータ符号化のためのＶ３Ｃ標準を使用してメッシュの符号化を実行する方法について説明する。メッシュ表面をセグメント化して統合的表面サンプリング及び２Ｄパッチ生成を提案する方法について説明する。局所的連結性及び２Ｄパッチに投影された頂点の位置がパッチ毎に符号化される。連結性及び頂点位置をシグナリングして元々の入力メッシュの再構成を可能にする方法についても説明する。また、頂点及び連結性をビデオフレーム内にマッピングし、ビデオ符号化ツールを使用してメッシュの連結性データを頂点ビデオデータと呼ばれるビデオシーケンスに符号化する方法についても説明する。

図１に、いくつかの実施形態による、Ｖ３Ｃメッシュ符号化を実行する方法のフローチャートを示す。ステップ１００において、入力メッシュを受信又は取得する。例えば、入力メッシュは（例えば、ネットワーク装置から）ダウンロードされ、或いは装置（例えば、カメラ又は自律走行車）によって取得／捕捉される。

ステップ１０２において、メッシュボクセル化を実行する。メッシュは、浮動小数点での頂点位置を有することができ、従ってこれらの位置を整数空間に変換する。Ｖ－ＰＣＣ及びＶ３Ｃはボクセル化された点群を前提とする。

ステップ１０４において、パッチ生成（又は作成）を実行する。パッチ生成は、法線計算、隣接性計算、初期セグメンテーション、精緻化、パッチ投影及びパッチラスタ化を含む。法線計算は、各三角形の法線（三角形のエッジのクロス積）を計算するものである。隣接性計算は、各三角形の隣接性（例えば、メッシュ内のどの三角形が現在の三角形又は他の三角形に隣接又は接触しているか）を計算するものである。初期セグメンテーションは、法線を向きに従って分類することを含む。例えば、三角形の法線は、上、下、左、右、前又は後に向くことができ、方向／配向に基づいて分類することができる。いくつかの実施形態では、三角形がその法線の向きに基づいて色分けされる（例えば、法線が上に向いている三角形は全て緑色に着色される）。精緻化は、外れ値（例えば、青色の三角形に取り囲まれた単一の赤色の三角形）を特定して外れ値を平滑化する（例えば、単一の赤色の三角形を青色である近隣に一致するように変更する）ものである。精緻化は、近隣を分析して向きを平滑化する（例えば、法線の向きを調整する）ことによって実行される。滑らかな表面が得られると、（例えば、向きに基づいて）特定の三角形分類のパッチを投影するパッチ投影が実行される。この投影では、パッチ上に頂点及び連結性が示される。例えば、この例における身体及び顔は、これらを分離する異なる分類の三角形が存在するので別個の投影である。しかしながら、Ｖ３Ｃ及びＶ－ＰＣＣはこのことを理解せずにむしろ点を理解し、従ってこの投影をラスタライズする（例えば、点の距離を含めて表面上の点をサンプリングして形状画像及び表面の属性を生成する）。ラスタライズされたメッシュ表面はＶ３Ｃ画像と非常に類似する。

パッチ生成の結果、ラスタライズされたメッシュ表面、頂点位置及び連結性が得られる。ステップ１０６において、ラスタライズされたメッシュ表面をＶ３Ｃ画像生成／作成において利用する。ステップ１０８において、頂点位置及び連結性をメッシュ符号化（例えば、ビデオベースのメッシュ圧縮）に利用する。ステップ１１０において、生成されたＶ３Ｃ画像及びベースメッシュ符号化からＶ３Ｃビットストリームを生成する。いくつかの実施形態では、メッシュ符号化がさらなる符号化を伴わず、頂点位置及び連結性が直接Ｖ３Ｃビットストリームに至る。

Ｖ３Ｃビットストリームは、ステップ１１２における点群再構成、及び／又はステップ１１４におけるメッシュ構築を可能にする。Ｖ３Ｃビットストリームから点群及び／又はメッシュを抽出することができ、これによって大きな柔軟性が得られる。いくつかの実施形態では、これよりも少ない又はさらなるステップが実行される。いくつかの実施形態では、ステップの順序が変更される。

本明細書で説明する方法は、２０２１年１月２８日に出願された「投影ベースのメッシュ圧縮（ＰＲＯＪＥＣＴＩＯＮ－ＢＡＳＥＤ ＭＥＳＨ ＣＯＭＰＲＥＳＳＩＯＮ）」という名称の米国特許出願第１７／１６１，３００号に関連し、この文献は全体が全ての目的で引用により本明細書に組み入れられる。

ボクセル化に対応するために、メッシュスケーリング及びオフセット情報がアトラス適応パラメータセット（Ａｔｌａｓ Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＡＡＰＳ）で送信される。利用可能なカメラパラメータを使用することができる。或いは、（スケーリング及びオフセットのみを使用する）ボクセル化のための新たな構文要素が導入される。以下は例示的な構文である。

ａａｐｓ＿ｖｏｘｅｌｉｚａｔｉｏｎ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合には、現在のアトラス適応パラメータセットにボクセル化パラメータが存在することを指定する。
ａａｐｓ＿ｖｏｘｅｌｉｚａｔｉｏｎ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合には、現在の適応パラメータセットのためのボクセル化パラメータが存在しないことを指定する。
ｖｐ＿ｓｃａｌｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合には、現在のボクセル化のためのスケールパラメータが存在することを示す。
ｖｐ＿ｓｃａｌｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合には、現在のボクセル化のためのスケールパラメータが存在しないことを示す。ｖｐ＿ｓｃａｌｅ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、存在しない場合には０に等しいと推測される。
ｖｐ＿ｏｆｆｓｅｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合には、現在のボクセル化のためのオフセットパラメータが存在することを示す。
ｖｐ＿ｏｆｆｓｅｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合には、現在のボクセル化のためのオフセットパラメータが存在しないことを示す。ｖｐ＿ｏｆｆｓｅｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、存在しない場合には０に等しいと推測される。
ｖｐ＿ｓｃａｌｅは、現在のボクセル化のためのスケールであるＳｃａｌｅの値を２^-16きざみで指定する。ｖｐ＿ｓｃａｌｅの値は、両端の値を含む１～２³²－１の範囲とされる。ｖｐ＿ｓｃａｌｅは、存在しない場合には２¹⁶に等しいと推測される。Ｓｃａｌｅの値は次のように計算される。
Ｓｃａｌｅ＝ｖｐ＿ｓｃａｌｅ÷２¹⁶
ｖｐ＿ｏｆｆｓｅｔ＿ｏｎ＿ａｘｉｓ［ｄ］は、現在のボクセル化のためのｄ軸に沿ったオフセットであるＯｆｆｓｅｔ［ｄ］の値を２^-16きざみで示す。ｖｐ＿ｏｆｆｓｅｔ＿ｏｎ＿ａｘｉｓ［ｄ］の値は、両端の値を含む－２³¹～２³¹－１の範囲とされ、ｄは０～２である。ｄの値は、０、１及び２に等しい場合にはそれぞれＸ、Ｙ及びＺ軸に対応する。ｖｐ＿ｏｆｆｓｅｔ＿ｏｎ＿ａｘｉｓ［ｄ］は、存在しない場合には０に等しいと推測される。
Ｏｆｆｓｅｔ［ｄ］＝ｖｐ＿ｏｆｆｓｅｔ＿ｏｎ＿ａｘｉｓ［ｄ］）２¹⁶

このプロセスは、ボクセル化された復号頂点値から浮動小数点再構成値への逆ボクセル化プロセスを指定する。以下が当てはまる。
（ｎ＝０；ｎ＜ＶｅｒｔｅｘＣｎｔ；ｎ＋＋）の場合、
（ｋ＝０；ｋ＜３；ｋ＋＋）の場合、
ｖｅｒｔｅｘＲｅｃｏｎｓｔｒｕｃｔｅｄ［ｎ］［ｋ］＝Ｓｃａｌｅ^*（ｄｅｃｏｄｅｄＶｅｒｔｅｘ［ｎ］［ｋ］）＋Ｏｆｆｓｅｔ［ｋ］

図２に、いくつかの実施形態によるメッシュボクセル化の図を示す。各フレームは異なる境界ボックスを有する。各フレームの境界ボックスを取得する（例えば、ｔ＝１、ｔ＝１６及びｔ＝３２におけるフレーム２００）。次に、多くの境界ボックスから、ｓｅｑｕｅｎｃｅＢＢ＝（ｍｉｎＰｏｉｎｔ，ｍａｘＰｏｉｎｔ）としてシーケンス境界ボックス２０２を計算する。シーケンス境界ボックス２０２は、フレームにかかわらず全ての頂点を含む。ｂｉｔｄｅｐｔｈによって定められる範囲に最大範囲を収めるためのスケールをｍａｘＲａｎｇｅ＝ｍａｘ（ｍａｘＰｏｉｎｔ１６［０．．２］－ｍｉｎＰｏｉｎｔ１６［０．．２］），ｓｃａｌｅ＝（２^bitdepth－１）／ｍａｘＲａｎｇｅ－＞ｓｃａｌｅ１６として計算する。この結果を最小値によってｖｏｘｅｌｉｚｅｄｐｏｉｎｔ＝ｆｌｏｏｒ（（ｏｒｉｇｉｎａｌＰｏｉｎｔ－ｍｉｎＰｏｉｎｔ１６）／ｓｃａｌｅ１６）としてスケーリングし、シフトさせる。スケール量及びシフト量は、ユーザが定めることも、或いはコンピュータが学習アルゴリズムに基づいて（境界ボックスを分析してスケール量及びシフト量を自動的に計算することなどによって）生成することもできる。これらの値は、ＡＡＰＳにｏｆｆｓｅｔ＝ｍｉｎＰｏｉｎｔ１６、ｓｃａｌｅ＝ｓｃａｌｅ１６として記憶される。
入力パラメータ（ｍｏｄｅｌＳｃａｌｅ）は以下の通りである。
（－１）：フレーム当たりのスケールを自動的に計算
（０）：シーケンススケールを自動的に計算
（＞１）：ユーザが定めたスケール

いくつかの実施形態では、メッシュボクセル化が、入力メッシュの点の位置の浮動小数点値を整数に変換することを伴う。整数の精度は、ユーザによって又は自動的に設定することができる。いくつかの実施形態では、メッシュボクセル化が、負数が存在しないように値をシフトすることを含む。

例えば、元々のメッシュが軸線よりも下に存在すると負数が生じる。メッシュは、メッシュボクセル化を通じて負の値及び非整数値を避けるようにシフト及び／又はスケーリングされる。１つの実施形態では、ゼロ未満である最も低い頂点値が見つかると、最も低い頂点値がゼロを上回るように値をシフトさせることができる。いくつかの実施形態では、値の範囲が（例えば、スケーリングによって）１１ビットなどの指定ビット範囲内に収められる。

ボクセル化メッシュ２１０は、スケーリング及びシフティング後の元々のメッシュである。例えば、ボクセル化メッシュ２１０は成長後の元々のメッシュであり、正の値のみであるようにシフトされ、いくつかの事例ではこのことが符号化のために有利である。

ボクセル化では三角形（同じ位置を占める頂点）が縮退することもあるが、縮退した頂点は符号化手順によって除去され、メッシュセグメンテーションに起因して頂点の数が増加する（例えば、二重頂点除去フィルタ（ｒｅｍｏｖｅ ｄｕｐｌｉｃａｔｅｓ ｖｅｒｔｉｃｅｓ ｆｉｌｔｅｒ）を使用して頂点の数を減少させることができる）。一例として、元々のメッシュは、２０，６９２個の頂点、３９，４５５個の面、ボクセル化された頂点内における２０，６９２個の点を有し、再構成されたメッシュは、２７，９４２個の頂点、３９，２４０個の面を有し、再構成された点群は１，９３８，３８４個の点を有していた。

図３に、いくつかの実施形態によるパッチ生成の図を示す。説明したように、パッチ生成は、法線計算、隣接性計算、初期セグメンテーション（又は法線カテゴリ化）、及びセグメンテーション精緻化（又はカテゴリ精緻化）を伴う。各三角形の法線の計算は、三角形のエッジ間のクロス積を伴う。隣接性計算は、三角形が頂点を共有しているかどうかを判定し、共有している場合には三角形が隣接していると判定するものである。初期セグメンテーション及びセグメンテーション精緻化は、法線の向きを分析し、法線の向き（例えば、上、下、左、右、前、後）を分類し、全て同様に分類された隣接する法線に比べて法線の向きが異なるように分類されている（例えば、最初のパッチが上向きとして分類されたのに対し、ほとんど又は全てのパッチが前向きとして分類されている）かどうかを判定し、その後にパッチの法線の分類を隣接する法線の向きと一致するように変更する（例えば、最初のパッチの分類を前向きに変更する）ことによって、Ｖ－ＰＣＣと同様に実行される。

説明したように、メッシュをパッチにセグメント化するパッチ生成が実行される。パッチ生成では、１）ラスタライズされたメッシュ表面、及び２）頂点位置及び連結性情報も生成される。ラスタライズされたメッシュ表面は、Ｖ３Ｃ画像生成又はＶ－ＰＣＣ画像生成を受ける点の組であり、Ｖ３Ｃ画像又はＶ－ＰＣＣ画像として符号化される。頂点位置及び連結性情報は、ベースメッシュ符号化のために受け取られる。

本明細書で説明するパッチ生成は、Ｖ－ＰＣＣにおけるパッチ生成と同様のものである。ただし、点毎の法線を計算するのではなく三角形毎の法線を計算する。エッジ間のクロス積を利用して三角形毎の法線を計算して法線ベクトルを決定する。その後、法線に従って三角形をカテゴリ化する。例えば、法線を、前、後、上、下、左及び右などのｎ個（例えば、６個）のカテゴリに分割する。法線は、初期セグメンテーションを示すように異なる色で示される。図３には、異なる法線を示す異なる色として、黒色及び明るいグレーなどの異なる色をグレースケールで示す。見えにくいかもしれないが、上面（例えば、人の頭頂部、ボールの上面及びスニーカーの上面など）は１つの色（例えば、緑色）であり、人物／ボールの第一面は非常に暗く、別の色（例えば、赤色）を表しており、ボールの底面は別の色（例えば、紫色）であり、ほとんどが明るいグレーである人物及びボールの前面は別の色（例えば、シアン）を表している。

法線の積に方向を乗算することによって主方向を発見することができる。隣接する三角形に目を向けることによって平滑化／精緻化プロセスを実行することができる。例えば、閾値を上回る数の隣接する三角形が全て青色である三角形は、最初は赤色として示される異常があった場合でも青色として分類される。

三角形の連結成分を生成して、どの三角形が同じ色を有しているか（例えば、少なくとも１つの頂点を共有している同じカテゴリの三角形）を識別する。

連結性情報は、３Ｄにおいて点がどのように連結されているかを表す。これらの連結（より具体的には、３つの点を共有する３つの異なる連結）が組み合わさって三角形を生成し、この結果として（一群の三角形によって表される）面が生成される。本明細書では三角形について説明するが、他の幾何学的形状（例えば、矩形）も可能である。

色を使用して異なる色の三角形を識別することによって連結性を符号化する。３つの連結によって識別される各三角形は固有の色で符号化される。

図４に、いくつかの実施形態による、パッチ生成プロセスの構成要素の１つであるパッチラスタ化の図を示す。パッチ生成は、三角形（少なくとも１つの頂点を共有する同じカテゴリの三角形）の連結成分を生成することも含む。連結成分の境界ボックスが所定のエリアよりも小さい場合、三角形は独立三角形符号化のための別のリストに移される。これらの未投影三角形はラスタライズされず、関連する色の頂点を有する頂点として符号化される。そうでなければ、各三角形はパッチに投影される。頂点の投影位置がすでに占有されている場合、三角形は別のパッチ内で符号化され、後で再び処理されるように紛失三角形リスト（ｍｉｓｓｉｎｇ ｔｒｉａｎｇｌｅｓ ｌｉｓｔ）に入る。或いは、マップを使用して重複する頂点を識別し、重複する頂点を含む三角形をさらに表すこともできる。三角形は、点群表現のための点を生成するようにラスタライズされる。

ボクセル化された元々の頂点４００を示す。（点群表現に追加される）ラスタライズされた表面点４０２はメッシュの構造に従い、従って点群幾何形状は基礎を成すメッシュと同じぐらい低密度であることができる。しかしながら、この幾何形状は、各ラスタライズされた画素のさらなる位置を送信することによって改善することができる。

図５に、いくつかの実施形態によるＶ３Ｃ画像生成の図を示す。メッシュが投影されると、占有マップ、ジオメトリマップ及びテクスチャマップが生成される。Ｖ３Ｃ画像生成では、占有マップ及びジオメトリマップが従来通りに生成される。属性マップ（テクスチャ）は、未圧縮ジオメトリから生成される。

パッチが生成されると、パッチが２Ｄ画像上のどこに位置するかを示す情報が追加される。また、どれが頂点の位置であってどのように連結されているかも示される。これらのタスクは以下の構文によって実行される。

ｍｐｄｕ＿ｂｉｎａｒｙ＿ｏｂｊｅｃｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］が１に等しい場合には、タイルＩＤがｔｉｌｅＩＤに等しい現在のアトラスタイルの現在のパッチｐについての構文要素ｍｐｄｕ＿ｍｅｓｈ＿ｂｉｎａｒｙ＿ｏｂｊｅｃｔ＿ｓｉｚｅ＿ｂｙｔｅｓ［ｔｉｌｅＩＤ］［ｐ］及びｍｐｄｕ＿ｍｅｓｈ＿ｂｉｎａｒｙ＿ｏｂｊｅｃｔ［ｔｉｌｅＩＤ］［ｐ］［ｉ］が存在することが指定される。ｍｐｄｕ＿ｂｉｎａｒｙ＿ｏｂｊｅｃｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］が０に等しい場合には、現在のパッチについての構文要素ｍｐｄｕ＿ｍｅｓｈ＿ｂｉｎａｒｙ＿ｏｂｊｅｃｔ＿ｓｉｚｅ＿ｂｙｔｅｓ［ｔｉｌｅＩＤ］［ｐ］及びｍｐｄｕ＿ｍｅｓｈ＿ｂｉｎａｒｙ＿ｏｂｊｅｃｔ［ｔｉｌｅＩＤ］［ｐ］［ｉ］が存在しない。ｍｐｄｕ＿ｂｉｎａｒｙ＿ｏｂｊｅｃｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｔｉｌｅＩＤ］［ｐ］は、存在しない場合にはその値が０に等しいと推測される。
ｍｐｄｕ＿ｍｅｓｈ＿ｂｉｎａｒｙ＿ｏｂｊｅｃｔ＿ｓｉｚｅ＿ｂｙｔｅｓ［ｔｉｌｅＩＤ］［ｐ］は、メッシュ情報をバイナリ形態で表すために使用されるバイト数を指定する。
ｍｐｄｕ＿ｍｅｓｈ＿ｂｉｎａｒｙ＿ｏｂｊｅｃｔ［ｔｉｌｅＩＤ］［ｐ］［ｉ］は、ｐ番目のパッチのメッシュのバイナリ表現のｉバイトを指定する。
ｍｐｄｕ＿ｖｅｒｔｅｘ＿ｃｏｕｎｔ＿ｍｉｎｕｓ３［ｔｉｌｅＩＤ］［ｐ］＋３は、パッチ内に存在する頂点の数を指定する。
ｍｐｄｕ＿ｆａｃｅ＿ｃｏｕｎｔ［ｔｉｌｅＩＤ］［ｐ］は、パッチに存在する三角形の数を指定する。存在しない場合、ｍｐｄｕ＿ｆａｃｅ＿ｃｏｕｎｔ［ｔｉｌｅＩＤ］［ｐ］は０とされる。
ｍｐｄｕ＿ｆａｃｅ＿ｖｅｒｔｅｘ［ｔｉｌｅＩＤ］［ｐ］［ｉ］［ｋ］は、タイルＩＤがｔｉｌｅＩＤに等しい現在のアトラスタイルの現在のパッチｐのｉ番目の三角形又は四角形の頂点のインデックスのｋ番目の値を指定する。ｍｐｄｕ＿ｆａｃｅ＿ｖｅｒｔｅｘ［ｔｉｌｅＩＤ］［ｐ］［ｉ］［ｋ］の値は、０～ｍｐｄｕ＿ｖｅｒｔ＿ｃｏｕｎｔ＿ｍｉｎｕｓ３［ｔｉｌｅＩＤ］［ｐ］＋２の範囲内とされる。
ｍｐｄｕ＿ｖｅｒｔｅｘ＿ｐｏｓ＿ｘ［ｔｉｌｅＩＤ］［ｐ］［ｉ］は、タイルＩＤがｔｉｌｅＩＤに等しい現在のアトラスタイルの現在のパッチｐのｉ番目の頂点のＸ座標の値を指定する。
ｍｐｄｕ＿ｖｅｒｔｅｘ＿ｐｏｓ＿ｘ［ｐ］［ｉ］の値は、両端の値を含む０～ｍｐｄｕ＿２ｄ＿ｓｉｚｅ＿ｘ＿ｍｉｎｕｓ１［ｐ］の範囲内とされる。
ｍｐｄｕ＿ｖｅｒｔｅｘ＿ｐｏｓ＿ｙ［ｔｉｌｅＩＤ］［ｐ］［ｉ］は、タイルＩＤがｔｉｌｅＩＤに等しい現在のアトラスタイルの現在のパッチｐのｉ番目の頂点のｙ座標の値を指定する。
ｍｐｄｕ＿ｖｅｒｔｅｘ＿ｐｏｓ＿ｙ［ｔｉｌｅＩＤ］［ｐ］［ｉ］の値は、両端の値を含む０～ｍｐｄｕ＿２ｄ＿ｓｉｚｅ＿ｙ＿ｍｉｎｕｓ１［ｔｉｌｅＩＤ］［ｐ］の範囲内とされる。

メッシュパッチデータのいくつかの要素は、アトラスシーケンスパラメータセット（Ａｔｌａｓ Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＡＳＰＳ）において定められるパラメータによって制御される。メッシュのＡＳＰＳの新たな拡張機能を利用することができる。

ａｓｐｓ＿ｍｅｓｈ＿ｅｘｔｅｎｓｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１に等しい場合には、ａｔｌａｓ＿ｓｅｑｕｅｎｃｅ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｒｂｓｐ構文構造内にａｓｐｓ＿ｍｅｓｈ＿ｅｘｔｅｎｓｉｏｎ（）構文が存在することを指定する。
ａｓｐｓ＿ｍｅｓｈ＿ｅｘｔｅｎｓｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に等しい場合には、この構文構造が存在しないことを指定する。存在しない場合、ａｓｐｓ＿ｍｅｓｈ＿ｅｘｔｅｎｓｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は０に等しいと推測される。
ａｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿６ｂｉｔｓが０に等しい場合には、ＡＳＰＳ ＲＢＳＰ構文構造内にａｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ構文要素が存在しないことを指定する。存在する場合には、本文書のこのバージョンに準拠するビットストリームにおいてａｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿６ｂｉｔｓが０に等しいものとされる。０に等しいａｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿６ｂｉｔｓの値は、将来的にＩＳＯ／ＩＥＣによって使用されるように予約される。デコーダは、ａｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿６ｂｉｔｓの値が０に等しくないことを可能にし、ＡＳＰＳ ＮＡＬユニット内の全てのａｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ構文要素を無視するものとする。存在しない場合、ａｓｐｓ＿ｅｘｔｅｎｓｉｏｎ＿６ｂｉｔｓの値は０に等しいと推測される。

ａｓｐｓ＿ｍｅｓｈ＿ｂｉｎａｒｙ＿ｃｏｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合には、パッチに関連する頂点及び連結性情報がバイナリフォーマットで存在することを示す。
ａｓｐｓ＿ｍｅｓｈ＿ｂｉｎａｒｙ＿ｃｏｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合には、メッシュの頂点及び連結性データがバイナリフォーマットで存在しないことを示す。存在しない場合、ａｓｐｓ＿ｍｅｓｈ＿ｂｉｎａｒｙ＿ｃｏｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０であると推測される。
ａｓｐｓ＿ｍｅｓｈ＿ｂｉｎａｒｙ＿ｃｏｄｅｃ＿ｉｄは、パッチの頂点及び連結性情報を圧縮するために使用されるコーデックの識別子を示す。ａｓｐｓ＿ｍｅｓｈ＿ｂｉｎａｒｙ＿ｃｏｄｅｃ＿ｉｄは、両端の値を含む０～２５５の範囲内とされる。このコーデックは、ＡｎｎｅｘＡに定められるプロファイル、又は本文書外の手段を通じて識別することができる。
ａｓｐｓ＿ｍｅｓｈ＿ｑｕａｄ＿ｆａｃｅ＿ｆｌａｇが１に等しい場合には、ポリゴン表現に四角形が使用されることを示す。
ａｓｐｓ＿ｍｅｓｈ＿ｑｕａｄ＿ｆａｃｅ＿ｆｌａｇｅが０に等しい場合には、メッシュのポリゴン表現に三角形が使用されることを示す。存在しない場合、ａｓｐｓ＿ｍｅｓｈ＿ｑｕａｄ＿ｆｌａｇは０に等しいと推測される。
ａｓｐｓ＿ｍｅｓｈ＿ｖｅｒｔｉｃｅｓ＿ｉｎ＿ｖｅｒｔｅｘ＿ｍａｐ＿ｆｌａｇの値が１に等しい場合には、頂点ビデオデータ内に頂点情報が存在することを示す。ａｓｐｓ＿ｍｅｓｈ＿ｖｅｒｔｉｃｅｓ＿ｉｎ＿ｖｅｒｔｅｘ＿ｆｌａｇの値が０に等しい場合には、パッチデータ内に頂点情報が存在することを示する。存在しない場合、ａｓｐｓ＿ｍｅｓｈ＿ｖｅｒｔｉｃｅｓ＿ｉｎ＿ｖｅｒｔｅｘ＿ｍａｐ＿ｆｌａｇの値は０に等しいと推測される。

この構文では、４つの異なるタイプの頂点／連結性符号化が可能である。
１．頂点及び連結性情報をパッチ内で直接送信する。
２．頂点情報を頂点マップ内で送信し、面連結性をパッチ内で送信する。
３．頂点情報を頂点マップ内で送信し、（例えば、ボールピボッティング（ｂａｌｌ ｐｉｖｏｔｉｎｇ）又はポアソン再構成（Ｐｏｉｓｓｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を使用して）面連結性をデコーダ側で導出する。
４．外部メッシュエンコーダ（例えば、ＳＣ３ＤＭ、Ｄｒａｃｏ）を使用して頂点及び連結性情報を符号化する。
通常の３Ｄメッシュとは異なり、２Ｄメッシュが符号化される。

新たなＶ３Ｃビデオデータユニットは、頂点位置の情報を搬送する。このデータユニットは、投影された頂点の位置を示す２値を含むことも、或いは連結性再構成に使用すべきマルチレベル情報を含むこともできる。このデータユニットは、頂点を複数の層状に符号化することによって詳細度再構成を可能にすることができる。このデータユニットは、ＶＰＳ拡張機能を使用して追加パラメータを定めることができる。

ｖｕｈ＿ｌｏｄ＿ｉｎｄｅｘは、存在する場合には現在の頂点ストリームのｌｏｄインデックス（ｌｏｄ ｉｎｄｅｘ）を示す。
存在しない場合、現在の頂点サブビットストリームのｌｏｄインデックスは、サブビットストリームのタイプ、及び頂点ビデオサブビットストリームの項（ｓｕｂｃｌａｕｓｅ）Ｘ．Ｘに記載される動作にそれぞれ基づいて導出される。ｖｕｈ＿ｌｏｄ＿ｉｎｄｅｘの値は、存在する場合には、両端の値を含む０～ｖｍｓ＿ｌｏｄ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１［ｖｕｈ＿ａｔｌａｓ＿ｉｄ］の範囲内とされる。
ｖｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓは、存在する場合には、本文書のこのバージョンに準拠するビットストリームでは０に等しいものとされる。ｖｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓの他の値は、将来的にＩＳＯ／ＩＥＣによって使用されるように予約される。デコーダは、ｖｕｈ＿ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１３ｂｉｔｓの値を無視するものとする。

ｖｍｅ＿ｌｏｄ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１［ｋ］＋１は、アトラスＩＤ ｋのアトラスの頂点データの符号化に使用されるｌｏｄの数を示す。ｖｍｅ＿ｌｏｄ＿ｃｏｕｎｔ＿ｍｉｎｕｓ１［ｊ］は、両端の値を含む０～１５の範囲内とされる。
ｖｍｅ＿ｅｍｂｅｄ＿ｖｅｒｔｅｘ＿ｉｎ＿ｏｃｃｕｐａｎｃｙ＿ｆｌａｇ［ｋ］が１に等しい場合には、アトラスＩＤ ｋのアトラスの頂点情報がＸＸ項の占有マップから導出されることを指定する。
ｖｍｅ＿ｅｍｂｅｄ＿ｖｅｒｔｅｘ＿ｉｎ＿ｏｃｃｕｐａｎｃｙ＿ｆｌａｇ［ｋ］が０に等しい場合には、頂点情報が占有ビデオから導出されないことを示す。ｖｍｅ＿ｅｍｂｅｄ＿ｖｅｒｔｅｘ＿ｉｎ＿ｏｃｃｕｐａｎｃｙ＿ｆｌａｇ［ｋ］は、存在しない場合には０に等しいと推測される。
ｖｍｅ＿ｍｕｌｔｉｐｌｅ＿ｌｏｄ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｋ］が０に等しい場合には、アトラスＩＤ ｋを有するアトラスの全てのｌｏｄがそれぞれ単一の頂点ビデオストリーム内に配置されることを示す。ｖｍｅ＿ｍｕｌｔｉｐｌｅ＿ｌｏｄ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｋ］が１に等しい場合には、アトラスＩＤ ｋを有するアトラスの全てのｌｏｄが別のビデオストリーム内に配置されることを示す。ｖｍｅ＿ｍｕｌｔｉｐｌｅ＿ｌｏｄ＿ｓｔｒｅａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｋ］は、存在しない場合にはその値が０に等しいと推測される。
ｖｍｅ＿ｌｏｄ＿ａｂｓｏｌｕｔｅ＿ｃｏｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｊ］［ｉ］が１に等しい場合には、アトラスＩＤ ｋを有するアトラスのインデックスｉを有するｌｏｄがいかなる形態のマップ予測も伴わずに符号化されることを示す。
ｖｍｅ＿ｌｏｄ＿ａｂｓｏｌｕｔｅ＿ｃｏｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｋ］［ｉ］が０に等しい場合には、アトラスＩＤ ｋを有するアトラスのインデックスｉを有するｌｏｄが、先に符号化された別のマップから符号化前に最初に予測されることを示す。ｖｍｅ＿ｌｏｄ＿ａｂｓｏｌｕｔｅ＿ｃｏｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｊ］［ｉ］は、存在しない場合にはその値が１に等しいと推測される。
ｖｍｅ＿ｌｏｄ＿ｐｒｅｄｉｃｔｏｒ＿ｉｎｄｅｘ＿ｄｉｆｆ［ｋ］［ｉ］は、ｖｐｓ＿ｍａｐ＿ａｂｓｏｌｕｔｅ＿ｃｏｄｉｎｇ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｊ］［ｉ］が０に等しい時に、アトラスＩＤ ｋを有するアトラスのインデックスｉを有するｌｏｄの予測子を計算するために使用される。具体的には、ｌｏｄ ｉのマップ予測子インデックスであるＬｏｄＰｒｅｄｉｃｔｏｒＩｎｄｅｘ［ｉ］は以下のように計算されるものとする。
ＬｏｄＰｒｅｄｉｃｔｏｒＩｎｄｅｘ［ｉ］＝（ｉ－１）－ｖｍｅ＿ｌｏｄ＿ｐｒｅｄｉｃｔｏｒ＿ｉｎｄｅｘ＿ｄｉｆｆ［ｊ］［ｉ］
ｖｍｅ＿ｌｏｄ＿ｐｒｅｄｉｃｔｏｒ＿ｉｎｄｅｘ＿ｄｉｆｆ［ｊ］［ｉ］の値は、両端の値を含む０～ｉ－１の範囲内とされる。ｖｍｅ＿ｌｏｄ＿ｐｒｅｄｉｃｔｏｒ＿ｉｎｄｅｘ＿ｄｉｆｆ［ｊ］［ｉ］は、存在しない場合にはその値が０に等しいと推測される。
ｖｍｅ＿ｖｅｇｒｔｅｘ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｋ］が０に等しい場合には、ＩＤ ｋを有するアトラスが頂点データを有していないことを示す。
ｖｍｓ＿ｖｅｒｔｅｘ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｋ］が１に等しい場合には、ＩＤ ｋを有するアトラスが頂点データを有することを示す。ｖｍｓ＿ｖｅｒｔｅｘ＿ｖｉｄｅｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ［ｊ］は、存在しない場合には０に等しいと推測される。

ｖｉ＿ｖｅｒｔｅｘ＿ｃｏｄｅｃ＿ｉｄ［ｊ］は、アトラスＩＤ ｊを有するアトラスの頂点情報を圧縮するために使用されるコーデックの識別子を示す。
ｖｉ＿ｖｅｒｔｅｘ＿ｃｏｄｅｃ＿ｉｄ［ｊ］は、両端の値を含む０～２５５の範囲とされる。このコーデックは、プロファイル、コンポーネントコーデックマッピングＳＥＩメッセージ、又は本文書外の手段を通じて識別することができる。
ｖｉ＿ｌｏｓｓｙ＿ｖｅｒｔｅｘ＿ｃｏｍｐｒｅｓｓｉｏｎ＿ｔｈｒｅｓｈｏｌｄ［ｊ］は、アトラスＩＤ ｊを有するアトラスの復号頂点ビデオからバイナリ頂点を導出するために使用される閾値を示す。ｖｉ＿ｌｏｓｓｙ＿ｖｅｒｔｅｘ＿ｃｏｍｐｒｅｓｓｉｏｎ＿ｔｈｒｅｓｈｏｌｄ［ｊ］は、両端の値を含む０～２５５の範囲とされる。
ｖｉ＿ｖｅｒｔｅｘ＿２ｄ＿ｂｉｔ＿ｄｅｐｔｈ＿ｍｉｎｕｓ１［ｊ］＋１は、アトラスＩＤ ｊを有するアトラスの頂点ビデオを変換すべき公称２Ｄビット深度を表す。ｖｉ＿ｖｅｒｔｅｘ＿２ｄ＿ｂｉｔ＿ｄｅｐｔｈ＿ｍｉｎｕｓ１［ｊ］は、両端の値を含む０～３１の範囲とされる。
ｖｉ＿ｖｅｒｔｅｘ＿ＭＳＢ＿ａｌｉｇｎ＿ｆｌａｇ［ｊ］は、アトラスＩＤ ｊを有するアトラスに関連する復号頂点ビデオサンプルが公称頂点ビット深度におけるサンプルにどのように変換されるかを示す。

図６に、いくつかの実施形態による頂点ビデオデータの画像を示す。頂点ビデオデータは、複数の層を使用して階層的メッシュ符号化に有用な詳細度を示す。１つの層のみを使用する場合には、複数の復号インスタンスの生成を避けるためにビデオデータを占有マップに埋め込むことができる。表面再構成アルゴリズム（例えば、ポアソン表面再構成及びボールピボッティング）を使用して連結性情報を生成することができる。

頂点ビデオデータは、画像内にドット／点として現れる。これらの点は、投影画像内のどこに頂点が位置するかを示す。頂点ビデオデータは、図６００に示すように別のビデオ内で直接送信することも、或いは占有画像６０２に埋め込むこともできる。図形６０４はボールピボッティングの例を示す。

図７に、いくつかの実施形態による例示的な詳細度生成の画像を示す。頂点を層状に組み合わせてメッシュのマルチレベル表現を生成することができる。詳細度の生成が指定される。画像７００には、７６２個の頂点及び１，２４５個の面を有する元々の点群を示す。全てのデータを送信する代わりに頂点／連結性のうちの１０％のみを送信し、これは画像７０２に示すような５８個の頂点及び８２個の面を送信する１０％のクラスタリングデシメーション（ｃｌｕｓｔｅｒｉｎｇ ｄｅｃｉｍａｔｉｏｎ）である。画像７０４は、２１３個の頂点及び５１２個の面を送信する５％のクラスタリングデシメーションを示す。画像７０６は、６０５個の頂点及び９７８個の面を送信する２．５％のクラスタリングデシメーションを示す。層を分離することにより、複数の層を段階的に（例えば、第１の層は１０％デシメーション、第２の層は５％、第３の層は２．５％）送信して品質を改善することができる。層を組み合わせてメッシュの元々の（或いはそれに近い）頂点数及び面数を取得することができる。

図８に、いくつかの実施形態によるメッシュの図を示す。いくつかの実施形態では、ＳＣ３ＤＭ（ＭＰＥＧ）を使用してパッチ毎にメッシュ情報を符号化することができる。ＳＣ３ＤＭは、連結性情報及び（ｕ、ｖ）情報を符号化するために使用することができる。ある実施形態では、Ｄｒａｃｏを使用してパッチ毎にメッシュ情報を符号化する。Ｄｒａｃｏは、連結性情報及び（ｕ，ｖ）情報を符号化するために使用することができる。

図９は、いくつかの実施形態によるメッシュ再構成の図である。連結性は新たな頂点ナンバリングを使用するが、パッチは共に追加することができる。継ぎ目の頂点は、圧縮に起因して一致しないことがある。この問題に対処するために、メッシュスムージング（Ｍｅｓｈ ｓｍｏｏｔｈｉｎｇ）又はジッパリングアルゴリズム（ｚｉｐｐｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ）を使用することができる。

図１０に、いくつかの実施形態による、点群パッチとメッシュパッチとの混合物を送信できる高レベル構文及び画像の図を示す。メッシュはパッチレベルで記述されるので、オブジェクトのパッチを混合して一致させることができる。例えば、頭部又は毛髪に点群のみのパッチ（ｐｏｉｎｔ ｃｌｏｕｄ ｏｎｌｙ ｐａｔｃｈｅｓ）を使用し、身体などの平らなエリアにメッシュパッチを使用することができる。

追跡されたメッシュパッチデータユニットは、パッチを使用して、パッチ間で連結性が変化していないことを示すことができる。追跡されたメッシュでは、デルタ位置のみが送信されるため特に有用である。追跡されたメッシュでは、境界ボックスの位置及び回転（四元数を使用して新たに導入される構文要素）によって捕捉できる全体的な動きと、頂点の動きによって捕捉できる表面的な動きとが発生する。頂点の動きは、パッチ情報内で明示的に送信することができ、或いは基準パッチがＶ３Ｃ＿ＶＶＤデータを使用している場合にはビデオデータから導出することができる。デルタ頂点情報を送信するビットの数は、アトラスフレームパラメータセット（Ａｔｌａｓ Ｆｒａｍｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＡＦＰＳ）で送信することができる。或いは、動き情報をホモグラフィ変換（ｈｏｍｏｇｒａｐｈｙ ｔｒａｎｓｆｏｒｍ）として送信することもできる。

ｔｍｐｄｕ＿ｖｅｒｔｉｃｅｓ＿ｃｈａｎｇｅｄ＿ｐｏｓｉｔｉｏｎ＿ｆｌａｇは、頂点が位置を変化させか否かを指定する。
ｔｍｐｄｕ＿ｖｅｒｔｅｘ＿ｄｅｌｔａ＿ｐｏｓ＿ｘ［ｐ］［ｉ］は、パッチｐのｉ番目の頂点のｘ座標値と、ｔｍｐｄｕ＿ｒｅｆ＿ｉｎｄｅｘ［ｐ］によって示される一致するパッチのｘ座標値との差分を指定する。ｔｍｐｄｕ＿ｖｅｒｔｅｘ＿ｐｏｓ＿ｘ［ｐ］［ｉ］の値は、両端の値を含む０～ｐｏｗ２（ａｆｐｓ＿ｎｕｍ＿ｂｉｔｓ＿ｄｅｌｔａ＿ｘ）－１の範囲内とされる。
ｔｍｐｄｕ＿ｖｅｒｔｅｘ＿ｄｅｌｔａ＿ｐｏｓ＿ｙ［ｐ］［ｉ］は、パッチｐのｉ番目の頂点のｙ座標値と、ｔｍｐｄｕ＿ｒｅｆ＿ｉｎｄｅｘ［ｐ］によって示される一致するパッチのｙ座標値との差分を指定する。ｔｍｐｄｕ＿ｖｅｒｔｅｘ＿ｐｏｓ＿ｘ［ｐ］［ｉ］の値は、両端の値を含む０～ｐｏｗ２（ａｆｐｓ＿ｎｕｍ＿ｂｉｔｓ＿ｄｅｌｔａ＿ｙ）－１の範囲内とされる。
ｔｍｐｄｕ＿ｒｏｔａｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、回転値が存在するか否かを指定する。
ｔｍｐｄｕ＿３ｄ＿ｒｏｔａｔｉｏｎ＿ｑｘは、四元数表現を使用して現在のパッチのジオメトリ回転のｘ成分であるｑＸを指定する。ｔｍｐｄｕ＿３ｄ＿ｒｏｔａｔｉｏｎ＿ｑｘの値は、両端の値を含む－２¹⁵～２¹⁵－１の範囲内とされる。ｔｍｐｄｕ＿３ｄ＿ｒｏｔａｔｉｏｎ＿ｑｘは、存在しない場合にはその値が０に等しいと推測される。ｑＸの値は以下のように計算される。
ｑＸ＝ｔｍｐｄｕ＿３ｄ＿ｒｏｔａｔｉｏｎ＿ｑｘ÷２¹⁵
ｔｍｐｄｕ＿３ｄ＿ｒｏｔａｔｉｏｎ＿ｑｙは、四元数表現を使用して現在のパッチのジオメトリ回転のｙ成分であるｑＹを指定する。ｔｍｐｄｕ＿３ｄ＿ｒｏｔａｔｉｏｎ＿ｑｙの値は、両端の値を含む－２¹⁵～２¹⁵－１の範囲内とされる。ｔｍｐｄｕ＿３ｄ＿ｒｏｔａｔｉｏｎ＿ｑｙは、存在しない場合にはその値が０に等しいと推測される。ｑＹの値は以下のように計算される。
ｑＹ＝ｔｍｐｄｕ＿３ｄ＿ｒｏｔａｔｉｏｎ＿ｑｙ÷２¹⁵
ｔｍｐｄｕ＿３ｄ＿ｒｏｔａｔｉｏｎ＿ｑｚは、四元数表現を使用して現在のパッチのジオメトリ回転のｚ成分であるｑＺを指定する。ｔｍｐｄｕ＿３ｄ＿ｒｏｔａｔｉｏｎ＿ｑｚの値は、両端の値を含む－２¹⁵～２¹⁵－１の範囲内とされる。ｔｍｐｄｕ＿３ｄ＿ｒｏｔａｔｉｏｎ＿ｑｚは、存在しない場合にはその値が０に等しいと推測される。ｑＺの値は以下のように計算される。
ｑＺ＝ｔｍｐｄｕ＿３ｄ＿ｒｏｔａｔｉｏｎ＿ｑｚ÷２¹⁵
四元数表現を使用する現在の点群画像のジオメトリ回転の第４の成分であるｑＷは以下のように計算される。
ｑＷ＝Ｓｑｒｔ（１－（ｑＸ²＋ｑＹ²＋ｑＺ²））
単位四元数は、以下のような回転行列Ｒとして表すことができる。

図１１Ａ～図１１Ｂに、いくつかの実施形態による、未追跡のメッシュ情報と追跡されたメッシュ情報とを組み合わせた図を示す。追跡問題を避けるために、いくつかのアルゴリズムは、メッシュを追跡部分と未追跡部分とにセグメント化する。追跡部分は、時間的に一貫性があって、提案するｔｒａｃｋｅｄ＿ｍｅｓｈ＿ｐａｔｃｈ＿ｄａｔａ＿ｕｎｉｔ（）によって表すことができるのに対し、未追跡部分は各フレームが新しく、ｍｅｓｈ＿ｐａｔｃｈ＿ｄａｔａ＿ｕｎｉｔ（）によって表すことができる。この表記法では点群をジオメトリに混合させることができるので、表面表現を改善する（例えば、元々のメッシュを保持し、メッシュ上に点群を挿入して欠陥を隠す）こともできる。

図１２に、いくつかの実施形態によるパッチベースのエッジ消去（ｐａｔｃｈ－ｂａｓｅｄ ｅｄｇｅ ｃｏｌｌａｐｓｅ）の例示的な画像を示す。符号化された三角形の数を減少させるために、パッチデータにエッジ消去フィルタを適用することができる。レンダリングを改善するために、ジオメトリ及びテクスチャ情報はそのままにしておくことができる。微細ジオメトリデータを使用することによってメッシュ単純化を逆転させることができる。Ｍｅｓｈｌａｂは、境界を保存する場合でもエッジ消去を適用するオプションを有する。しかしながら、このアルゴリズムは３Ｄ空間内で機能し、メッシュの投影特性を使用しない。新たな着想は、「２Ｄ投影パッチ領域におけるエッジ消去フィルタ」の実行、すなわちエッジの２Ｄ特性を考慮しながらパッチデータにエッジ消去を適用することである。

画像１２００は、５，６８５個の頂点及び８，４３７個の面を有する元々の高密度メッシュを示す。画像１２０２は、２，９８７個の頂点及び３，０４１個の面を有するパッチエッジ消去（境界を保存）を示す。画像１２０４は、１，３７３個の頂点及び１，２８５個の面を有するパッチエッジ消去を示す。画像１２０６は、２２４個の頂点及び３３３個の面を有する完全なメッシュエッジ消去を示す。

図１３に、いくつかの実施形態によるパッチベースのクラスタリングデシメーションの例示的な画像を示す。Ｍｅｓｈｌａｂは、３Ｄグリッドに基づいてデシメーション（クラスタリングデシメーション）を実行するオプションを有する。パッチは２Ｄでの投影データであるため、代わりに２Ｄ空間内でデシメーションを実行することができる。さらに、デシメーションされた頂点の数を保持して（微細ジオメトリデータ及び面細分化を使用して）面を再構成することもできる。この情報を占有マップ内で送信することができる。

画像１３００は、５，６８５個の頂点及び８，４３７個の面を有する元々の高密度メッシュを示す。画像１３０２は、３，３２１個の頂点及び４，５３８個の面を有するクラスタリングデシメーション（１％）を示す。画像１３０４は、７３０個の頂点及び８７０個の面を有するクラスタリングデシメーション（２．５％）を示す。画像１３０６は、２１６個の頂点及び２２８個の面を有するクラスタリングデシメーション（５％）を示す。画像１３０８は、９０個の頂点及び１０４個の面を有するクラスタリングデシメーション（１０％）を示す。

図１４に、いくつかの実施形態によるパッチベースの表面細分化の例示的な画像を示す。Ｍｅｓｈｌａｂは、より細かなメッシュを生成するための複数のフィルタを有するが、これらはいささか発見的である（例えば、三角形を中点で分割する）。ジオメトリ情報を使用して三角形をどこで分割すべきであるかを誘導すれば、より良い結果を得ることができる。例えば、低解像度メッシュから高解像度メッシュを生成することができる。メッシュ情報のアップサンプリングはジオメトリによって誘導される。

画像１４００は、２２４個の頂点及び３３３個の面を有するメッシュを示す。画像１４０２は、７８４個の頂点及び１３３２個の面を有する細分化表面：中点（１回反復）を示す。画像１４０４は、２，８９２個の頂点及び５，３０８個の面を有する細分化表面：中点（２回反復）を示す。画像１４０６は、８，５６４個の頂点及び１６，３００個の面を有する細分化表面：中点（３回反復）を示す。

図１５に、いくつかの実施形態によるパッチベースの表面再構成の例示的な画像を示す。Ｍｅｓｈｌａｂは、点群からメッシュ表面を再構成するフィルタ（スクリーンポワソン及びボールピボッティング）を有する。これらのアルゴリズムを使用して、メッシュ連結性をデコーダ側でパッチレベルで再構成することができる（例えば、占有マップを介して利用できる頂点リストがシグナリングされる）。いくつかの実施形態では、連結性情報が送信されず、ポアソン又はボールピボッティングを使用して連結性情報を再生することができる。

画像１５００は、５，６８５個の頂点を有する高密度頂点クラウドを示す。画像１５０２は、１３，１０４個の頂点及び２６，０３３個の面を有するポアソン表面再構成を示す。画像１５０４は、５，６８５個の頂点及び１０，４５９個の面を有するボールピボッティングを示す。

いくつかの実施形態では、頂点の位置が占有マップから取得される。占有マップに埋め込まれた色情報を使用することができる。エンコーダ側で、各三重頂点セットに関連する顔領域を固定色で塗装する。塗装色は顔毎に独特であり、色のセグメント化が容易であるように選択される。ｍ－ａｒｙレベルの占有マップが使用される。デコーダ側で占有マップを復号する。セグメント化された色に基づいて顔情報を導出する。

いくつかの実施形態では、頂点の位置が占有率から取得される。顔情報を搬送する新たな属性が割り当てられる。エンコーダ側で、顔の数に等しいサイズ（幅×高さ）の属性矩形を生成する。この属性は３次元を有するのに対し、各次元は三重頂点のうち１つの頂点のインデックスを搬送する。デコーダ側で属性ビデオを復号する。復号された属性ビデオから顔情報を導出する。

いくつかの実施形態では、頂点の位置が、ドロネー三角形分割（Ｄｅｌａｕｎａｙ ｔｒｉａｎｇｕｌａｔｉｏｎ）を使用して占有マップから取得される。デコーダ側で占有マップビデオを復号する。復号された占有マップから取得された頂点を三角形分割する。三角形分割された点を使用して顔情報を取得する。

図１６に、いくつかの実施形態による三角形エッジ検出の図を示す。オリジナル画像１６００は、青色、赤色及び黄色の三角形を有する。セグメント化された青色三角形画像１６０２は青色の三角形を示し、セグメント化された赤色三角形画像１６０４は赤色の三角形を示し、セグメント化された黄色三角形画像１６０６は黄色の三角形を示す。

これらの三角形を色に基づいてグループ化することができる。これらの三角形をセグメント化することにより、三角形がどこに存在するか、三角形のエッジがどこに存在するか、さらには交差するエッジに基づいて頂点がどこに存在するかを示すことができる。

図１７に、いくつかの実施形態による、色に基づいて分離された三角形のセグメント化されたエッジの図を示す。オリジナル画像１６００は、青色、赤色及び黄色の三角形を有する。セグメント化された青色エッジ画像１７００は青色の三角形のエッジを示し、セグメント化された赤色エッジ画像１７０２は赤色の三角形のエッジを示し、セグメント化された黄色エッジ画像１７０４は黄色の三角形のエッジを示す。

図１８に、いくつかの実施形態による結合三角形のセグメント化されたエッジの図を示す。オリジナル画像１６００は、青色、赤色及び黄色の三角形を有する。三角形エッジ画像１８００には、結合されたエッジを示す。

図１９～図２３に、いくつかの実施形態によるエッジのサイズ変更及び再スケーリングの図を示す。画像、三角形及び／又はエッジはサイズ変更（例えば、縮小）することができ、その後にサイズ変更された三角形を検出し、再スケーリングされたエッジを決定し、サイズ変更されたエッジを決定／生成することができる。

本明細書で説明したように、セグメンテーションを実行し、エッジ、三角形及び頂点を発見し、どの位置が連結されているかを決定することにより、色を使用して三角形の位置及び三角形の連結性を符号化することができる。

図２４に、いくつかの実施形態による、ビデオベースのメッシュ圧縮法を実装するように構成された例示的なコンピュータ装置のブロック図を示す。コンピュータ装置２４００は、３Ｄコンテンツを含む画像及びビデオなどの情報の取得、記憶、計算、処理、通信及び／又は表示のために使用することができる。コンピュータ装置２４００は、符号化／復号の態様のいずれかを実装することができる。一般に、コンピュータ装置２４００を実装するのに適したハードウェア構造は、ネットワークインターフェイス２４０２、メモリ２４０４、プロセッサ２４０６、Ｉ／Ｏ装置２４０８、バス２４１０及び記憶装置２４１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサが選択される限り重要ではない。メモリ２４０４は、当業で周知のいずれかの従来のコンピュータメモリとすることができる。記憶装置２４１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、ウルトラＨＤドライブ、フラッシュメモリカード、又はその他のいずれかの記憶装置を含むことができる。コンピュータ装置２４００は、１又は２以上のネットワークインターフェイス２４０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置２４０８は、キーボード、マウス、モニタ、画面、プリンタ、モデム、タッチ画面、ボタンインターフェイス及びその他の装置のうちの１つ又は２つ以上を含むことができる。記憶装置２４１２及びメモリ２４０４には、ビデオベースのメッシュ圧縮の実装を実行するために使用される（単複の）ビデオベースのメッシュ圧縮アプリケーション２４３０が記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置２４００には、図２４に示すものよりも多くの又は少ないコンポーネントを含めることもできる。いくつかの実施形態では、高密度メッシュ圧縮ハードウェア２４２０が含まれる。図２４のコンピュータ装置２４００は、ビデオベースのメッシュ圧縮の実装のためのアプリケーション２４３０及びハードウェア２４２０を含むが、ビデオベースのメッシュ圧縮法は、ハードウェア、ファームウェア、ソフトウェア、又はこれらのいずれかの組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、高密度メッシュ圧縮アプリケーション２４３０がメモリにプログラムされ、プロセッサを使用して実行される。別の例として、いくつかの実施形態では、ビデオベースのメッシュ圧縮ハードウェア２４２０が、ビデオベースのメッシュ圧縮法を実装するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。

いくつかの実施形態では、（単複の）ビデオベースのメッシュ圧縮アプリケーション２４３０が、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールが１又は２以上のサブモジュールも含む。いくつかの実施形態では、これよりも少ない又はさらなるモジュールを含めることもできる。

好適なコンピュータ装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートホン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤなど）、テレビ、家庭用エンターテイメントシステム、拡張現実装置、仮想現実装置、スマートジュエリ（例えば、スマートウォッチ）、車両（例えば、自動走行車両）、又はその他のいずれかの好適なコンピュータ装置が挙げられる。

図２５に、いくつかの実施形態によるビデオベースのメッシュ圧縮を実装するように構成されたシステムの図を示す。エンコーダ２５００は、符号化プロセスを実行するように構成される。本明細書で説明したように、ビデオベースのメッシュ圧縮などのいずれかの符号化を実行することができる。メッシュ及びその他の情報は、デコーダ２５０４に直接又はネットワーク２５０２を介して通信することができる。ネットワークは、ローカルエリアネットワーク（ＬＡＮ）、インターネット、無線ネットワーク、有線ネットワーク、セルラーネットワーク、及び／又は他のいずれかのネットワーク又はネットワークの組み合わせなどの、いずれかのタイプのネットワークとすることができる。デコーダ２５０４は、符号化コンテンツを復号する。

ビデオベースのメッシュ圧縮法を利用するには、装置が３Ｄコンテンツ（例えば、点群コンテンツ）を取得又は受信する。ビデオベースのメッシュ圧縮法は、ユーザの支援を伴って、又はユーザの関与を伴わずに自動的に実行することができる。

動作中、ビデオベースのメッシュ圧縮法は、これまでの実装に比べて効率的かつ正確な３Ｄコンテンツ符号化を可能にする。

ビデオベースのメッシュ圧縮のいくつかの実施形態
１．入力されたメッシュに対してメッシュボクセル化を実行することと、ラスタライズされたメッシュ表面と頂点位置及び連結性情報とを含むパッチに前記メッシュをセグメント化するパッチ生成を実行することと、前記ラスタライズされたメッシュ表面から、視覚的ボリュメトリックビデオベース圧縮（Ｖ３Ｃ）画像を生成することと、前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することと、前記Ｖ３Ｃ画像及び前記ビデオベースのメッシュ圧縮に基づいてＶ３Ｃビットストリームを生成することと、を含む方法。

２．前記頂点位置及び連結性情報は、表面パッチの三角形情報を含む、条項１に記載の方法。

３．前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することから得られるデータは、頂点ビデオコンポーネント構造にカプセル化される、条項１に記載の方法。

４．前記頂点ビデオコンポーネント構造は、頂点の組を層状に分離してメッシュ連結性の詳細度を生成することによって階層的メッシュ符号化を可能にする、条項３に記載の方法。

５．１つの層のみが実装される場合、ビデオデータが占有マップに埋め込まれる、条項１に記載の方法。

６．前記連結性情報は、ポアソン表面再構成又はボールピボッティングを含む表面再構成アルゴリズムを使用して生成される、条項１に記載の方法。

７．前記ラスタライズされたメッシュ表面から前記Ｖ３Ｃ画像を生成することは、未追跡のメッシュ情報と追跡されたメッシュ情報とを組み合わせることを含む、条項１に記載の方法。

８．２次元投影パッチ領域においてエッジ消去フィルタを実行することをさらに含む、条項１に記載の方法。

９．前記連結性情報のパッチベースの表面細分化を実行することをさらに含む、条項１に記載の方法。

１０．入力されたメッシュに対してメッシュボクセル化を実行し、ラスタライズされたメッシュ表面と頂点位置及び連結性情報とを含むパッチに前記メッシュをセグメント化するパッチ生成を実行し、前記ラスタライズされたメッシュ表面から、視覚的ボリュメトリックビデオベース圧縮（Ｖ３Ｃ）画像を生成し、前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行し、前記Ｖ３Ｃ画像及び前記ビデオベースのメッシュ圧縮に基づいてＶ３Ｃビットストリームを生成する、ためのアプリケーションを記憶する非一時的メモリと、前記メモリに結合されて前記アプリケーションを処理するように構成されたプロセッサと、を備える装置。

１１．前記頂点位置及び連結性情報は、表面パッチの三角形情報を含む、条項１０に記載の装置。

１２．前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することから得られるデータは、頂点ビデオコンポーネント構造にカプセル化される、条項１０に記載の装置。

１３．前記頂点ビデオコンポーネント構造は、頂点の組を層状に分離してメッシュ連結性の詳細度を生成することによって階層的メッシュ符号化を可能にする、条項１２に記載の装置。

１４．１つの層のみが実装される場合、ビデオデータが占有マップに埋め込まれる、条項１０に記載の装置。

１５．前記連結性情報は、ポアソン表面再構成又はボールピボッティングを含む表面再構成アルゴリズムを使用して生成される、条項１０に記載の装置。

１６．前記ラスタライズされたメッシュ表面から前記Ｖ３Ｃ画像を生成することは、未追跡のメッシュ情報と追跡されたメッシュ情報とを組み合わせることを含む、条項１０に記載の装置。

１７．前記アプリケーションは、２次元投影パッチ領域においてエッジ消去フィルタを実行するようにさらに構成される、条項１０に記載の装置。

１８．前記アプリケーションは、前記連結性情報のパッチベースの表面細分化を実行するようにさらに構成される、条項１０に記載の装置。

１９．３次元コンテンツを取得する１又は２以上のカメラと、入力されたメッシュに対してメッシュボクセル化を実行し、ラスタライズされたメッシュ表面と頂点位置及び連結性情報とを含むパッチに前記メッシュをセグメント化するパッチ生成を実行し、前記ラスタライズされたメッシュ表面から、視覚的ボリュメトリックビデオベース圧縮（Ｖ３Ｃ）画像を生成し、前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行し、前記Ｖ３Ｃ画像及び前記ビデオベースのメッシュ圧縮に基づいてＶ３Ｃビットストリームを生成する、ことによって前記３次元コンテンツを符号化するエンコーダと、を備えるシステム。

２０．前記頂点位置及び連結性情報は、表面パッチの三角形情報を含む、条項１９に記載のシステム。

２１．前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することから得られるデータは、頂点ビデオコンポーネント構造にカプセル化される、条項１９に記載のシステム。

２２．前記頂点ビデオコンポーネント構造は、頂点の組を層状に分離してメッシュ連結性の詳細度を生成することによって階層的メッシュ符号化を可能にする、条項２１に記載のシステム。

２３．１つの層のみが実装される場合、ビデオデータが占有マップに埋め込まれる、条項１９に記載のシステム。

２４．前記連結性情報は、ポアソン表面再構成又はボールピボッティングを含む表面再構成アルゴリズムを使用して生成される、条項１９に記載のシステム。

２５．前記ラスタライズされたメッシュ表面から前記Ｖ３Ｃ画像を生成することは、未追跡のメッシュ情報と追跡されたメッシュ情報とを組み合わせることを含む、条項１９に記載のシステム。

２６．前記エンコーダは、２次元投影パッチ領域においてエッジ消去フィルタを実行するように構成される、条項１９に記載のシステム。

２７．前記エンコーダは、前記連結性情報のパッチベースの表面細分化を実行するように構成される、条項１９に記載のシステム。

本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこれらの実施形態の詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。当業者には、特許請求の範囲によって定められる本発明の趣旨及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。

１００ 入力メッシュ
１０２ メッシュボクセル化
１０４ パッチ生成
１０６ Ｖ３Ｃ画像生成
１０８ ベースメッシュ符号化（符号化なし）
１１０ Ｖ３Ｃビットストリーム
１１２ 点群再構成
１１４ メッシュ再構成

Claims (18)

1. 入力されたメッシュに対してメッシュボクセル化を実行することと、
   表面上の点をサンプリングして形状画像及び表面の属性が生成されたメッシュ表面と頂点位置及び連結性情報とを含むパッチに前記メッシュをセグメント化するパッチ生成を実行することと、
   前記生成されたメッシュ表面から、視覚的ボリュメトリックビデオベース圧縮（Ｖ３Ｃ）画像を生成することと、
   前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することと、
   前記Ｖ３Ｃ画像及び前記ビデオベースのメッシュ圧縮に基づいてＶ３Ｃビットストリームを生成することと、
   を含み、
   前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することから得られるデータは、頂点の組を層状に分離してメッシュの頂点数及び面数を含むメッシュ連結性の詳細度を生成することによって、メッシュ情報を符号化する階層的メッシュ符号化を可能に構成された頂点ビデオコンポーネント構造にカプセル化され、
   前記生成されたメッシュ表面から前記Ｖ３Ｃ画像を生成することは、パッチの頂点の動きが未追跡のメッシュ情報とパッチの頂点の動きが追跡されたメッシュ情報とを組み合わせることを含む、
   ことを特徴とする方法。
2. 前記頂点位置及び連結性情報は、表面パッチの三角形情報を含む、
   請求項１に記載の方法。
3. 前記頂点ビデオコンポーネント構造において、前記頂点の組の１つの層のみが実装される場合、前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することから得られるビデオデータが占有マップに埋め込まれる、
   請求項１に記載の方法。
4. 前記連結性情報は、ポアソン表面再構成又はボールピボッティングを含む表面再構成アルゴリズムを使用して生成される、
   請求項１に記載の方法。
5. エッジの２次元特性を考慮しながらパッチデータにエッジ消去を適用することをさらに含む、
   請求項１に記載の方法。
6. 前記連結性情報を使用してパッチごとにメッシュ表面の細分化を実行することをさらに含む、
   請求項１に記載の方法。
7. 入力されたメッシュに対してメッシュボクセル化を実行し、
   表面上の点をサンプリングして形状画像及び表面の属性が生成されたメッシュ表面と頂点位置及び連結性情報とを含むパッチに前記メッシュをセグメント化するパッチ生成を実行し、
   前記生成されたメッシュ表面から、視覚的ボリュメトリックビデオベース圧縮（Ｖ３Ｃ）画像を生成し、
   前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行し、
   前記Ｖ３Ｃ画像及び前記ビデオベースのメッシュ圧縮に基づいてＶ３Ｃビットストリームを生成する、
   ためのアプリケーションを記憶する非一時的メモリと、
   前記メモリに結合されて前記アプリケーションを処理するように構成されたプロセッサと、
   を備え、
   前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することから得られるデータは、頂点の組を層状に分離して、メッシュの頂点数及び面数を含むメッシュ連結性の詳細度を生成することによって、メッシュ情報を符号化する階層的メッシュ符号化を可能に構成された頂点ビデオコンポーネント構造にカプセル化され、
   前記生成されたメッシュ表面から前記Ｖ３Ｃ画像を生成することは、パッチの頂点の動きが未追跡のメッシュ情報とパッチの頂点の動きが追跡されたメッシュ情報とを組み合わせることを含む、
   ことを特徴とする装置。
8. 前記頂点位置及び連結性情報は、表面パッチの三角形情報を含む、
   請求項７に記載の装置。
9. 前記頂点ビデオコンポーネント構造において、前記頂点の組の１つの層のみが実装される場合、前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することから得られるビデオデータが占有マップに埋め込まれる、
   請求項７に記載の装置。
10. 前記連結性情報は、ポアソン表面再構成又はボールピボッティングを含む表面再構成アルゴリズムを使用して生成される、
    請求項７に記載の装置。
11. 前記アプリケーションは、エッジの２次元特性を考慮しながらパッチデータにエッジ消去を適用するようにさらに構成される、
    請求項７に記載の装置。
12. 前記アプリケーションは、前記連結性情報を使用してパッチごとにメッシュ表面の細分化を実行するようにさらに構成される、
    請求項７に記載の装置。
13. ３次元コンテンツを取得する１又は２以上のカメラと、
    入力されたメッシュに対してメッシュボクセル化を実行し、
    表面上の点をサンプリングして形状画像及び表面の属性が生成されたメッシュ表面と頂点位置及び連結性情報とを含むパッチに前記メッシュをセグメント化するパッチ生成を実行し、
    前記生成されたメッシュ表面から、視覚的ボリュメトリックビデオベース圧縮（Ｖ３Ｃ）画像を生成し、
    前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行し、
    前記Ｖ３Ｃ画像及び前記ビデオベースのメッシュ圧縮に基づいてＶ３Ｃビットストリームを生成する、
    ことによって前記３次元コンテンツを符号化するエンコーダと、
    を備え、
    前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することから得られるデータは、頂点の組を層状に分離して、メッシュの頂点数及び面数を含むメッシュ連結性の詳細度を生成することによって、メッシュ情報を符号化する階層的メッシュ符号化を可能に構成された頂点ビデオコンポーネント構造にカプセル化され、
    前記生成されたメッシュ表面から前記Ｖ３Ｃ画像を生成することは、パッチの頂点の動きが未追跡のメッシュ情報とパッチの頂点の動きが追跡されたメッシュ情報とを組み合わせることを含む、
    ことを特徴とするシステム。
14. 前記頂点位置及び連結性情報は、表面パッチの三角形情報を含む、
    請求項１３に記載のシステム。
15. 前記頂点ビデオコンポーネント構造において、前記頂点の組の１つの層のみが実装される場合、前記頂点位置及び連結性情報を使用してビデオベースのメッシュ圧縮を実行することから得られるビデオデータが占有マップに埋め込まれる、
    請求項１３に記載のシステム。
16. 前記連結性情報は、ポアソン表面再構成又はボールピボッティングを含む表面再構成アルゴリズムを使用して生成される、
    請求項１３に記載のシステム。
17. 前記エンコーダは、エッジの２次元特性を考慮しながらパッチデータにエッジ消去を適用するように構成される、
    請求項１３に記載のシステム。
18. 前記エンコーダは、前記連結性情報を使用してパッチごとにメッシュ表面の細分化を実行するように構成される、
    請求項１３に記載のシステム。

Images