JP7589904B2 - メッシュ圧縮のためのパッチ時間的位置合わせの符号化 - Google Patents

Description

［関連出願］
本願は、米国仮特許出願番号第６３／２６４，４２１号、「Encoding of Patch Temporal Alignment for Mesh Compression」、２０２１年１１月２２日出願、の優先権の利益を主張する米国特許出願番号第１７／９５１，９４２号、「ENCODING OF PATCH TEMPORAL ALIGNMENT FOR MESH COMPRESSION」、２０２２年９月２３日出願の優先権の利益を主張する。前述の出願の開示は、それらの全体が参照によりここに組み込まれる。

［技術分野］
本開示は、概して、メッシュコーディングに関連する実施形態を記載する。

ここに提供される背景の説明は、本開示のコンテキストの概要を提示するためである。現在名前の挙げられた発明者の研究は、この背景の章に記載された研究の範囲で、出願時に従来技術として見なされない可能性のある記載の態様と同様に、本開示に対する従来技術として明示的に又は暗示的にも認められるものではない。

世界の中の物体、世界の中の環境、及び３次元（３D）空間における同様のものなど、世界を捉え表現するための様々な技術が開発されている。世界の３D表現は、より没入感のある相互作用や通信を可能にする。幾つかの例では、ポイントクラウドやメッシュを世界の３D表現として使用することができる。

本開示の態様は、メッシュコーディング（符号化及び／又は復号）のための方法及び機器を提供する。幾つかの例では、メッシュをコーディングするのための機器は、処理回路を含む。処理回路は、少なくとも第１時間インスタンスに関連付けられた第１メッシュフレームと、第２時間インスタンスに関連付けられた第２メッシュフレームを受け取る。第１メッシュフレームと第２メッシュフレームは、多角形を有するオブジェクトの表面を表す。第１メッシュフレームには、３次元（３D）情報が２Dにマップされた第１パッチを持つ第１２次元（２D）マップが含まれる。第２メッシュフレームには、３D情報が２Dにマップされた第２パッチを持つ第２の２Dマップが含まれる。処理回路は、第１パッチのうちの１つの第１パッチが、第２パッチのうちの１つの第２パッチの参照一致パッチであることを識別する。さらに、処理回路は、第１の２Dマップ内の第１パッチに対する第２パッチの時間的位置合わせのための第１再マップ変換パラメータを決定し、第２の２Dマップに対応する新しい第２の２Dマップを生成する。新しい２Dマップには、第１再マップ変換パラメータに従って第２パッチから変換される、変換された第２パッチが含まれる。

第１パッチが第２パッチに対する前記参照一致パッチであることを識別するために、幾つかの例では、処理回路は、
第１パッチに対して各々第２パッチの第１一致メトリックを決定し、
第１一致メトリックに従って、第１パッチから最も一致するパッチとして第１パッチを選択する。さらに、例では、処理回路は、
第２パッチに対する各々の第１パッチの第２一致メトリックを決定し、
第２一致メトリックに従って、第２パッチが最も一致するパッチであることに応答して、第１パッチが第２パッチの参照一致パッチであることを決定する。

第１パッチに対する各々の第２パッチの第１一致メトリックを決定するために、例では、処理回路は、第２パッチと特定のパッチの一致した特徴点に応じて、第１パッチの特定のパッチに対する第２パッチの一致メトリックを決定する。別の例では、処理回路は、第２パッチの３D座標の中心と特定のパッチの３D座標の中心の違いに応じて、第１パッチの特定のパッチに対する第２パッチの一致メトリックを決定する。別の例では、処理回路は、第２パッチと特定のパッチの間の３D座標のハウスドルフ（Hausdorff）距離に応じて、第１パッチの特定のパッチに対する第２パッチの一致メトリックを決定する。

幾つかの例では、第１パッチに対する第２パッチの時間的位置合わせの第１再マップ変換パラメータを決定するために、処理回路は、回転パラメータ、反射パラメータ、及び空間的並進パラメータの少なくとも１つを決定する。

幾つかの例では、処理回路は、第２パッチの第１再マップ変換パラメータを、少なくとも第１メッシュフレームと第２メッシュフレームを伝送するビットストリームに符号化する。幾つかの例では、処理回路は、第１再マップ変換パラメータに従って、第２メッシュフレームのジオメトリ２Dマップを更新する。

幾つかの実施形態では、処理回路は、第２パッチを第１クラスと第２クラスに分類する。第１クラスには、第１パッチで識別された対応する参照一致パッチを持つ第２パッチの第１サブセットが含まれ、第２クラスには、第１パッチで識別された参照一致パッチを持たない第２パッチの第２サブセットが含まれる。

幾つかの例では、処理回路は、第２パッチの第１サブセットをサイズによりサイズ順の第１パッチシーケンスに並べ替え、第１パッチシーケンスに従って第２パッチの第１サブセットの各々の再マップ変換パラメータを決定する。

幾つかの例では、第１パッチシーケンスのパッチの各々の再マップ変換パラメータを決定するために、処理回路は、サイズ順に従って第１パッチシーケンスから第２パッチを選択する。第１パッチシーケンスは、サイズによって第２パッチよりも大きい少なくとも第３パッチを含み、第３パッチの第２再マップ変換パラメータが決定され、第２再マップ変換パラメータに従って変換された第３パッチがパックされたパッチリストに追加される。処理回路は、第１パッチと最も類似性の高い回転された第２パッチを生成するための第１回転角を決定する。次に、処理回路は、パックされたパッチリスト内の変換されたパッチとの重複を避けるために、回転された第２パッチを移動するための第１空間的並進値を決定する。例では、処理回路は、第１回転角と第１空間的並進値に従って、第２パッチの変換された第２パッチを生成し、変換された第２パッチをパックされたパッチリストに追加する。例では、処理回路は、最も高い類似性と、反射された第２パッチと第１パッチの第２最高類似性との類似性比較に基づいて、第２パッチを反映するかどうかも決定する。

幾つかの例では、処理回路は、事前定義されたウィンドウ内の空間変換値が重複しないことを可能にすることに応答して、第２パッチを第２クラスに再分類することを決定する。

幾つかの例では、処理回路は、第２パッチの第２サブセットサイズによりサイズ順の第２パッチシーケンスに並べ替え、第２パッチシーケンスに従って、第２パッチの第２サブセットの各々の再マップ変換パラメータを決定する。

例えば、パッチのサイズは、パッチの境界を含むパッチ内のピクセル数に基づいて決定される。別の例では、パッチのサイズは、パッチの境界を除外したパッチ内のピクセル数に基づいて決定される。別の例では、パッチのサイズは、パッチを構成する最小の長方形の境界ボックスの領域に基づいて決定される。

本開示の態様は、コンピュータにより実行されると該コンピュータにメッシュコーディングのための方法のうちのいずれか１つ又はその組合せを実行させる命令を格納する非一時的コンピュータ可読媒体も提供する。

開示の主題の更なる特徴、特性、及び種々の利点は、以下の詳細な説明及び添付の図面から一層明らかになるだろう。

幾つかの例における通信システムのブロック図を示す。

幾つかの例による、ストリーミングシステムのブロック図を示す。

幾つかの例におけるポイントクラウドフレームを符号化するエンコーダのブロック図を示す。

幾つかの例におけるポイントクラウドフレームに対応する圧縮されたビットストリームを復号するデコーダのブロック図を示す。

幾つかの例による、ビデオデコーダのブロック図を示す。

幾つかの例による、ビデオエンコーダのブロック図を示す。

幾つかの例におけるポイントクラウドフレームを符号化するエンコーダのブロック図を示す。

幾つかの例におけるポイントクラウドフレームを運ぶ圧縮されたビットストリームを復号するデコーダのブロック図を示す。

幾つかの例におけるメッシュのアトラスへのマッピングを示す図を示す。

例における２つの時間インスタンスにおけるテクスチャマップを示す。

幾つかの例における処理例の概要を示すフローチャートを示す。

幾つかの例における処理例の概要を示すフローチャートを示す。

幾つかの例におけるコンピュータシステムの概略図である。

本開示の態様は、３次元（３D）メディア処理の分野における技術を提供する。

３次元（３D）キャプチャ、３Dモデリング、及び３Dレンダリングの進歩など、３Dメディア処理における技術の発展は、幾つかのプラットフォーム及び装置にわたって３Dメディアコンテンツのユビキタスな存在を促進した。一例として、ある大陸では赤ちゃんの第１歩をキャプチャすることができ、メディア技術は祖父母が別の大陸で赤ちゃんとの没入体験を視聴（及び場合によっては交流）して楽しむことを可能にする。本開示の態様によると、没入体験を向上させるために、３Dモデルはますます洗練されてきており、３Dモデルの作成と消費は、データストレージ、データ伝送リソースなど、かなりの量のデータリソースを占めている。

本開示の幾つかの態様によると、ポイントクラウドとメッシュを３Dモデルとして使用して、没入コンテンツを表現することができる。

ポイントクラウドは一般に、色、材料特性、テクスチャ情報、強度属性、反射率属性、動き関連属性、モダリティ属性、及びその他の様々な属性などの関連属性を持つ、３D空間内の点の集合を指すことがある。ポイントクラウドは、そのような点の構成としてオブジェクト又はシーンを再構成するために使用できる。

オブジェクトのメッシュ（メッシュモデルとも呼ばれる）には、オブジェクトの表面を記述する多角形を含めることができる。各多角形は、３D空間内の多角形の頂点と、頂点が多角形にどのように接続されているかの情報によって定義できる。頂点がどのように接続されているかの情報は、接続性情報と呼ばれる。幾つかの例では、メッシュには、頂点に関連付けられた色、法線などの属性も含めることができる。

本開示の幾つかの態様によると、ポイントクラウド圧縮（point cloud compression （PCC））のための幾つかのコーディングツールをメッシュ圧縮に使用することができる。例えば、メッシュを再メッシュして新しいメッシュを生成し、新しいメッシュの接続性情報を推定することができる。新しいメッシュの頂点、及び新しいメッシュの頂点に関連付けられた属性は、ポイントクラウド内のポイントと見なすことができ、PCCコーデックを使用して圧縮できる。

ポイントクラウドは、点（ポイント）の構成としてオブジェクト又はシーンを再構成するために使用できる。ポイントは、複数のカメラ、奥行きセンサ、あるいは様々な設定でライダー（Lidar）を使って撮影することができ、シーン又はオブジェクトを現実的に表現するために数千から数十億のポイントで構成される場合がある。パッチは一般に、ポイントクラウドによって記述される表面の連続したサブセットを指す場合がある。例では、パッチには、閾値よりも小さい値で互いに逸脱する表面法線ベクトルを持つポイントが含まれる。

PCCは、G-PCCと呼ばれるジオメトリに基づく方式、V-PCCと呼ばれるビデオコーディングに基づく方式など、様々な方式に従って実行できる。本開示の幾つかの態様によると、G-PCCは３Dジオメトリを直接符号化し、ビデオコーディングと共有することのあまりない純粋なジオメトリに基づくアプローチであり、V-PCCはビデオコーディングに大きく基づいている。例えば、V-PCCは３Dクラウドの点を２Dグリッド（画像）のピクセルにマップすることができる。V-PCC方式はポイントクラウド圧縮のために汎用ビデオコーデックを利用することができる。本開示におけるPCCコーデック（エンコーダ/デコーダ）は、G-PCCコーデック（エンコーダ/デコーダ）又はV-PCCコーデックとすることができる。

本開示の態様によれば、V-PCC方式は、既存のビデオコーデックを使用して、ポイントクラウドのジオメトリ、占有、及びテクスチャを３つの別個のビデオシーケンスとして圧縮することができる。３つのビデオシーケンスを解釈するために必要な追加のメタデータは、個別に圧縮される。全体的なビットストリームのごく一部はメタデータであり、例ではソフトウェア実装を使用して効率的に符号化/復号することができた。情報の大部分はビデオコーデックによって処理される。

図１は、幾つかの例における通信システム（１００）のブロック図を示す。通信システム（１００）は、例えばネットワーク（１５０）を介して互いに通信できる複数の端末装置を含む。例えば、通信システム（１００）は、ネットワーク（１５０）を介して相互接続された端末装置（１１０）及び（１２０）のペアを含む。図１の例では、端末装置（１１０）及び（１２０）の第１ペアは、ポイントクラウドデータの単方向伝送を実行してよい。例えば、端末装置（１１０）は、端末装置（１１０）に接続されたセンサ（１０５）によってキャプチャされたポイントクラウド（例えば、構造を表す点）を圧縮することができる。圧縮されたポイントクラウドは、例えばビットストリームの形で、ネットワーク（１５０）を介して他の端末装置（１２０）に送信することができる。端末装置（１２０）は、ネットワーク（１５０）から圧縮されたポイントクラウドを受信し、ポイントクラウドを再構成するためにビットストリームを伸長し、再構成されたポイントクラウドを適切に表示することができる。単方向データ伝送は、メディアサービングアプリケーション等で共通であってよい。

図１の例では、端末装置（１１０）及び（１２０）は、サーバ及びパーソナルコンピュータとして示されてよいが、本開示の原理はこれらに限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲーム端末、メディアプレイヤ、及び／又は専用の３次元（３D）機器による適用がある。ネットワーク（１５０）は、端末装置（１１０）と（１２０）の間で圧縮されたポイントクラウドを送信する任意の数のネットワークを表す。ネットワーク（１５０）は、例えばワイヤ線（有線）及び／又は無線通信ネットワークを含むことができる。ネットワーク（１５０）は、回線交換及び／又はパケット交換チャネルでデータを交換してよい。代表的なネットワークは、電子通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク、インターネット等を含む。

図２は、幾つかの例におけるストリーミングシステム（２００）のブロック図を示す。ストリーミングシステム（２００）は、ポイントクラウドの使用アプリケーションである。開示された主題は、３Dテレプレゼンスアプリケーション、仮想現実アプリケーションなど、他のポイントクラウド対応アプリケーションにも同様に適用できる。

ストリーミングシステム（２００）には、キャプチャサブシステム（２１３）を含めることができる。キャプチャサブシステム（２１３）には、ポイントクラウドソース（２０１）、例えば光検出及び測距（light detection and ranging （LIDAR））システム、３Dカメラ、３Dスキャナ、ソフトウェアで非圧縮のポイントクラウドを生成するグラフィックス生成コンポーネントなど、例えば非圧縮のポイントクラウド（２０２）を生成するものを含めることができる。一例では、ポイントクラウド（２０２）には、３Dカメラによってキャプチャされる点が含まれる。ポイントクラウド（２０２）は、圧縮されたポイントクラウド（２０４）（圧縮されたポイントクラウドのビットストリーム）と比較して高いデータ量を強調するために太線で示されている。圧縮されたポイントクラウド（２０４）は、ポイントクラウドソース（２０１）に結合されたエンコーダ（２０３）を含む電子装置（２２０）によって生成することができる。エンコーダ（２０３）は、ハードウェア、ソフトウェア、又はそれらの組み合わせを含み、以下に詳述するように開示の主題の態様を可能にし又は実装することができる。圧縮されたポイントクラウド（２０４）（又は圧縮されたポイントクラウドのビデオビットストリーム（２０４））は、ポイントクラウドのストリーム（２０２）と比べたとき、より低いデータ容量を強調するために細線で示され、将来の使用のためにストリーミングサーバ（２０５）に格納できる。図２のクライアントサブシステム（２０６）及び（２０８）のような１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（２０５）にアクセスして、圧縮されたポイントクラウド（２０４）のコピー（２０７）及び（２０９）を読み出すことができる。クライアントサブシステム（２０６）は、例えば電子装置（２３０）内にデコーダ（２１０）を含むことができる。デコーダ（２１０）は、圧縮されたポイントクラウドの入来するコピー（２０７）を復号し、レンダリング装置（２１２）でレンダリングできる再構成されたポイントクラウド（２１１）の送出するストリームを作成する。

電子装置（２２０）及び（２３０）は他のコンポーネント（図示しない）を含み得ることに留意する。例えば、電子装置（２２０）は、デコーダ（図示しない）を含むことができ、電子装置（２３０）もエンコーダ（図示しない）を含むことができる。

一部のストリーミングシステムでは、圧縮されたポイントクラウド（２０４）、（２０７）、及び（２０９）（例えば、圧縮されたポイントクラウドのビットストリーム）を特定の標準に従って圧縮できる。幾つかの例では、ポイントクラウドの圧縮にビデオコーディング規格が使用される。これらの規格の例には、High Efficiency Video Coding（HEVC）、Versatile Video Coding （VVC）などがある。

図３は、幾つかの実施形態による、ポイントクラウドフレームを符号化するV-PCCエンコーダのブロック図を示す。幾つかの実施形態では、V-PCCエンコーダ（３００）を通信システム（１００）及びストリーミングシステム（２００）で使用することができる。例えば、エンコーダ（２０３）は、V-PCCエンコーダ（３００）と同様の方法で構成及び動作することができる。

V-PCCエンコーダ（３００）は、ポイントクラウドフレームを非圧縮の入力として受け取り、圧縮されたポイントクラウドフレームに対応するビットストリームを生成する。幾つかの実施形態では、V-PCCエンコーダ（３００）は、ポイントクラウドソース（２０１）などのポイントクラウドソースからポイントクラウドフレームを受け取ることができる。

図３の例では、V-PCCエンコーダ（３００）には、パッチ生成モジュール（３０６）、パッチパッキングモジュール（３０８）、ジオメトリ画像生成モジュール（３１０）、テクスチャ画像生成モジュール（３１２）、パッチ情報モジュール（３０４）、占有マップモジュール（３１４）、平滑化モジュール（３３６）、画像パディングモジュール（３１６）及び（３１８）、グループ拡張モジュール（３２０）、ビデオ圧縮モジュール（３２２）、（３２３）及び（３３２）、補助パッチ情報圧縮モジュール（３３８）、エントロピー圧縮モジュール（３３４）、マルチプレクサ（３２４）が含まれている。

開示の態様によると、V-PCCエンコーダ（３００）は、圧縮されたポイントクラウドを伸長されたポイントクラウドに戻すために使用される幾つかのメタデータ（例えば、占有マップとパッチ情報）とともに、３Dポイントクラウドフレームを画像に基づく表現に変換する。幾つかの例では、V-PCCエンコーダ（３００）は、３Dポイントクラウドフレームをジオメトリ画像、テクスチャ画像及び占有マップに変換でき、次に、ビデオコーディング技術を使用して、ジオメトリ画像、テクスチャ画像及び占有マップをビットストリームに符号化することができる。一般に、ジオメトリ画像は、ピクセルに投影されたポイントに関連付けられたジオメトリ値で満たされたピクセルを持つ２D画像であり、ジオメトリ値で満たされたピクセルをジオメトリサンプルと呼ぶことができる。テクスチャ画像は、ピクセルに投影されたポイントに関連付けられたテクスチャ値で満たされたピクセルを持つ２D画像であり、テクスチャ値で満たされたピクセルをテクスチャサンプルと呼ぶことができる。占有マップは、パッチによって占有されている又は占有されていないことを示す値で満たされたピクセルを持つ２D画像である。

パッチ生成モジュール（３０６）は、ポイントクラウドをパッチのセット（例えば、パッチはポイントクラウドによって記述される表面の連続したサブセットとして定義される）にセグメント化する。これは、重複しているかどうかに関係なく、各パッチが２D空間内の平面に対する深度フィールドによって記述されるようにする。幾つかの実施形態では、パッチ生成モジュール（３０６）は、再構成エラーを最小限に抑えながら、スムーズな境界を持つ最小数のパッチにポイントクラウドを分解することを目的としている。

幾つかの例では、パッチ情報モジュール（３０４）は、パッチのサイズと形状を示すパッチ情報を収集できる。幾つかの例では、パッチ情報を画像フレームにパックし、次に補助パッチ情報圧縮モジュール（３３８）によって符号化して、圧縮された補助パッチ情報を生成できる。

幾つかの例では、パッチパッキングモジュール（３０８）は、未使用空間を最小限に抑え、グリッドの各々のM×M（例えば、１６x１６）ブロックが一意のパッチに関連付けられることを保証しながら、抽出されたパッチを２次元（２D）グリッドにマッピングするように構成される。効率的なパッチパッキングは、未使用空間を最小限に抑えるか、時間的一貫性を確保することによって、圧縮効率に直接影響を与えることができる。

ジオメトリ画像生成モジュール（３１０）は、所与のパッチ位置でポイントクラウドのジオメトリに関連付けられた２Dジオメトリ画像を生成できる。テクスチャ画像生成モジュール（３１２）は、所与のパッチ位置でポイントクラウドのテクスチャに関連付けられた２Dテクスチャ画像を生成できる。ジオメトリ画像生成モジュール（３１０）とテクスチャ画像生成モジュール（３１２）は、パッキング処理中に計算された３Dから２Dへのマッピングを利用して、ポイントクラウドのジオメトリとテクスチャを画像として格納する。複数の点が同じサンプルに投影される場合をより適切に処理するために、各パッチはレイヤと呼ばれる２つの画像に投影される。例では、ジオメトリ画像はYUV４２０-８ビット形式のW×Hの単色フレームで表される。テクスチャ画像を生成するために、再サンプリングされたポイントに関連付けられる色を計算するために、テクスチャ生成手順は再構成/平滑化されたジオメトリを利用する。

占有マップモジュール（３１４）は、各ユニットのパディング情報を記述する占有マップを生成できる。例えば、占有画像には、グリッドのセル毎に、セルが空の空間に属しているかポイントクラウドに属しているかを示すバイナリマップが含まれている。例では、占有マップは、ピクセルがパディングされているかどうかをピクセル毎に記述するバイナリ情報を使用する。別の例では、占有マップは、ピクセルのブロックがパディングされているかどうかをピクセルのブロック毎に記述するバイナリ情報を使用する。

占有マップモジュール（３１４）によって生成された占有マップは、可逆符号化又は不可逆コーディングを使用して圧縮できる。可逆コーディングを使用する場合、エントロピー圧縮モジュール（３３４）を使用して占有マップを圧縮する。不可逆コーディングを使用する場合、ビデオ圧縮モジュール（３３２）を使用して占有マップを圧縮する。

なお、パッチパッキングモジュール（３０８）は、画像フレームにパックされた２Dパッチの間に幾つかの空の空間を残すことがある。画像パディングモジュール（３１６）及び（３１８）は、２Dビデオ及び画像コーデックに適した画像フレームを生成するために、空の空間を埋めることができる（パディングと呼ばれる）。画像パディングは、冗長な情報で未使用の空間を満たすことができる背景フィリングとも呼ばれる。幾つかの例では、良好な背景フィリングはビットレートの増加を最小限に抑えるが、パッチ境界付近に重大なコーディングの歪みを導入しない。

ビデオ圧縮モジュール（３２２）、（３２３）、（３３２）は、HEVC、VVCなどの適切なビデオコーディング標準に基づいて、パディングされたジオメトリ画像、パディングされたテクスチャ画像、占有マップなどの２D画像を符号化できる。例では、ビデオ圧縮モジュール（３２２）、（３２３）、（３３２）は個別に動作する個々のコンポーネントである。なお、別の例では、ビデオ圧縮モジュール（３２２）、（３２３）、（３３２）を単一のコンポーネントとして実装できる。

幾つかの例では、再構成されたジオメトリ画像の平滑化された画像を生成するように平滑化モジュール（３３６）が設定されている。平滑化された画像は、テクスチャ画像生成（３１２）に提供できる。次に、テクスチャ画像生成（３１２）は、再構成されたジオメトリ画像に基づいてテクスチャ画像の生成を調整できる。例えば、符号化及び復号の間にパッチ形状（例えばジオメトリ）がわずかに歪んでいる場合、パッチ形状の歪みを補正するために、テクスチャ画像を生成するときに歪みを考慮することがある。

幾つかの実施形態では、グループ拡張（３２０）は、再構成されたポイントクラウドの視覚的品質だけでなくコーディング利得を向上させるために、冗長な低周波コンテンツでオブジェクト境界の周囲のピクセルをパディングするように構成されている。

マルチプレクサ（３２４）は、圧縮されたジオメトリ画像、圧縮されたテクスチャ画像、圧縮された占有マップ、圧縮された補助パッチ情報を圧縮されたビットストリームに多重化できる。

図４は、幾つかの例におけるポイントクラウドフレームに対応する圧縮されたビットストリームを復号するV-PCCデコーダ（４００）のブロック図を示す。幾つかの例では、V-PCCエンコーダ（４００）を通信システム（１００）及びストリーミングシステム（２００）で使用することができる。例えば、デコーダ（２１０）は、V-PCCデコーダ（４００）と同様の方法で構成及び動作することができる。V-PCCデコーダ（４００）は、圧縮されたビットストリームを受信し、圧縮されたビットストリームに基づいて再構成されたポイントクラウドを生成する。

図４の例では、V-PCCデコーダ（４００）は、デマルチプレクサ（４３２）、ビデオ伸長モジュール（４３４）及び（４３６）、占有マップ伸長モジュール（４３８）、補助パッチ情報伸長モジュール（４４２）、ジオメトリ再構成モジュール（４４４）、平滑化モジュール（４４６）、テクスチャ再構成モジュール（４４８）、及びカラー平滑化モジュール（４５２）を含む。

デマルチプレクサ（４３２）は、圧縮されたビットストリームを受信し、圧縮されたテクスチャ画像、圧縮されたジオメトリ画像、圧縮された占有マップ、及び圧縮された補助パッチ情報に分離することができる。

ビデオ圧縮モジュール（４３４）及び（４３６）は、適切な標準（例えば、HEVC、VVCなど）に従って圧縮された画像を復号し、伸長された画像を出力できる。例えば、ビデオ伸長モジュール（４３４）は、圧縮されたテクスチャ画像を復号し、伸長されたテクスチャ画像を出力する。ビデオ伸長モジュール（４３６）は、圧縮されたジオメトリ画像を復号し、伸長されたジオメトリ画像を出力する。

[占有マップ圧縮モジュール（４３８）は、適切な規格（例えば、HEVC、VVCなど）に従って圧縮された占有マップを復号し、伸長された占有マップを出力できる。

補助パッチ情報伸長モジュール（４４２）は、適切な規格（例えば、HEVC、VVCなど）に従って圧縮された補助パッチ情報を復号し、伸長された補助パッチ情報を出力できる。

ジオメトリ再構成モジュール（４４４）は、伸長されたジオメトリ画像を受信し、伸長された占有マップと伸長された補助パッチ情報に基づいて再構成されたポイントクラウドジオメトリを生成できる。

平滑化モジュール（４４６）は、パッチのエッジで不一致を平滑化できる。平滑化手順は、圧縮アーチファクトによってパッチ境界で発生する可能性のある潜在的な不連続性を緩和することを目的としている。幾つかの実施形態では、圧縮/伸長によって発生する可能性のある歪みを緩和するために、パッチ境界に位置するピクセルに平滑化フィルタを適用することができる。

テクスチャ再構成モジュール（４４８）は、伸長されたテクスチャ画像と平滑化ジオメトリに基づいて、ポイントクラウド内のポイントのテクスチャ情報を決定できる。

カラー平滑化モジュール（４５２）は、カラーリングの不一致を平滑化できる。３D空間の隣接しないパッチは、２Dビデオでは互いに隣接してパックされることがよくある。例によっては、隣接しないパッチのピクセル値がブロックベースのビデオコーデックによって混同されることがある。カラー平滑化の目的は、パッチ境界に現れる目に見えるアーチファクトを減らすことである。

図５は、幾つかの例による、ビデオデコーダ（５１０）のブロック図を示す。ビデオデコーダ（５１０）は、V-PCC（４００）内で使用できる。例えば、ビデオ伸長モジュール（４３４）と（４３６）、占有マップ伸長モジュール（４３８）は、ビデオデコーダ（５１０）として同様に構成できる。

ビデオデコーダ（５１０）は、コーディングビデオシーケンスのような圧縮された画像からシンボル（５２１）を再構成するために、パーサ（５２０）を含んでよい。これらのシンボルのカテゴリには、ビデオデコーダ（５１０）の動作を管理するために使用される情報が含まれる。パーサ（５２０）は、受信されたコーディングビデオシーケンスをパース／エントロピー復号してよい。コーディングビデオシーケンスのコーディングは、ビデオコーディング技術又は規格に従うことができ、可変長コーディング、ハフマンコーディング、コンテキスト依存性を有する又は有しない算術コーディング、等を含む、種々の原理に従うことができる。パーサ（５２０）は、コーディングビデオシーケンスから、ビデオデコーダの中のピクセルのサブグループのうちの少なくとも１つについて、該グループに対応する少なくとも１つのパラメータに基づき、サブグループパラメータのセットを抽出してよい。サブグループは、GOP（Groups of Picture）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（Coding Units：CU）、ブロック、変換ユニット（Transform Units：TU）、予測ユニット（Prediction Units：PU）、等を含み得る。パーサ（５２０）は、符号化ビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトル、等のような情報も抽出してよい。

パーサ（５２０）は、バッファメモリから受信したビデオシーケンスに対してエントロピー復号／パース動作を実行して、シンボル（５２１）を生成してよい。

シンボル（５２１）の再構成は、コーディングビデオピクチャ又はその部分の種類（例えば、インター及びイントラピクチャ、インター及びイントラブロック）及び他の要因に依存して、複数の異なるユニットを含み得る。どのユニットがどのように含まれるかは、パーサ（５２０）によりコーディングビデオシーケンスからパースされたサブグループ制御情報により制御できる。パーサ（５２０）と以下の複数のユニットとの間のこのようなサブグループ制御情報のフローは、明確さのために示されない。

既に言及した機能ブロックを超えて、ビデオデコーダ（５１０）は、後述のように、多数の機能ユニットに概念的に細分化できる。商用的制約の下で動作する実際の実装では、これらのユニットの多くは、互いに密に相互作用し、少なくとも部分的に互いに統合され得る。しかしながら、開示の主題を説明する目的で、機能ユニットへの以下の概念的細分化は適切である。

第１ユニットは、スケーラ／逆変換ユニット５５１である。スケーラ／逆変換ユニット（５５１）は、量子化された変換係数、及び、どの変換を使用すべきか、ブロックサイズ、量子化係数、量子化スケーリングマトリクス、等を含む制御情報を、パーサ（５２０）からのシンボル（５２１）として受信する。スケーラ／逆変換ユニット（５５１）はアグリゲータ（５５５）に入力され得るサンプル値を含むブロックを出力できる。

幾つかの例では、スケーラ／逆変換ユニット（５５１）の出力サンプルは、イントラコーディングブロック、つまり、前に再構成されたピクチャからの予測情報を使用しないが現在ピクチャの前に再構成された部分からの予測情報を使用可能なブロック、に属することができる。このような予測情報は、イントラピクチャ予測ユニット（５５２）により提供できる。幾つかの場合には、イントラピクチャ予測ユニット（５５２）は、再構成中のブロックと同じサイズ及び形状のブロックを、現在ピクチャバッファ（５５８）からフェッチした周囲の既に再構成された情報を用いて、生成する。現在ピクチャバッファ（５５８）は、例えば、再構成された現在ピクチャを部分的に及び／又は再構成された現在ピクチャを完全にバッファリングする。アグリゲータ（５５５）は、幾つかの場合には、サンプル毎に、イントラ予測ユニット（５５２）の生成した予測情報を、スケーラ／逆変換ユニット（５５１）により提供された出力サンプル情報に追加する。

他の場合には、スケーラ／逆変換ユニット（５５１）の出力サンプルは、インターコーディングされた、場合によっては動き補償されたブロックに関連し得る。このような場合には、動き補償予測ユニット（５５３）は、参照ピクチャメモリ（５５７）にアクセスして、予測ために使用されるサンプルをフェッチできる。ブロックに関連するシンボル（５２１）に従いフェッチしたサンプルを動き補償した後に、これらのサンプルは、アグリゲータ（５５５）により、出力サンプル情報を生成するために、スケーラ／逆変換ユニット（５５１）の出力に追加され得る（この場合、残差サンプル又は残差信号と呼ばれる）。動き補償予測ユニット（５５３）が予測サンプルをフェッチする参照ピクチャメモリ（５５７）内のアドレスは、例えばＸ、Ｙ及び参照ピクチャコンポーネントを有し得るシンボル（５２１）の形式で、動き補償予測ユニット（５５３）の利用可能な動きベクトルにより制御できる。動き補償は、サブサンプルの正確な動きベクトルが使用中であるとき参照ピクチャメモリ（５５７）からフェッチされたサンプル値の補間、動きベクトル予測メカニズム、等を含み得る。

アグリゲータ（５５５）の出力サンプルは、ループフィルタユニット（５５６）において種々のループフィルタリング技術を受け得る。ビデオ圧縮技術は、コーディングビデオシーケンス（コーディングビデオビットストリームとも呼ばれる）に含まれ且つパーサ（５２０）からのシンボル（５２１）としてループフィルタユニット（５５６）に利用可能にされたパラメータにより制御されるが、コーディングピクチャ又はコーディングビデオシーケンスの（復号順序で）前の部分の復号中に取得されたメタ情報にも応答し、前に再構成されループフィルタリングされたサンプル値にも応答し得るインループフィルタ技術を含み得る。

ループフィルタユニット（５５６）の出力は、レンダー装置へと出力でき及び将来のインターピクチャ予測で使用するために参照ピクチャメモリ（５５７）に格納され得るサンプルストリームであり得る。

特定のコーディングピクチャは、一旦完全に再構成されると、将来の予測のための参照ピクチャとして使用できる。例えば、現在ピクチャに対応するコーディングピクチャが完全に再構成され、コーディングピクチャが（例えばパーサ（５２０）により）参照ピクチャとして識別されると、現在ピクチャバッファ（５５８）は、参照ピクチャメモリ（５５７）の一部になることができ、後続のコーディングピクチャの再構成を開始する前に、新鮮な現在ピクチャバッファを再割り当てできる。

ビデオデコーダ（５１０）は、ITU-T Rec．H．２６５のような標準の所定のビデオ圧縮技術に従い復号動作を実行してよい。コーディングビデオシーケンスがビデオ圧縮技術又は規格、及びビデオ圧縮技術又は規格において文書化されたプロファイルの両方に従うという意味で、コーディングビデオシーケンスは、使用中のビデオ圧縮技術又は規格により指定されたシンタックスに従ってよい。具体的に、プロファイルは、ビデオ圧縮技術又は標準において利用可能な全部のツールから、プロファイルの下でのみ使用可能なツールとして、特定のツールを選択できる。また、遵守のために必要なことは、コーディングビデオシーケンスの複雑さが、ビデオ圧縮技術又は規格のレベルにより定められる限界の範囲内であることであり得る。幾つかの場合には、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えばメガサンプル／秒で測定される）、最大参照ピクチャサイズ、等を制限する。レベルにより設定される限界は、幾つかの場合には、HRD（Hypothetical Reference Decoder）仕様及びコーディングビデオシーケンスの中でシグナリングされるHRDバッファ管理のためのメタデータを通じて更に制限され得る。

図６は、本開示の一実施形態によるビデオエンコーダ（６０３）のブロック図を示す。ビデオデコーダ（６０３）は、ポイントクラウドを圧縮するV-PCCエンコーダ（３００）内で使用できる。例では、ビデオ圧縮モジュール（３２２）と（３２３）、及びビデオ圧縮モジュール（３３２）は、エンコーダ（６０３）と同様に設定されている。

ビデオエンコーダ（６０３）は、パディングされたジオメトリ画像、パディングされたテクスチャ画像などの画像を受信し、圧縮された画像を生成できる。

実施形態によると、ビデオエンコーダ（６０３）は、ソースビデオシーケンス（画像）のピクチャを、コーディングビデオシーケンス（圧縮された画像）へと、リアルタイムに又はアプリケーションにより要求される任意の他の時間制約の下でコーディングし圧縮してよい。適切なコーディング速度の実施は、制御部（６５０）の１つの機能である。幾つかの実施形態では、制御部（６５０）は、後述する他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。結合は、明確さのために図示されない。制御部（６５０）により設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、．．．）、ピクチャサイズ、ＧＯＰ（group of pictures）レイアウト、最大動きベクトル探索範囲、等を含み得る。制御部（６５０）は、特定のシステム設計に最適化されたビデオエンコーダ（６０３）に関連する他の適切な機能を有するよう構成され得る。

幾つかの実施形態では、ビデオエンコーダ（６０３）は、コーディングループの中で動作するよう構成される。非常に簡略化された説明として、一例では、コーディングループは、ソースコーダ（６３０）（例えば、シンボルストリームのようなシンボルを、コーディングされるべき入力ピクチャ及び参照ピクチャに基づき生成することを担う）、及びビデオエンコーダ（６０３）に内蔵された（ローカル）デコーダ（６３３）を含み得る。デコーダ（６３３）は、（シンボルとコーディングビットストリームとの間の任意の圧縮が、開示の主題において検討されるビデオ圧縮技術において無損失であるとき）（遠隔にある）デコーダが生成するのと同様の方法で、シンボルを再構成して、サンプルデータを生成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（６３４）に入力される。シンボルストリームの復号が、デコーダ位置（ローカル又はリモート）と独立にビット正確な結果をもたらすとき、参照ピクチャメモリ（６３４）の内容も、ローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えると、エンコーダの予測部分が、復号中に予測を用いるときデコーダが「見る」のと正確に同じサンプル値を、参照ピクチャサンプルとして「見る」。参照ピクチャ同期性のこの基本原理（及び、例えばチャネルエラーのために同期生が維持できない場合には、結果として生じるドリフト）は、幾つかの関連技術で同様に使用される。

「ローカル」デコーダ（６３３）の動作は、図５と関連して以上に詳述したビデオデコーダ（５１０）のような「リモート」デコーダのものと同じであり得る。簡単に図５も参照すると、しかしながら、シンボルが利用可能であり、エントロピーコーダ（６４５）及びパーサ（５２０）による符号化ビデオシーケンスへのシンボルの符号化／復号が無損失であり得るので、パーサ（５２０）を含むビデオデコーダ（５１０）のエントロピー復号部分は、ローカルデコーダ（６３３）に完全に実装されなくてよい。

動作中、幾つかの例では、ソースコーダ（６３０）は、動き補償された予測コーディングを実行してよい。これは、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の前にコーディングされたピクチャを参照して予測的に入力ピクチャをコーディングする。この方法では、コーディングエンジン（６３２）は、入力ピクチャのピクセルブロックと、入力ピクチャに対する予測基準として選択されてよい参照ピクチャのピクセルブロックとの間の差分をコーディングする。

ローカルビデオデコーダ（６３３）は、ソースコーダ（６３０）により生成されたシンボルに基づき、参照ピクチャとして指定されてよいピクチャのコーディングビデオデータを復号してよい。コーディングエンジン（６３２）の動作は、有利なことに、損失処理であってよい。コーディングビデオデータがビデオデコーダ（図６に図示されない）において復号され得るとき、再構成ビデオシーケンスは、標準的に、幾つかのエラーを有するソースビデオシーケンスの複製であってよい。ローカルビデオデコーダ（６３３）は、参照ピクチャに対してビデオデコーダにより実行され得る復号処理を複製し、参照ピクチャキャッシュ（６３４）に格納されるべき再構成参照ピクチャを生じ得る。このように、ビデオエンコーダ（６０３）は、（伝送誤りが無ければ）遠端ビデオデコーダにより取得される再構成参照ピクチャと共通の内容を有する再構成参照ピクチャのコピーを格納してよい。

予測器（６３５）は、コーディングエンジン（６３２）のために予測探索を実行してよい。つまり、符号化されるべき新しいピクチャについて、予測器（６３５）は、新しいピクチャのための適切な予測基準として機能し得る（候補参照ピクセルブロックのような）サンプルデータ又は参照ピクチャ動きベクトル、ブロック形状、等のような特定のメタデータについて、参照ピクチャメモリ（６３４）を検索してよい。予測器（６３５）は、適切な予測基準を見付けるために、サンプルブロック－ピクセルブロック毎に動作してよい。幾つかの例では、予測器（６３５）により取得された検索結果により決定されるように、入力ピクチャは、参照ピクチャメモリ（６３４）に格納された複数の参照ピクチャから引き出された予測基準を有してよい。

制御部（６５０）は、例えば、ビデオデータの符号化のために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（６３０）のコーディング動作を管理してよい。

全ての前述の機能ユニットの出力は、エントロピーコーダ（６４５）におけるエントロピーコーディングを受けてよい。エントロピーコーダ（６４５）は、ハフマンコーディング、可変長コーディング、算術コーディング、等のような技術に従いシンボルを無損失圧縮することにより、種々の機能ユニットにより生成されたシンボルを、コーディングビデオシーケンスへと変換する。

制御部（６５０）は、ビデオエンコーダ（６０３）の動作を管理してよい。コーディング中、制御部（６５０）は、各々のピクチャに適用され得るコーディング技術に影響し得る特定のコーディングピクチャタイプを、各コーディングピクチャに割り当ててよい。例えば、ピクチャは、多くの場合、以下のピクチャタイプのうちの１つとして割り当てられてよい。

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の任意の他のピクチャを使用せずにコーディング及び復号され得るピクチャであってよい。幾つかのビデオコーデックは、例えばIDR（Independent Decoder Refresh）ピクチャを含む異なる種類のイントラピクチャを許容する。当業者は、Iピクチャの変形、及びそれらの個々の適用及び特徴を認識する。

予測ピクチャ（Pピクチャ）は、殆どの場合、各ブロックのサンプル値を予測するために１つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測を用いてコーディング及び復号され得るピクチャであってよい。

双方向予測ピクチャ（Bピクチャ、Bi-directionally Predictive Picture （B Picture））は、各ブロックのサンプル値を予測するために最大で２つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測を用いてコーディング及び復号され得るピクチャであってよい。同様に、マルチ予測ピクチャは、単一のブロックの再構成のために、２つより多くの参照ピクチャ及び関連付けられたメタデータを使用できる。

ソースピクチャは、一般に、複数のサンプルブロック（例えば、各々４×４、８×８、４×８、又は１６×１６個のサンプルのブロック）に空間的に細分化され、ブロック毎にコーディングされてよい。ブロックは、ブロックの各々のピクチャに適用されるコーディング割り当てにより決定される他の（既にコーディングされた）ブロックへの参照により予測的にコーディングされてよい。例えば、Iピクチャのブロックは、非予測的にコーディングされてよく、又はそれらは同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてよい（空間予測又はイントラ予測）。Pピクチャのピクセルブロックは、１つの前にコーディングされた参照ピクチャを参照して、空間予測を介して又は時間予測を介して、予測的にコーディングされてよい。Bピクチャのブロックは、１つ又は２つの前にコーディングされた参照ピクチャを参照して、空間予測を介して又は時間予測を介して、予測的にコーディングされてよい。

ビデオエンコーダ（６０３）は、ITU-T Rec. H.２６５のような所定のビデオコーディング技術又は規格に従いコーディング動作を実行してよい。その動作において、ビデオエンコーダ（６０３）は、入力ビデオシーケンスの中の時間的及び空間的冗長性を利用する予測コーディング動作を含む種々の圧縮動作を実行してよい。コーディングビデオデータは、従って、使用されているビデオコーディング技術又は規格により指定されたシンタックスに従ってよい。

ビデオは、時系列の中の複数のソースピクチャ（画像）の形式であってよい。イントラピクチャ予測（イントラ予測と省略されることがある）は、所与のピクチャの中の空間的相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的又は他の）相関を利用する。一例では、符号化／復号中の特定のピクチャは、現在ピクチャと呼ばれ、ブロックにパーティションされる。現在ピクチャの中のブロックが、ビデオの中の前に符号化され且つ未だバッファリングされている参照ピクチャの中の参照ブロックと同様であるとき、現在ピクチャの中のブロックは、動きベクトルと呼ばれるベクトルにより符号化できる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用中である場合には、参照ピクチャを識別する第３次元を有することができる。

幾つかの実施形態では、双予測（bi-prediction）技術が、インターピクチャ予測で使用できる。双予測技術によると、両方とも復号順序でビデオの中の現在ピクチャより前にある（が、各々表示順序で過去及び未来にあってよい）第１参照ピクチャ及び第２参照ピクチャのような２つの参照ピクチャが使用される。現在ピクチャ内のブロックは、第１参照ピクチャ内の第１参照ブロックを指す第１動きベクトル、及び第２参照ピクチャ内の第２参照ブロックを指す第２動きベクトルによりコーディングできる。ブロックは、第１参照ブロック及び第２参照ブロックの結合により予測できる。

さらに、コーディング効率を向上するために、インターピクチャ予測においてマージモード技術が使用できる。

本開示の幾つかの実施形態によると、インターピクチャ予測及びイントラピクチャ予測のような予測は、ブロックのユニットの中で実行される。例えば、HEVC規格によると、ビデオピクチャシーケンスの中のピクチャは、圧縮のためにコーディングツリーユニット（coding tree unit：CTU）にパーティションされる。ピクチャ内のCTUは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルのような、同じサイズを有する。通常、CTUは、３個のコーディングツリーブロック（coding tree blocks：CTB）、つまり１個のルマCTB及び２個のクロマCTB、を含む。各ＣＴＵは、１又は複数の符号化ユニット（coding unit：CU）に再帰的に４分木分割できる。例えば、６４×６４ピクセルのCTUは、６４×６４ピクセルの１個のCU、又は３２×３２ピクセルの４個のCU、又は１６×１６ピクセルの１６個のCUに分割できる。一例では、各CUは、インター予測タイプ又はイントラ予測タイプのようなCUの予測タイプを決定するために分析される。CUは、時間的及び／又は空間的予測性に依存して、１つ以上の予測ユニット（prediction unit：PU）に分割される。通常、各PUは、ルマ予測ブロック（prediction block：PB）、及び２個のクロマPBを含む。一実施形態では、コーディング（符号化／復号）における予測演算が、予測ブロックのユニットの中で実行される。ルマ予測ブロックを予測ブロックの一例として用いると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル、等のようなピクセルについて値（例えば、ルマ値）のマトリクスを含む。

図７は、幾つかの例による、G-PCCエンコーダ（７００）のブロック図を示す。G-PCCエンコーダ（７００）は、ポイントクラウドデータを受信し、ポイントクラウドデータを圧縮して、圧縮されたポイントクラウドデータを伝送するビットストリームを生成するように設定できる。実施形態では、G-PCCエンコーダ（７００）は、位置量子化モジュール（７１０）、重複ポイント除去モジュール（７１２）、８分木符号化モジュール（７３０）、属性転送モジュール（７２０）、詳細レベル（LOD）生成モジュール（７４０）、属性予測モジュール（７５０）、残差量子化モジュール（７６０）、算術コーディングモジュール（７７０）、逆残差量子化モジュール（７８０）、加算モジュール（７８１）、及び再構成された属性値を格納するメモリ（７９０）を含むことができる。

図のように、G-PCCエンコーダ（７００）で入力ポイントクラウド（７０１）を受信できる。ポイントクラウド（７０１）の位置（例えば、３D座標）は量子化モジュール（７１０）に提供される。量子化モジュール（７１０）は、量子化された位置を生成するために座標を量子化するように構成される。重複ポイント除去モジュール（７１２）は、量子化された位置を受け取り、重複ポイントを識別して除去するためのフィルタ処理を実行するように構成される。８分木符号化モジュール（７３０）は、重複ポイント除去モジュール（７１２）からフィルタリングされた位置を受け取り、８分木に基づく符号化処理を実行して、ボクセルの３Dグリッドを記述する占有コードのシーケンスを生成するように構成される。占有コードは、算術コーディングモジュール（７７０）に提供される。

属性転送モジュール（７２０）は、入力ポイントクラウドの属性を受信し、複数の属性値が各々のボクセルに関連付けられている場合に、各ボクセルの属性値を決定するための属性転送処理を実行するように構成されている。属性転送処理は、８分木符号化モジュール（７３０）から出力された並べ替えられたポイントに対して実行できる。転送操作後の属性は、属性予測モジュール（７５０）に提供される。LOD生成モジュール（７４０）は、８分木符号化モジュール（７３０）から出力された並べ替えられたポイントで動作し、ポイントを異なるLODに再編成するように構成されている。LOD情報は、属性予測モジュール（７５０）に提供される。

属性予測モジュール（７５０）は、LOD生成モジュール（７４０）からのLOD情報によって示されるLODに基づく順序に従ってポイントを処理する。属性予測モジュール（７５０）は、メモリ（７９０）に格納された現在ポイントの隣接するポイントの集合の再構成された属性に基づいて、現在ポイントの属性予測を生成する。予測残差は、その後、属性転送モジュール（７２０）から受け取った元の属性値と、ローカルに生成された属性予測に基づいて取得することができる。候補インデックスが各々の属性予測処理で使用される場合、選択された予測候補に対応するインデックスを算術コーディングモジュール（７７０）に提供することができる。

残差量子化モジュール（７６０）は、属性予測モジュール（７５０）から予測残差を受け取り、量子化を実行して量子化された残差を生成するように構成される。量子化された残差は、算術コーディングモジュール（７７０）に提供される。

逆残差量子化モジュール（７８０）は、残差量子化モジュール（７６０）から量子化された残差を受け取り、残差量子化モジュール（７６０）で実行される量子化操作の逆を実行することによって再構成された予測残差を生成するように構成される。加算モジュール（７８１）は、逆残差量子化モジュール（７８０）から再構成された予測残差を受け取り、属性予測モジュール（７５０）から各々の属性予測を受け取るように構成される。再構成された予測残差と属性予測を組み合わせることで、再構成された属性値が生成され、メモリ（７９０）に格納される。

算術コーディングモジュール（７７０）は、占有コード、候補インデックス（使用されている場合）、量子化された残差（生成されている場合）、及びその他の情報を受信し、受信した値又は情報をさらに圧縮するためにエントロピー符号化を実行するように構成される。その結果、圧縮された情報を運ぶ圧縮されたビットストリーム（７０２）を生成することができる。ビットストリーム（７０２）は、圧縮されたビットストリームを復号するデコーダに送信されるか又は提供されるか、又はストレージ装置に格納される場合がある。

図８は、実施形態による、G-PCC（８００）のブロック図を示す。G-PCCデコーダ（８００）は、圧縮されたビットストリームを受信し、ポイントクラウドデータの伸長を実行してビットストリームを伸長し、復号されたポイントクラウドデータを生成するように設定できる。実施形態では、G-PCCデコーダ（８００）は、算術復号モジュール（８１０）、逆残差量子化モジュール（８２０）、８分木復号モジュール（８３０）、LOD生成モジュール（８４０）、属性予測モジュール（８５０）、及び再構成された属性値を格納するメモリ（８６０）を含めることができる。

図示のように、圧縮されたビットストリーム（８０１）は算術復号モジュール（８１０）で受信できる。算術復号モジュール（８１０）は、圧縮されたビットストリーム（８０１）を復号して、量子化された残差（生成された場合）とポイントクラウドの占有コードを取得するように構成されている。８分木復号モジュール（８３０）は、占有コードに従ってポイントクラウド内のポイントの再構成される位置を決定するように構成されている。LOD生成モジュール（８４０）は、再構成された位置に基づいてポイントを異なるLODに再編成し、LODに基づく順序を決定するように構成されている。逆残差量子化モジュール（８２０）は、算術復号モジュール（８１０）から受信した量子化された残差に基づいて再構成された残差を生成するように構成されている。

属性予測モジュール（８５０）は、LODに基づく順序に従ってポイントの属性予測を決定する属性予測処理を実行するように構成されている。例えば、現在ポイントの属性予測は、メモリ（８６０）に格納された現在ポイントの隣接ポイントの再構成された属性値に基づいて決定することができる。幾つかの例では、属性予測を各々の再構成された残差と組み合わせて、現在ポイントの再構成された属性を生成することができる。

属性予測モジュール（８５０）から生成された再構成された属性のシーケンスは、８分木復号モジュール（８３０）から生成された再構成された位置とともに、一例ではG-PCCデコーダ（８００）から出力される復号されたポイントクラウド（８０２）に対応する。さらに、再構成された属性もメモリ（８６０）に格納され、その後、後続のポイントの属性予測を導出するために使用することができる。

様々な実施形態において、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、及び/又はデコーダ（８００）は、ハードウェア、ソフトウェア、又はそれらの組み合わせで実装することができる。例えば、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、及び/又はデコーダ（８００）は、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）など、ソフトウェアの有無にかかわらず動作する１つ以上の集積回路（IC）などの処理回路で実装することができる。別の例では、エンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、及び/又はデコーダ（８００）は、不揮発性（又は非一時的）コンピュータ可読記憶媒体に格納された命令を含むソフトウェア又はファームウェアとして実装することができる。命令は、１つ以上のプロセッサなどの処理回路によって実行されると、処理回路にエンコーダ（３００）、デコーダ（４００）、エンコーダ（７００）、及び/又はデコーダ（８００）の機能を実行させる。

ここで開示されている属性予測技術を実装するように構成された属性予測モジュール（７５０）及び（８５０）は、図７及び図８に示されているものと類似又は異なる構造を持つ可能性のある他のデコーダ又はエンコーダに含めることができることに留意されたい。さらに、エンコーダ（７００）及びデコーダ（８００）は、同じ装置に含めることも、様々な例で別々の装置に含めることもできる。

開示の幾つかの態様によると、メッシュ圧縮はPCCコーディングツールとは異なるコーディングツールを使用することも、上記のPCC（例えば、G-PCC、V-PCC）エンコーダ、上記のPCC（例えば、G-PCC、V-PCC）デコーダなどのPCCコーディングツールを使用することもできる。

オブジェクトのメッシュ（メッシュモデル、メッシュフレームとも呼ばれる）には、オブジェクトの表面を記述する多角形を含めることができる。各多角形は、３D空間内の多角形の頂点と、頂点を多角形に接続するエッジによって定義できる。頂点がどのように接続されているかの情報（例えば、エッジの情報）は、接続性情報と呼ばれる。幾つかの例では、オブジェクトのメッシュは、オブジェクトの表面を記述する接続された三角形によって形成される。エッジを共有する２つの三角形は、２つの接続された三角形と呼ばれる。他の幾つかの例では、オブジェクトのメッシュは、接続された四角形によって形成される。エッジを共有する２つの四角形は、２つの接続された四角形と呼ぶことができる。メッシュは、他の適切な多角形によって形成できることに注意する。

幾つかの例では、メッシュには、頂点に関連付けられた色、法線（normal）などの属性も含めることができる。２D属性マップでメッシュをパラメータ化するマッピング情報を利用することで、属性をメッシュの表面に関連付けることができる。マッピング情報は通常、メッシュの頂点に関連付けられたUV座標又はテクスチャ座標と呼ばれる一連のパラメータ座標によって記述される。２D属性マップ（例によってはテクスチャマップと呼ばれる）は、テクスチャ、法線、変位などの高解像度の属性情報を格納するために使用される。このような情報はテクスチャマッピングやシェーディングなどの様々な目的に使用できる。

幾つかの実施形態では、メッシュには、ジオメトリ情報、接続性情報、マッピング情報、頂点属性、及び属性マップと呼ばれるコンポーネントを含めることができる。幾つかの例では、ジオメトリ情報は、メッシュの頂点に関連付けられた３D位置のセットによって記述される。例では、（x,y,z）座標を使用して頂点の３D位置を記述でき、３D座標とも呼ばれる。幾つかの例では、接続性情報に、頂点を接続して３D表面を作成する方法を記述する頂点インデックスのセットが含まれている。幾つかの例では、マッピング情報に、メッシュ表面を平面の２D領域にマッピングする方法が記述されている。例では、マッピング情報は、接続性情報とともに、メッシュ頂点に関連付けられたUVパラメータ/テクスチャ座標（u,v）のセットによって記述される。幾つかの例では、頂点属性には、メッシュ頂点に関連付けられたスカラ又はベクトル属性値が含まれる。一部の例では、属性マップにメッシュ表面に関連付けられた属性が含まれ、２D画像/ビデオとして保存される。例では、ビデオ（例えば、２D画像/ビデオ）とメッシュ表面との間のマッピングは、マッピング情報によって定義される。

開示の態様によると、３Dドメイン内のメッシュの表面を２Dドメインにマッピングするために、UVマッピング又はメッシュパラメータ化と呼ばれる幾つかの手法が使用される。幾つかの例では、メッシュは３Dドメイン内のパッチにパーティションされる。パッチは、境界エッジで形成された境界を持つメッシュの連続したサブセットである。パッチの境界エッジは、パッチの１つの多角形のみに属し、パッチ内の隣接する２つの多角形によって共有されないエッジである。パッチ内の境界エッジの頂点は、パッチの境界頂点と呼ばれ、パッチ内の非境界頂点は、例によってはパッチの内部頂点と呼ばれることがある。

幾つかの例では、オブジェクトのメッシュは接続された三角形によって形成され、メッシュはパッチにパーティションでき、各パッチは接続された三角形のサブセットである。パッチの境界エッジは、パッチ内の１つの三角形のみに属し、パッチ内の隣接する三角形によって共有されないエッジである。パッチ内の境界エッジの頂点は、パッチの境界頂点と呼ばれ、パッチ内の非境界頂点は、例によってはパッチの内部頂点と呼ばれることがある。境界ループには境界頂点のシーケンスが含まれ、境界頂点のシーケンスによって形成される境界エッジは、境界ループと呼ばれるループを形成できる。

開示の態様によると、幾つかの例では、パッチは各々２D形状（UVパッチとも呼ばれる）にパラメータ化される。２D形状は、幾つかの例ではアトラスとも呼ばれるマップにパック（例えば、方向付けられ、配置される）することができる。幾つかの例では、２D画像又はビデオ処理技術を使用してマップをさらに処理できる。

例では、UVマッピング技術によって、３Dメッシュのパッチに対応する２DのUVアトラス（UVマップとも呼ばれる）と１つ以上のテクスチャアトラス（テクスチャマップとも呼ばれる）が生成される。UVアトラスには、３Dメッシュの３D頂点の２Dドメイン（例えば、長方形）内の２Dポイントへの割り当てが含まれる。UVアトラスは、３D表面の座標から２Dドメインの座標へのマッピングである。例では、UVアトラス内の２D座標（u,v）にあるポイントは、３Dドメイン内の頂点の座標（x,y,z）によって形成される値を持つ。例では、テクスチャアトラスに３Dメッシュの色情報が含まれている。例えば、テクスチャアトラスの２D座標（u,v）にあるポイント（UVアトラスで（x,y,z）の３D値を持つ）には、３Dドメインの（x,y,z）にあるポイントの色属性を指定する色がある。例によっては、３D領域の座標（x,y,z）はD座標又はxyz座標と呼ばれ、２D座標（u,v）はUV座標又はUV座標と呼ばれることがある。

開示の幾つかの態様によると、メッシュ圧縮は、１つ以上の２Dマップ（幾つかの例では２Dアトラスとも呼ばれる）を使用してメッシュを表現し、次に画像又はビデオコーデックを使用して２Dマップを符号化することによって実行できる。２Dマップの生成には、様々な手法を使用できる。

図９は、幾つかの例における３Dメッシュ（９１０）の２Dアトラス（９２０）へのマッピングを示す図を示す。図９の例では、３Dメッシュ（９１０）は、４つのパッチA～Dを形成する４つの頂点１～４を含む。各パッチには、頂点のセットと関連する属性情報がある。例えば、パッチAは、三角形に接続された頂点１、２、３によって形成される。パッチBは、三角形に接続された頂点１、３、４によって形成される。パッチCは、三角形に接続された頂点１、２、４によって形成される。パッチDは、三角形に接続された頂点２、３、４によって形成される。幾つかの例では、頂点１、２、３、４は各々の属性を持つことができ、頂点１、２、３、４によって形成される三角形は各々の属性を持つことができる。

例では、３DのパッチA、B、C、Dは、UVアトラス（９２０）又はマップ（９２０）とも呼ばれる２Dアトラス（９２０）などの２Dドメインにマッピングされる。例えば、パッチAはマップ（９２０）で２D形状（UVパッチとも呼ばれる）A'にマッピングされ、パッチBはマップ（９２０）で２D形状（UVパッチとも呼ばれる）B'にマッピングされ、パッチCはマップ（９２０）で２D形状（UVパッチとも呼ばれる）C'にマッピングされ、パッチDはマップ（９２０）で２D形状（UVパッチとも呼ばれる）D'にマッピングされる。幾つかの例では、３Dドメインの座標は（x,y,z）座標と呼ばれ、マップ（９２０）などの２Dドメインの座標はUV座標と呼ばれる。３Dメッシュ内の頂点は、マップ（９２０）内で対応するUV座標を持つことができる。

マップ（９２０）は、ジオメトリ情報を含むジオメトリマップにすることも、カラー、法線、テキスタイル、又はその他の属性情報を含むテクスチャマップにすることも、占有情報を有する占有マップにすることもできる。

図９の例では、各パッチは三角形で表されるが、パッチには、メッシュの連続したサブセットを形成するために接続されている任意の適切な数の頂点を含めることができることに注意する。幾つかの例では、パッチ内の頂点が三角形に接続されている。パッチ内の頂点は、他の適切な形状を使用して接続できることに注意する。

例では、頂点のジオメトリ情報を２Dジオメトリマップに格納できる。例えば、２Dジオメトリマップは、２Dジオメトリマップ内の対応するポイントにおけるサンプリングポイントの（x,y,z）座標を格納する。例えば、（u,v）位置にある２Dジオメトリマップ内のポイントは、３Dメッシュ内の対応するサンプリングポイントのx、y、zの値に各々対応する３つのコンポーネントのベクトル値である。

開示の態様によると、マップ内の領域が完全に占有されていない場合がある。例えば、図９では、２D形状A’、B’、C’、D’の外側の領域は未定義である。復号後の２D形状A'、B'、C'、D'の外側の領域のサンプル値は破棄できる。場合によっては、占有マップを使用して、ピクセルがパッチに属しているかどうか、又は未定義であるかどうかを識別するバイナリ値を格納するなど、ピクセル毎に何らかの追加情報を格納する。

開示の態様によると、動的メッシュは、コンポーネント（ジオメトリ情報、接続性情報、マッピング情報、頂点属性、属性マップ）の少なくとも１つが時間によって変化するメッシュである。動的メッシュは、一連のメッシュ（メッシュフレームとも呼ばれる）によって記述できる。幾つかの例では、動的メッシュのメッシュフレームは異なる時間のオブジェクトの表面の表現であり、各メッシュフレームは特定の時間のオブジェクトの表面の表現である（時間インスタンスとも呼ばれる）。動的メッシュには、時間の経過とともに変化する大量の情報が含まれる場合があるため、大量のデータが必要になることがある。メッシュの圧縮技術は、メッシュ表現でメディアコンテンツを効率的に保存及び送信することを可能にする。

幾つかの例では、動的メッシュは、一定の接続性情報、時変ジオメトリ、及び時変頂点属性を持つことができる。幾つかの例では、動的メッシュは、時変接続性情報を持つことができる。例では、デジタルコンテンツ作成ツールは通常、時変属性マップと時変接続性情報を持つ動的メッシュを生成する。幾つかの例では、動的メッシュの生成にボリューム（volumetric）取得技術が使用されている。ボリューム取得技術は、特にリアルタイムの制約の下で、時変接続性情報を持つ動的メッシュを生成できる。

開示の態様によると、テクスチャマッピング（例えば、テクスチャマップ、属性マップ）はメッシュ表現の大部分を消費し、テクスチャマッピングの効率的な圧縮はメッシュ圧縮における重要なタスクの１つになり得る。幾つかの例では、時間インスタンスでのテクスチャマッピングは、パッチに対応する２D形状で構成される画像（例えば、テクスチャマップ、属性マップ）を含み、２D形状はUVパッチとも呼ばれる。各UVパッチは、時間インスタンスでのメッシュの表面領域のテクスチャ情報（赤、緑、青のカラー値など）を表す。画像のピクセル座標はUV座標に対応する。

図１０は、例における２つの時間インスタンスにおけるテクスチャマップを示す。幾つかの例では、異なる時間インスタンスにおけるテクスチャマッピングが独立して生成される場合があり、異なる時間インスタンスのテクスチャマップにおける関連するUVパッチは、異なる方法で配置することができる。図１０は、第１時間t_０におけるの第１テクスチャマップ（１０１０）と、第２時間t_１における第２テクスチャマップ（１０２０）を示している。第１テクスチャマップ（１０１０）と第２テクスチャマップ（１０２０）の関連するUVパッチは、異なるように配置される。例えば、第１テクスチャマップ（１０１０）には、第１時間t_０の人物の顔に対応するUVパッチ（１０１１）が含まれ、第２テクスチャマップ（１０２０）には、第２時間t_１の人物の顔に対応するUVパッチ（１０２１）が含まれる。UVパッチ（１０１１）とUVパッチ（１０２１）は関連している。図１０に見られるように、UVパッチ（１０１１）とUVパッチ（１０２１）は、異なる方向と異なるUV位置によって各々のテクスチャマップに配置されている。

開示の幾つかの態様は、パッチを時間的に位置合わせするための符号化技術を提供し、例えば、テクスチャマップ、属性マップ、ジオメトリマップなどの２Dマップ内のUVパッチを時間的に位置合わせする。例えば、２Dマップ内のUVパッチが時間的に位置合わせされる場合、２Dマップは、例えば、インター予測技術を使用して、より効率的に圧縮することができる。幾つかの例では、メッシュは２Dマップを使用して表現することができ、本開示における用語「パッチ」は、２Dマップの文脈におけるUVパッチを指す場合があることに注意されたい。

図１１は、本開示の幾つかの実施形態によるパッチの時間的位置合わせの処理（１１００）の図を示す。処理（１１００）は、メッシュの符号化処理中に使用できる。様々な実施形態では、処理（１１００）は処理回路によって実行される。幾つかの実施形態では、処理（１１００）は、ソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路が処理（１１００）を実行する。処理は（S１１０１）から始まり、パッチ解析の（S１１１０）、パッチ分類の（S１１２０）、再マップ解析の（S１１３０）、再マッピングの（S１１４０）を含む。

（S１１１０）でパッチ解析を行う。パッチ解析はパッチの特性を解析できる。例によっては、パッチ解析中に２Dマップ（例えば、属性マップ、テクスチャマップなど）の各パッチの特徴点を特定する。特徴点は、スケール不変特徴変換（scale-invariant feature transform （SIFT））、高速化ロバスト特徴（speedup robust features （SURF））、勾配の位置と方向のヒストグラム（gradient location and orientation histogram （GLOH））、方向付き勾配のヒストグラム（histogram of oriented gradients （HOG））など、任意の適切な手法によって特定することができる。

幾つかの例では、パッチ解析中に各パッチのメトリックが計算される。メトリックは、スケール不変メトリック、回転不変メトリック、並進不変メトリック、アフィン変換不変メトリックなどである。以下の説明では、幾つかのメトリックの例について説明する。幾つかの例では、メトリックの例は、パッチ解析のメトリックとして個別に使用できる。幾つかの例では、メトリックの例の２つ以上のメトリックを組み合わせて、パッチ解析の複合メトリックを形成できる。幾つかの例では、パッチの類似した特性を示す他の適切なメトリックをパッチ解析で使用できる。

幾つかの例では、パッチの３D座標の中心をパッチのメトリックとして計算できる。例えば、パッチの３D座標の中心は、パッチ内の点（例えば頂点）の３D座標のサブセットの加重和によって計算できる。例では、パッチの３D座標の中心は、境界点（例えば、境界頂点を含む）を含むパッチ内のすべての点（例えば頂点）の３D座標を平均化することによって計算できる。別の例では、パッチの３D座標の中心は、境界点を除く（例えば、境界頂点を除く）パッチ内のすべての点（例えば頂点）の３D座標を平均化することによって計算される。別の例では、パッチの３D座標の中心は、パッチのすべての境界頂点の３D座標の平均として計算される。

幾つかの例では、パッチのUV座標の中心をパッチのメトリックとして計算できる。例えば、パッチのUV座標の中心は、パッチ内の点（例えば頂点）のUV座標のサブセットの加重和によって計算できる。例では、パッチのUV座標の中心は、境界点（例えば、境界頂点）を含むパッチ内のすべての点（例えば頂点）のUV座標を平均化することによって計算できる。別の例では、パッチのUV座標の中心は、境界点（例えば、境界頂点）を除くパッチ内のすべての点（例えば頂点）のUV座標を平均化することによって計算される。別の例では、パッチのUV座標の中心は、パッチのすべての境界頂点のUV座標の平均を取ることにより計算される。

幾つかの例では、パッチ内のポイントのサブセットの加重平均テクスチャ又は属性値をパッチのメトリックとして計算できる。例では、加重平均テクスチャ又は属性値は、境界ポイント（例えば、境界頂点）を含むパッチ内のすべてのポイント（例えば頂点）のテクスチャ又は属性値（赤、緑、青のチャネル値など）を平均することによって計算できる。別の例では、加重平均テクスチャ又は属性値は、境界ポイント（例えば、境界頂点）を除くパッチ内のすべてのポイント（例えば頂点）のテクスチャ又は属性値（赤、緑、青のチャネル値など）を平均することによって計算される。別の例では、加重平均テクスチャ又は属性値は、パッチのすべての境界頂点のテクスチャ又は属性値（赤、緑、青のチャネル値など）の平均を取ることによって計算される。

（１１２０）では、パッチ分類が実行される。幾つかの例では、パッチ分類中に、所与の時間インスタンスにおけるパッチを、フレーム間の一貫性又はその他の時間的/空間的特性に基づいて異なるカテゴリに分類できる。

幾つかの実施形態では、所与の時間インスタンスの２Dマップ（例えば、ジオメトリマップ、テクスチャマップ又は属性マップ）のパッチを、クラスMとクラスNと呼ばれる２つのクラスに分類できる。クラスMには、過去の時間インスタンスで参照一致パッチが見つかったパッチが含まれ、クラスNには、過去の時間インスタンスで参照一致パッチが見つからなかったパッチが含まれる。幾つかの例では、パッチとパッチの参照一致パッチは、異なる時間インスタンスでオブジェクトの表面の一部の表現である。例えば、パッチは現在時間でのオブジェクトの特定の表面部分を表し、参照一致パッチは過去の時間インスタンスでのオブジェクトの特定の表面部分を表す。

パッチ分類の間、幾つかの例では、各パッチに対して、過去の時間インスタンスの２Dマップ（例えば、ジオメトリマップ、テクスチャマップ、属性マップ）に対して参照一致技術が利用されて、過去の時間インスタンスで参照一致パッチが見つるかどうかが決定される。

幾つかの例では、技術は、例えばパッチと参照一致パッチが十分に一致する特徴点を持っている場合など、特徴一致に基づいて、所与の時間インスタンスのパッチについて、過去の時間インスタンスの参照一致パッチを決定することができる。実施形態では、クロス特徴一致技術を利用することができる。例えば、抽出された特徴点に基づいて、所与の時間インスタンス（t）におけるP_i,tで示されるパッチを、過去の時間インスタンス（t-k）におけるすべてのパッチと照合する。過去の時間インスタンス（t-k）におけるすべてのパッチのうち、パッチP_i,tに最も一致するパッチは（例えば、一致した特徴点の数に基づいて）PP_i０,t-kで示される。次に、過去の時間インスタンス（t-k）におけるパッチP_i０,t-kは、時間インスタンス（t）におけるすべてのパッチと一致し、将来の最も一致するパッチを見つける。P_i０,t-kに対する将来の最も一致するパッチがP_i,tであるとき、P_i０,t-k及びP_i,tは、クロス特徴一致技術に従ってクロスマッチ（cross-match）である。そして、パッチP_i,tに対して、過去の時間インスタンスにおける参照一致パッチが存在し、P_i,tはクラスMに分類される。それ以外の場合（例えば、P_i０,t-kの最適な将来の一致がP_i,tではない）、Pi,tはクラスNに分類される。

幾つかの例では、パッチ分類中に、過去の時間インスタンスにおける２Dマップ（例えば、ジオメトリマップ、テクスチャマップ、属性マップ）に対してメトリック一致技術が利用され、過去の時間インスタンスで参照一致パッチが見つかったかどうかが決定される。例では、３D座標の中心を使用して、時間インスタンス（t）におけるパッチP_i,tが過去の時間インスタンス（t-k）のすべてのパッチと照合される。ここで、kは正の数である。過去の時間インスタンス（t-k）のすべてのパッチの中で、パッチP_i,tに対する３D座標の中心の差が最も小さいパッチ（P_i０,t-kで表される）を最も一致するパッチとして選択できる。３D座標の中心の差は、l^１ノルム、l^２ノルム、又はその他の任意の距離指標で測定できる。次に、３D座標の中心を使用して、最も一致するパッチP_i０,t-kを時間インスタンス（t）のすべてのパッチと照合し、P_i０,t-kについて将来の最も一致するパッチを見つける。パッチP_i０,t-kが過去の時間インスタンス（t-k）のパッチの中でパッチP_i,tに対する３D座標の中心の差が最も小さく、さらにパッチP_i,tが時間インスタンス（t）のパッチの中でパッチP_i０,t-kに対する３D座標の中心の差が最も小さい（例えば、パッチP_i,tはP_i０,t-kに将来最も一致する）場合、P_i０,t-kとP_i,tは３D座標の中心のクロスマッチングによりクロスマッチし、P_i,tはクラスMに分類される。それ以外の場合（例えば、P_i０,t-kの最適な将来の一致がP_i,tではない）、Pi,tはクラスNに分類される。

幾つかの例では、１つより多くのメトリックがメトリック一致技術で使用できる。例では、時間インスタンス（t）のパッチP_i,t、過去の時間インスタンスのクロスマッチパッチP_i０,t-kは、３D座標の中心に従って検出され、２つのクロスマッチパッチの別のメトリック（例えば平均テクスチャ値）又は２つのメトリック（例えば、テクスチャの平均値、UV座標の中心）の差は、所与の閾値（又は２つのメトリックの場合は所与の２つの閾値）未満のように小さいものであり、P_i,tはクラスMに分類される。それ以外の場合（例えば、他のメトリックの差が閾値以上である）、P_i,tはクラスNに分類される。

幾つかの例では、メトリック一致でハウスドルフ（Hausdorff）距離が使用される。例えば、時間インスタンスtのパッチP_i,tは、過去の時間インスタンス（t-k）のすべてのパッチと一致する。ここで、kは３D座標のハウスドルフ距離に従った正の数である。

幾つかの例では、ハウスドルフ距離は、メトリックマッチングで１つ、２つ、又はそれ以上の計算されたメトリック（例えば、平均テクスチャ値、及び／又は３D座標の中心、及び／又はUV座標の中心などである）と組み合わされる。

上記の説明のパッチ分類は、過去の時間インスタンスに対する所与の時間インスタンスの参照一致を実行するが、パッチ分類は、未来の時間インスタンスに対する所与の時間インスタンスの参照一致を使用して適用することもできる。例えば、所与の時間インスタンスにおける２Dマップ（例えば、ジオメトリマップ、テクスチャマップ、又は属性マップ）のパッチは、クラスMとクラスNと呼ばれる２つのクラスに分類される。クラスMには、将来の時間インスタンスで参照一致パッチが見つかったパッチが含まれ、クラスNには、将来の時間インスタンスで参照一致パッチが見つからなかったパッチが含まれる。

（S１１３０）で再マップ解析を行う。例によっては、再マップ解析の際に、パッチごとに回転パラメータ、反射パラメータ、平行移動パラメータなどの再マップ変換パラメータを計算し、時間領域でパッチをより良く位置合わせさせる。

幾つかの例では、一致するローカル特徴点に基づいて再マップ変換パラメータを導出できる。

幾つかの例では、再マップ解析は、クラスMのパッチからが開始される。クラスMのパッチで再マップ解析が完了した後、クラスNのパッチで再マップ解析を実行できる。

実施形態では、再マップ解析のために、パックされたパッチリストLは空に初期化される。その後、クラスMのパッチはサイズにより並べられる。サイズ順に従って、クラスMのパッチに対して再マップ解析が実行される。例えば、クラスMの大きなパッチがクラスMの小さなパッチの前に解析される。例では、パッチサイズは、境界を含むパッチ内のピクセル数によって計算できる。別の例では、パッチサイズは、境界を除くパッチ内のピクセル数によって計算できる。別の例では、パッチサイズは、パッチを含む最小の長方形の境界ボックスの面積にすることができる。

幾つかの例では、各パッチの再マップ解析中に回転角が決定され、参照一致パッチとの最も高い類似性に達する。幾つかの例では、クラスMのパッチP_i,tは、時間インスタンス（t-k）で参照一致パッチを持ち、kは正の数であり、参照一致パッチはパッチP_i０,t-kで示される。一例では、パッチについて、角度r_i,tを持つパッチP_i,tの回転の後のR（P_i,t）で示される回転パッチが、基準P_i０,t-kに対して最も高い類似性（類似性の値を第１最高類似性値と呼ぶ）を持つように、回転角r_i,tを決定する。幾つかの例では、回転角r_i,tは、０と２π間の値であり、０≦r_i,t＜２πである。幾つかの例では、IoU（intersection over union）値によって類似性を測定できる。幾つかの例では、回転したパッチR（P_i,t）と参照一致パッチP_i０,t-kの間の相互相関が類似性の指標になる。

幾つかの例では、パッチP_i,tが水平軸に沿って反射されて反射パッチFP_i,tが生成され、反射パッチFP_i,tに対する回転角f_i,tが、基準P_i０,t-kに対して最も高い類似性（類似性の値を第２最高類似性値と呼ぶ）を持つように決定される。そして、第１最高類似性値と第２最高類似性値を比較して、パッチP_i,tにr_i,tを使用するか、反射パッチFP_i,tにr_i,tを使用するかを決定できる。一例では、第１類似性値の方が高い場合、最終回転角はr_i,tとなり、第２類似性値の方が高い場合、最終回転角r_i,tは-f_i,tに設定できる。なお、最終回転角r_i,tの範囲は-２π<r_i,t<２πであり、負の角度はパッチP_i,tに反射が加えられていることを示す。

一部の例では、１ビットの反射フラグを使用して、反射が適用されているかどうかを示す。１ビットの反射フラグを使用すると、回転角は０と２πの範囲になる。

幾つかの例では、回転角r_i,tを決定した後、回転したパッチR（P_i,t）の空間的な並進値（u_i,t,v_i,t）を求める。例えば、空間的な並進値（u_i,t,v_i,t）は、空間的な並進後のパッチR（P_i,t）のUV座標の中心（空間的に並進されたパッチと呼ばれ、T（R（P_i,t）により表す）が、参照一致パッチP_i０,t-kのUV座標の中心と等しくなるような初期値で初期設定される。そして、空間的に並進されたパッチT（R（P_i,t））は、空間的に並進されたパッチT（R（P_i,t））が、パックされたパッチリストLにすでにあるパッチと重複していないかどうかをチェックされる。空間的に並進されたパッチT（R（P_i,t））が、パックされたパッチリストL内の他のパッチと重複していない場合、空間的に並進されたパッチT（R（P_i,t））は、パックされたパッチリストLに追加される。その後、サイズ順にクラスM内の次のパッチへと、再マップ解析を続行できる。

幾つかの例では、空間的並進値（u_i,t,v_i,t）は、空間的並進値のウィンドウ上で、回転したパッチR（P_i,t）と参照一致パッチP_i０,t-kとの相互相関値を計算することによって初期化される。最も高い相互相関値を与えることができるウィンドウ内の値は、空間的並進値（u_i,t,v_i,t）の初期化値として使用できる。

幾つかの例では、重複チェック中に、空間的並進パッチT（R（P_i,t））がすでにパックされたパッチリストLにあるパッチと重複し、その後、空間的並進値（u_i,t,v_i,t）を初期化値を中心とした範囲で徐々に修正し、空間的並進パッチT（R（P_i,t））に対して修正した空間的並進値との重複チェックを実行して、空間的並進パッチT（R（P_i,t））がパックされたパッチリストL内のいずれかのパッチと重複しているかどうかをチェックできる。空間的並進パッチT（R（P_i,t））がパックされたパッチリストL内のパッチと重複していない場合、空間的並進パッチT（R（P_i,t））はパックされたパッチリストLに追加される。その後、サイズ順にクラスM内の次のパッチへと、再マップ解析を続行する。

ただし、例では、検索範囲内のすべての空間的並進値（u_i,t,v_i,t）について、空間的並進パッチTT（R（P_i,t））と、パックされたパッチリストL内の一部のパッチとの間に重複が生じる場合、パッチP_i,tがクラスMから削除され、クラスNに追加される。その後、サイズ順にクラスM内の次のパッチへと、再マップ解析を続行する。

クラスM内のすべてのパッチの再マップ解析が完了すると、クラスN内のパッチに対して再マップ解析が続行する。

幾つかの例では、クラスNのパッチはサイズ順に並べられている。再マップ解析はサイズ順に従う。例えば、クラスNの大きなパッチは、クラスNの小さなパッチの前に再マップ解析される。例では、パッチサイズは、境界を含むパッチ内のピクセル数によって計算される。別の例では、パッチサイズは、境界を除くパッチ内のピクセル数によって計算できる。別の例では、パッチサイズは、パッチを含む最小の長方形の境界ボックスの面積にする。

幾つかの例では、クラスNのパッチP_i,tについて、空間的並進値（u_i,t,v_i,t）を決定できる。例では、空間的並進値（u_i,t,v_i,t）は、空間的並進がないことを示す（０，０）に初期設定される。次に、パッチP_i,tがパックされたパッチリストLに既に存在するパッチと重複するかどうかについて、パッチP_i,tをチェックする。パッチP_i,tが重複していない（例えば、はパックされたパッチリストLのどのパッチとも重複していない）場合は、パッチP_i,tがパックされたパッチリストLに追加される。その後、サイズ順にクラスNの次のパッチへと再マップ解析が続行される。

幾つかの例では、パッチP_i,tがパックされたパッチリストLのパッチと重複している場合、空間的並進値（u_i,t,v_i,t）は、（０,０）を中心とした範囲で徐々に修正され、重複チェックを行って、徐々に修正された空間的並進値を持つT（P_i,t）で示される空間的に並進されたパッチがパックされたパッチリストLのいずれかのパッチと重複していないかをチェックする。T（P_i,t）で示される空間的に並進されたパッチが重複していない場合、空間的に並進されたパッチT（P_i,t）がパックされたパッチリストLに追加される。その後、サイズ順にクラスNの次のパッチへと再マップ解析が続行される。

幾つかの例では、検索範囲内のすべての空間的並進値（u_i,t,v_i,t）について、T（P_i,t）とパックされたパッチリストL内の一部のパッチとの間で重複が発生した場合、再マップ解析は停止する（早期停止と呼ばれる）。早期停止は、所与の検索範囲で再マップが実行不可能であることを示す。例では、再マッピング段階（S１１４０）はスキップされる。その結果、所与の時間インスタンス（t）での再マッピングは実行されない。

一部の例では、クラスNのパッチによる再マップ解析が早期停止せずに完了した場合、再マッピング（S１１４０）を実行できる。

（S１１４０）で再マップ解析を行う。

例によっては、再マッピング中に、新しいテクスチャマップや新しい属性マップなどの１つ以上の新しい２Dマップが時間インスタンス（t）に対して生成される。例では、元の２Dマップ（例えば、オリジナルのテクスチャマップやオリジナルの属性マップ）の各ピクセルをチェックして、そのピクセルがパッチに属しているかどうかを決定できる。

ピクセルがパッチP_i,tに属している場合、そのピクセルは占有ピクセルである。パッチP_i,tの占有ピクセルについては、ピクセルの位置にパッチP_i,tの回転角と空間的並進値を適用することによって、新しい２Dマップ内の新しい位置（例えば、新しいジオメトリマップ、新しいテクスチャマップ、又は新しい属性マップ）を決定できる。幾つかの例では、パッチP_i,tはクラスNにあり、従って、パッチP_i,tの再マップ変換パラメータは、tに回転角パラメータを含まない場合があり、従って、ピクセルに回転が適用されないことに注意する。ピクセルの新しい位置を導出した後、元の２Dマップのピクセル値（例えば、ジオメトリマップ、テクスチャマップ、属性値）が新しい２Dマップの新しい位置の値に割り当てられる。その後、再マッピングは次のピクセルへと続行する。

ピクセルがどのパッチにも属していない場合、そのピクセルは元の２Dマップ（例えば、ジオメトリマップ、テクスチャマップ、属性マップ）では占有されていないピクセルであり、再マッピングは次のピクセルへと続行する。

元の２Dマップで占有されているすべてのピクセルのピクセル値が新しい２Dマップに再マッピングされた後、新しいマップに値が割り当てられていないピクセルが存在する場合がある。これらは、新しい２Dマップの占有されていないピクセルである。

新しい２Dマップ（例えば、新しいジオメトリマップ、新しいテクスチャマップ、新しい属性マップ）の占有されていないピクセルについて、任意の適切な値を割り当てることができる。例では、コーディング効率を向上させるために、占有された空間的/時間的近隣の値から占有されていないピクセルを導出できる。別の例では、占有されていないピクセルに定数値を割り当てることができ、その定数値はすべての占有されたピクセルの平均値又は中央値にすることができる。別の例では、境界拡張技術を使用して、パッチの境界を拡張し、占有されていないピクセルを境界値で満たす。別の例では、ミップマップ技術を使用して、占有されていないピクセルを満たす。

幾つかの実施形態では、ジオメトリマップ、テクスチャマップ、属性画像などの各２Dマップに対して、パッチの時間的位置合わせを適用して、新しいジオメトリマップ、新しいテクスチャマップ、新しい属性マップなどの新しい２Dマップを生成する。ただし、再マップ解析中の早期停止の場合、新しい２Dマップは元の２Dマップの正確なコピーになる可能性がある。

幾つかの例では、正に第１の２Dマップなど、メッシュシーケンスの開始時の２Dマップ（例えば、ジオメトリマップ、テクスチャマップ又は属性マップ）の場合、対応する新しい２Dマップは元の２Dマップの正確なコピーにすることができる。幾つかの例では、将来の時間インスタンスの２Dマップが参照フレームとして使用され、メッシュシーケンスの正に第１の２Dマップに対して新しい２Dマップを生成できる。

幾つかの例では、新しい２Dマップシーケンスを形成するためにすべての時間インスタンスに対して新しい２Dマップ（例えば、新しいジオメトリマップ、新しいテクスチャマップ、新しい属性マップ）が生成され、新しい２Dマップシーケンスに圧縮を適用できる。

幾つかの例では、デコーダ側で２Dマップ（例えば、テクスチャマップ又は属性マップ）を元のUV座標に復元するために、各パッチの再マップ変換パラメータをエンコーダとデコーダ間で通信し、デコーダが元の２Dマップを復元できるようにする。

開示の一態様によれば、再マップ変換パラメータは様々な技術によってコーディングすることができる。幾つかの例では、各パッチについて、再マップ変換が自明でない変換であるかどうかを示すために、１ビットの変換フラグをシグナリングすることができる。自明な変換は、反射がなく、回転角が０度であり、空間的並進値が（０．０）である再マップ変換である。幾つかの例では、コーディングの前に回転角を量子化できる。例では、回転角の量子化は、π/２、π/４、又はその他の量子化ステップで行うことができる。幾つかの例では、コーディングの前に空間的並進値を量子化できる。空間的並進値の量子化は、整数値、浮動小数点値、又はその他の量子化ステップの量子化ステップで行うことができる。

幾つかの実施形態では、メッシュ表現（Wavefront objファイルのような３Dジオメトリ表現など）のUV座標が更新される。例えば、ジオメトリマップは新しいジオメトリマップに更新される。UV座標が更新された後は、再マップ変換パラメータを符号化する必要はない。

開示の別の態様によると、適応サンプリングはエンコーダ側で適用される場合がある。幾つかの例では、パッチの時間的位置合わせ方法を適応サンプリング方法と共に利用することができる。

適応サンプリングでは、情報を表現するために必要な帯域幅を減らすことができるジオメトリマップ、テクスチャマップ、又は属性マップに、サンプリングステップを適応的に適用する。適応サンプリングの後、ジオメトリマップ、テクスチャマップ、又は属性マップなどの２Dマップのパッチを時間的に位置合わせすることができる。パッチは、適応サンプリング中に異なるサンプリングレートでサンプリングされている場合があることに注意する。

図１２は、本開示の一実施形態による、処理（１２００）の概要を示すフローチャートを示す。処理（１２００）は、メッシュの符号化処理中に使用できる。様々な実施形態では、処理（１２００）は処理回路によって実行される。幾つかの実施形態では、処理（１２００）は、ソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路が処理（１２００）を実行する。処理は（S１２０１）で開始し、（S１２１０）に進む。

（S１２１０）で、少なくとも第１時間インスタンスに関連付けられた第１メッシュフレームと、第２時間インスタンスに関連付けられた第２メッシュフレームが受信される。第１メッシュフレームと第２メッシュフレームは、多角形を有するオブジェクトの表面を表す。第１メッシュフレームには、第１時間インスタンスにおいて３D情報が２Dにマップされた第１パッチを持つ第１の２Dマップが含まれる。第２メッシュフレームには、第２時間インスタンスにおいて３D情報が２Dにマップされた第２パッチを持つ第２の２Dマップが含まれる。

（S１２２０）で、第１パッチのうちの１つの第１パッチが、第２パッチのうちの１つの第２パッチの参照一致パッチであることが識別される。

（S１２３０）で、第１の２Dマップの第１パッチに対する第２パッチの時間的位置合わせのための第１再マップ変換パラメータが決定される。

（S１２４０）で、第２の２Dマップに対応する新しい第２の２Dマップが生成される。新しい２Dマップには、第１再マップ変換パラメータに従って第２パッチから変換される、変換された第２パッチが含まれる。

幾つかの例では、第１パッチが第２パッチの参照一致パッチであることを識別するために、クロスマッチ技術が使用される。例では、第１パッチに対して各々第２パッチの第１一致メトリックが決定される。第１パッチは、第１一致メトリックに従って、第１パッチから最も一致するパッチとして選択される。次に、第２パッチに対して各々第１パッチの第２一致メトリックが決定される。第１パッチは、第２一致メトリックに従って、第２パッチが最も一致するパッチであることに応答して、第２パッチの参照一致パッチであると決定される。

例では、第１パッチの特定のパッチに対する第２パッチの一致メトリックは、第２パッチと特定のパッチの一致する特徴点に従って決定される。別の例では、第２パッチの３D座標の中心と特定のパッチの３D座標の中心の違いに応じて、第１パッチの特定のパッチに対する第２パッチの一致メトリックが決定される。別の例では、第２パッチと特定のパッチの間の３D座標のハウスドルフ（Hausdorff）距離に応じて、第１パッチの特定のパッチに対する第２パッチの一致メトリックが決定される。

幾つかの例では、時間的位置合わせのための第１再マップ変換パラメータには、回転パラメータ、反射パラメータ、及び空間的並進パラメータの少なくとも１つが含まれる。

幾つかの実施形態では、第２パッチの第１再マップ変換パラメータは、少なくとも第１メッシュフレームと第２メッシュフレームを伝送するビットストリームに符号化される。

幾つかの実施形態では、第２メッシュフレームのジオメトリ２Dマップは、第１再マップ変換パラメータに従って更新される。

幾つかの実施形態では、第２パッチは第１クラスと第２クラスに分類される。第１クラスには、第１パッチで識別された対応する参照一致パッチを持つ第２パッチの第１サブセットが含まれ、第２クラスには、第１パッチで識別された参照一致パッチを持たない第２パッチの第２サブセットが含まれる。

幾つかの例では、第２パッチの第１サブセットは、サイズによりサイズ順の第１パッチシーケンスに並べ替えられ、第１パッチシーケンスに従って第２パッチの第１サブセットの各々の再マップ変換パラメータが決定される。例では、第２パッチがサイズ順に従って第１パッチシーケンスから選択される。第１パッチシーケンスには、第２パッチよりもサイズが大きい少なくとも第３パッチが含まれている。第３パッチの第２再マップ変換パラメータが決定され、第２再マップ変換パラメータに従って変換された第３パッチは、パックされたパッチリストに追加される。第１パッチと最も類似性の高い回転した第２パッチを生成するための第１回転角が決定される。そして、パックされたパッチリスト内の変換されたパッチとの重複を避けるために、回転した第２パッチを移動するための第１空間的並進値が決定される。第２パッチは、第１回転角と第１空間的並進値に従って、変換された第２パッチを生成するように変換される。変換された第２パッチは、パックされたパッチリストに追加される。

幾つかの例では、第２パッチを反映するかどうかは、反映された第２パッチと第１パッチとの第２最高類似性との最高類似性との類似性比較に基づいて決定される。

幾つかの例では、事前定義されたウィンドウに重複がないことを可能にする空間的並進値がないことに応答して、第２パッチが第１クラスから削除され、第２クラスに追加される（例えば、第２類に分類される）。

幾つかの例では、第２パッチの第２サブセットがサイズ順の第２パッチシーケンスにサイズにより並べられている。次に、第２パッチの第２サブセットの各々の再マップ変換パラメータが、第２パッチシーケンスに従って決定される。

次に、処理は（S１２９９）に進み終了する。

処理（１２００）は、適切に適応させることができる。処理（１２００）のステップは変更及び／又は省略できる。追加のステップを追加できる。任意の適切な実装順序を使用できる。

本開示で開示された技術は、別個に使用され又は任意の順序で結合されてよい。さらに、技術（例えば、方法、実施形態）、エンコーダ、及びデコーダの各々は、処理回路（例えば、１つ以上のプロセッサ、又は１つ以上の集積回路）によって実装されてもよい。幾つかの例では、１つ以上のプロセッサは、非一時的コンピュータ可読媒体に格納されたプログラムを実行する。

上述の技術は、コンピュータ可読命令を用いてコンピュータソフトウェアとして実装でき、１つ以上のコンピュータ可読媒体に物理的に格納でる。例えば、図１３は、本開示の主題の特定の実施形態を実装するのに適するコンピュータシステム（１３００）を示す。

コンピュータソフトウェアは、アセンブリ、コンパイル、リンク等のメカニズムにより処理されて、１つ以上のコンピュータ中央処理ユニット（CPU）、グラフィック処理ユニット（GPU）、等により直接又はインタープリット、マイクロコード実行、等を通じて実行可能な命令を含むコードを生成し得る、任意の適切な機械コード又はコンピュータ言語を用いてコーディングできる。

命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置、等を含む種々のコンピュータ又はそのコンポーネントで実行できる。

コンピュータシステム（１３００）の図１３に示すコンポーネントは、本来例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に対するようないかなる限定も示唆しない。さらに、コンポーネントの構成も、コンピュータシステム（１３００）の例示的な実施形態に示されたコンポーネントのうちのいずれか又は組み合わせに関連する任意の依存性又は要件を有すると解釈されるべきではない。

コンピュータシステム（１３００）は、特定のヒューマンインタフェース入力装置を含んでよい。このようなヒューマンインタフェース入力装置は、例えば感覚入力（例えば、キーストローク、スワイプ、データグラブ動作）、音声入力（例えば、音声、クラッピング）、視覚的入力（例えば、ジェスチャ）、嗅覚入力（示されない）を通じた１人以上の人間のユーザによる入力に応答してよい。ヒューマンインタフェース装置は、必ずしも人間による意識的入力に直接関連する必要のない特定の媒体、例えば音声（例えば、会話、音楽、環境音）、画像（例えば、スキャンされた画像、デジタルカメラから取得された写真画像）、ビデオ（例えば、２次元ビデオ、３次元ビデオ、立体ビデオを含む）をキャプチャするためにも使用できる。

入力ヒューマンインタフェース装置は、キーボード（１３０１）、マウス（１３０２）、トラックパッド（１３０３）、タッチスクリーン（１３１０）、データグラブ（図示しない）、ジョイスティック（１５０５）、マイクロフォン（１３０６）、スキャナ（１３０７）、カメラ（１３０８）、のうちの１つ以上を含んでよい（そのうちの１つのみが示される）。

コンピュータシステム（１３００）は、特定のヒューマンインタフェース出力装置も含んでよい。このようなヒューマンインタフェース出力装置は、例えば感覚出力、音声、光、及び匂い／味を通じて１人以上の人間のユーザの感覚を刺激してよい。このようなヒューマンインタフェース出力装置は、感覚出力装置を含んでよい（例えば、タッチスクリーン（１３１０）、データグラブ（図示しない）、又はジョイスティック（１３０５）による感覚フィードバック、しかし入力装置として機能しない感覚フィードバック装置も存在し得る）、音声出力装置（例えば、スピーカ（１３０９）、ヘッドフォン（図示しない）、視覚的出力装置（例えば、スクリーン（１３１０）、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含み、各々タッチスクリーン入力能力を有し又は有さず、各々感覚フィードバック能力を有し又は有さず、これらのうちの幾つかは例えば立体出力、仮想現実眼鏡（図示しない）、ホログラフィックディスプレイ、及び発煙剤タンク（図示しない）、及びプリンタ（図示しない）のような手段を通じて２次元視覚出力又は３次元以上の出力を出力可能であってよい））。

コンピュータシステム（１３００）は、人間のアクセス可能な記憶装置、及び、例えばCD/DVD等の媒体（１３２１）を備えるCD/DVD ROM/RW（１３２０）を含む光学媒体、サムドライブ（１３２２）、取り外し可能ハードドライブ又は固体ドライブ（１３２３）、テープ及びフロッピディスク（図示しない）のようなレガシー磁気媒体、セキュリティドングル（図示しない）等のような専用ROM/ASIC/PLDに基づく装置のような関連する媒体も含み得る。

当業者は、本開示の主題と関連して使用される用語「コンピュータ可読媒体」が伝送媒体、搬送波、又は他の一時的信号を包含しないことも理解すべきである。

コンピュータシステム（１３００）は、１つ以上の通信ネットワーク（１３５５）へのインタフェース（１３５４）も含み得る。ネットワークは、例えば無線、有線、光であり得る。ネットワークへは、更に、ローカル、広域、都市域、車両及び産業、リアルタイム、耐遅延性、等であり得る。ネットワークの例は、イーサネットのようなローカルエリアネットワーク、無線LAN、GSM、３Ｇ、４Ｇ、５Ｇ、LTE等を含むセルラネットワーク、ケーブルTV、衛星TV、地上波放送TVを含むTV有線又は無線広域デジタルネットワーク、CANBusを含む車両及び産業、等を含む。特定のネットワークは、一般に、特定の汎用データポート又は周辺機器バス（１３４９）（例えば、コンピュータシステム（１３００）のUSBポート）に取り付けられる外部ネットワークインタフェースを必要とする。他のものは、一般に、後述するようなシステムバスへの取り付けによりコンピュータシステム（１３００）のコアに統合される（例えば、イーサネットインタフェースをPCコンピュータシステムへ、又はセルラネットワークインタフェースをスマートフォンコンピュータシステムへ）。これらのネットワークを用いて、コンピュータシステム（１３００）は、他のエンティティと通信できる。このような通信は、単方向受信のみ（例えば、放送TV）、単方向送信のみ（例えば、特定のCANbus装置へのCANbus）、又は例えばローカル又は広域デジタルネットワークを用いて他のコンピュータシステムへの双方向であり得る。特定のプロトコル及びプロトコルスタックが、上述のネットワーク及びネットワークインタフェースの各々で使用され得る。

前述のヒューマンインタフェース装置、人間のアクセス可能な記憶装置、及びネットワークインタフェースは、コンピュータシステム（１３００）のコア（１３４０）に取り付け可能である。

コア（１３４０）は、１つ以上の中央処理ユニット（CPU）（１３４１）、グラフィック処理ユニット（GPU）（１３４２）、FPGAの形式の専用プログラマブル処理ユニット（１３４３）、特定タスクのためのハードウェアアクセラレータ（１３４４）、グラフィックアダプタ（１３５０）、等を含み得る。これらの装置は、読み出し専用メモリ（ＲＯＭ）（１３４５）、ランダムアクセスメモリ（１３４６）、内部のユーザアクセス不可能なハードドライブ、ＳＳＤ、等のような内蔵大容量記憶装置（１３４７）と共に、システムバス（１３４８）を通じて接続されてよい。幾つかのコンピュータシステムでは、追加CPU、GPU、等による拡張を可能にするために、システムバス（１３４８）は、１つ以上の物理プラグの形式でアクセス可能である。周辺機器は、コアのシステムバス（１３４８）に直接に、又は周辺機器バス（１３４９）を通じて、取り付け可能である。例では、スクリーン（１３１０）は、グラフィックアダプタ（１３５０）に接続できる。周辺機器バスのアーキテクチャは、PCI、USB等を含む。

CPU（１３４１）、GPU（１３４２）、FPGA（１３４３）、及びアクセラレータ（１３４４）は、結合されて前述のコンピュータコードを生成可能な特定の命令を実行できる。該コンピュータコードは、ROM（１３４５）又はRAM（１３４６）に格納できる。一時的データもRAM（１３４６）に格納でき、一方で、永久的データは例えば内蔵大容量記憶装置（１３４７）に格納できる。メモリ装置のうちのいずれかへの高速記憶及び読み出しは、CPU（１３４１）、GPU（１３４２）、大容量記憶装置（１３４７）、ROM（１３４５）、RAM（１３４６）等のうちの１つ以上に密接に関連付けられ得るキャッシュメモリの使用を通じて可能にできる。

コンピュータ可読媒体は、種々のコンピュータにより実施される動作を実行するためのコンピュータコードを有し得る。媒体及びコンピュータコードは、本開示の目的のために特別に設計され構成されたものであり得、又は、コンピュータソフトウェア分野の当業者によく知られ利用可能な種類のものであり得る。

例として及び限定ではなく、アーキテクチャを有するコンピュータシステム（１３００）、及び具体的にはコア（１３４０）は、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、等を含む）が１つ以上の有形コンピュータ可読媒体内に具現化されたソフトウェアを実行した結果として、機能を提供できる。このようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（１３４７）又はROM（１３４５）のような非一時的特性のコア（１３４０）の特定の記憶装置、及び上述のようなユーザアクセス可能な大容量記憶装置と関連付けられた媒体であり得る。本開示の種々の実施形態を実装するソフトウェアは、このような装置に格納されコア（１３４０）により実行できる。コンピュータ可読媒体は、特定の必要に従い、１つ以上のメモリ装置又はチップを含み得る。ソフトウェアは、コア（１３４０）及び具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、等を含む）に、ソフトウェアにより定義された処理に従うＲＡＭ（１３４６）に格納されたデータ構造の定義及び該データ構造の変更を含む、ここに記載した特定の処理又は特定の処理の特定の部分を実行させることができる。追加又は代替として、コンピュータシステムは、ここに記載の特定の処理又は特定の処理の特定の部分を実行するためにソフトウェアと一緒に又はそれに代わって動作可能な論理ハードワイヤド又は他の回路内の実装（例えば、アクセラレータ（１３４４））の結果として機能を提供できる。ソフトウェアへの言及は、ロジックを含み、適切な場合にはその逆も同様である。コンピュータ可読媒体への言及は、適切な場合には、実行のためにソフトウェアを格納する（集積回路（IC）のような）回路、実行のためにロジックを実装する回路、又はそれらの両方を含み得る。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを含む。

本開示は、幾つかの例示的な実施形態を記載したが、代替、置換、及び種々の代用の均等物が存在し、それらは本開示の範囲に包含される。当業者に明らかなことに、ここに明示的に示され又は説明されないが、本開示の原理を実施し、従って、本開示の精神及び範囲に含まれる多数のシステム及び方法を考案可能である。

Claims (22)

1. メッシュ符号化の方法であって、
   少なくとも、第１時間インスタンスに関連付けられた第１メッシュフレームと第２時間インスタンスに関連付けられた第２メッシュフレームを受信するステップであって、前記第１メッシュフレームと前記第２メッシュフレームは多角形を持つオブジェクトの表面を表し、前記第１メッシュフレームは、２次元（２D）にマッピングされた３次元（３D）情報を有する第１パッチを有する第１の２Dマップを含み、前記第２メッシュフレームは、２Dにマッピングされた３D情報を有する第２パッチを有する第２の２Dマップを含む、ステップと、
   前記第１パッチのうちの１つの第１パッチが、第２パッチのうちの１つの第２パッチの参照一致パッチであることを識別するステップと、
   前記第１の２Dマップの前記第１パッチに対する前記第２パッチの時間的位置合わせのために、第１再マップ変換パラメータを決定するステップと、
   前記第２の２Dマップに対応する新しい第２の２Dマップを生成するステップであって、前記新しい第２の２Dマップは、前記第１再マップ変換パラメータに従い、前記第２パッチから変換される変換された第２パッチを有する、ステップと、
   を含む方法。
2. 前記第１パッチが前記第２パッチに対する前記参照一致パッチであることを識別するステップは、さらに、
   前記第１パッチに対して各々前記第２パッチの第１一致メトリックを決定するステップと、
   前記第１一致メトリックに従って、前記第１パッチから最も一致するパッチとして前記第１パッチを選択するステップと、
   を含む、請求項１に記載の方法。
3. 前記第２パッチに対する各々の前記第１パッチの第２一致メトリックを決定するステップと、
   前記第２一致メトリックに従って、前記第２パッチが最も一致するパッチであることに応答して、前記第１パッチが前記第２パッチの前記参照一致パッチであることを決定するステップと、
   をさらに含む請求項２に記載の方法。
4. 前記第１パッチに対する各々の前記第２パッチの前記第１一致メトリックを決定するステップは、さらに、
   前記第２パッチと特定のパッチの一致する特徴点に従って、前記第１パッチの前記特定のパッチに対する前記第２パッチの一致メトリックを決定するステップと、
   前記第２パッチの３D座標の中心と前記特定のパッチの３D座標の中心の違いに従って、前記第１パッチの特定のパッチに対する前記第２パッチの一致メトリックを決定するステップと、
   前記第２パッチと前記特定のパッチの間の３D座標のハウスドルフ距離に従って、前記第１パッチの特定のパッチに対する前記第２パッチの一致メトリックを決定するステップと、
   のうちの少なくとも１つを含む、請求項２に記載の方法。
5. 前記第１パッチへの前記第２パッチの時間的位置合わせのための前記第１再マップ変換パラメータを決定するステップは、
   回転パラメータ、反射パラメータ及び空間的並進パラメータの少なくとも１つを決定するステップをさらに含む、請求項１に記載の方法。
6. 前記第２パッチに対する前記第１再マップ変換パラメータを、少なくとも前記第１メッシュフレーム及び前記第２メッシュフレームを伝送するビットストリームに符号化するステップ、
   をさらに含む請求項１に記載の方法。
7. 前記第１再マップ変換パラメータに従って、前記第２メッシュフレームのジオメトリ２Dマップを更新するステップ、をさらに含む請求項１に記載の方法。
8. 前記第２パッチを第１クラスと第２クラスに分類するステップであって、前記第１クラスは、前記第１パッチで識別される対応する参照一致パッチを持つ前記第２パッチの第１サブセットを含み、前記第２クラスは、前記第１パッチで識別される参照一致パッチを持たない前記第２パッチの第２サブセットを含む、ステップ、をさらに含む請求項１に記載の方法。
9. 前記第２パッチの前記第１サブセットをサイズにより並べ替えて、サイズ順の第１パッチシーケンスにするステップと、
   前記第１パッチシーケンスに従って、前記第２パッチの前記第１サブセットの各々の再マップ変換パラメータを決定するステップと、
   をさらに含む請求項８に記載の方法。
10. 前記第１パッチシーケンスのパッチに対する各々の前記再マップ変換パラメータを決定するステップが、さらに、
    前記サイズ順に従って前記第１パッチシーケンスから前記第２パッチを選択するステップであって、前記第１パッチシーケンスは前記第２パッチよりもサイズが大きい少なくとも第３パッチを含み、前記第３パッチに対する第２再マップ変換パラメータが決定され、前記第２再マップ変換パラメータに従って変換された第３パッチが、パックされたパッチリストに追加される、ステップと、
    前記第１パッチとの類似性が最も高い回転された第２パッチを生成するための第１回転角を決定するステップと、
    前記パックされたパッチリスト内の変換されたパッチとの重複を避けるために前記回転された第２パッチを移動するための第１空間的並進値を決定するステップと、
    を含む、請求項９に記載の方法。
11. 前記第１回転角及び前記第１空間的並進値に従って前記第２パッチの変換された第２パッチを決定するステップと、
    前記変換された第２パッチを前記パックされたパッチリストに追加するステップと、
    をさらに含む請求項１０に記載の方法。
12. 前記第２パッチを反映するかどうかを、最も高い類似性と、反映された第２パッチ及び前記第１パッチの第２最高類似性との類似性比較に基づいて決定するステップ、をさらに含む請求項１０に記載の方法。
13. 事前定義されたウィンドウ内の空間的並進値が重複がないことを可能にすることに応答して、前記第２パッチを前記第２クラスに再分類することを決定するステップ、をさらに含む請求項１０に記載の方法。
14. 前記第２パッチの前記第２サブセットをサイズにより並べ替えて、サイズ順の第２パッチシーケンスにするステップと、
    前記第２パッチシーケンスに従って、前記第２パッチの前記第２サブセットの各々の再マップ変換パラメータを決定するステップと、
    をさらに含む請求項９に記載の方法。
15. パッチの境界を含む前記パッチ内のピクセルの数、
    前記パッチの境界を除く前記パッチ内のピクセルの数、
    前記パッチを含む最小の長方形の境界ボックスの面積、
    のうちの少なくとも１つに従って、前記パッチのサイズを決定するステップ、をさらに含む請求項９に記載の方法。
16. メッシュ処理の機器であって、処理回路を含み、前記処理回路は、
    少なくとも、第１時間インスタンスに関連付けられた第１メッシュフレームと第２時間インスタンスに関連付けられた第２メッシュフレームを受信し、前記第１メッシュフレームと前記第２メッシュフレームは多角形を持つオブジェクトの表面を表し、前記第１メッシュフレームは、２次元（２D）にマッピングされた３次元（３D）情報を有する第１パッチを有する第１の２Dマップを含み、前記第２メッシュフレームは、２Dにマッピングされた３D情報を有する第２パッチを有する第２の２Dマップを含み、
    前記第１パッチのうちの１つの第１パッチが、第２パッチのうちの１つの第２パッチの参照一致パッチであることを識別し、
    前記第１の２Dマップの前記第１パッチに対して前記第２パッチを位置合わせする第１再マップ変換パラメータを決定し、
    前記第１再マップ変換パラメータに従い、前記第２パッチから変換される変換された第２パッチを有する新しい第２の２Dマップを生成する、
    よう構成される、機器。
17. 前記処理回路は、
    前記第１パッチに対する各々の前記第２パッチの第１一致メトリックを決定し、
    前記第１一致メトリックに従って、前記第１パッチから最も一致するパッチとして前記第１パッチを選択し、
    前記第２パッチに対する各々の前記第１パッチの第２一致メトリックを決定し、
    前記第２一致メトリックに従って、前記第２パッチが最も一致するパッチであることに応答して、前記第１パッチが前記第２パッチの前記参照一致パッチであることを決定する、
    ように構成されている、請求項１６に記載の機器。
18. 前記処理回路は、
    前記第２パッチを第１クラスと第２クラスに分類し、前記第１クラスは、前記第１パッチで識別される対応する参照一致パッチを持つ前記第２パッチの第１サブセットを含み、前記第２クラスは、前記第１パッチで識別される参照一致パッチを持たない前記第２パッチの第２サブセットを含む、
    ように構成されている、請求項１６に記載の機器。
19. 前記処理回路は、
    前記第２パッチの前記第１サブセットをサイズにより並べ替えて、サイズ順の第１パッチシーケンスにし、
    前記第１パッチシーケンスに従って、前記第２パッチの前記第１サブセットの各々の再マップ変換パラメータを決定する、
    ように構成されている、請求項１８に記載の機器。
20. 前記処理回路は、
    前記サイズ順に従って前記第１パッチシーケンスから前記第２パッチを選択し、前記第１パッチシーケンスは前記第２パッチよりもサイズが大きい少なくとも第３パッチを含み、前記第３パッチに対する第２再マップ変換パラメータが決定され、前記第２再マップ変換パラメータに従って変換された第３パッチが、パックされたパッチリストに追加され、
    前記第１パッチとの類似性が最も高い回転された第２パッチを生成するための第１回転角を決定し、
    前記パックされたパッチリスト内の変換されたパッチとの重複を避けるために前記回転された第２パッチを移動するための第１空間的並進値を決定する、
    ように構成されている、請求項１９に記載の機器。
21. メッシュ復号の方法であって、
    少なくとも、第１時間インスタンスに関連付けられた第１メッシュフレームと第２時間インスタンスに関連付けられた第２メッシュフレームを決定するステップであって、前記第１メッシュフレームと前記第２メッシュフレームは多角形を持つオブジェクトの表面を表し、前記第１メッシュフレームは、２次元（２D）にマッピングされた３次元（３D）情報を有する第１パッチを有する第１の２Dマップを含み、前記第２メッシュフレームは、２Dにマッピングされた３D情報を有する第２パッチを有する第２の２Dマップを含む、ステップと、
    前記第１パッチのうちの１つの第１パッチが、第２パッチのうちの１つの第２パッチの参照一致パッチであることを識別するステップと、
    前記第１の２Dマップの前記第１パッチに対する前記第２パッチの時間的位置合わせのために、第１再マップ変換パラメータを決定するステップと、
    前記第２の２Dマップに対応する新しい第２の２Dマップを生成するステップであって、前記新しい第２の２Dマップは、前記第１再マップ変換パラメータに従い、前記第２パッチから変換される変換された第２パッチを有する、ステップと、
    を含む方法。
22. メッシュ処理の機器であって、処理回路を含み、前記処理回路は、
    少なくとも、第１時間インスタンスに関連付けられた第１メッシュフレームと第２時間インスタンスに関連付けられた第２メッシュフレームを決定し、前記第１メッシュフレームと前記第２メッシュフレームは多角形を持つオブジェクトの表面を表し、前記第１メッシュフレームは、２次元（２D）にマッピングされた３次元（３D）情報を有する第１パッチを有する第１の２Dマップを含み、前記第２メッシュフレームは、２Dにマッピングされた３D情報を有する第２パッチを有する第２の２Dマップを含み、
    前記第１パッチのうちの１つの第１パッチが、第２パッチのうちの１つの第２パッチの参照一致パッチであることを識別し、
    前記第１の２Dマップの前記第１パッチに対して前記第２パッチを位置合わせする第１再マップ変換パラメータを決定し、
    前記第１再マップ変換パラメータに従い、前記第２パッチから変換される変換された第２パッチを有する新しい第２の２Dマップを生成する、
    よう構成される、機器。

Images