JP7608014B2 - 三次元メッシュのジオメトリパッチを復号する方法、装置及びコンピュータプログラム - Google Patents

Description

関連出願の相互参照
本出願は、２０２２年３月４日に出願された米国仮特許出願第６３／３１６，８７６号に基づいており、その優先権の利益を主張し、その全体が参照により本明細書に組み込まれる。本出願は、２０２２年１０月２６日に出願された米国特許出願第１７／９７３，８２４号にも基づいており、その優先権の利益を主張し、その全体が参照により本明細書に組み込まれる。

本開示は、一般にメッシュ符号化（または圧縮）、およびメッシュ復号（または解凍）のプロセスに関し、特に、制約されたジオメトリ・ダイナミックレンジでのメッシュ圧縮の方法およびシステムに関する。

本明細書で提供される背景技術の説明は、本開示の文脈を一般的に提示することを目的としている。本発明者らの研究は、その研究がこの背景技術の項に記載されている限りにおいて、またそれ以外の本出願の出願時に先行技術として認められない可能性のある説明の態様と共に、本開示に対する先行技術としては明示的にも暗示的にも認められない。

実世界のオブジェクト、環境などを三次元（３Ｄ）空間で捕捉、表現、およびシミュレートするために、様々な技術が開発されている。世界の３Ｄ表現により、より没入型の対話型コミュニケーションができるようになる可能性がある。オブジェクトおよび環境の例示的な３Ｄ表現は、これに限定されないが、点群およびメッシュを含む。オブジェクトおよび環境の一連の３Ｄ表現は、ビデオシーケンスを形成し得る。このようなビデオシーケンスを、よりコンパクトなデジタル形式に圧縮およびコーディングするために、オブジェクトおよび環境の、３Ｄ表現のシーケンス内の冗長性および相関が利用される場合がある。

本開示は、一般に３Ｄメッシュのコーディング（圧縮）、および復号（解凍）に関し、特に、制約されたジオメトリ・ダイナミックレンジでのメッシュ圧縮に関する。

本開示は、三次元メッシュのジオメトリパッチを復号する方法を記載する。本方法は、デバイスによって、三次元メッシュのジオメトリパッチを含む、コーディングされたビットストリームを受信するステップを含む。デバイスは、命令を記憶するメモリと、メモリと通信するプロセッサとを含む。本方法は、デバイスによって、コーディングされたビットストリームから、ジオメトリパッチが分割されているかどうかを示す第１のシンタックス要素を抽出するステップであって、ジオメトリパッチは１つ以上のパーティションを含む、ステップと、ジオメトリパッチ内の各パーティションに対して、デバイスによって、三次元メッシュ内の頂点に対応する各パーティション内の点の、画素値のダイナミックレンジを取得するステップであって、ダイナミックレンジにより、ジオメトリパッチが所定のビット深度内でコーディングできるようになる、ステップとをさらに含む。

別の態様によれば、本開示の一実施形態は、３Ｄメッシュを符号化または復号するための装置を提供する。装置は、命令を記憶するメモリと、メモリと通信するプロセッサとを含む。プロセッサが命令を実行すると、プロセッサは、上記の方法を装置に実施させるように構成される。

別の態様では、本開示の一実施形態は、ビデオ復号および／または符号化のためにコンピュータによって実行されると、上記の方法をコンピュータに実施させる命令を記憶する非一時的コンピュータ可読媒体を提供する。

上記および他の態様ならびにそれらの実装形態は、図面、明細書、および特許請求の範囲においてさらに詳細に説明される。

開示された主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかなるであろう。

一実施形態による通信システムの簡略化されたブロック図の概略図である。 一実施形態によるストリーミングシステムの簡略化されたブロック図の概略図である。 いくつかの実施形態による、メッシュフレームを符号化するためのエンコーダのブロック図である。 いくつかの実施形態による、メッシュフレームに対応する圧縮されたビットストリームを復号するためのデコーダのブロック図である。 一実施形態によるビデオデコーダの簡略化されたブロック図の概略図である。 一実施形態によるビデオエンコーダの簡略化されたブロック図の概略図である。 いくつかの実施形態による、メッシュフレームを符号化するためのエンコーダのブロック図である。 本開示のいくつかの実施形態による、メッシュ圧縮のためのフレームワークの図を示す。 いくつかの実施形態によるプロセス例の概要を示すフローチャートである。 本開示のいくつかの実施形態による、メッシュ圧縮のためのフレームワークの図を示す。 本開示のいくつかの実施形態によるメッシュ圧縮のためのフレームワークの他の図である。 一実施形態によるコンピュータシステムの概略図である。

本明細書および特許請求の範囲全体を通して、用語は、明示的に記載される意味を超えて文脈内で示唆または暗示される微妙な意味を有する場合がある。本明細書で使用される「一実施形態では」または「いくつかの実施形態では」という語句は、必ずしも同じ実施形態を指すものではなく、本明細書で使用される「別の実施形態では」または「他の実施形態では」という語句は、必ずしも異なる実施形態を指すものではない。同様に、本明細書で使用される「一実装形態では」または「いくつかの実装形態では」という語句は、必ずしも同じ実装形態を指すものではなく、本明細書で使用される「別の実装形態では」または「他の実装形態では」という語句は、必ずしも異なる実装形態を指すものではない。例えば、特許請求される主題は、例示的な実施形態／実装形態の全部または一部の組み合わせを含むことを意図している。

一般に、専門用語は、文脈における使用法から少なくとも部分的に理解される場合がある。例えば、本明細書で使用される「および」、「または」、または「および／または」などの用語は、そのような用語が使用される文脈に少なくとも部分的に依存する場合がある様々な意味を含んでもよい。典型的には、Ａ、Ｂ、またはＣなどのリストを関連付けるために使用される場合の「または」は、ここでは包括的な意味で使用されるＡ、Ｂ、およびＣ、ならびにここでは排他的な意味で使用されるＡ、Ｂ、またはＣを意味することを意図している。加えて、本明細書で使用される「１つまたは複数」または「少なくとも１つ」という用語は、文脈に少なくとも部分的に依存して、単数の意味で任意の特徴、構造、もしくは特性を記述するために使用されてもよく、または複数の意味で特徴、構造、もしくは特性の組み合わせを記述するために使用されてもよい。同様に、「ａ」、「ａｎ」、または「ｔｈｅ」などの用語もやはり、文脈に少なくとも部分的に依存して、単数形の使用法を伝えるか、または複数形の使用法を伝えると理解されてもよい。加えて、「に基づいて」または「によって決定される」という用語は、必ずしも排他的な要因のセットを伝えることを意図していないと理解されてもよく、代わりに、やはり文脈に少なくとも部分的に依存して、必ずしも明示的に記述されていないさらなる要因の存在を可能にする場合もある。

３Ｄキャプチャ、３Ｄモデリング、および３Ｄレンダリングなどの進歩などの３Ｄメディア処理における技術開発は、いくつかのプラットフォームおよびデバイスにわたって３Ｄコンテンツの普遍的な生成を促進している。このような３Ｄコンテンツは、没入型の視聴／レンダリング、および対話型体験などを提供する、様々な形態のメディアを生成するために処理され得る情報を含んでいる。３Ｄコンテンツの用途は豊富で、これに限定されないが、仮想現実、拡張現実、メタバース・インタラクション、ゲーム、没入型ビデオカンファレンス、ロボット工学、コンピュータ支援設計（ＣＡＤ）などが含まれる。本開示の一態様によれば、没入型体験を改善するために、３Ｄモデルはますます高度化されており、３Ｄモデルの作成および消費は、データストレージ、データ送信リソース、およびデータ処理リソースなどの相当量のデータリソースを要求する。

一般に２Ｄ画素配列の形式のデータセット（画像など）で表現される旧来の二次元（２Ｄ）コンテンツと比較して、三次元のフル解像度ピクシレーションを含む３Ｄコンテンツはきわめてリソース集約的な場合があり、それにもかかわらず、ほとんどではないにせよ多くの実際の用途で必要とされていない。ほとんどの３Ｄ没入型の用途で、本開示のいくつかの態様によれば、よりデータ集約性が低い３Ｄコンテンツの表現が使用される場合がある。例えば、ほとんどの用途で、３Ｄシーン（ＬＩＤＡＲデバイスなどのセンサで捕捉された実世界のシーン、またはソフトウェアツールによって生成された、アニメーション化された３Ｄシーン）内のオブジェクトの体積情報ではなく、地形情報のみが必要になる場合がある。このように、３Ｄオブジェクトおよび３Ｄシーンを表現するために、より効率的な形態のデータセットが使用され得る。例えば、３Ｄシーン内の３Ｄオブジェクトなどの没入型３Ｄコンテンツを表すために、３Ｄモデルのタイプとして３Ｄメッシュが使用され得る。

１つ以上のオブジェクトのメッシュ（あるいはメッシュモデルとも呼ばれる）は、頂点の集合を含み得る。頂点は、互いに接続してエッジを形成し得る。エッジは、さらに接続して面を形成し得る。面は、さらにポリゴンを形成し得る。様々なオブジェクトの３Ｄ表面が、面やポリゴンなどに分解され得る。頂点、エッジ、面、ポリゴン、または表面はそれぞれ、色、法線、テクスチャなどの様々な属性と関連付けられてもよい。表面の法線は表面法線と呼ばれてもよく、かつ／または頂点の法線は頂点法線と呼ばれてもよい。頂点がどのように接続されてエッジ、面、またはポリゴンになるかについての情報は、接続性情報と呼ばれてもよい。頂点の同じセットが異なる面、表面、およびポリゴンを形成できるので、接続性情報はメッシュの成分を一意に定義するために重要である。一般に、３Ｄ空間における頂点の位置は、その３Ｄ座標で表され得る。面は、順次接続された頂点のセットで表されてもよく、それぞれが３Ｄ座標のセットと関連付けられる。同様に、エッジは、それぞれがその３Ｄ座標と関連付けられる、２つの頂点で表されてもよい。頂点、エッジ、および面は、３Ｄメッシュデータセット内にインデックスされてもよい。

メッシュは、１つ以上のこのような基本要素タイプの集合によって定義され記述されてもよい。しかしながら、メッシュを完全に記述するために、上述したすべてのタイプの要素が必要なわけではない。例えば、メッシュは、頂点およびその接続性のみを使用して完全に記述され得る。別の例では、メッシュは、面および面の共通する頂点のリストを使用するだけで完全に記述され得る。このようにメッシュは、代替的なデータセット構成および形式によって記述された、様々な代替的なタイプのものであり得る。例示的なメッシュタイプは、これに限定されないが、面－頂点メッシュ、ウイングドエッジメッシュ、半エッジメッシュ、クワッドエッジメッシュ、コーナーテーブルメッシュ、頂点－頂点メッシュなどを含む。これに対応して、メッシュデータセットは、これに限定されないが、．ｒａｗ、．ｂｌｅｎｄ、．ｆｂｘ、．３ｄｓ、．ｄａｅ、．ｄｎｇ、３ｄｍ、．ｄｓｆ、．ｄｗｇ、．ｏｂｊ、．ｐｌｙ、．ｐｍｄ、．ｓｔｌ、ａｍｆ、．ｗｒｌ、．ｗｒｚ、．ｘ３ｄ、．ｘ３ｄｂ、．ｘ３ｄｖ、．ｘ３ｄｚ、．ｘ３ｄｂｚ、．ｘ３ｄｖｚ、．ｃ４ｄ、．ｌｗｏ、．ｓｍｂ、．ｍｓｈ、．ｍｅｓｈ、．ｖｅｇ、．ｚ３ｄ、．ｖｔｋ、．ｌ４ｄなどのファイル拡張子を有する、代替的なファイル形式に準拠した情報とともに記憶され得る。色、法線、テクスチャなどのこのような要素の属性は、様々な方式でメッシュデータセットに含まれ得る。

いくつかの実装形態では、メッシュの頂点は画素化された２Ｄ空間の中にマッピングされてもよく、ＵＶ空間と呼ばれる。このように、メッシュの各頂点は、ＵＶ空間内の画素にマッピングされてもよい。いくつかの実装形態では、１つの頂点が、ＵＶ空間内の２つ以上の画素にマッピングされてもよく、例えば、境界にある頂点が、ＵＶ空間内の２つまたは３つの画素にマッピングされてもよい。同様に、メッシュ内の面または表面は、メッシュ内の記録済みの頂点の中にある場合もない場合もある、複数の３Ｄ点にサンプリングされてもよく、かつこれら複数の３Ｄ点は、二次元ＵＶ空間内の画素にマッピングされてもよい。以下でさらに詳しく説明するように、メッシュ内の頂点、ならびに面および表面のサンプリングされた３Ｄ点をＵＶ空間にマッピングすることと、その後のＵＶ空間におけるデータ分析および処理によって、メッシュまたはメッシュのシーケンスの３Ｄデータセットのデータストレージ、圧縮、およびコーディングが容易になり得る。マッピングされたＵＶ空間データセットは、ＵＶ画像、あるいは２Ｄマップ、またはメッシュの２Ｄ画像と呼ばれる場合がある。

３Ｄメッシュ内の頂点およびサンプリングされた表面点の２Ｄ ＵＶ空間へのマッピングに従って、いくつかの画素が、３Ｄメッシュの頂点およびサンプリングされた表面点にマッピングされてもよく、その一方で、他の画素はマッピングされなくてもよい。メッシュの２Ｄ画像内のマッピングされた画素のそれぞれは、３Ｄメッシュ内の対応するマッピングされた頂点または表面点の情報と関連付けられ得る。ＵＶ空間内の画素に含める情報のタイプに応じて、メッシュの様々な２Ｄ画像または２Ｄマップが構築されてもよい。メッシュの代替表現または／または結合表現として、複数の２Ｄマップの集合が使用されてもよい。

例えば、メッシュ用の最も簡単な２Ｄマップが、占有マップとして構築されてもよい。占有マップは、メッシュの３Ｄ頂点またはサンプリングされた表面点にマッピングされた、ＵＶ空間内の画素を示し得る。占有の表示は、例えば、マッピングまたは占有を示すバイナリ値「１」、および非マッピングまたは非占有を示すバイナリ値「０」を含む各２Ｄ画素において、バイナリインジケータで表され得る。このように、占有マップは、２Ｄ画像として構築されてもよい。標準的な２Ｄ画像が、８ビットなどの色深度を有する３つのチャネルの配列（ＲＧＢ、ＹＵＶ、ＹＣｒＣｂなど）を含む一方で、メッシュのこのような２Ｄ占有マップは、１ビットのバイナリチャネルしか必要としない。

別の例では、２Ｄジオメトリマップがメッシュ用に構築され得る。２Ｄジオメトリマップは、単一のバイナリチャネルを含むのではなく完全な３チャネル画像になり、占有画素のそれぞれにおける３色チャネルは、メッシュ内の対応するマッピングされた頂点、またはサンプリングされた３Ｄ点の、３つの３Ｄ座標に対応する。

いくつかの実装形態では、他の２Ｄマップがメッシュ用に構築され得る。例えば、メッシュの頂点およびサンプリングされた３Ｄ点のそれぞれの属性のセットがメッシュデータセットから抽出されてもよく、２Ｄマップ画像の３色チャネルにコーディングされてもよい。このような２Ｄマップは、メッシュの属性マップとして参照されてもよい。特定の属性マップが、ＵＶ空間内の各占有画素の３チャネル色を含んでもよい。別の例では、メッシュのマッピングされた頂点、またはサンプリングされた３Ｄ点のそれぞれに関連付けられたテクスチャ属性が、３チャネル値にパラメータ化され、２Ｄ属性マップにコーディングされてもよい。別の例では、メッシュのマッピングされた頂点、またはサンプリングされた３Ｄ点のそれぞれに関連付けられた法線属性が、３チャネル値にパラメータ化され、２Ｄ属性マップにコーディングされてもよい。いくつかの例示的実装形態では、メッシュの頂点およびサンプリングされた表面点のすべての必要な属性情報を保持するために、複数の２Ｄ属性マップが構築されてもよい。

上述した２Ｄマップは単なる例である。メッシュ用の他のタイプの２Ｄマップが構築されてもよい。加えて、３Ｄメッシュから他のデータセットが抽出されて、上記の２Ｄマップと合わせて、共同で元の３Ｄメッシュを表現してもよい。例えば、頂点同士の接続または接続性情報は、リスト、表などの形式で、２Ｄマップとは別に個別にグループ化され編成される。例えば、接続性情報は、頂点インデックスを使用して頂点を参照してもよい。頂点インデックスは、２Ｄマップ内のその対応する画素位置にマッピングされてもよい。別の例では、表面テクスチャ、色、法線、変位その他の情報は、２Ｄマップとしてではなく、２Ｄマップとは別に個別に抽出され編成されてもよい。２Ｄマップその他上述したデータセットとともに３Ｄメッシュを表すために、３Ｄメッシュから他のメタデータがさらに抽出されてもよい。

上述した例示的実装形態が静的なメッシュに注目している一方で、本開示の態様によれば、３Ｄメッシュは動的であってもよい。動的メッシュは、例えば、成分（ジオメトリ情報、接続性情報、マッピング情報、頂点属性、および属性マップ）のうちの少なくとも１つが時間とともに変化するメッシュのことを指す場合がある。このように、動的メッシュは、メッシュのシーケンスまたはメッシュ（メッシュフレームとも呼ばれる）で記述されてもよく、ビデオを形成する２Ｄ画像フレームの時限シーケンスに類似している。

いくつかの例示的実装形態では、動的メッシュは、一定の接続性情報、時変ジオメトリ、および時変頂点属性を有し得る。いくつかの他の例では、動的メッシュは、時変接続性情報を有することができる。いくつかの例では、時変属性マップおよび時変接続性情報を有する動的メッシュを生成するために、デジタル３Ｄコンテンツ作成ツールが使用され得る。いくつかの他の例では、動的メッシュを生成するために、体積取得／検出／感知技術が使用される。体積取得技術は、特にリアルタイム制約下で、時変接続性情報を有する動的メッシュを生成することができる。

動的メッシュは、経時的に変化する相当量の情報を含み得るため、大量のデータを必要とし得る。しかしながら、冗長性を利用するために、メッシュフレーム内（イントラ圧縮）、およびメッシュフレーム間（インター圧縮）で圧縮が行われてもよい。特にメッシュシーケンスに対して、メッシュ表現内のメディアコンテンツの効率的な記憶および送信を可能にするために、様々なメッシュ圧縮プロセスが実施され得る。

本開示の態様は、メッシュ圧縮のための例示的なアーキテクチャおよび技術を提供する。これらの技術は、これに限定されないが、静的メッシュ圧縮、動的メッシュ圧縮、一定の接続性情報を有する動的メッシュの圧縮、時変接続性情報を有する動的メッシュの圧縮、時変属性マップを有する動的メッシュの圧縮などの様々なメッシュ圧縮に使用され得る。これらの技術は、リアルタイム没入型通信、ストレージ、自由視点ビデオ、拡張現実（ＡＲ）、仮想現実（ＶＲ）などの様々なアプリケーションのための非可逆および可逆圧縮に使用され得る。アプリケーションは、ランダムアクセスおよびスケーラブル／プログレッシブコーディングなどの機能を含み得る。

本開示は、３Ｄメッシュに適用可能な技術および実装形態について明示的に述べているが、本明細書で述べる様々な実装形態の基礎となる原理は、他のタイプの３Ｄデータ構造に適用可能であり、これに限定されないが、点群（ＰＣ）データ構造を含む。簡単にするために、以下の３Ｄメッシュに対する言及は一般的なものであり、かつ点群その他の３Ｄ体積データセットなどの他のタイプの３Ｄ表現を含むことが意図されている。

まず例示的なアーキテクチャレベルの実装形態を見ると、図１は、本開示の例示的な実施形態による通信システム（１００）の簡略化されたブロック図を示している。通信システム（１００）は、通信ネットワーク（１５０）（あるいはネットワークとも呼ばれる）などを介して互いに通信できる、複数の端末デバイスを含んでもよい。例えば、通信システム（１００）は、ネットワーク（１５０）を介して相互接続された一対の端末デバイス（１１０）および（１２０）を含んでもよい。図１の例では、端末デバイス（１１０）および（１２０）の第１のペアは、３Ｄメッシュの単方向送信を実施し得る。例えば、端末デバイス（１１０）は、３Ｄメッシュまたは３Ｄメッシュのシーケンスを圧縮してもよく、これは、端末デバイス（１１０）によって生成されるか、または記憶装置から取得されるか、あるいは端末デバイス（１１０）に接続された３Ｄセンサ（１０５）によって捕捉されてもよい。圧縮された３Ｄメッシュまたは３Ｄメッシュのシーケンスは、例えばビットストリーム（コーディングされたビットストリームとも呼ばれる）の形態で、ネットワーク（１５０）を介して他の端末デバイス（１２０）に送信されてもよい。端末デバイス（１２０）は、ネットワーク（１５０）から、圧縮された３Ｄメッシュまたは３Ｄメッシュのシーケンスを受信し、元の３Ｄメッシュまたは３Ｄメッシュのシーケンスを再構築するためにビットストリームを解凍し、再構築された３Ｄメッシュまたは３Ｄメッシュのシーケンスを、表示用または他の目的／用途用に適切に処理し得る。単方向データ送信は、メディアサービング用途などにおいて一般的であり得る。

図１の例では、端末デバイス（１１０）および（１２０）のいずれか１つまたは両方が、サーバ、据え置きまたはモバイルパーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、ゲーム機端末、メディアプレーヤ、および／または専用の三次元（３Ｄ）機器などとして実施されてもよいが、本開示の原理はそのように限定されない場合がある。ネットワーク（１５０）は、端末デバイス（１１０）と端末デバイス（１２０）との間で、圧縮された３Ｄメッシュを送信する任意のタイプのネットワークまたはネットワークの組み合わせを表し得る。ネットワーク（１５０）は、例えば、ワイヤライン（有線）および／または無線通信ネットワークを含むことができる。ネットワーク（１５０）は、回線交換チャネルおよび／またはパケット交換チャネルでデータを交換し得る。代表的なネットワークは、長距離電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、セルラーネットワーク、および／またはインターネットを含む。本開示の目的のために、ネットワーク（１５０）のアーキテクチャおよびトポロジは、本明細書で以下に説明されない限り、本開示の動作に重要ではない場合がある。

図２は、本開示の一実施形態によるストリーミングシステム（２００）の例示的な簡略化されたブロック図を示す。図２は、３Ｄメッシュおよび圧縮された３Ｄメッシュに関する、開示されている実装形態の例示的な適用を示す。開示される主題は、３Ｄテレプレゼンスアプリケーション、仮想現実アプリケーションなどの他の３Ｄメッシュまたは点群対応アプリケーションに等しく適用可能であり得る。

ストリーミングシステム（２００）は、捕捉または記憶サブシステム（２１３）を含むことができる。捕捉または記憶サブシステム（２１３）は、３Ｄメッシュ生成器または記憶媒体（２０１）、例えば、圧縮されていない３Ｄメッシュ（２０２）または点群（２０２）を生成または供給する、３Ｄメッシュまたは点群生成ツール／ソフトウェア、グラフィック生成構成要素、あるいは光検出と測距（ＬＩＤＡＲ）システムなどの点群センサ、３Ｄカメラ、３Ｄスキャナ、３Ｄメッシュ記憶装置などを含んでもよい。いくつかの例示的実装形態では、３Ｄメッシュ（２０２）は、３Ｄメッシュの頂点、または点群の３Ｄ点（両方とも３Ｄメッシュと呼ばれる）を含む。３Ｄメッシュ（２０２）は、圧縮された３Ｄメッシュ（２０４）（圧縮された３Ｄメッシュのビットストリーム）と比較して、対応する多いデータ量を強調するために太い線で示されている。圧縮された３Ｄメッシュ（２０４）は、３Ｄメッシュ（２０２）に結合されたエンコーダ（２０３）を含む電子デバイス（２２０）によって生成され得る。エンコーダ（２０３）は、以下でより詳細に説明されるように、開示される主題の態様を可能にするかまたは実装するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含み得る。圧縮された３Ｄメッシュ（２０４）（または圧縮された３Ｄメッシュのビットストリーム（２０４））は、圧縮されていない３Ｄメッシュのストリーム（２０２）と比較してデータ量が少ないことを強調するために細い線で示されており、将来の使用のためにストリーミングサーバ（２０５）に記憶することができる。図２のクライアントサブシステム（２０６）および（２０８）などの１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（２０５）にアクセスして、圧縮された３Ｄメッシュ（２０４）のコピー（２０７）および（２０９）を取り出すことができる。クライアントサブシステム（２０６）は、例えば電子デバイス（２３０）内にデコーダ（２１０）を含み得る。デコーダ（２１０）は、圧縮された３Ｄメッシュの入力コピー（２０７）を復号して、レンダリングデバイス（２１２）上で、または他の用途用にレンダリングされ得る、再構築された３Ｄメッシュ（２１１）の出力ストリームを作成するように構成されてもよい。

電子デバイス（２２０）および（２３０）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（２２０）はデコーダ（図示せず）を含むことができ、電子デバイス（２３０）はエンコーダ（図示せず）も含み得る。

一部のストリーミングシステムでは、圧縮された３Ｄメッシュ（２０４）、（２０７）、および（２０９）（例えば、圧縮された３Ｄメッシュのビットストリーム）は、一部の規格に従って圧縮され得る。いくつかの例では、以下でさらに詳細に説明するように、３Ｄメッシュが最初に投影されて、ビデオ圧縮に適した２Ｄ表現にマッピングされた後で、３Ｄメッシュの圧縮における冗長性および相関を利用するために、ビデオコーディング規格が使用される。以下でさらに詳しく説明するように、それらの規格の非限定的な例は、高効率ビデオコーディング（ＨＥＶＣ）、汎用ビデオコーディング（ＶＶＣ）などを含む。

圧縮された３Ｄメッシュまたは３Ｄメッシュのシーケンスはエンコーダによって生成されてもよく、その一方で、デコーダは、圧縮された、またはコーディングされた３Ｄメッシュを解凍するように構成されてもよい。図３は、このようなエンコーダ（３０１）およびデコーダ（３０３）における、３Ｄメッシュの高レベルの例示的なデータフローを示す。図３に示すように、生の入力３Ｄメッシュまたは３Ｄメッシュのシーケンス（３０２）は、３Ｄメッシュを２Ｄ ＵＶ空間にマッピングする（３０４）ための、マッピングユニットへの入力データを生成するために、トラック再メッシュ化、パラメータ化、および／またはボクセル化によって前処理されてもよく、いくつかの実装形態では、ＵＶアトラスを有するメッシュを含んでもよい。３Ｄメッシュは、頂点の中にない場合がある３Ｄ表面点を含むようにサンプリングされ、これらのサンプリングされた３Ｄ表面点を、ＵＶ空間へのマッピングに追加してもよい。エンコーダ３０１では様々な２Ｄマップが生成でき、これに限定されないが、占有マップ（３１０）、ジオメトリマップ（３１２）、属性マップ（３１４）を含む。マップのこのような画像タイプは、例えばビデオコーディング／圧縮技術を使用して、エンコーダ３０１によって圧縮され得る。例えば、ビデオコーダは、イントラ予測技術、および他の３Ｄメッシュ参照フレームによるインター予測を使用して、３Ｄメッシュフレームの圧縮を補助し得る。他の非画像もしくは非マップデータ、またはメタデータ（３１６）もまた、非限定的な例では、エントロピーコーディングを介して、冗長性を除去して圧縮された非マップデータを生成するために、様々な方式でコーディングされ得る。エンコーダ３０１は、次に、圧縮された２Ｄマップと非マップデータとを組み合わせるかまたは多重化して、符号化されたビットストリーム（またはコーディングされたビットストリームとも呼ばれる）を生成するために、組み合わされたデータをさらにコーディングしてもよい。符号化されたビットストリームは、次に、デコーダ３０３が使用するために、記憶されるかまたは送信されてもよい。デコーダはビットストリームを復号し、圧縮された２Ｄマップおよび非マップデータを取得するために復号されたビットストリームを逆多重化し、復号された占有マップ（３２０）、復号されたジオメトリマップ（３２２）、復号された属性マップ（３２４）、ならびに復号された非マップデータおよびメタデータ（３２６）を生成するために、解凍を行うように構成されてもよい。デコーダ３０３は、次に、復号された２Ｄマップ（３２０、３２２、および３２４）ならびに復号された非マップデータ（３２６）から、３Ｄメッシュまたは３Ｄメッシュのシーケンス（３３０）を再構築するようにさらに構成されてもよい。

さらに詳細には、図４は、本開示のいくつかの実施形態による、３Ｄメッシュフレームを符号化するための、例示的な３Ｄメッシュエンコーダ（４００）のブロック図を示す。いくつかの例示的実装形態では、メッシュエンコーダ（４００）は通信システム（１００）およびストリーミングシステム（２００）で使用され得る。例えば、エンコーダ（２０３）は、メッシュエンコーダ（４００）と同様に構成され、動作することができる。

メッシュエンコーダ（４００）は、３Ｄメッシュフレームを圧縮されていない入力として受信して、圧縮された３Ｄメッシュに対応するビットストリームを生成し得る。いくつかの例示的実装形態では、メッシュエンコーダ（４００）は、図２のメッシュまたは点群ソース（２０１）などの任意のソースから、３Ｄメッシュフレームを受信し得る。

図４の例では、メッシュエンコーダ（４００）は、パッチ生成モジュール（４０６）（あるいはチャート生成モジュールと呼ばれる）、パッチパッキングモジュール（４０８）、ジオメトリ画像生成モジュール（４１０）、テクスチャ画像生成モジュール（４１２）、パッチ情報モジュール（４０４）、占有マップモジュール（４１４）、平滑化モジュール（４３６）、画像パディングモジュール（４１６）および（４１８）、グループ拡張モジュール（４２０）、ビデオ圧縮モジュール（４２２）、（４２３）および（４３２）、補助パッチ情報圧縮モジュール（４３８）、エントロピー圧縮モジュール（４３４）、ならびにマルチプレクサ（４２４）を含み得る。

本開示における様々な実施形態において、モジュールは、ソフトウェアモジュール、ハードウェアモジュール、またはこれらの組み合わせを指してもよい。ソフトウェアモジュールは、本開示で説明するこのような機能などの所定の機能を有し、所定の目的を達成するために他の関連する部分と一緒に機能する、コンピュータプログラムまたはコンピュータプログラムの一部を含み得る。ハードウェアモジュールは、本開示で説明した機能を実行するように構成された、処理回路および／またはメモリを使用して実施されてもよい。各モジュールは、１つ以上のプロセッサ（またはプロセッサおよびメモリ）を使用して実施することができる。同様に、プロセッサ（またはプロセッサおよびメモリ）は、１つ以上のモジュールを実施するために使用され得る。さらに、各モジュールは、モジュールの機能を含むモジュール全体の一部であってもよい。本明細書の説明は、モジュールという用語、および他の同等の用語（例えばユニット）に適用されてもよい。

本開示の一態様によれば、かつ上述したように、メッシュエンコーダ（４００）は、圧縮された３Ｄメッシュを変換して解凍された３Ｄメッシュに戻すのを補助するために使用される、何らかの非マップメタデータ（例えば、パッチまたはチャート情報）とともに、３Ｄメッシュフレームを画像ベースの表現（例えば、２Ｄマップ）に変換する。いくつかの例では、メッシュエンコーダ（４００）は、３Ｄメッシュフレームを２Ｄジオメトリマップまたは画像、テクスチャマップまたは画像、および占有マップまたは画像に変換し、次いで、ビデオコーディング技術を使用して、ジオメトリ画像、テクスチャ画像、および占有マップを、メタデータおよび他の圧縮された非マップデータとともに、ビットストリームに符号化することができる。概して、かつ上述したように、２Ｄジオメトリ画像は、２Ｄ画素に投影された（「投影された」という用語は、「マッピングされた」という意味で使用される）３Ｄ点に関連付けられたジオメトリ値で満たされた２Ｄ画素を含む２Ｄ画像であり、ジオメトリ値で満たされた２Ｄ画素はジオメトリサンプルと呼ばれてもよい。テクスチャ画像は、２Ｄ画素に投影された３Ｄ点に関連付けられたテクスチャ値で満たされた画素を含む２Ｄ画像であり、テクスチャ値で満たされた２Ｄ画素は、テクスチャサンプルと呼ばれてもよい。占有マップは、３Ｄ点による占有または非占有を示す値で満たされた２Ｄ画素を含む２Ｄ画像である。

パッチ生成モジュール（４０６）は、３Ｄメッシュをチャートまたはパッチのセットにセグメント化し（例えば、パッチは、３Ｄメッシュまたは点群によって記述される表面の連続サブセットとして定義される）、これは重複していてもしていなくてもよく、その結果、各パッチは２Ｄ空間内の平面に対して深度フィールドによって記述され得る（例えば、表面上の３Ｄ点が深いほど、対応する２Ｄマップの中心からさらに離れるように表面を平坦化する）。いくつかの実施形態では、パッチ生成モジュール（４０６）は、３Ｄメッシュを、滑らかな境界を有する最小数のパッチに分解するとともに、再構築誤差を最小化することを目的とする。

パッチ情報モジュール（４０４）は、パッチのサイズおよび形状を示すパッチ情報を収集することができる。いくつかの例では、パッチ情報は、データフレームにパッキングされ、次いで、補助パッチ情報圧縮モジュール（４３８）によって符号化されて、圧縮された補助パッチ情報を生成することができる。補助パッチ圧縮は、これに限定されないが、様々なタイプの算術コーディングを含む、様々な形態で実施されてもよい。

パッチまたはチャートパッキングモジュール（４０８）は、抽出されたパッチを、未使用空間を最小化しながら、ＵＶ空間の２Ｄグリッドにマッピングするように構成されてもよい。いくつかの例示的実装形態では、２Ｄ ＵＶ空間の画素は、パッチまたはチャートのマッピング用に、画素のブロックに粒状化されてもよい。ブロックサイズは事前定義されてもよい。例えば、ブロックサイズはＭ×Ｍ（例えば、１６×１６）であってもよい。このような粒度では、２Ｄ ＵＶグリッドのＭ×Ｍブロック毎に、固有のパッチが関連付けられることが保証され得る。言い換えると、各パッチが、Ｍ×Ｍの２Ｄ粒度で２Ｄ ＵＶ空間にマッピングされる。効率的なパッチパッキングは、未使用空間を最小化すること、または時間的一貫性を保証することのいずれかによって、圧縮効率に直接影響を及ぼすことができる。パッチまたはチャートの２Ｄ ＵＶ空間へのパッキングの例示的実装形態が、以下でさらに詳しく示されている。

ジオメトリ画像生成モジュール（４１０）は、２Ｄグリッド内の所与のパッチ位置における３Ｄメッシュのジオメトリに関連付けられた、２Ｄジオメトリ画像を生成することができる。テクスチャ画像生成モジュール（４１２）は、２Ｄグリッド内の所与のパッチ位置における３Ｄメッシュのテクスチャに関連付けられた、２Ｄテクスチャ画像を生成することができる。上述したように、ジオメトリ画像生成モジュール（４１０）およびテクスチャ画像生成モジュール（４１２）は、３Ｄメッシュのジオメトリおよびテクスチャを２Ｄ画像として記憶するために、上述したパッキングプロセス中に計算された、３Ｄから２Ｄへのマッピングを基本的に利用する。

いくつかの実装形態では、同一サンプルに複数の点が投影される（例えば、メッシュの３Ｄ空間内でパッチが重複する）事例に好適に対処するために、２Ｄ画像が階層化され得る。言い換えると、各パッチが、例えば、層と呼ばれる２つの画像に投影されてもよく、その結果、複数の点が、異なる層内の同じ点に投影され得る。

いくつかの例示的実装形態では、ジオメトリ画像は、幅×高さ（Ｗ×Ｈ）の単色フレームで表され得る。このように、３Ｄ座標を表すために、３ルマまたはクロマチャネルの３つのジオメトリ画像が使用されてもよい。いくつかの例示的実装形態では、ジオメトリ画像は、特定の色深度（例えば、８ビット、１２ビット、１６ビットなど）を含む３つのチャネル（ＲＧＢ、ＹＵＶ、ＹＣｒＣｂなど）を有する、２Ｄ画像で表され得る。このように、３Ｄ座標を表すために、３色チャネルを有する１つのジオメトリ画像が使用されてもよい。

テクスチャ画像を生成するために、テクスチャ生成手順は、元の３Ｄメッシュからサンプリングされた点に関連付けられる色を計算するために、再構築された／平滑化されたジオメトリを利用する（図３の「サンプリング」を参照すると、これは例えば、元の３Ｄメッシュの頂点の中にはない３Ｄ表面点を生成する）。

占有マップモジュール（４１４）は、各ユニットにおけるパディング情報を記述する占有マップを生成するように構成されてもよい。例えば、上述したように、占有画像は、２Ｄグリッドの各セルに対して、セルが空き空間に属するか、それとも３Ｄメッシュに属するかを示す、バイナリマップを含んでもよい。いくつかの例示的実装形態では、占有マップは、各画素に対して、画素がパディングされたか否かを記述するために、バイナリ情報を使用してもよい。いくつかの他の例示的実装形態では、占有マップは、画素の各ブロック（例えば、各Ｍ×Ｍブロック）に対して、画素のブロックがパディングされたか否かを記述するために、バイナリ情報を使用してもよい。

占有マップモジュール（４１４）によって生成された占有マップは、可逆コーディングまたは非可逆コーディングを使用して圧縮され得る。可逆コーディングが使用されるときは、占有マップを圧縮するために、エントロピー圧縮モジュール（４３４）が使用され得る。非可逆コーディングが使用されるときは、占有マップを圧縮するために、ビデオ圧縮モジュール（４３２）が使用され得る。

パッチパッキングモジュール（４０８）は、画像フレーム内にパッキングされた２Ｄパッチ間に一部の空き空間を残すことができることに留意されたい。画像パディングモジュール（４１６）および（４１８）は、２Ｄビデオおよび画像コーデックに適し得る画像フレームを生成するために、空き空間を埋める（パディングと称される）ことができる。画像パディングは、背景充填とも称され、未使用空間を冗長な情報で充填することができる。いくつかの例では、良好に実施された背景充填は、パッチ境界の周りに著しいコーディング歪みを生じさせることを回避しながら、ビットレートを最小限増加させる。

ビデオ圧縮モジュール（４２２）、（４２３）、および（４３２）は、ＨＥＶＣ、ＶＶＣなどの適切なビデオコーディング規格に基づいて、パディングされたジオメトリ画像、パディングされたテクスチャ画像、および占有マップなどの２Ｄ画像を符号化することができる。いくつかの例示的実装形態では、ビデオ圧縮モジュール（４２２）、（４２３）、および（４３２）は、別々に動作する個々の構成要素である。ビデオ圧縮モジュール（４２２）、（４２３）、および（４３２）は、いくつかの他の例示的実装形態では、単一の構成要素として実装され得ることに留意されたい。

いくつかの例示的実装形態では、平滑化モジュール（４３６）は、再構築されたジオメトリ画像の平滑化された画像を生成するように構成され得る。平滑化された画像は、テクスチャ画像生成（４１２）に提供することができる。次いで、テクスチャ画像生成（４１２）は、再構築されたジオメトリ画像に基づいて、テクスチャ画像の生成を調整することができる。例えば、パッチ形状（例えば、ジオメトリ）が符号化および復号中にわずかにひずんだとき、パッチ形状における歪みを補正するためにテクスチャ画像を生成するときに歪みが考慮に入れられ得る。

いくつかの実施形態では、グループ拡張（４２０）は、再構築された３Ｄメッシュのコーディング利得ならびに視覚的品質を改善するために、オブジェクト境界の周りの画素を冗長な低周波コンテンツでパディングするように構成される。

マルチプレクサ（４２４）は、圧縮されたジオメトリ画像、圧縮されたテクスチャ画像、圧縮された占有マップ、圧縮された補助パッチ情報を、圧縮されたビットストリーム（またはコーディングされたビットストリームと呼ばれる）に多重化するように構成され得る。

図５は、本開示のいくつかの実施形態による、３Ｄメッシュフレームに対応する圧縮されたビットストリームを復号するための例示的なメッシュデコーダ（５００）のブロック図を示す。いくつかの例示的実装形態では、メッシュデコーダ（５００）は通信システム（１００）およびストリーミングシステム（２００）で使用され得る。例えば、デコーダ（２１０）は、メッシュデコーダ（５００）と同様に動作するように構成することができる。メッシュデコーダ（５００）は、圧縮されたビットストリームを受信して、圧縮されたジオメトリ画像、圧縮されたテクスチャ画像、圧縮された占有マップ、圧縮された補助パッチ情報などを含む圧縮されたビットストリームに基づいて、再構築された３Ｄメッシュを生成する。

図５の例では、メッシュデコーダ（５００）は、デマルチプレクサ（５３２）と、ビデオ解凍モジュール（５３４）および（５３６）と、占有マップ解凍モジュール（５３８）と、補助パッチ情報解凍モジュール（５４２）と、ジオメトリ再構築モジュール（５４４）と、平滑化モジュール（５４６）と、テクスチャ再構築モジュール（５４８）と、色平滑化モジュール（５５２）とを含み得る。

デマルチプレクサ（５３２）は、圧縮されたビットストリームを受信し、圧縮されたテクスチャ画像、圧縮されたジオメトリ画像、圧縮された占有マップ、および圧縮された補助パッチ情報に分離し得る。

ビデオ解凍モジュール（５３４）および（５３６）は、適切な規格（例えば、ＨＥＶＣ、ＶＶＣなど）に従って圧縮画像を復号し、解凍された画像を出力することができる。例えば、ビデオ解凍モジュール（５３４）は、圧縮されたテクスチャ画像を復号して、解凍されたテクスチャ画像を出力し得る。ビデオ解凍モジュール（５３６）はさらに、圧縮されたジオメトリ画像を復号して、解凍されたジオメトリ画像を出力し得る。

占有マップ解凍モジュール（５３８）は、適切な規格（例えば、ＨＥＶＣ、ＶＶＣなど）に従って圧縮された占有マップを復号し、解凍された占有マップを出力するように構成され得る。

補助パッチ情報解凍モジュール（５４２）は、適切な復号アルゴリズムに従って圧縮された補助パッチ情報を復号し、解凍された補助パッチ情報を出力するように構成され得る。

ジオメトリ再構築モジュール（５４４）は、解凍されたジオメトリ画像を受信し、解凍された占有マップおよび解凍された補助パッチ情報に基づいて、再構築された３Ｄメッシュジオメトリを生成するように構成され得る。

平滑化モジュール（５４６）は、パッチのエッジにおける不一致を平滑化するように構成され得る。平滑化手順は、圧縮アーチファクトによってパッチ境界に生じ得る、潜在的な不連続性を緩和することが目的とされ得る。いくつかの例示的実装形態では、圧縮／解凍によって引き起こされ得る歪みを軽減するために、平滑化フィルタが、パッチ境界上に位置するピクセルに適用され得る。

テクスチャ再構築モジュール（５４８）は、解凍されたテクスチャ画像および平滑化されたジオメトリに基づいて、３Ｄメッシュ内の点のテクスチャ情報を決定するように構成され得る。

色平滑化モジュール（５５２）は、着色の不一致を平滑化するように構成され得る。３Ｄ空間内の非近傍パッチは、しばしば、２Ｄビデオ内で互いに隣接してパッキングされる。いくつかの例では、非近傍パッチからの画素値は、ブロックベースのビデオコーデックによって混合され得る。色平滑化の目標は、パッチ境界に現れる可視アーチファクトを低減することであってもよい。

図６は、本開示の一実施形態による例示的なビデオデコーダ（６１０）のブロック図を示している。ビデオデコーダ（６１０）は、メッシュデコーダ（５００）で使用され得る。例えば、ビデオ解凍モジュール（５３４）および（５３６）、占有マップ解凍モジュール（５３８）は、ビデオデコーダ（６１０）と同様に構成され得る。

ビデオデコーダ（６１０）は、コーディングされたビデオシーケンスなどの圧縮画像からシンボル（６２１）を再構築するためのパーサ（６２０）を含み得る。これらのシンボルのカテゴリは、ビデオデコーダ（６１０）の動作を管理するために使用される情報を含んでもよい。パーサ（６２０）は、受信するコーディングされたビデオシーケンスを解析／エントロピー復号し得る。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または規格に従うことができ、コンテキスト依存性ありまたはなしの可変長コーディング、ハフマンコーディング、算術コーディングなどを含む様々な原理に従うことができる。パーサ（６２０）は、コーディングされたビデオシーケンスから、グループに対応する少なくとも１つのパラメータに基づいて、ビデオデコーダ内の、画素のサブグループの少なくとも１つに対する、サブグループパラメータのセットを抽出してもよい。サブグループは、画像のグループ（ＧＯＰ）、画像、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）などを含むことができる。また、パーサ（６２０）は、コーディングされたビデオシーケンスから、変換係数、量子化器パラメータ値、動きベクトルなどの情報を抽出してもよい。

パーサ（６２０）は、シンボル（６２１）を作成するために、バッファメモリから受信されたビデオシーケンスに対してエントロピー復号／解析動作を実行することができる。

シンボル（６２１）の再構成は、コーディングされたビデオピクチャまたはその部分のタイプ（インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックなど）、および他の要因に応じて、複数の異なるユニットを関与させることができる。どのユニットが関与するか、およびどのように関与するかは、パーサ（６２０）によってコーディングされたビデオシーケンスから構文解析されたサブグループ制御情報によって制御され得る。パーサ（６２０）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確にするために描かれていない。

すでに述べられた機能ブロック以外に、ビデオデコーダ（６１０）は、以下で説明されるように、概念的にいくつかの機能ユニットに細分することができる。商業的制約の下で動作する実際の実装形態では、これらのユニットの多くは、互いに密接に相互作用し、少なくとも部分的に互いに統合することができる。以下の機能ユニットへの概念的細分化は、開示されている主題を説明する目的のためにのみ行われる。

ビデオデコーダ（６１０）は、スケーラ／逆変換ユニット（６５１）を含み得る。スケーラ／逆変換ユニット（６５１）は、量子化変換係数、ならびにどの変換を使用するか、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報を、パーサ（６２０）から（１つまたは複数の）シンボル（６２１）として受け取り得る。スケーラ／逆変換ユニット（６５１）は、アグリゲータ（６５５）に入力され得るサンプル値を含むブロックを出力し得る。

場合によっては、スケーラ／逆変換（６５１）の出力サンプルは、イントラ符号化されたブロックに関係することができ、つまり、以前に再構築された画像からの予測情報を使用していないブロックは、現画像の以前に再構築された部分からの予測情報を使用することができる。そのような予測情報は、イントラピクチャ予測ユニット（６５２）によって提供することができる。場合によっては、イントラピクチャ予測ユニット（６５２）は、現在のピクチャバッファ（６５８）からフェッチされた周囲のすでに再構成された情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成し得る。現在のピクチャバッファ（６５８）は、例えば、部分的に再構成された現在のピクチャおよび／または完全に再構成された現在のピクチャをバッファし得る。アグリゲータ（６５５）は、場合によっては、サンプル毎に、イントラ予測ユニット（６５２）が生成した予測情報を、スケーラ／逆変換ユニット（６５１）によって提供されたものとして出力サンプル情報に追加し得る。

他の場合では、スケーラ／逆変換ユニット（６５１）の出力サンプルは、インターコードされ、潜在的に動き補償されたブロックに関係し得る。このような事例では、動き補償予測ユニット（６５３）が、予測に使用するサンプルを取り出すために、参照ピクチャメモリ（６５７）にアクセスすることができる。ブロックに関係するシンボル（６２１）に従ってフェッチされたサンプルを動き補償した後、これらのサンプルを、出力サンプル情報を生成するために、アグリゲータ（６５５）によって、スケーラ／逆変換ユニット（６５１）の出力（この場合、残差サンプルまたは残差信号と呼ばれる）に追加され得る。動き補償予測ユニット（６５３）が予測サンプルをフェッチする参照ピクチャメモリ（６５７）内のアドレスを、例えば、Ｘ、Ｙ、および参照ピクチャ成分を有し得るシンボル（６２１）の形式で動き補償予測ユニット（６５３）に利用可能な動きベクトルによって、制御することができる。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（６５７）から、フェッチされたサンプル値の補間、動きベクトル予測機構などを含み得る。

アグリゲータ（６５５）の出力サンプルは、ループフィルタユニット（６５６）において様々なループフィルタリング技法を受けてもよい。ビデオ圧縮技術は、（コーディングされたビデオビットストリームとも呼ばれる）コーディングされたビデオシーケンスに含まれるパラメータによって制御され、パーサ（６２０）からのシンボル（６２１）としてループフィルタユニット（６５６）に利用可能にされるインループフィルタ技術を含み得るが、コーディングされたピクチャまたはコーディングされたビデオシーケンスの（復号順で）前の部分の復号中に取得されたメタ情報に応答するだけでなく、以前に再構築およびループフィルタリングされたサンプル値に応答してもよい。

ループフィルタユニット（６５６）の出力は、レンダリングデバイスに出力することができるとともに、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（６５７）に記憶することができるサンプルストリームとしてもよい。

完全に再構成されると、特定のコーディングされたピクチャは、将来の予測のための参照ピクチャとして使用され得る。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ（６２０）によって）参照ピクチャとして識別されると、現在のピクチャバッファ（６５８）は、参照ピクチャメモリ（６５７）の一部になることができ、新規の現在のピクチャバッファを、後続のコーディングされたピクチャの再構成を開始する前に再配置され得る。

ビデオデコーダ（６１０）は、ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５などの規格における所定のビデオ圧縮技術に従って復号動作を実行することができる。コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスがビデオ圧縮技術または規格の構文と、ビデオ圧縮技術または規格に文書化されたプロファイルの両方に忠実であるという意味において、使用されているビデオ圧縮技術または規格によって指定された構文に準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格において利用可能なすべてのツールの中から、特定のツールを、そのプロファイル下でそれらだけが利用可能なツールとして選択し得る。また、コンプライアンスのために必要なのは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルによって定義された範囲内にあることであり得る。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、（例えば、毎秒メガサンプル単位で測定された）最大再構成サンプルレート、最大参照ピクチャサイズなどを制限する。レベルによって設定される制限は、場合によっては、仮想参照デコーダ（ＨＲＤ）の仕様、およびコーディングされたビデオシーケンス内でシグナリングされるＨＲＤバッファ管理用のメタデータによってさらに制限され得る。

図７は、本開示の一実施形態によるビデオエンコーダ（７０３）のブロック図を示す。ビデオエンコーダ（７０３）は、３Ｄメッシュまたは点群を圧縮するメッシュエンコーダ（４００）で使用することができる。いくつかの例示的実装形態では、ビデオ圧縮モジュール（４２２）および（４２３）と、ビデオ圧縮モジュール（４３２）とは、エンコーダ（７０３）と同様に構成される。

ビデオエンコーダ（７０３）は、パディングされたジオメトリ画像、パディングされたテクスチャ画像などの２Ｄ画像を受信し、圧縮された画像を生成してもよい。

本開示の例示的な実施形態によれば、ビデオエンコーダ（７０３）は、ソースビデオシーケンスのピクチャ（画像）を、リアルタイムで、またはアプリケーションによって必要とされる任意の他の時間的制約の下で、コーディングされたビデオシーケンス（圧縮画像）にコーディングおよび圧縮することができる。適切なコーディング速度にすることが、コントローラ（７５０）の１つの機能である。いくつかの実施形態では、コントローラ（７５０）は、後述するように他の機能ユニットを制御し、かつ他の機能ユニットに機能的に結合される。明確にするために、結合については図示しない。コントローラ（７５０）によって設定されたパラメータは、レート制御関連パラメータ（画像スキップ、量子化、レート－歪み最適化技術のラムダ値など）、画像サイズ、画像のグループ（ＧＯＰ）のレイアウト、最大動きベクトル検索範囲などを含むことができる。コントローラ（７５０）は、特定のシステム設計に最適化されたビデオエンコーダ（７０３）に関する他の適切な機能を有するように構成され得る。

いくつかの例示的実装形態では、ビデオエンコーダ（７０３）は、コーディングループで動作するように構成されてもよい。過度に単純化した説明として、一例では、コーディングループは、（例えば、コーディングされるべき入力ピクチャ、および参照ピクチャに基づいて、シンボルストリームなどのシンボルを作成する役割を担う）ソースコーダ（７３０）と、ビデオエンコーダ（７０３）に組み込まれた（ローカル）デコーダ（７３３）とを含み得る。デコーダ（７３３）は、（リモート）デコーダも作成するのと同様の方法で、シンボルを再構築してサンプルデータを作成し得る（シンボルとコーディングされたビデオビットストリームとの間の任意の圧縮は、開示される主題において考慮されるビデオ圧縮技術において可逆であるため）。再構築されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（７３４）に入力され得る。シンボルストリームの復号は、デコーダの位置（ローカルまたはリモート）に関係なくビットイグザクトな結果をもたらすため、参照ピクチャメモリ（７３４）の内容も、ローカルエンコーダとリモートエンコーダとの間でビットイグザクトである。言い換えれば、エンコーダの予測部分は、復号中に予測を使用するときにデコーダが「見る」ことになるのと全く同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性（および、例えば、チャネルエラーのために同期性が維持できない場合に結果として生じるドリフト）のこの基本原理は、いくつかの関連技術でも使用される。

「ローカル」デコーダ（７３３）の動作は、図６と併せて上記で詳細にすでに説明されている、ビデオデコーダ（６１０）などの「リモート」デコーダの動作と同じであり得る。しかしながら、図６も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（７４５）およびパーサ（６２０）によるコーディングされたビデオシーケンスへのシンボルの符号化／復号が可逆であり得るため、パーサ（６２０）を含むビデオデコーダ（６１０）のエントロピー復号部分は、ローカルデコーダ（７３３）において完全には実装されないことがある。

本開示における様々な実施形態では、デコーダ内に存在する解析／エントロピー復号を除く任意のデコーダ技術もまた必然的に、対応するエンコーダにおいて、実質的に同一の機能形態で存在する必要があり得るということである。このため、様々な実施形態における開示された主題は、デコーダの動作に焦点を当てる場合がある。エンコーダ技術の説明は、エンコーダ技術が包括的に記載されるデコーダ技術の逆であるため、省略されてもよい。特定のエリアにおいてのみ、より詳細な説明が必要であり、以下に示される。

動作中、いくつかの例では、ソースコーダ（７３０）は、「参照ピクチャ」として指定されたビデオシーケンスからの１つまたは複数の以前にコーディングされたピクチャを参照して、入力ピクチャを予測的にコーディングする動作補償予測コーディングを実施してもよい。このようにして、コーディングエンジン（７３２）は、入力ピクチャの画素ブロックと、入力ピクチャに対する予測参照（複数可）として選択され得る参照ピクチャ（複数可）の画素ブロックとの間の差分をコーディングする。

ローカルビデオデコーダ（７３３）は、ソースコーダ（７３０）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータを復号し得る。コーディングエンジン（７３２）の動作は、有利には、非可逆プロセスであってもよい。コーディングされたビデオデータが（図７には示されていない）ビデオデコーダで復号され得るとき、再構築されたビデオシーケンスは、通常、いくつかの誤差を伴うソースビデオシーケンスの複製であり得る。ローカルビデオデコーダ（７３３）は、参照ピクチャに対してビデオデコーダによって実施され得る復号セスを複製し、再構築された参照ピクチャが参照ピクチャキャッシュ（７３４）に記憶されるようにし得る。この方法では、ビデオエンコーダ（７０３）は、遠端のビデオデコーダ（送信エラーのない）によって取得される、再構築された参照ピクチャと共通のコンテンツを有する、再構築された参照ピクチャのコピーを局所的に記憶してもよい。

予測子（７３５）は、コーディングエンジン（７３２）の予測検索を実行し得る。つまり、予測子（７３５）は、コーディングされる新しいピクチャに対して、参照ピクチャメモリ（７３４）からサンプルデータ（候補参照画素ブロックとしての）、または参照ピクチャ動きベクトル、ブロック形状などのいくつかのメタデータを検索してもよく、これは新しいピクチャの適切な予測参照として機能し得る。予測子（７３５）は、適切な予測参照を見つけるために、画素ブロック毎に１つのサンプルブロックで動作し得る。場合によっては、予測子（７３５）によって取得された検索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（７３４）に記憶された複数の参照ピクチャから引き出された予測参照を有し得る。

コントローラ（７５０）は、例えば、ビデオデータを符号化するために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（７３０）のコーディング動作を管理し得る。

前述した全機能ユニットの出力は、エントロピーコーダ（７４５）でエントロピーコーディングされてもよい。エントロピーコーダ（７４５）は、ハフマンコーディング、可変長コーディング、算術コーディングなどの技術に従ってシンボルを可逆圧縮することによって、種々の機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換し得る。

コントローラ（７５０）は、ビデオエンコーダ（７０３）の動作を管理してもよい。コーディング中に、コントローラ（７５０）は、コーディングされたピクチャのそれぞれにいくつかのコーディングピクチャタイプを割り当ててもよく、これは、各ピクチャに適用され得るコーディング技術に影響を及ぼす場合がある。例えば、ピクチャは、しばしば、以下のピクチャタイプのうちの１つとして割り当てられてもよい。

イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の任意の他のピクチャを使用することなくコーディングおよび復号され得るものであり得る。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「ＩＤＲ」）ピクチャを含む、異なるタイプのイントラピクチャを可能にする。当業者であれば、Ｉピクチャのこれらの変形例およびそれらのそれぞれの用途および特徴を認識している。

予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために、最大で１つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して、コーディングおよび復号され得るものであり得る。

双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために、最大で２つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して、コーディングおよび復号され得るものであり得る。同様に、複数の予測ピクチャは、単一のブロックの再構築のために３つ以上の参照ピクチャおよび関連メタデータを使用することができる。

ソースピクチャは、概して、複数のサンプルブロック（例えば、各々４×４、８×８、４×８、または１６×１６サンプルのブロック）に空間的に再分割され、ブロック毎にコーディングされ得る。ブロックは、ブロックのそれぞれのピクチャに適用されたコーディング割り当てによって決定される他の（すでにコーディングされた）ブロックを参照して予測的にコーディングされ得る。例えば、Ｉピクチャのブロックは、非予測的にコーディングされ得るか、または、同じピクチャのすでにコーディングされたブロックを参照して予測的にコーディングされ得る（空間予測またはイントラ予測）。Ｐピクチャの画素ブロックは、１つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的にコーディングされてもよい。Ｂピクチャのブロックは、１つまたは２つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的にコーディングされ得る。

ビデオエンコーダ（７０３）は、ＩＴＵ－Ｔ勧告Ｈ．２６５などの所定のビデオコーディング技術または規格に従ってコーディング動作を実施し得る。その動作において、ビデオエンコーダ（７０３）は様々な圧縮動作を実行してもよく、これには入力ビデオシーケンスで時間的および空間的冗長性を利用する予測コーディング動作が含まれる。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定された構文に準拠することができる。

ビデオは、時間シーケンスにおける複数のソースピクチャ（画像）の形態であり得る。イントラピクチャ予測（しばしば、イントラ予測と略される）は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間または他の）相関を利用する。一例では、現在のピクチャと呼ばれる、符号化／復号中の特定のピクチャがブロックに分割される。現在のピクチャ内のブロックが、ビデオ内で、以前にコーディングされ、未だバッファされている参照ピクチャ内の参照ブロックに類似しているとき、現在のピクチャ内のブロックを、動きベクトルと呼ばれるベクトルによってコーディングすることができる。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第３の次元を有することができる。

一部の実施形態では、インターピクチャ予測に双予測技術が使用され得る。双予測技術によれば、第１の参照ピクチャおよび第２の参照ピクチャなどの２つの参照ピクチャが使用され、これらは両方ともビデオ内の現在のピクチャの復号順より前にある（しかし、表示順序は、それぞれ過去および未来のものであってもよい）。第１の参照ピクチャ内の第１の参照ブロックを指し示す第１の動きベクトルによって、および第２の参照ピクチャ内の第２の参照ブロックを指し示す第２の動きベクトルによって、現在のピクチャ内のブロックをコーディングすることができる。ブロックを、第１の参照ブロックと第２の参照ブロックとの組み合わせによって予測することができる。

さらに、コーディング効率を改善するために、インターピクチャ予測にマージモード技術が使用され得る。

本開示の一部の実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、ブロック単位で実行される。例えば、ＨＥＶＣ規格によれば、ビデオピクチャのシーケンス中のピクチャは、圧縮のためにコーディングツリーユニット（ＣＴＵ）に分割され、ピクチャ中のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、または１６×１６ピクセルなど、同じサイズを有する。一般に、ＣＴＵは、３つのコーディングツリーブロック（ＣＴＢ）を含み、それらは１つのルマＣＴＢおよび２つのクロマＣＴＢである。各ＣＴＵを、１つまたは複数のコーディングユニット（ＣＵ）に再帰的に四分木分割することができる。例えば、６４×６４ピクセルのＣＴＵを、６４×６４ピクセルの１個のＣＵに、または３２×３２ピクセルの４個のＣＵに、または１６×１６ピクセルの１６個のＣＵに、分割することができる。一例では、各ＣＵが、インター予測タイプまたはイントラ予測タイプなど、ＣＵの予測タイプを決定するために解析される。ＣＵは、時間的予測可能性および／または空間的予測可能性に応じて、１つまたは複数の予測ユニット（ＰＵ）に分割される。概して、各ＰＵは、１つのルマ予測ブロック（ＰＢ）、および２つのクロマＰＢを含む。一実施形態では、コーディング（符号化／復号）における予測動作は、予測ブロックの単位で実施される。予測ブロックの例としてルマ予測ブロックを使用すると、予測ブロックは、８×８画素、１６×１６画素、８×１６画素、および１６×８画素などの画素の値（例えば、ルマ値）の行列を含む。

様々な実施形態において、上述したメッシュエンコーダ（４００）およびメッシュデコーダ（５００）は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装され得る。例えば、メッシュエンコーダ（４００）およびメッシュデコーダ（５００）は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など、ソフトウェアとともにまたはソフトウェアなしで動作する１つ以上の集積回路（ＩＣ）などの処理回路を用いて実装することができる。別の例では、メッシュエンコーダ（４００）およびメッシュデコーダ（５００）は、不揮発性（または非一時的）コンピュータ可読記憶媒体に記憶された命令を含むソフトウェアまたはファームウェアとして実装することができる。命令は、１つ以上のプロセッサなどの処理回路によって実行されると、処理回路に、メッシュエンコーダ（４００）、および／またはメッシュデコーダ（５００）の機能を実行させる。

図８は、３Ｄ ｘ－ｙ－ｚ座標系（８１９）における３Ｄパッチ（８１０）の、ｕ－ｖ座標系（８５９）における２Ｄ ＵＶ平面（８５０）へのマッピングの例を示す。いくつかの実装形態では、３Ｄパッチ（または単にパッチ）は、概して、３Ｄ空間内のメッシュに対応する頂点のセットによって記述される、表面の連続サブセットを指すことができる。非限定的な例では、パッチは、３Ｄ座標、法線ベクトル、色、テクスチャその他の情報を有する頂点を含む。いくつかの実装形態では、２Ｄジオメトリパッチ（または単にジオメトリパッチ）は、２Ｄ ＵＶ平面内の投影された形状、パッチに対応する投影された形状、およびパッチに対応するジオメトリパッチを指すことができる。

ＵＶ平面内の投影された形状では、マッピングされた点（ｕｉ，ｖｉ）のそれぞれが、位置（ｘｉ，ｙｉ，ｚｉ）の３Ｄ頂点に対応し、ｉ＝１、２、３、４などである。例えば、３Ｄ座標（ｘ１，ｙ１，ｚ１）を有する第１の頂点（８１１）は、２Ｄ座標（ｕ１，ｖ１）を有する第１の点（８５１）にマッピングされ、３Ｄ座標（ｘ２，ｙ２，ｚ２）を有する第２の頂点（８１２）は、２Ｄ座標（ｕ２，ｖ２）を有する第２の点（８５２）にマッピングされ、３Ｄ座標（ｘ３，ｙ３，ｚ３）を有する第３の頂点（８１３）は、２Ｄ座標（ｕ３，ｖ３）を有する第３の点（８５３）にマッピングされ、３Ｄ座標（ｘ４，ｙ４，ｚ４）を有する第４の頂点（８１４）は、２Ｄ座標（ｕ４，ｖ４）を有する第４の点（８５４）にマッピングされる。

頂点ジオメトリ（すなわちｘｉ、ｙｉ、およびｚｉの値）のコーディングは、次に、２Ｄ平面における３チャネル値のコーディングに変換され、（ｕ，ｖ）位置における各３チャネル値は、関連する３Ｄ位置に対応する。例えば、第１の位置（８５１）の画素値は、第１の頂点（８１１）の３Ｄ座標に対応する３チャネル値（つまり３つのチャネル値）を含み、３チャネル値の第１のチャネル値はｘ１の値に対応し、３チャネル値の第２のチャネル値はｙ１の値に対応し、３チャネル値の第３のチャネル値はｚ１の値に対応する。

１つ以上のパッチが投影された／マッピングされた２Ｄ平面は、したがってジオメトリ画像を指し、したがって、４：４：４の色フォーマットをサポートするビデオコーデックなどの、任意の画像またはビデオコーデックを使用してコーディングされ得る。

いくつかの実装形態では、ＵＶ平面に投影された／マッピングされた点の画素値は、３Ｄ頂点からＵＶ平面までの距離に対応し得る。したがって、頂点位置情報の位置を特定するために、このような投影に、方向が異なる複数の平面が使用されてもよい。この場合、ＵＶ平面内の各位置（または点と呼ばれる）は１チャネル値であり、距離を記録する。そのような画像は、深度画像と呼ばれる。深度画像は、ＹＵＶ４：２：０またはＹＵＶ４：０：０の色フォーマットをサポートする、任意の画像またはビデオコーデックなどのビデオコーデックを使用してコーディングされてもよい。

いくつかの実装形態では、３Ｄメッシュ内の頂点の３Ｄ座標値を表すために、ｕ－ｖ平面内の点の画素値を使用することに課題／問題がある場合がある。課題／問題の１つは、頂点の３Ｄ座標値の、１つ以上の成分のダイナミックレンジが、特定のビット深度を有する画素値の範囲より大きくなる場合があることである。例えば、２Ｄ ＵＶ平面上のサンプル値のビット深度は、３Ｄパッチのジオメトリ位置のダイナミックレンジと一致している必要がある場合がある。このようなダイナミックレンジは非常に大きい場合があり、したがってビデオコーデックからサポートされる必要があるビット深度が、いくつかのビデオコーデックに対して最大限にサポートされるビット深度より大きくなる。言い換えると、すべてのビデオコーデックが、メッシュ内の頂点の３Ｄ座標値の非常に大きいダイナミックレンジと一致するように、高ビット深度のコーディングをサポートしているわけではない。別の課題／問題として、特定のビデオコーデックで高ビット深度がサポートされていても、ジオメトリ位置分布内ですべてのパッチが高ダイナミックレンジを有しているわけではないので、すべてのパッチに高ビット深度を割り当てる必要はないことが含まれる場合がある。

本開示は、制約されたジオメトリ・ダイナミックレンジを有する３Ｄメッシュを符号化または復号し、上述した少なくとも１つの課題／問題に対処して、ジオメトリ情報を圧縮する際の効率を改善し、かつ／または効率的な３Ｄメッシュ圧縮技術を進歩させるための様々な実施形態について説明する。

図９は、制約されたジオメトリ・ダイナミックレンジで３Ｄメッシュを復号するための、上記の実装形態の基礎となる原理に従った例示的な方法のフローチャート９００を示す。例示的な復号方法のフローはＳ９０１から開始し、以下のステップの一部または全部を含んでよく、Ｓ９１０において、三次元メッシュのジオメトリパッチを含む、コーディングされたビットストリームを受信し、Ｓ９２０において、コーディングされたビットストリームから、ジオメトリパッチが分割されているかどうかを示す第１のシンタックス要素を抽出し、ジオメトリパッチは１つ以上のパーティションを含み、Ｓ９３０において、ジオメトリパッチ内の各パーティションに対して、三次元メッシュ内の頂点に対応する各パーティション内の点の、画素値のダイナミックレンジを取得し、ダイナミックレンジにより、ジオメトリパッチが所定のビット深度内でコーディングできるようになる。例示的な方法は、Ｓ９９９で停止する。

いくつかの実装形態では、制約されたジオメトリ・ダイナミックレンジで３Ｄメッシュを復号する別の例示的な方法は、コーディングされたビットストリームを受信するステップと、コーディングされたビットストリームから、ジオメトリパッチが分割されているか否かを示す第１のシンタックス要素を抽出するステップであって、ジオメトリパッチは１つ以上のパーティションを含む、ステップと、ジオメトリパッチ内のパーティションに対して、コーディングされたビットストリームから、パーティション内の点の極値的な画素値を取得するステップであって、パーティション内の点は、三次元メッシュ内の頂点に対応する、ステップと、コーディングされたビットストリームから、パーティション内の点のコーディングされた画素値を取得するステップと、極値的な画素値とコーディングされた画素値とに基づいて、パーティション内の点の画素値を決定するステップであって、画素値は三次元メッシュ内の頂点の三次元座標に対応する、ステップとを含み得る。

いくつかの実装形態では、コーディングされたビットストリームは、コーディングされたジオメトリマップ、またはコーディングされたメタデータのうちの少なくとも１つを含む。例えば、コーディングされたビットストリームは、図４の圧縮されたビットストリームであってもよく、これは、１つ以上の圧縮されたジオメトリ画像／マップ、１つ以上の圧縮されたテクスチャ画像／マップ、１つ以上の圧縮された占有マップ、および／または圧縮された補助パッチ情報を含んでもよい。一部のコーディングされたビットストリームは、占有マップを有していなくてもよく、これは、各パッチの境界頂点がシグナリングされるときに、デコーダ側から占有マップ情報が推測され得るからである。いくつかの実装形態では、ジオメトリパッチは、コーディングされたジオメトリマップに対応するパッチのうちの１つである。

いくつかの実装形態では、第１のシンタックス要素が、ジオメトリパッチが分割されていることを示しているときは、ジオメトリパッチは２つ以上のパーティションを含み得る。

いくつかの実装形態では、第１のシンタックス要素が、ジオメトリパッチが分割されていないことを示しているときは、ジオメトリパッチは単一のパーティションを含んでもよく、これはジオメトリパッチ自身である。

いくつかの実装形態では、ジオメトリパッチが分割されているときはいずれかのパーティションを含み、あるいはジオメトリパッチが分割されていないときは単一のパーティションを含む各パーティションは、ｕ－ｖ平面内の１つ以上の点を含む。パーティション内の点は、三次元メッシュ内の頂点に対応し、パーティション内の点のコーディングされた画素値は、三次元メッシュ内の頂点の三次元座標に関連付けられる。

いくつかの実装形態では、パーティション内の点の極値的な画素値は、パーティション内のコーディングされた画素値に対するオフセットになり得る。三次元メッシュ内の頂点の三次元座標に対応する、パーティション内の点の画素値は、点のコーディングされた画素値と、パーティション内の点の極値的な画素値とに基づいて取得され得る。

いくつかの実装形態では、パーティション内の点の極値的な画素値は、パーティション内の点の最小画素値、またはパーティション内の点の最大画素値のいずれかになり得る。非限定的な例では、画素値が３つのチャネル（例えば、ＲＧＢ）を有するときは、最小画素値は各チャネルに対して３つの最小値を含んでもよく、最小画素値は（ｒ＿ｍｉｎ，ｇ＿ｍｉｎ，ｂ＿ｍｉｎ）であり、ｒ＿ｍｉｎはパーティション内のすべての点に対する最小の赤チャネル値、ｇ＿ｍｉｎはパーティション内のすべての点に対する最小の緑チャネル値、ｂ＿ｍｉｎはパーティション内のすべての点に対する最小の青チャネル値である。

いくつかの実装形態では、ジオメトリパッチが分割されていないことを示す第１のシンタックス要素に応答して、ジオメトリパッチは単一のパーティションを含む。例えば、ジオメトリパッチが分割されていないことを示す第１のシンタックス要素に応答して、ジオメトリパッチは常に単一のパーティションを含む。

いくつかの実装形態では、ジオメトリパッチが分割されていることを示す第１のシンタックス要素に応答して、本方法は、デバイスによって、コーディングされたビットストリームから、ジオメトリパッチのパーティションタイプを示す第２のシンタックス要素を抽出するステップと、デバイスによって、パーティションタイプに基づいて、複数のパーティションを取得するために、ジオメトリパッチを分割するステップとをさらに含む。

いくつかの実装形態では、例示的な復号方法は、複数のパーティション内のパーティションに対して、デバイスによって、コーディングされたビットストリームから、パーティションがさらに分割されているかどうかを示す第３のシンタックス要素を抽出するステップと、パーティションがさらに分割されていることを示す第３のシンタックス要素に応答して、デバイスによって、コーディングされたビットストリームから、パーティションのパーティションタイプを示す第４のシンタックス要素を抽出し、パーティションのパーティションタイプに基づいて、パーティションをさらに分割するステップとをさらに含む。

いくつかの実装形態では、ジオメトリパッチが分割されていないことを示す第１のシンタックス要素に応答して、ジオメトリパッチは単一のパーティションを含む。

いくつかの実装形態では、ジオメトリパッチが分割されていることを示す第１のシンタックス要素に応答して、本方法は、デバイスによって、コーディングされたビットストリームから、パーティション深度を示す第２のシンタックス要素を抽出するステップ、および／または、複数のパーティションを取得するために、デバイスによって、パーティション深度および事前定義されたパーティションタイプに基づいて、ジオメトリパッチを分割するステップをさらに含む。

いくつかの実装形態では、パーティション内の点の極値的な画素値が最小画素値であり、極値的な画素値とコーディングされた画素値とに基づいて、パーティション内の点の画素値を決定するステップが、最小画素値の成分、およびコーディングされた画素値それぞれの成分を、それぞれ加算して、画素値を取得するステップを含む。

いくつかの実装形態では、最小画素値が｛ｘ＿ｍｉｎ，ｙ＿ｍｉｎ，ｚ＿ｍｉｎ｝を含み、コーディングされた画素値のそれぞれが｛ｘ＿ｃｏｄｅｄ，ｙ＿ｃｏｄｅｄ，ｚ＿ｃｏｄｅｄ）を含み、各画素値がｘ＝ｘ＿ｍｉｎ＋ｘ＿ｃｏｄｅｄ、ｙ＝ｙ＿ｍｉｎ＋ｙ＿ｃｏｄｅｄ、およびｚ＝ｚ＿ｍｉｎ＋ｚ＿ｃｏｄｅｄに従って決定された｛ｘ，ｙ，ｚ｝を含み、ｘ、ｙ、ｚ、ｘ＿ｍｉｎ、ｙ＿ｍｉｎ、ｚ＿ｍｉｎ、ｘ＿ｃｏｄｅｄ、ｙ＿ｃｏｄｅｄ、ｚ＿ｃｏｄｅｄは、負でない整数である。

いくつかの実装形態では、例示的な復号方法は、デバイスによって、コーディングされたビットストリームから、パーティション内の制限超過点の制限超過値を取得するステップをさらに含んでもよい。

いくつかの実装形態では、制限超過点に対して、最小画素値の成分、およびコーディングされた画素値それぞれの成分をそれぞれ加算して画素値を取得するステップは、制限超過値の成分、最小画素値の成分、および制限超過点に対応する、コーディングされた画素値の成分をそれぞれ加算して、制限超過点の画素値を取得するステップを含む。

いくつかの実装形態では、制限超過点に対して、制限超過値の非ゼロの成分に対応する、コーディングされた画素値の成分は２Ｎ－１と等しく、Ｎはコーディングされた画素値のビット深度である。

いくつかの実装形態では、パーティション内の点の極値的な画素値は、最大画素値である。

いくつかの実装形態では、極値的な画素値とコーディングされた画素値とに基づいて、パーティション内の点の画素値を決定するステップは、画素値を取得するために、最大画素値の成分から、コーディングされた画素値のそれぞれの成分をそれぞれ減算することを含む。

いくつかの実装形態では、最大画素値は｛ｘ＿ｍａｘ，ｙ＿ｍａｘ，ｚ＿ｍａｘ｝を含み、コーディングされた画素値のそれぞれが｛ｘ＿ｃｏｄｅｄ，ｙ＿ｃｏｄｅｄ，ｚ＿ｃｏｄｅｄ）を含み、各画素値はｘ＝ｘ＿ｍａｘ－ｘ＿ｃｏｄｅｄ、ｙ＝ｙ＿ｍａｘ－ｙ＿ｃｏｄｅｄ、およびｚ＝ｚ＿ｍａｘ－ｚ＿ｃｏｄｅｄに従って決定された｛ｘ，ｙ，ｚ｝を含み、ｘ、ｙ、ｚ、ｘ＿ｍａｘ、ｙ＿ｍａｘ、ｚ＿ｍａｘ、ｘ＿ｃｏｄｅｄ、ｙ＿ｃｏｄｅｄ、ｚ＿ｃｏｄｅｄは、負でない整数である。

いくつかの実装形態では、例示的な復号方法は、デバイスによって、コーディングされたビットストリームから、パーティション内の制限超過点の制限超過値を取得するステップをさらに含んでもよく、制限超過点に対して、画素値を取得するために、最大画素値の成分から、コーディングされた画素値それぞれの成分をそれぞれ減算するステップは、画素値を取得するために、最大画素値の成分から、制限超過値の成分、およびコーディングされた画素値それぞれの成分をそれぞれ減算するステップを含む。

いくつかの実装形態では、制限超過点に対して、制限超過値の非ゼロの成分に対応する、コーディングされた画素値の成分は２＾Ｎ－１と等しく、Ｎはコーディングされた画素値のビット深度である。

いくつかの実装形態では、パーティション内の点の極値的な画素値を取得するステップは、パーティション内の点の極値的な画素値に対応する、極値的な画素値差を取得するステップと、極値的な画素値差と第２の極値的な画素値とに基づいて、パーティション内の点の極値的な画素値を決定するステップとを含む。

いくつかの実装形態では、例示的な復号方法は、コーディングされたビットストリームから、第２のパーティションの、または第２のジオメトリパッチの、第２の極値的な画素値を取得するステップをさらに含み得る。

１つ以上の実施形態または実装形態における様々なステップが個別に、または組み合わせた任意の形態で適用されてもよい。本開示の様々な実施形態は、動的メッシュまたは静的メッシュに適用されてもよい。静的メッシュでは、メッシュのフレームは１つだけであってもよく、あるいはメッシュコンテンツは経時的に変化しない。本開示の様々な実施形態は、深度画像／属性画像／テクスチャ画像などのコーディングに拡張されてもよく、サンプル値のダイナミックレンジは、８ビットなどの特定の閾値を上回ってもよい。

いくつかの実装形態では、ジオメトリ画像内の各チャート／パッチは分割されていてもよく、その結果、８ビット、１０ビットなどの特定のビット深度を指定してジオメトリ画像をコーディングするために、各パーティションのダイナミックレンジは、特定のダイナミックレンジ内に収まる。チャート／パッチは、１つ以上の事前定義されたパターンで分割されてもよい。

非限定的な例では、図１０を参照すると、２Ｄジオメトリパッチ／チャートを分割するために、四分木パーティションが使用され得る。２Ｄジオメトリパッチ／チャート（１０１１）は、任意の形状と境界ボックス（１０１０）とを有する。このパッチ／チャートのダイナミックレンジは、目標ダイナミックレンジ（例えば、８ビット）を超えてもよい。パッチ／チャートの境界ボックス（１０１０）に四分木パーティションが適用されてもよく、その結果パーティション構造（１０２０）になり、パッチ／チャート全体が４つのパーティションを有する。各パーティションのダイナミックレンジが目標ダイナミックレンジ（例えば、８ビット）以内のときは、分割が停止されてもよい。例えば、１つのパーティション（またはサブパーティションと呼ばれる）（１０２１）が目標ダイナミックレンジ以内のときは、このパーティション（１０２１）の分割は停止されてもよい。

各パーティションのダイナミックレンジが目標ダイナミックレンジ以内でないときは、すべてのパーティションのダイナミックレンジが目標ダイナミックレンジ（例えば、８ビット）以内になるまで、パッチ／チャートがさらに小さく分割されてもよい。例えば、２回四分木分割されたパーティション（１０３０）が示されており、これは１６のパーティション（またはサブパーティションと呼ばれる）を含む。

いくつかの実装形態では、目標ダイナミックレンジ内にないパーティションだけに別のパーティションが適用されてもよく、別のパーティションは、目標ダイナミックレンジ内にあるパーティションには適用されなくてもよい。

分割するたびにダイナミックレンジが減少するため、この再帰分割アルゴリズムは収束し得る。最悪の場合には、パッチ／チャートの全部または一部が、単一の画素（例えば、１ｘ１のサイズを有し、単一の画素を含む最小のパーティション）にまで分割される場合がある。

図１１は、分割ツリーを形成するために再帰分割を可能にする、事前定義された分割パターンを含む、いくつかの非限定的な例を示す。１つの例では、１０通りのパーティション構造またはパターンの一部または全部が、事前定義されてもよい。例示的なパーティション構造は、様々な２：１／１：２（図１１の３行目）および４：１／１：４（図１１の１行目）の矩形分割を含み得る。２行目の１１０２、１１０４、１１０６、および１１０８で示される３つのサブパーティションを有するパーティションタイプは、それぞれ左Ｔ型、上Ｔ型、右Ｔ型、および下Ｔ型の「Ｔ型」パーティションと呼ばれ得る。いくつかの例示的実装形態では、図１１の矩形分割は、いずれもこれ以上細分されることはできない。パッチまたはチャートからの分割深度を示すために、パーティション深度がさらに定義されてもよい。いくつかの実装形態では、１１１０のすべて正方形のパーティションのみが、分割ツリーの次のレベルへの再帰分割を可能にすることができる。言い換えれば、再帰分割は、Ｔ型パターン内の正方形パーティションでは可能でない場合がある。いくつかの他の例では、パッチまたはパッチのパーティションを四分木パーティションに分割するために、四分木構造が使用され得る。そのような四分木分割は、任意の正方形パーティションに階層的かつ再帰的に適用されてもよい。

いくつかの実装形態では、ビデオ符号化／復号における様々なパーティション構造／方法が、パッチ／チャートの分割に適用可能になり得る。

メッシュコーデックを実施するためのいくつかの実装形態では、方法は以下の一部または全部を含む場合があり、第１に、復号プロセスを支援するために、いくつかのシンタックス要素が、コーディングされたビットストリームでシグナリングされる必要があり、第２に、各パーティション内の画素値が、そのパーティションの最小値から減算されてジオメトリ画像が変更される必要があり、その結果、画像は特定のビット深度範囲で処理／コーディングされ得る。

いくつかの実装形態では、各パッチ／チャートのシンタックス要素は、以下の一部または全部を含み得る。

パッチ／チャートが分割されているか否かを示すために、バイナリフラグがシグナリングされる。バイナリフラグが、パッチ／チャートが分割されていることを示しているときは、パッチ／チャートがどのように分割されている示すために、いくつかのパーティションフラグがシグナリングされる。パーティションは様々な形態で適用されてもよく、パーティションに関連付けられるシンタックス要素が、これに従って異なっていてもよい。例えば、四分木、二分木、および対称または非対称の、任意の他の形態のパーティションが適用されてもよい。また、異なるパーティション構造をいくつか組み合わせて適用することもできる。

非限定的な例では、図９を参照すると四分木のみが適用されており、分割パターンを示すために、四分木パーティション深度がシグナリングされ得る。

別の非限定的な例では、分割はダイナミックレンジが制限を超えている領域にのみ適用され、ダイナミックレンジが制限内の領域には分割は適用されない。この場合は、さらなる分割が必要か否かを示すために、各パーティション／領域に対してフラグがシグナリングされてもよく、フラグがさらなる分割が必要なことを示しているときは、そのパーティションタイプを示すために、別のフラグがシグナリングされてもよい。

いくつかの実装形態では、ジオメトリ画像に対応する最小のｘ、ｙ、ｚを含む、各パーティションの最小値がシグナリングされ得る。パッチ／チャートが分割されていないときは、パッチ全体の最小値がシグナリングされ得る。この場合は、パッチ／チャート全体が単一のパーティションと見なされてよく、パッチ全体の最小値は、単一のパーティションの最小値になり得る。

いくつかの実装形態では、いくつかのパーティションは空（すなわち内部にサンプリング点がない）であってもよく、空のパッチ／チャートの最小値はスキップされてもよい。例えば、図１０の左下のパーティション（またはサブパーティション）（１０３９）は空のパーティションであり、パーティション（１０３９）の最小値をシグナリングする必要はない。

いくつかの実装形態では、１つのパッチ／チャート内の各パーティションの最小値（例えば、ジオメトリ画像の最小のｘ、ｙ、ｚのそれぞれ）が、コーディングされたビットストリームでシグナリングされる必要がある。ＵＶ平面内の各チャネルのサンプル値毎に、このチャネルの値から、同じパッチまたはパーティションのシグナリングされた最小値を減算することによって、そのダイナミックレンジを低減でき、その一方で、更新値をさらに非負に維持する。例えば、ｘｍ、ｙｍ、ｚｍをそれぞれパーティション内のｘ、ｙ、およびｚ座標の最小値とする。パッチ内の任意の画素値（ｘ，ｙ，ｚ）に対して、コーディングされる更新値は（ｘ－ｘｍ，ｙ－ｙｍ，ｚ－ｚｍ）になり得る。

いくつかの実装形態では、メッシュ内に複数のパッチがあるときは、各パッチに最小値がある場合がある。これらの値をシグナリングするために予測コーディングが使用されてもよく、パッチの最小値は、別のパッチの予測子として使用され得る。このような最小値ペアの差分がコーディングされ、ビットストリームへのコーディングに必要なビット数を削減し、かつメッシュ圧縮／解凍効率を改善する。

いくつかの実装形態では、最小値のシグナリングは、定義された領域毎に行われる。２Ｄジオメトリ画像は、いくつかの非オーバーラップ領域に分割される。各領域に対して、チャネル毎の最小値がシグナリングされる。このような最小値のコーディングは、空間的に近傍の領域などの、以前にコーディングされた値からの予測コーディングによって行われ得る。例えば、画像全体は、６４ｘ６４に基づくグリッドに分割され得る。６４ｘ６４の領域毎に、この領域の最小（ｘ，ｙ，ｚ）がシグナリングされる。コーディングする前に最小値を減算することによって、この領域の全サンプルが更新される。

いくつかの実装形態では、パッチはより小さいサブパッチにさらに分割され得る。各サブパッチでは、その中のサンプル値のダイナミックレンジが特定のダイナミックレンジ内に収まっているので、ビデオコーデックでサポートされ得る。各チャネルのオフセット値がシグナリングされ、これはこのサブパッチ内のサンプルの、チャネルの最小値である。

いくつかの実装形態では、パッチ内のいくつかの孤立した３Ｄ点に、特殊なコーディングプロセスが適用される場合があり、これらの点の１つ以上のチャネルは、所与のビット深度を超えるダイナミックレンジを有している。ＵＶ平面内でのこの点の位置は、制限超過部分とともに、個別に記録されコーディングされる。

いくつかの実装形態では、所与のビット深度を超えるダイナミックレンジを有する１つ以上の点では、元の値が、所与のビット深度での最大可能値に置き換えられ得る。例えば、ビット深度が８のときは、元の値が２５５（＝２＾８－１）に置き換えられてもよい。別の例では、ビット深度が１２のときは、元の値が４０９５（＝２＾１２－１）に置き換えられてもよい。いくつかの実装形態では、最後に復号された値は、最大値に制限超過部分を加えたものと等しくなり得る。

非限定的な例では、ｘｍ、ｙｍ、ｚｍは、パーティション内のｘ、ｙ、およびｚ座標の最小値をそれぞれ表すことができ、サンプルをコーディングできるビット深度は８ビットになり得る。パッチ内の点（ｘ１，ｙ１，ｚ１）に対する更新値は（ｘ１－ｘｍ，ｙ１－ｙｍ，ｚ１－ｚｍ）になる。ｘ１－ｘｍ＞２５５（＝２＾８－１）、ｙ１－ｙｍ＜＝２５５、ｚ１－ｚｍ＜＝２５５であって、この点がＵＶ平面内に投影される位置が（ｕ１，ｖ１）のときは、ＵＶ平面内の各位置に対して８ビット深度でコーディングする法線ＵＶ平面に加えて、位置（ｕ１，ｖ１）が、追加の制限超過値の情報（ｘ１－ｘｍ－２５５，０，０）とともに、ビットストリームにコーディングされる。デコーダ側では、上述した方法を使用してジオメトリ画像を復号した後で、この点での真のジオメトリ情報を復元するために、追加の値（ｘ１－ｘｍ－２５５，０，０）が復号されて、位置（ｕ１，ｖ１）にあるすでに復号された３チャネル値に追加されなければならない。これは、（ｘ１－ｘｍ－２５５，０，０）＋（２５５，ｙ１－ｙｍ，ｚ１－ｚｍ）＝（ｘ１－ｘｍ，ｙ１－ｙｍ，ｚ１－ｚｍ）となる。各位置に各チャネル（ｘｍ，ｙｍ，ｚｍ）の最小値を追加してさらに調整することにより、元のジオメトリ（ｘ１，ｙ１，ｚ１）を復元し得る。

いくつかの実装形態では、［０，２＾ｍ）など、ジオメトリ画像全体のダイナミックレンジが知られていて、各パッチのビット深度がｎでｍ＞ｎのときは、この値の低い方のｎビットのダイナミックレンジは、通常のｍビットのビデオコーデックを使用して、他の通常の値でコーディングされ得る。この値のジオメトリ情報の高い方の（ｍ－ｎ）ビットは、個別にコーディングされてもよい。ビット深度が８ビットになる非限定的な例では、ジオメトリ画像全体のダイナミックレンジが１４ビットのときは、上位ビット情報のダイナミックレンジは、６ビットの範囲に制限される場合があり、これは６＝１４－８であることによる。

いくつかの実装形態では、最小値がコーディング／復号される代わりに、最大値がコーディング／復号に使用され得る。１つのパッチ内の各パーティションの最大値（例えば、ジオメトリ画像の最大のｘ、ｙ、ｚのそれぞれ）が、ビットストリームでシグナリングされ得る。ＵＶ平面内の各チャネルのサンプル値毎に、このチャネルの値から、同じパッチまたはパーティションのシグナリングされた最大値までの距離によって、そのダイナミックレンジを低減でき、その一方で、更新値をさらに非負に維持する。例えば、ｘｍ、ｙｍ、ｚｍはそれぞれ、３つの座標軸におけるパーティションの最大値である。パッチ内の任意の点（ｘ，ｙ，ｚ）に対して、コーディングされる更新値は（ｘｍ－ｘ，ｙｍ－ｙ，ｚｍ－ｚ）になり得る。

いくつかの実装形態では、最小値はいくつかのパッチに署名されてもよく、最大値は、いくつかの他のパッチに署名されてもよい。いくつかの実装形態では、単一のパッチに対して、パッチ内のいくつかのパッチに最小値が署名されてもよく、パッチ内のいくつかの他のパッチに最大値が署名されてもよい。

いくつかの実装形態では、最大値のシグナリングは、定義された領域毎に行われ得る。

いくつかの実装形態では、パッチはより小さいサブパッチにさらに分割され得る。各サブパッチでは、その中のサンプル値のダイナミックレンジが特定のダイナミックレンジ内に収まっているので、ビデオコーデックでサポートされ得る。各チャネルのオフセット値がシグナリングされ、オフセット値は、このサブパッチ内のサンプルの、チャネルの最大値になり得る。

いくつかの実装形態では、パッチ内のいくつかの孤立した３Ｄ点に、特殊なコーディングプロセスが適用され、これらの点の１つ以上のチャネルは、所与のビット深度を超えるダイナミックレンジを有している。ＵＶ平面内でのこの点の位置は、制限超過部分とともに、個別に記録されコーディングされ、同時に、元の値が、所与のビット深度での最大可能値に置き換えられ得る。

非限定的な例では、ｘｍ、ｙｍ、ｚｍが、それぞれ３つの座標軸におけるパッチの最大値であり、サンプルのコーディングに許容されるビット深度が８ビットのときは、パッチ内の点（ｘ１、ｙ１、ｚ１）に対する、更新された値は（ｘｍ－ｘ１、ｙｍ－ｙ１、ｚｍ－ｚ１）である。ｘｍ－ｘ１＞２５５、ｙｍ－ｙ１＜＝２５５、ｚｍ－ｚ１＜＝２５５であって、この点がＵＶ平面内に投影される位置が（ｕ１，ｖ１）のときは、ＵＶ平面内の各位置に対して８ビット深度でコーディングする法線ＵＶ平面に加えて、位置（ｕ１，ｖ１）が、追加の制限超過値の情報（ｘｍ－ｘ１－２５５，０，０）とともに、ビットストリームにコーディングされる。デコーダ側では、上述した方法を使用してジオメトリ画像を復号した後で、この点の真のジオメトリ情報を正しく復元するために、追加の値（ｘｍ－ｘ１－２５５，０，０）が復号されて、位置（ｕ１，ｖ１）にあるすでに復号された３チャネル値に追加され得る。これは、（ｘｍ－ｘ１－２５５，０，０）＋（２５５，ｙｍ－ｙ１，ｚｍ－ｚ１）＝（ｘｍ－ｘ１，ｙｍ－ｙ１，ｚｍ－ｚ１）となる。これを各位置に対する各チャネル（ｘｍ，ｙｍ，ｚｍ）の最大値から減算してさらに調整することにより、元のジオメトリ（ｘ１，ｙ１，ｚ１）＝（ｘｍ，ｙｍ，ｚｍ）－（ｘｍ－ｘ１，ｙｍ－ｙ１，ｚｍ－ｚ１）を復元し得る。

本開示において、「ｍ＾ｎ」という表記はべき乗演算、すなわちｍ^ｎを表し、底ｍ、および指数またはべきｎに対応する。

本開示で開示される技術は、別個に使用されるか、または任意の順序で組み合わせられ得る。さらに、技術（例えば、方法、実施形態）、エンコーダ、およびデコーダの各々は、処理回路（例えば、１つ以上のプロセッサまたは１つ以上の集積回路）によって実装され得る。一部の例では、１つ以上のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。

上述された技法は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、１つまたは複数のコンピュータ可読媒体に物理的に記憶することができる。例えば、図１２は、開示された主題の特定の実施形態を実装するのに適したコンピュータシステム（１３００）を示す。

コンピュータソフトウェアは、１つまたは複数のコンピュータ中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）およびグラフィック処理装置（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などによって直接的に、または解釈およびマイクロコードの実行などを通して実行され得る命令を含むコードを生成するために、アセンブリ、コンパイル、リンキング、または同様のメカニズムを受け得る任意の適切なマシンコードまたはコンピュータ言語を使用してコーディングされ得る。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、インターネット・オブ・シングス・デバイスなどを含む、様々なタイプのコンピュータまたはその構成要素で実行されてもよい。

コンピュータシステム（１３００）に関して図１２に示す構成要素は、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関する限定を示唆することを意図していない。構成要素の構成は、コンピュータシステム（１３００）の例示的な実施形態に示された構成要素のいずれか１つまたは組み合わせに関するいかなる依存性または要件も有すると解釈されるべきでない。

コンピュータシステム（１３００）は、特定のヒューマンインターフェース入力デバイスを含んでもよい。このようなヒューマンインターフェース入力デバイスは、例えば、触覚入力（キーストローク、スワイプ、データグローブの動きなど）、オーディオ入力（音声、拍手など）、視覚入力（ジェスチャなど）、嗅覚入力（図示せず）を介した、１人以上の人間ユーザによる入力に応答し得る。ヒューマンインターフェースデバイスを用いて、音声（発話、音楽、周囲音など）、画像（スキャン画像、静止画像カメラから取得される写真画像など）、ビデオ（２次元ビデオ、立体ビデオを含む３次元ビデオなど）など、人間による意識的な入力に必ずしも直接関係ない特定の媒体をキャプチャし得る。

入力ヒューマンインターフェースデバイスは、キーボード（１３０１）、マウス（１３０２）、トラックパッド（１３０３）、タッチスクリーン（１３１０）、データグローブ（図示せず）、ジョイスティック（１３０５）、マイクロフォン（１３０６）、スキャナ（１３０７）、カメラ（１３０８）のうちの１つ以上を含み得る（各々の１つのみが描写されている）。

コンピュータシステム（１３００）は、特定のヒューマンインターフェース出力デバイスも含み得る。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および匂い／味を介して、１人以上の人間のユーザの感覚を刺激し得る。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチスクリーン（１３１０）、データグローブ（図示せず）、またはジョイスティック（１３０５）による触覚フィードバック、しかし入力デバイスとして機能しない触覚フィードバックデバイスが存在する可能性もある）、（スピーカ（１３０９）、ヘッドフォン（描写せず）などの）オーディオ出力デバイス、（ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含むスクリーン（１３１０）など、各々タッチスクリーン入力機能の有無にかかわらず、各々触覚フィードバック機能の有無にかかわらず、それらのうちのいくつかは、ステレオグラフィック出力、仮想現実眼鏡（描写せず）、ホログラフィックディスプレイおよびスモークタンク（描写せず）などの手段を介して２次元視覚出力または３次元以上の出力を出力することが可能な場合がある）視覚出力デバイス、ならびにプリンタ（描写せず）を含むことができる。

コンピュータシステム（１３００）は、ＣＤ／ＤＶＤまたは同様の媒体（１３２１）を有するＣＤ／ＤＶＤ ＲＯＭ／ＲＷ（１３２０）を含む光学媒体、サムドライブ（１３２２）、リムーバブルハードドライブまたはソリッドステートドライブ（１３２３）、テープおよびフロッピーディスクなどのレガシー磁気媒体（描写せず）、セキュリティドングルなどの特殊なＲＯＭ／ＡＳＩＣ／ＰＬＤベースのデバイス（描写せず）などの、人間がアクセス可能なストレージデバイスおよびそれらに関連する媒体を含むこともできる。

当業者はまた、現在開示された主題に関連して使用される「コンピュータ可読媒体」という用語が、送信媒体、搬送波、または他の一時的な信号を包含しないことを理解するはずである。

コンピュータシステム（１３００）は、１つ以上の通信ネットワーク（１３５５）へのインターフェース（１３５４）を含むこともできる。ネットワークは、例えば、無線、有線、光であり得る。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車両および産業用、リアルタイム、遅延耐性、などとすることができる。ネットワークの例は、イーサネット、無線ＬＡＮなどのローカルエリアネットワーク、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク、ケーブルテレビ、衛星テレビ、および地上波放送テレビを含むテレビ有線または無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両および産業用などを含む。特定のネットワークは通常、特定の汎用データポートまたは周辺バス（１３４９）（例えば、コンピュータシステム（１３００）のＵＳＢポート）に接続された外部ネットワークインターフェースアダプタを必要とし、他のものは一般に、以下に説明するように、システムバスに接続することによってコンピュータシステム（１３００）のコアに統合される（例えば、ＰＣコンピュータシステムに対するイーサネットインターフェース、またはスマートフォンコンピュータシステムに対するセルラーネットワークインターフェース）。これらのネットワークのいずれかを使用して、コンピュータシステム（１３００）は他のエンティティと通信することができる。このような通信は、一方向、受信専用（例えば、テレビ放送）、一方向送信専用（例えば、ＣＡＮｂｕｓから特定のＣＡＮｂｕｓデバイス）または双方向、例えば、ローカルもしくは広域デジタルネットワークを用いた他のコンピュータシステムに対する双方向の通信とすることができる。特定のプロトコルおよびプロトコルスタックは、上記で説明したように、それらのネットワークおよびネットワークインターフェースのそれぞれで使用され得る。

前述のヒューマンインターフェースデバイス、人間がアクセス可能なストレージデバイス、およびネットワークインターフェースは、コンピュータシステム（１３００）のコア（１３４０）に取り付けることができる。

コア（１３４０）は、１つ以上の中央処理装置（ＣＰＵ）（１３４１）、グラフィックスプロセッシングユニット（ＧＰＵ）（１３４２）、フィールドプログラマブルゲートエリア（ＦＰＧＡ）（１３４３）の形態の専用プログラマブル処理装置、特定のタスク用のハードウェアアクセラレータ（１３４４）、グラフィックスアダプタ（１３５０）などを含むことができる。これらのデバイスは、読取り専用メモリ（ＲＯＭ）（１３４５）、ランダムアクセスメモリ（１３４６）、内部のユーザアクセス不可能なハードドライブ、ＳＳＤなどの内部大容量ストレージ（１３４７）とともに、システムバス（１３４８）を通じて接続され得る。一部のコンピュータシステムでは、システムバス（１３４８）は、追加のＣＰＵ、ＧＰＵなどによる拡張を可能にするために、１つ以上の物理プラグの形態でアクセス可能とすることができる。周辺デバイスは、コアのシステムバス（１３４８）に直接取り付けることも、周辺バス（１３４９）を介して取り付けることもできる。一例では、スクリーン（１３１０）は、グラフィックスアダプタ（１３５０）に接続することができる。周辺バス用のアーキテクチャには、ＰＣＩ、ＵＳＢなどが含まれる。

ＣＰＵ（１３４１）、ＧＰＵ（１３４２）、ＦＰＧＡ（１３４３）およびアクセラレータ（１３４４）は、組み合わされて、前述のコンピュータコードを構成することができる特定の命令を実行することができる。このコンピュータコードは、ＲＯＭ（１３４５）またはＲＡＭ（１３４６）に記憶することができる。移行データはまた、ＲＡＭ（１３４６）に記憶することもできるが、永続データは、例えば内部大容量ストレージ（１３４７）に記憶することができる。メモリデバイスのいずれかに対する高速の記憶および検索は、１つ以上のＣＰＵ（１３４１）、ＧＰＵ（１３４２）、大容量ストレージ（１３４７）、ＲＯＭ（１３４５）、ＲＡＭ（１３４６）などと密接に関連付けることができるキャッシュメモリを使用して可能にすることができる。

コンピュータ可読媒体は、様々なコンピュータ実施動作を実行するためのコンピュータコードを有し得る。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構成されたものであってもよいし、またはコンピュータソフトウェア技術の当業者に周知の利用可能な種類のものであってもよい。

限定ではなく例として、アーキテクチャを有するコンピュータシステム（１３００）、具体的にはコア（１３４０）は、（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータなどを含む）（１つ以上の）プロセッサが１つ以上の有形のコンピュータ可読媒体において具現化されたソフトウェアを実行した結果として機能を提供することができる。このようなコンピュータ可読媒体は、前述のようなユーザアクセス可能な大容量ストレージ、ならびにコア内部大容量ストレージ（１３４７）またはＲＯＭ（１３４５）などの非一時的な性質のものであるコア（１３４０）の特定のストレージと関連付けられた媒体とすることができる。本開示の様々な実施形態を実装するソフトウェアは、このようなデバイスに記憶され、コア（１３４０）によって実行することができる。コンピュータ可読媒体は、特定の必要性に応じて、１つ以上のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（１３４０）、および具体的にはその中の（ＣＰＵ、ＧＰＵ、ＦＰＧＡなどを含む）プロセッサに、ＲＡＭ（１３４６）に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってこのようなデータ構造を修正することを含む、本明細書に記載された特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、ソフトウェアの代わりに、またはソフトウェアと共に動作して、本明細書に記載される特定のプロセスまたは特定のプロセスの特定の部分を実行することができる、回路（例えば、アクセラレータ（１３４４））におけるハードワイヤードの、または他の方法で具現化された論理の結果として機能を提供することもできる。ソフトウェアへの言及は、必要に応じて、論理を包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（ＩＣ）など）、実行のための論理を具現化する回路、またはその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。

本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内にある修正例、置換例、および様々な代替均等例がある。したがって、当業者は、本明細書に明示的に示されていないかまたは記載されていないが、本開示の原理を具現化し、したがって本開示の趣旨および範囲内にある多数のシステムおよび方法を考案することができることが理解されよう。

１００ 通信システム、１０５ ３Ｄセンサ、１１０ 端末デバイス、１２０ 端末デバイス、１５０ 通信ネットワーク、２００ ストリーミングシステム、２０１ 記憶媒体、２０２ 圧縮されていない３Ｄメッシュ（点群）、２０３ エンコーダ、２０４ 圧縮された３Ｄメッシュ、２０５ ストリーミングサーバ、２０６ クライアントサブシステム、２０７ コピー、２０８ クライアントサブシステム、２０９ コピー、２１０ デコーダ、２１１ 再構築された３Ｄメッシュ、２１２ レンダリングデバイス、２１３ 記憶サブシステム、２２０ 電子デバイス、２３０ 電子デバイス、３０１ エンコーダ、３０２ 生の入力３Ｄメッシュまたは３Ｄメッシュのシーケンス、３０３ デコーダ、３０４ ＵＶ空間へのマッピング、３１０ 占有マップ、３１２ ジオメトリマップ、３１４ 属性マップ、３１６ 他の非画像もしくは非マップデータ、またはメタデータ、３２０ 復号された占有マップ、３２２ 復号されたジオメトリマップ、３２４ 復号された属性マップ、３２６ 復号された非マップデータおよびメタデータ、３３０ 再構築された３Ｄメッシュまたは３Ｄメッシュのシーケンス、４００ メッシュエンコーダ、４０４ パッチ情報モジュール、４０６ パッチ生成モジュール、４０８ パッチパッキングモジュール、４１０ ジオメトリ画像生成モジュール、４１２ テクスチャ画像生成モジュール、４１４ 占有マップモジュール、４１６ 画像パディングモジュール、４１８ 画像パディングモジュール、４２０ グループ拡張モジュール、４２２ ビデオ圧縮モジュール、４２３ ビデオ圧縮モジュール、４２４ マルチプレクサ、４３２ ビデオ圧縮モジュール、４３４ エントロピー圧縮モジュール、４３６ 平滑化モジュール、４３８ 補助パッチ情報圧縮モジュール、５００ メッシュデコーダ、５３２ デマルチプレクサ、５３４ ビデオ解凍モジュール、５３６ ビデオ解凍モジュール、５３８ 占有マップ解凍モジュール、５４２ 補助パッチ情報解凍モジュール、５４４ ジオメトリ再構築モジュール、５４６ 平滑化モジュール、５４８ テクスチャ再構築モジュール、５５２ 色平滑化モジュール、６１０ ビデオデコーダ、６２０ パーサ、６２１ シンボル、６５１ スケーラ／逆変換ユニット、６５２ イントラピクチャ予測ユニット、６５３ 動き補償予測ユニット、６５５ アグリゲータ、６５６ ループフィルタユニット、６５７ 参照ピクチャメモリ、６５８ 現在のピクチャバッファ、７０３ ビデオエンコーダ、７３０ ソースコーダ、７３２ コーディングエンジン、７３３ ローカルビデオデコーダ、７３４ 参照ピクチャメモリ、７３５ 予測子、７４３ 圧縮された画像、７４５ エントロピーコーダ、７５０ コントローラ、８１０ ３Ｄパッチ、８１１ 第１の頂点、８１２ 第２の頂点、８１３ 第３の頂点、８１４ 第４の頂点、８１９ ３Ｄ ｘ－ｙ－ｚ座標系、８５０ ２Ｄ ＵＶ平面、８５１ 第１の点、８５２ 第２の点、８５３ 第３の点、８５４ 第４の点、８５９ ｕ－ｖ座標系、９００ フローチャート、１０１０ 境界ボックス、１０１１ ２Ｄジオメトリパッチ／チャート、１０２０ パーティション構造、１０２１ パーティション、１０３０ ２回四分木分割されたパーティション、１０３９ 空のパーティション、１１０２ サブパーティション、１１０４ サブパーティション、１１０６ サブパーティション、１１０８ サブパーティション、１１１０ すべて正方形のパーティション、１３００ コンピュータシステム、１３０１ キーボード、１３０２ マウス、１３０３ トラックパッド、１３０５ ジョイスティック、１３０６ マイクロフォン、１３０７ スキャナ、１３０８ カメラ、１３０９ スピーカ、１３１０ タッチスクリーン、１３２０ 光学媒体、１３２１ 媒体、１３２２ サムドライブ、１３２３ ソリッドステートドライブ、１３４０ コア、１３４１ 中央処理装置（ＣＰＵ）、１３４２ グラフィックスプロセッシングユニット（ＧＰＵ）、１３４３ フィールドプログラマブルゲートエリア（ＦＰＧＡ）、１３４４ ハードウェアアクセラレータ、１３４５ 読取り専用メモリ（ＲＯＭ）、１３４６ ランダムアクセスメモリ（ＲＡＭ）、１３４７ 内部大容量ストレージ、１３４８ システムバス、１３４９ 周辺バス、１３５０ グラフィックスアダプタ、１３５４ インターフェース、１３５５ 通信ネットワーク

Claims (18)

1. 三次元メッシュのジオメトリパッチを復号する方法であって、
   命令を記憶するメモリ、および前記メモリと通信するプロセッサを備えるデバイスによって、三次元メッシュのジオメトリパッチを含む、コーディングされたビットストリームを受信するステップと、
   前記デバイスによって、前記コーディングされたビットストリームから、前記ジオメトリパッチが分割されているかどうかを示す第１のシンタックス要素を抽出するステップであって、前記ジオメトリパッチが１つ以上のパーティションを含む、ステップと、
   前記ジオメトリパッチ内の各パーティションに対して、前記デバイスによって、前記三次元メッシュの頂点に対応する前記各パーティション内の点の、画素値のダイナミックレンジを取得するステップであって、前記ダイナミックレンジにより、前記ジオメトリパッチを所定のビット深度内でコーディングできるようになる、ステップと
   を含む、方法。
2. 前記コーディングされたビットストリームが、
   コーディングされたジオメトリマップ、または
   コーディングされたメタデータ
   のうちの少なくとも１つを含む、請求項１に記載の方法。
3. 前記ジオメトリパッチが分割されていないことを示す前記第１のシンタックス要素に応答して、前記ジオメトリパッチが単一のパーティションを含み、
   前記ジオメトリパッチが分割されていることを示す前記第１のシンタックス要素に応答して、前記方法が、
   前記デバイスによって、前記コーディングされたビットストリームから、前記ジオメトリパッチのパーティションタイプを示す第２のシンタックス要素を抽出するステップと、
   前記デバイスによって、前記パーティションタイプに基づいて、複数のパーティションを取得するために、前記ジオメトリパッチを分割するステップと
   をさらに含む、請求項１に記載の方法。
4. 前記複数のパーティション内のパーティションに対して、
   前記デバイスによって、前記コーディングされたビットストリームから、前記パーティションがさらに分割されているかどうかを示す第３のシンタックス要素を抽出するステップと、
   前記パーティションがさらに分割されていることを示す前記第３のシンタックス要素に応答して、前記デバイスによって、前記コーディングされたビットストリームから、前記パーティションのパーティションタイプを示す第４のシンタックス要素を抽出し、前記パーティションの前記パーティションタイプに基づいて、前記パーティションをさらに分割するステップと、
   をさらに含む、請求項３に記載の方法。
5. 前記ジオメトリパッチが分割されていないことを示す前記第１のシンタックス要素に応答して、前記ジオメトリパッチが単一のパーティションを含み、
   前記ジオメトリパッチが分割されていることを示す前記第１のシンタックス要素に応答して、前記方法が、
   前記デバイスによって、前記コーディングされたビットストリームから、パーティション深度を示す第２のシンタックス要素を抽出するステップと、
   複数のパーティションを取得するために、前記デバイスによって、前記パーティション深度および事前定義されたパーティションタイプに基づいて、前記ジオメトリパッチを分割するステップと
   をさらに含む、請求項１に記載の方法。
6. 前記三次元メッシュ内の前記頂点に対応する、前記各パーティション内の前記点の、前記画素値の前記ダイナミックレンジを取得する前記ステップが、
   前記各パーティション内の前記点の極値的な画素値を取得するステップと、
   前記各パーティション内の前記点のコーディングされた画素値を取得するステップと、
   前記極値的な画素値と前記コーディングされた画素値とに基づいて、前記各パーティション内の前記点の前記画素値を決定するステップであって、前記画素値は、前記三次元メッシュ内の前記頂点の三次元座標に対応する、ステップと
   を含む、請求項１に記載の方法。
7. 前記各パーティション内の前記点の前記極値的な画素値が、最小画素値であり、
   前記極値的な画素値と前記コーディングされた画素値とに基づいて、前記各パーティション内の前記点の前記画素値を決定する前記ステップが、
   前記最小画素値の成分、および前記コーディングされた画素値それぞれの成分を、それぞれ加算して前記画素値を取得するステップ
   を含む、請求項６に記載の方法。
8. 前記最小画素値が｛ｘ＿ｍｉｎ，ｙ＿ｍｉｎ，ｚ＿ｍｉｎ｝を含み、コーディングされた画素値のそれぞれが｛ｘ＿ｃｏｄｅｄ，ｙ＿ｃｏｄｅｄ，ｚ＿ｃｏｄｅｄ）を含み、
   各画素値がｘ＝ｘ＿ｍｉｎ＋ｘ＿ｃｏｄｅｄ、ｙ＝ｙ＿ｍｉｎ＋ｙ＿ｃｏｄｅｄ、およびｚ＝ｚ＿ｍｉｎ＋ｚ＿ｃｏｄｅｄに従って決定された｛ｘ，ｙ，ｚ｝を含み、
   ｘ、ｙ、ｚ、ｘ＿ｍｉｎ、ｙ＿ｍｉｎ、ｚ＿ｍｉｎ、ｘ＿ｃｏｄｅｄ、ｙ＿ｃｏｄｅｄ、ｚ＿ｃｏｄｅｄは、負でない整数である、
   請求項７に記載の方法。
9. 前記デバイスによって、前記コーディングされたビットストリームから前記各パーティション内の制限超過点の制限超過値を取得するステップ
   をさらに含み、
   前記制限超過点に対して、前記最小画素値の成分および前記コーディングされた画素値それぞれの成分を、それぞれ加算して前記画素値を取得する前記ステップが、
   前記制限超過値の成分、前記最小画素値の成分、および前記制限超過点に対応する、コーディングされた画素値の成分をそれぞれ加算して、前記制限超過点の前記画素値を取得するステップ
   を含む、請求項７に記載の方法。
10. 前記制限超過点に対して、前記制限超過値の非ゼロの成分に対応する、前記コーディングされた画素値の成分が２^Ｎ－１と等しく、Ｎは前記コーディングされた画素値の、前記所定のビット深度である、
    請求項９に記載の方法。
11. 前記各パーティション内の点の前記極値的な画素値が、最大画素値であり、
    前記極値的な画素値と前記コーディングされた画素値とに基づいて、前記各パーティション内の前記点の前記画素値を決定する前記ステップが、
    前記コーディングされた画素値それぞれの成分を、前記最大画素値の成分から、それぞれ減算して、前記画素値を取得するステップ
    を含む、請求項６に記載の方法。
12. 前記最大画素値が｛ｘ＿ｍａｘ，ｙ＿ｍａｘ，ｚ＿ｍａｘ｝を含み、コーディングされた画素値のそれぞれが｛ｘ＿ｃｏｄｅｄ，ｙ＿ｃｏｄｅｄ，ｚ＿ｃｏｄｅｄ）を含み、
    各画素値がｘ＝ｘ＿ｍａｘ－ｘ＿ｃｏｄｅｄ、ｙ＝ｙ＿ｍａｘ－ｙ＿ｃｏｄｅｄ、およびｚ＝ｚ＿ｍａｘ－ｚ＿ｃｏｄｅｄに従って決定された｛ｘ，ｙ，ｚ｝を含み、
    ｘ、ｙ、ｚ、ｘ＿ｍａｘ、ｙ＿ｍａｘ、ｚ＿ｍａｘ、ｘ＿ｃｏｄｅｄ、ｙ＿ｃｏｄｅｄ、ｚ＿ｃｏｄｅｄは、負でない整数である、
    請求項１１に記載の方法。
13. 前記デバイスによって、前記コーディングされたビットストリームから、前記各パーティション内の制限超過点の制限超過値を取得するステップ
    をさらに含み、
    前記制限超過点に対して、前記最大画素値の成分から、前記コーディングされた画素値それぞれの成分をそれぞれ減算して、前記画素値を取得するステップが、
    前記最大画素値の成分から、前記制限超過値の成分、および前記コーディングされた画素値それぞれの成分をそれぞれ減算して、前記画素値を取得するステップ
    を含む、請求項１１に記載の方法。
14. 前記制限超過点に対して、前記制限超過値の非ゼロの成分に対応する、前記コーディングされた画素値の成分が２^Ｎ－１と等しく、Ｎは前記コーディングされた画素値の、前記所定のビット深度である、
    請求項１３に記載の方法。
15. 前記各パーティション内の前記点の前記極値的な画素値を取得する前記ステップが、
    前記各パーティション内の前記点の前記極値的な画素値に対応する、極値的な画素値差を取得するステップと、
    前記極値的な画素値差と第２の極値的な画素値とに基づいて、前記各パーティション内の前記点の前記極値的な画素値を決定するステップと
    を含む、請求項６に記載の方法。
16. 前記コーディングされたビットストリームから、第２のパーティションの、または第２のジオメトリパッチの、前記第２の極値的な画素値を取得するステップ
    をさらに含む、請求項１５に記載の方法。
17. 三次元メッシュのジオメトリパッチを復号する装置であって、前記装置は、
    命令を記憶するメモリと、
    前記メモリと通信するプロセッサであって、前記プロセッサが前記命令を実行すると、前記プロセッサは、請求項１から１６のいずれか一項に記載の方法を前記装置に実施させるように構成される、プロセッサと
    を備える、装置。
18. 命令を含むコンピュータプログラムであって、前記命令がプロセッサによって実行されると、前記命令は、請求項１から１６のいずれか一項に記載の方法を前記プロセッサに実施させるように構成される、コンピュータプログラム。

Images