JP7780032B2 - 重複頂点に基づく位置圧縮 - Google Patents

Description

参照による組み込み
本出願は、2023年6月8日に出願された米国特許出願第18／207，610号「DUPLICATE VERTICES BASED POSITION COMPRESSION」の優先権の利益を主張し、上記特許出願は、2022年8月2日に出願された米国仮出願第63／394，485号「Duplicate Vertices based Position Compression」の優先権の利益を主張する。先行出願の開示は、その全体が参照により本明細書に組み込まれる。

本開示は、メッシュ処理に関する実施形態を含む。

本明細書で提供される背景技術の説明は、本開示のコンテキストを一般的に提示することを目的とする。本発明者らの研究は、この背景技術の項に記載されている限りにおいて、および出願時に先行技術として認められない可能性がある説明の態様は、本開示に対する先行技術として明示的にも暗示的にも認められない。

3次元（3D）キャプチャ、モデリング、およびレンダリングなどの進歩は、様々なプラットフォームおよびデバイスにわたって3Dコンテンツの普遍的な存在を促進している。今日では、ある大陸で赤ちゃんの最初の一歩を捕え、他の大陸で赤ちゃんの祖父母がこれを見て（かつ場合によっては交流して）、子供との臨場感あふれる体験を楽しむことが可能である。このような臨場感を実現するために、モデルはこれまで以上に洗練されてきており、かなりの量のデータがこれらのモデルの生成および消費に結び付けられる。3Dメッシュは、このような没入型コンテンツを表すために広く使用されている。

本開示の態様は、メッシュ処理のための方法および装置を提供する。いくつかの例では、メッシュ処理のための装置が処理回路を含む。

本開示の一態様によれば、ビデオエンコーダにおいて行われるメッシュ処理の方法が提供される。本方法では、複数の重複頂点の各々が現在のフレームのメッシュにおいてスキップ可能であるかどうかが判定される。複数の重複頂点の各々は、メッシュにおける他の対応する頂点の重複であるメッシュの頂点である。複数の重複頂点の各々およびその対応する頂点は、参照フレームにおいて同じ参照頂点を有する。メッシュにおける複数の重複頂点のうちの1つまたは複数のスキップ可能な重複頂点が除外され、更新されたメッシュを生成する。更新されたメッシュの頂点は、所定の一定の整数に基づいて複数の頂点グループに分割され、複数の頂点グループは第1の頂点グループを含む。第1の頂点グループの予測モードは、少なくとも更新されたメッシュの第1の頂点グループにおける頂点の推定誤差に基づいて決定される。各推定誤差は、第1の頂点グループにおけるそれぞれの頂点と参照フレームにおける対応する参照頂点との間の差を示す。決定された第1の頂点グループの予測モードに基づいて、第1の頂点グループにおける頂点の予測情報が生成される。

一例では、複数の重複頂点のうちの第1の重複頂点と、同じ座標を有するメッシュにおける第1の重複頂点に対応する頂点とに基づいて、複数の重複頂点のうちの第1の重複頂点がスキップ可能であると決定される。一例では、複数の重複頂点のうちの第2の重複頂点と、異なる座標を有するメッシュにおける第2の重複頂点に対応する頂点とに基づいて、複数の重複頂点のうちの第2の重複頂点はスキップ不可能であると決定される。

いくつかの実施形態では、複数の重複頂点のスキップ不可能な重複頂点の数が決定される。さらに、複数の重複頂点のスキップ不可能な重複頂点の各々の頂点インデックスが決定される。

いくつかの実施形態では、（i）複数の重複頂点の数が第1のしきい値以上であること、（ii）メッシュにおける頂点の数が第2のしきい値以上であること、および（iii）複数の重複頂点の数とメッシュにおける頂点の数との比が第3のしきい値以上であること、のうちの1つに基づいて、コーディング情報が生成される。コーディング情報は、（i）複数の重複頂点のうちのスキップ不可能な重複頂点の数、および（ii）複数の重複頂点のうちのスキップ不可能な重複頂点の各々についての頂点インデックスを示す。

一実施形態では、スキップ不可能な重複頂点の数は、可変長コーディング、固定長コーディング、（b＋1）ビットの固定長符号、および（b＋1）ビットよりも小さい符号長を有する固定長符号のうちの1つに基づいてコーディングされ、bは正の整数である。一実施形態では、複数の重複頂点のスキップ不可能な重複頂点の各々の頂点インデックスは、差分コーディング、可変長コーディング、Exp－Golombコーディング、（b＋1）ビットの固定長符号、および符号長が（b＋1）ビットより小さい固定長符号のうちの1つに基づいてコーディングされる。

いくつかの実施形態では、第1の頂点グループの予測モードを決定するために、更新されたメッシュの第1の頂点グループにおける頂点の推定誤差が決定される。第1の頂点グループにおける各頂点に関連付けられた複数の近傍頂点の平均近傍推定誤差が決定される。複数の近傍推定誤差の各々は、第1の頂点グループにおけるそれぞれの頂点の複数の近傍頂点のうちの1つと、第1の頂点グループにおけるそれぞれの頂点の複数の近傍頂点のうちの1つに対応する参照フレームにおける参照頂点と、の間の差を示す。第1のコスト値は、第1の頂点グループにおける頂点の推定誤差に基づいて決定される。第2のコスト値は、第1の頂点グループの頂点に関連付けられた平均近傍推定誤差に基づいて決定される。第1の頂点グループの予測モードは、第1のコスト値と第2のコスト値との比較に基づいて決定される。

一例では、複数の近傍頂点の平均近傍推定誤差を決定するために、第1の頂点グループにおける頂点のうちの第1の頂点に関連付けられた第1の近傍推定誤差が決定される。第1の近傍推定誤差は、第1の頂点の第1の近傍頂点と、第1の頂点の第1の近傍頂点に対応する参照フレームにおける参照頂点と、の間の差を示す。第1の頂点グループにおける頂点のうちの第1の頂点に関連付けられた第2の近傍推定誤差が決定される。第2の近傍推定誤差は、第1の頂点の第2の近傍頂点と、第1の頂点の第2の近傍頂点に対応する参照フレームにおける参照頂点と、の間の差を示す。第1の近傍推定誤差および第2の近傍推定誤差の平均近傍推定誤差が決定され、平均近傍推定誤差は、第1の頂点グループにおける頂点のうちの第1の頂点に関連付けられる。

いくつかの実施形態では、第1のコスト値は、第1の頂点グループにおける頂点の推定誤差の和として決定される。

いくつかの実施形態では、第2のコスト値を決定するために、第1の頂点グループにおける各頂点の推定誤差と、第1の頂点グループにおける対応する頂点に関連付けられた平均近傍推定誤差と、の間の推定差が決定される。第2のコスト値は、第1の頂点グループにおける頂点に関連付けられた推定差の和として決定される。

一例では、予測モードは、第1のコスト値が第2のコスト値以下であることに基づいて第1のモードとして決定される。一例では、予測モードは、第1のコスト値が第2のコスト値よりも大きいことに基づいて第2のモードとして決定される。

いくつかの実施形態では、第1のモードである予測モードに基づいて、第1の頂点グループにおける頂点の各々について第1の予測残差が生成され、第1の予測残差は、第1の頂点グループにおける対応する頂点の推定誤差を示す。予測モードが第2のモードであることに基づいて、第1の頂点グループにおける頂点の各々について第2の予測残差が生成され、第2の予測残差は、第1の頂点グループにおける対応する頂点に関連付けられた推定差を示す。

本開示の他の態様によれば、装置が提供される。装置は、処理回路を含む。処理回路は、メッシュ処理のための記載された方法のいずれかを行うように構成され得る。

本開示の態様は、コンピュータによって実行されると、メッシュ処理のための記載された方法のいずれかをコンピュータに行わせる命令を記憶する非一時的コンピュータ可読媒体も提供する。

開示された主題のさらなる特徴、性質および様々な利点は、以下の詳細な説明および添付の図面から、より明らかになるであろう。

通信システム（100）の例示的なブロック図の概略図である。 デコーダの例示的なブロック図の概略図である。 エンコーダの例示的なブロック図の概略図である。 本開示のいくつかの実施形態によるメッシュの頂点の概略図である。 本開示のいくつかの実施形態による、例示的な頂点位置圧縮の概略図である。 本開示のいくつかの実施形態によるプロセスを概説するフローチャートである。 本開示のいくつかの実施形態による他のプロセスの概要を示すフローチャートである。 一実施形態による、コンピュータシステムの概略図である。

図1は、いくつかの例におけるビデオ処理システム（100）のブロック図を示す。ビデオ処理システム（100）は、開示される主題のための適用の一例であり、ストリーミング環境におけるビデオエンコーダおよびビデオデコーダである。開示された主題は、例えば、ビデオ会議、デジタルTV、ストリーミングサービス、CD、DVD、メモリスティックなどを含むデジタル媒体への圧縮ビデオの記憶を含む、他の画像およびビデオ対応アプリケーションにも等しく適用可能とすることができる。

ビデオ処理システム（100）は、ビデオソース（101）を含むことができるキャプチャサブシステム（113）を含む。ビデオソース（101）は、カメラによってキャプチャされた、かつ／またはコンピュータによって生成された、1つまたは複数の画像を含むことができる。例えば、デジタルカメラは、非圧縮のビデオピクチャのストリーム（102）を作成することができる。一例では、ビデオピクチャのストリーム（102）は、デジタルカメラによって撮られたサンプルを含む。ビデオピクチャのストリーム（102）は、エンコーディングされたビデオデータ（104）（またはコーディングされたビデオビットストリーム）と比較したときの大きいデータ量を強調するために太線で示され、ビデオソース（101）に結合されたビデオエンコーダ（103）を含む電子デバイス（120）によって処理され得る。ビデオエンコーダ（103）は、以下で詳細に記載するように、開示された主題の態様を可能にする、または実装するために、ハードウェア、ソフトウェア、またはそれらの組合せを含むことができる。エンコーディングされたビデオデータ（104）（またはエンコーディングされたビデオビットストリーム）は、ビデオピクチャのストリーム（102）と比較したときの少ないデータ量を強調するために細線で示され、将来の使用のためにストリーミングサーバ（105）に記憶され得る。図1のクライアントサブシステム（106）および（108）などの1つまたは複数のストリーミングクライアントサブシステムは、エンコーディングされたビデオデータ（104）のコピー（107）および（109）を取り出すために、ストリーミングサーバ（105）にアクセスすることができる。クライアントサブシステム（106）は、例えば電子デバイス（130）内にビデオデコーダ（110）を含むことができる。ビデオデコーダ（110）は、エンコーディングされたビデオデータの入力コピー（107）をデコーディングし、ディスプレイ（112）（例えば、表示画面）または他のレンダリングデバイス（図示せず）上でレンダリングされ得るビデオピクチャの出力ストリーム（111）を生成する。いくつかのストリーミングシステムでは、エンコーディングされたビデオデータ（104）、（107）および（109）（例えば、ビデオビットストリーム）は、特定のビデオコーディング／圧縮規格に従ってエンコーディングされ得る。それらの規格の例には、ITU－T勧告H．265が含まれる。一例では、開発中のビデオコーディング規格は、多用途ビデオコーディング（VVC）として非公式に知られている。開示される主題は、VVCとの関連で使用され得る。

電子デバイス（120）および（130）は、他の構成要素（図示せず）を含むことができることに留意されたい。例えば、電子デバイス（120）はビデオデコーダ（図示せず）も含むことができ、電子デバイス（130）はビデオエンコーダ（図示せず）も含むことができる。

図2は、ビデオデコーダ（210）の例示的なブロック図を示している。ビデオデコーダ（210）は、電子デバイス（230）に含まれ得る。電子デバイス（230）は、受信器（231）を含むことができる。受信器（231）は、ネットワークインターフェース回路などの受信回路を含んでもよい。ビデオデコーダ（210）は、図1の例のビデオデコーダ（110）の代わりに使用され得る。

受信器（231）は、ビデオデコーダ（210）によってデコーディングされるべき1つまたは複数のコーディングされたビデオシーケンスを受信し得る。一実施形態では、一度に1つのコーディングされたビデオシーケンスが受信され、各コーディングされたビデオシーケンスのデコーディングは、他のコーディングされたビデオシーケンスのデコーディングから独立している。コーディングされたビデオシーケンスは、チャネル（201）から受信されてもよく、チャネル（201）は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであってもよい。受信器（231）は、他のデータ、例えば、コーディングされたオーディオデータおよび／または補助データストリームと共にエンコーディングされたビデオデータを受信してもよく、そのデータは、それらそれぞれの使用エンティティ（図示せず）に転送されてもよい。受信器（231）は、コーディングされたビデオシーケンスをその他のデータから分離し得る。ネットワークジッタに対抗するために、バッファメモリ（215）が、受信器（231）とエントロピーデコーダ／パーサ（220）（以下、「パーサ（220）」）との間に結合されてもよい。特定の用途では、バッファメモリ（215）は、ビデオデコーダ（210）の一部である。他の用途では、バッファメモリ（215）は、ビデオデコーダ（210）の外部にあることができる（図示せず）。さらに他の用途では、例えば、ネットワークジッタに対抗するために、ビデオデコーダ（210）の外部にバッファメモリ（図示せず）が存在し、加えて、例えば、プレイアウトタイミングを処理するために、ビデオデコーダ（210）の内部に他のバッファメモリ（215）が存在することができる。受信器（231）が十分な帯域幅および可制御性の記憶／転送デバイスから、またはアイソシンクロナスネットワークから、データを受信しているとき、バッファメモリ（215）は、必要でなくてもよい、または小さくなることができる。インターネットなどのベストエフォート型パケットネットワーク上で使用するために、バッファメモリ（215）が必要とされてもよく、比較的大きくすることができ、有利には適応サイズとすることができ、ビデオデコーダ（210）の外部のオペレーティングシステムまたは同様の要素（図示せず）内に少なくとも部分的に実装されてもよい。

ビデオデコーダ（210）は、コーディングされたビデオシーケンスからシンボル（221）を再構成するためのパーサ（220）を含んでもよい。これらのシンボルのカテゴリは、図2に示すように、ビデオデコーダ（210）の動作を管理するために使用される情報と、潜在的に、電子デバイス（230）の不可欠な部分ではないが、電子デバイス（230）に結合され得るレンダリングデバイス（212）（例えば、表示画面）などのレンダリングデバイスを制御するための情報とを含む。レンダリングデバイスの制御情報は、補足強化情報（SEI）メッセージまたはビデオユーザビリティ情報（VUI）パラメータセットフラグメント（図示せず）の形態であってもよい。パーサ（220）は、受信したコーディングされたビデオシーケンスを解析／エントロピーデコーディングすることができる。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または規格に従うことができ、可変長コーディング、ハフマンコーディング、コンテキスト感度有り、または無しの算術コーディングなどを含む様々な原理に従うことができる。パーサ（220）は、コーディングされたビデオシーケンスから、グループに対応する少なくとも1つのパラメータに基づいて、ビデオデコーダ内の、画素のサブグループの少なくとも1つに対する、サブグループパラメータのセットを抽出してもよい。サブグループは、Group of Pictures（GOP）、画像、タイル、スライス、マクロブロック、コーディングユニット（CU）、ブロック、変換ユニット（TU）、予測ユニット（PU）などを含むことができる。また、パーサ（220）は、コーディングされたビデオシーケンスから、変換係数、量子化器パラメータ値、動きベクトルなどの情報を抽出してもよい。

パーサ（220）は、シンボル（221）を作成するために、バッファメモリ（215）から受信したビデオシーケンスに対してエントロピーデコーディング／解析動作を行ってもよい。

シンボル（221）の再構成は、コーディングされたビデオピクチャまたはその部分のタイプ（インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックなど）、および他の要因に応じて、複数の異なるユニットを関与させることができる。どのユニットがどのように関与するかは、コーディングされたビデオシーケンスからパーサ（220）によって構文解析されたサブグループ制御情報によって制御され得る。パーサ（220）と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、明確にするために描かれていない。

すでに述べられた機能ブロック以外に、ビデオデコーダ（210）は、以下で説明するように、概念的にいくつかの機能ユニットに細分され得る。商業的制約の下で動作する実際の実施態様では、これらのユニットの多くは、互いに密接に相互作用し、少なくとも部分的に互いに統合することができる。しかしながら、開示される主題を説明する目的のためには、以下の機能ユニットに概念的に再分割するのが適切である。

第1のユニットはスケーラ／逆変換ユニット（251）である。スケーラ／逆変換ユニット（251）は、量子化変換係数、ならびにどの変換を使用するか、ブロックサイズ、量子化係数、量子化スケーリング行列などをシンボル（221）として含む制御情報を、パーサ（220）から受信する。スケーラ／逆変換ユニット（251）は、アグリゲータ（255）に入力され得る、サンプル値を含むブロックを出力することができる。

場合によっては、スケーラ／逆変換ユニット（251）の出力サンプルは、イントラコーディングされたブロックに関連することができる。イントラコーディングされたブロックは、以前に再構成されたピクチャからの予測情報を使用せず、現在のピクチャの以前に再構成された部分からの予測情報を使用することができるブロックである。そのような予測情報は、イントラピクチャ予測ユニット（252）によって提供され得る。場合によっては、イントラピクチャ予測ユニット（252）は、現在のピクチャバッファ（258）からフェッチされた周囲のすでに再構成された情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成する。現在のピクチャバッファ（258）は、例えば、部分的に再構成された現在のピクチャおよび／または完全に再構成された現在のピクチャをバッファする。アグリゲータ（255）は、場合によっては、サンプルごとに、イントラ予測ユニット（252）が生成した予測情報を、スケーラ／逆変換ユニット（251）によって提供される出力サンプル情報に追加する。

他の場合には、スケーラ／逆変換ユニット（251）の出力サンプルは、インターコーディングされた、潜在的に動き補償されたブロックに関連することができる。このような場合、動き補償予測ユニット（253）は、予測に使用されるサンプルをフェッチするために参照ピクチャメモリ（257）にアクセスすることができる。ブロックに関連するシンボル（221）に従ってフェッチされたサンプルを動き補償した後に、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ（255）によってスケーラ／逆変換ユニット（251）の出力（この場合、残差サンプルまたは残差信号と呼ばれる）に追加され得る。動き補償予測ユニット（253）が予測サンプルをフェッチする参照ピクチャメモリ（257）内のアドレスは、動き補償予測ユニット（253）が、例えばX、Y、および参照ピクチャ成分を有することができるシンボル（221）の形態で利用可能な動きベクトルによって制御され得る。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ（257）から、フェッチされたサンプル値の補間、動きベクトル予測機構などを含むことができる。

アグリゲータ（255）の出力サンプルは、ループフィルタユニット（256）において様々なループフィルタリング技術を受けることができる。コーディングされたビデオシーケンス（コーディングされたビデオビットストリームとも呼ばれる）に含まれるパラメータによって制御され、パーサ（220）からのシンボル（221）としてループフィルタユニット（256）が利用可能なインループフィルタ技術を、ビデオ圧縮技術は含むことができる。ビデオ圧縮はまた、コーディングされたピクチャまたはコーディングされたビデオシーケンスの（デコーディング順序で）以前の部分のデコーディング中に取得されたメタ情報に応答し、および以前に再構成されループフィルタ処理されたサンプル値に応答することができる。

ループフィルタユニット（256）の出力は、レンダリングデバイス（212）に出力され得ると共に、将来のインターピクチャ予測で使用するために参照ピクチャメモリ（257）に記憶され得るサンプルストリームであり得る。

特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用され得る。例えば、現在のピクチャに対応するコーディングされたピクチャが完全に再構成され、そのコーディングされたピクチャが（例えば、パーサ（220）によって）参照ピクチャとして識別されると、現在のピクチャバッファ（258）は、参照ピクチャメモリ（257）の一部になることができ、後続のコーディングされたピクチャの再構成を開始する前に、新しい現在のピクチャバッファが再割り当てされ得る。

ビデオデコーダ（210）は、所定のビデオ圧縮技術またはITU－T勧告H．265などの規格に従ってデコーディング動作を行うことができる。コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスがビデオ圧縮技術または規格の構文と、ビデオ圧縮技術または規格に文書化されたプロファイルの両方に忠実であるという意味において、使用されているビデオ圧縮技術または規格によって指定された構文に準拠し得る。具体的には、プロファイルは、ビデオ圧縮技術または規格において利用可能なすべてのツールの中から、特定のツールを、そのプロファイル下でそれらだけが利用可能なツールとして選択することができる。また、コンプライアンスのために必要なのは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルによって定義された範囲内にあることとすることができる。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、（例えば、毎秒メガサンプル単位で測定された）最大再構成サンプルレート、最大参照ピクチャサイズなどを制限する。レベルによって設定される制限は、場合によっては、仮想参照デコーダ（HRD）の仕様、およびコーディングされたビデオシーケンス内でシグナリングされるHRDバッファ管理用のメタデータによってさらに制限され得る。

一実施形態では、受信器（231）は、エンコーディングされたビデオと共に追加の（冗長な）データを受信し得る。追加のデータは、コーディングされたビデオシーケンスの一部として含まれてもよい。追加のデータは、データを適切にデコーディングするため、および／または元のビデオデータをより正確に再構成するために、ビデオデコーダ（210）によって使用されてもよい。追加のデータは、例えば、時間、空間、または信号対雑音比（SNR）の強化層、冗長スライス、冗長ピクチャ、前方誤り訂正コードなどの形であることができる。

図3は、ビデオエンコーダ（303）の例示的なブロック図を示している。ビデオエンコーダ（303）は、電子デバイス（320）に含まれる。電子デバイス（320）は、送信器（340）（例えば、送信回路）を含む。ビデオエンコーダ（303）は、図1の例のビデオエンコーダ（103）の代わりに使用され得る。

ビデオエンコーダ（303）は、ビデオエンコーダ（303）によってコーディングされるべきビデオ画像をキャプチャし得る（図3の例では電子デバイス（320）の一部ではない）ビデオソース（301）からビデオサンプルを受信し得る。他の例では、ビデオソース（301）は、電子デバイス（320）の一部である。

ビデオソース（301）は、ビデオエンコーダ（303）によってコーディングされるソースビデオシーケンスを、任意の適切なビット深度（例えば、8ビット、10ビット、12ビット、…）、任意の色空間（例えば、BT．601 Y CrCB、RGB、…）、および任意の適切なサンプリング構造（例えば、Y CrCb 4：2：0、Y CrCb 4：4：4）であることができるデジタルビデオサンプルストリームの形態で提供することができる。メディアサービングシステムでは、ビデオソース（301）は、以前に準備されたビデオを記憶する記憶装置であってもよい。ビデオ会議システムでは、ビデオソース（301）は、ビデオシーケンスとしてローカル画像情報をキャプチャするカメラであってもよい。ビデオデータは、順番に見られるときに動きを伝える複数の個別のピクチャとして提供されてもよい。ピクチャ自体は、画素の空間配列として編成されてもよく、各画素は、使用中のサンプリング構造、色空間などに応じて、1つまたは複数のサンプルを含むことができる。以下の説明は、サンプルに焦点を当てている。

一実施形態によれば、ビデオエンコーダ（303）は、リアルタイムで、または必要とされる任意の他の時間制約の下で、ソースビデオシーケンスのピクチャをコーディングされたビデオシーケンス（343）にコーディングし、圧縮し得る。適切なコーディング速度にすることが、コントローラ（350）の1つの機能である。いくつかの実施形態では、コントローラ（350）は、後述するように他の機能ユニットを制御し、かつ他の機能ユニットに機能的に結合される。明確にするために、結合については図示していない。コントローラ（350）によって設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、…）、ピクチャサイズ、Group of Pictures（GOP）レイアウト、最大動きベクトル探索範囲などを含むことができる。コントローラ（350）は、特定のシステム設計のために最適化されたビデオエンコーダ（303）に関連する他の適切な機能を有するように構成され得る。

いくつかの実施形態では、ビデオエンコーダ（303）は、コーディングループで動作するように構成される。過度に単純化した説明として、一例では、コーディングループは、（例えば、コーディングされるべき入力ピクチャ、および参照ピクチャ（複数可）に基づいて、シンボルストリームなどのシンボルを作成する役割を担う）ソースコーダ（330）と、ビデオエンコーダ（303）に組み込まれた（ローカル）デコーダ（333）とを含むことができる。デコーダ（333）は、（リモート）デコーダも作成するのと同様の方式で、シンボルを再構成してサンプルデータを生成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（334）に入力される。シンボルストリームのデコーディングは、デコーダの位置（ローカルまたはリモート）に関係なくビットイグザクトな結果をもたらすため、参照ピクチャメモリ（334）の内容も、ローカルエンコーダとリモートエンコーダとの間でビットイグザクトである。言い換えれば、エンコーダの予測部分は、デコーディング中に予測を使用するときにデコーダが「見る」ことになるのと全く同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期性（および、例えばチャネルエラーのために同期性が維持されることができない場合に結果として生じるドリフト）のこの基本原理は、いくつかの関連技術においても使用される。

「ローカル」デコーダ（333）の動作は、図2と併せて上記で詳細にすでに説明されている、ビデオデコーダ（210）などの「リモート」デコーダの動作と同じであり得る。しかしながら、図2も簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ（345）およびパーサ（220）によるコーディングされたビデオシーケンスへのシンボルのエンコーディング／デコーディングが可逆であり得るので、バッファメモリ（215）およびパーサ（220）を含むビデオデコーダ（210）のエントロピーデコーディング部分は、ローカルデコーダ（333）において完全には実装されない場合がある。

一実施形態では、デコーダに存在するパース／エントロピーデコーディングを除くデコーダ技術が、対応するエンコーダに、同一または実質的に同一の機能的形態で存在する。したがって、開示された主題は、デコーダの動作に焦点を当てている。エンコーダ技術の説明は、包括的に記載されたデコーダ技術の逆であるため、省略され得る。特定の領域では、より詳細な説明が以下に提供される。

動作中、いくつかの例では、ソースコーダ（330）は、「参照ピクチャ」として指定されたビデオシーケンスからの1つまたは複数の以前にコーディングされたピクチャを参照して、入力ピクチャを予測的にコーディングする動作補償予測コーディングを行ってもよい。このようにして、コーディングエンジン（332）は、入力ピクチャの画素ブロックと、入力ピクチャに対する予測参照（複数可）として選択され得る参照ピクチャ（複数可）の画素ブロックとの間の差分をコーディングする。

ローカルビデオデコーダ（333）は、ソースコーダ（330）によって作成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャのコーディングされたビデオデータをデコーディングしてもよい。コーディングエンジン（332）の動作は、有利には、非可逆プロセスであり得る。コーディングされたビデオデータが（図3には示されていない）ビデオデコーダでデコーディングされ得るとき、再構成されたビデオシーケンスは、通常、いくつかの誤差を伴うソースビデオシーケンスのレプリカであってもよい。ローカルビデオデコーダ（333）は、参照ピクチャに対してビデオデコーダによって行われ得るデコーディングプロセスを再現し、再構成された参照ピクチャを参照ピクチャメモリ（334）に記憶させ得る。この方法では、ビデオエンコーダ（303）は、遠端のビデオデコーダ（送信エラーのない）によって取得される、再構成された参照ピクチャと共通のコンテンツを有する、再構成された参照ピクチャのコピーを局所的に記憶してもよい。

予測器（335）は、コーディングエンジン（332）の予測検索を行ってもよい。つまり、予測器（335）は、コーディングされる新しいピクチャに対して、参照ピクチャメモリ（334）からサンプルデータ（候補参照画素ブロックとしての）、または参照ピクチャ動きベクトル、ブロック形状などのいくつかのメタデータを検索してもよく、これは新しいピクチャの適切な予測参照として機能し得る。予測器（335）は、適切な予測参照を見つけるために、画素ブロックごとにサンプルブロックに対して動作し得る。場合によっては、予測器（335）によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ（334）に記憶された複数の参照ピクチャから引き出された予測参照を有することができる。

コントローラ（350）は、例えば、ビデオデータをエンコーディングするために使用されるパラメータおよびサブグループパラメータの設定を含む、ソースコーダ（330）のコーディング動作を管理し得る。

前述した全機能ユニットの出力は、エントロピーコーダ（345）でエントロピーコーディングされてもよい。エントロピーコーダ（345）は、ハフマンコーディング、可変長コーディング、算術コーディングなどといった技術に従ってシンボルに可逆圧縮を適用することによって、様々な機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。

送信器（340）は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであり得る通信チャネル（360）を介した送信の準備のために、エントロピーコーダ（345）によって作成されたコーディングされたビデオシーケンス（複数可）をバッファし得る。送信器（340）は、ビデオエンコーダ（303）からのコーディングされたビデオデータを、送信されるべき他のデータ、例えば、コーディングされたオーディオデータおよび／または補助データストリーム（ソースは図示せず）とマージし得る。

コントローラ（350）は、ビデオエンコーダ（303）の動作を管理してもよい。コーディング中に、コントローラ（350）は、コーディングされたピクチャのそれぞれにいくつかのコーディングピクチャタイプを割り当ててもよく、これは、それぞれのピクチャに適用され得るコーディング技術に影響を及ぼす場合がある。例えば、ピクチャは、しばしば、以下のピクチャタイプのうちの1つとして割り当てられてもよい。

イントラピクチャ（Iピクチャ）は、予測のソースとしてシーケンスにおける任意の他のピクチャを使用することなくコーディングおよびデコーディングされ得るものであってもよい。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ（「IDR」）ピクチャを含む、異なるタイプのイントラピクチャを可能にする。当業者であれば、Iピクチャのこれらの変形例およびそれらのそれぞれの用途および特徴を認識している。

予測ピクチャ（Pピクチャ）は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して、コーディングおよびデコーディングされ得るものであってもよい。

双方向予測ピクチャ（Bピクチャ）は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して、コーディングおよびデコーディングされ得るものであってもよい。同様に、複数の予測ピクチャは、単一のブロックの再構成のために3つ以上の参照ピクチャおよび関連メタデータを使用することができる。

ソースピクチャは、概して、複数のサンプルブロック（例えば、各々4×4、8×8、4×8、または16×16サンプルのブロック）に空間的に再分割され、ブロックごとにコーディングされてもよい。ブロックは、ブロックのそれぞれのピクチャに適用されたコーディング割り当てによって決定される他の（すでにコーディングされた）ブロックを参照して予測的にコーディングされてもよい。例えば、Iピクチャのブロックは、非予測的にコーディングされてもよく、または、同じピクチャのすでにコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測またはイントラ予測）。Pピクチャの画素ブロックは、1つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的にコーディングされてもよい。Bピクチャのブロックは、1つまたは2つの以前にコーディングされた参照ピクチャを参照して、空間予測を介して、または時間予測を介して、予測的にコーディングされてもよい。

ビデオエンコーダ（303）は、ITU－T勧告H．265などの所定のビデオコーディング技術または規格に従ってコーディング動作を行ってもよい。その動作において、ビデオエンコーダ（303）は様々な圧縮動作を行ってもよく、これには入力ビデオシーケンスで時間的および空間的冗長性を利用する予測コーディング動作が含まれる。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定された構文に準拠することができる。

一実施形態では、送信器（340）は、エンコーディングされたビデオと共に追加のデータを送信し得る。ソースコーダ（330）は、そのようなデータをコーディングされたビデオシーケンスの一部として含むことができる。追加のデータは、時間／空間／SNR強化層、冗長ピクチャおよびスライスなどの他の形態の冗長データ、SEIメッセージ、VUIパラメータセットフラグメントなどを含んでもよい。

ビデオは、複数のソースピクチャ（ビデオピクチャ）として時系列にキャプチャされてもよい。イントラピクチャ予測（しばしば、イントラ予測と省略される）は、所与のピクチャにおける空間相関を使用し、インターピクチャ予測は、ピクチャ間の（時間または他の）相関を使用する。一例では、現在のピクチャと呼ばれる、エンコーディング／デコーディング中の特定のピクチャがブロックに分割される。現在のピクチャにおけるブロックが、ビデオ内で、以前にコーディングされ、未だバッファされている参照ピクチャにおける参照ブロックに類似しているとき、現在のピクチャにおけるブロックは、動きベクトルと呼ばれるベクトルによってコーディングされ得る。動きベクトルは、参照ピクチャにおける参照ブロックを指し示し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第3の次元を有することができる。

いくつかの実施形態では、インターピクチャ予測において双予測技術が使用され得る。双予測技術によれば、第1の参照ピクチャおよび第2の参照ピクチャなどの2つの参照ピクチャが使用され、これらは両方ともビデオ内の現在のピクチャのデコーディング順より前にある（しかし、表示順序は、それぞれ過去および未来のものであってもよい）。第1の参照ピクチャにおける第1の参照ブロックを指し示す第1の動きベクトルによって、および第2の参照ピクチャにおける第2の参照ブロックを指し示す第2の動きベクトルによって、現在のピクチャにおけるブロックがコーディングされ得る。ブロックは、第1の参照ブロックと第2の参照ブロックとの組合せによって予測され得る。

さらに、コーディング効率を向上させるために、インターピクチャ予測においてマージモード技術が使用され得る。

本開示のいくつかの実施形態によれば、インターピクチャ予測およびイントラピクチャ予測などの予測は、多角形または三角形のブロックなどのブロックの単位で行われる。例えば、HEVC規格によれば、ビデオピクチャのシーケンスにおけるピクチャは、圧縮のためにコーディングツリーユニット（CTU）に分割され、ピクチャにおけるCTUは、64×64画素、32×32画素、16×16画素などの同じサイズを有する。一般に、CTUは、3つのコーディングツリーブロック（CTB）を含み、それらは1つのルーマCTBおよび2つのクロマCTBである。各CTUは、1つまたは複数のコーディングユニット（CU）に再帰的に四分木分割され得る。例えば、64×64ピクセルのCTUは、64×64ピクセルの1個のCUに、または32×32画素の4個のCUに、または16×16画素の16個のCUに、分割され得る。一例では、各CUが、インター予測タイプまたはイントラ予測タイプなど、CUの予測タイプを決定するために解析される。CUは、時間的予測可能性および／または空間的予測可能性に応じて、1つまたは複数の予測ユニット（PU）に分割される。概して、各PUは、1つのルーマ予測ブロック（PB）、および2つのクロマPBを含む。一実施形態では、コーディング（エンコーディング／デコーディング）における予測動作は、予測ブロックの単位で行われる。予測ブロックの一例としてルーマ予測ブロックを使用すると、予測ブロックは、8×8画素、16×16画素、8×16画素、16×8画素などの画素についての値（例えば、ルーマ値）の行列を含む。

ビデオエンコーダ（103）および（303）、ならびにビデオデコーダ（110）、および（210）は、任意の適切な技術を使用して実装され得ることに留意されたい。一実施形態では、ビデオエンコーダ（103）および（303）、ならびにビデオデコーダ（110）および（210）は、1つまたは複数の集積回路を使用して実装され得る。他の実施形態では、ビデオエンコーダ（103）および（303）、ならびにビデオデコーダ（110）および（210）は、ソフトウェア命令を実行する1つまたは複数のプロセッサを使用して実装され得る。

本開示は、重複頂点を用いたメッシュ頂点位置圧縮の方法およびシステムに関する実施形態を含む。いくつかの実施形態では、メッシュにおける重複頂点の各々は、現在のフレームのメッシュにおける他の対応する頂点の複製である。重複頂点およびその対応する頂点の各々は、参照フレーム内に同じ参照頂点を有することができる。

メッシュは、ボリュームオブジェクトの表面を記述するいくつかの多角形を含むことができる。メッシュの各ポリゴンは、3次元（3D）空間内の対応するポリゴンの頂点、および接続性情報と呼ばれる場合がある、頂点が接続される方法についての情報によって定義することができる。いくつかの実施形態では、色、法線などの頂点属性がメッシュ頂点に関連付けられ得る。属性（または頂点属性）はまた、メッシュを2次元（2D）属性マップでパラメータ化するマッピング情報を利用することによって、メッシュの表面に関連付けられ得る。このようなマッピングは、通常、メッシュ頂点に関連付けられた、UV座標またはテクスチャ座標と呼ばれるパラメトリック座標のセットによって記述することができる。テクスチャ、法線、変位などの高解像度属性情報を保存するために2D属性マップが使用され得る。このような情報は、テクスチャマッピングやシェーディングなどの様々な目的に使用され得る。

動的メッシュは経時的に変化するかなりの量の情報を含む可能性があるため、動的メッシュは大量のデータを必要とする場合がある。したがって、そのようなコンテンツを保存し、かつ送信するために効率的な圧縮技術が必要となる。IC、MESHGRID、およびFAMCなどのメッシュ圧縮規格は、常時接続性、時変ジオメトリ、および頂点属性を有する動的メッシュに対処するために、以前にMPEGによって開発された。しかしながら、これらの規格は、時変属性マップおよび接続性情報を考慮していない場合がある。DCC（デジタルコンテンツ生成）ツールは、通常はこのような動的メッシュを生成する。しかしながら、ボリューム取得技術では、特にリアルタイム制約下で、常時接続性動的メッシュを生成することが困難な場合がある。この種のコンテンツ（例えば、常時接続性動的メッシュ）は、既存の規格ではサポートされない場合がある。MPEGでは、時変接続性情報および任意選択で時変属性マップを有する動的メッシュを直接扱うための、新たなメッシュ圧縮規格の開発を計画中である。新たなメッシュ圧縮規格は、リアルタイム通信、ストレージ、自由視点ビデオ、拡張現実（AR）、仮想現実（VR）などの様々なアプリケーションのための非可逆および可逆圧縮を対象とする。ランダムアクセスやスケーラブル／プログレッシブコーディングなどの機能も考慮することができる。

メッシュジオメトリ情報は、頂点接続性情報、3D座標、および2Dテクスチャ座標などを含むことができる。頂点位置とも呼ばれる場合がある頂点3D座標の圧縮は重要な場合があり、その理由は多くの場合に、頂点3D座標の圧縮は、ジオメトリ関連データ全体のかなりの部分を消費する可能性があるためである。

時間インスタンスtにおける動的メッシュシーケンスMは、M（t）と表すことができる。M（t）は、M（t）の頂点位置から他の時間インスタンスM（t₀）の頂点位置へのマッピング（またはマッピング演算）fがある場合には、位置的に追跡されるフレームと称されることができ、tとt₀は異なる時間インスタンスである。したがって、M（t₀）は参照フレームと称されることができ、参照フレームにおける対応する頂点は、M（t）における頂点の参照頂点と称されることができる。

本開示では、重複頂点を用いたメッシュ頂点位置圧縮のための方法および／またはシステムが提案される。方法および／またはシステムは、個別にまたは任意の形態の組合せによって適用され得ることに留意されたい。さらに、開示された方法およびシステムは、頂点位置圧縮に限定されない。開示された方法およびシステムは、例えば、2次元（2D）テクスチャ座標圧縮またはより一般的な時間予測ベースのスキームに適用することもできる。

位置的に追跡されるフレームM（t）における頂点Vについて、頂点の近傍は、エッジを介してVに接続された頂点とすることもでき、これらの頂点はVの近傍頂点（または近傍の頂点）と呼ばれる。例えば、図4に示すように、頂点Aは、C、D、E、およびBである4つの近傍頂点を有することができる。頂点Eは、A、B、F、H、およびDである5つの近傍頂点を有することができる。

位置的に追跡されるフレームM（t）およびその参照フレームM（t₀）について、fは、M（t）とM（t₀）との頂点位置間のマッピングであると仮定する。M（t）における頂点Vを考えると、頂点Vの参照頂点f（V）とM（t）におけるコーディングされた頂点
の参照頂点
とが同じ位置値を有する場合、頂点Vは重複頂点として表すことができ、参照f（V）および
は参照フレームM（t₀）における頂点である。一実施形態では、コーディングされた頂点は、
のコーディング順序がVの前に来ることを意味する。一実施形態では、添字x、y、zはxyz空間における3D座標として表すことができる。したがって、重複頂点Vは、以下の式（1）～（3）に基づいて記述することができる。

一実施形態では、重複頂点Vについて、Vおよび
が同じ位置値を有する場合、Vはスキップ可能な重複として表すことができる。したがって、スキップ可能な重複頂点Vは、以下の式（4）～（6）に基づいて記述することができる。
そうでなければ、Vはスキップ不可能な複製として表すことができる。

図5は、本開示のいくつかの実施形態に従う典型的な頂点位置圧縮装置（または装置）（500）の概略図である。図5に図示するように、頂点位置圧縮装置（500）は、重複頂点がスキップ可能であるか否かを判定するように構成された、重複シグナリングモジュール（501）を含むことができる。重複シグナリングモジュール（501）は、スキップ可能な重複頂点の頂点インデックスまたはスキップ不可能な重複頂点の頂点インデックスをシグナリング（送信）するように構成することもできる。装置（500）は、メッシュの頂点をグループ化するように構成された頂点グループ化モジュール（502）と、頂点の予測位置を計算するように構成された位置予測モジュール（504）と、位置圧縮の予測モードをコーディング（または決定）するように構成された予測モードコーディングモジュール（506）と、位置予測残差をコーディングするように構成された予測残差コーディングモジュール（508）と、を含むことができる。

本開示におけるモジュールという用語は、ソフトウェアモジュール、ハードウェアモジュール、またはそれらの組合せを指すことができる。ソフトウェアモジュール（例えば、コンピュータプログラム）は、コンピュータプログラミング言語を使用して開発されてもよい。ハードウェアモジュールは、処理回路および／またはメモリを使用して実装されてもよい。各モジュールは、1つまたは複数のプロセッサ（またはプロセッサおよびメモリ）を使用して実施することができる。同様に、プロセッサ（またはプロセッサおよびメモリ）は、1つまたは複数のモジュールを実施するために使用され得る。さらに、各モジュールは、モジュールの機能を含むモジュール全体の一部であってもよい。

位置的に追跡されるフレームM（t）の場合、参照フレームM（t₀）を使用して重複頂点が識別され得る。各重複頂点Vについて、それはスキップ可能な複製またはスキップ不可能な複製のいずれかとして決定され得る。一実施形態では、セットSはスキップ可能な複製の集合として表すことができ、セットNSはスキップ不可能な複製の集合として表すことができる。

一実施形態では、エンコーダは、スキップ不可能な複製の頂点インデックスをシグナリングすることができる。一例では、セットNSは、NS＝｛d₁，d₂，…，d_s｝として定義することができ、0≦d₁＜d₂＜…＜d_s≦T－1であり、d_iはi番目のスキップ不可能な複製の頂点インデックスであり、sはスキップ不可能な重複頂点の数（またはカウント）であり、TはM（t）の頂点の数（またはカウント）である。一例では、s≧0およびT≧3である。s＝0の場合、セットNSは空のセットとすることができ、すべての重複頂点はスキップ可能である。エンコーダは、重複シグナリングのために数sおよび各インデックスd_iをコーディングすることができる。

数sは、様々なコーディング方法に基づいてコーディングされ得る。一実施形態では、数sは、可変長コーディングを使用してコーディングされ得る。一実施形態では、数sは、固定長コーディングを使用してコーディングされ得る。一実施形態では、数sは、（b＋1）ビットの固定長コードを使用してコーディングされ得、bはlog₂（T）以下の最大整数とすることができる。一実施形態では、数sは固定長コードを使用してコーディングされ得、符号長は（b＋1）－ビットより小さく、bはlog₂（T）以下の最大の整数である。sは、2つ以上の固定長コードを使用してコーディングされ得るので、各固定長コードにおける最初のビット（または最後のビット）は、それぞれの固定長コードが新しいシンボルの表現であるか、または最後の（または前の）シンボルの連続であるかを示すためにシグナリングされ得る。

頂点インデックスd_iは、様々なコーディング方法に基づいてコーディングされ得る。一実施形態では、頂点インデックスd_iは、差分コーディングを使用してコーディングされ得る。差動コーディングでは、エンコーダにより複数のパラメータD_i（i≧1）がコーディングされ得る。パラメータD_iは、D₁＝d₁（i＝1）およびD_i＝d_i－d_i－1－1（i≧2）として定義することができる。したがって、スキップ不可能な頂点の頂点インデックスは、コーディングされたD_i（i≧1）に基づいて表すことができる。

一実施形態では、D_iは、可変長コーディングを使用してコーディングされ得る。一実施形態では、D_iは、Exp－Golomb符号を使用してコーディングされ得る。一実施形態では、D_iは、固定長コーディングを使用してコーディングされ得る。一実施形態では、D_iは、（B＋1）ビットの固定長コードを使用してコーディングされ得、Bはlog₂（T－2）以下の最大の整数である。一実施形態では、D_iは固定長符号を使用してコーディングされ得、符号長は（B＋1）ビットより小さく、Bはlog₂（T－2）以下の最大整数である。D_iは、2つ以上の固定長コードを使用してコーディングされ得るので、各固定長コードにおける最初のビット（または最後のビット）は、それぞれの固定長コードが新しいシンボルの表現であるか最後の（または前の）シンボルの連続であるかを示すためにシグナリングされ得る。

いくつかの実施形態では、スキップ可能な複製（または重複頂点）の頂点インデックスがシグナリングされ得る。

いくつかの実施形態では、エンコーダは、重複シグナリングを適応的にオンまたはオフにすることができる。重複シグナリングをオンまたはオフにする適応的決定は、頂点統計に基づくことができる。一例では、重複シグナリングをオンまたはオフにする適応的決定は、重複頂点の数（またはカウント）に基づくことができる。重複頂点の数がしきい値以上である場合、重複シグナリングをオンにすることができる。そうでなければ、重複シグナリングをオフにすることができる。一例では、重複シグナリングをオンまたはオフにする適応的決定は、頂点Tの数（またはカウント）に基づくことができる。頂点Tの数がしきい値以上である場合、重複シグナリングをオフにすることができる。そうでなければ、重複シグナリングをオンにすることができる。一例では、重複シグナリングをオンまたはオフにする適応的決定は、重複頂点の数と頂点の数との間の比に基づくことができる。比率がしきい値以上である場合、重複シグナリングをオンにすることができる。そうでなければ、重複シグナリングをオフにすることができる。

本開示では、位置的に追跡されるフレームM（t）の頂点がグループに分割され得、各グループはK個の頂点を含むことができ、Kは定数である。例えば、M（t）の頂点を複数のグループに分割し、各グループに10個の頂点（K＝10）を含めることができる。一例では、K＝1の場合、各グループは1つの頂点を含む。さらに他の例では、KがフレームM（t）における頂点の数に等しい場合、すべての頂点は同じグループに含まれる。

本開示の一実施形態では、M（t）の頂点がグループに分割されている場合、スキップ可能な複製（またはスキップ可能な重複頂点）をスキップ（または除去）することができる。例えば、M（t）の頂点はグループに分割され、各グループは10個の頂点を含む。M（t）の最初の12個の頂点が2つのスキップ可能な複製を有する場合、0から11までのインデックスを有する頂点に基づいてM（t）の第1のグループを形成することができ、最初の12個の頂点の2つのスキップ可能な複製は除去される。

他の実施形態では、M（t）がグループに分割されている場合、スキップ可能な複製を含むすべての頂点が考慮され（または含められ）得る。

本開示では、時間予測を適用して、参照フレームにおける参照頂点に基づいて現在のフレームにおける頂点が予測され得る。位置的に追跡されるフレーム（または現在のフレーム）M（t）における頂点Vについて、頂点Vの位置は、参照フレーム（例えば、M（t₀）であり、t₀は異なる時間インスタンスである）における参照頂点f（V）の位置によって推定することができ、fは、M（t）と参照フレームとの間のマッピング演算である。いくつかの実施形態では、参照フレームにおける頂点Vおよび参照頂点f（V）はコロケートされる。したがって、参照頂点は、参照フレームにおいて現在のフレームM（t）における頂点と同じ相対位置を有することができる。頂点Vを参照頂点f（V）で予測すると、推定誤差Eは、式（7）におけるVの位置とf（V）の位置との差分として求めることができる。
E＝V－f（V） 式（7）

フレームM（t）における各頂点が3D座標を有することができるので、式（1）に基づいて推定誤差Eの3D座標成分が提供され得る。例えば、添字x、y、zがxyz空間における3D座標を表すと仮定すると、推定誤差Eの3D座標成分は、式（8）～（10）で与えることができる。
E_x＝V_x－（f（V））_x 式（8）
E_y＝V_y－（f（V））_y 式（9）
E_z＝V_z－（f（V））_z 式（10）

頂点Vの推定誤差Eは、頂点Vの近傍頂点（または近傍頂点）から予測することができ、あるいは決定することができる。Vの近傍頂点（または近傍する頂点）については、近傍頂点がコーディングされており、予測に使用され得る場合には、近傍頂点の推定誤差を適用してEを予測することができる。

Vは、コーディングされており、かつ予測に使用され得るN個の近傍する頂点（または近傍する頂点）V₁、V₂、…、V_Nを有すると仮定する。近傍頂点V_iの場合、近傍頂点V_iの推定誤差（または近傍推定誤差）は、i＝1，2，…，Nに対して、E_i＝V_i－f（V_i）として求めることができる。f（V_i）は、参照フレームにおける近傍頂点V_iの参照頂点とすることができる。E_iは、頂点Vに関連付けられた近傍推定誤差と称されることもでき、各E_iはEの予測候補とすることができる。

N＞＝2の場合、2つ以上の推定誤差E_iが利用可能である。一実施形態では、推定誤差E_iの平均推定誤差（または平均近傍推定誤差）E₀は、以下のように式（11）で定義することができる。
E₀＝（E₁＋E₂＋…＋E_N）／N 式（11）

フレームM（t）におけるグループGについて、エンコーダはコーディングコストC0およびコーディングコストC1を決定することができる。C0は、グループGにおけるすべての頂点の推定誤差Eの和を示すことができる。例えば、式（1）に基づいてなど、グループGにおける各頂点の推定誤差Eが決定されると、コーディングコストC0は、グループGにおける頂点の推定誤差Eの和として決定することができる。C1は、グループGにおけるすべての頂点の推定残差の和（E－E₀）を示すことができる。コーディングコストC1を決定するために、グループGにおける各頂点の近傍する頂点の推定誤差E_iは、E_i＝V_i－f（V_i）などのように決定することができる。さらに、推定誤差E_iの平均近傍推定誤差E₀は、式（5）に基づいて決定することができる。グループGにおける頂点ごとに推定残差（または推定差分）（E－E₀）を決定することができる。コーディングコストC1は、グループGの頂点に関連付けられた推定残差の和として決定することができる。

本開示では、コーディングコストC0およびコーディングコストC1に基づいて予測モードを決定することができる。

C0のコーディングコストがC1以下である場合、グループGに対して、予測モード0が適用される。予測モード0は、グループGにおける各頂点に対する予測残差をそれぞれの頂点の推定誤差Eとして設定することを示す。したがって、デコーダ側では、グループGにおけるそれぞれの頂点は、V＝f（V）＋Eとして再構成することができ、f（V）は、フレームM（t）のグループGにおけるそれぞれの頂点に対応する参照フレームM（t₀）における参照頂点である。

C0のコーディングコストがC1より大きい場合、グループGに対して、予測モード1が適用される。予測モード1は、グループGにおける各頂点の予測残差が（E－E₀）として設定されることを示し、ここで、Eはそれぞれの頂点の推定誤差であり、E₀はそれぞれの頂点の近傍する頂点の推定誤差の平均推定誤差である。したがって、デコーダ側では、グループGにおけるそれぞれの頂点は、V＝f（V）＋（E－E₀）として再構成することができ、f（V）は、フレームM（t）のグループGにおけるそれぞれの頂点に対応する、参照フレームM（t₀）における参照頂点である。

本開示では、グループGの予測モードがコーディングされ得る。予測モードは、0または1などの2進数とすることができる。一実施形態では、予測モードはエントロピーコーディングを使用してコーディングされ得る。一実施形態では、予測モードは算術コーディングを使用してコーディングされ得る。一実施形態では、予測モードは、コンテキスト適応型バイナリ算術コーディング（CABAC）などのコンテキストベースの算術コーディングを使用してコーディングされ得る。一実施形態では、予測モードは、空間コンテキストベースの算術コーディングを使用してコーディングされ得、コンテキストは、同じフレームの以前にコーディングされたグループを条件とする（またはそれに基づく）ことができる。

一実施形態では、参照フレーム（例えば、M（t₀））における予測モードがすでにコーディングされており、利用可能である場合、フレームM（t）におけるグループの予測モードは、時間コンテキストベースの算術コーディングなどの時間コンテキストを使用してコーディングされ得る。したがって、フレームM（t）におけるグループの予測モードは、時間コンテキストベースの算術コーディングに基づく参照フレームにおける対応する（または関連付けられた）グループの予測モードに基づいて決定することができる。その理由は、フレームM（t）のグループにおける各頂点は、参照フレームの関連付けられたグループ内に対応する参照頂点を有し、位置的に追跡されるフレームM（t）のグループと参照フレームM（t₀）における関連付けられたグループとの間の1対1の関連付けも確立することができるからである。参照フレームにおける関連付けられたグループ（例えば、M（t₀）であり、t₀はtとは異なる時間インスタンスである）は、参照グループと称されることができる。

一実施形態では、グループGの予測モードとグループGの参照グループの予測モードとの間の関係を示すXOR（排他的OR）などの論理演算（またはフラグ）がコーディングされ得る。したがって、グループGおよび参照グループが同じ予測モードを有する場合、論理演算XORは0としてコーディングされ得る。グループGと参照グループとが異なる予測モードを有する場合、論理演算XORは1としてコーディングされ得る。

一実施形態では、グループGとグループGの参照グループとが同じ予測モードを有するかどうかを表すバイナリフラグ（例えば、0または1）がコーディングされ得る。したがって、グループGと参照グループとが同じ予測モードを有する場合、2進数1がコーディングされ得る。グループGと参照グループとが異なる予測モードを有する場合、2進数0がコーディングされ得る。

一実施形態では、位置的に追跡されるフレームM（t）におけるグループGの予測モードは、時間コンテキストベースの算術コーディングを使用してコーディングされ得、時間コンテキストベースの算術コーディングのコンテキストは、グループGの参照グループの予測モードに基づくことができる。

いくつかの実施形態では、予測残差（例えば、Eまたは（E－E₀））は、固定長コーディング、指数Golombコーディング、算術コーディングなどのコーディングアルゴリズムを使用してコーディングされ得る。いくつかの実施形態では、予測残差は、高速フーリエ変換（FFT）、離散コサイン変換（DCT）、離散サイン変換（DST）、離散ウェーブレット変換（DWT）などのコンパクト化変換を経ることができる。コンパクト化変換からの出力は、固定長コーディング、指数Golombコーディング、算術コーディングなどのコーディングアルゴリズムを使用してコーディングされ得る。

図6は、本開示の一実施形態によるプロセス（600）を概説するフローチャートを示す。プロセス（600）は、ビデオエンコーダなどのエンコーダで使用することができる。様々な実施形態において、プロセス（600）は、ビデオエンコーダ（103）の機能を行う処理回路、ビデオエンコーダ（303）の機能を行う処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（600）はソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路はプロセス（600）を行う。プロセスは（S601）から開始され、（S610）に進む。

（S610）において、複数の重複頂点の各々が現在のフレームのメッシュにおいてスキップ可能であるかどうかが判定される。複数の重複頂点の各々は、メッシュにおける他の対応する頂点の複製であるメッシュの頂点である。複数の重複頂点の各々およびその対応する頂点は、参照フレームにおいて同じ参照頂点を有する。

（S620）において、メッシュにおける複数の重複頂点のうちの1つまたは複数のスキップ可能な重複頂点が除外され、更新されたメッシュを生成する。

（S630）において、更新されたメッシュの頂点は、所定の一定の整数に基づいて複数の頂点グループに分割され、複数の頂点グループは、第1の頂点グループを含む。

（S640）において、第1の頂点グループの予測モードは、更新されたメッシュの第1の頂点グループにおける頂点の推定誤差に少なくとも基づいて決定される。各推定誤差は、第1の頂点グループにおけるそれぞれの頂点と参照フレームにおける対応する参照頂点との間の差を示す。

（S650）において、決定された第1の頂点グループの予測モードに基づいて、第1の頂点グループにおける頂点の予測情報が生成される。

一例では、複数の重複頂点のうちの第1の重複頂点と、同じ座標を有するメッシュにおける第1の重複頂点に対応する頂点とに基づいて、複数の重複頂点のうちの第1の重複頂点がスキップ可能であると決定される。一例では、複数の重複頂点のうちの第2の重複頂点と、異なる座標を有するメッシュにおける第2の重複頂点に対応する頂点とに基づいて、複数の重複頂点のうちの第2の重複頂点はスキップ不可能であると決定される。

いくつかの実施形態では、複数の重複頂点のスキップ不可能な重複頂点の数が決定される。さらに、複数の重複頂点のスキップ不可能な重複頂点の各々の頂点インデックスが決定される。

いくつかの実施形態では、（i）複数の重複頂点の数が第1のしきい値以上であること、（ii）メッシュにおける頂点の数が第2のしきい値以上であること、および（iii）複数の重複頂点の数とメッシュにおける頂点の数との比が第3のしきい値以上であること、のうちの1つに基づいて、コーディング情報が生成される。コーディング情報は、（i）複数の重複頂点のうちのスキップ不可能な重複頂点の数、および（ii）複数の重複頂点のうちのスキップ不可能な重複頂点の各々についての頂点インデックスを示す。

一実施形態では、スキップ不可能な重複頂点の数は、可変長コーディング、固定長コーディング、（b＋1）ビットの固定長符号、および（b＋1）ビットよりも小さい符号長を有する固定長符号のうちの1つに基づいてコーディングされ、bは正の整数である。一実施形態では、複数の重複頂点のスキップ不可能な重複頂点の各々の頂点インデックスは、差分コーディング、可変長コーディング、Exp－Golombコーディング、（b＋1）ビットの固定長符号、および符号長が（b＋1）ビットより小さい固定長符号のうちの1つに基づいてコーディングされる。

いくつかの実施形態では、第1の頂点グループの予測モードを決定するために、更新されたメッシュの第1の頂点グループにおける頂点の推定誤差が決定される。第1の頂点グループにおける各頂点に関連付けられた複数の近傍頂点の平均近傍推定誤差が決定される。複数の近傍推定誤差の各々は、第1の頂点グループにおけるそれぞれの頂点の複数の近傍頂点のうちの1つと、第1の頂点グループにおけるそれぞれの頂点の複数の近傍頂点のうちの1つに対応する参照フレームにおける参照頂点と、の間の差を示す。第1のコスト値は、第1の頂点グループにおける頂点の推定誤差に基づいて決定される。第2のコスト値は、第1の頂点グループの頂点に関連付けられた平均近傍推定誤差に基づいて決定される。第1の頂点グループの予測モードは、第1のコスト値と第2のコスト値との比較に基づいて決定される。

一例では、複数の近傍頂点の平均近傍推定誤差を決定するために、第1の頂点グループにおける頂点のうちの第1の頂点に関連付けられた第1の近傍推定誤差が決定される。第1の近傍推定誤差は、第1の頂点の第1の近傍頂点と、第1の頂点の第1の近傍頂点に対応する参照フレームにおける参照頂点と、の間の差を示す。第1の頂点グループにおける頂点のうちの第1の頂点に関連付けられた第2の近傍推定誤差が決定される。第2の近傍推定誤差は、第1の頂点の第2の近傍頂点と、第1の頂点の第2の近傍頂点に対応する参照フレームにおける参照頂点と、の間の差を示す。第1の近傍推定誤差および第2の近傍推定誤差の平均近傍推定誤差が決定され、平均近傍推定誤差は、第1の頂点グループにおける頂点のうちの第1の頂点に関連付けられる。

いくつかの実施形態では、第1のコスト値は、第1の頂点グループにおける頂点の推定誤差の和として決定される。

いくつかの実施形態では、第2のコスト値を決定するために、第1の頂点グループにおける各頂点の推定誤差と、第1の頂点グループにおける対応する頂点に関連付けられた平均近傍推定誤差と、の間の推定差が決定される。第2のコスト値は、第1の頂点グループにおける頂点に関連付けられた推定差の和として決定される。

一例では、予測モードは、第1のコスト値が第2のコスト値以下であることに基づいて第1のモードとして決定される。一例では、予測モードは、第1のコスト値が第2のコスト値よりも大きいことに基づいて第2のモードとして決定される。

いくつかの実施形態では、第1のモードである予測モードに基づいて、第1の頂点グループにおける頂点の各々について第1の予測残差が生成され、第1の予測残差は、第1の頂点グループにおける対応する頂点の推定誤差を示す。予測モードが第2のモードであることに基づいて、第1の頂点グループにおける頂点の各々について第2の予測残差が生成され、第2の予測残差は、第1の頂点グループにおける対応する頂点に関連付けられた推定差を示す。

その後に、プロセスは（S699）に進み、終了する。

プロセス（600）を、適切に適合させることができる。プロセス（600）の（1つまたは複数の）ステップを、修正および／または省略することができる。さらなる（1つまたは複数の）ステップを追加することができる。任意の適切な実施順序が使用され得る。

図7は、本開示の一実施形態によるプロセス（700）の概要を示すフローチャートを示す。プロセス（700）は、ビデオデコーダなどのデコーダで使用され得る。様々な実施形態において、プロセス（700）は、ビデオデコーダ（110）の機能を行う処理回路、ビデオデコーダ（210）の機能を行う処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス（700）はソフトウェア命令で実装されるので、処理回路がソフトウェア命令を実行したとき、処理回路はこのプロセス（700）を行う。プロセスは（S701）で開始され、（S710）に進む。

（S710）において、現在のフレームにおけるメッシュのコーディング情報が受信される。コーディング情報は、（i）メッシュにおける複数の重複頂点のうちのスキップ不可能な重複頂点の数、および（ii）スキップ不可能な重複頂点の各々の頂点インデックスを示す。複数の重複頂点の各々は、メッシュにおける他の対応する頂点の複製であるメッシュの頂点である。複数の重複頂点の各々およびその対応する頂点は、参照フレームにおいて同じ参照頂点を有する。

（S720）において、メッシュにおける複数の重複頂点のうちの1つまたは複数のスキップ可能な重複頂点が除外され、更新されたメッシュを生成する。

（S730）において、更新されたメッシュの頂点は、所定の一定の整数に基づいて複数の頂点グループに分割され、複数の頂点グループは、第1の頂点グループを含む。

（S740）において、複数の頂点グループのうちの第1の頂点グループの予測モードが、コーディング情報に基づいて決定される。

（S750）において、第1の頂点グループにおける頂点は、決定された予測モードに基づいて再構成される。

その後に、プロセスは（S799）に進み、終了する。

プロセス（700）は適切に適合され得る。プロセス（700）のステップは、修正および／または省略され得る。さらなる（1つまたは複数の）ステップを追加することができる。任意の適切な実施順序が使用され得る。

上述された技法は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、1つまたは複数のコンピュータ可読媒体に物理的に記憶することができる。例えば、図8は、開示されている主題の特定の実施形態を実施するのに適したコンピュータシステム（800）を示す。

コンピュータソフトウェアは、1つまたは複数のコンピュータ中央処理装置（CPU）、グラフィック処理装置（GPU）などによって直接、または解釈、マイクロコード実行などを介して実行され得る命令を含むコードを作成するために、アセンブリ、コンパイル、リンクなどのメカニズムを受け得る任意の適切な機械コードまたはコンピュータ言語を使用してコーディングされ得る。

命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム機、モノのインターネットデバイスなどを含む様々なタイプのコンピュータまたはコンピュータの構成要素上で実行され得る。

コンピュータシステム（800）に関して図8に示されている構成要素は、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関する限定を示唆することを意図するものではない。また、構成要素の構成は、コンピュータシステム（800）の例示的な実施形態に示されている構成要素のいずれか1つまたは組合せに関する依存性または要件を有するものとして解釈されるべきではない。

コンピュータシステム（800）は、特定のヒューマンインターフェース入力デバイスを含んでもよい。そのようなヒューマンインターフェース入力デバイスは、例えば、（キーストローク、スワイプ、データグローブの動きなどの）触覚入力、（音声、拍手などの）オーディオ入力、（ジェスチャなどの）視覚入力、（描写されていない）嗅覚入力を介して、1人または複数の人間のユーザによる入力に応答し得る。ヒューマン・インターフェース・デバイスは、（音声、音楽、周囲の音などの）オーディオ、（走査画像、静止画カメラから取得された写真画像などの）画像、（2次元ビデオ、立体ビデオを含む3次元ビデオなどの）ビデオなどの、人間による意識的な入力に必ずしも直接関連しない特定の媒体をキャプチャするために使用することもできる。

入力ヒューマン・インターフェース・デバイスは、キーボード（801）、マウス（802）、トラックパッド（803）、タッチ画面（810）、データグローブ（図示せず）、ジョイスティック（805）、マイクロフォン（806）、スキャナ（807）、カメラ（808）の1つまたは複数（示されているものから1つずつだけ）を含んでもよい。

コンピュータシステム（800）はまた、特定のヒューマンインターフェース出力デバイスを含んでもよい。このようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および嗅覚／味覚を通じて1人または複数の人間のユーザの感覚を刺激するものであってもよい。このようなヒューマンインターフェース出力デバイスは、触覚出力デバイス（例えば、タッチ画面（810）、データグローブ（図示せず）、またはジョイスティック（805）による触覚フィードバック、ただし、入力デバイスを担わない触覚フィードバックデバイスも存在し得る）、音声出力デバイス（例えば、スピーカ（809）、ヘッドホン（図示せず））、視覚出力デバイス（例えば、CRT画面、LCD画面、プラズマ画面、OLED画面を含む画面（810）などであり、それぞれタッチ画面入力機能を有するもの、または有していないもの、それぞれ触覚フィードバック機能を有するもの、または有していないものがあり、これらうちのいくつかは、立体画像出力、バーチャルリアリティグラス（図示せず）、ホログラフィックディスプレイ、発煙タンク（図示せず）のような手段を介して2次元の視覚出力、または3次元以上の出力を出力することが可能であってもよい）、およびプリンタ（図示せず）を含んでもよい。

コンピュータシステム（800）はまた、人間がアクセス可能な記憶装置およびそれらの関連媒体、例えば、CD／DVDなどの媒体（821）を含むCD／DVD ROM／RW（820）を含む光学媒体、サムドライブ（822）、リムーバブル・ハード・ドライブまたはソリッド・ステート・ドライブ（823）、テープおよびフロッピーディスク（図示せず）などの旧来の磁気媒体、セキュリティドングル（図示せず）などの専用ROM／ASIC／PLDベースのデバイスなどを含むことができる。

当業者はまた、本開示の主題に関連して使用される「コンピュータ可読メディア」という用語が、伝送メディア、搬送波、または他の一時的信号を包含しないことを理解すべきである。

コンピュータシステム（800）はまた、1つまたは複数の通信ネットワーク（855）へのインターフェース（854）を含むことができる。ネットワークは例えば、無線ネットワーク、有線ネットワーク、光学ネットワークであり得る。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車両および産業用、リアルタイム、遅延耐性、などとすることができる。ネットワークの例は、イーサネット、ワイヤレスLANなどのローカル・エリア・ネットワーク、GSM、3G、4G、5G、LTEなどを含むセルラーネットワーク、ケーブルテレビ、衛星テレビ、および地上放送テレビを含むテレビ有線または無線広域デジタルネットワーク、CANBusを含む車両および産業などを含む。特定のネットワークは、一般に、特定の汎用データポートまたは周辺機器用バス（849）に取り付けられた外部ネットワークインターフェースアダプタ（例えば、コンピュータシステム（800）のUSBポートなど）を必要とし、他のネットワークは、一般に、後述するようなシステムバスへの取り付けによってコンピュータシステム（800）のコアに統合される（例えば、イーサネットインターフェースのPCコンピュータシステムへの統合、またはセルラーネットワークインターフェースのスマートフォンコンピュータシステムへの統合）。これらのネットワークのいずれかを使用して、コンピュータシステム（800）は他のエンティティと通信することができる。このような通信は、例えば、ローカルもしくは広域デジタルネットワークを使用して、他のコンピュータシステムに対して、一方向、受信専用（例えば、テレビ放送）、一方向送信専用（例えば、CANBusデバイスから特定のCANBusデバイス）、または双方向であり得る。特定のプロトコルおよびプロトコルスタックは、上述したように、それらのネットワークおよびネットワークインターフェースの各々で使用され得る。

前述のヒューマン・インターフェース・デバイス、人間がアクセス可能な記憶装置、およびネットワークインターフェースを、コンピュータシステム（800）のコア（840）に取り付けられ得る。

コア（840）は、1つまたは複数の中央処理装置（CPU）（841）、グラフィック処理装置（GPU）（842）、フィールド・プログラマブル・ゲート・エリア（FPGA）（843）の形態をとる特化型プログラム可能処理装置、特定のタスク用のハードウェアアクセラレータ（844）、グラフィックアダプタ（850）などを含むことができる。これらのデバイスは、読み取り専用メモリ（ROM）（845）、ランダム・アクセス・メモリ（846）、ユーザがアクセス不可能な内部ハードドライブ、SSDなどの内部大容量ストレージ（847）などと共に、システムバス（848）を介して接続されてもよい。いくつかのコンピュータシステムでは、システムバス（848）を1つまたは複数の物理プラグの形態でアクセス可能として、追加のCPU、GPUなどによる拡張を可能にすることができる。周辺デバイスを、コアのシステムバス（848）に直接取り付けるか、または周辺機器用バス（849）を介して取り付けることもできる。一例では、画面（810）はグラフィックアダプタ（850）に接続され得る。周辺バス用のアーキテクチャには、PCI、USBなどが含まれる。

CPU（841）、GPU（842）、FPGA（843）およびアクセラレータ（844）を組み合わせて、上述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードをROM（845）またはRAM（846）に記憶することができる。一時データもまた、RAM（846）に記憶され得、一方、永久データは、例えば内部大容量ストレージ（847）に記憶され得る。1つまたは複数のCPU（841）、GPU（842）、大容量ストレージ（847）、ROM（845）、RAM（846）などと密接に関連付けることができるキャッシュメモリの使用によって、メモリデバイスのいずれかへの高速記憶および検索が可能になり得る。

コンピュータ可読媒体は、様々なコンピュータ実装動作を行うためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構築されたものとすることができ、またはコンピュータソフトウェア技術の当業者に周知の利用可能な種類のものとすることができる。

限定ではなく、例として、アーキテクチャを有するコンピュータシステム（800）、具体的にはコア（840）は、1つまたは複数の有形のコンピュータ可読媒体で具現化されたソフトウェアを実行するプロセッサ（CPU、GPU、FPGA、アクセラレータなどを含む）の結果として機能性を提供することができる。このようなコンピュータ可読媒体は、上述のようなユーザがアクセス可能な大容量ストレージ、およびコア内部大容量ストレージ（847）またはROM（845）などの非一時的な性質のコア（840）の特定のストレージに関連付けられた媒体であってもよい。本開示の様々な実施形態を実施するソフトウェアは、このようなデバイスに記憶され、コア（840）によって実行され得る。特定の必要性に応じて、コンピュータ可読媒体は1つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア（840）、および具体的にはその中の（CPU、GPU、FPGAなどを含む）プロセッサに、RAM（846）に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってこのようなデータ構造を修正することを含む、本明細書に記載の特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。追加または代替として、コンピュータシステムは、本明細書で説明する特定のプロセスまたは特定のプロセスの特定の部分を実行するために、ソフトウェアの代わりに、またはソフトウェアと一緒に動作し得る回路（例えば、アクセラレータ（844））における、配線された、または他の方法で具現化されたロジックの結果として、機能を提供し得る。ソフトウェアへの言及は、必要に応じて、論理を包含することができ、その逆も同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路（集積回路（IC）など）、実行のための論理を具現化する回路、またはその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組合せを包含する。

本開示における「～のうちの少なくとも1つ」または「～のうちの1つ」の使用は、列挙された要素のいずれか1つまたは組合せを含むことを意図している。例えば、A、B、またはCのうちの少なくとも1つへの言及、すなわち、A、B、およびCの少なくとも1つ、A、B、および／またはCの少なくとも1つ、AからCのうちの少なくとも1つは、Aのみ、Bのみ、Cのみ、またはそれらの任意の組合せを含むことが意図される。AまたはBの一方ならびにAおよびBの一方への言及は、AまたはBあるいは（AおよびB）を含むことが意図される。「～のうちの1つ」の使用は、要素が相互に排他的ではない場合など、適用可能な場合に列挙された要素の任意の組合せを排除しない。

本開示はいくつかの例示的な実施形態を記載しているが、本開示の範囲内に入る変更、置換、および様々な代替的な均等物が存在する。したがって、当業者は、本明細書に明示的に示されていないかまたは記載されていないが、本開示の原理を具現化し、したがって本開示の趣旨および範囲内にある多数のシステムおよび方法を考案することができることが理解されよう。

100 ビデオ処理システム
101 ビデオソース
102 ストリーム
103 ビデオエンコーダ
104 エンコーディングされたビデオデータ
105 ストリーミングサーバ
106 クライアントサブシステム
107 エンコーディングされたビデオデータのコピー
108 クライアントサブシステム
109 エンコーディングされたビデオデータのコピー
110 ビデオデコーダ
111 出力ストリーム
112 ディスプレイ
113 キャプチャサブシステム
120 電子デバイス
130 電子デバイス
201 チャネル
210 ビデオデコーダ
212 レンダリングデバイス
215 バッファメモリ
220 パーサ
221 シンボル
230 電子デバイス
231 受信器
251 スケーラ／逆変換ユニット
252 イントラピクチャ予測ユニット
253 動き補償予測ユニット
255 アグリゲータ
256 ループフィルタユニット
257 参照ピクチャメモリ
258 ピクチャバッファ
301 ビデオソース
303 ビデオエンコーダ
320 電子デバイス
330 ソースコーダ
332 コーディングエンジン
333 ローカルビデオデコーダ
334 参照ピクチャメモリ
335 予測器
340 送信器
343 コーディングされたビデオシーケンス
345 エントロピーコーダ
350 コントローラ
360 通信チャネル
500 頂点位置圧縮装置
501 重複シグナリングモジュール
502 頂点グループ化モジュール
504 位置予測モジュール
506 予測モードコーディングモジュール
508 予測残差コーディングモジュール
600 プロセス
700 プロセス
800 コンピュータシステム
801 キーボード
802 マウス
803 トラックパッド
805 ジョイスティック
806 マイクロフォン
807 スキャナ
808 カメラ
809 スピーカ
810 画面
821 媒体
822 サムドライブ
823 ソリッド・ステート・ドライブ
840 コア
841 中央処理装置（CPU）
842 グラフィック処理装置（GPU）
843 フィールド・プログラマブル・ゲート・エリア（FPGA）
844 アクセラレータ
845 読み取り専用メモリ（ROM）
846 ランダム・アクセス・メモリ
847 大容量ストレージ
848 システムバス
849 周辺機器用バス
850 グラフィックアダプタ
854 インターフェース
855 通信ネットワーク

Claims (13)

1. ビデオエンコーダが行うメッシュ処理の方法であって、前記方法は、
   複数の重複頂点の各々が現在のフレームのメッシュにおいてスキップ可能であるかどうかを判定するステップであって、前記複数の重複頂点の各々は、前記メッシュにおける他の対応する頂点の複製である前記メッシュの頂点であり、前記複数の重複頂点の各々とその対応する頂点は、参照フレームにおいて同じ参照頂点を有する、ステップと、
   前記メッシュにおける前記複数の重複頂点のうちの1つまたは複数のスキップ可能な重複頂点を除外し、更新されたメッシュを生成するステップと、
   前記更新されたメッシュの頂点を、所定の一定の整数に基づいて複数の頂点グループに分割するステップであって、前記複数の頂点グループは第1の頂点グループを含む、ステップと、
   前記更新されたメッシュの前記第1の頂点グループにおける頂点の推定誤差に少なくとも基づいて前記第1の頂点グループの予測モードを決定するステップであって、前記推定誤差の各々は、前記第1の頂点グループにおけるそれぞれの頂点と前記参照フレームにおける対応する参照頂点との間の差を示す、ステップと、
   前記第1の頂点グループの前記決定された予測モードに基づいて、前記第1の頂点グループにおける前記頂点の予測情報を生成するステップと、
   を含む、方法。
2. 前記複数の重複頂点の各々がスキップ可能であるかどうかを判定する前記ステップは、
   前記複数の重複頂点のうちの第1の重複頂点と、同じ座標を有する前記メッシュにおける前記第1の重複頂点に対応する頂点と、に基づいて、前記複数の重複頂点のうちの前記第1の重複頂点がスキップ可能であると決定するステップと、
   前記複数の重複頂点のうちの第2の重複頂点と、異なる座標を有する前記メッシュにおける前記第2の重複頂点に対応する頂点と、に基づいて、前記複数の重複頂点のうちの前記第2の重複頂点がスキップ不可能であると決定するステップと、
   をさらに含む、請求項1に記載の方法。
3. 前記複数の重複頂点のスキップ不可能な重複頂点の数を決定するステップと、
   前記複数の重複頂点のうちの前記スキップ不可能な重複頂点の各々について頂点インデックスを決定するステップと、
   をさらに含む、請求項2に記載の方法。
4. （i）前記複数の重複頂点の数が第1のしきい値以上であること、（ii）前記メッシュにおける前記頂点の数が第2のしきい値以上であること、および（iii）前記複数の重複頂点の前記数と前記メッシュにおける前記頂点の前記数との比が第3のしきい値以上であること、のうちの1つに基づいて、
   （i）前記複数の重複頂点のうちの前記スキップ不可能な重複頂点の前記数、および（ii）前記複数の重複頂点のうちの前記スキップ不可能な重複頂点の各々についての前記頂点インデックス、を示すコーディング情報を生成するステップ
   をさらに含む、請求項3に記載の方法。
5. 前記スキップ不可能な重複頂点の前記数は、可変長コーディング、固定長コーディング、（b＋1）ビットの固定長符号、および（b＋1）ビットよりも小さい符号長を有する固定長符号のうちの1つに基づいてコーディングされ、bは正の整数であり、
   前記複数の重複頂点のうちの前記スキップ不可能な重複頂点の各々の前記頂点インデックスは、差分コーディング、前記可変長コーディング、Exp－Golombコーディング、前記（b＋1）ビットの固定長符号、および前記（b＋1）ビットよりも小さい符号長を有する固定長符号のうちの1つに基づいてコーディングされる、
   請求項4に記載の方法。
6. 前記第1の頂点グループの前記予測モードを決定する前記ステップは、
   前記更新されたメッシュにおける前記第1の頂点グループにおける前記頂点の前記推定誤差を決定するステップと、
   前記第1の頂点グループにおける前記頂点の各々に関連付けられた複数の近傍頂点の平均近傍推定誤差を決定するステップであって、前記複数の平均近傍推定誤差の各々は、前記第1の頂点グループにおける前記それぞれの頂点の前記複数の近傍頂点のうちの1つと、前記第1の頂点グループにおける前記それぞれの頂点の前記複数の近傍頂点のうちの前記1つに対応する前記参照フレームにおける参照頂点と、の間の差を示す、ステップと、
   前記第1の頂点グループにおける前記頂点の前記推定誤差に基づいて第1のコスト値を決定し、前記第1の頂点グループの前記頂点に関連付けられた前記平均近傍推定誤差に基づいて第2のコスト値を決定するステップと、
   前記第1のコスト値と前記第2のコスト値との比較に基づいて前記第1の頂点グループの前記予測モードを決定するステップと、
   をさらに含む、請求項1に記載の方法。
7. 前記複数の近傍頂点の前記平均近傍推定誤差を決定する前記ステップは、
   前記第1の頂点グループにおける前記頂点のうちの第1の頂点に関連付けられた第1の近傍推定誤差を決定するステップであって、前記第1の近傍推定誤差は、前記第1の頂点のうちの第1の近傍頂点と、前記第1の頂点のうちの前記第1の近傍頂点に対応する前記参照フレームにおける参照頂点と、の間の差を示す、ステップと、
   前記第1の頂点グループにおける前記頂点のうちの前記第1の頂点に関連付けられた第2の近傍推定誤差を決定するステップであって、前記第2の近傍推定誤差は、前記第1の頂点のうちの第2の近傍頂点と、前記第1の頂点のうちの前記第2の近傍頂点に対応する前記参照フレームにおける参照頂点と、の間の差を示す、ステップと、
   前記第1の近傍推定誤差と、前記第1の頂点グループにおける前記頂点のうちの前記第1の頂点に関連付けられた前記第2の近傍推定誤差と、の前記平均近傍推定誤差を決定するステップと、
   をさらに含む、請求項6に記載の方法。
8. 前記第1のコスト値を決定する前記ステップは、
   前記第1のコスト値を、前記第1の頂点グループにおける前記頂点の前記推定誤差の和として決定するステップ
   をさらに含む、請求項7に記載の方法。
9. 前記第2のコスト値を決定する前記ステップは、
   前記第1の頂点グループにおける前記頂点の各々の前記推定誤差と、前記第1の頂点グループにおける前記対応する頂点に関連付けられた前記平均近傍推定誤差と、の推定差を決定するステップと、
   前記第2のコスト値を、前記第1の頂点グループにおける前記頂点に関連付けられた前記推定差の和として決定するステップと、
   をさらに含む、請求項8に記載の方法。
10. 前記予測モードを決定する前記ステップは、
    前記第1のコスト値が前記第2のコスト値以下であることに基づいて、前記予測モードを第1のモードとして決定するステップと、
    前記第1のコスト値が前記第2のコスト値よりも大きいことに基づいて、前記予測モードを第2のモードとして決定するステップと、
    をさらに含む、請求項9に記載の方法。
11. 前記予測情報を生成する前記ステップは、
    前記予測モードが前記第1のモードであることに基づいて、前記第1の頂点グループにおける前記頂点の各々について第1の予測残差を生成するステップであって、前記第1の予測残差は、前記第1の頂点グループにおける前記それぞれの頂点の前記推定誤差を示す、ステップと、
    前記予測モードが前記第2のモードであることに基づいて、前記第1の頂点グループにおける前記頂点の各々について第2の予測残差を生成するステップであって、前記第2の予測残差は、前記第1の頂点グループにおける前記それぞれの頂点に関連付けられた前記推定差を示す、ステップと、
    をさらに含む、請求項10に記載の方法。
12. 請求項1～11のいずれか一項に記載の方法を行うように構成された、メッシュ処理のための装置。
13. コンピュータに、請求項1～11のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。