JP7804774B2 - ビデオ符号化の方法、コンピューティングシステム、及びコンピュータプログラム、並びにビデオ復号化の方法 - Google Patents

Description

開示されている実施形態は、変換係数の係数符号化予測及び符号化／復号化のためのシステム及び方法を含むがこれに限られないビデオコーディングに概して関係がある。

デジタルビデオは、デジタルテレビ、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレイヤー、ビデオゲーム機、スマートフォン、ビデオテレビ会議デバイス、ビデオストリーミングデバイス、などの様々な電子デバイスによってサポートされている。電子デバイスは、通信ネットワークを介してデジタルビデオデータを送受信又は別なふうに通信し、かつ／あるいは、デジタルビデオデータを記憶デバイスに記憶する。通信ネットワークの限られた帯域幅能力及び記憶デバイスの限られたメモリ資源により、ビデオコーディングは、ビデオデータが通信又は記憶される前に、１つ以上のビデオコーディング規格に従ってビデオデータを圧縮するために使用されることがある。

複数のビデオコーデック規格が開発されている。例えば、ビデオコーディング規格には、ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）、Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ ｔｅｓｔ Ｍｏｄｅｌ（ＪＥＭ）、Ｈｉｇｈ－Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ／Ｈ．２６５）、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ／Ｈ．２６５）、及びＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ（ＭＰＥＧ）コーディングがある。ビデオコーディングは、一般に、ビデオデータ内に固有の冗長性を利用する予測方法（例えば、インター予測、イントラ予測、など）を利用する。ビデオコーディングは、ビデオ品質の低下を回避又は最小限にしながら、より低いビットレートを使用する形式にビデオデータを圧縮することを目標とする。

Ｈ．２６５としても知られているＨＥＶＣは、ＭＰＥＧ－Ｈプロジェクトの部分として設計されたビデオ圧縮規格である。ＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣは、２０１３年（バージョン１）、２０１４年（バージョン２）、２０１５年（バージョン３）、及び２０１６年（バージョン４）にＨＥＶＣ／Ｈ．２６５を公開した。Ｈ．２６６としても知られているＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）は、ＨＥＶＣの後継として意図されたビデオ圧縮規格である。ＩＴＵ－Ｔ及びＩＳＯ／ＩＥＣは、２０２０年（バージョン１）及び２０２２年（バージョン２）にＶＶＣ／Ｈ．２６６規格を公開した。ＡＶ１は、ＨＥＶＣの代替として設計されたオープンビデオコーディングフォーマットである。２０１９年１月８日に、仕様の正誤表１を含む有効なバージョン１．０．０がリリースされた。

上述されたように、符号化（圧縮）は、帯域幅及び／又は記憶空間の要求を小さくする。後で詳細に記載されるように、可逆圧縮及び非可逆圧縮の両方が用いられ得る。可逆圧縮は、元の信号の正確なコピーが圧縮された元の信号から復号化プロセスにより再構成され得る技術を指す。非可逆圧縮は、元のビデオ情報がコーディング中に十分に保たれず、復号化中に十分に回復されないコーディング／復号化プロセスを指す。非可逆圧縮を使用する場合、再構成された信号は元の信号と同じでない可能性があるが、元の信号と再構成された信号との間の歪みは、再構成された信号を意図された用途にとって有用なものとならしめるほど十分に小さくなる。許容可能な歪みの量は用途に依存する。例えば、特定の消費者ビデオストリーミング用途のユーザは、映画又はテレビ放送用途のユーザよりも高い歪みを許容することがある。特定のコーディングアルゴリズムによって利用可能な圧縮比は、一般に、より高い損失及びより高い圧縮比をもたらすコーディングアルゴリズムを可能にする。

ビデオエンコーダ及び／又はデコーダは、例えば動き補償、フーリエ変換、量子化、及びエントロピコーディングを含むいくつかの広いカテゴリ及びステップから技術を利用することができる。エントロピコーディング中、操作に関するデータがエントロピエンコーダへ送られ得る。エントロピエンコーダはビットストリーム（コーディングされたビデオシーケンス）を出力することができ、ビットストリームは、伝送チャネルを介して他のデバイスへ送られ得る。ビデオ復号化プロセス中、ビットストリームはエントロピデコーダ（パーサ）へ送られることがある。エントロピデコーダは、ビットストリームに基づき、操作に関するデータを取得し得る。操作に関するデータには、イントラ予測情報、残差情報、などが含まれ得る。いくつかの実施形態で、エントロピ符号化／復号化は、算術コーディングの基礎としてシンボル（又は文字）の発生の確率に基づいた算術コーディングアルゴリズムを利用する。いくつかの実施形態で、シンボル（又は文字）の発生の確率は、符号化／復号化プロセス中に動的に更新される。例えば、２つの可能な文字（“ａ”及び“ｂ”）のみが存在し、“ａ”の発生の確率はｐ＿ａと表され、“ｂ”の発生の確率はｐ＿ｂと表され、その場合に、ｐ＿ａ＋ｐ＿ｂ＝１（又は任意の他の定数）である。よって、符号化／復号化プロセスで“ａ”に遭遇するとき、ｐ＿ａはより大きい値に更新されることになり、ｐ＿ｂはより小さい値に更新されることになる。これは、それらの合計が一定になるからである。この確率更新プロセスは、「確率遷移プロセス」（probability transition process）又は「確率状態インデックス更新プロセス」（probability state index updating process）と呼ばれることがある。

いくつかの実施形態に従って、ビデオ符号化の方法が提供される。方法は、（ｉ）第１ブロックを含む複数のブロックを有するビデオデータを取得するステップと、（ｉｉ）第１ブロックに関連した複数の変換係数を決定するステップと、（ｉｉｉ）複数の変換係数の各々の係数符号を予測するステップと、（ｉｖ）予測された係数符号のうちの２つ以上を一緒にシグナリングすることを含む、第１ブロックをエントロピ符号化するステップとを含む。

いくつかの実施形態に従って、ビデオ復号化の他の方法が提供される。方法は、（ｉ）第１ブロックを含む複数のブロックを有するビデオデータを取得するステップと、（ｉｉ）第１ブロックに関連した複数の変換係数を決定するステップと、（ｉｉｉ）変換係数符号インデックスの符号化された値を取得するステップと、（ｉｖ）符号化された値から、複数の変換係数の各々の係数符号を再構成するステップと、（ｖ）複数の変換係数と複数の変換係数の再構成された各々の係数符号とに基づき第１ブロックを再構成するステップとを含む。

いくつかの実施形態に従って、ストリーミングシステム、サーバシステム、パーソナルコンピュータシステム、又は他の電子デバイスなどのコンピューティングシステムが提供される。コンピューティングシステムは、制御回路と、命令の１つ以上の組を記憶するメモリとを含む。命令の１つ以上の組は、本明細書で記載される方法のいずれかを実行するための命令を含む。いくつかの実施形態では、コンピューティングシステムは、エンコーダコンポーネント及び／又はデコーダコンポーネントを含む。

いくつかの実施形態に従って、非一時的なコンピュータ可読記憶媒体が提供される。非一時的なコンピュータ可読記憶媒体は、コンピュータシステムによって実行される命令の１つ以上の組を記憶する。命令の１つ以上の組は、本明細書で記載される方法のいずれかを実行するための命令を含む。

よって、デバイス及びシステムは、ビデオの符号化及び復号化のための方法とともに開示される。このような方法、デバイス、及びシステムは、ビデオ符号化／復号化のための従来の方法、デバイス、及びシステムを補完又は置換し得る。

明細書中に記載される特徴及び利点は、必ずしも全て含まれているわけではなく、特に、いくつかの追加的な特徴及び利点は、本開示で提供される図面、明細書、及び特許請求の範囲を鑑みて当業者に明らかであろう。更に、本明細書で使用される言語は、主に読みやすさや教育を目的として選択されており、必ずしも、本明細書で記載される対象を描写又は制限するために選択されたものではないことに留意されたい。

本開示が更に詳細に理解され得るように、より具体的な説明は、様々な実施形態の特徴を参照して行われ得る。一部の実施形態は添付の図面に表されている。なお、添付の図面は、単に本開示の関連する特徴を表すものであるから、必ずしも限定であると見なされるべきではなく、当業者が本開示を読むことで理解するだろうように、説明のために他の有効な特徴を認めることができる。

いくつかの実施形態に係る例示的な通信システムを表すブロック図である。 いくつかの実施形態に係るエンコーダコンポーネントの例示的な要素を表すブロック図である。 いくつかの実施形態に係るデコーダコンポーネントの例示的な要素を表すブロック図である。 いくつかの実施形態に係る例示的なサーバシステムを表すブロック図である。 Ａ～Ｄは、いくつかの実施形態に係る例示的なコーディングツリー構造を表す。 いくつかの実施形態に係る例示的なライングラフ変換（ＬＧＦ）を示す。 いくつかの実施形態に係る、変換ブロック並びに隣接する行及び列における例示的なピクセル位置を示す。 いくつかの実施形態に係る、ビデオ符号化の例示的な方法を表すフロー図である。 いくつかの実施形態に係る、ビデオ復号化の例示的な方法を表すフロー図である。

一般的な慣例によれば、図面に示される様々な特徴は必ずしも一定の縮尺で描かれているわけではなく、明細書及び図面の全体を通じて同様の特徴を示すために同様の参照番号を使用することができる。

本開示は、とりわけ、変換ブロックコーディング中に係数符号を予測し、予測された係数符号を一緒にシグナリングすることについて記載する。例えば、複数の変換係数について各々の係数符号が予測され、その後のエントロピコーディングは、予測された係数符号のうちの２つ以上を一緒にシグナリングすることを含む。例えば、マルチシンボル算術コーダが、２つ以上の予測された係数符号を一緒にコーディングする（及び／又は予測された符号の精度を一緒にコーディングする）ために使用されてもよい。複数の係数符号を一緒にシグナリングすることで、コーディング効率は向上し、例えば、必要とされる符号化ビットは減り、これにより、バンド幅要求は低下する。

［例となるシステム及びデバイス］
図１は、いくつかの実施形態に係る通信システム１００を表すブロック図である。通信システム１００は、互いに１つ以上のネットワークを介して通信可能に結合されているソースデバイス１０２及び複数の電子デバイス１２０（例えば、電子デバイス１２０－１～電子デバイス１２０－ｍ）を含む。いくつかの実施形態では、通信システム１００は、例えば、ビデオ会議アプリケーション、デジタルＴＶアプリケーション、並びにメディア記憶及び／又は分配アプリケーションなどのビデオ対応アプリケーションにより使用されるストリーミングシステムである。

ソースデバイス１０２は、ビデオソース１０４（例えば、カメラコンポーネント又はメディアストレージ）及びエンコーダコンポーネント１０６を含む。いくつかの実施形態では、ビデオソース１０４はデジタルカメラ（例えば、圧縮されていないビデオサンプルストリームを生成するよう構成される。）である。エンコーダコンポーネント１０６は、１つ以上の符号化されたビデオビットストリームをビデオストリームから生成する。ビデオソース１０４からのビデオストリームは、エンコーダコンポーネント１０６によって生成される符号化されたビデオビットストリーム１０８と比べて高いデータボリュームであり得る。符号化されたビデオビットストリーム１０８はビデオソースからのビデオストリームと比較して低いデータボリューム（少ないデータ）であるから、符号化されたビデオビットストリーム１０８は、ビデオソース１０４からのビデオストリームと比較して、伝送に必要な帯域幅が小さく、記憶に必要な記憶空間が小さい。いくつかの実施形態では、ソースデバイス１０２はエンコーダコンポーネント１０６を含まない（例えば、圧縮されていないビデオデータをネットワークに伝送するよう構成される）。

１つ以上のネットワーク１１０は、例えば、ワイヤライン（有線）及び／又はワイヤレス通信ネットワークを含む、ソースデバイス１０２、サーバシステム１１２、及び／又は電子デバイス１２０の間で情報を運ぶ任意の数のネットワークを表す。１つ以上のネットワーク１１０は、回路交換及び／又はパケット交換チャネルでデータを交換し得る。代表的なネットワークには、電気通信網、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットがある。

１つ以上のネットワーク１１０はサーバシステム（例えば、分散／クラウドコンピューティングシステム）を含む。いくつかの実施形態では、サーバシステム１１２はストリーミングサーバ（例えば、ソースデバイス１０２からの符号化されたビデオストリームなどのビデオコンテンツを記憶及び／又は分配するよう構成される。）であるか、又はそれを含む。サーバシステム１１２はコーダコンポーネント１１４（例えば、ビデオデータを符号化及び／又は復号するよう構成される。）を含む。いくつかの実施形態では、コーダコンポーネント１１４はエンコーダコンポーネント及び／又はデコーダコンポーネントを含む。様々な実施形態で、コーダコンポーネント１１４は、ハードウェア、ソフトウェア、又はそれらの組み合わせとしてインスタンス化される。いくつかの実施形態では、コーダコンポーネント１１４は、符号化されたビデオビットストリーム１０８を復号し、符号化されたビデオデータ１１６を生成するよう異なる符号化標準及び／又はメソッドロジを用いてビデオデータを再符号化するよう構成される。いくつかの実施形態では、サーバシステム１１２は、符号化されたビデオビットストリーム１０８から複数のビデオフォーマット及び／又は符号化を生成するよう構成される。

いくつかの実施形態では、サーバシステム１１２は、Ｍｅｄｉａ－Ａｗａｒｅ Ｎｅｔｗｏｒｋ Ｅｌｅｍｅｎｔ（ＭＡＮＥ）として機能する。例えば、サーバシステム１１２は、潜在的に異なるビットストリームを１つ以上の電子デバイス１２０に合わせるために符号化されたビデオビットストリーム１０８をプルーニングするよう構成されてもよい。いくつかの実施形態では、ＭＡＮＥは、サーバシステム１１２とは別に設けられる。

電子デバイス１２０－１は、デコーダコンポーネント１２２及びディスプレイ１２４を含む。いくつかの実施形態では、デコーダコンポーネント１２２は、符号化されたビデオデータ１１６を復号して、ディスプレイ又は他のタイプのレンダリングデバイスでレンダリングされ得る発出ビデオストリームを生成するよう構成される。いくつかの実施形態では、１つ以上の電子デバイス１２０はディスプレイコンポーネントを含まない（例えば、外部表示デバイスに通信可能に結合されたり、及び／又はメディアストリームを含んだりする。）。いくつかの実施形態では、電子デバイス１２０はストリーミングクライアントである。いくつかの実施形態では、電子デバイス１２０は、サーバシステム１１２にアクセスして、符号化されたビデオデータ１１６を取得するよう構成される。

ソースデバイス１０２及び／又は複数の電子デバイス１２０は「端末デバイス」又は「ユーザデバイス」と時々呼ばれる。いくつかの実施形態では、ソースデバイス１０２及び／又は１つ以上の電子デバイス１２０は、サーバシステム、パーソナルコンピュータ、ポータブルデバイス（例えば、スマートフォン、タブレット、又はラップトップ）、ウェアラブルデバイス、ビデオ会議デバイス、及び／又は他のタイプの電子デバイスのインスタンスである。

通信システム１００の動作の例において、ソースデバイス１０２は、符号化されたビデオビットストリーム１０８をサーバシステム１１２へ送る。例えば、ソースデバイス１０２は、ソースデバイスによって捕捉されたピクチャのストリームをコーディングし得る。サーバシステム１１２は、符号化されたビデオビットストリーム１０８を受け取り、符号化されたビデオビットストリーム１０８をコーダコンポーネント１１４により復号及び／又は符号化し得る。例えば、サーバシステム１１２は、ネットワーク伝送及び／又は記憶のためにより最適であるビデオデータへの符号化を適用し得る。サーバシステム１１２は、符号化されたビデオデータ１１６（例えば、１つ以上のコーディングされたビデオビットストリーム）を１つ以上の電子デバイス１２０へ送信し得る。各電子デバイス１２０は、符号化されたビデオデータ１１６を復号して、ビデオピクチャを回復し、任意にそれを表示し得る。

いくつかの実施形態では、上記の伝送は一方向のデータ伝送である。一方向のデータ伝送はメディアサービングアプリケーションなどで時々利用される。いくつかの実施形態では、上記の伝送は双方向のデータ伝送である。双方向のデータ伝送はビデオ会議アプリケーションなどで時々利用される。いくつかの実施形態では、符号化されたビデオビットストリーム１０８及び／又は符号化されたビデオデータ１１６は、ＨＥＶＣ、ＶＶＣ、及び／又はＡＶ１などの、本明細書で記載されるビデオコーディング／圧縮規格のいずれかに従って、符号化及び／又は復号される。

図２Ａは、いくつかの実施形態に係るエンコーダコンポーネント１０６の例示的な要素を表すブロック図である。エンコーダコンポーネント１０６は、ビデオソース１０４からソースビデオシーケンスを受け取る。いくつかの実施形態では、エンコーダコンポーネント１０６は、ソースビデオシーケンスを受信するよう構成される受信器（例えば、トランシーバ）コンポーネントを含む。いくつかの実施形態では、エンコーダコンポーネント１０６は、遠隔のビデオソース（例えば、エンコーダコンポーネント１０６とは異なるデバイスのコンポーネントであるビデオソース）からビデオシーケンスを受け取る。ビデオソース１０４は、任意の適切なビットデプス（例えば、８ビット、１０ビット、又は１２ビット）、任意の色空間（例えば、ＢＴ．６０１ ＹＣｒＣｂ、又はＲＧＢ）、及び任意の適切なサンプリング構造（例えば、ＹＣｒＣｂ ４：２：０又はＹＣｒＣｂ ４：４：４）であることができるデジタルビデオサンプルストリームの形式で、ソースビデオシーケンスを供給し得る。いくつかの実施形態では、ビデオソース１０４は、以前に捕捉された／準備されたビデオを記憶している記憶デバイスである。いくつかの実施形態では、ビデオソース１０４は、局所画像情報をビデオシーケンスとして捕捉するカメラである。ビデオデータは、順に見られる場合に動きを授ける複数の個別ピクチャとして供給されてもよい。ピクチャそれ自体はピクセルの空間配列として体系化されてもよく、各ピクセルは、使用されるサンプリング構造、色空間などに応じて１つ以上のサンプルを含むことができる。当業者であれば、ピクセルとサンプルとの間の関係を容易に理解できる。以下の説明はサンプルに焦点を当てる。

エンコーダコンポーネント１０６は、ソースビデオシーケンスのピクチャを、実時間において、又はアプリケーションによって要求される他の時間制約の下で、コーディングされたビデオシーケンス２１６にコーディング及び／又は圧縮するよう構成される。適切なコーディング速度を強いることはコントローラ２０４の一機能である。いくつかの実施形態では、コントローラ２０４は、後述される他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。コントローラ２０４によってセットされるパラメータは、レート制御関連パラメータ（例えば、ピクチャスキップ、量子化器、及び／又はレート歪み最適化技術のラムダ値）、ピクチャサイズ、グループ・オブ・ピクチャ（ＧＯＰ）レイアウト、最大動きベクトル探索範囲、などを含み得る。当業者であれば、コントローラ２０４の他の機能を、それらが、特定のシステム設計のために最適化されるエンコーダコンポーネント１０６に関係があり得るということで、容易に特定することができる。

いくつかの実施形態では、エンコーダコンポーネント１０６は、コーディングループにおいて動作するよう構成される。簡略化された例では、コーディングループは、ソースコーダ２０２（例えば、コーディングされるべき入力ピクチャ及び参照ピクチャに基づき、シンボルストリームなどのシンボルを生成することに関与する。）、及び（ローカル）デコーダ２１０を含む。デコーダ２１０は、（遠隔の）デコーダと同様にサンプルデータを生成するようシンボルを再構成する（シンボルとコーディングされたビデオビットストリームとの間の圧縮が可逆である場合）。再構成されたサンプルストリーム（サンプルデータ）は参照ピクチャメモリ２０８への入力である。シンボルストリームの復号化は、デコーダの場所（ローカル又は遠隔）に依存しないビットパーフェクト（bit-exact）な結果をもたらすので、参照ピクチャメモリ２０８内のコンテンツも、ローカルのエンコーダと遠隔のエンコーダとの間でビットパーフェクトである。このように、エンコーダの予測部分は、デコーダが復号化中に予測を使用するときに解釈することになるのと同じサンプル値を参照ピクチャサンプルとして解釈する。参照ピクチャのシンクロニシティ（及び、例えばチャネルエラーのために、シンクロニシティが維持され得ない場合に、結果として生じるドリフト）のこの基本原理は、当業者に知られている。

デコーダ２１０の動作は、図２Ｂに関連して以下で詳細に記載されるデコーダコンポーネント１２２などの、遠隔のデコーダのそれと同じであることができる。簡潔に図２Ｂを参照すると、しかしながら、シンボルが利用可能であり、エントロピコーダ２１４及びパーサ２５４によるコーディングされたビデオシーケンスに対するシンボル符号化／復号化が可逆であることができるということで、バッファ２５２及びパーサ２５４を含むデコーダコンポーネント１２２のエントロピ復号化部分は、ローカルのデコーダ２１０で完全には実装されなくてもよい。

この時点で得られる観察は、デコーダに存在するパーシング／エントロピ復号化を除く如何なるデコーダ技術も、対応するエンコーダにおいて、実質的に同じ機能形態で、必然的に存在する必要がある、ということである。このため、開示される対象はデコーダの動作に焦点を当てる。エンコーダ技術の記載は、それらが包括的に説明されたデコーダ技術の逆であるということで、省略され得る。特定の範囲でのみ、より詳細に記載が必要とされ、以下で与えられる。

その動作の部分として、ソースコーダ２０２は、動き補償された予測コーディングを実行してもよい。これは、参照フレームとして指定されたビデオシーケンスからの１つ以上の前にコーディングされたフレームを参照して予測的に入力フレームをコーディングする。このようにして、コーディングエンジン２１２は、入力フレームに対する予測参照として選択され得る参照フレームのピクセルブロックと入力フレームのピクセルブロックとの間の差をコーディングする。コントローラ２０４は、例えば、ビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ２０２のコーディング動作を管理し得る。

デコーダ２１０は、ソースコーダ２０２によって生成されたシンボルに基づき、参照フレームとして指定され得るフレームのコーディングされたビデオデータを復号する。コーディングエンジン２１２の動作は、有利なことに、非可逆プロセスであってよい。コーディングされたビデオデータがビデオデコーダ（図２Ａには図示せず。）で復号されるとき、再構成されたビデオシーケンスは、いくらかのエラーを伴ったソースビデオシーケンスの複製となる。デコーダ２１０は、参照フレームに対して遠隔のビデオデコーダによって実行され得る復号化プロセスを再現し、再構成された参照フレームが参照ピクチャメモリ２０８に格納されるようにしてもよい。このように、エンコーダコンポーネント１０６は、（伝送エラーなしで）遠隔のビデオデコーダによって取得されることになる再構成された参照フレームと共通の内容を有している再構成された参照フレームのコピーをローカルで記憶し得る。

予測器２０６は、コーディングエンジン２１２のための予測探索を実行し得る。すなわち、新しいピクチャがコーディングされるために、予測器２０６は、その新しいピクチャのための適切な予測基準となり得る参照ピクチャ動きベクトル、ブロック形状、などの特定のメタデータ又は（候補参照ピクセルブロックとしての）サンプルデータを参照ピクチャメモリ２０８から探し得る。予測器２０６は、適切な予測基準を見つけるためにサンプルブロック・バイ・ピクセルブロックベース（sample block-by-pixel block basis）で動作してもよい。いくつかの場合に、予測器２０６によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ２０８に記憶されている複数の参照ピクチャから引き出された予測基準を有してもよい。

上記の全ての機能ユニットの出力は、エントロピコーダ２１４においてエントロピコーディングを受け得る。エントロピコーダ２１４は、当業者に知られている技術（例えば、ハフマンコーディング、可変長コーディング、及び／又は算術コーディング）に従ってシンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルを、コーディングされたビデオシーケンスへと変換する。

いくつかの実施形態では、エントロピコーダ２１４の出力は送信器に結合される。送信器は、エントロピコーダ２１４によって生成されたコーディングされたビデオシーケンスをバッファリングして、それらを通信チャネル２１８による伝送のために準備するよう構成されてよく、通信チャネル２１８は、符号化されたビデオデータを記憶する記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。送信器は、ソースコーダ２０２からのコーディングされたビデオデータを、送信されるべき他のデータ、例えば、コーディングされたオーディオデータ及び／又は補助的なデータストリーム（ソースは図示せず。）とマージするよう構成されてもよい。いくつかの実施形態では、送信器は、符号化されたビデオとともに追加データを送信し得る。ソースコーダ２０２は、コーディングされたビデオシーケンスの部分としてそのようなデータを含めてもよい。追加データは、時間／空間／ＳＮＲエンハンスメントレイヤ、冗長ピクチャ及びスライスなどの他の形式の冗長データ、Ｓｕｐｐｌｅｍｅｎｔａｒｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）メッセージ、Ｖｉｓｕａｌ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ（ＶＵＩ）パラメータセットフラグメント、などを含んでよい。

コントローラ２０４はエンコーダコンポーネント１０６の動作を管理し得る。コーディング中、コントローラ２０４は、各々のピクチャに適用されるコーディング技術に影響を及ぼす可能性がある特定のコーディングピクチャタイプを夫々のコーディングされたピクチャに割り当ててよい。例えば、ピクチャは、イントラピクチャ（Ｉピクチャ）、予測ピクチャ（Ｐピクチャ）、又は双方向予測ピクチャ（Ｂピクチャ）として割り当てられてよい。イントラピクチャ（Intra Picture）は、予測のソースとしてシーケンス内の如何なる他のピクチャも使用せずに符号化及び復号され得る。いくつかのビデオコーデックは、例えば、Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ（ＩＤＲ）ピクチャを含む種々のタイプのイントラピクチャを許容する。当業者であれば、Ｉピクチャのそのような変形並びにそれらの各々の応用及び特徴に気づくので、それらはここで繰り返されない。予測ピクチャ（Predictive Picture）は、各ブロックのサンプル値を予測するために多くても１つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測により符号化及び復号され得る。双方向予測ピクチャ（Bi-directionally Predictive Picture）は、各ブロックのサンプル値を予測するために多くても２つの動きベクトル及び参照インデックスを使用するイントラ予測又はインター予測を用いて符号化及び復号され得る。同様に、多重予測ピクチャ（multiple-predictive picture(s)）は、単一のブロックの再構成のために２つよりも多い参照ピクチャ及び関連するメタデータを使用することができる。

ソースピクチャは、複数のサンプルブロック（例えば、夫々、４×４、８×８、４×８、又は１６×１６のサンプルのブロック）に空間的に細分され、ブロックごとにコーディングされてよい。ブロックは、ブロックの各々のピクチャに適用されているコーディング割り当てによって決定される他の（既にコーディングされた）ブロックを参照して予測的にコーディングされてよい。例えば、Ｉピクチャのブロックは、非予測的にコーディングされてよく、あるいは、それらは、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、非予測的に、あるいは、１つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、コーディングされてよい。Ｂピクチャのブロックは、非予測的に、あるいは、１つ又は２つの前にコーディングされた参照ピクチャを参照して空間予測により又は時間予測により、コーディングされてよい。

ビデオは、時間シーケンスで複数のソースピクチャ（ビデオピクチャ）として捕捉され得る。イントラピクチャ予測（しばしば、イントラ予測と省略される。）は、所与のピクチャ内の空間相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的な又は他の）相関を利用する。一例で、現在ピクチャと呼ばれる、符号化／復号化中の特定のピクチャは、ブロックにパーティション化される。現在ピクチャ内のブロックが、ビデオ内の前にコーディングされて依然としてバッファリングされている参照ピクチャ内の参照ブロックに似ているとき、現在ピクチャ内のそのブロックは、動きベクトルと呼ばれるベクトルによってコーディングされ得る。動きベクトルは参照ピクチャ内の参照ブロックを指示し、複数の参照ピクチャが使用されている場合に、参照ピクチャを特定する第３の次元を有することができる。

エンコーダコンポーネント１０６は、本明細書で記載されているいずれかなどの所定のビデオコーディング技術又は規格に従ってコーディング動作を実行し得る。その動作において、エンコーダコンポーネント１０６は、入力ビデオシーケンス内の時間的及び空間的な冗長性を利用する予測コーディング動作を含む様々な圧縮動作を実行し得る。従って、コーディングされたビデオデータは、使用されているビデオコーディング技術又は規格によって指定されるシンタックスに従い得る。

図２Ｂは、いくつかの実施形態に係るデコーダコンポーネント１２２の例示的な要素を表すブロック図である。図２Ｂのデコーダコンポーネント１２２は、チャネル２１８及びディスプレイ１２４に結合される。いくつかの実施形態で、デコーダコンポーネント１２２は、ループフィルタユニット２５６に結合され、データをディスプレイ１２４へ（例えば、有線又は無線接続を介して）伝送するよう構成される送信器を含む。

いくつかの実施形態では、デコーダコンポーネント１２２は、チャネルへ結合され、チャネルから（例えば、有線又は無線接続を介して）データを受信するよう構成される受信器を含む。受信器は、デコーダコンポーネント１２２によって復号されるべき１つ以上のコーディングされたビデオシーケンスを受信するよう構成され得る。いくつかの実施形態では、夫々のコーディングされたビデオシーケンスの復号化は、他のコーディングされたビデオシーケンスから独立している。夫々のコーディングされたビデオシーケンスはチャネル２１８から受信されてよく、チャネル２１８は、符号化されたビデオデータを記憶している記憶デバイスへのハードウェア／ソフトウェアリンクであってよい。受信器は、符号化されたビデオデータを他のデータ、例えばコーディングされたオーディオデータ及び／又は補助的なデータストリームとともに受信してもよく、それらは、それらの各々の使用エンティティ（図示せず。）へ転送されてもよい。受信器は、コーディングされたビデオシーケンスを他のデータから分離してもよい。いくつかの実施形態では、受信器は、符号化されたビデオとともに追加（冗長）データを受信する。追加データは、データを復号するために及び／又は元のビデオデータをより正確に再構成するためにデコーダコンポーネント１２２によって使用され得る。追加データは、例えば、時間／空間／ＳＮＲエンハンスメントレイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号、などの形をとることができる。

いくつかの実施形態に従って、デコーダコンポーネント１２２は、バッファメモリ２５２、パーサ２５４（エントロピデコーダとも呼ばれることがある。）、スケーラ／逆変換ユニット２５８、イントラピクチャ予測ユニット２６２、動き補償予測ユニット２６０、アグリゲータ２６８、ループフィルタユニット２５６、参照ピクチャメモリ２６６、および現在ピクチャメモリ２６４を含む。いくつかの実施形態では、デコーダコンポーネント１２２は、集積回路、集積回路の連続、及び／又は他の電子回路として実装される。いくつかの実施形態では、デコーダコンポーネント１２２は、少なくとも部分的にソフトウェアで実装される。

バッファメモリ２５２は、（例えば、ネットワークジッタに対抗するために、）チャネル２１８とパーサ２５４との間に結合される。いくつかの実施形態では、バッファメモリ２５２は、デコーダコンポーネント１２２から分離している。いくつかの実施形態では、分離したバッファメモリは、チャネル２１８の出力部とデコーダコンポーネント１２２との間に設けられる。いくつかの実施形態では、分離したバッファメモリは、デコーダコンポーネント１２２内にあるバッファメモリ２５２（例えば、再生タイミングを処理するよう構成される。）に加えて、デコーダコンポーネント１２２の外に設けられる（例えば、ネットワークジッタに対向するため。）。十分な帯域幅及び可制御性の記憶／転送デバイスから、又はアイソシンクロナス（isosynchronous）ネットワークからデータを受信しているときに、バッファメモリ２５２は必要とされなくてもよく、あるいは、小さくてよい。インターネットなどのベストエフォートのパケットネットワークでの使用のために、バッファメモリ２５２は必要とされる場合があり、比較的に大きく、かつ、有利なことには、適応サイズであることができ、少なくとも部分的にデコーダコンポーネント１２２の外のオペレーティングシステム又は同様の要素（図示せず。）において実装されてもよい。

パーサ２５４は、コーディングされたビデオシーケンスからシンボル２７０を再構成するよう構成される。シンボルは、例えば、デコーダコンポーネント１２２の動作を管理するために使用される情報、及び／又はディスプレイ１２４などのレンダリングデバイスを制御するための情報を含み得る。レンダリングデバイスのための制御情報は、ＳＥＩメッセージ又はＶＵＩパラメータセットフラグメント（図示せず。）の形をとってよい。パーサ２５４は、コーディングされたビデオシーケンスをパース（エントロピ復号化）する。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術又は標準規格に従うことができ、可変長コーディング、ハフマンコーディング、文脈依存による又はよらない算術コーディング、などを含む様々な原理に従うことができる。パーサ２５４は、コーディングされたビデオシーケンスから、ビデオデコーダにおけるピクセルのサブグループのうちの少なくとも１つについてのサブグループパラメータの組を、そのグループに対応する少なくとも１つのパラメータに基づいて抽出し得る。サブグループは、グループ・オブ・ピクチャ（ＧＯＰ）、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット（ＣＵ）、ブロック、変換ユニット（ＴＵ）、予測ユニット（ＰＵ）、などを含むことができる。パーサ２５４はまた、コーディングされたビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトル、などの情報も抽出し得る。

シンボル２７０の再構成は、コーディングされたビデオピクチャ又はその部分（例えば、インター及びイントラピクチャ、インター及びイントラブロック）のタイプ及び他の因子に応じて多数の異なるユニットを有することができる。どのユニットがどのように含まれるかは、コーディングされたビデオシーケンスからパーサ２５４によってパースされたサブグループ制御情報によって制御され得る。パーサ２５４と以下の複数のユニットとの間のそのようなサブグループ制御情報のフローは、明りょうさのために表されていない。

既に述べられた機能ブロックを超えて、デコーダコンポーネント１２２は、概念的に、以下で説明される多数の機能ユニットに細分され得る。商業上の制約の下で動作する実際の実施では、これらのユニットの多くが互いに密に相互作用し、少なくとも部分的に互いに組み込まれ得る。しかし、開示されている対象を説明することを目的として、以下での機能ユニットへの概念的細分が支持される。

スケーラ／逆変換ユニット２５８は、パーサ２５４からシンボル２７０として、量子化された変換係数とともに、制御情報（例えば、どの変換を使用すべきか、ブロックサイズ、量子化係数、及び／又は量子化スケーリングマトリクスなど）を受信する。スケーラ／逆変換ユニット２５８は、アグリゲータ２６８に入力することができるサンプル値を含むブロックを出力することができる。

いくつかの場合に、スケーラ／逆変換ユニット２５８の出力サンプルは、イントラコーディングされたブロック、つまり、前に再構成されたピクチャからの予測情報を使用していないが、現在のピクチャの前に再構成された部分からの予測情報を使用することができるブロック、に関係がある。かような予測情報はイントラピクチャ予測ユニット２６２によって供給され得る。イントラピクチャ予測ユニット２６２は、現在ピクチャメモリ２６４からの現在（部分的に再構成された）ピクチャからフェッチされた周囲の既に再構成された情報を用いて、再構成中のブロックと同じサイズ及び形状のブロックを生成し得る。アグリゲータ２６８は、サンプルごとに、イントラピクチャ予測ユニット２６２が生成した予測情報を、スケーラ／逆変換ユニット２５８によって供給される出力サンプル情報に付加し得る。

他の場合では、スケーラ／逆変換ユニット２５８の出力サンプルは、インターコーディングされた、そして潜在的に動き補償されたブロックに関係がある。かような場合に、動き補償予測ユニット２６０は、予測に使用されるサンプルをフェッチするために参照ピクチャメモリ２６６にアクセスすることができる。ブロックに関係があるシンボル２７０に従って、フェッチされたサンプルを動き補償した後に、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ２６８によって、スケーラ／逆変換ユニット２５８の出力（この場合に、残差サンプル又は残差信号と呼ばれる。）に加えられ得る。動き補償予測ユニット２６０が予測サンプルをフェッチする参照ピクチャメモリ２６６内のアドレスは、動きベクトルによって制御され得る。動きベクトルは、例えばＸ、Ｙ及び参照ピクチャコンポーネントを有することができるシンボル２７０の形で動き補償予測ユニット２６０が利用することができる。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ２６６からフェッチされたサンプル値の補間や、動きベクトル予測メカニズムなども含むことができる。

アグリゲータ２６８の出力サンプルは、ループフィルタユニット２５６において様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術はインループフィルタ技術を含むことができる。この技術は、コーディングされたビデオビットストリームに含まれており、パーサ２５４からのシンボル２７０としてループフィルタユニット２５６に利用可能にされたパラメータによって制御されるが、コーディングされたピクチャ又はコーディングされたビデオシーケンスの（復号化順序において）前の部分の復号化中に得られたメタ情報にも応答することができ、更には、前に構成されたループフィルタ処理されたサンプル値に応答することもできる。

ループフィルタユニット２５６の出力は、ディスプレイ１２４などのレンダーデバイスへ出力され、更には、将来のインターピクチャ予測における使用のために参照ピクチャメモリ２６６に記憶され得るサンプルストリームであることができる。

特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用され得る。コーディングされたピクチャが完全に再構成され、コーディングされたピクチャが（例えば、パーサ２５４によって）参照ピクチャとして識別されると、現在の参照ピクチャは、参照ピクチャメモリ２６６の部分になることができ、未使用の現在ピクチャメモリは、後続のコーディングされたピクチャの再構成を開始する前に再割り当てされ得る。

デコーダコンポーネント１２２は、本明細書で記載される標準規格のいずれかなどの標準規格で文書化されることがある所定のビデオ圧縮技術に従って復号化動作を実行してよい。コーディングされたビデオシーケンスは、それが、ビデオ圧縮技術文書又は標準規格において、具体的にはその中のプロファイル文書において指定されるように、ビデオ圧縮技術又は標準規格のシンタックスに追随するという意味で、使用中のビデオ圧縮技術又は標準規格によって規定されたシンタックスに従い得る。また、一部のビデオ圧縮技術又は標準規格の順守のために、コーディングされたビデオシーケンスの複雑さは、ビデオ圧縮技術又は標準規格のレベルによって定義されている境界内にあることができる。いくつかの場合に、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えば、メガサンプル／秒で測定される。）、最大参照ピクチャサイズ、などを制限する。レベルによって設定される限界は、いくつかの場合に、Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ（ＨＲＤ）仕様と、コーディングされたビデオシーケンスにおいて通知されるＨＲＤバッファ管理のためのメタデータとを通じて更に制限され得る。

図３は、いくつかの実施形態に係るサーバシステム１１２を表すブロック図である。サーバシステム１１２は、制御回路３０２、１つ以上のネットワークインターフェース３０４、メモリ３１４、ユーザインターフェース３０６、及びこれらのコンポーネントを相互接続する１つ以上の通信バス３１２を含む。いくつかの実施形態では、制御回路３０２は１つ以上のプロセッサ（例えば、ＣＰＵ、ＧＰＵ、及び／又はＤＰＵ）を含む。いくつかの実施形態では、制御回路３０２は１つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ハードウェアアクセラレータ、及び／又は１つ以上の集積回路（例えば、特定用途向け集積回路）を含む。

ネットワークインターフェース３０４は、１つ以上の通信ネットワーク（例えば、無線、有線、及び／又は光ネットワーク）とインターフェース接続するよう構成され得る。通信ネットワークは、ローカル、ワイドエリア、メトロポリタン、車両及び工業、実時間、遅延耐性などであることができる。通信ネットワークの例には、Ｅｔｈｅｒｎｅｔ（登録商標）や無線ＬＡＮなどのローカルエリアネットワーク；ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＴＥなどを含むセルラーネットワーク；ケーブルＴＶ、衛星ＴＶ、地上放送ＴＶを含むＴＶ有線又は無線ワイドエリアデジタルネットワーク；ＣＡＮＢｕｓを含む車両及び工業ネットワーク、などがある。かような通信は一方向の受信専用（例えば、ブロードキャストＴＶ）、一方向の送信専用（例えば、特定のＣＡＮＢｕｓデバイスへのＣＡＮＢｕｓ）、又は双方向（例えば、ローカル若しくはワイドエリアデジタルネットワークを使用して他のコンピュータシステムへ）であることができる。かような通信は、１つ以上のクラウドコンピューティングネットワークへの通信を含むことができる。

ユーザインターフェース３０６は１つ以上の出力デバイス３０８及び／又は１つ以上の入力デバイス３１０を含む。入力デバイス３１０は、キーボード、マウス、トラックパッド、タッチスクリーン、データグローブ、ジョイスティック、マイクロホン、スキャナ、カメラ、などのうちの１つ以上を含み得る。出力デバイス３０８は、オーディオ出力デバイス（例えば、スピーカ）、ビジュアル出力デバイス（例えば、ディスプレイ又はモニタ）、などのうちの１つ以上を含み得る。

メモリ３１４は、高速ランダムアクセスメモリ（例えば、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、及び／又は他のランダムアクセスソリッドステートメモリデバイス）及び／又は不揮発性メモリ（例えば、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、及び／又は他の不揮発性ソリッドステート記憶デバイス）を含み得る。メモリ３１４は、任意に、制御回路３０２から遠く離れている１つ以上の記憶デバイスを含む。メモリ３１４、又は代替的に、メモリ３１４内の不揮発性ソリッドステートメモリデバイスは、非一時的なコンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ３１４、又はメモリ３１４の非一時的なコンピュータ可読記憶媒体は、以下のプログラム、モジュール、命令、及びデータ構造、又はそれらのサブセット若しくはスーパーセットを記憶している：
●様々な基本システムサービスを処理しかつハードウェア依存のタスクを実行するプロシージャを含むオペレーティングシステム３１６；
●サーバシステム１１２を他のコンピューティングデバイスへ１つ以上のネットワークインターフェース３０４を介して（例えば、有線及び／又は無線接続を介して）接続するために使用されるネットワーク通信モジュール３１８；
●ビデオデータなどのデータを符号化及び／又は復号することに関する様々な機能を実行するコーディングモジュール３２０。いくつかの実施形態では、コーディングモジュール３２０はコーダコンポーネント１１４のインスタンスである。コーディングモジュール３２０は：
○デコーダコンポーネント１２２に関して上述された機能などの、符号化されたデータの復号化に関する様々な機能を実行する復号化モジュール３２２；及び
○エンコーダコンポーネント１０６に関して上述された機能などの、データの符号化に関する様々な機能を実行する符号化モジュール３４０、のうちの１つ以上を含むが、これらに限られない；
●ピクチャ及びピクチャデータを、例えば、コーディングモジュール３２０による使用のために、記憶するピクチャメモリ３５２。いくつかの実施形態では、ピクチャメモリ３５２は、参照ピクチャメモリ２０８、バッファメモリ２５２、現在ピクチャメモリ２６４、及び参照ピクチャメモリ２６６の１つ以上を含む。

いくつかの実施形態では、復号化モジュール３２２は、パーシングモジュール３２４（例えば、パーサ２５４に関して上述された様々な機能を実行するよう構成される。）、変換モジュール３２６（例えば、スキャナ／逆変換ユニット２５８に関して上述された様々な機能を実行するよう構成される。）、予測モジュール３２８（例えば、動き補償予測ユニット２６０及び／又はイントラピクチャ予測ユニット２６２に関して上述された様々な機能を実行するよう構成される。）、及びフィルタモジュール３３０（例えば、ループフィルタユニット２５６に関して上述された様々な機能を実行するよう構成される。）を含む。

いくつかの実施形態では、符号化モジュール３４０は、符号モジュール３４２（例えば、ソースコーダ２０２、コーディングエンジン２１２、及び／又はエントロピコーダ２１４に関して上述された様々な機能を実行するよう構成される。）、及び予測モジュール３４４（例えば、予測器２０６に関して上述された様々な機能を実行するよう構成される。）を含む。いくつかの実施形態では、復号化モジュール３２２及び／又は符号化モジュール３４０は、図３に示されるモジュールのサブセットを含む。例えば、共有される予測モジュールが復号化モジュール３２２及び符号化モジュール３４０の両方によって使用される。

メモリ３１４に記憶されている上記のモジュールの夫々は、本明細書で記載される機能を実行するための命令の組に対応する。上記のモジュール（例えば、命令の組）は、別個のソフトウェアプログラム、プロシージャ、又はモジュールとして実装される必要はなく、よって、これらのモジュールの様々なサブセットが組み合われてよく、又は様々な実施形態で別なふうに再配置されてもよい。例えば、コーディングモジュール３２０は、任意に、別個の復号化モジュール及び符号化モジュールを含まず、むしろ、両方の機能の組を実行する同じモジュールの組を使用する。いくつかの実施形態では、メモリ３１４は、上述されたモジュール及びデータ構造のサブセットを記憶する。いくつかの実施形態では、メモリ３１４は、オーディオ処理モジュールなどの、上述されていない追加のモジュール及びデータ構造を記憶する。

いくつかの実施形態では、サーバシステム１１２は、ウェブ又はＨｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ（ＨＴＴＰ）サーバ、Ｆｉｌｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ（ＦＴＰ）サーバ、並びにＣｏｍｍｏｎ Ｇａｔｅｗａｙ Ｉｎｔｅｒｆａｃｅ（ＣＧＩ）スクリプト、ＰＨＰ Ｈｙｐｅｒｔｅｘｔ Ｐｒｅｐｒｏｃｅｓｓｏｒ（ＰＨＰ）、Ａｃｔｉｖｅ Ｓｅｒｖｅｒ Ｐａｇｅｒ（ＡＳＰ）、Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＨＴＭＬ）、Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＸＭＬ）、Ｊａｖａ、ＪａｖａＳｃｒｉｐｔ（登録商標）、Ａｓｙｎｃｈｒｏｎｏｕｓ ＪａｖａＳｃｒｉｐｔ ａｎｄ ＸＭＬ（ＡＪＡＸ）、ＸＨＰ、Ｊａｖｅｌｉｎ、Ｗｉｒｅｌｅｓｓ Ｕｎｉｖｅｒｓａｌ Ｒｅｓｏｕｒｃｅ Ｆｉｌｅ（ＷＵＲＦＬ）、などを用いて実装されるウェブページ及びアプリケーションを含む。

図３は、いくつかの実施形態に係るサーバシステム１１２を表しているが、図３は、本明細書で記載される実施形態の構造図というよりもむしろ、１つ以上のサーバシステムに存在し得る様々な特徴の機能的説明として意図されている。実際に、当業者によって認識されるように、別々に示されているアイテムは組み合わされてよく、いくつかのアイテムは分離されてもよい。例えば、図３に別々に示されているいくつかのアイテムは単一のサーバ上で実装されてもよく、単一のアイテムは１つ以上のサーバによって実装されてもよい。サーバシステム１１２を実装するために使用されるサーバの実際の数、及びそれらの間で特徴がどのように割り当てられるかは、実施ごとに様々であり、任意に、ピーク使用期間中及び平均使用期間中にサーバシステムが扱うデータトラフィックの量に部分的に依存する。

［例となるコーディングアプローチ］
図４Ａ～４Ｄは、いくつかの実施形態に係る、例となるコーディングツリー構造を表す。図４Ａの第１コーディングツリー構造（４００）に示されるように、いくつかのコーディングアプローチ（例えば、ＶＰ９）は、ブロック８×８に対するいくつかの追加の制限とともに、６４×６４レベルから始まって４×４レベルまでの４通りのパーティションツリーを使用する。図４Ａで、Ｒと表記されているパーティションは、最下位の４×４レベルに達するまで、同じパーティションツリーがより低いスケールで繰り返されるという点で、再帰的と呼ぶことができる。

図４Ｂの第２コーディングツリー構造（４０２）に示されるように、いくつかのコーディングアプローチ（例えば、ＡＶ１）は、パーティションツリーを１０通りの構造に拡張し、最大サイズ（例えば、ＶＰ９／ＡＶ１の用語では、スーパーブロックと呼ばれる。）を増大させて１２８×１２８から始める。第２コーディングツリー構造は、第１コーディングツリー構造にはない４：１／１：４長方形パーティションを含む。図４Ｂの２行目にある３つのサブパーティションを含むパーティションタイプはＴタイプパーティションと呼ばれる。このツリー構造での長方形パーティションはこれ以上細分され得ない。コーディングブロックサイズに加えて、コーディングツリーデプスが、根ノードからの分割深さを示すために定義され得る。例えば、根ノード、例えば１２８×１２８、のコーディングツリーデプスは０にセットされ、ツリーブロックが更に一度分割された後、コーディングツリーデプスは１だけ増える。

例として、ＶＰ９で見られるような固定の変換ユニットサイズを強制する代わりに、ＡＶ１は、ルーマコーディングブロックが、最大２つのレベルまで下がる再帰的パーティションによって表現され得る複数のサイズの変換ユニットに分割されることを可能にする。ＡＶ１の拡張されたコーディングブロックパーティションを組み込むために、４×４から６４×６４までの正方形、２：１／１：２、及び４：１／１：４変換サイズがサポートされる。クロマブロックについては、可能な最大変換ユニットのみが許される。

例として、ＣＴＵは、例えばＨＥＶＣなどにおける様々な局所特性に適応するように、コーディングツリーとして表される四分木構造を使用することによってＣＵに分割され得る。いくつかの実施形態で、インターピクチャ（時間）又はイントラピクチャ（空間）予測を用いてピクチャエリアをコーディングすべきかどうかに関する決定は、ＣＵレベルで行われる。各ＣＵは、ＰＵ分割タイプに従って１つ、２つ、又は４つのＰＵに更に分割される。１つのＰＵ内では、同じ予測プロセスが適用され、関連情報は、ＰＵ単位でデコーダへ伝送される。ＰＵ分割タイプに基づき予測プロセスを適用することによって残差ブロックを取得した後、ＣＵは、ＣＵのコーディングツリーのような他の四分木構造に従ってＴＵに分割され得る。ＨＥＶＣ構造の重要な特徴の１つは、ＣＵ、ＰＵ及びＴＵを含む複数のパーティション概念があることである。ＨＥＶＣでは、ＣＵ又はＴＵが正方形でしかあり得ないが、ＰＵは、インター予測されたブロックについて正方形又は長方形であることができる。ＨＥＶＣでは、１つのコーディングブロックが４つの正方サブブロックに更に分割され得、各サブブロック（ＴＵ）に対して変換が実行される。各ＴＵは、残差四分木（Residual Quad-Tree，ＲＱＴ）と呼ばれるより小さいＴＵに再帰的に（四分木分割を用いて）更に分割され得る。ピクチャ境界で、ＨＥＶＣで見られるように、暗黙的な四分木分割が用いられてもよく、それにより、ブロックは、サイズがピクチャ境界に合うまで、四分木分割を続けることになる。

ＶＶＣで見られるような、二分木又は三分木分割セグメンテーション構造を使用するネスト化されたマルチタイプツリーを持った四分木は、複数のパーティションユニットタイプの概念を置換し得る。例えば、最大変換長に対して大きすぎるサイズを持つＣＵに必要な場合を除き、ＣＵ、ＰＵ、及びＴＵの概念の分離がなくなり、ＣＵパーティション形状の柔軟性が向上する。コーディングツリー構造において、ＣＵは正方形状又は長方形状のどちらかを有することができる。ＣＴＵは最初に四分木（quaternary tree又はquad-tree）構造によって分割される。四分木リーフノードはマルチタイプツリー構造によって更に分割され得る。図４Ｃの第３コーディングツリー構造（４０４）に示されるように、マルチタイプツリー構造は４つの分割タイプを含む。例えば、マルチタイプツリー構造は、垂直二分木分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）、水平二分木分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）、垂直三分木分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）、及び水平三分木分割（ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）を含む。マルチタイプツリーリーフノードはＣＵと呼ばれ、ＣＵが最大変換長さに対して大きすぎない限り、このセグメンテーションが、これ以上の分割なしで、予測及び変換処理に使用される。つまり、ほとんどの場合に、ＣＵ、ＰＵ、及びＴＵは、ネスト化されたマルチタイプツリーコーディングブロック構造を持った四分木で同じブロックサイズを有する。サポートされる最大変換長さがＣＵの色成分の幅又は高さよりも小さい場合に、例外が発生する。１つのＣＴＵ（４０６）のためのブロックパーティションの例は図４Ｄに示されており、これは、ネスト化されたマルチタイプツリーコーディングブロック構造を持った四分木の例を表す。

ＶＶＣで見られるように、サポートされる最大ルーマ変換サイズは６４×６４であることができ、サポートされる最大クロマ変換サイズは３２×３２であることができる。ＣＢの幅又は高さが最大変換幅又は高さよりも大きいとき、ＣＢは、水平及び／又は垂直方向において変換サイズ制限を満足するようにその方向で自動的に分割される。

コーディングツリースキームは、ＶＴＭ７で見られるように、ルーマ及びクロマが別個のブロックツリー構造を持つための能力をサポートする。いくつかの場合に、Ｐスライス及びＢスライスの場合に、１つのＣＴＵ内のルーマＣＴＢ及びクロマＣＴＢは同じコーディングツリー構造を共有する。しかし、Ｉスライスの場合、ルーマ及びクロマは別個のブロックツリー構造を有する可能性がある。別個のブロックツリーモードが適用される場合、ルーマＣＴＢは、１つのコーディングツリー構造によってＣＵに分割され、クロマＣＴＢは、他のコーディングツリー構造によってクロマＣＵに分割される。つまり、ＩスライスでのＣＵは、ルーマ成分のコーディングブロック又は２つのクロマ成分のコーディングブロックを含むか又はそれらから成ってよく、Ｐ又はＢスライスでのＣＵは、ビデオがモノクロでない限りは、常に、３つ全ての色成分のコーディングブロックを含むか又はそれらから成ってよい。

拡張されたコーディングブロックパーティションをサポートするために、複数の変換サイズ（例えば、次元ごとに４ポイントから６４ポイントに及ぶ。）及び変換形状（例えば、正方形、又は幅／高さ比の２：１／１：２及び４：１／１：４を持った長方形）が、ＡＶ１で見られるように、利用され得る。

２次元変換プロセスは、ハイブリッド変換カーネル（例えば、コーディングされた残差ブロックの各次元に対する異なる一次元変換から構成される。）の使用を含み得る。一次の一次元変換は、ａ）４ポイント、８ポイント、１６ポイント、３２ポイント、６４ポイントの離散コサイン変換ＤＣＴ－２、ｂ）４ポイント、８ポイント、１６ポイントの非対称離散サイン変換（ＤＳＴ－４、ＤＳＴ－７）及びその反転バージョン、又はｃ）４ポイント、８ポイント、１６ポイント、３２ポイントの恒等変換、のうちの少なくとも１つを含み得る。ＡＶ１で使用されるような、ＤＣＴ－２及び非対称ＤＳＴの基底関数を表１に示す。

ハイブリッド変換カーネルの利用可能性は、変換ブロックサイズ及び予測モードに基づき得る。例となる依存関係を以下の表２に示す。「→」及び「↓」は水平方向及び垂直方向を表し、
（外１）
は、そのブロックサイズ及び予測モードについてのカーネルの利用可能性を表す。ＩＤＴＸ（又はＩＤＴ）は恒等変換（identity transform）の略である。

クロマ成分の場合、変換タイプ選択は暗黙的な方法で実行される。イントラ予測残差の場合、変換タイプは、例えば表３に示されるように、イントラ予測モードに従って選択される。インター予測残差の場合、変換タイプは、並置（co-located）ルーマブロックの変換タイプ選択に従って選択され得る。従って、クロマ成分の場合、ビットストリーム内の変換タイプシグナリングは不要である。

線グラフ変換（Line Graph Transform(s)，ＬＧＴ）は、上述された一次元ＤＳＴを（３２ポイント、６４ポイントを導入することによって）置換及び拡張するという観点で導入された。

グラフは、関心のあるオブジェクトの間の親和性関係をモデル化するために使用される頂点及び辺のセットを含むか又はそれらから成る一般的な数学的構造である。重み付きグラフ（重みの組が辺及び場合によっては頂点に割り当てられる）は、信号／データの堅牢なモデリングのためのスパース表現を提供する。ＬＧＴは、多様なブロック統計をより適切に適応させることで、コーディング効率を向上させることができる。分離可能なＬＧＴは、データから線グラフを学習して、残差信号内のブロックの基礎となる行及び列ごとの統計をモデル化することによって、設計及び最適化される。このとき、関連する一般化グラフラプラシアン（generalized graph Laplacian，ＧＧＬ）行列がＬＧＴの導出に使用される。図５Ａは、自己ループ重みｖ_ｃ１、ｖ_ｃ２、及びエッジ重みｗ_ｃによって特徴付けられるＬＧＴの例を示す。

重み付きグラフＧ（Ｗ，Ｖ）を考えると、ＧＧＬ行列は：

Ｌ_ｃ＝Ｄ－Ｗ＋Ｖ 式１

と定義され得る。ここで、Ｗは、非負エッジ重みｗ_ｃを含むか又はそれから成る隣接行列であり、Ｄは対角次数行列であり、Ｖは、重み付き自己ループｖ_ｃ１、ｖ_ｃ２を表す対角行列である。行列Ｌ_ｃは次のように表すことができる：
ＬＧＴは、次いで、ＧＧＬの固有値分解 Ｌ_ｃ＝ＵΦＵ^Ｔによって導出でき、このとき、直交行列Ｕの列はＬＧＴの基底ベクトルであり、Φは対角固有値行列である。ＤＣＴ－２、ＤＣＴ－８及びＤＳＴ－７を含むＤＣＴ及びＤＳＴは、特定の形式のＧＧＬから導出されたＬＧＴである。例えば、ＤＣＴ－２は、ｖ_ｃ１＝０をセットすることによって導出され得、ＤＳＴ－７は、ｖ_ｃ１＝ｗ_ｃをセットすることによって導出され得、ＤＣＴ－８は、ｖ_ｃ２＝ｗ_ｃをセットすることによって導出され得、ＤＳＴ－４は、ｖ_ｃ１＝２ｗ_ｃをセットすることによって導出され得、ＤＣＴ－４は、ｖ_ｃ２＝２ｗ_ｃをセットすることによって導出され得る。

ＬＧＴは、行列乗算として実装できる。４ｐＬＧＴコアは、Ｌ_ｃにおいてｖ_ｃ１＝２ｗ_ｃをセットすることによって導出され得、つまり、それはＤＳＴ－４である。８ｐＬＧＴコアは、Ｌ_ｃにおいてｖ_ｃ１＝１．５ｗ_ｃをセットすることによって導出され得る。１６ｐ、３２ｐ、及び６４ｐＬＧＴコアは、Ｌ_ｃにおいてｖ_ｃ１＝ｗ_ｃをセットすることによって導出され得、つまり、それはＤＳＴ－７である。

ＡＶ１での残差コーディングの例において、各変換ユニットについて、係数コーディングはスキップ符号のシグナリングで始まり、その後、変換カーネルタイプ及びスキップ符号がゼロの場合のブロック終了（end-of-block，ｅｏｂ）位置が続く。次いで、各係数値が複数のレベルマップ及び符号にマッピングされる。ｅｏｂ位置がコーディングされた後、下位レベルのマップ及び中位レベルのマップが逆走査順序でコーディングされ得る。前者は、係数の大きさが０～２の間である場合を示し、後者は、範囲が３～１４の間である場合を示す。次のステップでは、係数の符号と、１４より大きい係数の残差値とを、Ｅｘｐ－Ｇｏｌｏｍｂコードによって順方向の走査順序でコーディングする。

コンテキストモデリングの使用に関して、下位レベルのマップコーディングは、変換サイズ及び方向、並びに最大５つの隣接係数情報を組み込む。一方、中位レベルのマップコーディングは、隣接係数の数が２つになることを除いて、下位レベルのマップコーディングと同様のアプローチに従う。残差レベルのＥｘｐ－Ｇｏｌｏｍｂコード及びＡＣ係数の符号は、如何なるコンテキストモデルにもよらずにコーディングされる一方、ＤＣ係数の符号は、その隣接する変換ユニットのＤＣ符号を使用してコーディングされる。

上及び左隣接ブロックのＤＣ符号値の加重平均は、例えば、以下の式３で示されるように、コンテキスト情報を導出するために使用されてもよい：
この例では、重み付けは、隣接する変換ブロックと現在の変換ブロックとの交差部分の長さに依存する。導出されたコンテキスト情報は、例えば上記の式４で示されるように、ＤＣ符号コーディングのための３つの異なるコンテキストにアクセスするためのインデックスとして使用される。他の係数の符号値は、コンテキストモデルを使用せずに直接コーディングされ得る。

ＶＶＣで見られるような、変換スキップのための残差コーディングの例では、変換スキップモード（ＴＳＭ）でコーディングされたＣＵは、修正された変換コーディングプロセスで使用され得る。修正は、次のように要約できる：（ａ）全てのサブブロック及びサブブロック内の位置は順方向の走査順序でスキャンされ、（ｂ）最下位係数位置はシグナリングされず、（ｃ）シンタックス要素coded_sub_block_flagは最後のサブブロックについてはコーディングされず、（ｄ）シンタックスsig_coeff_flag、abs_level_gt1及びpar_level_flagのためのコンテキストモデリングは変更されず、（ｅ）符号フラグは左及び上隣接値に基づきコンテキストコーディングされる。

ＡＶ２の開発中に、ＩＤＴＸ（二次元変換スキップ）の変換コーディングプロセスを修正するために、フォワードスキップコーディング（ＦＳＣ）と呼ばれる新しいモードが導入された。ＦＳＣによって導入された修正は、機能的にはＶＶＣ変換スキップモードに導入された上記の変更と同様であるが、次のように要約できる：（ａ）全てのコーディングされたブロック及びコーディングされたブロック内の位置は順方向の走査順序でスキャンされ、（ｂ）ＥＯＢシンタックスはスキップされ、（ｃ）削減されたコンテキストが係数レベルに使用され、（ｄ）符号フラグは左、下、左下に基づいてコンテキストコーディングされる。

イントラブロックについては、ＦＳＣモードが選択される場合に、変換タイプは変換ブロックのためにシグナリングされない。むしろ、変換タイプのシグナリングは、コーディングされたブロックレベルでＦＳＣモードとバンドルされる。インターブロックはＦＳＣモードをシグナリングせず、変換タイプがＩＤＴＸであり、スクリーンコンテンツフラグが有効である場合に、ＦＳＣメソッドが暗黙的に選択される。

変換係数のエントロピコーディングについては、係数符号は、バイパスモードを用いて大きさ／レベル（係数値の絶対値）とは別にコーディングされ得る。別個のコーディングは、各係数符号のコーディングに１ビットのコストがかかる可能性があることを意味し、コストが高くなる。係数符号のエントロピコーディング効率を向上させるために、符号予測技術が使用され得る。例えば、符号値をシグナリングする代わりに、予測された符号が実際の符号と同じであるかどうかを示すフラグを、コンテキストを使用してエントロピコーディングすることができる。コンテキスト値は、係数のレベル（係数値の絶対値）に依存し得る。なぜなら、より大きなレベル値がより正確な予測符号値をもたらすからである。

例において、変換係数のグループは、関連する符号が予測される必要がある場合に識別される。次いで、これらの係数の予測された符号値に対する仮説の組が生成される。例えば、３つの係数の場合、仮説の数は最大８（２^３）であることができる。符号値を予測するために、各仮説に関連したコスト値が存在し、最小コストを有する仮説が、その仮説によってカバーされる係数に対する予測された符号値を指定するために使用される。

図５Ｂは、変換ブロック５００並びに隣接行５０２及び隣接列５０４におけるピクセル位置の例を示す。いくつかの実施形態で、各仮説のコストは次のように計算される。所与の仮説に関連した再構成ブロック（仮説再構成）は、再構成プロセス（例えば、逆量子化、逆変換）に従って生成され、再構成されたブロックの境界サンプル、例えば、ｐ_０，ｙ及びｐ_ｘ，０が導出される。再構成されたブロックの左境界にある再構成されたピクセルｐ_０，ｙの夫々について、左側にある２つの以前に再構成された隣接ピクセルを使用した単純な線形予測が実行され、その予測ｐｒｅｄ_０，ｙ＝（２ｐ_－１，ｙ－ｐ_－２，ｙ）が得られる。この予測と再構成されたピクセルｐ_０，ｙとの間の絶対差が仮説のコストに加えられる。同様の処理は、再構成されたブロックの上の行のピクセルに対しても行われ、各予測ｐｒｅｄ_ｘ，０＝（２ｐ_ｘ，－１－ｐ_ｘ，－２）と再構成されたピクセルｐ_ｘ、０との絶対差が合計される。従って、各係数符号予測仮説のコストの計算は、以下の式５で与えられる：

係数符号は、コーディング効率を向上させるために複数のシンボルを一緒に使用してシグナリングされ得る。ＤＣ及び／又はＡＣ係数符号の効率的なコーディングのための方法は、ＤＣ及び／又はＡＣ係数符号の予測／推定し、その後に予測／推定の
（外２）
をコンテキストコーディングすることを含んでよく、ここで、ｉは、走査順序におけるｉ番目の係数であり、ｉ≦Ｎであり、Ｎは、予測／推定される係数の最大数である。
（外３）
は、バイナリ値（０又は１）によって定義でき、０は、予測／推定が正確であることを表し、一方、１はその逆を表す。コーディング効率は、様々な
（外４）
をグループ化し、マルチシンボル算術コーダの能力を利用してそれらを一緒にコーディングすることによって、更に向上させることができる。
（外５）
及び／又は予測された係数符号を一緒にコーディングするための方法は、次のセクションで議論される。

図６Ａは、いくつかの実施形態に係るビデオ符号化方法６００を表すフロー図である。方法６００は、制御回路と、制御回路によって実行される命令を記憶しているメモリとを備えたコンピューティングシステム（例えば、サーバシステム１１２、ソースデバイス１０２、又は電子デバイス１２０）で実行されてよい。いくつかの実施形態では、方法６００は、コンピューティングシステムのメモリ（例えば、メモリ３１４）に記憶されている命令を実行することによって実行される。

システムは、第１ブロックを含む複数のブロックを含むビデオデータを取得する（６０２）。システムは、第１ブロックに関連した複数の変換係数を決定する（６０４）。いくつかの実施形態で、複数の変換係数は、複数の予測精度の中の各々の予測精度と関連付けられている。システムは、複数の変換係数について各々の係数符号を予測する（６０６）。いくつかの実施形態で、方法は、複数の予測精度の中に基づき、予測された係数符号のうちの２つ以上をグループ化することによって、それら２つ以上の予測された係数符号を一緒にシグナリングすることを含む。システムは、予測された係数符号のうちの２つ以上を一緒にシグナリングすることを含む、第１ブロックのエントロピコーディング（６０８）を実行する。いくつかの実施形態で、第１ブロックは、一緒にシグナリングされた係数符号を用いてエントロピコーディングされる。方法６００は、ルーマ及び／又はクロマブロックに任意に適用される。本開示で、「ブロック」という用語は、変換ブロックの係数に言及するために使用されることがある。

いくつかの実施形態で、複数の変換係数符号は、例えば、各符号を個別にシグナリングする代わりに、一緒にシグナリングされる。いくつかの実施形態で、複数の変換係数符号を符号化するとき、エンコーダコンポーネントは、選択されたＮ個の個別的な係数符号をグループにまとめて、２^Ｎ個のシンボルに関連するインデックスを形成し、このとき、各シンボルは、Ｎ個の係数符号値の特定の組み合わせを表す。いくつかの実施形態で、インデックスは、マルチシンボル算術コーダを用いて符号化及び復号される。いくつかの実施形態で、変換係数符号ビットをグループ化及びコーディングする代わりに、予測された符号が実際の符号と同じであるかどうかを示す値が、１つのインデックスとしてグループ化及びコーディングされる。いくつかの実施形態で、インデックスはコンテキストコーディングされる。いくつかの実施形態で、インデックスをコーディングするためのコンテキストは、平面タイプ、変換タイプ、及び／又はブロックサイズなどの既にコーディングされた情報から導出される。

いくつかの実施形態で、選択されたＮ個の係数符号のみがグループにまとめられて、インデックスを形成し、残りの係数符号は個別的にシグナリングされる。例において、Ｍと表記される、変換ブロック内の非ゼロの係数の数が、Ｎに満たない場合に、２^Ｎ個のシンボルの組の中のＮ－Ｍ個の値が、インデックスにマッピングするときにゼロに割り当てられる。他の例では、Ｍと表記される、変換ブロック内の非ゼロの係数の数が、Ｎに満たない場合に、変換ブロック内のＮ－Ｍ個の係数符号がインデックスにマッピングされる。他の例では、変換ブロック内の非ゼロの係数の数がＮよりも多い場合、選択されたＮ個の変換係数符号がインデックスにマッピングされ、一方、残りの係数符号は個別的にコーディングされる。

いくつかの実施形態で、変換係数符号（例えば、全ての変換係数符号）は、Ｎ個の符号のグループに分割され、係数符号の各グループは、インデックスにマッピングされる。例において、変換ブロック内の非ゼロの係数の数が１４であり、Ｎ＝３である場合、最初の１２個の係数符号の中で３つの変換係数符号から成る組が夫々インデックスにマッピングされる。この例における残り２つの変換係数符号は、２^２＝４個のシンボルに関連するインデックスにマッピングされる。他の例では、変換ブロック内の非ゼロの係数の数が１４であり、Ｎ＝３である場合、最初の１２個の係数符号の中で３つの変換係数符号から成る組が夫々インデックスにマッピングされる。この例における残り２つの変換係数符号は、最後の係数符号がゼロであると仮定されるように、組［０，２^Ｎ－１］内のインデックスにマッピングされる。

他の例では、エンコーダコンポーネントで、Ｎ＝３である場合、
（外６）
は、組［０００，００１，０１０，０１１，１００，１０１，１１０，１１１］の中のいずれかの値をとることができる。この例において、
（外７）
の組み合わせは、組［０，１，２，３，４，５，６，７］内の一意のインデックスにマッピングされる。いくつかの実施形態で、予測された符号は、
（外８）
に関して上述されたのと同様にしてグループ化及びコーディングされる。

図６Ｂは、いくつかの実施形態に係るビデオ復号化方法６５０を表すフロー図である。方法６５０は、制御回路と、制御回路によって実行される命令を記憶しているメモリとを備えたコンピューティングシステム（例えば、サーバシステム１１２、ソースデバイス１０２、又は電子デバイス１２０）で実行されてよい。いくつかの実施形態では、方法６５０は、コンピューティングシステムのメモリ（例えば、メモリ３１４）に記憶されている命令を実行することによって実行される。

システムは、第１ブロックを含む複数のブロックを含むビデオデータを取得する（６５２）。システムは、第１ブロックに関連した複数の変換係数を決定する（６５４）。システムは、変換係数符号インデックスの符号化された値を取得する（６５６）。システムは、符号化された値から、複数の変換係数の各々の係数符号を再構成する（６５８）。システムは、複数の変換係数と、複数の変換係数の再構成された各々の係数符号とに基づき、第１ブロックを再構成する（６６０）。方法６５０は、ルーマ及び／又はクロマブロックに任意に適用される。いくつかの実施形態で、デコーダコンポーネントでは、選択されたＮ個の個別的な係数の係数符号が、インデックスの復号された値を用いて再構成される。いくつかの実施形態で、インデックスは、マルツシンボル算術コーダを用いて符号化及び復号される。

いくつかの実施形態で、複数の変換係数符号の各組み合わせは、事前定義されたインデックス値にマッピングされる。いくつかの実施形態で、インデックスは、組［０，２^Ｎ－１］、例えばインデックスのソース空間、の中のいずれかの値をとることができる。

例において、デコーダコンポーネントで、Ｎ＝３である場合、インデックスは、組［０，１，２，３，４，５，６，７］内のいずれかの値をとることができる。この例では、インデックスは、組［０００，００１，０１０，０１１，１００，１０１，１１０，１１１］の中の
（外９）
の一意のグルーピングにマッピングされる。いくつかの実施形態で、予測された符号は、
（外１０）
に関して上述されたのと同様にしてグループ化及びコーディングされる。

図６Ａ及び図６Ｂは多数の論理的な段階を特定の順序で表しているが、順序に依存しない段階は並べ替えられてもよく、他の段階は結合又は分解されてもよい。具体的に述べられていないいくつかの並べ替え又は他のグループ分けは当業者に明らかであるから、本明細書で提示されている順序及びグループ分けは包括的ではない。更に、段階はハードウェア、ファームウェア、ソフトウェア、又はそれらの任意の組み合わせで実装されてもよいことが認識されるべきである。

これより、いくつかの例示的な実施形態を参照する。

（Ａ１）一態様で、いくつかの実施形態はビデオ符号化の方法（例えば、方法６００）を含む。いくつかの実施形態で、方法は、メモリ及び１つ以上のプロセッサを備えるコンピューティングシステム（例えば、サーバシステム１１２）で実行される。いくつかの実施形態で、方法は、コーディングモジュール（例えば、コーディングモジュール３２０）で実行される。いくつかの実施形態で、方法は、エントロピコーダ（例えば、エントロピコーダ２１４）で実行される。方法は、（ｉ）第１ブロックを含む複数のブロックを有するビデオデータを（例えば、ビデオソース１０４から）取得するステップと、（ｉｉ）第１ブロックに関連した複数の変換係数を決定するステップと、（ｉｉｉ）（例えば、予測モジュール３４４を用いて）複数の変換係数の各々の係数符号を予測するステップと、（ｉｖ）予測された係数符号のうちの２つ以上の予測された係数符号を一緒にシグナリングすることを含む、それら２つ以上の予測された係数符号を（例えば、符号化モジュール３４０を用いて）エントロピコーディングするステップと、を含む。いくつかの実施形態で、複数の変換係数は、複数の予測精度のうちの各々の予測精度に関連付けられている。いくつかの実施形態で、方法は、複数の予測精度に基づき２つ以上の予測された係数符号をグループ化することによって、それら２つ以上の予測された係数符号を一緒にシグナリングすることを含む。いくつかの実施形態で、第１ブロックは、一緒にシグナリングされた係数符号を用いてエントロピコーディングされる。例えば、複数のブロックは変換ブロックである。いくつかの実施形態で、第１ブロックはルーマブロックを有する。いくつかの実施形態で、第１ブロックはクロマブロックを有する。いくつかの実施形態で、第１ブロックの各要素は、再構成されたピクセルに対応する。

（Ａ２）Ａ１のいくつかの実施形態で、２つ以上の予測された係数符号を一緒にシグナリングするステップは、２つ以上の予測された係数符号を一緒に符号化するステップを含む。例えば、２つ以上の予測された係数符号が３に等しい場合、予測された符号は、組［０００，００１，０１０，０１１，１００，１０１，１１０，１１１］の中のいずれかの値をとることができる。この例では、予測された符号の組み合わせは、［０，１，２，３，４，５，６，７］内の一意のインデックスにマッピングされる。

（Ａ３）Ａ１のいくつかの実施形態で、２つ以上の予測された係数符号を一緒にシグナリングするステップは、２つ以上の値を一緒に符号化するステップを含み、２つ以上の値の各値は、各々の予測された係数符号が対応する変換係数の実際の符号に一致するかどうかを示す。例えば、値は、予測係数符号の
（外１１）
である。

（Ａ４）Ａ３のいくつかの実施形態で、２つ以上の値を符号化するステップは、（ｉ）２つ以上の値の組み合わせをシンボルのインデックスの事前定義されたインデックス値にマッピングするステップと、（ｉｉ）事前定義されたインデックス値を符号化するステップとを含む。例えば、２つ以上の予測された係数符号が３に等しい場合、
（外１２）
は、組［０００，００１，０１０，０１１，１００，１０１，１１０，１１１］の中のいずれかの値をとることができる。この例では、
（外１３）
の組み合わせは、［０，１，２，３，４，５，６，７］内の一意のインデックスにマッピングされる。

（Ａ５）Ａ１～Ａ４のいずれかのいくつかの実施形態で、（ｉ）方法は、シンボルのインデックスを取得するステップを更に含み、（ｉｉ）シンボルのインデックスの各シンボルは、係数符号値の各々の組み合わせを表し、（ｉｉｉ）シンボルのインデックスは、２つ以上の予測された係数符号を一緒にシグナリングするために使用される。例えば、エンコーダは、２^Ｎ個のシンボルに関連するインデックスを形成するようにＮ個の個別的な係数符号をグループ化し、各シンボルは、Ｎ個の係数符号値の特定の組み合わせを表す。

（Ａ６）Ａ５のいくつかの実施形態で、方法は、マルチシンボル算術コーダを用いてシンボルのインデックスを符号化するステップを更に含む。いくつかの実施形態で、方法は、バイナリコーダを用いてシンボルのインデックスを符号化するステップを更に含む。

（Ａ７）Ａ５又はＡ６のいくつかの実施形態で、２つ以上の予測された係数符号を一緒にシグナリングするステップは、（ｉ）２つ以上の予測された係数符号の組み合わせをシンボルのインデックスの事前定義されたインデックス値にマッピングするステップと、（ｉｉ）事前定義されたインデックス値を符号化するステップと、を含む。

（Ａ８）Ａ５～Ａ７のいずれかのいくつかの実施形態で、シンボルのインデックスは、０から２^Ｎ－１までの範囲内の値を含み、Ｎは、一緒にシグナリングされる予測された係数符号の数である。

（Ａ９）Ａ５～Ａ８のいずれかのいくつかの実施形態で、方法は、シンボルのインデックスをコンテキストコーディングするステップを更に含む。

（Ａ１０）Ａ９のいくつかの実施形態で、シンボルのインデックスは、予めコーディングされた情報に基づいてコンテキストコーディングされる。例えば、予めコーディングされた情報は、平面タイプ、変換タイプ、及び／又はブロックサイズを含む。

（Ａ１１）Ａ１～Ａ１０のいずれかのいくつかの実施形態で、（ｉ）予測された係数符号は、Ｎ＋Ｍ個の予測された係数符号を含み、（ｉｉ）２つ以上の予測された係数符号を一緒にシグナリングするステップは、Ｎ個の予測された係数符号を一緒にシグナリングするステップを含み、（ｉｉｉ）方法は、Ｍ個の予測された係数符号を個別的にシグナリングするステップを更に含む。

（Ａ１２）Ａ１１のいくつかの実施形態で、Ｎ個の予測された係数符号は、非ゼロの各々の値を持った変換係数に対応する。

（Ａ１３）Ａ１１又はＡ１２のいくつかの実施形態で、Ｍ個の予測された係数符号は、ゼロの各々の値を持った変換係数に対応する。

（Ａ１４）Ａ１１～Ａ１３のいずれかのいくつかの実施形態で、Ｎ個の予測された係数符号を一緒にシグナリングステップは、Ｎ個の予測された係数符号の組み合わせをインデックスにマッピングするステップを含む。

（Ａ１５）Ａ１１～Ａ１４のいずれかのいくつかの実施形態で、Ｎ個の予測された係数符号を一緒にシグナリングするステップは、値の組み合わせをシンボルにマッピングするステップを含み、値の組み合わせの各値は、各々の予測された係数符号が対応する変換係数の実際の符号に一致するかどうかを示す。

（Ａ１６）Ａ１～Ａ１５のいずれかのいくつかの実施形態で、（ｉ）予測された係数符号は、予測された係数符号の組を含み、（ｉｉ）２つ以上の予測された係数符号を一緒にシグナリングするステップは、予測された係数符号の組の中の第１サブセットを一緒にシグナリングするステップを含み、（ｉｉｉ）方法は、予測された係数符号の組の中の第２サブセットを一緒にシグナリングするステップを更に含む。例えば、変換係数符号は、Ｎ個の符号のグループに分けられ、係数符号の各グループは、インデックスにマッピングされる。いくつかの実施形態で、予測された係数符号の組は、非ゼロの変換係数の組に対応する。

（Ａ１７）Ａ１６のいくつかの実施形態で、第１サブセットのサイズは、第２サブセットのサイズとは異なる。例えば、第１サブセットは３つの予測された係数符号を含み、第２サブセットは２つの予測された係数符号を含む。他の例では、変換ブロック内の非ゼロの係数の数が１４であり、Ｎ＝３である場合、最初の１２個の係数符号の中で３つの変換係数符号から成る組が夫々インデックスにマッピングされる。この例における残り２つの変換係数符号は、最後の係数符号がゼロであると仮定されるように、組［０，２^Ｎ－１］内のインデックスにマッピングされる。

（Ａ１８）Ａ１～Ａ１７のいずれかのいくつかの実施形態で、方法は、エントロピ符号化された第１ブロックを含むビットストリームを伝送するステップを更に含む。

（Ｂ１）他の態様で、いくつかの実施形態は、ビデオ復号化の方法（例えば、方法６５０）を含む。いくつかの実施形態で、方法は、メモリ及び１つ以上のプロセッサを備えるコンピューティングシステム（例えば、サーバシステム１１２）で実行される。いくつかの実施形態で、方法は、コーディングモジュール（例えば、コーディングモジュール３２０）で実行される。いくつかの実施形態で、方法は、パーサ（例えば、パーサ２５４）で実行される。方法は、（ｉ）ビットストリーム（例えば、Ａ１８で伝送されるビットストリーム）から第１ブロックを含む複数のブロックを有するビデオデータを取得するステップと、（ｉｉ）（例えば、パーシングモジュール３２４を用いて）第１ブロックに関連した複数の変換係数を決定するステップと、（ｉｉｉ）変換係数符号インデックスの符号化された値を取得するステップと、（ｉｖ）符号化された値から複数の変換係数の各々の係数符号を再構成するステップと、（ｖ）複数の変換係数と、複数の変換係数の再構成された各々の係数符号とに基づき、（例えば、復号化モジュール３２２を用いて）第１ブロックを再構成するステップと、を含む。

（Ｂ２）Ｂ１のいくつかの実施形態で、符号化された値から複数の変換係数の各々の係数符号を再構成するステップは、（ｉ）符号化された値を復号するステップと、（ｉｉ）シンボルのインデックス（例えば、Ａ５に関して上述されたインデックス）を用いて、復号された値を複数の変換係数の各々の係数符号にマッピングするステップと、を含む。

（Ｂ３）Ｂ１又はＢ２のいくつかの実施形態で、符号化された値は２つ以上の予測された係数符号に対応する。

（Ｂ４）Ｂ１又はＢ２のいくつかの実施形態で、符号化された値は２つ以上の値に対応し、２つ以上の値の各値は、各々の予測された係数符号が対応する変換係数の実際の符号に一致するかどうかを示す。

（Ｂ５）Ｂ１～Ｂ４のいくつかの実施形態で、（ｉ）ビットストリームは、Ａ１～Ａ８のいずれかにしたがって符号化されたビデオに対応し、（ｉｉ）各々の係数符号を再構成するステップは、Ａ１～Ａ１８のいずれかの符号化の少なくとも一部を逆さにするステップを含む。

本明細書で記載される方法は、別々に使用されても、又は任意の順序で組み合わされてもよい。方法の夫々は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実装され得る。いくつかの実施形態で、処理回路は、非一時的なコンピュータ可読媒体に記憶されているプログラムを実行する。

他の態様では、いくつかの実施形態は、制御回路（例えば、制御回路３０２）と、制御回路に結合されるメモリ（例えば、メモリ３１４）とを含むコンピューティングシステム（例えば、サーバシステム１１２）を含み、メモリは、制御回路によって実行されるよう構成される命令の１つ以上の組を記憶し、命令の１つ以上の組は、本明細書で記載される方法（例えば、上記のＡ１～Ａ１８及びＢ１～Ｂ５）のいずれかを実行するための命令を含む。

更なる他の態様では、いくつかの実施形態は、コンピューティングシステムの制御回路によって実行される命令の１つ以上の組を記憶する非一時的なコンピュータ可読記憶媒体を含み、命令の１つ以上の組は、本明細書で記載される方法（例えば、上記のＡ１～Ａ１８及びＢ１～Ｂ５）のいずれかを実行するための命令を含む。

「第１」、「第２」、などの用語は、様々な要素について記載するために本明細書で使用されることがあるが、それらの要素はこれらの用語によって限定されるべきではない、ことが理解されるだろう。これらの用語は、一つ一つの要素を区別するためにのみ使用される。

本明細書で使用される用語は、特定の実施形態のみを記載することを目的とするものであり、特許請求の範囲の限定であるよう意図されない。実施形態の説明及び添付の特許請求の範囲で使用されるように、単数形（「a」、「an」、及び「the」）は、文脈が別段明示しない限り、複数形も含むよう意図される。本明細書で使用される「及び／又は」という用語は、列挙されている関連するアイテムの１つ以上のありとあらゆる可能な組み合わせを指し、それらを包含することも理解されるだろう。更に、「有する」（「comprises」及び／又は「comprising」）という用語は、本明細書で使用される場合に、述べられている特徴、整数、ステップ、動作、要素、及び／又はコンポーネントの存在を特定するが、１つ以上の他の特徴の存在又は追加を妨げない。

本明細書で使用されるように、「～する場合」（if）という用語は、文脈に依存して、その前に述べられている条件が真である「とき」（when）又は「と」（upon）又は「と決定することに応答して」（in response to determining）又は「という決定に従って」（in accordance with a determination）又は「と検出することに応答して」（in response to detecting）を意味すると解釈できる。同様に、「［その前に述べられている条件が真である］ことが決定される場合」又は「［その前に述べられている条件が真である］場合」又は「［その前に述べられている条件が真である］とき」は、文脈に依存して、その前に述べられている条件が真である「と決定すると」又は「と決定することに応答して」又は「という決定に従って」又は「ことを検出すると」又は「と検出することに応答して」を意味すると解釈できる。

上記の記載は、説明の目的で、具体的な実施形態を参照して記載されている。しかし、上記の実例となる議論は、網羅的であること、又は開示されている厳密な形態に特許請求の範囲を限定することを意図されない。多くの変更及び変形が、上記の技術に照らして可能である。実施形態は、動作の原理及び実際の応用を最もよく説明し、それによって当業者に可能にするために選択及び記載された。

［関連出願］
本願は、２０２２年６月１５日に「Joint Signaling of Coefficient Signs using Multiple Symbol Codec」という発明の名称で出願された米国特許仮出願第６３／３５２４１１号の優先権を主張するものであり、２０２３年５月４日に「Systems and Methods for Joint Signaling of Transform Coefficient Signs」という発明の名称で出願された米国特許出願第１８／１４３５１６号の継続出願であって、その優先権を主張するものである。なお、先の米国出願は、その全文を参照により本願に援用される。

Claims (16)

1. メモリ及び１つ以上のプロセッサを備えるコンピューティングシステムで実行されるビデオ符号化の方法であって、
   第１ブロックを含む複数のブロックを有するビデオデータを取得するステップと、
   前記第１ブロックに関連した複数の変換係数を決定するステップであり、前記複数の変換係数は複数の予測精度のうちの各々の予測精度に関連付けられている、ステップと、
   前記複数の変換係数の各々の係数符号を予測するステップと、
   前記予測された係数符号のうちの２つ以上の予測された係数符号を前記複数の予測精度に基づきグループ化して、シンボルのインデックスを取得することによって、前記シンボルのインデックスに対応するインデックス値を用いて前記２つ以上の予測された係数符号を一緒にシグナリングするステップであり、前記シンボルのインデックスの各シンボルは、係数符号値の各々の組み合わせを表す、ステップと、
   前記一緒にシグナリングされた係数符号を用いて前記第１ブロックをエントロピ符号化するステップと
   を有する方法。
2. マルチシンボル算術コーダを用いて前記インデックス値を符号化するステップを更に有する、
   請求項１に記載の方法。
3. 前記２つ以上の予測された係数符号の組み合わせを前記シンボルのインデックスの前記インデックス値にマッピングするステップと、
   前記インデックス値を符号化するステップと
   を更に有する、
   請求項１に記載の方法。
4. 前記シンボルのインデックスは、０から２^Ｎ－１までの範囲内の値を有し、
   Ｎは、一緒にシグナリングされる前記予測された係数符号の数である、
   請求項１に記載の方法。
5. 前記シンボルのインデックスは、予めコーディングされた情報に基づいてコンテキストコーディングされる、
   請求項１に記載の方法。
6. 前記インデックス値は、前記２つ以上の予測された係数符号が、各々の対応する変換係数の実際の符号に一致するかどうかに基づき決定される、
   請求項１に記載の方法。
7. 前記２つ以上の予測された係数符号が、各々の対応する変換係数の実際の符号に一致するかどうかを示す２つ以上の値の組み合わせを前記シンボルのインデックスの前記インデックス値にマッピングするステップと、
   前記インデックス値を符号化するステップと
   を更に有する、
   請求項６に記載の方法。
8. 前記予測された係数符号は、Ｎ＋Ｍ個の予測された係数符号を有し、
   前記２つ以上の予測された係数符号を一緒にシグナリングするステップは、Ｎ個の予測された係数符号を一緒にシグナリングするステップを有し、
   前記方法は、Ｍ個の予測された係数符号を個別にシグナリングするステップを更に有する、
   請求項１に記載の方法。
9. 前記Ｎ個の予測された係数符号は、非ゼロの各々の値を有する変換係数に対応する、
   請求項８に記載の方法。
10. 前記Ｎ個の予測された係数符号を一緒にシグナリングするステップは、前記Ｎ個の予測された係数符号の組み合わせを前記インデックス値にマッピングするステップを更に有する、
    請求項８に記載の方法。
11. 前記Ｎ個の予測された係数符号を一緒にシグナリングするステップは、値の組み合わせを前記インデックス値にマッピングするステップを更に有し、
    前記値の組み合わせの各値は、各々の予測された係数符号が、対応する変換係数の実際の符号に一致するかどうかを示す、
    請求項８に記載の方法。
12. 前記予測された係数符号は、予測された係数符号の組を有し、
    前記２つ以上の予測された係数符号を一緒にシグナリングするステップは、前記予測された係数符号の組の中の第１サブセットを一緒にシグナリングするステップを有し、
    前記方法は、前記予測された係数符号の組の中の第２サブセットを一緒にシグナリングするステップを有する、
    請求項１に記載の方法。
13. 制御回路と、
    メモリと、
    前記メモリに記憶されており、前記制御回路によって実行されるよう構成される命令の１つ以上の組と、を有し、
    前記命令の１つ以上の組は、前記制御回路によって実行される場合に、前記制御回路に、請求項１乃至１２のうちいずれか一項に記載の方法を実行させる、
    コンピューティングシステム。
14. 制御回路及びメモリを備えるコンピューティングデバイスによって実行されるよう構成される命令の１つ以上の組を有するコンピュータプログラムであって、
    前記命令の１つ以上の組は、前記制御回路によって実行される場合に、前記制御回路に、請求項１乃至１２のうちいずれか一項に記載の方法を実行させる、
    コンピュータプログラム。
15. メモリ及び１つ以上のプロセッサを備えるコンピューティングシステムで実行されるビデオ復号化の方法であって、
    ビットストリームから第１ブロックを含む複数のブロックを有するビデオデータを取得するステップと、
    前記第１ブロックに関連した複数の変換係数を決定するステップであり、前記複数の変換係数は複数の予測精度のうちの各々の予測精度に関連付けられている、ステップと、
    前記ビットストリームから、２つ以上の予測された係数符号を表すインデックス値を取得するステップであり、前記インデックス値は、前記２つ以上の予測された係数符号を前記複数の予測精度に基づきグループ化することによって取得されたシンボルのインデックスに対応し、前記シンボルのインデックスの各シンボルは、係数符号値の各々の組み合わせを表す、ステップと、
    前記インデックス値に基づき前記２つ以上の予測された係数符号を再構成するステップと、
    再構成された前記２つ以上の予測された係数符号に基づき、前記第１ブロックを再構成するステップと
    を有する方法。
16. エンコーダでのビデオ符号化の方法であって、
    符号化されたビットストリームを送信するステップを有し、前記符号化されたビットストリームは、
    第１ブロックを含む複数のブロックを有するビデオデータを生成するステップと、
    前記第１ブロックに関連した複数の変換係数を決定するステップであり、前記複数の変換係数は複数の予測精度のうちの各々の予測精度に関連付けられている、ステップと、
    前記複数の変換係数の各々の係数符号を予測するステップと、
    前記予測された係数符号のうちの２つ以上の予測された係数符号を前記複数の予測精度に基づきグループ化して、シンボルのインデックスを取得することによって、前記シンボルのインデックスに対応するインデックス値を用いて前記２つ以上の予測された係数符号を一緒にシグナリングするステップであり、前記シンボルのインデックスの各シンボルは、係数符号値の各々の組み合わせを表す、ステップと、
    前記一緒にシグナリングされた係数符号を用いて前記第１ブロックをエントロピ符号化するステップと
    を行うことによって生成される、方法。