JP7708928B2 - ビデオ復号化方法、電子機器、プログラム、ビットストリーム保存方法、ビットストリーム受信方法 - Google Patents

Description

本願は、一般に、ビデオデータの復号化および圧縮、詳細には、パレットモードを用いたビデオ復号化の方法およびシステムに関する。

デジタルビデオは、デジタルテレビ、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録装置、デジタルメディアプレーヤ、ビデオゲームコンソール、スマートフォン、ビデオテレビ会議装置、ビデオストリーミング装置等の様々な電子装置によってサポートされる。電子デバイスは、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、パート１０、ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、およびＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格によって定義されるビデオ圧縮／解凍規格を実装することによって、デジタルビデオデータを送信、受信、符号化、復号化、および／または格納する。ビデオ圧縮は、通常、ビデオデータに固有の冗長性を低減または除去するために、空間（イントラフレーム）予測および／または時間（インターフレーム）予測を実行することを含む。ブロックベースのビデオ符号化の場合、ビデオフレームは１つまたは複数のスライスに分割され、各スライスは符号化ツリーユニット（ＣＴＵ）とも呼ばれ得る複数のビデオブロックを有する。各ＣＴＵは、所定の最小符号化ユニット（ＣＵ）サイズに達するまで、１つのＣＵを含むか、またはより小さなＣＵに再帰的に分割することができる。各ＣＵ（リーフＣＵとも呼ばれる）は１つまたは複数の変換ユニット（ＴＵ）を含み、各ＣＵは、１つまたは複数の予測ユニット（ＰＵ）も含む。各ＣＵは、イントラモード、インターモード、またはＩＢＣモードのいずれかで符号化することができる。ビデオフレームのイントラ符号化（Ｉ）スライス内のビデオブロックは、同じビデオフレーム内の隣接ブロック内の参照サンプルに関する空間予測を使用して符号化される。ビデオフレームのインター符号化（ＰまたはＢ）スライス内のビデオブロックは、同じビデオフレーム内の隣接ブロック内の参照サンプルに関する空間予測、または他の以前および／または将来の参照ビデオフレーム内の参照サンプルに関する時間予測を使用することができる。

以前に符号化された参照ブロック、例えば、隣接ブロックに基づく空間的または時間的予測は、符号化されるべき現在のビデオブロックのための予測ブロックをもたらす。参照ブロックを見つけるプロセスは、ブロックマッチングアルゴリズムによって達成することができる。符号化される現在のブロックと予測ブロックとの間の画素差を表す残差データは、残差ブロックまたは予測誤差と呼ばれる。インター符号化されたブロックは、予測ブロックを形成する参照フレーム内の参照ブロック、および残差ブロックを指し示す動きベクトルに従って符号化される。動きベクトルを決定するプロセスは、典型的には動き推定と呼ばれる。イントラ符号化ブロックは、イントラ予測モード及び残差ブロックに従って符号化される。さらなる圧縮のために、残差ブロックは、画素領域から変換領域、例えば周波数領域に変換され、結果として残差変換係数が得られ、次いで、量子化され得る。量子化された変換係数は、まず、２次元アレイに配置され、変換係数の１次元ベクトルを生成するために走査され、次いで、ビデオビットストリームにエントロピー符号化されて、さらに多くの圧縮を達成することができる。

次いで、符号化されたビデオビットストリームはデジタルビデオ機能を有する別の電子装置によってアクセスされるか、または有線または無線で電子装置に直接送信されるように、コンピュータ可読記憶媒体（例えば、フラッシュメモリ）に保存される。次いで、電子デバイスはビットストリームから構文要素を得るために符号化ビデオビットストリームを構文解析し、ビットストリームから得られた構文要素に少なくとも部分的に基づいて符号化ビデオビットストリームから元のフォーマットにデジタルビデオデータを再構成することによって、ビデオ解凍（上述のビデオ圧縮とは反対の処理である）を実行し、再構成されたデジタルビデオデータを電子デバイスのディスプレイ上にレンダリングする。

高精細度から４Ｋ×２Ｋまたは８Ｋ×４Ｋに至るデジタルビデオ品質では、符号化／復号化されるビデオデータの量は指数関数的に増大する。復号化ビデオデータの画質を維持しつつ、ビデオデータをより効率的に符号化／復号化する方法が、常に問題となっている。

本願はビデオデータの符号化および復号化に関連する実装、さらに詳細には、パレットモードを用いたビデオの符号化および復号化のシステムおよび方法について説明する。

本願の第１態様によれば、ビデオデータを復号化する方法は、ビットストリームから、パレットモード符号化ブロックに対応するビデオデータを受信し、パレットモード符号化ブロックに関連するパラメータセットに含まれる情報から量子化パラメータ値を決定し、パレットモード符号化ブロックの量子化エスケープサンプルを識別し、量子化パラメータ値がしきい値よりも大きいという判定に従って、再構成エスケープサンプル値を取得するために、所定の式に従って量子化されたエスケープサンプルに対して逆量子化を実行し、量子化パラメータ値がしきい値以下であるという判定に従って、再構成エスケープサンプルを量子化エスケープサンプル値に設定する。

本願の第２態様によれば、電子機器は、１つ以上の処理ユニットと、メモリと、メモリに格納された複数のプログラムとを含む。プログラムは、１つ以上の処理ユニットによって実行されると、電子機器に、上述したようなビデオデータを復号化する方法を実行させる。

本願の第３態様によれば、非一時的コンピュータ可読記憶媒体は、１つ以上の処理ユニットを有する電子機器によって実行される複数のプログラムを記憶する。プログラムは、１つ以上の処理ユニットによって実行されると、電子機器に、上述したようなビデオデータを復号化する方法を実行させる。

本開示のいくつかの実装形態による例示的なビデオ符号化および復号化システムを示すブロック図である。 本開示のいくつかの実装形態による例示的なビデオエンコーダを示すブロック図である。 本開示のいくつかの実装形態による例示的なビデオデコーダを示すブロック図である。 本開示のいくつかの実装形態による、フレームが、異なるサイズおよび形状の複数のビデオブロックに、再帰的にどのように分割されるかを示すブロック図である。 本開示のいくつかの実装形態による、フレームが、異なるサイズおよび形状の複数のビデオブロックに、再帰的にどのように分割されるかを示すブロック図である。 本開示のいくつかの実装形態による、フレームが、異なるサイズおよび形状の複数のビデオブロックに、再帰的にどのように分割されるかを示すブロック図である。 本開示のいくつかの実装形態による、フレームが、異なるサイズおよび形状の複数のビデオブロックに、再帰的にどのように分割されるかを示すブロック図である。 本開示のいくつかの実装形態による、フレームが、異なるサイズおよび形状の複数のビデオブロックに、再帰的にどのように分割されるかを示すブロック図である。 本開示のいくつかの実装形態による、ビデオデータを符号化するためのパレットテーブルを決定し、使用する例を示すブロック図である。 本開示のいくつかの実装形態による、パレットベースのスキームを使用してビデオデータを復号化する技法をビデオデコーダが実装する例示的なプロセスを示すフローチャートである。

添付の図面は実施形態のさらなる理解を提供するために含まれ、本明細書に組み込まれ、本明細書の一部を構成し、説明された実施形態を示し、説明とともに、基礎となる原理を説明するのに役立つ。同様の参照符号は、対応する要素を指す。

特定の実施例を詳細に参照し、その例を添付の図面に示す。以下の詳細な説明では、本明細書で提示される主題の理解を助けるために、多数の非限定的な特定の詳細が記載される。しかし、当業者には、特許請求の範囲から逸脱することなく、様々な代替形態を使用することができ、主題はこれらの特定の詳細なしに実施することができることが明らかであろう。例えば、本明細書で提示される主題はデジタルビデオ機能を有する多くのタイプの電子デバイス上で実施され得ることが、当業者には明らかであろう。

図１は、本開示のいくつかの実装形態による、ビデオブロックを並列に符号化および復号化する例示的なシステム１０を示すブロック図である。図１に示すように、システム１０はソースデバイス１２を含み、ソースデバイス１２はデスティネーションデバイス１４によって後で復号化されるビデオデータを生成し、符号化する。ソースデバイス１２およびデスティネーションデバイス１４は、デスクトップまたはラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップボックス、デジタルテレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイスなどを含む、多種多様な電子デバイスのいずれかを備えることができる。一部の実装では、ソースデバイス１２及びデスティネーションデバイス１４は無線通信機能を備える。

ある実装では、デスティネーションデバイス１４がリンク１６を介して復号化される符号化ビデオデータを受信することができる。リンク１６は、符号化されたビデオデータをソースデバイス１２からデスティネーションデバイス１４に移動させることができる任意のタイプの通信媒体または装置を含むことができる。一例では、リンク１６は、ソースデバイス１２が符号化されたビデオデータをデスティネーションデバイス１４に直接リアルタイムで送信できるようにするための通信媒体を備えてもよい。符号化されたビデオデータは、無線通信プロトコルなどの通信規格に従って変調され、デスティネーションデバイス１４に送信されてもよい。通信媒体は、無線周波数（ＲＦ）スペクトル、または、１つまたは複数の物理的伝送線など、任意の無線または有線通信媒体を備えることができる。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、または、インターネットのようなグローバルネットワークなどのパケットベースのネットワークの一部を形成することができる。通信媒体は、ルータ、スイッチ、ベースステーション、またはソースデバイス１２からデスティネーションデバイス１４への通信を容易にするために有用であり得る任意の他の機器を含み得る。

他のいくつかの実装では、符号化されたビデオデータが出力インターフェイス２２からストレージデバイス３２に送信されてもよい。続いて、ストレージデバイス３２内の符号化されたビデオデータは、入力インターフェイス２８を介してデスティネーションデバイス１４によってアクセスされることができる。ストレージデバイス３２は、ハードドライブ、ブルーレイディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性又は不揮発性メモリ、又は符号化されたビデオデータを記憶する他の任意の適切なデジタル記憶媒体のような、様々な分散又はローカルアクセスデータ記憶媒体のいずれかを含むことができる。さらなる例では、ストレージデバイス３２は、ソースデバイス１２によって生成される符号化ビデオデータを保持することができるファイルサーバまたは別の中間ストレージデバイスに対応することができる。デスティネーションデバイス１４は、ストリーミング又はダウンロードを介してストレージデバイス３２から記憶されたビデオデータにアクセスすることができる。ファイルサーバは符号化されたビデオデータを記憶し、符号化されたビデオデータをデスティネーションデバイス１４に送信することができる任意のタイプのコンピュータであってもよい。例示的なファイルサーバは、ウェブサーバ、ＦＴＰサーバ、ＮＡＳ（ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）デバイス、またはローカルディスクドライブを含む。デスティネーションデバイス１４は、無線チャネル（例えば、Ｗｉ－Ｆｉ接続）、有線接続（例えば、ＤＳＬ、ケーブルモデム等）、又はファイルサーバに記憶された符号化ビデオデータにアクセスするのに適した両方の組み合わせを含む、任意の標準データ接続を介して符号化ビデオデータにアクセスすることができる。ストレージデバイス３２からの符号化されたビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、またはその両方の組み合わせであってもよい。

図１に示すように、ソースデバイス１２は、ビデオソース１８と、ビデオエンコーダ２０と、出力インターフェイス２２とを含む。ビデオソース１８はビデオキャプチャ装置、例えば、ビデオカメラ、以前キャプチャされたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェイス、および／またはソースビデオとしてコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、あるいはそのようなソースの組み合わせなどのソースを含むことができる。一例として、ビデオソース１８がセキュリティ監視システムのビデオカメラである場合、ソースデバイス１２およびデスティネーションデバイス１４は、カメラ付き電話またはビデオ電話を形成することができる。しかしながら、本願に記載されている実装は一般にビデオ符号化に適用可能であり、無線および／または有線アプリケーションに適用可能である。

キャプチャされた、事前キャプチャされた、またはコンピュータ生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化されたビデオデータは、ソースデバイス１２の出力インターフェイス２２を介してデスティネーションデバイス１４に直接送信されてもよい。符号化されたビデオデータは、復号化および／または再生のために、デスティネーションデバイス１４または他の装置によって後でアクセスされるように、ストレージデバイス３２に記憶することもできる。出力インターフェイス２２は、モデムおよび／または送信機をさらに含むことができる。

デスティネーションデバイス１４は、入力インターフェイス２８と、ビデオデコーダ３０と、ディスプレイデバイス３４とを含む。入力インターフェイス２８は受信機および／またはモデムを含み、リンク１６を介して符号化ビデオデータを受信することができる。リンク１６を介して通信されるか、またはストレージデバイス３２上に提供される符号化されたビデオデータは、ビデオデータを復号化する際にビデオデコーダ３０によって使用するためにビデオエンコーダ２０によって生成される様々な構文要素を含むことができる。このような構文要素は、通信媒体上で送信されるか、記憶媒体上に記憶されるか、またはファイルサーバに記憶される、符号化されたビデオデータ内に含まれてもよい。

一部の実装では、デスティネーションデバイス１４が統合ディスプレイデバイスとすることができるディスプレイデバイス３４と、デスティネーションデバイス１４と通信するように構成された外部ディスプレイデバイスとを含むことができる。ディスプレイデバイス３４は復号化されたビデオデータをユーザに表示し、液晶ディスプレイ、プラズマディスプレイ、有機発光ダイオード、または別のタイプのディスプレイデバイスのような様々なディスプレイデバイスのいずれかを含むことができる。

ビデオエンコーダ２０およびビデオデコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、パート１０、ＡＶＣ（Ａｄｖａｎｃｅｄ ｖｉｄｅｏ Ｃｏｄｉｎｇ）、またはそのような規格の拡張など、独自仕様または業界規格に従って動作することができる。本願は、特定のビデオ符号化／復号化規格に限定されず、他のビデオ符号化／復号化規格に適用可能であることを理解されたい。一般に、ソースデバイス１２のビデオエンコーダ２０は、これらの現在または将来の規格のいずれかに従ってビデオデータを符号化するように構成され得ることが企図される。同様に、一般に、デスティネーションデバイス１４のビデオデコーダ３０は、これらの現在または将来の規格のいずれかに従ってビデオデータを復号化するように構成され得ることも企図される。

ビデオエンコーダ２０およびビデオデコーダ３０はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組合せなど、様々な適切なエンコーダ回路のいずれかとして実装することができる。部分的にソフトウェアで実装される場合、電子デバイスは適切な非一時的コンピュータ可読媒体にソフトウェアの命令を格納し、本開示のビデオ符号化／復号化動作を実行するために１つまたは複数のプロセッサを使用してハードウェアで命令を実行することができる。ビデオエンコーダ２０およびビデオデコーダ３０のそれぞれは、１つまたは複数のエンコーダまたはデコーダに含まれてもよく、そのいずれも、それぞれの装置内の複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合されてもよい。

図２は、本願で説明されるいくつかの実装形態による例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックのイントラ予測符号化およびインター予測符号化を実行し得る。イントラ予測符号化は所与のビデオフレームまたはピクチャ内のビデオデータにおける空間冗長性を低減または除去するために、空間予測に依存する。インター予測符号化はビデオシーケンスの隣接するビデオフレームまたはピクチャ内のビデオデータにおける時間的冗長性を低減または除去するために、時間的予測に依存する。

図２に示すように、ビデオエンコーダ２０は、ビデオデータメモリ４０と、予測処理ユニット４１と、復号化ピクチャバッファ（ＤＰＢ）６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピー符号化ユニット５６とを含む。予測処理ユニット４１はさらに、動き推定ユニット４２、動き補償ユニット４４、分割部４５、イントラ予測処理ユニット４６、イントラブロックコピーユニット４８を有する。幾つかの実装形態では、ビデオエンコーダ２０はまた、逆量子化ユニット５８、逆変換処理ユニット６０、及びビデオブロック再構成のための加算器６２を含む。デブロッキングフィルタ（図示せず）を加算器６２とＤＰＢ６４との間に配置して、ブロック境界をフィルタリングして、再構成されたビデオからブロックノイズアーチファクトを除去することができる。インループフィルタ（図示せず）が、デブロッキングフィルタに加えて、加算器６２の出力をフィルタリングするために使用されてもよい。ビデオエンコーダ２０は固定また
はプログラマブルハードウェアユニットの形態をとることができ、あるいは、図示された固定またはプログラマブルハードウェアユニットのうちの１つまたは複数の間で分割されることができる。

ビデオデータメモリ４０は、ビデオエンコーダ２０の構成要素によって符号化されるビデオデータを記憶することができる。ビデオデータメモリ４０内のビデオデータは例えば、ビデオソース１８から取得することができる。ＤＰＢ６４はビデオエンコーダ２０によるビデオデータの符号化（例えば、イントラ予測符号化モードまたはインター予測符号化モード）に使用するための参照ビデオデータを格納するバッファである。ビデオデータメモリ４０およびＤＰＢ６４は、様々なメモリデバイスのいずれかによって形成することができる。様々な例では、ビデオデータメモリ４０がビデオエンコーダ２０の他の構成要素と共にオンチップであってもよく、またはこれらの構成要素に関してオフチップであってもよい。

図２に示すように、ビデオデータを受信した後、予測処理ユニット４１内の分割ユニット４５は、ビデオデータをビデオブロックに分割する。この分割はまた、ビデオフレームを、ビデオデータに関連付けられた４分木構造などの事前定義された分割構造に従って、スライス、タイル、または他のより大きな符号化ユニット（ＣＵ）に分割することを含むことができる。ビデオフレームは、複数のビデオブロック（またはタイルと呼ばれるビデオブロックのセット）に分割することができる。予測処理ユニット４１はエラー結果（例えば、符号化レート及び歪みレベル）に基づいて、現在のビデオブロックに対して、複数のイントラ予測符号化モードの１つ又は複数のインター予測符号化モードの１つのような、複数の可能な予測符号化モードの１つを選択することができる。予測処理ユニット４１は結果として生じるイントラ又はインター予測符号化ブロックを加算器５０に提供して、残差ブロックを生成し、続いて参照フレームの一部として使用するために符号化ブロックを再構成する加算器６２に提供することができる。予測処理ユニット４１はまた、動きベクトル、イントラモードインジケータ、分割情報、および他のそのような構文情報などの構文要素をエントロピー符号化ユニット５６に提供する。

現在のビデオブロックのための適切なイントラ予測符号化モードを選択するために、予測処理ユニット４１内のイントラ予測処理ユニット４６は空間予測を提供するために、符号化される現在のブロックと同じフレーム内の１つまたは複数の隣接ブロックに対して、現在のビデオブロックのイントラ予測符号化を実行し得る。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は時間予測を提供するために、１つまたは複数の参照フレーム内の１つまたは複数の予測ブロックに対する現在のビデオブロックのインター予測符号化を実行する。ビデオエンコーダ２０は、例えば、ビデオデータの各ブロックについて適切な符号化モードを選択するために、複数の符号化パスを実行することができる。

いくつかの実装形態では、動き推定ユニット４２がビデオフレームのシーケンス内の所定のパターンに従って、参照ビデオフレーム内の予測ブロックに対する現在のビデオフレーム内のビデオブロックの予測ユニット（ＰＵ）の変位を示す動きベクトルを生成することによって、現在のビデオフレームのインター予測モードを決定する。動き推定ユニット４２によって実行される動き推定は動きベクトルを生成するプロセスであり、動きベクトルは、ビデオブロックの動きを推定する。動きベクトルは、例えば、現在のフレーム（または他の符号化ユニット）内で符号化されている現在のブロックに対する、参照フレーム（または他の符号化ユニット）内の予測ブロックに対する、現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示し得る。所定のパターンは、シーケンス内のビデオフレームをＰフレームまたはＢフレームとして指定することができる。イントラＢＣユニット４８はインター予測のための動き推定ユニット４２による動きベクトルの決定に類似した方法で、イントラＢＣ符号化のためのベクトル、例えばブロックベクトルを決定することができ、又は、ブロックベクトルを決定するために動き推定ユニット４２を利用することができる。

予測ブロックは、ＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅ ｄｉｆｆｅｒｅｎｃｅ）、または他の差分メトリックによって決定され得る、画素差分に関して符号化されるべきビデオブロックのＰＵに密接に一致すると見なされる参照フレームのブロックである。いくつかの実装形態では、ビデオエンコーダ２０がＤＰＢ６４に格納された参照フレームのサブ整数画素位置の値を計算することができる。例えば、ビデオエンコーダ２０は、参照フレームの１／４画素位置、１／８画素位置、または他の分数画素位置の値を補間することができる。従って、動き推定ユニット４２は全画素位置及び分数画素位置に対して動き探索を行い、分数画素精度で動きベクトルを出力することができる。

動き推定ユニット４２は、ＰＵの位置を、それぞれがＤＰＢ６４に格納された１つまたは複数の参照フレームを識別する第１参照フレームリスト（Ｌｉｓｔ０）または第２参照フレームリスト（Ｌｉｓｔ１）から選択された参照フレームの予測ブロックの位置と比較することによって、インター予測符号化フレーム内のビデオブロックのＰＵの動きベクトルを計算する。動き推定ユニット４２は計算された動きベクトルを動き補償ユニット４４に送り、次いでエントロピー符号化ユニット５６に送る。

動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを含むことができる。現在のビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照フレームリストのうちの１つの、動きベクトルが指す予測ブロックを探し出し、ＤＰＢ６４から予測ブロックを取り出し、予測ブロックを加算器５０に伝送することができる。次いで、加算器５０は、動き補償ユニット４４によって提供される予測ブロックの画素値を、符号化されている現在のビデオブロックの画素値から差し引くことによって、画素差分値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差分値は、輝度又は彩度成分又はその両方を含むことができる。動き補償ユニット４４はまた、ビデオフレームのビデオブロックを復号化する際にビデオデコーダ３０によって使用されるために、ビデオフレームのビデオブロックに関連する構文要素を生成し得る。構文要素は例えば、予測ブロックを識別するために使用される動きベクトルを定義する構文要素、予測モードを示す任意のフラグ、または本明細書に記載する他の任意の構文情報を含むことができる。動き推定ユニット４２および動き補償ユニット４４は高度に統合されてもよいが、概念目的のために別々に図示されていることに留意されたい。

いくつかの実装形態ではイントラＢＣユニット４８が動き推定ユニット４２および動き補償ユニット４４に関連して上述したのと同様の方法でベクトルを生成し、予測ブロックをフェッチすることができるが、予測ブロックは符号化されている現在のブロックと同じフレーム内にあり、ベクトルは動きベクトルとは対照的にブロックベクトルと呼ばれる。特に、イントラＢＣユニット４８は、現在のブロックを符号化するために使用するイントラ予測モードを決定することができる。いくつかの例では、イントラＢＣユニット４８が例えば別個の符号化パスの間に、様々なイントラ予測モードを用いて現在のブロックを符号化し、レート歪み解析を通してそれらの性能をテストすることができる。次に、イントラＢＣユニット４８は種々の試験されたイントラ予測モードの中で、適切なイントラ予測モードを使用し、それに応じてイントラモードインジケータを生成することができる。例えば、イントラＢＣユニット４８は種々の試験されたイントラ予測モードに対してレート歪み解析を用いてレート歪み値を計算し、使用する適切なイントラ予測モードとして、試験されたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択することができる。レート歪み解析は一般に、符号化されたブロックと、符号化されたブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み（またはエラー）の量、ならびに符号化されたブロックを生成するために使用されるビットレート（すなわち、ビット数）を決定する。イントラＢＣユニット４８はどのイントラ予測モードがブロックのための最良のレート歪み値を示すかを決定するために、様々な符号化されたブロックのための歪みおよびレートから比率を計算することができる。

他の例では、イントラＢＣユニット４８が本明細書で説明される実装形態によるイントラＢＣ予測のためのそのような機能を実行するために、全体的にまたは部分的に、動き推定ユニット４２および動き補償ユニット４４を使用することができる。いずれの場合も、イントラブロックコピーの場合、予測ブロックはＳＡＤ（ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅ）、または他の差分メトリックによって決定され得る、画素差に関して、符号化されるブロックに密接に一致すると見なされるブロックであり得、予測ブロックの識別はサブ整数画素位置の値の計算を含み得る。

予測ブロックがイントラ予測に従って同じフレームからであるか、あるいはインター予測に従って異なるフレームからであるかにかかわらず、ビデオエンコーダ２０は、予測ブロックの画素値を、符号化されている現在のビデオブロックの画素値から差し引いて、画素差分値を形成することによって、残差ビデオブロックを形成することができる。残差ビデオブロックを形成する画素差分値は、輝度成分差分及び彩度差分の両方を含むことができる。

イントラ予測処理ユニット４６は上述したように、動き推定ユニット４２及び動き補償ユニット４４によって実行されるインター予測、又はイントラＢＣユニット４８によって実行されるイントラブロックコピー予測に代わるものとして、現在のビデオブロックをイントラ予測することができる。特に、イントラ予測処理ユニット４６は、現在のブロックを符号化するために使用するイントラ予測モードを決定することができる。そうするために、イントラ予測処理ユニット４６は例えば、別々の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化することができ、イントラ予測処理ユニット４６（または、いくつかの例ではモード選択ユニット）がテストされたイントラ予測モードから使用するための適切なイントラ予測モードを選択することができる。イントラ予測処理ユニット４６は、ブロックのための選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供することができる。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報をビットストリーム中に符号化することができる。

予測処理ユニット４１がインター予測またはイントラ予測のいずれかを介して現在のビデオブロックの予測ブロックを決定した後、加算器５０は、現在のビデオブロックから予測ブロックを減算することによって残差ビデオブロックを形成する。残差ブロック内の残差ビデオデータは１つまたは複数の変換ユニット（ＴＵ）に含めることができ、変換処理ユニット５２に供給される。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に同様な変換などの変換を使用して、残差ビデオデータを残差変換係数に変換する。

変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送ることができる。量子化ユニット５４は、変換係数を量子化してビットレートをさらに低減する。また、量子化プロセスは、係数の一部又は全てに関連するビット深度を低減することができる。量子化の度合いは、量子化パラメータを調整することによって修正されてもよい。いくつかの例では、量子化ユニット５４が次に、量子化変換係数を含む行列の走査を実行することができる。あるいは、エントロピー符号化ユニット５６が走査を実行してもよい。

量子化に続いて、エントロピー符号化ユニット５６は例えば、コンテキスト適応可変長符号化（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）、構文ベースのコンテキスト適応バイナリ算術符号化（ＳＢＡＣ）、確率間隔分割エントロピー（ＰＩＰＥ）符号化、または別のエントロピー符号化方法または技法を使用して、量子化された変換係数をビデオビットストリームにエントロピー符号化する。符号化されたビットストリームは次に、ビデオデコーダ３０に送信されてもよいし、又は、将来のビデオデコーダ３０への送信又は検索のためにストレージデバイス３２にアーカイブされてもよい。エントロピー符号化ユニット５６はまた、符号化されている現在のビデオフレームのための動きベクトルおよび他の構文要素をエントロピー符号化することができる。

逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用して、他のビデオブロックの予測のための参照ブロックを生成するための画素領域内の残差ビデオブロックを再構成する。上述のように、動き補償ユニット４４は、ＤＰＢ６４に記憶されたフレームの１つまたは複数の参照ブロックから動き補償予測ブロックを生成することができる。動き補償ユニット４４はまた、動き推定で使用するためのサブ整数画素値を計算するために、予測ブロックに１つまたは複数の補間フィルタを適用することができる。

加算器６２は、動き補償ユニット４４によって生成された動き補償予測ブロックに再構成された残差ブロックを追加して、ＤＰＢ６４に記憶するための参照ブロックを生成する。次いで、参照ブロックは、後続のビデオフレーム内の別のビデオブロックを予測するための予測ブロックとして、イントラＢＣユニット４８、動き推定ユニット４２および動き補償ユニット４４によって使用され得る。

図３は、本願のいくつかの実装形態による例示的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号化ユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、加算器９０、およびＤＰＢ９２を含む。予測処理ユニット８１はさらに、動き補償ユニット８２、イントラ予測処理ユニット８４、イントラＢＣユニット８５を有している。ビデオデコーダ３０は、図２に関連してビデオエンコーダ２０に関して上述した符号化プロセスとほぼ逆の復号化プロセスを実行することができる。例えば、動き補償ユニット８２はエントロピー復号化ユニット８０から受け取った動きベクトルに基づいて予測データを生成することができ、一方、イントラ予測ユニット８４は、エントロピー復号化ユニット８０から受け取ったイントラ予測モードインジケータに基づいて予測データを生成することができる。

いくつかの例では、ビデオデコーダ３０のユニットが本願の実装を実行するようにタスクを割り当てられてもよい。また、いくつかの例では、本開示の実装がビデオデコーダ３０のユニットのうちの１つまたは複数の間で分割され得る。例えば、イントラＢＣユニット８５は、単独で、または動き補償ユニット８２、イントラ予測処理ユニット８４、およびエントロピー復号化ユニット８０などのビデオデコーダ３０の他のユニットと組み合わせて、本願の実装を実行することができる。いくつかの例ではビデオデコーダ３０がイントラＢＣユニット８５を含んでいなくてもよく、イントラＢＣユニット８５の機能は動き補償ユニット８２のような予測処理ユニット８１の他の構成要素によって実行されてもよい。

ビデオデータメモリ７９はビデオデコーダ３０の他の構成要素によって復号化されるために、符号化されたビデオビットストリームなどのビデオデータを記憶することができる。ビデオデータメモリ７９に記憶されたビデオデータは例えば、ストレージデバイス３２から、カメラなどのローカルビデオソースから、ビデオデータの有線または無線ネットワーク通信を介して、または物理データ記憶媒体（例えば、フラッシュドライブまたはハードディスク）にアクセスすることによって、取得することができる。ビデオデータメモリ７９は、符号化ビデオビットストリームからの符号化ビデオデータを記憶する符号化ピクチャバッファ（ＣＰＢ）を含むことができる。ビデオデコーダ３０の復号化されたピクチャバッファ（ＤＰＢ）９２はビデオデコーダ３０によってビデオデータを（例えば、イントラまたはインター予測符号化モードで）復号化する際に使用するための参照ビデオデータを記憶するビデオデータメモリ７９およびＤＰＢ９２は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスを含む、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの様々なメモリデバイスのいずれかによって形成され得る。説明のために、ビデオデータメモリ７９およびＤＰＢ９２は、図３のビデオデコーダ３０の２つの別個の構成要素として示されている。しかしながら、当業者には、ビデオデータメモリ７９およびＤＰＢ９２が同じメモリデバイスまたは別個のメモリデバイスによって提供されてもよいことは明らかであろう。いくつかの例では、ビデオデータメモリ７９がビデオデコーダ３０の他の構成要素とオンチップであってもよく、またはそれらの構成要素に対してオフチップであってもよい。

復号化プロセスの間に、ビデオデコーダ３０は、符号化されたビデオフレームのビデオブロックおよび関連する構文要素を表す符号化されたビデオビットストリームを受信する。ビデオデコーダ３０は、ビデオフレームレベルおよび／またはビデオブロックレベルで構文要素を受信することができる。ビデオデコーダ３０のエントロピー復号化ユニット８０は、ビットストリームをエントロピー復号化して、量子化された係数、動きベクトルまたはイントラ予測モードインジケータ、および他の構文要素を生成する。次に、エントロピー復号化ユニット８０は、動きベクトルおよび他の構文要素を予測処理ユニット８１に転送する。

ビデオフレームがイントラ予測符号化（Ｉ）フレームとして、または他のタイプのフレーム中のイントラ符号化予測ブロックのために符号化される場合、予測処理ユニット８１のイントラ予測処理ユニット８４は、シグナリングされたイントラ予測モードと、現在のフレームの以前に復号化されたブロックからの参照データとに基づいて、現在のビデオフレームのビデオブロックのための予測データを生成し得る。

ビデオフレームがインター予測符号化（すなわち、ＢまたはＰ）フレームとして符号化されるとき、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号化ユニット８０から受信された動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロックのための１つまたは複数の予測ブロックを生成する。予測ブロックの各々は、参照フレームリストのうちの１つの中の参照フレームから生成され得る。ビデオデコーダ３０は、ＤＰＢ９２に記憶された参照フレームに基づくデフォルト構成技術を使用して、参照フレームリスト、リスト０およびリスト１を構成することができる。

いくつかの例ではビデオブロックが本明細書で説明されるイントラＢＣモードに従って符号化される場合、予測処理ユニット８１のイントラＢＣユニット８５はエントロピー復号化ユニット８０から受信されるブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックのための予測ブロックを生成する。予測ブロックは、ビデオエンコーダ２０によって定義された現在のビデオブロックと同じピクチャの再構成された領域内にあってもよい。

動き補償ユニット８２および／またはイントラＢＣユニット８５は動きベクトルおよび他の構文要素を構文解析することによって、現在のビデオフレームのビデオブロックの予測情報を決定し、次いで、その予測情報を使用して、復号化されている現在のビデオブロックの予測ブロックを生成する。例えば、動き補償ユニット８２は受信した構文要素のうちのいくつかを使用して、ビデオフレームのビデオブロックを符号化するために使用される予測モード（例えば、イントラ予測またはインター予測）、インター予測フレームタイプ（例えば、ＢまたはＰ）、フレームのための参照フレームリストのうちの１つまたは複数のための構成情報、フレームの各インター予測符号化ビデオブロックのための動きベクトル、フレームの各インター予測符号化ビデオブロックのためのインター予測ステータス、および現在のビデオフレーム中のビデオブロックを復号化するための他の情報を決定する。

同様に、イントラＢＣユニット８５は受信した構文要素のいくつか、例えばフラグを使用して、現在のビデオブロックがイントラＢＣモードを使用して予測されたこと、フレームのどのビデオブロックが再構成領域内にあり、ＤＰＢ９２に格納されるべきであるとの構成情報、フレームの各イントラＢＣ予測ビデオブロックのブロックベクトル、フレームの各イントラＢＣ予測ビデオブロックのイントラＢＣ予測ステータス、および現在のビデオフレーム内のビデオブロックを復号化するための他の情報を決定することができる。

また、動き補償ユニット８２はビデオブロックの符号化中にビデオエンコーダ２０によって使用されるような補間フィルタを使用して補間を実行し、参照ブロックのサブ整数画素に対する補間値を計算してもよい。この場合、動き補償ユニット８２は受信した構文要素からビデオエンコーダ２０によって使用される補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成することができる。

逆量子化ユニット８６は、ビデオフレーム内の各ビデオブロックに対してビデオエンコーダ２０によって計算された同じ量子化パラメータを使用して、エントロピー復号化ユニット８０によって復号されたビットストリームおよびエントロピーに提供された量子化された変換係数を逆量子化して、量子化の程度を決定する。逆変換処理ユニット８８は画素領域内の残差ブロックを再構成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、または概念的に類似した逆変換処理を変換係数に適用する。

動き補償ユニット８２またはイントラＢＣユニット８５がベクトルおよび他の構文要素に基づいて現在のビデオブロックのための予測ブロックを生成した後、加算器９０は、逆変換処理ユニット８８からの残差ブロックと、動き補償ユニット８２およびイントラＢＣユニット８５によって生成された対応する予測ブロックとを加算することによって、現在のビデオブロックのための復号化されたビデオブロックを再構成する。インループフィルタ（図示せず）を加算器９０とＤＰＢ９２との間に配置して、復号化されたビデオブロックをさらに処理することができる。所定のフレーム内の復号化されたビデオブロックは、次のビデオブロックの後続の動き補償のために使用される参照フレームを格納するＤＰＢ９２に格納される。ＤＰＢ９２、またはＤＰＢ９２とは別個のメモリデバイスは図１のディスプレイデバイス３４のようなディスプレイデバイス上に後で提示するために、復号化されたビデオを記憶することもできる。

典型的なビデオ符号化プロセスでは、ビデオシーケンスが典型的にはフレームまたはピクチャの順序付けられたセットを含む。各フレームは、ＳＬ、ＳＣｂ、およびＳＣｒで示される３つのサンプルアレイを含むことができる。ＳＬは、輝度サンプルの２次元アレイである。ＳＣｂは、Ｃｂ彩度サンプルの２次元アレイである。ＳＣｒは、Ｃｒ彩度サンプルの２次元アレイである。他の例では、フレームは単色であってもよく、したがって、輝度サンプルの１つの２次元アレイのみを含む。

図４Ａに示すように、ビデオエンコーダ２０（またはより具体的には分割ユニット４５）は、最初にフレームを符号化ツリーユニット（ＣＴＵ）セットに分割することによって、フレームの符号化表現を生成する。ビデオフレームは、左から右へ、および上から下へのラスタ走査順序で連続的に順序付けられた整数個のＣＴＵを含むことができる。各ＣＴＵは最大の論理符号化単位であり、ＣＴＵの幅および高さは、ビデオシーケンス内のすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２、および１６×１６のうちの１つと同じサイズを有するように、シーケンスパラメータセットでビデオエンコーダ２０によってシグナリングされる。しかし、本願は、必ずしも特定のサイズに限定されないことに留意されたい。図４Ｂに示すように、各ＣＴＵは、輝度サンプルの１つの符号化ツリーブロック（ＣＴＢ）、彩度サンプルの２つの対応する符号化ツリーブロック、および符号化ツリーブロックのサンプルを符号化するために使用される構文要素を備えることができる。構文要素は、インターまたはイントラ予測、イントラ予測モード、動きベクトル、および他のパラメータを含む、画素の符号化ブロックの異なるタイプのユニットのプロパティ、およびビデオシーケンスがビデオデコーダ３０においてどのように再構成され得るかを記述する。モノクロピクチャまたは３つの別々のカラープレーンを有するピクチャでは、ＣＴＵが単一の符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するために使用される構文要素とを備えることができる。符号化ツリーブロックは、サンプルのＮ×Ｎブロックであってもよい。

より良好な性能を達成するために、ビデオエンコーダ２０はＣＴＵの符号化ツリーブロック上で、２分木分割、３分木分割、４分木分割、または両方の組合せなどのツリー分割を再帰的に実行し、ＣＴＵをより小さい符号化単位（ＣＵ）に分割することができる。図４Ｃに示すように、６４×６４ＣＴＵ４００は、まず、各々が３２×３２のブロックサイズを有する４つのより小さなＣＵに分割される。４つのより小さいＣＵの中で、ＣＵ４１０およびＣＵ４２０は、それぞれ、ブロックサイズによって１６×１６の４つのＣＵに分割される。２つの１６×１６ＣＵ４３０および４４０はそれぞれ、ブロックサイズによって８×８の４つのＣＵにさらに分割される。図４Ｄは図４Ｃに示されるようなＣＴＵ４００の分割プロセスの最終結果を示す４分木データ構造を示し、４分木の各リーフノードは、３２×３２から８×８の範囲のそれぞれのサイズの１つのＣＵに対応する。図４Ｂに示すＣＴＵと同様に、各ＣＵは、輝度サンプルの符号化ブロック（ＣＢ）と、同じサイズのフレームの彩度サンプルの２つの対応する符号化ブロックと、符号化ブロックのサンプルを符号化するために使用される構文要素とを備えることができる。モノクロピクチャまたは３つの別々のカラープレーンを有するピクチャでは、ＣＵが単一の符号化ブロックと、符号化ブロックのサンプルを符号化するために使用される構文構造とを備えることができる。図４Ｃおよび図４Ｄに示された４分木分割は例示の目的のためだけのものであり、１つのＣＴＵをＣＵに分割して、４分木／３分木／２分木分割に基づいて様々なローカル特性に適応させることができることに留意されたい。マルチタイプツリー構造では１つのＣＴＵが４分木構造によって分割され、各４分木リーフＣＵは２分木構造および３分木構造によってさらに分割することができる。図４Ｅに示すように、５つの分割タイプ、すなわち、４分木分割、水平２分木分割、垂直２分木分割、水平３分木分割、および垂直３分木分割がある。

いくつかの実装形態では、ビデオエンコーダ２０がＣＵの符号化ブロックを１つまたは複数のＭ×Ｎ予測ブロック（ＰＢ）にさらに分割することができる。予測ブロックは、同じ予測、インターまたはイントラが適用されるサンプルの矩形（正方形または非正方形）ブロックである。ＣＵの予測ユニット（ＰＵ）は、輝度サンプルの予測ブロックと、彩度サンプルの２つの対応する予測ブロックと、予測ブロックを予測するために使用される構文要素とを備え得る。モノクロピクチャまたは３つの別個のカラープレーンを有するピクチャでは、ＰＵが単一の予測ブロックと、予測ブロックを予測するために使用される構文構造とを備えることができる。ビデオエンコーダ２０は、ＣＵの各ＰＵの輝度、Ｃｂ、およびＣｒ予測ブロックについて、予測輝度、Ｃｂ、およびＣｒブロックを生成することができる。

ビデオエンコーダ２０はＰＵに対する予測ブロックを生成するために、イントラ予測またはインター予測を使用してもよい。ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにイントラ予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連するフレームの復号化されたサンプルに基づいて、ＰＵの予測ブロックを生成し得る。ビデオエンコーダ２０がＰＵの予測ブロックを生成するためにインター予測を使用する場合、ビデオエンコーダ２０は、ＰＵに関連するフレーム以外の１つまたは複数のフレームの復号化サンプルに基づいて、ＰＵの予測ブロックを生成し得る。

ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵのための予測輝度、Ｃｂ、およびＣｒブロックを生成した後、ビデオエンコーダ２０は、ＣＵの輝度残差ブロック内の各サンプルがＣＵの予測輝度ブロックのうちの１つ内の輝度サンプルと、ＣＵの元の輝度符号化ブロック内の対応するサンプルとの間の差を示すように、元の輝度符号化ブロックからＣＵの予測輝度ブロックを減算することによって、ＣＵのための輝度残差ブロックを生成し得る。同様に、ビデオエンコーダ２０は、ＣＵのＣｂ残差ブロック内の各サンプルがＣＵの予測Ｃｂブロックのうちの１つ内のＣｂサンプルと、ＣＵの元のＣｂ符号化ブロック内の対応するサンプルとの間の差を示し、ＣＵのＣｒ残差ブロック内の各サンプルがＣＵの予測Ｃｒブロックのうちの１つ内のＣｒサンプルと、ＣＵの元のＣｒ符号化ブロック内の対応するサンプルとの間の差を示し得るように、ＣＵのためのＣｂ残差ブロックおよびＣｒ残差ブロックをそれぞれ生成し得る。

さらに、図４Ｃに示すように、ビデオエンコーダ２０はＣＵの輝度、Ｃｂ、およびＣｒ残差ブロックを１つまたは複数の輝度、Ｃｂ、およびＣｒ変換ブロックに分解するために、４分木分割を使用してもよい。変換ブロックは、同じ変換が適用されるサンプルの矩形（正方形または非正方形）ブロックである。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロックと、彩度サンプルの２つの対応する変換ブロックと、変換ブロックサンプルを変換するために使用される構文要素とを備え得る。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに関連付けられ得る。いくつかの例では、ＴＵに関連する輝度変換ブロックがＣＵの輝度残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであってもよい。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであってもよい。モノクロピクチャまたは３つの別々のカラープレーンを有するピクチャでは、ＴＵが単一の変換ブロックと、変換ブロックのサンプルを変換するために使用される構文構造とを備えることができる。

ビデオエンコーダ２０は、ＴＵの輝度変換ブロックに１つ以上の変換を適用して、ＴＵの輝度係数ブロックを生成することができる。係数ブロックは、変換係数の２次元配列であってもよい。変換係数は、スカラー量であってもよい。ビデオエンコーダ２０は、ＴＵのＣｂ変換ブロックに１つまたは複数の変換を適用して、ＴＵのＣｂ係数ブロックを生成することができる。ビデオエンコーダ２０は、ＴＵのＣｒ変換ブロックに１つ以上の変換を適用して、ＴＵ用のＣｒ係数ブロックを生成することができる。

係数ブロック（例えば、輝度係数ブロック、Ｃｂ係数ブロックまたはＣｒ係数ブロック）を生成した後、ビデオエンコーダ２０は、係数ブロックを量子化することができる。量子化とは、一般に、変換係数が量子化されて、変換係数を表現するために使用されるデータの量がおそらく減少し、さらなる圧縮が提供されるプロセスを指す。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数を示す構文要素をエントロピー符号化することができる。例えば、ビデオエンコーダ２０は、量子化された変換係数を示す構文要素に対して、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）を実行することができる。最後に、ビデオエンコーダ２０は符号化されたフレームと関連データの表現を形成するビット列を含むビットストリームを出力することができ、これは、ストレージデバイス３２に保存されるか、またはデスティネーションデバイス１４に送信されるかのいずれかである。

ビデオエンコーダ２０によって生成されたビットストリームを受信した後、ビデオデコーダ３０はビットストリームを解析してビットストリームから構文要素を得ることができる。ビデオデコーダ３０は、ビットストリームから得られた構文要素に少なくとも部分的に基づいて、ビデオデータのフレームを再構成してもよい。ビデオデータを再構成するプロセスは一般に、ビデオエンコーダ２０によって実行される符号化プロセスと逆である。例えば、ビデオデコーダ３０は、現在のＣＵのＴＵに関連付けられた係数ブロックに対して逆変換を実行して、現在のＣＵのＴＵに関連付けられた残差ブロックを再構成することができる。ビデオデコーダ３０はまた、現在のＣＵのＰＵのための予測ブロックのサンプルを、現在のＣＵのＴＵの変換ブロックの対応するサンプルに加算することによって、現在のＣＵの符号化ブロックを再構成する。フレームの各ＣＵについて符号化ブロックを再構成した後、ビデオデコーダ３０は、フレームを再構成することができる。

上述のように、ビデオ符号化は主に２つのモード、すなわち、イントラフレーム予測（またはイントラ予測）およびインターフレーム予測（またはインター予測）を使用してビデオ圧縮を達成する。パレットベースの符号化は、多くのビデオ符号化規格によって採用されている別の符号化方式である。画面生成コンテンツ符号化に特に適し得るパレットベースの符号化ではビデオコーダ（例えば、ビデオエンコーダ２０またはビデオデコーダ３０）は所与のブロックのビデオデータを表す色のパレットテーブルを形成する。パレットテーブルは所与のブロック内の最も優勢な（例えば、頻繁に使用される）画素値を含む。指定されたブロックのビデオデータで頻繁に表現されない画素値は、パレットテーブルに含まれないか、エスケープカラーとしてパレットテーブルに含まれる。

パレットテーブルの各エントリには、パレットテーブルの対応する画素値のインデックスが含まれる。ブロック内のサンプルに対するパレットインデックスは、パレットテーブルからのどのエントリがどのサンプルを予測または再構成するために使用されるかを示すために符号化されてもよい。このパレットモードは、ピクチャ、スライス、タイル、またはその他のビデオブロックのグループ化の最初のブロックのパレット予測子を生成するプロセスから始まる。以下に説明するように、後続のビデオブロックのパレット予測子は、典型的には以前に使用されたパレット予測子を更新することによって生成される。説明のために、パレット予測子は画像レベルで定義されると仮定される。言い換えると、ピクチャはそれぞれが独自のパレットテーブルを有する複数の符号化ブロックを含むことができるが、ピクチャ全体に対する１つのパレット予測子が存在する。

ビデオビットストリーム内のパレットエントリのシグナリングに必要なビットを減らすために、ビデオデコーダは、ビデオブロックの再構成に使用されるパレットテーブル内の新しいパレットエントリを決定するためのパレット予測子を利用することができる。例えば、パレット予測子は以前に使用されたパレットテーブルからのパレットエントリを含むことができ、あるいは最後に使用されたパレットテーブルの全てのエントリを含むことによって、最後に使用されたパレットテーブルで開始されることさえできる。一部の実装では、パレット予測子が最後に使用されたパレットテーブルからのすべてのエントリより少ないエントリを含み、その後、他の以前に使用されたパレットテーブルからのいくつかのエントリを組み込むことができる。パレット予測子は、異なるブロックを符号化するために使用されるパレットテーブルと同じサイズを有してもよく、あるいは異なるブロックを符号化するために使用されるパレットテーブルよりも大きくても小さくてもよい。１つの例では、パレット予測子が６４のパレットエントリを含む先入れ先出し（ＦＩＦＯ）テーブルとして実装されている。

パレット予測子からビデオデータのブロックのパレットテーブルを生成するために、ビデオデコーダは符号化されたビデオビットストリームから、パレット予測子の各エントリに対して１ビットのフラグを受信することができる。１ビットフラグはパレット予測子の関連するエントリがパレットテーブルに含まれることを示す第１値（例えば、バイナリ１）、またはパレット予測子の関連するエントリがパレットテーブルに含まれないことを示す第２値（例えば、バイナリ０）を有することができる。パレット予測子のサイズがビデオデータのブロックに使用されるパレットテーブルより大きい場合、ビデオデコーダは、パレットテーブルの最大サイズに達すると、より多くのフラグの受信を停止することがある。

一部の実装では、パレットテーブルの一部のエントリがパレット予測子を使用して決定される代わりに、符号化されたビデオビットストリーム内で直接シグナリングされてもよい。このようなエントリの場合、ビデオデコーダは、符号化されたビデオビットストリームから、エントリに関連する輝度成分と彩度成分の画素値を示す３つの別々のｍビット値を受け取ることができる（ｍはビデオデータのビット深度を表す）。直接シグナリングされたパレットエントリに必要な複数のｍビット値と比較して、パレット予測子から派生したそれらのパレットエントリは、１ビットフラグのみを必要とする。したがって、パレット予測子を使用していくつかのまたはすべてのパレットエントリをシグナリングすることは、新しいパレットテーブルのエントリをシグナリングするために必要とされるビット数を大幅に低減することができ、それによってパレットモード符号化の全体的な符号化効率を改善する。

多くの場合、１つのブロックのパレット予測子は、以前に符号化された１つ以上のブロックを符号化するために使用されるパレットテーブルに基づいて決定される。しかし、ピクチャ、スライス、またはタイル内の最初の符号化ツリーユニットを符号化するとき、以前に符号化されたブロックのパレットテーブルは利用できないことがある。したがって、以前に使用したパレットテーブルのエントリを使用してパレット予測子を生成することはできない。このような場合、パレット予測子イニシャライザのシーケンスはシーケンスパラメータセット（ＳＰＳ）および／またはピクチャパラメータセット（ＰＰＳ）でシグナリングされることがあり、これは、以前に使用されたパレットテーブルが利用できないときにパレット予測子を生成するために使用される値である。ＳＰＳは一般に、各スライスセグメントヘッダに見られる構文要素によって参照されるＰＰＳに見られる構文要素の内容によって決定される、符号化ビデオシーケンス（ＣＶＳ）と呼ばれる一連の連続符号化ビデオ画像に適用される構文要素の構文構造を指す。ＰＰＳは一般に、各スライスセグメントヘッダに見られる構文要素によって決定されるように、ＣＶＳ内の１つ以上の個々のピクチャに適用される構文要素の構文構造を指す。それゆえ、ＳＰＳは一般に、ＰＰＳより高いレベルの構文構造と見なされ、ＳＰＳに含まれる構文要素は一般に、ＰＰＳに含まれる構文要素と比較して、あまり頻繁に変更されず、ビデオデータのより大きな部分に適用されることを意味する。

図５は本開示のいくつかの実装形態による、ピクチャ５００内のビデオデータを符号化するためのパレットテーブルを決定し、使用する例を示すブロック図である。ピクチャ５００は、第１パレットテーブル５２０に関連する第１ブロック５１０と、第２パレットテーブル５４０に関連する第２ブロック５３０とを含む。第２ブロック５３０は第１ブロック５１０の右側にあるので、第２パレットテーブル５４０は第１パレットテーブル５２０に基づいて決定されてもよい。パレット予測子５５０は画像５００に関連付けられ、第１パレットテーブル５２０からゼロ個以上のパレットエントリを収集し、第２パレットテーブル５４０内にゼロ個以上のパレットエントリを構築するために使用される。図５に示される様々なブロックは上述のようなＣＴＵ、ＣＵ、ＰＵ、またはＴＵに対応することができ、ブロックは、任意の特定の符号化規格のブロック構造に限定されず、将来のブロックベースの符号化規格と互換性があり得ることに留意されたい。

一般に、パレットテーブルは現在符号化されているブロック（例えば、図５のブロック５１０または５３０）において支配的なおよび／または代表的な多数の画素値を含む。いくつかの例ではビデオコーダ（たとえば、ビデオエンコーダ２０またはビデオデコーダ３０）はブロックの各彩度について別々にパレットテーブルを符号化することができる。例えば、ビデオエンコーダ２０は、ブロックの輝度成分のためのパレットテーブル、ブロックの彩度Ｃｂ成分のための別のパレットテーブル、およびブロックの彩度Ｃｒ成分のためのさらに別のパレットテーブルを符号化することができる。この場合、第１パレットテーブル５２０及び第２パレットテーブル５４０は、それぞれ複数のパレットテーブルとなってもよい。他の例では、ビデオエンコーダ２０がブロックのすべての彩度について単一のパレットテーブルを符号化することができる。この場合、パレットテーブルのｉ番目のエントリは（Ｙｉ、Ｃｂｉ、Ｃｒｉ）の３つの値であり、各値は画素の１つの成分に対応する。したがって、第１パレットテーブル５２０および第２パレットテーブル５４０の表現は一例にすぎず、限定するものではない。

本明細書で説明するように、第１ブロック５１０の実際の画素値を直接符号化するのではなく、ビデオコーダ（ビデオエンコーダ２０またはビデオデコーダ３０など）は、パレットベースの符号化方式を使用して、インデックスＩ１、…、ＩＮを使用して第１ブロック５１０の画素を符号化することができる。例えば、第１ブロック５１０内の各画素について、ビデオエンコーダ２０は画素のインデックス値を符号化することができ、インデックス値は、第１パレットテーブル５２０内の画素値に関連付けられる。ビデオエンコーダ２０は第１パレットテーブル５２０を符号化し、デコーダ側でパレットベースの復号化のためにビデオデコーダ３０によって使用される符号化されたビデオデータビットストリームでそれを送信することができる。一般に、１つ以上のパレットテーブルは、ブロックごとに送信されてもよく、または異なるブロック間で共有されてもよい。ビデオデコーダ３０はビデオエンコーダ２０によって生成されたビデオビットストリームからインデックス値を取得し、第１パレットテーブル５２０内のインデックス値の対応する画素値を使用して画素値を再構成することができる。換言すれば、ブロックに対するそれぞれのインデックス値に対して、ビデオデコーダ３０は、第１パレットテーブル５２０内のエントリを決定してもよい。次いで、ビデオデコーダ３０は、ブロック内のそれぞれのインデックス値を、第１パレットテーブル５２０内の決定されたエントリによって指定された画素値で置き換える。

いくつかの実装形態ではビデオコーダ（たとえば、ビデオエンコーダ２０またはビデオデコーダ３０）はピクチャ５００に関連するパレット予測子５５０に少なくとも部分的に基づいて、第２パレットテーブル５４０を決定する。パレット予測子５５０は第１パレットテーブル５２０のエントリの一部または全部を含み、他のパレットテーブルからのエントリも含み得る。いくつかの例ではパレット予測子５５０が先入れ先出しテーブルを使用して実装され、ここで、第１パレットテーブル５２０のエントリをパレット予測子５５０に追加すると、パレット予測子５５０内の現在最も古いエントリはパレット予測子５５０を最大サイズ以下に保つために追い出される。他の例では、異なる技法を使用して、パレット予測子５５０を更新および／または維持することができる。

一例では、ビデオエンコーダ２０がブロック（例えば、第２ブロック５３０）ごとにｐｒｅｄ＿ｐａｌｅｔｔｅ＿ｆｌａｇを符号化して、ブロックのパレットテーブルが隣接ブロック５１０のような１つ以上の他のブロックに関連付けられた１つ以上のパレットテーブルから予測されるかどうかを示すことができる。例えば、このようなフラグの値がバイナリである場合、ビデオデコーダ３０は、第２ブロック５３０の第２パレットテーブル５４０が１つ以上の以前に復号化されたパレットテーブルから予測され、したがって、第２ブロック５４０のための新しいパレットテーブルがｐｒｅｄ＿ｐａｌｅｔｔｅ＿ｆｌａｇを含むビデオビットストリームに含まれないことを決定してもよい。このようなフラグがバイナリゼロである場合、ビデオデコーダ３０は、第２ブロック５３０の第２パレットテーブル５４０が新しいパレットテーブルとしてビデオビットストリームに含まれていると判定してもよい。いくつかの例では、ｐｒｅｄ＿ｐａｌｅｔｔｅ＿ｆｌａｇがブロックの異なる彩度ごとに別々に符号化され得る（例えば、ＹＣｂＣｒ空間内のビデオブロックについて、１つはＹ、１つはＣｂ、１つはＣｒの３つのフラグ）。他の例では、単一のｐｒｅｄ＿ｐａｌｅｔｔｅ＿ｆｌａｇをブロックのすべての彩度に対して符号化してもよい。

上記の例では、ｐｒｅｄ＿ｐａｌｅｔｔｅ＿ｆｌａｇはブロックごとにシグナリングされ、現在のブロックのパレットテーブルのすべてのエントリが予測されることを示している。これは、第２パレットテーブル５４０は第１パレットテーブル５２０と同一であり、付加情報はシグナリングされないことを意味する。他の例では、一つ以上の構文要素がエントリ毎にシグナリングされることがある。すなわち、フラグはそのエントリが現在のパレットテーブルの中に存在するか否かを示すために、前のパレットテーブルの各エントリに対してシグナリングすることができる。パレットエントリが予測されない場合、パレットエントリは明示的にシグナリングされてもよい。他の例では、これらの２つの方法を組み合わせることができる。

第１のパレットテーブル５２０に従って第２のパレットテーブル５４０を予測するとき、ビデオエンコーダ２０および／またはビデオデコーダ３０は、予測パレットテーブルが決定されるブロックを突き止めることができる。予測パレットテーブルは、現在符号化されているブロック、すなわち第２ブロック５３０の１つ以上の隣接するブロックに関連付けられてもよい。図５に示すように、ビデオエンコーダ２０および／またはビデオデコーダ３０は第２ブロック５３０の予測パレットテーブルを決定するときに、左隣接ブロック、すなわち第１ブロック５１０を突き止めることができる。他の例では、ビデオエンコーダ２０及び／又はビデオデコーダ３０がピクチャ５００内の上部ブロックのような、第２ブロック５３０に対して他の位置に１つ以上のブロックを配置することができる。別の例では、パレットモードを使用した走査順序における最後のブロックのパレットテーブルを、第２ブロック５３０の予測パレットテーブルとして使用することができる。

ビデオエンコーダ２０および／またはビデオデコーダ３０は、ブロック位置の所定の順序に従ってパレット予測のためのブロックを決定することができる。例えば、ビデオエンコーダ２０および／またはビデオデコーダ３０はパレット予測のために、最初に左隣接ブロック、すなわち第１ブロック５１０を識別することができる。左隣接ブロックが予測に利用可能でない場合（例えば、左隣接ブロックがイントラ予測モードまたはインター予測モードなどのパレットベースの符号化モード以外のモードで符号化されるか、またはピクチャまたはスライスの最左端に位置する場合）、ビデオエンコーダ２０および／またはビデオデコーダ３０は、ピクチャ５００内の上側の隣接ブロックを識別することができる。ビデオエンコーダ２０および／またはビデオデコーダ３０は、パレット予測に利用可能なパレットテーブルを有するブロックを見つけるまで、ブロック位置の所定の順序に従って利用可能なブロックを探索し続けることができる。いくつかの例では、ビデオエンコーダ２０および／またはビデオデコーダ３０が１つまたは複数の式、関数、規則などを適用して、１つまたは複数の隣接ブロックのパレットテーブルに基づいて、または複数の隣接ブロックの組合せに基づいて（空間的にまたは走査順に）予測パレットテーブルを生成することによって、隣接ブロックの複数のブロックおよび／または再構成されたサンプルに基づいて予測パレットを決定することができる。一例では１つ以上の以前に符号化された隣接ブロックからのパレットエントリを含む予測パレットテーブルがエントリ数、Ｎを含む。この場合、ビデオエンコーダ２０はまず、予測パレットテーブルと同じサイズ、すなわちサイズＮを有するバイナリベクトルＶをビデオデコーダ３０に送信する。バイナリベクトルの各エントリは、予測パレットテーブルの対応するエントリが再利用されるか、現在のブロックのパレットテーブルにコピーされるかを示す。たとえば、Ｖ（ｉ）＝１は、隣接ブロックの予測パレットテーブルのｉ番目のエントリが現在のブロックのパレットテーブルに再利用またはコピーされることを意味する。現在のブロックには別のインデックスがある場合がある。

さらに他の例では、ビデオエンコーダ２０および／またはビデオデコーダ３０がパレット予測のための多数の潜在的な候補を含む候補リストを構築することができる。このような例では、ビデオエンコーダ２０がパレット予測に使用される現在のブロックが選択されるリスト内の候補ブロックを示すために、候補リストへのインデックスを符号化することができる。ビデオデコーダ３０は同じ方法で候補リストを構築し、インデックスを復号化し、復号化されたインデックスを使用して、現在のブロックと共に使用するために対応するブロックのパレットを選択することができる。別の例では、リスト内の指示された候補ブロックのパレットテーブルを、現在のブロックのパレットテーブルのエントリごとの予測用パレットテーブルとして使用することができる。

いくつかの実装では、１つ以上の構文要素が第２パレットテーブル５４０のようなパレットテーブルが予測パレット（例えば、１つ以上の以前に符号化されたブロックからのエントリから構成されることがある第１パレットテーブル５２０）から完全に予測されるか、または第２パレットテーブル５４０の特定のエントリが予測されるかを示すことができる。例えば、初期構文要素は、第２パレットテーブル５４０内のエントリのすべてが予測されるかどうかを示すことができる。すべてのエントリが予測されるわけではないことを初期構文要素が示す場合（例えば、バイナリゼロの値を有するフラグ）、１つ以上の追加の構文要素は、第２パレットテーブル５４０のどのエントリが予測パレットテーブルから予測されるかを示すことができる。

一部の実装ではパレットテーブルのサイズ、例えばパレットテーブルに含まれる画素値の数に関しては固定されていてもよいし、符号化ビットストリーム内の１つ以上の構文要素を使用してシグナリングされてもよい。

いくつかの実装形態では、ビデオエンコーダ２０がパレットテーブル内の画素値をビデオデータの対応するブロック内の実際の画素値に正確に一致させることなく、ブロックの画素を符号化することができる。例えば、ビデオエンコーダ２０およびビデオデコーダ３０はエントリの画素値が互いに所定の範囲内にあるときに、パレットテーブル内の異なるエントリをマージまたは結合（すなわち、量子化）することができる。換言すれば、新たな画素値の誤差マージン内にある既存の画素値が既に存在する場合、新たな画素値はパレットテーブルに追加されず、新たな画素値に対応するブロック内のサンプルは既存の画素値のインデックスで符号化される。損失符号化のこのプロセスは、ビデオデコーダ３０の動作に影響を及ぼさないことに注意されたい。ビデオデコーダが特定のパレットテーブルが無損失であるか損失であるかにかかわらず、同じ方法で画素値を復号化することができる。

いくつかの実装形態では、ビデオエンコーダ２０がパレットテーブル内のエントリを、ブロック内の画素値を符号化するための予測画素値として選択することができる。次のビデオエンコーダ２０は実際の画素値と選択されたエントリとの間の差を残差として決定し、残差を符号化することができる。ビデオエンコーダ２０はパレットテーブル内のエントリによって予測されるブロック内の画素についての残差値を含む残差ブロックを生成し、次いで、（図２に関連して上述したように）変換および量子化を残差ブロックに適用することができる。このようにして、ビデオエンコーダ２０は、量子化残差変換係数を生成することができる。別の例では、残差ブロックは無損失に（変換および量子化なしに）または変換なしに符号化されてもよい。ビデオデコーダ３０は残差ブロックを再現するために変換係数を逆変換し、逆量子化し、次いで、予測パレット入力値と画素値に対する残差値とを用いて画素値を再構成することができる。

いくつかの実装形態では、ビデオエンコーダ２０がパレットテーブルを構築するために、デルタ値と呼ばれるエラーしきい値を決定することができる。例えば、ブロック内の位置の実際の画素値が、デルタ値以下の実際の画素値とパレットテーブル内の既存の画素値エントリとの間の絶対差を生成する場合、ビデオエンコーダ２０はその位置の実際の画素値を再構成する際に使用するために、パレットテーブル内の画素値エントリの対応するインデックスを識別するためにインデックス値を送信することができる。ブロック内の位置の実際の画素値がデルタ値よりも大きい、パレットテーブル内の実際の画素値と既存の画素値エントリとの間の絶対差分値を生成する場合、ビデオエンコーダ２０は実際の画素値を送信し、実際の画素値を新しいエントリとしてパレットテーブルに追加することができる。パレットテーブルを構成するために、ビデオデコーダ３０は、エンコーダによってシグナリングされたデルタ値を使用するか、固定または既知のデルタ値に依存するか、またはデルタ値を推論または導出することができる。

上述のように、ビデオエンコーダ２０および／またはビデオデコーダ３０はビデオデータを符号化するときに、イントラ予測モード、インター予測モード、無損失符号化パレットモード、および損失符号化パレットモードを含む符号化モードを使用することができる。ビデオエンコーダ２０およびビデオデコーダ３０は、パレットベースの符号化が有効かどうかを示す１つ以上の構文要素を符号化することができる。例えば、各ブロックにおいて、ビデオエンコーダ２０はパレットベースの符号化モードがブロック（例えば、ＣＵまたはＰＵ）に使用されるかどうかを示す構文要素を符号化することができる。例えば、この構文要素はブロックレベル（例えば、ＣＵレベル）で符号化されたビデオビットストリームでシグナリングされ、その後、符号化されたビデオビットストリームを復号化する際にビデオデコーダ３０によって受信されてもよい。

いくつかの実装では、上記の構文要素がブロックレベルより高いレベルで送信されてもよい。例えば、ビデオエンコーダ２０は、そのような構文要素をスライスレベル、タイルレベル、ＰＰＳレベル、またはＳＰＳレベルでシグナリングすることができる。この場合、１に等しい値はこのレベル以下のすべてのブロックがパレットモードを使用して符号化され、追加のモード情報、例えば、パレットモードまたは他のモードがブロックレベルでシグナリングされないことを示す。ゼロに等しい値は、このレベル以下のブロックがパレットモードを使用して符号化されないことを示す。

一部の実装では、上位レベルの構文要素がパレットモードを有効にするという事実がこの上位レベルまたは下位レベルの各ブロックをパレットモードで符号化しなければならないことを意味しない。むしろ、ＣＵレベルまたはＴＵレベルのブロックがパレットモードで符号化されているかどうかを示すために、別のＣＵレベルまたはＴＵレベルの構文要素が依然として必要であり、もしそうであれば、対応するパレットテーブルが構築されるべきである。いくつかの実装形態では、ビデオコーダ（たとえば、ビデオエンコーダ２０およびビデオデコーダ３０）はブロックサイズがしきい値未満であるブロックに対してパレットモードが許可されないように、最小ブロックサイズのブロック内のサンプル数に関してしきい値（たとえば、３２）を選択する。この場合、そのようなブロックに対する構文要素のシグナリングは行われない。最小ブロックサイズのしきい値はビットストリーム内で明示的にシグナリングすることができ、またはビデオエンコーダ２０およびビデオデコーダ３０の両方によってコンパイルされるデフォルト値に暗黙的に設定することができることに留意されたい。

ブロックの１つの位置における画素値は、ブロックの他の位置における画素値と同じ（またはデルタ値の範囲内にある）ことがある。例えば、ブロックの隣接する画素位置は、同じ画素値を有するか、またはパレットテーブル内の同じインデックス値にマッピングされ得ることが一般的である。したがって、ビデオエンコーダ２０は、同じ画素値またはインデックス値を有する所与の走査順序での連続する画素またはインデックス値の数を示す１つまたは複数の構文要素を符号化することができる。同様の値の画素またはインデックス値のストリングは、本明細書では「ラン」と呼ばれることがある。例えば、所与の走査順序における２つの連続する画素またはインデックスが異なる値を有する場合、ランはゼロに等しい。所与の走査順序における２つの連続する画素またはインデックスが同じ値を有するが、走査順序における第３の画素またはインデックスが異なる値を有する場合、ランは１に等しい。同じ値を有する３つの連続したインデックスまたは画素については、ランは２であり、以下同様である。ビデオデコーダ３０は符号化されたビットストリームからランを示す構文要素を取得し、そのデータを使用して、同じ画素またはインデックス値を有する連続する位置の数を決定することができる。

図６は、本開示のいくつかの実装形態による、パレットベースのスキームを使用してビデオデコーダ３０がビデオデータを復号化する技法を実装する例示的なプロセス６００を示すフローチャートである。具体的には、ビデオデコーダ３０が量子化パラメータに関連する情報を使用して、パレットモード符号化ブロック内のエスケープサンプル（例えば、図５に関連して上述したようにパレットテーブル内のパレットエントリによって表されず、シグナリングのためにビットストリーム内の追加のオーバヘッドを必要とする画素）が無損失方式（すなわち、エスケープサンプルの再構成画素値が元の画素値と同じである）で復号化されるか、または損失方式（すなわち、エスケープサンプルの再構成画素値が量子化のため元の画素値と異なる）で復号化されるかを判定する。

パレットベース方式を実現するために、ビデオデコーダ３０はビットストリームから、パレットモード符号化ブロック（６１０）に対応するビデオデータを受信する。例えば、パレットモード符号化ブロックはエスケープサンプルと非エスケープサンプルの両方（例えば、パレットテーブル内のパレットエントリによって表される画素値）を含む。

次に、ビデオデコーダ３０は、パレットモード符号化ブロックに関連するパラメータセットに含まれる情報から量子化パラメータ値を決定する（６２０）。例えば、量子化パラメータ値は複数の符号化レベルのうちの１つに関連付けられてもよく、例えば、シーケンスパラメータセット、ピクチャパラメータセット、タイルのグループに対応するグループヘッダ、タイルヘッダなどから取得されてもよい。

いくつかの実施形態ではエスケープサンプルのための量子化設計のために、エスケープサンプルに対する量子化のスケールは特定の量子化パラメータが与えられた場合、他の符号化ツールでサンプル（例えば、変換スキップケースおよび／または変換ケースの下のサンプル）に使用される通常の量子化と同じであるが、エスケープサンプル量子化のための実際の動作は通常の量子化動作とは異なるように定義される。例えば、エスケープサンプルに対する量子化操作は、規則的な量子化からの異なるシフト及び／又はオフセット操作を含む。

いくつかの実施形態では、エスケープサンプルおよび非エスケープサンプルについての量子化プロセスは同じである。一例では、パレットモードでのエスケープサンプルの量子化に、標準的な量子化プロセスが使用される。結果として、エスケープサンプルの量子化設計は、変換スキップモードおよび／または変換モードでのサンプルの量子化プロセスと同じになる。以下の式は、パレットエスケープカラーを符号化する変換スキップモードの量子化／逆量子化を使用する場合のエンコーダおよびデコーダで適用される対応する量子化および逆量子化プロセスに関する。

ｐＲｅｓｉおよびｐＲｅｓｉ’は元のおよび再構成された残差係数であり、ｐＬｅｖｅｌは量子化された値であり、ｔｒａｎｓｆｏｒｍＳｈｉｆｔは２Ｄ変換によるダイナミックレンジ増加を補償するために使用されるビットシフトであり、これは１５－ｂｉｔＤｅｐｔｈ－（ｌｏｇ２（Ｗ）＋ｌｏｇ２（Ｈ））／２に等しく、ＷおよびＨは現在の変換ユニットの幅および高さであり、ｂｉｔＤｅｐｔｈは符号化ビット深度である。ｓｃａｌｅ［］およびｄｅｓｃａｌｅ［］は１４ビットおよび６ビットの精度であり、以下のように定義される量子化および逆量子化ルックアップテーブルである。


表１

変換ブロックのサイズが４の累乗でない場合、別のルックアップテーブルは次のように定義される。


表２

次に、ビデオデコーダ３０は、パレットモード符号化ブロック内の量子化されたエスケープサンプルを識別する（６３０）。例えば、量子化されたエスケープサンプルはパレットテーブル内のパレットエントリによって表される非エスケープサンプルと区別するために、ビットストリーム内の追加のオーバヘッドに関連付けることができる。

ビデオデコーダ３０がパレットモード符号化ブロック内のエスケープサンプルを決定すると、ビデオデコーダ３０は、量子化パラメータ値からの情報に基づいて、量子化されたエスケープサンプルを復号化するための特定の方法を決定する。量子化パラメータ値がしきい値より大きい（例えば、量子化パラメータ（ＱＰ）の値が４より大きい）という判定に従い（６４０）、ビデオデコーダ３０は再構成されたエスケープサンプル値を得るために、予め定義された式（例えば、上述の式（２）および表１または表２に基づく）に従って、量子化エスケープサンプルに対して逆量子化を行う（６４０－１）。再構成されたエスケープサンプル値は量子化のために元のサンプル値とは異なることがあるので、この復号化プロセスは典型的には損失の多いプロセスである。量子化パラメータ値がしきい値より小さいか、またはしきい値と等しい（例えば、ＱＰの値が４と等しいか、または４より小さい）という判定に従って（６５０）、ビデオデコーダ３０は、再構成されたエスケープサンプルを量子化されたエスケープサンプル値に設定する（６５０－１）。この場合、再構成されたエスケープサンプル値は元のサンプル値と同じであるので、復号化プロセスは無損失プロセスである。いくつかの実施形態では、ビデオデコーダ３０が並列に、かつパレットモード符号化ブロックに関連するパラメータセットに含まれる情報から量子化パラメータ値を決定しながら（例えば、ステップ６２０を実行しながら）、ステップ６４０およびステップ６５０を実行する。

いくつかの実施形態では、ビデオデコーダ３０が、量子化パラメータ値がシグナリングされるレベル内またはそれ以下のすべてのＣＵの量子化エスケープサンプルに対して、逆量子化を実行する。例えば、量子化パラメータ値がピクチャパラメータセットから得られる場合、ピクチャ内のＣＵの全ての量子化されたエスケープサンプルは、所定の式に従って復号化される。言い換えれば、ＱＰの値が特定の値、例えば４以下である場合、量子化パラメータ情報がシグナリングされるレベル以下のすべてのＣＵは、無損失パレットモードで符号化されてもよく、ＱＰの値が特定の値、例えば４より大きい場合、このＱＰ情報がシグナリングされるレベル以下の任意のＣＵを符号化するために無損失パレットモードが利用できないことを意味する。

いくつかの実施形態では、ビデオデコーダ３０は、まず、パレットモード符号化ブロックに関連付けられたパラメータセットに含まれる情報からデルタ量子化パラメータを決定し、次に、デルタ量子化パラメータを量子化パラメータ値として参照量子化パラメータ値に可算することによって、量子化パラメータ値を決定する。パレットモード符号化ＣＵのデルタ量子化パラメータ値をシグナリングするための例示的なコードを以下に示す。


表３

いくつかの実施形態では、デルタ量子化パラメータがパレットモード符号化ブロックについて常にシグナリングされる。パレットモード符号化ブロックのデルタ量子化パラメータを常にシグナリングするためのコードの例を以下に示す。


表４

いくつかの実施形態では、輝度成分および彩度成分のためのデルタ量子化パラメータはパレットモード符号化ブロックのために常に別々にシグナリングされる。デルタ量子化パラメータをパレットモード符号化ブロックの輝度成分と彩度成分とに別々にシグナリングするための例示的なコードを以下に示す。




表５

いくつかの実施形態では、パレットモード符号化ブロックのエスケープサンプルに対応する量子化係数は量子化パラメータ値およびビット深度に基づく固定長２値化を使用したバイナリ符号化である。固定長のバイナリ長は以下の式のいずれかに従って決定される。
バイナリ長＝（ビット深度－量子化パラメータ値／６） （３）
バイナリ長＝（ビット深度－（ｆｌｏｏｒ（量子化パラメータ－４）／６）））
（４）

いくつかの実施形態では、２値化方法がシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、スライス、および／または符号化ブロックのグループなど、異なる符号化レベルで適応的に切り替えられる。そのような場合、エンコーダは、ビットストリームで情報をシグナリングするために２値化方法を動的に選択する柔軟性を有する。

いくつかの実施形態では、パレットモードが無損失であるとき、固定長２値化プロセスがエスケープサンプルに使用される。一例では、エスケープサンプルがそのバイナリフォーマット値に基づいて直接符号化され、各ビットはパレットモードが無損失の場合にＣＡＢＡＣバイパスビンとして符号化される。

いくつかの実施形態では、パレットモード符号化ブロックに関連するパラメータセットは、以下を含む。パレットモード符号化ブロックの最大許容パレットサイズを指定するための第１構文要素（例えば、ｐａｌｅｔｔｅ＿ｍａｘ＿ｓｉｚｅ）、パレットモード符号化ブロックの最大許容パレット領域を指定するための第２構文要素（例えば、ｐａｌｅｔｔｅ＿ｍａｘ＿ａｒｅａ）、パレットモード符号化ブロックの最大許容パレット予測子サイズを指定するための第３構文要素（例えば、ｐａｌｅｔｔｅ＿ｍａｘ＿ｐｒｅｄｉｃｔｏｒ＿ｓｉｚｅ）、パレットモード符号化ブロックの最大許容パレット予測子サイズと最大許容パレットサイズとの間の差を指定するための第４構文要素（例えば、ｄｅｌｔａ＿ｐａｌｅｔｔｅ＿ｍａｘ＿ｐｒｅｄｉｃｔｏｒ＿ｓｉｚｅ）、パレットモード符号化ブロックのためのシーケンスパレット予測子を初期化するための第５構文要素（例えば、ｐａｌｅｔｔｅ＿ｐｒｅｄｉｃｔｏｒ＿ｉｎｉｔｉａｌｉｚｅｒ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）、パレットモード符号化ブロックの１減算したパレット予測子イニシャライザのエントリ数を特定する第６構文要素（例えば、ｎｕｍ＿ｐａｌｅｔｔｅ＿ｐｒｅｄｉｃｔｏｒ＿ｉｎｉｔｉａｌｉｚｅｒ＿ｍｉｎｕｓ１）、予測子パレットエントリの配列を初期化するために使用されるｉ番目のパレットエントリのコンポーネントの値を指定するための第７構文要素（例えば、ｐａｌｅｔｔｅ＿ｐｒｅｄｉｃｔｏｒ＿ｉｎｉｔｉａｌｉｚｅｒｓ［ｃｏｍｐｏｎｅｎｔ］［ｉ］）、８減算したパレット予測子イニシャライザのエントリの輝度コンポーネントのビット深度値を特定する第８構文要素（例えばｌｕｍａ＿ｂｉｔ＿ｄｅｐｔｈ＿ｅｎｔｒｙ＿ｍｉｎｕｓ８＿ｉｎｉｔｉａｌｉｚｅｒｓ）、８減算したパレット予測子イニシャライザのエントリの彩度成分のビット深度値を特定する第９構文要素（例えば、ｃｈｒｏｍａ＿ｂｉｔ＿ｄｅｐｔｈ＿ｅｎｔｒｙ＿ｍｉｎｕｓ８＿ｉｎｉｔｉａｌｉｚｅｒｓ）、８減算したパレットのエントリの輝度成分のビット深度値を特定する第１０構文要素（例えば、ｌｕｍａ＿ｂｉｔ＿ｄｅｐｔｈ＿ｅｎｔｒｙ＿ｍｉｎｕｓ８）、８減算したパレットのエントリの彩度成分のビット深度値を特定する第１１構文要素（例えば、ｃｈｒｏｍａ＿ｂｉｔ＿ｄｅｐｔｈ＿ｅｎｔｒｙ＿ｍｉｎｕｓ８＿ｉｎｉｔｉａｌｉｚｅｒｓ）。

いくつかの実施形態において、パレットモード符号化ブロックに関連するパラメータセットに含まれる情報から量子化パラメータ値を決定することは、以下を含む。パレットモード符号化ブロックの量子化係数がパレットモード符号化ブロックのエスケープサンプルに対応しないという決定に従い（例えば、係数がパレットで符号化されている）、量子化パラメータ値を、現在のＣＵに対応するパラメータセットに含まれる量子化パラメータ値（ＱＰｃｕ）に等しく設定し、パレットモード符号化ブロックの量子化係数がパレットモード符号化ブロックのエスケープサンプルに対応するとの決定に従って、式ＭＩＮ（（（ＭＡＸ（４，ＱＰｃｕ）－２）／６）＊６＋４，６１）に従って量子化パラメータ値を計算する。

いくつかの実施形態では、ビデオデコーダ３０は、パレットモード符号化ブロックの量子化係数がパレットモード符号化ブロックのエスケープサンプルに対応するという判定に従って、パレットモード符号化ブロックに関連するパラメータセットに含まれる情報から量子化パラメータ値を決定し、式ＭＡＸ（４，ＱＰｃｕ）に従って量子化パラメータ値を制限する。

１つまたは複数の例では、説明された機能がハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実施される場合、機能は、１つ以上の命令またはコードとして、コンピュータ可読媒体上に記憶され、またはそれを介して送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体はデータ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、または例えば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は、一般に、（１）非一時的である有形のコンピュータ可読記憶媒体、または（２）信号または搬送波などの通信媒体に対応することができる。データ記憶媒体は本願に記載の実施のための命令、コードおよび／またはデータ構造を検索するために、１つ以上のコンピュータまたは１つ以上のプロセッサによってアクセス可能な任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

本明細書の実施態様の説明で使用される用語は特定の実施態様を説明するためだけのものであり、特許請求の範囲を限定することを意図するものではない。実施形態の説明および添付の特許請求の範囲で使用されるように、単数形「１つの」などは文脈が別段の明確な指示をしない限り、複数形も同様に含むことが意図される。また、本明細書で使用される用語「および／または」は関連する列挙された項目のうちの１つまたは複数の任意の、およびすべての可能な組合せを指し、包含することが理解されるであろう。用語「含む」などは本明細書で使用される場合、述べられた特徴、要素、および／または構成要素の存在を指定するが、１つまたは複数の他の特徴、要素、構成要素、および／またはそれらのグループの存在または追加を排除しないことがさらに理解されるであろう。

また、第１、第２などの用語は様々な要素を説明するために本明細書で使用され得るが、これらの要素はこれらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、１つの要素を別の要素から区別するためにのみ使用される。例えば、実施の範囲から逸脱することなく、第１電極を第２電極と呼ぶことができ、同様に、第２電極を第１電極と呼ぶことができる。第１電極および第２電極は両方とも電極であるが、それらは同じ電極ではない。

本願の説明は例示および説明の目的で提示されており、網羅的であることも、開示された形態の本発明に限定されることも意図されていない。前述の説明および関連する図面に提示された教示の恩恵を受ける当業者には、多くの修正形態、変形形態、および代替実施形態が明らかになるであろう。本実施形態は本発明の原理、実際の応用を最もよく説明するために、また、他の当業者が様々な実施のために本発明を理解し、考えられる特定の用途に適した様々な修正を伴う基礎となる原理および様々な実施を最もよく利用することができるように、選択され、説明される。したがって、特許請求の範囲は開示された実施態様の特定の例に限定されるべきではなく、修正および他の実施態様は添付の特許請求の範囲内に含まれることが意図されることを理解されたい。

Claims (9)

1. パレットモードの符号化ブロックを取得し、
   前記符号化ブロックはエスケープサンプルおよび非エスケープサンプルを含み、
   前記符号化ブロックに関連するシーケンスパラメータセットのシグナリングされた情報から量子化パラメータを決定し、
   前記符号化ブロックのエスケープサンプルを識別し、
   前記量子化パラメータがしきい値よりも大きい場合、
   所定の式を用いて、前記エスケープサンプルの値に基づいて、再構成されたサンプルの値を取得し、
   前記量子化パラメータが前記しきい値と等しい場合、
   再構成されたサンプルの値を前記エスケープサンプルの値に設定し、
   前記量子化パラメータを決定することは、
   関数：ＭＡＸ（４，ＱＰｃｕ)に従って前記量子化パラメータを決定する、
   ことを含み、
   前記ＱＰｃｕは前記符号化ブロックに関連する前記シーケンスパラメータセットのシグナリングされた前記情報に対応する量子化パラメータ値を表す、
   ビデオ復号化方法。
2. 前記量子化パラメータがしきい値よりも大きいという決定に従って、
   再構成された前記サンプルを損失プロセスによって取得し、
   前記量子化パラメータが前記しきい値と等しいという決定に従って、
   再構成された前記サンプルを無損失プロセスによって取得する、
   請求項１に記載のビデオ復号化方法。
3. 前記所定の式は、
   
   
   のように定義されるルックアップテーブルに関連する、
   請求項１に記載のビデオ復号化方法。
4. 前記エスケープサンプルは、ビットストリームの追加のオーバヘッドに関連する、
   請求項１に記載のビデオ復号化方法。
5. 前記しきい値は４に等しい、
   請求項１に記載のビデオ復号化方法。
6. 電子機器であって、
   １つ以上の処理ユニットと、
   １つ以上の前記処理ユニットに接続されたメモリと、
   １つ以上の前記処理ユニットによって実行されると、前記電子機器に請求項１～請求項５のいずれか１項に記載のビデオ復号化方法を実行させる、前記メモリに記憶された複数のプログラムと、
   を含む、
   電子機器。
7. １つ以上のプロセッサを含む電子機器によって実行されるプログラムであって、
   １つ以上の前記プロセッサによって実行されると、前記電子機器に、請求項１～請求項５のいずれか１項に記載のビデオ復号化方法を実行させる、
   プログラム。
8. ビットストリームが、請求項１～請求項５のいずれか１項に記載のビデオ復号化方法によって復号化される、
   ビットストリーム保存方法。
9. ビットストリームが、請求項１～請求項５のいずれか１項に記載のビデオ復号化方法によって復号化される、
   ビットストリーム受信方法。