JP7704816B2 - パレットモードを使用するビデオコーディングの方法及び装置 - Google Patents

Description

関連出願
本出願は、２０２０年１月１１日付け出願の「ＶＩＤＥＯ ＣＯＤＩＮＧ ＵＳＩＮＧ
ＰＡＬＥＴＴＥ ＭＯＤＥ（パレットモードを使用するビデオコーディング）」を名称とする米国仮出願第６２／９５９，９１３号の優先権の主張を伴うものであり、その全体が参照によって組み込まれる。

本出願は、一般にビデオデータのコーディング及び圧縮に関するものであり、詳細には、パレットモードを使用するビデオコーディングの方法及びシステムに関する。

デジタルビデオは、デジタルテレビジョン、ラップトップ型又はデスクトップ型のコンピュータ、タブレット型コンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、スマートフォン、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどの種々の電子デバイスによってサポートされる。そのような電子デバイスは、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４ Ｐａｒｔ １０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＨＥＶＣ（高能率映像符号化：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格などで定められたビデオ圧縮伸張規格を実装することにより、デジタルビデオデータの送信、受信、符号化、復号、及び／又は格納を行う。一般にビデオ圧縮は、空間（イントラフレーム）予測及び／又は時間（インターフレーム）予測を実行してビデオデータに固有の冗長を低減するか又は除去することを含む。ブロックベースのビデオコーディングについては、ビデオフレームが１つ以上のスライスへと分割され、各スライスが符号化ツリーユニット（ＣＴＵ：ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）とも称され得る複数のビデオブロックを有する。各ＣＴＵが１つの符号化ユニット（ＣＵ：ｃｏｄｉｎｇ ｕｎｉｔ）を含有し得、又は所定の最小のＣＵサイズに達するまで、より小さいＣＵへと再帰的に分割され得る。各ＣＵ（リーフＣＵとも命名されている）が１つ以上の変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）を含有しており、１つ以上の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）も含む。各ＣＵは、イントラモード、インターモード又はＩＢＣモードのいずれかで符号化され得る。ビデオフレームにおけるイントラ符号化（Ｉ）スライス内のビデオブロックは、同じビデオフレームの内部の近隣のブロックにおける参照サンプルに対して空間予測を使用して符号化される。ビデオフレームにおけるインター符号化（Ｐ又はＢ）スライス内のビデオブロックは、同じビデオフレーム内の近隣のブロックにおける参照サンプルに対する空間予測を使用したものでもよいし、あるいは以前の他の参照ビデオフレーム及び／又は未来の他の参照ビデオフレームにおける参照サンプルに対する時間予測を使用したものでもよい。

たとえば近隣のブロックといった以前に符号化された参照ブロックに基づく空間予測又は時間予測は、符号化される現在のビデオブロックに関する予測ブロックをもたらす。参照ブロックを見いだすプロセスは、ブロックマッチングアルゴリズムによって達成され得る。符号化される現在のブロックと予測ブロックとの間の画素差分を表す残差データは、残差ブロック又は予測誤差と称される。インター符号化ブロックは、予測ブロックを形成する参照フレームにおける参照ブロックを指し示す動きベクトル及び残差ブロックに従って符号化される。動きベクトルを決定するプロセスは一般的には動き予測と称される。イントラ符号化ブロックは、イントラ予測モード及び残差ブロックに従って符号化される。さらなる圧縮のために、残差ブロックは、画素領域から、たとえば周波数領域といった変
換領域に変換されて残差変換係数をもたらし、次いで量子化され得る。最初に２次元配列に配置される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査されてよく、次いで、さらにいっそうの圧縮を達成するためにビデオビットストリームへとエントロピー符号化される。

次いで、符号化ビデオビットストリームは、デジタルビデオ機能を伴う別の電子デバイスによってアクセスされるコンピュータ読み取り可能な記録媒体（たとえばフラッシュメモリ）に保存されるか、又は有線もしくは無線で電子デバイスに直接伝送される。次いで、電子デバイスは、たとえば符号化ビデオビットストリームを解析してビットストリームからシンタックス要素を取得し、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいて、符号化ビデオビットストリームからのデジタルビデオデータを元のフォーマットに再構成することによってビデオ伸張（前述のビデオ圧縮とは逆の処理）を実行し、再構成されたデジタルビデオデータを電子デバイスのディスプレイに描画する。

デジタルビデオの品質がハイビジョン（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）から４Ｋ×２Ｋ又は８Ｋ×４Ｋに移行するにつれて、符号化／復号対象のビデオデータ量が指数関数的に増大する。これは、復号されるビデオデータの画質を維持しながらビデオデータをいかにより効率的に符号化／復号できるかという点での絶え間ない努力がある。

本出願は、ビデオデータの符号化及び復号に関連した実装形態を記述するものであり、より詳細には、パレットモードを使用するビデオの符号化及び復号のシステム及び方法を記述する。

本出願の第１の態様によれば、ビデオデータを復号する方法は、ビットストリームから、符号化ユニットに関連した複数のシンタックス要素を受け取るステップであって、複数のシンタックス要素が符号化ユニットのサイズ及び符号化ツリータイプを示す、ステップと、符号化ユニットの符号化ツリータイプに応じて、符号化ユニットの最小のパレットモード・ブロックサイズを決定するステップと、符号化ユニットのサイズが最小のパレットモード・ブロックサイズよりも大きいとの決定に応じて、ビットストリームから、符号化ユニットに関連したパレットモード有効化フラグを受け取るステップと、パレットモード有効化フラグに応じて、ビットストリームから符号化ユニットを復号するステップとを含む。

本出願の第２の態様によれば、電子装置は、１つ以上の処理部、メモリ、及びメモリに記憶された複数のプログラムを含む。このプログラムは、１つ以上の処理部によって実行されると、電子機器に、上記されたようにビデオデータを復号する方法を実施させる。

本出願の第３の態様によれば、非一時的なコンピュータ読み取り可能な記録媒体は、１つ以上の処理部を有する電子装置によって実行される複数のプログラムを記憶している。このプログラムは、１つ以上の処理部によって実行されると、電子機器に、上記されたようにビデオデータを復号する方法を実施させる。

実装形態のさらなる理解を提供するために含まれる添付図面は、本明細書に組み込まれて本明細書の一部を構成し、記述された実装形態を図示して、記述とともに基本原理を説明するのに役立つものである。類似の参照数字は相当する部分を指す。

本開示のいくつかの実装形態による例示的ビデオ符号化及び復号システムを示すブロック図である。 本開示のいくつかの実装形態による例示的なビデオ符号化器を示すブロック図である。 本開示のいくつかの実装形態による例示的ビデオ復号器を示すブロック図である。 本開示のいくつかの実装形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を示すブロック図である。 本開示のいくつかの実装形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を示すブロック図である。 本開示のいくつかの実装形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を示すブロック図である。 本開示のいくつかの実装形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を示すブロック図である。 本開示のいくつかの実装形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を示すブロック図である。 本開示のいくつかの実装形態に従って、ビデオデータを符号化するためにパレットテーブルを使用する例を示すブロック図である。 本開示のいくつかの実装形態に従って、ビデオデータを符号化するためにパレットテーブルを使用する例を示すブロック図である。 本開示のいくつかの実装形態に従って、ビデオデータを符号化するためにパレットテーブルを使用する例を示すブロック図である。 本開示のいくつかの実装形態に従って、ビデオデータを符号化するためにパレットテーブルを使用する例を示すブロック図である。 ビデオ復号器が、本開示のいくつかの実装形態によってビデオデータを復号する技術を実施する、例示的プロセスを示す流れ図である。 本開示のいくつかの実装形態に従って、コンテキスト適応型２進算術符号化（ＣＡＢＡＣ）エンジンの例を示すブロック図である。

次に具体的な実装形態が詳細に参照され、それらの実施例が添付図面に示されている。以下の詳細な説明では、本明細書で提示される主題の理解を支援するために多くの非限定的かつ具体的な詳細が明らかにされる。しかし、特許請求の範囲から逸脱することなく様々な代替形態が使用され得、これらの具体的な詳細なしで主題が実施され得ることが、当業者には明らかであろう。たとえば、本明細書で提示された主題が、デジタルビデオ機能を伴う多くのタイプの電子デバイスにおいて実施され得ることは、当業者には明らかであろう。

図１は、本開示のいくつかの実装形態に従って、ビデオブロックの符号化と復号を並行して行うための例示的システム１０を示すブロック図である。図１に示されるように、システム１０は、後に送信先（デスティネーション）装置１４によって復号されるビデオデータを生成して符号化する情報源（ソース）装置１２を含む。情報源装置１２及び送信先装置１４は、デスクトップコンピュータ又はラップトップコンピュータ、タブレット型コンピュータ、スマートフォン、セットトップボックス、デジタルテレビジョン、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、ビデオストリーミングデバイス等を含む種々の電子デバイスのうち任意のものを備え得る。いくつかの実装形態では、情報源装置１２及び送信先装置１４は無線通信機能を装備している。

いくつかの実装形態では、送信先装置１４は、リンク１６を通じて、復号される符号化
ビデオデータを受け取ってよい。リンク１６は、情報源装置１２から送信先装置１４に、符号化ビデオデータを転送することができる任意のタイプの通信媒体又は通信デバイスを備え得る。一例では、リンク１６は、情報源装置１２が送信先装置１４に、符号化ビデオデータをリアルタイムで直接伝送することを可能にするための通信媒体を備え得る。符号化ビデオデータは、無線通信プロトコルなどの通信規格に従って変調されて送信先装置１４に伝送され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つ以上の物理的伝送路などの任意の無線又は有線の通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、又はインターネットなどのグローバネットワークなどのパケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、又は情報源装置１２から送信先装置１４への通信を容易にするのに役立つその他の機器を含み得る。

いくつかの他の実装形態では、符号化ビデオデータは、出力インタフェース２２から記録装置３２に伝送され得る。続いて、記録装置３２における符号化ビデオデータは、送信先装置１４によって入力インタフェース２８を介してアクセスされ得る。記録装置３２は、ハードディスク（ｈａｒｄ ｄｒｉｖｅ）、ブルーレイディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性のメモリ、又は符号化ビデオデータを記憶するのに適する他のデジタル記録媒体など、種々の、分散された又は局所的にアクセスされるデータ記録媒体のうち任意のものを含み得る。さらなる例では、記録装置３２は、情報源装置１２によって生成された、符号化ビデオデータを保持し得る、ファイルサーバ又は別の中間記録装置に相当してよい。送信先装置１４は、記録装置３２からストリーミング又はダウンロードすることによって、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶したり、符号化ビデオデータを送信先装置１４に伝送したりすることができる任意のタイプのコンピュータでよい。例示的ファイルサーバは、（たとえばウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）装置、又はローカルディスクドライブを含む。送信先装置１４は、ファイルサーバに記憶されている符号化ビデオデータにアクセスするのに適する無線チャンネル（たとえばＷｉ－Ｆｉ接続）、有線接続（たとえば、ＤＳＬやケーブルモデムなど）、又は両方の組合せを含む任意の標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。記録装置３２からの符号化ビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、又は両方の組合せでよい。

図１に示されるように、情報源装置１２は、ビデオ源１８、ビデオ符号化器２０及び出力インタフェース２２を含む。ビデオ源１８は、たとえばビデオカメラ、以前に取り込まれたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受け取るためのビデオ供給インタフェース、及び／又はソースビデオとしてのコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、あるいはそのようなソースの組合せといった、ビデオキャプチャーデバイスなどのソースを含み得る。一例として、ビデオ源１８がセキュリティ監視システムのビデオカメラである場合には、情報源装置１２及び送信先装置１４がカメラフォン又はビデオフォンを形成し得る。しかしながら、本出願に記述された実装形態は、一般にビデオコーディングに適用可能であり得、無線及び／又は有線の用途に適用され得る。

取り込まれた、前もって取り込まれた、又はコンピュータで生成されたビデオは、ビデオ符号化器２０によって符号化され得る。符号化ビデオデータは、情報源装置１２の出力インタフェース２２を通って送信先装置１４に直接伝送され得る。符号化ビデオデータは、復号及び／又は再生のために、送信先装置１４又は他のデバイスによる後のアクセス用に、記録装置３２にも（又は代わりに）記憶されてよい。出力インタフェース２２はモデム及び／又は送信器をさらに含み得る。

送信先装置１４は、入力インタフェース２８、ビデオ復号器３０、及び表示装置３４を含む。入力インタフェース２８は受信器及び／又はモデムを含み得、リンク１６を通じて、符号化ビデオデータを受け取る。リンク１６を通じて通信されるか又は記録装置３２で供給される符号化ビデオデータは、ビデオ復号器３０によってビデオデータを復号する際に使用される、ビデオ符号化器２０によって生成された種々のシンタックス要素を含み得る。そのようなシンタックス要素が含まれ得る符号化ビデオデータは、通信媒体で伝送され、記録媒体又はファイルサーバに記憶される。

いくつかの実装形態では、送信先装置１４が含み得る表示装置３４は、統合表示装置と、送信先装置１４と通信するように構成された外部表示装置とであり得る。表示装置３４は、復号ビデオデータをユーザーに表示し、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は別タイプの表示装置などの種々の表示装置のうち任意のものを備え得る。

ビデオ符号化器２０及びビデオ復号器３０は、ＶＶＣ，ＨＥＶＣ，ＭＰＥＧ－４ Ｐａｒｔ １０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ），又はこれらの規格の拡張版などの、知的所有物又は業界規格に基づいて動作し得る。本出願は特定のビデオ符号化／復号の規格に限定されず、他のビデオ符号化／復号の規格に適用可能であり得ることを理解されたい。一般に、情報源装置１２のビデオ符号化器２０は、これらの現在の規格又は将来の規格のいずれかに従ってビデオデータを符号化するように構成され得ることが意図されている。同様に、送信先装置１４のビデオ復号器３０は、これらの現在の規格又は将来の規格のいずれかに従ってビデオデータを復号するように構成され得ることも一般に意図されている。

ビデオ符号化器２０及びビデオ復号器３０は、それぞれ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ
ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ディスクリートロジック（個別論理回路：ｄｉｓｃｒｅｔｅ ｌｏｇｉｃ）、ソフトウェア、ハードウェア、ファームウェア又はこれらの任意の組合せなどの種々の適切な符号化回路構成のうち任意のものとして実施され得る。電子デバイスは、部分的にソフトウェアで実施されるときには、ソフトウェアに関する命令を適切な非一時的コンピュータ可読媒体に記憶し、１つ以上のプロセッサを使用してハードウェアで命令を実行して、本開示で開示されたビデオ符号化／復号の処理を実行し得る。ビデオ符号化器２０及びビデオ復号器３０の各々が１つ以上の符号化器又は復号器に含まれ得、そのいずれかが、それぞれのデバイスにおいて組み合わされた符号化器／復号器（ＣＯＤＥＣ）の一部として一体化され得る。

図２は、本出願に記述されたいくつかの実装形態による例示的ビデオ符号化器２０を示すブロック図である。ビデオ符号化器２０は、ビデオフレームの内部のビデオブロックのイントラ予測符号化及びインター予測符号化を実行し得る。イントラ予測符号化は、所与のビデオフレーム又はピクチャの内部のビデオデータにおける空間冗長性を低減するか又は除去するために空間予測に頼る。インター予測符号化は、ビデオシーケンスの隣接したビデオフレーム又はピクチャの内部のビデオデータにおける時間冗長性を低減するか又は除去するために時間予測に頼る。

図２に示されるように、ビデオ符号化器２０は、ビデオデータメモリ４０、予測処理部４１、復号ピクチャバッファ（ＤＰＢ：ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ
）６４、加算器５０、変換処理部５２、量子化部５４、及びエントロピー符号化部５６を含む。予測処理部４１は、動き推定部４２、動き補償部４４、分割部４５、イントラ予測処理部４６、及びイントラブロックコピー（ＢＣ）部４８をさらに含む。いくつかの実装形態では、ビデオ符号化器２０は、ビデオブロックを再構成するための逆量子化部５８、逆変換処理部６０、及び加算器６２も含む。再構成されたビデオから、ブロック境界をフィルタリングしてブロック歪を除去するために、加算器６２とＤＰＢ６４との間にデブロッキングフィルタ（図示せず）が配置されてよい。デブロッキングフィルタに加えて、加算器６２の出力をフィルタリングするためにループ内フィルタ（図示せず）も使用され得る。ビデオ符号化器２０は、変更不能な又はプログラマブルなハードウェアユニットという形態を取ってよく、あるいは、１つ以上の変更不能な又はプログラマブルなハードウェアユニットのうちに分割されてもよい。

ビデオデータメモリ４０は、ビデオ符号化器２０の構成要素によって符号化されるビデオデータを記憶し得る。ビデオデータメモリ４０のビデオデータは、たとえばビデオ源１８から取得され得る。ＤＰＢ６４は、ビデオ符号化器２０によって（たとえばイントラ予測符号化モード又はインター予測符号化モードで）ビデオデータを符号化するのに用いる参照ビデオデータを記録するバッファである。ビデオデータメモリ４０及びＤＰＢ６４は、様々な記録装置のうち任意のものによっても形成され得る。様々な例において、ビデオデータメモリ４０は、ビデオ符号化器２０の他の構成要素とともにオンチップでよく、又はそれらの構成要素に対してオフチップでもよい。

図２に示されるように、予測処理部４１の内部の分割部４５は、受け取ったビデオデータをビデオブロックへと分割する。この分割は、ビデオデータに関連付けられた四分木構造などの所定の分割構造に従って、ビデオフレームを、スライス、タイル、又は他のより大きい符号化ユニット（ＣＵ）へと分割することを含み得る。ビデオフレームは複数のビデオブロック（又は、タイルと称されるビデオブロックのセット）に分割され得る。予測処理部４１は、誤り結果（たとえば符号化レートや歪みのレベル）に基づいて現在のビデオブロック用に、複数のイントラ予測符号化モードのうちの１つ、又は複数のインター予測符号化モードのうちの１つなど、複数の可能な予測符号化モードのうちの１つを選択してよい。予測処理部４１は、結果として生じるイントラ予測符号化ブロック又はインター予測符号化ブロックを、加算器５０に供給して残差ブロックを生成してよく、また、この符号化ブロックを加算器６２に供給して、後に参照フレームの一部として使用するために再構成してよい。予測処理部４１は、また、エントロピー符号化部５６に、動きベクトル、イントラモードインジケータ、分割情報、及び他のそのようなシンタックス情報などのシンタックス要素を供給する。

現在のビデオブロック用に適切なイントラ予測符号化モードを選択するために、予測処理部４１の内部のイントラ予測処理部４６は、符号化される現在のブロックと同じフレームにおける１つ以上の近隣のブロックに関する現在のビデオブロックのイントラ予測符号化を実行して、空間予測をもたらし得る。予測処理部４１の内部の動き推定部４２及び動き補償部４４は、１つ以上の参照フレームにおける１つ以上の予測ブロックに関連して現在のビデオブロックのインター予測符号化を実行して時間予測をもたらす。ビデオ符号化器２０は、たとえばビデオデータの各ブロック用に適切な符号化モードを選択するために、複数の符号化パスを実行してよい。

いくつかの実装形態では、動き推定部４２は、一連のビデオフレームの内部の所定のパターンに従って、参照ビデオフレームの内部の予測ブロックに対する現在のビデオフレームの内部のビデオブロックの予測ユニット（ＰＵ）の変位を示す動きベクトルを生成することにより、現在のビデオフレームに関するインター予測モードを決定する。動き推定部４２によって実行される動き予測は、ビデオブロックの動きを推定する動きベクトルを生
成するプロセスである。動きベクトルは、たとえば、現在のフレーム内（又は他の符号化ユニット内）の符号化される現在のブロックに関連して、参照フレーム内（又は他の符号化ユニット）内の予測ブロックに対する現在のビデオフレーム又はピクチャの内部のビデオブロックのＰＵの変位を示し得る。所定のパターンは、ビデオフレームを、シーケンスにおけるＰフレーム又はＢフレームとして指定し得る。イントラＢＣ部４８は、インター予測用の動き推定部４２による動きベクトルの決定と同様のやり方で、イントラＢＣ符号化用の、たとえばブロックベクトルといったベクトルを決定してよく、又は動き推定部４２を利用してブロックベクトルを決定してもよい。

予測ブロックは、画素差分の観点から、符号化対象となるビデオブロックのＰＵと密接に対応するものとみなされる参照フレームのブロックであり、差分絶対値和（ＳＡＤ：ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）、差分二乗和（ＳＳＤ：ｓｕｍ
ｏｆ ｓｑｕａｒｅ ｄｉｆｆｅｒｅｎｃｅ）、又は他の差分基準量によって決定され得る。いくつかの実装形態では、ビデオ符号化器２０は、ＤＰＢ６４に記憶された参照フレームのサブ整数型画素位置の値を計算してよい。たとえば、ビデオ符号化器２０は、参照フレームの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間してよい。したがって、動き推定部４２は、全体の画素位置及び分数画素位置に関する動き探索を実行して、分数画素精度を有する動きベクトルを出力し得る。

動き推定部４２は、インター予測符号化フレームのビデオブロックのＰＵに関して、第１の参照フレームリスト（リスト０）又は第２の参照フレームリスト（リスト１）から選択された参照フレームの予測ブロックの位置と当該ＰＵの位置とを比較することにより動きベクトルを計算する。ここで、第１の参照フレームリスト又は第２の参照フレームリストはそれぞれＤＰＢ６４に格納されている１つ以上の参照フレームを特定するものである。動き推定部４２は、計算された動きベクトルを動き補償部４４に送り、次いでエントロピー符号化部５６に送る。

動き補償部４４によって実行される動き補償は、動き推定部４２によって決定された動きベクトルに基づいて予測ブロックを取り込むこと又は生成することを包含し得る。動き補償部４４は、現在のビデオブロックのＰＵに関する動きベクトルを受け取ると、動きベクトルが参照フレームリストのうちの１つにおいて指し示す予測ブロックを捜し出し、ＤＰＢ６４から予測ブロックを取り出して、予測ブロックを加算器５０に転送する。次いで、加算器５０は、符号化される現在のビデオブロックの画素値から動き補償部４４によってもたらされた予測ブロックの画素値を差し引くことにより、画素差分値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差分値は、輝度（ｌｕｍａ）差分成分もしくは色差（ｃｈｒｏｍａ）差分成分、又はこれらの両方を含み得る。動き補償部４４は、ビデオ復号器３０によって、ビデオフレームのビデオブロックを復号する際に使用されるビデオフレームのビデオブロックに関連したシンタックス要素も生成し得る。シンタックス要素は、たとえば、予測ブロックを特定するために使用される動きベクトルを定義するシンタックス要素、予測モードを示す任意のフラグ、又は本明細書に記述されたその他のシンタックス情報を含み得る。なお、動き推定部４２と動き補償部４４はほとんど一体化され得るが、概念的な目的のために個別に示されている。

いくつかの実装形態では、イントラＢＣ部４８は、動き推定部４２及び動き補償部４４に関して上記に記述されたのと同様のやり方でベクトルを生成して予測ブロックを取り込み得るが、予測ブロックは符号化される現在のブロックと同じフレームにあり、ベクトルは動きベクトルと対照的にブロックベクトルと称される。詳細には、イントラＢＣ部４８は、現在のブロックを符号化するためにイントラ予測モードを使用するように決定してよい。いくつかの例において、イントラＢＣ部４８は、たとえば個別の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し、レート－歪み解析によっ
てそれらイントラ予測モードの性能を分析してよい。次に、イントラＢＣ部４８は、試験された様々なイントラ予測モードの中で、イントラモードインジケータを生成するのに使用する適切なイントラ予測モードを選択してよい。たとえば、イントラＢＣ部４８は、レート－歪み解析を使用して、試験された様々なイントラ予測モードに関するレート－歪み値を計算し、試験されたモードの中で最善のレート－歪み特性を有するイントラ予測モードを、使用するのに適切なイントラ予測モードとして選択してよい。レート－歪み解析は、一般に、符号化ブロックと、当該符号化ブロックを生成するために符号化される符号化前の元のブロックとの間の歪み（又は誤差）量とともに、これら符号化ブロックを生成するために使用されたビットレート（すなわち、多数のビット）を決定する。イントラＢＣ部４８は、様々な符号化ブロックについて歪みとレートとの比率を計算して、そのブロックに関する最善のレート－歪み値を示すイントラ予測モードを決定してよい。

他の例では、イントラＢＣ部４８は、本明細書に記述された実装形態に従ってイントラＢＣ予測のためのそのような機能を実行するために、動き推定部４２及び動き補償部４４を全体的又は部分的に使用してよい。どちらの場合にも、イントラブロックコピーについては、予測ブロックは、画素差分の観点から、符号化対象となるブロックと密接に対応するものとみなされるブロックでよく、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、又は他の差分基準量によって決定され得る。予測ブロックの特定には、サブ整数型画素位置の値の計算が含まれ得る。

予測ブロックがイントラ予測による同じフレームからのものであろうとインター予測による異なるフレームからのものであろうと、ビデオ符号化器２０は、符号化される現在のビデオブロックの画素値から予測ブロックの画素値を差し引くことによって残差ビデオブロックを形成してよく、画素差分値を形成する。残差ビデオブロックを形成する画素差分値は、輝度差分成分と色差差分成分の両方を含み得る。

イントラ予測処理部４６は、前述のように、動き推定部４２及び動き補償部４４によって実行されるインター予測、又はイントラＢＣ部４８によって実行されるイントラブロックコピー予測の代替として、現在のビデオブロックをイントラ予測してよい。詳細には、イントラ予測処理部４６は、現在のブロックを符号化するためにイントラ予測モードを使用するように決定してよい。そうするために、イントラ予測処理部４６は、たとえば個別の符号化パス中に様々なイントラ予測モードを使用して現在のブロックを符号化してよく、イントラ予測処理部４６（又はいくつかの例ではモード選択部）は、試験されたイントラ予測モードから、使用するべき適切なイントラ予測モードを選択してよい。イントラ予測処理部４６は、そのブロック向けに選択されたイントラ予測モードを表す情報をエントロピー符号化部５６に供給してよい。エントロピー符号化部５６は、ビットストリームにおける選択されたイントラ予測モードを示す情報を符号化してよい。

予測処理部４１がインター予測又はイントラ予測のいずれかによって現在のビデオブロック用の予測ブロックを決定した後に、加算器５０が、現在のビデオブロックから予測ブロックを差し引くことによって残差ビデオブロックを生成する。残差ブロックにおける残差ビデオデータは１つ以上の変換ユニット（ＴＵ）に含まれ得、変換処理部５２に供給される。変換処理部５２は、離散コサイン変換（ＤＣＴ：ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ
ｔｒａｎｓｆｏｒｍ）又は概念的に同様の変換などの変換を使用して残差ビデオデータを残差変換係数に変換する。

変換処理部５２は、結果として生じる変換係数を量子化部５４に送ってよい。量子化部５４は、変換係数を量子化してビットレートをさらに低下させる。量子化プロセスは、係数のうちのいくつか又はすべてに関連したビット深さも縮小し得る。量子化の程度は、量子化パラメータを調節することによって変更され得る。いくつかの例において、量子化部
５４は、次いで、量子化変換係数を含むマトリクスの走査を実行し得る。あるいはエントロピー符号化部５６が走査を実行してもよい。

量子化に続いて、エントロピー符号化部５６は、たとえば、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、コンテキスト適応型２値算術符号化（ＣＡＢＡＣ：ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、シンタックスベースコンテキスト適応型２値算術符号化（ＳＢＡＣ：ｓｙｎｔａｘ－ｂａｓｅｄ
ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、確率区間区分エントロピー符号化（ＰＩＰＥ：ｐｒｏｂａｂｉｌｉｔｙ ｉｎｔｅｒｖａｌ ｐａｒｔｉｔｉｏｎｉｎｇ ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）、又は別のエントロピー符号化の技法もしくは技術を使用して、量子化変換係数をビデオビットストリームへとエントロピー符号化する。次いで、符号化ビットストリームは、ビデオ復号器３０に伝送されるか、又は後にビデオ復号器３０へ伝送するため、もしくはビデオ復号器３０によって後に取り戻すために記録装置３２に記録され得る。エントロピー符号化部５６は、符号化される現在のビデオフレームに関する動きベクトル及び他のシンタックス要素もエントロピー符号化してよい。

他のビデオブロックを予測するための参照ブロックを生成するために、画素領域における残差ビデオブロックを再構成するのに、逆量子化部５８が逆量子化を適用し、逆変換処理部６０が逆変換を適用する。前述のように、動き補償部４４は、ＤＰＢ６４に記憶されたフレームの１つ以上の参照ブロックから、動き補償予測ブロックを生成し得る。動き補償部４４はまた、予測ブロックに１つ以上の補間フィルタを適用して、動き予測に用いるサブ整数画素値を計算してよい。

加算器６２は、再構成された残差ブロックを、動き補償部４４によって生成された動き補償予測ブロックに加えて、ＤＰＢ６４に記憶するための参照ブロックを生成する。次いで、参照ブロックは、イントラＢＣ部４８、動き推定部４２及び動き補償部４４によって、後続のビデオフレームにおける別のビデオブロックをインター予測するための予測ブロックとして使用され得る。

図３は、本出願のいくつかの実装形態による例示的なビデオ復号器３０を示すブロック図である。ビデオ復号器３０は、ビデオデータメモリ７９、エントロピー復号部８０、予測処理部８１、逆量子化部８６、逆変換処理部８８、加算器９０、及びＤＰＢ９２を含む。予測処理部８１は、動き補償部８２、イントラ予測処理部８４、及びイントラＢＣ部８５をさらに含む。ビデオ復号器３０は、図２に関連してビデオ符号化器２０に関して記述された符号化プロセスとは全体的に逆の復号プロセスを実行し得る。たとえば、動き補償部８２は、エントロピー復号部８０から受け取られた動きベクトルに基づいて予測データを生成し得、一方、イントラ予測処理部８４は、エントロピー復号部８０から受け取られたイントラ予測モードインジケータに基づいて予測データを生成し得る。

いくつかの例において、ビデオ復号器３０のユニットには、本出願の実装形態を実行するようにタスクが課されることがある。また、いくつかの例では、本開示の実装形態は、ビデオ復号器３０の１つ以上のユニットの間で分割されてもよい。たとえば、イントラＢＣ部８５は、本出願の実装形態を、単独で、又はビデオ復号器３０の動き補償部８２、イントラ予測処理部８４、及びエントロピー復号部８０などの他のユニットと組み合わせて実行し得る。いくつかの例では、ビデオ復号器３０はイントラＢＣ部８５を含まなくてよく、イントラＢＣ部８５の機能性は、動き補償部８２など、予測処理部８１の他の構成要素によって実行され得る。

ビデオデータメモリ７９は、ビデオ復号器３０の他の構成要素によって復号される符号化ビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ７９に記憶されたビデオデータは、記録装置３２から、たとえばカメラなどのローカルなビデオ源から、ビデオデータの有線もしくは無線のネットワーク通信によって、又はたとえばフラッシュドライブもしくはハードディスクといった物理的データ記録媒体にアクセスすることによって取得され得る。ビデオデータメモリ７９は、符号化ビデオビットストリームからの符号化ビデオデータを記憶する、符号化ピクチャバッファ（ＣＰＢ：ｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含み得る。ビデオ復号器３０の、復号ピクチャバッファ（ＤＰＢ）９２は、ビデオ復号器３０によって（たとえばイントラ予測符号化モード又はインター予測符号化モードで）ビデオデータを符号化するのに用いる参照ビデオデータを記憶する。ビデオデータメモリ７９及びＤＰＢ９２は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気抵抗型ＲＡＭ（ＭＲＡＭ：Ｍａｇｎｅｔｏ－ｒｅｓｉｓｔｉｖｅ ＲＡＭ）、抵抗変化型ＲＡＭ（ＲＲＡＭ）、又は他のタイプのメモリデバイスを含む動的ランダムアクセスメモリ（ＤＲＡＭ：Ｒｅｓｉｓｔｉｖｅ ＲＡＭ）などの種々のメモリデバイスのうち任意のものによって形成され得る。例示のために、ビデオデータメモリ７９及びＤＰＢ９２は、図３におけるビデオ復号器３０の２つの別個の構成要素として表されている。しかし、ビデオデータメモリ７９及びＤＰＢ９２は、同一のメモリデバイス又は個別のメモリデバイスによってもたらされ得ることが当業者には明らかであろう。いくつかの例では、ビデオデータメモリ７９は、ビデオ復号器３０の他の構成要素とともにオンチップでよく、又はそれらの構成要素に対してオフチップでもよい。

復号プロセス中に、ビデオ復号器３０は、符号化ビデオフレーム及び関連するシンタックス要素のビデオブロックを表す符号化ビデオビットストリームを受け取る。ビデオ復号器３０はビデオフレームレベル及び／又はビデオブロックレベルのシンタックス要素を受け取ってよい。ビデオ復号器３０のエントロピー復号部８０は、ビットストリームをエントロピー復号して、量子化係数、動きベクトル又はイントラ予測モードインジケータ、及び他のシンタックス要素を生成する。次いで、エントロピー復号部８０は、動きベクトル及び他のシンタックス要素を予測処理部８１に転送する。

ビデオフレームが、イントラ予測符号化（Ｉ）フレームとして、又は他のタイプのフレームにおけるイントラ符号化予測ブロック向けに符号化されるとき、予測処理部８１のイントラ予測処理部８４は、信号伝達されたイントラ予測モード及び現在のフレームの以前に復号されたブロックからの参照データに基づいて、現在のビデオフレームのビデオブロックに関する予測データを生成し得る。

ビデオフレームがインター予測符号化（すなわちＢ又はＰ）フレームとして符号化されるとき、予測処理部８１の動き補償部８２は、エントロピー復号部８０から受け取られた動きベクトル及び他のシンタックス要素に基づいて現在のビデオフレームのビデオブロックに関する１つ以上の予測ブロックを生成する。予測ブロックの各々が、参照フレームリストのうちの１つの内部の参照フレームから生成され得る。ビデオ復号器３０は、ＤＰＢ９２に記憶された参照フレームに基づくデフォルトの構成技術を使用して、参照フレームリスト、リスト０及びリスト１を構成し得る。

いくつかの例では、本明細書に記述されたイントラＢＣモードに従ってビデオブロックが符号化されるとき、予測処理部８１のイントラＢＣ部８５は、エントロピー復号部８０から受け取られたブロックベクトル及び他のシンタックス要素に基づいて現在のビデオブロックに関する予測ブロックを生成する。予測ブロックは、ビデオ符号化器２０によって定義された現在のビデオブロックと同一のピクチャの再構成された領域の内部にあり得る。

動き補償部８２及び／又はイントラＢＣ部８５は、動きベクトル及び他のシンタックス要素を解析することによって現在のビデオフレームのビデオブロックに関する予測情報を決定し、次いで、予測情報を使用して、復号される現在のビデオブロックに関する予測ブロックを生成する。たとえば、動き補償部８２は、受け取られたシンタックス要素のうちのいくつかを使用して、ビデオフレームのビデオブロックを符号化するのに使用される予測モード（たとえばイントラ予測又はインター予測）、インター予測フレームタイプ（たとえばＢ又はＰ）、フレームに関する参照フレームリストのうちの１つ以上の構成情報、フレームにおける各インター予測符号化ビデオブロックの動きベクトル、フレームの各インター予測符号化ビデオブロックのインター予測状態、及び現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定する。

同様に、イントラＢＣ部８５は、たとえばフラグといった受け取られたシンタックス要素のうちのいくつかを使用して、現在のビデオブロックはイントラＢＣモードを使用して予測されたものであること、再構成された領域の内部にあってＤＰＢ９２に記憶されるべきフレームのビデオブロックの構成情報、フレームの各イントラＢＣ予測ビデオブロックのブロックベクトル、フレームの各イントラＢＣ予測ビデオブロックのイントラＢＣ予測状態、及び現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定し得る。

動き補償部８２はまた、ビデオ符号化器２０によってビデオブロックの符号化中に参照ブロックのサブ整数画素の補間値を計算するために使用されたような補間フィルタを使用して、補間を実行し得る。この場合、動き補償部８２は、受け取られたシンタックス要素から、ビデオ符号化器２０によって使用された補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成し得る。

逆量子化部８６は、ビットストリームの中に与えられてエントロピー復号部８０によってエントロピー復号された量子化変換係数を、ビデオ符号化器２０によってビデオフレームにおける各ビデオブロックについて量子化の程度を決定するために計算されたものと同一の量子化パラメータを使用して逆量子化する。逆変換処理部８８は、画素領域における残差ブロックを再構成するために、変換係数に対して、たとえば逆ＤＣＴ、逆整数変換、又は概念的に類似の逆変換プロセスといった逆変換を適用する。

動き補償部８２又はイントラＢＣ部８５がベクトル及び他のシンタックス要素に基づいて現在のビデオブロックに関する予測ブロックを生成した後に、加算器９０は、逆変換処理部８８からの残差ブロックと、動き補償部８２及びイントラＢＣ部８５によって生成された対応する予測ブロックとを合計することによって、現在のビデオブロックに関する復号ビデオブロックを再構成する。復号ビデオブロックをさらに処理するために、加算器９０とＤＰＢ９２との間にループ内フィルタ（図示せず）が配置されてよい。次いで、所与のフレームにおける復号ビデオブロックは、次のビデオブロックの後続の動き補償に使用される参照フレームを記憶するＤＰＢ９２に記憶される。ＤＰＢ９２又はＤＰＢ９２とは別個のメモリデバイスも、復号されたビデオを、後に図１の表示装置３４などの表示装置に提示するために記憶し得る。

一般的なビデオコーディングプロセスでは、ビデオシーケンスは、一般的にはフレーム又はピクチャの順序づけられたセットを含む。各フレームが、ＳＬ、ＳＣｂ、及びＳＣｒと表される３つのサンプル配列を含み得る。ＳＬは、輝度（ｌｕｍａ）サンプルからなる２次元配列である。ＳＣｂは、Ｃｂ色差サンプルからなる２次元配列である。ＳＣｒは、Ｃｒ色差サンプルからなる２次元配列である。他の事例では、フレームは白黒でよく、したがって輝度サンプルの２次元配列を１つだけ含む。

図４Ａに示されるように、ビデオ符号化器２０（より具体的には分割部４５）は、最初にフレームを符号化ツリーユニット（ＣＴＵ）の集合に分割することによってフレームの符号化表現を生成する。ビデオフレームは、左から右及び上から下へのラスタスキャン順で連続的に順序づけられた整数個のＣＴＵを含み得る。各ＣＴＥＴは最大のロジック符号化ユニットであり、ＣＴＵの幅及び高さは、シーケンスパラメータセットにおいて、ビデオ符号化器２０によって、ビデオシーケンスにおけるすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２、及び１６×１６のうちの１つである同一のサイズを有するように信号伝達される。しかし、本出願は必ずしも特定のサイズに制限されるものではないことに留意されたい。図４Ｂに示されるように、各ＣＴＵは、輝度（ｌｕｍａ）サンプルからなる１つの符号化ツリーブロック（ＣＴＢ）と、対応する２つの色差サンプルからなる符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。シンタックス要素は、画素の符号化ブロックの種々のタイプのユニットの特性と、インター予測又はイントラ予測、イントラ予測モード、動きベクトル、及び他のパラメータを含め、ビデオ復号器３０にてビデオシーケンスを再構成し得る方法とを記述するものである。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＣＴＵは、単一の符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。符号化ツリーブロックは、サンプルのＮ×Ｎのブロックでよい。

より優れた性能を達成するために、ビデオ符号化器２０は、ＣＴＵの符号化ツリーブロックに対して、二分木（ｂｉｎａｒｙ－ｔｒｅｅ）分割、三分木（ｔｅｒｎａｒｙ－ｔｒｅｅ）分割、四分木（ｑｕａｄ－ｔｒｅｅ）分割、又はこれらの組合せなどの木分割を再帰的に実行して、ＣＴＵをより小さい符号化ユニット（ＣＵ）に分割し得る。図４Ｃに表されるように、６４×６４のＣＴＵ４００が、最初に、それぞれが３２×３２のブロックサイズを有する４つのより小さいＣＵに分割される。４つのより小さいＣＵの中で、ＣＵ４１０及びＣＵ４２０が、それぞれ１６×１６のブロックサイズで４つのＣＵに分割される。２つの１６×１６のＣＵである４３０及び４４０が、それぞれ８×８のブロックサイズで４つのＣＵにさらに分割される。図４Ｄは、図４Ｃに表されたようなＣＴＵ４００の分割プロセスの最終結果を示す四分木データ構造を表すものであり、四分木の各リーフノードが３２×３２～８×８の範囲のそれぞれのサイズの１つのＣＵに対応する。各ＣＵは、図４Ｂに表されたＣＴＵに類似して、輝度サンプルの符号化ブロック（ＣＢ）と、同じサイズのフレームの色差サンプルの２つの対応する符号化ブロックと、符号化ブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＣＵは、単一の符号化ブロックと、符号化ブロックのサンプルを符号化するのに使用されるシンタックス構造とを含み得る。図４Ｃ及び図４Ｄに表された四分木分割は単なる説明のためのものであり、１つのＣＴＵが、様々な局所的特性に適合するように、四分木分割／三分木分割／二分木分割に基づいてＣＵに分割され得ることに留意されたい。複合の木構造では、１つのＣＴＵが四分木構造によって分割され、各四分木の葉ＣＵが二分木構造及び三分木構造によってさらに分割され得る。図４Ｅに示されるように、４分割、水平２分割、垂直２分割、水平３分割、垂直３分割といった５つの分割タイプがある。

いくつかの実装形態では、ビデオ符号化器２０は、ＣＵの符号化ブロックを１つ以上のＭ×Ｎの予測ブロック（ＰＢ）へとさらに分割し得る。予測ブロックは、同一の（インター又はイントラ）予測が適用されるサンプルの矩形状（正方形又は非正方形）のブロックである。ＣＵの予測ユニット（ＰＵ）は、輝度サンプルの予測ブロックと、色差サンプルの２つの対応する予測ブロックと、予測ブロックを予測するのに使用されるシンタックス要素とを含み得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＰＵは、単一の予測ブロックと、予測ブロックを予測するのに使用されるシンタックス
構造とを含み得る。ビデオ符号化器２０は、ＣＵの各ＰＵにおける、予測輝度、輝度に関するＣｂ及びＣｒブロック、並びに、Ｃｂ及びＣｒ予測ブロックを生成し得る。

ビデオ符号化器２０は、ＰＵに関する予測ブロックを生成するためにイントラ予測又はインター予測を使用してよい。ビデオ符号化器２０がイントラ予測を使用してＰＵの予測ブロックを生成する場合には、ビデオ符号化器２０はＰＵに関連したフレームの復号サンプルに基づいてＰＵの予測ブロックを生成し得る。ビデオ符号化器２０がインター予測を使用してＰＵの予測ブロックを生成する場合には、ビデオ符号化器２０はＰＵに関連したフレーム以外の１つ以上のフレームの復号サンプルに基づいてＰＵの予測ブロックを生成し得る。

ビデオ符号化器２０は、ＣＵにおける１つ以上のＰＵに関する予測輝度ブロック、予測Ｃｂブロック及び予測Ｃｒブロックを生成した後に、ＣＵの輝度残差ブロックにおける各サンプルがＣＵの予測輝度ブロックのうちの１つにおける輝度サンプルとＣＵの元の輝度符号化ブロックにおける対応するサンプルとの間の差分を示すように、ＣＵの元の輝度符号化ブロックからＣＵの予測輝度ブロックを差し引くことによって、ＣＵに関する輝度残差ブロックを生成し得る。同様に、ビデオ符号化器２０は、ＣＵのＣｂ残差ブロックにおける各サンプルが、ＣＵの予測Ｃｂブロックのうちの１つにおけるＣｂサンプルとＣＵの元のＣｂ符号化ブロックにおける対応するサンプルとの間の差分を示すように、ＣＵのＣｂ残差ブロック及びＣｒ残差ブロックをそれぞれ生成してよく、ＣＵのＣｒ残差ブロックにおける各サンプルが、ＣＵの予測Ｃｒブロックのうちの１つにおけるＣｒサンプルとＣＵの元のＣｒ符号化ブロックにおける対応するサンプルとの間の差分を示し得る。

その上、図４Ｃに示されるように、ビデオ符号化器２０は、四分木分割を使用して、ＣＵの輝度、Ｃｂ及びＣｒの残差ブロックを、１つ以上の輝度、Ｃｂ及びＣｒの変換ブロックへと分解する。変換ブロックは、同一の変換が適用されるサンプルの矩形（正方形又は非正方形）のブロックである。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロックと、色差サンプルの２つの対応する変換ブロックと、変換ブロックサンプルを予測するのに使用されるシンタックス要素とを含み得る。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロック、及びＣｒ変換ブロックに関連付けられ得る。いくつかの例では、ＴＵに関連した輝度変換ブロックはＣＵの輝度残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＴＵは、単一の変換ブロックと、変換ブロックのサンプルを変換するのに使用されるシンタックス構造とを含み得る。

ビデオ符号化器２０は、ＴＵの輝度変換ブロックに１つ以上の変換を適用してＴＵ用の輝度係数ブロックを生成し得る。係数ブロックは変換係数の２次元配列であり得る。変換係数はスカラー量であり得る。ビデオ符号化器２０は、ＴＵのＣｂ変換ブロックに１つ以上の変換を適用してＴＵ用のＣｂ係数ブロックを生成し得る。ビデオ符号化器２０は、ＴＵのＣｒ変換ブロックに１つ以上の変換を適用してＴＵ用のＣｒ係数ブロックを生成し得る。

ビデオ符号化器２０は、係数ブロック（たとえば輝度係数ブロック、Ｃｂ係数ブロック又はＣｒ係数ブロック）を生成した後に係数ブロックを量子化し得る。量子化は、一般に、変換係数を表すために使用されるデータ量をどうにかして低減するために変換係数が量子化されるプロセスを指すものであり、さらなる圧縮をもたらす。ビデオ符号化器２０は、係数ブロックを量子化した後に、量子化変換係数を示すシンタックス要素をエントロピー符号化し得る。たとえば、ビデオ符号化器２０は量子化変換係数を示すシンタックス要素に対してコンテキスト適応型２値算術符号化（ＣＡＢＡＣ）を実行し得る。最終的に、
ビデオ符号化器２０は、符号化フレーム及び関連するデータの表現を形成する一連のビットを含むビットストリームを出力し得、これは記録装置３２に保存されるか又は送信先装置１４に伝送される。

ビデオ復号器３０は、ビデオ符号化器２０によって生成されたビットストリームを受け取った後に、ビットストリームを解析して、ビットストリームからシンタックス要素を取得し得る。ビデオ復号器３０は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいてビデオデータのフレームを再構成し得る。ビデオデータを再構成するプロセスは、一般にビデオ符号化器２０によって実行された符号化プロセスの逆のである。たとえば、ビデオ復号器３０は、現在のＣＵのＴＵに関連した係数ブロックに対する逆変換を実行して、現在のＣＵのＴＵに関連した残差ブロックを再構成し得る。ビデオ復号器３０はまた、現在のＣＵのＰＵに関する予測ブロックのサンプルを、対応する現在のＣＵのＴＵの変換ブロックのサンプルに加算することによって現在のＣＵの符号化ブロックを再構成する。ビデオ復号器３０は、フレームの各ＣＵに関する符号化ブロックを再構成した後にフレームを再構成し得る。

前述のように、ビデオコーディングは、主としてイントラフレーム予測（すなわちイントラ予測）及びインターフレーム予測（すなわちインター予測）の２つのモードを使用してビデオ圧縮を達成するものである。パレットベースの符号化は、多くのビデオコーディング規格によって採用されている別の符号化方式である。パレットベースの符号化は、スクリーンに生成されたコンテンツを符号化するのに特に適し、この方式では、ビデオコーダ（たとえばビデオ符号化器２０又はビデオ復号器３０）が、所与のブロックのビデオデータを表現する色のパレットテーブルを形成する。パレットテーブルは、所与のブロックの中で最も優勢な（たとえば頻繁に使用される）画素値を含む。所与のブロックのビデオデータにおいて頻繁に表現されない画素値は、パレットテーブルに含まれないか、又は回避色としてパレットテーブルに含まれる。

パレットテーブルの各エントリは、パレットテーブルの中の対応する画素値に関するインデックスを含む。ブロックの中のサンプルに関するパレットインデックスは、サンプルを予測するか又は再構成するために使用されるパレットテーブルのエントリを示すように符号化され得る。このパレットモードは、ピクチャ、スライス、タイル、又はビデオブロックのそのようなグループ化の最初のブロックに関するパレット予測子を生成するプロセスから始まる。以下で説明されるように、後続のビデオブロックに関するパレット予測子は、一般的には、以前に使用されたパレット予測子を更新することによって生成される。例示のために、パレット予測子はピクチャレベルで定義されると想定されている。言い換えれば、ピクチャは、それぞれが固有のパレットテーブルを有する複数の符号化ブロックを含み得るが、全体のピクチャに関する１つのパレット予測子がある。

ビデオビットストリームにおけるパレットエントリの信号伝達に必要なビット数を低減するために、ビデオ復号器は、ビデオブロックを再構成するために使用されるパレットテーブルの新しいパレットエントリを決定するためにパレット予測子を利用し得る。たとえば、パレット予測子は、以前に使用されたパレットテーブルからのパレットエントリを含んでよく、あるいは、つい最近使用されたパレットテーブルのすべてのエントリを含むことにより、つい最近使用されたパレットテーブルを用いて初期化されてもよい。いくつかの実装形態では、パレット予測子は、つい最近使用されたパレットテーブルからのすべてのエントリよりも少ないエントリを含み、次いで、以前に使用された他のパレットテーブルからのいくつかのエントリを組み込んでもよい。パレット予測子のサイズは、異なるブロックを符号化するために使用されるパレットテーブルのサイズと比較して、同一でも、より大きくても、より小さくてもよい。一例では、パレット予測子は、６４のパレットエントリを含む先入れ先出し（ＦＩＦＯ）テーブルとして実現される。

パレット予測子からのビデオデータのブロックに関するパレットテーブルを生成するために、ビデオ復号器は、符号化ビデオビットストリームから、パレット予測子の各入力について１ビットのフラグを受け取り得る。１ビットのフラグは、パレット予測子の関連する入力がパレットテーブルの中に含まれることを示す第１の値（たとえば２進数の１）又はパレット予測子の関連する入力がパレットテーブルの中に含まれないことを示す第２の値（たとえば２進数の０）を有し得る。パレット予測子のサイズがビデオデータのブロック用に使用されるパレットテーブルよりも大きい場合には、ビデオ復号器は、一旦パレットテーブルの最大サイズに達したら、さらにフラグを受け取ることを停止してよい。

いくつかの実装形態では、パレットテーブルのいくつかのエントリは、パレット予測子を使用して決定されるのではなく、符号化ビデオビットストリームにおいて直接信号伝達され得る。そのようなエントリについて、ビデオ復号器は、符号化ビデオビットストリームから、エントリに関連した輝度成分及び２つの色差成分に関する画素値を示す３つの個別のｍビットの値を受け取り得、ｍはビデオデータのビット深度を表現する。直接信号伝達されるパレットエントリのために複数のｍビットの値が必要とされるのに対して、パレット予測子から導出されるパレットエントリが必要とするのは１ビットのフラグのみである。したがって、パレット予測子を使用してパレット入力のいくつか又はすべてを信号伝達すれば、新規のパレットテーブルの入力を信号伝達するために必要なビット数をかなり低減することができ、それによって、パレットモード符号化の全体的な符号化効率を改善する。

多くの事例において、１つのブロックに関するパレット予測子は、以前に符号化された１つ以上のブロックを符号化するために使用されたパレットテーブルに基づいて決定される。しかし、ピクチャ、スライス又はタイルにおける最初の符号化ツリーユニットを符号化するときには、以前に符号化されたブロックのパレットテーブルを利用できない可能性がある。したがって、以前に使用されたパレットテーブルのエントリを使用してパレット予測子を生成することはできない。そのような場合には、以前に使用されたパレットテーブルが利用できないときにパレット予測子を生成するために使用された値である、一連のパレット予測子の初期化指定子が、シーケンスパラメータセット（ＳＰＳ）及び／又はピクチャパラメータセット（ＰＰＳ）において信号伝達されてよい。ＳＰＳは、一般に、各スライスセグメントヘッダに見られるシンタックス要素によって参照されるＰＰＳに見られるシンタックス要素のコンテンツによって決定されたものとして、符号化ビデオシーケンス（ＣＶＳ）と呼ばれる一連の連続した符号化ビデオピクチャに適合するシンタックス要素のシンタックス構造を指す。ＰＰＳは、一般に、各スライスセグメントヘッダに見られるシンタックス要素によって決定されたものとして、ＣＶＳの内部の１つ以上の個々のピクチャに適合するシンタックス要素のシンタックス構造を指す。したがって、ＳＰＳは、一般にＰＰＳよりも上位のレベルのシンタックス構造とみなされ、ＳＰＳに含まれるシンタックス要素は、一般にそれほど頻繁に変化せず、ＰＰＳに含まれるシンタックス要素と比較して、ビデオデータのより大きい部分に適合することを意味する。

図５Ａ～図５Ｂは、本開示のいくつかの実装形態に従って、ビデオデータを符号化するためにパレットテーブルを使用する例を示すブロック図である。

パレット（ＰＬＴ）モード信号伝達のために、符号化ユニット用の予測モードとしてパレットモードが符号化され、すなわち、符号化ユニット用の予測モードはＭＯＤＥ＿ＩＮＴＲＡ、ＭＯＤＥ＿ＩＮＴＥＲ、ＭＯＤＥ＿ＩＢＣ及びＭＯＤＥ＿ＰＬＴであり得る。パレットモードが利用される場合、ＣＵの画素値は代表色の小さいセットによって表される。このセットはパレットと称される。パレット色に近い値を有する画素に関して、パレットインデックスが信号伝達される。パレットの外の値を有する画素はエスケープシンボル
を伴って表され、量子化された画素値が直接信号伝達される。現行のＶＶＣ草案の仕様におけるパレットモードのシンタックス及び関連するセマンティクスが、それぞれ以下のテーブル１及びテーブル２に示される。

パレットモードで符号化されたブロックを復号するために、復号器は、ビットストリームからパレット色及びインデックスを復号する必要がある。パレット色は、パレットテーブルによって定義され、パレットテーブル符号化シンタックス（たとえばｐａｌｅｔｔｅ＿ｐｒｅｄｉｃｔｏｒ＿ｒｕｎ、ｎｕｍ＿ｓｉｇｎａｌｅｄ＿ｐａｌｅｔｔｅ＿ｅｎｔｒｉｅｓ、ｎｅｗ＿ｐａｌｅｔｔｅ＿ｅｎｔｒｉｅｓ）によって符号化される。現在のＣＵの中にエスケープシンボルがあるかどうか示すために、各ＣＵについて、エスケープフラグｐａｌｅｔｔｅ＿ｅｓｃａｐｅ＿ｖａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが信号伝達される。エスケープシンボルがある場合には、もう１つのエントリによってパレットテーブルが増補され、最後のインデックスはエスケープモードに割り当てられる。ＣＵにおけるすべての画素のパレットインデックスは、パレットインデックスマップを形成し、パレットインデックスマップ符号化シンタックス（たとえばｎｕｍ＿ｐａｌｅｔｔｅ＿ｉｎｄｉｃｅｓ＿ｍｉｎｕｓ１、ｐａｌｅｔｔｅ＿ｉｄｘ＿ｉｄｃ、ｃｏｐｙ＿ａｂｏｖｅ＿ｉｎｄｉｃｅｓ＿ｆｏｒ＿ｆｉｎａｌ＿ｒｕｎ＿ｆｌａｇ、ｐａｌｅｔｔｅ＿ｔｒａｎｓｐｏｓｅ＿ｆｌａｇ、ｃｏｐｙ＿ａｂｏｖｅ＿ｐａｌｅｔｔｅ＿ｉｎｄｉｃｅｓ＿ｆｌａｇ、ｐａｌｅｔｔｅ＿ｒｕｎ＿ｐｒｅｆｉｘ、ｐａｌｅｔｔｅ＿ｒｕｎ＿ｓｕｆｆｉｘ）によって符号化される。図５Ａにはパレットモードで符号化されたＣＵの一例が示されており、パレットサイズは４である。ＣＵにおける最初の３つのサンプルは、それぞれ、再構成のためにパレットエントリ２、０、及び３を使用する。ＣＵにおける「ｘ」サンプルはエスケープシンボルを表す。ＣＵレベルフラグ、ｐａｌｅｔｔｅ＿ｅｓｃａｐｅ＿ｖａｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＣＵの中に何らかのエスケープシンボルがあるかどうかを示すものである。エスケープシンボルがある場合には、パレットサイズが１つ増補され、最後のインデックスはエスケープシンボルを示すために使用される。したがって、図５Ａにおいて、エスケープシンボルにはインデックス４が割り当てられる。

パレットインデックス（たとえば図５Ａにおけるインデックス４）がエスケープシンボルに対応する場合には、サンプルの対応色を示すために追加のオーバヘッドが信号伝達される。

いくつかの実施形態では、符号化器側では、ＣＵとともに使用される適切なパレットを導出する必要がある。損失符号化用のパレットを導出するために、修正ｋ平均クラスタ化アルゴリズムが使用される。ブロックの最初のサンプルがパレットに追加される。次いで、ブロックからのそれぞれの後続のサンプルについて、サンプルと現在のパレット色の各々との間の差分絶対値和（ＳＡＤ）が計算される。サンプルは、成分の各々の歪みが最小のＳＡＤに対応するパレットエントリの閾値未満であれば、そのパレットエントリに属するクラスタに追加される。そうでなければ、サンプルは新規のパレットエントリとして追加される。クラスタにマッピングされたサンプル数が閾値を超過すると、そのクラスタの重心が更新されて、そのクラスタのパレットエントリになる。

次のステップにおいて、クラスタは使用の降順に選別される。次いで、各エントリに対応するパレットエントリが更新される。通常は、パレットエントリとしてクラスタ重心が使用される。しかし、パレットエントリの符号化のコストを考慮に入れたとき、重心の代わりに更新されたパレットエントリとして使用される、より適切な、パレット予測子からの何らかのエントリがないかどうかを分析するために、レート－歪み解析が実行される。このプロセスは、クラスタがすべて処理されるまで、又は最大のパレットサイズに達するまで、継続される。最終的に、クラスタが単一のサンプルのみを有し、対応するパレットエントリがパレット予測子になければ、サンプルはエスケープシンボルに変換される。加
えて、複写パレットエントリは除去され、それらのクラスタは組み合わされる。

パレット導出の後に、ブロックの中の各サンプルは、（ＳＡＤにおいて）最も近いパレットエントリのインデックスを割り当てられる。次いで、サンプルは「ＩＮＤＥＸ」モード又は「ＣＯＰＹ＿ＡＢＯＶＥ」モードに割り当てられる。「ＩＮＤＥＸ」モード又は「ＣＯＰＹ＿ＡＢＯＶＥ」モードのいずれかが可能な各サンプルについて、各モードの実行が決定される。次いで、モードを符号化するコストが計算される。より低コストのモードが選択される。

パレットテーブルの符号化のためにパレット予測子が維持される。パレットの最大サイズとパレット予測子の最大サイズとは、どちらもＳＰＳ（又はＰＰＳ、スライスヘッダなどの他の符号化レベル）で信号伝達され得る。パレット予測子は、パレット予測子が０にリセットされる、各スライスの開始において初期化される。パレット予測子の各エントリについて、それが現在のパレットの一部であるかどうかを示すために再利用フラグが信号伝達される。図５Ｂに示されるように、再利用フラグ、ｐａｌｅｔｔｅ＿ｐｒｅｄｉｃｔｏｒ＿ｒｕｎが送られる。この後、新規のパレットエントリの数が、０からシンタックスｎｕｍ＿ｓｉｇｎａｌｅｄ＿ｐａｌｅｔｔｅ＿ｅｎｔｒｉｅｓまでの次数の指数ゴロム符号を使用して信号伝達される。最終的に、新規のパレットエントリ、ｎｅｗ＿ｐａｌｅｔｔｅ＿ｅｎｔｒｉｅｓ［］に関する成分値が信号伝達される。現在のＣＵを符号化した後に、現在のパレットを使用してパレット予測子が更新され、新規のパレット予測子の最後に、現在のパレットでは再利用されない前のパレット予測子からのエントリが、可能な最大サイズに達するまで追加される。

パレットインデックスマップを符号化するために、図５Ｃに示されるように、水平走査又は垂直走査を使用して、インデックスが符号化される。走査順序は、ｐａｌｅｔｔｅ＿ｔｒａｎｓｐｏｓｅ＿ｆｌａｇを使用して、ビットストリームで明示的に信号伝達される。

パレットインデックスは、２つの主要なパレットサンプルモード「ＩＮＤＥＸ」及び「ＣＯＰＹ＿ＡＢＯＶＥ」を使用して符号化される。「ＩＮＤＥＸ」モードでは、パレットインデックスは明示的に信号伝達される。「ＣＯＰＹ＿ＡＢＯＶＥ」モードでは、上の行のサンプルのパレットインデックスがコピーされる。「ＩＮＤＥＸ」モードと「ＣＯＰＹ＿ＡＢＯＶＥ」モードとの両方について、同一のモードを使用して符号化される画素の数を規定する実行値が信号伝達される。モードはフラグを使用して信号伝達されるが、水平走査が使用されるときの一番上の行、又は垂直走査が使用されるときもしくは前のモードが「ＣＯＰＹ＿ＡＢＯＶＥ」であったときの最初の列は信号伝達されない。

いくつかの実施形態では、インデックスマップに関する符号化の順序は以下の通りである。最初に、シンタックスｎｕｍ＿ｐａｌｅｔｔｅ＿ｉｎｄｉｃｅｓ＿ｍｉｎｕｓ１を使用してＣＵのインデックス値の数が信号伝達され、続いて、シンタックスｐａｌｅｔｔｅ＿ｉｄｘ＿ｉｄｃを使用して、全体のＣＵの実際のインデックス値が信号伝達される。インデックスの数とインデックス値との両方が、バイパスモードで符号化される。これは、インデックスに関連するバイパス符号化ビンをグループ化する。次いで、シンタックスｃｏｐｙ＿ａｂｏｖｅ＿ｐａｌｅｔｔｅ＿ｉｎｄｉｃｅｓ＿ｆｌａｇ、ｐａｌｅｔｔｅ＿ｒｕｎ＿ｐｒｅｆｉｘ及びｐａｌｅｔｔｅ＿ｒｕｎ＿ｓｕｆｆｉｘを使用して、パレットモード（ＩＮＤＥＸ又はＣＯＰＹ＿ＡＢＯＶＥ）及び実行が、インタリーブ方式で信号伝達される。ｃｏｐｙ＿ａｂｏｖｅ＿ｐａｌｅｔｔｅ＿ｉｎｄｉｃｅｓ＿ｆｌａｇはコンテキスト符号化フラグ（ビンは１つのみ）であり、ｐａｌｅｔｔｅ＿ｒｕｎ＿ｐｒｅｆｉｘのコードワードは、以下のテーブル３に記述されるプロセスによって決定され、最初の５つのビンはコンテキスト符号化される。ｐａｌｅｔｔｅ＿ｒｕｎ＿ｓｕｆｆｉｘはバイパス
ビンとして符号化される。最終的に、全体のＣＵに関するエスケープサンプルに対応する成分エスケープ値がグループ化され、バイパスモードで符号化される。インデックス値を信号伝達した後に、追加のシンタックス要素ｃｏｐｙ＿ａｂｏｖｅ＿ｉｎｄｉｃｅｓ＿ｆｏｒ＿ｆｉｎａｌ＿ｒｕｎ＿ｆｌａｇが信号伝達される。このシンタックス要素は、インデックスの数とともに、ブロックにおける最後の実行に対応する実行値を信号伝達する必要性を解消する。

ＶＶＣ（ＶＴＭ）の参照ソフトウェアにおいて、Ｉスライスに対してデュアルツリーが有効にされ、輝度成分と色差成分とに関する符号化ユニット分割を分離する。結果として、パレットは、輝度（Ｙ成分）と色差（Ｃｂ成分及びＣｒ成分）とに対して別個に適用される。デュアルツリーが無効にされると、パレットはＹ成分、Ｃｂ成分、Ｃｒ成分に対して一緒に適用される。

第１５回ＪＶＥＴ会議において、ＶＴＭ６．０のパレットモードにおけるバッファ使用法及びシンタックスを簡単にするために、ラインベースのＣＧが提案されている（ドキュメントの番号はＪＶＥＴ－Ｏ０１２０であり、ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｖｅｔ／でアクセスされ得る）。ＣＵは、変換係数の符号化において使用される係数群（ＣＧ）のように、それぞれｍ個のサンプルから成る複数のラインベースの係数群に分割され、ここで、インデックス実行、パレットインデックス値、及びエスケープモード用に量子化された色が、各ＣＧについて順次に符号化される／パーズされる。結果として、ラインベースのＣＧにおける画素は、たとえばインデックス実行、パレットインデックス値、及びＣＧに関するエスケープ量子化された色といったシンタックス要素をパーズした後に再構成され得、これによって、ＶＴＭ６．０では再構成の前にすべての
ＣＵに関するシンタックス要素がパーズされる（また格納される）必要のあるパレットモードにおけるバッファ要件が大いに軽減される。

この用途では、パレットモードの各ＣＵは、水平走査モードに基づいて、図５Ｄに示されるようにｍ個（この試験ではｍ＝８）のサンプルの複数のセグメントに分割される。

各セグメントにおいて、パレット実行符号化のための符号化の順序は以下の通りである。各画素について、画素が前の画素と同一のモードであること、すなわち、以前の走査された画素と現在の画素とが、どちらも、実行タイプＣＯＰＹ＿ＡＢＯＶＥであること、又は実行タイプＩＮＤＥＸであって同一のインデックス値であることを示す、１つのコンテキスト符号化ビンｒｕｎ＿ｃｏｐｙ＿ｆｌａｇ＝０が信号伝達される。そうでなければ、ｒｕｎ＿ｃｏｐｙ＿ｆｌａｇ＝１が信号伝達される。

現在の画素と前の画素とが異なるモードであれば、画素の実行タイプすなわちＩＮＤＥＸ又はＣＯＰＹ＿ＡＢＯＶＥを示す１つのコンテキスト符号化ビンｃｏｐｙ＿ａｂｏｖｅ＿ｐａｌｅｔｔｅ ｉｎｄｉｃｅｓ＿ｆｌａｇが信号伝達される。この場合、デフォルトでＩＮＤＥＸモードが使用されるので、復号器は、サンプルが第１の行（水平走査）又は第１の列（垂直走査）にあるかどうか、実行タイプをパーズする必要はない。復号器は、以前にパーズされた実行タイプがＣＯＰＹ＿ＡＢＯＶＥであるかどうか、実行タイプをパーズする必要もない。

１つのセグメントにおける画素のパレット実行符号化の後、（ＩＮＤＥＸモードの）インデックス値及び量子化されたエスケープ色はバイパスビンとして符号化され、それぞれのラインベースのＣＧの内部の処理能力を改善するために、コンテキスト符号化ビンの符号化／パージングとは別にグループ化される。符号化の実行後に、インデックス値がこのとき符号化／パーズされるので、符号化器は、インデックス値ｎｕｍ＿ｐａｌｅｔｔｅ＿ｉｎｄｉｃｅｓ＿ｍｉｎｕｓ１の数及び最後の実行タイプｃｏｐｙ＿ａｂｏｖｅ＿ｉｎｄｉｃｅｓ＿ｆｏｒ＿ｆｉｎａｌ＿ｒｕｎ＿ｆｌａｇを信号伝達する必要はない。ＣＧパレットモードのシンタックスはテーブル４に示される。

図６は、ビデオ復号器（たとえばビデオ復号器３０）が、本開示のいくつかの実装形態によってビデオデータを復号する技術を実施する例示的プロセスを示す流れ図６００である。

ＶＶＣのパレットモードについては、パレットモードは、６４×６４の画素以下のＣＵに適合し得る。いくつかの実施形態では、最小のパレットモード・ブロックサイズよりも小さいサイズの符号化ユニットについてはパレットモードを無効にして複雑さを軽減するために、最小のパレットモード・ブロックサイズが提案されている。たとえば、たとえば１６サンプルといったある特定の閾値よりも小さいサイズのすべてのブロックのパレットモードを無効にすることが提案されている。種々の色差フォーマット（たとえば４：４：４、４：２：２、４：２：０）及び種々の符号化ツリータイプ（たとえばＳＩＮＧＬＥ＿ＴＲＥＥ、ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ及びＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ）があるので、この閾値は変化する可能性がある。「ＳＩＮＧＬＥ＿ＴＲＥＥ」は、これら２つの成分がそのパレットモードの下で同一のパレットテーブル及びパレット予測子を共有するように、画像の輝度成分と色差成分とが同様に分割されることを示すことに留意されたい。対照的に、「ＤＵＡＬ＿ＴＲＥＥ」は、これら２つの成分がそのパレットモードの下で別々のパレットテーブル及びパレット予測子を得るように、画像の輝度成分と色差成分とが別個に分割されることを示すものである。たとえば別々の成分が別個に考慮に入れられる、「ＤＵＡＬ＿ＴＲＥＥ」タイプを有するＹＵＶの４：２：０フォーマットについては、１６サンプルよりも小さいＣＵの色差成分のパレットモードは、複雑さを軽減するために無効にされてよい。次のテーブル５は、提案されたシンタックスの一例を示す。

テーブル５において、ｐｒｅｄ＿ｍｏｄｅ＿ｐｌｔ＿ｆｌａｇは、符号化ユニットに対してパレットモードが有効（たとえば１の値）にされるかそれとも無効（たとえば０の値）にされるかを規定する。ＳｕｂＷｉｄｔｈＣやＳｕｂＨｅｉｇｈｔＣのようなパラメータは、符号化ユニットの色差フォーマットに対して次のように関連付けられる。

白黒サンプリングではサンプル配列は１つしかなく、名目上輝度配列とみなされる。４：２：０のサンプリングでは、２つの色差配列の各々が、輝度配列の半分の高さ及び半分の幅を有する。４：２：２のサンプリングでは、２つの色差配列の各々が、輝度配列に対して同一の高さ及び半分の幅を有する。４：４：４のサンプリングでは、２つの色差配列の各々が、輝度配列と同一の高さ及び同一の幅を有する。

別の実施形態では、シングルツリーの場合には、パレットモードは、輝度ブロックサイ
ズに依拠して、小さなサイズのブロックには無効にされる。ＹＵＶ ４２０フォーマットに関する一例では、１６画素よりも小さいＣＵ用のパレットモードは、シングルツリーの場合には、輝度ブロックサイズに依拠して無効にされる。具体的な一例では、パレットの有効化が、輝度サンプルのサイズを条件とし、色差サンプルのサイズは無視するので、パレットモードは、８×４の輝度サンプル及び２つの４×２の色差サンプルを含有している８×４のＣＵに対して有効にされ得る。

ビデオ復号器３０は、ビットストリームの復号中に、最初に、ビットストリームから、符号化ユニットに関連した複数のシンタックス要素を受け取る（６１０）。複数のシンタックス要素は、符号化ユニットのサイズ及び符号化ツリータイプを示す。たとえば、符号化ツリータイプの符号化ユニットは、ＳＩＮＧＬＥ＿ＴＲＥＥ、ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ又はＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡのうちの１つであり得る。ビデオ復号器３０は、次いで、符号化ユニットの符号化ツリータイプに応じて、符号化ユニットの最小のパレットモード・ブロックサイズを決定する（６２０）。たとえば、上記のテーブル５に表されるように、符号化ツリータイプの符号化ユニットがＳＩＮＧＬＥ＿ＴＲＥＥ又はＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡであるとき、ビデオ復号器３０は最小のパレットモード・ブロックサイズを１６サンプルに設定する。符号化ツリータイプの符号化ユニットがＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡであるとき、ビデオ復号器３０は、最初に、符号化ユニット用の色差フォーマットを決定し、次いで、最小のパレットモード・ブロックサイズを、色差フォーマットに応じて、上記の表に示されるように設定する。たとえば、色差フォーマットが４：４：４であるとき、最小のパレットモード・ブロックサイズは１６サンプルであり、色差フォーマットが４：２：２であるとき、最小のパレットモード・ブロックサイズは３２サンプルであって、色差フォーマットが４：２：０であるとき、最小のパレットモード・ブロックサイズは６４サンプルである。

ビデオ復号器３０は、符号化ユニットのサイズが最小のパレットモード・ブロックサイズよりも大きいとの決定に応じて（６３０）、ビットストリームから、符号化ユニットに関連したパレットモード有効化フラグを受け取り（６４０）、次いで、パレットモード有効化フラグに応じて、ビットストリームから符号化ユニットを復号する（６５０）。いくつかの実施形態では、符号化ユニットに対してパレットモードが有効化されたとパレットモード有効化フラグが示すとき、ビデオ復号器３０は、ビットストリームから、現在のユニット用のパレットテーブルを生成し（６７０）、次いで、図５Ａ～図５Ｄに関連して上記で説明されたように、生成されたパレットテーブルを使用して、ビットストリームから符号化ユニットを復号する（６８０）。

図７は、本開示のいくつかの実装形態に従って、例示的なコンテキスト適応型２進算術符号化（ＣＡＢＡＣ）エンジンを示すブロック図である。

コンテキスト適応型２進算術符号化（ＣＡＢＡＣ）は、たとえばＨ．２６４／ＭＰＥＧ－４ ＡＶＣ、高能率映像符号化（ＨＥＶＣ）及びＶＶＣといった多くのビデオコーディング規格において使用されるエントロピー符号化の形態である。ＣＡＢＡＣは算術符号化に基づくものであり、いくつかの技術革新及び変更によりビデオコーディング規格の要求に適合する。たとえば、ＣＡＢＡＣは２進シンボルを符号化し、低複雑性を保ち、あらゆるシンボルのより頻繁に使用されるビットに関する確率モデリングを可能にするものである。確率モデルは、ローカルコンテキストに基づいて適応的に選択され、符号化モードが通常は局所的にうまく相関するので、確率のより優れたモデリングを可能にする。最後に、ＣＡＢＡＣは、量子化された確率範囲及び確率状態を使用することにより、乗算なしの範囲分割を使用する。

ＣＡＢＡＣは、種々のコンテキストに対して複数の確率モデルを有する。ＣＡＢＡＣは
、最初に、すべての非２進シンボルを２進に変換する。次いで、符号化器は、各ビン（又は、ビットと称される）について、使用するべき確率モデルを選択し、次いで近くの要素からの情報を使用して確率推定を最適化する。データを圧縮するために、最後に算術符号化が適用される。

コンテキストモデリングは、符号化シンボルの条件付き確率の推定をもたらす。適切なコンテキストモデルを利用すると、符号化のために現在のシンボルの近隣の既に符号化されているシンボルに応じて別々の確率モデルの間を切り換えることにより、所与のシンボル間冗長性が利用され得る。データシンボルを符号化するステップは以下のステージを包含している。

２値化処理：ＣＡＢＡＣは２進算術符号化を使用するものであり、符号化されるのは２値判定（１又は０）のみであることを意味する。非２値シンボル（たとえば変換係数又は動きベクトル）は、算術符号化に先立って「２値化され」、すなわち２進符号に変換される。このプロセスは、データシンボルを可変長符号に変換する処理に類似であるが、送信する前に２進符号が（算術符号化器によって）さらに符号化される。ステージは、２値化されたシンボルの各ビン（すなわち「ビット」）に対して繰り返される。

コンテキストモデルの選択：「コンテキストモデル」は、２値化されたシンボルの１つ以上のビンに関する確率モデルである。このモデルは、最近符号化されたデータシンボルの統計に依拠して、使用可能なモデルから選択されてよい。コンテキストモデルは、各ビンが「１」である確率又は「０」である確率を記憶する。

算術符号化：算術符号化器は選択された確率モデルに応じて各ビンを符号化する。各ビンにつき、（「０」及び「１」に対応する）まさに２つのサブ範囲があることに留意されたい。

確率の更新：選択されたコンテキストモデルは、実際の符号化された値に基づいて更新される（たとえば、ビン値が「１」であれば、「１」の度数カウントが増加される）。

それぞれの非２進シンタックス要素の値を一連のビンへと分解することにより、ＣＡＢＡＣにおける各ビン値のさらなる処理は、関連する符号化モード決定に依拠して、通常モード又はバイパスモードに選択され得る。バイパスモードを選択されるビンは、均一な分布を仮定されるものであり、結果的に、すべての通常の２進算術符号化（及び復号）プロセスは単にバイパスされる。通常の符号化モードでは、各ビン値は、通常の２進算術符号化エンジンを使用することによって符号化され、関連する確率モデルは、シンタックス要素のタイプ及びシンタックス要素の２値化表現のビン位置すなわちビンインデックス（ｂｉｎＩｄｘ）に基づく一定の選択によって決定されるか、又は関連するサイド情報（たとえばＣＵ／ＰＵ／ＴＵの空間的近隣、成分、深度もしくはサイズ、又はＴＵの内部の位置）に依拠して、２つ以上の確率モデルから適応的に選択される。確率モデルの選択はコンテキストモデリングと称される。重要な設計決定として、後者は、一般的には、最も頻繁に観察されたビンにのみ適用され、通常はそれほど頻繁に観測されないその他のビンは、接合を使用して、一般的にはゼロ次確率モデルを使用して処理される。このようにして、ＣＡＢＡＣは、サブシンボルレベルでの選択的な適応確率モデリングを可能にし、よって、かなり低減された全体的なモデリングコスト又は学習コストでシンボル間冗長性を利用するための効率的な手段をもたらす。一定の選択と適応的な選択との両方について、原理的に、任意の２つの連続した通常の符号化されたビンの間で、ある確率モデルから別の確率モデルへの切換えが起こり得ることに留意されたい。一般に、ＣＡＢＡＣでは、コンテキストモデルの設計は、不必要なモデリングコストのオーバヘッドを防止することと、かなりの程度まで統計依存性を利用することとの、矛盾する目標の間で、優れた妥協点を見
いだすという目標を反映する。

ＣＡＢＡＣにおける確率モデルのパラメータは適応性があり、これは、ビンのソースの統計的変動に対するモデル確率の適応が、符号化器と復号器との両方で、ビンごとに、後方適応式に同期して実行されることを意味し、このプロセスは確率推定と呼ばれる。そのために、ＣＡＢＡＣにおける各確率モデルは１２６の別々の状態のうちの１つを採用することができ、関連するモデル確率値ｐは［０：０１８７５；０：９８１２５］の範囲に及ぶ。各確率モデルの２つのパラメータは、コンテキストメモリの中に７ビットのエントリとして記憶され、６ビットが、最低確率のシンボル（ＬＰＳ）のモデル確率ｐＬＰＳを表す６３の確率状態の各々用であり、１ビットが、最高確率のシンボル（ＭＰＳ）の値ｎＭＰＳ用である。

１つ又は複数の例では、記述された機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せで実現され得る。この機能は、ソフトウェアで実現される場合には、１つ以上の命令又は符号（コード）としてコンピュータ読み取り可能な媒体に記憶されるか又は伝送されてよく、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記録媒体などの有形の媒体に対応するコンピュータ読み取り可能な記録媒体、又は、たとえば通信プロトコルに従って、ある位置から別の位置へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信メディアを含み得る。このように、コンピュータ読み取り可能な媒体は、一般に（１）非一時的な有形のコンピュータ読み取り可能な記録媒体、又は（２）信号もしくは搬送波などの通信媒体に相当し得るものである。データ記録媒体は、１つ以上のコンピュータ又は１つ以上のプロセッサによって、本出願に記述された実装形態を実現するための命令、符号及び／又はデータ構造を取り出すためにアクセスされ得る、任意の利用可能な媒体でよい。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

本明細書の実装形態の記述において使用される専門用語は、特定の実装形態のみを記述するためのものであり、特許請求の範囲を制限するようには意図されていない。実装形態及び添付の特許請求の範囲の記述で用いられるように、単数形「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）」は、文脈がはっきりと別様に示さなければ、複数形も含むように意図されている。本明細書で使用されるような「及び／又は」という用語は、関連する列挙された項目のうちの１つ又は複数の、ありとあらゆる可能な組合せを指し、かつ包含することも理解されよう。「備える」及び／又は「備えている」という用語は、本明細書で使用されたとき、明示された特徴、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、要素、構成要素、及び／又はこれらのグループの存在もしくは追加を排除するものではないがさらに理解されよう。

様々な要素を説明するために、本明細書では第１、第２などの用語が用いられることがあるが、これらの要素は、これらの用語によって限定されるべきでないことも理解されよう。これらの用語は、単に１つの要素を別のものと区別するのに用いられる。たとえば、実装形態の範囲から逸脱することなく、第１の電極が第２の電極と称され得て、同様に、第２の電極が第１の電極と称され得る。第１の電極と第２の電極は、どちらも電極であるが同一の電極ではない。

本出願の記述は解説及び説明のために提示されており、網羅的であること又は開示された形態の発明に限定されることは意図されていない。多くの修正形態、変形形態、及び代替の実装形態が、先の記述及び関連する図面において提示された教示内容の利益を有する当業者には明らかなはずである。実施形態は、本発明の原理や実際の用途について最も良く説明するため、他の当業者が様々な実装形態に関して本発明を理解することを可能にするため、また、基本原理と、意図された特定の使用法に適するものとしての様々な修正形
態を伴う様々な実装形態とを最も良く利用するために、選択して記述されたものである。したがって、特許請求の範囲は、開示された実装形態の特定の実施例及びその修正形態に限定されず、添付の特許請求の範囲の範囲内に含まれるように他の実装形態が意図されていることを理解されたい。

Claims (13)

1. ビデオデータを復号する方法であって、
   符号化ユニットに関連した複数の変数を導出するステップであって、前記複数の変数が輝度符号化ブロックのサイズ及び符号化ツリータイプを示し、前記符号化ユニットが所定の分割方法に関連し、当該所定の分割方法が、４分割、水平３分割、垂直３分割、水平２分割又は垂直２分割を含む、ステップと、
   前記符号化ツリータイプに応じて、前記符号化ユニットのパレットモード・ブロックサイズの閾値を決定するステップと、
   少なくとも前記輝度符号化ブロックのサイズが前記パレットモード・ブロックサイズの閾値よりも大きいとの決定に応じて、
   ビットストリームから、前記符号化ユニットに関連したパレットモード有効化フラグを受け取り、
   前記パレットモード有効化フラグに応じて、前記ビットストリームから前記符号化ユニットを復号するステップと
   を含み、
   前記符号化ツリータイプに応じて、前記符号化ユニットのパレットモード・ブロックサイズの閾値を決定する前記ステップは、
   前記符号化ツリータイプがＳＩＮＧＬＥ＿ＴＲＥＥ又はＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡであるときには、
   前記パレットモード・ブロックサイズの閾値を１６に設定し、
   前記符号化ツリータイプがＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡであるときには、
   色差フォーマットに応じて前記パレットモード・ブロックサイズの閾値を設定する、ステップを含む、方法。
2. 請求項１に記載の方法であって、
   前記パレットモード有効化フラグに応じて前記ビットストリームから前記符号化ユニットを復号する前記ステップは、
   前記符号化ユニットに対して前記パレットモードが有効化されたと前記パレットモード有効化フラグが示すとき、
   前記ビットストリームから前記符号化ユニット用のパレットテーブルを生成し、
   前記生成されたパレットテーブルを使用して、前記ビットストリームから前記符号化ユニットを復号するステップ
   を含む、方法。
3. 請求項２に記載の方法であって、エスケープ符号化サンプルが前記符号化ユニット内にあるかどうかをエスケープフラグから決定するステップをさらに含む方法。
4. 請求項１に記載の方法であって、前記色差フォーマットが４：４：４であるとき、前記パレットモード・ブロックサイズの閾値は１６である、方法。
5. 請求項１に記載の方法であって、前記色差フォーマットが４：２：２であるとき、前記パレットモード・ブロックサイズの閾値は３２である、方法。
6. 請求項１に記載の方法であって、前記色差フォーマットが４：２：０であるとき、前記パレットモード・ブロックサイズの閾値は６４である、方法。
7. 電子装置であって、
   １つ以上の処理部と、
   前記１つ以上の処理部に接続されたメモリと、
   前記メモリに記憶された複数のプログラムと
   を備え、
   前記複数のプログラムが、前記１つ以上の処理部によって実行されたとき、前記電子装置に、請求項１から６のいずれか一項に記載の方法を実施させる、電子装置。
8. １つ以上の処理部を有する電子装置によって実行するための複数のプログラムを記憶している非一時的なコンピュータ読み取り可能な記録媒体であって、前記複数のプログラムは、前記１つ以上の処理部によって実行されると、前記電子装置に、請求項１から６のいずれか一項に記載の方法を実施させる、非一時的なコンピュータ読み取り可能な記録媒体。
9. １つ以上のプロセッサを備えたコンピュータ装置による実行のための命令を含むコンピュータプログラムであって、前記命令は、前記１つ以上のプロセッサによって実行されると、請求項１から６のいずれか一項に記載の方法を前記コンピュータ装置に実施させる、コンピュータプログラム。
10. ビットストリームを送信する方法であって、
    符号化方法を実行することにより前記ビットストリームを生成するステップと、
    当該ビットストリームを復号器に送信するステップと
    を備え、
    前記符号化方法は、
    符号化ユニットに関連した複数の変数を導出するステップであって、前記複数の変数が輝度符号化ブロックのサイズ及び符号化ツリータイプを示し、前記符号化ユニットが所定の分割方法に関連し、当該所定の分割方法が、４分割、水平３分割、垂直３分割、水平２分割又は垂直２分割を含む、ステップと、
    前記符号化ツリータイプに応じて、前記符号化ユニットのパレットモード・ブロックサイズの閾値を決定するステップと、
    少なくとも前記輝度符号化ブロックのサイズが前記パレットモード・ブロックサイズの閾値よりも大きいとの決定に応じて、
    前記符号化ユニットに関連したパレットモード有効化フラグを決定し、
    前記パレットモード有効化フラグに応じて、前記符号化ユニットを符号化するステップと
    を含み、
    前記符号化ツリータイプに応じて、前記符号化ユニットのパレットモード・ブロックサイズの閾値を決定する前記ステップは、
    前記符号化ツリータイプがＳＩＮＧＬＥ＿ＴＲＥＥ又はＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡであるときには、
    前記パレットモード・ブロックサイズの閾値を１６に設定し、
    前記符号化ツリータイプがＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡであるときには、
    色差フォーマットに応じて前記パレットモード・ブロックサイズの閾値を設定する、ステップを含む、方法。
11. 請求項１０に記載の方法であって、前記色差フォーマットが４：４：４であるとき、前記パレットモード・ブロックサイズの閾値は１６である、方法。
12. 請求項１０に記載の方法であって、前記色差フォーマットが４：２：２であるとき、前記パレットモード・ブロックサイズの閾値は３２である、方法。
13. 請求項１０に記載の方法であって、前記色差フォーマットが４：２：０であるとき、前記パレットモード・ブロックサイズの閾値は６４である、方法。