JP7684448B2 - ４：４：４の彩度形式でのビデオ符号化の方法および装置 - Google Patents

Description

関連出願
本出願は、全体として参照により組み込まれている、２０１９年９月２３日出願の「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＯＦ ＶＩＤＥＯ ＣＯＤＩＮＧ ＩＮ ４：４：４ ＣＨＲＯＭＡ ＦＯＲＭＡＴ」という名称の米国特許仮出願第６２／９０４，５３９号に対する優先権を主張する。

本出願は、概してビデオデータの符号化および圧縮に関し、特に、４：４：４の彩度形式で符号化されたビデオの符号化効率を改善する方法およびシステムに関する。

デジタルビデオは、デジタルテレビ、ラップトップまたはデスクトップ・コンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、スマートフォン、ビデオ遠隔会議デバイス、ビデオストリーミングデバイス等のような種々の電子デバイスによってサポートされている。電子デバイスは、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＨＥＶＣ）、およびＶｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）規格によって定義されるようなビデオ圧縮／復元規格を実装することにより、デジタルビデオデータを伝送、受信、符号化、復号、および／または格納する。ビデオ圧縮は、典型的には、ビデオデータに内在する冗長性を低減または除去するために、空間的（フレーム内）予測および／または時間的（フレーム間）予測を行うことを含む。ブロックベースのビデオ符号化では、ビデオフレームが１つまたは複数のスライスに区分され、各スライスは、符号化ツリーユニット（ＣＴＵ）とも称される場合がある複数のビデオブロックを有する。各ＣＴＵは、１つの符号化ユニット（ＣＵ）を含んでもよく、または、予め定められた最小ＣＵサイズに達するまでより小さいＣＵに再帰的に分けられてもよい。各ＣＵ（葉ＣＵとも呼ばれる）は、１つまたは複数の変換ユニット（ＴＵ）を含み、各ＣＵはまた、１つまたは複数の予測ユニット（ＰＵ）を含む。各ＣＵは、イントラ、インターまたはＩＢＣモードのいずれかで符号化され得る。ビデオフレームのイントラ符号化される（Ｉ）スライスにおけるビデオブロックは、同じビデオフレーム内の隣接ブロックにおける参照サンプルに関する空間的予測を用いて符号化される。ビデオフレームのインター符号化される（ＰまたはＢ）スライスにおけるビデオブロックは、同じビデオフレーム内の隣接ブロックにおける参照サンプルに関する空間的予測、または、他の以前および／または以後の参照ビデオフレームにおける参照サンプルに関する時間的予測を用いてよい。

以前に符号化された参照ブロック、例えば隣接ブロックに基づく空間的または時間的予測は、符号化対象の現在のビデオブロックについての予測ブロックをもたらす。参照ブロックを見つけるプロセスは、ブロック・マッチング・アルゴリズムによって達成されてよい。符号化対象の現在のブロックと予測ブロックとの間の画素差を表す残差データは、残差ブロックまたは予測誤差と称される。インター符号化されるブロックは、予測ブロックを形成する参照フレームにおける参照ブロックを指し示す動きベクトルと、残差ブロックとに従って符号化される。動きベクトルを決定するプロセスは、典型的に動き推定と称される。イントラ符号化されるブロックは、イントラ予測モードおよび残差ブロックに従って符号化される。さらなる圧縮のために、残差ブロックが画素ドメインから変換ドメイン、例えば周波数ドメインに変換され、その結果として残差変換係数が得られ、そしてこれが量子化されてよい。初期的には２次元配列で配置される量子化された変換係数は、変換係数の一次元ベクトルを生じさせるように走査され、次いで、より一層の圧縮を実現するために、ビデオビットストリームにエントロピー符号化されてよい。

符号化済みビデオビットストリームは次いで、デジタルビデオ機能を有する別の電子デバイスによってアクセスされ、または有線または無線で電子デバイスに直接伝送されるように、コンピュータ可読記憶媒体（例えばフラッシュメモリ）に保存される。電子デバイスは次いで、例えば符号化済みビデオビットストリームを構文解析してビットストリームから構文要素を得、ビットストリームから得られた構文要素に少なくとも部分的に基づいて、符号化済みビデオビットストリームから元の形式にデジタルビデオデータを再構成することにより、ビデオ復元（上述のビデオ圧縮と反対のプロセス）を行い、再構成されたデジタルビデオデータを電子デバイスのディスプレイ上にレンダリングする。

デジタルビデオ品質が高精細度から４Ｋ×２Ｋまたはさらに８Ｋ×４Ｋへと高まっていくにつれ、符号化／復号の対象となるビデオデータの量は指数関数的に増加する。これは、復号されたビデオデータの画像品質を保持しつつ、いかにしてビデオデータがより効率的に符号化／復号され得るかという点に関して、常に課題となっている。

特定のビデオコンテンツ、例えばスクリーンコンテンツビデオは、３つ全ての成分（１つの輝度成分および２つの彩度成分）が同じ分解能を有する４：４：４の彩度形式で符号化される。４：４：４の彩度形式は、４：２：０の彩度形式および４：２：２の彩度形式と比較するとさらなる冗長性を含む（良好な圧縮効率を実現するには不都合である）が、４：４：４の彩度形式は、それでもなお、復号されたビデオにおいて鮮明なエッジなどの色情報を維持するために高い忠実度が必要とされる多くの用途にとって、好ましい符号化形式である。４：４：４の彩度形式のビデオに存在する冗長性を考慮すると、４：４：４ビデオの３つの色成分（例えば、ＹＣｂＣｒドメインのＹ、Ｃｂ、およびＣｒ、またはＲＧＢドメインのＧ、Ｂ、およびＲ）間の相関関係を利用することによって、大幅な符号化改善が実現され得るという根拠がある。これらの相関関係によって、ＨＥＶＣのスクリーンコンテンツ符号化（ＳＣＣ）拡張の開発中に、３つの色成分間の相関関係を利用するために、適応色空間変換（ＡＣＴ）ツールが用いられる。

本出願は、ビデオデータの符号化および復号、より詳細には特定の彩度形式で符号化されるビデオの符号化効率を改善するシステムおよび方法に関係する実装を説明する。

本出願の第１の態様によれば、ビデオデータを復号する方法は、符号化ユニットに対応するビデオデータをビットストリームから受信することであって、符号化ユニットは、インター予測モードまたはイントラブロックコピーモードで符号化されることと、ビデオデータから第１の構文要素を受信することであって、第１の構文要素は、符号化ユニットが０以外の残差を有するかどうかを示すことと、第１の構文要素が０以外の値を有するとの決定に従って、ビデオデータから第２の構文要素を受信することであって、第２の構文要素は、符号化ユニットが適応色空間変換（ＡＣＴ）を使用して符号化されているかどうかを示すことと、第１の構文要素が０の値を有するとの決定に従って、第２の構文要素に０の値を割り当てることと、第２の構文要素の値に従って、符号化ユニットのビデオデータに対して逆ＡＣＴを実行するか否かを決定することとを含む。

本出願の第２の態様によれば、電子装置は、１つまたは複数の処理ユニットと、メモリと、メモリに格納された複数のプログラムとを含む。プログラムは、１つまたは複数の処理ユニットによって実行されたときに、上述のビデオデータを復号する方法を電子装置に実行させる。

本出願の第３の態様によれば、非一時的コンピュータ可読記憶媒体は、１つまたは複数の処理ユニットを有する電子装置による実行のための複数のプログラムを格納する。プログラムは、１つまたは複数の処理ユニットによって実行されたときに、上述のビデオデータを復号する方法を電子装置に実行させる。

実装のさらなる理解を提供するために含まれ、本明細書に組み込まれ、明細書の一部を構成する添付の図面は、説明されている実装を例示し、その説明と共に根本的な原理を明らかにする役を果たす。同様の参照番号は、対応する部分を指す。

本開示のいくつかの実装に係る例示的なビデオ符号化および復号システムを示すブロック図である。 本開示のいくつかの実装に係る例示的なビデオエンコーダを示すブロック図である。 本開示のいくつかの実装に係る例示的なビデオデコーダを示すブロック図である。 本開示のいくつかの実装に係る、フレームが異なるサイズおよび形状の複数のビデオブロックに再帰的に区分される様子を示すブロック図である。 本開示のいくつかの実装に係る、フレームが異なるサイズおよび形状の複数のビデオブロックに再帰的に区分される様子を示すブロック図である。 本開示のいくつかの実装に係る、フレームが異なるサイズおよび形状の複数のビデオブロックに再帰的に区分される様子を示すブロック図である。 本開示のいくつかの実装に係る、フレームが異なるサイズおよび形状の複数のビデオブロックに再帰的に区分される様子を示すブロック図である。 本開示のいくつかの実装に係る、フレームが異なるサイズおよび形状の複数のビデオブロックに再帰的に区分される様子を示すブロック図である。 本開示のいくつかの実装に係る、ＲＧＢの色空間とＹＣｇＣｏの色空間との間の残差を変換するために適応色空間変換（ＡＣＴ）の技法を適用する例を示すブロック図である。 本開示のいくつかの実装に係る、ＲＧＢの色空間とＹＣｇＣｏの色空間との間の残差を変換するために適応色空間変換（ＡＣＴ）の技法を適用する例を示すブロック図である。 本開示のいくつかの実装に係る、例示的なビデオデータ復号プロセスで彩度スケーリングによる輝度マッピング（ＬＭＣＳ）の技法を適用するブロック図である。 本開示のいくつかの実装に係る、ビデオデコーダが逆適応色空間変換（ＡＣＴ）の技法を実施する例示的なビデオ復号プロセスを示すブロック図である。 本開示のいくつかの実装に係る、逆適応色空間変換を条件付きで実行することによって、ビデオデコーダがビデオデータを復号する例示的なプロセスを示すフローチャートである。

ここで、具体的な実装を詳細に参照し、その例が添付の図面に示されている。以下の詳細な説明において、本明細書において提示される主題を理解する助けとするために、多数の非限定的な具体的詳細が記載される。しかしながら、請求項の範囲から逸脱しない限りにおいて様々な代替例が用いられてよく、主題がこれらの具体的詳細なしに実施されてよいことは、当業者には明らかであろう。例えば、本明細書において提示される主題が、デジタルビデオ機能を有する多くのタイプの電子デバイス上で実装され得ることは、当業者には明らかであろう。

図１は、本開示のいくつかの実装に係る、ビデオブロックを並列に符号化および復号するための例示的システム１０を示すブロック図である。図１に示されるように、システム１０は、後に宛先デバイス１４によって復号されるビデオデータを生成および符号化するソースデバイス１２を含む。ソースデバイス１２および宛先デバイス１４は、デスクトップまたはラップトップコンピュータ、タブレットコンピュータ、スマートフォン、セットトップボックス、デジタルテレビ、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス等を含む多種多様な電子デバイスのいずれかを含んでよい。いくつかの実装において、ソースデバイス１２および宛先デバイス１４には、無線通信機能が搭載される。

いくつかの実装において、宛先デバイス１４は、リンク１６を介して復号対象の符号化済みビデオデータを受信してよい。リンク１６は、符号化済みビデオデータをソースデバイス１２から宛先デバイス１４へと移動させることが可能な任意のタイプの通信媒体またはデバイスを含んでよい。一例において、リンク１６は、ソースデバイス１２が符号化済みビデオデータをリアルタイムで宛先デバイス１４に直接伝送することを可能とする通信媒体を含んでよい。符号化済みビデオデータは、無線通信プロトコルなどの通信規格に従って変調され、宛先デバイス１４に伝送されてよい。通信媒体は、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理的伝送線などの任意の無線または有線通信媒体を含んでよい。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどのパケットベースのネットワークの一部を形成してよい。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１２から宛先デバイス１４への通信を促進するのに有用であり得る任意の他の機器を含んでよい。

いくつかの他の実装において、符号化済みビデオデータは、出力インターフェース２２からストレージデバイス３２に伝送されてよい。その後、ストレージデバイス３２における符号化済みビデオデータは、入力インターフェース２８を介して宛先デバイス１４によってアクセスされてよい。ストレージデバイス３２は、ハード・ドライブ、Ｂｌｕ－ｒａｙディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、または符号化済みビデオデータを格納するための任意の他の適当なデジタル記憶媒体などの、種々の分散型のまたはローカルでアクセスされるデータ記憶媒体のいずれかを含んでよい。さらなる例において、ストレージデバイス３２は、ソースデバイス１２によって生成される符号化済みビデオデータを保持し得るファイルサーバまたは別の中間ストレージデバイスに対応してよい。宛先デバイス１４は、格納されたビデオデータに対して、ストレージデバイス３２からストリーミングまたはダウンロードを介してアクセスしてよい。ファイルサーバは、符号化済みビデオデータを格納し符号化済みビデオデータを宛先デバイス１４に伝送することが可能な任意のタイプのコンピュータであってよい。例示的なファイルサーバは、（例えばウェブサイト用の）ウェブ・サーバ、ＦＴＰサーバ、ネットワーク・アタッチド・ストレージ（ＮＡＳ）デバイス、またはローカル・ディスク・ドライブを含む。宛先デバイス１４は、ファイルサーバに格納された符号化済みビデオデータにアクセスするのに適当な無線チャネル（例えばＷｉ－Ｆｉ接続）、有線接続（例えばＤＳＬ、ケーブル・モデム等）、またはそれら両方の組み合わせを含む任意の標準的なデータ接続を通して符号化済みビデオデータにアクセスしてよい。ストレージデバイス３２からの符号化済みビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、またはそれら両方の組み合わせであってよい。

図１に示されるように、ソースデバイス１２は、ビデオソース１８、ビデオエンコーダ２０および出力インターフェース２２を含む。ビデオソース１８は、例えばビデオカメラのようなビデオキャプチャデバイス、以前にキャプチャされたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェース、および／またはソースビデオとしてのコンピュータグラフィクスデータを生成するためのコンピュータグラフィクスシステム、またはそのようなソースの組み合わせなどのソースを含んでよい。一例として、ビデオソース１８が警備監視システムのビデオカメラである場合、ソースデバイス１２および宛先デバイス１４は、カメラフォンまたはビデオフォンを形成してよい。しかしながら、本出願において説明される実装は、一般にビデオ符号化に適用可能であってよく、無線および／または有線のアプリケーションに適用されてよい。

キャプチャされ、予めキャプチャされ、またはコンピュータで生成されたビデオは、ビデオエンコーダ２０によって符号化されてよい。符号化済みビデオデータは、ソースデバイス１２の出力インターフェース２２を介して宛先デバイス１４に直接伝送されてよい。符号化済みビデオデータはさらに（または代替的に）、復号および／または再生のために宛先デバイス１４または他のデバイスによって後にアクセスするために、ストレージデバイス３２に格納されてよい。出力インターフェース２２は、モデムおよび／または送信機をさらに含んでよい。

宛先デバイス１４は、入力インターフェース２８、ビデオデコーダ３０、およびディスプレイデバイス３４を含む。入力インターフェース２８は、受信機および／またはモデムを含み、リンク１６を介して符号化済みビデオデータを受信してよい。リンク１６を介して通信され、またはストレージデバイス３２上で提供される符号化済みビデオデータは、ビデオデータを復号する際におけるビデオデコーダ３０による使用のためにビデオエンコーダ２０によって生成される種々の構文要素を含んでよい。そのような構文要素は、通信媒体上で伝送され、記憶媒体に格納され、またはファイルサーバに格納される符号化済みビデオデータ内に含まれてよい。

いくつかの実装において、宛先デバイス１４は、一体化されたディスプレイデバイスおよび宛先デバイス１４と通信するように構成された外部ディスプレイデバイスであり得るディスプレイデバイス３４を含んでよい。ディスプレイデバイス３４は、復号されたビデオデータをユーザに表示し、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの種々のディスプレイデバイスのいずれかを含んでよい。

ビデオエンコーダ２０およびビデオデコーダ３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４、Ｐａｒｔ １０、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）、またはそのような規格の拡張版などの独自規格または産業規格に従って動作してよい。本出願は、特定のビデオ符号化／復号規格に限定されず、他のビデオ符号化／復号規格に適用可能であってよいことが理解されるべきである。ソースデバイス１２のビデオエンコーダ２０は、これらの現在または将来の規格のいずれかに従ってビデオデータを符号化するように構成されてよいことが一般に想定される。同様に、宛先デバイス１４のビデオデコーダ３０は、これらの現在または将来の規格のいずれかに従ってビデオデータを復号するように構成されてよいこともまた、一般に想定される。

ビデオエンコーダ２０およびビデオデコーダ３０は各々、１つまたは複数のマイクロプロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、ディスクリート・ロジック、ソフトウェア、ハードウェア、ファームウェアまたはそれらの任意の組み合わせなどの種々の適当なエンコーダ回路のいずれかとして実装されてよい。部分的にソフトウェアで実装される場合、電子デバイスが、当該ソフトウェアのための命令を適当な非一時的コンピュータ可読媒体に格納し、本開示において開示されるビデオ符号化／復号動作を行うよう、１つまたは複数のプロセッサを用いてそれらの命令をハードウェアで実行してよい。ビデオエンコーダ２０およびビデオデコーダ３０の各々は、１つまたは複数のエンコーダまたはデコーダに含まれてよく、そのいずれも、それぞれのデバイスにおいて、組み合わされたエンコーダ／デコーダ（ＣＯＤＥＣ）の一部として一体化されてよい。

図２は、本出願において説明されるいくつかの実装に係る例示的なビデオエンコーダ２０を示すブロック図である。ビデオエンコーダ２０は、ビデオフレーム内のビデオブロックのイントラおよびインター予測符号化を行ってよい。イントラ予測符号化は、所与のビデオフレームまたはピクチャ内のビデオデータにおける空間的冗長性を低減または除去するための空間的予測に依拠する。インター予測符号化は、ビデオシーケンスの隣接するビデオフレームまたはピクチャ内のビデオデータにおける時間的冗長性を低減または除去するための時間的予測に依拠する。

図２に示されるように、ビデオエンコーダ２０は、ビデオデータメモリ４０、予測処理ユニット４１、復号化ピクチャバッファ（ＤＰＢ）６４、加算器５０、変換処理ユニット５２、量子化ユニット５４、およびエントロピー符号化ユニット５６を含む。予測処理ユニット４１は、動き推定ユニット４２、動き補償ユニット４４、区分ユニット４５、イントラ予測処理ユニット４６、およびイントラブロックコピー（ＢＣ）ユニット４８をさらに含む。いくつかの実装において、ビデオエンコーダ２０はまた、ビデオブロック再構成のための逆量子化ユニット５８、逆変換処理ユニット６０、および加算器６２を含む。再構成されたビデオからブロック歪みアーチファクトを除去するようブロック境界をフィルタリングするために、デブロッキングフィルタ（不図示）が加算器６２とＤＰＢ ６４との間に配置されてよい。加算器６２の出力をフィルタリングするために、デブロッキングフィルタに加えてループ内フィルタ（不図示）が用いられてもよい。ビデオエンコーダ２０は、固定のまたはプログラミング可能なハードウェアユニットの形態を取ってもよく、または、例示される固定のまたはプログラミング可能なハードウェアユニットのうちの１つまたは複数の間で分割されてもよい。

ビデオデータメモリ４０は、ビデオエンコーダ２０の構成要素によって符号化されるビデオデータを格納してよい。ビデオデータメモリ４０におけるビデオデータは、例えばビデオソース１８から得られてよい。ＤＰＢ ６４は、（例えばイントラまたはインター予測符号化モードで）ビデオエンコーダ２０によってビデオデータを符号化する際に用いるための参照ビデオデータを格納するバッファである。ビデオデータメモリ４０およびＤＰＢ ６４は、種々のメモリデバイスのいずれかによって形成されてよい。様々な例において、ビデオデータメモリ４０は、ビデオエンコーダ２０の他の構成要素と同一チップ上、またはそれらの構成要素に対してチップ外であってよい。

図２に示されるように、ビデオデータを受信した後、予測処理ユニット４１内の区分ユニット４５は、ビデオデータをビデオブロックに区分する。この区分は、ビデオデータに関連付けられる四分木構造などの予め定められた分割構造に従って、ビデオフレームをスライス、タイル、または他のより大きい符号化ユニット（ＣＵ）に区分することを含んでもよい。ビデオフレームは、複数のビデオブロック（またはタイルと称されるビデオブロックのセット）に分割されてよい。予測処理ユニット４１は、誤り結果（例えば符号化率および歪みレベル）に基づいて、現在のビデオブロックについて、複数のイントラ予測符号化モードのうちの１つ、または複数のインター予測符号化モードのうちの１つなどの、複数の可能な予測符号化モードのうちの１つを選択してよい。予測処理ユニット４１は、結果として得られるイントラまたはインター予測符号化されたブロックを、残差ブロックを生成するために加算器５０に、また、後に参照フレームの一部として用いるために符号化済みブロックを再構成するために加算器６２に提供してよい。予測処理ユニット４１はまた、動きベクトル、イントラモード・インジケータ、区分情報、および他のそのような構文情報などの構文要素を、エントロピー符号化ユニット５６に提供する。

現在のビデオブロックについて適切なイントラ予測符号化モードを選択するべく、予測処理ユニット４１内のイントラ予測処理ユニット４６は、空間的予測を提供するために、符号化対象の現在のブロックと同じフレームにおける１つまたは複数の隣接ブロックに対して現在のビデオブロックのイントラ予測符号化を行ってよい。予測処理ユニット４１内の動き推定ユニット４２および動き補償ユニット４４は、時間的予測を提供するために、１つまたは複数の参照フレームにおける１つまたは複数の予測ブロックに対して現在のビデオブロックのインター予測符号化を行う。ビデオエンコーダ２０は、例えばビデオデータの各ブロックについて適切な符号化モードを選択するために、複数の符号化パスを行ってよい。

いくつかの実装において、動き推定ユニット４２は、ビデオフレームのシーケンス内の予め決定されたパターンに従って、参照ビデオフレーム内の予測ブロックに対する現在のビデオフレーム内のビデオブロックの予測ユニット（ＰＵ）の変位を示す動きベクトルを生成することにより、現在のビデオフレームについてのインター予測モードを決定する。動き推定ユニット４２によって行われる動き推定は、ビデオブロックについての動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在のフレーム（または他の符号化単位）内で符号化されている現在のブロックに対する参照フレーム（または他の符号化単位）内の予測ブロックに対する現在のビデオフレームまたはピクチャ内のビデオブロックのＰＵの変位を示してよい。予め決定されたパターンは、シーケンスにおけるビデオフレームをＰフレームまたはＢフレームとして指定してよい。イントラＢＣユニット４８は、インター予測のための動き推定ユニット４２による動きベクトルの決定と同様の方式で、イントラＢＣ符号化のために例えばブロックベクトルのようなベクトルを決定してよく、または、動き推定ユニット４２を利用してブロックベクトルを決定してよい。

予測ブロックは、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、または他の差分メトリックによって決定され得る画素差に関して、符号化対象のビデオブロックのＰＵと密接に合致するものとみなされる参照フレームのブロックである。いくつかの実装において、ビデオエンコーダ２０は、ＤＰＢ ６４に格納された参照フレームのサブ整数画素位置についての値を算出してよい。例えば、ビデオエンコーダ２０は、参照フレームの４分の１画素位置、８分の１画素位置、または他の分数画素位置の値を補間してよい。したがって、動き推定ユニット４２は、フル画素位置および分数画素位置に対して動き探索を行い、分数画素精度と共に動きベクトルを出力してよい。

動き推定ユニット４２は、第１の参照フレームリスト（リスト０）または第２の参照フレームリスト（リスト１）（その各々が、ＤＰＢ ６４に格納された１つまたは複数の参照フレームを特定する）から選択される参照フレームの予測ブロックの位置とＰＵの位置を比較することにより、インター予測符号化されたフレームにおけるビデオブロックのＰＵについての動きベクトルを算出する。動き推定ユニット４２は、算出された動きベクトルを動き補償ユニット４４に、次いでエントロピー符号化ユニット５６に送信する。

動き補償ユニット４４によって行われる動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチまたは生成することを伴ってよい。現在のビデオブロックのＰＵについての動きベクトルを受信すると、動き補償ユニット４４は、動きベクトルが参照フレームリストのうちの１つにおいて指し示す予測ブロックの位置を特定し、ＤＰＢ ６４から予測ブロックを取得し、予測ブロックを加算器５０に転送してよい。加算器５０は次いで、動き補償ユニット４４によって提供された予測ブロックの画素値を、符号化されている現在のビデオブロックの画素値から減算することにより、画素差分値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差分値は、輝度または彩度の差分成分またはその両方を含んでよい。動き補償ユニット４４はまた、ビデオフレームのビデオブロックを復号する際におけるビデオデコーダ３０による使用のために、ビデオフレームのビデオブロックに関連付けられる構文要素を生成してよい。構文要素は、例えば、予測ブロックを特定するために用いられる動きベクトルを定義する構文要素、予測モードを示す任意のフラグ、または本明細書に説明される任意の他の構文情報を含んでよい。動き推定ユニット４２および動き補償ユニット４４は、高度に一体化されてよいが、概念的な目的で別個に示されていることに留意されたい。

いくつかの実装において、イントラＢＣユニット４８は、動き推定ユニット４２および動き補償ユニット４４に関連して上記で説明されているものと同様の方式で、ベクトルを生成し予測ブロックをフェッチしてよいが、予測ブロックは、符号化されている現在のブロックと同じフレームにおけるものであり、ベクトルは、動きベクトルとは対照的にブロックベクトルと称される。特に、イントラＢＣユニット４８は、現在のブロックを符号化するために用いるべきイントラ予測モードを決定してよい。いくつかの例において、イントラＢＣユニット４８は、例えば別個の符号化パスの間に、様々なイントラ予測モードを用いて現在のブロックを符号化し、レート歪み解析によってそれらの性能を試験してよい。次に、イントラＢＣユニット４８は、様々な試験されるイントラ予測モードの中から、用いるべき適切なイントラ予測モードを選択し、それに応じてイントラモード・インジケータを生成してよい。例えば、イントラＢＣユニット４８は、様々な試験されるイントラ予測モードについてレート歪み解析を用いてレート歪み値を算出し、試験モードのうち最良のレート歪み特性を有するイントラ予測モードを、用いるべき適切なイントラ予測モードとして選択してよい。レート歪み解析は、一般に、符号化済みブロックを作成するために用いられるビットレート（すなわちビットの数）と共に、符号化済みブロックと、符号化済みブロックを作成するように符号化された元の未符号化ブロックとの間の歪み（または誤差）の量を決定する。イントラＢＣユニット４８は、どのイントラ予測モードがブロックについての最良のレート歪み値を呈するかを決定するために、様々な符号化済みブロックについての歪みおよびレートからの比を算出してよい。

他の例において、イントラＢＣユニット４８は、本明細書において説明される実装に従って、イントラＢＣ予測のためのそのような機能を行うために、全体的または部分的に動き推定ユニット４２および動き補償ユニット４４を用いてよい。いずれの場合においても、イントラブロックコピーについて、予測ブロックは、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、または他の差分メトリックによって決定され得る画素差に関して、符号化対象のブロックと密接に合致するものとみなされるブロックであってよく、予測ブロックの特定は、サブ整数画素位置についての値の算出を含んでよい。

予測ブロックがイントラ予測による同じフレームからのものであるか、またはインター予測による異なるフレームからのものであるかに関わらず、ビデオエンコーダ２０は、符号化されている現在のビデオブロックの画素値から予測ブロックの画素値を減算することにより、残差ビデオブロックを形成してよく、これにより画素差分値を形成する。残差ビデオブロックを形成する画素差分値は、輝度および彩度の両成分の差分を含んでよい。

イントラ予測処理ユニット４６は、上述のように、動き推定ユニット４２および動き補償ユニット４４によって行われるインター予測、またはイントラＢＣユニット４８によって行われるイントラブロックコピー予測の代替として、現在のビデオブロックをイントラ予測してよい。特に、イントラ予測処理ユニット４６は、現在のブロックを符号化するために用いるべきイントラ予測モードを決定してよい。これを行うために、イントラ予測処理ユニット４６は、例えば別個の符号化パスの間に、様々なイントラ予測モードを用いて現在のブロックを符号化してよく、イントラ予測処理ユニット４６（またはいくつかの例においてはモード選択ユニット）は、試験されたイントラ予測モードから、用いるべき適切なイントラ予測モードを選択してよい。イントラ予測処理ユニット４６は、そのブロックについての選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット５６に提供してよい。エントロピー符号化ユニット５６は、選択されたイントラ予測モードを示す情報をビットストリームにおいて符号化してよい。

予測処理ユニット４１がインター予測またはイントラ予測のいずれかを介して現在のビデオブロックについての予測ブロックを決定した後、加算器５０は現在のビデオブロックから予測ブロックを減算することにより残差ビデオブロックを形成する。残差ブロックにおける残差ビデオデータは、１つまたは複数の変換ユニット（ＴＵ）に含まれてよく、変換処理ユニット５２に提供される。変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）または概念的に類似の変換などの変換を用いて、残差ビデオデータを残差変換係数に変換する。

変換処理ユニット５２は、結果として得られた変換係数を量子化ユニット５４に送信してよい。量子化ユニット５４は、ビット・レートをさらに低減するために、変換係数を量子化する。量子化プロセスは、係数の一部または全てに関連付けられるビット深度を低減してもよい。量子化度は、量子化パラメータを調整することにより修正されてよい。いくつかの例において、量子化ユニット５４は次いで、量子化された変換係数を含む行列の走査を行ってよい。代替的に、エントロピー符号化ユニット５６がこの走査を行ってよい。

量子化に続き、エントロピー符号化ユニット５６は、例えばコンテキスト適応可変長符号化（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）、シンタックスベースのコンテキスト適応バイナリ算術符号化（ＳＢＡＣ）、確率区間区分エントロピー（ＰＩＰＥ）符号化または別のエントロピー符号化方法または技法を用いて、量子化された変換係数をビデオビットストリームにエントロピー符号化する。符号化済みビットストリームは次いで、ビデオデコーダ３０に伝送され、または、後のビデオデコーダ３０への伝送またはビデオデコーダ３０による取得のためにストレージデバイス３２にアーカイブされてよい。エントロピー符号化ユニット５６は、符号化されている現在のビデオフレームについての動きベクトルおよび他の構文要素をエントロピー符号化してもよい。

逆量子化ユニット５８および逆変換処理ユニット６０は、それぞれ逆量子化および逆変換を適用することで、他のビデオブロックの予測のための参照ブロックを生成するために、残差ビデオブロックを画素ドメインに再構成する。上記のように、動き補償ユニット４４は、ＤＰＢ ６４に格納されたフレームの１つまたは複数の参照ブロックから、動き補償された予測ブロックを生成してよい。動き補償ユニット４４は、動き推定に用いるためのサブ整数画素値を算出するために、予測ブロックに１つまたは複数の補間フィルタを適用してもよい。

加算器６２は、ＤＰＢ ６４への格納のために参照ブロックを作成するために、再構成された残差ブロックを、動き補償ユニット４４によって作成された動き補償された予測ブロックに加算する。参照ブロックは次いで、イントラＢＣユニット４８、動き推定ユニット４２および動き補償ユニット４４によって、後続のビデオフレームにおける別のビデオブロックをインター予測するための予測ブロックとして用いられてよい。

図３は、本出願のいくつかの実装に係る例示的なビデオデコーダ３０を示すブロック図である。ビデオデコーダ３０は、ビデオデータメモリ７９、エントロピー復号ユニット８０、予測処理ユニット８１、逆量子化ユニット８６、逆変換処理ユニット８８、加算器９０、およびＤＰＢ ９２を含む。予測処理ユニット８１は、動き補償ユニット８２、イントラ予測処理ユニット８４、およびイントラＢＣユニット８５をさらに含む。ビデオデコーダ３０は、図２に関連してビデオエンコーダ２０に関して上記で説明されている符号化プロセスと概して反対の復号プロセスを行ってよい。例えば、動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルに基づいて予測データを生成してよく、一方でイントラ予測ユニット８４は、エントロピー復号ユニット８０から受信されたイントラ予測モード・インジケータに基づいて予測データを生成してよい。

いくつかの例において、ビデオデコーダ３０のあるユニットが、本出願の実装を実行することを課されてよい。また、いくつかの例において、本開示の実装は、ビデオデコーダ３０の１つまたは複数のユニットの間で分割されてよい。例えば、イントラＢＣユニット８５は、単独で、または動き補償ユニット８２、イントラ予測処理ユニット８４、およびエントロピー復号ユニット８０などのビデオデコーダ３０の他のユニットとの組み合わせで、本出願の実装を行ってよい。いくつかの例において、ビデオデコーダ３０は、イントラＢＣユニット８５を含まなくてよく、イントラＢＣユニット８５の機能は、動き補償ユニット８２などの予測処理ユニット８１の他の構成要素によって行われてよい。

ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素によって復号される、符号化済みビデオビットストリームなどのビデオデータを格納してよい。ビデオデータメモリ７９に格納されたビデオデータは、例えば、ストレージデバイス３２から、カメラなどのローカルのビデオソースから、ビデオデータの有線または無線ネットワーク通信を介して、または物理的データ記憶媒体（例えばフラッシュドライブまたはハードディスク）にアクセスすることにより、得られてよい。ビデオデータメモリ７９は、符号化済みビデオビットストリームからの符号化済みビデオデータを格納する符号化ピクチャバッファ（ＣＰＢ）を含んでよい。ビデオデコーダ３０の復号化ピクチャバッファ（ＤＰＢ）９２は、（例えばイントラまたはインター予測符号化モードで）ビデオデコーダ３０によってビデオデータを復号する際に用いるための参照ビデオデータを格納する。ビデオデータメモリ７９およびＤＰＢ ９２は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗変化ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスなどの種々のメモリデバイスのいずれかによって形成されてよい。例示の目的で、ビデオデータメモリ７９およびＤＰＢ ９２は、図３においてビデオデコーダ３０の２つの別個の構成要素として図示されている。しかしながら、ビデオデータメモリ７９およびＤＰＢ ９２が同じメモリデバイスまたは別個のメモリデバイスによって提供されてよいことは、当業者には明らかであろう。いくつかの例において、ビデオデータメモリ７９は、ビデオデコーダ３０の他の構成要素と同一チップ上、またはそれらの構成要素に対してチップ外であってよい。

復号プロセスの間、ビデオデコーダ３０は、符号化済みビデオフレームのビデオブロックおよび関連付けられる構文要素を表す符号化済みビデオビットストリームを受信する。ビデオデコーダ３０は、ビデオフレームのレベルおよび／またはビデオブロックのレベルで構文要素を受信してよい。ビデオデコーダ３０のエントロピー復号ユニット８０は、ビットストリームをエントロピー復号して、量子化係数、動きベクトルまたはイントラ予測モード・インジケータ、および他の構文要素を生成する。エントロピー復号ユニット８０は次いで、動きベクトルおよび他の構文要素を予測処理ユニット８１に転送する。

ビデオフレームが、イントラ予測符号化された（Ｉ）フレームとして、または他のタイプのフレームにおけるイントラ符号化された予測ブロックについて符号化される場合、予測処理ユニット８１のイントラ予測処理ユニット８４は、信号伝送されるイントラ予測モードと、現在のフレームの以前に復号されたブロックからの参照データとに基づいて、現在のビデオフレームのビデオブロックについての予測データを生成してよい。

ビデオフレームが、インター予測符号化された（すなわちＢまたはＰ）フレームとして符号化される場合、予測処理ユニット８１の動き補償ユニット８２は、エントロピー復号ユニット８０から受信された動きベクトルおよび他の構文要素に基づいて、現在のビデオフレームのビデオブロックについての１つまたは複数の予測ブロックを作成する。予測ブロックの各々は、参照フレームリストのうちの１つにおける参照フレームから作成されてよい。ビデオデコーダ３０は、ＤＰＢ ９２に格納された参照フレームに基づいて、デフォルトの構成技法を用いて、参照フレームリスト、リスト０およびリスト１を構成してよい。

いくつかの例において、ビデオブロックが本明細書において説明されるイントラＢＣモードに従って符号化される場合、予測処理ユニット８１のイントラＢＣユニット８５は、エントロピー復号ユニット８０から受信されたブロックベクトルおよび他の構文要素に基づいて、現在のビデオブロックについての予測ブロックを作成する。予測ブロックは、ビデオエンコーダ２０によって定められる現在のビデオブロックと同じピクチャの再構成された領域内のものであってよい。

動き補償ユニット８２および／またはイントラＢＣユニット８５は、動きベクトルおよび他の構文要素を構文解析することにより、現在のビデオフレームのビデオブロックについての予測情報を決定し、次いで、予測情報を用いて、復号されている現在のビデオブロックについての予測ブロックを作成する。例えば、動き補償ユニット８２は、受信された構文要素のいくつかを用いて、ビデオフレームのビデオブロックを符号化するために用いられる予測モード（例えばイントラまたはインター予測）、インター予測フレーム・タイプ（例えばＢまたはＰ）、フレームについての参照フレームリストのうちの１つまたは複数についての構成情報、フレームのインター予測符号化された各ビデオブロックについての動きベクトル、フレームのインター予測符号化された各ビデオブロックについてのインター予測ステータス、現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定する。

同様に、イントラＢＣユニット８５は、例えばフラグのような受信された構文要素のいくつかを用いて、現在のビデオブロックがイントラＢＣモードを用いて予測されたこと、フレームのどのビデオブロックが再構成された領域内にあり、ＤＰＢ ９２に格納されているはずであるかについての構成情報、フレームのイントラＢＣ予測された各ビデオブロックについてのブロックベクトル、フレームのイントラＢＣ予測された各ビデオブロックについてのイントラＢＣ予測ステータス、および現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定してよい。

動き補償ユニット８２はまた、ビデオブロックの符号化の間にビデオエンコーダ２０によって用いられるように、補間フィルタを用いて補間を行って、参照ブロックのサブ整数画素についての補間された値を算出してよい。この場合、動き補償ユニット８２は、受信された構文要素からビデオエンコーダ２０によって用いられる補間フィルタを決定し、補間フィルタを用いて予測ブロックを作成してよい。

逆量子化ユニット８６は、ビデオフレームにおける各ビデオブロックについてビデオエンコーダ２０によって算出されたものと同じ量子化パラメータを用いて、ビットストリームにおいて提供され、エントロピー復号ユニット８０によってエントロピー復号された量子化された変換係数を逆量子化して、量子化度を決定する。逆変換処理ユニット８８は、残差ブロックを画素ドメインにおいて再構成するために、例えば逆ＤＣＴ、逆整数変換、または概念的に類似の逆変換プロセスのような逆変換を変換係数に適用する。

動き補償ユニット８２またはイントラＢＣユニット８５が、ベクトルおよび他の構文要素に基づいて、現在のビデオブロックについての予測ブロックを生成した後、加算器９０は、逆変換処理ユニット８８からの残差ブロックと、動き補償ユニット８２およびイントラＢＣユニット８５によって生成された対応する予測ブロックとを加算することにより、現在のビデオブロックについての復号済みビデオブロックを再構成する。復号済みビデオブロックをさらに処理するために、ループ内フィルタ（不図示）が加算器９０とＤＰＢ ９２との間に配置されてよい。所与のフレームにおける復号済みビデオブロックは、次いで、次のビデオブロックの後続の動き補償に用いられる参照フレームを格納するＤＰＢ ９２に格納される。ＤＰＢ ９２、またはＤＰＢ ９２とは別個のメモリデバイスは、図１のディスプレイデバイス３４などのディスプレイデバイス上における後の提示のために、復号済みビデオを格納してもよい。

典型的なビデオ符号化プロセスにおいて、ビデオシーケンスは典型的に、フレームまたはピクチャの順序付けられたセットを含む。各フレームは、ＳＬ、ＳＣｂ、およびＳＣｒと表記される３つのサンプル配列を含んでよい。ＳＬは、輝度サンプルの２次元配列である。ＳＣｂは、Ｃｂ彩度サンプルの２次元配列である。ＳＣｒは、Ｃｒ彩度サンプルの２次元配列である。他の事例において、フレームは、単色であってよく、したがって輝度サンプルの１つの２次元配列のみを含む。

図４Ａに示されるように、ビデオエンコーダ２０（またはより具体的には区分ユニット４５）は、まずフレームを符号化ツリーユニット（ＣＴＵ）のセットに区分することにより、フレームの符号化表現を生成する。ビデオフレームは、左から右へ、上から下へのラスター・スキャン順に連続して順序付けられた整数のＣＴＵを含んでよい。各ＣＴＵは、最も大きい論理的符号化ユニットであり、ビデオシーケンスにおける全てのＣＴＵが１２８×１２８、６４×６４、３２×３２、および１６×１６のいずれかの同じサイズを有するように、ＣＴＵの幅および高さが、シーケンスパラメータセットにおいてビデオエンコーダ２０によって信号伝送される。しかしながら、本出願は、必ずしも特定のサイズに限定されないことが留意されるべきである。図４Ｂに示されるように、各ＣＴＵは、輝度サンプルの１つの符号化ツリーブロック（ＣＴＢ）と、彩度サンプルの２つの対応する符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するために用いられる構文要素とを含んでよい。構文要素は、インターまたはイントラ予測、イントラ予測モード、動きベクトル、および他のパラメータを含む、符号化される画素ブロックの異なるタイプの単位の特性、および、ビデオシーケンスがどのようにビデオデコーダ３０において再構成され得るかを記述する。単色ピクチャ、または３つの別個の色平面を有するピクチャにおいて、ＣＴＵは、単一の符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するために用いられる構文要素とを含んでよい。符号化ツリーブロックは、サンプルのＮ×Ｎブロックであってよい。

より良好な性能を実現するために、ビデオエンコーダ２０は、ＣＴＵの符号化ツリーブロックに対して二分木区分、三分木区分、四分木区分、または両方の組み合わせなどの分木区分を再帰的に行い、ＣＴＵをより小さい符号化ユニット（ＣＵ）に分割してよい。図４Ｃに図示されるように、まず６４×６４のＣＴＵ ４００が、各々３２×３２のブロック・サイズを有する４つのより小さいＣＵに分割される。４つのより小さいＣＵのうち、ＣＵ ４１０およびＣＵ ４２０が、各々、ブロック・サイズ１６×１６の４つのＣＵに分割される。２つの１６×１６のＣＵ ４３０および４４０は、各々、ブロック・サイズ８×８の４つのＣＵにさらに分割される。図４Ｄは、図４Ｃに図示されるようなＣＴＵ ４００の区分プロセスの最終結果を示す四分木データ構造を図示し、四分木の各葉ノードは、それぞれのサイズが３２×３２から８×８までの範囲である１つのＣＵに対応する。図４Ｂに図示されるＣＴＵと同様、各ＣＵは、同じサイズのフレームの、輝度サンプルの符号化ブロック（ＣＢ）および彩度サンプルの２つの対応する符号化ブロックと、符号化ブロックのサンプルを符号化するために用いられる構文要素とを含んでよい。単色ピクチャ、または３つの別個の色平面を有するピクチャにおいて、ＣＵは、単一の符号化ブロックと、符号化ブロックのサンプルを符号化するために用いられる構文構造とを含んでよい。図４Ｃおよび図４Ｄに図示される四分木区分は、単に例示を目的としたものであり、四分木／三分木／二分木区分に基づいて様々な局所的特性に適合するように、１つのＣＴＵがＣＵに分けられ得ることが、留意されるべきである。多分木構造においては、１つのＣＴＵが、四分木構造によって区分され、四分木の各葉ＣＵが、二分木および三分木構造によってさらに区分され得る。図４Ｅに示されるように、５つの区分タイプ、すなわち四区分、水平二区分、垂直二区分、水平三区分、および垂直三区分が存在する。

いくつかの実装において、ビデオエンコーダ２０は、ＣＵの符号化ブロックを１つまたは複数のＭ×Ｎ予測ブロック（ＰＢ）にさらに区分してよい。予測ブロックは、インターまたはイントラの同じ予測が適用されるサンプルの矩形（正方形または非正方形）ブロックである。ＣＵの予測ユニット（ＰＵ）は、輝度サンプルの予測ブロックと、彩度サンプルの２つの対応する予測ブロックと、予測ブロックを予測するために用いられる構文要素とを含んでよい。単色ピクチャ、または３つの別個の色平面を有するピクチャにおいて、ＰＵは、単一の予測ブロックと、予測ブロックを予測するために用いられる構文構造とを含んでよい。ビデオエンコーダ２０は、ＣＵの各ＰＵの輝度、Ｃｂ、およびＣｒ予測ブロックについての予測輝度、Ｃｂ、およびＣｒブロックを生成してよい。

ビデオエンコーダ２０は、イントラ予測またはインター予測を用いて、ＰＵについての予測ブロックを生成してよい。ビデオエンコーダ２０がイントラ予測を用いてＰＵについての予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたフレームの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成してよい。ビデオエンコーダ２０がインター予測を用いてＰＵについての予測ブロックを生成する場合、ビデオエンコーダ２０は、ＰＵに関連付けられたフレーム以外の１つまたは複数のフレームの復号されたサンプルに基づいて、ＰＵの予測ブロックを生成してよい。

ビデオエンコーダ２０がＣＵの１つまたは複数のＰＵについての予測輝度、Ｃｂ、およびＣｒブロックを生成した後、ビデオエンコーダ２０は、ＣＵの輝度残差ブロックにおける各サンプルが、ＣＵの予測輝度ブロックのうちの１つにおける輝度サンプルと、ＣＵの元の輝度符号化ブロックにおける対応するサンプルとの間の差を示すように、ＣＵの予測輝度ブロックをその元の輝度符号化ブロックから減算することにより、ＣＵについての輝度残差ブロックを生成してよい。同様に、ビデオエンコーダ２０は、それぞれ、ＣＵのＣｂ残差ブロックにおける各サンプルが、ＣＵの予測Ｃｂブロックのうちの１つにおけるＣｂサンプルと、ＣＵの元のＣｂ符号化ブロックにおける対応するサンプルとの間の差を示し、ＣＵのＣｒ残差ブロックにおける各サンプルが、ＣＵの予測Ｃｒブロックのうちの１つにおけるＣｒサンプルと、ＣＵの元のＣｒ符号化ブロックにおける対応するサンプルとの間の差を示し得るように、ＣＵについてのＣｂ残差ブロックおよびＣｒ残差ブロックを生成してよい。

さらに、図４Ｃに例示されるように、ビデオエンコーダ２０は、四分木区分を用いて、ＣＵの輝度、Ｃｂ、およびＣｒ残差ブロックを１つまたは複数の輝度、Ｃｂ、およびＣｒ変換ブロックに分解してよい。変換ブロックは、同じ変換が適用されるサンプルの矩形（正方形または非正方形）ブロックである。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロックと、彩度サンプルの２つの対応する変換ブロックと、変換ブロックサンプルを変換するために用いられる構文要素とを含んでよい。よって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロック、およびＣｒ変換ブロックに関連付けられてよい。いくつかの例において、ＴＵに関連付けられた輝度変換ブロックは、ＣＵの輝度残差ブロックのサブブロックであってよい。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであってよい。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであってよい。単色ピクチャ、または３つの別個の色平面を有するピクチャにおいて、ＴＵは、単一の変換ブロックと、変換ブロックのサンプルを変換するために用いられる構文構造とを含んでよい。

ビデオエンコーダ２０は、１つまたは複数の変換をＴＵの輝度変換ブロックに適用して、ＴＵについての輝度係数ブロックを生成してよい。係数ブロックは、変換係数の２次元配列であってよい。変換係数は、スカラ量であってよい。ビデオエンコーダ２０は、１つまたは複数の変換をＴＵのＣｂ変換ブロックに適用して、ＴＵについてのＣｂ係数ブロックを生成してよい。ビデオエンコーダ２０は、１つまたは複数の変換をＴＵのＣｒ変換ブロックに適用して、ＴＵについてのＣｒ係数ブロックを生成してよい。

係数ブロック（例えば輝度係数ブロック、Ｃｂ係数ブロック、またはＣｒ係数ブロック）を生成した後、ビデオエンコーダ２０は、係数ブロックを量子化してよい。量子化は、一般に、可能な場合に変換係数を表すために用いられるデータの量を低減することで、さらなる圧縮を提供するために、変換係数が量子化されるプロセスを指す。ビデオエンコーダ２０が係数ブロックを量子化した後、ビデオエンコーダ２０は、量子化された変換係数を示す構文要素をエントロピー符号化してよい。例えば、ビデオエンコーダ２０は、量子化された変換係数を示す構文要素に対してコンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）を行ってよい。最後に、ビデオエンコーダ２０は、ストレージデバイス３２に保存されるか、または宛先デバイス１４に伝送される、符号化されたフレームおよび関連付けられたデータの表現を形成するビット系列を含むビットストリームを出力してよい。

ビデオエンコーダ２０によって生成されたビットストリームを受信した後、ビデオデコーダ３０は、ビットストリームを構文解析して、ビットストリームから構文要素を得てよい。ビデオデコーダ３０は、ビットストリームから得られた構文要素に少なくとも部分的に基づいて、ビデオデータのフレームを再構成してよい。ビデオデータを再構成するプロセスは、ビデオエンコーダ２０によって行われる符号化プロセスと概して反対である。例えば、ビデオデコーダ３０は、現在のＣＵのＴＵに関連付けられた係数ブロックを逆変換して、現在のＣＵのＴＵに関連付けられた残差ブロックを再構成してよい。ビデオデコーダ３０はまた、現在のＣＵのＰＵについての予測ブロックのサンプルを、現在のＣＵのＴＵの変換ブロックの対応するサンプルに加算することにより、現在のＣＵの符号化ブロックを再構成する。フレームの各ＣＵについての符号化ブロックを再構成した後、ビデオデコーダ３０は、フレームを再構成してよい。

上記のように、ビデオ符号化は、主に２つのモード、すなわちフレーム内予測（またはイントラ予測）およびフレーム間予測（またはインター予測）を用いて、ビデオ圧縮を実現する。パレットベース符号化は、多くのビデオ符号化規格によって採用されている別の符号化方式である。スクリーン生成されたコンテンツの符号化に特に適当であり得るパレットベース符号化においては、ビデオ符号器（例えばビデオエンコーダ２０またはビデオデコーダ３０）が、所与のブロックのビデオデータを表す色のパレットテーブルを形成する。パレットテーブルは、所与のブロックにおける最も支配的な（例えば頻繁に使用される）画素値を含む。所与のブロックのビデオデータにおいて頻繁に現れない画素値は、パレットテーブルに含まれないか、またはエスケープ色としてパレットテーブルに含まれる。

パレットテーブルにおける各エントリは、パレットテーブルにおける対応する画素値についてのインデックスを含む。ブロックにおけるサンプルについてのパレットインデックスは、パレットテーブルからのどのエントリが、どのサンプルを予測または再構成するために用いられるべきであるかを示すように符号化されてよい。このパレットモードは、ピクチャ、スライス、タイル、または他のそのようなビデオブロックの分類の第１のブロックについてのパレット予測子を生成するプロセスで開始する。下記で説明されるように、後続のビデオブロックについてのパレット予測子は、典型的には、以前に使用されたパレット予測子を更新することによって生成される。例示の目的で、パレット予測子がピクチャのレベルで定義されることが仮定される。換言すると、ピクチャは、各々がそれ自体のパレットテーブルを有する複数の符号化ブロックを含んでよいが、ピクチャ全体について１つのパレット予測子が存在する。

ビデオビットストリームにおいてパレットエントリを信号伝送するために必要なビットを低減するべく、ビデオデコーダは、ビデオブロックを再構成するために用いられるパレットテーブルにおける新たなパレットエントリを決定するためにパレット予測子を利用してよい。例えば、パレット予測子は、以前に使用されたパレットテーブルからのパレットエントリを含んでよく、または、ごく最近使用されたパレットテーブルの全てのエントリを含めることにより、ごく最近使用されたパレットテーブルで初期化されてもよい。いくつかの実装において、パレット予測子は、ごく最近使用されたパレットテーブルからの全てのエントリよりも少数のエントリを含んでよく、このとき、他の以前に使用されたパレットテーブルからのいくつかのエントリを組み入れてよい。パレット予測子は、異なるブロックを符号化するために用いられるパレットテーブルと同じサイズを有してもよく、または、異なるブロックを符号化するために用いられるパレットテーブルよりも大きいまたは小さくてもよい。一例において、パレット予測子は、６４のパレットエントリを含む先入れ先出し（ＦＩＦＯ）テーブルとして実装される。

パレット予測子からビデオデータのブロックについてのパレットテーブルを生成するべく、ビデオデコーダは、パレット予測子の各エントリについての１ビット・フラグを符号化済みビデオビットストリームから受信してよい。１ビット・フラグは、パレット予測子の関連付けられたエントリがパレットテーブルに含まれるべきであることを示す第１の値（例えば二値の１）、または、パレット予測子の関連付けられたエントリがパレットテーブルに含まれるべきでないことを示す第２の値（例えば二値の０）を有してよい。パレット予測子のサイズが、ビデオデータのブロックに用いられるパレットテーブルよりも大きい場合、ビデオデコーダは、パレットテーブルについての最大サイズに達した時点で、それ以上のフラグを受信することを停止してよい。

いくつかの実装において、パレットテーブルにおけるいくつかのエントリは、パレット予測子を用いて決定される代わりに、符号化済みビデオビットストリームにおいて直接信号伝送されてよい。そのようなエントリについて、ビデオデコーダは、エントリに関連付けられた輝度および２つの彩度成分についての画素値を示す３つの別個のｍビット値を、符号化済みビデオビットストリームから受信してよく、ここでｍはビデオデータのビット深度を表す。直接信号伝送されるパレットエントリに必要とされる複数のｍビット値と比較して、パレット予測子から導出されるパレットエントリは、１ビット・フラグのみを必要とする。したがって、パレット予測子を用いて一部または全てのパレットエントリを信号伝送することは、新たなパレットテーブルのエントリを信号伝送するのに必要とされるビットの数を大幅に低減することができ、これにより、パレットモード符号化の全体的な符号化効率が向上する。

多くの事例において、１つのブロックについてのパレット予測子は、１つまたは複数の以前に符号化されたブロックを符号化するために用いられたパレットテーブルに基づいて決定される。しかしながら、ピクチャ、スライスまたはタイルにおける最初の符号化ツリーユニットを符号化するときは、以前に符号化されたブロックのパレットテーブルが利用可能でない場合がある。したがって、以前に使用されたパレットテーブルのエントリを用いてパレット予測子が生成されることができない。そのような場合には、以前に使用されたパレットテーブルが利用可能でない場合にパレット予測子を生成するために用いられる値であるシーケンスパラメータセット（ＳＰＳ）および／またはピクチャパラメータセット（ＰＰＳ）において、一連のパレット予測子初期化子（ｐａｌｅｔｔｅ ｐｒｅｄｉｃｔｏｒ ｉｎｉｔｉａｌｉｚｅｒ）が信号伝送されてよい。ＳＰＳは一般に、各スライスセグメントヘッダに見出される構文要素によって参照されるＰＰＳに見出される構文要素の内容によって決定される、符号化ビデオシーケンス（ＣＶＳ）と称される一連の連続した符号化済みビデオピクチャに適用する構文要素の構文構造を指す。ＰＰＳは一般に、各スライスセグメントヘッダに見出される構文要素によって決定される、ＣＶＳ内の１つまたは複数の個々のピクチャに適用する構文要素の構文構造を指す。よって、ＳＰＳは一般に、ＰＰＳよりも上位レベルの構文構造とみなされ、これは、ＳＰＳに含まれる構文要素は、一般に、ＰＰＳに含まれる構文要素と比較して、より低頻度で変化し、ビデオデータのより大部分に適用することを意味する。

図５Ａから図５Ｂは、本開示のいくつかの実装に係る、ＲＧＢの色空間とＹＣｇＣｏの色空間との間の残差を変換するために適応色空間変換（ＡＣＴ）の技法を適用する例を示すブロック図である。

ＨＥＶＣスクリーンコンテンツ符号化拡張では、ＡＣＴは、残差を１つの色空間（例えば、ＲＧＢ）から別の色空間（例えば、ＹＣｇＣｏ）へ適応的に変換するために適用され、したがって３つの色成分（例えば、Ｒ、Ｇ、およびＢ）間の相関関係（例えば、冗長性）が、ＹＣｇＣｏの色空間では大幅に低減される。さらに、既存のＡＣＴ設計では、異なる色空間の適応は、変換ユニット（ＴＵ）レベルで、１つのフラグｔｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇを各ＴＵに対して信号伝送することによって実施される。フラグｔｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しいとき、これは、現在のＴＵの残差がＹＣｇＣｏ空間で符号化されていることを示し、そうでない場合（すなわち、フラグが０に等しい）、これは、現在のＴＵの残差が元の色空間で（すなわち、色空間変換なしで）符号化されていることを示す。加えて、現在のＴＵが無損失モードで符号化されているか、それとも有損失モードで符号化されているかに応じて、異なる色空間変換式が適用される。具体的には、有損失モードに対するＲＧＢの色空間とＹＣｇＣｏの色空間との間の順方向および逆方向の色空間変換式が、図５Ａに定義される。

無損失モードの場合、可逆性のＲＧＢ－ＹＣｇＣｏ変換（ＹＣｇＣｏ－ＬＳとしても知られている）が使用される。可逆性のＲＧＢ－ＹＣｇＣｏ変換は、図５Ｂおよび関連説明に示す持上げ動作に基づいて実施される。

図５Ａに示すように、有損失モードで使用される順方向および逆方向の色変換行列は、正規化されていない。したがって、ＹＣｇＣｏ信号の大きさは、色変換が適用された後の元の信号の大きさより小さい。順方向の色変換によって引き起こされる大きさの減少を補償するために、調整済みの量子化パラメータが、ＹＣｇＣｏドメインの残差に適用される。具体的には、色空間変換が適用されるとき、ＹＣｇＣｏドメイン残差を量子化するために使用されるＱＰ値ＱＰ_Ｙ、ＱＰ_Ｃｇ、およびＱＰ_Ｃｏは、それぞれＱＰ－５、ＱＰ－５、およびＱＰ－３になるように設定され、ここでＱＰは、元の色空間で使用される量子化パラメータである。

図６は、本開示のいくつかの実装に係る、例示的なビデオデータ復号プロセスで彩度スケーリングによる輝度マッピング（ＬＭＣＳ）の技法を適用するブロック図である。

ＶＶＣでは、ＬＭＣＳが、ループ内フィルタ（例えば、デブロッキングフィルタ、ＳＡＯ、および、ＡＬＦ）の前に適用される新しい符号化ツールとして使用される。一般に、ＬＭＣＳは、１）適応型区分的線形モデルに基づく輝度成分のループ内マッピング、２）輝度に依存する彩度残差スケーリングという２つの主モジュールを有する。図６は、ＬＭＣＳが適用される修正された復号プロセスを示す。図６で、マッピングされたドメインで行われる復号モジュールは、エントロピー復号モジュール、逆量子化モジュール、逆変換モジュール、輝度イントラ予測モジュール、および輝度サンプル再構成モジュール（すなわち、輝度予測サンプルおよび輝度残差サンプルの追加）を含む。元の（すなわち、マッピングされていない）ドメインで行われる復号モジュールは、動き補償予測モジュール、彩度イントラ予測モジュール、彩度サンプル再構成モジュール（すなわち、彩度予測サンプルおよび彩度残差サンプルの追加）、ならびにデブロッキングモジュール、ＳＡＯモジュール、およびＡＬＦモジュールなどの全てのループ内フィルタモジュールを含む。ＬＭＣＳによって導入される新しい動作モジュールは、輝度サンプルの順方向マッピングモジュール６１０、輝度サンプルの逆方向マッピングモジュール６２０、および彩度残差スケーリングモジュール６３０を含む。

ＬＭＣＳのループ内マッピングは、符号化効率を改善するために、入力信号のダイナミックレンジを調整することができる。既存のＬＭＣＳ設計における輝度サンプルのループ内マッピングは、１つの順方向マッピング関数ＦｗｄＭａｐおよび１つの対応する逆方向マッピング関数ＩｎｖＭａｐという２つのマッピング関数に基づいて構築されている。順方向マッピング関数は、１６個の等しいサイズのピースを含む１つの区分的線形モデルを使用して、エンコーダからデコーダへ信号伝送される。逆方向マッピング関数は、順方向マッピング関数から直接導出されてよく、したがって信号伝送される必要はない。

輝度マッピングモデルのパラメータは、スライスレベルで信号伝送される。まず、現在のスライスに対して輝度マッピングモデルが信号伝送されるべきかどうかを示すために、存在フラグが信号伝送される。輝度マッピングモデルが現在のスライス内に存在する場合、対応する区分的線形モデルパラメータがさらに信号伝送される。加えて、スライスレベルでは、スライスに対するＬＭＣＳを有効化／無効化するために、別のＬＭＣＳ制御フラグが信号伝送される。

彩度残差スケーリングモジュール６３０は、ループ内マッピングが輝度信号に適用されるとき、輝度信号とそれに対応する彩度信号との間で量子化精度の相互作用を補償するように設計される。現在のスライスに対して彩度残差スケーリングが有効化されているか、それとも無効化されているかもまた、スライスヘッダ内で信号伝送される。輝度マッピングが有効化されている場合、輝度に依存する彩度残差スケーリングが適用されるか否かを示すために、追加のフラグが信号伝送される。輝度マッピングが使用されていない場合、輝度に依存する彩度残差スケーリングは常に無効化され、追加のフラグは必要とされない。加えて、彩度残差スケーリングは、４つ以下の彩度サンプルを含むＣＵに対しては常に無効化される。

図７は、本開示のいくつかの実装に係る、ビデオデコーダが逆適応色空間変換（ＡＣＴ）の技法を実施する例示的なビデオ復号プロセスを示すブロック図である。

ＨＥＶＣのＳＣＣにおけるＡＣＴ設計と同様に、ＶＶＣのＡＣＴは、４：４：４の彩度形式の１つのＣＵのイントラ／インター予測残差を、元の色空間（例えば、ＲＧＢの色空間）からＹＣｇＣｏの色空間へ変換する。その結果、より良好な符号化効率のために、３つの色成分間の冗長性が低減され得る。図７は、逆ＡＣＴモジュール７１０の追加によってＶＶＣの枠組みで逆ＡＣＴが適用される復号のフローチャートを示す。ＡＣＴが有効化された状態で符号化されたＣＵを処理するとき、エントロピー復号、逆量子化、および逆ＤＣＴ／ＤＳＴに基づく変換がまず、ＣＵに適用される。その後、図７に示すように、逆ＡＣＴが起動されて、復号された残差を、ＹＣｇＣｏの色空間から元の色空間（例えば、ＲＧＢおよびＹＣｂＣｒ）へ変換する。加えて、ＡＣＴは有損失モードで正規化されないため、変換された残差の大きさの変化を補償するために、（－５，－５，－３）のＱＰ調整がＹ、Ｃｇ、およびＣｏ成分に適用される。

いくつかの実施形態において、ＡＣＴ方法は、同じＨＥＶＣのＡＣＴコア変換を再使用して、異なる色空間間の色変換を行う。具体的には、現在のＣＵが有損失で符号化されているか、それとも無損失で符号化されているかに応じて、２つの異なる色変換が適用される。有損失の場合、順方向および逆方向の色変換は、図５Ａに示す不可逆性のＹＣｇＣｏ変換行列を使用する。無損失の場合、図５Ｂに示す可逆性の色変換ＹＣｇＣｏ－ＬＳが適用される。さらに、既存のＡＣＴ設計とは異なり、ＶＶＣ規格の他の符号化ツールとの相互作用に対処するために、提案されるＡＣＴ方式には以下の変更が導入される。

例えば、ＨＥＶＣの１つのＣＵの残差は、複数のＴＵに区分され得るため、色空間変換が適用される必要があるか否かを示すために、ＡＣＴ制御フラグが各ＴＵに対して別個に信号伝送される。しかし、図４Ｅに関連して上記で説明したように、複数区分型の概念に取って代わり、したがってＨＥＶＣの別個のＣＵ、ＰＵ、およびＴＵ区分を除去するために、ＶＶＣでは二区分および三区分構造によって入れ子状にされた１つの四分木が適用される。これは、ほとんどの場合、対応される最大変換サイズがＣＵの１つの成分の幅または高さより小さい限り、１つのＣＵの葉ノードが、さらなる区分なく、予測および変換処理のユニットとしても使用されることを意味する。そのような区分構造に基づいて、本開示では、ＣＵレベルでＡＣＴを適応的に有効化および無効化することが提案される。具体的には、ＣＵの残差の符号化のために元の色空間とＹＣｇＣｏの色空間との間で選択するために、１つのフラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが、各ＣＵに対して信号伝送される。フラグが１に等しい場合、これは、ＣＵ内の全てのＴＵの残差がＹＣｇＣｏの色空間で符号化されていることを示す。そうではなく、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、ＣＵの全ての残差が元の色空間で符号化される。

図８は、本開示のいくつかの実装に係る、逆適応色空間変換（ＡＣＴ）の技法を条件付きで実行することによって、ビデオデコーダがビデオデータを復号する例示的なプロセスを示すフローチャート８００である。

図５Ａおよび図５Ｂに示すように、ＡＣＴは、現在のＣＵが少なくとも１つの０以外の係数を含むときのみ、復号された残差に影響を与えることができる。エントロピー復号から得られる全ての係数が０である場合、逆ＡＣＴが適用されるかどうかに関わらず、再構成された残差も０のままである。インター・モードおよびイントラブロックコピー（ＩＢＣ）モードの場合、１つのＣＵが０以外の係数を含むか否かの情報は、ＣＵルート符号化ブロック・フラグ（ＣＢＦ）、すなわちｃｕ＿ｃｂｆによって示される。フラグが１に等しいとき、これは、現在のＣＵに対するビデオビットストリーム内に残差構文要素が存在することを意味する。そうでない場合（すなわち、フラグが０に等しい）、これは、現在のＣＵの残差構文要素がビデオビットストリーム内で信号伝送されないこと、または言い換えれば、ＣＵの全ての残差が０であると推測されることを意味する。したがって、いくつかの実施形態において、現在のＣＵのルートＣＢＦフラグｃｕ＿ｃｂｆが、インターおよびＩＢＣモードに対して１に等しいときのみ、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが信号伝送されることが提案される。そうでない場合（すなわち、フラグｃｕ＿ｃｂｆが０に等しい）、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは信号伝送されず、ＡＣＴは、現在のＣＵの残差を復号することが無効化される。他方では、インターおよびＩＢＣモードとは異なり、ルートＣＢＦフラグは、イントラ・モードに対して信号伝送されず、すなわちイントラＣＵに対してフラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの存在を条件付けるために、ｃｕ＿ｃｂｆのフラグが使用されることはない。逆に、ＡＣＴが１つのイントラＣＵに適用されるとき、ＡＣＴフラグを使用して、輝度成分のＣＢＦの信号伝送を条件付きで有効化／無効化することが提案される。例えば、１つのイントラＣＵがＡＣＴを使用する場合、デコーダは、少なくとも１つの成分が０以外の係数を含むと仮定する。したがって、ＡＣＴが１つのイントラＣＵに対して有効化されており、かつ最後の変換ブロックを除いてその変換ブロック内に０以外の残差が存在しないときは、信号伝送なく、その最後の変換ブロックに対するＣＢＦが１であると推測される。ちょうど１つのＴＵを含むイントラＣＵに対して、その２つの彩度成分（ｔｕ＿ｃｂｆ＿ｃｂおよびｔｕ＿ｃｂｆ＿ｃｒによって示される）に対するＣＢＦが０である場合、信号伝送なく、最後の成分のＣＢＦフラグ（すなわち、ｔｕ＿ｃｂｆ＿ｌｕｍａ）は常に１であると推測される。一実施形態において、輝度ＣＢＦのそのような推測規則は、残差の符号化のために１つの単一のＴＵのみを含むイントラＣＵに対してのみ有効化される。

符号化ユニットで逆ＡＣＴを条件付きで実行するために、ビデオデコーダはまず、符号化ユニットに対応するビデオデータ（例えば、４：４：４の形式で符号化される）をビットストリームから受信し、符号化ユニットは、インター予測モードまたはイントラブロックコピーモードで符号化される（８１０）。

次に、ビデオデコーダは、ビデオデータから第１の構文要素（例えば、ＣＵルート符号化ブロック・フラグｃｕ＿ｃｂｆ）を受信し、第１の構文要素は、符号化ユニットが０以外の残差を有するかどうかを示す（８２０）。

第１の構文要素が０以外の値（例えば、符号化ユニットのためにビットストリーム内に残差構文要素が存在することを示す１）を有する場合（８３０）、ビデオデコーダは次いで、ビデオデータから第２の構文要素（例えば、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を受信し、第２の構文要素は、符号化ユニットが適応色空間変換（ＡＣＴ）を使用して符号化されているかどうかを示す（８３０－１）。

他方では、第１の構文要素が０の値（例えば、符号化ユニットのためにビットストリーム内に残差構文要素が存在しないことを示す０）を有する場合（８４０）、ビデオデコーダは、第２の構文要素に０の値を割り当てる（例えば、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇを０に設定する）（８４０－１）。

ビデオデコーダは次いで、第２の構文要素の値に従って、符号化ユニットのビデオデータに対して逆ＡＣＴを実行するか否かを決定する（例えば、第２の構文要素が０の値を有する場合、逆ＡＣＴの実行を取りやめ、第２の構文要素が０以外の値を有する場合、逆ＡＣＴを実行する。第２の構文要素の値は、ビデオデータから受信されても、上述した論理に基づいて割り当てられてもよい）（８５０）。

いくつかの実施形態において、符号化ユニットは、４：４：４の彩度形式で符号化され、成分（例えば、１つの輝度および２つの彩度）の各々は、同じサンプル率を有する。

いくつかの実施形態において、第１の構文要素が０の値を有することは、符号化ユニットのためにビットストリーム内に残差構文要素が存在しないことを示し、第１の構文要素が０以外の値を有することは、符号化ユニットのためにビットストリーム内に残差構文要素が存在することを示す。

いくつかの実施形態において、第１の構文要素はｃｕ＿ｃｂｆフラグを含み、第２の構文要素はｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄフラグを含む。

いくつかの実施形態において、符号化ユニットがイントラ予測モードで符号化されているとき、ビデオデコーダは、符号化ユニットの輝度成分を復号するための構文要素（例えば、ｔｕ＿ｃｂｆ＿ｙ）を条件付きで受信する。

輝度成分を復号するための構文要素を条件付きで受信するために、ビデオデコーダはまず、符号化ユニットに対応するビデオデータをビットストリームから受信する。符号化ユニットは、イントラ予測モードで符号化されており、符号化ユニットは、第１の彩度成分、第２の彩度成分、および１つの輝度成分を含む。いくつかの実施形態において、符号化ユニットは、１つの変換ユニットのみを含む。

次に、ビデオデコーダは、符号化ユニットがＡＣＴを使用して符号化されているかどうかを示す第１の構文要素（例えば、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）をビデオデータから受信する。例えば、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが「１」に等しいことは、符号化ユニットがＡＣＴを使用して符号化されていることを示し、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが「０」に等しいことは、符号化ユニットがＡＣＴを使用して符号化されていない（例えば、したがって逆ＡＣＴが実行される必要がない）ことを示す。

ビデオデータから第１の構文要素を受信した後、ビデオデコーダは、ビデオデータから第２の構文要素（例えば、ｔｕ＿ｃｂｆ＿ｃｂ）および第３の構文要素（例えば、ｔｕ＿ｃｂｆ＿ｃｒ）を受信し、第２の構文要素は、第１の彩度成分が０以外の残差を有するかどうかを示し、第３の構文要素は、第２の彩度成分が０以外の残差を有するかどうかを示す。例えば、ｔｕ＿ｃｂｆ＿ｃｂまたはｔｕ＿ｃｂｆ＿ｃｒが「１」に等しいことは、第１の彩度成分または第２の彩度成分がそれぞれ少なくとも１つの０以外の残差を有することを示し、ｔｕ＿ｃｂｆ＿ｃｂまたはｔｕ＿ｃｂｆ＿ｃｒが「０」等しいことは、第１の彩度成分または第２の彩度成分がそれぞれ０以外の残差を有していないことを示す。

第１の構文要素が０以外の値（例えば、逆ＡＣＴが実行されるべきであることを示す１）を有し、かつ２つの彩度成分のうちの少なくとも１つが０以外の残差を含む（例えば、ｔｕ＿ｃｂｆ＿ｃｂ＝＝１またはｔｕ＿ｃｂｆ＿ｃｒ＝＝１）である場合、ビデオデコーダは、ビデオデータから第４の構文要素（例えば、ｔｕ＿ｃｂｆ＿ｙ）を受信し、第４の構文要素は、輝度成分が０以外の残差を有するか否かを示す。

他方では、第１の構文要素が０以外の値を有し、かつ両方の彩度成分が０の残差のみを有する（例えば、ｔｕ＿ｃｂｆ＿ｃｂ＝＝０およびｔｕ＿ｃｂｆ＿ｃｒ＝＝０）場合、ビデオデコーダは、第４の構文要素に、輝度成分が０以外の残差を有することを示す既定値（例えば、０以外の値）を割り当てる。その結果、ビデオデコーダは、第４の構文要素に対する値をビデオデータから受信しなくなる。

第４の構文要素に対する値を決定した後（例えば、ビデオデータから値を受信したこと、または第４の構文要素に０以外の既定値を割り当てたことによる）、ビデオデコーダは、第４の構文要素に従って、ビデオデータから符号化ユニットを再構成するか否かを決定する。

いくつかの実施形態において、符号化ユニットは、１つの変換ユニット（ＴＵ）のみを含む。

いくつかの実施形態において、第４の構文要素に従ってビデオデータから符号化ユニットを再構成するか否かを決定することは、第４の構文要素が０以外の値を有するとの決定に従って、輝度成分の残差を再構成することと、第４の構文要素が０の値を有するとの決定に従って、輝度成分の残差の再構成を取りやめることとを含む。

４：４：４ビデオの３つの成分間の強い相関関係を考慮すると、輝度成分および彩度成分を予測するために使用されるイントラ・モードは、所与の符号化ブロックに対して同一であることが多い。したがって、ＡＣＴ信号伝送オーバヘッドを低減させるために、その彩度成分が同じイントラ予測モード（すなわち、ＤＭモード）を輝度成分として使用するときのみ、１つのイントラＣＵに対してＡＣＴを有効化することが提案される。いくつかの実施形態において、ＡＣＴ有効化／無効化フラグおよび彩度イントラ予測モードを条件付きで信号伝送するための２つの方法がある。本開示の一実施形態において、１つのイントラＣＵのイントラ予測モードの信号伝送前に、ＡＣＴ有効化／無効化フラグを信号伝送することが提案される。言い換えれば、ＡＣＴフラグ（すなわち、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が１に等しいとき、彩度成分のイントラ予測モードは信号伝送されないが、ＤＭモードであると推測される（すなわち、輝度成分と同じイントラ予測モードを再使用する）。そうでない場合（すなわち、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０である）、彩度成分のイントラ予測モードはやはり信号伝送される。本開示の別の実施形態において、イントラ予測モードの信号伝送後に、ＡＣＴ有効化／無効化フラグを信号伝送することが提案される。この場合、ＡＣＴフラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、構文解析された彩度イントラ予測モードの値がＤＭモードであるときのみ、信号伝送される必要がある。そうでない場合（すなわち、彩度イントラ予測モードがＤＭに等しくない）、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは信号伝送される必要がなく、０であると推測される。さらに別の実施形態において、全ての可能な彩度イントラ・モードに対してＡＣＴを有効化することが提案される。そのような方法が適用される場合、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、彩度イントラ予測モードに関わらず、常に信号伝送される。

ＡＣＴ有効化／無効化フラグおよび彩度イントラ予測モードを条件付きで信号伝送するために、ビデオデコーダはまず、符号化ユニットに対応するビデオデータをビットストリームから受信し、符号化ユニットは、イントラ予測モードで符号化され、符号化ユニットは、２つの彩度成分および１つの輝度成分を含む。

ビデオデコーダは次いで、符号化ユニットがＡＣＴを使用して符号化されていることを示す第１の構文要素（例えば、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を、ビデオデータから受信する。

ビデオデコーダは次に、ビデオデータから第２の構文要素を受信し、第２の構文要素は、符号化ユニットの輝度成分のイントラ予測パラメータ（例えば、６７のイントラ予測方向のうちの１つを表す）を表す。

第２の構文要素が、符号化ユニットがＡＣＴを使用して符号化されていることを示す０以外の値を有する場合、ビデオデコーダは、符号化ユニットの輝度成分と同じイントラ予測パラメータを符号化ユニットの２つの彩度成分に適用することによって、符号化ユニットの２つの彩度成分を再構成する。

いくつかの実施形態において、イントラ予測パラメータは、符号化ユニットのイントラ予測サンプルを生成するために適用されたイントラ予測方向を示す。

ＡＣＴが１つのＣＵに対して有効化されるとき、ＡＣＴは、色空間変換を行うために、３つ全ての成分の残差にアクセスする必要がある。しかし、前述のように、ＶＶＣ設計は、各ＣＵが常に３つの成分の情報を含むことを保証することができない。本開示のいくつかの実施形態において、ＣＵが３つ全ての成分の情報を含まないとき、ＡＣＴは無効化されるべきである。

まず、個別木（「双対木」としても知られている）区分構造が適用されるとき、１つのＣＴＵ内の輝度サンプルおよび彩度サンプルは、別個の区分構造に基づいて、ＣＵに区分される。その結果、輝度区分木内のＣＵは、輝度成分の符号化情報のみを含み、彩度区分木内のＣＵは、２つの彩度成分の符号化情報のみを含む。単一木区分構造と個別木区分構造との間の切換えは、様々なレベル、例えばシーケンス・レベル、ピクチャ・レベル、スライスレベル、および符号化ユニット・グループ・レベルなどで行われる。したがって、１つの領域に個別木が適用されていることが見出されたとき、ＡＣＴは、領域内の全てのＣＵ（輝度ＣＵおよび彩度ＣＵの両方）が無効化されると推測し、ＡＣＴフラグを信号伝送せず、代わりにＡＣＴフラグは０であると推測される。

第２に、ＩＳＰモードが有効化されるとき、ＴＵ区分は輝度サンプルにのみ適用され、彩度サンプルは符号化されるが、複数のＴＵにさらに分割されない。Ｎが１つのイントラＣＵに対するＩＳＰ下位区分（すなわち、ＴＵ）の数であると仮定すると、現在のＩＳＰ設計に従って、最後のＴＵのみが、輝度成分および彩度成分の両方を含み、最初のＮ－ｌのＩＳＰのＴＵは輝度成分のみから構成される。本開示の一実施形態によれば、ＡＣＴはＩＳＰモード下で無効化される。ＩＳＰモードに対してＡＣＴを無効化するための２つの方法がある。第１の方法では、ＩＳＰモードの構文を信号伝送する前に、ＡＣＴ有効化／無効化フラグ（すなわち、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を信号伝送することが提案される。そのような場合、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しいとき、ＩＳＰモードはビットストリーム内で信号伝送されないが、常に０であると推測される（すなわち、オフに切り換えられる）。第２の方法では、ＩＳＰモードの信号伝送を使用して、ＡＣＴフラグの信号伝送をバイパスすることが提案される。具体的には、この方法では、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの前に、ＩＳＰモードが信号伝送される。ＩＳＰモードが選択されたとき、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは信号伝送されず、０であると推測される。そうでない場合（ＩＳＰモードが選択されない）、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが信号伝送されて、ＣＵの残差符号化のための色空間を適応的に選択する。

輝度区分構造と彩度区分構造とが整合しないＣＵに対してＡＣＴを無効化することに加えて、本開示において、ＡＣＴが適用されたＣＵに対してＬＭＣＳを無効化することも提案される。一実施形態において、１つのＣＵがその残差を符号化するためにＹＣｇＣｏの色空間を選択したとき（すなわち、ＡＣＴが１である）、輝度マッピングおよび彩度残差スケーリングの両方を無効化することが提案される。別の実施形態において、ＡＣＴが１つのＣＵに対して有効化されたとき、彩度残差スケーリングのみを無効化することが提案され、輝度マッピングは依然として、出力輝度サンプルのダイナミックレンジを調整するために適用され得る。最後の実施形態において、その残差を符号化するためにＡＣＴを適用するＣＵに対して、輝度マッピングおよび彩度残差スケーリングの両方を有効化することが提案される。

双対木区分構造によりＡＣＴ信号伝送を無効化するために、ビデオデコーダは、ビデオデータ内の符号化ユニットが単一木区分によって符号化されているか、それとも双対木区分によって符号化されているかを示す情報を、ビットストリームから得る。

符号化ユニットが単一木区分を使用して符号化され、各符号化ユニットが輝度成分および彩度成分の両方を含む場合、ビデオデコーダは、ビデオデータから第２の構文要素（例えば、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を受信し、第１の構文要素の値は、各符号化ユニットに対して逆適応色空間変換（ＡＣＴ）を実行するか否かを示す。

他方では、符号化ユニットが双対木区分を使用して符号化され、双対木区分の輝度区分木内の符号化ユニットが、符号化ユニットの輝度成分に関係する符号化情報のみを含み、双対木区分の彩度区分木内の符号化ユニットが、符号化ユニットの彩度成分に関係する符号化情報のみを含む場合、ビデオデコーダは、第２の構文要素に０の値を割り当てる。

ビデオデコーダは次いで、第２の構文要素に従って、符号化木ユニット内の各符号化ユニットに対して逆ＡＣＴを実行するか否かを決定する。

いくつかの実施形態において、第２の構文要素に従って、符号化木ユニット内の各符号化ユニットに対して逆ＡＣＴを実行するか否かを決定することは、第２の構文要素が０以外の値を有するとの決定に従って、各符号化ユニットに対して逆ＡＣＴを実行することと、第２の構文要素が０の値を有するとの決定に従って、各符号化ユニットに対する逆ＡＣＴの実行を取りやめることとを含む。

いくつかの実施形態において、ＡＣＴ信号伝送によりＩＳＰモードを無効化するために、ビデオデコーダはまず、符号化ユニットに対応するビデオデータをビットストリームから受信する。次に、ビデオデコーダは、第１の構文要素（例えば、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）をビデオデータから受信し、第１の構文要素は、符号化ユニットがＡＣＴを使用して符号化されているかどうかを示す。第１の構文要素が０の値を有する場合、ビデオデコーダは、第２の構文要素をビデオデータから受信し、第２の構文要素は、符号化ユニットがＩＳＰモードを使用して符号化されているかどうかを示す。第１の構文要素が０以外の値を有する場合、ビデオデコーダは、第２の構文要素に０の値を割り当てて、符号化ユニットがＩＳＰモードを使用して符号化されていないことを示す。ビデオデコーダは次いで、第２の構文要素に従って、ＩＳＰモードを使用してビデオデータから符号化ユニットを再構成するか否かを決定する。現在のＶＶＣでは、ＩＳＰモードが有効化されるとき、ＴＵ区分は輝度サンプルにのみ適用され、彩度サンプルは符号化されるが、複数のＴＵにさらに分割されない。本開示の一実施形態によれば、彩度平面ではテキスチャ情報が豊富にあるため、４：４：４ビデオにおける彩度符号化のためにＩＳＰモードを有効化することも提案される。この実施形態に基づいて、異なる方法が使用されてよい。１つの方法では、１つの追加のＩＳＰインデックスが信号伝送され、２つの彩度成分によって共有される。別の方法では、２つの追加のＩＳＰインデックスを別個に、一方はＣｂ／Ｂで、他方はＣｒ／Ｒで信号伝送することが提案される。第３の方法では、２つの彩度成分のＩＳＰ予測に対して輝度成分に使用されたＩＳＰインデックスを再使用することが提案される。

行列加重イントラ予測（ＭＩＰ）方法は、イントラ予測技法である。幅Ｗおよび高さＨの矩形ブロックのサンプルを予測するために、ＭＩＰは、ブロックの左にＨ個の再構成された近隣境界サンプルからなる１本の線、およびブロックの上にＷ個の再構成された近隣境界サンプルからなる１本の線を、入力として取る。再構成されたサンプルが利用可能でない場合、それらは従来のイントラ予測と同様に生成される。予測信号の生成は、図１０に示すように、平均化、行列ベクトル乗算、および線形補間という３つのステップに基づいて行われる。

現在のＶＶＣでは、ＭＩＰモードは、輝度成分に対してのみ有効化される。彩度成分に対してＩＳＰモードを有効化するのと同じ理由により、一実施形態において、４４４ビデオの彩度成分に対してＭＩＰを有効化することが提案される。２つの信号伝送方法が適用され得る。第１の方法では、２つのＭＩＰモードを別個に信号伝送し、一方を輝度成分に使用し、他方を２つの彩度成分に使用することが提案される。第２の方法では、輝度成分および彩度成分によって共有される１つの単一のＭＩＰモードのみを信号伝送することが提案される。

４：４：４の彩度形式の彩度成分に対してＭＩＰを有効化するために、ビデオデコーダは、符号化ユニットに対応するビデオデータをビットストリームから受信し、符号化ユニットは、イントラ予測モードで符号化され、符号化ユニットは、２つの彩度成分および１つの輝度成分を含み、彩度成分および輝度成分は、同じ分解能を有する。次に、ビデオデコーダは、符号化ユニットの輝度成分がＭＩＰツールを使用して符号化されていることを示す第１の構文要素（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ）を、ビデオデータから受信する。第１の構文要素が、符号化ユニットの輝度成分がＭＩＰツールを使用して符号化されていることを示す０以外の値を有する場合、ビデオデコーダは、符号化ユニットの輝度成分に適用されたＭＩＰモードを示す第２の構文要素（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｍｏｄｅ）を、ビデオデータから受信し、符号化ユニットの輝度成分のＭＩＰモードを符号化ユニットの２つの彩度成分に適用することによって、符号化ユニットの２つの彩度成分を再構成する。以下の表は、ＶＶＣでＡＣＴを使用してビデオデータを復号するための構文設計仕様を示す。

まず、ＡＣＴが有効化されているか、それともシーケンス・レベルにないかを示すために、１つの追加の構文要素、例えばｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが、シーケンスパラメータセット（ＳＰＳ）に追加される。いくつかの実施形態において、輝度成分および彩度成分が同じ分解能を有するビデオコンテンツに色空間変換が適用される場合、ＡＣＴが４：４：４の彩度形式に対してのみ有効化され得るように、１つのビットストリーム準拠要件が追加される必要がある。表１は、修正されたＳＰＳ構文表を示し、上記の構文が追加されている。

フラグｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しいことは、適応色空間変換が有効化されていることを示す。フラグｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しいことは、適応色空間変換が無効化されていることを示し、このＳＰＳを参照するＣＵに対してフラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは信号伝送されず、０であると推測される。ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが３に等しくないとき、ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０に等しいことが、ビットストリーム準拠の要件である。

フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しいことは、符号化ユニットの残差がＹＣｇＣｏの色空間で符号化されていることを示す。フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しいことは、符号化ユニットの残差が元の色空間で符号化されていることを示す。フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、これは０に等しいと推測される。

１つまたは複数の例において、説明されている機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいて実装されてよい。ソフトウェアにおいて実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体に格納されまたはそれを介して伝送され、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体、または、例えば通信プロトコルに従って、１つの場所から別の場所へのコンピュータプログラムの転送を促進する任意の媒体を含む通信媒体に対応する、コンピュータ可読記憶媒体を含んでよい。このように、コンピュータ可読媒体は一般に、（１）非一時的な有形のコンピュータ可読記憶媒体または（２）信号または搬送波などの通信媒体に対応してよい。データ記憶媒体は、本出願において説明されている実装の実装のための命令、コードおよび／またはデータ構造を取得するために１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であってよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでよい。

本明細書の実装の説明において用いられる用語は、特定の実装を説明することのみを目的としたものであり、請求項の範囲を限定することは意図されていない。実装の説明および添付の請求項において用いられる場合、単数形の「ａ」、「ａｎ」および「ｔｈｅ」は、別途文脈による明示のない限り、複数形も含むことが意図されている。また、本明細書において用いられる用語「および／または」は、関連付けられた列挙されている項目のうちの１つまたは複数の任意のかつ全ての可能な組み合わせを参照および包含することが理解されよう。さらに、本明細書において用いられる場合の用語「含む（ｃｏｍｐｒｉｓｅ）」および／または「含む（ｃｏｍｐｒｉｓｉｎｇ）」は、記載される特徴、要素、および／または構成要素の存在を規定するが、１つまたは複数の他の特徴、要素、構成要素、および／またはそれらの群の存在または追加を排除するものではないことが理解されよう。

また、様々な要素を説明するために第１、第２等の用語が本明細書において用いられる場合があるが、これらの要素はこれらの用語によって限定されるべきでないことが理解されよう。これらの用語は、１つの要素を別の要素と区別するためにのみ用いられる。例えば、実装の範囲から逸脱しない限りにおいて、第１の電極が第２の電極と称されることも可能であり、同様に第２の電極が第１の電極と称されることも可能である。第１の電極および第２の電極は、両方が電極であるが、これらは同じ電極ではない。

本出願の説明は、例示および説明の目的で提示されており、網羅的である、または開示されている形態の発明に限定されることは意図されていない。多くの修正、変形、および代替的実装が、前述の説明および関連する図面において提示される教示の利益を得る当業者には明らかであろう。実施形態は、本発明の原理、実際の応用を最も良く明らかにし、他の当業者が様々な実装について本発明を理解し、想定される特定の用途に好適なように様々な修正を伴って根本的な原理および様々な実装を最も良く利用することを可能とするために、選定および説明されたものである。したがって、請求項の範囲は、開示されている実装の具体例に限定されるべきでなく、修正および他の実装が添付の請求項の範囲内に含まれるよう意図されていることが、理解されるべきである。

Claims (14)

1. ビデオデータを復号する方法であって、
   符号化ユニットに対応するビデオデータをビットストリームから受信することであって、前記符号化ユニットは、イントラ予測モードで符号化され、前記符号化ユニットは、第１の彩度成分、第２の彩度成分、および１つの輝度成分を有することと、
   前記ビデオデータから第１の構文要素を決定することと、
   前記ビデオデータから第２の構文要素および第３の構文要素を決定することであって、前記第２の構文要素は、前記第１の彩度成分に対する第１の変換ブロックが０以外の残差データを有するかどうかを示し、前記第３の構文要素は、前記第２の彩度成分に対する第２の変換ブロックが０以外の残差データを有するかどうかを示すことと、
   前記第１の構文要素が０以外の値を有し、前記第１の変換ブロックおよび前記第２の変換ブロックの少なくとも１つが０以外の残差データを有ることに応答して、
   前記ビデオデータから第４の構文要素を決定することであって、前記第４の構文要素は、前記輝度成分に対する第３の変換ブロックが０以外の残差データを有するかどうかを示すことと、
   前記第４の構文要素に従って前記ビデオデータから前記符号化ユニットを再構成することと、
   を含む方法。
2. 前記第１の構文要素が前記０以外の値を有し、前記第１の変換ブロックおよび第２の変換ブロックの両方が０の残差データのみを含むことに応答して、
   前記第３の変換ブロックが０以外の残差データを有することを示す前記第４の構文要素に０以外の値を割り当てる、請求項１に記載の方法。
3. 前記第１の構文要素は、適応色空間変換（ＡＣＴ）を使用して前記符号化ユニットの残差データが適用されたかどうかを示す、請求項１に記載の方法。
4. 前記符号化ユニットは、１つの変換ユニット（ＴＵ）のみを含む、請求項１に記載の方法。
5. 前記第４の構文要素に従って前記符号化ユニットを再構成することが、
   前記第４の構文要素が０以外の値を有するとの決定に従って、輝度残差を再構成することと、
   前記第４の構文要素が０の値を有するとの決定に従って、前記輝度残差を再構成することを取りやめることとを含む、請求項１に記載の方法。
6. ビデオフレーム内の符号化ユニットを符号化する方法であって、
   前記符号化ユニットに対してイントラ予測を行うことであって、前記符号化ユニットは第１の彩度成分、第２の彩度成分、および１つの輝度成分を有することと、
   第１の構文要素の値を決定することと、
   第２の構文要素の値および第３の構文要素の値を決定することであって、前記第２の構文要素は、前記第１の彩度成分に対する第１の変換ブロックが０以外の残差データを有するかどうかを示し、前記第３の構文要素は、前記第２の彩度成分に対する第２の変換ブロックが０以外の残差データを有するかどうかを示すことと、
   前記第１の構文要素が０以外の値を有し、前記第１の変換ブロックおよび前記第２の変換ブロックの少なくとも１つが０以外の残差データを有することに応答して、
   第４の構文要素の値を決定することであって、前記第４の構文要素は、前記輝度成分に対する第３の変換ブロックが０以外の残差データを有するかどうかを示すことと、
   前記第４の構文要素に従って前記符号化ユニットを再構成すること、
   を含む、方法。
7. 前記第１の構文要素が前記０以外の値を有し、前記第１の変換ブロックおよび第２の変換ブロックの両方が０の残差データのみを含むことに応答して、
   前記第３の変換ブロックが０以外の残差データを有することを示す前記第４の構文要素に０以外の値を割り当てる、請求項６に記載の方法。
8. 前記第１の構文要素は、適応色空間変換（ＡＣＴ）を使用して前記符号化ユニットの残差データが適用されているかどうかを示す、請求項６に記載の方法。
9. 前記符号化ユニットは、１つの変換ユニット（ＴＵ）のみを含む、請求項６に記載の方法。
10. 前記第４の構文要素に従って前記符号化ユニットを再構成することが、
    前記第４の構文要素が０以外の値を有するとの決定に従って、輝度残差を再構成することと、
    前記第４の構文要素が０の値を有するとの決定に従って、前記輝度残差の再構成を取りやめることとを含む、請求項６に記載の方法。
11. １つまたは複数の処理ユニットと、
    前記１つまたは複数の処理ユニットに結合されたメモリと、
    前記１つまたは複数の処理ユニットによって実行されたときに、請求項１から１０のいずれかに記載の方法を前記１つまたは複数の処理ユニットに実行させる、前記メモリに格納された複数のプログラムと、
    を備える電子装置。
12. １つまたは複数の処理ユニットを有する電子装置による実行のための複数のプログラムを格納する非一時的コンピュータ可読記憶媒体であって、前記複数のプログラムは、前記１つまたは複数の処理ユニットによって実行されたときに、請求項１から１０のいずれかに記載の方法を前記１つまたは複数の処理ユニットに実行させる、非一時的コンピュータ可読記憶媒体。
13. ビットストリームを記憶する方法であって、
    前記ビットストリームが、請求項１から５のいずれかに記載のビデオデータを復号する方法によって復号される、方法。
14. ビットストリームを記憶する方法であって、
    前記ビットストリームが、請求項６から１０のいずれかに記載のビデオフレーム内の符号化ユニットを符号化する方法によって生成される、方法。