JP7734797B2 - ４：４：４色フォーマットにおけるビデオコーディングの方法及び装置 - Google Patents

Description

関連出願
本出願は、２０２０年６月１２日付け出願の「ＭＥＴＨＯＤＳ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＯＮ ４：４：４ ＶＩＤＥＯ ＣＯＤＩＮＧ（４：４：４ビデオコーディングにおける方法及び装置）」という名称の米国仮出願第６３／０３８，６９２号の優先権の主張を伴うものであり、その全体が参照によって組み込まれるものである。
本出願は、一般にビデオデータの符号化及び圧縮に関し、詳細には、適応型色変換（ＡＣＴ：ａｄａｐｔｉｖｅ ｃｏｌｏｒ ｔｒａｎｓｆｏｒｍ）プロセスによる色差残差スケーリング（ｃｈｒｏｍａ ｒｅｓｉｄｕａｌ ｓｃａｌｉｎｇ）プロセスを条件付きで適用する方法及びシステムに関する。

デジタルビデオは、デジタルテレビジョン、ラップトップ型又はデスクトップ型のコンピュータ、タブレット型コンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、スマートフォン、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどの種々の電子デバイスによってサポートされる。そのような電子デバイスは、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４ Ｐａｒｔ １０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＨＥＶＣ（高能率映像符号化：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格などで定められたビデオ圧縮伸張規格を実装することにより、デジタルビデオデータの送信、受信、符号化、復号、及び／又は格納を行う。一般にビデオ圧縮は、空間（イントラフレーム）予測及び／又は時間（インターフレーム）予測を実行してビデオデータに固有の冗長を低減するか又は除去することを含む。ブロックベースのビデオコーディングについては、ビデオフレームが１つ以上のスライスへと分割され、各スライスが符号化ツリーユニット（ＣＴＵ：ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）とも称され得る複数のビデオブロックを有する。各ＣＴＵが１つの符号化ユニット（ＣＵ：ｃｏｄｉｎｇ ｕｎｉｔ）を含有し得、又は所定の最小のＣＵサイズに達するまで、より小さいＣＵへと再帰的に分割され得る。各ＣＵ（リーフＣＵとも命名されている）が１つ以上の変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）を含有しており、１つ以上の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）も含む。各ＣＵは、イントラモード、インターモード又はイントラブロックコピー（ＩＢＣ）モードのいずれかで符号化され得る。ビデオフレームにおけるイントラ符号化（Ｉ）スライス内のビデオブロックは、同じビデオフレームの内部の近隣のブロックにおける参照サンプルに対して空間予測を使用して符号化される。ビデオフレームにおけるインター符号化（Ｐ（順方向予測画像）又はＢ（双方向予測画像））スライス内のビデオブロックは、同じビデオフレーム内の近隣のブロックにおける参照サンプルに対する空間予測を使用したものでよく、或いは以前の他の参照ビデオフレーム及び／又は未来の他の参照ビデオフレームにおける参照サンプルに対する時間予測を使用したものでもよい。

たとえば近隣のブロックといった以前に符号化された参照ブロックに基づく空間予測又は時間予測は、符号化される現在のビデオブロックに関する予測ブロックをもたらす。参照ブロックを見いだすプロセスは、ブロックマッチングアルゴリズムによって達成され得る。符号化される現在のブロックと予測ブロックとの間の画素差分を表す残差データは、残差ブロック又は予測誤差と称される。インター符号化ブロックは、予測ブロックを形成する参照フレームにおける参照ブロックを指し示す動きベクトル及び残差ブロックに従って符号化される。動きベクトルを決定するプロセスは一般的には動き予測と称される。イントラ符号化ブロックは、イントラ予測モード及び残差ブロックに従って符号化される。さらなる圧縮のために、残差ブロックは、画素領域から、たとえば周波数領域といった変換領域に変換されて残差変換係数をもたらし、次いで量子化され得る。最初に２次元配列に配置される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査されてよく、次いで、さらにいっそうの圧縮を達成するためにビデオビットストリームへとエントロピー符号化される。

次いで、符号化ビデオビットストリームは、デジタルビデオ機能を伴う別の電子デバイスによってアクセスされるコンピュータ読み取り可能な記録媒体（たとえばフラッシュメモリ）に保存されるか、又は有線もしくは無線で電子デバイスに直接伝送される。次いで、電子デバイスは、たとえば符号化ビデオビットストリームを解析してビットストリームからシンタックス要素を取得し、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいて、符号化ビデオビットストリームからのデジタルビデオデータを元のフォーマットに再構成することによってビデオ伸張（前述のビデオ圧縮とは逆の処理）を実行し、再構成されたデジタルビデオデータを電子デバイスのディスプレイに描画する。

デジタルビデオの品質がハイビジョン（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）から４Ｋ×２Ｋ又は８Ｋ×４Ｋに移行するにつれて、符号化／復号対象のビデオデータ量が指数関数的に増大する。これは、復号されるビデオデータの画質を維持しながらビデオデータをいかにより効率的に符号化／復号できるかという点での絶え間ない努力がある。

たとえばスクリーンコンテンツビデオといった、ある特定のビデオコンテンツは、すべての３つの成分（輝度成分と２つの色差成分）が同一の解像度を有する４：４：４色差フォーマットで符号化される。４：４：４色差フォーマットは、（優れた圧縮効率の実現にとって不利な）４：２：０色差フォーマットや４：２：２色差フォーマットと比較して、より多くの冗長性を含んでいるが、４：４：４色差フォーマットは、なお、復号ビデオにおける鮮明なエッジなどの色情報を維持するために高い忠実度が必要とされる多くの用途にとって好ましい符号化フォーマットである。４：４：４色差ビデオフォーマットに存在する冗長性を所与として、４：４：４ビデオの３つの色成分（たとえばＹＣｂＣｒ領域におけるＹ、Ｃｂ及びＣｒ、又はＲＧＢ領域におけるＧ、Ｂ及びＲ）の間の相関を利用することにより、大幅な符号化改善が実現され得ることの証拠がある。これらの相関のために、ＨＥＶＣスクリーンコンテンツ符号化（ＳＣＣ：ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）の拡張版の開発中に、３つの色成分の間の相関を活用するために適応型色空間変換（ＡＣＴ）ツールが採用される。

本出願は、ビデオデータの符号化及び復号、より詳細には、適応型色変換（ＡＣＴ）プロセスによる色差残差スケーリングプロセスを条件付きで適用する方法及びシステムに関する実装形態を記述する。

元は４：４：４色フォーマットで取り込まれたビデオ信号について、復号ビデオ信号に対して高い忠実度が望まれる場合には元の空間においてビデオを符号化するのが好ましく、たとえばＲＧＢビデオといった元の色空間では情報の冗長性が豊富である。たとえばクロス成分の線形モデル予測（ＣＣＬＭ：ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ ｐｒｅｄｉｃｔｉｏｎ）といった現行のＶＶＣ規格におけるいくつかのインター成分符号化ツールは、４：４：４ビデオ符号化の効率を改善することはできても、３つの成分間の冗長性が十分に解消されない。これは、Ｃｂ／Ｂ成分及びＣｒ／Ｒ成分を予測するのに、Ｙ／Ｇ成分のみが利用され、Ｃｂ／Ｂ成分とＣｒ／Ｒ成分との間の相関は考慮に入れられないためである。これに対して、３つの色成分のさらなる相関の除去は、４：４：４ビデオ符号化の符号化性能を改善し得る。

現行のＶＶＣ規格では、既存のインターツール及びイントラツールの設計は、主に４：２：０色差フォーマットで取り込まれたビデオに的を絞っている。したがって、より優れた複雑さ／性能のトレードオフを実現するためには、それらの符号化ツール（たとえば、位置依存型イントラ予測組合せ（ＰＤＰＣ：ｐｏｓｉｔｉｏｎ－ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｃｏｍｂｉｎａｔｉｏｎ）、マルチ参照ライン（ＭＲＬ：ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ）、及びサブ分割予測（ＩＳＰ））の多くは輝度成分にのみ適用可能であって色差成分には無効であり、或いは輝度成分及び色差成分には別の操作（たとえば動き補償予測に適用される補間フィルタ）を使用する。しかしながら、４：４：４色差フォーマットのビデオ信号は、４：２：０ビデオと比較して大変異なる特性を表す。たとえば、４：４：４のＹＣｂＣｒビデオ及びＲＧＢビデオのＣｂ／Ｂ成分及びＣｒ／Ｒ成分は、４：２：０ビデオの色差成分よりも、より豊富な色情報を表し、より高い周波数の情報（たとえばエッジ及びテクスチャ）を有する。そのような考察により、ＶＶＣでは、４：２：０ビデオと４：４：４ビデオとの両方に対して、いくつかの既存の符号化ツールの同じ設計を使用するのが常に最適であり得る。

本出願の第１の態様によれば、色差残差スケーリングを用いて符号化されたビデオブロックを復号する方法は、ビットストリームから、符号化ユニットと関連付けられた複数のシンタックス要素を受け取るステップであって、シンタックス要素が、符号化ユニットの第１の色差成分の残差サンプルのための第１の符号化ブロックフラグ（ＣＢＦ）と、符号化ユニットの第２の色差成分の残差サンプルのための第２のＣＢＦと、適応型色変換（ＡＣＴ）が符号化ユニットに適用されるか否かを示す第３のシンタックス要素とを含む、ステップと、第１のＣＢＦ、第２のＣＢＦ、及び第３のシンタックス要素に従って、第１及び第２の色差成分の残差サンプルに対して色差残差スケーリングを実行するか否かを判定するステップと、第１及び第２の色差成分のうちの少なくとも１つの残差サンプルに対して色差残差スケーリングを実行するという判定に応じて、対応するスケーリングパラメータに基づいて第１及び第２の色差成分のうちの少なくとも１つの残差サンプルをスケーリングするステップと、スケーリング後に輝度残差サンプル及び色差残差サンプルを使用して符号化ユニットのサンプルを再構成するステップとを備える。

いくつかの実施形態では、第１のＣＢＦ、第２のＣＢＦ、及び第３のシンタックス要素に従って、第１及び第２の色差成分の残差サンプルに対して色差残差スケーリングを実行するか否かを判定するステップは、ＡＣＴが符号化ユニットに適用されるという第３のシンタックス要素による判定に応じて、符号化ユニットの輝度残差サンプル及び色差残差サンプルに対して逆ＡＣＴの適用を行い、逆ＡＣＴの後に、第１のＣＢＦ及び第２のＣＢＦに関わらず、第１及び第２の色差成分の残差サンプルに対して色差残差スケーリングを実行すると判定するステップを備える。

本出願の第２の態様によれば、色差残差スケーリングを用いて符号化されたビデオブロックを復号する方法は、ビットストリームから、符号化ユニットと関連付けられた複数のシンタックス要素を受け取るステップであって、シンタックス要素は、符号化ユニットの第１の色差成分の残差サンプルのための第１の符号化ブロックフラグ（ＣＢＦ）と、符号化ユニットの第２の色差成分の残差サンプルのための第２のＣＢＦと、適応型色変換（ＡＣＴ）が符号化ユニットに適用されるか否かを示す第３のシンタックス要素とを含む、ステップと、第１のＣＢＦ及び第２のＣＢＦに従って、第１及び第２の色差成分の残差サンプルに対して色差残差スケーリングを実行するか否かを判定するステップと、第１及び第２の色差成分のうちの少なくとも１つの残差サンプルに対して色差残差スケーリングを実行するという判定に応じて、対応するスケーリングパラメータに基づいて第１及び第２の色差成分のうちの少なくとも１つの残差サンプルをスケーリングするステップと、ＡＣＴが符号化ユニットに適用されるという第３のシンタックス要素による判定に応じて、スケーリング後に符号化ユニットの輝度残差サンプル及び色差残差サンプルに対して逆ＡＣＴの適用を行うステップとを備える。

本出願の第３の態様によれば、電子装置は、１つ以上の処理部、メモリ、及びメモリに記憶された複数のプログラムを含む。このプログラムは、１つ以上の処理部によって実行されると、電子機器に、上記で記述されたようにビデオデータを復号する方法を実施させる。

本出願の第４の態様によれば、非一時型コンピュータ読み取り可能な記録媒体は、１つ以上の処理部を有する電子装置によって実行される複数のプログラムを記憶している。このプログラムは、１つ以上の処理部によって実行されると、電子機器に、上記で記述されたようにビデオデータを復号する方法を実施させる。

実施形態のさらなる理解を提供するために含まれる添付図面は、本明細書に組み込まれて本明細書の一部を構成し、記述された実施形態を図示して、記述とともに基本原理を説明するのに役立つものである。類似の参照数字は相当する部分を指す。

本開示のいくつかの実施形態による例示的ビデオ符号化及び復号システムを示すブロック図である。 本開示のいくつかの実施形態による例示的なビデオ符号化器を示すブロック図である。 本開示のいくつかの実施形態による例示的ビデオ復号器を示すブロック図である。 本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を説明するブロック図である。 本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を説明するブロック図である。 本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を説明するブロック図である。 本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を説明するブロック図である。 本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を説明するブロック図である。 本開示のいくつかの実装形態に従って、ＲＧＢ色空間とＹＣｇＣｏ色空間との間の残差を変換するための適応型色空間変換（ＡＣＴ）の技術を適用する例を示すブロック図である。 本開示のいくつかの実装形態に従って、ＲＧＢ色空間とＹＣｇＣｏ色空間との間の残差を変換するための適応型色空間変換（ＡＣＴ）の技術を適用する例を示すブロック図である。 本開示のいくつかの実装形態に従って、例示的なビデオデータ復号プロセスにおいて色差スケーリング付き輝度マッピング（ＬＭＣＳ：ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）の技術を適用するブロック図である。 本開示のいくつかの実装形態に従って、ビデオ復号器が逆方向の適応型色空間変換（ＡＣＴ）の技術を実施する例示的なビデオ復号プロセスを示すブロック図である。 本開示のいくつかの実装形態に従って、ビデオ復号器が逆方向の適応型色空間変換（ＡＣＴ）及び色差残差スケーリングの技術を実施する例示的なビデオ復号プロセスを示すブロック図である。 本開示のいくつかの実装形態に従って、ビデオ復号器が逆方向の適応型色空間変換（ＡＣＴ）及び色差残差スケーリングの技術を実施する例示的なビデオ復号プロセスを示すブロック図である。 本開示のいくつかの実装形態に従って、ビデオ復号器が符号化ユニットの残差に対して色差残差スケーリング動作を条件付きで実行することによってビデオデータを復号する、例示的なプロセスを示すフローチャートである。

次に具体的な実施形態が詳細に参照され、それらの実施例が添付図面に示されている。以下の詳細な説明では、本明細書で提示される主題の理解を支援するために多くの非限定的かつ具体的な詳細が明らかにされる。しかし、特許請求の範囲から逸脱することなく様々な代替形態が使用され得、これらの具体的な詳細なしで主題が実施され得ることが、当業者には明らかであろう。たとえば、本明細書で提示された主題が、デジタルビデオ機能を伴う多くのタイプの電子デバイスにおいて実施され得ることは、当業者には明らかであろう。

いくつかの実施形態では、４：４：４ビデオに関するＶＶＣ規格の符号化効率を改善するための方法が提供される。一般に、本開示における技術の主な特徴が以下に要約される。

いくつかの実施形態では、これらの方法は、残差領域における適応型色空間変換を有効にする既存のＡＣＴ設計を改善するために実施される。特に、ＡＣＴと、ＶＶＣにおけるいくつかの既存の符号化ツールとの相互作用を扱うために特別な配慮がなされる。

図１は、本開示のいくつかの実施形態に従って、ビデオブロックの符号化と復号を並行して行うための例示的システム１０を示すブロック図である。図１に示されるように、システム１０は、後に送信先（デスティネーション）装置１４によって復号されるビデオデータを生成して符号化する情報源（ソース）装置１２を含む。情報源装置１２及び送信先装置１４は、デスクトップコンピュータ又はラップトップコンピュータ、タブレット型コンピュータ、スマートフォン、セットトップボックス、デジタルテレビジョン、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、ビデオストリーミングデバイス等を含む種々の電子デバイスのうち任意のものを備え得る。いくつかの実施形態では、情報源装置１２及び送信先装置１４は無線通信機能を装備している。

いくつかの実施形態では、送信先装置１４は、リンク１６を通じて、復号される符号化ビデオデータを受け取ってよい。リンク１６は、情報源装置１２から送信先装置１４に、符号化ビデオデータを転送することができる任意のタイプの通信媒体又は通信デバイスを備え得る。一例では、リンク１６は、情報源装置１２が送信先装置１４に、符号化ビデオデータをリアルタイムで直接伝送することを可能にするための通信媒体を備え得る。符号化ビデオデータは、無線通信プロトコルなどの通信規格に従って変調されて送信先装置１４に伝送され得る。通信媒体は、無線周波数（ＲＦ）スペクトル或いは１つ以上の物理的伝送路などの任意の無線又は有線の通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、又はインターネットなどのグローバネットワークなどのパケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、又は情報源装置１２から送信先装置１４への通信を容易にするのに役立つその他の機器を含み得る。

いくつかの他の実施形態では、符号化ビデオデータは、出力インタフェース２２から記録装置３２に伝送され得る。続いて、記録装置３２における符号化ビデオデータは、送信先装置１４によって入力インタフェース２８を介してアクセスされ得る。記録装置３２は、ハードディスク（ｈａｒｄ ｄｒｉｖｅ）、ブルーレイディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性のメモリ、又は符号化ビデオデータを記憶するのに適する他のデジタル記録媒体など、種々の、分散された又は局所的にアクセスされるデータ記録媒体のうち任意のものを含み得る。さらなる例では、記録装置３２は、情報源装置１２によって生成された、符号化ビデオデータを保持し得る、ファイルサーバ又は別の中間記録装置に相当してよい。送信先装置１４は、記録装置３２からストリーミング又はダウンロードすることによって、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶したり、符号化ビデオデータを送信先装置１４に伝送したりすることができる任意のタイプのコンピュータでよい。例示的ファイルサーバは、（たとえばウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）装置、又はローカルディスクドライブを含む。送信先装置１４は、ファイルサーバに記憶されている符号化ビデオデータにアクセスするのに適する無線チャンネル（たとえばＷｉ－Ｆｉ接続）、有線接続（たとえば、ＤＳＬやケーブルモデムなど）、又は両方の組合せを含む任意の標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。記録装置３２からの符号化ビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、又は両方の組合せでよい。

図１に示されるように、情報源装置１２は、ビデオ源１８、ビデオ符号化器２０及び出力インタフェース２２を含む。ビデオ源１８は、たとえばビデオカメラ、以前に取り込まれたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受け取るためのビデオ供給インタフェース、及び／又はソースビデオとしてのコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、或いはそのようなソースの組合せといった、ビデオキャプチャーデバイスなどのソースを含み得る。一例として、ビデオ源１８がセキュリティ監視システムのビデオカメラである場合には、情報源装置１２及び送信先装置１４がカメラフォン又はビデオフォンを形成し得る。しかしながら、本出願に記述された実施形態は、一般にビデオコーディングに適用可能であり得、無線及び／又は有線の用途に適用され得る。

取り込まれた、前もって取り込まれた、又はコンピュータで生成されたビデオは、ビデオ符号化器２０によって符号化され得る。符号化ビデオデータは、情報源装置１２の出力インタフェース２２を通って送信先装置１４に直接伝送され得る。符号化ビデオデータは、復号及び／又は再生のために、送信先装置１４又は他のデバイスによる後のアクセス用に、記録装置３２にも（又は代わりに）記憶されてよい。出力インタフェース２２はモデム及び／又は送信器をさらに含み得る。

送信先装置１４は、入力インタフェース２８、ビデオ復号器３０、及び表示装置３４を含む。入力インタフェース２８は受信器及び／又はモデムを含み得、リンク１６を通じて、符号化ビデオデータを受け取る。リンク１６を通じて通信されるか又は記録装置３２で供給される符号化ビデオデータは、ビデオ復号器３０によってビデオデータを復号する際に使用される、ビデオ符号化器２０によって生成された種々のシンタックス要素を含み得る。そのようなシンタックス要素が含まれ得る符号化ビデオデータは、通信媒体で伝送され、記録媒体又はファイルサーバに記憶される。

いくつかの実施形態では、送信先装置１４が含み得る表示装置３４は、統合表示装置と、送信先装置１４と通信するように構成された外部表示装置とであり得る。表示装置３４は、復号ビデオデータをユーザーに表示し、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は別タイプの表示装置などの種々の表示装置のうち任意のものを備え得る。

ビデオ符号化器２０及びビデオ復号器３０は、ＶＶＣ、ＨＥＶＣ、ＭＰＥＧ－４ Ｐａｒｔ １０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＡＶＳ、又はこれらの規格の拡張版などの、知的所有物又は業界規格に基づいて動作し得る。本出願は特定のビデオ符号化／復号の規格に限定されず、他のビデオ符号化／復号の規格に適用可能であり得ることを理解されたい。一般に、情報源装置１２のビデオ符号化器２０は、これらの現在の規格又は将来の規格のいずれかに従ってビデオデータを符号化するように構成され得ることが企図されている。同様に、送信先装置１４のビデオ復号器３０は、これらの現在の規格又は将来の規格のいずれかに従ってビデオデータを復号するように構成され得ることも一般に企図されている。

ビデオ符号化器２０及びビデオ復号器３０は、それぞれ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ディスクリートロジック（個別論理回路：ｄｉｓｃｒｅｔｅ ｌｏｇｉｃ）、ソフトウェア、ハードウェア、ファームウェア又はこれらの任意の組合せなどの種々の適切な符号化回路構成のうち任意のものとして実施され得る。電子デバイスは、部分的にソフトウェアで実施されるときには、ソフトウェアに関する命令を適切な非一時型コンピュータ読み取り可能な媒体に記憶し、１つ以上のプロセッサを使用してハードウェアで命令を実行して、本開示で開示されたビデオ符号化／復号の処理を実行し得る。ビデオ符号化器２０及びビデオ復号器３０の各々が１つ以上の符号化器又は復号器に含まれ得、そのいずれかが、それぞれのデバイスにおいて組み合わされた符号化器／復号器（ＣＯＤＥＣ）の一部として一体化され得る。

図２は、本出願に記述されたいくつかの実施形態による例示的ビデオ符号化器２０を示すブロック図である。ビデオ符号化器２０は、ビデオフレームの内部のビデオブロックのイントラ予測符号化及びインター予測符号化を実行し得る。イントラ予測符号化は、所与のビデオフレーム又はピクチャの内部のビデオデータにおける空間冗長性を低減するか又は除去するために空間予測に頼る。インター予測符号化は、ビデオシーケンスの隣接したビデオフレーム又はピクチャの内部のビデオデータにおける時間冗長性を低減するか又は除去するために時間予測に頼る。

図２に示されるように、ビデオ符号化器２０は、ビデオデータメモリ４０、予測処理部４１、復号ピクチャバッファ（ＤＰＢ：ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）６４、加算器５０、変換処理部５２、量子化部５４、及びエントロピー符号化部５６を含む。予測処理部４１は、動き推定部４２、動き補償部４４、分割部４５、イントラ予測処理部４６、及びイントラブロックコピー（ＢＣ）部４８をさらに含む。いくつかの実施形態では、ビデオ符号化器２０は、ビデオブロックを再構成するための逆量子化部５８、逆変換処理部６０、及び加算器６２も含む。ブロック境界をフィルタリングして再構成されたビデオからブロック歪を除去するために、加算器６２とＤＰＢ６４との間にデブロッキングフィルタ（図示せず）などのループ内フィルタが配置されてよい。デブロッキングフィルタに加えて、加算器６２の出力をフィルタリングするために他のループ内フィルタ（図示せず）も使用され得る。サンプル適応オフセット（ＳＡＯ）及び適応型ループ内フィルタ（ＡＬＦ）などのループ内フィルタリングは、さらに、参照ピクチャストアに置かれる前の再構成されたＣＵに対して適用され、以後のビデオブロックを符号化する基準として使用され得る。ビデオ符号化器２０は、変更不能な又はプログラマブルなハードウェアユニットという形態を取ってよく、或いは、１つ以上の変更不能な又はプログラマブルなハードウェアユニットのうちに分割されてもよい。

ビデオデータメモリ４０は、ビデオ符号化器２０の構成要素によって符号化されるビデオデータを記憶し得る。ビデオデータメモリ４０のビデオデータは、たとえばビデオ源１８から取得され得る。ＤＰＢ６４は、ビデオ符号化器２０によって（たとえばイントラ予測符号化モード又はインター予測符号化モードで）ビデオデータを符号化するために用いる参照ビデオデータを記録するバッファである。ビデオデータメモリ４０及びＤＰＢ６４は、様々な記録装置のうち任意のものによっても形成され得る。様々な例において、ビデオデータメモリ４０は、ビデオ符号化器２０の他の構成要素とともにチップ上にあって（オンチップで）よく、又はそれらの構成要素に対してチップ外にあっても（オフチップでも）よい。

図２に示されるように、予測処理部４１の内部の分割部４５は、受け取ったビデオデータをビデオブロックへと分割する。この分割は、ビデオデータに関連付けられた四分木構造などの所定の分割構造に従って、ビデオフレームを、スライス、タイル、又は他のより大きい符号化ユニット（ＣＵ）へと分割することを含み得る。ビデオフレームは複数のビデオブロック（又は、タイルと称されるビデオブロックのセット）に分割され得る。予測処理部４１は、誤り結果（たとえば符号化レートや歪みのレベル）に基づいて現在のビデオブロック用に、複数のイントラ予測符号化モードのうちの１つ、又は複数のインター予測符号化モードのうちの１つなど、複数の可能な予測符号化モードのうちの１つを選択してよい。予測処理部４１は、結果として生じるイントラ予測符号化ブロック又はインター予測符号化ブロックを、加算器５０に供給して残差ブロックを生成してよく、また、この符号化ブロックを加算器６２に供給して、後に参照フレームの一部として使用するために再構成してよい。予測処理部４１は、また、エントロピー符号化部５６に、動きベクトル、イントラモードインジケータ、分割情報、及び他のそのようなシンタックス情報などのシンタックス要素を供給する。

現在のビデオブロック用に適切なイントラ予測符号化モードを選択するために、予測処理部４１の内部のイントラ予測処理部４６は、符号化される現在のブロックと同じフレームにおける１つ以上の近隣のブロックに関する現在のビデオブロックのイントラ予測符号化を実行して、空間予測をもたらし得る。予測処理部４１の内部の動き推定部４２及び動き補償部４４は、１つ以上の参照フレームにおける１つ以上の予測ブロックに関連して現在のビデオブロックのインター予測符号化を実行して時間予測をもたらす。ビデオ符号化器２０は、たとえばビデオデータの各ブロック用に適切な符号化モードを選択するために、複数の符号化パスを実行してよい。

いくつかの実施形態では、動き推定部４２は、一連のビデオフレームの内部の所定のパターンに従って、参照ビデオフレームの内部の予測ブロックに対する現在のビデオフレームの内部のビデオブロックの予測ユニット（ＰＵ）の変位を示す動きベクトルを生成することにより、現在のビデオフレームに関するインター予測モードを決定する。動き推定部４２によって実行される動き予測は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在のフレーム内（又は他の符号化ユニット内）の符号化される現在のブロックに関連して、参照フレーム内（又は他の符号化ユニット）内の予測ブロックに対する現在のビデオフレーム又はピクチャの内部のビデオブロックのＰＵの変位を示し得る。所定のパターンは、ビデオフレームを、シーケンスにおけるＰフレーム又はＢフレームとして指定し得る。イントラＢＣ部４８は、インター予測用の動き推定部４２による動きベクトルの決定と同様のやり方で、イントラＢＣ符号化用の、たとえばブロックベクトルといったベクトルを決定してよく、又は動き推定部４２を利用してブロックベクトルを決定してもよい。

予測ブロックは、画素差分の観点から、符号化対象となるビデオブロックのＰＵと密接に対応するものとみなされる参照フレームのブロックであり、差分絶対値和（ＳＡＤ：ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）、差分二乗和（ＳＳＤ：ｓｕｍ ｏｆ ｓｑｕａｒｅ ｄｉｆｆｅｒｅｎｃｅ）、又は他の差分基準量によって決定され得る。いくつかの実施形態では、ビデオ符号化器２０は、ＤＰＢ６４に記憶された参照フレームのサブ整数型画素位置の値を計算してよい。たとえば、ビデオ符号化器２０は、参照フレームの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間してよい。したがって、動き推定部４２は、全体の画素位置及び分数画素位置に関する動き探索を実行して、分数画素精度を有する動きベクトルを出力し得る。

動き推定部４２は、インター予測符号化フレームのビデオブロックのＰＵに関して、第１の参照フレームリスト（リスト０）又は第２の参照フレームリスト（リスト１）から選択された参照フレームの予測ブロックの位置と当該ＰＵの位置とを比較することにより動きベクトルを計算する。ここで、第１の参照フレームリスト又は第２の参照フレームリストはそれぞれＤＰＢ６４に格納されている１つ以上の参照フレームを特定するものである。動き推定部４２は、計算された動きベクトルを動き補償部４４に送り、次いでエントロピー符号化部５６に送る。

動き補償部４４によって実行される動き補償は、動き推定部４２によって決定された動きベクトルに基づいて予測ブロックを取り込むこと又は生成することを包含し得る。動き補償部４４は、現在のビデオブロックのＰＵに関する動きベクトルを受け取ると、動きベクトルが参照フレームリストのうちの１つにおいて指し示す予測ブロックを捜し出し、ＤＰＢ６４から予測ブロックを取り出して、予測ブロックを加算器５０に転送する。次いで、加算器５０は、符号化される現在のビデオブロックの画素値から動き補償部４４によってもたらされた予測ブロックの画素値を差し引くことにより、画素差分値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差分値は、輝度（ｌｕｍａ）差分成分もしくは色差（ｃｈｒｏｍａ）差分成分、又はこれらの両方を含み得る。動き補償部４４は、ビデオ復号器３０によって、ビデオフレームのビデオブロックを復号する際に使用されるビデオフレームのビデオブロックに関連したシンタックス要素も生成し得る。シンタックス要素は、たとえば、予測ブロックを記述するために使用される動きベクトルを定めるシンタックス要素、予測モードを示す任意のフラグ、又は本明細書に記述されたその他のシンタックス情報を含み得る。なお、動き推定部４２と動き補償部４４はほとんど一体化され得るが、概念的な目的のために個別に示されている。

いくつかの実施形態では、イントラＢＣ部４８は、動き推定部４２及び動き補償部４４に関して上記に記述されたのと同様のやり方でベクトルを生成して予測ブロックを取り込み得るが、予測ブロックは符号化される現在のブロックと同じフレームにあり、ベクトルは動きベクトルと対照的にブロックベクトルと称される。詳細には、イントラＢＣ部４８は、現在のブロックを符号化するためにイントラ予測モードを使用するように決定してよい。いくつかの例において、イントラＢＣ部４８は、たとえば個別の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し、レート－歪み解析によってそれらイントラ予測モードの性能を分析してよい。次に、イントラＢＣ部４８は、試験された様々なイントラ予測モードの中で、イントラモードインジケータを生成するのに使用する適切なイントラ予測モードを選択してよい。たとえば、イントラＢＣ部４８は、レート－歪み解析を使用して、試験された様々なイントラ予測モードに関するレート－歪み値を計算し、試験されたモードの中で最善のレート－歪み特性を有するイントラ予測モードを、使用するのに適切なイントラ予測モードとして選択してよい。レート－歪み解析は、一般に、符号化ブロックと、当該符号化ブロックを生成するために符号化される符号化前の元のブロックとの間の歪み（又は誤差）量とともに、これら符号化ブロックを生成するために使用されたビットレート（すなわち、多数のビット）を決定する。イントラＢＣ部４８は、様々な符号化ブロックについて歪みとレートとの比率を計算して、そのブロックに関する最善のレート－歪み値を示すイントラ予測モードを決定してよい。

他の例では、イントラＢＣ部４８は、本明細書に記述された実施形態に従ってイントラＢＣ予測のためのそのような機能を実行するために、動き推定部４２及び動き補償部４４を全体的又は部分的に使用してよい。どちらの場合にも、イントラブロックコピーについては、予測ブロックは、画素差分の観点から、符号化対象となるブロックと密接に対応するものとみなされるブロックでよく、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、又は他の差分基準量によって決定され得る。予測ブロックの特定には、サブ整数型画素位置の値の計算が含まれ得る。

予測ブロックがイントラ予測による同じフレームからのものであろうとインター予測による異なるフレームからのものであろうと、ビデオ符号化器２０は、符号化される現在のビデオブロックの画素値から予測ブロックの画素値を差し引くことによって残差ビデオブロックを形成してよく、画素差分値を形成する。残差ビデオブロックを形成する画素差分値は、輝度差分成分と色差差分成分の両方を含み得る。

イントラ予測処理部４６は、前述のように、動き推定部４２及び動き補償部４４によって実行されるインター予測、又はイントラＢＣ部４８によって実行されるイントラブロックコピー予測の代替として、現在のビデオブロックをイントラ予測してよい。詳細には、イントラ予測処理部４６は、現在のブロックを符号化するためにイントラ予測モードを使用するように決定してよい。そうするために、イントラ予測処理部４６は、たとえば個別の符号化パス中に様々なイントラ予測モードを使用して現在のブロックを符号化してよく、イントラ予測処理部４６（又はいくつかの例ではモード選択部）は、試験されたイントラ予測モードから、使用するべき適切なイントラ予測モードを選択してよい。イントラ予測処理部４６は、そのブロック向けに選択されたイントラ予測モードを表す情報をエントロピー符号化部５６に供給してよい。エントロピー符号化部５６は、ビットストリームにおける選択されたイントラ予測モードを示す情報を符号化してよい。

予測処理部４１がインター予測又はイントラ予測のいずれかによって現在のビデオブロック用の予測ブロックを決定した後に、加算器５０が、現在のビデオブロックから予測ブロックを差し引くことによって残差ビデオブロックを生成する。残差ブロックにおける残差ビデオデータは１つ以上の変換ユニット（ＴＵ）に含まれ得、変換処理部５２に供給される。変換処理部５２は、離散コサイン変換（ＤＣＴ：ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）又は概念的に同様の変換などの変換を使用して残差ビデオデータを残差変換係数に変換する。

変換処理部５２は、結果として生じる変換係数を量子化部５４に送ってよい。量子化部５４は、変換係数を量子化してビットレートをさらに低下させる。量子化プロセスは、係数のうちのいくつか又はすべてに関連したビット深さも縮小し得る。量子化の程度は、量子化パラメータを調節することによって変更され得る。いくつかの例において、量子化部５４は、次いで、量子化変換係数を含むマトリクスの走査を実行し得る。或いはエントロピー符号化部５６が走査を実行してもよい。

量子化に続いて、エントロピー符号化部５６は、たとえば、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、コンテキスト適応型２値算術符号化（ＣＡＢＡＣ：ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、シンタックスベースコンテキスト適応型２値算術符号化（ＳＢＡＣ：ｓｙｎｔａｘ－ｂａｓｅｄ ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、確率区間区分エントロピー符号化（ＰＩＰＥ：ｐｒｏｂａｂｉｌｉｔｙ ｉｎｔｅｒｖａｌ ｐａｒｔｉｔｉｏｎｉｎｇ ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）、又は別のエントロピー符号化の技法もしくは技術を使用して、量子化変換係数をビデオビットストリームへとエントロピー符号化する。次いで、符号化ビットストリームは、ビデオ復号器３０に伝送されるか、又は後にビデオ復号器３０へ伝送するため、もしくはビデオ復号器３０によって後に取り戻すために記録装置３２に記録され得る。エントロピー符号化部５６は、符号化される現在のビデオフレームに関する動きベクトル及び他のシンタックス要素もエントロピー符号化してよい。

他のビデオブロックを予測するための参照ブロックを生成するために、画素領域における残差ビデオブロックを再構成するのに、逆量子化部５８が逆量子化を適用し、逆変換処理部６０が逆変換を適用する。前述のように、動き補償部４４は、ＤＰＢ６４に記憶されたフレームの１つ以上の参照ブロックから、動き補償予測ブロックを生成し得る。動き補償部４４はまた、予測ブロックに１つ以上の補間フィルタを適用を適用して、動き予測に用いるサブ整数画素値を計算してよい。

加算器６２は、再構成された残差ブロックを、動き補償部４４によって生成された動き補償予測ブロックに加えて、ＤＰＢ６４に記憶するための参照ブロックを生成する。次いで、参照ブロックは、イントラＢＣ部４８、動き推定部４２及び動き補償部４４によって、後続のビデオフレームにおける別のビデオブロックをインター予測するための予測ブロックとして使用され得る。

図３は、本出願のいくつかの実施形態による例示的なビデオ復号器３０を示すブロック図である。ビデオ復号器３０は、ビデオデータメモリ７９、エントロピー復号部８０、予測処理部８１、逆量子化部８６、逆変換処理部８８、加算器９０、及びＤＰＢ９２を含む。予測処理部８１は、動き補償部８２、イントラ予測処理部８４、及びイントラＢＣ部８５をさらに含む。ビデオ復号器３０は、図２に関連してビデオ符号化器２０に関して記述された符号化プロセスとは全体的に逆の復号プロセスを実行し得る。たとえば、動き補償部８２は、エントロピー復号部８０から受け取られた動きベクトルに基づいて予測データを生成し得、一方、イントラ予測処理部８４は、エントロピー復号部８０から受け取られたイントラ予測モードインジケータに基づいて予測データを生成し得る。

いくつかの例において、ビデオ復号器３０のユニットには、本出願の実施形態を実行するようにタスクが課されることがある。また、いくつかの例では、本開示の実施形態は、ビデオ復号器３０の１つ以上のユニットの間で分割されてもよい。たとえば、イントラＢＣ部８５は、本出願の実施形態を、単独で、又はビデオ復号器３０の動き補償部８２、イントラ予測処理部８４、及びエントロピー復号部８０などの他のユニットと組み合わせて実行し得る。いくつかの例では、ビデオ復号器３０はイントラＢＣ部８５を含まなくてよく、イントラＢＣ部８５の機能性は、動き補償部８２など、予測処理部８１の他の構成要素によって実行され得る。

ビデオデータメモリ７９は、ビデオ復号器３０の他の構成要素によって復号される符号化ビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ７９に記憶されたビデオデータは、記録装置３２から、たとえばカメラなどのローカルなビデオ源から、ビデオデータの有線もしくは無線のネットワーク通信によって、又はたとえばフラッシュドライブもしくはハードディスクといった物理的データ記録媒体にアクセスすることによって取得され得る。ビデオデータメモリ７９は、符号化ビデオビットストリームからの符号化ビデオデータを記憶する、符号化ピクチャバッファ（ＣＰＢ：ｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含み得る。ビデオ復号器３０の、復号ピクチャバッファ（ＤＰＢ）９２は、ビデオ復号器３０によって（たとえばイントラ予測符号化モード又はインター予測符号化モードで）ビデオデータを符号化するために用いる参照ビデオデータを記憶する。ビデオデータメモリ７９及びＤＰＢ９２は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気抵抗型ＲＡＭ（ＭＲＡＭ：Ｍａｇｎｅｔｏ－ｒｅｓｉｓｔｉｖｅ ＲＡＭ）、抵抗変化型ＲＡＭ（ＲＲＡＭ）、又は他のタイプのメモリデバイスを含む動的ランダムアクセスメモリ（ＤＲＡＭ：Ｒｅｓｉｓｔｉｖｅ ＲＡＭ）などの種々のメモリデバイスのうち任意のものによって形成され得る。例示のために、ビデオデータメモリ７９及びＤＰＢ９２は、図３におけるビデオ復号器３０の２つの別個の構成要素として表されている。しかし、ビデオデータメモリ７９及びＤＰＢ９２は、同一のメモリデバイス又は個別のメモリデバイスによってもたらされ得ることが当業者には明らかであろう。いくつかの例では、ビデオデータメモリ７９は、ビデオ復号器３０の他の構成要素とともにチップ上にあって（オンチップで）よく、又はそれらの構成要素に対してチップ外にあっても（オフチップでも）よい。

復号プロセス中に、ビデオ復号器３０は、符号化ビデオフレーム及び関連するシンタックス要素のビデオブロックを表す符号化ビデオビットストリームを受け取る。ビデオ復号器３０はビデオフレームレベル及び／又はビデオブロックレベルのシンタックス要素を受け取ってよい。ビデオ復号器３０のエントロピー復号部８０は、ビットストリームをエントロピー復号して、量子化係数、動きベクトル又はイントラ予測モードインジケータ、及び他のシンタックス要素を生成する。次いで、エントロピー復号部８０は、動きベクトル及び他のシンタックス要素を予測処理部８１に転送する。

ビデオフレームが、イントラ予測符号化（Ｉ）フレームとして、又は他のタイプのフレームにおけるイントラ符号化予測ブロック向けに符号化されるとき、予測処理部８１のイントラ予測処理部８４は、信号伝達されたイントラ予測モード及び現在のフレームの以前に復号されたブロックからの参照データに基づいて、現在のビデオフレームのビデオブロックに関する予測データを生成し得る。

ビデオフレームがインター予測符号化（すなわちＢ又はＰ）フレームとして符号化されるとき、予測処理部８１の動き補償部８２は、エントロピー復号部８０から受け取られた動きベクトル及び他のシンタックス要素に基づいて現在のビデオフレームのビデオブロックに関する１つ以上の予測ブロックを生成する。予測ブロックの各々が、参照フレームリストのうちの１つの内部の参照フレームから生成され得る。ビデオ復号器３０は、ＤＰＢ９２に記憶された参照フレームに基づくデフォルトの構成技術を使用して、参照フレームリスト、リスト０及びリスト１を構成し得る。

いくつかの例では、本明細書に記述されたイントラＢＣモードに従ってビデオブロックが符号化されるとき、予測処理部８１のイントラＢＣ部８５は、エントロピー復号部８０から受け取られたブロックベクトル及び他のシンタックス要素に基づいて現在のビデオブロックに関する予測ブロックを生成する。予測ブロックは、ビデオ符号化器２０によって定められた現在のビデオブロックと同一のピクチャの再構成された領域の内部にあり得る。

動き補償部８２及び／又はイントラＢＣ部８５は、動きベクトル及び他のシンタックス要素を解析することによって現在のビデオフレームのビデオブロックに関する予測情報を決定し、次いで、予測情報を使用して、復号される現在のビデオブロックに関する予測ブロックを生成する。たとえば、動き補償部８２は、受け取られたシンタックス要素のうちのいくつかを使用して、ビデオフレームのビデオブロックを符号化するのに使用される予測モード（たとえばイントラ予測又はインター予測）、インター予測フレームタイプ（たとえばＢ又はＰ）、フレームに関する参照フレームリストのうちの１つ以上の構成情報、フレームにおける各インター予測符号化ビデオブロックの動きベクトル、フレームの各インター予測符号化ビデオブロックのインター予測状態、及び現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定する。

同様に、イントラＢＣ部８５は、たとえばフラグといった受け取られたシンタックス要素のうちのいくつかを使用して、現在のビデオブロックはイントラＢＣモードを使用して予測されたものであること、再構成された領域の内部にあってＤＰＢ９２に記憶されるべきフレームのビデオブロックの構成情報、フレームの各イントラＢＣ予測ビデオブロックのブロックベクトル、フレームの各イントラＢＣ予測ビデオブロックのイントラＢＣ予測状態、及び現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定し得る。

動き補償部８２はまた、ビデオ符号化器２０によってビデオブロックの符号化中に参照ブロックのサブ整数画素の補間値を計算するために使用されたような補間フィルタを使用して、補間を実行し得る。この場合、動き補償部８２は、受け取られたシンタックス要素から、ビデオ符号化器２０によって使用された補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成し得る。

逆量子化部８６は、ビットストリームの中に与えられてエントロピー復号部８０によってエントロピー復号された量子化変換係数を、ビデオ符号化器２０によってビデオフレームにおける各ビデオブロックについて量子化の程度を決定するために計算されたものと同一の量子化パラメータを使用して逆量子化する。逆変換処理部８８は、画素領域における残差ブロックを再構成するために、変換係数に対して、たとえば逆ＤＣＴ、逆整数変換、又は概念的に類似の逆変換プロセスといった逆変換の適用を行う。

動き補償部８２又はイントラＢＣ部８５がベクトル及び他のシンタックス要素に基づいて現在のビデオブロックに関する予測ブロックを生成した後に、加算器９０は、逆変換処理部８８からの残差ブロックと、動き補償部８２及びイントラＢＣ部８５によって生成された対応する予測ブロックとを合計することによって、現在のビデオブロックに関する復号ビデオブロックを再構成する。復号ビデオブロックをさらに処理するために、加算器９０とＤＰＢ９２との間にループ内フィルタ（図示せず）が配置されてよい。デブロッキングフィルタ、サンプル適応オフセット（ＳＡＯ）及び適応型ループ内フィルタ（ＡＬＦ）などのループ内フィルタリングは、参照ピクチャストアに置かれる前の再構成されたＣＵに対して適用されてもよい。次いで、所与のフレームにおける復号ビデオブロックは、次のビデオブロックの後続の動き補償に使用される参照フレームを記憶するＤＰＢ９２に記憶される。ＤＰＢ９２又はＤＰＢ９２とは別個のメモリデバイスも、復号されたビデオを、後に図１の表示装置３４などの表示装置に提示するために記憶し得る。

一般的なビデオ符号化プロセスでは、ビデオシーケンスは、一般的にはフレーム又はピクチャの順序づけられたセットを含む。各フレームが、ＳＬ、ＳＣｂ、及びＳＣｒと表される３つのサンプル配列を含み得る。ＳＬは、輝度（ｌｕｍａ）サンプルからなる２次元配列である。ＳＣｂは、Ｃｂ色差サンプルからなる２次元配列である。ＳＣｒは、Ｃｒ色差サンプルからなる２次元配列である。他の事例では、フレームは白黒でよく、したがって輝度サンプルの２次元配列を１つだけ含む。

図４Ａに示されるように、ビデオ符号化器２０（より具体的には分割部４５）は、最初にフレームを符号化ツリーユニット（ＣＴＵ）の集合に分割することによってフレームの符号化表現を生成する。ビデオフレームは、左から右及び上から下へのラスタスキャン順で連続的に順序づけられた整数個のＣＴＵを含み得る。各ＣＴＵは最大の論理符号化ユニットであり、ＣＴＵの幅及び高さは、シーケンスパラメータセットにおいて、ビデオ符号化器２０によって、ビデオシーケンスにおけるすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２、及び１６×１６のうちの１つである同一のサイズを有するように信号伝達される。しかし、本出願は必ずしも特定のサイズに制限されるものではないことに留意されたい。図４Ｂに示されるように、各ＣＴＵは、輝度（ｌｕｍａ）サンプルからなる１つの符号化ツリーブロック（ＣＴＢ）と、対応する２つの色差サンプルからなる符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。シンタックス要素は、画素の符号化ブロックの種々のタイプのユニットの特性と、インター予測又はイントラ予測、イントラ予測モード、動きベクトル、及び他のパラメータを含め、ビデオ復号器３０にてビデオシーケンスを再構成し得る方法とを記述するものである。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＣＴＵは、単一の符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。符号化ツリーブロックは、サンプルのＮ×Ｎのブロックでよい。

より優れた性能を達成するために、ビデオ符号化器２０は、ＣＴＵの符号化ツリーブロックに対して、二分木（ｂｉｎａｒｙ－ｔｒｅｅ）分割、三分木（ｔｅｒｎａｒｙ－ｔｒｅｅ）分割、四分木（ｑｕａｄ－ｔｒｅｅ）分割、又はこれらの組合せなどの木分割を再帰的に実行して、ＣＴＵをより小さい符号化ユニット（ＣＵ）に分割し得る。図４Ｃに表されるように、６４×６４のＣＴＵ４００が、最初に、それぞれが３２×３２のブロックサイズを有する４つのより小さいＣＵに分割される。４つのより小さいＣＵの中で、ＣＵ４１０及びＣＵ４２０が、それぞれ１６×１６のブロックサイズで４つのＣＵに分割される。２つの１６×１６のＣＵである４３０及び４４０が、それぞれ８×８のブロックサイズで４つのＣＵにさらに分割される。図４Ｄは、図４Ｃに表されたようなＣＴＵ４００の分割プロセスの最終結果を示す四分木データ構造を表すものであり、四分木の各リーフノードが３２×３２～８×８の範囲のそれぞれのサイズの１つのＣＵに対応する。各ＣＵは、図４Ｂに表されたＣＴＵに類似して、輝度サンプルの符号化ブロック（ＣＢ）と、同じサイズのフレームの色差サンプルの２つの対応する符号化ブロックと、符号化ブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＣＵは、単一の符号化ブロックと、符号化ブロックのサンプルを符号化するのに使用されるシンタックス構造とを含み得る。図４Ｃ及び図４Ｄに表された四分木分割は単なる説明のためのものであり、１つのＣＴＵが、様々な局所的特性に適合するように、四分木分割／三分木分割／二分木分割に基づいてＣＵに分割され得ることに留意されたい。複合の木構造では、１つのＣＴＵが四分木構造によって分割され、各四分木の葉ＣＵが二分木構造及び三分木構造によってさらに分割され得る。図４Ｅに示されるように、４分割、水平２分割、垂直２分割、水平３分割、垂直３分割といった５つの分割タイプがある。

いくつかの実施形態では、ビデオ符号化器２０は、ＣＵの符号化ブロックを１つ以上のＭ×Ｎの予測ブロック（ＰＢ）へとさらに分割し得る。予測ブロックは、同一の（インター又はイントラ）予測が適用されるサンプルの矩形状（正方形又は非正方形）のブロックである。ＣＵの予測ユニット（ＰＵ）は、輝度サンプルの予測ブロックと、色差サンプルの２つの対応する予測ブロックと、予測ブロックを予測するのに使用されるシンタックス要素とを含み得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＰＵは、単一の予測ブロックと、予測ブロックを予測するのに使用されるシンタックス構造とを含み得る。ビデオ符号化器２０は、ＣＵの各ＰＵにおける、予測輝度、輝度に関するＣｂ及びＣｒブロック、並びに、Ｃｂ及びＣｒ予測ブロックを生成し得る。

ビデオ符号化器２０は、ＰＵに関する予測ブロックを生成するためにイントラ予測又はインター予測を使用してよい。ビデオ符号化器２０がイントラ予測を使用してＰＵの予測ブロックを生成する場合には、ビデオ符号化器２０はＰＵに関連したフレームの復号サンプルに基づいてＰＵの予測ブロックを生成し得る。ビデオ符号化器２０がインター予測を使用してＰＵの予測ブロックを生成する場合には、ビデオ符号化器２０はＰＵに関連したフレーム以外の１つ以上のフレームの復号サンプルに基づいてＰＵの予測ブロックを生成し得る。

ビデオ符号化器２０は、ＣＵにおける１つ以上のＰＵに関する予測輝度ブロック、予測Ｃｂブロック及び予測Ｃｒブロックを生成した後に、ＣＵの輝度残差ブロックにおける各サンプルがＣＵの予測輝度ブロックのうちの１つにおける輝度サンプルとＣＵの元の輝度符号化ブロックにおける対応するサンプルとの間の差分を示すように、ＣＵの元の輝度符号化ブロックからＣＵの予測輝度ブロックを差し引くことによって、ＣＵに関する輝度残差ブロックを生成し得る。同様に、ビデオ符号化器２０は、ＣＵのＣｂ残差ブロックにおける各サンプルが、ＣＵの予測Ｃｂブロックのうちの１つにおけるＣｂサンプルとＣＵの元のＣｂ符号化ブロックにおける対応するサンプルとの間の差分を示すように、ＣＵのＣｂ残差ブロック及びＣｒ残差ブロックをそれぞれ生成してよく、ＣＵのＣｒ残差ブロックにおける各サンプルが、ＣＵの予測Ｃｒブロックのうちの１つにおけるＣｒサンプルとＣＵの元のＣｒ符号化ブロックにおける対応するサンプルとの間の差分を示し得る。

その上、図４Ｃに示されるように、ビデオ符号化器２０は、四分木分割を使用して、ＣＵの輝度、Ｃｂ及びＣｒの残差ブロックを、１つ以上の輝度、Ｃｂ及びＣｒの変換ブロックへと分解する。変換ブロックは、同一の変換が適用されるサンプルの矩形（正方形又は非正方形）のブロックである。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロックと、色差サンプルの２つの対応する変換ブロックと、変換ブロックサンプルを予測するのに使用されるシンタックス要素とを含み得る。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロック、及びＣｒ変換ブロックに関連付けられ得る。いくつかの例では、ＴＵに関連した輝度変換ブロックはＣＵの輝度残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＴＵは、単一の変換ブロックと、変換ブロックのサンプルを変換するのに使用されるシンタックス構造とを含み得る。

ビデオ符号化器２０は、ＴＵの輝度変換ブロックに１つ以上の変換を適用してＴＵ用の輝度係数ブロックを生成し得る。係数ブロックは変換係数の２次元配列であり得る。変換係数はスカラー量であり得る。ビデオ符号化器２０は、ＴＵのＣｂ変換ブロックに１つ以上の変換を適用してＴＵ用のＣｂ係数ブロックを生成し得る。ビデオ符号化器２０は、ＴＵのＣｒ変換ブロックに１つ以上の変換を適用してＴＵ用のＣｒ係数ブロックを生成し得る。

ビデオ符号化器２０は、係数ブロック（たとえば輝度係数ブロック、Ｃｂ係数ブロック又はＣｒ係数ブロック）を生成した後に係数ブロックを量子化し得る。量子化は、一般に、変換係数を表すために使用されるデータ量をどうにかして低減するために変換係数が量子化されるプロセスを指すものであり、さらなる圧縮をもたらす。ビデオ符号化器２０は、係数ブロックを量子化した後に、量子化変換係数を示すシンタックス要素をエントロピー符号化し得る。たとえば、ビデオ符号化器２０は量子化変換係数を示すシンタックス要素に対してコンテキスト適応型２値算術符号化（ＣＡＢＡＣ）を実行し得る。最終的に、ビデオ符号化器２０は、符号化フレーム及び関連するデータの表現を形成する一連のビットを含むビットストリームを出力し得、これは記録装置３２に保存されるか又は送信先装置１４に伝送される。

ビデオ復号器３０は、ビデオ符号化器２０によって生成されたビットストリームを受け取った後に、ビットストリームを解析して、ビットストリームからシンタックス要素を取得し得る。ビデオ復号器３０は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいてビデオデータのフレームを再構成し得る。ビデオデータを再構成するプロセスは、一般にビデオ符号化器２０によって実行された符号化プロセスの逆のである。たとえば、ビデオ復号器３０は、現在のＣＵのＴＵに関連した係数ブロックに対する逆変換を実行して、現在のＣＵのＴＵに関連した残差ブロックを再構成し得る。ビデオ復号器３０はまた、現在のＣＵのＰＵに関する予測ブロックのサンプルを、対応する現在のＣＵのＴＵの変換ブロックのサンプルに加算することによって現在のＣＵの符号化ブロックを再構成する。ビデオ復号器３０は、フレームの各ＣＵに関する符号化ブロックを再構成した後にフレームを再構成し得る。

前述のように、ビデオ符号化は、主としてイントラフレーム予測（すなわちイントラ予測）及びインターフレーム予測（すなわちインター予測）の２つのモードを使用してビデオ圧縮を達成するものである。パレットベースの符号化は、多くのビデオコーディング規格によって採用されている別の符号化方式である。パレットベースの符号化は、スクリーンに生成されたコンテンツを符号化するのに特に適し、この方式では、ビデオコーダ（たとえばビデオ符号化器２０又はビデオ復号器３０）が、所与のブロックのビデオデータを表現する色のパレットテーブルを形成する。パレットテーブルは、所与のブロックの中で最も優勢な（たとえば頻繁に使用される）画素値を含む。所与のブロックのビデオデータにおいて頻繁に表現されない画素値は、パレットテーブルに含まれないか、又は回避色としてパレットテーブルに含まれる。

パレットテーブルの各エントリは、パレットテーブルの中の対応する画素値に関するインデックスを含む。ブロックの中のサンプルに関するパレットインデックスは、サンプルを予測するか又は再構成するために使用されるパレットテーブルのエントリを示すように符号化され得る。このパレットモードは、ピクチャ、スライス、タイル、又はビデオブロックのそのようなグループ化の最初のブロックに関するパレット予測子を生成するプロセスから始まる。以下で説明されるように、後続のビデオブロックに関するパレット予測子は、一般的には、以前に使用されたパレット予測子を更新することによって生成される。例示のために、パレット予測子はピクチャレベルで定められるものと想定されている。言い換えれば、ピクチャは、それぞれが固有のパレットテーブルを有する複数の符号化ブロックを含み得るが、全体のピクチャに関する１つのパレット予測子がある。

ビデオビットストリームにおけるパレットエントリの信号伝達に必要なビット数を低減するために、ビデオ復号器は、ビデオブロックを再構成するために使用されるパレットテーブルの新しいパレットエントリを決定するためにパレット予測子を利用し得る。たとえば、パレット予測子は、以前に使用されたパレットテーブルからのパレットエントリを含んでよく、或いは、つい最近使用されたパレットテーブルのすべてのエントリを含むことにより、つい最近使用されたパレットテーブルを用いて初期化されてもよい。いくつかの実施形態では、パレット予測子は、つい最近使用されたパレットテーブルからのすべてのエントリよりも少ないエントリを含み、次いで、以前に使用された他のパレットテーブルからのいくつかのエントリを組み込んでもよい。パレット予測子のサイズは、異なるブロックを符号化するために使用されるパレットテーブルのサイズと比較して、同一でも、より大きくても、より小さくてもよい。一例では、パレット予測子は、６４のパレットエントリを含む先入れ先出し（ＦＩＦＯ）テーブルとして実現される。

パレット予測子からのビデオデータのブロックに関するパレットテーブルを生成するために、ビデオ復号器は、符号化ビデオビットストリームから、パレット予測子の各入力について１ビットのフラグを受け取り得る。１ビットのフラグは、パレット予測子の関連する入力がパレットテーブルの中に含まれることを示す第１の値（たとえば２進数の１）又はパレット予測子の関連する入力がパレットテーブルの中に含まれないことを示す第２の値（たとえば２進数の０）を有し得る。パレット予測子のサイズがビデオデータのブロック用に使用されるパレットテーブルよりも大きい場合には、ビデオ復号器は、一旦パレットテーブルの最大サイズに達したら、さらにフラグを受け取ることを停止してよい。

いくつかの実施形態では、パレットテーブルのいくつかのエントリは、パレット予測子を使用して決定されるのではなく、符号化ビデオビットストリームにおいて直接信号伝達され得る。そのようなエントリについて、ビデオ復号器は、符号化ビデオビットストリームから、エントリに関連した輝度成分及び２つの色差成分に関する画素値を示す３つの個別のｍビットの値を受け取り得、ｍはビデオデータのビット深度を表現する。直接信号伝達されるパレットエントリのために複数のｍビットの値が必要とされるのに対して、パレット予測子から導出されるパレットエントリが必要とするのは１ビットのフラグのみである。したがって、パレット予測子を使用してパレット入力のいくつか又はすべてを信号伝達すれば、新規のパレットテーブルの入力を信号伝達するために必要なビット数をかなり低減することができ、それによって、パレットモード符号化の全体的な符号化効率を改善する。

多くの事例において、１つのブロックに関するパレット予測子は、以前に符号化された１つ以上のブロックを符号化するために使用されたパレットテーブルに基づいて決定される。しかし、ピクチャ、スライス又はタイルにおける最初の符号化ツリーユニットを符号化するときには、以前に符号化されたブロックのパレットテーブルを利用できない可能性がある。したがって、以前に使用されたパレットテーブルのエントリを使用してパレット予測子を生成することはできない。そのような場合には、以前に使用されたパレットテーブルが利用できないときにパレット予測子を生成するために使用された値である、一連のパレット予測子の初期化子が、シーケンスパラメータセット（ＳＰＳ）及び／又はピクチャパラメータセット（ＰＰＳ）において信号伝達されてよい。ＳＰＳは、一般に、各スライスセグメントヘッダに見られるシンタックス要素によって参照されるＰＰＳに見られるシンタックス要素のコンテンツによって決定されたものとして、符号化ビデオシーケンス（ＣＶＳ）と呼ばれる一連の連続した符号化ビデオピクチャに適合するシンタックス要素のシンタックス構造を指す。ＰＰＳは、一般に、各スライスセグメントヘッダに見られるシンタックス要素によって決定されたものとして、ＣＶＳの内部の１つ以上の個々のピクチャに適合するシンタックス要素のシンタックス構造を指す。したがって、ＳＰＳは、一般にＰＰＳよりも上位のレベルのシンタックス構造とみなされ、ＳＰＳに含まれるシンタックス要素は、一般にそれほど頻繁に変化せず、ＰＰＳに含まれるシンタックス要素と比較して、ビデオデータのより大きい部分に適合することを意味する。

図５Ａ～図５Ｂは、本開示のいくつかの実装形態に従って、ＲＧＢ色空間とＹＣｇＣｏ色空間との間の残差を変換するための適応型色空間変換（ＡＣＴ）の技術を適用する例を示すブロック図である。

ＨＥＶＣスクリーンコンテンツ符号化拡張では、残差を１つの色空間（たとえばＲＧＢ）から別の色空間（たとえばＹＣｇＣｏ）へと適応的に変換するために、３つの色成分（たとえばＲ、Ｇ、及びＢ）の間の相関（たとえば冗長性）がＹＣｇＣｏ色空間では大幅に低減されるように、ＡＣＴが適用される。さらに、既存のＡＣＴ設計では、異なる色空間の適合は、各ＴＵにつき１つのフラグｔｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇを信号伝達することによって変換ユニット（ＴＵ）レベルで実行される。フラグｔｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１であると、現在のＴＵの残差がＹＣｇＣｏ空間において符号化されることを示し、そうでなければ（すなわちフラグが０であれば）、現在のＴＵの残差が元の色空間において（すなわち色空間変換なしで）符号化されることを示す。加えて、現在のＴＵが無損失モードで符号化されるのかそれとも損失モードで符号化されるのかということに依拠して、別々の色空間変換式が適用される。具体的には、ＲＧＢ色空間とＹＣｇＣｏ色空間との間の、損失モード用の順方向及び逆方向の色空間変換式が、図５Ａに定義されている。

無損失モード用には、ＲＧＢ－ＹＣｇＣｏ変換（ＹＣｇＣｏ－ＬＳとしても知られている）の可逆バージョンが使用される。ＲＧＢ－ＹＣｇＣｏ変換の可逆バージョンは、図５Ｂ及び関連する記述で表現されたリフティング操作に基づいて実施される。

図５Ａに示されるように、損失モードで使用される順方向及び逆方向の色変換マトリクスは正規化されない。したがって、色変換が適用された後のＹＣｇＣｏ信号は元の信号よりも小さい。順方向色変換による大きさの縮小を補償するために、ＹＣｇＣｏ領域における残差に対して、調節された量子化パラメータが適用される。具体的には、色空間変換が適用されるとき、ＹＣｇＣｏ領域の残差を量子化するために使用されるＱＰ_Ｙ、ＱＰ_Ｃｇ及びＱＰ_ＣｏといったＱＰ値が、それぞれＱＰ－５、ＱＰ－５及びＱＰ－３に設定され、ＱＰは元の色空間で使用された量子化パラメータである。

図６は、本開示のいくつかの実装形態に従って、例示的なビデオデータ復号プロセスにおいて色差スケーリング付き輝度マッピング（ＬＭＣＳ）の技術を適用するブロック図である。

ＶＶＣでは、ループ内フィルタ（たとえばデブロッキングフィルタ、ＳＡＯ及びＡＬＦ）以前に適用される新規の符号化ツールとしてＬＭＣＳが使用される。一般に、ＬＭＣＳは、１）適応型区分線形モデルに基づく、輝度成分のループ内マッピングと、２）輝度依存の色差残差スケーリングとの、２つの主要なモジュールを有する。図６は、ＬＭＣＳが適用される、変更された復号プロセスを示す。図６において、マッピングされた領域において処理される復号モジュールは、エントロピー復号モジュール、逆量子化モジュール、逆変換モジュール、輝度イントラ予測モジュール、及び輝度サンプル再構成モジュール（すなわち輝度予測サンプルと輝度残差サンプルとの加算）を含む。元の（すなわちマッピングされていない）領域において処理される復号モジュールは、動き補償予測モジュール、色差イントラ予測モジュール、色差サンプル再構成モジュール（すなわち色差予測サンプルと色差残差サンプルとの加算）、並びにデブロッキングモジュール、ＳＡＯモジュール、及びＡＬＦモジュールなどのすべてのループ内フィルタモジュールを含む。ＬＭＣＳによって導入された新規の使用可能なモジュールは、輝度サンプルの順方向マッピングモジュール６１０、輝度サンプルの逆方向マッピングモジュール６２０、及び色差残差スケーリングモジュール６３０を含む。

ＬＭＣＳのループ内マッピングは、入力信号のダイナミックレンジを調整して符号化効率を改善することができる。既存のＬＭＣＳ設計における輝度サンプルのループ内マッピングは、１つの順方向マッピング機能ＦｗｄＭａｐと１つの対応する逆方向マッピング機能ＩｎｖＭａｐとの２つのマッピング機能の上に構築される。順方向マッピング機能は、１６の等しいサイズの部分を有する１つの区分線形モデルを使用して、符号化器から復号器まで信号伝達される。逆方向マッピング機能は、順方向マッピング機能から直接導出され得、したがって信号伝達される必要はない。

輝度マッピングモデルのパラメータは、スライスレベルにおいて信号伝達される。現在のスライスについて輝度マッピングモデルが信号伝達されるべきかどうかを示すために、存在フラグが最初に信号伝達される。現在のスライスに輝度マッピングモデルが存在する場合には、対応する区分線形モデルパラメータがさらに信号伝達される。加えて、スライスに関するＬＭＣＳを有効／無効にするために、スライスレベルにおいて別のＬＭＣＳ制御フラグが信号伝達される。

色差残差スケーリングモジュール６３０は、輝度信号にループ内マッピングが適用されるとき、輝度信号と、その対応する色差信号との間の量子化精度の相互作用を補償するように設計されている。現在のスライスについて色差残差スケーリングが有効か無効かということも、スライスヘッダにおいて信号伝達される。輝度マッピングが有効であれば、輝度依存の色差残差スケーリングが適用されるか否かを示す追加フラグが信号伝達される。輝度マッピングが使用されないとき、輝度依存の色差残差スケーリングは常に無効にされ、追加フラグは不要である。加えて、色差残差スケーリングは、含有している色差サンプルが４つ以下のＣＵについては常に無効にされる。

図７は、本開示のいくつかの実装形態に従って、ビデオ復号器が逆方向の適応型色空間変換（ＡＣＴ）の技術を実施する例示的なビデオ復号プロセスを示すブロック図である。

ＶＶＣにおけるＡＣＴは、ＨＥＶＣ ＳＣＣにおけるＡＣＴ設計と同様に、元の色空間（たとえばＲＧＢ色空間）からの４：４：４色差フォーマットの１つのＣＵのイントラ／インター予測残差を、ＹＣｇＣｏ色空間に変換する。結果として、３つの色成分の間の冗長性が、より優れた符号化効率に向けて低減され得る。図７は、ＶＶＣ構成に逆ＡＣＴモジュール７１０を追加することによって逆ＡＣＴが適用される様子を示す、復号の流れの図を表すものである。ＡＣＴを有効にして符号化されたＣＵを処理するとき、ＣＵに対して、最初に、エントロピー復号、逆方向量子化、及び逆方向ＤＣＴ／ＤＳＴベースの変換を適用する。その後、図７に表されるように、逆ＡＣＴが呼び出されて、復号残差を、ＹＣｇＣｏ色空間から元の色空間（たとえばＲＧＢやＹＣｂＣｒ）に変換する。加えて、損失モードではＡＣＴは正規化されないので、変換された残差の大きさの変化を補償するために、Ｙ、Ｃｇ及びＣｏ成分に対して（－５、－５、－３）のＱＰ調整が適用される。

いくつかの実施形態では、ＡＣＴ方法は、異なる色空間の間の色変換を行うためにＨＥＶＣの同一のＡＣＴコア変換を再利用する。具体的には、現在のＣＵの符号化における損失の有無に依拠して、色変換の２つの異なるバージョンが適用される。損失がある場合の順方向や逆方向の色変換は、図５Ａに表されるような不可逆ＹＣｇＣｏ変換マトリクスを使用する。無損失の場合には、図５Ｂに示されるように可逆色変換ＹＣｇＣｏ－ＬＳが適用される。その上に、既存のＡＣＴ設計と異なり、ＡＣＴ方式に対して、ＶＶＣ規格における、ＡＣＴ方式の、他の符号化ツールとの相互作用を扱うための以下の変更が導入される。

たとえば、ＨＥＶＣにおける１つのＣＵの残差が複数のＴＵへと分割される可能性があるので、色空間変換を適用する必要性の有無を示すために、各ＴＵについて、別個に、ＡＣＴ制御フラグが信号伝達される。しかしながら、図４Ｅに関連して上記で説明されたように、ＶＶＣにおいて、複数の分割タイプの概念を置換するために、２分割構造及び３分割構造をネストされた１つの四分木が適用され、それにより、ＨＥＶＣにおける個別のＣＵ分割、ＰＵ分割及びＴＵ分割を除去する。これは、ほとんどの場合、サポートされる最大の変換サイズがＣＵの１つの成分の幅又は高さよりも小さくなければ、さらなる分割なしの予測及び変換処理のユニットとして１つのＣＵリーフノードも使用されることを意味する。そのような分割構造を基に、ＡＣＴは、ＣＵレベルで適応的に有効／無効にされ得る。具体的には、ＣＵの残差を符号化するために、各ＣＵについて、元の色空間とＹＣｇＣｏ色空間との間を選択するように、１つのフラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが信号伝達される。このフラグが１であれば、ＣＵの内部のＴＵの残差のすべてがＹＣｇＣｏ色空間において符号化されることを示す。そうでなければ、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０であれば、ＣＵのすべての残差が元の色空間において符号化される。

いくつかの実施形態では、ＡＣＴを無効にする種々のシナリオがある。ＡＣＴは、１つのＣＵに対して有効にされると、色空間変換を行うために、すべての３つの成分の残差にアクセスする必要がある。しかしながら、ＶＶＣ設計は、各ＣＵが３つの成分の情報を常に含有していることを保証できるわけではない。本開示の実施形態によれば、ＣＵがすべての３つの成分の情報を含有しているわけではない場合、ＡＣＴは強制的に無効にされる。

いくつかの実施形態において、第１に、個別のツリーの分割構造が適用されるとき、１つのＣＴＵの内部の輝度サンプル及び色差サンプルは、個別の分割構造を基にＣＵへと分割される。結果として、輝度分割ツリーにおけるＣＵは輝度成分の符号化情報のみを含有し、色差分割ツリーにおけるＣＵは２つの色差成分の符号化情報のみを含有する。現行のＶＶＣによれば、１つのツリーの分割構造と個別のツリーの分割構造との間の切換えはスライスレベルにおいて実行される。したがって、本開示の実施形態によれば、１つのスライスに個別のツリーが適用されることが認められたとき、ＡＣＴは、このスライスの内部のすべてＣＵ（輝度ＣＵと色差ＣＵとの両方）に対してＡＣＴフラグの信号伝達なしで常に無効にされ、ＡＣＴフラグは、その代わりにゼロであると推論される。

いくつかの実施形態において、第２に、ＩＳＰモード（以下でさらに説明される）が有効にされるとき、ＴＵ分割は輝度サンプルにのみ適用され、色差サンプルは、複数のＴＵへのさらなる分割はなしで符号化される。１つのイントラＣＵに関するＩＳＰサブパーティション（すなわちＴＵ）の数をＮと想定すると、現行のＩＳＰ設計によれば、輝度成分と色差成分との両方を含有しているのは最後のＴＵのみであり、最初のＮ－１個のＩＳＰ ＴＵは輝度成分のみから成る。本開示の一実施形態によれば、ＩＳＰモードではＡＣＴは無効にされる。ＩＳＰモードについて、ＡＣＴを無効にするやり方は２つある。第１の方法では、ＩＳＰモードのシンタックスを信号伝達する前にＡＣＴの有効／無効フラグ（すなわちｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が信号伝達される。そのような場合、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１のとき、ＩＳＰモードはビットストリームで信号伝達されることなく、常に、ゼロ（すなわちオフ）であると推測される。第２の方法では、ＩＳＰモードの信号伝達が、ＡＣＴフラグの信号伝達を回避するように使用される。具体的には、この方法では、ＩＳＰモードは、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇに先立って信号伝達される。ＩＳＰモードが選択されるとき、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは信号伝達されず、ゼロであると推論される。そうでなければ（ＩＳＰモードが選択されなければ）、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、ＣＵの残差コーディングのために色空間を適応的に選択するように、依然として信号伝達される。

いくつかの実施形態では、輝度と色差との分割構造が誤って調整されているとき、ＣＵに対するＡＣＴを強制的に無効にすることに加えて、ＡＣＴが適用されるＣＵに対するＬＭＣＳが無効にされる。一実施形態では、１つのＣＵがその残差を符号化するＹＣｇＣｏ色空間を選択するとき、輝度マッピングと色差残差スケーリングとの両方が無効にされる（すなわちＡＣＴは１つである）。別の実施形態では、ＡＣＴが１つのＣＵについて有効にされるとき、無効にされるのは色差残差スケーリングのみであり、輝度マッピングは、出力輝度サンプルのダイナミックレンジを調整するために引き続き適用され得る。最後の実施形態では、その残差の符号化のためにＡＣＴを適用するＣＵに対して、輝度マッピングと色差残差スケーリングとの両方が有効にされる。ＡＣＴを適用するＣＵに対して色差残差スケーリングを有効にするための複数のやり方があり得る。方法の１つでは、色差残差スケーリングは、復号において逆ＡＣＴ以前に適用される。この方法は、ＡＣＴが適用されるとき、ＹＣｇＣｏ領域における色差残差（すなわちＣｇ残差及びＣｏ残差）に色差残差スケーリングが適用されることを意味する。別の方法では、色差残差スケーリングは、逆ＡＣＴの後に適用される。具体的には、第２の方法では、色差スケーリングは元の色空間における残差に対して適用される。入力ビデオがＲＧＢフォーマットで取り込まれていると想定することは、Ｂ成分及びＲ成分の残差に対して色差残差スケーリングが適用されることを意味する。

いくつかの実施形態では、シーケンスレベルにおいてＡＣＴが有効にされるか否かを示すために、シンタックス要素に対して、たとえばｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇといったシーケンスパラメータセット（ＳＰＳ）が付加される。加えて、輝度成分と色差成分とが同一の解像度（たとえば４：４：４色差フォーマット）を有するビデオコンテンツに対して色空間変換が適用されるとき、ＡＣＴは４：４：４色差フォーマットに対してのみ有効にされ得るように、１つのビットストリームの適合要件が付加される必要がある。テーブル１は、上記のシンタックスが付加された修正ＳＰＳシンタックステーブルを示す。

具体的には、ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１であればＡＣＴが有効にされたことを示し、ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０であれば、ＳＰＳを参照するＣＵに対してフラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが信号伝達されず、０であると推論されるように、ＡＣＴが無効にされたことを示す。ＣｈｒｏｍａＡｒｒａｙＴｙｐｅが３でないとき、ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０であることがビットストリーム適合要件である。

別の実施形態では、ｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇを常に信号伝達する代わりに、フラグの信号伝達は色差タイプの入力信号を条件とする。具体的には、ＡＣＴが適用され得るのは、輝度成分と色差成分とが同一の解像度であるときのみであるなら、フラグｓｐｓ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが信号伝達されるのは、入力ビデオが４：４：４色差フォーマットで取り込まれるときのみである。そのような変更による修正ＳＰＳシンタックステーブルは次のようになる。

いくつかの実施形態では、ＡＣＴを使用してビデオデータを復号するためのシンタックス設計仕様は、以下のテーブルに示される。

フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１であれば、符号化ユニットの残差がＹＣｇＣｏ色空間において符号化されることを示し、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０であれば、符号化ユニットの残差が元の色空間（たとえばＲＧＢ又はＹＣｂＣｒ）において符号化されることを示す。フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは、存在しないときには０であると推論される。

いくつかの実施形態では、ＡＣＴ信号伝達は、符号化ブロックフラグ（ＣＢＦ）を条件とする。図５Ａ及び図５Ｂに示すように、ＡＣＴは、現在のＣＵが少なくとも１つの非ゼロ係数を含む場合に復号された残差にのみ作用し得る。エントロピー復号から取得された係数のすべてがゼロの場合、再構成された残差は、逆ＡＣＴが適用されても、適用されなくても同じである。インターモード及びイントラブロックコピー（ＩＢＣ）モードについては、あるＣＵが非ゼロ係数を含むか否かに関する情報は、ＣＵルートの符号化ブロックフラグ（ＣＢＦ）、すなわちｃｕ＿ｃｂｆによって示される。フラグが１のとき、残差シンタックス要素が現在のＣＵのためのビットストリームに存在することを意味する。そうでなければ（すなわち、フラグが０であれば）、現在のＣＵの残差シンタックス要素が信号伝達されないことを意味し、ＣＵの残差のすべてがゼロであると推論される。したがって、インターモード及びＩＢＣモードについては、現在のＣＵのルートＣＢＦフラグｃｕ＿ｃｂｆが１のとき、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇのみを信号伝達することが提案される。そうでなければ（すなわち、フラグｃｕ＿ｃｂｆが０であれば）、フラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇは信号伝達されず、ＡＣＴは、現在のＣＵの残差を復号するために常に無効にされる。他方では、インターモード及びＩＢＣモードとは異なり、ルートＣＢＦフラグはイントラモードのために信号伝達されず、すなわち、ｃｕ＿ｃｂｆのフラグは、イントラＣＵのためのフラグｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの存在を条件とするために使用され得ない。

いくつかの実施形態では、ＡＣＴフラグは、ＡＣＴが１つのイントラＣＵに対して適用されるときに、輝度成分のＣＢＦ信号伝達を条件付きで有効／無効にするために使用される。具体的には、１つのイントラＣＵがＡＣＴを使用する場合、復号器は、少なくとも１つの成分が非ゼロ係数を含むと常に仮定する。したがって、ＡＣＴが１つのイントラＣＵに対して有効にされ、最後の変換ブロックを除く変換ブロックに非ゼロの残差が存在しない場合、その最後の変換ブロックのためのＣＢＦは、信号伝達なしのものであると推論される。１つのＴＵのみを含むイントラＣＵについては、２つの色差成分（ｔｕ＿ｃｂｆ＿ｃｂ及びｔｕ＿ｃｂｆ＿ｃｒによって示される）のためのＣＢＦがゼロであれば、最後の成分（すなわち、ｔｕ＿ｃｂｆ＿ｌｕｍａ）のＣＢＦフラグは信号伝達なしのものであると常に推論されることを意味する。一実施形態では、そのような輝度ＣＢＦの推論ルールが、残差符号化のために単一のＴＵのみを含むイントラＣＵのためにのみ有効にされる。

図８Ａ及び図８Ｂは、本開示のいくつかの実装形態に従って、ビデオ復号器が逆方向の適応型色空間変換（ＡＣＴ）及び色差残差スケーリングの技術を実施する例示的なビデオ復号プロセスを示すブロック図である。いくつかの実施形態では、ビデオビットストリームは、ＡＣＴ（たとえば図７における逆ＡＣＴ７１０）と色差残差スケーリング（たとえば図６における色差残差スケーリング６３０）との両方を使用して符号化される。いくつかの他の実施形態では、ビデオビットストリームは、ＡＣＴは使用せず色差残差スケーリングのみ使用して符号化され、それによって逆ＡＣＴ７１０は不要になる。

より具体的には、図８Ａは、ビデオコーダが逆ＡＣＴ７１０の前に色差残差スケーリング６３０を実行する一実施形態を表す。結果として、ビデオコーダは、色空間変換された領域において、色差残差スケーリング６３０を用いて輝度マッピングを実行する。たとえば、入力ビデオがＲＧＢフォーマットで取り込まれ、ＹＣｇＣｏ色空間に変換されると想定して、ビデオコーダは、ＹＣｇＣｏ色空間における輝度残差Ｙに応じて、色差残差Ｃｇ及びＣｏに対する色差残差スケーリング６３０を実行する。

いくつかの実施形態では、図８Ａに示すように色差残差スケーリングがＹＣｇＣｏ領域において適用されると、色差残差スケーリングモジュールに供給された対応する色差残差サンプルがＹＣｇＣｏ領域に存在する。対応して、現在のブロックの色差ＣＢＦフラグ、すなわちｔｕ＿ｃｂ＿ｃｂｆ及びｔｕ＿ｃｒ＿ｃｂｆは、スケーリングされる必要がある非ゼロの色差残差サンプルが存在するかを示すために使用され得る。そのような場合、復号器における不要な色差スケーリングを避けるため、２つの色差ＣＢＦフラグのうちの少なくとも１つがゼロでないときにのみ色差残差スケーリングが確実に呼び出されるように、色差ＣＢＦフラグに関する追加の検査条件が追加され得る。

図８Ｂは、ビデオコーダが、逆ＡＣＴ７１０の後に色差残差スケーリング６３０を実行する代替実施形態を表す。結果として、ビデオコーダは、元の色空間領域において、色差残差スケーリング６３０を用いて輝度マッピングを実行する。たとえば、入力ビデオがＲＧＢフォーマットで取り込まれていると想定して、ビデオコーダは、Ｂ成分及びＲ成分に対して色差残差スケーリングを適用する。

いくつかの実施形態では、図８Ｂに示すように色差残差スケーリングがＲＧＢ領域において適用されると、色差残差スケーリングモジュールに供給された対応する色差残差サンプルがＲＧＢ領域に存在する。この場合、色差ＣＢＦフラグは、対応するＢ残差サンプル及びＲ残差サンプルがすべてゼロか否かを示すことができない。したがって、この方法では、ＡＣＴが１つのＣＵに適用されるとき、色差残差スケーリングが回避されるべきか否かを決定するために、上記の２つの色差ＣＢＦフラグが使用されることができない。ＡＣＴが１つのＣＵに対して適用されないとき、ＹＣｇＣｏ空間における上記２つの色差ＣＢＦフラグは、色差残差スケーリングが回避され得るか否かを決定するために依然として使用され得る。

いくつかの実施形態において、ＣＵレベルのＡＣＴフラグの検査に関する実施信号伝達条件が復号器における色差残差スケーリングに適用されるときの現在のＶＶＣ仕様に対する変更を以下に示す。

８．７．５．３ 色差サンプルに対して輝度依存の色差残差スケーリングプロセスを行うピクチャ再構成

－ 以下の条件のうちの１つ以上が真の場合、ｒｅｃＳａｍｐｌｅｓ［ｘＣｕｒｒ＋ｉ］［ｙＣｕｒｒ＋ｊ］がＣｌｉｐｌ（ｐｒｅｄＳａｍｐｌｅｓ［ｉ］［ｊ］＋ｒｅｓＳａｍｐｌｅｓ［ｉ］［ｊ］）と等しくなるように設定される。
－ ｐｈ＿ｃｈｒｏｍａ＿ｒｅｓｉｄｕａｌ＿ｓｃａｌｅ＿ｆｌａｇが０である。
－ ｓｈ＿ｌｍｃｓ＿ｕｓｅｄ＿ｆｌａｇが０である。
－ ｎＣｕｒｒＳｗ＊ｎＣｕｒｒＳｈが４以下である。
－ ｔｕ＿ｃｂ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘＣｕｒｒ］［ｙＣｕｒｒ］が０であり、ｔｕ＿ｃｒ＿ｃｏｄｅｄ＿ｆｌａｇ［ｘＣｕｒｒ］［ｙＣｕｒｒ］が０であり、ｃｕ＿ａｃｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ［ｘＣｕｒｒ＊ＳｕｂＷｉｄｔｈＣ］［ｙＣｕｒｒ＊ＳｕｂＨｅｉｇｈｔＣ］が０である。

－ そうでなければ、以下が適合する。
－ 現在の輝度位置（ｘＣｕｒｒＹ，ｙＣｕｒｒＹ）が、以下のように導出される。
（ｘＣｕｒｒＹ，ｙＣｕｒｒＹ）＝（ｘＣｕｒｒ＊ＳｕｂＷｉｄｔｈＣ，ｙＣｕｒｒ＊ＳｕｂＨｅｉｇｈｔＣ）（１２３４）
－ 輝度位置（ｘＣｕＣｂ，ｙＣｕＣｂ）が（ｘＣｕｒｒＹ／ｓｉｚｅＹ＊ｓｉｚｅＹ，ｙＣｕｒｒＹ／ｓｉｚｅＹ＊ｓｉｚｅＹ）における輝度サンプルを含む符号化ユニットの左上輝度サンプル位置として指定される。
－ 変数ａｖａｉｌＬ及びａｖａｉｌＴは、以下のように導出される。
－ 節６．４．４において指定されるような近傍ブロック利用可能性を求めるための導出プロセスは、（ｘＣｕＣｂ，ｙＣｕＣｂ）と等しくなるように設定された位置（ｘＣｕｒｒ，ｙＣｕｒｒ）、（ｘＣｕＣｂ－１，ｙＣｕＣｂ）と等しくなるように設定された近傍輝度位置（ｘＮｂＹ，ｙＮｂＹ）、ＦＡＬＳＥとなるように設定されたｃｈｅｃｋＰｒｅｄＭｏｄｅＹ、及び入力として０となるように設定されたｃＩｄｘを用いて呼び出され、出力は、ａｖａｉｌＬに割り当てられる。
－ 節６．４．４において指定されるような近傍ブロック利用可能性を求めるための導出プロセスは、（ｘＣｕＣｂ，ｙＣｕＣｂ）と等しくなるように設定された位置（ｘＣｕｒｒ，ｙＣｕｒｒ）、（ｘＣｕＣｂ，ｙＣｕＣｂ－１）と等しくなるように設定された近傍輝度位置（ｘＮｂＹ，ｙＮｂＹ）、ＦＡＬＳＥとなるように設定されたｃｈｅｃｋＰｒｅｄＭｏｄｅＹ、及び入力として０となるように設定されたｃＩｄｘを用いて呼び出され、出力は、ａｖａｉｌＴに割り当てられる。

－ 変数ｃｕｒｒＰｉｃは、現在のピクチャにおける再構成された輝度サンプルの配列を指定する。

－ 変数ｖａｒＳｃａｌｅの導出については、以下の順序立ったステップが適合する。

１．変数ｉｎｖＡｖｇＬｕｍａは以下のように導出される。
－ ｉ＝０．．（２＊ｓｉｚｅＹ－１）の場合の配列ｒｅｃＬｕｍａ［ｉ］及び変数ｃｎｔは、以下のように導出される。
－ 変数ｃｎｔが、０になるように設定される。
－ ａｖａｉｌＬがＴＲＵＥのとき、ｉ＝０．．ｓｉｚｅＹ－１の場合の配列ｒｅｃＬｕｍａ［ｉ］がｉ＝０．．ｓｉｚｅＹ－１の場合のｃｕｒｒＰｉｃ［ｘＣｕＣｂ－１］［Ｍｉｎ（ｙＣｕＣｂ＋ｉ，ｐｐｓ＿ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ－１）］に等しくなるように設定され、ｃｎｔがｓｉｚｅＹに等しくなるように設定される。
－ ａｖａｉｌＴがＴＲＵＥのとき、ｉ＝０．．ｓｉｚｅＹ－１の場合の配列ｒｅｃＬｕｍａ［ｃｎｔ＋ｉ］がｉ＝０．．ｓｉｚｅＹ－１の場合のｃｕｒｒＰｉｃ［Ｍｉｎ（ｘＣｕＣｂ＋ｉ，ｐｐｓ＿ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ－１）］［ｙＣｕＣｂ－１］に等しくなるように設定され、ｃｎｔが（ｃｎｔ＋ｓｉｚｅＹ）に等しくなるように設定される。
－ 変数ｉｎｖＡｖｇＬｕｍａは以下のように導出される。
－ ｃｎｔが０より大きい場合、以下が適合する。
－ そうでなければ（ｃｎｔが０の場合）、以下が適合する。
ｉｎｖＡｖｇＬｕｍａ＝１＜＜（ＢｉｔＤｅｐｔｈ－１）（１２３６）

２．変数ｉｄｘＹＩｎｖは、ｉｎｖＡｖｇＬｕｍａに等しくなるように設定された入力としての変数ｌｕｍａＳａｍｐｌｅ及び出力としてのｉｄｘＹＩｎｖを用いて、節８．８．２．３で指定されるように輝度サンプルのために区分関数インデックスプロセスの識別を呼び出すことによって導出される。

３．変数ｖａｒＳｃａｌｅは以下のように導出される。
ｖａｒＳｃａｌｅ＝ＣｈｒｏｍａＳｃａｌｅＣｏｅｆｆ［ｉｄｘＹＩｎｖ］（１２３７）

図９は、本開示のいくつかの実装形態による、ビデオ復号器（たとえばビデオ復号器３０）が、符号化ユニットの残差に対して色差残差スケーリング動作を条件付きで実行することによってビデオデータを復号する例示的なプロセスを示すフローチャート９００である。

ビデオ復号器３０は、ビットストリームから、符号化ユニットと関連付けられた複数のシンタックス要素を受け取り、これらのシンタックス要素は、符号化ユニットの第１の色差成分の残差サンプルのための第１の符号化ブロックフラグ（ＣＢＦ）と、符号化ユニットの第２の色差成分の残差サンプルのための第２のＣＢＦと、適応型色変換（ＡＣＴ）が符号化ユニットに適用されるか否かを示す第３のシンタックス要素とを含む（９１０）。

次いで、ビデオ復号器３０は、第１のＣＢＦ、第２のＣＢＦ、及び第３のシンタックス要素に従って、第１及び第２の色差成分の残差サンプルに対して色差残差スケーリングを実行するか否かを判定する（９２０）。

第１及び第２の色差成分のうちの少なくとも１つの残差サンプルに対して色差残差スケーリングを実行するという判定に応じて、ビデオ復号器３０は、さらに、対応するスケーリングに基づいて第１及び第２の色差成分のうちの少なくとも１つの残差サンプルをスケーリングする（９３０）。

ビデオ復号器３０は、さらに、スケーリング後に輝度残差サンプル及び色差残差サンプルを使用して符号化ユニットのサンプルを再構成する（９４０）。

いくつかの実施形態では、第１のＣＢＦ、第２のＣＢＦ、及び第３のシンタックス要素に従って、第１及び第２の色差成分の残差サンプルに対して色差残差スケーリングを実行するか否かを判定するステップ（９２０）は、ＡＣＴが符号化ユニットに適用されるという第３のシンタックス要素による判定に応じて、符号化ユニットの輝度残差サンプル及び色差残差サンプルに対して逆ＡＣＴの適用を行い、逆ＡＣＴの後に、第１のＣＢＦ及び第２のＣＢＦに関わらず、第１及び第２の色差成分の残差サンプルに対して色差残差スケーリングを実行すると判定するステップを備える。

いくつかの実施形態では、符号化ユニットの残差サンプルに対して逆変換を適用するステップは、逆ＡＣＴの適用前である。

いくつかの実施形態では、符号化ユニットの残差サンプルに対して逆量子化を適用するステップは、逆変換の適用前である。

いくつかの実施形態では、第１のＣＢＦ、第２のＣＢＦ、及び第３のシンタックス要素に従って、第１及び第２の色差成分の残差サンプルに対して色差残差スケーリングを実行するか否かを判定するステップ（９２０）は、ＡＣＴが符号化ユニットに適用されないという第３のシンタックス要素による判定に応じて、色差成分と関連付けられたＣＢＦがゼロでないとき、符号化ユニットの色差成分の残差サンプルに対して色差残差スケーリングを実行すると判定するステップ、又は色差成分と関連付けられたＣＢＦがゼロのとき、符号化ユニットの色差成分の残差サンプルに対して色差残差スケーリングを回避すると判定するステップを備える。

いくつかの実施形態では、非ゼロの色差残差サンプルが第１の色差成分の残差サンプルに存在しないとき、第１のＣＢＦはゼロである。いくつかの実施形態では、非ゼロの色差残差サンプルが第２の色差成分の残差サンプルに存在しないとき、第２のＣＢＦはゼロである。

いくつかの実施形態では、対応するスケーリングパラメータは、コロケーテッドな位置（ｃｏｌｌｏｃａｔｅｄ ｐｏｓｉｔｉｏｎ）における再構成された輝度サンプルから導出される。

いくつかの実施形態では、逆ＡＣＴへの入力は、ＹＣｂＣｏ空間にある。

いくつかの実施形態では、逆ＡＣＴへの出力は、ＲＧＢ空間にある。

いくつかの実施形態では、色差残差スケーリングを用いて符号化されたビデオブロックを復号する方法は、ビットストリームから、符号化ユニットと関連付けられた複数のシンタックス要素を受け取るステップであって、これらのシンタックス要素は、符号化ユニットの第１の色差成分の残差サンプルのための第１の符号化ブロックフラグ（ＣＢＦ）と、符号化ユニットの第２の色差成分の残差サンプルのための第２のＣＢＦと、適応型色変換（ＡＣＴ）が符号化ユニットに適用されるか否かを示す第３のシンタックス要素とを含む、ステップと、第１のＣＢＦ及び第２のＣＢＦに従って、第１及び第２の色差成分の残差サンプルに対して色差残差スケーリングを実行するか否かを判定するステップと、第１及び第２の色差成分のうちの少なくとも１つの残差サンプルに対して色差残差スケーリングを実行するという判定に応じて、対応するスケーリングパラメータに基づいて第１及び第２の色差成分のうちの少なくとも１つの残差サンプルをスケーリングするステップと、ＡＣＴが符号化ユニットに適用されるという第３のシンタックス要素による判定に応じて、スケーリング後に符号化ユニットの輝度残差サンプル及び色差残差サンプルに対して逆ＡＣＴの適用を行うステップとを備える。いくつかの実施形態では、符号化ユニットの残差サンプルに対して逆変換を適用するステップは、色差残差スケーリングを実行する前である。いくつかの実施形態では、符号化ユニットの残差サンプルに対して逆量子化を適用するステップは、逆変換の適用前である。

いくつかの実施形態では、第１のＣＢＦ及び第２のＣＢＦに従って、第１及び第２の色差成分の残差サンプルに対して色差残差スケーリングを実行するか否かを判定するステップは、色差成分と関連付けられたＣＢＦがゼロでないとき、符号化ユニットの色差成分の残差サンプルに対して色差残差スケーリングを実行すると判定するステップと、色差成分と関連付けられたＣＢＦがゼロのとき、符号化ユニットの色差成分の残差サンプルに対して色差残差スケーリングを回避すると判定するステップとを備える。

さらなる実施形態は、様々な他の実施形態において、結合される、又は別のやり方で再構成される上記実施形態の様々なサブセットも含む。

１つ又は複数の例では、記述された機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せで実現され得る。この機能は、ソフトウェアで実現される場合には、１つ以上の命令又は符号（コード）としてコンピュータ読み取り可能な媒体に記憶されるか又は伝送されてよく、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記録媒体などの有体物の媒体に対応するコンピュータ読み取り可能な記録媒体、又は、たとえば通信プロトコルによる、ある位置から別の位置へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信メディアを含み得る。このように、コンピュータ読み取り可能な媒体は、一般に、（１）有体物である非一時型のコンピュータ読み取り可能な記録媒体、又は（２）信号もしくは搬送波などの通信媒体に相当し得るものである。データ記録媒体は、１つ以上のコンピュータ又は１つ以上のプロセッサによって、本出願に記述された実施形態を実現するための命令、符号及び／又はデータ構造を取り出すためにアクセスされ得る、任意の利用可能な媒体でよい。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

本明細書の実施形態の記述において使用される専門用語は、特定の実施形態のみを記述するためのものであり、特許請求の範囲を制限するようには意図されていない。実施形態及び添付の特許請求の範囲の記述で用いられるように、単数形「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）」は、文脈がはっきりと別様に示さなければ、複数形も含むように意図されている。本明細書で使用されるような「及び／又は」という用語は、関連する列挙された項目のうちの１つ又は複数の、ありとあらゆる可能な組合せを指し、かつ包含することも理解されよう。「備える」及び／又は「備えている」という用語は、本明細書で使用されたとき、明示された特徴、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、要素、構成要素、及び／又はこれらのグループの存在もしくは追加を排除するものではないがさらに理解されよう。

様々な要素を説明するために、本明細書では第１、第２などの用語が用いられることがあるが、これらの要素は、これらの用語によって限定されるべきでないことも理解されよう。これらの用語は、単に１つの要素を別のものと区別するために用いられる。たとえば、実施形態の範囲から逸脱することなく、第１の電極が第２の電極と称され得て、同様に、第２の電極が第１の電極と称され得る。第１の電極と第２の電極は、どちらも電極であるが同一の電極ではない。

本出願の記述は解説及び説明のために提示されており、網羅的であること又は開示された形態の発明に限定されることは意図されていない。多くの修正形態、変形形態、及び代替の実施形態が、先の記述及び関連する図面において提示された教示内容の利益を有する当業者には明らかなはずである。実施形態は、本発明の原理や実際の用途について最も良く説明するため、他の当業者が様々な実施形態に関して本発明を理解することを可能にするため、また、基本原理と、企図された特定の使用法に適するものとしての様々な修正形態を伴う様々な実施形態とを最も良く利用するために、選択して記述されたものである。したがって、特許請求の範囲は、開示された実施形態の特定の実施例及びその修正形態に限定されず、添付の特許請求の範囲の範囲内に含まれるように他の実施形態が意図されていることを理解されたい。

Claims (10)

1. ビデオ符号化の方法であって、
   複数の条件のうちの少なくとも１つに従って、符号化ユニットの第１及び第２の色差成分のうちの少なくとも１つの残差サンプルに対して色差残差スケーリングを実行するか否かを判定するステップであって、前記複数の条件が、前記第１の色差成分の量子化変換係数が非ゼロの色差量子化変換係数を含むか否かという条件と、前記第２の色差成分の量子化変換係数が非ゼロの色差量子化変換係数を含むか否かという条件と、適応型色変換（ＡＣＴ）が前記符号化ユニットに適用されるか否かという条件とを含み、前記符号化ユニットが、４分割、水平３分割、垂直３分割、水平２分割又は垂直２分割を含む所定の分割法に関連付けられている、ステップと、
   前記第１及び第２の色差成分のうちの前記少なくとも１つの前記残差サンプルに対して前記色差残差スケーリングを実行するという判定に応じて、
   対応するスケーリングパラメータに基づいて前記第１及び第２の色差成分のうちの前記少なくとも１つの前記残差サンプルをスケーリングし、
   スケーリング後に色差残差サンプルを使用して前記符号化ユニットの色差サンプルを再構成するステップと、
   前記符号化ユニットの前記第１の色差成分の第１の符号化ブロックフラグ（ＣＢＦ）、前記符号化ユニットの前記第２の色差成分の第２のＣＢＦ、及び、ＡＣＴが前記符号化ユニットに適用されるか否かを示す第３のシンタックス要素のうちの少なくとも１つをビデオビットストリームに符号化するステップと
   を備え、
   前記ＡＣＴが前記符号化ユニットに適用されるという判定に応じて、前記符号化ユニットの輝度残差サンプル及び色差残差サンプルに対して逆ＡＣＴが適用され、前記逆ＡＣＴへの入力がＹＣｇＣｏ空間にあり、かつ前記逆ＡＣＴへの出力がＲＧＢ空間にあり、
   前記符号化ユニットの前記第１及び第２の色差成分のうちの少なくとも１つの残差サンプルに対して色差残差スケーリングを実行するか否かを判定する当該ステップは、
   前記ＡＣＴが前記符号化ユニットに適用されるという判定に応じて、前記第１の色差成分の量子化変換係数が非ゼロの色差量子化変換係数を含むか否か、かつ前記第２の色差成分の量子化変換係数が非ゼロの色差量子化変換係数を含むか否かに関わらず、前記逆ＡＣＴの後に、前記第１及び第２の色差成分の残差サンプルに対して前記色差残差スケーリングを実行するよう判定するステップを含む、方法。
2. 請求項１に記載の方法であって、前記符号化ユニットの前記第１及び第２の色差成分のうちの少なくとも１つの残差サンプルに対して色差残差スケーリングを実行するか否かを判定する当該ステップは、
   前記ＡＣＴが前記符号化ユニットに適用されないという前記第３のシンタックス要素による判定に応じて、
   前記符号化ユニットの前記第１及び第２の色差成分のうち前記第１のＣＢＦ及び前記第２のＣＢＦの１つの色差成分の当該量子化変換係数が非ゼロの色差量子化変換係数を含むとき、前記１つの色差成分の前記残差サンプルに対して前記色差残差スケーリングを実行すると判定し、
   前記１つの色差成分の当該量子化変換係数が非ゼロの色差量子化変換係数を含まないとき、前記符号化ユニットの前記１つの色差成分の前記残差サンプルに対して前記色差残差スケーリングを実行しないと判定するステップを含む、方法。
3. 請求項１に記載の方法であって、前記逆ＡＣＴの適用前に、前記符号化ユニットの変換係数に対して逆変換を適用するステップをさらに備える方法。
4. 請求項３に記載の方法であって、前記逆変換の適用前に、前記符号化ユニットの量子化変換係数に対して逆量子化を適用するステップをさらに備える方法。
5. 請求項１に記載の方法であって、
   非ゼロの色差量子化変換係数が前記第１の色差成分の量子化変換係数に存在しないとき、前記第１のＣＢＦはゼロであり、
   非ゼロの色差量子化変換係数が前記第２の色差成分の量子化変換係数に存在しないとき、前記第２のＣＢＦはゼロである、方法。
6. 請求項１に記載の方法であって、対応する前記スケーリングパラメータは、再構成された輝度サンプルから導出される、方法。
7. 前記第１のＣＢＦ、前記第２のＣＢＦ、又は前記第３のシンタックス要素は、前記ビデオビットストリーム内に存在しないときは、ゼロであると推測される、請求項１に記載の方法。
8. 電子装置であって、
   １つ以上の処理部と、
   前記１つ以上の処理部に接続されたメモリと、
   前記メモリに記憶された複数のプログラムとを備え、
   前記複数のプログラムは、前記１つ以上の処理部によって実行されると、前記電子装置に、請求項１から７のいずれか一項に記載の方法を実施させる、電子装置。
9. ビットストリームを記憶するための複数の命令を含むコンピュータプログラムであって、前記ビットストリームが、請求項１から７のいずれか一項に記載の方法によって生成された符号化データを含む、コンピュータプログラム。
10. 請求項１から７のいずれか一項に記載の方法によって生成されたビットストリームを伝送するための方法。