JP7277616B2

JP7277616B2 - ビデオ・データを処理する方法、装置及び記憶媒体

Info

Publication number: JP7277616B2
Application number: JP2021572457A
Authority: JP
Inventors: ザン，リー; ザン，カイ; リュウ，ホンビン; ワン，ユエ
Original assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Current assignee: Beijing ByteDance Network Technology Co Ltd; ByteDance Inc
Priority date: 2019-06-07
Filing date: 2020-06-08
Publication date: 2023-05-19
Anticipated expiration: 2040-06-08
Also published as: JP2023109795A; US20220094986A1; EP3967032A4; CN113950828B; US20230038161A1; JP7684495B2; KR102896971B1; CN117354521A; WO2020244656A1; EP3967032A1; JP2022535898A; KR20220016844A; JP2024153751A; US11924469B2; CN113950828A

Description

関連出願の相互参照
本願は、2020年7月8日付で出願された国際出願第PCT/CN2020/094854号に基づいており、同出願は2019年7月7日付で出願された国際特許出願第PCT/CN2019/090446号に対する優先権及び利益を主張している。前述の全ての特許出願全体は参照により本願に援用される。

技術分野
本特許文献はビデオ処理技術、デバイス、及びシステムに関連する。

背景
ビデオ圧縮における進歩にもかかわらず、デジタル・ビデオは、インターネットその他のデジタル通信ネットワークにおいて最大の帯域幅を依然として占めている。ビデオを受信及び表示することが可能な接続ユーザー・デバイスの台数が増加するにつれて、デジタル・ビデオの利用に対する帯域幅の需要は増加し続けるであろうということが予想される。

デバイス、システム、及び方法は、デジタル・ビデオ処理に関連している。説明される方法は、既存のビデオ・コーディング規格（例えば、高効率ビデオ・コーディング（High Efficiency Video Coding，HEVC）及び将来のビデオ・コーディング規格又はビデオ・コーデックの両方に適用される可能性がある。

代表的な一態様において、開示される技術は、ビデオ処理方法を提供するために使用することができる。本方法は、ビデオの現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換を実行するステップを含み、変換を実行するステップは、現在のビデオ・ブロックの幅（W）及び／又は高さ（H）に基づいて、現在のビデオ・ブロックに対する二次変換ツールの適用可能性を判定するステップを含み、二次変換ツールは、符号化の間に、量子化の前に、ビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換を適用すること、又は復号化の間に、インバース一次変換を適用する前に、ビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む。

別の代表的な一態様において、開示される技術は、ビデオ処理方法を提供するために使用することができる。本方法は、ビデオのコーディング・ユニットの現在のビデオ・ブロックが条件を充足するかどうかの判定をルールに従って行うステップと、現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換を上記の判定に従って実行するステップとを含み、条件は、ビデオの1つ以上の色成分の特徴、現在のビデオ・ブロックのサイズ、又は現在のビデオ・ブロックの残差ブロックの一部分における係数に関連しており、ルールは、コーディングされた表現における、二次変換ツールに関するサイド情報の存在を、条件が制御することを規定しており、二次変換ツールは、符号化の間に、量子化の前に、ビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換を適用すること、又は復号化の間に、インバース一次変換を適用する前に、ビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む。

更に別の代表的な一態様において、開示される技術は、ビデオ処理方法を提供するために使用することができる。本方法は、ビデオの現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換を実行するステップを含み、変換を実行するステップは、二次変換ツールの使用法及び／又は二次変換ツールに関連する情報のシグナリングを、現在のビデオ・ブロックに適用されるパーティション・ツリー・タイプとは独立したルールに従って決定するステップを含み、二次変換ツールは、符号化の間に、量子化の前に、ビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換を適用すること、又は復号化の間に、インバース一次変換を適用する前に、ビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む。

更に別の代表的な一態様において、開示される技術は、ビデオ処理方法を提供するために使用することができる。本方法は、ビデオのコーディング・ユニットの現在のビデオ・ブロックに関し、現在のビデオ・ブロックに対する二次変換ツールの適用可能性を判定するステップであって、コーディング・ユニットは複数の変換ユニットを含み、判定はコーディング・ユニットの単一の変換ユニットに基づいている、ステップと、現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換を判定に基づいて実行するステップとを含み、二次変換ツールは、符号化の間に、量子化の前に、ビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換を適用すること、又は復号化の間に、インバース一次変換を適用する前に、前記ビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む。

更に別の代表的な一態様において、開示される技術は、ビデオ処理方法を提供するために使用することができる。本方法は、ビデオのコーディング・ユニットの現在のビデオ・ブロックに関し、二次変換ツールの適用可能性、及び／又は二次変換ツールに関連するサイド情報の存在を判定するステップであって、コーディング・ユニットは複数の変換ユニットを含み、判定は変換ユニット・レベル又は予測ユニット・レベルで行われる、ステップと、ビデオのコーディングされた表現の現在のビデオ・ブロックの間の変換を判定に基づいて実行するステップとを含み、二次変換ツールは、符号化の間に、量子化の前に、ビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換を適用すること、又は復号化の間に、インバース一次変換を適用する前に、ビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む。

更に別の代表的な一態様において、上記の方法は、プロセッサで実行することが可能なコードの形態で具現化され、コンピュータ読み取り可能なプログラム媒体に記憶される。

更に別の代表的な一態様において、上記の方法を実行するように構成された又は動作することが可能なデバイスが開示される。デバイスは、この方法を実装するようにプログラムされたプロセッサを含んでもよい。

更に別の代表的な一態様において、ビデオ・デコーダ装置は本願で説明される方法を実装することができる。

開示された技術の上記及びその他の態様及び特徴は、図面、明細書及び特許請求の範囲において、より詳細に記載されている。

例示的なエンコーダのブロック図を示す。

67個のイントラ予測モードの例を示す。

4×4ブロックに対するALWIPの例を示す。

8×8ブロックに対するALWIPの例を示す。

8×4ブロックに対するALWIPの例を示す。

16×16ブロックに対するALWIPの例を示す。

予測ブロックに隣接する4つの参照ラインの例を示す。

4×8及び8×4ブロックの分割例を示す。

4×8、8×4、4×4を除く全てのブロックの分割例を示す。

JEMにおける二次変換の例を示す。

提案される縮小二次変換（reduced secondary transform，RST）の例を示す。

フォワード及びインバース縮小変換の例を示す。

16×48行列を用いたフォワードRST 8×8プロセスの例を示す。

8×8行列に対するゼロ・アウト領域の例を示す。

サブ・ブロック変換モードSBT-V及びSBT-Hの例を示す。

4×4コーディング・グループに対する対角線上向き右スキャン順序の例を示す。

サイズ4×4のコーディング・グループによる8×8ブロックに対する対角線上向き右スキャン順序の例を示す。

確率モデルを選択するために使用されるテンプレートの例を示す。

依存量子化（dependent quantization）に使用される2つのスカラー量子化器の例を示す。

提案される依存量子化プロセスに対する状態遷移と量子化器選択の例を示す。

4つのコーディング・グループを有する8×8ブロックの例である。

例示的なビデオ処理方法のフローチャートを示す。例示的なビデオ処理方法のフローチャートを示す。例示的なビデオ処理方法のフローチャートを示す。例示的なビデオ処理方法のフローチャートを示す。

本件で説明されるビジュアル・メディア復号化又はビジュアル・メディア符号化技術を実装するためのハードウェア・プラットフォーム例のブロック図である。本件で説明されるビジュアル・メディア復号化又はビジュアル・メディア符号化技術を実装するためのハードウェア・プラットフォーム例のブロック図である。

開示される技術の実施形態は、圧縮パフォーマンスを改善するために、既存のビデオ・コーディング規格（例えば、HEVC，H.265）及び将来の規格に適用される可能性がある。セクション見出しは、本件においては説明の可読性を向上させるために使用されており、如何なる方法によっても、本説明又は実施形態（及び／又は実装）を個々のセクションだけに限定してはいない

1. ビデオ・コーディング・イントロダクション
より高い解像度のビデオの益々増える要請に起因して、ビデオ・コーディング方法及び技術は現代技術の至る所に存在する。ビデオ・コーデックは、典型的には、デジタル・ビデオを圧縮又は解凍する電子回路又はソフトウェアを含み、より高いコーディング効率を提供するために絶えず改良されている。ビデオ・コーデックは、圧縮されていないビデオを圧縮された形式へ、又は逆向きに変換する。ビデオ品質と、ビデオを表現するために使用されるデータ量（ビット・レートによって決定される）と、符号化及び復号化アルゴリズムの複雑さと、データ損失及びエラーに対する感度と、編集の容易さと、ランダム・アクセスと、エンド・ツー・エンド遅延（レイテンシ）との間には複雑な関係が存在する。圧縮されたフォーマットは、通常、標準的なビデオ圧縮規格、例えば、高効率ビデオ・コーディング（HEVC）規格（H.265又はMPEG-H Part 2としても知られている）、ファイナライズされる予定の汎用ビデオ・コーディング（Versatile Video Coding，VVC）規格、又は他の現在及び／又は将来のビデオ・コーディング規格に準拠している。

ビデオ・コーディング規格は、周知のITU-T及びISO/IEC規格の開発を通じて主に発展している。ITU-TはH.261とH.263を作成し、ISO/IECはMPEG-1とMPEG-4 Visualを作成し、その2つの組織は共同してH.262/MPEG-2ビデオとH.264/MPEG-4アドバンスト・ビデオ・コーディング（AVC）とH.265/HEVC規格とを作成した。H.262以来、ビデオ・コーディング規格はハイブリッド・ビデオ・コーディング構造に基づいており、そこでは時間的予測と変換コーディングが使用される。HEVCを越える将来のビデオ・コーディング技術を探求するため、2015年に共同ビデオ探査チーム（Joint Video Exploration Team，JVET）がVCEGとMPEGにより共同で設立された。それ以来、多くの新しい方法がJVETによって採用されており、共同探索モデル（Joint Exploration Model，JEM）[3][4]と名付けられる参照ソフトウェアに組み込まれている。2018年4月には、VCEG（Q6/16）とISO/IEC JTC1 SC29/WG11（MPEG）の間で共同ビデオ・エキスパートチーム（JVET）が発足し、HEVCと比較して50%のビットレート低減を目指すVVC規格に取り組んだ。

2.1 典型的なビデオ・コーデックのコーディング・フロー
図1は、VVCのエンコーダ・ブロック図の例を示し、3つのループ内フィルタリング・ブロック、即ち：デブロッキング・フィルタ（DF）、サンプル適応オフセット（SAO）、及びALFを含む。予め定義されたフィルタを使用するDFとは異なり、SAO及びALFは、現在のピクチャのオリジナル・サンプルを使用して、オフセットを追加することによって、及び有限インパルス応答（FIR）フィルタを適用することによって（コーディングされたサイド情報は、オフセットとフィルタ係数をそれぞれシグナリングする）、オリジナル・サンプルと再構成されたサンプルとの間の平均二乗誤差を減少させる。ALFは、各ピクチャの最終処理ステージに位置し、以前のステージで生成されたアーチファクトを捕捉して修復しようとするツールと見なすことができる。

2.2 VVCにおけるイントラ・コーディング
2.2.1 67個のイントラ予測モードによるイントラ・モード・コーディング
自然なビデオで提示される任意のエッジ方向を捕らえるために、方向イントラ・モードの数は、HEVCで使用されているような33個から、65個へ拡張される。追加の方向モードは、図2において点線の矢印として描かれており、平面及びDCモードは同じままである。これらのより高密度な方向性イントラ予測モードは、全てのブロック・サイズに対して、そしてルマ及びクロマ・イントラ予測の両方に対して適用される。

従来の角度イントラ予測方向は、図2に示すように時計回り方向に45度から-135度までに対して定義される。VTM2では、幾つかの従来の角度イントラ予測モードは、非正方ブロックに対する広角イントラ予測モードで適応的に置換される。置換されるモードは、オリジナルの方法を用いてシグナリングされ、解析後に広角モードのインデックスに再マッピングされる。イントラ予測モードの総数は変化せず、即ち67であり、イントラ・モード・コーディングは変化しない。

HEVCでは、イントラ・コーディングされるブロックは全て正方形であり、各辺の長さは2のべき乗である。従って、DCモードを使用してイントラ予測子を生成するために分割処理は必要とされない。VVV2では、ブロックは長方形の形状を有する可能性があり、一般的なケースではブロックごとに分割処理を使用する必要がある。DC予測のための分割処理を回避するために、長辺のみが、非正方形ブロックに対する平均を計算するために使用される。

67個のイントラ予測モードに加えて、非正方形ブロック（WAIP）及びポジション依存イントラ予測結合（PDPC）法の広角イントラ予測が、特定のブロックに対して更にイネーブルにされる。PDPCは、以下のイントラ・モード：平面、DC、水平、垂直、左下の角度モードとその8つの隣接する角度モード、及び右上の角度モードとその8つの隣接する角度モードに対して、シグナリングなしに適用される。

2.2.2 アフィン線形加重イントラ予測（ALWIP又はマトリクス・ベースのイントラ予測）
アフィン線形加重イントラ予測（ALWIP，マトリクス・ベースのイントラ予測（Matrix based intra prediction，MIP）としても知られている）はJVET-N0217で提案されている。

2.2.2.1 行列ベクトル乗算による縮小予測信号の生成
先ず、隣接する参照サンプルは平均化によってダウンサンプリングされ、縮小参照信号bdry_redを生成する。次いで、行列ベクトル積を計算してオフセットを加えることによって、縮小予測信号pred_redが計算される：

ここで、Aは、W=H=4である場合は4列、他の全ての場合は8列と、W_red・H_red行とを有する行列である。bはサイズがW_red・H_redであるベクトルである。

2.2.2.2 ALWIPプロセス全体の説明
平均化、行列ベクトル乗算、及び線形補間の全体的なプロセスが、図3-6で様々な形状に関して示されている。残りの形状は、図示のケースのうちの1つと同様に扱われることに留意されたい。

1．4×4ブロックであるとすると、ALWIPは境界の各軸に沿って2つの平均をとる。結果の4つの入力サンプルは、行列ベクトル乗算に入る。行列は集合S₀から取られる。オフセットを加えた後、これは16個の最終予測サンプルを生じる。予測信号を生成するために線形補間は不要である。従って、サンプル当たり合計（4・16）／（4・4）＝4回の乗算が実行される。

2．8×8ブロックであるとすると、ALWIPは境界の各軸に沿って4つの平均をとる。結果の8つの入力サンプルは、行列ベクトル乗算に入る。行列は集合S₁から取られる。これは予測ブロックの奇数位置における16個のサンプルを生じる。従って、サンプル当たり合計（8・16）／（8・8）＝2回の乗算が実行される。オフセットを加えた後、これらのサンプルは、縮小された上・境界を使用することによって、垂直方向に補間される。元の左・境界を使用することによって、水平補間が続く。

3．8×4ブロックであるとすると、ALWIPは境界の水平軸に沿って4つの平均と、左境界における4つの元の境界値とをとる。結果の8つの入力サンプルは、行列ベクトル乗算に入る。行列は集合S₁から取られる。これは予測ブロックの水平方向の奇数位置と垂直方向の各位置とで16個のサンプルを生じる。従って、サンプル当たり合計（8・16）／（8・4）＝4回の乗算が実行される。オフセットを加えた後、これらのサンプルは、元の左・境界を使用することによって、水平方向に補間される。

4．16×16ブロックであるとすると、ALWIPは境界の各軸に沿って4つの平均をとる。結果の8つの入力サンプルは、行列ベクトル乗算に入る。行列は集合S₂から取られる。これは予測ブロックの奇数位置で64個のサンプルを生じる。従って、サンプル当たり合計（8・64）／（16・16）＝2回の乗算が実行される。オフセットを加えた後、これらのサンプルは、上・境界の8つの平均を使用することによって、垂直方向に補間される。元の左・境界を使用することによって、水平補間が続く。この場合、補間プロセスは、如何なる乗算も追加しない。従って、ALWIP予測を計算するためには、全体として、サンプル当たり2回の乗算が必要とされる。

より大きな形状についても、手順は本質的には同じであり、サンプル当たりの乗算回数は4未満であることを確認することは容易である。

W×8（W>8）ブロックの場合、水平補間のみ必要となり、なぜならサンプルは奇数の水平位置であって各垂直位置で与えられているからである。

最終的に、W×4（W>8）ブロックの場合、A_kbeを、ダウンサンプリングしたブロックの水平軸に沿った奇数エントリに対応する全ての行を除外することによって生じる行列とする。従って、出力サイズは32であり、再び、水平補間のみが実行されるように残る。
転置されるケースは相応に取り扱われる。
2.2.2.3 シンタックス及びセマンティクス
7.3.6.5 コーディング・ユニット・シンタックス

2.2.3 多重参照ライン（MRL）
多重参照ライン（Multiple reference line，MRL）イントラ予測は、イントラ予測のために、より多くの参照ラインを使用する。図7において、4つの参照ラインの例が描かれており、ここで、セグメントA及びFのサンプルは、再構成された隣接するサンプルからフェッチされるのではなく、それぞれセグメントB及びEからの最も近いサンプルでパディングされる。HEVCイントラ・ピクチャ予測は、最も近い参照ライン（即ち参照ライン0）を使用している。MRLでは、2つの追加ライン（参照ライン1及び参照ライン3）が使用される。

選択された参照ラインのインデックス（mrl_idx）は、シグナリングされて、イントラ予測子を生成するために使用される。0より大きな参照ラインインデックスの場合、追加の参照ライン・モードをMPMリストに含めるだけであり、残りのモード無しにMPMインデックスをシグナリングするだけである。参照ライン・インデックスは、イントラ予測モードの前にシグナリングされ、プレーナ（Planar）及びDCモードは、ゼロでない参照ライン・インデックスがシグナリングされた場合に、イントラ予測モードから除外される

MRLは、CTU内側のブロックの第1ラインについてはディセーブルにされて、現在のCTUライン外側にある拡張された参照サンプルを使用することを禁止する。また、追加ラインが使用される場合、PDPCはディセーブルにされる。

変換行列の直交性を保持するために、変換行列はHEVCの変換行列よりも精密に量子化される。水平変換の後及び垂直変換の後に、変換された係数の中間値を16ビットの範囲内に保つため、全ての係数は10ビットを有するべきである

MTSスキームを制御するために、イントラ及びインターそれぞれについて、別々のイネーブル化フラグがSPSレベルで指定される。MTSがSPSでイネーブルにされると、MTSが適用されるか否かを指定するために、CUレベル・フラグがシグナリングされる。ここで、MTSはルマについてのみ適用される。MTS CUレベル・フラグは、以下の条件が充足される場合にシグナリングされる。

○ 幅及び高さ双方が32以下であること

○ CBFフラグが1に等しいこと

大きなサイズのDST-7及びDCT-8の複雑さを低減させるため、32に等しいサイズ（幅又は高さ、又は幅及び高さの双方）を有するDST-7及びDCT-8ブロックに関し、高周波変換係数はゼロ化される。16×16の低周波領域内の係数のみが保持される。

異なる変換が適用される場合に加えて、VVCは、HEVCにおけるTSの概念に類似する変換スキップ（TS）と呼ばれるモードもサポートしている。TSはMTSの特殊なケースとして取り扱われる。

2.4.2 JVET-N0193で提案される縮小二次変換（RST）
2.4.2.1 JEMにおけるノン・セパラブル二次変換（NSST）
JEMでは、フォワード一次変換と量子化（エンコーダ側）の間、逆量子化とインバート一次変換（デコーダ側）の間で、二次変換が適用される。図10に示すように、4×4（又は8×8）の二次変換はブロック・サイズに依存して実行される。例えば、4×4二次変換が小さなブロック（即ち、min (width, height) < 8）に適用され、8×8ブロック毎に、8×8二次変換がより大きなブロック（即ち、min (width, height) > 4）に適用される

ノン・セパラブル変換（non-separable transform）の適用は、一例として以下のように入力を使用して記述される。ノン・セパラブル変換を適用するために、先ず、

2.4.2.2 JVET-N0193における縮小二次変換（RST）
RST（低周波ノン・セパラブル変換（Low Frequency Non-Separable Transform，LFNST））がJVET-K0099で導入され、（35個の変換集合ではなく）4つの変換集合のマッピングがJVET-L0133で導入されている。このJVET-N0193では、16×64行列（更に、16×48行列に縮小される）及び16×16行列が使用される。表記の便宜上、16×64（16×48に縮小される）変換はRST8×8、16×16変換はRST4×4として表記される。図11はRSTの一例を示す。

2.4.2.2.1 RST計算
縮小変換（RT）の主なアイデアは、N次元ベクトルを別空間のR次元ベクトルにマッピングすることであり、ここでR/N（R<N）は縮小因子である。

ここで、変換行列のR個の行はN次元空間のR個の基底である。RTに対するインバート変換行列は、そのフォワード変換行列の転置（transpose）である。フォワード及びインバートRTは図12に描かれている。

この寄稿では、4という縮小因子（1/4サイズ）のRST8x8が適用される。従って、従来の8×8ノン・セパラブル変換行列サイズである64×64の代わりに、16×64のダイレクト・マトリクスが使用される。言い換えれば、64×16インバートRST行列が、8×8の左上領域でコア（一次）変換係数を生成するために、デコーダ側で使用される。フォワードRST8x8は16×64（又は8×8ブロックに対しては8×64）行列を使用し、その結果、所与の8×8領域内の左上の4×4領域においてのみ非ゼロ係数を生成する。言い換えれば、RSTが適用されると、左上の4×4領域を除く8×8領域はゼロ係数のみを有することになる。RST4×4、16×16（4×4ブロックに対しては8×16）の場合、ダイレクト・マトリクス乗算が適用される

インバートRSTは、以下の2つの条件が満たされる場合に、条件付きで適用される：

○ ブロック・サイズは、所与の閾値以上であること（W>=4 && H>=4）

○ 変換スキップ・モード・フラグはゼロに等しいこと

変換係数ブロックの幅（W）と高さ（H）の両方が4より大きい場合、RST8x8は、変換係数ブロックの左上の8×8領域に適用される。それ以外の場合、RST4x4が変換係数ブロックの左上のmin(8,W)×min(8,H)の領域に適用される。

RSTインデックスが0に等しい場合、RSTは適用されない。それ以外の場合、RSTが適用され、そのカーネルは、RSTインデックスを使って選択される。RSTの選択方法とRSTインデックスのコーディングについては後述する。

更に、RSTは、イントラ及びインター・スライスの両方においてイントラCUに、またルマ及びクロマの両方に適用される。デュアル・ツリーがイネーブルにされている場合、ルマとクロマに対するRSTインデックスは別々にシグナリングされる。インター・スライスの場合（デュアル・ツリーはディセーブルにされている）、単一のRSTインデックスがシグナリングされ、ルマとクロマの両方に使用される。

2.4.2.2.2 RSTの制約
ISPモードが選択される場合、RSTはディセーブルにされ、RSTインデックスはシグナリングされず、なぜなら、たとえRSTが適切な全てのパーティション・ブロックに適用されたとしても、パフォーマンスの改善はわずかであるに過ぎないからである。更に、ISPで予測された残差に対してRSTをディセーブルにすることは、符号化の複雑さを減らす可能性がある。

2.4.2.2.3 RST選択
RST行列は4つの変換集合から選択され、それら各々は2つの変換から構成される。どの変換集合が適用されるかは、以下のように、イントラ予測モードから決定される：

（1）3つのCCLMモードのうちの1つが指定される場合、変換集合0が選択される。

IntraPredModeと表記される上記テーブルにアクセスするためのインデックスは、[-14,83]というレンジを有し、それは広角イントラ予測に使用される変換モード・インデックスである。

2.4.2.2.4 縮小ディメンジョンのRST行列
更なる簡略化に関し、同じ変換集合の設定を用いて16×64行列の代わりに16×48行列が適用され、それらの各々は、左上の8×8ブロックの中の3つの4×4ブロックから（右下の4×4ブロックを除いている）、48個のデータを取り込む（図13に示されている）。

2.4.2.2.5 RSTシグナリング
フォワードRST8x8は16×48行列を使用し、その結果、最初の3つの4×4領域内の中で左上の4×4領域のみにおいて非ゼロの係数を生成する。言い換えれば、RST8x8が適用される場合に、左上4×4（RST8x8によるもの）と右下4×4（一次変換によるもの）の領域のみが非ゼロの係数を有する可能性がある。その結果、右上の4×4及び左下の4×4ブロック領域（図14に示されており、「ゼロ・アウト（zero-out）」領域と呼ばれる）で何らかの非ゼロ要素が検出された場合に、RSTインデックスはコーディングされず、なぜならその場合はRSTが適用されていなかったことを示すからである。そのようなケースでは、RSTインデックスはゼロであると推定される。

2.4.2.2.6 1つのCGにおけるゼロ・アウト領域
通常、4×4のサブ・ブロックにインバートRSTを適用する前に、4×4のサブ・ブロック内の何らかの係数は非ゼロである可能性がある。しかしながら、場合によっては、インバートRSTがサブ・ブロックに適用される前に、4×4サブ・ブロックの幾つかの係数はゼロでなければならないように制限される。

nonZeroSizeを変数であるとする。インバートRSTの前に、1-Dアレイに再配列された場合にnonZeroSizeより小さくないインデックスを有する如何なる係数も、ゼロでなければならないことが要求される。

nonZeroSizeが16に等しい場合、左上の4×4サブ・ブロックの係数にゼロ・アウト制約はない。

2.4.3 サブ・ブロック変換
1に等しいcu_cbfを有するインター予測されたCUの場合、残差ブロック全体又は残差ブロックのサブ・パートが復号化されるかどうかを示すために、cu_sbt_flag がシグナリングされてもよい。前者の場合、CUの変換タイプを決定するために、インターMTS情報が更に解析される。後者の場合、残差ブロックの一部は推定された適応変換でコーディングされ、残差ブロックの他の部分はゼロ・アウト化される。SBTは複合インター・イントラ・モードには適用されない。

2.4.4 量子化残差ドメイン・ブロック差分パルス・コード変調コーディング（QR-BDPCM）
JVET-N0413では、量子化残差ドメインBDPCM（以下、RBDPCMと表す）が提案されている。イントラ予測と同様に、予測方向にサンプル・コピーを行うことによって（水平又は垂直予測）、ブロック全体に関してイントラ予測が行われる。残差は量子化され、量子化された残差とその予測子（水平又は垂直）量子化値との間のデルタがコーディングされる。

サイズがM（行）×N（列）のブロックである場合に、r_i,j，0≦i≦M-1，0≦j≦N-1を、上又は左ブロック境界サンプルからのフィルタリングされていないサンプルを使用して（ライン毎に予測ブロックにわたって左隣接ピクセル値をコピーして）水平に又は（予測されるブロックの各ラインに上隣接ラインをコピーして）垂直にイントラ予測を実行した後の予測残差であるとする。Q(r_i,j)，0≦i≦M-1，0≦j≦N-1を、残差r_i,jの量子化されたバージョンとし、ここで、残差は元のブロックと予測されたブロックの値の差分である。次いで、ブロックDPCMが量子化された残差サンプルに適用され、要素r^~ _i,jを有する修正されたM×NアレイR^~という結果が得られる。垂直BDPCMがシグナリングされる場合は以下のようになる：

水平予測の場合、同様なルールが適用され、残差量子化サンプルは以下によって取得される

水平の場合は次のとおりである。

インバート量子化残差Q^-1（Q（r_i,j））は、イントラ・ブロック予測値に加算されて、再構成されたサンプル値を生成する。

QR-BDPCMが選択される場合、適用される変換は存在しない。

2.5 係数のエントロピー・コーディング
2.5.1 変換適用ブロックの係数コーディング
HEVCでは、コーディング・ブロックの変換係数は、重複しない係数グループ（又はサブブロック）を用いてコーディングされ、各CGは、コーディング・ブロックの4×4ブロックの係数を含む。コーディング・ブロック内のCGとCG内の変換係数は、予め定義されたスキャン順序に従ってコーディングされる。

コーディング・ブロック内のCGとCG内の変換係数は、予め定義されたスキャン順序に従ってコーディングされる。CGとCG内の係数の両方とも、対角線上向き右スキャン順序に従う。4×4ブロック及び8×8スキャン順序の例がそれぞれ図16及び図17に描かれている。

コーディングの順序は、反転したスキャン順序（即ち、図17ではCG3からCG0への復号化）であり、あるブロックを復号化する場合、最後の非ゼロ係数の座標が最初に復号化されることに留意を要する。

少なくとも1つの非ゼロ変換係数を有するCGの変換係数レベルのコーディングは、複数のスキャン・パスに分離されてもよい。第1パスでは、第1ビン（bin0で示され、significant_coeff_flagとも言及され、これは係数の大きさが0より大きいことを示す）がコーディングされる。次に、第2／第3ビン（それぞれbin1及びbin2により指定され、coeff_abs_greater1_flag及びcoeff_abs_greater2_flagとも言及される）をコーディングするコンテキストに対する2つのスキャン・パスが適用されてもよい。最終的に、必要に応じて、係数レベルの符号情報及び残りの値（coeff_abs_level_remainingとも呼ばれる）をコーディングするための2つ以上のスキャン・パスが呼び出される。最初の3つのスキャン・パスのビンのみが、レギュラー・モードでコーディングされ、それらのビンは以下の説明ではレギュラー・ビンと呼ばれることに留意されたい。

VVC 3では、各々のCGについて、レギュラー・コーディングされたビンとバイパス・コーディングされたビンはコーディング順序の中で分離され；先ず、サブブロックに対する全てのレギュラー・コーディングされたビンが送信され、その後にバイパス・コーディングされたビンが送信される。サブブロックの変換係数レベルは、スキャン・ポジションにおける5つのパスで以下のようにしてコーディングされる：

○ パス1：有意性（sig_flag）、1より大フラグ（gt1_flag）、パリティ(par_level_flag)、2より大フラグ（gt2_flag）のコーディングが、コーディング順序で処理される。sig_flagが1に等しい場合、先ず、gt1_flagがコーディングされる（それは、絶対レベルが1より大きいかどうかを指定する）。gt1_flag が1に等しい場合、par_flagが追加的にコーディングされる（それは、絶対レベル・マイナス2のパリティを指定する）。

○ パス2：残りの絶対レベル（リメインダ（remainder））のコーディングが、1に等しいgt2_flag又は1に等しいgt1_flagを有する全てのスキャン・ポジションに対して処理される。非バイナリ・シンタックス要素は、Golomb-Riceコードでバイナリ化され、結果のビンは算術符号化エンジンのバイパス・モードでコーディングされる。

○ パス3：（レギュラー・コーディングされたビンの限界に到達したことに起因して）第1パスでsig_flagがコーディングされていない係数の絶対レベル（absLevel）は、Golomb-Riceコードを使用して算術コーディング・エンジンのバイパス・モードで完全にコーディングされる。

○ パス4：1に等しいsig_coeff_flagを有する全てのスキャン・ポジションに対する符号（sign_flag）をコーディングする。

4x4サブブロックに関して、32より多くないレギュラー・コーディングされたビン（sig_flag, par_flag, gt1_flag及びgt2_flag）が符号化又は復号化されることが保証される。2×2クロマ・サブブロックの場合、レギュラー・コーディングされたビンの数は8に制限される。

（パス3における）非バイナリ・シンタックス要素リメインダをコーディングためのライス・パラメータ（ricePar）が、HEVCと同様に導出される。各サブブロックの始めに、riceParは0に等しく設定される。シンタックス要素リメインダをコーディングした後に、ライス・パラメータは予め定義された式に従って修正される。（パス4における）非バイナリ・シンタックス要素absLevelをコーディングするために、ローカル・テンプレート中の絶対値の合計sumAbsが決定される。変数ricePar及びposZeroは、テーブル・ルックアップによって、依存量子化及びsumAbに基づいて決定される。中間変数codeValueは以下のように導出される：

○ absLevel[k]が0に等しい場合、codeValueはposZeroに等しく設定される；

○ それ以外の場合、absLevel[k]がposZero以下であるならば、codeValueはabsLevel[k]-1に等しく設定される；

○ それ以外の場合（absLevel[k]はposZeroより大きい）、codeValueはabsLevel[k]に等しく設定される。

codeValueの値は、ライス・パラメータriceParとともにGolomb-Riceコードを使用してコーディングされる。

2.5.1.1 係数コーディングのためのコンテキスト・モデリング
変換係数レベルの絶対値に関連するシンタックス要素の確率モデルの選択は、ローカルな近隣における絶対値レベルの値又は部分的に再構成された絶対値レベルの値に依存する。使用されるテンプレートは図18に示されている。

選択される確率モデルは、ローカルな近隣における絶対値レベル（又は部分的に再構成された絶対値レベル）の合計と、ローカルな近隣における0より大きな絶対値レベルの数（1に等しいsig_coeff_flagsの数によって与えられる）に依存する。コンテキスト・モデリング及び二値化は、ローカルな近隣に対する以下の尺度に依存する：

○ numSig：ローカルな近隣における非ゼロ・レベルの数；

○ sumAbs1：ローカルな近隣における第1パス後の部分的に再構成された絶対値レベル（absLevel1）の合計；

○ sumAbs：ローカルな近隣における再構成された絶対値レベルの合計；

○ ダイアゴナル・ポジション（d）：変換ブロック内の現在のスキャン・ポジションの水平及び垂直座標の合計。

numSig, sumAbs1,及びdの値に基づいて、sig_flag, par_flag, gt1_flag,及びgt2_flagをコーディングするための確率モデルが選択される。abs_remainderを二進化するためのライス・パラメータは、sumAbs及びnumSigの値に基づいて選択される。

2.5.1.2 依存量子化（DQ）
更に、同じHEVCスカラー量子化が、依存スケール量子化（dependent scale quantization）と呼ばれる新たな概念とともに使用される。依存スカラー量子化とは、変換係数の許容可能な再構成値のセットが、再構成順序において現在の変換係数レベルに先行する変換係数レベルの値に依存しているアプローチを指す。このアプローチの主な効果は、HEVCで使用されるような従来の独立スカラー量子化と比較して、許容可能な再構成ベクトルが、N次元ベクトル空間（Nは変換ブロックにおける変換係数の数を表す）において、より高密度に詰め込まれることである。これは、N次元単位体積あたりの許容可能な再構成ベクトルの所与の平均数に対して、入力ベクトルと最も近い再構成ベクトルとの間の平均逸脱（average distortion）が低減されることを意味する。依存スカラー量子化のアプローチは：（a）異なる再構成レベルを有する2つのスカラー量子化器を定義すること、及び（b）2つのスカラー量子化器の間のスイッチングのためのプロセスを定義することによって実現される。

Q0とQ1で示される2つのスカラー量子化器が図19に示されている。利用可能な再構成レベルの位置は、量子化ステップ・サイズΔによって一意に指定される。使用されるスカラー量子化器（Q0又はQ1）は、ビットストリームで明示的にはシグナリングされない。その代わりに、現在の変換係数に使用される量子化器は、コーディング／再構成順序において現在の変換係数に先行する変換係数レベルのパリティによって決定される。

2.5.2 TSコーディングされたブロック及びQR-BDPCMコーディングされたブロックの係数コーディング

QR-BDPCMはTSコーディングされたブロックのコンテキスト・モデリング方法に従う。

TS残差に関する修正された変換係数レベル・コーディング
レギュラー残差コーディングの場合と比較して、TSに対する残差コーディングは以下の変更を含む：

（1）最後のx/yポジションのシグナリングはない。

（2）全ての先行するフラグが0に等しい場合、最後のサブブロックを除いてすべてのサブブロックについてコーディングされるcoded_sub_block_flag。

（3）縮小テンプレートを用いるsig_coeff_flagコンテキスト・モデリング

（4）abs_level_gt1_flag及びpar_level_flagに対するシングル・コンテキスト・モデル

（5）符号フラグ、5,7,9より大きな追加フラグに対するコンテキスト・モデリング

（6）リメインダ二進化のための修正されたライス・パラメータ

3 既存の実装の欠点
現行の設計は以下の問題を有する：

（1）クロマ成分に対する4つの事前に定義された変換セットは、ルマ成分の変換セットと同じである。更に、同じイントラ予測モードを伴うルマ及びクロマ・ブロックは、同じ変換セットを使用する。しかしながら、典型的にはルマ成分と比較してクロマ信号はより滑らかである。同じセットを使用することは、最適ではない場合がある。

（2）RSTは、全てのCGではなく特定のCGに限って適用される。しかしながら、RSTインデックスをシグナリングすることに関する決定は、全ブロックにおける非ゼロ係数の数に依存する。RSTが適用されるCGの全ての係数がゼロである場合、RSTインデックスをシグナリングする必要性はない。しかしながら、現行の設計はそれでもインデックスをシグナリングする場合があり、不必要なビットを浪費している。

（3）RSTインデックスは、残差コーディングの後にシグナリングされ、なぜなら非ゼロ係数が所定の場所に存在するかどうか、どの程度多く存在するかを記録する必要があるからである（例えば、セクション2.3.2.2.7のnumZeroOutSigCoeff， numSigCoeff）。このような設計は、解析プロセスをより複雑にする。

（4）RSTインデックスは、コンテキスト・コーディングされ、コンテキスト・モデリングは、コーディングされたルマ／クロマ・イントラ予測モード、及びMTSインデックスに依存する。このような設計は、イントラ予測モードの再構成に関して解析の遅延を導入してしまう。また、8つのコンテキストが導入されており、これはハードウェア実装の負担となる可能性がある。

（a）DMとCCLMは同じコンテキスト・インデックス・オフセットを共有しているが、それらは2つの異なるクロマ・イントラ予測法であるので意味をなさない。

（5）非TS残差コーディングの現行の設計は、先ず係数情報をコーディングし、RSTのインデックス（即ち、RSTを使用するか又は使用しないか、使用する場合には、どの行列が選択されるか）のコーディングに続く。このような設計では、残差のエントロピー・コーディングにおいて、RSTのオン／オフ情報を考慮することができない。

（6）RSTは、一次変換が適用された変換ブロックの左上領域に常に適用される。しかしながら、異なる一次変換を基礎とする場合、エネルギーが変換ブロックの左上領域に集中することは、常には正しくない。

（7）RST関連情報をシグナリングするかどうかの決定は、デュアル・ツリー及びシングル・ツリーのコーディング構造に対して異なる方法で行われる。

（8）CU内に1つより多いTUがある場合（例えば、CUサイズは128×128である）、RST関連情報を解析するかどうかは、全てのTUを復号化した後でのみ決定することができる。例えば、128×128 CUの場合、最初のPBは最後のPBの後に来るLFNSTインデックスを待つことなく処理することはできない。これは、必ずしも全体的な64×64ベースのデコーダ・パイプラインを壊すわけではないが（CABACが分離可能であるならば）、特定数のデコーダ・パイプライン・ステージに対してデータ・バッファリングを4倍増加させる。これはコストがかかる。

4 残差コーディングのコンテキスト・モデリングのための方法例
ここで開示される技術の実施形態は、既存の実装の欠点を克服し、それによって、より高いコーディング効率を有するビデオ・コーディングを提供する。開示される技術に基づく残差コーディングのためのコンテキスト・モデリングのための方法は、現存する及び将来の双方のビデオ・コーディング規格を強化する可能性があり、種々の実装について説明される以下の実施例において解明される。以下に提供される開示される技術の実施例は、一般的な概念を説明しており、限定として解釈されるようには意図されていない。実施例において、明示的に別意を指定しない限り、これらの実施例で説明される種々の特徴は組み合わせることが可能である。

以下の説明において、「ブロック」とは、コーディング・ユニット（CU）、変換ユニット（TU）、又はビデオ・データの何らかの四角形領域を指す可能性がある。「現在のブロック」とは、復号化／符号化されたコーディング・ユニット（CU）、現在復号化／符号化されつつある変換ユニット（TU）、又はビデオ・データの何らかの復号化／符号化されつつあるコーディング四角形領域を指す可能性がある。「CU」又は「TU」は、「コーディング・ブロック」及び「変換ブロック」としても知られている可能性がある。

これらの実施例において、RSTはJVET-N0193における設計の如何なるバリエーションであってもよい。RSTは、二次変換を1つのブロックに適用するか、又はある変換を、変換スキップ（TS）コーディングされたブロックに適用することが可能な如何なる技術（例えば、TSコーディングされたブロックに適用されるJVET-N0193で提案されたRST）であってもよい。

更に、「ゼロ・アウト領域」又は「ゼロ・アウトCG」は、二次変換プロセスで使用される縮小された変換サイズに起因して、常にゼロ係数を有する領域／CGを指定する可能性がある。例えば、二次変換サイズが16×32であり、CGサイズが4×4である場合、最初の2つのCGに適用されるが、1番目のCGだけが非ゼロ係数を有する可能性があり、2番目の4×4CGもゼロ・アウトCGと言及される。
RSTにおける変換行列の選択
1. RSTが適用されるサブ領域は、ブロックの左上部分ではないサブ領域である可能性がある。
a. 一例では、RSTは、ブロックの右上、右下、左下、又は中央のサブ領域に適用される可能性がある。
b. RSTが適用されるサブ領域は、イントラ予測モード及び／又は一次変換行列（例えば、DCT-II、DST-VII、恒等変換）に依存する可能性がある。
2. RSTで使用される変換セット及び／又は変換行列の選択は、色成分に依存する可能性がある。
a. 一例では、変換行列の1セットがルマ（又はG）成分に対して使用され、1セットがクロマ成分（又はB／R）成分に対して使用されてもよい。
b. 一例では、各色成分は、1セットに対応してもよい。
c. 一例では、少なくとも1つの行列は、異なる色成分に対する2つ又は複数のセットの何れにおいても相違する。
3. RSTで使用される変換セット及び／又は変換行列の選択は、イントラ予測方法（例えば、CCLM、多重参照ライン・ベースのイントラ予測法、行列ベースのイントラ予測法）に依存する可能性がある。
a. 一例では、変換行列の1セットがCCLMコーディングされたブロックに対して使用され、他のものが非CCLMコーディング・ブロックに対して使用されてもよい。
b. 一例では、変換行列の1セットがノーマルなイントラ予測コーディングされたブロックに対して使用され、他のものが多重参照ラインが有効なブロック（即ち、イントラ予測のために隣接するラインを使用しないもの）に対して使用されてもよい。
c. 一例では、変換行列の1セットがジョイント・クロマ残差コーディングを用いたブロックに対して使用され、他のものはジョイント・クロマ残差コーディングが適用されないブロックに対して使用されてもよい。
d. 一例では、少なくとも1つの行列は、異なるイントラ予測方法に対する2つ又は複数のセットの何れにおいても相違する。
e. 代替的に、RSTは、特定のイントラ予測方向及び／又は特定のコーディング・ツール、例えば、CCLM、及び／又はジョイント・クロマ残差コーディング、及び／又は特定の色成分（例えば、クロマ）でコーディングされたブロックに対してディセーブルにされてもよい。
4. RSTで使用される変換セット及び／又は変換行列の選択は、一次変換に依存する可能性がある。
a. 一例では、1つのブロックに適用される一次変換が恒等変換である場合（例えば、TSモードが1つのブロックに適用される）、RSTで使用される変換セット及び／又は変換行列は、他の種類の一次変換とは異なる可能性がある。
b. 一例では、1つのブロックに適用される水平及び垂直1-D一次変換が同じ基底（例えば、双方ともDCT-II）である場合、RSTで使用される変換セット及び／又は変換行列は、異なる方向（垂直又は水平）に対する異なる基底によるその一次変換とは異なる可能性がある。

RSTサイド情報のシグナリング及び残差コーディング
5. RSTのサイド情報（例えば、st_idx）をシグナリングするかどうか、及び／如何にして行うかは、（スキャニング順序で）ブロック内で最後の非ゼロ係数に依存する可能性がある。
a. 一例では、最後の非ゼロ係数が、RSTが適用されたCG内に位置する場合に限り、RSTがイネーブルにされてもよく、RSTのインデックスがシグナリングされてもよい。
b. 一例では、最後の非ゼロ係数が、RSTが適用されたCG内に位置していない場合、RSTはディセーブルにされ、RSTのシグナリングはスキップされる。
6. RSTのサイド情報（例えば、st_idx）をシグナリングするかどうか、及び／如何にして行うかは、CU内の全ての利用可能な色成分ではなく、特定の色成分の係数に依存する可能性がある。
a. 一例では、RSTのサイド情報をシグナリングするかどうか、及び／如何にして行うかを決定するために、サイド情報のみが使用される可能性がある。
i. 代替的に、更に、上記の方法はブロックの寸法が特定の条件を充足している場合にのみ適用される。
1) 条件はW<T1 又は H<T2である。
2) 例えば、T1=T2=4である。従って、4X4 CUの場合、ルマ・ブロック・サイズは4x4であり、4:2:0フォーマットにおける2つのクロマ・ブロックは2x2であり、この場合、ルマ情報のみが使用される可能性がある。
ii. 代替的に、更に、上記の方法は現在のパーティション・タイプ・ツリーがシングル・ツリーである場合にのみ適用される。
b. 1つの色成分の情報を使用するか、又は全ての色成分の情報を使用するかは、ブロックの寸法／コーディングされた情報に依存する可能性がある。
7. RSTのサイド情報（例えば、st_idx）をシグナリングするかどうか、及び／如何にして行うかは、ブロック全体ではなく、1つのブロックの部分的な領域内の係数に依存する可能性がある。
a. 一例では、部分的な領域が、RSTが適用されるCGとして定義されてもよい。
b. 一例では、部分的な領域は、ブロックのスキャニング順序又は逆のスキャニング順序における最初の又は最後のM個の（例えば、M=1、又は2）CGとして定義されてもよい。
i. 一例では、Mはブロック・ディメンジョンに依存する可能性がある。
ii. 一例では、ブロック・サイズが4xN及び／又はNx4（N＞8）である場合に、Mは2に設定される。
iii. 一例では、ブロック・サイズが4x8及び／又は8x4及び／又はWxH（W≧8，H≧8）である場合に、Mは1に設定される。
c. 一例では、寸法W×Hを有するブロックの情報（例えば、ブロックの非ゼロ係数の数）は、RSTの使用及び／又はRST関連情報のシグナリングを決定するために考慮に入れることが許容される可能性がある。
i. 例えば、W<T1又はH<T2である場合に、ブロックの非ゼロ係数の数はカウントされない可能性がある。例えば、T1=T2=4である。
d. 一例では、部分的な領域は、寸法W×Hを有する現在のブロックの左上M×N領域として定義される可能性がある。
i. 一例では、MはWより小さい可能性があり、及び／又はNはHより小さい可能性がある。
ii. 一例では、M及びNは固定数である可能性があり、例えば、M=N=4である。
iii. 一例では、M及び／又はNは、W及び／又はHに依存する可能性がある。
iv. 一例では、M及び／又はNは、最大許容変換サイズに依存する可能性がある。
1）例えば、Wが8より大きく、Hが4に等しい場合、M=8及びN=4である。
2）例えば、Hが8より大きく、Wが4に等しい場合、M=4及びN=8である。
3）例えば、上記の2つの条件が何れも満たさない場合、M=4及びN=4である。
v. 代替的に、更に、これらの方法は、7.cの条件が満たされていないような、特定のブロック寸法に対してのみ適用されてもよい。
e. 一例では、部分的な領域は、全てのブロックに対して同一であってもよい。
i. 代替的に、これはブロック寸法及び／又はコーディングされた情報に基づいて変更されてもよい。
f. 一例では、部分的な領域は、スキャニング順序インデックスの所与のレンジに依存する可能性がある。
i. 一例では、部分的な領域は、寸法W×Hを有する現在のブロックの係数スキャン順序（例えば、逆の復号化順序）に基づいて、両端を含む[dxS, IdxE]内のそれらのスキャニング順序インデックスを伴う特定のレンジ内に位置する係数をカバーするものであってもよい。
1）一例では、IdxSは0に等しい。
2）一例では、IdxEはW×H-1より小さい可能性がある。
3）一例では、IdxEは固定数である可能性がある。例えば、IdxE=15である。
4）一例では、IdxEはW及び／又はHに依存する可能性がある。
a. 例えば、Wが8より大きく、Hが4に等しい場合、IdxE=31である。
b. 例えば、Hが8より大きく、Wが4に等しい場合、IdxE=31である。
c. 例えば、Wが8に等しく、Hが8に等しい場合、IdxE=7である。
d. 例えば、Wが4に等しく、Hが4に等しい場合、IdxE=7である。
e. 例えば、上記の2つの条件a)とb)の何れも満たされない場合、IdxE=15である。
f. 例えば、上記の2つの条件a),b),c)及びd)の何れも満たされない場合、IdxE=15である。
g. 例えば、上記の2つの条件c)とd)の何れも満たされない場合、IdxE=15である。
ii. 代替的に、更に、これらの方法は7.cの条件が満たされていないような、特定のブロック寸法に対してのみ適用されてもよい。
g. 一例では、これは部分的な領域内の非ゼロ係数の位置に依存する可能性がある。
h. 一例では、これは部分的な領域内の非ゼロ係数のエネルギー（2乗和又は絶対値の和など）に依存する可能性がある。
i. 一例では、これはブロック全体ではなく、1ブロックの部分的な領域内の非ゼロ係数の数に依存する可能性がある。
i. 代替的に、これはCU内の1つ又は複数のブロックの部分的な領域内の非ゼロ係数の数に依存する可能性がある。
ii. 1ブロックの部分的な領域内の非ゼロ係数の数が閾値より小さい場合、RSTのサイド情報のシグナリングはスキップされてもよい。
iii. 一例では、閾値はNであるように固定される（例えば、N=1又は2）。
iv. 一例では、閾値は、スライス・タイプ／ピクチャ・タイプ／パーティション・ツリー・タイプ（デュアル又はシングル）／ビデオ・コンテンツ（スクリーン・コンテンツ又はカメラでキャプチャされたコンテンツ）に依存してもよい。
v. 一例では、閾値は、4:2:0又は4:4:4のようなカラー・フォーマット、及び／又はY又はCb/Crのような色成分に依存してもよい。
8. RSTが適用される可能性のあるCGに非ゼロ係数が存在しない場合、RSTはディセーブルにされるものとする。
a. 一例では、RSTが1ブロックに適用される場合、RSTが適用される少なくとも1つのCGは、少なくとも1つの非ゼロ係数を含まなければならない。
b. 一例では、4×N及び／又はN×4（N>8）に関し、RSTが適用される場合、最初の2つの4×4 CGは少なくとも1つの非ゼロ係数を含まなければならない。
c. 一例では、4×8及び／又は8×4に関し、RSTが適用される場合、左上4×4は少なくとも1つの非ゼロ係数を含まなければならない。
d. 一例では、WxH（W>=8及びH>=8）に関し、RSTが適用される場合、左上4×4は少なくとも1つの非ゼロ係数を含まなければならない。
e. 適合ビットストリームは、上記の1つ又は複数の条件を満たさなければならない。
9. RST関連のシンタックス要素は、残差（例えば、変換係数／直接的に量子化されるもの）をコーディングする前にシグナリングされてもよい。
a. 一例では、ゼロ・アウト領域における非ゼロ係数の数（例えば、numZeroOutSigCoeff）及びブロック全体における非ゼロ係数の数（例えば、numSigCoeff）のカウントは、係数の解析プロセスで除外される。
b. 一例では、RST関連のシンタックス要素（例えば、st_idx）は、residual_codingの前にコーディングされてもよい。
c. RST関連シンタックス要素は、条件付きで（例えば、コーディングされたブロック・フラグ、TSモードの使用法に従って）シグナリングされてもよい。
vi. 一例では、RST関連シンタックス要素（例えば、st_idx）は、コーディングされたブロック・フラグのシグナリングの後、又はTS/MTS関連シンタックス要素のシグナリングの後にコーディングされてもよい。
vii. 一例では、TSモードがイネーブルにされている場合（例えば、復号化されたtransform_skip_flagが1に等しい場合）、RST関連シンタックス要素のシグナリングはスキップされる。
d. 残差関連シンタックスは、ゼロ・アウトCGに対してシグナリングされない可能性がある。
e. 残差をどのようにコーディングするか（例えば、スキャニング順序、二進化、復号化されるシンタックス、コンテキスト・モデリング）は、RSTに依存してもよい。
i. 一例では、対角線上向き右スキャニング順序ではなく、ラスタ・スキャニング順序が適用されてもよい。
1）ラスタ・スキャニング順序は左から右へ、上から下へ、又はその逆の順序である。
2）代替的に、対角線上向き右スキャニング順序の代わりに、垂直スキャニング順序（上から下へ、左から右へ、又はその逆の順序）が適用されてもよい。
3）代替的に、更には、コンテキスト・モデリングが修正されてもよい。
a. 一例では、コンテキスト・モデリングは、右、下、右下の近隣を使用するのではなく、テンプレートの中で、スキャン順序で最近のN個の近隣である以前にコーディングされた情報に依存してもよい。
b. 一例では、コンテキスト・モデリングは、スキャンされたインデックスに従って、テンプレートの中で、以前にコーディングされた情報（例えば、現在のインデックスが0に等しいと仮定して、-1，-2，...）に依存してもよい。
ii. 一例では、異なる二値化方法（例えば、ライス・パラメータ導出）を適用して、RSTコーディングされたブロック及びRSTコーディングされてないブロックに関連する残差をコーディングしてもよい。
iii. 一例では、特定のシンタックス要素のシグナリングは、RSTコーディングされたブロックに対してスキップされてもよい。
1）RSTが適用されるCGに対するCGコード化ブロック・フラグ（coded_sub_block_flag）のシグナリングはスキップされてもよい。
a. 一例では、RST8x8が対角線スキャン順序で最初の3つのCGに適用された場合、CGコード化ブロック・フラグのシグナリングは、第2及び第3CG、例えば、ブロックの左上8x8領域の右上4×4CG及び左下4×4CGについてスキップされる。
i. 代替的に、更に、対応するCGコード化ブロック・フラグは0であると推定される、即ち、全ての係数はゼロである。
b. 一例では、RSTが1ブロックに適用される場合に、CGコード化ブロック・フラグのシグナリングは、スキャニング順序で最初のCG（又は逆のスキャニング順序で最後のCG）に対してスキップされる。
ii. 代替的に、更に、ブロック内の左上CGに対するCGコード化ブロック・フラグは、1であると推定される、即ち、それは少なくとも1つの非ゼロ係数を含む。
c. 8×8ブロックの一例が図21に示されている。RST8x8又はRST4x4が8x8ブロックに適用される場合、CG0のcoded_sub_block_flagは1であると推定され、CG1及びCG2のcoded_sub_block_flagは0であると推定される。
2）特定の座標に対する係数の大きさ及び／又は符号フラグのシグナリングはスキップされてもよい。
a. 一例では、スキャン順序における1つのCGに対するインデックスが、非ゼロ係数が存在し得る最大許容インデックスより小さくない場合（例えば、セクション0におけるnonZeroSize）、係数のシグナリングはスキップされてもよい。
b. 一例では、sig_coeff_flag, abs_level_gtX_flag, par_level_flag, abs_remainder, coeff_sign_flag, dec_abs_levelのようなシンタックス要素のシグナリングは、スキップされてもよい。
3）代替的に、残差のシグナリング（例えば、CGコード化ブロック・フラグ、係数の大きさ、及び／又は特定の座標の符号フラグ）は維持されるかもしれないが、コンテキスト・モデリングは、他のCGと異なるように修正される可能性がある。
iv. 一例では、RSTが適用されるCG及び他のCGにおける残差のコーディングは異なっていてもよい。
1）上記の条項に関し、それらはRSTが適用されるCGにのみ適用されてもよい。
10. RST関連シンタックス要素は、変換スキップ及び／又はMTSインデックスのような他の変換指示の前にシグナリングされてもよい。
a. 一例では、変換スキップのシグナリングは、RST情報に依存してもよい。
i. 一例では、RSTがブロック内で適用される場合、変換スキップ指示はシグナリングされず、ブロックについて0であると推定される。
b. 一例では、MTSインデックスのシグナリングは、RST情報に依存してもよい。
i. 一例では、RSTがブロック内で適用される場合、1つ以上のMTS変換指示はシグナリングされず、ブロックについて使用されないと推定される。
11. 1つのブロック内の異なる部分に対する算術符号化において、異なるコンテキスト・モデリング法を使用することが提案される。
a. 一例では、ブロックは、スキャニング順序における最初のM個のCGと残りのCGという2つの部分であるように取り扱われる。
i. 一例において、Mは1に設定される。
ii. 一例において、Mは4xN及びNx4（N>8）ブロックに対して2に設定され、他のすべての場合に対して1に設定される。
b. 一例では、ブロックは、RSTが適用されるサブ領域とRSTが適用されないサブ領域という2つの部分であるように取り扱われる。
i. RST4x4が適用される場合、RSTが適用されるサブ領域は、現在のブロックの最初の1つ又は2つのCGである。
ii. RST4x4が適用される場合、RSTが適用されるサブ領域は、現在のブロックの最初の3つのCGである。
c. 一例では、1つのブロック内の最初の部分に対するコンテキスト・モデリング・プロセスにおいて、以前にコーディングされた情報の使用をディセーブルにするが、2番目の部分に対してはそれをイネーブルにすることが提案される。
d. 一例では、第1CGを復号化する場合に、残りの1つ以上のCGの情報は、使用されることを許容されない場合がある。
i. 一例では、第1CGに対してCGコード化ブロック・フラグをコーディングする場合に、第2CGの値（例えば右又は下）は考慮されない。
ii. 一例では、第1CGに対するCGコード化ブロック・フラグをコーディングする場合に、第2及び第3CGの値（例えば、WxH（W≧8及びH≧8）に対する右及び下のCG）は考慮されない。
iii. 一例では、現在の係数をコーディングする場合に、コンテキスト・テンプレートにおける近隣が異なるCG内にある場合、この近隣からの情報は、使用されることを禁止される。
e. 一例では、RSTが適用される領域内の係数を復号化する場合に、RSTが適用されない残りの領域の情報は、使用されることを禁止される場合がある。
f. 代替的に、更に、上記方法は特定の条件下で適用されてもよい。
i. 条件は、RSTがイネーブルであるかどうかを含んでもよい。
ii. 条件は、ブロック寸法を含んでもよい。

RSTサイド情報の算術コーディングにおけるコンテキスト・モデリング
12. RSTインデックスをコーディングする場合に、コンテキスト・モデリングは、明示的又は暗黙的な多重変換選択（MTS）がイネーブルにされているかどうかに依存してもよい。
a. 一例では、暗黙のMTSがイネーブルである場合に、同じイントラ予測モードでコーディングされたブロックに対して、異なるコンテキストが選択されてもよい。
i. 一例では、形状（正方形又は非正方形）のようなブロック寸法が、コンテキストを選択するために使用される。
b. 一例では、明示的なMTSに対してコーディングされる変換インデックス（例えば、tu_mts_idx）をチェックする代わりに、変換行列の基底が使用されてもよい。
i. 一例では、水平及び垂直1-D変換の両方についてDCT-IIを用いた変換マトリクス基底に対して、対応するコンテキストは、他の種類の変換マトリクスとは相違していてもよい。
13. RSTインデックスをコーディングする場合に、コンテキスト・モデリングはCCLMがイネーブルにされているかどうかに依存してもよい（例えば、sps_cclm_enabled_flag）。
a. 代替的に、RSTインデックス・コーディングのためのコンテキストを選択することをイネーブルにするかどうか、又はどのように選択するかは、CCLMが1つのブロックに適用されるかどうかに依存してもよい。
b. 一例では、コンテキスト・モデリングは、現在のブロックに対してCCLMがイネーブルにされているかどうかに依存してもよい。
i. 以下は一例である。
intraModeCtx = sps_cclm_enabled_flag? ( intra_chroma_pred_mode[ x0 ][ y0 ] is CCLM: intra_chroma_pred_mode[ x0 ][ y0 ] is DM) ? 1 : 0.
c. 代替的に、RSTインデックス・コーディングのためのコンテキストを選択することをイネーブルにするかどうか、又はどのように選択するかは、現在のクロマ・ブロックがDMモードでコーディングされるかどうかに依存してもよい。
i. 以下は一例である。
intraModeCtx = ( intra_chroma_pred_mode[ x0 ][ y0 ] == (sps_cclm_enabled_flag ? 7:4) ) ? 1 : 0.
14. RSTインデックスをコーディングする場合に、コンテキスト・モデリングはブロック・ディメンジョン／分割深度（例えば、四分木深度及び／又はBT/TT深度）に依存してもよい。
15. RSTインデックスをコーディングする場合に、コンテキスト・モデリングは、色フォーマット及び／又は色成分に依存してもよい。
16. RSTインデックスをコーディングする場合に、コンテキスト・モデリングは、イントラ予測モード及び／又はMTSインデックスから独立していてもよい。
17. RSTインデックスをコーディングする場合に、第1及び／又は第2ビンは、1つのコンテキストのみでコンテキスト・コーディングされるか、又はバイパス・コーディングされる可能性がある。

条件下でRSTプロセスを起動すること
18. インバースRSTプロセスを起動するかどうかは、CGコード化ブロック・フラグに依存してもよい。
a. 一例では、左上のCGコード化ブロック・フラグがゼロである場合、プロセスを起動する必要はない。
i. 一例では、左上CGコード化ブロック・フラグがゼロであり、ブロック・サイズが4xN/Nx4（N>8）と等しくない場合、プロセスを起動する必要はない。
b. 一例では、スキャニング順序で最初の2つのCGコード化ブロック・フラグが両方ともゼロに等しい場合、プロセスを起動する必要はない。
i. 一例では、スキャニング順序で最初の2つのCGコード化ブロック・フラグが両方ともゼロに等しく、ブロック・サイズが4xN/Nx4（N>8）に等しい場合、プロセスを起動する必要はない。
19. インバースRSTプロセスを起動するかどうかは、ブロック寸法に依存してもよい。
a. 一例では、4×8/8×4のような特定のブロック寸法に対して、RSTはディセーブルにされてもよい。
代替的に、更に、RST関連シンタックス要素のシグナリングはスキップされてもよい。

デュアル・ツリー及びシングル・ツリー・コーディングの統一
20. RSTの使用法及び／又はRST関連情報のシグナリングは、デュアル・ツリー及びシングル・ツリー・コーディングにおいて同じ方法で決定されてもよい。
a. 例えば、カウントされる非ゼロ係数の数（例えば、JVET-N0193で規定されているnumSigCoeff）が、デュアル・ツリー・コーディングのケースでT1より大きくはないか、又はシングル・ツリー・コーディングのケースでT2より大きくはない場合、RSTは適用されるべきではなく、関連する情報はシグナリングされず、ここでT1はT2に等しい。
b. 一例では、T1及びT2は両方ともN、に設定され、例えば、N = 1又は2である。

CU内の複数のTUを考察する。
21. RSTを適用するかどうか、及び／又はどのように適用するかは、ブロック寸法W×Hに依存する可能性がある。
a. 一例では、W>T1 又はH>T2ならば、RSTは適用されない場合がある。
b. 一例では、W>T1 及び H>T2ならば、RSTは適用されない場合がある。
c. 一例では、W*H>=Tならば、RSTは適用されない場合がある。
d. 上記の例に関し、以下が適用される：
i. 一例では、ブロックはCUである。
ii. 一例では、T1=T2=64である。
iii. 一例では、T1及び／又はT2は許容最大変換サイズに依存する可能性があり、例えば、T1=T2=許容最大変換サイズである。
iv. 一例では、Tは4096に設定される。
e. 代替的に、更に、RSTは適用されないことに決定された場合、関連する情報はシグナリングされなくてもよい。
22. CU内にN (N>1)個のTUが存在する場合、RSTの使用法及び／又はRST関連情報のシグナリングを決定するために、N個のTUのうちの唯1つのコーディングされた情報が使用される。
a. 一例では、復号化順序でのCUの最初のTUが、判定を行うために使用されてもよい。
b. 一例では、復号化順序におけるCUの左上TUが、判定を行うために使用されてもよい。
c. 一例では、特定のTUを用いる判定は、CUに1つのTUしかないケースと同じ方法で行われてもよい。
23. RSTの使用法及び／又はRST関連情報のシグナリングは、CUレベルの代わりにTUレベル又はPUレベルで実行されてもよい。
a. 代替的に、更に、CU内の異なるTU/PUは、異なる二次変換行列を選択したり、制御フラグを有効/無効にしたりしてもよい。
b. 代替的に、更に、デュアル・ツリーのケースに関し、クロマ・ブロックがコーディングされ、異なる色成分は、異なる二次変換行列を選択したり、制御フラグを有効/無効にしたりしてもよい。
c. 代替的に、どのビデオ・ユニット・レベルでRST関連の情報をシグナリングするかどうかは、パーティション・ツリー・タイプ（デュアル又はシングル）に依存してもよい。
d. 代替的に、どのビデオ・ユニット・レベルでRST関連の情報をシグナリングするかどうかは、CU/PU/TUと最大許容変換ブロック・サイズの間の関係、例えばより大きい又はより小さい、に依存してもよい。

5 開示される技術の実装例
以下の例示的な実施形態において、JVET-N0193に追加の変更は灰色で強調されている。削除されるテキストは、二重括弧でマーキングされる（例えば、[[a]]は、文字“a”の削除を示す）。

上述の例は、以下に説明される方法、例えば方法2200, 2210, 2220, 2230, 2240 及び 2250の状況で組み込まれることが可能であり、これはビデオ・デコーダ又はビデオ・エンコーダにおいて実装されてもよい。

図22Aはビデオ処理のための例示的な方法のフローチャートを示す。方法2210は、ステップ2212において、ビデオの現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換を実行するステップを含む。幾つかの実装において、変換を実行するステップは、現在のビデオ・ブロックの幅（W）及び／又は高さ（H）に基づいて、現在のビデオ・ブロックに対する二次変換ツールの適用可能性を判定するステップを含む。幾つかの実装において、変換を実行するステップは、二次変換ツールの使用法及び／又は二次変換ツールに関連する情報のシグナリングを、現在のビデオ・ブロックに適用されるパーティション・ツリー・タイプとは独立したルールに従って決定するステップを含む。

図22Bはビデオ処理のための例示的な方法のフローチャートを示す。方法2220は、ステップ2222において、ビデオのコーディング・ユニットの現在のビデオ・ブロックが条件を充足するかどうかの判定をルールに従って行うステップを含む。方法2220は、ステップ2224において、現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換を判定に従って実行するステップを更に含む。幾つかの実装において、条件は、ビデオの1つ以上の色成分の特徴、現在のビデオ・ブロックのサイズ、又は現在のビデオ・ブロックの残差ブロックの一部分における係数に関連している。幾つかの実装において、ルールは、コーディングされた表現における、二次変換ツールに関するサイド情報の存在を、条件が制御することを規定している。

図22Cはビデオ処理のための例示的な方法のフローチャートを示す。方法2230は、ステップ2232において、ビデオのコーディング・ユニットの現在のビデオ・ブロックに関し、二次変換ツールの現在のビデオ・ブロックに対する適用可能性を判定するステップであって、コーディング・ユニットは複数の変換ユニットを含み、判定はコーディング・ユニットの単独の変換ユニットに基づいている。方法2230は、ステップ2234において、現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換を実行するステップを更に含む。

図22Aないし22Cに示す動作において、二次変換ツールは、符号化の間に、量子化の前に、ビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換を適用すること、又は復号化の間に、インバース一次変換を適用する前に、ビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む。

幾つかの実施形態では、ビデオ・コーディング方法は、図23又は図24に関して説明されるようなハードウェア・プラットフォーム上に実装される装置を使用して実装されてもよい。

図23は、ビデオ処理装置2300のブロック図である。装置2310は、本願で説明される1つ以上の方法を実装するために使用されてもよい。装置2300は、スマートフォン、タブレット、コンピュータ、モノのインターネット（IoT）受信機などで具体化されてもよい。装置2300は、1つ以上のプロセッサ2302、1つ以上のメモリ2304、及びビデオ処理ハードウェア2306を含んでもよい。プロセッサ2302は、本文書で説明される1つ以上の方法（方法2200, 2210, 2220, 2230, 2240 及び 2250を含むが、これらに限定されない）を実装するように構成されてもよい。メモリ（memories）2304は、本願で説明される方法及び技術を実装するために使用されるデータ及びコードを記憶するために使用されてもよい。ビデオ処理ハードウェア2306は、ハードウェア回路において、本文書で説明される幾つかの技術を実装するために使用されてもよい。

図24は、開示される技術が実装され得るビデオ処理システムの別の例のブロック図である。図24は、本願で開示される種々の技術が実装され得る例示的なビデオ処理システム2400を示すブロック図である。種々の実装は、システム4100の構成要素の一部又は全部を含んでもよい。システム2400は、ビデオ・コンテンツを受信するための入力2402を含んでもよい。ビデオ・コンテンツは、生の又は非圧縮のフォーマット、例えば、8又は10ビットの多重成分ピクセル値で受信されてもよいし、又は圧縮された又は符号化されたフォーマットで受信されてもよい。入力2402は、ネットワーク・インターフェース、周辺バス・インターフェース、又はストレージ・インターフェースを表現している可能性がある。ネットワーク・インターフェースの例は、イーサーネット、光受動ネットワーク（PON）などの有線インターフェースや、Wi-Fi又はセルラー・インターフェースのような無線インターフェースを含む。

システム2400は、本文書で説明される種々のコーディング又は符号化方法を実装することが可能なコーディング構成要素2404を含んでもよい。コーディング構成要素2404は、コーディング構成要素2404の入力2402から出力までのビデオの平均ビットレートを低減して、ビデオのコーディングされた表現を生成することができる。従って、コーディング技術は、ビデオ圧縮又はビデオ・トランスコーディング技術と呼ばれることが間々ある。コーディング構成要素2404の出力は、記憶されてもよいし、あるいは構成要素2406によって表現されているように接続された通信を介して伝送されてもよい。入力2402で受信されたビデオの記憶又は通信されるビットストリーム（又はコーディングされた）表現は、ディスプレイ・インターフェース2410に送信されるピクセル値又は表示可能なビデオを生成するために、構成要素2408によって使用されてもよい。ビットストリーム表現から、ユーザーが視聴可能なビデオを生成するプロセスは、ビデオ解凍と呼ばれることが間々ある。更に、特定のビデオ処理演算は、「コーディングする」演算又はツールと称されるが、コーディング・ツール又は演算はエンコーダで使用され、コーディングの結果を逆向きに処理する対応する復号化ツール又は演算がデコーダによって実行されるであろう、ということは理解されるであろう。

周辺バス・インターフェース又はディスプレイ・インターフェースの例は、ユニバーサル・シリアル・バス（USB）又は高解像度マルチメディア・インターフェース（HDMI（登録商標））、ディスプレイポート（Displayport）などを含む可能性がある。ストレージ・インターフェースの例は、シリアル・アドバンスト・テクノロジ・アタッチメント（serial advanced technology attachment，SATA）、PCI、IDEインターフェースなどを含む。本文書で説明される技術は、携帯電話、ラップトップ、スマートフォン、又はその他のデバイスであって、デジタル・データ処理及び／又はビデオ表示を実行することが可能なデバイス、のような種々の電子デバイスで具現化されることが可能である。

開示される技術の幾つかの実施形態は、ビデオ処理ツール又はモードを動作可能にする判断又は決定を行うことを含む。一例では、ビデオ処理ツール又はモードがイネーブルにされている場合に、エンコーダは、ビデオのブロックの処理においてツール又はモードを使用又は実装するであろうが、必ずしも、結果として生じるビットストリームをツール又はモードの使用に基づいて修正しない可能性がある。即ち、ビデオのブロックからビデオのビットストリーム表現への変換は、判断又は決定に基づいてイネーブルにされた場合に、ビデオ処理ツール又はモードを使用するであろう。別の例では、ビデオ処理ツール又はモードがイネーブルにされている場合に、デコーダは、ビットストリームがビデオ処理ツール又はモードに基づいて修正されている旨の情報とともに、ビットストリームを処理するであろう。即ち、ビデオのビットストリーム表現からビデオのブロックへの変換は、判断又は決定に基づいてイネーブルにされたビデオ処理ツール又はモードを使用して実行されるであろう。

開示される技術の幾つかの実施形態は、ビデオ処理ツール又はモードをディセーブルにする判断又は決定を行うことを含む。一例では、ビデオ処理ツール又はモードがディセーブルにされる場合、エンコーダは、ビデオのブロックをビデオのビットストリーム表現に変換する際に、ツール又はモードを使用しないであろう。別の例では、ビデオ処理ツール又はモードがディセーブルにされる場合、デコーダは、ビットストリームが、その判断又は決定に基づいてディセーブルにされたビデオ処理ツール又はモードを使用して修正されていない旨の情報とともに、ビットストリームを処理するであろう。

本文書において、「ビデオ処理」という用語は、ビデオ符号化、ビデオ復号化、ビデオ圧縮又はビデオ解凍を指す可能性がある。例えば、ビデオ圧縮アルゴリズムは、ビデオのピクセル表現から、対応するビットストリーム表現へ、又はその逆への変換の間に適用される可能性がある。現在のビデオ・ブロックのビットストリーム表現は、例えばシンタックスによって定義されるように、ビットストリーム内で同等位置にあるか又は異なる場所に拡散されるビットに対応してもよい。例えば、マクロブロックは、変換されたコーディングされたエラー残差値の観点から、また、ビットストリーム内のヘッダ及びその他のフィールドのビットを使用して符号化されてもよい。

様々な技術及び実施形態は以下の条項形式を用いて記述することができる。第1セットの条項は、上記のセクションにおいて開示される技術の特定の特徴及び態様を記述している。

1. ビデオ処理方法であって、
現在のビデオ・ブロックの特徴に基づいて、縮小二次変換を現在のビデオ・ブロックに適用するための変換セット又は変換行列を選択するステップ；及び
現在のビデオ・ブロックと、現在のビデオ・ブロックを含むビデオのビットストリーム表現との間の変換の一部として、選択された変換セット又は変換行列を、現在のビデオ・ブロックの一部分に適用するステップ；
を含む方法。

2．現在のビデオ・ブロックの一部分は、現在のビデオ・ブロックの右上サブ領域、右下サブ領域、左下サブ領域又は中央サブ領域である、条項1に記載の方法。

3．現在のビデオ・ブロックの特徴は、現在のビデオ・ブロックのイントラ予測モード又は一次変換行列である、条項1又は2に記載の方法。

4．上記の特徴は、現在のビデオ・ブロックの色成分である、条項1に記載の方法。

5．第1変換セットは、現在のビデオ・ブロックのルマ成分に対して選択され、第1変換セットとは異なる第2変換セットは、現在のビデオ・ブロックの1つ以上のクロマ成分に対して選択される、条項4に記載の方法。

6. 上記の特徴は、現在のビデオ・ブロックのイントラ予測モード又はイントラ・コーディング方法である、条項1に記載の方法。

7．イントラ予測方法は、多重参照ライン（MRL）ベースの予測方法又は行列ベースのイントラ予測方法を含む、条項6に記載の方法。

8．第1変換セットは、現在のビデオ・ブロックがクロス・コンポーネント線形モデル（CCLM）コード化ブロックである場合に選択され、第1変換セットとは異なる第2変換セットは、現在のビデオ・ブロックが非CCLMコード化ブロックである場合に選択される、条項6に記載の方法。

9．第1変換セットは、現在のビデオ・ブロックがジョイント・クロマ残差コーディング方法でコーディングされる場合に選択され、第1変換セットとは異なる第2変換セットは、現在のビデオ・ブロックがジョイント・クロマ残差コーディング方法でコーディングされない場合に選択される、条項6に記載の方法。

10．上記の特徴は、現在のビデオ・ブロックの一次変換である、条項1に記載の方法。

11．ビデオ処理方法であって：
現在のビデオ・ブロックに関連する1つ以上の係数に基づいて、現在のビデオ・ブロックのビットストリーム表現における縮小二次変換（RST）の適用のためのサイド情報のシグナリングの選択的な包含に関する決定を行うステップ；及び
決定に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現を含むビデオとの間の変換を実行するステップ；
を含む方法。

12．1つ以上の係数は、現在のビデオ・ブロックのスキャニング順序における最後の非ゼロ係数を含む、条項11に記載の方法。

13．1つ以上の係数は、現在のビデオ・ブロックの部分的な領域内の複数の係数を含む、条項11に記載の方法。

14．部分的な領域は、RSTが適用され得る1つ以上のコーディング・グループを含む、条項13に記載の方法。

15．部分的な領域は、現在のビデオ・ブロックのスキャニング順序で先頭からM個のコーディング・グループ又は最後からM個のコーディング・グループを含む、条項13に記載の方法。

16．部分的な領域は、現在のビデオ・ブロックの逆スキャニング順序で先頭からM個のコーディング・グループ又は最後からM個のコーディング・グループを含む、条項13に記載の方法。

17．決定を行うことは、複数の係数の1つ以上の非ゼロ係数のエネルギーに更に基づいている、条項13に記載の方法。

18. ビデオ処理方法であって：
縮小二次変換（RST）を現在のビデオ・ブロックに適用することに関し、現在のビデオ・ブロックのビットストリーム表現を構築するステップであって、RSTに関連するシンタックス要素は、残差情報をコーディングする前に、ビットストリーム表現においてシグナリングされる、ステップ；及び
その構築に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換を実行するステップ；
を含む方法。

19．RSTに関連するシンタックス要素をシグナリングすることは、少なくとも1つのコーディングされたブロック・フラグ又は変換選択モードの使用法に基づいている、条項18に記載の方法。

20．ビットストリーム表現は、全てゼロ係数であるコーディング・グループに対応するコーディング残差情報を除外している、条項18に記載の方法。

21．コーディング残差情報は、RSTの適用に基づいている、条項18に記載の方法。

22．ビデオ処理方法であって：
縮小二次変換（RST）を現在のビデオ・ブロックに適用するために、現在のビデオ・ブロックのビットストリーム表現を構築するステップであって、RSTに関連するシンタックス要素は、変換スキップ指示又は多重変換セット（MTS）インデックスの何れかの前にビットストリーム表現でシグナリングされる、ステップ；及び
その構築に基づいて、現在のビデオ・ブロックと現在のビデオ・ブロックのビットストリーム表現との間の変換を実行するステップ；
を含む方法。

23．変換スキップ指示又はMTSインデックスは、RSTに関連するシンタックス要素に基づいている、条項22に記載の方法。

24．ビデオ処理方法であって：
現在のビデオ・ブロックの特徴に基づいて、縮小二次変換（RST）のインデックスをコーディングするためのコンテキスト・モデルを構築するステップ；及び
その構築に基づいて、現在のビデオ・ブロックと、現在のビデオ・ブロックを含むビデオのビットストリーム表現との間の変換を実行するステップ；
を含む方法。

25．上記の特徴は、多重変換選択（MTS）プロセスの明示的又は暗示的な実施可能性である、条項24に記載の方法。

26．上記の特徴は、現在のビデオ・ブロックにおけるクロス・コンポーネント線形モデル（CCLM）コーディング・モードの実施可能性である、条項24に記載の方法。

27．上記の特徴は、現在のビデオ・ブロックのサイズである、条項24に記載の方法。

28．上記の特徴は、現在のビデオ・ブロックに適用されるパーティショニング・プロセスの分割深度である、条項24に記載の方法。

29．パーティショニング・プロセスは、四分木（QT）パーティショニング・プロセス、二分木（BT）パーティショニング・プロセス、又は三分木（TT）パーティショニング・プロセスである、条項28に記載の方法。

30．上記の特徴は、現在のビデオ・ブロックの色フォーマット又は色成分である、条項24に記載の方法。

31．上記の特徴は、現在のビデオ・ブロックのイントラ予測モードと、多重変換選択（MTS）プロセスのインデックスとを除外している、条項24に記載の方法。

32．ビデオ処理方法であって：
現在のビデオ・ブロックの特徴に基づいて、現在のビデオ・ブロックに対するインバース縮小二次変換（RST）プロセスの選択的適用に関する決定を行うステップ；及び
決定に基づいて、現在のビデオ・ブロックと、現在のビデオ・ブロックを含むビデオのビットストリーム表現との間の変換を実行するステップ；
を含む方法。

33．上記の特徴は、現在のビデオ・ブロックのコーディング・グループのコーディングされたブロック・フラグである、条項32に記載の方法。

34．インバースRSTプロセスは適用されず、左上コーディング・グループのコーディングされたブロック・フラグはゼロである、条項33に記載の方法。

35．インバースRSTプロセスは適用されず、現在のビデオ・ブロックのスキャニング順序における第1及び第2コーディング・グループに対するコーディングされたブロック・フラグはゼロである、条項33に記載の方法。

36．上記の特徴は、現在のビデオ・ブロックの高さ（M）又は幅（N）である、条項32に記載の方法。

37．インバースRSTプロセスは適用されず、（i）M=8及びN=4、又は（ii）M=4及びN=8である、条項36に記載の方法。

38. ビデオ処理方法であって：
現在のビデオ・ブロックの特徴に基づいて、現在のビデオ・ブロックに対するインバース縮小二次変換（RST）プロセスの選択的適用に関する決定を行うステップ；及び
決定に基づいて、現在のビデオ・ブロックと、現在のビデオ・ブロックを含むビデオのビットストリーム表現との間の変換を実行するステップ；
を含み、前記ビットストリーム表現はRSTに関するサイド情報を含み、サイド情報は、現在のビデオ・ブロックのルマ成分又はシングル・カラーの係数に基づいて包含される、方法。

39. サイド情報は、現在のビデオ・ブロックの寸法に更に基づいて包含される、条項38に記載の方法。

40. サイド情報は、現在のビデオ・ブロックに対するブロック情報を考慮することなく包含される、条項38又は39に記載の方法。

41. 変換は、ビットストリーム表現を現在のビデオ・ブロックから生成することを含む、条項1-40のうちの何れか1項に記載の方法。

42. 変換は、現在のビデオ・ブロックをビットストリーム表現から生成することを含む、条項1-40のうちの何れか1項に記載の方法。

43. プロセッサと命令を伴う非一時的なメモリとを含むビデオ・システムにおける装置であって、命令は、プロセッサにより実行されると、条項1-42のうちの何れか1つにおける方法をプロセッサに実行させる、装置。

44. 非一時的なコンピュータ読み取り可能な媒体に記憶されるコンピュータ・プログラム製品であって、請求項1-42のうちの何れか1つにおける方法を実行するためのプログラム・コードを含む、コンピュータ・プログラム製品。

第2セットの条項は、上記のセクション、例えば例示的な実装6, 7, 20-23において開示される技術の特定の特徴及び態様を記述している。

1. ビデオ処理方法であって、
ビデオの現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換を実行するステップを含み、変換を実行するステップは、現在のビデオ・ブロックの幅（W）及び／又は高さ（H）に基づいて、現在のビデオ・ブロックに対する二次変換ツールの適用可能性を判定するステップを含み、
前記二次変換ツールは、符号化の間に、量子化の前に、ビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換を適用すること、又は復号化の間に、インバース一次変換を適用する前に、ビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む、方法。

2. 二次変換ツールは、低周波ノン・セパラブル変換（LFNST）ツールに対応している、条項1に記載の方法。

3. 二次変換ツールは、W>T1又はH>T2である場合には適用されず、T1及びT2は整数である、条項1に記載の方法。

4. 二次変換ツールは、W>T1及びH>T2である場合には適用されず、T1及びT2は整数である、条項1に記載の方法。

5. 二次変換ツールは、W*H>=Tである場合には適用されず、Tは整数である、条項1に記載の方法。

6. ブロックはコーディング・ユニットである、条項1-5のうちの何れかに記載の方法。

7. T1=T2=64である、条項3又は4に記載の方法。

8. T1及び／又はT2は最大許容変換サイズに依存する、条項3又は4に記載の方法。

9. Tは4096である、条項5に記載の方法。

10. 判定するステップは、二次変換ツールを適用しないことを判定し、二次変換ツールに関連する情報はシグナリングされない、条項1に記載の方法。

11. ビデオ処理方法であって、
ビデオのコーディング・ユニットの現在のビデオ・ブロックが条件を充足するかどうかの判定をルールに従って行うステップと、
現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換を判定に従って実行するステップとを含み、
条件は、ビデオの1つ以上の色成分の特徴、現在のビデオ・ブロックのサイズ、又は現在のビデオ・ブロックの残差ブロックの一部分における係数に関連しており、
ルールは、コーディングされた表現における、二次変換ツールに関するサイド情報の存在を、条件が制御することを規定しており、
二次変換ツールは、符号化の間に、量子化の前に、ビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換を適用すること、又は復号化の間に、インバース一次変換を適用する前に、ビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む、方法。

12. 二次変換ツールは、低周波ノン・セパラブル変換（LFNST）ツールに対応している、条項11に記載の方法。

13. 1つ以上の色成分の特徴は、現在のビデオ・ブロックを含むコーディング・ユニットのルマ情報のみに対応している、条項11又は12に記載の方法。

14. 条件は、ビデオのコーディング・ユニットが、T1より小さな高さ（H）とT2より小さな幅（W）を有する場合に限って充足され、T1及びT2は整数である、条項13に記載の方法。

15. T1=T2=64である、条項14に記載の方法。

16. 条件は、コーディング・ユニットに適用されるパーティション・タイプ・ツリーがシングル・ツリーである場合に限って充足される、条項12に記載の方法。

17. ルールは、現在のビデオ・ブロックの寸法及び／又はコーディングされた情報に基づいて、1つの色成分又は全ての色成分を用いて判定を行う、条項11に記載の方法。

18. 判定は、幅（W）及び高さ（H）を有する現在のビデオ・ブロックの情報を使用することなく、ルールに従って行われる、条項11に記載の方法。

19. 現在のビデオ・ブロックの情報は、W<T1又はH<T2である場合に現在のビデオ・ブロックの非ゼロ係数の数を含み、T1及びT2は整数である、条項18に記載の方法。

20. 判定は、現在のビデオ・ブロックの一部分内の係数に基づいてルールに従って行われ、一部分は幅（W）及び高さ（H）を有する現在のビデオ・ブロックの左上MxN領域として定められ、M, N, W, Hは整数である、条項11に記載の方法。

21. MはWより小さく、及び／又はNはHより小さい、条項20に記載の方法。

22. M及びNは固定された数である、条項20に記載の方法。

23. M及び／又はNはW及び／又はHに依存する、条項20に記載の方法。

24. M及び／又はNは最大変換サイズに依存する、条項20に記載の方法。

25. 判定は、現在のビデオ・ブロックの一部分内の係数に基づいてルールに従って行われ、一部分はビデオの全てのビデオ・ブロックに対して同じであるように定められている、条項11に記載の方法。

26. 判定は、現在のビデオ・ブロックの一部分内の係数に基づいてルールに従って行われ、一部分は現在のビデオ・ブロックの寸法及び／又はコーディングされた情報に依存して定められている、条項11に記載の方法。

27. 判定は、現在のビデオ・ブロックの一部分内の係数に基づいてルールに従って行われ、一部分は現在のビデオ・ブロックのスキャニング順序インデックスの所与のレンジに依存して定められている、条項11に記載の方法。

28. 1）IdxSが0に等しいこと、2）IdxEがW及び（H-1）の積より小さいこと、3）IdxEが固定数であること、又は4）IdxEがW及び／又はHに依存することのうちの少なくとも1つを充足する両端を含む[IdxS, IdxE]の範囲内のスキャニング順序インデックスを有する部分を、ルールは定めており、W及びHはそれぞれ現在のビデオ・ブロックの幅及び高さに対応する、条項27に記載の方法。

29. 条件は、現在のビデオ・ブロックが特定の寸法を有する場合に充足される、条項11に記載の方法。

判定は、現在のビデオ・ブロックの一部分内の非ゼロ係数に基づいてルールに従って行われ、一部分は現在のビデオ・ブロック及び／又はコーディング・ユニット内の他のブロック内の非ゼロ係数の数に依存して定められている、条項11に記載の方法。

31. ビデオ処理方法であって、
ビデオの現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換を実行するステップ
を含み、変換を実行するステップは、二次変換ツールの使用法及び／又は二次変換ツールに関連する情報のシグナリングを、現在のビデオ・ブロックに適用されるパーティション・ツリー・タイプとは独立したルールに従って決定するステップを含み、
二次変換ツールは、符号化の間に、量子化の前に、ビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換を適用すること、又は復号化の間に、インバース一次変換を適用する前に、ビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む、方法。

32. 二次変換ツールは、低周波ノン・セパラブル変換（LFNST）ツールに対応している、条項31に記載の方法。

33. 現在のビデオ・ブロックに適用されるパーティション・ツリー・タイプは、デュアル・ツリー・タイプ又はシングル・ツリー・タイプである、条項31に記載の方法。

34. ルールは、カウントされた非ゼロ係数の数がTより大きくない場合には、二次変換ツールを使用しないことを規定しており、Tの値はパーティション・ツリー・タイプとは独立して決定される、条項31に記載の方法。

35. Tは1又は2に等しい、条項34に記載の方法。

36. ビデオ処理方法であって、
ビデオのコーディング・ユニットの現在のビデオ・ブロックに関し、現在のビデオ・ブロックに対する二次変換ツールの適用可能性を判定するステップであって、コーディング・ユニットは複数の変換ユニットを含み、判定はコーディング・ユニットの単一の変換ユニットに基づいている、ステップと、
現在のビデオ・ブロックとビデオのコーディングされた表現との間の変換を判定に基づいて実行するステップと
を含み、二次変換ツールは、符号化の間に、量子化の前に、ビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換を適用すること、又は復号化の間に、インバース一次変換を適用する前に、ビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む、方法。

37. 二次変換ツールは、低周波ノン・セパラブル変換（LFNST）ツールに対応している、条項36に記載の方法。

38. 単一の変換ユニットは、復号化順序におけるコーディング・ユニットの第1変換ユニットに対応する、条項37に記載の方法。

39. 単一の変換ユニットは、復号化順序におけるコーディング・ユニットの左上変換ユニットに対応する、条項37に記載の方法。

40. 単一の変換ユニットは、コーディング・ユニットにおいて唯1つの変換ユニットが存在する場合に適用される同様なルールを使用して判定される、条項36-39のうちの何れか1項に記載の方法。

41. ビデオ処理方法であって、
ビデオのコーディング・ユニットの現在のビデオ・ブロックに関し、二次変換ツールの適用可能性、及び／又は二次変換ツールに関連するサイド情報の存在を判定するステップであって、コーディング・ユニットは複数の変換ユニットを含み、判定は変換ユニット・レベル又は予測ユニット・レベルで行われる、ステップと、
ビデオのコーディングされた表現の現在のビデオ・ブロックの間の変換を判定に基づいて実行するステップとを含み、
二次変換ツールは、符号化の間に、量子化の前に、ビデオ・ブロックの残差に適用されたフォワード一次変換の出力にフォワード二次変換を適用すること、又は復号化の間に、インバース一次変換を適用する前に、ビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む、方法。

42. 二次変換ツールは、低周波ノン・セパラブル変換（LFNST）ツールに対応している、条項41に記載の方法。

43. コーディング・ユニットは、二次変換ツールの適用可能性を示すフラグ又は異なる二次変換行列を使用する異なる予測ユニット又は異なる変換ユニットを含む、条項41に記載の方法。

44. 異なる色成分は、二次変換ツールの適用可能性を示すフラグ又は異なる二次変換行列を、デュアル・ツリーがイネーブルにされ且つクロマ・ブロックがコーディングされる場合に使用する、条項41に記載の方法。

45. 判定するステップは、サイド情報の存在を、現在のビデオ・ブロックに適用されるパーティション・ツリー・タイプに基づいて判定する、条項41に記載の方法。

46. 判定するステップは、コーディング・ユニット、予測ユニット、又は変換ユニットが、最大許容変換ブロック・サイズより大きいか又は小さいかに基づいて、サイド情報の存在を判定する、条項41に記載の方法。

47. 変換を実行することは、コーディングされた表現をビデオから生成すること、又はビデオをコーディングされた表現から生成することを含む、条項1-46のうちの何れか1項に記載の方法。

48. プロセッサと命令を伴う非一時的なメモリとを含むビデオ・システムにおける装置であって、命令は、プロセッサにより実行されると、条項1-47のうちの何れか1項に記載の方法をプロセッサに実行させる、装置。

49. コンピュータ読み取り可能な媒体に記憶されるコンピュータ・プログラム製品であって、条項1-47のうちの何れか1項に記載の方法を実行するためのプログラム・コードを含む、コンピュータ・プログラム製品。

以上から、本件で開示される技術の特定の実施形態が本願において説明の目的で記述されているが、本発明の範囲を逸脱することなく、種々の修正が行われてもよいことは、理解されるであろう。従って、本件で開示される技術は、添付の特許請求の範囲による場合を除いて限定されない。

本特許文献で説明される対象事項及び機能的動作の実装は、本明細書で開示される構造及びそれらの構造的均等物を含む、種々のシステム、デジタル電子回路、又はコンピュータ・ソフトウェア、ファームウェア、又はハードウェア、又はそれらの1つ以上の組み合わせにおいて実現することができる。本明細書で説明される対象事項の実装は、1つ以上のコンピュータ・プログラム製品として、即ち、データ処理装置による実行のための、又はその動作を制御するための、有形且つ非一時的なコンピュータ読み取り可能な媒体上で符号化されているコンピュータ・プログラム命令の1つ以上のモジュールとして、実装することができる。コンピュータ読み取り可能な媒体は、機械読み取り可能なストレージ・デバイス、機械読み取り可能なストレージ基板、メモリ・デバイス、機械読み取り可能な伝搬信号に影響を与える物質の組成、又はそれらの1つ以上の組み合わせであるとすることが可能である。用語「データ処理ユニット」又は「データ処理装置」は、例えば、プログラマブル・プロセッサ、コンピュータ、又は複数のプロセッサ又はコンピュータを含む、データを処理するための全ての装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、問題としているコンピュータ・プログラムの実行環境を生成するコード、例えば、プロセッサ・ファームウェア、プロトコル・スタック、データベース管理システム、オペレーティング・システム、又はそれらの1つ以上の組み合わせを構成するコードを含むことができる。

コンピュータ・プログラム（プログラム、ソフトウェア、ソフトウェア・アプリケーション、スクリプト、又はコードとしても知られているもの）は、コンパイル又は解釈された言語を含む、任意の形式のプログラミング言語で書くことが可能であり、それは、スタンド・アロン・プログラムとして、又はモジュール、コンポーネント、サブルーチン、又はコンピューティング環境での使用に適したその他のユニットとして、任意の形式で配備することが可能である。コンピュータ・プログラムは、必ずしもファイル・システム内のファイルに対応するとは限らない。プログラムは、他のプログラム又はデータを保持するファイルの一部分（例えば、マークアップ言語文書に保存される1つ以上のスクリプト）内に、問題としているプログラムに専用の単一ファイル内に、又は複数の調整されたファイル（例えば、1つ以上のモジュール、サブ・プログラム、又はコードの一部分を記憶するファイル）内に、保存されることが可能である。コンピュータ・プログラムは、1つのコンピュータ上で又は複数のコンピュータ上で実行されるように配備することが可能であり、複数のコンピュータは、1つのサイトに配置されるか、又は複数のサイトにわたって分散されて通信ネットワークによって相互接続されている。

本明細書で説明されるプロセス及びロジックの流れは、1つ以上のコンピュータ・プログラムを実行する1つ以上のプログラマブル・プロセッサによって実行され、入力データに作用して出力を生成することによって機能を実行することができる。プロセス及びロジックのフローはまた、例えばFPGA（フィールド・プログラマブル・ゲート・アレイ）又はASIC（特定用途向け集積回路）のような特殊目的論理回路によって実行されることが可能であり、また、それらとして装置を実装することも可能である。

コンピュータ・プログラムの実行に適したプロセッサは、例えば、汎用及び専用双方のマイクロプロセッサ、及び任意の種類のデジタル・コンピュータの任意の1つ以上のプロセッサを含む。一般に、プロセッサは、リード・オンリ・メモリ又はランダム・アクセス・メモリ又は双方から命令及びデータを受信するであろう。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令及びデータを記憶するための1つ以上のメモリ・デバイスである。一般に、コンピュータはまた、データを記憶するための1つ以上の大容量ストレージ・デバイス、例えば磁気的なもの、磁気光ディスク、又は光ディスクを含み、あるいはそれらからデータを受信したり、それらへデータを転送したり、或いは双方のために動作可能に結合される。しかしながら、コンピュータは、そのようなデバイスを有することを必須とはしない。コンピュータ・プログラム命令及びデータを記憶するのに適したコンピュータ読み取り可能な媒体は、例えば、EPROM、EEPROM、及びフラッシュ・メモリ・デバイスのような半導体メモリ・デバイスを含む、あらゆる形態の不揮発性メモリ、媒体及びメモリ・デバイスを含む。プロセッサ及びメモリは、特殊目的論理回路によって補足されるか、又はそこに内蔵されることが可能である。

明細書は図面と共に模範としてのみ考慮されることが意図されており、ここで模範は例を意味する。本願で使用されるように、「又は」の使用は、文脈が明らかに別意を示していない限り、「及び／又は」を含むように意図されている。

本特許文献は多くの詳細を含んでいるが、これらは、何れかの発明やクレームされ得るものの範囲に関する限定として解釈されるべきではなく、むしろ特定の発明の特定の実施形態に特有である可能性のある特徴の説明として解釈されるべきである。別々の実施形態の文脈で本特許文献で説明されている特定の特徴は、組み合わせて単一の実施形態で実施することも可能である。逆に、単一の実施形態の文脈で説明されている種々の特徴は、複数の実施形態において別々に、又は任意の適切なサブコンビネーションで実施することも可能である。更に、特徴が、特定の組み合わせにおいて作用するものとして上述されていたり、当初にはそのようにクレームされていたりさえするかもしれないが、クレームされた組み合わせ中の1つ以上の特徴は、場合によっては、組み合わせから切り出されることが可能であり、クレームされた組み合わせは、サブコンビネーション又はサブコンビネーションの変形例に仕向けられる可能性がある。

同様に、図中、動作は特定の順序で描かれているが、これは、所望の結果を達成するために、このような動作が図示の特定の順序で又は順番通りに実行されること、又は、例示された全ての動作が実行されること、を要求するものとして理解されるべきではない。更に、この特許文献で説明される実施形態における種々のシステム構成要素の分け方は、全ての実施形態でこのような分け方を要求とするものとして理解されるべきではない。

僅かな実装例及び実施例のみが記述されているに過ぎず、本特許文献で説明され図示されているものに基づいて他の実装、拡張及び変更を行うことが可能である。

Claims

ビデオ・データを処理する方法であって：
ビデオの現在のビデオ・ブロックと前記ビデオのビットストリームとの間の変換の期間に、二次変換ツールに関連する前記現在のビデオ・ブロックのサイド情報が前記ビットストリームに含まれているかどうかを、前記現在のビデオ・ブロックの幅（W）及び高さ（H）のうちの少なくとも1つと許容最大変換サイズ（T）との間の関係に基づいて決定するステップ；及び
前記決定に基づいて前記変換を実行するステップ；
を含み、前記二次変換ツールを使用することは、符号化の期間に、量子化の前に、前記現在のビデオ・ブロックの残差に適用されたフォワード・プライマリ変換の出力にフォワード二次変換を適用することを含み、又は
前記二次変換ツールを使用することは、復号化の期間に、インバース・プライマリ変換を適用する前に、前記現在のビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む、方法。
前記二次変換ツールは、低周波ノン・セパラブル変換（LFNST）ツールに対応している、請求項1に記載の方法。
前記サイド情報は、W>T及び／又はH>Tである場合には前記ビットストリームから除外される、請求項1又は2に記載の方法。
前記二次変換ツールは、W>T及び／又はH>Tである場合には前記現在のビデオ・ブロックに適用されない、請求項1-3のうちの何れか1項に記載の方法。
前記幅（W）及び前記高さ（H）は、ルマ情報のみに対応し、現在のビデオ・ブロックのサイズの特徴である、請求項1-4のうちの何れか1項に記載の方法。
前記現在のビデオ・ブロックはコーディング・ユニットである、請求項1-4のうちの何れか1項に記載の方法。
前記サイド情報が前記ビットストリームに含まれるかどうかは、前記現在のビデオ・ブロックの残差における最後の非ゼロ係数の位置に更に基づいて決定される、請求項1-6のうちの何れか1項に記載の方法。
前記サイド情報が前記ビットストリームに含まれる場合に、前記最後の非ゼロ係数は、前記二次変換ツールが適用される前記現在のビデオ・ブロックの領域内に位置づけられる、請求項7に記載の方法。
前記現在のビデオ・ブロックのサイズが4*4又は8*8である場合に、前記領域は左上の4*4のコーディング・グループにおける最初の8つの係数に対応している、請求項8に記載の方法。
前記現在のビデオ・ブロックの前記幅又は前記高さが4以上である場合、かつ、前記現在のビデオ・ブロックのサイズは4*4でも8*8でもない場合に、前記領域は左上の4*4のコーディング・グループに対応している、請求項8に記載の方法。
前記サイド情報が前記二次変換ツールはイネーブルにされていることを示していることに応答して、プライマリ変換ツールを適用すること及び前記プライマリ変換ツールで使用される変換カーネルのインデックスのうちの少なくとも1つを示す第1シンタックス要素は、前記ビットストリーム中に存在しない、請求項1-10のうちの何れか1項に記載の方法。
前記変換は、前記現在のビデオ・ブロックを前記ビットストリームに符号化することを含む、請求項1-11のうちの何れか1項に記載の方法。
前記変換は、前記現在のビデオ・ブロックを前記ビットストリームから復号化することを含む、請求項1-11のうちの何れか1項に記載の方法。
プロセッサと、命令を有する非一時的なメモリとを含む、ビデオ・データを処理するための装置であって、前記命令は、前記プロセッサにより実行されると、前記プロセッサに：

ビデオの現在のビデオ・ブロックと前記ビデオのビットストリームとの間の変換の期間に、二次変換ツールに関連する前記現在のビデオ・ブロックのサイド情報が前記ビットストリームに含まれているかどうかを、前記現在のビデオ・ブロックの幅（W）及び高さ（H）のうちの少なくとも1つと許容最大変換サイズ（T）との間の関係に基づいて決定するステップ；及び
前記決定に基づいて前記変換を実行するステップ；
を実行させ、前記二次変換ツールを使用することは、符号化の期間に、量子化の前に、前記現在のビデオ・ブロックの残差に適用されたフォワード・プライマリ変換の出力にフォワード二次変換を適用することを含み、又は
前記二次変換ツールを使用することは、復号化の期間に、インバース・プライマリ変換を適用する前に、前記現在のビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む、装置。
命令を記憶する非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令は、プロセッサに：

ビデオの現在のビデオ・ブロックと前記ビデオのビットストリームとの間の変換の期間に、二次変換ツールに関連する前記現在のビデオ・ブロックのサイド情報が前記ビットストリームに含まれているかどうかを、前記現在のビデオ・ブロックの幅（W）及び高さ（H）のうちの少なくとも1つと許容最大変換サイズ（T）との間の関係に基づいて決定するステップ；及び
前記決定に基づいて前記変換を実行するステップ；
を実行させ、前記二次変換ツールを使用することは、符号化の期間に、量子化の前に、前記現在のビデオ・ブロックの残差に適用されたフォワード・プライマリ変換の出力にフォワード二次変換を適用することを含み、又は
前記二次変換ツールを使用することは、復号化の期間に、インバース・プライマリ変換を適用する前に、前記現在のビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む、記憶媒体。
ビデオ処理装置により実行される方法により生成されたビデオのビットストリームを記憶する方法であって、
ビデオの現在のビデオ・ブロックに関し、二次変換ツールに関連する前記現在のビデオ・ブロックのサイド情報が前記ビットストリームに含まれているかどうかを、前記現在のビデオ・ブロックの幅（W）及び高さ（H）のうちの少なくとも1つと許容最大変換サイズ（T）との間の関係に基づいて決定するステップ；及び
前記決定に基づいて前記ビットストリームを生成するステップ；及び
前記ビットストリームを非一時的なコンピュータ読み取り可能な記憶媒体に記憶するステップ；
を含み、前記二次変換ツールを使用することは、符号化の期間に、量子化の前に、前記現在のビデオ・ブロックの残差に適用されたフォワード・プライマリ変換の出力にフォワード二次変換を適用することを含み、又は
前記二次変換ツールを使用することは、復号化の期間に、インバース・プライマリ変換を適用する前に、前記現在のビデオ・ブロックの逆量子化の出力にインバース二次変換を適用することを含む、方法。