JP7655899B2 - コード化ツールとの変換サイズの相互作用 - Google Patents

Description

本実施形態のうちの少なくとも１つは、一般に、ビデオの符号化又は復号化、圧縮又は伸長のための方法又は装置に関する。

高い圧縮効率を実現するために、画像及びビデオの符号化方式は、通常、動きベクトル予測を含む予測、並びにビデオコンテンツの空間的冗長性及び時間的冗長性を活用した変換を採用している。一般に、フレーム内又はフレーム間の相関を利用するために、イントラ予測又はインター予測が使用され、次いで、しばしば予測誤差又は予測残差と呼ばれる原画像と予測画像の間の差分が、変換、量子化、及びエントロピ符号化される。ビデオを再構成するには、エントロピ符号化、量子化、変換、及び予測に対応する逆の処理によって、圧縮データを復号化する。

多用途ビデオコーディング（Versatile Video Coding、ＶＶＣ）標準の開発において、最大変換サイズは、３２～６４の間で可変である。最大変換サイズは、他の変換コード化ツールと相互作用する。

本実施形態のうちの少なくとも１つは、一般に、ビデオの符号化又は復号化のための方法又は装置に関し、より具体的には、ビデオエンコーダ又はビデオデコーダにおける最大変換サイズと変換コード化ツールとの間の相互作用のための方法又は装置に関する。

第１の態様によれば、方法が提供される。この方法は、最大変換サイズに基づいて、コード化ツールを可能にするためのステップと、ブロックを含むサンプルのサブセット上で、離散トリガノメトリック変換の少なくとも一部分を実行することと、有効化されたコード化ツールを使用して、ブロックを符号化することと、を含む。

第２の態様によれば、方法が提供される。この方法は、最大変換サイズに基づいて、コード化ツールを可能にするためのステップと、ブロックを含むサンプルのサブセット上で、逆離散トリガノメトリック変換の少なくとも一部分を実行することと、有効化されたコード化ツールを使用して、ブロックを復号化することと、を含む。

別の態様によれば、装置が提供される。この装置は、プロセッサを備える。プロセッサは、前述した方法のいずれかを実行することによって、ビデオのブロックを符号化する、又はビットストリームを復号化するように構成することができる。

少なくとも一実施形態の別の一般的な態様によれば、復号化実施形態のいずれかに係る装置と、（ｉ）信号を受信するように構成されたアンテナであって、信号がビデオブロックを含む、アンテナ、（ｉｉ）受信信号を、ビデオブロックを含む周波数帯域に制限するように構成されたバンドリミッタ、又は（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも１つと、を備えるデバイス、が提供される。

少なくとも一実施形態の別の一般的な態様によれば、説明した符号化実施形態又は変形形態のいずれかに従って生成されたデータコンテンツを含む非一時的なコンピュータ可読媒体が提供される。

少なくとも一実施形態の別の一般的な態様によれば、説明した符号化実施形態又は変形形態のいずれかに従って生成されたビデオデータを含む信号が提供される。

少なくとも一実施形態の別の一般的な態様によれば、ビットストリームは、説明した符号化実施形態又は変形形態のいずれかに従って生成されたデータコンテンツを含むようにフォーマットされる。

少なくとも一実施形態の別の一般的な態様によれば、コンピュータプログラム製品であって、プログラムがコンピュータによって実行されるとき、説明した復号化実施形態又は変形形態のいずれかをコンピュータに実行させる命令を含むコンピュータプログラム製品が提供される。

一般的な態様の上記及び他の態様、特徴、及び利点は、例示的な実施形態の以下の詳細な説明を添付の図面を参照しながら読み進めることによって明らかになるであろう。

標準の一般的なビデオ圧縮方式を示す。 標準の一般的なビデオ伸長方式を示す。 一般的な記載された態様の実装のための例示的なプロセッサベースのサブシステムを示す。 記載された態様の下の方法の一実施形態を示す。 記載された態様の下の方法の別の実施形態を示す。 説明された態様の下の例示的な装置を示す。

本実施形態のうちの少なくとも１つは、一般に、ビデオの符号化又は復号化のための方法又は装置に関し、より具体的には、ビデオエンコーダ又はビデオデコーダにおける最大変換サイズと変換コード化ツールとの間の相互作用のための方法又は装置に関する。

本明細書に記載の一般的な態様は、ビデオ圧縮の分野である。それは、ＶＶＣの最近の採用において、最大の変換サイズが３２～６４で変数になる、最大変換サイズと他の変換コード化ツールとの間の相互作用である。その値は、次のように計算される。

最大変換サイズは、以下のツールと相互作用する。
１－ゼロ設定プロセス：最初に、ＶＶＣは、大きな変換サイズの複雑さを低減するために、ゼロ設定を実行する。２次元ＤＣＴ２変換については、残りがゼロに設定されている間、左上の３２×３２の係数のみが保持される。すなわち、６４×６４、６４×３２、及び３２×３２について、ＤＣＴ２は、水平方向及び垂直方向の両方で第１の３２係数を計算し、非ＤＣＴ２変換（ＤＳＴ７及びＤＣＴ８）は、ゼロ設定を実行して、左上の１６×１６の係数を保持する。ＪＶＥＴ－００５４５の採用により、最大変換サイズが３２であるときにゼロ設定がどのように実行されるかは解決されない。

ドラフトテキストの捕捉を以下に示し、ゼロ設定は、網掛けされている。

これは、ｔｕ＿ｍｔｓ＿ｉｄｘがゼロより大きい、すなわち、ＭＴＳ変換が使用されることを意味する場合（ＤＳＴ７、ＤＳＴ７）、ゼロ設定幅及び高さが１６に設定され、一方、ｔｕ＿ｍｔｓ＿ｉｄｘがゼロ（ＤＣＴ２）である場合、ゼロ設定は、３２に設定されている。
２－ＭＴＳサイズ：ＭＴＳ又は複数の変換選択は、ＤＳＴ７及びＤＣＴ８対間の選択が、ＤＣＴ２変換対を強化する他の変換対として許可されるＶＶＣに採用される変換ツールである。ＭＴＳは、４×４～３２×３２のブロックサイズについて実行される。すなわち、半分のサイズＤＣＴ２。ＪＶＥＴ－００５４５の採用により、最大変換サイズが３２である場合、ＭＴＳサイズがどのように考慮されるかは解決されない。

ドラフトテキストの捕捉を以下に示し、mtsサイズは、網掛けされている。

これは、ＭａｘＴｂＳｉｚｅＹに関係なく、幅と高さの両方が３２未満である場合、ＭＴＳがシグナリングされることを示す。
３－彩度変換サイズ：ＶＶＣでは、彩度サイズは輝度サイズの半分。すなわち、彩度変換ブロックは２×２～３２×３２で許容されるが、輝度サイズは４×４～６４×６４である。ＪＶＥＴ－００５４５の採用により、最大変換サイズが３２である場合、彩度サイズがどのように固定されるかは解決されない。

ＶＶＣスペックでは、彩度サイズは次のように計算される。

ｍａｘＴｂＷｉｄｔｈ＝（ｃＩｄｘ＝＝０）？ＭａｘＴｂＳｉｚｅＹ：ＭａｘＴｂＳｉｚｅＹ／ＳｕｂＷｉｄｔｈＣ（８－４１）
ｍａｘＴｂＨｅｉｇｈｔ＝（ｃＩｄｘ＝＝０）？ＭａｘＴｂＳｉｚｅＹ：ＭａｘＴｂＳｉｚｅＹ／ＳｕｂＨｅｉｇｈｔＣ（８－４２）
ｃＩｄｘは、色指数（輝度については０、彩度については１）である。

一般的な試験条件（common testing condition、ＣＴＣ）では、４：２：０の彩度フォーマットが使用され、最大変換サイズ（ＭａｘＴｂＳｉｚｅＹ）は６４である。したがって、最大変換サイズは、ＣＴＣ中の彩度について３２である。しかしながら、ＭａｘＴｂＳｉｚｅＹが３２である場合、彩度最大サイズは、現在のＳＰＥＣに従って１６である。
４－変換スキップサイズ：ＶＶＣでは、ＤＣＴ２と同じ範囲を有するブロックサイズに対して変換スキップが実行される。言い換えれば、変換スキップは、４×４～６４×６４のブロックサイズのために実行される。ＪＶＥＴ－００５４５の採用により、最大変換サイズが３２である場合、変換スキップサイズがどのように固定されるかは解決されない。

ＶＶＣ仕様では、最大変換スキップサイズは次のように定義される。
ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２は、変換スキップに使用される最大ブロックサイズを指定し、０～３の範囲にあるものとする。

存在しない場合、ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２の値は、０に等しいと推測される。

変数ＭａｘＴｓＳｉｚｅは、１＜＜（ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２＋２）に等しく設定される。

すなわち、最大ＭａｘＴｓＳｉｚｅは、ＭａｘＴｂＳｉｚｅＹ値に関係なく、４～３２の値をとることができる。
５－ＢＤＣＭサイズ：ＢＤ－ＰＣＭは、ブロックベースのデルタパルスコード変調である。それは、変換スキップ残差のコード化ツールである。それは、現在、変換スキップと同じサイズ条件で許可されている。すなわち、最大ＭａｘＴｓＳｉｚｅである。以下のテキストは、ＢＤＰＣＭフラグをコード化するための条件（網掛け）を示す。

６－ＭＩＰ
ＶＶＣドラフト６では、ＭＩＰ（マトリックスベースのイントラ予測）は、予測信号が、参照サンプルに一定のシフトを有するいくつかの訓練された予測マトリックスを乗算することによって生成される、イントラ予測モードである。モードは、ＣＵサイズが最大許容変換サイズ寸法以下であるときにシグナリングされる。この制限は、メモリ要件及びコード化の複雑さを制限するために必要であった。これは、ＭＩＰがマトリックスベースの方法であり、予測マトリックスがより大きなブロックについてより大きいためである。

最初に、最大変換サイズ（ＭａｘＴｂＳｉｚｅＹ）は、ＶＴＭ５．０において６４として常に保持される。しかしながら、ＶＴＭ６．０では、この値は６４又は３２であり得る。ＶＴＭ６．０のドラフトテキストのサンプルを以下に提供する（陰網掛け部分は、ＭＩＰ部分を示す）。

ＭａｘＴｂＳｉｚｅＹ値が６４に固定された。しかしながら、ＪＶＥＴ－００５４５の採用では、ＭａｘＴｂＳｉｚｅＹは、６４又は３２のいずれかであり得る。

直感的に、ＭａｘＴｂＳｉｚｅＹが３２である場合、ＭＩＰは３２×３２のＣＵサイズまでシグナリングされる。これにより、より大きいＭＩＰがＣＵを使用することが妨げられ、したがってコード化効率が制限される。現在の記載された態様は、最大変換サイズに関係なく、最大６４×６４のＣＵのＭＩＰを有効化することを提案する。これは、ＣＵサイズがＭａｘＴｂＳｉｚｅＹよりも大きいときに、ＴＵタイリングを有効化することによって行われる。

最初に、最大変換サイズは、ＶＴＭ５．０において６４として常に保持される。しかしながら、ＪＶＥＴ－００５４５の最近の採用では、最大変換サイズ（ＭａｘＴｂＳｉｚｅＹ）は、ＳＰＳフラグ（ｓｐｓ＿ｓｂｔ＿ｍａｘ＿ｓｉｚｅ＿６４＿ｆｌａｇ）によって制御される６４又は３２のいずれかであり得る。これが起こると、ゼロ設定プロセス、ＭＴＳサイズ、彩度変換サイズ、変換スキップサイズ、及びＢＤＣＭサイズをこの変更に適合させる必要がある。

一般的な態様は、最大変換サイズに従って、以下：ゼロ設定プロセス、ＭＴＳサイズ、彩度変換サイズ、変換スキップサイズ及びＢＤＣＭのツールのシグナリングを適合させることを提案する。影響を受けたコーデックモジュールは、図１及び図２のイントラコード化設計（１６０）及び２６０である。

実施形態１：ゼロ設定プロセス
この実施形態では、ゼロ設定プロセスは、最大変換サイズに依存する。このようにして、６４の代わりに最大サイズが３２である場合、ゼロ設定サイズは半分に減少する。これを以下のテキストに（イタリックで）示す

これは、ＤＣＴ２変換及び他のＭＴＳ変換（ＤＳＴ７及びＤＣＴ８）のために独立して行うこともできる。すなわち、ＤＣＴ２のみのためにそれを行うことを望む場合：

そうでない場合、ＤＳＴ７／ＤＣＴ８のみについては

実施形態２：ＭＴＳサイズ
ＭＴＳシグナリングは、３２×３２のサイズまで許可される。これは、それが６４又は３２のいずれであるかにかかわらず、ＭａｘＴｂＳｉｚｅＹから独立している。ＭａｘＴｂＳｉｚｅＹとの接続を行うために、ＭＴＳのシグナリングをＭａｘＴｂＳｉｚｅＹ／２×ＭａｘＴｂＳｉｚｅＹ／２までサイズ変更することができる。これは、以下のスペックにイタリックで示されている：

これは、サブブロック変換（subblock transform、ＳＢＴ）ツールに直接影響を及ぼすことに留意されたい。ＳＢＴは、ＤＣＴ２、ＤＳＴ７、及びＤＣＴ８からの変換を意味的に選択するインターブロックのための変換ユニット分割ツールである。本明細書によれば、
変数ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄは、次のように導出される。
－ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しく、以下の条件のうちの１つが真である場合、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄは１に等しく設定される：
－ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅは、ＩＳＰ＿ＮＯ＿ＳＰＬＩＴに等しくない
－ｃｕ＿ｓｂｔ＿ｆｌａｇが１に等しく、Ｍａｘ（ｎＴｂＷ、ｎＴｂＨ）は３２以下である
－ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０に等しく、ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ］［ｙＴｂＹ］はＭＯＤＥ＿ＩＮＴＲＡに等しく、ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］は０に等しく、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］は０に等しい
－そうでない場合、ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄは０に等しい。

水平変換カーネルを指定する変数ｔｒＴｙｐｅＨｏｒ及び垂直変換カーネルを指定する変数ｔｒＴｙｐｅＶｅｒは、以下のように導出される。
－ｃＩｄｘが０より大きい場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは、０に等しい。
－そうでなければ、ＩｍｐｌｉｃｉｔＭｔｓ有効が１に等しい場合、以下が適用される。
－ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅがＩＳＰ＿ＮＯ＿ＳＰＬＩＴに等しくないか、又はｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しく、ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ］［ｙＴｂＹ］がＭＯＤＥ＿ＩＮＴＲＡに等しい場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは、以下のように導出される。
ｔｒＴｙｐｅＨｏｒ＝（ｎＴｂＷ＞＝４＆＆ｎＴｂＷ＜＝１６）？１：０（８－９７５）
ｔｒＴｙｐｅＶｅｒ＝（ｎＴｂＨ＞＝４＆＆ｎＴｂＨ＜＝１６）？１：０（８－９７６）
－そうでない場合（ｃｕ＿ｓｂｔ＿ｆｌａｇが１に等しい）、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは、ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ及びｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇに応じて、表８～１５に指定される。
－そうでない場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは、ｔｕ＿ｍｔｓ＿ｉｄｘ［ｘＴｂＹ］［ｙＴｂＹ］に応じて、表８－１４に指定されている。

変換タイプ２が、ＤＣＴ８を意味し、１はＤＳＴ７を意味する。

すなわち、ＭＴＳがＭａｘＴｂＳｉｚｅＹ／２に制限され、ＭａｘＴｂＳｉｚｅＹが３２である場合、サイズ３２×３２のＤＳＴ７及びＤＣＴ８がサポートされていないため、上記の表を使用することができない。代わりに、ＤＣＴ２を使用する必要がある。対応する仕様変更は、以下の通りである。

変数ｉｍｐｌｉｃｉｔＭｔｓＥｎａｂｌｅｄは、次のように導出される。
－ｓｐｓ＿ｍｔｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しく、以下の条件のうちの１つが真である場合、ｉｎｃｌｉｐｉｔＭｔｓＥｎａｂｌｅｄは１に等しく設定される：
－ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅは、ＩＳＰ＿ＮＯ＿ＳＰＬＩＴに等しくない
－ｃｕ＿ｓｂｔ＿ｆｌａｇが１に等しく、Ｍａｘ（ｎＴｂＷ、ｎＴｂＨ）は、ＭａｘＴｂＳｉｚｅＹ／２以下である
－ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｍｔｓ＿ｉｎｔｒａ＿ｅｎａｂｌｅｄ＿ｆｌａｇは０に等しく、ＣｕＰｒｅｄＭｏｄｅ［０］［ｘＴｂＹ］［ｙＴｂＹ］はＭＯＤＥ＿ＩＮＴＲＡに等しく、ｌｆｎｓｔ＿ｉｄｘ［ｘ０］［ｙ０］は０に等しく、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］は０に等しい

実施形態３：彩度変換サイズ
ＶＶＣスペックによれば、彩度最大変換幅及び高さは、最大輝度１の半分であり得る。しかしながら、最大輝度変換サイズが３２であり得るため、彩度の最大サイズは１６であり得る。これは、少数であり、実際には有用ではないと思われる。したがって、この実施形態は、彩度サイズの最小を３２に固定する。仕様は、次のように（イタリック）変更することができる。
ｍａｘＴｂＷｉｄｔｈ＝（ｃＩｄｘ＝＝０）？ＭａｘＴｂＳｉｚｅＹ：ｍａｘ（ＭａｘＴｂＳｉｚｅＹ／ＳｕｂＷｉｄｔｈＣ，３２）（８－４１）
ｍａｘＴｂＨｅｉｇｈｔ＝（ｃＩｄｘ＝＝０）？ＭａｘＴｂＳｉｚｅＹ：ｍａｘ（ＭａｘＴｂＳｉｚｅＹ／ＳｕｂＨｅｉｇｈｔＣ，３２）（８－４２）

実施形態４：変換スキップサイズ
変換スキップフラグは、３２×３２のサイズまでシグナリングすることができる。これは、６４又は３２のいずれであるかにかかわらず、最大変換ブロックサイズから独立している。最大変換サイズとの接続を行うために、テキストは以下のように修正される。
ｌｏｇ２＿ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｍａｘ＿ｓｉｚｅ＿ｍｉｎｕｓ２は、変換に使用される最大ブロックサイズを指定し、０～ＭａｘＴｂＬｏｇ２ＳｉｚｅＹ－３の範囲にあるものとする。

ＭａｘＴｂＬｏｇ２ＳｉｚｅＹは、（ＶＶＣスペックに従って）以下のように計算される。
ＭａｘＴｂＬｏｇ２ＳｉｚｅＹ＝ｓｐｓ＿ｍａｘ＿ｌｕｍａ＿ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿６４＿ｆｌａｇ？６：５（７－２８）

実施形態５：ＢＤＣＭ
ＢＤＰＣＭは、変換スキップと同じシグナリングされる条件を使用する。したがって、上記の実施形態４は、ＢＤＰＣＭにも適用可能である。

実施形態６：ＭＩＰ
記載された一般的な態様は、最大変換サイズに関係なく、最大６４×６４のＣＵのＭＩＰを有効化することを提案する。これは、ＣＵサイズがＭａｘＴｂＳｉｚｅＹよりも大きいときに、ＴＵタイリングを有効化することによって行われる。これは、ＭａｘＴｂＳｉｚｅＹが３２であるときに、コード化効率を改善することである。

本発明の基本的な考え方は、MaxTbSizeYに関係なく、最大サイズ64x64のCUのMIPを許可することである。これは、ＣＵサイズが３２×３２より大きいときにＭＩＰを有効化にすることによって、ＭａｘＴｂＳｉｚｅＹが３２に設定される場合のコード化性能を改善することである。実験的には、ＭＩＰが大きな寸法を有する配列についてより良好に機能することが示されている。以下の結果は、アンカーとしてＶＴＭソフトウェアを取得することによって生成され、試験は、ＭＩＰを含まないＶＴＭである。

明らかに、ＭＩＰは、クラスＡ１（大きな寸法）で０．６％のゲイン及びクラスＣ（小さな寸法）で０．３％のゲインを与える。したがって、ＭａｘＴｂＳｉｚｅＹが３２である場合、６４×６４ＣＵのＭＩＰを有効化することは、大きな寸法を有する配列に対するコード化ゲインを提供する。更に、ＭＩＰの同じ構造が維持されるため、いかなる追加のツールも必要としない。

現在の設計と比較して、変換サイズがより小さい場合でも、エンコーダに対するより多くの柔軟性が、最大６４×６４のＣＵのＭＩＰを実行することを可能にする。

これは、ＴＵタイリングによって達成することができる。すなわち、ＣＵを複数のＴＵに分散させ、ＭＩＰを独立して実行する。以下を行うための２つの方法がある。
１－ＴＵタイリング、次いでＭＩＰ予測
２－ＭＩＰ予測後のＴＵタイリング

すなわち、サイズ６４×６４、３２×６４又は６４ｘ３２及びＭａｘＴｂＳｉｚｅＹのＣＵが３２であることを考慮すると、第１のオプションは、ＣＵを３２×３２のＴＵに分割して、３２×３２ブロックでＭＩＰを実行し、予測信号を生成し、残差をコード化することである。そうする場合、再構成された３２×３２ブロックからの参照サンプルを使用して、予測信号を生成することができる。第２のオプションは、大きなＣＵ（６４×６４、３２×６４又は６４×３２）でＭＩＰを実行し、次いでＣＵをサイズ３２×３２のＴＵに分割し、残差をコード化することである。第２のオプションは、ＶＴＭの現在の設計とより一致している。これは、従来のイントラ予測（角度、ＤＣ又は平面）のために、予測信号はＴＵと同じサイズで生成され、その結果、参照サンプルが再構成されたブロックを使用して、隣接するブロックの予測を改善することができる。

対応する仕様は、以下にイタリックで示されている。

仕様テキストはすでに、変換ユニットが最大変換サイズよりも大きいときにＴＵタイリングをすでにサポートし、これは以下のテキスト（網掛け）で示される。

実施形態７：ＬＦＮＳＴインデックス
仕様テキストにおいて、ＬＦＮＳＴ（低周波数非分離型変換）は、ＭａｘＴｂＳｉｚｅＹまで許可される。当初の動機は、ＴＵ残差を復号化した後にＬＦＮＳＴインデックスが復号化される、サイズ１２８×１２８の大きなＣＵを復号化するときの待ち時間の問題を回避することであった。したがって、ＬＦＮＳＴを当初は６４であった最大変換サイズまで可能にすることが決定された。ＪＶＥＴ－００５４５の採用により、待ち時間の問題は、ＣＵサイズが６４×６４であり、ＭａｘＴｂＳｉｚｅＹが３２である場合には重要ではない。したがって、ＭａｘＴｂＳＩｚｅＹが３２に設定されたときに、この場合のＬＦＮＳＴインデックスがコード化ゲインを改善することを可能にすることができる。

対応する仕様変更は、イタリックで示されている。

更に、ＬＦＮＳＴは、一次変換がＤＣＴ２である場合にのみ許可される（条件：ｔｕ＿ｍｔｓ＿ｉｄｘ ［ｘ０］［ｙ０］＝＝０）ため、この条件を複数のＴＵ’についてチェックする必要がある。変更は、以下の通りである。

すなわち、ＴＵのいずれかがＤＣＴ２を使用していないかどうかをチェックする変数ＭＴＳ＿ｎｏｔＤＣＴ２を定義する。そうである場合、ＬＦＮＳＴは許可されていない。

本明細書において説明した一般的な態様の下での方法４００の一実施形態が、図４に示されている。この方法は、開始ブロック４０１で開始し、制御は、最大変換サイズに基づいて、コード化ツールを有効化するためにブロック４１０に進む。制御は、ブロック４１０からブロック４２０に進み、ブロックを含むサンプルのサブセット上で、離散トリガノメトリック変換の少なくとも一部分を実行する。制御は、ブロック４２０からブロック４３０に進み、有効化されたコード化ツールを使用して、ブロックを符号化する。サンプルの変換されたサブセットを使用して、ブロックの変換係数を決定する。

本明細書において説明した一般的な態様の下での方法５００の一実施形態が、図５に示されている。この方法は、開始ブロック５０１で開始し、制御は、最大変換サイズに基づいて、コード化ツールを有効化するためにブロック５１０に進む。制御は、ブロック５１０からブロック５２０に進み、ブロックを含むサンプルのサブセット上の逆離散トリガノメトリック変換の少なくとも一部分を実行する。制御は、ブロック５２０からブロック５３０に進み、有効化されたコード化ツールを使用して、ブロックを復号化する。

図６は、最大変換サイズに応じて、様々なコード化ツールを使用してビデオを圧縮、符号化、又は復号化するための装置６００の一実施形態を示す。この装置は、プロセッサ１４１０を備えており、少なくとも１つのポートを通じてメモリ１４２０に相互接続することができる。プロセッサ１４１０及びメモリ１４２０の両方は、外部接続への１つ以上の追加の相互接続を有することもできる。

更にプロセッサ６１０は、ビットストリームにおいて情報を挿入又は受信し、説明した態様のいずれかを使用して圧縮、符号化、又は復号化するように構成されている。

本文書では、ツール、機能、実施形態、モデル、方法などを含めて、様々な態様について説明する。これらの態様の多くは、具体的に説明されており、少なくとも個々の特徴を示すために、しばしば本発明を制限するように読み取れることがある。しかしながら、これは説明を明確にすることを目的としており、それらの態様の適用又は範囲を限定するものではない。実際に、すべての異なる態様は、組み合わせる、又は入れ替えて、更なる態様を提供することができる。更に、これらの態様は、以前の出願に記載されている態様と組み合わせる、又は入れ替えることができる。

本文書に説明され、企図されている態様は、多くの異なる形態において実装することができる。以下の図１、図２、及び図３は、いくつかの実施形態を提供するが、他の実施形態も企図されており、図１、図２、及び図３の説明は、実装形態の範囲を制限しない。態様のうちの少なくとも１つは、一般に、ビデオの符号化及び復号化に関するものであり、少なくとも１つの別の態様は、一般に、生成又は符号化されたビットストリームを送信することに関する。これら及び別の態様は、方法、装置、説明した方法のいずれかに従ってビデオデータを符号化又は復号化するための命令を自身に格納したコンピュータ可読記憶媒体、及び／又は、説明した方法のいずれかに従って生成されたビットストリームを自身に格納したコンピュータ可読記憶媒体、として実装することができる。

本出願では、「再構成された」及び「復号化された」という用語は互換的に使用することができ、「ピクセル」及び「サンプル」という用語は互換的に使用することができ、「画像」、「ピクチャ」、及び「フレーム」という用語は互換的に使用することができる。通常では、必ずしもそうではないが、「再構成された」という用語はエンコーダ側で使用され、「復号化された」という用語はデコーダ側で使用される。

本明細書には様々な方法が説明されており、各方法は、説明した方法を実現するための１つ以上のステップ又はアクションを含む。方法を正しく動作させるためにステップ又はアクションの特定の順序が要求されない限りは、特定のステップ及び／又はアクションの順序及び／又は使用を、変更又は組み合わせることができる。

本文書に記載されている様々な方法及び他の態様を使用して、図１及び図２に示したようなビデオエンコーダ１００及びビデオデコーダ２００のモジュール、例えば、イントラ予測モジュール、エントロピ符号化モジュール、及び／又は復号化モジュール（１６０、３６０、１４５、３３０）を変更することができる。更に、本開示の態様は、ＶＶＣ又はＨＥＶＣに限定されず、例えば、既存のものであれ将来開発されるものであれ、他の規格及び勧告、並びに任意のそのような規格及び勧告（ＶＶＣ及びＨＥＶＣを含む）の拡張に適用することができる。特に明記されていない限り、又は技術的に不可能でない限り、本文書に記載されている態様は、個別に又は組み合わせて使用することができる。

本文書では、例えば、｛｛１，０｝、｛３，１｝、｛１，１｝｝のように様々な数値が使用されている。具体的な値は例示を目的としており、記載されている態様はこれらの具体的な値に限定されるものではない。

図１は、エンコーダ１００を示している。このエンコーダ１００の変形形態が考えられるが、明確さを目的として、以下では予想されるすべての変形形態を記載することなく、エンコーダ１００について説明する。

ビデオシーケンスは、符号化される前に、符号化前処理（１０１）を受け得、例えば、入力カラーピクチャに色変換を適用する（例えば、ＲＧＢ ４：４：４からＹＣｂＣｒ ４：２：０への変換）、圧縮に対してより耐性のある信号分布を得るために入力ピクチャ成分の再マッピングを実行する（例えば、色成分の１つのヒストグラム等化を使用する）。メタデータを前処理に関連付けて、ビットストリームに付加することができる。

エンコーダ１００では、以下に説明するエンコーダ要素によってピクチャが符号化される。符号化されるピクチャは、例えば、ＣＵというユニットに分割され（１０２）、処理される。各ユニットは、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化される場合、イントラ予測（１６０）を実行する。インターモードでは、動き推定（１７５）及び動き補償（１７０）が実行される。エンコーダは、ユニットの符号化にイントラモード又はインターモードのうちのいずれか１つを使用するかを決定し（１０５）、イントラ／インターの決定を、例えば、予測モードフラグによって示す。予測残差は、例えば、元の画像ブロックから予測されたブロックを減算する（１１０）ことによって計算される。

次に、予測残差が変換され（１２５）、量子化される（１３０）。量子化された変換係数と、動きベクトル及び他のシンタックス要素がエントロピ符号化され（１４５）、ビットストリームを出力する。エンコーダは、変換をスキップして、変換されていない残差信号に量子化を直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち残差は、変換処理又は量子化処理を適用することなく直接符号化される。

エンコーダは、更なる予測のための参照データを提供するため、符号化されたブロックを復号化する。予測残差を復号化するため、量子化された変換係数が逆量子化され（１４０）、逆変換される（１５０）。復号化された予測残差と予測されたブロックを合成して（１５５）、画像ブロックが再構成される。再構成されたピクチャにインループフィルタ（１６５）が適用され、例えば、デブロッキング／ＳＡＯ（サンプル適応オフセット：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）フィルタリングを実行し、符号化アーチファクトを低減する。フィルタリングされた画像が、参照ピクチャバッファ（１８０）に格納される。

図２は、ビデオデコーダ２００のブロック図を示している。デコーダ２００では、以下に説明するデコーダ要素によってビットストリームが復号化される。ビデオデコーダ２００は、一般に、図１に説明したような符号化パスとは逆向きの復号化パスを実行する。エンコーダ１００は、一般に、ビデオデータの符号化の一部としてビデオの復号化も実行する。

デコーダの入力はビデオビットストリームを含み、このビットストリームはビデオエンコーダ１００によって生成することができる。ビットストリームは、最初にエントロピ復号化され（２３０）、変換係数、動きベクトル、及び他の符号化された情報を得る。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。したがってデコーダは、復号化されたピクチャ分割情報に従ってピクチャを分割することができる（２３５）。予測残差を復号化するために、変換係数が逆量子化（２４０）及び逆変換（２５０）される。復号化された予測残差と予測されたブロックを合成し（２５５）、画像ブロックを再構成する。予測されたブロックは、イントラ予測（２６０）又は動き補償された予測（すなわちインター予測）（２７５）から得ることができる（２７０）。再構成された画像にインループフィルタ（２６５）が適用される。フィルタリングされた画像が、参照ピクチャバッファ（２８０）に格納される。

復号化されたピクチャは、復号化後処理（２８５）を更に受けることができ、例えば、逆色変換（例えば、ＹＣｂＣｒ ４：２：０からＲＧＢ ４：４：４への変換）、又は符号化前処理（１０１）で実行された再マッピング処理の逆を実行する逆再マッピングである。復号化後処理では、符号化前処理で導出されてビットストリームでシグナリングされたメタデータを使用することができる。

図３は、様々な態様及び実施形態が実装されているシステムの一例のブロック図を示している。システム１０００は、以下に説明する様々な構成要素を含むデバイスとして具現化することができ、本文書に説明する態様のうちの１つ以上を実行するように構成されている。このようなデバイス装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続型家電、及びサーバなどの様々な電子デバイスが挙げられるが、これらに限定されない。システム１０００の要素は、単独で又は組み合わせて、単一の集積回路、複数のＩＣ、及び／又はディスクリート部品において具現化することができる。例えば、少なくとも一実施形態において、システム１０００の処理要素及びエンコーダ／デコーダ要素は、複数のＩＣ及び／又はディスクリート部品に分散される。様々な実施形態において、システム１０００は、例えば、通信バスを介して、又は専用の入力ポート及び／又は出力ポートを通じて、他の同様のシステム、又は他の電子デバイスに通信可能に結合される。様々な実施形態において、システム１０００は、本文書に記載されている態様のうちの１つ以上を実装するように構成されている。

システム１０００は、例えば、本文書に記載された様々な態様を実装するために、自身にロードされた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、組み込みメモリ、入力出力インターフェース、及び当該技術分野で既知である他の様々な回路を含むことができる。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス及び／又は不揮発性メモリデバイス）を含む。システム１０００は、記憶デバイス１０４０を含み、この記憶デバイスは、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、及び／若しくは光ディスクドライブを含むが、これらに限定されない、不揮発性メモリ並びに／又は揮発性メモリを含むことができる。記憶デバイス１０４０は、非限定的な例として、内部記憶デバイス、外付け記憶デバイス、及び／又はネットワークアクセス可能な記憶デバイスを含むことができる。

システム１０００は、例えば、データを処理して符号化ビデオ又は復号化ビデオを提供するように構成されたエンコーダ／デコーダモジュール１０３０を含み、エンコーダ／デコーダモジュール１０３０は、それ自身のプロセッサ及びメモリを含むことができる。エンコーダ／デコーダモジュール１０３０は、符号化機能及び／又は復号化機能を実行するためにデバイスに含めることのできるモジュールを表す。既知であるように、デバイスは、符号化モジュール及び復号化モジュールの一方又は両方を含むことができる。更に、エンコーダ／デコーダモジュール１０３０は、システム１０００の別個の要素として実装することができる、又は当業者に既知であるように、ハードウェア及びソフトウェアの組み合わせとしてプロセッサ１０１０内に組み込むことができる。

本文書に記載された様々な態様を実行するためにプロセッサ１０１０又はエンコーダ／デコーダ１０３０にロードされるプログラムコードは、記憶デバイス１０４０に格納することができ、その後、プロセッサ１０１０による実行のためにメモリ１０２０にロードすることができる。様々な実施形態に従って、プロセッサ１０１０、メモリ１０２０、記憶デバイス１０４０、及びエンコーダ／デコーダモジュール１０３０のうちの１つ以上は、本文書に記載された処理の実行中に様々な項目のうちの１つ以上を格納することができる。そのような格納される項目としては、入力ビデオ、復号化されたビデオ又は復号化されたビデオの一部、ビットストリーム、行列、変数、更には方程式、数式、演算、及び演算論理の処理からの中間結果又は最終結果が挙げられるが、これらに限定されない。

いくつかの実施形態では、プロセッサ１０１０及び／又はエンコーダ／デコーダモジュール１０３０の内部のメモリは、命令を格納するためと、符号化又は復号化中に必要とされる処理のためのワーキングメモリを提供するために使用される。しかしながら、別の実施形態では、処理デバイス（処理デバイスは例えば、プロセッサ１０１０又はエンコーダ／デコーダモジュール１０３０のいずれかとすることができる）の外部のメモリが、これらの機能のうちの１つ以上のために使用される。外部メモリは、メモリ１０２０及び／又は記憶デバイス１０４０、例えば、ダイナミック揮発性メモリ及び／又は不揮発性フラッシュメモリとすることができる。いくつかの実施形態では、外部不揮発性フラッシュメモリが、テレビのオペレーティングシステムを格納するために使用される。少なくとも一実施形態では、ＲＡＭなどの高速な外部ダイナミック揮発性メモリが、ＭＰＥＧ－２、ＨＥＶＣ、又はＶＶＣ（多用途ビデオコーディング）などのビデオ符号化動作及び復号化動作のためのワーキングメモリとして使用される。

システム１０００の要素への入力は、ブロック１１３０に示されるように、様々な入力デバイスを通じて提供することができる。このような入力デバイスとしては、（ｉ）例えば、放送局によって無線で送信されるＲＦ信号を受信するＲＦ部、（ｉｉ）コンポジット入力端子、（ｉｉｉ）ＵＳＢ入力端子、及び／又は（ｉｖ）ＨＤＭＩ入力端子が挙げられるが、これらに限定されない。

様々な実施形態において、ブロック１１３０の入力デバイスは、当該技術分野で既知であるように、関連するそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望の周波数を選択する（信号を選択する、又は信号を特定の周波数帯域に帯域制限するとも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）（例えば）特定の実施形態においてチャネルと称され得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限する、（ｉｖ）ダウンコンバートされて帯域制限された信号を復調する、（ｖ）エラー訂正を実行する、及び（ｖｉ）逆多重化してデータパケットの所望のストリームを選択する、ために必要な要素を関連付けることができる。様々な実施形態のＲＦ部は、これらの機能を実行する１つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。ＲＦ部は、例えば、受信信号をより低い周波数（例えば、中間周波数又はベースバンドに近い周波数）又はベースバンドにダウンコンバートすることを含む、これらの機能のうちの様々な機能を実行するチューナを含むことができる。セットトップボックスの一実施形態では、ＲＦ部及びその関連する入力処理要素は、有線（例えば、ケーブル）媒体を介して送信されるＲＦ信号を受信し、所望の周波数帯域にフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上述した（及び他の）要素の順序を並べ替える、これらの要素の一部を削除する、及び／又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、既存の要素の間に要素を挿入すること、例えば、増幅器及びアナログ－デジタル変換器を挿入することを含むことができる。様々な実施形態において、ＲＦ部は、アンテナを含む。

更に、ＵＳＢ端子及び／又はＨＤＭＩ端子は、システム１０００をＵＳＢ接続及び／又はＨＤＭＩ接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な側面、例えば、リード－ソロモンエラー訂正は、例えば、必要に応じて、別個の入力処理ＩＣ内で実装する、又はプロセッサ１０１０内で実装することができることを理解されたい。同様に、ＵＳＢ又はＨＤＭＩインターフェース処理の側面は、必要に応じて、別個のインターフェースＩＣ内で、又はプロセッサ１０１０内で実装することができる。復調されてエラー訂正され、更に逆多重化されたストリームは、出力デバイス上に提示するための必要に応じてデータストリームを処理するため、例えば、プロセッサ１０１０、並びにメモリ及びストレージ要素と組み合わせて動作するエンコーダ／デコーダ１０３０を含む様々な処理要素に提供される。

システム１０００の様々な要素は、統合されたハウジング内に設けることができ、統合されたハウジング内では、様々な要素は、適切な接続構成１１４０、例えば、Ｉ２Ｃバス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して相互に接続され、互いの間でデータを送信することができる。

システム１０００は、通信チャネル１０６０を介して他のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０は、通信チャネル１０６０を介してデータを送信及び受信するように構成された送受信機を含むことができるが、これらに限定されない。通信インターフェース１０５０は、モデム又はネットワークカードを含むことができるが、これらに限定されず、通信チャネル１０６０は、例えば、有線媒体及び／又は無線媒体内に実装することができる。

データは、様々な実施形態において、ＩＥＥＥ８０２．１１などの無線ネットワークを使用して、システム１０００にストリーミングされる。これらの実施形態の無線信号は、例えば、Ｗｉ－Ｆｉ通信用に適合された通信チャネル１０６０及び通信インターフェース１０５０を介して受信される。これらの実施形態の通信チャネル１０６０は、一般には、ストリーミングアプリケーション及び他のオーバーザトップ通信を可能にするためにインターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。別の実施形態では、入力ブロック１１３０のＨＤＭＩ接続を介してデータを配信するセットトップボックスを使用して、システム１０００にストリーミングデータを提供する。更に別の実施形態では、入力ブロック１１３０のＲＦ接続を使用してシステム１０００にストリーミングデータを提供する。

システム１０００は、ディスプレイ１１００、スピーカ１１１０、及び他の周辺デバイス１１２０を含む様々な出力デバイスに出力信号を提供することができる。他の周辺デバイス１１２０は、実施形態の様々な例において、スタンドアロンＤＶＲ、ディスクプレーヤー、ステレオシステム、照明システム、及びシステム１０００の出力に基づいて機能を提供する他のデバイス、のうちの１つ以上を含む。様々な実施形態において、制御信号は、ＡＶ．Ｌｉｎｋ、ＣＥＣ、又はユーザ介入あり又はなしでデバイス間制御を可能にする他の通信プロトコルなどのシグナリングを使用して、システム１０００とディスプレイ１１００、スピーカ１１１０、又は他の周辺デバイス１１２０との間で通信される。出力デバイスは、それぞれのインターフェース１０７０、１０８０、及び１０９０を通じた専用接続を介してシステム１０００に通信可能に結合することができる。代替的に、出力デバイスは、通信インターフェース１０５０を介して通信チャネル１０６０を使用してシステム１０００に接続することができる。ディスプレイ１１００及びスピーカ１１１０は、例えば、テレビなどの電子デバイスにおいて、システム１０００の他の構成要素とともに単一ユニットに統合することができる。様々な実施形態において、ディスプレイインターフェース１０７０は、ディスプレイドライバ、例えば、タイミングコントローラ（timing controller、Ｔ Ｃｏｎ）チップを含む。

代替的に、例えば、入力１１３０のＲＦ部が個別のセットトップボックスの一部である場合、ディスプレイ１１００及びスピーカ１１１０を他の構成要素のうちの１つ以上から分離することができる。ディスプレイ１１００及びスピーカ１１１０が外部構成要素である様々な実施形態では、出力信号は、例えば、ＨＤＭＩポート、ＵＳＢポート、又はＣＯＭＰ出力を含む専用の出力接続を介して提供することができる。

実施形態は、プロセッサ１０１０によって実装されるコンピュータソフトウェアによって、又はハードウェアによって、又はハードウェアとソフトウェアの組み合わせによって、実行することができる。非限定的な例として、実施形態は、１つ以上の集積回路によって実装することができる。メモリ１０２０は、技術環境に適した任意のタイプとすることができ、非限定的な例として、光学メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及び取り外し可能なメモリなどの任意の適切なデータ記憶技術を使用して実装することができる。プロセッサ１０１０は、技術環境に適した任意のタイプとすることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、特殊目的コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサ、のうちの１つ以上を包含することができる。

様々な実装形態は、復号化することを含む。本出願で使用される「復号化」は、例えば、表示するのに適した最終出力を生成するために、受信した符号化シーケンスに対して実行される処理のすべて又は一部を包含することができる。様々な実施形態において、このような処理は、例えば、エントロピ復号化、逆量子化、逆変換、及び差動復号化など、デコーダによって一般的に実行される処理のうちの１つ以上を含む。様々な実施形態において、このような処理は、これらに加えて、又は代替的に、例えば、様々なイントラ予測参照配列（intra prediction reference arrays）に使用される重みのインデックスを抽出するなど、本出願に説明される様々な実装形態のデコーダによって実行される処理を含む。

更なる例として、一実施形態では「復号化」はエントロピ復号化のみを指し、別の実施形態では「復号化」は差動復号化のみを指し、別の実施形態では「復号化」はエントロピ復号化及び差動復号化の組み合わせを指す。「復号化処理」という句が、操作のサブセットを具体的に指すことを意図しているか、又はより広範な復号化処理を一般的に指すことを意図しているかは、特定の説明の文脈に基づいて明らかになり、当業者にはよく理解されると考えられる。

様々な実装形態は、符号化することを含む。本出願で使用される「符号化」は、「復号化」に関する上記の説明と同様に、例えば、符号化されたビットストリームを生成するために入力ビデオシーケンスに対して実行される処理のすべて又は一部を包含することができる。様々な実施形態において、このような処理は、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化など、エンコーダによって一般的に実行される処理のうちの１つ以上を含む。様々な実施形態において、このような処理は、これらに加えて、又は代替的に、例えば、イントラ予測参照配列の重み付けなど、本出願に説明される様々な実装形態のエンコーダによって実行される処理を含む。

更なる例として、一実施形態では、「符号化」は、エントロピ符号化のみを指し、別の実施形態では、「符号化」は、差動符号化のみを指し、別の実施形態では、「符号化」は、差動符号化とエントロピ符号化との組み合わせを指す。「符号化処理」という句が、操作のサブセットを具体的に指すことを意図しているか、又はより広範な符号化処理を一般的に指すことを意図しているかは、特定の説明の文脈に基づいて明らかになり、当業者にはよく理解されると考えられる。

本明細書で使用されるシンタックス要素は、説明上の用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。

図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法／処理のフローチャートも提供するものと理解されたい。

様々な実施形態では、レート歪み計算又はレート歪み最適化に言及している。符号化処理時、通常では、しばしば計算の複雑性の制約が与えられて、レートと歪みの間のバランス又はトレードオフが考慮される。レート歪み最適化は、通常、レートと歪みの加重和であるレート歪み関数を最小化するように定式化される。レート歪み最適化問題を解くには、様々なアプローチがある。例えば、これらのアプローチは、すべての考慮されるモード又は符号化パラメータ値を含むすべての符号化オプションの広範なテストに基づき得、それらの符号化コスト、並びに符号化及び復号化後の再構成された信号の関連する歪みの完全な評価を伴う。また、符号化の複雑さを軽減するために、より高速なアプローチ、特に、再構成された信号ではなく、予測又は予測残差信号に基づく近似歪みの計算を使用することもできる。これらの２つのアプローチを組み合わせて使用することもでき、例えば、可能な符号化オプションの一部のみに対して近似歪みを使用し、他の符号化オプションに対しては完全な歪みを使用することができる。別のアプローチでは、可能な符号化オプションのサブセットのみを評価する。より一般的には、多くのアプローチは、最適化を実行するために様々な技術のいずれかを採用するが、最適化は、必ずしも符号化コスト及び関連する歪みの両方の完全な評価ではない。

本明細書に記載された実装形態及び態様は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形式の実装形態の文脈でのみ説明されている場合でも（例えば、方法としてのみ説明されている）、説明された特徴の実装形態は、他の形式（例えば、装置又はプログラム）でも実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて実装することができる。方法は、例えば、プロセッサにおいて実装することができ、プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスを指す。更にプロセッサは、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「portable/personal digital assistant、ＰＤＡ」）、及びエンドユーザ間の情報の通信を容易にする他のデバイスなどの通信デバイスを含む。

「一実施形態」又は「実施形態」又は「一実装形態」又は「実装形態」、及びそれらの他の変形形態の言及は、実施形態に関連して説明される特定の特徴、構造、特性などが、少なくとも一実施形態に含まれることを意味する。したがって、本文書を通じて様々な場所に現れる「一実施形態において」又は「実施形態において」又は「一実装形態において」又は「実装形態において」という句、及び他の変形は、必ずしもすべてが同じ実施形態を指すわけではない。

更に、本文書は、様々な情報を「決定すること」に言及し得る。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又はメモリから情報を取得することのうちの１つ以上を含むことができる。

更に、本文書は、様々な情報に「アクセスすること」に言及し得る。情報にアクセスすることは、例えば、情報を受信すること、（例えば、メモリから）情報を取得すること、情報を格納すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を決定すること、情報を予測すること、又は情報を推定することのうちの１つ以上を含むことができる。

更に、本文書は、様々な情報を「受信する」ことに言及し得る。受信することは、「アクセスする」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は（例えば、メモリから）情報を取得することのうちの１つ以上を含むことができる。更に、「受信する」は、一般には、例えば、情報を格納する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を決定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。

「／」、「及び／又は」、「のうちの少なくとも１つ」のいずれかの使用、例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ」、「Ａ及びＢのうちの少なくとも１つ」の場合、最初にリストされた選択肢（Ａ）のみの選択、又は２番目にリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することを意図しているものと理解されたい。更なる例として、「Ａ、Ｂ、及び／又はＣ」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ」の場合、このような句は、最初にリストされた選択肢（Ａ）のみの選択、又は２番目にリストされた選択肢（Ｂ）のみの選択、又は３番目にリストされた選択肢（Ｃ）のみの選択、又は、最初及び２番目にリストされた選択肢（Ａ及びＢ）のみの選択、又は、最初及び３番目にリストされた選択肢（Ａ及びＣ）のみの選択、又は、２番目及び３番目にリストされた選択肢（Ｂ及びＣ）のみの選択、又は３つの選択肢（Ａ及びＢ及びＣ）すべての選択、を包含するように意図されている。このことは、当該技術分野及び関連技術分野の通常の技術を有する者に明らかであるように、リストされた項目の数だけ拡張することができる。

また、本明細書で使用される「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。例えば、特定の実施形態では、エンコーダは、イントラ予測参照配列に使用される複数の重みのうちの特定の１つをシグナリングする。このように、ある実施形態では、同じパラメータがエンコーダ側とデコーダ側の両方で使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信する（明示的なシグナリング）ことができる。逆に、デコーダがすでにその特定のパラメータ及び他のパラメータを有する場合は、単にデコーダがその特定のパラメータを認識及び選択することを可能にするように、送信を行わないシグナリング（暗黙的なシグナリング）を使用することができる。実際の機能の送信を回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成できることを理解されたい。例えば、１つ以上のシンタックス要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上の説明は、語「信号（signal）」の動詞形に関するものであるが、語「信号」は、本明細書では名詞としても使用され得る。

この当業者には明らかであるように、実装形態では、例えば、格納又は送信することができる情報を伝えるようにフォーマットされた様々な信号を生成することができる。これらの情報は、例えば、方法を実行するための命令、又は説明されている実装形態の１つによって生成されるデータを含むことができる。例えば、説明されている実施形態のビットストリームを伝えるように信号をフォーマットすることができる。このような信号は、例えば、電磁波として（例えば、スペクトルの無線周波数部分を使用する）、又はベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化すること、及び符号化されたデータストリームで搬送波を変調することを含むことができる。信号が伝える情報は、例えば、アナログ情報又はデジタル情報とすることができる。信号は、既知であるように、様々な異なる有線リンク又は無線リンクを介して送信することができる。信号は、プロセッサ可読媒体に格納することができる。

実施形態は、様々な異なる請求項のカテゴリ及びタイプにわたり、以下の特徴又はエンティティの１つ以上を単独又は組み合わせにおいて含むことができる。
・最大変換サイズに関係なく、決定されたサイズまでのコード化ユニットのマトリックスベースのイントラ予測を有効化すること。
・コード化ユニットのサイズが最大変換サイズよりも大きいときに、変換ユニットのタイリングを有効化すること。
・低周波数非分離性変換（low-frequency non-separable transform、ＬＦＮＳＴ）を決定されたサイズまで有効化すること。
・いかなる変換ユニットも、変換としてＤＣＴ２を使用していないかどうかを示すが、そのように示されている場合、ＬＦＮＳＴを許可しないシンタックス要素についてビットストリームに含めること、又はビットストリームをチェックすること。
・説明したシンタックス要素又はそのバリエーションのうちの１つ以上を含むビットストリーム又は信号。
・説明したシンタックス要素又はそのバリエーションのうちの１つ以上を含むビットストリーム又は信号を作成及び／又は送信及び／又は受信及び／又は復号化すること。
・説明した実施形態のいずれかに従ってインループフィルタリングを実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・説明した実施形態のいずれかに従ってインループフィルタリングを実行し、得られた画像を（例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して）表示するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・符号化された画像を含む信号を受信するために（例えば、チューナを使用して）チャネルをチューニングし、説明した実施形態のいずれかに従ってインループフィルタリングを実行する、テレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
・符号化された画像を含む信号を（例えば、アンテナを使用して）無線で受信し、説明した実施形態のいずれかに従ってインループフィルタリングを実行するテレビ、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。

様々な他の一般化された、並びに特定化された発明及び請求項も、本開示全体を通じてサポート及び企図されている。

Claims (14)

1. ビデオ符号化のための方法であって、
   最大変換ブロックサイズに関係なく、ブロックに対して、マトリックスベースイントラ予測（ＭＩＰ）を有効化するステップと、
   前記ブロックのブロックサイズが前記最大変換ブロックサイズよりも大きい場合、前記ブロックを前記最大変換ブロックサイズの複数の変換ユニットに分割するステップと、
   前記最大変換ブロックサイズの各ブロックのマトリックスベースイントラ予測を実行して、予測を取得するステップと、
   前記予測に基づいて、前記ブロックを符号化するステップと
   を備える方法。
2. 前記最大変換ブロックサイズは３２×３２である請求項１の方法。
3. 前記ブロックサイズは６４×６４、６４×３２または３２×６４である請求項１の方法。
4. 装置であって、
   １つ以上のプロセッサと、
   前記１つ以上のプロセッサと結合された少なくとも１つのメモリとを備え、
   前記１つ以上のプロセッサは、
   最大変換ブロックサイズに関係なく、ブロックに対して、マトリックスベースイントラ予測（ＭＩＰ）を有効化すること、
   前記ブロックのブロックサイズが前記最大変換ブロックサイズよりも大きい場合、前記ブロックを前記最大変換ブロックサイズの複数の変換ユニットに分割すること、
   前記最大変換ブロックサイズの各ブロックのマトリックスベースイントラ予測を実行して、予測を取得すること、および、
   前記予測に基づいて、前記ブロックを符号化すること
   を実施するように構成された
   装置。
5. 前記最大変換ブロックサイズは３２×３２である請求項４の装置。
6. 前記ブロックサイズは６４×６４、６４×３２または３２×６４である請求項４の装置。
7. ビデオ復号化のための方法であって、
   最大変換ブロックサイズに関係なく、ブロックに対して、マトリックスベースイントラ予測（ＭＩＰ）を有効化するステップと、
   前記ブロックのブロックサイズが前記最大変換ブロックサイズよりも大きい場合、前記ブロックを前記最大変換ブロックサイズの複数の変換ユニットに分割するステップと、
   前記最大変換ブロックサイズの各ブロックのマトリックスベースイントラ予測を実行して、予測を取得するステップと、
   前記予測に基づいて、前記ブロックを復号化するステップと
   を備える方法。
8. 前記最大変換ブロックサイズは３２×３２である請求項７の方法。
9. 前記ブロックサイズは６４×６４、６４×３２または３２×６４である請求項７の方法。
10. 装置であって、
    １つ以上のプロセッサと、
    前記１つ以上のプロセッサと結合された少なくとも１つのメモリとを備え、
    前記１つ以上のプロセッサは、
    最大変換ブロックサイズに関係なく、ブロックに対して、マトリックスベースイントラ予測（ＭＩＰ）を有効化すること、
    前記ブロックのブロックサイズが前記最大変換ブロックサイズよりも大きい場合、前記ブロックを前記最大変換ブロックサイズの複数の変換ユニットに分割すること、
    前記最大変換ブロックサイズの各ブロックのマトリックスベースイントラ予測を実行して、予測を取得すること、および、
    前記予測に基づいて、前記ブロックを復号化すること
    を実施するように構成された
    装置。
11. 前記最大変換ブロックサイズは３２×３２である請求項１０の装置。
12. 前記ブロックサイズは６４×６４、６４×３２または３２×６４である請求項１０の装置。
13. デバイスであって、
    請求項４または１０に記載の装置と、
    （ｉ）前記ブロックを含む信号を受信するように構成されたアンテナ、（ｉｉ）前記受信された信号を、前記ブロックを含む周波数帯域に制限するよう構成されたバンドリミッタ、および（ｉｉｉ）ビデオブロックを表す出力を表示するよう構成されたディスプレイのうちの少なくとも１つと、
    を備えたデバイス。
14. プロセッサに、請求項１乃至３または７乃至９のいずれかに記載の方法を実施させるコンピュータプログラムを含む、非一時的なコンピュータ可読媒体。