JP7654407B2 - 可変重みを使用する複数参照イントラ予測 - Google Patents

Description

本実施形態の少なくとも１つは、概して、ビデオコード化または復号化のための方法または装置に関し、より詳細には、ビデオエンコーダまたはビデオデコーダ用に、可変重みを用いる複数参照イントラ予測を使用するための方法または装置に関する。

高い圧縮効率を達成するために、画像およびビデオ符号化方式は、通常、動きベクトル予測を含む予測および変換を用いて、ビデオコンテンツの空間的および時間的冗長性を利用する。一般に、イントラ予測またはインター予測は、フレーム内またはフレーム間の相関を活用するために使用され、次いで、予測誤差または予測残差と呼ばれることが多い、元の画像と予測された画像との間の差は、変換され、量子化され、エントロピー符号化される。ビデオを再構築するために、圧縮データは、エントロピー符号化、量子化、変換、および予測に対応する逆プロセスによって復号化される。

先行技術の欠点および不利な点は、コード化および復号化におけるブロック形状適応型イントラ予測方向に向けられた、本明細書に説明される一般的な態様によって対処される。

第１の態様によれば、方法が提供される。方法は、ビデオデータのブロックに隣接する再構築されたサンプルから複数の参照配列を形成するステップであって、上記再構築されたサンプルは、ビデオデータの上記ブロックから１つ以上の位置であるピクセル位置に位置する、形成するステップと、複数の重みセットから選択された重みセットを、複数の参照配列のうちの１つ以上に適用することによって、ビデオデータのブロックのターゲットピクセルをそれぞれ予測するステップと、ビデオのブロックのターゲットピクセルの最終的なイントラ予測を、重み付けされた参照配列の１つ以上からそれぞれの予測の関数として計算するステップと、予測を使用してビデオのブロックをコード化するステップと、を含む。

別の態様によれば、第２の方法が提供される。方法は、ビデオデータのブロックに隣接する再構築されたサンプルから複数の参照配列を形成するステップであって、上記再構築されたサンプルは、ビデオデータのブロックから１つ以上の位置であるピクセル位置に位置する、形成するステップと、複数の重みセットから選択された重みセットを、複数の参照配列のうちの１つ以上に適用することによって、ビデオデータのブロックのターゲットピクセルをそれぞれ予測するステップと、ビデオのブロックのターゲットピクセルの最終的なイントラ予測を、重み付けされた参照配列の１つ以上からそれぞれの予測の関数として計算するステップと、予測を使用してビデオのブロックを復号化するステップと、を含む。

別の態様によれば、装置が提供される。装置は、プロセッサを含む。プロセッサは、前述の方法のいずれかを実行することにより、ビデオのブロックをコード化するか、またはビットストリームを復号化するように構成することができる。

少なくとも１つの実施形態の別の一般的な態様によれば、復号化実施形態のいずれかによる装置と、（ｉ）信号を受信するように構成されたアンテナであって、信号は、ビデオブロックを含む、アンテナ、（ｉｉ）受信した信号を、ビデオブロックを含む周波数の帯域に制限するように構成された帯域制限器、または（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも１つと、を含む、デバイスが提供される。

少なくとも１つの実施形態の別の一般的な態様によれば、説明されたコード化実施形態または変形のいずれかに従って生成されたデータコンテンツを含む非一時的なコンピュータ可読媒体が提供される。

少なくとも１つの実施形態の別の一般的な態様によれば、説明されたコード化実施形態または変形のいずれかに従って生成されたビデオデータを含む信号が提供される。

少なくとも１つの実施形態の別の一般的な態様によれば、ビットストリームが、説明されたコード化実施形態または変形のいずれかに従って生成されたデータコンテンツを含むようにフォーマットされる。

少なくとも１つの実施形態の別の一般的な態様によれば、命令を含むコンピュータプログラム製品が提供され、命令は、プログラムがコンピュータによって実行されると、コンピュータに、説明された復号化実施形態または変形のいずれかを実施させる。

これらおよび他の態様、特徴、および一般的な態様の利点は、添付の図面に関連して読まれる例示的な実施形態の以下の詳細な説明から明らかになるであろう。

ＨＥＶＣでのイントラ予測のための参照サンプルと、Ｐ（ｘ，ｙ）で示す座標におけるピクセル値を示す。 ＨＥＶＣでのイントラ予測方向を示す。 マルチ参照イントラ予測の一例を示す。 ２つの参照を用いるイントラ予測を示す。図４（ａ）は、ターゲットピクセルの２つの参照サンプル間にある第２の参照配列上の予測子を得るために、予測方向が拡張されていることを示す。図４（ｂ）は、参照サンプル上に直接ある第２の予測子を示す。 標準の一般的なビデオ圧縮方式を示す。 標準の一般的なビデオ解凍方式を示す。 イントラ予測情報を復号化（解析）するための例示的なフロー図を示す。 イントラ予測情報をコード化するための例示的なフロー図を示す。 事前コード化処理および画像分割セクションを有するコード化方式を示す。 復号化後処理を有する復号化方式を示す。 説明された実施形態を実装することができる典型的なプロセッサ構成を示す。 可変重みを使用する複数参照イントラ予測を使用するコード化方法の一実施形態を示す。 可変重みを使用する複数参照イントラ予測を使用する別の復号化方法の一実施形態を示す。 可変重みを使用する複数参照イントラ予測を使用するコード化または復号化のための装置の一実施形態を示す。

本明細書に説明される一般的な態様は、画像およびビデオ圧縮の分野に関与し、空間予測に重点を置いている。従来のコーデックは、フレームを、重複しない大きな正方形のブロック、例えば、Ｈ．２６５／ＨＥＶＣの符号化木単位（ＣＴＵ）（高効率ビデオ符号化、ＩＴＵ－Ｔ Ｈ．２６５ ＩＴＵの電気通信標準化部門、「Ｓｅｒｉｅｓ Ｈ： Ａｕｄｉｏｖｉｓｕａｌ ａｎｄ Ｍｕｌｔｉｍｅｄｉａ Ｓｙｓｔｅｍｓ， Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ｏｆ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ － Ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｖｉｄｅｏ， Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ」。２０１４年１０月。）、またはＶＰ９のスーパーブロック（「ＡＶ１ Ｂｉｔｓｔｒｅａｍ ＆ Ｄｅｃｏｄｉｎｇ Ｐｒｏｃｅｓｓ Ｓｐｅｃｉｆｉｃａｔｉｏｎ」。Ｔｈｅ Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ）に分割する。これらは、以下では、ＣＴＵと呼ぶ。これらのブロックは、次に、再帰木に従って、より小さなブロック、すなわち、符号化単位（ＣＵ）に分割される。ＨＥＶＣおよびＡＶ１では、ブロックの最大サイズは６４×６４に設定されている。このサイズは、共同ビデオ専門家チーム（ＪＶＥＴ）が研究中の次の標準Ｈ．２６６／ＶＶＣ（バーサタイルビデオ符号化）で少なくとも１２８×１２８に増加する可能性がある。

これらのブロックをコード化するために、イントラ予測を使用して、以前に再構築された隣接サンプルを使用してブロックの推定バージョンを提供する。次に、ソースブロックと予測の差がコード化される。上記の従来のコーデックでは、現在のブロックの左および上にある単一ラインの参照サンプルが使用される。

最近の研究では、複数の参照ラインの使用が導入された。所与の予測方向に沿った複数のラインからのサンプルの重み付けされた組み合わせが計算され、現在のブロックに埋め込まれた。

本明細書に説明される態様では、この方法は、エンコーダが、考慮されるラインに適用される異なる重みセットを選択することができるように拡張される。選択されたセットは、次に、ブロックごとにデコーダに送信される。

説明される態様によって解決される１つの問題は、ブロックを、以前に再構築されたその近隣のブロックを使用してどのように効率的に予測するかである。

まず、最新の標準Ｈ．２６５／ＨＥＶＣで実行されるイントラ予測について説明する。ＨＥＶＣのイントラ予測プロセスは、３つのステップ、つまり、（１）参照サンプルの生成、（２）サンプル内予測、および（３）予測されたサンプルの後処理で構成される。図１に、参照サンプルの生成プロセスを示す。サイズＮ×Ｎの予測単位（ＰＵ）の場合、上にある２Ｎの復号化されたサンプルの行が、現在のＰＵの以前に再構築された上および右上のピクセルから形成される。同様に、左の２Ｎサンプルの列が、再構築された左および左下のピクセルから形成される。左上の位置にある隅のピクセルはまた、上の行の参照と左の列の参照とのギャップを埋めるために使用される。対応するＣＵが同じスライスにない、または現在のＣＵがフレーム境界にあるなどの理由で、上または左のサンプルの一部が利用できない場合、参照サンプル置換と呼ばれる方法が実行され、欠損サンプルは、時計回りの方向にある利用可能なサンプルからコピーされる。次に、現在のＣＵサイズと予測モードに応じて、参照サンプルは、指定されたフィルタを使用してフィルタ処理される。

次のステップ、つまり、サンプル内予測は、参照サンプルに基づいてターゲットＣＵのピクセルを予測することから構成される。前述のように、様々な種類のコンテンツを効率的に予測するために、ＨＥＶＣは、様々な予測モードをサポートしている。平面予測モードおよびＤＣ予測モードは、滑らかで徐々に変化する領域を予測するために使用されるが、角度予測モードは、異なる方向性構造をキャプチャするために使用される。ＨＥＶＣは、２から３４までのインデックスが付けられた３３の方向性予測モードをサポートする。これらの予測モードは、図２に示すように、様々な予測方向に対応する。

マルチ参照イントラ予測とは、複数の行および列の参照ピクセルを使用したイントラ予測を指す（図３）。これは、任意ティア参照イントラ予測またはマルチラインイントラ予測とも呼ばれる。画像処理では、相関性が高いことから、１次予測モデルを使用するのが一般的である。イントラ予測で１つの行および列を参照として使用する理由は元々これに基づいており、また、他の復号化された行および列はターゲットブロックのピクセルから離れており、ターゲットブロックに関する追加情報をあまり追加しないという事実に基づいていた。これは、以前の標準で予測方向の数が少なく（例えば、≦７）、ブロックサイズも小さい（例えば、≦８）ときは問題はなかった。しかし、ＨＥＶＣでは、予測単位のサイズが６４×６４に増加し、それに伴い、対応して角度予測方向の数が３３に増加している。将来の標準について、最大１２９の角度予測モードの数で最大２５６×２５６のブロックサイズが研究されている。これを考慮すると、追加のメモリおよび複雑さによるコストと符号化利得との間のトレードオフが許容できるときには、参照に追加の行および列の復号化されたピクセルを使用することは理にかなっている。

ターゲットピクセルの予測サンプルが上の参照配列上の２つの参照サンプルの間にあるときの垂直角度予測モード（例えば、図４（ａ））について検討する。この場合、ＨＥＶＣでは、前のセクションで述べたように、予測サンプルは線形補間される。予測サンプルは単なる推定値である。予測方向をもう１行だけ延長すると、ラインは、別の点で２番目の行と交差する。ピクセルの２番目の行は、最初の行よりわずかに遠いが、画像内のオブジェクト構造の方向性から、２番目の行の推定値は、最初の行よりも適切な推定値になる可能性がある。場合によっては、ちょうど復号化されたピクセルの場所で２番目の行と交差することさえ可能である（例えば、図４（ｂ））。この考えに基づいて、複数の参照に基づいて、ターゲットブロックを予測することは理にかなっている。

異なる参照行／列のペアを参照する場合、「参照層」という用語を使用する。したがって、参照層１は、ターゲットブロックの隣の参照行および列（つまり、ＨＥＶＣの通常の参照）を意味し、参照層２は、参照層１の隣の参照行および列を意味し、以下同様である。

予測を行うには、前のセクションで述べたように、参照層に対応する上および左の参照配列を形成する。これらは、参照配列１、参照配列２などと呼ばれる。参照配列ｎ、ｎ＝１、２、…は、予測モードがそれぞれ垂直方向と水平方向のどちらに対応するかに応じて、上の参照配列または左の参照配列のいずれかを意味することができることに留意されたい。

以前の研究では、各層の参照サンプルは、ＨＥＶＣまたはＪＥＭの参照サンプル生成アルゴリズムに従う。次に、これらのサンプルを使用して参照配列が形成される。正の角度のモード（ＨＥＶＣではモード２～１０および２６～３４）では、ｎ番目の参照配列は、単にｎ番目の参照層の上の参照サンプルである。
次に、（ｘ，ｙ）におけるターゲットピクセルの予測は次のとおりに計算される。
ここで、ｗ₁、ｗ₂、…、ｗ_Nは、エンコーダおよびデコーダの両方に認識されている重みである。ここで、_Nは、イントラ予測に使用される参照層の数を表す。実装の便宜のために、重みは次のように正規化される。
Ｋはある正の整数。

この方法では、重みは、シーケンスのすべてのブロックに対して選択され、固定され、これは、本明細書に説明される態様によって対処される１つの問題である。

本明細書に説明される態様では、イントラ予測のために参照サンプルの異なるラインに適用される異なる重みセットの中から最適な構成をエンコーダに選択させることによって、以前の研究で提案されたマルチ参照イントラ予測方式が拡張される。次に、選択された重み、つまり、可能な選択肢のリスト内のそれらのインデックスが、ブロックごとにデコーダに送信される。

例として、短縮単項符号化を使用すると、３つの可能なセットの中から１つの選択肢を示すために２ビットを送信することが可能である。例示的な重みセット｛｛１，０｝、｛３，１｝、｛１，１｝｝がテストされる。３つの可能なセットのそれぞれについて、最初の数字は、参照サンプルの最も近いラインに適用される重みを表し、２番目の数字は、参照サンプルの２番目のラインに適用される重みに対応する。ただし、一般的な態様は、２つのラインの参照サンプルの使用に限定されない。

この例示的な構成は実装およびテストされており、表１に、ＪＶＥＴテストセットの各シーケンスの最初のフレーム上のイントラ構成でのＪＶＥＴのテストモデルＶＴＭと比較したビットレートの削減結果を示す。影響を受けたコーデックモジュールは、図９のイントラ予測ブロックステップ１６０または図１０のステップ２６０である。

本明細書に説明される態様は、エンコーダが、ブロックごとに異なる重みセットを使用して予測を最適化することが可能であるように、以前の研究を拡張する。以前の研究では、重みは固定されている。マルチ参照イントラ予測のアクティブ化は、送信されたフラグを使用して行われる。しかしながら、本明細書の態様では、各ブロックに適用される重みの選択に関連する情報を符号化する方法が異なるいくつかの変形について説明する。

図７では、重みの符号化がイントラモードに依存する、主要な実施形態の１つに対応する例が説明されている。複数のラインを使用することは、例えば、ＤＣモードおよび平面モードのような他のモードよりも方向性イントラモードに有利である。その場合、第１のステップ７１０は、予測モードを復号化することからなる。モードをマルチ参照予測に適合させることができる場合（７２０）、重みセットのインデックスが復号化される（７３０）。それ以外の場合は、従来のイントラ予測が実行される。

同様のフローチャートが、必要な送信されたインデックスを符号化するプロセスについて説明し、これを図８に示す。重みセットは、任意の２進符号化で符号化することができる。

例として、短縮単項符号化を使用すると、３つの可能なセットの中から１つの選択肢を示すために２ビットを送信することが可能である。例示的な重みセット｛｛１，０｝、｛３，１｝、｛１，１｝｝がテストされ、輝度ブロックのみに適用されると、表１に示す結果が得られる。３つの可能なセットのそれぞれについて、最初の数字は、参照サンプルの最も近いラインに適用される重みを表し、２番目の数字は、参照サンプルの２番目のラインに適用される重みに対応する。ただし、説明される態様は、２つのラインの参照サンプルの使用に限定されない。最終的な重みは正規化され、つまり、それぞれ｛１，４，２｝で除算される。この例では、最初の重みのペアは、従来のイントラ予測に対応する。

エンコーダ側では、基本的な考え方は、すべての異なるセットを試し、最適な重み、つまり、従来のレート歪み最適化（ＲＤＯ）を使用して最適なレート／歪み（ＲＤ）コストを提供する解決策を選択することである。これには、イントラモードごとに、予測の各バージョンを重みでコード化し、コストを比較する必要があり、この結果、エンコーダの実行時間が増加する。複雑さの観点からオーバーヘッドを削減するための様々な解決策について説明する。

まず、従来のエンコーダには通常、イントラ予測決定のための２つのパスが含まれている。第１の（高速）パスは、多数のイントラモード（ＨＥＶＣでは３３）の中から最適なモードのサブセットを、そのレート／歪み（ＲＤ）コストをブロックの完全なコード化を実行することなく推定することによって選択する。次に、選択したモードで完全なＲＤ計算が実行され、最適なモードが選択される。

次に、第１のパスで重みの選択を実行し、第２のパスで処理されるペア｛イントラモード，重みのインデックス｝を保持することが可能である。これにより、利得の大部分を保持しながら、コード化の実行時間が短縮される。

高速パスでモードを選択し、選択されたイントラモードのみで最適な重みを評価する別の高速パスを追加することも可能である。ここでも、この推定は、ブロックの完全なコード化には依拠せず、残差のコストの推定に依拠する。

構文に関して、いくつかの実施形態を、以下に説明されるように検討することができる。

実施形態１
可変重みを用いるマルチ参照イントラ予測は、方向性イントラモードのみ、または方向性モードのセットに適用される。イントラ予測情報の復号化またはコード化は、それぞれ図７または図８に説明されるステップに従って実行される。

実施形態２
可変重みを用いるマルチ参照イントラ予測は、すべてのイントラモードに適用される。この場合、イントラモードを復号化する必要はなく、重みセットのインデックスがブロックごとに解析される。イントラ予測情報の復号化およびコード化は、それぞれ図７または図８で説明されるステップに従って実行される。

実施形態３
可変重みを用いるマルチ参照予測が輝度成分のみに適用される実施形態１または２。これにより、彩度成分のための追加ビットの符号化が削減される。彩度ブロックの予測プロセスは、単一ラインの参照サンプルを使用する従来の予測であるか、またはブロック全体で変化しない固定の重みセットを用いるマルチ参照サンプルのいずれかとすることができる。

実施形態４
彩度成分の予測が、輝度についてなされた選択に従う、実施形態１または２。これは、彩度ブロックの分割が輝度に従うか、または、例えば、彩度ブロックの中央もしくは左上のピクセルを使用して、輝度分割内のその位置を導出する、特定のマッピングが設定されていることを必要とする。

実施形態５
インデックスが単項短縮符号化を使用して符号化される、実施形態１または２。
上記の３つの重みセット｛｛１，０｝、｛３，１｝、｛１，１｝｝の例を使用すると：
第１のビンは、最初のセット｛１，０｝が選択されているかどうかを示す（値０）。
第１のビンが１に等しい場合、第２のビンが解析されて２番目のセット｛３，１｝（値０）または３番目の｛１，１｝（値１）が選択される。

実施形態６
複数参照イントラ予測が、大きいブロック、例えば、１６サンプルといったサイズよりも大きい高さまたは幅を有するブロックに対してのみ実行される、実施形態１または２。

実施形態７
重みセット、参照ラインの数が、送信されたインデックスに加えて、予測方向、またはブロックサイズ／形状（正方形／長方形…）、成分ＩＤに依存する、実施形態１または２。事前定義されたテーブル（予測方向とブロック形状によってインデックス付けされている）を使用して、インデックスを実際の重みセットに変換することができる。

実施形態８
重みセット、参照ラインの数が予測子の位置に依存する、実施形態１または３。この実施形態は、ピクセルごとに依存する重みを使用する。実施形態は、予測子が上のラインから来る場合はサブセット１を使用し、予測子が左の列から来る場合はサブセット２を使用することができる。

本文書では、ツール、特徴、実施形態、モデル、アプローチなどを含む多種多様な態様について説明する。これらの態様の多くは、特異的に説明されており、少なくとも個々の特性を示すために、限定的に聞こえ得るように説明されることが多い。しかしながら、これは説明を明確にするためのものであり、これらの態様の適用または範囲を限定するものではない。実際、様々な態様のすべてを組み合わせ、かつ交換し、さらなる態様を提供することができる。さらに、これらの態様は、以前の出願で説明された態様と組み合わせ、かつ交換することもできる。

本文書で説明および企図される態様は、多くの異なる形式で実装できる。以下の図９、図１０、および図１１は、いくつかの実施形態を提供するが、他の実施形態が企図されており、図９、図１０、および図１１の考察は、実装形態の幅を限定するものではない。これらの態様のうちの少なくとも１つは、概して、ビデオコード化および復号化に関し、少なくとも１つの他の態様は、概して、生成またはコード化されたビットストリームを送信することに関する。これらおよび他の態様は、方法、装置、説明された方法のいずれかに従ってビデオデータをコード化または復号化するための命令を記憶したコンピュータ可読記憶媒体、および／または説明された方法のいずれかに従って生成されるビットストリームを記憶したコンピュータ可読記憶媒体として実装できる。

本出願では、「再構築された」および「復号化された」という用語は互換的に使用され得、「ピクセル」および「サンプル」という用語は互換的に使用され得、「画像」、「ピクチャ」および「フレーム」という用語は互換的に使用され得る。必ずしもではないが、通常は、「再構築された」という用語は、エンコーダ側で使用され、一方で「復号化された」は、デコーダ側で使用される。

様々な方法が本明細書で説明されており、各方法は、説明された方法を達成するための１つ以上のステップまたは動作を含む。本方法の正しい運用のために特定のステップまたは動作の順序が必要でない限り、特定のステップおよび／または動作の順序および／または使用を、修正するかまたは組み合わせてもよい。

本文書に説明されている様々な方法および他の態様を使用して、図９および図１０に示すように、モジュール、例えば、ビデオエンコーダ１００およびデコーダ２００のイントラ予測モジュール、エントロピー符号化モジュール、および／または復号化モジュール（１６０、３６０、１４５、３３０）を修正することができる。さらに、本態様はＶＶＣまたはＨＥＶＣに限定されず、例えば、既存であるかまたは将来開発されるかどうかにかかわらず、他の標準および推奨事項、ならびにそのような標準および推奨事項（ＶＶＣおよびＨＥＶＣを含む）の拡張に適用することができる。特に明記されていない限り、または技術的に除外されていない限り、本文書で説明されている態様は、個別に、または組み合わせて使用できる。

本文書では、例えば、｛｛１，０｝，｛３，１｝，｛１，１｝｝といった、様々な数値を使用している。これらの特定の値は例示を目的とし、説明される態様はこれらの特定の値に限定されない。

図９は、エンコーダ１００を示す。このエンコーダ１００の変形が企図されるが、エンコーダ１００は、すべての予想される変形を説明することなく、明確にするために以下に説明される。

コード化される前に、ビデオシーケンスは事前コード化処理（１０１）、例えば、入力色ピクチャに色変換（例えば、ＲＧＢ ４：４：４からＹＣｂＣｒ ４：２：０への変換）を適用すること、または、（例えば、色成分の１つのヒストグラム等化を使用して）圧縮に対してより復元力のある信号分布を得るために、入力ピクチャ成分の再マッピングを実行することを経る場合がある。メタデータは事前処理に関連付けられ得、ビットストリームに添付され得る。

エンコーダ１００において、ピクチャは、以下に説明するように、エンコーダの要素によってコード化される。コード化されるピクチャは、分割され（１０２）、例えば、ＣＵの単位で処理される。各単位は、例えば、イントラモードまたはインターモードのいずれかを使用してコード化される。単位がイントラモードでコード化されるとき、イントラ予測を実行する（１６０）。インターモードにおいて、動き推定（１７５）および動き補償（１７０）が行われる。エンコーダは、イントラモードまたはインターモードのどちらをその単位のコード化に使用するかを判断し（１０５）、例えば、予測モードフラグによって、イントラ／インター判断を示す。予測残差は、例えば、元の画像ブロックから予測されたブロックを減算すること（１１０）によって、計算される。

次いで、予測残差が変換され（１２５）、量子化される（１３０）。量子化された変換係数に加えて、動きベクトルおよび他の構文要素は、ビットストリームを出力するためにエントロピー符号化される（１４５）。エンコーダは、変換をスキップし、非変換残差信号に直接量子化を適用し得る。エンコーダは、変換および量子化の両方をバイパスすることもでき、すなわち、残差は、変換または量子化プロセスを適用せずに直接符号化される。

エンコーダは、コード化されたブロックを復号化して、さらに予測するための参照を提供する。量子化された変換係数は非量子化され（１４０）、逆変換され（１５０）、予測残差を復号化する。復号化された予測残差と予測されたブロックとを組み合わせて（１５５）、画像ブロックが再構築される。ループ内フィルタ（１６５）は、再構築されたピクチャに適用され、例えば、デブロッキング／ＳＡＯ（サンプル適応オフセット）フィルタリングを行い、コード化アーティファクトを低減する。フィルタリングされた画像は、参照ピクチャバッファ（１８０）に記憶される。

図１０は、ビデオデコーダ２００のブロック図を示す。デコーダ２００において、ビットストリームは、以下に説明するように、デコーダの要素によって復号化される。ビデオデコーダ２００は、一般に、図９で説明したようなコード化パスの逆の復号化パスを実行する。エンコーダ１００はまた、一般に、ビデオデータをコード化することの一部としてビデオ復号化を実行する。

特に、デコーダの入力は、ビデオエンコーダ１００によって生成され得るビデオビットストリームを含む。まず、ビットストリームがエントロピー復号化され（２３０）、変換係数、動きベクトル、および他の符号化された情報を取得する。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。したがって、デコーダは、復号化されたピクチャ分割情報に従ってピクチャを分割することができる（２３５）。変換係数は非量子化され（２４０）、逆変換され（２５０）、予測残差を復号化する。復号化された予測残差と予測されたブロックとを組み合わせて（２５５）、画像ブロックが再構築される。予測されたブロックは、イントラ予測（２６０）または動き補償予測（すなわち、インター予測）（２７５）から取得され得る（２７０）。ループ内フィルタ（２６５）は、再構築された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に記憶される。

復号化されたピクチャは、復号化後処理（２８５）、例えば、逆色変換（例えば、ＹＣｂＣｒ ４：２：０からＲＧＢ ４：４：４への変換）または事前コード化処理（１０１）で行われる再マッピングプロセスの逆を実行する逆再マッピングをさらに経ることができる。復号化後処理では、事前コード化処理で導出され、ビットストリームで信号通知されるメタデータを使用することができる。

図１１は、様々な態様および実施形態が実装されているシステムの一例のブロック図を示す。システム１０００は、以下で説明される様々な構成要素を含むデバイスとして具現化することができ、本文書で説明される態様の１つ以上を実行するように構成される。このようなデバイスの例には、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオ記録システム、コネクテッド家電、およびサーバなどの様々な電子デバイスが含まれるが、これらに限定されない。システム１０００の要素は、単独でも組み合わせでも、１つの集積回路、複数のＩＣ、および／または個別部品に具体化され得る。例えば、少なくとも１つの実施形態において、システム１０００の処理およびエンコーダ／デコーダ要素は、複数のＩＣおよび／または個別部品にわたって分散している。様々な実施形態において、システム１０００は、例えば、通信バスを介して、または専用の入力および／または出力ポートを通して、他の同様のシステムに、または他の電子デバイスに通信可能に結合される。様々な実施形態において、システム１０００は、本文書に説明される態様のうちの１つ以上を実装するように構成される。

システム１０００は、例えば、本文書に説明される様々な態様を実装する際に、読み込まれた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、当技術分野で周知であるように、埋め込みメモリ、入出力インターフェース、および他の様々な回路を含み得る。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス、および／または不揮発性メモリデバイス）を含む。システム１０００は、ストレージデバイス１０４０を含み、これには、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、および／または光ディスクドライブを含むがこれらに限定されない、不揮発性メモリおよび／または揮発性メモリが含まれ得る。ストレージデバイス１０４０は、非限定的な例として、内部ストレージデバイス、付属のストレージデバイス、および／またはネットワークアクセス可能なストレージデバイスを含み得る。

システム１０００は、例えば、コード化されたビデオまたは復号化されたビデオを提供するためにデータを処理するように構成されたエンコーダ／デコーダモジュール１０３０を含み、エンコーダ／デコーダモジュール１０３０は、独自のプロセッサおよびメモリを含み得る。エンコーダ／デコーダモジュール１０３０は、コード化機能および／または復号化機能を実行するデバイスに含まれ得るモジュール（複数可）を表す。周知であるように、デバイスは、コード化モジュールおよび復号化モジュールの一方または両方を含み得る。さらに、エンコーダ／デコーダモジュール１０３０は、システム１０００の別個の要素として実装されてもよく、または、当業者には周知であるように、ハードウェアとソフトウェアとの組み合わせとして、プロセッサ１０１０内に組み込まれてもよい。

本文書に説明される様々な態様を実行するようにプロセッサ１０１０またはエンコーダ／デコーダ１０３０に読み込まれるプログラムコードは、ストレージデバイス１０４０に格納され、続いて、プロセッサ１０１０による実行のためにメモリ１０２０に読み込まれ得る。様々な実施形態によれば、プロセッサ１０１０、メモリ１０２０、ストレージデバイス１０４０、およびエンコーダ／デコーダモジュール１０３０のうちの１つ以上は、本文書に説明されるプロセスの実行中、様々な項目のうちの１つ以上を格納することができる。このような格納される項目には、入力ビデオ、復号化されたビデオまたは復号化されたビデオの一部、ビットストリーム、行列、変数、ならびに方程式、式、演算、およびオペレーショナルロジックの処理からの中間結果または最終結果が含まれ得るが、これらに限定されない。

いくつかの実施形態において、プロセッサ１０１０および／またはエンコーダ／デコーダモジュール１０３０の内部のメモリを使用して、命令を格納し、コード化または復号化中に必要とされる処理のために、ワーキングメモリを提供する。しかしながら、他の実施形態において、処理デバイス（例えば、処理デバイスは、プロセッサ１０１０またはエンコーダ／デコーダモジュール１０３０のいずれかであり得る）の外部のメモリは、これらの機能のうちの１つ以上に使用される。外部メモリは、メモリ１０２０および／またはストレージデバイス１０４０、例えば、ダイナミック揮発性メモリおよび／または不揮発性フラッシュメモリであり得る。いくつかの実施形態において、テレビのオペレーティングシステムを格納するのに外部不揮発性フラッシュメモリが使用される。少なくとも１つの実施形態において、ＲＡＭなどの高速外部ダイナミック揮発性メモリが、ＭＰＥＧ－２、ＨＥＶＣ、またはＶＶＣ（バーサタイルビデオ符号化）など、ビデオ符号化および復号化作業に、ワーキングメモリとして使用される。

システム１０００の要素への入力は、ブロック１１３０に示されるような様々な入力デバイスを通して提供され得る。このような入力デバイスには、（ｉ）例えば、放送局によって無線通信で送信されたＲＦ信号を受信するＲＦ部、（ｉｉ）コンポジット入力端子、（ｉｉｉ）ＵＳＢ入力端子、および／または（ｉｖ）ＨＤＭＩ入力端子が含まれるが、これらに限定されない。

様々な実施形態において、ブロック１１３０の入力デバイスは、当技術分野で周知であるような関連するそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望の周波数を選択し（信号を選択する、またはある周波数帯域に信号を帯域制限する、とも呼ばれる）、（ｉｉ）選択された信号をダウンコンバートし、（ｉｉｉ）（例えば）ある特定の実施形態ではチャネルと呼ばれ得る信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限し、（ｉｖ）ダウンコンバートされ、帯域制限された信号を復調し、（ｖ）誤差補正を実行する、（ｖｉ）逆多重化して、所望のデータパケットストリームを選択するのに必要な要素に関連付けられ得る。様々な実施形態のＲＦ部には、これらの機能、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤差補正器、およびデマルチプレクサを実行する１つ以上の要素が含まれる。ＲＦ部には、例えば、受信された信号をより低い周波数に（例えば、中間周波数またはベースバンド付近の周波数）、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実行するチューナが含まれ得る。１つのセットトップボックス実施形態において、ＲＦ部およびその関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体経由で送信されたＲＦ信号を受信し、フィルタ処理し、ダウンコンバートし、再びフィルタ処理して所望の周波数帯域にすることによって、周波数選択を実行する。様々な実施形態では、上記（および他の）要素の順番が並べ替えられ、これらの要素のうちのいくつかが取り除かれ、かつ／または同様もしくは異なる機能を実行する他の要素が加えられる。要素を加えることには、既存の要素間に要素を挿入すること、例えば、増幅器およびアナログ－デジタル変換器を挿入することが含まれ得る。様々な実施形態において、ＲＦ部には、アンテナが含まれる。

また、ＵＳＢおよび／またはＨＤＭＩ端子は、ＵＳＢおよび／またはＨＤＭＩ接続にわたる他の電子デバイスにシステム１０００を接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リード・ソロモン誤差補正が、例えば、必要に応じて、別個の入力処理ＩＣ内またはプロセッサ１０１０内に実装され得ることを理解されたい。同様に、ＵＳＢまたはＨＤＭＩインターフェース処理の態様が、必要に応じて、別個のインターフェースＩＣ内またはプロセッサ１０１０内に実装され得る。例えば、出力デバイス上で提示するために、必要に応じて、データストリームを処理するために、メモリとストレージ要素との組み合わせで動作する、例えば、プロセッサ１０１０、およびエンコーダ／デコーダ１０３０を含む、様々な処理要素に、復調され、誤差補正され、かつ逆多重化されたストリームが提供される。

システム１０００の様々な要素は、一体型ハウジング内に提供され得、一体型ハウジング内では、様々な要素は、相互接続して、好適な接続配置１１４０、例えば、Ｉ２Ｃバス、配線、およびプリント回路基板を含む、当技術分野で周知であるような内部バスを使用して、それらの間でデータを送信することができる。

システム１０００は、通信チャネル１０６０を介して他のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０には、通信チャネル１０６０経由でデータを送受信するように構成されたトランシーバが含まれ得るが、これに限定されない。通信インターフェース１０５０には、モデムまたはネットワークカードが含まれ得るが、これらに限定されず、通信チャネル１０６０は、例えば、有線および／または無線媒体内に実装され得る。

様々な実施形態において、データは、ＩＥＥＥ８０２．１１などの無線ネットワークを使用して、システム１０００にストリーミングされる。これらの実施形態の無線信号は、例えば、Ｗｉ－Ｆｉ通信に適合された通信チャネル１０６０および通信インターフェース１０５０を介して受信される。これらの実施形態の通信チャネル１０６０は、通常、アクセスポイントまたはルータに接続され、アクセスポイントまたはルータは、アプリケーションをストリーミングすることおよび他の過度な通信を可能にするために、インターネットを含む外側ネットワークへのアクセスを提供する。他の実施形態は、入力ブロック１１３０のＨＤＭＩ接続経由でデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム１０００に提供する。さらに他の実施形態は、入力ブロック１１３０のＲＦ接続を使用して、ストリーミングされたデータをシステム１０００に提供する。

システム１０００は、ディスプレイ１１００、スピーカ１１１０、および他の周辺デバイス１１２０を含む、様々な出力デバイスに出力信号を提供することができる。他の周辺デバイス１１２０には、様々な実施形態例において、スタンドアローンＤＶＲ、ディスクプレーヤ、ステレオシステム、照明システム、およびシステム１０００の出力に基づき、機能を提供する他のデバイスのうちの１つ以上が含まれる。様々な実施形態において、システム１０００と、ディスプレイ１１００、スピーカ１１１０、または他の周辺デバイス１１２０との間で、ＡＶリンク、ＣＥＣ、またはユーザの介入の有無に関わらず、デバイス・ツー・デバイス制御を可能にする他の通信プロトコルなどの信号通知を使用して、制御信号が伝達される。出力デバイスは、それぞれのインターフェース１０７０、１０８０、および１０９０を通して専用接続を介してシステム１０００に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース１０５０を介して、通信チャネル１０６０を使用してシステム１０００に接続され得る。ディスプレイ１１００およびスピーカ１１１０は、電子デバイス、例えば、テレビ内のシステム１０００の他の構成要素と、単一のユニットにおいて統合され得る。様々な実施形態において、ディスプレイインターフェース１０７０には、ディスプレイドライバ、例えば、タイミングコントローラ（Ｔ Ｃｏｎ）チップが含まれる。

代替的に、ディスプレイ１１００およびスピーカ１１１０は、例えば、入力１１３０のＲＦ部が別個のセットトップボックスの一部である場合、他の構成要素のうちの１つ以上とは別個であってもよい。ディスプレイ１１００およびスピーカ１１１０が外部構成要素である様々な実施形態において、例えば、ＨＤＭＩポート、ＵＳＢポート、またはＣＯＭＰ出力部を含む専用出力接続を介して出力信号が提供され得る。

実施形態は、プロセッサ１０１０によって実装されるコンピュータソフトウェアによって、またはハードウェアによって、またはハードウェアとソフトウェアの組み合わせによって、実施することができる。非限定的な例として、実施形態は、１つ以上の集積回路によって実装され得る。メモリ１０２０は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、および取り外し可能なメモリなどの任意の適切なデータストレージ技術を使用して実装され得る。プロセッサ１０１０は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含し得る。

様々な実装形態には復号化が含まれる。本出願で使用される「復号化」は、表示に適した最終出力を生成するために、例えば、受信したコード化されたシーケンスに対して実行されるプロセスのすべてまたは一部を包含し得る。様々な実施形態では、そのようなプロセスは、典型的にはデコーダによって実行されるプロセスのうちの１つ以上、例えば、エントロピー復号化、逆量子化、逆変換、および差動復号化を含む。様々な実施形態では、そのようなプロセスはまた、または代替的に、本出願で説明される様々な実装形態のデコーダによって実行されるプロセス、例えば、様々なイントラ予測参照配列に使用される重みのインデックスを抽出することを含む。

さらなる例として、一実施形態では、「復号化」は、エントロピー復号化のみを指し、別の実施形態では、「復号化」は、差動復号化のみを指し、別の実施形態では、「復号化」は、エントロピー復号化と差動復号化との組み合わせを指す。「復号化プロセス」という句が、具体的に動作のサブセットを指すことを意図するのか、または一般により広い復号化プロセスを指すことを意図するのかは、特定の説明の文脈に基づいて明確になり、当業者によって十分に理解されると考えられる。

様々な実装形態にはコード化が含まれる。「復号化」に関する上記の考察と同様に、本出願で使用される「コード化」は、コード化されたビットストリームを生成するために、例えば、入力されたビデオシーケンスに対して実行されるプロセスのすべてまたは一部を包含し得る。様々な実施形態では、そのようなプロセスは、典型的にはエンコーダによって実行されるプロセスのうちの１つ以上、例えば、分割、差分コード化、変換、量子化、およびエントロピーコード化を含む。様々な実施形態では、そのようなプロセスはまた、または代替的に、本出願で説明される様々な実装形態のエンコーダによって実行されるプロセス、例えば、イントラ予測参照配列の重み付けを含む。

さらなる例として、一実施形態では、「コード化」は、エントロピーコード化のみを指し、別の実施形態では、「コード化」は、差分コード化のみを指し、別の実施形態では、「コード化」は、差分コード化とエントロピーコード化との組み合わせを指す。「コード化プロセス」という句が、具体的に動作のサブセットを指すことを意図するのか、または一般により広いコード化プロセスを指すことを意図するのかは、特定の説明の文脈に基づいて明確になり、当業者によって十分に理解されると考えられる。

本明細書で使用されている構文要素は、説明的な用語であることに留意されたい。そのため、これらは、他の構文要素名の使用を排除するものではない。

図がフロー図として提示されるとき、それは対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示されるとき、それは対応する方法／プロセスのフロー図も提供することを理解されたい。

様々な実施形態は、レート歪み計算またはレート歪み最適化を参照する。特に、コード化プロセス中、しばしば計算の複雑さの制約があるとすると、レートと歪みとのバランスまたはトレードオフが通常考慮される。レート歪み最適化は、通常、レートと歪みの加重和であるレート歪み関数を最小化するものとして考案される。レート歪み最適化問題を解決するに、様々なアプローチがある。例えば、アプローチは、考慮されるすべてのモードまたは符号化パラメータ値を含み、符号化および復号化後の再構築された信号の符号化コストおよび関連する歪みの完全な評価が伴うすべてのコード化選択肢の広範なテストに基づき得る。特に、再構築された信号ではなく、予測または予測残差信号に基づく近似歪みの計算を伴う高速のアプローチを、コード化の複雑さを軽減するために使用することもできる。可能なコード化選択肢の一部にのみ近似歪みを使用し、他のコード化選択肢には完全歪みを使用するなどによって、これら２つのアプローチを組み合わせて使用することもできる。他のアプローチでは、可能なコード化選択肢のサブセットのみを評価する。より一般的には、多くのアプローチが最適化を実行するために様々な手法のいずれかを採用するが、最適化は必ずしも符号化コストと関連する歪みの両方の完全な評価ではない。

本明細書で説明された実装形態および態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装され得る。単一の実装形態の文脈でのみ考察された（例えば、方法としてのみ考察された）としても、考察された特徴の実装形態はまた、他の形態（例えば、装置またはプログラム）で実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアに実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスを含む処理デバイス全般を指す、例えば、プロセッサに実装することができる。プロセッサは、通信デバイス、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタンス（「ＰＤＡ」）、およびエンドユーザ間の情報の伝達を容易にする他のデバイスなども含む。

「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」もしくは「実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」または「一実装形態（ｏｎｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）」もしくは「実装形態（ａｎ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）」、ならびにそれらの他の変形への言及は、実施形態に関連して説明された特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本文書全体にわたって様々な箇所においてみられる、「一実施形態では」もしくは「実施形態では」または「一実装形態では」もしくは「実装形態では」という句、ならびに任意の他の変形の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。

さらに、本文書は、情報の様々な部分を「決定すること」に言及する場合がある。情報の決定には、例えば、情報の推定、情報の計算、情報の予測、またはメモリからの情報の検索のうちの１つ以上が含まれ得る。

さらに、本文書は、情報の様々な部分に「アクセスすること」に言及する場合がある。情報へのアクセスには、例えば、情報の受信、（例えば、メモリからの）情報の検索、情報の記憶、情報の移動、情報のコピー、情報の計算、情報の決定、情報の予測、または情報の推定のうちの１つ以上が含まれ得る。

さらに、本文書は、情報の様々な部分を「受信すること」に言及する場合がある。受信は、「アクセスすること」と同様に、広義の用語であることが意図されている。情報の受信には、例えば、情報へのアクセス、または（例えば、メモリからの）情報の検索のうちの１つ以上が含まれ得る。さらに、「受信すること」は、典型的には、何らかの方法で、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、または情報の推定などの動作中に関与する。

例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、ならびに「ＡおよびＢのうちの少なくとも１つ」の場合、「／」、「および／または」、および「のうちの少なくとも１つ」のいずれかの使用は、最初に挙げた選択肢（Ａ）のみの選択、または２番目に挙げた選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を網羅することを意図していることを理解されたい。さらなる例として、「Ａ、Ｂ、および／またはＣ」ならびに「Ａ、ＢおよびＣのうちの少なくとも１つ」の場合、このような言い回しは、最初に挙げた選択肢（Ａ）のみの選択、または２番目に挙げた選択肢（Ｂ）のみの選択、または３番目に挙げた（Ｃ）のみの選択、または最初および２番目に挙げた選択肢（ＡおよびＢ）のみの選択、または最初および３番目に挙げた選択肢（ＡおよびＣ）のみの選択、または２番目および３番目に挙げた選択肢（ＢおよびＣ）のみの選択、または３つすべての選択肢（Ａ、ＢおよびＣ）の選択、を網羅することを意図している。これは、当技術分野および関連技術分野の当業者には明らかであるように、挙げられる項目の数だけ拡張することができる。

また、本明細書で使用される場合、「信号で知らせる（」という単語は、とりわけ、対応するデコーダに何かを指示することを指す。例えば、特定の実施形態では、エンコーダは、イントラ予測参照配列に使用される複数の重みのうちの特定の１つを信号で知らせる。このように、一実施形態では、同じパラメータがエンコーダ側とデコーダ側との両方で使用される。したがって、例えば、エンコーダが特定のパラメータをデコーダに送信（明示的なシグナリング）し、これにより、デコーダは同じ特定のパラメータを使用することができる。逆に、デコーダがすでに特定のパラメータと他のパラメータを持っている場合は、送信を伴わないシグナリングを使用して（暗黙的なシグナリング）、単に、デコーダが特定のパラメータを認識して、選択することができるようにする。任意の実際の関数の送信を回避することにより、様々な実施形態においてビットの削減が実現される。シグナリングは、様々な方法で達成できることを理解されたい。例えば、１つ以上の構文要素、フラグなどは、様々な実施形態において、対応するデコーダに情報を信号で知らせるために使用される。上記は「信号」という単語の動詞形態に関するものであるが、「信号」という単語は本明細書では名詞として使用することもできる。

当業者には明らかであるように、実装形態は、例えば、記憶または送信され得る情報を搬送するようにフォーマットされる多種多様な信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明される実装形態のうちの１つにより生成されたデータを含むことができる。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされてもよい。このような信号は、（例えば、スペクトルの無線周波数部分を使用して）例えば、電磁波として、またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームをコード化することと、搬送波をコード化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログまたはデジタル情報とすることができる。信号は、周知のように、種々の異なる有線または無線リンクを介して送信することができる。信号は、プロセッサ可読媒体上に記憶することができる。

実施形態は、様々な異なる請求項のカテゴリおよびタイプにわたって、以下の特徴またはエンティティのうちの１つ以上を、単独でまたは組み合わせて含み得る。
・デコーダおよび／またはエンコーダに適用されるイントラ予測プロセスを修正すること。
・デコーダおよび／またはエンコーダにおけるいくつかの重み付けされたイントラ予測方法を可能にすること。
・デコーダがイントラ予測参照に適用される重みを識別できるようにする構文要素をシグナリングに挿入すること。
・これらの構文要素に基づいて、デコーダで適用する重みまたは重みセットを選択すること。
・デコーダで重み付けされたイントラ予測を適用すること。
・考察された実施形態のいずれかによるエンコーダで残基を適合させること。
・説明された構文要素またはその変形のうちの１つ以上を含むビットストリームまたは信号。
・デコーダが残差を、エンコーダで使用される残差に対応する方法で適合させることを可能にする構文要素をシグナリングに挿入すること。
・説明された構文要素、またはそれらの変形の１つ以上を含むビットストリームもしくは信号を作成および／または送信および／または受信および／または復号化すること。
・説明された実施形態のいずれかによるイントラ予測参照の重み付けを実行するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・説明された実施形態のいずれかによるイントラ予測参照の重み付けを実行し、結果として得られる画像を（例えば、モニタ、画面、または他のタイプのディスプレイを使用して）表示するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・コード化された画像を含む信号を受信するように（例えば、チューナを使用して）チャネルを選局し、説明された実施形態のいずれかによるイントラ予測参照の重み付けを実行するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。
・コード化された画像を含む信号を（例えば、アンテナを使用して）無線通信で受信し、説明された実施形態のいずれかによるイントラ予測参照の重み付けを実行するテレビ、セットトップボックス、携帯電話、タブレット、または他の電子デバイス。

様々な他の一般化された、ならびに特定化された発明および請求項もまた、本開示全体を通してサポートおよび企図される。

図１２に、本明細書で説明された一般的な態様を使用してビデオデータのブロックをコード化するための方法１２００の一実施形態を示す。方法は、開始ブロック１２０１で始まり、制御は、機能ブロック１２１０に進み、ビデオデータのブロックに隣接する再構築されたサンプルから複数の参照配列を形成し、再構築されたサンプルは、ビデオデータの上記ブロックから１つ以上の位置であるピクセル位置に位置する。次に、制御は、ブロック１２１０からブロック１２２０に進み、複数の重みセットから選択された重みセットを複数の参照配列の１つ以上に適用することによって、ビデオデータのブロックのターゲットピクセルをそれぞれ予測する。制御は、ブロック１２２０からブロック１２３０に進み、ビデオのブロックのターゲットピクセルの最終的なイントラ予測を、重み付けされた参照配列の１つ以上からそれぞれの予測の関数として計算する。次に、制御は、ブロック１２３０からブロック１２４０に進み、予測を使用してビデオのブロックをコード化する。

図１３に、本明細書で説明された一般的な態様を使用してビデオデータのブロックを復号化するための方法１３００の一実施形態を示す。方法は、開始ブロック１３０１で始まり、制御は、機能ブロック１３１０に進み、ビデオデータのブロックに隣接する再構築されたサンプルから複数の参照配列を形成し、再構築されたサンプルは、ビデオデータの上記ブロックから１つ以上の位置であるピクセル位置に位置する。次に、制御は、ブロック１３１０からブロック１３２０に進み、複数の重みセットから選択された重みセットを複数の参照配列の１つ以上に適用することによって、ビデオデータのブロックのターゲットピクセルをそれぞれ予測する。制御は、ブロック１３２０からブロック１３３０に進み、ビデオのブロックのターゲットピクセルの最終的なイントラ予測を、重み付けされた参照配列の１つ以上からそれぞれの予測の関数として計算する。次に、制御は、ブロック１３３０からブロック１３４０に進み、予測を使用してビデオのブロックを復号化する。

図１４は、ビデオデータのブロックをコード化または復号化するための装置１４００の一実施形態を示す。装置は、プロセッサ１４１０を含み、少なくとも１つのポートを介してメモリ１４２０に相互接続することができる。プロセッサ１４１０およびメモリ１４２０の両方はまた、外部接続への１つ以上の追加の相互接続を持つことができる。

プロセッサ１４１０は、ビデオデータのブロックの再構築されたサンプルから複数の参照配列を形成し、複数の重みセットから選択された重みセットを、複数の参照配列の１つ以上に適用することによってビデオデータのブロックのターゲットピクセルをそれぞれ予測し、ビデオのブロックのターゲットピクセルの最終予測を、参照配列の１つ以上からそれぞれの予測の関数として計算し、最終予測を使用してビデオのブロックをコード化するかまたは復号化することによって、ビデオデータをコード化または復号化するように構成される。

Claims (12)

1. ビデオデータのブロックに隣接する１つ以上の行または列からの複数の再構築されたサンプルのうちの１つ以上に重みを適用することによって、前記ビデオデータのブロックのターゲットピクセルを予測することと、
   前記ビデオデータのブロックの前記ターゲットピクセルの少なくとも１つのイントラ予測を、前記重み付けされた予測のうちの１つ以上からの予測の関数として計算することと、
   前記予測を使用して前記ビデオデータのブロックをコード化することと、を含み、
   重みセットに対応するインデックスは、前記重みを、全てのイントラモードについての参照ラインセットに適用するための重みセットに割り当てられ、重みセットは、輝度についてブロック毎に割り当てられ、色成分は、全てのブロックについて、固定の重みセットを用い、重みセットと用いられる参照ラインは、前記ビデオデータのブロックに直接隣接しない参照ラインを含む、方法。
2. プロセッサを含む装置であって、前記プロセッサは、
   ビデオデータのブロックに隣接する１つ以上の行または列からの複数の再構築されたサンプルのうちの１つ以上に重みを適用することによって、前記ビデオデータのブロックのターゲットピクセルを予測することと、
   前記ビデオデータのブロックの前記ターゲットピクセルの少なくとも１つのイントラ予測を、前記重み付けされた予測のうちの１つ以上からの予測の関数として計算することと、
   前記予測を使用して前記ビデオデータのブロックをコード化することと、を実行するように構成され、
   重みセットに対応するインデックスは、前記重みを、全てのイントラモードについての参照ラインセットに適用するための重みセットに割り当てられ、重みセットは、輝度についてブロック毎に割り当てられ、色成分は、全てのブロックについて、固定の重みセットを用い、重みセットと用いられる参照ラインは、前記ビデオデータのブロックに直接隣接しない参照ラインを含む、装置。
3. ビデオデータのブロックに隣接する１つ以上の行または列からの複数の復号化されたサンプルのうちの１つ以上に重みを適用することによって、前記ビデオデータのブロックのターゲットピクセルを予測することと、
   前記ビデオデータのブロックの前記ターゲットピクセルの少なくとも１つのイントラ予測を、前記重み付けされた予測のうちの１つ以上からの予測の関数として計算することと、
   前記予測を使用して前記ビデオデータのブロックを復号化することと、を含み、
   重みセットに対応するインデックスは、前記重みを、全てのイントラモードについての参照ラインセットに適用するための重みセットに割り当てられ、重みセットは、輝度についてブロック毎に割り当てられ、色成分は、全てのブロックについて、固定の重みセットを用い、重みセットと用いられる参照ラインは、前記ビデオデータのブロックに直接隣接しない参照ラインを含む、方法。
4. プロセッサを含む装置であって、前記プロセッサは、
   ビデオデータのブロックに隣接する１つ以上の行または列からの複数の復号化されたサンプルのうちの１つ以上に重みを適用することによって、前記ビデオデータのブロックのターゲットピクセルを予測することと、
   前記ビデオデータのブロックの前記ターゲットピクセルの少なくとも１つのイントラ予測を、前記重み付けされた予測のうちの１つ以上からの予測の関数として計算することと、
   前記予測を使用して前記ビデオデータのブロックを復号化することと、を実行するように構成され、
   重みセットに対応するインデックスは、前記重みを、全てのイントラモードについての参照ラインセットに適用するための重みセットに割り当てられ、重みセットは、輝度についてブロック毎に割り当てられ、色成分は、全てのブロックについて、固定の重みセットを用い、重みセットと用いられる参照ラインは、前記ビデオデータのブロックに直接隣接しない参照ラインを含む、装置。
5. 前記重みは、方向性イントラモードに適用される、請求項１もしくは３に記載の方法。
6. 前記重みは、すべてのイントラモードに適用される、請求項１もしくは３に記載の方法。
7. 前記重みは、輝度成分のみに適用される、請求項５または６に記載の方法。
8. ３つ重みセットが使用される、請求項１もしくは３に記載の方法。
9. 高さまたは幅がＮ個のサンプルより大きいブロックに対して複数参照イントラ予測が実行される、請求項５または６に記載の方法。
10. 前記重みおよび参照ラインの数は、予測子の位置に基づいている、請求項５または７に記載の方法。
11. 請求項４に記載の装置と、
    （ｉ）信号を受信するように構成されたアンテナであって、前記信号は、前記ビデオデータのブロックを含む、アンテナ、
    （ｉｉ）前記受信した信号を、前記ビデオデータのブロックを含む周波数の帯域に制限するように構成された帯域制限器、および
    （ｉｉｉ）前記ビデオデータのブロックを表す出力を表示するように構成されたディスプレイ、
    のうちの少なくとも１つと、を含む、デバイス。
12. 命令を含む、コンピュータプログラムであって、前記命令は、前記コンピュータプログラムがコンピュータによって実行されると、前記コンピュータに、請求項１、３および５～１０のいずれか一項に記載の方法を実施させる、コンピュータプログラム。