JP7701271B2 - 映像符号化のためのon適応ループフィルタリング - Google Patents
映像符号化のためのon適応ループフィルタリング Download PDFInfo
- Publication number
- JP7701271B2 JP7701271B2 JP2021559943A JP2021559943A JP7701271B2 JP 7701271 B2 JP7701271 B2 JP 7701271B2 JP 2021559943 A JP2021559943 A JP 2021559943A JP 2021559943 A JP2021559943 A JP 2021559943A JP 7701271 B2 JP7701271 B2 JP 7701271B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- filter
- alf
- luma
- bitstream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本願は、2019年4月16日出願の国際特許出願第PCT/CN2019/082855号の優先権と利益を主張する、2020年4月16日出願の国際特許出願第PCT/CN2020/085075号に基づく。米国法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
色空間はカラーモデル(またはカラーシステム)としても知られ、色の範囲を数字のタプル(tuple)として簡単に記述する抽象的な数学モデルであり、一般的に、3または4つの値または色成分(例えばRGB)である。基本的には、色空間は座標系とサブ空間とを精緻化したものである。
3つのY’CbCr成分の各々は、同じサンプルレートを有し、従って、クロマサブサンプリングは存在しない。このスキームは、ハイエンドのフィルムスキャナおよび映画のポストプロダクションに使用されることがある。
2つのクロマ成分は、輝度のサンプルレートの半分でサンプリングされ、例えば、水平クロマ解像度が半分にされる。これにより、視覚的にほとんどまたは全く差がなく、非圧縮の映像信号の帯域幅を1/3に低減することができる。
4:2:0では、水平サンプリングは4:1:1に比べて2倍になるが、このスキームではCbおよびCrチャネルを各1行おきのラインでのみサンプリングするので、垂直解像度は半分になる。従って、データレートは同じである。CbおよびCrはそれぞれ水平および垂直方向の両方向に2倍にサブサンプリングされる。異なる水平および垂直位置を有する4:2:0スキームの3つの変形がある。
図1は、3つのインループフィルタリングブロック、すなわち非ブロック化フィルタ(DF)、サンプル適応オフセット(SAO)およびALFを含むVVCのエンコーダブロック図の例を示す。DF(予め規定されたフィルタを使用する)とは異なり、SAOおよびALFは、現在の画像のオリジナルサンプルを利用し、オフセットを追加し、且つ有限インパルス応答(FIR)フィルタを適用することによって、オフセットおよびフィルタ係数を信号通知する符号化側情報とともに、元のサンプルと再構成サンプルとの間の平均二乗誤差をそれぞれ低減する。ALFは、各ピクチャの最後の処理ステージに位置し、前のステージで生成されたアーチファクトを捕捉し、修正しようとするツールと見なすことができる。
JEMにおいて、ブロックに基づくフィルタ適応「3」を用いた形状変換に基づく適応ループフィルタ(GALF)が適用される。輝度成分は、局所勾配の方向および働きに基づいて、2×2ブロックごとに25個のフィルタのうち1つを選択する。
本願において、輝度成分として、最大3つのダイヤモンドフィルタ形状(図2A、図2B、図2Cにそれぞれ示すように、5×5ダイヤモンド、7×7ダイヤモンド、9×9ダイヤモンド)を選択することができる。輝度成分に使用されるフィルタ形状を示すために、ピクチャレベルでインデックスが信号通知される。1つのピクチャにおけるクロマ成分に対して、5×5ダイヤモンド形状が常に使用される。
各2×2ブロックを25個のクラスのうちの1つに分類する。分類インデックスCは、その方向性DおよびアクティビティA^の量子化値に基づいて、以下のように導出される。
そして、水平方向および垂直方向の勾配のD最大値およびD最小値を以下のように設定する。
ステップ1.
ステップ2.
ステップ3.
ステップ4.
アクティビティ値Aは、以下のように計算される。
ピクチャにおける両クロマ成分に対して、分類方法は適用されず、即ち、単一のALF係数のセットが各クロマ成分に対して適用される。
各2×2輝度ブロックをフィルタリングする前に、そのブロックに対して計算された勾配値に基づいて、フィルタ係数f(k,l)に回転または対角線および垂直方向の反転等の幾何学的変換を施す。これは、これらの変換をフィルタ支持領域内のサンプルに適用することに等しい。その考えは、ALFが適用される異なるブロックを、それらの方向性を揃えることによって、より類似させることである。
JEMにおいて、GALFフィルタパラメータは、第1のCTUのために、すなわち、スライスヘッダの後且つ第1のCTUのSAOパラメータの前に信号通知される。最大25組の輝度フィルタ係数を信号通知することができる。ビットオーバーヘッドを低減するために、異なる分類のフィルタ係数をマージすることができる。また、参照ピクチャのGALF係数を記憶し、現在のピクチャのGALF係数として再利用することができる。現在のピクチャは、参照ピクチャのために記憶されたGALF係数を使用し、GALF係数信号通知を回避することを選択してもよい。この場合、1つの参照ピクチャへのインデックスのみが信号通知され、記憶されている示された参照ピクチャのGALF係数が現在のピクチャに継承される。
デコーダ側において、1つのブロックに対してGALFが有効化されると、このブロック内の各サンプルR(i,j)がフィルタリングされ、その結果、以下に示すように、サンプル値R’(i,j)が得られる。ここで、Lは、フィルタ長を表し、fm,nは、フィルタ係数を表し、f(k,l)は、復号化されたフィルタ係数を表す。
図3には、GALFのための全体的なエンコーダ決定処理が示されている。各CUの輝度サンプルに対して、エンコーダは、GALFが適用され、かつ適切な信号通知フラグがスライスヘッダに含まれているか否かを決定する。クロマサンプルの場合、フィルタを適用する決定は、CUレベルではなくピクチャレベルに基づいて行われる。さらに、ピクチャのためのクロマGALFは、このピクチャのために輝度GALFが有効化されている場合にのみチェックされる。
現在のVVCにおけるGALFの設計は、JEMにおける設計に比べ、以下のような大きな変化を有している。
1)適応フィルタ形状を除去する。輝度成分に対しては7×7フィルタ形状のみが許可され、クロマ成分に対しては5×5フィルタ形状のみが許可される。
2)ALFパラメータの時間的予測および固定フィルタからの予測は、両方とも除去される。
3)各CTUに対して、ALFが有効化されるかまたは無効化されるかどうかに関わらず、1ビットのフラグが信号通知される。
4)クラスインデックスの計算は、2×2の代わりに、4×4レベルで行われる。また、JVET-L0147で提案されているように、ALF分類のためのサブサンプリングされたラプラシアン計算方法が利用される。具体的には、1つのブロック内の各サンプルごとに水平/垂直/45対角線/135度勾配を計算する必要がない。その代わりに、1:2サブサンプリングが利用される。
ALFは、インループフィルタリングの最終段階である。この処理には2つの段階がある。第1の段階は、フィルタ係数の導出である。フィルタ係数をトレーニングするために、エンコーダは、再構成された輝度成分の画素を16個の領域に分類し、wiener-hopf方程式を使用して、カテゴリ毎に1つのフィルタ係数のセットをトレーニングし、元のフレームと再構成されたフレームとの間の平均二乗誤差を最小限に抑える。これらの16個のフィルタ係数のセット間の冗長性を低減するために、エンコーダは、ひずみ率性能に基づいてそれらを適応的にマージする。その最大値において、16個の異なるフィルタセットを輝度成分に割り当てることができ、1つのフィルタセットのみをクロミナンス成分に割り当てることができる。第2の段階は、フレームレベルおよびLCUレベルの両方を含むフィルタ決定である。まず、エンコーダは、フレームレベル適応ループフィルタリングを行うかどうかを決定する。フレームレベルALFがオンである場合、エンコーダは、LCUレベルALFを行うかどうかをさらに決定する。
AVS-2に適応されたフィルタ形状は、7×7の十字形であり、輝度成分およびクロマ成分の両方について図5に示すように、3×3の正方形を重ね合わせたものである。図5中の四角はそれぞれサンプルに対応する。従って、合計17個のサンプルを使用して、位置C8のサンプルのためのフィルタリングされた値を導出する。係数を送信するオーバーヘッドを考慮して、点対称フィルタは、9つの係数だけを残して、{C0,C1,・・・,C8}を利用し、これにより、フィルタリングにおけるフィルタ係数の数を半分に減らすと共に乗算の数を減らす。この点対称フィルタは、1つのフィルタリングされたサンプルの計算の半分を減らすこともでき、例えば、1つのフィルタリングされたサンプルに対して9回の乗算および14回の加算演算のみを行う。
異なる符号化エラーに適応するために、AVS-2は、輝度成分のために、領域に基づく複数の適応ループフィルタを採用する。輝度成分は、図6に示すように、各基本領域が最大符号化ユニット(LCU)の境界に位置合わせされた16個の略等分したサイズの基本領域に分割され、領域毎に1つのウィーナーフィルタを導出する。より多くのフィルタを使用するほど、より多くの歪みが低減されるが、これらの係数を符号化するために使用されるビットは、フィルタの数とともに増加する。最良のレートひずみ率を実現するために、これらの領域を、同じフィルタ係数を共有する、より少なく、より大きい領域にマージすることができる。マージ処理を簡単にするために、各領域には、画像の前置相関に基づいて修正されたヒルベルト順に従ってインデックスが割り当てられる。ひずみ率コストに基づいて、インデックスが連続する2つの領域をマージすることができる。
複数のスイッチフラグも使用される。シーケンス切替フラグadaptive_loop_filter_enableは、シーケンス全体に適応ループフィルタを適用するかどうかを制御するために使用するフラグである。画像切り替えフラグpicture_alf_enble[i]、は、対応するi番目の画像成分に対してALFを適用するかどうかを制御する。picture_alf_enble[i]が有効になっている場合にのみ、その色成分に対応するLCUレベルのフラグおよびフィルタ係数を送信する。LCUレベルフラグ、lcu_alf_enable[k]、は、対応するk番目のLCUに対してALFが有効化されるかどうかを制御し、スライスデータにインターリーブされる。異なるレベルの調整済みフラグの決定はすべて、ひずみ率コストに基づく。柔軟性が高いので、ALFは、符号化効率をさらに有意に向上させる。
VTM4.0において、適応ループフィルタのフィルタリング処理は、以下のように行う。
7.1 フィルタリングの再形成
式(11)は、符号化効率に影響を及ぼすことなく、以下の式で再定式化することができる。
上記(13)のフィルタ式を使用することで、単純なクリッピング関数を使用して、近傍のサンプル値(I(x+i,y+j))が現在のサンプル値(I(x,y))のフィルタリングと異なり過ぎている場合に、その影響を低減することで、非線形性を容易に導入し、ALFをより効率的にする。
スライスレベルの時間的フィルタ。 VTM4には適応パラメータセット(APS)が採用された。各APSは、1つのセットの信号通知されたALFフィルタを含み、最大32個のAPSがサポートされる。本提案では、スライスレベルの時間的フィルタを試験する。1つのタイルグループは、APSからのALF情報を再利用することにより、オーバーヘッドを低減することができる。APSは、先入れ先出し(FIFO)バッファとして更新される。
JVET-K1001-v6に基づいて、{{fixed filter}},[[temporal filters]]、[[temporal filters]]および((CTB-based filter index))を使用して、すなわち、2重大括弧、2重角括弧、および2重丸括弧を使って修正する。
((alf_signal_new_filter_luma))が1である場合、新しい輝度フィルタセットが信号通知されることを示す。alf_signal_new_filter_lumaが0である場合、新しい輝度フィルタセットが信号通知されないことを示す。存在しない場合、0である。
{{alf_luma_use_fixed_filter_flag}}が1である場合、適応ループフィルタに信号通知するのに固定フィルタセットを使用することを示す。alf_luma_use_fixed_filter_flagが0である場合、適応ループフィルタを信号通知するのに固定フィルタ使用ないことを示す。
{{alf_luma_fixed_filter_set_index}}は、固定フィルタセットインデックスを示す。それは0...15であり得る。
{{alf_luma_fixed_filter_usage_pattern}}が0である場合、新しいフィルタすべてが固定フィルタを使用することを示す。alf_luma_fixed_filter_usage_patternが1である場合、新しいフィルタのうちいくつかが、固定フィルタを使用し、それ以外は使用しないことを示す。
{{alf_luma_fixed_filter_usage[i]}}が1である場合、i番目のフィルタは固定フィルタを使用することを示す。alf_luma_fixed_filter_usage[i]が0である場合、i番目のフィルタは、固定フィルタを使用しないことを示す。存在しない場合、1と推測される。
((alf_signal_new_filter_chroma))が1である場合、新しいクロマフィルタが信号通知されることを示す。alf_signal_new_filter_chromaが0である場合、新しいクロマフィルタが信号通知されないことを示す。
(((alf_num_available_temporal_filter_sets_luma))は、現在のスライスに使用できる利用可能な時間的フィルタセットの数を示す。この数は0...5であり得る。存在しない場合、0である。
変数alf_num_available_filter_setsは、16+alf_signal_new_filter_luma+alf_num_available_temporal_filter_sets_lumaとして導出される。
((alf_signal_new_filter_lumaが1の場合は、下記の処理))
sigFiltIdx=0..alf_luma_num_filters_signalled_minus1,j=0..11を有する変数フィルタCoefficients[sigFiltIdx][j]は、次のように初期化される。
filterCoefficients[sigFiltIdx][j]=alf_luma_coeff_delta_abs[sigFiltIdx][j]*(1-2*alf_luma_coeff_delta_sign[sigFiltIdx][j]) (7-50)
alf_luma_coeff_delta_prediction_flagが1である場合、sigFiltIdx=1..alf_luma_num_filters_signalled_minus1およびj=0..11を有するfilterCoefficients[sigFiltIdx][j]は、次のように修正される。
filterCoefficients[sigFiltIdx][j]+=filterCoefficients[sigFiltIdx-1][j] (7-51)
filtIdx=0..NumAlfFilters-1,j=0..11の要素AlfCoeffL[filtIdx][j]を有する輝度フィルタ係数AlfCoeffLは、以下のように導出される。
AlfCoeffL[filtIdx][j]=filterCoefficients[alf_luma_coeff_delta_idx[filtIdx]][j] (7-52)
{{alf_luma_use_fixed_filter_flagが1で、alf_luma_fixed_filter_usage[filtidx]が1の場合、以下が適用される。
AlfCoeffL[filtIdx][j]=AlfCoeffL[filtIdx][j]+AlfFixedFilterCoeff[AlfClassToFilterMapping[alf_luma_fixed_filter_index][filtidx]][j]}}
filtIdx=0..NumAlfFilters-1に対する最後のフィルタ係数AlfCoeffL[filtIdx][12]は、以下のように導出される。
AlfCoeffL[filtIdx][12]=128-Σk(AlfCoeffL[filtIdx][k]<<1),with k=0..11 (7-53)
filtIdx=0..NumAlfFilters-1,j=0..11の場合、AlfCoeffL[filtIdx][j]の値は、-27~27-1の範囲内とし、AlfCoeffL[filtIdx][12]の値は、0~28-1の範囲内とすることが、ビットストリーム適合性の要件である。
((輝度フィルタ係数))filtSetIdx=0..15、filtSetIdx=0..NumAlfFilters-1、j=0..12の場合、要素AlfCoeffLumaAll[filtSetIdx][filtIdx][j]を有するAlfCoeffLumaAllは、下記のようにして導出される。
AlfCoeffLumaAll[filtSetIdx][filtIdx][j]={{AlfFixedFilterCoeff[AlfClassToFilterMapping[}}filtSetIdx{{][filtidx]][j]}}
((輝度フィルタ係数))filtSetIdx=16,filtSetIdx=0..NumAlfFilters-1およびj=0..12を有するAlfCoeffLumaAll with elements AlfCoeffLumaAll[filtSetIdx][filtIdx][j]は次のようにして導出される。
変数closest_temporal_indexは、-1に初期化される。Tidは、現在のスライスの時間層インデックスである。
((alf_signal_new_filter_lumaが1ならば))
AlfCoeffLumaAll[16][filtIdx][j]=AlfCoeffL[filtIdx][j]
((そうでない場合は、以下の処理が呼び出される))。
for(i=Tid;i>=0;i--)
{
for(k=0;k<temp_size_L;k++)
{
if(tempTid_L[k]==i)
{
closest_temporal_index is set as k;
break;
}
}
}
AlfCoeffLumaAll[16][filtIdx][j]=TempL[closest_temporal_index][filtIdx][j]
((輝度フィルタ係数))filtSetIdx=17..alf_num_available_filter_sets-1,filtSetIdx=0..NumAlfFilters-1 and j=0..12の場合、要素AlfCoeffLumaAll[filtSetIdx][filtIdx][j],を有するAlfCoeffLumaAllは、次のように導出される。
i=17;
for(k=0;k<temp_size_L and i<alf_num_available_filter_sets;j++)
{
(もしtempTid_L[k]<=Tid、かつkがclosest_temporal_indexに等しくない場合)
{
AlfCoeffLumaAll[i][filtIdx][j]=TempL[k][filtIdx][j];
i++;
}
}
{{AlfFixedFilterCoeff}}[64][13]=
{
{0,0,2,-3,1,-4,1,7,-1,1,-1,5,112},
{0,0,0,0,0,-1,0,1,0,0,-1,2,126},
{0,0,0,0,0,0,0,1,0,0,0,0,126},
{0,0,0,0,0,0,0,0,0,0,-1,1,128},
{2,2,-7,-3,0,-5,13,22,12,-3,-3,17,34},
{-1,0,6,-8,1,-5,1,23,0,2,-5,10,80},
{0,0,-1,-1,0,-1,2,1,0,0,-1,4,122},
{0,0,3,-11,1,0,-1,35,5,2,-9,9,60},
{0,0,8,-8,-2,-7,4,4,2,1,-1,25,76},
{0,0,1,-1,0,-3,1,3,-1,1,-1,3,122},
{0,0,3,-3,0,-6,5,-1,2,1,-4,21,92},
{-7,1,5,4,-3,5,11,13,12,-8,11,12,16},
{-5,-3,6,-2,-3,8,14,15,2,-7,11,16,24},
{2,-1,-6,-5,-2,-2,20,14,-4,0,-3,25,52},
{3,1,-8,-4,0,-8,22,5,-3,2,-10,29,70},
{2,1,-7,-1,2,-11,23,-5,0,2,-10,29,78},
{-6,-3,8,9,-4,8,9,7,14,-2,8,9,14},
{2,1,-4,-7,0,-8,17,22,1,-1,-4,23,44},
{3,0,-5,-7,0,-7,15,18,-5,0,-5,27,60},
{2,0,0,-7,1,-10,13,13,-4,2,-7,24,74},
{3,3,-13,4,-2,-5,9,21,25,-2,-3,12,24},
{-5,-2,7,-3,-7,9,8,9,16,-2,15,12,14},
{0,-1,0,-7,-5,4,11,11,8,-6,12,21,32},
{3,-2,-3,-8,-4,-1,16,15,-2,-3,3,26,48},
{2,1,-5,-4,-1,-8,16,4,-2,1,-7,33,68},
{2,1,-4,-2,1,-10,17,-2,0,2,-11,33,74},
{1,-2,7,-15,-16,10,8,8,20,11,14,11,14},
{2,2,3,-13,-13,4,8,12,2,-3,16,24,40},
{1,4,0,-7,-8,-4,9,9,-2,-2,8,29,54},
{1,1,2,-4,-1,-6,6,3,-1,-1,-3,30,74},
{-7,3,2,10,-2,3,7,11,19,-7,8,10,14},
{0,-2,-5,-3,-2,4,20,15,-1,-3,-1,22,40},
{3,-1,-8,-4,-1,-4,22,8,-4,2,-8,28,62},
{0,3,-14,3,0,1,19,17,8,-3,-7,20,34},
{0,2,-1,-8,3,-6,5,21,1,1,-9,13,84},
{-4,-2,8,20,-2,2,3,5,21,4,6,1,4},
{2,-2,-3,-9,-4,2,14,16,3,-6,8,24,38},
{2,1,5,-16,-7,2,3,11,15,-3,11,22,36},
{1,2,3,-11,-2,-5,4,8,9,-3,-2,26,68},
{0,-1,10,-9,-1,-8,2,3,4,0,0,29,70},
{1,2,0,-5,1,-9,9,3,0,1,-7,20,96},
{-2,8,-6,-4,3,-9,-8,45,14,2,-13,7,54},
{1,-1,16,-19,-8,-4,-3,2,19,0,4,30,54},
{1,1,-3,0,2,-11,15,-5,1,2,-9,24,92},
{0,1,-2,0,1,-4,4,0,0,1,-4,7,120},
{0,1,2,-5,1,-6,4,10,-2,1,-4,10,104},
{3,0,-3,-6,-2,-6,14,8,-1,-1,-3,31,60},
{0,1,0,-2,1,-6,5,1,0,1,-5,13,110},
{3,1,9,-19,-21,9,7,6,13,5,15,21,30},
{2,4,3,-12,-13,1,7,8,3,0,12,26,46},
{3,1,-8,-2,0,-6,18,2,-2,3,-10,23,84},
{1,1,-4,-1,1,-5,8,1,-1,2,-5,10,112},
{0,1,-1,0,0,-2,2,0,0,1,-2,3,124},
{1,1,-2,-7,1,-7,14,18,0,0,-7,21,62},
{0,1,0,-2,0,-7,8,1,-2,0,-3,24,88},
{0,1,1,-2,2,-10,10,0,-2,1,-7,23,94},
{0,2,2,-11,2,-4,-3,39,7,1,-10,9,60},
{1,0,13,-16,-5,-6,-1,8,6,0,6,29,58},
{1,3,1,-6,-4,-7,9,6,-3,-2,3,33,60},
{4,0,-17,-1,-1,5,26,8,-2,3,-15,30,48},
{0,1,-2,0,2,-8,12,-6,1,1,-6,16,106},
{0,0,0,-1,1,-4,4,0,0,0,-3,11,112},
{0,1,2,-8,2,-6,5,15,0,2,-7,9,98},
{1,-1,12,-15,-7,-2,3,6,6,-1,7,30,50},
};
{{AlfClassToFilterMapping}}[16][25]=
{
{8,2,2,2,3,4,53,9,9,52,4,4,5,9,2,8,10,9,1,3,39,39,10,9,52},
{11,12,13,14,15,30,11,17,18,19,16,20,20,4,53,21,22,23,14,25,26,26,27,28,10},
{16,12,31,32,14,16,30,33,53,34,35,16,20,4,7,16,21,36,18,19,21,26,37,38,39},
{35,11,13,14,43,35,16,4,34,62,35,35,30,56,7,35,21,38,24,40,16,21,48,57,39},
{11,31,32,43,44,16,4,17,34,45,30,20,20,7,5,21,22,46,40,47,26,48,63,58,10},
{12,13,50,51,52,11,17,53,45,9,30,4,53,19,0,22,23,25,43,44,37,27,28,10,55},
{30,33,62,51,44,20,41,56,34,45,20,41,41,56,5,30,56,38,40,47,11,37,42,57,8},
{35,11,23,32,14,35,20,4,17,18,21,20,20,20,4,16,21,36,46,25,41,26,48,49,58},
{12,31,59,59,3,33,33,59,59,52,4,33,17,59,55,22,36,59,59,60,22,36,59,25,55},
{31,25,15,60,60,22,17,19,55,55,20,20,53,19,55,22,46,25,43,60,37,28,10,55,52},
{12,31,32,50,51,11,33,53,19,45,16,4,4,53,5,22,36,18,25,43,26,27,27,28,10},
{5,2,44,52,3,4,53,45,9,3,4,56,5,0,2,5,10,47,52,3,63,39,10,9,52},
{12,34,44,44,3,56,56,62,45,9,56,56,7,5,0,22,38,40,47,52,48,57,39,10,9},
{35,11,23,14,51,35,20,41,56,62,16,20,41,56,7,16,21,38,24,40,26,26,42,57,39},
{33,34,51,51,52,41,41,34,62,0,41,41,56,7,5,56,38,38,40,44,37,42,57,39,10},
{16,31,32,15,60,30,4,17,19,25,22,20,4,53,19,21,22,46,25,55,26,48,63,58,55},};
((alf_signal_new_filter_chromaが1である場合、次の処理)。
j=0..5の場合、クロマフィルタ係数AlfCoeffC[j]は、以下のように導出される。
AlfCoeffC[j]=alf_chroma_coeff_abs[j]*(1-2*alf_chroma_coeff_sign[j]) (7-57)
j=6の場合の最後のフィルタ係数は、以下のように導出される。
AlfCoeffC[6]=128-Σk(AlfCoeffC[k]<<1),with k=0..5 (7-58)
filtIdx=0..NumAlfFilters-1,j=0..5の場合、AlfCoeffC[j]の値は、-27~27-1の範囲内とし、AlfCoeffC[6]の値は、0~28-1の範囲内とすることが、ビットストリーム適合性の要件である。
そうでない場合、(((alf_signal_new_filter_chroma is 0)))以下が呼び出される。
for(i=Tid;i>=0;i--)
{
for(k=0;k<temp_size_C;k++)
{
if(tempTid_C[k]==i)
{
closest_temporal_index is set as k;
break;
}
}
}
j=0..6の場合、クロマフィルタ係数AlfCoeffC[j]は、以下のように導出される。
AlfCoeffC[j]=TempC[closest_temporal_index][j]
7.4.5.2 符号化ツリーユニット構文
((alf_luma_ctb_filter_set_index[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]))は、位置(xCtb,yCtb))における輝度CTBのフィルタセットインデックスを指定する。
(((alf_use_new_filter))が1である場合、alf_luma_ctb_filter_set_index[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]は16であることを示す。alf_use_new_filterが0である場合、alf_luma_ctb_filter_set_index[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]は16に等しくないことを示す。
((alf_use_fixed_filter))が1である場合、固定フィルタセットの1つを使用することを示し、alf_use_fixed_filterが0である場合、現在の輝度CTBは固定フィルタセットを使用しないことを示す。
(((alf_fixed_filter_index))は、固定フィルタセットのインデックスを示し、このインデックスは0~15までとすることができる。
(((alf_temporal_index))は、時間的フィルタセットインデックスを示し、これは、0からalf_num_available_temporal_filter_sets_luma-1とすることができる。
[[8.5.1 一般]]
1. sps_alf_enabled_flagが1である場合、以下が適用される。
- [[8.5.4.5項に規定された時間的フィルタ更新処理が呼び出される。]]
- 8.5.4.1項で規定された適応ループフィルタ処理は、再構成されたピクチャサンプルアレイSL、SCbおよびSCrを入力とし、サンプル適応オフセット後の修正された再構成されたピクチャサンプルアレイS’L、S’CbおよびS’Crが、出力として呼び出される。
- 配列S’L、S’Cb、S’Crは、それぞれ配列SL、SCb、SCr(復号化されたピクチャを表す)に割り当てられている。
- [[8.5.4.6項で規定された時間的フィルタ更新処理が呼び出される。]]
((8.5.4.2 輝度サンプルのための符号化ツリーブロックフィルタリング処理))
- filtIdx[x][y]で指定されたフィルタに対応する輝度フィルタ係数の配列f[j]は,j=0..12として以下のように導出される。
f[j]=((AlfCoeffLumaAll))[alf_luma_ctb_filter_set_index[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]]][filtIdx[x][y]][j] (8-732)
[[8.5.4.5 時間的フィルタ更新]]
以下の条件のいずれかが真である場合、
- 現在のピクチャはIDRピクチャである。
- 現在のピクチャはBLA画像である。
- 復号化の順序では、現在のピクチャは、POCが前回の復号化されたIRAPピクチャのPOCよりも大きい1つ目のピクチャ、すなわち先頭ピクチャの後ろかつ後続ピクチャの後ろにあるピクチャである。
次に、temp_size_Lおよびtemp_size_Cを0に設定する。
[[8.5.4.6 時間的フィルタの更新]]
slice_alf_enabled_flagが1であり、alf_signal_new_filter_lumaが1である場合、以下が適用される。
輝度時間的フィルタバッファサイズ、temp_size_L<5の場合、temp_size_L=temp_size_L+1である。
i=temp_size_L-1...1,j=0...NumAlfFilters-1,k=0...12の場合、TempL[i][j][k]は、次のように更新される。
TempL[i][j][k]=TempL[i-1][j][k]
j=0...NumAlfFilters-1、k=0..12の場合、TempL[0][j][k]は、次のように更新される。
TempL[0][j][k]=AlfCoeffL[j][k]
i=temp_size_L-1...1の場合、TempTid_L[i]は、次のように更新される。
TempTid_L[i]=TempTid_L[i-1]
TempTid_L[0]を現在のスライスの時間層インデックスTidとして設定する。
alf_chroma_idxが0でなく、alf_signal_new_filter_chromaが1の場合、以下が適用される。
i=temp_size_c-1...1、j=0...6のTempc[i][j]は、次のように更新される。
Tempc[i][j]=Tempc[i-1][j]
j=0...6の場合、Tempc[0][j]は、次のように更新される。
Tempc[0][j]=AlfCoeffC[j]
i=temp_size_C-1...1の場合、TempTid_C[i]は、次のように更新される。
TempTid_C[i]=TempTid_C[i-1]
TempTid_C[0]を現在のスライスのTidとして設定する。
インループリシェイプ(ILR)の基本的な考えは、元の(第1のドメインにおける)信号(予測/再構成信号)を第2のドメイン(リシェイプされたドメイン)に変換することである。
概念的には、区分線形(PWL)は、以下のように実装される。
9.2.1 輝度のリシェイプ
インループ輝度リシェイプのテスト2(すなわち、提案におけるCE-12ー2)は、より複雑性低いパイプラインを提供し、且つインタースライス再構成におけるブロック単位のイントラ予測のための復号化待ち時間を排除する。イントラ予測は、インタースライスおよびイントラスライスの両方のために、リシェイプされたドメインにおいて行われる。
輝度依存クロマ残差スケーリングは、固定小数点整数演算で実装される乗算処理である。クロマ残差スケーリングは、輝度信号のクロマ信号との相互作用を補償する。TUレベルでクロマ残差スケーリングを適用する。具体的には、対応する輝度予測ブロックの平均値を利用する。
パラメータは(現在)タイルグループヘッダ(ALFに類似)で送信される。これらは、40~100ビットを要すると報告されている。
以下の規格は、JVET-L1001のバージョン9に基づいている。追加された構文は黄色で強調表示されている。
7.3.2.1におけるシーケンスパラメータセットRBSP構文
sps_reshaper_enabled_flagが1と等しい場合は、符号化映像シーケンス(CVS)においてリシェイパが使用されていることを規定している。sps_reshaper_enabled_flagが0と等しい場合は、CVSにおいてリシェイパが使用されていないことを規定している。
{{タイルグループヘッダ構文において、以下の意味論を追加する。}}
tile_group_reshaper_model_present_flagが1と等しい場合は、tile_group_reshaper_model()がタイルグループ内に存在することを規定している。tile_group_reshaper_model_present_flagが0と等しい場合は、tile_group_reshaper_model()がタイルグループヘッダに存在しないことを規定している。tile_group_reshaper_model_present_flagが存在しない場合は、0に等しいと推論される。
tile_group_reshaper_enabled_flagが1と等しい場合は、現在のタイルグループに対してリシェイパが有効になっていることを規定している。tile_group_reshaper_enabled_flagが0と等しい場合は、現在のタイルグループに対してリシェイパが有効になっていないことを規定している。tile_group_reshaper_enable_flagが存在しない場合、0であると推論される。
tile_group_reshaper_chroma_residual_scale_flagが1と等しい場合は、現在のタイルグループに対してクロマ残差スケーリングを有効であることを規定している。tile_group_reshaper_chroma_residual_scale_flagが0と等しい場合は、現在のタイルグループに対してクロマ残差スケーリングが有効でないことを規定している。tile_group_reshaper_chroma_residual_scale_flagが存在しない場合は、0であると推測される。
{{tile_group_reshaper_model()構文を追加する}}
reshape_model_min_bin_idxは、最小のビン(またはピース)インデックスを、リシェイパ構築処理に使用するように規定している。reshape_model_min_bin_idxの値が0~MaxBinIdxの範囲内にあるものとする。MaxBinIdxの値は15と等しいとする。
reshape_model_delta_max_bin_idxは、最大許容ビン(またはピース)インデックスMaxBinIdxから最大ビンインデックスを引いたものが、リシェイパ構築処理で使用されることを規定している。reshape_model_max_bin_idxの値は、MaxBinIdx-reshape_model_delta_max_bin_idxに等しく設定される。
reshaper_model bin_delta_abs_cw_prec_minus1+1は、構文reshape_model_bin_delta_abs_CW[i]の表現に使用するビット数を規定している。
reshape_model_bin_delta_abs_CW[i]は、i番目のビンの絶対デルタコード名値を規定する。
reshaper_model_bin_delta_sign_CW_flag[i]は、reshape_model_bin_delta_abs_CW[i]のサインを次のように記述する。
- reshape_model_bin_delta_sign_CW_flag[i]が0と等しい場合、対応する変数RspDeltaCW[i]は正の値である。
- そうでない場合(reshape_model_bin_delta_sign_CW_flag[i]が0と等しくない)、対応する変数RspDeltaCW[i]は負の値である。
reshape_model_bin_delta_sign_CW_flag[i]が存在しない場合、0に等しいと推測される。
変数RspDeltaCW[i]=(1 2*reshape_model_bin_delta_sign_CW[i])*reshape_model_bin_delta_abs_CW[i];
変数RspCW[i]は、以下のステップとして導出される。
変数OrgCWは、(1<<BitDepthY)/(MaxBinIdx+1)に等しく設定される。
- If reshaper_model_min_bin_idx<=i<=reshaper_model_max_bin_idx
RspCW[i]=OrgCW+RspDeltaCW[i].
- そうでない場合、RspCW[i]=0である。
BitDepthYの値が10に等しい場合、RspCW[i]の値は、32~2*OrgCW_1の範囲内にくる。
iが0~MaxBinIdx+1の範囲にある変数InputPivot[i]は、以下のように導出される。
InputPivot[i]=i*OrgCW
iが0~MaxBinIdx+1の範囲にあり、変数ScaleCoef[i]およびInvScaleCoeff[i]がそれぞれ0~MaxBinIdxの範囲にあり、iが0~MaxBinIdxの範囲にある変数ReshapePivot[i]は、以下のように導出される。
shiftY=14
ReshapePivot[0]=0;
for(i=0;i<=MaxBinIdx;i++){
ReshapePivot[i+1]=ReshapePivot[i]+RspCW[i]
ScaleCoef[i]=(RspCW[i]*(1<<shiftY)+(1<<(Log2(OrgCW)-1)))>>(Log2(OrgCW))
if(RspCW[i]==0)
InvScaleCoeff[i]=0
else
InvScaleCoeff[i]=OrgCW*(1<<shiftY)/RspCW[i]
}
iが0~MaxBinIdxの範囲内にある変数ChromaScaleCoef[i]は、以下のように導出される。
ChromaResidualScaleLut[64]={16384,16384,16384,16384,16384,16384,16384,8192,8192,8192,8192,5461,5461,5461,5461,4096,4096,4096,4096,3277,3277,3277,3277,2731,2731,2731,2731,2341,2341,2341,2048,2048,2048,1820,1820,1820,1638,1638,1638,1638,1489,1489,1489,1489,1365,1365,1365,1365,1260,1260,1260,1260,1170,1170,1170,1170,1092,1092,1092,1092,1024,1024,1024,1024};
shiftC=11
- if(RspCW[i]==0)
ChromaScaleCoef[i]=(1<<shiftC)
- Otherwise(RspCW[i]!=0),ChromaScaleCoef[i]=ChromaResidualScaleLut[RspCW[i]>>1]
エンコーダ側では、まず、各ピクチャ(またはタイルグループ)をリシェイプされたドメインに変換する。そして、すべての符号化処理は、リシェイプされたドメインで行われる。イントラ予測の場合、近傍のブロックはリシェイプされたドメインにあり、インター予測の場合、まず、参照ブロック(復号化ピクチャバッファからの元のドメインから生成される)をリシェイプされたドメインに変換する。そして、残差を生成し、ビットストリームに符号化する。
10.1 BIOの概要と分析
BIOにおいて、まず、動き補償を行い、現在のブロックの(各予測方向における)第1の予測を生成する。第1の予測は、ブロック内の各サブブロックまたは画素の空間的勾配、時間的勾配、およびオプティカルフローを導出するために用いられ、これらを使用して第2の予測、例えば、サブブロックまたは画素の最終予測を生成する。以下、その詳細を説明する。
本寄稿では、オプティカルフローを用いたサブブロックに基づくアフィン動き補償予測を微調整する方法を提案している。サブブロックに基づくアフィン動き補償を行った後、オプティカルフロー方程式で導出された差を加算することで、予測サンプルを微調整し、これをオプティカルフロー予測微調整(PROF)と呼ぶ。提案した方法は、メモリアクセス帯域幅を増大させることなく、画素レベルの粒度におけるインター予測を実現することができる。
JVET-N0242の設計における非線形ALF(NLALF)には、以下の問題がある。
本開示の技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。開示される技術に基づいた適応ループフィルタリングのための技術は、既存のおよび将来の映像符号化規格の両方を向上させることができ、様々な実施形態のために以下の例で解明される。以下に提供される開示される技術の例は、一般的な概念を説明するものであり、限定するものと解釈されるべきではない。一例において、明確に示されていない限り、逆に示されていない限り、これらの例に記載されている様々な特徴を組み合わせることができる。
1. サンプル差をクリッピングする代わりに、フィルタリング処理中の中間結果にクリッピング演算を適用することが提案される。フィルタリング処理に利用される現在のサンプルの近傍のサンプル(隣接または非隣接)を、N(N≧1)個のグループに分類してもよい。
a. 一例において、1つのグループに対して1つ又は複数の中間結果を計算し、この1つまたは複数の中間結果に対してクリッピングを行ってもよい。
i. 例えば、1つのグループについて、まず各近傍の画素と現在の画素との間の差を計算し、次に、これらの差を、対応するALF係数を使用して重み平均してもよい(wAvgDiffと表記する)。グループに対してwAvgDiffに対して1回クリッピングを行ってもよい。
b. 異なるグループに対して異なるクリッピングパラメータを使用してもよい。
c. 一例において、クリッピングは、サンプル差を乗算した、フィルタ係数の最終的な重み付けの合計に適用される。
i. 例えば、N=1であり、クリッピングは、K(d,b)=min(b,max(-b,d))がクリッピング関数であり、kがクリッピングパラメータである場合、以下のように行ってもよい。
2. 1つのサンプルをフィルタリングするとき、N(N>1)個の近傍のサンプルが1つのフィルタ係数を共有する場合、N個の近傍の画素すべてに対してクリッピング(例えば、非線形ALFによって必要とされる)を1回行ってもよい。
a. 例えば、I(x+i1,y+j1)とI(x+i2,y+j2)が1つのフィルタ係数w(i1,j1)(または/および1つのクリッピングパラメータk(i1,j1))を共有する場合、クリッピングは以下のように1回行ってもよい。
1. 一例において、i1は(-i2)に等しく、j1は(-j2)に等しい。
ii. 一例において、(x+i1,y+j1)と(x,y)との間の距離と、(x+i2,j+j2)と(x,y)との間の距離とは、同じであってもよい。
iii. ブレット2に開示された方法は、フィルタ形状が対称モードにある場合に有効化される。
iv. さらに、代替的に、I(x+i1,y+j1)に関連付けられたクリッピングパラメータを、ClipParamと呼ばれるビットストリームから信号通知/導出してもよく、上述のk(i1,j1)を、例えば2*ClipParamのような信号通知されたクリッピングパラメータから導出する。
b. 例えば、(i,j)∈Cが1つのフィルタ係数w1(または/および1つのクリッピングパラメータk1)を共有し、CがN個の要素を含む場合、クリッピングは以下のように1回行われてもよい。
ii. 代替的に、
c. 一例において、クリッピングは、N個の近傍のサンプルのM1(M1<=N)に対して1回行ってもよい。
d. 一例において、N個の近傍のサンプルをM2個のグループに分類し、各グループに対して1回クリッピングを行ってもよい。
e. 一例において、この方法は、特定のまたはすべての色成分に適用してもよい。
i. 例えば、輝度成分に適用してもよい。
ii. 例えば、Cbおよび/またはCr成分に適用してもよい。
3. 本開示では、入力をminおよびmaxを含む[min,max]の範囲にクリップするクリッピング関数K(min,max,input)を使用してもよい。
a. 一例において、入力を、minおよびmaxを除く範囲(min,max)にクリップするクリッピング関数K(min,max,input)を、上記黒丸に使用してもよい。
b. 一例において、上記黒丸において、maxを含むがminを含まない範囲(min,max)にあるように入力をクリップするクリッピング関数K(min,max,input)を使用してもよい。
c. 一例において、上記黒丸において、minを含むがmaxを含まない範囲[min,max]にあるように入力をクリップするクリッピング関数K(min,max,input)を使用してもよい。
4. 時間的ALF係数セットが利用できない(例えば、前にALF係数が符号化/復号化されていない、または符号化/復号化されたALF係数が「利用不可能」とマークされている)場合、どの時間的ALF係数セットが使用されるかを示す信号通知を省略してもよい。
a. 一例において、時間的ALF係数セットが利用不可能な場合、CTB/ブロック/タイルグループ/タイル/スライス/ピクチャに対して新しいALF係数も固定ALF係数も使用されない場合、CTB/ブロック/タイルグループ/タイル/スライス/ピクチャに対してALFが許可されないと推測される。
i. さらに、代替的に、この場合、CTB/ブロック/タイルグループ/タイル/スライス/ピクチャに対してALFが適用されることが示されてもよいとしても(例えば、CTU/ブロックに対してalf_ctb_flagが真)、ALFは、CTB/ブロック/タイルグループ/タイル/スライス/ピクチャに対して最終的に許可されないと推測されてもよい。
b. 一例において、時間的ALF係数セットが利用不可能な場合、適合ビットストリームにおけるCTB/ブロック/タイルグループ/タイル/スライス/ピクチャのために、新しいALF係数または固定ALF係数等のみを使用するように指示されてもよい。
i. 例えば、alf_use_new_filterまたはalf_use_fixed_filterのいずれかが真であるとする。
c. 一例において、時間的ALF係数セットが利用不可能な場合、ALFの採用が指示されているCTB/ブロック/タイルグループ/タイル/スライス/ピクチャに対して、新規のALF係数も固定のALF係数も使用することが示されていない、という条件が満たされた場合、そのビットストリームは不適合ビットストリームと見なされる。
i. 例えば、alf_use_new_filterおよびalf_use_fixed_filterの両方が偽であるビットストリームは、不適合ビットストリームと見なされる。
d. 一例において、alf_num_available_temporal_filter_sets_lumaが0である場合、alf_temporal_indexは信号通知されなくてもよい。
e. 提案した方法は、異なる色成分に対して異なる方法で適用されてもよい。
5. 1つのタイルグループ/タイル/スライス/ピクチャ/CTB/ブロック/映像ユニットに対して何個の時間的ALF係数セットを使用できるかは、使用可能な時間的ALF係数セット(ALFavaiと示す)、例えば、「利用可能」とマークされた前に符号化/復号化されたALF係数セットに依存してもよい。
a. 一例において、1つのタイルグループ/タイル/スライス/ピクチャ/CTB/ブロックに対してALFavai以下の時間的ALF係数セットを使用できる。
b. 1つのタイルグループ/タイル/スライス/ピクチャ/CTB/ブロックに対して、N>=0として、min(N,ALFavai)個以下の時間的ALF係数セットを使用できる。例えば、N=5である。
6. 新しいALF係数セットは、符号化/復号化された後、“利用可能”とマークしてもよい。一方、すべての“利用可能な”ALF係数セットは、イントラランダムアクセスポイント(IRAP)アクセスユニットまたは/およびIRAPピクチャ、または/および瞬時復号化リフレッシュ(IDR)アクセスユニットまたは/およびIDRピクチャに遭遇したときに、すべて“利用不可能”とマークしてもよい。
a. “利用可能な”ALF係数セットは、後続の符号化ピクチャ/タイル/タイルグループ/スライス/CTB/ブロックのための時間的ALF係数セットとして使用してもよい。
b. “利用可能な”ALF係数セットは、Nに等しい最大サイズ(N>0)の1つのALF係数セットリストに保持してもよい。
i. ALF係数セットリストは、先入れ先出し順に保持してもよい。
c. “利用不可能”とマークされている場合、関連するALF APS情報をビットストリームから削除するか、または他のALF APS情報に置き換える。
7. 各時間層に1つのALF係数セットリストを保持してもよい。
8. K個の近傍の時間層に対して1つのALF係数セットリストを保持してもよい。
9. 前のピクチャからの予測(表示順)のみを行うかどうかに基づいて、異なるピクチャごとに異なるALF係数セットリストを保持してもよい。
a. 例えば、1つのALF係数セットリストは、前のピクチャのみから予測されたピクチャに対して保持してもよい。
b. 例えば、前のピクチャおよび後のピクチャの両方から予測されたピクチャに対して、1つのALF係数セットリストを保持してもよい。
10. ALF係数セットリストは、IRAPアクセスユニットおよび/またはIRAPピクチャおよび/またはIDRアクセスユニットおよび/またはIDRピクチャに遭遇した後、空にしてもよい。
11. 異なる色成分に対して異なるALF係数セットリストを保持してもよい。
a. 一例において、1つのALF係数セットリストは、輝度成分のために保持される。
b. 一例において、Cbおよび/またはCr成分のために、1つのALF係数セットリストが保持される。
12. 1つのALF係数セットリストを保持してもよいが、異なるピクチャ/タイルグループ/タイル/スライス/CTUに対して、リストにおけるエントリに異なるインデックス(または優先順位)を割り当ててもよい。
a. 一例において、ALF係数セットには、現在のピクチャ/タイルグループ/タイル/スライス/CTUとの間の上り絶対時間層差のための上りインデックスが割り当てられてもよい。
b. 一例において、ALF係数セットは、現在のピクチャ/タイルグループ/タイル/スライス/CTUとの間に昇順絶対POC(ピクチャオーダカウント)差の昇順インデックスを割り当てられてもよい。
c. 一例において、現在のピクチャ/タイルグループ/タイル/スライス/CTUによって許可されるK個のALF係数セットが存在し、これらのK個のALF係数セットは、最小のインデックスを有するK個のALF係数セットであってもよい。
d. 一例において、現在のピクチャ/タイルグループ/タイル/スライス/CTUがどの時間的ALF係数セットを使用するかの指示は、リストにおける元のエントリインデックスの代わりに、割り当てられたインデックスに依存してもよい。
13. ALFで使用される近傍のサンプルは、K(K>=1)個のグループに分類されてもよく、各グループに1つのクリッピングパラメータのセットが信号通知されてもよい。
14. クリッピングパラメータは、特定のまたは全ての固定ALFフィルタセットに対して予め規定されてもよい。
a. 代替的に、現在のタイルグループ/スライス/ピクチャ/タイルによって使用される特定のまたはすべての固定フィルタセットに対して、クリッピングパラメータを信号通知してもよい。
i. 一例において、クリッピングパラメータは、特定の色成分(例えば、輝度成分)についてのみ信号通知してもよい。
b. 代替的に、固定ALFフィルタセットを使用する場合、クリッピングを行わなくてもよい。
i. 一例において、クリッピングは、特定の色成分に対して行われてもよく、他の色成分に対して行われなくてもよい。
15. クリッピングパラメータはALF係数と共に記憶されてもよく、符号化されたCTU/CU/タイル/タイルグループ/スライス/ピクチャをフォローすることで継承してもよい。
a. 一例において、CTU/CU/タイル/タイルグループ/スライス/ピクチャが時間的ALF係数セットを使用する場合、対応するALFクリッピングパラメータを使用してもよい。
i. 一例において、クリッピングパラメータは、特定の色成分(例えば、輝度成分)についてのみ継承してもよい。
b. 代替的に、CTU/CU/タイル/タイルグループ/スライス/ピクチャが時間的ALF係数セットを使用する場合、クリッピングパラメータを信号通知してもよい。
i. 一例において、クリッピングパラメータは、特定の色成分(例えば、輝度成分)についてのみ信号通知してもよい。
c. 一例において、クリッピングパラメータは、特定の色成分に対して継承されてもよく、他の色成分に対して信号通知してもよい。
d. 一例において、時間的ALF係数セットが使用される場合、クリッピングは行われない。
i. 一例において、クリッピングは、特定の色成分に対して行われてもよく、他の色成分に対して行われなくてもよい。
16. 非線形ALFを使用するかどうかは、ALFフィルタセットのタイプ(例えば、固定ALFフィルタセット、時間的ALFフィルタセット、または信号通知ALF係数セット)に依存してもよい。
a. 一例において、現在のCTUが固定ALFフィルタセットまたは時間的ALFフィルタセット(別名、前に信号通知されたフィルタセットが使用される)を使用する場合、非線形ALFは、現在のCTUに使用されなくてもよい。
b. 一例において、alf_luma_use_fixed_filter_flagが1である場合、現在のスライス/タイルグループ/タイル/CTUに対して非線形ALFを使用してもよい。
17. 非線形ALFクリッピングパラメータは、ALFフィルタセットの種類(例えば、固定ALFフィルタセット、時間的ALFフィルタセット、または信号通知されたALF係数セット)に基づいて、条件付きで信号通知してもよい。
a. 一例において、非線形ALFクリッピングパラメータは、すべてのALFフィルタセットに対して信号通知してもよい。
b. 一例において、非線形ALFクリッピングパラメータは、信号通知されたALFフィルタ係数セットに対してのみ信号通知してもよい。
c. 一例において、非線形ALFクリッピングパラメータは、固定ALFフィルタ係数セットに対してのみ信号通知してもよい。
10.1 実施形態#1
輝度およびクロマそれぞれについて1つのALF係数セットリストが保持され、2つのリストのサイズがそれぞれlumaALFSetSizeおよびchromaALFSetSizeであるとする。ALF係数セットリストの最大サイズは、それぞれlumaALFSetMax(例えば、lumaALFSetMaxが5に等しい)およびchromaALFSetMax(例えば、chromaALFSetMaxが5に等しい)である。
7.3.3.2 適応ループフィルタデータ構文
alf_luma_use_fixed_filter_flagが1に等しい場合、適応ループフィルタに信号通知するのに固定フィルタセットを使用することを示す。alf_luma_use_fixed_filter_flagが0に等しい場合、適応ループフィルタを信号通知するのに固定フィルタ使用ないことを示す。
alf_num_available_temporal_filter_sets_lumaは、現在のスライスに使用できる利用可能な時間的フィルタセットの数を示す。この数は0[[5]]{{lumaALFSetSize}}であり得る。存在しない場合、0である。
{{alf_num_available_temporal_filter_sets_lumaが0のとき、alf_signal_new_filter_lumaまたはalf_luma_use_fixed_filter_flagのどちらかが1にならなければならないという制約がある。}}
alf_signal_new_filter_chromaが1に等しい場合、新しいクロマフィルタが信号通知されることを指定する。alf_signal_new_filter_chromaが0に等しい場合、新しいクロマフィルタが信号通知されないことを示す。
{{chromaALFSetSizeが0の時にalf_signal_new_filter_chromaが1にならないといけないという制約がある。}}
輝度およびクロマそれぞれについて1つのALF係数セットリストが保持され、2つのリストのサイズがそれぞれlumaALFSetSizeおよびchromaALFSetSizeであるとする。ALF係数セットリストの最大サイズは、それぞれlumaALFSetMax(例えば、lumaALFSetMaxが5に等しい)およびchromaALFSetMax(例えば、chromaALFSetMaxが5に等しい)である。
7.3.3.2 適応ループフィルタデータ構文
alf_luma_use_fixed_filter_flagが1に等しい場合、適応ループフィルタに信号通知するのに固定フィルタセットを使用することを示す。alf_luma_use_fixed_filter_flagが0に等しい場合、適応ループフィルタを信号通知するのに固定フィルタ使用ないことを示す。
alf_num_available_temporal_filter_sets_lumaは、現在のスライスに使用できる利用可能な時間的フィルタセットの数を示し、この数は0[[5]]{{lumaALFSetSize}}であり得る。存在しない場合、0である。
{{alf_num_available_temporal_filter_sets_lumaが0のとき、alf_signal_new_filter_lumaまたはalf_luma_use_fixed_filter_flagのどちらかが1にならなければならないという制約がある。}}
alf_signal_new_filter_chromaが1に等しい場合、新しいクロマフィルタが信号通知されることを指定する。alf_signal_new_filter_chromaが0に等しい場合、新しいクロマフィルタが信号通知されないことを示す。
{{chromaALFSetSizeが0の時にalf_signal_new_filter_chromaが1にならないといけないという制約がある。}}
Claims (9)
- 映像の第1の映像領域と前記映像のビットストリームとの間での変換のため、前記第1の映像領域に対応する第1の構文要素が前記ビットストリームに存在することを判定することと、前記第1の構文要素は、前記第1の映像領域が参照する適応パラメータセットのインデックスを示し、前記第1の映像領域は映像ピクチャまたは映像スライスであり、
前記判定することに基づいて前記変換を行うことと、を含み、
前記適応パラメータセットが無効である場合、前記第1の構文要素は、前記ビットストリームに存在せず、
前記第1の映像領域のサンプルに対して、異なる方向の複数のサンプルの差分に基づいてフィルタインデックスが導出され、前記適応パラメータセットの輝度フィルタセットと、前記輝度フィルタセットに含まれない別の輝度フィルタとから、前記フィルタインデックスは、前記フィルタインデックスに基づいて特定の輝度フィルタを選択するために使用されることが許容され、
前記映像領域は複数の映像コーディングツリーブロックを含み、前記映像コーディングツリーブロックは複数のM*M個の映像ブロックに分割され、Mは2又は4に等しく、
同じフィルタインデックスが、M*M個の映像ブロックの各サンプルに対して適用され、
M*M個の映像ブロックごとに、異なる方向の前記複数のサンプルの差分は、1:2のサブサンプリングレートに基づいて導出される、
映像データ処理方法。 - 前記適応パラメータセットは、適応ループフィルタリングのための適応ループフィルタリング適応パラメータセットを含む、請求項1に記載の方法。
- 前記フィルタインデックスの最大値がNで示され、前記輝度フィルタセットにおける輝度フィルタの数がN+1以下である、請求項1に記載の方法。
- 前記フィルタインデックスは、固定フィルタセットに含まれる別の特定の輝度フィルタを導出するために使用されることが許容される、請求項1に記載の方法。
- 前記変換は、前記第1の映像領域を前記ビットストリームに符号化することを含む、請求項1~4のいずれか1項に記載の方法。
- 前記変換は、前記第1の映像領域を前記ビットストリームから復号化することを含む、請求項1~4のいずれか1項に記載の方法。
- 処理装置と、命令を備える非一時的メモリとを備える映像データを処理するための装置であって、前記命令が処理装置によって実行されると、前記処理装置に、
映像の第1の映像領域と前記映像のビットストリームとの間での変換のため、前記第1の映像領域に対応する第1の構文要素が前記ビットストリームに存在することを判定することと、前記第1の構文要素が、前記第1の映像領域が参照する適応パラメータセットのインデックスを示し、前記第1の映像領域は映像ピクチャまたは映像スライスであり、
前記判定することに基づいて前記変換を行うことと、を行わせ、
前記適応パラメータセットが無効である場合、前記第1の構文要素は、前記ビットストリームに存在せず、
前記第1の映像領域のサンプルに対して、異なる方向の複数のサンプルの差分に基づいてフィルタインデックスが導出され、前記適応パラメータセットの輝度フィルタセットと、前記輝度フィルタセットに含まれない他の輝度フィルタとから、前記フィルタインデックスは、前記フィルタインデックスに基づいて特定の輝度フィルタを選択するために使用されることが許容され、
前記映像領域は複数の映像コーディングツリーブロックを含み、前記映像コーディングツリーブロックは複数のM*M個の映像ブロックに分割され、Mは2又は4に等しく、
同じフィルタインデックスが、M*M個の映像ブロックの各サンプルに対して適用され、
M*M個の映像ブロックごとに、異なる方向の前記複数のサンプルの差分は、1:2のサブサンプリングレートに基づいて導出される、
映像データを処理するための装置。 - 命令を記憶する非一時的なコンピュータ可読記憶媒体であって、この命令は、処理装置に、
映像の第1の映像領域と前記映像のビットストリームとの間での変換のため、前記第1の映像領域に対応する第1の構文要素が前記ビットストリームに存在することを判定することと、前記第1の構文要素が、前記第1の映像領域が参照する適応パラメータセットのインデックスを示し、前記第1の映像領域は映像ピクチャまたは映像スライスであり、
前記判定することに基づいて前記変換を行うことと、を行わせ、
前記適応パラメータセットが無効である場合、前記第1の構文要素は、前記ビットストリームに存在せず
前記第1の映像領域のサンプルに対して、異なる方向の複数のサンプルの差分に基づいてフィルタインデックスが導出され、前記適応パラメータセットの輝度フィルタセットと、前記輝度フィルタセットに含まれない他の輝度フィルタとから、前記フィルタインデックスは、前記フィルタインデックスに基づいて特定の輝度フィルタを選択され、
前記映像領域は複数の映像コーディングツリーブロックを含み、前記映像コーディングツリーブロックは複数のM*M個の映像ブロックに分割され、Mは2又は4に等しく、
同じフィルタインデックスが、M*M個の映像ブロックの各サンプルに対して適用され、
M*M個の映像ブロックごとに、異なる方向の前記複数のサンプルの差分は、1:2のサブサンプリングレートに基づいて導出される、
非一時的なコンピュータ可読記憶媒体。 - 映像のビットストリームを記憶する方法であって、前記方法は、
前記映像の第1の映像領域に対して、前記第1の映像領域に対応する第1の構文要素が前記ビットストリームに存在することを判定することと、前記第1の構文要素は、前記第1の映像領域が参照する適応パラメータセットのインデックスを示し、前記第1の映像領域は映像ピクチャまたは映像スライスであり、
前記判定することに基づいて前記ビットストリームを生成することと、
前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することと、を含み、
前記適応パラメータセットが無効である場合、前記第1の構文要素は、前記ビットストリームに存在せず、
前記第1の映像領域のサンプルに対して、異なる方向の複数のサンプルの差分に基づいてフィルタインデックスが導出され、前記適応パラメータセットの輝度フィルタセットと、前記輝度フィルタセットに含まれない他の輝度フィルタとから、前記フィルタインデックスは、前記フィルタインデックスに基づいて特定の輝度フィルタを選択するために使用されることが許容され、
前記映像領域は複数の映像コーディングツリーブロックを含み、前記映像コーディングツリーブロックは複数のM*M個の映像ブロックに分割され、Mは2又は4に等しく、
同じフィルタインデックスが、M*M個の映像ブロックの各サンプルに対して適用され、
M*M個の映像ブロックごとに、異なる方向の前記複数のサンプルの差分は、1:2のサブサンプリングレートに基づいて導出される、
方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023160428A JP2023179557A (ja) | 2019-04-16 | 2023-09-25 | 映像符号化のためのon適応ループフィルタリング |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019082855 | 2019-04-16 | ||
| CNPCT/CN2019/082855 | 2019-04-16 | ||
| PCT/CN2020/085075 WO2020211810A1 (en) | 2019-04-16 | 2020-04-16 | On adaptive loop filtering for video coding |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023160428A Division JP2023179557A (ja) | 2019-04-16 | 2023-09-25 | 映像符号化のためのon適応ループフィルタリング |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2022527012A JP2022527012A (ja) | 2022-05-27 |
| JP2022527012A5 JP2022527012A5 (ja) | 2022-06-27 |
| JP7701271B2 true JP7701271B2 (ja) | 2025-07-01 |
Family
ID=72838028
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021559943A Active JP7701271B2 (ja) | 2019-04-16 | 2020-04-16 | 映像符号化のためのon適応ループフィルタリング |
| JP2023160428A Pending JP2023179557A (ja) | 2019-04-16 | 2023-09-25 | 映像符号化のためのon適応ループフィルタリング |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023160428A Pending JP2023179557A (ja) | 2019-04-16 | 2023-09-25 | 映像符号化のためのon適応ループフィルタリング |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11611747B2 (ja) |
| EP (1) | EP3928516A4 (ja) |
| JP (2) | JP7701271B2 (ja) |
| KR (1) | KR102761095B1 (ja) |
| CN (3) | CN113767632B (ja) |
| WO (2) | WO2020211810A1 (ja) |
Families Citing this family (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11051017B2 (en) * | 2018-12-20 | 2021-06-29 | Qualcomm Incorporated | Adaptive loop filter (ALF) index signaling |
| WO2020224525A1 (en) * | 2019-05-03 | 2020-11-12 | Mediatek Inc. | Methods and apparatuses of syntax signaling and referencing constraint in video coding system |
| KR20220016839A (ko) | 2019-06-04 | 2022-02-10 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 기하학적 분할 모드 코딩을 갖는 모션 후보 리스트 |
| CN117395397A (zh) | 2019-06-04 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 使用临近块信息的运动候选列表构建 |
| EP3970366B1 (en) | 2019-06-14 | 2025-12-10 | Beijing Bytedance Network Technology Co., Ltd. | Handling video unit boundaries and virtual boundaries |
| CN117478878A (zh) | 2019-07-09 | 2024-01-30 | 北京字节跳动网络技术有限公司 | 用于自适应环路滤波的样点确定 |
| EP3984223A4 (en) | 2019-07-11 | 2022-11-09 | Beijing Bytedance Network Technology Co., Ltd. | SAMPLE PADDING IN AN ADAPTIVE LOOP FILTERING |
| CN114128258B (zh) | 2019-07-14 | 2023-12-22 | 北京字节跳动网络技术有限公司 | 视频编解码中的变换块尺寸的限制 |
| CN117676168A (zh) | 2019-07-15 | 2024-03-08 | 北京字节跳动网络技术有限公司 | 自适应环路滤波中的分类 |
| EP4014495A4 (en) | 2019-09-14 | 2022-11-02 | ByteDance Inc. | CHROMINANCE QUANTIFICATION PARAMETER IN VIDEO CODING |
| KR102707780B1 (ko) | 2019-09-18 | 2024-09-20 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 코딩에서 적응형 루프 필터의 2-파트 시그널링 |
| CN117278747A (zh) | 2019-09-22 | 2023-12-22 | 北京字节跳动网络技术有限公司 | 自适应环路滤波中的填充过程 |
| KR102721536B1 (ko) | 2019-09-27 | 2024-10-25 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 상이한 비디오 유닛들 간의 적응적 루프 필터링 |
| WO2021057996A1 (en) | 2019-09-28 | 2021-04-01 | Beijing Bytedance Network Technology Co., Ltd. | Geometric partitioning mode in video coding |
| WO2021072177A1 (en) | 2019-10-09 | 2021-04-15 | Bytedance Inc. | Cross-component adaptive loop filtering in video coding |
| JP7454042B2 (ja) | 2019-10-10 | 2024-03-21 | 北京字節跳動網絡技術有限公司 | 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス |
| KR20220073746A (ko) | 2019-10-14 | 2022-06-03 | 바이트댄스 아이엔씨 | 비디오 처리에서 크로마 양자화 파라미터 사용 |
| WO2021083257A1 (en) | 2019-10-29 | 2021-05-06 | Beijing Bytedance Network Technology Co., Ltd. | Cross-component adaptive loop filter |
| CN114930832B (zh) | 2019-11-30 | 2025-10-28 | 抖音视界(北京)有限公司 | 跨分量自适应滤波和子块编解码 |
| WO2021118977A1 (en) | 2019-12-09 | 2021-06-17 | Bytedance Inc. | Using quantization groups in video coding |
| JP7393550B2 (ja) | 2019-12-11 | 2023-12-06 | 北京字節跳動網絡技術有限公司 | クロス成分適応ループフィルタリングのためのサンプルパディング |
| CN114902657B (zh) | 2019-12-31 | 2025-06-13 | 字节跳动有限公司 | 视频编解码中的自适应颜色变换 |
| KR102750625B1 (ko) | 2020-01-05 | 2025-01-09 | 두인 비전 컴퍼니 리미티드 | 비디오 코딩을 위한 일반적인 제약 정보 |
| WO2021143896A1 (en) | 2020-01-18 | 2021-07-22 | Beijing Bytedance Network Technology Co., Ltd. | Adaptive colour transform in image/video coding |
| WO2021180022A1 (en) | 2020-03-07 | 2021-09-16 | Beijing Bytedance Network Technology Co., Ltd. | Handling of transform skip mode in video coding |
| EP4173290A4 (en) | 2020-06-30 | 2024-01-10 | Beijing Bytedance Network Technology Co., Ltd. | BOUNDARY LOCATION FOR ADAPTIVE LOOP FILTERING |
| WO2022037700A1 (en) | 2020-08-21 | 2022-02-24 | Beijing Bytedance Network Technology Co., Ltd. | Coding mode dependent selection of transform skip mode |
| CN116601953A (zh) | 2020-11-24 | 2023-08-15 | 抖音视界有限公司 | 编解码视频中的位置相关系数重新排序 |
| US11863742B2 (en) | 2020-12-03 | 2024-01-02 | Alibaba Group Holding Limited | Method for using adaptive loop filter and system thereof |
| EP4268458A1 (en) * | 2020-12-23 | 2023-11-01 | QUALCOMM Incorporated | Adaptive loop filter with fixed filters |
| CN117121481A (zh) | 2021-03-17 | 2023-11-24 | 抖音视界有限公司 | 单独树编解码限制 |
| CN117813823A (zh) * | 2021-08-14 | 2024-04-02 | 抖音视界有限公司 | 视频编解码中自适应环路滤波器的改进融合模式 |
| WO2023051561A1 (en) * | 2021-09-29 | 2023-04-06 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
| US12395628B2 (en) * | 2022-03-11 | 2025-08-19 | Qualcomm Incorporated | Adaptive loop filter with samples before deblocking filter and samples before sample adaptive offsets |
| CN114401020B (zh) * | 2022-03-25 | 2022-07-01 | 北京航空航天大学 | 基于多维维纳霍夫方程的高速非理想信道自适应补偿方法 |
| WO2024017200A1 (en) * | 2022-07-18 | 2024-01-25 | Mediatek Inc. | Method and apparatus for adaptive loop filter with tap constraints for video coding |
| US12425572B2 (en) * | 2022-10-20 | 2025-09-23 | Tencent America LLC | Local illumination compensation |
| WO2024128644A1 (en) * | 2022-12-13 | 2024-06-20 | Samsung Electronics Co., Ltd. | Method, and electronic device for processing a video |
| CN121040052A (zh) * | 2023-04-26 | 2025-11-28 | 抖音视界有限公司 | 用于视频处理的方法、装置和介质 |
| CN120281910A (zh) * | 2024-01-08 | 2025-07-08 | 腾讯科技(深圳)有限公司 | 解码方法、编码方法、电子设备及存储介质 |
| WO2026007116A1 (zh) * | 2024-07-05 | 2026-01-08 | Oppo广东移动通信有限公司 | 编解码方法、码流、编码器、解码器以及存储介质 |
| WO2026007119A1 (zh) * | 2024-07-05 | 2026-01-08 | Oppo广东移动通信有限公司 | 编解码方法、码流、编码器、解码器以及存储介质 |
| WO2026011430A1 (zh) * | 2024-07-12 | 2026-01-15 | Oppo广东移动通信有限公司 | 编解码方法、码流、编码器、解码器以及存储介质 |
Family Cites Families (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070058713A1 (en) | 2005-09-14 | 2007-03-15 | Microsoft Corporation | Arbitrary resolution change downsizing decoder |
| CN101558652B (zh) | 2006-10-20 | 2011-08-17 | 诺基亚公司 | 用于实现低复杂度多视点视频编码的系统和方法 |
| US20090116558A1 (en) | 2007-10-15 | 2009-05-07 | Nokia Corporation | Motion skip and single-loop encoding for multi-view video content |
| KR101682147B1 (ko) * | 2010-04-05 | 2016-12-05 | 삼성전자주식회사 | 변환 및 역변환에 기초한 보간 방법 및 장치 |
| KR20150013776A (ko) | 2010-04-09 | 2015-02-05 | 미쓰비시덴키 가부시키가이샤 | 동화상 부호화 장치 및 동화상 복호 장치 |
| CN107172424B (zh) * | 2011-03-30 | 2020-04-14 | Lg 电子株式会社 | 环路滤波方法及其设备 |
| CN103370936A (zh) * | 2011-04-21 | 2013-10-23 | 联发科技股份有限公司 | 用于改进环内滤波的方法与装置 |
| KR101539312B1 (ko) * | 2011-05-27 | 2015-07-24 | 미디어텍 인크. | 비디오 프로세싱에 대한 라인 버퍼 감소를 위한 방법 및 장치 |
| CN102857746B (zh) * | 2011-06-28 | 2017-03-29 | 中兴通讯股份有限公司 | 环路滤波编解码方法及装置 |
| US9432700B2 (en) * | 2011-09-27 | 2016-08-30 | Broadcom Corporation | Adaptive loop filtering in accordance with video coding |
| US9357235B2 (en) * | 2011-10-13 | 2016-05-31 | Qualcomm Incorporated | Sample adaptive offset merged with adaptive loop filter in video coding |
| US20130107973A1 (en) | 2011-10-28 | 2013-05-02 | Qualcomm Incorporated | Loop filtering control over tile boundaries |
| CN103096054B (zh) * | 2011-11-04 | 2015-07-08 | 华为技术有限公司 | 一种视频图像滤波处理方法和装置 |
| GB2561782B (en) * | 2011-11-08 | 2019-01-16 | Kt Corp | Method and apparatus for encoding image, and method and apparatus for decoding image |
| JP2015080002A (ja) * | 2012-01-19 | 2015-04-23 | 三菱電機株式会社 | 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法 |
| WO2013145174A1 (ja) * | 2012-03-28 | 2013-10-03 | 株式会社 東芝 | 動画像符号化方法、動画像復号方法、動画像符号化装置及び動画像復号装置 |
| US9591331B2 (en) | 2012-03-28 | 2017-03-07 | Qualcomm Incorporated | Merge signaling and loop filter on/off signaling |
| WO2013144144A1 (en) * | 2012-03-30 | 2013-10-03 | Panasonic Corporation | Syntax and semantics for adaptive loop filter and sample adaptive offset |
| GB2501535A (en) * | 2012-04-26 | 2013-10-30 | Sony Corp | Chrominance Processing in High Efficiency Video Codecs |
| TW201507443A (zh) | 2013-05-15 | 2015-02-16 | Vid Scale Inc | 基於單迴路解碼之多層視訊編碼 |
| US20150049821A1 (en) | 2013-08-16 | 2015-02-19 | Qualcomm Incorporated | In-loop depth map filtering for 3d video coding |
| JP6359101B2 (ja) | 2013-10-14 | 2018-07-18 | マイクロソフト テクノロジー ライセンシング,エルエルシー | ビデオ及び画像の符号化及び復号のためのイントラブロックコピー予測モードの特徴 |
| KR101947151B1 (ko) * | 2014-03-14 | 2019-05-10 | 브이아이디 스케일, 인크. | Rgb 비디오 코딩 향상을 위한 시스템 및 방법 |
| US9736481B2 (en) | 2014-03-14 | 2017-08-15 | Qualcomm Incorporated | Quantization parameters for color-space conversion coding |
| KR102355224B1 (ko) | 2014-03-16 | 2022-01-25 | 브이아이디 스케일, 인크. | 무손실 비디오 코딩의 시그널링을 위한 방법 및 장치 |
| US10063867B2 (en) | 2014-06-18 | 2018-08-28 | Qualcomm Incorporated | Signaling HRD parameters for bitstream partitions |
| US10057574B2 (en) * | 2015-02-11 | 2018-08-21 | Qualcomm Incorporated | Coding tree unit (CTU) level adaptive loop filter (ALF) |
| CN104735450B (zh) * | 2015-02-26 | 2019-06-07 | 北京大学 | 一种在视频编解码中进行自适应环路滤波的方法及装置 |
| US11405611B2 (en) * | 2016-02-15 | 2022-08-02 | Qualcomm Incorporated | Predicting filter coefficients from fixed filters for video coding |
| CN116962721A (zh) | 2016-05-04 | 2023-10-27 | 微软技术许可有限责任公司 | 利用样本值的非相邻参考线进行帧内图片预测的方法 |
| EP3453178A1 (en) | 2016-05-06 | 2019-03-13 | VID SCALE, Inc. | Systems and methods for motion compensated residual prediction |
| WO2017195532A1 (ja) * | 2016-05-13 | 2017-11-16 | シャープ株式会社 | 画像復号装置及び画像符号化装置 |
| US20180041778A1 (en) | 2016-08-02 | 2018-02-08 | Qualcomm Incorporated | Geometry transformation-based adaptive loop filtering |
| EP3297282A1 (en) * | 2016-09-15 | 2018-03-21 | Thomson Licensing | Method and apparatus for video coding with adaptive clipping |
| US10694202B2 (en) | 2016-12-01 | 2020-06-23 | Qualcomm Incorporated | Indication of bilateral filter usage in video coding |
| US10506230B2 (en) | 2017-01-04 | 2019-12-10 | Qualcomm Incorporated | Modified adaptive loop filter temporal prediction for temporal scalability support |
| US10708591B2 (en) * | 2017-03-20 | 2020-07-07 | Qualcomm Incorporated | Enhanced deblocking filtering design in video coding |
| US10440396B2 (en) * | 2017-03-28 | 2019-10-08 | Qualcomm Incorporated | Filter information sharing among color components |
| US10567768B2 (en) * | 2017-04-14 | 2020-02-18 | Apple Inc. | Techniques for calculation of quantization matrices in video coding |
| US20180359486A1 (en) * | 2017-06-07 | 2018-12-13 | Mediatek Inc. | Non-local adaptive loop filter processing |
| US10778974B2 (en) * | 2017-07-05 | 2020-09-15 | Qualcomm Incorporated | Adaptive loop filter with enhanced classification methods |
| EP4676052A3 (en) | 2017-11-01 | 2026-03-25 | InterDigital VC Holdings, Inc. | Methods for simplifying adaptive loop filter in video coding |
| US10721469B2 (en) | 2017-11-28 | 2020-07-21 | Qualcomm Incorporated | Line buffer reduction for adaptive loop filtering in video coding |
| US11432010B2 (en) | 2017-12-19 | 2022-08-30 | Vid Scale, Inc. | Face discontinuity filtering for 360-degree video coding |
| US20190238845A1 (en) | 2018-01-26 | 2019-08-01 | Qualcomm Incorporated | Adaptive loop filtering on deblocking filter results in video coding |
| US20190306502A1 (en) | 2018-04-02 | 2019-10-03 | Qualcomm Incorporated | System and method for improved adaptive loop filtering |
| CN109031227B (zh) * | 2018-06-25 | 2021-03-23 | 深圳大学 | 一种共轭梯度空时自适应处理方法及系统 |
| WO2020143824A1 (en) | 2019-01-13 | 2020-07-16 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between lut and shared merge list |
-
2020
- 2020-04-16 WO PCT/CN2020/085075 patent/WO2020211810A1/en not_active Ceased
- 2020-04-16 JP JP2021559943A patent/JP7701271B2/ja active Active
- 2020-04-16 EP EP20791885.5A patent/EP3928516A4/en active Pending
- 2020-04-16 WO PCT/CN2020/085068 patent/WO2020211809A1/en not_active Ceased
- 2020-04-16 CN CN202080028620.XA patent/CN113767632B/zh active Active
- 2020-04-16 KR KR1020217030932A patent/KR102761095B1/ko active Active
- 2020-04-16 CN CN202311450652.0A patent/CN117499679A/zh active Pending
- 2020-04-16 CN CN202080028533.4A patent/CN113767623B/zh active Active
-
2021
- 2021-08-11 US US17/399,839 patent/US11611747B2/en active Active
-
2023
- 2023-02-17 US US18/171,049 patent/US20230217021A1/en active Pending
- 2023-09-25 JP JP2023160428A patent/JP2023179557A/ja active Pending
Non-Patent Citations (5)
| Title |
|---|
| Benjamin Bross, Jianle Chen, Shan Liu, "Versatile Video Coding (Draft 5)", Joint Video Experts team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 14th Meeting:Geneva, CH, 2019年04月12日, JVET-N1001-v2, [online], Internet<https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N1001-v2.zip> |
| Jianle Chen, et al., "Algorithm Description of Joint Exploration Test Model 4", Document: JVET-D1001_v3, [online], Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2016年11月19日, 発行日, JVET-D1001 (version 3), Pages 28-33, [令和5年5月12日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=2904> and <URL: https://jvet-experts.org/doc_end_user/documents/4_Chengdu/wg11/JVET-D1001-v3.zip>. |
| Jianle Chen, Yan Ye, Seung Hwan Kim, "Algorithm description for Versatile Video Coding and Test Model 5 (VTM 5)", Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 14th Meeting:Geneva, CH, 2019年05月21日, 掲載日, pp. 1, 53-58, JVET-N1002-v1 (version 1), [online], Internet<https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N1002-v1.zip> |
| Jung Won Kang, et al., "Description of SDR video coding technology proposal by ETRI and Sejong University", Document: JVET-J0013-v2, [online], Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2018年04月11日, 発行日, JVET-J0013 (version 3), Pages 1 and 8-10, [令和5年5月12日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=3446> and <URL: https://jvet-experts.org/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0013-v3.zip>. |
| Sung-Chang Lim, et al., "CE2: Subsampled Laplacian calculation (Test 6.1, 6.2, 6.3, and 6.4)", Document: JVET-L0147, [online], Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2018年09月24日, 発行日, JVET-L0147 (version 1), Pages 1-8, [令和5年5月12日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=4228> and <URL: https://jvet-experts.org/doc_end_user/documents/12_Macao/wg11/JVET-L0147-v1.zip>. |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3928516A1 (en) | 2021-12-29 |
| JP2023179557A (ja) | 2023-12-19 |
| JP2022527012A (ja) | 2022-05-27 |
| CN117499679A (zh) | 2024-02-02 |
| WO2020211810A1 (en) | 2020-10-22 |
| KR20210145749A (ko) | 2021-12-02 |
| EP3928516A4 (en) | 2022-06-15 |
| CN113767623A (zh) | 2021-12-07 |
| US11611747B2 (en) | 2023-03-21 |
| US20230217021A1 (en) | 2023-07-06 |
| KR102761095B1 (ko) | 2025-02-03 |
| CN113767632A (zh) | 2021-12-07 |
| US20210385446A1 (en) | 2021-12-09 |
| WO2020211809A1 (en) | 2020-10-22 |
| CN113767623B (zh) | 2024-04-02 |
| CN113767632B (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7701271B2 (ja) | 映像符号化のためのon適応ループフィルタリング | |
| JP7425241B2 (ja) | 双方向オプティカルフローに基づく映像符号化及び復号化 | |
| JP7662742B2 (ja) | クロスコンポーネント適応ループフィルタ | |
| CN113396592B (zh) | 用于视频编解码中的帧内块复制的缓冲区管理 | |
| JP7405865B2 (ja) | 非線形適応ループフィルタにおけるパラメータの時間的予測 | |
| CN113632490B (zh) | 视频处理中的非线性自适应环路滤波 | |
| CN113545068B (zh) | 用于视频编解码中的帧内块复制的基于顺序的更新 | |
| US12184872B2 (en) | Cross-component adaptive loop filter | |
| CN113632480B (zh) | 自适应环路滤波与其他编解码工具之间的交互 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211008 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211008 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220617 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221115 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230214 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230929 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231110 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20240119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250619 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7701271 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |