Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7303328B2 - クロミナンス残差の結合符号化のための構文要素の信号通知 - Google Patents
[go: Go Back, main page]

JP7303328B2 - クロミナンス残差の結合符号化のための構文要素の信号通知 - Google Patents

クロミナンス残差の結合符号化のための構文要素の信号通知 Download PDF

Info

Publication number
JP7303328B2
JP7303328B2 JP2021562015A JP2021562015A JP7303328B2 JP 7303328 B2 JP7303328 B2 JP 7303328B2 JP 2021562015 A JP2021562015 A JP 2021562015A JP 2021562015 A JP2021562015 A JP 2021562015A JP 7303328 B2 JP7303328 B2 JP 7303328B2
Authority
JP
Japan
Prior art keywords
chroma
video
flag
format
syntax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021562015A
Other languages
English (en)
Other versions
JP2022529479A (ja
Inventor
リー ジャン
カイ ジャン
ホンビン リウ
ユエ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Original Assignee
Beijing ByteDance Network Technology Co Ltd
ByteDance Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd, ByteDance Inc filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022529479A publication Critical patent/JP2022529479A/ja
Priority to JP2023102463A priority Critical patent/JP2023123652A/ja
Application granted granted Critical
Publication of JP7303328B2 publication Critical patent/JP7303328B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願の相互参照
これは、2019年4月20日出願の国際特許出願第PCT/CN2019/083574号の優先権および利益を主張する国際特許出願第PCT/CN2020/085614号の国内出願である。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
この特許文献は、映像符号化技術、デバイスおよびシステムに関する。
現今、現在の映像コーデック技術の性能を向上させ、より優れた圧縮率を実現するか、またはより低い複雑度または並列化された実装を可能にする映像の符号化および復号化方式を提供する努力が行われている。産業界の専門家は、最近、いくつかの新しい映像符号化ツールを提案し、それらの有効性を判定するための試験が現在進行中である。
デジタル映像符号化に関し、具体的には、彩度フォーマットに関する構文フラグの管理に関する装置、システム、および方法が開示されている。説明される方法は、既存の映像符号化規格(例えば、HEVC(High Efficiency Video Coding)またはVVC(Versatile Video Coding))および将来の映像符号化規格または映像コーデックに適用され得る。
1つの代表的な態様において、開示される技術は、映像復号化の方法を提供するために使用されてよい。方法は、規則に基づいて、映像の領域に適用可能な1または複数の構文フラグが映像の符号化表現の構文構造に含まれているかどうかを判定することを含む。1または複数の構文フラグは、符号化表現における領域を表すための結合彩度残差符号化ステップを示す。方法は、また、符号化表現における1または複数の構文フラグの有無に従って、符号化表現を構文解析することによって、領域の1または複数の復号化された映像ブロックを生成することを含む。
1つの代表的な態様において、開示される技術は、映像符号化の方法を提供するために使用されてよい。方法は、規則に基づいて、映像の符号化表現の構文構造における映像の領域に適用可能な1または複数の構文フラグを、条件付きで符号化することを含む。1または複数の構文フラグは、符号化表現における領域を表すための結合彩度残差符号化ステップを示す。
別の代表的な態様において、開示される技術は、映像復号化の方法を提供するために使用されてよい。方法は、映像のある領域の彩度フォーマットを判定することと、彩度フォーマットに基づいて、映像の領域に適用可能な1または複数の構文フラグが映像の符号化表現の構文構造に含まれているかどうかを判定することとを含む。1または複数の構文フラグは、符号化表現における領域を表すために量子化パラメータオフセットを使用することを示す。方法は、また、1または複数の構文フラグの有無に従って、符号化表現を構文解析することにより、映像領域の1または複数の復号化された映像ブロックを生成することを含む。
別の代表的な態様において、開示される技術は、映像復号化の方法を提供するために使用されてよい。方法は、映像のある領域の彩度フォーマットを判定することと、彩度フォーマットに基づいて、映像の領域に適用可能なセカンダリ変換の使用を示す1または複数の構文フラグが、映像の符号化表現の構文構造に存在しないことを判定することとを含む。セカンダリ変換は、逆量子化ステップと逆方向プライマリ変換との間に適用される。方法は、また、1または複数の構文フラグが存在しないことに従って符号化表現を構文解析することにより、映像領域の1または複数の復号化された映像ブロックを生成することを含む。
別の代表的な態様において、開示される技術は、映像符号化の方法を提供するために使用されてもよい。方法は、映像の領域に関連付けられた彩度フォーマットを判定することと、彩度フォーマットに基づいて、映像の符号化表現の構文構造における1または複数の構文フラグを条件付きで符号化することとを含む。1または複数の構文フラグは、符号化表現における領域を表すための量子化パラメータオフセットの使用が有効であることを示す。
別の代表的な態様において、開示される技術は、映像符号化の方法を提供するために使用されてもよい。方法は、映像のある領域の彩度フォーマットを判定することと、彩度フォーマットに基づいて、映像の符号化表現の構文構造におけるセカンダリ変換の使用を示す1または複数の構文フラグを含めないで、領域を符号化することにより、映像の符号化表現を生成することとを含む。セカンダリ変換は、順方向プライマリ変換と量子化ステップとの間に適用される。
別の代表的な態様において、開示される技術は、映像復号化の方法を提供するために使用されてよい。方法は、領域を有する映像の彩度フォーマットに基づいて、映像の領域に適用可能な1または複数の構文フラグが、映像の符号化表現の構文構造に存在しないかどうかを判定することを含む。1または複数の構文フラグは、符号化表現における領域を表すための輝度依存彩度残差スケーリング符号化ステップの使用を示す。輝度依存彩度残差スケーリング符号化ステップは、再構成された輝度サンプルに基づいてスケーリング係数が導出されるスケーリング処理を含み、スケーリング処理は彩度残差に適用される。方法は、判定に従って符号化表現を構文解析することによって、映像領域の1または複数の復号化された映像ブロックを生成することも含む。
別の代表的な態様において、開示される技術は、映像復号化の方法を提供するために使用してもよい。方法は、領域を有する映像の彩度フォーマットに基づいて、映像の領域に適用可能な1または複数の構文フラグが映像の符号化表現の構文構造に存在しないことを判定することを含む。1または複数の構文フラグは、彩度成分のパルス符号変調サンプル値の各々を表すために使用されるビット数を示す。方法は、判定に従って符号化表現を構文解析することにより、映像領域の1または複数の復号化された映像ブロックを生成することも含む。
別の代表的な態様において、開示される技術は、映像復号化の方法を提供するために使用されてよい。方法は、領域を有する映像の彩度フォーマットに基づいて、映像の領域に適用可能な1または複数の構文フラグが映像の符号化表現の構文構造に含まれているかどうかを判定することを含む。1または複数の構文フラグは、彩度成分のためのALF(Adaptive Loop Filter)時間的予測ステップに関連する。方法は、判定に従って符号化表現を構文解析することにより、映像領域の1または複数の復号化された映像ブロックを生成することも含む。
別の代表的な態様において、開示される技術は、映像符号化の方法を提供するために使用されてよい。方法は、領域を有する映像の彩度フォーマットを判定することと、彩度フォーマットに基づいて、映像の符号化表現の構文構造に1または複数の構文フラグを含めることなく、領域を符号化するにより、映像の符号化表現を生成することと、を含む。1または複数の構文フラグは、符号化表現における領域を表すための輝度依存彩度残差スケーリング符号化ステップの使用を示す。輝度依存彩度残差スケーリングステップは、再構成された輝度サンプルに基づいてスケーリング係数が導出され、スケーリング処理が彩度残差に適用されるスケーリング処理を含む。
別の代表的な態様において、開示される技術は、映像符号化の方法を提供するために使用されてよい。方法は、領域を有する映像の彩度フォーマットを判定することと、彩度フォーマットに基づいて、映像の符号化表現の構文構造に1または複数の構文フラグを含めることなく、領域を符号化することにより、映像の符号化表現を生成することと、を含む。1または複数の構文フラグは、彩度成分のパルス符号変調サンプル値の各々を表すために使用されるビット数を示す。
別の代表的な態様において、開示される技術は、映像符号化の方法を提供するために使用されてよい。方法は、領域を有する映像の彩度フォーマットを判定することと、彩度フォーマットに基づいて、映像の符号化表現の構文構造における1または複数の構文フラグを条件付きで符号化することとを含む。1または複数の構文フラグは、彩度成分のためのALF(Adaptive Loop Filter)時間的予測ステップに関連する。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。方法は、映像のブロックと映像のビットストリーム表現との間での変換のために、ブロックの複数の彩度色成分に対応する複数のRST(Reduced Secondary Transform)行列を判定することを含む。セカンダリ変換は、順方向プライマリ変換と量子化ステップとの間、または、逆量子化ステップと逆方向プライマリ変換との間に適用可能である。方法は、判定に基づいて変換を行うことも含む。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用されてよい。方法は、映像のブロックと映像のビットストリーム表現との間での変換のために、ブロックに結合彩度残差符号化ステップが適用される場合、ビットストリーム表現にセカンダリ変換のための1または複数の行列インデックスが存在しないことを判定することを含む。セカンダリ変換は、順方向プライマリ変換と量子化ステップとの間、または、逆量子化ステップと逆方向プライマリ変換との間のブロックに適用可能である。結合彩度残差符号化ステップは、彩度成分に関連付けられた残差の平均である結合残差を判定することを含む。方法は、判定に基づいて変換を行うことも含む。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用されてよい。方法は、映像のブロックと映像のビットストリーム表現との間での変換のために、順方向プライマリ変換と量子化ステップとの間、または逆量子化ステップと逆方向プライマリ変換との間でブロックにセカンダリ変換を行う場合、ビットストリーム表現に、結合彩度残差符号化ステップの使用を示す構文フラグがないことを判定することを含む。結合彩度残差符号化ステップは、彩度成分に関連付けられた残差の平均である結合残差を判定することを含む。方法は、判定に基づいて変換を行うことも含む。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用されてもよい。方法は、映像のブロックと映像のビットストリーム表現との間での変換のために、ブロックに結合彩度残差符号化ステップが適用される場合、ビットストリーム表現にクロスコンポーネント線形モデル符号化ステップの使用を示す構文フラグが存在しないことを判定することを含む。結合彩度残差符号化ステップは、彩度成分に関連付けられた残差の平均である結合残差を判定することを含む。方法は、判定に基づいて変換を行うことも含む。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。方法は、映像のブロックと映像のビットストリーム表現との間での変換のために、ブロックにクロスコンポーネント線形モデルを適用する場合、ビットストリーム表現に結合彩度残差符号化ステップの使用を示す構文フラグが存在しないことを判定することを含む。結合彩度残差符号化ステップは、彩度成分に関連付けられた残差の平均である結合残差を判定することを含む。方法は、判定に基づいて変換を行うことも含む。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。方法は、映像のブロックと映像のビットストリーム表現との間での変換のために、ブロックのためのクロスコンポーネント線形モデル符号化ステップの係数に基づいて、結合彩度残差符号化ステップで使用される2つの彩度残差間の相関を判定することを含む。結合彩度残差符号化ステップは、彩度成分に関連付けられた残差の平均である結合残差を判定することを含む。方法は、判定に基づいて変換を行うことをも含む。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用されてよい。方法は、映像のブロックと映像のビットストリーム表現との間での変換のために、ブロックに結合彩度残差符号化ステップが適用される場合、輝度依存彩度残差スケーリング符号化ステップが無効であると判定することを含む。輝度依存彩度残差スケーリング符号化ステップは、再構成された輝度サンプルに基づいてスケーリング係数を導出するスケーリング処理を含み、スケーリング処理は彩度残差に適用される。方法は、判定に基づいて変換を行うことも含む。
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。方法は、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を行うことを含み、変換は、少なくとも1つの条件を検出することに応答して、結合彩度残差符号化ステップ、LDCRS(Luma-Dependent Chroma Residue Scaling)ステップ、セカンダリ変換ステップ、量子化ステップ、または適応ループフィルタステップのうちの1または複数の使用に関連付けられた1または複数の構文フラグの信号通知を選択的に有効または無効にすることを含む。
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用されてよい。方法は、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を行うことを含み、変換は、少なくとも1つ条件を検出することに応答して、結合彩度残差符号化ステップ、LDCRS(Luma-Dependent Chroma Residue Scaling)ステップ、セカンダリ変換ステップ、量子化ステップ、または適応ループフィルタステップのうちの1または複数の使用に関連付けられた1または複数の構文フラグの信号通知を選択的に有効または無効にすることを含み、現在の映像ブロックの第1の彩度成分は、第1のRST(Reduced Secondary Transform)行列と関連付けられ、現在の映像ブロックの第2の彩度成分が第2のRST行列と関連付けられる。
さらに別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用されてよい。方法は、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を行うことであって、変換は、少なくとも1つの条件を検出することに応答して、結合彩度残差符号化ステップ、LDCRS(Luma-Dependent Chroma Residue Scaling)ステップ、セカンダリ変換ステップ、量子化ステップ、または適応ループフィルタステップのうちの1または複数の使用に関連付けられた構文フラグの信号通知を選択的に有効または無効にすることを含み、現在の映像ブロックの第1の彩度成分は、第1のRST(Reduced Secondary Transform)行列に関連付けられ、現在の映像ブロックの第2の彩度成分は、第2のRST行列に関連付けられる、ことと、結合彩度残差符号化ステップが現在の映像ブロックに対して有効であるとの判定に応答して、現在の映像ブロックの1または複数の彩度成分上のCCLMの使用に関連したフラグの信号通知を無効にすることであって、1または複数の構文フラグ内のフラグはCCLM(Cross-Component Linear Model)の使用に関連する、こととを有する。
さらに別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。方法は、現在の映像ブロックのために、現在の映像ブロックのビットストリーム表現に1または複数の符号化ブロックフラグの選択的な包含に関する決定を行うことと、決定に基づいて、現在の映像ブロックと現在の映像ブロックのビットストリーム表現とを変換することとを含み、選択的は包含は、カラーフォーマット、現在の映像ブロックの成分符号化方法、または現在の映像ブロックの符号化モードに基づいて行われる。
さらに別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用されてよい。方法は、現在の映像ブロックのために、現在の映像ブロックの1または複数の色成分における複数の非ゼロ係数の数に基づいて、現在の映像ブロックに対してRST(Reduced Secondary Transform)の選択的な適用に関する決定を行うことと、決定に基づいて、現在の映像ブロックと現在の映像ブロックのビットストリーム表現とを変換することとを含む。
さらに別の代表的な態様として、映像処理方法が開示される。方法は、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を行うことを含み、ビットストリーム表現は、彩度の特徴に基づいて、彩度符号化に関する情報を示す構文要素の選択的な包含に基づく。
さらに、代表的な態様において、プロセッサと、命令を搭載した非一時的メモリとを備える、映像システムにおける装置が開示される。命令は、プロセッサによって実行されると、プロセッサに、開示された方法のいずれか1または複数を実装させる。
また、非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラムプロダクトであって、開示された方法のいずれか1または複数を実行するためのプログラムコードを含むコンピュータプログラムプロダクトが開示される。
開示される技術の上記および他の態様および特徴は、図面、説明および特許請求の範囲でより詳細に説明される。
VCCの例示的なエンコーダブロック図を示す。 輝度成分のためのフィルタの例を示す。 GALF(Geometry transform-based Adaptive Loop Filter)のためのエンコーダ決定の例示的なフローグラフを示す。 サブサンプリングされたラプラシアン計算の例を示す。 サブサンプリングされたラプラシアン計算の例を示す。 サブサンプリングされたラプラシアン計算の例を示す。 サブサンプリングされたラプラシアン計算の例を示す。 例示的なデコーダブロック図を示す。 セカンダリ変換の例を示す。 RST(Reduced Secondary Transform)の例を示す。 4:2:0フォーマットのピクチャにおける輝度および彩度サンプルの名目上の位置の例を示す。 4:2:2フォーマットのピクチャにおける輝度および彩度サンプルの名目上の位置の例を示す。 4:4:4フォーマットのピクチャにおける輝度および彩度サンプルの名目上の位置の例を示す。 輝度および彩度サブサンプリング方法の例を示す。 左上の彩度サンプルの例示的な相対位置を示す。 左上の彩度サンプルの他の例示的な相対位置を示す。 SBT(Sub-Block Transform)モード、SBT-V、およびSBT-Hの例を示す。 SBTモード、SBT-Qの例を示す。 本特許明細書に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実現するためのハードウェアプラットフォームの一例を示すブロック図である。 映像符号化のフローチャートを示す。 イントラブロックコピーモードの説明図である。 パレットモードで符号化されたブロックの例を示す。 水平方向および垂直方向の走査の例を示す。 パレットインデックスの符号化の例を示す。 開示された技術を実装することができる例示的な映像処理システムを示すブロック図である。 本技術に従う映像復号化の方法を示すフローチャートである。 本技術に従う映像符号化の方法を示すフローチャートである。 本技術に従う映像復号化の別の方法を示すフローチャートである。 本技術に従う映像復号化の別の方法を示すフローチャートである。 本技術に従う映像符号化の別の方法を示すフローチャートである。 本技術に従う映像符号化の別の方法を示すフローチャートである。 本技術に従う映像復号化の別の方法を示すフローチャートである。 本技術に従う映像符号化の別の方法を示すフローチャートである。 本技術に従う映像復号化の別の方法を示すフローチャートである。 本技術に従う映像符号化の別の方法を示すフローチャートである。 本技術に従う映像復号化の別の方法を示すフローチャートである。 本技術に従う映像符号化の別の方法を示すフローチャートである。 本技術に従う映像処理方法を示すフローチャートである。 本技術に従う別の映像処理方法を示すフローチャートである。 本技術に従う別の映像処理方法を示すフローチャートである。 本技術に従う別の映像処理方法を示すフローチャートである。 本技術に従う別の映像処理方法を示すフローチャートである。 本技術に従う別の映像処理方法を示すフローチャートである。 本技術に従うさらに別の映像処理方法を示すフローチャートである。
1. HEVC/H.265における映像符号化
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を作り、ISO/IECはMPEG-1とMPEG-4 Visualを作り、両団体はH.262/MPEG-2 VideoとH.264/MPEG-4 AVC(Advanced Video Coding)とH.265/HEVC規格を共同で作った。H.262以来、映像符号化規格は、時間的予測と変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超えた将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、多くの新しい方法がJVETによって採用され、JEM(Joint Exploration Mode)と呼ばれる参照ソフトウェアに組み込まれてきた。2018年4月には、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の間にJVET(Joint Video Expert Team)が発足し、HEVCと比較して50%のビットレート削減を目標にVVC規格の策定に取り組んでいる。
2.1 色空間および彩度サブサンプリング
色空間は、カラーモデル(または、カラーシステム)としても知られ、典型的には3つまたは4つの値または色成分(例えば、RGB)である数字のタプルとして色の範囲を簡単に記述する抽象的な数学モデルである。基本的には、色空間は、座標系とサブ空間とを合成したものである。
映像圧縮の場合、最も頻繁に使用される色空間は、YCbCrおよびRGBである。
YCbCr、Y’CbCr、またはY Pb/Cb Pr/Crは、YCBCRまたはY’CBCRとも記述され、映像およびデジタル写真システムにおける色画像パイプラインの一部として使用される色空間のファミリーである。Y’は輝度成分であり、CBとCRは青色差および赤色差の彩度成分である。Y’(素数を有する)は、輝度であるYとは区別され、ガンマ補正されたRGBの原色に基づいて光強度が非線形に符号化されることを意味する。
彩度サブサンプリングは、人間の視覚システムが輝度よりも色の違いに弱いことを利用して、輝度情報よりも彩度情報の解像度のほうを低くなるようにして画像を符号化する方法である。
2.1.1. 4:4:4
3つのY’CbCr成分のそれぞれは、同じサンプルレートを有し、従って、彩度サブサンプリングはない。この方式は、ハイエンドフィルムスキャナおよび映画のポストプロダクションに用いられることがある。
2.1.2. 4:2:2
2つの彩度成分は、輝度のサンプルレートの半分でサンプリングされ、水平方向の彩度解像度は半分にされる。これにより、視覚的にほとんど、または全く差がなく、非圧縮の映像信号の帯域幅を1/3に縮小する。
2.1.3. 4:2:0
4:2:0では、水平サンプリングは4:1:1に比べて2倍になるが、この方式ではCbとCrチャンネルを各交互のラインでのみサンプリングするため、垂直方向の解像度が半分になる。従って、データレートは同じである。CbおよびCrはそれぞれ水平および垂直方向の両方にて2倍ずつサブサンプリングされる。異なる水平および垂直位置を有する4:2:0の方式の3つの変形がある。
MPEG-2において、CbおよびCrは水平方向に同一の位置にある。CbおよびCrは、垂直方向の画素間に位置する(隙間に位置する)。
JPEG/JFIF、H.261、およびMPEG-1において、CbおよびCrは、交互の輝度サンプルの中間に、隙間に位置する。
4:2:0 DVにおいて、CbおよびCrは、水平方向にて同一の位置にある。垂直方向には、それらは交互に同一の位置にある。
2.2. 典型的な映像コーデックの符号化フロー
図1は、VVCのエンコーダブロック図の例を示し、3つのインループフィルタリングブロック、すなわち、DF(Deblocking Filter)、SAO(Sample Adaptive Offset)、およびALF(Adaptive Loop Filter)を含む。予め定義されたフィルタを使用するDFとは異なり、SAOおよびALFは、現在の画像の元のサンプルを利用して、オフセットおよびフィルタ係数を信号通知する符号化側情報を用いて、オフセットを追加し、FIR(Finite Inpulse Response)フィルタを適用することにより、元のサンプルと再構成サンプルとの間の平均二乗誤差をそれぞれ低減する。ALFは、各ピクチャの最後の処理段階に位置し、前の段階で生成されたアーティファクトを捕捉して、確定しようとするツールと見なすことができる。
2.3. JEMにおける幾何学的変換に基づく適応ループフィルタ
JEMにおいて、ブロックに基づくフィルタ適応を用いたGALF(Geometry transformation-based Adaptive Loop Filter)が適用される。輝度成分に対し、25個のフィルタのうち1つが、局所勾配の方向およびアクティビティに基づいて、2×2ブロックごとに選択される。
2.3.1. フィルタ形状
JEMにおいて、最大3つの菱形フィルタ形状(図2に示す)が、輝度成分に対して選択されることができる。インデックスが、輝度成分に対して使用されるフィルタ形状を示すために、ピクチャレベルで信号通知される。
ピクチャにおける彩度成分に対して、5×5菱形の形状が常に使用される。
2.3.1.1. ブロック区分
各2×2ブロックが、25個のクラスのうちの1つに分類される。分類インデックスCは、その方向性DおよびアクティビティA^の量子化値に基づいて、以下のように導出される。
Figure 0007303328000001
DおよびA^を計算するために、水平、垂直、および2つの対角線方向の勾配が、まず1-Dラプラシアンを使用して計算される。
Figure 0007303328000002
Figure 0007303328000003
Figure 0007303328000004
Figure 0007303328000005
インデックスiおよびjは、2×2ブロックの左上のサンプルの座標を表し、R(i,j)は、座標(i,j)において再構成されたサンプルを示す。
そして、水平方向および垂直方向の勾配のD最大値およびD最小値を以下のように設定する。
Figure 0007303328000006
さらに、2つの対角線方向の勾配の最大値および最小値は、以下のように設定される。
Figure 0007303328000007
方向性Dの値を導出するために、これらの値を互いに、かつ、2つの閾値tおよびtと比較する。
ステップ1.
Figure 0007303328000008
の両方が真である場合、Dが0に設定される。
ステップ2.
Figure 0007303328000009
である場合、ステップ3から続け、そうでない場合、ステップ4から続ける。
ステップ3.
Figure 0007303328000010
である場合、Dは2に設定され、そうでない場合、Dは1に設定される。
ステップ4.
Figure 0007303328000011
である場合、Dは4に設定され、そうでない場合、Dは3に設定される。
アクティビティ値Aは、以下のように計算される。
Figure 0007303328000012
Aはさらに0~4の範囲にて、包括的に量子化され、量子化された値をA^とする。
ピクチャにおける両彩度成分に対して、分類方法は適用されず、例えば、ALF係数の単一のセットが各彩度成分に対して適用される。
2.3.1.2. フィルタ係数の幾何学的変換
各2×2輝度ブロックをフィルタリングする前に、そのブロックに対して計算された勾配値に基づいて、回転、または対角線および垂直方向の反転等の幾何学的変換がフィルタ係数f(k,l)に適用される。これは、フィルタサポート領域におけるサンプルに、これらの変換を適用することに等しい。その考えは、ALFが適用される異なるブロックに、それらの方向性を揃えることによって、より類似させることである。
対角線、垂直方向の反転および回転を含む3つの幾何学的変換を紹介する。
Figure 0007303328000013
Kはフィルタのサイズであり、0≦k、l≦K-1が係数座標であり、位置(0,0)は左上隅にあり、位置(K-1,K-1)は右下隅にある。変換は、ブロックに対して計算された勾配値に基づいて、フィルタ係数f(k,l)に適用される。変換と4方向の4つの勾配との関係を表1にまとめる。
Figure 0007303328000014
2.3.1.3. フィルタパラメータの信号通知
JEMにおいて、GALFフィルタパラメータは、第1のCTUのために、例えば、スライスヘッダの後、かつ、第1のCTUのSAOパラメータの前に信号通知される。最大25組の輝度フィルタ係数を信号通知することができる。ビットのオーバーヘッドを低減するために、異なる分類のフィルタ係数をマージすることができる。また、参照ピクチャのGALF係数を記憶し、現在のピクチャのGALF係数として再利用することができる。現在のピクチャは、参照ピクチャのために記憶されたGALF係数を使用し、GALF係数の信号通知を避けることを選択してもよい。この場合、参照ピクチャのうちの1つへのインデックスのみが通知され、指定された参照ピクチャの記憶されたGALF係数が現在のピクチャに継承される。
GALF時間予測をサポートするために、GALFフィルタセットの候補リストが維持される。新しいシーケンスの復号開始時に、候補リストは空である。1つのピクチャを復号した後、フィルタの対応するセットを候補リストに加えることができる。候補リストのサイズが最大許容値(例えば、現在のJEMでは6)に達すると、フィルタの新しいセットが、復号化順にて最も古いセットを上書きし、すなわち、FIFO(First-In-First-Out)規則が候補リストを更新するために適用される。重複を避けるために、対応するピクチャがGALF時間的予測を使用しない場合にのみ、1つのセットがリストに追加されることができるのみである。時間的スケーラビリティをサポートするために、フィルタセットの候補リストは複数存在し、各候補リストに1つの時間的層が関連付けられる。具体的に、時間的層インデックス(TempIdx)により割り当てられた各配列は、等しいまたはより低いTempIdxを有する、以前に復号されたピクチャのフィルタセットを構成してもよい。例えば、k番目の配列は、kに等しいTempIdxに関連付けられるように割り当てられ、それは、k以下のTempIdxを有するピクチャからのフィルタセットのみを含む。特定のピクチャを符号化した後、ピクチャに関連付けられたフィルタセットは、等しいまたはより高いTempIdxに関連付けられた配列を更新するために用いられる。
GALF係数の時間的予測は、信号通知のオーバーヘッドを最小限にするために、インター符号化されたフレームに対して使用される。イントラフレームの場合、時間的予測は利用できず、16個の固定フィルタのセットが各クラスに割り当てられる。固定フィルタの使用を示すために、各クラスに対するフラグが信号通知され、必要に応じて、選択された固定フィルタのインデックスが通知される。固定フィルタが特定のクラスに対して選択された場合でも、適応フィルタf(k,l)の係数が、このクラスに対して送信されることができ、再構成された画像に適用されるフィルタの係数は両方の係数の和である。
輝度成分のフィルタリング処理は、CUレベルで制御され得る。GALFがCUの輝度成分に適用されるかどうかを示すために、フラグが信号通知される。彩度成分の場合、GALFが適用されるかどうかは、画像レベルでのみ示される。
2.3.1.4. フィルタリング処理
デコーダ側において、ブロックに対してGALFが有効である場合、ブロック内のそれぞれのサンプルR(i,j)がフィルタリングされ、その結果、以下に示すように、サンプル値R’(i,j)が得られ、Lはフィルタ長を表し、fm,nはフィルタ係数を表し、f(k,l)は復号化されたフィルタ係数を表す。
Figure 0007303328000015
2.3.1.5 符号化側フィルタパラメータの判定処理
図3には、GALFのための全体的なエンコーダ決定処理が示されている。各CUの輝度サンプルに対して、エンコーダは、GALFが適用され、かつ適切な信号通知フラグがスライスヘッダに含まれているかどうかの決定を行う。彩度サンプルの場合、フィルタを適用する決定は、CUレベルではなくピクチャレベルに基づいて行われる。さらに、ピクチャに対する彩度GALFは、ピクチャに対する輝度GALFが有効である場合にのみチェックされる。
2.4. VTM4.0における幾何学的変換に基づく適応ループフィルタ
現在のVVCにおけるGALFの設計は、JEMにおける設計に比べ、以下のような大きな変化を有している。
(1)適応フィルタ形状は除去される。輝度成分に対しては7×7のフィルタ形状のみが許容され、彩度成分に対しては5×5のフィルタ形状のみが許容される。
(2)ALFパラメータの時間的予測および固定フィルタからの予測は、両方とも除去される。
(3)各CTUに対して、ALFが有効であるか無効であるかに関わらず、1つのビットフラグが信号通知される。
(4)クラスインデックスの計算は、2×2ではなく、4×4のレベルで行われる。また、ALF分類のためのサブサンプリングされたラプラシアン計算方法を利用してもよい。具体的には、1つのブロック内の各サンプルに対して水平/垂直/45対角/135度勾配を計算する必要がない。その代わりに、1:2サブサンプリングが利用される。
図4A~図4Dは、いくつかの例示的なサブサンプリングされたラプラシアン計算を示す。
2.4.1. フィルタリング処理
VTM4.0において、適応ループフィルタのフィルタリング処理は、以下のように実行される。
Figure 0007303328000016
ここで、I(x+i,y+J)は入力サンプル、О(x,y)はフィルタリングされた出力サンプル(例えば、フィルタ結果)、w(i,j)はフィルタ係数を表す。実際において、VTM4.0では、固定小数点精度計算のために整数演算を用いて実施されている。
Figure 0007303328000017
ここで、Lはフィルタの長さを表し、w(i,j)は、固定小数点精度でのフィルタ係数である。
2.5. 非線形ALFの例
2.5.1. フィルタリング再形成
式(11)は、符号化効率に影響を及ぼすことなく、以下の式で再定式化することができる。
Figure 0007303328000018
ここで、w(i,j)は、式(11)と同じフィルタ係数である[但し、w(0,0)は式(13)では1に等しいが、式(11)では以下に等しい]。
Figure 0007303328000019
2.5.2. 修正フィルタリング処理
(13)の上記フィルタ方程式を用いることで、非線形性は、近傍のサンプル値(I(x+i,y+J))がフィルタリングされた現在のサンプル値(I(x,y))と異なり過ぎている場合でも、それらの影響を減らすために、サンプルクリッピング関数を用いることにより、ALFをより効率的にすることができる。
この提案において、ALFフィルタは、以下のように修正される。
Figure 0007303328000020
ここで、K(d,b)=min(b,max(-b,d))はクリッピング関数であり、k(i,j)はI(x+i,y+j)に関連付けられたフィルタ係数に依存するクリッピングパラメータである。エンコーダは、最良のk(i,j)を見出すために量子化を行う。
いくつかの実施形態において、クリッピングパラメータk(i,j)は各フィルタに対して特定され、1つのクリッピング値がフィルタ係数ごとに信号通知される。これは、輝度フィルタごとのビットストリームにおいて、最大12個のクリッピング値を信号通知することができ、彩度フィルタに対しては最大6個のクリッピング値を信号通知することができることを意味する。
信号通知コストおよびエンコーダの複雑性を抑制するために、クリッピング値の評価は、可能な値の小さなセットに限定されてもよい。いくつかの実施形態において、インターおよびイントラタイルグループに対して同じ4つの固定値を使用することができる。
局所的な差の分散は、輝度よりも彩度のほうが大きいことが多いので、輝度フィルタおよび彩度フィルタの2つの異なるセットを使用することができる。各セットに最大のサンプル値(ここでは10ビットのビット深度の場合、1024)を含めることができるので、クリッピングが必要でない場合、クリッピングを無効にすることができる。
いくつかの実施形態において用いられるクリッピング値のセットを表2に示す。4つの値は、対数領域において、輝度に対しては(10ビットで符号化される)サンプル値の全範囲、彩度に対しては4~1024の範囲をほぼ均等に分割して選択されている。
より正確には、クリッピング値の輝度テーブルは、以下の式によって得られる。
Figure 0007303328000021
同様に、クリッピング値の彩度テーブルは、以下の式に従って取得される。
Figure 0007303328000022
Figure 0007303328000023
選択されたクリッピング値は、上記の表2のクリッピング値のインデックスに対応するゴロム符号化方式を用いて、「alf_data」構文要素に符号化される。この符号化方式は、フィルタインデックスの符号化方式と同じである。
2.6. CTBに基づくALFの例
本提案では、以下の3つの主な変更点を紹介する。
(1)CTBレベルで他のALF APS(別名、時間的予測)からのフィルタ係数の継承。
(2)固定フィルタからのフィルタ係数の予測符号化。
(3)固定フィルタセットからの予測符号化、時間的予測、または1つの信号通知されたフィルタセット(スライスヘッダ内)からの継承のCTBレベルの利用制御/
2.6.1. スライスレベル時間的フィルタ
VTM4にはAPS(Adaptive Parameter Set)が採用された。各APSには、1セットの信号通知されたALFフィルタが含まれ、最大32個のAPSがサポートされる。本提案では、スライスレベルの時間的フィルタを試験する。タイルグループは、オーバーヘッドを低減するために、APSからのALF情報を再利用することができる。APSは、FIFO(First-In-First-Out)バッファとして更新される。
2.6.2. CTBに基づくALFの追加例
輝度成分に対し、ALFが輝度CTBに適用される場合、16個の固定フィルタセットまたは5個の時間的フィルタセットからの予測、または1つの信号通知されたフィルタセット(スライスヘッダ内)からの継承、からの選択が示される。フィルタセットインデックスのみが信号通知される。1つのスライスに対して、25個のフィルタからなる1つの新しいセットのみを信号通知することができる。スライスに対して新しいセットが信号送信された場合、同じスライス内のすべての輝度CTBはそのセットを共有する。固定フィルタセットを使用して新しいスライスレベルフィルタセットを予測することができ、これを輝度CTBの候補フィルタセットとして使用することもできる。フィルタの数は合計64個である。
彩度成分に対し、ALFが彩度CTBに適用される場合、新しいフィルタがスライスのために信号通知される際に、CTBは新しいフィルタを使用し、そうでない場合には、時間的スケーラビリティ制約を満たす最も新しい時間的彩度フィルタが適用される。
スライスレベルの時間的フィルタとして、APSは、FIFO(First-In-First-Out)バッファとして更新される。
2.6.3 修正された仕様
以下の文章は、固定フィルタ時間的フィルタCTBに基づくフィルタインデックスにて修正されたものである。
2.6.3.1.構文テーブル
7.3.3.2 適応ループフィルタデータ構文
Figure 0007303328000024
Figure 0007303328000025
7.3.4.2. 符号化ツリーユニット構文
Figure 0007303328000026
Figure 0007303328000027
2.6.3.2.意味論
7.4.4.2. 適応ループフィルタデータ意味論
alf_signal_new_filter_lumaが1に等しい場合、新しい輝度フィルタセットが信号通知されることを規定する。alf_signal_new_filter_lumaが0に等しい場合、新しい輝度フィルタセットが信号通知されないことを規定する。存在しない場合、0である。
alf_luma_use_fixed_filter_flagが1に等しい場合、固定フィルタセットが適応ループフィルタを信号通知するために用いられることを規定する。alf_luma_use_fixed_filter_flagが0に等しい場合、固定フィルタセットが適応ループフィルタを信号通知するために用いられないことを規定する。
alf_luma_fixed_filter_set_indexは、固定フィルタセットインデックスを規定する。それは0・・・15であってよい。
alf_luma_fixed_filter_usage_patternが0に等しい場合、すべての新しいフィルタが固定フィルタを使用することを規定する。alf_luma_fixed_filter_usage_patternが1に等しい場合、新しいフィルタの一部に固定フィルタを使用し、他のフィルタに使用しないことを規定する。
alf_luma_fixed_filter_usage[i]が1に等しい場合、i番目のフィルタが固定フィルタを使用することを規定する。alf_luma_fixed_filter_usage[i]が0に等しい場合、i番目のフィルタが固定フィルタを使用しないことを規定する。存在しない場合、1と推測される。
alf_signal_new_filter_chromaが1に等しい場合、新しい彩度フィルタが信号通知されることを示す。alf_signal_new_filter_chromaが0に等しい場合、新しい彩度フィルタが信号通知されないことを示す。
alf_num_available_temporal_filter_sets_lumaは、現在のスライスに対して使用できる使用可能な時間的フィルタセットの数を規定し、その数は0..5であってよい。存在しない場合、0である。
変数alf_num_available_filter_setsは、16+alf_signal_new_filter_luma+alf_num_available_temporal_filter_sets_lumaとして導出される。
alf_signal_new_filter_lumaが1である場合、次の処理が実行される。
変数filterCoefficients[sigFiltIdx][j]は、sigFiltIdx=0..alf_luma_num_filters_signaled_minus1,j=0..11のとき、次のように初期化される。
filterCoefficients[sigFiltIdx][j]=alf_luma_coeff_delta_abs[sigFiltIdx][j]*(1-2*alf_luma_coeff_delta_sign[sigFiltIdx][j]) (7-50)
alf_luma_coeff_delta_prediction_flagが1に等しい場合、変数filterCoefficients[sigFiltIdx][j]は、sigFiltIdx=1..alf_luma_num_filters_signaled_minus1およびj=0..11のとき、以下のように修正される。
filterCoefficients[sigFiltIdx][j]+=filterCoefficients[sigFiltIdx-1][j] (7-51)
要素AlfCoeffL[filtIdx][j]を有する輝度フィルタ係数AlfCoeffLは、filtIdx=0..NumAlfFilters-1およびj=0..11のとき、以下のように導出される。
AlfCoeffL[filtIdx][j]=filterCoefficients[alf_luma_coeff_delta_idx[filtIdx]][j] (7-52)
alf_luma_use_fixed_filter_flagが1であり、かつ、alf_luma_fixed_filter_usage[filtidx]が1である場合、以下が適用される。:
AlfCoeffL[filtIdx][j]=AlfCoeffL[filtIdx][j]+AlfFixedFilterCoeff[AlfClassToFilterMapping[alf_luma_fixed_filter_index][filtidx]][j]
filtIdx=0..NumAlfFilters-1に対する最後のフィルタ係数AlfCoeffL[filtIdx][12]は、以下のように導出される。
AlfCoeffL[filtIdx][12]=128-Σk(AlfCoeffL[filtIdx][k]<<1), k=0..11 (7-53)
AlfCoeffL[filtIdx][j]の値は、filtIdx=0..NumAlfFilters-1、j=0..11のとき、-27~27-1の範囲内にあり、AlfCoeffL[filtIdx][12]の値は、0~28-1の範囲内にあることが、ビットストリームの適合性の要件である。
輝度フィルタ係数 要素AlfCoeffLumaAll[filtSetIdx][filtIdx][j]を有する輝度フィルタ係数AlfCoeffLumaAllは、filtSetIdx=0..15、filtSetIdx=0..NumAlfFilters-1、j=0..12のとき、次のように導出される。
AlfCoeffLumaAll[filtSetIdx][filtIdx][j]=AlfFixedFilterCoeff[AlfClassToFilterMapping[filtSetIdx][filtidx]][j]
輝度フィルタ係数 要素AlfCoeffLumaAll[filtSetIdx][filtIdx][j]を有する輝度フィルタ係数AlfCoeffLumaAllは、filtSetIdx=16、filtSetIdx=0..NumAlfFilters-1、j=0..12のとき、次のように導出される。
変数closest_temporal_indexは、-1に初期化される。Tidは、現在のスライスの時間的層インデックスである。
alf_signal_new_filter_lumaが1である場合
AlfCoeffLumaAll[16][filtIdx][j]=AlfCoeffL[filtIdx][j]
そうでない場合、以下の処理が呼び出される
for(i=Tid;i>=0;i--)

for(k=0;k<temp_size_L;k++)

if(tempTid_L[k]==i)

closest_temporal_indexにkを設定;
break;



AlfCoeffLumaAll[16][filtIdx][j]=TempL[closest_temporal_index][filtIdx][j]
輝度フィルタ係数 要素AlfCoeffLumaAll[filtSetIdx][filtIdx][j]を有する輝度フィルタ係数AlfCoeffLumaAllは、filtSetIdx=17..alf_num_available_filter_sets-1、filtSetIdx=0..NumAlfFilters-1、j=0..12のとき、以下のように導出される。
i=17;
for(k=0;k<temp_size_Lかつi<alf_num_available_filter_sets;j++)

if (tempTid_L[k]<=Tidかつkがclosest_temporal_indexと異なる)

AlfCoeffLumaAll[i][filtIdx][j]=TempL[k][filtIdx][j];
i++;


AlfFixedFilterCoeff[64][13]=

{0,0,2,-3,1,-4,1,7,-1,1,-1,5,112},
・・・
};
AlfClassToFilterMapping[16][25]=

{8,2,2,2,3,4,53,9,9,52,4,4,5,9,2,8,10,9,1,3,39,39,10,9,52},
・・・};
alf_signal_new_filter_chromaが1である場合、次の処理が実行される。
j=0..5である彩度フィルタ係数AlfCoeffC[j]は、以下のように導出される。
AlfCoeffC[j]=alf_chroma_coeff_abs[j]*(1-2*alf_chroma_coeff_sign[j]) (7-57)
j=6の場合の最後のフィルタ係数は、以下のように導出される。
AlfCoeffC[6]=128-Σk(AlfCoeffC[k]<<1), k=0..5 (7-58)
j=0..5のAlfCoeffC[j]の値は、-27-1~27-1の範囲内にあり、AlfCoeffC[6]の値は、0~28-1の範囲内にあることがビットストリームの適合性の要件である。
あるいは(alf_signal_new_filter_chromaが0である場合)、以下が呼び出される。
for(i=Tid;i>=0;i--)

for(k=0;k<temp_size_C;k++)

if(tempTid_C[k]==i)

closest_temporal_indexにkを設定;
break;



j=0..6である彩度フィルタ係数AlfCoeffC[j]は、以下のように導出される。
AlfCoeffC[j]=TempC[closest_temporal_index][j]
7.4.5.2 符号化ツリーユニット構文
alf_luma_ctb_filter_set_index[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]は、位置(xCtb,yCtb))における輝度CTBのフィルタセットインデックスを規定する。
alf_use_new_filterが1に等しい場合、alf_luma_ctb_filter_set_index[xCtb>>Log2CtbSize][yCtb>>>Log2CtbSize]が16であることを規定する。alf_use_new_filterが0である場合、alf_luma_ctb_filter_set_index[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]が16でないことを規定する。
alf_use_fixed_filterが1に等しい場合、固定フィルタセットの1つを使用することを規定する。alf_use_fixed_filterが0に等しい場合、現在の輝度CTBは固定フィルタセットを使用しないことを規定する。
alf_fixed_filter_indexは、固定フィルタセットインデックスを規定し、0~15となり得る。
alf_temporal_indexは、時間的フィルタセットインデックスを規定し、0~alf_num_available_temporal_filter_sets_luma-1となり得る。
2.6.3.3 復号化処理
8.5.1 一般
1.sps_alf_enabled_flagが1に等しい場合、以下が適用される。
8.5.4.5節に規定される時間的フィルタ更新プロセスが呼び出される。
-8.5.4.1節に規定される適応ループフィルタ処理は、再構成された画像サンプル配列S、SCb、およびSCrを入力とし、サンプル適応オフセット後の修正された再構成画像サンプル配列S’、S’Cb、およびS’Crを出力として、呼び出される。
-配列S’、S’Cb、およびS’Crは、配列S、SCb、およびSCr(復号化されたピクチャを表す)にそれぞれ割り当てられる。
8.5.4.6節に規定される時間的フィルタ更新プロセスが呼び出される。
8.5.4.2 輝度サンプルに対する符号化ツリーブロックフィルタリング処理
-filtIdx[x][y]で規定されるフィルタに対応する輝度フィルタ係数f[j]の配列は、j=0..12として、以下のように導出される。
f[j]=AlfCoeff LumaAll [alf_luma_ctb_filter_set_index[xCtb>>Log2CtbSize][yCtb>>Log2CtbSize]]][filtIdx[x][y]][j] (8-732)
8.5.4.5 時間的フィルタ更新
以下の条件のいずれかが真である場合、
-現在のピクチャはIDRピクチャである。
-現在のピクチャはBLAピクチャである。
-復号化順序において、現在のピクチャは、直近の復号化されたIRAPピクチャのPOCよりも大きいPOCを有する第1のピクチャ、例えば、先頭ピクチャの後かつ後続ピクチャの前である。
次に、temp_size_Lとtemp_size_Cを0に設定する。
8.5.4.6 時間的フィルタ更新
slice_alf_enabled_flagが1であり、alf_signal_new_filter_lumaが1である場合、以下が適用される。
輝度時間的フィルタバッファサイズtemp_size_L<5の場合、temp_size_L=temp_size_L+1。
Temp[i][j][k]は、i=temp_size_L-1・・・1、j=0・・・NumAlfFilters-1、k=0・・・12のとき、次のように更新される。
Temp[i][j][k]=Temp[i-1][j][k]
Temp[0][j][k]は、j=0・・・NumAlfFilters-1、k=0..12のとき、次のように更新される。
Temp[0][j][k]=AlfCoeff[j][k]
TempTid_L[i]は、i=temp_size_L-1・・・1のとき、次のように更新される。
TempTid_L[i]=TempTid_L[i-1]
TempTid_L[0]を現在のスライスの時間的層インデックスTidに設定する。
alf_chroma_idxが0でなく、alf_signal_new_filter_chromaが1の場合、以下が適用される。
Temp[i][j]は、i=temp_size_c-1・・・1およびj=0・・・6のとき、以下のように更新される。
Temp[i][j]=Temp[i-1][j]
Temp[0][j]は、j=0・・・6のとき、以下のように更新される。
Temp[0][j]=AlfCoeff[j]
TempTid_C[i]は、i=temp_size_C-1・・・1のとき、以下のように更新される。
TempTid_C[i]=TempTid_C[i-1]
TempTid_C[0]に現在のスライスのTidを設定する。
Figure 0007303328000028
Figure 0007303328000029
2.7.ILR(In-Loop Reshaping)の例
ILR(In-Loop Reshaping)の基本的な考えは、元の(第1のドメインにおける)信号(予測/再構成信号)を第2のドメイン(再形成されたドメイン)に変換することである。
インループ輝度リシェイパは、1対のLUT(Look-Up Table)として実装されるが、信号通知されたLUTから他方を計算することができるので、2つのLUTのうちの一方のみを信号通知する必要がある。各LUTは、1次元、10ビット、1024エントリマッピングテーブル(1D-LUT)である。1つのLUTは、順方向LUT、FwdLUTであり、これは、入力輝度コード値Yを変更された値Y:Y=FwdLUT[Y]にマッピングする。他方のLUTは、逆方向LUT、InvLUTであり、変更されたコード値YをY^:Y^=InvLUT[Y]にマッピングする。(Y^はYの再構成値を表す)。
2.7.1. PWLモデル例
概念的には、PWL(Piece-Wise Linear)は、以下のように実装される。
x1、x2を2つの入力支点とし、y1、y2を1つのピースに対応する出力支点とする。x1とx2との間の任意の入力値xに対する出力値yは、以下の式によって補間することができる
y=((y2-y1)/(x2-x1))*(x-x1)+y1
固定点実装では、式は、以下のように書き換えることができる。
y=((m*x+2FP_PREC-1)>>FP_PREC)+c
mはスカラーであり、cはオフセットであり、FP_PRECは精度を規定するための定数である。
なお、PWLモデルは、1024エントリのFwdLUTマッピングテーブルおよびInvLUTマッピングテーブルを予め計算するために使用することができるが、PWLモデルは、LUTを予め計算することなく、実装において同一のマッピング値をオンザフライで計算することも可能にする。
2.7.2.例示的な試験モデル
2.7.2.1 輝度の再形成
いくつかの実施形態において、インループ輝度再形成の試験モデルは、インタースライス再構成におけるブロックワイズイントラ予測のための復号遅延を排除する、より複雑性の低いパイプラインを提供する。イントラ予測は、インタースライスおよびイントラスライスの両方に対する、再形成されたドメインにおいて実行される。
イントラ予測は、スライスタイプにかかわらず、常に再形成されたドメインで行われる。このような構成によれば、イントラ予測は、以前のTU再構成を行った直後に開始することができる。このような構成は、スライスに依存する代わりに、イントラモードに対する統一された処理を提供することもできる。図5は、モードに基づく復号化処理の例を示すブロック図である。
いくつかの実施形態において、32個のPWLモデルの代わりに、輝度および彩度残差スケーリングに対して16個のPWL(Piece-Wise Linear)モデルがテストされ得る。
いくつかの実施形態において、インループ輝度リシェイパを用いたインタースライス再構成は、テストモードで実施されてもよい(薄い緑色の影が付けられたブロックは、再形成された領域における信号を示す:輝度残差、イントラ輝度予測、およびイントラ輝度再構成)。
2.7.2.2 輝度依存彩度残差スケーリング
輝度依存彩度残差スケーリングは、固定小数点整数演算で実装される乗算処理である。これは、再構成された輝度サンプルに基づいてスケーリング係数を導出するスケーリング処理である。次に、スケーリング係数が、彩度残差に適用される(即ち、彩度残差スケーリング)。彩度残差スケーリングは、輝度信号の彩度信号との相互作用を補償する。残差スケーリングは、TUレベルで適用される。具体的には、対応する輝度予測ブロックの平均値を利用する。
平均値は、PWLモデルにおけるインデックスを特定するために使用される。インデックスは、スケーリング係数cScaleInvを特定する。彩度残差にその数が乗算される。
なお、彩度スケーリング係数は、再構成された輝度値ではなく、順方向マップされた予測輝度値から算出される。
2.7.3. ILRの使用
エンコーダ側では、まず、各ピクチャ(または、タイルグループ)を再掲載された領域に変換する。そして、すべての符号化処理は、再形成された領域で行われる。イントラ予測の場合、近傍のブロックは再形成された領域にあり、インター予測の場合、まず、参照ブロック(復号化ピクチャバッファからの元の領域から生成される)を再形成された領域に変換する。そして、残差が生成され、ビットストリームに符号化される。
ピクチャ全体(または、タイルグループ)の符号化/復号化が終わった後、再形成された領域のサンプルを元の領域に変換し、次いで、非ブロック化フィルタおよび他のフィルタが適用される。
以下の場合、予測信号への順方向再形成は無効化される。
(1)現在のブロックはイントラ符号化されている。
(2)現在のブロックはCPR(現在のピクチャの参照、別名、IBC(Intra Block Copy))として符号化される。
(3)現在のブロックは、CIIP(Combined Inter-Intra mode)として符号化され、イントラ予測ブロックのために順方向再形成は無効化される。
2.7.4. ILR側情報の信号通知例
2.7.4.1. 構文テーブル
LMCS APS:aps_params_typeがLMCS_APSに等しいAPS。
7.3.2.3 シーケンスパラメータセットRBSP構文
Figure 0007303328000030
7.3.2.5 適応パラメータセット構文
Figure 0007303328000031
7.3.5 スライスヘッダ構文
7.3.5.1 一般スライスセグメントヘッダ構文
Figure 0007303328000032
Figure 0007303328000033
7.3.5.4 彩度スケーリングを伴う輝度マッピング
Figure 0007303328000034
2.7.4.2.意味論
sps_lmcs_enabled_flagが1に等しい場合、CVSにおいて彩度スケーリングを伴う輝度マッピングが用いられることを規定する。sps_lmcs_enabled_flagが0に等しい場合、CVSにおいて彩度スケーリングを伴う輝度マッピングが用いられないことを規定する。
適応パラメータセット意味論
adaptation_parameter_set_idは、他の構文要素が参照するAPSの識別子を提供する。APSは、ピクチャ間で共有されてもよく、ピクチャ内の異なるスライスで異なってもよい。
aps_params_typeは、表5に規定されるように、APSにおいて実行されるAPSパラメータのタイプを規定する。
Figure 0007303328000035
slice_lmcs_enabled_flagが1に等しい場合、現在のスライスに対して、彩度スケーリングを伴う輝度マッピングが有効であることを規定する。slice_lmcs_enabled_flagが0に等しい場合、現在のスライスに対して、彩度スケーリングを伴う輝度マッピングが有効でないことを規定する。slice_lmcs_enabled_flagが存在しない場合、0に等しいと推測される。
slice_lmcs_aps_idは、スライスが参照するLMCS APSのadaptation_parameter_set_idを規定する。slice_lmcs_aps_idに等しいadaptation_parameter_set_idを有するLMCS APS NALユニットのTemporalIdは、符号化スライスNALユニットのTemporalId以下である。
同じピクチャの2つ以上のスライスによって、同じ値のadaptation_parameter_set_idを有する複数のLMCS APSが参照される場合、同じ値のadaptation_parameter_set_idを有する複数のLMCS APSは同一の内容を有する。
7.4.6.4 彩度スケーリングデータ意味論を伴う輝度マッピング
lmcs_min_bin_idxは、彩度スケーリング構築処理を有する輝度マッピングに用いられる最小ビンインデックスを規定する。lmcs_min_bin_idxの値は、0~15の範囲内にあるべきである。
lmcs_lmcs_delta_max_bin_idxは、彩度スケーリング構築プロセスを有する輝度マッピングに使用される、15と最大ビンインデックスLmcsMaxBinIdxとの間の差分値を規定する。lmcs_delta_max_bin_idxの値は、0~15の範囲内にあるべきである。LmcsMaxBinIdxの値は、15-lmcs_delta_max_bin_idxに等しく設定される。LmcsMaxBinIdxの値は、lmcs_min_bin_idx以上であるべきである。
lmcs_delta_cw_prec_minus1+1は、構文lmcs_delta_abs_cw[i]の表現に使用するビット数を規定する。lmcs_delta_cw_prec_minus1の値は、0~BitDepthY-2の範囲内にあるべきである。
lmcs_lmcs_delta_abs_cw[i]は、i番目のビンの絶対差分コード名値を規定する。
lmcs_delta_sign_cw_flag[i]は、変数lmcsDeltaCW[i]の符号を以下のように規定する。
-lmcs_delta_sign_cw_flag[i]が0に等しい場合、lmcsDeltaCW[i]は正の値である。
-そうでない場合(lmcs_delta_sign_cw_flag[i]が0に等しくない場合)、lmcsDeltaCW[i]は負の値である。
lmcs_delta_sign_cw_flag[i]が存在しない場合、0に等しいと推測される。
変数OrgCWは、以下のように導出される。
OrgCW=(1<<BitDepth)/16 (7-77)
変数lmcsDeltaCW[i]は、i=lmcs_min_bin_idx..LmcsMaxBinIdxのとき、以下のように導出される。
lmcsDeltaCW[i]=(1-2*lmcs_delta_sign_cw_flag[i])*lmcs_delta_abs_cw[i] (7-78)
変数lmcsCW[i]は、以下のように導出される。
-i=0..lmcs_min_bin_idx-1の場合、lmcsCW[i]は0に等しく設定される。
-i=lmcs_min_bin_idx..LmcsMaxBinIdxの場合、以下が適用される。
lmcsCW[i]=OrgCW+lmcsDeltaCW[i] (7-79)
lmcsCW[i]の値は、(OrgCW>3)~(OrgCW<<3-1)の範囲内にあるべきである。
-i=LmcsMaxBinIdx+1..15の場合、lmcsCW[i]は、0に等しく設定される。
ビットストリーム適合性の要件は、以下の条件が真であることである。
Figure 0007303328000036
変数InputPivot[i]は、i=0..16のとき、以下のように導出される。
InputPivot[i]=i*OrgCW (7-81)
変数LmcsPivot[i]は、i=0..16のとき、変数ScaleCoeff[i]とInvScaleCoeff[i]は、i=0..15のとき、以下のように導出される。
LmcsPivot[0]=0;
for(i=0;i<=15;i++){
LmcsPivot[i+1]=LmcsPivot[i]+lmcsCW[i]
ScaleCoeff[i]=(lmcsCW[i]*(1<<14)+(1<<(Log2(OrgCW)-1)))>>(Log2(OrgCW)) (7-82)
if(lmcsCW[i]==0)
InvScaleCoeff[i]=0
else
InvScaleCoeff[i]=OrgCW*(1<<14)/lmcsCW[i]
変数ChromaScaleCoeff[i]は、i=0…15のとき、以下のように導出される。
chromaResidualScaleLut[]={16384,16384,16384,16384,16384,16384,16384,8192,8192,8192,8192,5461,
5461,5461,5461,4096,4096,4096,4096,3277,3277,3277,3277,2731,2731,2731,2731,2341,2341,
2341,2048,2048,2048,1820,1820,1820,1638,1638,1638,1638,1489,1489,1489,1489,1365,1365,
1365,1365,1260,1260,1260,1260,1170,1170,1170,1170,1092,1092,1092,1092,1024,1024,1024,
1024}
if(lmcsCW[i]==0)
ChromaScaleCoeff[i]=(1<<11)
else{
binCW=BitDepth>10?(lmcsCW[i]>>(BitDepth-10)): (7-83)
BitDepth<10?(lmcsCW[i]<<(10-BitDepth)):lmcsCW[i]
ChromaScaleCoeff[i]=chromaResidualScaleLut[Clip3(1,64,binCW>>1)-1]
変数ClipRange、LmcsMinVal、およびLmcsMaxValは、以下のように導出される。
ClipRange=((lmcs_min_bin_idx>0)&&(LmcsMaxBinIdx<15) (7-84)
LmcsMinVal=16<<(BitDepth-8) (7-85)
LmcsMaxVal=235<<(BitDepth-8) (7-86)
注記-配列 InputPivot[i]およびLmcsPivot[i]、ScaleCoeff[i]、およびInvScaleCoeff[i]、ChromaScaleCoeff[i]、ClipRange、LmcsMinVal、およびLmcsMaxValは、slice_lmcs_model_present_flagが1に等しい場合にのみ更新される。このように、lmcsモデルは、例えば、IRAPピクチャと共に送信されてもよいが、そのIRAPピクチャに対してlmcsは無効である。
2.8. クロミナンス残差の共同符号化の例
この試験は、結合残差のみを符号化する例示的な結合Cb-Cr符号化モードの性能を測定する。
クロミナンスリシェイパが有効である場合、別個の符号化モードで行われるのと同じように、受信した残差に対して再形成が行われる(すなわち、結合残差信号が再形成される)。エンコーダ側では、このモードを試験する場合、正のCb残差と負のCr残差の平均を結合残差として使用する。
resJoint=(resCb-resCr)/2
1つのビン指標がビットストリームにおいて信号通知され、モードを有効にする。モードが有効である場合、結合残差信号がビットストリームにおいて符号化される。デコーダ側では、結合残差がCb成分に使用され、残差の負のバージョンがCrに適用される。
モードの信号通知は、以下に示す構文および意味論に従うことが期待される。
Figure 0007303328000037
tu_cb_cr_joint_residual[x0][y0]は、示されたCb残差を使用してCbとCr残差の両方を導出するかどうかを規定する。配列インデックスx0,y0は、ピクチャの左上輝度サンプルに対する、考慮される変換ブロックの左上の輝度サンプルの位置(x0,y0)を規定する。
7.3.2.2 ピクチャパラメータセットRBSP構文
Figure 0007303328000038
7.3.4.1 一般タイルグループヘッダ構文
Figure 0007303328000039
7.3.6.12 残差符号化構文
Figure 0007303328000040
2.9. 縮小セカンダリ変換
JEMにおいて、セカンダリ変換は、順方向プライマリ変換と量子化(エンコーダにおいて)の間、および逆量子化と逆方向プライマリ変換(デコーダ側において)の間に適用される。図6に示すように、ブロックサイズに依存して4×4(または8×8)のセカンダリ変換を行う。例えば、4×4のセカンダリ変換は、小さなブロック(例えば、min(幅、高さ)<8)対して適用され、8×8のセカンダリ変換は、8×8のブロック当たりより大きなブロック(例えば、min(幅、高さ)>4)に適用される。
セカンダリ変換には、非分離可能な変換が適用され、これはNSST(Non-Separable Secondary Transform)とも呼ばれている。全体で35の変換セットがあり、変換セット当たり3つの非分離可能な変換行列(カーネル、それぞれ16×16行列を有する)が使用される。
いくつかの実施形態において、イントラ予測方向に従ってマッピングするRST(Reduced Secondary Transform)および4つの変換セット(35個の変換セットの代わりに)を用いることができる。場合によっては、8×8ブロックおよび4×4ブロックのために、それぞれ16×48および16×16行列が用いられる。表記の便宜上、16×48変換をRST8×8とし、16×16変換をRST4×4として表す。このような方法は、近年、VVCによって採用されている。
図7は、RST(Reduced Secondary Transform)を例示する。セカンダリの順方向および逆方向変換は、プライマリ変換の処理ステップとは別個の処理ステップである。
エンコーダの場合、まずプライマリ順方向変換を実行し、次にセカンダリ順方向変換および量子化、そして、CABACビット符号化が実行される。デコーダの場合、CABACビット復号化および逆方向量子化、そして、まずセカンダリ逆方向変換が実行され、次にプライマリ逆方向変換を行う。
RSTは、イントラ符号化Tusにのみ適用される。
2.9.1. 構文および意味論
7.3.2.1 シーケンスパラメータセットRBSP構文
Figure 0007303328000041
7.3.6.11 残差符号化構文
Figure 0007303328000042
Figure 0007303328000043
Figure 0007303328000044
Figure 0007303328000045
7.3.6.5 符号化ユニット構文
Figure 0007303328000046
Figure 0007303328000047
7.4.3.1 シーケンスパラメータセットRBSP意味論
sps_st_enabled_flagが1に等しい場合、st_idxがイントラ符号化ユニットの残差符号化構文に存在してよいことを規定する。sps_st_enabled_flagが0に等しい場合、st_idxがイントラ符号化ユニットの残差符号化構文内に存在しないことを規定する。
7.4.7.5 符号化ユニット構文
st_idx[x0][y0]は、選択された変換セットにおいて、2つの候補カーネル間にどのセカンダリ変換カーネルを適用するかを規定する。st_idx[x0][y0]が0に等しい場合、セカンダリ変換が適用されないことを規定する。配列インデックスx0,y0は、ピクチャの左上のサンプルに対する考慮される変換ブロックの左上のサンプルの位置(x0,y0)を規定する。
st_idx[x0][y0]が存在しない場合、st_idx[x0][y0]は0に等しいと推測される。
2.10. VVCにおける様々なカラーフォーマットへの対応
2.10.1 構文、意味論、および復号化処理
7.3.2.3 シーケンスパラメータセットRBSP構文
Figure 0007303328000048
Figure 0007303328000049
chroma_format_idcは、6.2節に規定されるように、輝度サンプリングに対する彩度サンプリングを規定する。chroma_format_idcの値は、0~3の範囲内にあるべきである。
separate_colour_plane_flag=1は、4:4:4の彩度フォーマットの3つの色成分を別々に符号化することを規定する。separate_colour_plane_flagが0に等しい場合、色成分が別々に符号化されないことを規定する。separate_colour_plane_flagが存在しない場合、これは0に等しいと推測される。separate_colour_plane_flagが1に等しい場合、符号化ピクチャは、3つの別個の成分から構成され、各成分は、1つの色平面(Y、Cb、またはCr)の符号化サンプルから構成され、モノクロ符号化構文を使用する。この場合、各色平面は、特定のcolour_plane_id値に関連付けられる。
異なるcolour_plane_id値を有する色平面間での復号化処理には依存性がない。例えば、colour_plane_idの1つの値を有するモノクロ画像の復号化処理は、異なるcolour_plane_idの値を有するモノクロ画像からのデータをインター予測に使用しない。
separate_colour_plane_flagの値に依存して、変数ChromaArrayTypeの値は、以下のように割り当てられる。
--separate_colour_plane_flagが0に等しい場合、ChromaArrayTypeはchroma_format_idcに等しく設定される。
--そうでない場合(separate_colour_plane_flagが1に等しい場合)、ChromaArrayTypeは0に等しく設定される。
6.2 ソース、復号化されたピクチャフォーマット、および出力ピクチャフォーマット
このセクションは、ビットストリームを介して与えられるソースピクチャと復号化されたピクチャ間の関係を規定する。
ビットストリームで表される映像ソースは、復号化順のピクチャのシーケンスである。
ソースピクチャおよび復号化されたピクチャはそれぞれ、1または複数のサンプル配列を備える。
-輝度(Y)のみ(モノクロ)。
-輝度と2つの彩度(YCbCrまたはYCgCo)。
-緑、青、赤(GBR、RGBとも呼ばれる)。
-配列は、他の不特定のモノクロームまたは三刺激色サンプリング(例えば、YZX、XYZとしても知られる)を表す。
本明細書における表記および用語の便宜のため、これらの配列に関連する変数および用語は、輝度(または、LまたはY)および彩度と呼ばれ、2つの彩度配列は、使用される実際の色表現方法にかかわらず、CbおよびCrと呼ばれる。使用されている実際の色表現方法は、AnnexTBDに規定されている構文で示すことができる。
chroma_format_idcおよびseparate_colour_plane_flagで規定される、彩度フォーマットのサンプリング構造に基づいて、変数SubWidthCおよびSubHeightCが表6に規定されている。chroma_format_idc、SubWidthC、SubHeightCのその他の値は、ITU-T|ISO/IECにより将来的に規定され得る。
Figure 0007303328000050
モノクロサンプリングにおいて、1つのサンプル配列のみが存在し、これは名目上、輝度配列と見なされる。
4:2:0サンプリングにおいて、2つの彩度配列のそれぞれは、輝度配列の高さの半分および幅の半分を有する。
4:2:2のサンプリングにおいて、2つの彩度配列のそれぞれは、同じ高さおよび輝度配列の半分の幅を有する。
4:4:4のサンプリングにおいて、separate_colour_plane_flagの値に応じて、以下が適用される。
-separate_colour_plane_flagが0に等しい場合、2つの彩度配列のそれぞれは、輝度配列と同じ高さおよび幅を有する。
-そうでない場合(separate_colour_plane_flagが1に等しい場合)、3つの色平面は、モノクロサンプリングされたピクチャとして別個に処理される。
映像シーケンスにおける輝度配列および彩度配列における各サンプルの表現に必要なビット数は、8~16の範囲内であり、輝度配列に用いられるビット数は、彩度配列に用いられるビット数と異なってもよい。
chroma_format_idcが1に等しい場合、ピクチャにおける輝度サンプルと彩度サンプルの名目上の垂直および水平の相対位置を図8に示す。代替的な彩度サンプルの相対位置は、映像ユーザビリティ情報に示されてもよい。
chroma_format_idcの値が2に等しい場合、彩度サンプルは対応する輝度サンプルと同じ位置にあり、ピクチャにおける名目上の位置は図9に示される。
chroma_format_idcの値が3に等しい場合、すべての配列サンプルはすべてのピクチャの場合と同じ位置にあり、ピクチャにおける名目上の位置は図10に示される。
付属書E: 映像可用性情報
同じ彩度サブサンプリングフォーマット、例えば4:2:0であっても、サブサンプリング方法には複数の異なる方法があり得る。図11には異なるタイプが付けられている。
図12は、chroma_format_idcが1(4:2:0彩度フォーマット)に等しく、chroma_sample_loc_typeが変数ChromaLocTypeの値に等しい場合の、左上の彩度サンプルの示された相対位置を表す。左上の4:2:0彩度サンプルによって表される領域(中心に大きな赤い点を有する大きな赤い正方形として示される)は、左上の輝度サンプルによって表される領域(中心に小さな黒い点を有する小さな黒い正方形として示される)に対して示される。近傍の輝度サンプルによって表される領域は、中心に小さな灰色の点を有する小さな灰色の正方形として示される。
図13に示すように、彩度サンプルの相対的空間的位置は、2つの変数HorizontalOffsetCとVerticalOffsetCを、表7で与えられたchroma_format_idcと変数ChromaLocaTypeの関数として定義することによって表現することができ、HorizontalOffsetCは、輝度サンプルのユニットにおける左上の輝度サンプルの中心に対する左上の彩度サンプルの中心の水平(x)位置であり、VerticalOffsetCは、輝度サンプルユニットにおける左上の輝度サンプルの中心に対する左上の彩度サンプルの中心の垂直(y)位置である。
典型的なFIRフィルタ設計において、chroma_format_idcが1(4:2:0彩度フォーマット)または2(4:2:2彩度フォーマット)に等しい場合、HorizontalOffsetCおよびVerticalOffsetCは、それぞれ、4:4:4彩度フォーマットからchroma_format_idcで示される彩度フォーマットへの分離可能なダウンサンプリングのための、水平方向および垂直方向のフィルタ演算のための位相オフセットとなる。
Figure 0007303328000051
chroma_format_idcが1(4:2:0彩度フォーマット)に等しく、かつ、復号化された映像コンテンツがRec.ITU-R BT.2020-2またはRec.ITU-R BT.2100-1に従って解釈される場合、chroma_loc_info_present_flagは1に等しく、chroma_sample_loc_typeは2に等しく設定される。
2.11. 拡張ALFの例
いくつかの実施形態において、非線形ALF概念を拡大することができる。より正確には、代替ALF輝度フィルタセットおよび代替彩度フィルタの使用を可能にし、且つ、CTUごと、フィルタごとにそれらを選択するために、いくつかの構文要素を追加することができる。各CTUに対し、ALFフィルタリングが、輝度成分で有効である場合、各ALF輝度フィルタインデックスに対して、追加の輝度フィルタセット代替インデックスを信号通知する。同様に、各CTUに対し、ALFフィルタリングが有効な各彩度成分に対して、彩度成分に対する所与のフィルタを選択するために代替の彩度フィルタインデックスが信号通知される。
2.12 VVCにおける例示的なSBT(Sub-Block Transform)
cu_cbfが1に等しいインター予測されたCUの場合、cu_sbt_flagは、残差ブロック全体が復号化されるのか、残差ブロックのサブ部分が復号化されるのかを示すために信号通知され得る。前者の場合、インターMTS情報がさらに構文解析され、CUの変換タイプが判定される。後者の場合、残差ブロックの一部は推定適応変換を用いて符号化され、残差ブロックの他の部分はゼロにされる。SBTは、符号化の利益がほとんどないため、結合インター-イントラモードには適用されない。
2.12.1 サブブロックTUタイリング
インターCUにSBTを用いる場合、SBTタイプおよびSBT位置情報がさらにビットストリームから復号化される。図14に示すように、2つのSBTタイプおよび2つのSBT位置がある。SBT-V(またはSBT-H)の場合、TUの幅(または高さ)は、CUの幅(または高さ)の半分、またはCUの幅(または高さ)の1/4と等しくてよく、別のフラグで信号通知され、2:2分割、または1:3/3:1分割となる。2:2分割は2分木(BT:Binary Tree)分割に似ており、1:3/3:1分割は非対称2分木(ABT:Asymmetric Bynary Tree)分割に似ている。CUの片側が輝度サンプルにおいて8である場合、この側に沿った1:3/3:1の分割は許可されない。従って、CUに対して最大で8つのSBTモードが存在する。
さらに、4分木(QT:Qued-Tree)分割は1つのCUを4つのサブブロックにタイル化するために用いられ、図15に示すように、1つのサブブロックは残差を有する。このSBTタイプをSBT-Qと呼ぶ。この部分はVVCには採用されていない。
SBT-V、SBT-H、およびSBT-Qは、幅と高さの両方がmaxSbtSizeよりも大きくないCUに対して許可される。SPSにおいて、maxSbtSizeが信号通知される。HDおよび4Kシーケンスの場合、maxSbtSizeは、エンコーダによって64に設定され、他のより小さい解像度のシーケンスの場合、maxSbtSizeは、32に設定される。
2.12.2 サブブロックの変換タイプ
位置依存変換は、SBT-VおよびSBT-H(彩度TBは常にDCT-2を使用)における輝度変換ブロックに適用される。SBT-HおよびSBT-Vの2つの位置は、異なるコア変換に関連付けられる。具体的には、各SBT位置に対する水平方向および垂直方向の変換は図14に示される。例えば、SBT-V位置0に対する水平および垂直変換は、それぞれDCT-8およびDST-7である。残差TUの片側が32よりも大きい場合、対応する変換をDCT-2と設定する。従って、サブブロック変換は、1つのブロックのTUタイリング、cbf、および水平および垂直変換を一緒に規定し、これは、ブロックの主な残差がブロックの片側にある場合の構文ショートカットと見なしてよい。
2.12.3 VVCにおけるサブブロック変換
cu_cbfが1に等しい、例えば、少なくとも1つの非ゼロ係数を有するインター予測されたCUの場合、cu_sbt_flagは、残差ブロック全体が復号化されるのか、残差ブロックのサブ部分が復号されるのかを示すために信号通知されてよい。前者の場合、インターMTS情報がさらに構文解析され、CUの変換タイプを判定する。後者の場合、残差ブロックの一部は推定適応変換を用いて符号化され、残差ブロックの他の部分はゼロにされる。SBTは、符号化の利益がほとんどないため、結合インター-イントラモードには適用されない。
インターCUに対してSBTを用いる場合、SBTタイプおよびSBT位置情報がさらにビットストリームから復号化される。SBT-V(またはSBT-H)の場合、TUの幅(または高さ)は、CUの幅(または高さ)の半分、またはCUの幅(または高さ)の1/4と等しくてよく、別のフラグで信号通知され、2:2分割、または1:3/3:1分割となる。2:2分割は2分木(BT)分割に似ており、1:3/3:1分割は非対称2分木(ABT)分割に似ている。CUの片側が輝度サンプルにおいて8である場合、この側に沿った1:3/3:1の分割は許可されない。従って、1つのCUに対して最大で8つのSBTモードが存在する。
位置依存変換は、SBT-VおよびSBT-H(彩度TBは常にDCT-2を使用)における輝度変換ブロックに適用される。SBT-HおよびSBT-Vの2つの位置は、異なるコア変換に関連付けられる。具体的には、各SBT位置に対する水平方向および垂直方向の変換は図14に示される。例えば、SBT-V位置0に対する水平および垂直変換は、それぞれDCT-8およびDST-7である。残差TUの片側が32よりも大きい場合、対応する変換をDCT-2と設定する。従って、サブブロック変換は、1つのブロックのTUタイリング、cbf、および水平および垂直変換を一緒に指定し、これは、ブロックの主な残差がブロックの片側にある場合の構文ショートカットと見なしてよい。
7.3.4.6 符号化ユニット構文
Figure 0007303328000052
Figure 0007303328000053
7.3.4.10 変換ツリー構文
Figure 0007303328000054
7.3.4.11 変換ユニット構文
Figure 0007303328000055
Figure 0007303328000056
2.13 イントラブロックコピー
IBC(Intra Block Copy)、別名、現在のピクチャの参照は、HEVC-SCC(HEVC Screen Content Coding ectensions)および現在のVVCテストモデル(VTM-4.0)に採用されている。IBCは、動き補償の概念をインターフレーム符号化からイントラフレーム符号化に拡張する。イントラブロックコピーの図である図18に示すように、IBCを適用する場合、現在のブロックは同じピクチャ内の参照ブロックによって予測される。現在のブロックを符号化または復号化する前に、参照ブロックにおけるサンプルは既に再構成されていなければならない。IBCは、カメラでキャプチャされたシーケンスのほとんどに対してそれほど効率的ではないが、スクリーンコンテンツに対しては、有意な符号化利得を示す。その理由は、スクリーンコンテンツピクチャにおいて、アイコン、文字等の繰り返しパターンが多いためである。IBCは、これらの繰り返しパターン間の冗長性を有効に除去することができる。HEVC-SCCにおいて、現在のピクチャをその参照ピクチャとして選択する場合、インター符号化されたCU(Coding Unit)はIBCを適用することができる。この場合、MVはBV(Block Vector)と改称され、BVは常に整数画素精度を有する。主なプロファイルHEVCに適合するように、現在のピクチャは、DPB(Decoded Picture Buffer)における「長期」参照ピクチャとしてマークされる。なお、同様に、複数のビュー/3D映像符号化規格において、インタービューの参照ピクチャも「長期」参照ピクチャとしてマークされる。
BVがその参照ブロックを見つけた後、参照ブロックをコピーすることで予測を生成することができる。残差は、元の信号から参照画素を減算することによって得ることができる。そして、他の符号化モードと同様に、変換および量子化を適用することができる。
しかしながら、参照ブロックがピクチャの外にある場合、または現在のブロックと重複する場合、または再構成された領域の外にある場合、或いは何らかの制約によって制限された有効領域の外にある場合、画素値の一部または全部は定義されない。基本的に、このような問題に対処するために2つの解決策がある。1つは、このような状況、例えばビットストリーム適合性を許可しないことである。もう1つは、これらの未定義の画素値に対してパディングを適用することである。以下のサブセッションでは、解決策を詳細に説明する。
2.13.1 VVC試験モデルにおけるIBC
現在のVVC試験モデル、例えば、VTM-4.0設計において、参照ブロック全体は現在のCTU(Current Coding Tree)を有するべきであり、現在のブロックと重複しない。よって、参照または予測ブロックをパディングする必要がない。IBCフラグは、現在のCUの予測モードとして符号化される。このように、各CUに対して、MODE_INTRA、MODE_INTER、およびMODE_IBCという全部で3つの予測モードが存在する。
2.13.1.1 IBCマージモード
IBCマージモードにおいて、IBCマージ候補リストにおけるエントリを指すインデックスが、ビットストリームから構文解析される。IBCマージリストの構築は、以下のステップのシーケンスに従ってまとめることができる。
ステップ1:空間的候補の導出
ステップ2:HMVP候補の挿入
ステップ3:ペアワイズ平均候補の挿入
空間的マージ候補の導出において、最大4つのマージ候補が、図2に示す位置A,B,B,A、およびBにて示される位置にある候補の中から選択される。導出の順序はA、B、B、A、Bである。位置A、B、B、AのいずれかのPUが利用可能でない場合(例えば、別のスライスまたはタイルに属しているため)、またはIBCモードで符号化されていない場合にのみ、位置Bが考慮される。位置Aの候補を加えた後、残りの候補の挿入は、同じ動き情報を有する候補を確実にリストから排除されることを保証する冗長性チェックの対象となり、符号化効率を向上させることができる。
空間的候補の挿入の後、IBCマージリストサイズが依然として最大IBCマージリストサイズより小さい場合、HMVPテーブルからのIBC候補が挿入されてよい。HMVP候補の挿入の際に、冗長性チェックが行われる。
最後に、ペアワイズ平均候補がIBCマージリストに挿入される。
マージ候補によって特定される参照ブロックがピクチャの外にある場合、または現在のブロックと重複する場合、または再構成された領域の外にある場合、または何らかの制約によって制限された有効領域の外にある場合、マージ候補は無効なマージ候補と呼ばれる。
なお、無効なマージ候補がIBCマージリストに挿入されてもよい。
2.13.1.2 IBC AMVPモード
IBC AMVPモードでは、IBC AMVPリストにおけるエントリを指すAMVPインデックスが、ビットストリームから構文解析される。IBC AMVPリストの構築は、以下のステップのシーケンスに従ってまとめることができる。
ステップ1:空間的候補の導出
-利用可能な候補が見つかるまで、A、Aをチェックする。
-利用可能な候補が見つかるまで、B、B、Bをチェックする。
ステップ2:HMVP候補の挿入
ステップ3:ゼロ候補の挿入
空間的候補の挿入の後、IBC AMVPリストサイズが依然として最大IBC AMVPリストサイズより小さい場合、HMVPテーブルからのIBC候補が挿入されてよい。
最後に、ゼロ候補がIBC AMVPリストに挿入される。
2.13.1.3 彩度IBCモード
現在のVVCにおいて、彩度IBCモードにおける動き補償は、サブブロックレベルで行われる。彩度ブロックは、複数のサブブロックに分割される。各サブブロックは、対応する輝度ブロックがブロックベクトルを有するかどうかを判定し、存在する場合には、有効性を判定する。現在のVTMにはエンコーダ制約があり、現在の彩度CUにおけるすべてのサブブロックが有効な輝度ブロックベクトルを有するかどうかについて、彩度IBCモードをテストする。例えば、YUV420映像において、彩度ブロックはN×Mであり、そして、配列された輝度領域は2N×2Mである。彩度ブロックのサブブロックサイズは2×2である。彩度mv導出が実行され、次にブロックコピー処理を実行するために、いくつかのステップがある。
1)彩度ブロックは、まず、(N>>1)*(M>>1)個のサブブロックに分割される。
2)左上のサンプルが(x,y)に配置されている各サブブロックは、(2x,2y)に配置されている同じ左上のサンプルをカバーしている、対応する輝度ブロックをフェッチする。
3)エンコーダは、フェッチされた輝度ブロックのブロックベクトル(bv)をチェックする。以下の条件の1つを満たす場合、bvは無効であると見なされる。
a.対応する輝度ブロックのbvは存在しない。
b.bvによって識別される予測ブロックは、まだ再構成されていない。
c.bvで識別される予測ブロックは、現在のブロックと部分的にまたは完全に重複している。
4)サブブロックの彩度動きベクトルは、対応する輝度サブブロックの動きベクトルに設定される。
すべてのサブブロックが有効なbvを見つけた場合、エンコーダにおいてIBCモードが許可される。
2.14 HEVC-SCC(HEVC-Screen Content Coding extensions)におけるパレットモード
パレットモードの背景にある基本的な考えは、CUにおけるサンプルを代表的な色値の小さな集合で表現することである。この集合をパレットと呼ぶ。また、エスケープシンボルの後に(場合によっては量子化された)成分値を信号通知することによって、パレットの外側にあるサンプルを示すこともできる。これを図19に示す。
HEVC-SCCにおけるパレットモードでは、パレットおよびインデックスマップを符号化するために予測方式が用いられる。
2.14.1 パレットインデックスの符号化
パレットインデックスは、図20に示すように、水平方向および垂直方向の横断走査を使用して符号化される。palette_transpose_flagを使用して、ビットストリームにおける走査順序を明確に信号通知する。以下のサブセクションでは、走査が水平であると仮定する。
パレットインデックスは、2つの主なパレットサンプルモード、「INDEX」および「COPY_ABOVE」を使用して符号化される。前述のように、エスケープシンボルも「INDEX」モードとして信号送信され、最大パレットサイズに等しいインデックスが割り当てられる。このモードは、最上行を除くフラグを使用して、または以前のモードが「COPY_ABOVE」であった場合に信号通知される。「COPY_ABOVE」モードでは、上の行のサンプルのパレットインデックスをコピーする。「INDEX」モードにおいて、パレットインデックスは明確に信号通知される。「INDEX」モードと「COPY_ABOVE」モードの両方の場合、同じモードを使用して符号化される後続のサンプルの数を規定する実行値を信号通知する。エスケープシンボルが「INDEX」または「COPY_ABOVE」モードにおける実行の一部である場合、エスケープシンボルごとにエスケープ成分値が信号通知される。パレットインデックスの符号化を図21に示す。
この構文順序は、以下のようにして実行される。まず、CUに対するインデックス値の数が信号通知される。これに続いて、トランケーテッドバイナリ符号化(truncated binary coding)を使用して、CU全体の実際のインデックス値が信号通知される。バイパスモードでは、インデックスの数およびインデックス値の両方が符号化される。これにより、インデックス関連バイパスビンがグループ化される。次に、パレットサンプルモード(必要な場合)および実行は、インターリーブ方式で信号通知される。最後に、CU全体のためのエスケープサンプルに対応する成分エスケープ値をグループ化し、バイパスモードで符号化する。
追加の構文要素last_run_type_flagは、インデックス値を信号通知した後、信号通知される。この構文要素は、インデックスの数と連動して、ブロックにおける最後の実行に対応する実行値を信号通知する必要をなくす。
HEVC-SCCでは、パレットモードは、4:2:2、4:2:0、およびモノクロの彩度フォーマットに対しても有効になる。パレットエントリおよびパレットインデックスの信号通知は、すべての彩度フォーマットに対してほぼ同じである。非モノクロフォーマットの場合、各パレットエントリは、3つの成分からなる。モノクロフォーマットの場合、各パレットエントリは単一の成分からなる。サブサンプリングされた彩度方向の場合、彩度サンプルは、2で割り切れる輝度サンプル指数に関連付けられる。CUに対するパレットインデックスを再構成した後、サンプルがそれに関連付けられた単一の成分のみを有する場合、パレットエントリの第1の成分のみが使用される。信号通知における唯一の違いは、エスケープ成分値である。各エスケープサンプルに対し、信号通知されたエスケープ成分値の数は、そのサンプルに関連付けられた成分の数によって異なってもよい。
2.15 デュアルツリーのためのパレットモード
デュアルツリーが有効である場合、彩度ブロックのためにパレットモードを使用するかどうかは、輝度ブロックの信号通知とは別個に信号通知される。
3. 既存の実装形態の欠点
現在のVVC設計において、次のような問題がある。
(1)クロミナンス残差を結合復号化する方法には、彩度成分が利用不可能な場合でも、このような方法を有効または無効にする信号通知や、このような方法に用いられる彩度差分QP(Quantization Parameter)の信号通知が依然として適用されるという問題がある。
(2)デュアルツリーが有効な場合、IBCモードおよびパレットモードの現在の設計では、シーケンスが4:0:0であっても、彩度符号化ブロック対するIBC/パレットモードを信号通知することを必要とする。
(3)RSTの方法は、彩度成分が利用不可能な場合であっても、このような方法を有効または無効にする信号通知や、変換行列インデックスの信号通知が依然として適用されるという問題を有する。
(4)slice_chroma_residual_scale_flag、および彩度成分の各PCMサンプル値を表すために使用されるビット数(例えば、pcm_sample_bit_depth_chroma_minus1)は、ChromaArrayTypeの値にかかわらず信号通知される。
(5)各CTUに対し、ALFフィルタリングが有効な各彩度成分に対して、代替彩度フィルタインデックスが、彩度成分に対する所与のフィルタを選択するように信号通知される。このような信号通知方法は、彩度成分の利用可能性をチェックしない。
(6)PPS(Picture Parameter Set)におけるpps_cb_qp_offset、pps_cr_qp_offsetの信号通知は、ChromaArrayTypeの値に関わらず行われる。
(7)2つの色成分は常に同じRST行列を共有する。一方、RSTおよび結合彩度残差符号化は、互いに適用されてもよく、それは次善のものである。
(8)RSTにおける非ゼロ係数計数閾値は、以下の規則に従う。
a.それが別個のツリー符号化である場合、輝度成分に関し、少なくとも1つの非ゼロ係数がある場合、輝度成分のためのRSTインデックスが信号通知されてよい。
b.それが別個のツリー符号化である場合、2つの彩度成分に関し、2つの彩度ブロック(例えば、CbおよびCr)に少なくとも1つの非ゼロ係数がある場合、2つの彩度成分に対するRSTインデックスは、1回信号通知されてよい。
c.シングルツリー符号化である場合、3つのブロック(例えば、Y、Cb、Cr)に少なくとも2つの非ゼロ係数があるときに、符号化ユニット全体(3つの色成分を含む)に対するRSTインデックスは1回信号通知されてよい。
これは、カラーフォーマットおよび別個の平面符号化が有効であるかどうかに合わせる必要がある場合があってよい。
(9)SBTフラグの条件付き信号通知は、カラーフォーマットおよび別個の平面符号化が有効であるかどうかに合わせるべきである。
(10)インター符号化ブロックの場合、cu_cbfが1に等しいが、3つの成分(tu_cbf_luma、tu_cbf_cb、tu_cbf_cr)すべての符号化ブロックフラグがすべてゼロであることが起こり得る。構文要素cu_cbf、tu_cbf_luma、tu_cbf_cb、およびtu_cbf_crの間には冗長性がある。
4. 例示的な技術および実施形態
以下に詳述する実施形態の詳細は、一般的な概念を説明するための例であると考えられるべきである。これらの実施形態は、狭い意味で解釈されるべきではない。さらに、これらの実施形態は、任意の方法で組み合わせることができる。
以下に記載される方法は、彩度色成分のための特定の構文要素(RGBカラーフォーマットのBおよびR色成分等の従属色成分)の信号通知を必要とする他の符号化ツールにも適用可能である。
1.結合彩度残差符号化に関連する構文要素は、条件付きで信号通知されてよい。
a.結合彩度残差符号化に使用される彩度差分QPs/彩度QPオフセットの信号通知に関連する構文要素(例えば、pps_joint_cbcr_qp_offset)は、条件付きで信号通知されてよい。
b.結合彩度残差符号化の使用の指示に関連する構文要素(例えば、tu_cb_cr_joint_residual)は、条件付きで信号通知されてよい。
c.結合彩度残差符号化が有効であるかどうかを示すために、シーケンス/ビュー/ピクチャ/スライス/タイルグループレベルにあることができる構文要素が信号通知されてよい。
i.一例において、1つのフラグは、SPS(Sequence Parameter Set)/VPS(Video Parameter Set)/PPS(Picture Parameter Set)/スライスヘッダ/タイルグループヘッダにおいて信号通知されてよい。
d.上述の例では、結合彩度残差符号化に関連する構文要素は、彩度フォーマットが4:0:0に等しくない、および/または別個の平面符号化が無効である条件下で、信号通知されてよい。
i.代替的に、結合彩度残差符号化に関連する構文要素は、ChromaArrayTypeが0などの特定の値に等しくない条件下で、信号通知されてよい。
ii.代替的に、結合彩度残差符号化に関連する構文要素は、ChromaArrayType、および/または、1または複数の構文要素(例えば、シーケンスレベルフラグ)の条件下で、信号通知されてよい。
e.代替的に、上記の例では、結合彩度残差符号化に関連する構文要素の信号通知は、彩度フォーマットが4:0:0に等しく、および/または、別個の平面符号化を有効化する条件下で、スキップされてよい。
f.代替的に、上記の例では、結合彩度残差符号化に関連する構文要素の信号通知は、ChromaArrayTypeが0などの特定の値に等しいという条件下で、スキップされてよい。
g.上記方法は、結合彩度残差符号化方法の他の分散にも適用可能であってよい。
2.セカンダリ変換の使用の指示の信号通知は、カラーフォーマットに従って、スキップされてもよい。
a.一例において、セカンダリ変換の使用の指示の信号通知(例えば、st_idx)は、彩度フォーマットが4:0:0に等しくない、および/または、別個の平面符号化が有効である場合に、スキップされてよい。
b.一例において、セカンダリ変換の使用の指示の信号通知(例えば、st_idx)は、ChromaArrayTypeが0などの特定の値に等しい場合、スキップされてよい。
c.セカンダリ変換の使用の指示の信号通知(例えば、st_idx)は、ChromaArrayTypeが0などの特定の値に等しくない条件下で、行われてよい。
d.セカンダリ変換の使用の指示の信号通知(例えば、st_idx)は、彩度フォーマットが4:0:0に等しくない、および/または、別個の平面符号化が無効である条件下で行われてよい。
3.ピクチャレベルにおける彩度差分QP/彩度QPオフセットの信号通知に関連する構文要素(例えば、pps_cb_qp_offsetおよび/またはpps_cr_qp_offset)は、条件付きで信号通知されてもよい。
a.一例として、ピクチャレベルにおける彩度差分QPの信号通知(例えば、pps_cb_qp_offsetおよび/またはpps_cr_qp_offset)は、彩度フォーマットが4:0:0に等しくない、および/または、個別の平面符号化が有効である場合、スキップされてよい。
b.一例において、ピクチャレベルにおける彩度差分QPの信号通知(例えば、pps_cb_qp_offsetおよび/またはpps_cr_qp_offset)はChromaArrayTypeが0などの特定の値に等しい場合、スキップされてよい。
c.ピクチャレベルにおける彩度差分QPの信号通知(例えば、pps_cb_qp_offsetおよび/またはpps_cr_qp_offset)は、ChromaArrayTypeが0などの特定の値に等しくない条件下で行われてよい。
d.ピクチャレベルにおける彩度差分QPの信号通知(例えば、pps_cb_qp_offsetおよび/またはpps_cr_qp_offset)は、彩度フォーマットが4:0:0に等しくない、および/または、別個の平面符号化が無効である条件下で行われてよい。
4.LDCRS(Luma-Dependent Chroma Residue Scaling)の使用の指示の信号通知は、カラーフォーマットに従って、スキップされてよい。
a.一例において、LDCRSの使用の指示の信号通知(例えば、slice_chroma_residual_scale_flag)は、彩度フォーマットが4:0:0に等しくない、および/または、別個の平面符号化が有効である場合、スキップされてよい。
b.一例において、LDCRSの使用の指示の信号通知(例えば、slice_chroma_residual_scale_flag)は、ChromaArrayTypeが0などの特定の値に等しい場合、スキップされてよい。
c.LDCRSの使用の指示の信号通知(例えば、slice_chroma_residual_scale_flag)は、ChromaArrayTypeが0などの特定の値に等しくない条件下で行われてよい。
d.LDCRSの使用の指示の信号通知(例えば、slice_chroma_residual_scale_flag)は、彩度フォーマットが4:0:0に等しくない、および/または、別個の平面符号化が無効である条件下で行われてよい。
5.彩度配列のサンプルのビット深度、および/または、彩度量子化パラメータ範囲オフセットの値の指示の信号通知は、カラーフォーマットに従って、スキップされてよい。
a.一例において、彩度配列のサンプルのビット深度、および/または、彩度量子化パラメータ範囲オフセットの指示の信号通知(例えば、bit_depth_chroma_minus8)は、彩度フォーマットが4:0:0に等しい、および/または、別個の平面符号化が有効である場合、スキップされてよい。
b.一例において、彩度配列のサンプルのビット深度、および/または、彩度量子化パラメータ範囲オフセットの値の指示の信号通知(例えば、bit_depth_chroma_minus8)は、ChromaArrayTypeが0などの特定の値に等しい場合、スキップされてよい。
c.一例において、彩度配列のサンプルのビット深度、および/または、彩度量子化パラメータ範囲オフセットの値の指示の信号通知(例えば、bit_depth_chroma_minus8)は、ChromaArrayTypeが0などの特定の値に等しくない条件下、または、彩度フォーマットが4:0:0に等しくない、および/または、別個の平面符号化が無効である条件下で行われてよい。
6.彩度成分の各PCMサンプル値を表すために使用されるビット数の指示の信号通知は、カラーフォーマットに従って、スキップされてよい。
a.一例において、彩度成分の各PCMサンプル値を表すために使用されるビット数の指示の信号通知(例えば、pcm_sample_bit_depth_chroma_minus1)は、彩度フォーマットが4:0:0に等しくない、および/または、別個の平面符号化が有効である場合、スキップされてよい。
b.一例において、彩度成分の各PCMサンプル値を表すために使用されるビット数の指示の信号通知(例えば、pcm_sample_bit_depth_chroma_minus1)は、ChromaArrayTypeが0などの特定の値に等しい場合、スキップされてよい。
c.彩度成分の各PCMサンプル値を表すために使用されるビット数の指示の信号通知(例えば、pcm_sample_bit_depth_chroma_minus1)は、ChromaArrayTypeが0などの特定の値に等しくない条件下で行われてよい。
d.彩度成分の各PCMサンプル値を表すために使用されるビット数の指示の信号通知(例えば、pcm_sample_bit_depth_chroma_minus1)は、彩度フォーマットが4:0:0に等しくない、および/または、別個の平面符号化が無効である条件下で行われてよい。
7.彩度成分のためのALFフィルタに関連する構文要素(例えば、フィルタ係数を送信する必要があるかどうかを示すためのフラグ、フィルタ係数、APSインデックス)は、条件付きで信号通知されてよい。
a.一例において、ChromaArrayTypeが0などの特定の値に等しくないかどうかが条件となる。
b.追加のALF彩度フィルタ係数の指示の信号通知(例えば、alf_chroma_filter_signal_flag、slice_alf_chroma_idc、slice_alf_aps_id_chroma、slice_alf_aps_id_chroma)は、カラーフォーマットが4:0:0に等しい、および/または、別個の平面符号化が有効であるかに従って、スキップされてよい。
c.ALF彩度フィルタ係数の信号通知(例えば、クリッピングフラグ/クリッピングパラメータ/フィルタ係数)は、カラーフォーマットが4:0:0に等しい、および/または、別個の平面符号化が有効であるかに従って、スキップされてよい。
d.ALF彩度フィルタの時間的予測は、特定の条件に従って、彩度符号化されたブロックに対して無効されてよい。
e.代替的に、関連する構文要素は、依然として信号通知されてもよいが、条件が真である場合、デフォルト値であると推測され、例えば、alf_chroma_filter_signal_flagが0であると推測される。
8.彩度成分のためのパレットモード/IBC(Intra Block Copy)モードに関連する構文要素(例えば、パレット/IBCが彩度ブロック/スライス/ピクチャ/タイルグループ/タイル/ブロックに対して有効であるかどうかを示すためのフラグ/モードインデックス)は、条件付きで信号通知されてよい。
a.一例において、ChromaArrayTypeが0などの特定の値に等しくないかどうかが条件となる。
b.一例において、pred_mode_ibc_flagは、状況に応じて信号通知されてよい。
c.彩度成分のためのパレットモードの指示の信号通知は、カラーフォーマットが4:0:0に等しい、および/または、別個の平面符号化が有効であるかに従って、スキップされてよい。
d.代替的に、関連する構文要素は、依然として信号通知されてもよいが、条件が真である場合、デフォルト値であると推測され、例えば、彩度成分のパレットモードが無効であると推測される。
9.彩度成分のためのALFフィルタ時間的予測に関連する構文要素(例えば、フィルタインデックス/ALF APSインデックス、オン/オフ制御フラグ)は、条件付きで信号通知されてよい。
a.一例において、ChromaArrayTypeが0などの特定の値に等しくないかどうかが条件となる。
b.セカンダリ変換の使用の指示の信号通知は、カラーフォーマットが4:0:0に等しい、および/または、別個の平面符号化が有効であるかに従って、スキップされてよい。
c.彩度成分に関連する構文要素のためのALFフィルタ時間的予測の信号通知は、カラーフォーマットが4:0:0に等しい、および/または、別個の平面符号化が有効であるかに従って、スキップされてよい。
d.ALF彩度フィルタの時間的予測は、特定の条件に従って、彩度符号化されたブロックに対して無効にされてよい。
10.ChromaArrayTypeに従って条件付きで信号通知されるSPSにおけるこれらの構文要素は、ChromaArrayTypeの唯一の単一の条件付きチェックとともに信号通知されてよい。
a.一例において、ChromaArrayTypeが0などの特定の値に等しくない場合、以下の構文要素の一部または全部が、一定の順で、さらに信号通知されてよい。
i.qtbtt_dual_tree_intra_flag
ii.sps_cclm_enabled_flag
iii.pcm_sample_bit_depth_chroma_minus1
iv.bit_depth_chroma_minus8
b.一例において、ChromaArrayTypeの条件チェックは、カラーフォーマットが4:0:0に等しい、および/または、別個の平面符号化が有効であることの条件チェックに置き換えられてもよい。
11.上述した構文要素について、彩度ブロックに対する復号化プロセスを呼び出すかどうかは、カラーフォーマットおよび/または別個の平面符号化の使用に依存してよい。
a.上述した構文要素について、彩度ブロックに対する復号化プロセスを呼び出すかどうかは、ChromaArrayTypeに依存してよい。
b.一例において、ChromaArrayTypeが0などの特定の値に等しい、または、カラーフォーマットが4:0:0である、または別個の平面符号化が有効である場合、ALF/セカンダリ変換/彩度残差スケーリング処理/量子化スケーリング行列は、彩度ブロックに適用されない。
c.一例において、ChromaArrayTypeが0などの特定の値に等しくない場合、ALF/セカンダリ変換/彩度残差スケーリング処理/量子化スケーリング行列は彩度ブロックに適用されてよい。
12.上述した構文要素について、ChromaArrayTypeが特定の値(例えば、0)に等しい、またはカラーフォーマットが4:0:0である、または別個の平面符号化が有効である場合であっても、それらは依然として信号通知されてよい。しかしながら、復号化処理およびデコーダは、復号化された値を無視するべきである。
a.一例において、上記条件のうちの1つが真である場合、上述した構文要素、例えば、結合彩度残差符号化に関連する構文要素(例えば、pps_joint_cbcr_qp_offset)は、復号化処理で使用されず、デコーダは、それらの値を無視すべきである。
b.一例において、上記条件のうちの1つが真である場合、上述した構文要素、例えば、彩度パレットモード/彩度IBCモード/彩度ALFに関連するものなどは、復号化処理において使用されず、デコーダはそれらの値を無視すべきである。
13.上述した構文要素に対し、エンコーダ制約が適用されてよい。
a.適合ビットストリームは、彩度フォーマットが4:0:0である、および/または、別個の平面符号化が有効である場合に、結合彩度残差符号化が無効であることが満たされる必要がある。
b.適合ビットストリームは、彩度フォーマットが4:0:0である、および/または、別個の平面符号化が有効である場合に、彩度ALFが無効であることが満たされる必要がある。
c.適合ビットストリームは、彩度フォーマットが4:0:0である、および/または、別個の平面符号化が有効である場合に、彩度セカンダリ変換(別名、NSST/RST)(例えば、sps_st_enabled_flag)が無効であることが満たされる必要がある。
d.適合ビットストリームは、彩度フォーマットが4:0:0である、および/または、別個の平面符号化が有効である場合に、彩度セカンダリ変換行列(別名、NSST/RST)(例えば、st_idx)のインデックスが0などの特定の値に等しいことを満たす必要がある。
e.適合ビットストリームは、彩度フォーマットが4:0:0である、および/または、別個の平面符号化が有効である場合に、結合彩度残差符号化に使用される彩度差分QPが0などの特定の値に等しいことを満たす必要がある。
f.適合ビットストリームは、彩度フォーマットが4:0:0である、および/または別個の平面符号化が有効である場合に、輝度依存彩度残差スケーリング(例えば、slice_chroma_residual_scale_flag)の使用は0などの特定の値に等しいことを満たす必要がある。
g.適合ビットストリームは、彩度フォーマットが4:0:0である、および/または、別個の平面符号化が有効である場合、ピクチャレベルで信号通知される彩度差分QPが0等の特定の値に等しいことを満たす必要がある。
h.ChromaArrayTypeが0などの特定の値に等しい場合、上記の構文要素(例えば、slice_chroma_residual_scale_flag)は依然として復号化されてもよいが、復号化処理において使用されず、デコーダはそれらの値を無視すべきである。
14.輝度色成分は、異なるRST行列を使用してよい。
a.一例において、RST行列の個々の指示は、単一の彩度成分のために別個に信号通知されてよい。
i.1つの例において、第2の彩度成分のRST行列の指示の信号通知は、第1の彩度成分のRST行列の指示に依存してよい。
b.一例において、第1の彩度成分のためのRST行列が信号通知されてよく、一方、第2の彩度成分のための行列は、デコーダ側において導出されてよい。
i.一例において、第2の彩度成分のための行列は、1つの代表的な輝度ブロックに利用されるRST行列から導出されてよい。
ii.一例において、第2の彩度成分のための行列は、第1の彩度成分に利用されるRST行列から導出されてもよく、このRST行列は等しくなくてよい。
iii.一例において、他の彩度成分のための行列は、彩度イントラモードから導出されてよい。
c.複数の色成分のためにいくつのインデックスを信号通知する必要があるかは、色サブサンプリングフォーマットに依存してよい。
d.複数の色成分のためにいくつのインデックスを信号通知する必要があるかは、デュアルツリーが有効であるかどうかに依存してよい。
e.複数の色成分のためにいくつのインデックスを信号通知する必要があるかは、結合彩度残差符号化が使用されるかどうかに依存してよい。
i.一例において、1つのインデックスは、残差符号化のために信号通知されてよい。
15.結合彩度残差符号化が1つのブロックに適用される場合、セカンダリ変換行列インデックスの信号通知はスキップされてよい。
a.一例において、結合彩度残差符号化が1つのブロックに適用される場合、セカンダリ変換は、2つの彩度成分の両方に対して無効である。
b.一例において、結合彩度残差符号化が1つのブロックに適用される場合、予めセカンダリ変換は、定義された行列インデックスで有効となる。
i.一例において、結合彩度残差符号化が1つのブロックに適用される場合、セカンダリ変換は、同じ予め定義された行列インデックスを有する2つの色成分に適用される。
ii.一例において、結合彩度残差符号化が1つのブロックに適用される場合、セカンダリ変換は、予め定義された異なる行列インデックスを有する2つの色成分に対して適用される。
iii.一例において、結合彩度残差符号化が1つのブロックに適用される場合、セカンダリ変換は、予め定義された行列インデックスを有する1つの色成分に適用され、他の色成分に対しては無効にされる。
c.代替的に、1つのブロックがセカンダリ変換で符号化される場合、結合彩度残差符号化の信号通知はスキップされてよい。
i.代替的に、更に、結合彩度残差符号化は、このブロックに対して無効される。
16.結合彩度残差符号化が1つのブロックに適用される場合、CCLM(Cross-Component Linear Model)方法の信号通知はスキップされてよい。
a.一例において、結合彩度残差符号化が1つのブロックに対して適用される場合、CCLMは2つの彩度成分の両方に対して無効にされる。
b.代替的に、1つのブロックがCCLMで符号化される場合、結合彩度残差符号化の信号通知はスキップされてよい。
i.代替的に、更に、結合彩度残差符号化は、このブロックに対して無効にされる。
c.一例において、結合彩度残差符号化およびCCLMは、両方とも有効にされてよい。2つの彩度残差の間の相関は、CCLM係数から導出されてよい。
i.例えば、Cb=a1*luma+b1、Cr=a2*luma+b2であるとすると、Cbの残差とCrの残差(それぞれresiCbおよびresiCrと表される)の間の相関は、resiCb=a2*(((resiCr-b1)/a1)+b2と仮定されてよい。
ii.代替的に、Cbの残差とCrの残差との間の相関は、resiCb=a2*((resiCr-b1)/a1)と仮定されてよい。
iii.代替的に、Cbの残差とCrの残差との間の相関は、resiCb=a2*resiCr/a1と仮定されてよい。
iv.代替的に、2つの彩度残差の間の異なる相関が許容されてもよく、それらのK(K>=1)は、CCLM係数から導出されてよい。
d.上述したように、CCLMモードは、VVCにおけるLMモード、LM-Tモード、LM-Lモードなどのクロスコンポーネント線形モデルを利用する任意の種類のモードを指すことができる。
17.結合彩度残差符号化が1つのブロックに適用される場合、LDCRSは無効にされてよい。
18.cu_cbfを信号通知するかどうかは、カラーフォーマットおよび/または成分符号化方式に依存してよい(例えば、別個の平面符号化が有効であるかどうか)。
a.一例において、cu_cbfは、カラーフォーマットが4:0:0である、および/または、別個の平面符号化が適用される場合に、信号通知されない。
i.cu_cbfは、ChromaArrayTypeが0などの特定の値に等しい場合、信号通知されない。
ii.代替的に、さらに、cu_cbfは、カラーフォーマットが4:0:0である、および/または、別個の平面符号化が適用される場合に、それが通知されない場合には、1と推測される。
19.輝度ブロックのために符号化ブロックフラグ(例えば、tu_cbf_luma)を信号通知するかどうかは、カラーフォーマットおよび/または成分符号化方法に依存してよい。
a.一例において、輝度ブロックのための符号化ブロックフラグ(例えば、tu_cbf_luma)は、カラーフォーマットが4:0:0である、および/または、別個の平面符号化が適用される場合に、信号通知されない。
b.一例において、輝度ブロックのための符号化ブロックフラグ(例えば、tu_cbf_luma)は、現在のブロックが非スキップインターモードで符号化され、かつ、カラーフォーマットが4:0:0である場合に、信号通知されない。
c.一例において、輝度ブロックのための符号化ブロックフラグ(例えば、tu_cbf_luma)は、現在のブロックが非スキップインターモードで符号化され、かつ、別個の平面符号化が適用される場合に、信号通知されない。
d.一例において、輝度ブロックのための符号化ブロックフラグ(例えば、tu_cbf_luma)は、現在のブロックが非スキップインターモードで符号化され、ChromaArrayTypeが0などの特定の値に等しい場合に、信号通知されない。
20.tu_cbf_cb、およびtu_cbf_crを信号通知するかどうかは、カラーフォーマットおよび/または成分符号化方法(例えば、別個の平面符号化が有効であるかどうか)に依存してよい。
a.一例において、tu_cbf_cb、およびtu_cbf_crは、カラーフォーマットが4:0:0である、および/または、別個の平面符号化が適用される場合に、信号通知されない。
b.一例において、tu_cbf_cb、およびtu_cbf_crは、ChromaArrayTypeが0などの特定の値に等しい場合に、信号通知されない。
21.色成分の符号化ブロックフラグを信号通知するかどうかは、他の色成分の符号化ブロックフラグに依存してよい。
a.tu_cbf_crを信号通知するかどうかは、tu_cbf_lumaおよび/またはtu_cbf_cbに依存してよい。
i.一例において、tu_cbf_lumaおよびtu_cbf_cbの両方が0に等しい場合、tu_cbf_crは信号通知されず、1であると推測される。
b.tu_cbf_cbを信号通知するかどうかは、tu_cbf_lumaおよび/またはtu_cbf_crに依存してよい。
i.一例において、tu_cbf_lumaおよびtu_cbf_crの両方が0に等しい場合、tu_cbf_cbは信号通知されず、1であると推測される。
c.tu_cbf_lumaを信号通知するかどうかは、tu_cbf_cbおよび/またはtu_cbf_crに依存してよい。
i.一例において、tu_cbf_cbおよびtu_cbf_crの両方が0に等しい場合、tu_cbf_lumaは信号通知されず、1であると推測される。
d.3つの色成分のための符号化ブロックフラグの符号化順序は、輝度、Cb、Crのための符号化フラグと異なってよい。
e.上記方法は、現在のCUが1つのTUのみを有し、cu_cbfが1に等しい場合にのみ適用されてよい。
i.代替的に、更に、上記方法は、現在のCUが複数のTUを有するが、1つのTUのみが非ゼロ係数(例えば、SBTモード)を有し、cu_cbfが1に等しい場合にのみ適用されてよい。
22.RSTを有効にするかどうか、および/または、RSTをブロック/符号化ユニットにどのように適用するか(例えば、st_idx)は、関連する色成分のための非ゼロ係数(例えば、セクション2.9.1のnumSigCoeff)の数が閾値よりも大きいかどうかに従って信号通知されてよく、閾値は、カラーフォーマットおよび/または成分符号化方法に依存してよい(例えば、別個の平面符号化が有効であるかどうか)。
a.一例において、単一ツリー符号化構造下での閾値は、カラーフォーマットが4:0:0であるか否か、および/または、別個の平面符号化が適用されるか否かに依存してよい。
i.例えば、カラーフォーマットが4:0:0である、および/または、別個の平面符号化が適用される場合、閾値は1であり、そうでない場合、閾値は2である。
b.一例において、単一ツリー符号化構造における閾値は、ChromaArrayTypeが0などの特定の値に等しいかどうかに依存してよい。
i.例えば、ChromaArrayTypeが0に等しい場合、閾値は1であり、そうでない場合、閾値は2である。
23.符号化ユニットにおけるRST側情報(例えば、st_idx)の信号通知について、3つの色成分すべてではなく、輝度成分の非ゼロ係数の数のみに依存してよい。
a.一例において、輝度ブロックのための非ゼロ係数の数が閾値(例えば、1)よりも大きい場合、RST側情報は信号通知されてよい。
b.一例において、輝度ブロックがすべてのゼロ係数を有する(例えば、tu_cbf_lumaが0に等しい)場合、RST側情報を信号通知する必要がなく、RSTは無効であると推測される。
c.一例において、3つの色成分のための符号化ブロックフラグ(例えば、tu_cbf_luma、tu_cbf_cb、およびtu_cbf_cr)の1つが0に等しい場合、RST側情報を信号通知する必要がなく、RSTは無効であると推測される。
d.上述した方法は、単一ツリー符号化構造が適用される場合に適用されてよい。
i.代替的に、さらに、上記方法は、単一ツリー符号化構造が適用され、カラーフォーマットが4:0:0でない場合に、適用されてよい。
ii.代替的に、さらに、上記方法は、単一ツリー符号化構造が適用され、カラーフォーマットが4:0:0でなく、別個の平面符号化が無効である場合に、適用されてよい。
24.彩度成分(例えば、別個のツリー符号化構造)のためのRST側情報(例えば、st_idx)の信号通知について、それは、2つの彩度成分の符号化ブロックフラグに依存してよい。
a.一例において、符号化ブロックフラグ(例えば、tu_cbf_cb、またはtu_cbf_cr)のうちの1つが0に等しい場合、RST側情報の信号通知はスキップされてよい。
25.ブロックに対するSBTの指示を信号通知するかどうか、および/または、どのように信号通知するかは、カラーフォーマットおよび/または成分符号化方法(例えば、別個の平面符号化が有効であるかどうか)、および/またはtu_cbf_lumaおよび/またはtu_cbf_cbおよび/またはtu_cbf_crに依存してよい。
a.一例において、SBTの指示は、tu_cbf_luma、tu_cbf_cb、およびtu_cbf_crがすべて0に等しい場合に、信号通知されない。
b.一例において、SBTの指示は、tu_cbf_lumaが0に等しい場合に、信号通知されない。
c.一例において、SBTの指示は、tu_cbf_cbおよびtu_cbf_crの両方が0に等しい場合に、信号通知されない。
d.一例において、上記の黒丸における条件付き信号通知は、カラーフォーマットが4:0:0である、および/または、別個の平面符号化が適用される場合にのみ適用されてよい。
26.TUのための符号化ブロックフラグの信号通知(例えば、tu_cbf_lumaおよび/またはtu_cbf_cbおよび/またはtu_cbf_cr)は、TUを含むCUのためのSBTの使用に依存してよい。
a.一例において、TUのためのtu_cbf_lumaは、SBTが適用され、かつ、TUがSBTによってゼロにされていない場合に、信号通知されず、1であると推測される。
b.一例において、TUのためのtu_cbf_cbおよび/またはtu_cbf_crは、SBTが適用され、かつ、TUがSBTによってゼロにされていない場合に、信号通知されず、1であると推測される。
c.適合ビットストリームは、SBTが符号化ユニットに対して有効化される場合に、輝度ブロックが少なくとも1つの非ゼロ係数を有する(例えば、tu_cbf_lumaが1に等しい)ことを満たす必要がある。
i.代替的に、適合ビットストリームは、SBTが符号化ユニットに対して有効化される場合、3つの色成分のうちの1つが少なくとも1つの非ゼロ係数を有するものであることを満たす必要がある(例えば、tu_cbf_luma、tu_cbf_cb、tu_cbf_crのうちの少なくとも1つが1に等しい)。
27.適合ビットストリームは、cu_cbf(例えば、非スキップインター符号化ブロックの場合)が符号化ユニットに対して1に等しい場合、輝度ブロックが少なくとも1つの非ゼロ係数を有する(例えば、tu_cbf_lumaが1に等しい)ことを満たす必要がある。
a.代替的に、適合ビットストリームは、cu_cbf(例えば、非スキップインター符号化ブロックの場合)が符号化ユニットに対して1に等しい場合、3つの色成分が少なくとも1つの非ゼロ係数を有する(例えば、tu_cbf_luma、tu_cbf_cb、tu_cbf_crのうちの少なくとも1つが1に等しい)ことを満たす必要がある。
28.上述した構文要素は、ChromaArrayTypeの値またはカラーフォーマットまたは別個の平面符号化に関わらず依然として信号送信されてよいが、復号化処理において、これらの構文要素の復号化された値は無視されてよい。すなわち、復号化処理は、これらの構文要素の復号された値をチェックする前に、まず、ChromaArrayType、カラーフォーマット、または別個の平面符号化の値をチェックしてよい。
5. 追加の実施形態
5.1 ALF復号化処理の実施形態1
本実施形態において、適応ループフィルタ処理を呼び出す例を示し、ここで、彩度カラーフォーマット/別個の平面符号化フラグ(ChromaArrayTypeで示される)の条件が考慮される。
提案される変更には以下のように下線が付けられている。
8.8 インループフィルタ処理
8.8.1 一般
3つのインループフィルタ、即ち、非ブロック化フィルタ、サンプル適応オフセットフィルタ、および適応ループフィルタは、以下の順序で規定されたように適用される。
非ブロック化フィルタについては、以下が適用される。
-8.8.2.1節に規定の非ブロック化フィルタ処理は、再構成されたピクチャサンプル配列Sと、ChromaArrayTypeが0に等しくない場合は、配列SCbおよびSCrとを入力とし、修正された再構成されたピクチャサンプル配列S’と、ChromaArrayTypeが0に等しくない場合は、非ブロック化後の配列S’CbおよびS’Crとを出力として、呼び出される。
-配列S’と、ChromaArrayTypeが0に等しくない場合は、配列S’CbおよびS’Crとが配列Sに割り当てられ、ChromaArrayTypeが0に等しくない場合は、配列SCbおよびSCr(復号化されたピクチャを表す)がそれぞれ割り当てられる。
sps_sao_enabled_flagが1に等しい場合、以下が適用される。
-8.8.3.1節に規定されるサンプル適応オフセット処理は、再構成されたピクチャサンプル配列Sと、ChromaArrayTypeが0に等しくない場合は、配列SCbおよびSCrとを入力とし、修正された再構成されたピクチャサンプル配列S’と、ChromaArrayTypeが0に等しくない場合は、サンプル適応オフセット後の配列S’CbおよびS’Crとを出力として、呼び出される。
-配列S’と、ChromaArrayTypeが0に等しくない場合、配列S’CbおよびS’Crとが配列Sに割り当てられ、ChromaArrayTypeが0に等しくない場合、配列SCbおよびSCr(復号化されたされたピクチャを表す)がそれぞれ割り当てられる。
sps_alf_enabled_flagが1に等しい場合、以下が適用される。
-8.8.4.1節に規定される適応ループフィルタ処理は、再構成されたピクチャサンプル配列Sと、ChromaArrayTypeが0に等しくない場合は、配列SCbおよびSCrを入力とし、修正された再構成されたピクチャサンプル配列S’ と、ChromaArrayTypeが0でない場合は、適応ループフィルタ後の配列S’CbおよびS’Crとを出力として、呼び出される。
-配列S’ と、ChromaArrayTypeが0に等しくない場合は、配列S’CbおよびS’とが配列S に割り当てられ、ChromaArrayTypeが0に等しくない場合は、配列CbおよびSCr(復号化されたピクチャを表す)がそれぞれ割り当てられる。
8.8.4 適応ループフィルタ処理
8.8.4.1 一般
この処理の入力は、適応ループフィルタ前の再構成されたピクチャサンプル配列recPictureと、ChromaArrayTypeが0に等しくない場合、配列recPictureCbおよびrecPictureCrとである。
この処理の出力は、適応ループフィルタ後の修正された再構成されたピクチャサンプル配列alfPicture と、ChromaArrayTypeが0でない場合、配列alfPictureCbおよびalfPictureCrとである。
適応ループフィルタ後の修正された再構成されたピクチャサンプル配列alfPicture、alfPictureCb、およびalfPictureCrのサンプル値は、まず、それぞれ、適応ループフィルタ前の再構成されたピクチャサンプル配列recPicture、recPictureCb、およびrecPictureCrにおけるサンプル値に等しく設定される。
slice_alf_enabled_flagが1に等しい場合、輝度符号化ツリーブロックの位置(rx,ry)を有するすべての符号化ツリーユニットに対し、以下が適用され、ここで、rx=0...PicWidthInCtbs-1、および、ry=0...PicHeightInCtbs-1である。
-alf_ctb_flag[0][rx][ry]が1に等しい場合、8.8.4.2節で規定された輝度サンプルのための符号化ツリーブロックフィルタリング処理は、recPicture、alfPicture、および、(rx<<<CtbLog2SizeY,ry<<CtbLog2SizeY)に等しく設定された輝度符号化ツリーブロックの位置(xCtb,yCtb)を入力として呼び出され、出力は修正されたフィルタされたピクチャalfPictureである。
ChromaArrayTypeが0に等しくなく、かつ、alf_ctb_flag[1][rx][ry]が1に等しい場合、8.8.4.4節で規定された彩度サンプルのための符号化ツリーブロックフィルタリング処理は、recPictureCbに等しく設定されたrecPicture、alfPictureCbに等しく設定されたalfPicture、(rx<<(CtbLog2SizeY-1),ry<<(CtbLog2SizeY-1))に等しく設定された彩度符号化ツリーブロックの位置(xCtbC,yCtbC)を入力として呼びだされ、出力は修正されたフィルタされたピクチャalfPictureCbである。
ChromaArrayTypeが0に等しくなく、かつ、alf_ctb_flag[2][rx][ry]が1に等しい場合、8.8.4.4節で規定された彩度サンプルのための符号化ツリーブロックフィルタリング処理は、recPictureCrに等しく設定されたrecPicture、alfPictureCrに等しく設定されたalfPicture、および(rx<<(CtbLog2SizeY-1),ry<<(CtbLog2SizeY-1))に等しく設定された彩度符号化ツリーブロックの位置(xCtbC,yCtbC)を入力として呼びだされ、出力は修正されたフィルタされたピクチャalfPictureCrである。
-7.3.5.1 一般スライスセグメントヘッダ構文
Figure 0007303328000057
-slice_alf_chroma_idcが0に等しい場合、適応ループフィルタがCbおよびCr色成分に適用されないことを規定する。slice_alf_chroma_idcが1に等しい場合、適応ループフィルタがCb色成分に適用されることを規定する。slice_alf_chroma_idcが2に等しい場合、適応ループフィルタがCr色成分に適用されることを規定する。slice_alf_chroma_idcが3に等しい場合、適応ループフィルタがCbおよびCr色成分に適用されることを規定する。slice_alf_chroma_idcが存在しない場合、それは0に等しいと推測される。ChromaArrayTypeが0に等しい場合、slice_alf_chroma_idcは、復号化処理に用いられないので、存在しない。
-短縮単項二値化tu(v)の最大値maxValは、3に等しく設定される。
-slice_alf_aps_id_chromaは、スライスの彩度成分が参照するadaptation_parameter_set_idを規定する。slice_alf_aps_id_chromaが存在しない場合、これはslice_alf_aps_id_luma[0]に等しいと推測される。slice_alf_aps_id_chromaに等しいadaptation_parameter_set_idを有するALF APS NALユニットのTemporalIdは、符号化されたスライスNALユニットのTemporalId以下であるべきである。
-IRAPピクチャにおけるイントラスライスおよびスライスについては、slice_alf_aps_id_chromaは、イントラスライスを含むピクチャまたはIRAPピクチャではない、他のピクチャに関連付けられたALF APSを参照すべきでない。
ChromaArrayTypeが0に等しい場合、slice_alf_aps_id_chromaは復号化処理に用いられないので、存在しない。
5.2. 彩度デルタQPの信号通知における実施形態2
追加した変更には下線を付け、削除した部分には[[]]印を付ける。
7.3.2.2. ピクチャパラメータセットRBSP構文
Figure 0007303328000058
pps_cb_qp_offsetおよびpps_cr_qp_offsetは、Qp’CbおよびQp’Crの導出に用いられる輝度量子化パラメータQp’へのオフセットをそれぞれ規定する。pps_cb_qp_offsetおよびpps_cr_qp_offsetの値は、-12~+12の範囲内となるべきである。存在しない[[[ChromaArrayTypeが0に等しい]]場合、pps_cb_qp_offsetおよびpps_cr_qp_offsetは0であると推測される[[復号化には用いられず、デコーダはその数値を無視する]。
pps_slice_chroma_qp_offsets_present_flagが1に等しい場合、slice_cb_qp_offsetおよびslice_cr_qp_offset構文要素は、関連するスライスヘッダに存在することを規定する。pps_slice_chroma_qp_offsets_present_flagがが0に等しい場合、これらの構文要素は、関連するスライスヘッダに存在しないことを規定する。存在しない[[[ChromaArrayTypeが0に等しい]場合、pps_slice_chroma_qp_offsets_present_flagは0に等しいべきである。
7.3.5 スライスヘッダ構文
7.3.5.1 一般スライスセグメントヘッダ構文
Figure 0007303328000059
5.3.結合彩度残差符号化の信号通知における実施形態3
追加した変更には下線を付け、削除した部分には[[]]印を付ける。
7.3.2.2 ピクチャパラメータセットRBSP構文
Figure 0007303328000060
7.3.4.1におけるタイルグループヘッダ構文
Figure 0007303328000061
7.3.6.12 残差符号化構文
Figure 0007303328000062
7.4.3.2 ピクチャパラメータセットRBSP意味論
pps_joint_cbcr_qp_offsetは、Qp’CbCrを導出するために用いられる輝度量子化パラメータQp’へのオフセットを規定する。pps_joint_cbcr_qp_offsetの値は、-12~+12の範囲であるべきである。存在しない[[[ChromaArrayTypeが0に等しい]]の場合、pps_joint_cbcr_qp_offsetは0と推測される[[復号化処理に用いられず、デコーダはその値を無視すべきである]。
5.4. LMCSにおける実施形態4
輝度依存彩度残差スケーリングを有効とするかどうか(例えば、slice_chroma_residual_scale_flag)は、ChromaArrayTypeに依存する。追加した変更には下線を付け、削除した部分には[[]]印を付ける。
7.3.5 スライスヘッダ構文
7.3.5.1 一般スライスセグメントヘッダ構文
Figure 0007303328000063
Figure 0007303328000064
slice_chroma_residual_scale_flagが1の場合、現在のスライスに対して、彩度残差スケーリングが有効であることを規定する。slice_chroma_residual_scale_flagが0の場合、現在のスライスに対して、彩度残差スケーリングが有効でないことを規定する。slice_chroma_residual_scale_flagが存在しない場合、これは0に等しいと推測される。ChromaArrayTypeが0に等しい場合、slice_chroma_residual_scale_flagは、復号化処理に用いられないため、存在しない。
5.5. グループ化された構文における実施形態5
追加した変更には下線を付け、削除した部分には[[]]印を付ける。
7.3.2.3 シーケンスパラメータセットRBSP構文
Figure 0007303328000065
Figure 0007303328000066
Figure 0007303328000067
Figure 0007303328000068
5.6 実施形態#6
追加した変更には下線を付け、削除した部分には[[]]印を付ける。
7.3.5.3 適応ループフィルタデータ構文
Figure 0007303328000069
Figure 0007303328000070
Figure 0007303328000071
alf_chroma_filter_signal_flagが1に等しい場合、彩度フィルタが信号通知されることを規定する。alf_chroma_filter_signal_flagが0に等しい場合、彩度フィルタが信号通知されないことを規定する。ChromaArrayTypeが0に等しい場合、alf_chroma_filter_signal_flagは0に等しいべきである。
5.7 実施形態#7
追加した変更には下線を付け、削除した部分には[[]]印を付ける。
Figure 0007303328000072
Figure 0007303328000073
bit_depth_chroma_minus8は、彩度配列BitDepthのサンプルのビット深度および彩度量子化パラメータ範囲オフセットQpBdOffsetの値を以下のように規定する。
BitDepth=8+bit_depth_chroma_minus8 (7-5)
QpBdOffset=6*bit_depth_chroma_minus8 (7-6)
bit_depth_chroma_minus8は、0~8の範囲内にあるべきである。ChromaArrayTypeが0に等しい場合、bit_depth_chroma_minus8は、復号化処理に用いられず、デコーダはその値を無視すべきである。
slice_alf_chroma_idcが0に等しい場合、適応ループフィルタは、CbおよびCr色成分に適用されないことを規定する。slice_alf_chroma_idcが1に等しい場合、適応ループフィルタは、Cb色成分に適用されることを規定する。slice_alf_chroma_idcが2に等しい場合、適応ループフィルタは、Cr色成分に適用されることを規定する。slice_alf_chroma_idcが3に等しい場合、適応ループフィルタは、CbおよびCr色成分に適用されることを規定する。slice_alf_chroma_idcが存在しない場合、それは0に等しいと推測される。ChromaArrayTypeが0に等しい場合、slice_alf_chroma_idcは、復号化処理に用いられず、デコーダはその値を無視すべきである。
短縮単項二値化tu(v)の最大値maxValは、3に等しく設定される。
slice_alf_aps_id_chromaは、スライスの彩度成分が参照するadaptation_parameter_set_idを規定する。slice_alf_aps_id_chromaが存在しない場合、これはslice_alf_aps_id_luma[0]に等しいと推測される。slice_alf_aps_id_chromaに等しいadaptation_parameter_set_idを有するALF APS NALユニットのTemporalIdは、符号化スライスNALユニットのTemporalId以下であるべきである。
IRAPピクチャにおけるイントラスライスおよびスライスの場合、slice_alf_aps_id_chromaは、イントラスライスを含むピクチャまたはIRAPピクチャではなく、他のピクチャに関連付けられたALF APSを参照してはならない。
ChromaArrayTypeが0に等しい場合、slice_alf_aps_id_chromaは、復号化処理に用いられず、デコーダはその値を無視するので、存在しない。
slice_chroma_residual_scale_flagが1に等しい場合、現在のスライスに対して彩度残差スケーリングが有効であることを規定する。slice_chroma_residual_scale_flagが0に等しい場合、彩度残差スケーリングが有効でないことを規定する。slice_chroma_residual_scale_flagが存在しない場合、これは0に等しいと推測される。ChromaArrayTypeが0に等しい場合、slice_chroma_residual_scale_flagは、復号化処理に用いられないため、存在しない。
alf_chroma_filter_signal_flagが1に等しい場合、彩度フィルタが信号通知されることを規定する。alf_chroma_filter_signal_flagが0に等しい場合、彩度フィルタが信号通知されないことを示す。ChromaArrayTypeが0に等しい場合、alf_chroma_filter_signal_flagは0に等しいべきである。
6. 開示される技術の例示的な実装形態
図16は、映像処理装置1600のブロック図である。装置1600は、本明細書に記載の1または複数の方法を実装するために使用されてよい。装置1600は、スマートフォン、タブレット、コンピュータ、IoT(Internet of Things)受信機等により実施されてもよい。装置1600は、1または複数のプロセッサ1602、1または複数のメモリ1604、および、映像処理ハードウェ1606、を含んでよい。1または複数のプロセッサ1602は、本明細書に記載される1または複数の方法を実装するように構成されてよい。1または複数のメモリ1604は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用されてよい。映像処理ハードウェア1606は、ハードウェア回路において、本願に記載されるいくつかの技術を実施するために用いられてもよく、また、プロセッサ1602(例えば、グラフィックプロセッサコアGPUまたは他の信号処理回路)の一部または全部であってもよい。
本明細書では、「映像処理」という用語は、映像符号化、映像復号化、映像圧縮、または映像展開を指すことができる。例えば、映像圧縮アルゴリズムは、映像の画素表現から対応するビットストリーム表現への変換、またはその逆の変換中に適用されてもよい。現在の映像ブロックのビットストリーム表現は、例えば、構文によって定義されるように、ビットストリーム内の同じ場所または異なる場所に拡散されるビットに対応していてもよい。例えば、1つのマクロブロックは、変換および符号化された誤差残差値の観点から、且つビットストリームにおけるヘッダおよび他のフィールドにおけるビットを使用して符号化されてもよい。
開示された方法および技法は、本願に開示された技法を使用できるようにすることで、スマートフォン、ノートパソコン、卓上パソコン、および類似した機器等の映像処理機器に組み込まれる映像エンコーダおよび/またはデコーダの実施形態に有益となることが理解される。
図17は、映像処理の方法1700の一例を示すフローチャートである。方法1700は、ステップ1710において、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を行うことを含み、変換は、少なくとも1つの条件を検出することに応答して、結合彩度残差符号化ステップ、LDCRS(Lima-Dependent Chroma Residue Scaling)ステップ、または適応ループフィルタステップのうちの1または複数の使用に関連付けられた1または複数の構文フラグの信号通知を選択的に有効または無効にすることを含む。
いくつかの実施形態を、以下の項目に基づくフォーマットを使用して説明することができる。
1. 映像処理の方法は以下を有する:
現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を行うことであって、変換は、少なくとも1つの条件を検出することに応答して、結合彩度残差符号化ステップ、LDCRS(Lima-Dependent Chroma Residue Scaling)ステップ、セカンダリ変換ステップ、量子化ステップ、または適応ループフィルタステップのうちの1または複数の使用に関連付けられた1または複数の構文フラグの信号通知を選択的に有効または無効とすることを含む、こと。
2. 1または複数の構文フラグは、彩度差分量子化パラメータ、結合彩度残差符号化が実行されるかどうかを示すバイナリ値、セカンダリ変換ステップの使用、彩度成分のPCMサンプル値を表すために使用されるビット数、彩度セカンダリ変換行列のインデックス、結合彩度残差符号化が実行されるかどうかを示すバイナリ値、またはデュアルツリー符号化ステップが実行されるかどうかを示すバイナリ値のうちのいずれかに関係する、項目1に記載の方法。
3. 1または複数の構文フラグは、pps_joint_cbcr_qp_offset、tu_cb_cr_joint_residual、st_idx、pps_cb_qp_offset、pps_cr_qp_offset、slice_chroma_residual_scale_flag、pcm_sample_bit_depth_chroma_minus1、qtbtt_dual_tree_intra_flag、sps_cclm_enabled_flag、またはsps_st_enabled_flag、の1または複数の値に対応している、項目1~2のいずれかに記載の方法。
4. 1または複数の構文フラグは、シーケンス、ビュー、ピクチャ、スライス、タイル、タイルグループ、符号化ブロック、変換ブロック、予測ユニット、または他の映像データユニットに関連付けられる、項目1~3のいずれかに記載の方法。
5. 少なくとも1つの条件は、彩度フォーマット、別個の平面符号化ステップの存在、ChromaArrayType変数の値、1または複数の構文フラグにおけるフラグの値、または現在の映像ブロックへのセカンダリ変換の適用に関連付けられる、項目1~4のいずれかに記載の方法。
6. 以下をさらに含む、項目1~5のいずれかに記載の方法。
1または複数の構文フラグに基づいて、現在の映像ブロックに復号化ステップを適用することを判定すること。
7. 映像処理の方法は以下を有する:
現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を実行することであって、変換は、少なくとも1つの条件を検出することに応答して、結合彩度残差符号化ステップ、LDCRS(Luma-dependent chroma residue scaling)ステップ、セカンダリ変換ステップ、量子化ステップ、または適応ループフィルタステップのうちの1または複数の使用に関連する1または複数の構文フラグの信号通知を選択的に有効または無効にすることを含み、現在の映像ブロックの第1の彩度成分は、第1のRST(Reduced Secondary Transform)行列と関連付けられ、現在の映像ブロックの第2の彩度成分は、第2のRST行列と関連付けられる、こと。
8. 第1のフラグは第1のRST行列に関連付けられ、第2のフラグは第2のRST行列に関連付けられ、第1のフラグおよび第2のフラグは1または複数の構文フラグに含まれる、項目7に記載の方法。
9. 第1のRST行列はビットストリーム表現で送信され、第2のRST行列は導出される、項目7に記載の方法。
10. 第2のフラグは、少なくとも部分的に、第1のフラグに基づく、項目7に記載の方法。
11. 第2のRST行列は、代表的な輝度ブロックから導出される、項目7に記載の方法。
12. 第2のRST行列は第1のRST行列から導出され、第1のRST行列は第2のRST行列に等しくない、項目7に記載の方法。
13. 第2のRST行列は、彩度イントラモードから導出される、項目7に記載の方法。
14. 以下をさらに有する、項目8に記載の方法。
現在の映像ブロックに対して、結合彩度残差符号化ステップが有効化されることを判定することに応答して、第1のRSTフラグおよび/または第2のフラグの信号通知を無効化すること。
15. 以下をさらに有する、項目7~14のいずれかに記載の方法。
現在の映像ブロックに対して、結合彩度残差符号化ステップが有効化されることを判定することに応答して、第1のRST行列および/または第2の行列を適用すること。
16. 映像処理の方法は以下を有する:
現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を実行することであって、変換は、少なくとも1つの条件を検出することに応答して、結合彩度残差符号化ステップ、LDCRS(Luma-dependent chroma residue scaling)ステップ、セカンダリ変換ステップ、量子化ステップ、または適応ループフィルタステップのうちの1または複数の使用に関連する1または複数の構文フラグの信号通知を選択的に有効または無効にすることを含み、現在の映像ブロックの第1の彩度成分は、第1のRST(Reduced Secondary Transform)行列と関連付けられ、現在の映像ブロックの第2の彩度成分は、第2のRST行列と関連付けられる、こと。
現在のブロックに対して、結合彩度残差符号化ステップを有効化にすることを判定することに応答して、現在のブロックの1または複数の彩度成分におけるCCLMの使用に関連するフラグの信号通知を無効化することであって、1または複数の構文フラグにおけるフラグは、CCLM(Cross-Component Linear Model)の使用に関連している、こと。
17. 以下をさらに有する、項目16に記載の方法。
現在のブロックに対して、結合彩度残差符号化ステップが有効化されることを判定することに応答して、現在のブロックにおけるCCLMの使用を無効化すること。
18. 以下をさらに有する、項目16に記載の方法。
CCLMが現在のブロックに適用されることを判定することに応答して、現在のブロックにおいて結合彩度残差符号化ステップを無効化すること。
19. 以下をさらに有する、項目16に記載の方法。
CCLMの利用および現在のブロックにおける結合彩度残差符号化ステップの使用を有効化すること。
20. 結合彩度残差符号化ステップは、少なくとも2つの彩度残差成分にまたがり、2つの彩度残差成分間の相関は、少なくとも部分的に、CCLMに関連する係数に基づく、項目16に記載の方法。
21. CLLMの使用は、LM-TモードまたはLM-Lモードの使用を含む、項目16~20のいずれかに記載の方法。
22. 1または複数の構文フラグは、個々に信号通知されるか、または単一のフラグに結合される、項目1~21のいずれかに記載の方法。
23. 以下をさらに有する、項目1~22のいずれかに記載の方法。
結合彩度残差符号化ステップが有効化されると判定することに応答して、LDCRS(Luma-dependent chroma residue scaling)ステップを無効化すること。
24. 1または複数の構文フラグは、個々に信号通知されるか、または単一のフラグに結合される、項目1~23のいずれかに記載の方法。
25. 映像処理の方法は、現在の映像ブロックのために、現在の映像ブロックのビットストリーム表現における1または複数の符号化ブロックフラグの選択的包含に関する決定を行うことと、決定に基づいて、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を行うことと、を有し、選択的包含は、カラーフォーマット、現在の映像ブロックの成分符号化方法、または現在の映像ブロックの符号化モードに基づく。
26. カラーフォーマットが4:0:0である、または、成分符号化方法が別個の平面符号化方法である場合、符号化ユニットのための符号化ブロックフラグ(cu_cbf)は信号通知されない、項目25に記載の方法。
27. カラーフォーマットが4:0:0である、または、成分符号化方法が別個の平面符号化方法である場合、現在の映像ブロックの輝度成分のための符号化ブロックフラグ(tu_cbf_luma)は信号通知されない、項目25に記載の方法。
28. カラーフォーマットが4:0:0であり、かつ、現在の映像ブロックが非スキップインターモードで符号化されている場合、現在の映像ブロックの輝度成分のための符号化ブロックフラグ(tu_cbf_luma)は信号通知されない、項目27に記載の方法。
29. カラーフォーマットが4:0:0である、または、成分符号化方法が別個の平面符号化方法である場合、現在の映像ブロックの1または複数の彩度成分のための符号化ブロックフラグ(tu_cbf_crまたはtu_cbf_cb)は信号通知されない、項目25に記載の方法。
30. 現在の映像ブロックの1または複数の彩度成分のための符号化ブロックフラグ(tu_cbf_crまたはtu_cbf_cb)の信号通知は、現在の映像ブロックの輝度成分のための符号化ブロックフラグ(tu_cbf_luma)に基づく、項目25に記載の方法。
31. 映像処理の方法であって、現在の映像ブロックのために、現在の映像ブロックの1または複数の色成分における非ゼロ係数の数に基づいて現在の映像ブロックに対するRST(Reduced Secondary Transform)の選択的適用に関する決定を行うことと、決定に基づいて、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間の変換を行うこととを有する。
32. 決定を行うことは、非ゼロ係数の数と、現在の映像ブロックのカラーフォーマットまたは成分符号化方法に依存する閾値とを比較することをさらに含む、項目31に記載の方法。
33. 閾値は1であり、カラーフォーマットが4:0:0である、または、成分符号化方法が別個の平面符号化方法である、項目32に記載の方法。
34. 閾値は2であり、カラーフォーマットが4:0:0と異なり、かつ、成分符号化方法が別個の平面符号化方法と異なる、項目32に記載の方法。
35. 選択的適用は、現在の映像ブロックの輝度成分のみの非ゼロ係数の数に基づく、項目31記載の方法。
36. 映像処理の方法は、現在の映像ブロックと現在の映像ブロックのビットストリーム表現との間で変換を行うことを有し、ビットストリーム表現は、彩度の特徴に基づいて彩度符号化に関する情報を示す構文要素の選択的包含に基づく。
37. 彩度符号化に関する前記情報は、彩度配列サンプルのためのビット深度情報、および/または彩度量子化パラメータ範囲オフセットの値を含み、前記彩度の特徴に彩度フォーマットを含む、第36項に記載の方法。
38. 彩度符号化に関する情報は、変換の間に用いられる適応ループフィルタリングに関する情報を含み、彩度の特徴はChromaArrayType構文要素が特定の値に等しいかどうかに対応する、項目36に記載の方法。
39. 彩度符号化に関する情報は、変換の間に用いられる適応ループフィルタリングに関する情報を含み、彩度の特徴は彩度フォーマットが4:0:0であるかどうかに対応する、項目36に記載の方法。
40. 彩度符号化に関する情報は、彩度に対するパレットモードまたはイントラブロックコピーモードに関する情報を含み、彩度の特徴は、ChromaArrayType構文要素が特定の値に等しいかどうかに対応する、項目36に記載の方法。
項目36~40の追加の例示および実施形態は、以前のセクションの項目5、7、8、および12に提供される。
41. プロセッサと、命令が記憶された非一時的メモリとを備える、映像システムにおける装置であって、命令がプロセッサによって実行されることにより、プロセッサに、項目1~40のいずれかに記載の方法を実施させる。
42. 非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラムプロダクトであって、項目1~40のいずれかに記載の方法を実行するためのプログラムコードを含む、コンピュータプログラムプロダクト。
図22は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム2200を示すブロック図である。様々な実装形態は、システム2200のコンポーネントの一部または全部を含んでもよい。システム2200は、映像コンテンツを受信するための入力2202を含んでよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、8または10ビットのマルチコンポーネント画素値で受信されてもよく、または圧縮または符号化フォーマットで受信されてもよい。入力2202は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット(登録商標)、PON(Passive Optical Network)等の有線インターフェース、およびWi-Fi(登録商標)またはセルラーインターフェース等の無線インターフェースを含む。
システム2200は、本明細書に記載される様々な符号化または符号化方法を実装することができる符号化コンポーネント2204を含んでよい。符号化コンポーネント2204は、入力2202からの映像の平均ビットレートを符号化コンポーネント2204の出力に低減し、映像の符号化表現を生成してよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化コンポーネント2204の出力は、コンポーネント2206によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力2202において受信された、記憶されたまたは通信された映像のビットストリーム(または符号化)表現は、コンポーネント2208によって使用されて、表示インターフェース2210に送信される画素値または表示可能な映像を生成してよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作またはツールと呼ぶが、符号化ツールまたは動作は、エンコーダおよびそれに対応する、復号化の結果を逆にする復号化ツールまたは動作が、デコーダによって行われることが理解されよう。
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、USB(Universal Serial Bus)またはHDMI(登録商標)(High Definition Multimedia Interface)またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、SATA(Serial Advanced Technology Attachment)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および/または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
図23は、本技術に従った映像復号化の方法2300を示すフローチャートである。方法2300は、動作2310において、規則に基づいて、映像の領域に適用可能な1または複数の構文フラグが映像の符号化表現の構文構造に含まれているかどうかを判定することを含む。1または複数の構文フラグは、符号化表現における領域を表すための結合彩度残差符号化ステップを示す。方法2300は、動作2320において、符号化表現における1または複数の構文フラグの有無に従って符号化表現を構文解析することにより、領域の1または複数の復号化映像ブロックを生成することをさらに含む。
図24は、本技術に従った映像符号化の方法2400を示すフローチャートである。方法2400は、動作2410において、規則に基づき、映像の符号化表現の構文構造において、映像の領域に適用可能な1または複数の構文フラグを条件付きで符号化することを含む。1または複数の構文フラグは、符号化表現における領域を表すための結合彩度残差符号化ステップを示す。
いくつかの実施形態において、規則は映像の領域の彩度フォーマットに基づいて示される。いくつかの実施形態において、彩度フォーマットを判定することは、彩度成分が別個に符号化されるかどうかを判定することを含む。いくつかの実施形態において、彩度成分が別個に符号化される場合、1または複数の構文フラグは符号化表現に存在しない。いくつかの実施形態において、彩度成分が別個に符号化されない場合、1または複数の構文フラグは符号化表現に存在する。
いくつかの実施形態において、規則は、彩度フォーマットが4:0:0である場合、1または複数の構文フラグは符号化表現に存在しないことを示す。いくつかの実施形態において、規則は、彩度フォーマットが4:0:0でない場合、1または複数の構文フラグは符号化表現に存在することを示す。いくつかの実施形態において、規則は、彩度フォーマットが符号化表現における変数ChromaArrayTypeによって示されることを示す。いくつかの実施形態において、規則は、変数ChromaArrayTypeが所定の値に等しい場合、1または複数の構文フラグは符号化表現に存在しないことを示す。いくつかの実施形態において、規則は、変数ChromaArrayTypeが所定の値に等しくない場合、1または複数の構文フラグは符号化表現に存在することを示す。いくつかの実施形態において、所定の値は0である。
いくつかの実施形態において、領域はシーケンスを有する。いくつかの実施形態において、シーケンスパラメータセットにおいて1つのフラグが信号通知される。いくつかの実施形態において、領域はピクチャを有する。いくつかの実施形態において、ピクチャパラメータセットにおいて複数のフラグが信号通知され、複数のフラグは量子化パラメータオフセットに関連する。いくつかの実施形態において、領域は変換ユニットを含む。いくつかの実施形態において、変換ユニットに関連付けられた1つのフラグは、結合彩度残差符号化ステップの使用に関連する。いくつかの実施形態において、領域はスライスを有する。いくつかの実施形態において、領域は、ビューまたはタイルグループを有する。
図25は、本技術に従った映像復号化の方法2500を示すフローチャートである。方法2500は、動作2510において、映像の領域の彩度フォーマットを判定することを含む。方法2500は、動作2520において、彩度フォーマットに基づいて、映像の領域に適用可能な1または複数の構文フラグが映像の符号化表現の構文構造に含まれているかを判定することを含む。1または複数の構文フラグは、符号化表現における領域を表すために量子化パラメータオフセットを使用することを示す。方法2500は、動作2530において、1または複数の構文フラグの有無に従って符号化表現を構文解析することにより、映像領域の1または複数の復号化された映像ブロックを生成することをさらに有する。
図26は、本技術に従った映像復号化の方法2600を示すフローチャートである。方法2600は、動作2610において、映像の領域の彩度フォーマットを判定することを含む。方法2600は、動作2620において、彩度フォーマットに基づいて、映像の領域に適用可能なセカンダリ変換の使用を示す1または複数の構文フラグが、映像の符号化表現の構文構造に存在しないことを判定することを有する。セカンダリ変換は、逆量子化ステップと逆方向プライマリ変換との間に適用される。方法2600は、動作2630において、1または複数の構文フラグが存在しないことに従って符号化表現を構文解析することにより、映像領域の1または複数の復号化された映像ブロックを生成することをさらに有する。
いくつかの実施形態において、1または複数の復号化された映像ブロックを生成することは、彩度フォーマットの判定に基づく。本方法の実施形態において、方法は、1または複数の構文フラグが符号化表現に存在する場合、1または複数の復号化された映像ブロックを生成するための1または複数の構文フラグを廃棄することを有する。
図27は、本技術に従った映像符号化の方法2700を示すフローチャートである。方法2700は、動作2710において、映像の領域に関連付けられた彩度フォーマットを判定することを含む。方法2700は、動作2720において、彩度フォーマットに基づいて、映像の符号化表現の構文構造における1またはふくすうの構文フラグを条件付きで符号化することをさらに含む。1または複数の構文フラグは、符号化表現における領域を表すための量子化パラメータオフセットの使用が有効であることを示す。
図28は、本技術に従った映像符号化の方法2800を示すフローチャートである。方法2800は、動作2810において、映像のある領域の彩度フォーマットを判定することを含む。方法2800は、動作2820において、彩度フォーマットに基づいて、映像の符号化表現の構文構造におけるセカンダリ変換の使用を示す1または複数の構文フラグを含めずに領域を符号化することにより、映像の符号化表現を生成することをさらに含む。セカンダリ変換は、順方向プライマリ変換と量子化ステップとの間に適用される。
いくつかの実施形態において、彩度フォーマットを判定することは、彩度フォーマットの色成分が別個に符号化されているかどうかを判定することを含む。いくつかの実施形態において、領域はピクチャを有する。
いくつかの実施形態において、(1)彩度フォーマットが4:0:0でない場合、または(2)彩度フォーマットの色成分が別個に符号化される場合、1または複数の構文フラグは符号化表現に存在しない。いくつかの実施形態において、(1)彩度フォーマットが4:0:0でない場合、または(2)彩度フォーマットの色成分が別個に符号化されていない場合、1または複数の構文フラグは符号化表現に存在する。
いくつかの実施形態において、彩度フォーマットは、ビットストリーム表現における変数ChromaArrayTypeによって示される。いくつかの実施形態において、変数ChromaArrayTypeが所定の値に等しい場合、1または複数の構文フラグは符号化表現に存在しない。いくつかの実施形態において、変数ChromaArrayTypeが所定の値に等しくない場合、1または複数の構文フラグは符号化表現に存在する。いくつかの実施形態において、所定の値は0である。
いくつかの実施形態において、領域に対応するレベルは、シーケンスレベルを有する。いくつかの実施形態において、彩度フォーマットを判定することは、変数ChromaArrayTypeを判定することの単一のステップを有する。いくつかの実施形態において、変数ChromaArrayTypeが予め定義された値に等しくない場合、1または複数の構文フラグが符号化表現において順序付けられる。いくつかの実施形態において、予め定義された値は0である。いくつかの実施形態において、1または複数の構文フラグは、(1)qtbtt_dual_tree_intra_flag、(2)sps_cclm_enabled_flag、または(3)pcm_sample_bit_depth_chroma_minus1の少なくとも1つを有する。
いくつかの実施形態において、1または複数の復号化された映像ブロックは、(1)変数ChromaArrayTypeが所定の値に等しい、(2)彩度フォーマットが4:0:0である、または(3)彩度フォーマットの色成分を別個に符号化される場合、映像のブロックに対して、適応ループフィルタ、セカンダリ変換、彩度残差スケーリングステップ、または量子化スケーリング行列を適用することなしに生成される。いくつかの実施形態において、1または複数の復号化された映像ブロックを生成することは、(1)変数ChromaArrayTypeが所定の値に等しくない場合、映像のブロックに対して、適応ループフィルタ、セカンダリ変換、彩度残差スケーリングステップ、または量子化スケーリング行列を適用することを有する。
いくつかの実施形態において、彩度フォーマットが4:0:0である、または、彩度フォーマットの色成分が別個に符号化される場合、結合彩度残差符号化ステップは符号化表現において無効であることが示される。いくつかの実施形態において、彩度フォーマットが4:0:0である、または、彩度フォーマットの色成分が別個に符号化される場合、符号化表現において彩度適応ループフィルタリング処理は無効であることが示される。いくつかの実施形態において、彩度フォーマットが4:0:0である、または、彩度フォーマットの色成分が別個に符号化される場合、符号化表現において彩度セカンダリ変換は無効であることが示される。いくつかの実施形態において、彩度フォーマットが4:0:0である、または、彩度フォーマットの色成分が別個に符号化される場合、彩度セカンダリ変換行列のインデックスは符号化表現において所定の値に設定される。いくつかの実施形態において、彩度フォーマットが4:0:0である、または、彩度フォーマットの色成分を別個に符号化される場合、結合彩度残差符号化ステップにおいて用いられる彩度量子化パラメータオフセットは符号化表現において所定の値に設定される。いくつかの実施形態において、彩度フォーマットが4:0:0である、または、彩度フォーマットの色成分を別個に符号化する場合、輝度依存彩度残差スケーリングの使用は符号化表現において所定の値に設定される。いくつかの実施形態において、彩度フォーマットが4:0:0である、または、彩度フォーマットの色成分が別個に符号化される場合、ピクチャレベルでの彩度量子化パラメータのオフセットは符号化表現において所定の値に設定される。いくつかの実施形態において、所定の値は0である。
図29Aは、本技術に従った映像符号化の方法2900を示すフローチャートである。方法2900は、動作2910において、領域を有する映像の彩度フォーマットに基づいて、映像の領域に適用可能な1または複数の構文フラグが映像の符号化表現の構文構造に存在しないかどうかを判定することを有する。1または複数の構文フラグは、符号化表現における領域を表すための輝度依存彩度残差スケーリング符号化ステップの使用を示す。輝度依存彩度残差スケーリング符号化ステップは、映像の輝度信号を映像の彩度信号で補償する乗算プロセスを有する。方法2900は、動作2920において、判定に従って符号化表現を構文解析することにより、映像領域の1または複数の復号化された映像ブロックを生成することを有する。
図29Bは、本技術に従った映像符号化の方法2950を示すフローチャートである。方法2950は、動作2960において、領域を有する映像の彩度フォーマットを判定することを有する。方法2950は、動作2970において、彩度フォーマットに基づいて、映像の符号化表現の構文構造に1または複数の構文フラグを含めずに領域を符号化することにより、映像の符号化表現を生成し、1または複数の構文フラグは、符号化表現における領域を表すための輝度依存彩度残差スケーリング符号化動作の使用を示し、輝度依存彩度残差スケーリング動作は、映像の輝度信号を映像の彩度信号で補償する乗算プロセスを有する。
図30Aは、本技術に従った映像符号化の方法3000を示すフローチャートである。方法3000は、動作3010において、領域を有する映像の彩度フォーマットに基づいて、映像の領域に適用可能な1または複数の構文フラグが映像の符号化表現の構文構造に存在しないことを判定することを有する。1または複数の構文フラグは、彩度成分のパルス符号変調サンプル値の各々を表すために使用されるビット数を示す。方法3000は、動作3020において、判定に従って符号化表現を構文解析することにより、映像領域の1または複数の復号化された映像ブロックを生成することを有する。
図30Bは、本技術に従った映像符号化の方法3050を示すフローチャートである。方法3050は、動作3060において、領域を有する映像の彩度フォーマットを判定することを有する。方法3050は、動作3070において、彩度フォーマットに基づいて、映像の符号化表現の構文構造に1または複数の構文フラグを含めずに領域を符号化することにより、映像の符号化表現を生成することを有し、1または複数の構文フラグは、彩度成分のパルス符号変調サンプル値の各々を表すために使用されるビット数を示す。
図31Aは、本技術に従った映像符号化の方法3100を示すフローチャートである。方法3100は、動作3110において、領域を有する映像の彩度フォーマットに基づいて、映像の領域に適用可能な1または複数の構文フラグが映像の符号化表現の構文構造に含まれているかを判定することを有する。1または複数の構文フラグは、彩度成分のためのALF(Adaptive Loop Filter)時間的予測ステップに関連する。方法3100は、動作3120において、判定に従って符号化表現を構文解析することにより、映像領域の1または複数の復号化された映像ブロックを生成することをさらに有する。
図31Bは、本技術に従った映像符号化の方法3150を示すフローチャートである。方法3150は、動作3160において、領域を有する映像の彩度フォーマットを判定することを有する。方法3150は、動作3170において、彩度フォーマットに基づいて、映像の符号化表現の構文構造における1または複数の構文フラグを条件付きで符号化することをさらに有し、1または複数の構文フラグは、彩度成分のためのALF(Adaptive Loop Filter)時間的予測ステップに関連する。
いくつかの実施形態において、1または複数の復号化された映像ブロックを生成することは、彩度フォーマットを判定することに基づく。いくつかの実施形態において、方法は、1または複数の構文フラグが符号化表現に存在する場合、1または複数の復号化された映像ブロックを生成するための1または複数の構文フラグを廃棄することを有する。
いくつかの実施形態において、彩度フォーマットを判定することは、彩度フォーマットの色成分が別個に符号化されているかどうかを判定することを有する。いくつかの実施形態において、領域はスライスを有する。いくつかの実施形態において、(1)彩度フォーマットが4:0:0でない、または(2)彩度フォーマットの色成分が別個に符号化される場合、1または複数の構文フラグは符号化表現に存在しない。いくつかの実施形態において、(1)彩度フォーマットが4:0:0でない、または(2)彩度フォーマットの色成分が別個に符号化されていない場合、1または複数の構文フラグは符号化表現に存在する。いくつかの実施形態において、彩度フォーマットは、ビットストリーム表現における変数ChromaArrayTypeによって示される。いくつかの実施形態において、変数ChromaArrayTypeが所定の値に等しい場合、1または複数の構文フラグは符号化表現に存在しない。いくつかの実施形態において、変数ChromaArrayTypeが所定の値に等しくない場合、1または複数の構文フラグが符号化表現に存在する。いくつかの実施形態において、所定の値は0である。
いくつかの実施形態において、1または複数の構文フラグは、(1)フィルタインデックス、(2)ALF(Adaptive Loop Filter)のAPS(Adaptive Parameter Set)インデックス、または(3)制御フラグのうち少なくとも1つを有する。いくつかの実施形態において、領域に対応するレベルは、シーケンスレベルを含む。いくつかの実施形態において、彩度フォーマットを判定することは、変数ChromaArrayTypeを判定する単一のステップを有する。いくつかの実施形態において、変数ChromaArrayTypeが予め定義された値に等しくない場合、1または複数の構文フラグが符号化表現において順序付けられる。いくつかの実施形態において、予め定義された値は0である。いくつかの実施形態において、1または複数の構文フラグは、(1)qtbtt_dual_tree_intra_flag、(2)sps_cclm_enabled_flag、または(3)pcm_sample_bit_depth_chroma_minus1の少なくとも一つを有する。
いくつかの実施形態において、1または複数の復号化された映像ブロックは、(1)変数ChromaArrayTypeが所定の値に等しい、(2)彩度フォーマットが4:0:0である、または(3)彩度フォーマットの色成分が別個に符号化される場合、映像のブロックに対して、適応ループフィルタ、セカンダリ変換、彩度残差スケーリングステップ、または量子化スケーリング行列を適用せずに、生成される。セカンダリ変換は、順方向プライマリ変換と量子化ステップとの間、または逆量子化ステップと逆方向プライマリ変換との間に適用可能である。
いくつかの実施形態において、1または複数の復号化された映像ブロックを生成することは、(1)変数ChromaArrayTypeが所定の値に等しくない場合、映像のブロックに適応ループフィルタ、セカンダリ変換、彩度残差スケーリングステップ、または量子化スケーリング行列を適用することを有する。セカンダリ変換は、順方向プライマリ変換と量子化ステップとの間、または逆量子化ステップと逆方向プライマリ変換との間に適用可能である。
いくつかの実施形態において、彩度フォーマットが4:0:0である、または、彩度フォーマットの色成分が別個に符号化される場合、結合彩度残差符号化ステップが符号化表現において無効であることが示される。結合彩度残差符号化ステップは、彩度成分に関連付けられた残差の平均である結合残差を判定することを有する。
いくつかの実施形態において、彩度フォーマットが4:0:0である、または、彩度フォーマットの色成分が別個に符号化される場合、符号化表現において、彩度適応ループフィルタリング処理は無効であると示される。いくつかの実施形態において、彩度フォーマットが4:0:0である、または、彩度フォーマットの色成分が別個に符号化される場合、彩度セカンダリ変換は符号化表現において無効であると示される。彩度セカンダリ変換は、順方向プライマリ変換と量子化ステップとの間、または逆量子化ステップと逆方向プライマリ変換との間に適用可能である。
いくつかの実施形態において、彩度フォーマットが4:0:0である、または、彩度フォーマットの色成分が別個に符号化される場合、彩度セカンダリ変換行列のインデックスは符号化表現において所定の値に設定される。彩度セカンダリ変換は、順方向プライマリ変換と量子化ステップとの間、または逆量子化ステップと逆方向プライマリ変換との間に適用可能である。
いくつかの実施形態において、彩度フォーマットが4:0:0である、または、彩度フォーマットの色成分が別個に符号化される場合、結合彩度残差符号化ステップにおいて用いられる彩度量子化パラメータオフセットは符号化表現において所定の値に設定される。結合彩度残差符号化ステップは、彩度成分に関連付けられた残差の平均である結合残差を判定することを有する。いくつかの実施形態において、彩度フォーマットが4:0:0である、または、彩度フォーマットの色成分が別個に符号化される場合、輝度依存彩度残差スケーリング符号化ステップの使用は符号化表現において所定の値に設定される。いくつかの実施形態において、彩度フォーマットが4:0:0である、または、彩度フォーマットの色成分が別個に符号化される場合、ピクチャレベルでの彩度量子化パラメータのオフセットは符号化表現において所定の値に設定される。いくつかの実施形態において、所定の値は0である。
図32は、本技術に従った映像処理方法3200を示すフローチャートである。方法3200は、動作3210において、映像のブロックと映像のビットストリーム表現との間での変換のために、ブロックの複数の彩度色成分に対応する複数のRST(Reduced Secondary Transform)行列を判定することを有する。セカンダリ変換は、順方向プライマリ変換と量子化ステップとの間、または、逆量子化ステップと逆方向プライマリ変換との間に適用可能である。方法3200はさらに、動作3220において、判定に基づいて変換を行うことを有する。
いくつかの実施形態において、複数のRST行列のそれぞれは、ビットストリーム表現において対応する彩度色成分のために信号通知される。いくつかの実施形態において、第2の彩度色成分のための第2のRST行列の信号通知は、第1の彩度色成分のための第1のRST行列の信号通知に基づく。
いくつかの実施形態において、複数のRST行列は、第1のRST行列および第2のRST行列を有し、第1のRST行列はビットストリーム表現で信号通知され、第2のRST行列はビットストリーム表現に存在しない。いくつかの実施形態において、第2のRST行列は、輝度ブロックのRST行列に基づいて導出される。いくつかの実施形態において、第1のRST行列に基づいて第2のRST行列が導出され、第1のRST行列と第2のRST行列とが異なる。いくつかの実施形態において、第2のRST行列は、彩度イントラモード符号化ステップに基づいて導出される。
いくつかの実施形態において、複数のRST行列のサブセットは、ビットストリーム表現で信号通知される。いくつかの実施形態において、複数のRST行列のサブセットの数はブロックのカラーサブサンプリングフォーマットに基づいて判定される。いくつかの実施形態において、複数のRST行列のサブセットの数は、ブロックに対してデュアルツリー符号化ステップが有効化であるかどうかに基づいて判定される。いくつかの実施形態において、複数のRST行列のサブセットの数は、結合彩度残差符号化ステップが使用されるかどうかに基づいて判定される。いくつかの実施形態において、結合彩度残差符号化ステップが用いられる場合、ビットストリーム表現において単一のRST行列が信号通知される。
図33は、本技術に従った映像処理方法3300を示すフローチャートである。方法3300は、動作3310において、映像のブロックと映像のビットストリーム表現との間の変換のために、ブロックに結合彩度残差符号化動作が適用される場合、セカンダリ変換のための1または複数の行列インデックスがビットストリーム表現に存在しないことを判定することを有する。セカンダリ変換は、順方向プライマリ変換と量子化ステップとの間、または、逆量子化ステップと逆方向プライマリ変換との間で、ブロックに適用可能である。結合彩度残差符号化ステップは、彩度成分に関連付けられた残差の平均である結合残差を判定することを有する。方法3300は、また、動作3320において、判定に基づいて変換を行うことを有する。
いくつかの実施形態において、セカンダリ変換はブロックの彩度成分に対して無効にされる。いくつかの実施形態において、セカンダリ変換は、1または複数の予め定義された行列インデックスを用いて適用される。いくつかの実施形態において、ブロックの彩度成分に対して同じ予め定義された行列インデックスが用いられる。いくつかの実施形態において、ブロックの異なる彩度成分に対して異なる予め定義された行列インデックスが適用される。いくつかの実施形態において、ブロックの第1の彩度成分に対して予め定義された行列インデックスが用いられ、ブロックの第2の彩度成分に対してセカンダリ変換が無効にされる。
図34は、本技術に従った映像処理の方法3400を示すフローチャートである。方法3400は、動作3410において、映像のブロックと映像のビットストリーム表現との間の変換のために、順方向プライマリ変換と量子化動作との間、または、逆量子化動作と逆方向プライマリ変換との間でセカンダリ変換をブロックに適用する場合、結合彩度残差符号化動作の使用を示す構文フラグがビットストリーム表現に存在しないことを判定することを有する。結合彩度残差符号化ステップは、彩度成分に関連付けられた残差の平均である結合残差を判定することを有する。方法3400は、また、動作3420において、判定に基づいて変換を行うことを有する。いくつかの実施形態において、結合彩度残差符号化ステップはブロックに対して無効である。
図35は、本技術に従った映像処理方法3500を示すフローチャートである。方法3500は、動作3510において、映像のブロックと映像のビットストリーム表現との間の変換のために、ブロックに結合彩度残差符号化動作が適用される場合、クロスコンポーネント線形モデル符号化ステップの使用を示す構文フラグがビットストリーム表現に存在しないことを判定することを有する。結合彩度残差符号化ステップは、彩度成分に関連付けられた残差の平均である結合残差を判定することを有する。方法3500は、また、動作3520において、判定に基づいて変換を行うことを有する。いくつかの実施形態において、ブロックの彩度成分に対してクロスコンポーネント線形モデル符号化ステップは無効である。
図36は、本技術に従った映像処理方法3600を示すフローチャートである。方法3600は、動作3610において、映像のブロックと映像のビットストリーム表現との間の変換のために、クロスコンポーネント線形モデルがブロックに適用される場合、結合彩度残差符号化ステップの使用を示す構文フラグがビットストリーム表現に存在しないことを判定することを有する。結合彩度残差符号化ステップは、彩度成分に関連付けられた残差の平均である結合残差を判定することを有する。方法3600は、また、動作3620において、判定に基づいて変換を行うことを有する。いくつかの実施形態において、結合彩度残差符号化ステップはブロックに対して無効である。
図37は、本技術に従った映像処理方法3700を示すフローチャートである。方法3700は、動作3710において、映像のブロックと映像のビットストリーム表現との間の変換のために、ブロックのためのクロスコンポーネント線形モデル符号化ステップの係数に基づいて、結合彩度残差符号化ステップにて使用される2つの彩度残差間の相関を判定することを有する。結合彩度残差符号化ステップは、彩度成分に関連付けられた残差の平均である結合残差を判定することを有する。方法3700は、動作3720において、判定に基づいて変換を行うことを有する。
いくつかの実施形態において、第1の彩度成分はCbであり、第2の彩度成分はCrであり、a1、a2、b1、およびb2は、クロスコンポーネント線形モデル符号化ステップの係数であり、Cb=a1*luma+b1、Cr=a2*luma+b2である。いくつかの実施形態において、第1の彩度成分の第1の残差resiCbと第2彩度成分の第2の残差resiCrとの間の相関は、resiCb=a2*(resiCr-b1)/a1)+b2で表される。いくつかの実施形態において、第1の彩度成分の第1の残差resiCbと第2の彩度成分の第2の残差resiCrとの間の相関は、resiCb=a2*(resiCr-b1)/a1)で表される。いくつかの実施形態において、第1の彩度成分の第1の残差resiCbと第2の彩度成分の第2の残差resiCrとの間の相関は、resiCb=a2*resiCr/a1で表される。
いくつかの実施形態において、方法は、クロスコンポーネント線形モデル符号化ステップの係数に基づいて、2つの彩度残差間の1または複数の追加的な相関を判定することを有する。いくつかの実施形態において、クロスコンポーネント線形モデル符号化ステップは、LM(Linear Model)モード、LM-Tモード、またはLM-Lモードを有する。
図38は、本技術に従った映像処理方法3800を示すフローチャートである。方法3800は、動作3810において、映像のブロックと前記映像のビットストリーム表現との間の変換のために、ブロックに結合彩度残差符号化ステップが適用される場合、輝度依存彩度残差スケーリング符号化ステップが無効であることを判定することを有する。輝度依存彩度残差スケーリング符号化ステップは、映像の輝度信号を映像の彩度信号で補償する乗算プロセスを有する。方法3800は、動作3820において、判定に基づいて変換を行うことをさらに有する。
本明細書に記載された開示された、およびその他の解決策、例、実施形態、モジュール、および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1または複数の組み合わせで実施してもよい。開示された、およびその他の実施形態は、1または複数のコンピュータプログラム製品、例えば、データ処理装置によって実装されるため、またはデータ処理装置の動作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1または複数のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1または複数の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサ、若しくはコンピュータを含む、データを処理するためのすべての装置、デバイス、および機械を含む。装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1または複数の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するために生成される。
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1または複数のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1または複数のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を実行するための1つ以上のコンピュータプログラムを実行する1または複数のプログラマブルプロセッサによって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(Field Programmable Gate Array)またはASIC(Application Specific Integrated Circuit)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
コンピュータプログラムの実行に適したプロセッサは、例えば、汎用および専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の1または複数のプロセッサを含む。一般的に、プロセッサは、リードオンリーメモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するためのプロセッサと、命令およびデータを記憶するための1または複数のメモリデバイスである。一般的に、コンピュータは、データを記憶するための1または複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュ記憶装置、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体記憶装置を含む。プロセッサおよびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
本特許明細書は多くの詳細を含むが、これらは、任意の主題の範囲または特許請求の範囲を限定するものと解釈されるべきではなく、むしろ、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許明細書において別個の実施形態のコンテキストで説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例のコンテキストで説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1または複数の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての動作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムの構成要素の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
いくつかの実装形態および例のみが記載されており、本特許明細書に記載され図示されているコンテンツに基づいて、他の実施形態、拡張および変形が可能である。

Claims (13)

  1. 映像データの処理の方法であって、
    規則に基づいて、映像の領域に適用可能な1または複数の構文要素が前記映像のビットストリームの1または複数の構文構造に含まれているかを判定することであって、前記1または複数の構文要素は、前記映像の前記領域の1または複数の彩度成分の1または複数の量子化パラメータを導出するための輝度量子化パラメータに対する少なくとも1つの量子化パラメータオフセットを示し、前記1または複数の構文要素は、複数の彩度成分の残差サンプルが連帯してコーディングされる第1のコーディングツールにて用いられる第1の構文要素を含み、前記第1の構文要素は、前記第1のコーディングツールの複数の彩度成分の1つの量子化パラメータを導出するために用いられる輝度量子化パラメータに対する前記量子化パラメータオフセットを示す、ことと、
    前記判定に基づいて、前記映像の前記領域と、前記ビットストリームとの間の変換を実行することと、
    を有し、
    前記規則は、前記映像の前記領域の彩度フォーマットに基づき、
    前記規則は、前記彩度フォーマットが4:0:0である場合、前記1または複数の構文要素は前記ビットストリームに存在しないことを示し、
    前記規則は更に、前記第1のコーディングツールを適用するか否かを示す第1のフラグが条件付きで存在し、前記彩度フォーマットが4:0:0である場合に前記第1のフラグが存在せず、存在する場合には前記第1のフラグがシーケンスパラメータセットに含まれることを示し、
    前記規則は更に、単一の変換ブロックが前記複数の彩度成分すべてに対する前記残差サンプルを導出するために用いられるか否かを示す第2のフラグが条件付きで存在し、前記彩度フォーマットが4:0:0である場合に前記第2のフラグが存在せず、存在する場合には前記第2のフラグが変換ユニット構文の構造に含まれることを示す、方法。
  2. 前記1または複数の構文要素は、前記映像の前記領域の単一の彩度成分の量子化パラメータを導出するための輝度量子化パラメータに対する量子化パラメータオフセットを示す第2の構文要素を含む、請求項1に記載の方法。
  3. 彩度成分の量子化パラメータを導出するための輝度量子化パラメータに対する量子化パラメータオフセットを示す構文要素が関連するスライスヘッダ内に存在するか否かを示す第3のフラグは、前記規則に基づいて条件付きでピクチャパラメータセットに含まれ
    前記彩度フォーマットが4:0:0である場合、前記第3のフラグは、前記ピクチャパラメータセットに存在しない、請求項に記載の方法。
  4. 前記規則は、前記彩度フォーマットがモノクロームである場合に、前記1または複数の構文要素が前記ビットストリームに存在しないことを示す、請求項1~のいずれか一項に記載の方法。
  5. 前記彩度フォーマットを判定することは、彩度成分が別個にコーディングされるか否かを判定することを含む、請求項1~のいずれか一項に記載の方法。
  6. 前記彩度成分が別個にコーディングされる場合、前記1または複数の構文要素は、前記ビットストリームに存在しない、請求項に記載の方法。
  7. 前記彩度成分が別個にコーディングされない場合、前記1または複数の構文要素は、前記ビットストリームに存在する、請求項に記載の方法。
  8. 前記領域は、ピクチャ、スライス、映像、または、タイルグループを含む、請求項1~のいずれか一項に記載の方法。
  9. 前記変換は、前記映像を前記ビットストリームに符号化することを含む、請求項1~のいずれか一項に記載の方法。
  10. 前記変換は、前記映像を前記ビットストリームから復号化することを含む、請求項1~のいずれか一項に記載の方法。
  11. プロセッサと、命令を有する非一時的メモリとを有する、映像データを処理するための装置であって、
    前記命令が前記プロセッサにより実行されることで、前記プロセッサに、
    規則に基づいて、映像の領域に適用可能な1または複数の構文要素が前記映像のビットストリームの1または複数の構文構造に含まれているかを判定することであって、前記1または複数の構文要素は、前記映像の前記領域の1または複数の彩度成分の1または複数の量子化パラメータを導出するための輝度量子化パラメータに対する少なくとも1つの量子化パラメータオフセットを示し、前記1または複数の構文要素は、複数の彩度成分の残差サンプルが連帯してコーディングされる第1のコーディングツールにて用いられる第1の構文要素を含み、前記第1の構文要素は、前記第1のコーディングツールの複数の彩度成分の1つの量子化パラメータを導出するために用いられる輝度量子化パラメータに対する前記量子化パラメータオフセットを示す、ことと、
    前記判定に基づいて、前記映像の前記領域と、前記ビットストリームとの間の変換を実行することと、
    を実行させ、
    前記規則は、前記映像の前記領域の彩度フォーマットに基づき、
    前記規則は、前記彩度フォーマットが4:0:0である場合、前記1または複数の構文要素は前記ビットストリームに存在しないことを示し、
    前記規則は更に、前記第1のコーディングツールを適用するか否かを示す第1のフラグが条件付きで存在し、前記彩度フォーマットが4:0:0である場合に前記第1のフラグが存在せず、存在する場合には前記第1のフラグがシーケンスパラメータセットに含まれることを示し、
    前記規則は更に、単一の変換ブロックが前記複数の彩度成分すべてに対する前記残差サンプルを導出するために用いられるか否かを示す第2のフラグが条件付きで存在し、前記彩度フォーマットが4:0:0である場合に前記第2のフラグが存在せず、存在する場合には前記第2のフラグが変換ユニット構文の構造に含まれることを示す、装置。
  12. 命令を格納した非一時的コンピュータ可読媒体であって、
    前記命令はコンピュータに、
    規則に基づいて、映像の領域に適用可能な1または複数の構文要素が前記映像のビットストリームの1または複数の構文構造に含まれているかを判定することであって、前記1または複数の構文要素は、前記映像の前記領域の1または複数の彩度成分の1または複数の量子化パラメータを導出するための輝度量子化パラメータに対する少なくとも1つの量子化パラメータオフセットを示し、前記1または複数の構文要素は、複数の彩度成分の残差サンプルが連帯してコーディングされる第1のコーディングツールにて用いられる第1の構文要素を含み、前記第1の構文要素は、前記第1のコーディングツールの複数の彩度成分の1つの量子化パラメータを導出するために用いられる輝度量子化パラメータに対する前記量子化パラメータオフセットを示す、ことと、
    前記判定に基づいて、前記映像の前記領域と、前記ビットストリームとの間の変換を実行することと、
    を実行させ、
    前記規則は、前記映像の前記領域の彩度フォーマットに基づき、
    前記規則は、前記彩度フォーマットが4:0:0である場合、前記1または複数の構文要素は前記ビットストリームに存在しないことを示し、
    前記規則は更に、前記第1のコーディングツールを適用するか否かを示す第1のフラグが条件付きで存在し、前記彩度フォーマットが4:0:0である場合に前記第1のフラグが存在せず、存在する場合には前記第1のフラグがシーケンスパラメータセットに含まれることを示し、
    前記規則は更に、単一の変換ブロックが前記複数の彩度成分すべてに対する前記残差サンプルを導出するために用いられるか否かを示す第2のフラグが条件付きで存在し、前記彩度フォーマットが4:0:0である場合に前記第2のフラグが存在せず、存在する場合には前記第2のフラグが変換ユニット構文の構造に含まれることを示す、非一時的コンピュータ可読媒体。
  13. 像のビットストリームを格納するための方法であって
    規則に基づいて、映像の領域に適用可能な1または複数の構文要素が前記映像のビットストリームの1または複数の構文構造に含まれているかを判定することであって、前記1または複数の構文要素は、前記映像の前記領域の1または複数の彩度成分の1または複数の量子化パラメータを導出するための輝度量子化パラメータに対する少なくとも1つの量子化パラメータオフセットを示し、前記1または複数の構文要素は、複数の彩度成分の残差サンプルが連帯してコーディングされる第1のコーディングツールにて用いられる第1の構文要素を含み、前記第1の構文要素は、前記第1のコーディングツールの複数の彩度成分の1つの量子化パラメータを導出するために用いられる輝度量子化パラメータに対する前記量子化パラメータオフセットを示す、ことと、
    前記判定に基づいて、前記ビットストリームを生成することと、
    非一時的コンピュータ可読記録媒体に前記ビットストリームを格納することと、
    を有し、
    前記規則は、前記映像の前記領域の彩度フォーマットに基づき、
    前記規則は、前記彩度フォーマットが4:0:0である場合、前記1または複数の構文要素は前記ビットストリームに存在しないことを示し、
    前記規則は更に、前記第1のコーディングツールを適用するか否かを示す第1のフラグが条件付きで存在し、前記彩度フォーマットが4:0:0である場合に前記第1のフラグが存在せず、存在する場合には前記第1のフラグがシーケンスパラメータセットに含まれることを示し、
    前記規則は更に、単一の変換ブロックが前記複数の彩度成分すべてに対する前記残差サンプルを導出するために用いられるか否かを示す第2のフラグが条件付きで存在し、前記彩度フォーマットが4:0:0である場合に前記第2のフラグが存在せず、存在する場合には前記第2のフラグが変換ユニット構文の構造に含まれることを示す、方法。
JP2021562015A 2019-04-20 2020-04-20 クロミナンス残差の結合符号化のための構文要素の信号通知 Active JP7303328B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023102463A JP2023123652A (ja) 2019-04-20 2023-06-22 クロミナンス残差の結合コーディングのための構文要素の信号通知

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2019083574 2019-04-20
CNPCT/CN2019/083574 2019-04-20
PCT/CN2020/085614 WO2020216175A1 (en) 2019-04-20 2020-04-20 Signaling of syntax elements for joint coding of chrominance residuals

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023102463A Division JP2023123652A (ja) 2019-04-20 2023-06-22 クロミナンス残差の結合コーディングのための構文要素の信号通知

Publications (2)

Publication Number Publication Date
JP2022529479A JP2022529479A (ja) 2022-06-22
JP7303328B2 true JP7303328B2 (ja) 2023-07-04

Family

ID=72940708

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021562015A Active JP7303328B2 (ja) 2019-04-20 2020-04-20 クロミナンス残差の結合符号化のための構文要素の信号通知
JP2023102463A Pending JP2023123652A (ja) 2019-04-20 2023-06-22 クロミナンス残差の結合コーディングのための構文要素の信号通知

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023102463A Pending JP2023123652A (ja) 2019-04-20 2023-06-22 クロミナンス残差の結合コーディングのための構文要素の信号通知

Country Status (9)

Country Link
US (3) US11575939B2 (ja)
EP (1) EP3939260B1 (ja)
JP (2) JP7303328B2 (ja)
KR (1) KR102630411B1 (ja)
CN (4) CN113711612B (ja)
ES (1) ES3014205T3 (ja)
HU (1) HUE071720T2 (ja)
PL (1) PL3939260T3 (ja)
WO (3) WO2020216176A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR122020007923B1 (pt) 2010-04-13 2021-08-03 Ge Video Compression, Llc Predição interplano
RS63059B1 (sr) 2010-04-13 2022-04-29 Ge Video Compression Llc Kodiranje videa primenom podele sa više stabala na slikama
TWI575887B (zh) 2010-04-13 2017-03-21 Ge影像壓縮有限公司 在樣本陣列多元樹細分中之繼承技術
KR101626688B1 (ko) 2010-04-13 2016-06-01 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
WO2020182093A1 (en) 2019-03-08 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Signaling of reshaping information in video processing
CN113711612B (zh) 2019-04-20 2023-05-26 北京字节跳动网络技术有限公司 视频编解码中的色度语法元素的信令
BR112021019675A2 (pt) 2019-04-23 2021-12-07 Beijing Bytedance Network Tech Co Ltd Método para processamento de mídia visual, aparelho codificador de vídeo, aparelho decodificador de vídeo, e, mídia legível por computador
WO2020224629A1 (en) 2019-05-08 2020-11-12 Beijing Bytedance Network Technology Co., Ltd. Conditions for applicability of cross-component coding
WO2020228670A1 (en) 2019-05-10 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Luma based secondary transform matrix selection for video processing
JP2020195013A (ja) * 2019-05-24 2020-12-03 シャープ株式会社 画像復号装置および画像符号化装置
CN115567707B (zh) 2019-05-30 2025-05-13 抖音视界有限公司 一种处理视频数据的方法、装置、介质
CN117354521A (zh) 2019-06-07 2024-01-05 北京字节跳动网络技术有限公司 视频比特流中的简化二次变换的有条件信令
CN114208169B (zh) * 2019-06-11 2024-10-18 Lg电子株式会社 用于色度分量的图像解码方法及其装置
US11516472B2 (en) * 2019-06-21 2022-11-29 Hyundai Motor Company Method and apparatus for controlling coding tools
EP3973707A4 (en) 2019-06-22 2022-08-31 Beijing Bytedance Network Technology Co., Ltd. CHROMA REST SCALE SYNTAX ELEMENT
US11930169B2 (en) * 2019-06-27 2024-03-12 Hfi Innovation Inc. Method and apparatus of cross-component adaptive loop filtering for video coding
CN119815007A (zh) * 2019-07-05 2025-04-11 Lg电子株式会社 图像解码/编码方法、存储比特流的方法和发送数据的方法
CN114128280B (zh) 2019-07-07 2023-11-14 北京字节跳动网络技术有限公司 色度残差缩放的信令通知
CN120378607A (zh) * 2019-07-08 2025-07-25 Lg电子株式会社 解码和编码方法及数据的发送方法
CN114208183B (zh) 2019-08-03 2025-01-10 北京字节跳动网络技术有限公司 视频的缩减二次变换中基于位置的模式导出
WO2021032045A1 (en) 2019-08-17 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
CN114270817B (zh) 2019-08-20 2024-07-05 北京字节跳动网络技术有限公司 基于位置的系数缩放
CN114365492B (zh) 2019-08-24 2023-12-15 北京字节跳动网络技术有限公司 残差系数编解码
EP4026322A4 (en) 2019-09-07 2024-01-03 Beijing Dajia Internet Information Technology Co., Ltd. PREDICTION MODE SIGNALING IN VIDEO CODING
WO2021079951A1 (ja) * 2019-10-25 2021-04-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US11973947B2 (en) * 2019-11-05 2024-04-30 Lg Electronics Inc. Image or video coding based on signaling of quantization parameter offset-related information
US12155824B2 (en) 2020-03-16 2024-11-26 Interdigital Ce Patent Holdings, Sas Signaling chroma offset presence in video coding
US11563964B2 (en) * 2020-11-12 2023-01-24 Tencent America LLC Method and apparatus for video coding
US11838522B2 (en) * 2020-12-29 2023-12-05 Tencent America LLC Method and apparatus for video coding
JP7847827B2 (ja) 2021-05-21 2026-04-20 株式会社スター精機 チャック装置及び搬送装置
AU2022487843A1 (en) * 2022-12-09 2025-07-24 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Coding method, decoding method, code stream, coder, decoder and storage medium
CN120530643A (zh) * 2023-01-03 2025-08-22 字节跳动有限公司 用于视频处理的方法、装置和介质
WO2024148056A1 (en) * 2023-01-03 2024-07-11 Bytedance Inc. On unified neural network for in-loop filtering for video coding
WO2024169966A1 (en) * 2023-02-17 2024-08-22 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
WO2024220952A1 (en) * 2023-04-21 2024-10-24 Tencent America LLC Inherited transform type in a merge candidate list
US20250008138A1 (en) * 2023-06-30 2025-01-02 Tencent America LLC Block level adaptive weighted prediction

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017151343A1 (en) 2016-03-01 2017-09-08 Qualcomm Incorporated Methods and systems for generating color remapping information supplemental enhancement information messages for video

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070058713A1 (en) 2005-09-14 2007-03-15 Microsoft Corporation Arbitrary resolution change downsizing decoder
CN101558652B (zh) 2006-10-20 2011-08-17 诺基亚公司 用于实现低复杂度多视点视频编码的系统和方法
US20090116558A1 (en) 2007-10-15 2009-05-07 Nokia Corporation Motion skip and single-loop encoding for multi-view video content
JP2010087771A (ja) 2008-09-30 2010-04-15 Nec Electronics Corp 画像符号化装置及び方法
KR20150013776A (ko) 2010-04-09 2015-02-05 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치 및 동화상 복호 장치
GB2500347B (en) 2011-05-16 2018-05-16 Hfi Innovation Inc Apparatus and method of sample adaptive offset for luma and chroma components
KR20140005296A (ko) 2011-06-10 2014-01-14 미디어텍 인크. 스케일러블 비디오 코딩의 방법 및 장치
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
US20130107973A1 (en) 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US9380302B2 (en) 2012-02-27 2016-06-28 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US9591331B2 (en) 2012-03-28 2017-03-07 Qualcomm Incorporated Merge signaling and loop filter on/off signaling
US9467701B2 (en) 2012-04-05 2016-10-11 Qualcomm Incorporated Coded block flag coding
JPWO2013154028A1 (ja) * 2012-04-13 2015-12-17 ソニー株式会社 画像処理装置および方法
US9414054B2 (en) 2012-07-02 2016-08-09 Microsoft Technology Licensing, Llc Control and use of chroma quantization parameter values
MX340434B (es) 2012-09-10 2016-07-08 Panasonic Ip Corp America Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
JP2014096638A (ja) 2012-11-07 2014-05-22 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
JP6270861B2 (ja) * 2012-11-08 2018-01-31 キヤノン株式会社 符号化単位の変換単位を符号化および復号するための方法、装置およびシステム
TW201507443A (zh) 2013-05-15 2015-02-16 Vid Scale Inc 基於單迴路解碼之多層視訊編碼
US10440365B2 (en) * 2013-06-28 2019-10-08 Velos Media, Llc Methods and devices for emulating low-fidelity coding in a high-fidelity coder
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
US20150049821A1 (en) 2013-08-16 2015-02-19 Qualcomm Incorporated In-loop depth map filtering for 3d video coding
US9294766B2 (en) * 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
WO2015051011A1 (en) 2013-10-02 2015-04-09 Arris Enterprises, Inc. Modified hevc transform tree syntax
HK1224469A1 (zh) * 2013-10-11 2017-08-18 夏普株式会社 颜色信息和色度信令
CN105706451B (zh) * 2013-10-11 2019-03-08 Vid拓展公司 Hevc扩展的高级句法
JP6359101B2 (ja) 2013-10-14 2018-07-18 マイクロソフト テクノロジー ライセンシング,エルエルシー ビデオ及び画像の符号化及び復号のためのイントラブロックコピー予測モードの特徴
US10397607B2 (en) * 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
US9445111B2 (en) 2014-01-08 2016-09-13 Sony Corporation Image processing apparatus and image processing method
WO2015131404A1 (en) 2014-03-07 2015-09-11 Mediatek Singapore Pte. Ltd. Methods for depth map coding
US9736481B2 (en) 2014-03-14 2017-08-15 Qualcomm Incorporated Quantization parameters for color-space conversion coding
KR102355224B1 (ko) * 2014-03-16 2022-01-25 브이아이디 스케일, 인크. 무손실 비디오 코딩의 시그널링을 위한 방법 및 장치
US20150264348A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Dictionary coding of video content
US10063867B2 (en) 2014-06-18 2018-08-28 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions
US20150373343A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Representation format update in multi-layer codecs
US10200700B2 (en) * 2014-06-20 2019-02-05 Qualcomm Incorporated Cross-component prediction in video coding
US20150373327A1 (en) 2014-06-20 2015-12-24 Qualcomm Incorporated Block adaptive color-space conversion coding
US9544607B2 (en) 2014-08-25 2017-01-10 Hfi Innovation Inc. Method of palette index signaling for image and video coding
BR112017004886A2 (pt) 2014-09-12 2017-12-05 Vid Scale Inc dispositivo de codificação de vídeo e método de codificação de vídeo
US10057578B2 (en) * 2014-10-07 2018-08-21 Qualcomm Incorporated QP derivation and offset for adaptive color transform in video coding
WO2016054765A1 (en) 2014-10-08 2016-04-14 Microsoft Technology Licensing, Llc Adjustments to encoding and decoding when switching color spaces
CN107211147A (zh) 2015-01-14 2017-09-26 Vid拓展公司 用于非4:4:4屏幕内容视频的调色板编码
CN104683819A (zh) 2015-01-31 2015-06-03 北京大学 一种自适应环路滤波方法及装置
US10057574B2 (en) 2015-02-11 2018-08-21 Qualcomm Incorporated Coding tree unit (CTU) level adaptive loop filter (ALF)
US20160241881A1 (en) 2015-02-13 2016-08-18 Mediatek Inc. Method and Apparatus of Loop Filters for Efficient Hardware Implementation
CN107534783B (zh) * 2015-02-13 2020-09-08 联发科技股份有限公司 图像中区块的调色板索引图编解码方法
AU2016222177A1 (en) * 2015-02-17 2017-08-31 Hfi Innovation Inc. Method and apparatus for palette coding of monochrome contents in video and image compression
US11146788B2 (en) * 2015-06-12 2021-10-12 Qualcomm Incorporated Grouping palette bypass bins for video coding
CN107852511B (zh) * 2015-07-16 2020-09-22 杜比实验室特许公司 用于hdr和宽色域信号的信号整形和编码
US10491922B2 (en) * 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
US11405611B2 (en) 2016-02-15 2022-08-02 Qualcomm Incorporated Predicting filter coefficients from fixed filters for video coding
US10455228B2 (en) * 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
CN116962721A (zh) 2016-05-04 2023-10-27 微软技术许可有限责任公司 利用样本值的非相邻参考线进行帧内图片预测的方法
EP3453178A1 (en) 2016-05-06 2019-03-13 VID SCALE, Inc. Systems and methods for motion compensated residual prediction
US11039175B2 (en) 2016-05-27 2021-06-15 Sharp Kabushiki Kaisha Systems and methods for varying quantization parameters
CN112689147B (zh) * 2016-05-28 2023-10-13 寰发股份有限公司 视频数据处理方法以及装置
WO2018016381A1 (en) 2016-07-22 2018-01-25 Sharp Kabushiki Kaisha Systems and methods for coding video data using adaptive component scaling
US20180041778A1 (en) 2016-08-02 2018-02-08 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
US10419757B2 (en) * 2016-08-31 2019-09-17 Qualcomm Incorporated Cross-component filter
US10694202B2 (en) 2016-12-01 2020-06-23 Qualcomm Incorporated Indication of bilateral filter usage in video coding
CN110100438B (zh) * 2016-12-28 2022-04-15 索尼公司 图像处理装置和方法
US10506230B2 (en) 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
US10778974B2 (en) 2017-07-05 2020-09-15 Qualcomm Incorporated Adaptive loop filter with enhanced classification methods
EP4676052A3 (en) 2017-11-01 2026-03-25 InterDigital VC Holdings, Inc. Methods for simplifying adaptive loop filter in video coding
US10721469B2 (en) 2017-11-28 2020-07-21 Qualcomm Incorporated Line buffer reduction for adaptive loop filtering in video coding
US11432010B2 (en) 2017-12-19 2022-08-30 Vid Scale, Inc. Face discontinuity filtering for 360-degree video coding
US20190238845A1 (en) 2018-01-26 2019-08-01 Qualcomm Incorporated Adaptive loop filtering on deblocking filter results in video coding
US10715810B2 (en) 2018-02-20 2020-07-14 Qualcomm Incorporated Simplified local illumination compensation
US20190306502A1 (en) 2018-04-02 2019-10-03 Qualcomm Incorporated System and method for improved adaptive loop filtering
WO2020143824A1 (en) 2019-01-13 2020-07-16 Beijing Bytedance Network Technology Co., Ltd. Interaction between lut and shared merge list
AU2020232135B2 (en) * 2019-03-05 2023-11-23 Huawei Technologies Co., Ltd. The method and apparatus for intra sub-partitions coding mode
KR102921601B1 (ko) * 2019-03-15 2026-01-30 엘지전자 주식회사 크로마 포맷에 대한 정보를 시그널링 하는 방법 및 장치
CN113711612B (zh) 2019-04-20 2023-05-26 北京字节跳动网络技术有限公司 视频编解码中的色度语法元素的信令
US11368684B2 (en) 2019-04-23 2022-06-21 Qualcomm Incorporated Adaptation parameter sets (APS) for adaptive loop filter (ALF) parameters
CN115567707B (zh) 2019-05-30 2025-05-13 抖音视界有限公司 一种处理视频数据的方法、装置、介质
US11310533B2 (en) * 2019-09-27 2022-04-19 Qualcomm Incorporated Quantization parameter signaling for joint chroma residual mode in video coding
CN119450039A (zh) * 2019-11-22 2025-02-14 韩国电子通信研究院 使用自适应环路滤波器的图像编码/解码方法和比特流发送方法
US20210168406A1 (en) * 2019-11-29 2021-06-03 Tencent America LLC Signaling of video coding tools supporting various chroma formats
US11303914B2 (en) * 2020-01-08 2022-04-12 Tencent America LLC Method and apparatus for video coding
US11303897B2 (en) * 2020-02-25 2022-04-12 Tencent America LLC Method and apparatus for signaling of chroma quantization parameters
US12278946B2 (en) * 2020-03-26 2025-04-15 Alibaba Group Holding Limited Methods and apparatuses for signaling picture header

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017151343A1 (en) 2016-03-01 2017-09-08 Qualcomm Incorporated Methods and systems for generating color remapping information supplemental enhancement information messages for video

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross, et al.,"Versatile Video Coding (Draft 5)",Document: JVET-N1001-v2, [online],JVET-N1001 (version 2),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2019年04月12日,Pages 34-36 and 40-42,[令和4年11月2日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=6640> and <URL: https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N1001-v2.zip>.,(See document file "JVET-N1001-v2.docx" in the zip file "JVET-N1001-v2.zip".)
Jani Lainema,"CE7: Joint coding of chrominance residuals (CE7-1)",Document: JVET-N0054, [online],JVET-N0054 (version 1),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2019年03月12日,Pages 1-5,[令和4年11月2日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=5774> and <URL: https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N0054-v1.zip>.,(See document file "JVET-N0054.docx" in the zip file "JVET-N0054-v1.zip".)
Jun Xu, et al.,"Chroma QP extension and signalling enhancement",Document: JCTVC-I0265r1, [online],JCTVC-I0265 (version 2),[online], Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2012年04月28日,Pages 1-11,[令和4年11月2日検索], インターネット, <URL: http://phenix.it-sudparis.eu/jct/doc_end_user/current_document.php?id=5523> and <URL: http://phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I0265-v2.zip>.,(See document file "JCTVC-I0265_r1.doc" in the zip file "JCTVC-I0265-v2.zip".)
Recommendation ITU-T H.264 (01/2012),[online], ITU-T,2012年01月13日,Pages 19,20,42,43,72,[令和4年5月3日検索], インターネット, <URL: https://www.itu.int/rec/T-REC-H.264-201201-S/en>.

Also Published As

Publication number Publication date
EP3939260B1 (en) 2025-02-19
WO2020216176A1 (en) 2020-10-29
CN113711591A (zh) 2021-11-26
EP3939260A4 (en) 2022-07-06
EP3939260A1 (en) 2022-01-19
WO2020216177A1 (en) 2020-10-29
US11575939B2 (en) 2023-02-07
US11490124B2 (en) 2022-11-01
CN113711612A (zh) 2021-11-26
US20210385498A1 (en) 2021-12-09
ES3014205T3 (en) 2025-04-21
WO2020216175A1 (en) 2020-10-29
CN117956188A (zh) 2024-04-30
US20230262264A1 (en) 2023-08-17
CN113711604B (zh) 2023-10-27
HUE071720T2 (hu) 2025-09-28
KR20210149066A (ko) 2021-12-08
CN113711604A (zh) 2021-11-26
PL3939260T3 (pl) 2025-06-02
CN113711612B (zh) 2023-05-26
KR102630411B1 (ko) 2024-01-29
US20210385500A1 (en) 2021-12-09
JP2023123652A (ja) 2023-09-05
JP2022529479A (ja) 2022-06-22
US12022130B2 (en) 2024-06-25
CN113711591B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
JP7303328B2 (ja) クロミナンス残差の結合符号化のための構文要素の信号通知
US12244794B2 (en) Adaptive loop filtering for chroma components
US12477130B2 (en) Use of offsets with adaptive colour transform coding tool
CN114946180B (zh) 使用量化参数信息的去方块滤波
WO2021088951A1 (en) Quantization properties of adaptive in-loop color-space transform for video coding
JP7797460B2 (ja) クロスコンポーネント映像コーディングの信号通知のための構文
US12284347B2 (en) Adaptive colour transform in image/video coding
CN113853798B (zh) 根据色度格式信令通知语法元素
WO2021143750A1 (en) Overwriting of quantization parameters in video coding

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230622

R150 Certificate of patent or registration of utility model

Ref document number: 7303328

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250