Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7541198B2 - 符号化復号方法、装置及びそのデバイス - Google Patents
[go: Go Back, main page]

JP7541198B2 - 符号化復号方法、装置及びそのデバイス - Google Patents

符号化復号方法、装置及びそのデバイス Download PDF

Info

Publication number
JP7541198B2
JP7541198B2 JP2023551246A JP2023551246A JP7541198B2 JP 7541198 B2 JP7541198 B2 JP 7541198B2 JP 2023551246 A JP2023551246 A JP 2023551246A JP 2023551246 A JP2023551246 A JP 2023551246A JP 7541198 B2 JP7541198 B2 JP 7541198B2
Authority
JP
Japan
Prior art keywords
value
pixel point
filtering
current
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023551246A
Other languages
English (en)
Other versions
JP2024506213A (ja
Inventor
方▲棟▼ ▲陳▼
小▲強▼ 曹
▲ユ▼程 ▲孫▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Publication of JP2024506213A publication Critical patent/JP2024506213A/ja
Priority to JP2024135472A priority Critical patent/JP7707392B2/ja
Application granted granted Critical
Publication of JP7541198B2 publication Critical patent/JP7541198B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Description

本発明は符号化復号技術分野に関し、特に符号化復号方法、装置及びそのデバイスに関する。
空間を節約するという目的を達成するために、ビデオ画像はいずれも符号化されてから伝送され、完全なビデオ符号化方法は予測、変換、量子化、エントロピー符号化、フィルタリングなどのプロセスを含み得る。そのうち、予測符号化はフレーム内符号化及びフレーム間符号化を含み得る。さらに、フレーム間符号化はビデオ時間領域の相関性を利用し、隣接する符号化済み画像の画素を用いて現在画素を予測して、ビデオ時間領域の冗長性を効果的に除去するという目的を達成する。フレーム内符号化は、ビデオ空間領域の相関性を利用し、現在フレームの画像の符号化済みブロックの画素を用いて現在画素を予測して、ビデオ空間領域の冗長性を除去するという目的を達成する。
一般的なフィルタ技術は、DBF(DeBlocking Filter、デブロッキングフィルタ)技術、SAO(Sample Adaptive Offset、サンプル適応オフセット)技術、及びALF(Adaptive Loop Filter、適応ループフィルタ)技術を含む。DBF技術はブロック符号化によるブロック境界効果を除去するために用いられる。SAO技術は、サンプルの画素値及び周辺ブロックの勾配値に基づいて分類し、各カテゴリーの画素値に対して異なる補償値を加えることにより、再構成画像を元画像により近づけるものである。ALF技術はウィーナーフィルタにより、再構成画像をフィルタリングし、再構成画像を元画像により近づけるものである。
しかし、DBF、SAO及びALFなどのフィルタ技術は、いずれも現在画素点の画素値に基づいて分類し、又は、現在画素点の画素値と周辺画素点の画素値との関係に基づいて分類し、続いて、異なるカテゴリーに基づいて異なるフィルタリング操作を行うため、オーバーフィルタリング現象が発生する可能性があり、すなわち、フィルタリング後の画素値がフィルタリング前の画素値より遥かに大きく又は遥かに小さく、さらに、元画素値より遥かに大きく又は遥かに小さく、フィルタリング効果が悪く、符号化性能が比較的低いなどの問題が存在する。
本発明は、符号化性能を向上させることができる符号化復号方法、装置及びそのデバイスを提供する。
本発明は符号化復号方法を提供し、前記方法は、
現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、前記現在画素点の元画素値及び前記現在画素点の周辺画素点の元画素値に基づいて前記現在画素点の勾配値を決定するステップと、前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定するステップと、を含む。
本発明は復号装置を提供し、前記復号装置は、
ビデオデータを記憶するように構成されるメモリと、
現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、前記現在画素点の元画素値及び前記現在画素点の周辺画素点の元画素値に基づいて前記現在画素点の勾配値を決定し、前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定することを実施するように構成される復号器と、を含む。
本発明は符号化装置を提供し、前記符号化装置は、
ビデオデータを記憶するように構成されるメモリと、
現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、前記現在画素点の元画素値及び前記現在画素点の周辺画素点の元画素値に基づいて前記現在画素点の勾配値を決定し、前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定することを実施するように構成される符号化器と、を含む。
本発明は、プロセッサ及び機械可読記憶媒体を含む復号デバイスであって、前記機械可読記憶媒体には、前記プロセッサによって実行可能な機械実行可能な命令が記憶され、
前記プロセッサは、機械実行可能な命令を実行して、
現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、前記現在画素点の元画素値及び前記現在画素点の周辺画素点の元画素値に基づいて前記現在画素点の勾配値を決定するステップと、前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定するステップとを実施するために用いられる、復号デバイスを提供する。
本発明は、プロセッサ及び機械可読記憶媒体を含む符号化デバイスであって、前記機械可読記憶媒体には、前記プロセッサによって実行可能な機械実行可能な命令が記憶され、
前記プロセッサは、機械実行可能な命令を実行して、
現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、前記現在画素点の元画素値及び前記現在画素点の周辺画素点の元画素値に基づいて前記現在画素点の勾配値を決定するステップと、前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定するステップとを実施するために用いられる、符号化デバイスを提供する。
以上の技術的解決手段から分かるように、本発明の実施例において、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、現在画素点の勾配値及び現在画素点の元画素値に基づいて、現在画素点の調整画素値を決定することができ、すなわち、現在画素点の勾配値に基づいて現在画素点の元画素値を調整し、現在画素点の調整画素値を元画素により近づけ、それにより符号化性能を向上させる。例えば、DBF、SAO及びALFなどのフィルタリングプロセスにおいて、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、現在画素点の勾配値に基づいて現在画素点の元画素値を調整することにより、フィルタリング効果を向上させ、符号化性能を向上させることができる。
本発明の一実施形態における符号化復号フレームワークの模式図である。 本発明の一実施形態におけるブロック分割の模式図である。 本発明の一実施形態におけるブロック分割の模式図である。 本発明の一実施形態におけるデブロッキングフィルタリングの模式図である。 本発明の一実施形態における符号化復号方法のフローチャートである。 本発明の一実施形態における復号デバイスのハードウェア構成図である。 本発明の一実施形態における符号化デバイスのハードウェア構成図である。
本発明の実施例で使用される用語は、特定の実施例を説明するためのものに過ぎず、本発明を限定するものではない。本発明の実施例及び特許請求の範囲で使用される単数形の「一種」、「前記」及び「当該」は、文脈において他の意味が明確に指示されない限り、複数形を含むことも意図している。また、本明細書で使用される用語の「及び/又は」は、1つ以上の関連する列挙項目のいずれか又はあらゆる可能な組み合わせを含むことを意味していることを理解されたい。さらに、本発明の実施例において、第1、第2、第3などの用語を用いて様々な情報を説明することがあるが、これらの情報はこれらの用語に限定されるものではないことを理解されたい。これらの用語は、同じ種類の情報同士を区別するためにのみ使用される。例えば、本発明の実施例の範囲から逸脱することなく、第1の情報を第2の情報と呼んでもよく、同様に、第2の情報を第1の情報と呼んでもよい。さらに、文脈に応じて、使用される用語の「…と」は、「…する時」、「…する場合」又は「決定することに応答し」と解釈されてもよい。
以下、当業者が本発明の技術的解決手段をよりよく理解するように、技術用語について簡単に説明する。
ビデオ符号化フレームワーク:図1に示すように、ビデオ符号化フレームワークを用いて本発明の実施例の符号化側の処理フローを実現してもよく、ビデオ復号フレームワークの模式図は図1と類似してもよく、ここでは重複する説明を省略し、ビデオ復号フレームワークを用いて本発明の実施例の復号側の処理フローを実現してもよい。ビデオ符号化フレームワーク及びビデオ復号化フレームワークにおいて、予測(例えば、フレーム内予測及びフレーム間予測など)、動き推定/動き補償、参照画像バッファ、ループ内フィルタ、再構成、変換、量子化、逆変換、逆量子化、エントロピー符号化器などのモジュールを含み得るが、これらに限定されない。符号化側では、これらのモジュールの間の協力により、符号化側の処理フローが実現され、復号化側では、これらのモジュールの間の協力により、復号化側の処理フローが実現される。
ループフィルタは画像のブロック効果(block effect)又は画像効果が不良であるなどの問題を減少させるために用いられ、画像品質を改善することができ、DBF、SAO及びALFの3つのフィルタを含み得、DBFはデブロッキングフィルタリングであり、ブロック符号化によるブロック境界効果を除去するために用いられる。SAOはサンプル適応オフセットフィルタであり、サンプルの画素値及び周辺ブロックの勾配値に基づいて分類し、各カテゴリーの画素値に対して異なる補償値を加えることにより、再構成画像を元画像により近づけるものである。ALFは適応ループフィルタであり、すなわち、ウィーナーフィルタにより、再構成画像をフィルタリングし、再構成画像を元画像により近づけるものである。
一例として、ビデオ符号化復号プロセスにおいて、予測プロセスはフレーム内予測及びフレーム間予測を含み得る。フレーム内予測は、隣接するブロックの間に高い空間領域の相関性が存在することを考慮し、周辺において既に再構成された画素を参照画素とし、現在符号化されていないブロックを予測し、元の値を符号化せず、残差値に対して後続する符号化処理を行うだけでよく、それにより空間領域における冗長性を効果的に除去し、圧縮効率を大幅に向上させる。フレーム間予測は、ビデオ時間領域の相関性を利用し、隣接する符号化済み画像の画素を用いて現在画像の画素を予測し、ビデオ時間領域の冗長性を除去するという目的を達成する。
一例として、ビデオ符号化復号プロセスにおいて、変換とは、空間領域における画素形式で記述された画像を変換領域に変換し、変換係数の形式で表現することである。ほとんどの画像は多くの平坦領域及び緩やかに変化する領域を含み、したがって、適切な変換プロセスにより画像エネルギーを空間領域における分散した分布から変換領域における相対的集中した分布に変換させ、それにより信号間の周波数領域の相関性を除去することができ、量子化プロセスに合わせて、ビットストリームを効果的に圧縮することができる。
一例として、エントロピー符号化とは、情報エントロピーの原理に従って可逆符号化を行う方式であり、ビデオ圧縮の最後の処理モジュールに位置し、ビデオシーケンスを表示するための一連の要素符号を、伝送又は記憶するためのバイナリビットストリームに変換し、入力された符号は量子化された変換係数、動きベクトル情報、予測モード情報、変換量子化関連シンタックスなどを含む可能性があり、エントロピー符号化モジュールの出力データは、元のビデオが圧縮された後の最終的なビットストリームである。エントロピー符号化はこれらのビデオ要素符号の統計冗長性を効果的に除去することができ、ビデオ符号化の圧縮効率を保証する重要なツールの1つである。
一例として、ループフィルタは画像のブロック効果又は画像効果が不良であるなどの問題を減少させ、画像品質を改善するために用いられ、DBF、SAO及びALFを含み得るが、これらに限定されない。例えば、ビデオ画像において、画像ブロックの境界は連続的ではなく、圧縮再構成画像は顕著なブロック効果を有し、画像品質に深刻な影響を及ぼし、DBF技術を用いて境界に対してデブロッキングフィルタリングを行うことができる。全ての予測ユニット(Prediction Unit、PU)及び変換ユニット(Transform Unit、TU)の境界に対してデブロッキングフィルタリングを行い、デブロッキングフィルタリングはフィルタリング決定及びフィルタリング操作を含み、フィルタリング決定のプロセスにおいて、境界強度(例えば、フィルタリングしない、弱フィルタリング又は強フィルタリング)及びフィルタリングパラメータを取得する。フィルタリング操作のプロセスにおいて、境界強度及びフィルタリングパラメータに基づいて画素を補正し、例えば境界に対してフィルタリングを行う場合は、強フィルタリング又は弱フィルタリングであってもよく、異なる長さのタップを用いてフィルタリングを行う。
SAOフィルタリング:リンギングの除去に用いられる。リンギング効果とは、高周波交流係数の量子化歪みにより、復号後に、エッジ周辺に波紋が発生する現象であり、変換ブロックのサイズが大きければ大きいほど、リンギング効果が顕著となる。SAOの基本原理とは、再構成曲線におけるピーク画素に負値を加えてオフセットを行い、バレー画素に正値を加えてオフセットを行うことである。SAOはCTU(Coding Tree Unit、符号化ツリーユニット)を基本単位とし、エッジオフセット(Edge Offset、EOと略称する)及びバンドオフセット(Band Offset、BOと略称する)という2種類のオフセット形式を含み得、また、パラメータ融合技術も導入される。
ALFフィルタリング:元信号と歪み信号に基づいて計算して平均二乗意味での最適なフィルタ、すなわちウィーナーフィルタを得ることができる。ALFのフィルタは、7*7の菱形フィルタ又は5*5の菱形フィルタ、7*7の十字形+3*3の方形の中心対称フィルタ、又は7*7の十字形+5*5の方形の中心対称フィルタを含み得るが、これらに限定されない。
フレーム内予測:ビデオ空間領域の相関性を利用し、現在フレームの符号化済みブロックを用いて予測を行って、ビデオ空間領域の冗長性を除去するという目的を達成する。フレーム内予測には、複数種類の予測モードが定義されており、予測モードごとには1種のテクスチャ方向が対応しており(DCモードが除かれる)、例えば、画像のテクスチャが水平に並んでいる場合に、水平予測モードの方が画像情報をよりよく予測することができる。
フレーム間予測:ビデオ時間領域の相関性に基づき、ビデオシーケンスが高い時間領域相関性を含むため、隣接する符号化済み画像の画素を用いて現在画像の画素を予測すれば、ビデオ時間領域の冗長性を効果的に除去するという目的を達成することができる。ビデオ符号化の標準フレーム間予測部分はいずれもブロックに基づく動き補償技術を採用し、主な原理は、現在画像の各画素ブロックについて、前に符号化された画像から1つの最適なマッチングブロックを見つけることであり、当該プロセスは動き推定(Motion Estimation、ME)と呼ばれる。
動きベクトル(Motion Vector、MV):フレーム間予測では、動きベクトルを用いて、現在フレームの画像の現在ブロックと参照フレームの画像の参照ブロックとの間の相対的な変位を表すことができる。分割されたブロックのそれぞれには、復号側に伝送される対応する動きベクトルがあり、各ブロックの動きベクトルを独立して符号化し伝送すると、特に小サイズの大量のブロックがある場合、多くのビットが消費される。動きベクトルを符号化するためのビット数を低減するために、隣接ブロック間の空間相関性を利用し、隣接する符号化済みブロックの動きベクトルに基づいて現在の符号化対象ブロックの動きベクトルを予測し、続いて、予測差分を符号化し、このように、動きベクトルを表すビット数を効果的に低減することができる。現在ブロックの動きベクトルを符号化する場合は、まず隣接する符号化済みブロックの動きベクトルを用いて現在ブロックの動きベクトルを予測し、続いて、当該動きベクトルの予測値(MVP、Motion Vector Prediction)と動きベクトルの真の推定値との差分(MVD、Motion Vector Difference)を符号化することができる。
動き情報(Motion Information):動きベクトルは現在ブロックとある参照ブロックとの位置オフセットを表すものであるため、ブロックを指向する情報を正確に取得するためには、動きベクトルに加えて、現在ブロックがどの参照フレーム画像を用いるかを表す参照フレーム画像のインデックス情報を必要とする。ビデオ符号化技術において、現在フレームの画像に対して、一般的には1つの参照フレームの画像リストを構築してもよく、参照フレームの画像のインデックス情報は現在ブロックが参照フレームの画像リストにおける何番目の参照フレームの画像を用いるかを表す。また、多くの符号化技術は複数の参照画像リストをサポートするので、さらに、1つのインデックス値を用いてどの参照画像リストを用いるかを表してもよく、当該インデックス値は参照方向と呼ばれてもよい。以上をまとめると、ビデオ符号化技術において、動きベクトル、参照フレームのインデックス、参照方向など、動きに関する情報をまとめて動き情報と呼んでもよい。
フラグビット符号化(flag coding):ビデオ符号化において、多くのモードが存在する。あるブロックについては、そのうち1つのモードを用いることがある。どのようなモードを用いるかを表すために、各ブロックについて、対応するフラグビットを符号化してマークする必要がある。例えば、符号化側では、符号化側の決定により、当該フラグビットの値を決定し、続いてフラグビットの値を符号化して復号側に伝送する。復号側では、フラグビットの値を解析することにより、対応するモードをイネーブルするか否かを決定する。
フラグビットの符号化プロセスにおいて、ハイレベルシンタックスによりフラグビットの符号化を実現することができ、ハイレベルシンタックスはあるモードのイネーブルが許可されるか否かを表すことができ、すなわち、ハイレベルシンタックスによりあるモードのイネーブルが許可されるか、又はあるモードのイネーブルが禁止される。
一例として、ハイレベルシンタックスは、シーケンスパラメータセットレベルのハイレベルシンタックス、画像パラメータセットレベルのハイレベルシンタックス、スライスヘッダレベルのハイレベルシンタックス、又は画像ヘッダレベルのハイレベルシンタックスであってもよく、このハイレベルシンタックスについては限定しない。
シーケンスパラメータセット(SPS、sequence parameter set)に対するハイレベルシンタックスには、ビデオシーケンス全体(すなわち、マルチフレームビデオ画像)において何らかのモード(ツール/方法)のイネーブルが許可されるか否かを決定するフラグビットが存在する。例えば、フラグビットが値A(例えば、数値1など)であれば、ビデオシーケンスは当該フラグビットに対応するモードのイネーブルを許可してもよく、又は、フラグビットが値B(例えば、数値0など)であれば、ビデオシーケンスは当該フラグビットに対応するモードのイネーブルを許可しなくてもよい。
画像パラメータセット(PPS、picture parameter set)に対するハイレベルシンタックスには、あるピクチャ(例えば、ビデオ画像)において何らかのモード(ツール/方法)のイネーブルが許可されるか否かを決定するフラグビットが存在する。フラグビットが値Aであれば、ビデオ画像には当該フラグビットに対応するモードのイネーブルが許可され、フラグビットが値Bであれば、ビデオ画像には当該フラグビットに対応するモードのイネーブルが許可されない。
画像ヘッダ(picture header)に対するハイレベルシンタックスには、ある画像ヘッダにおいて何らかのモード(ツール/方法)のイネーブルが許可されるか否かを決定するフラグビットが存在する。フラグビットが値Aであれば、画像ヘッドには当該フラグビットに対応するモードのイネーブルが許可され、フラグビットが値Bであれば、画像ヘッドには当該フラグビットに対応するモードのイネーブルが許可されない。一例として、画像ヘッドには現在画像のみに対する共通情報が保存され、例えば、画像が複数のsliceを含む場合、複数のsliceは画像ヘッドにおける情報を共用することができる。
スライスヘッダ(Slice header)に対するハイレベルシンタックスには、あるsliceにおいて何らかのモード(ツール/方法)のイネーブルが許可されるか否かを決定するフラグビットが存在する。フラグビットが値Aであれば、sliceには当該フラグビットに対応するモードのイネーブルが許可され、フラグビットが値Bであれば、sliceには当該フラグビットに対応するモードのイネーブルが許可されない。一例といて、1フレームの画像は1つのslice又は複数のsliceを含んでもよく、スライスヘッダ(Slice header)に対するハイレベルシンタックスは、各sliceに対して配置されるハイレベルシンタックスである。
ハイレベルシンタックス:何らかのツール(方法)のイネーブルが許可されるか否かを表すために用いられるものであり、すなわち、ハイレベルシンタックスにより何らかのツール(方法)のイネーブルが許可されるか、又は何らかのツール(方法)のイネーブルが禁止される。一例として、上記説明を参照すると、ハイレベルシンタックスはシーケンスパラメータセットレベルのハイレベルシンタックス、画像パラメータセットレベルのハイレベルシンタックス、スライスヘッダレベルのハイレベルシンタックス、又は画像ヘッダレベルのハイレベルシンタックスであってもよく、このハイレベルシンタックスは、上記機能を実現できれば、限定されない。
レート歪み最適化(Rate-Distortion Optimized)原則:符号化効率の評価には、ビットレートとPSNR(Peak Signal to Noise Ratio、ピーク信号対雑音比)の2つの指標があり、ビットストリームが小さければ小さいほど、圧縮率が大きくなり、PSNRが大きければ大きいほど、再構成画像の品質が良くなり、モードを選択する時に、判別式は実質的に両者に対する総合評価である。例えば、モードに対応するコストは、J(mode)=D+λ*Rであり、ここで、DはDistortion(歪み)を表し、一般的にはSSE指標を用いて評価され、SSEとは、再構成画像ブロックと元画像との差分の平均二乗和であり、λはラグランジュ乗数であり、Rは当該モードで画像ブロックの符号化に必要な実際のビット数であり、符号化モード情報、動き情報、残差などに必要なビット数の総和を含む。モードを選択する時に、RDO原則により符号化モードを比較決定すれば、一般的に、符号化性能の最適さを保証することができる。
ブロック分割技術:1つの符号化ツリーユニット(Coding Tree Unit、CTUと略称する)は四分木を用いてCU(Coding Unit、符号化ユニット)に再帰的に分割される。葉ノードでCUレベルはフレーム内符号化又はフレーム間符号化を用いるか否かを決定する。CUは2つ又は4つの予測ユニット(Prediction Unit、PUと略称する)に分割することができ、同一のPU内に同じ予測情報が使用される。予測を完了して残差情報を得た後、1つのCUは四分木で複数の変換ユニット(Transform Units、TUと略称する)に分割することができる。例えば、本発明における現在画像ブロックは1つのPUである。さらに、ブロック分割技術を変更することができ、例えば、二分木/三分木/四分木を混合した分割構造を用いて元の分割モードを代替し、CU、PU、TUの概念の区別を取り消し、CUのより柔軟な分割方式をサポートする。CUは正方形分割であってもよいし、矩形分割であってもよい。CTUは、まず四分木の分割を行い、続いて四分木分割の葉ノードは二分木及び三分木の分割を行うことができる。図2Aに示すように、CUは全部で5種類の分割タイプを有し、それぞれ四分木分割、水平二分木分割、垂直二分木分割、水平三分木分割及び垂直三分木分割であり、図2Bに示すように、CTU内のCU分割は上記5種類の分割タイプの任意の組み合わせであってもよく、以上から分かるように、異なる分割方式により、各PUの形状が異なり、例えば異なるサイズの矩形、正方形が挙げられる。
DBFフィルタリング(すなわちデブロッキングフィルタリング)方法:DBFフィルタリング処理はフィルタリング決定及びフィルタリング操作の2つのプロセスを含む。
フィルタリング決定は、1)境界強度(BS値)の取得と、2)フィルタリングイネーブルの決定と、3)フィルタリング強弱の選択と、を含む。色度成分には、ステップ1)のみが存在し、且つ輝度成分のBS値が直接再利用される。色度成分には、BS値が2の場合(すなわち現在ブロックの両側のブロックのうちの少なくとも1つがintra(フレーム内)モードを用いる)のみに、フィルタリング操作を行う。
フィルタリング操作は、1)輝度成分に対する強フィルタリング及び弱フィルタリングと、2)色度成分に対するフィルタリングと、を含む。
一例として、DBFフィルタリング処理は一般的に8*8を単位として水平境界フィルタリング(水平DBFフィルタリングと呼ばれてもよい)及び垂直境界フィルタリング(垂直DBFフィルタリングと呼ばれてもよい)を行い、且つ最大で境界両側の3つの画素点に対してフィルタリングを行い、且つ最大で境界両側の4つの画素点を利用してフィルタリングを行い、そのため、異なるブロックの水平DBFフィルタリング及び垂直DBFフィルタリングは互いに影響せず、すなわち、水平DBFフィルタリング及び垂直DBFフィルタリングは並行して行うことができる。
図3に示すように、現在ブロック(8*8を例とする)に対しては、まず、現在ブロックの左側の3列の画素点及び左側ブロック(すなわち現在ブロックの左側ブロック)の右側の3列の画素点の垂直DBFフィルタリングを行い、そして、現在ブロックの上側の3行の画素点及び上側ブロック(すなわち現在ブロックの上側ブロック)の下側の3行の画素点の水平DBFフィルタリングを行ってもよい。
一例として、それぞれ垂直DBFフィルタリング及び水平DBFフィルタリングを行う必要がある画素点に対しては、一般的には、まず、垂直DBFフィルタリングを行ってから、水平DBFフィルタリングを行う。もちろん、まず、水平DBFフィルタリングを行ってから、垂直DBFフィルタリングを行ってもよい。後続する実施例において、まず、垂直DBFフィルタリングを行ってから、水平DBFフィルタリングを行うことを例とする。
1つの可能な実施形態において、DBFフィルタリングの処理フローについては、以下のステップを含み得る。
ステップS11において、4*4を単位として、水平方向及び垂直方向のedge condition(エッジ条件)値をそれぞれ計算する。
CU境界で、且つ8*8境界の場合、edge condition値は2(輝度成分及び色度成分の両方に対してフィルタリング処理を行うことを表すために用いられる)となる。PU(Prediction Unit、予測ユニット)境界(例えば、2N*hNの内部の1/4、1/2、3/4水平線)で、且つ8*8境界の場合、edge condition値は1(輝度成分に対してフィルタリング処理を行うが、色度成分に対してフィルタリング処理を行わないことを表すために用いられる)となる。上記の2種類の場合以外の場合、edge condition値は0となる。
ステップS12において、4*4を単位として(フィルタリング処理は8*8を単位とするが、edge condition値などの情報の記憶は4*4を単位とする)、全てのブロックの垂直フィルタリングを完了する。edge condition値が0でない場合、以下のフィルタリング処理プロセスを行う。
1、輝度成分フィルタリング(垂直フィルタリングは垂直境界の4行を処理し、水平フィルタリングは水平境界の4列を処理する):
1.1、まず、フィルタリングプロセスをスキップするか否かを判断する。一例として、境界両側のブロックが非フレーム内モードブロックであり、残差がなく、且つ動きが一致する場合は、フィルタリングプロセスをスキップし、それ以外の場合は、いずれもフィルタリングプロセスを行うことを必要とする。
1.2、フィルタリングプロセスをスキップしない場合は、以下の処理を行う。
1.2.1、現在フレームのフィルタリングタイプ(df_type)がタイプ1であり、且つABS(R0-L0)>=4*Alphaであれば、FSは0となり、それ以外の場合、ステップ1.2.2を行い、FSを決定する。Alphaは所定の数値であり、ABS()は絶対値を取る演算である。
1.2.2、FL(Flatness Left、左側平坦度、選択可能な値は0、2、3)及びFR(Flatness Right、右側平坦度、選択可能な値は0、2、3)を計算し、FL及びFRは両側内部の平坦度を判断するために用いられる。続いて、FL及びFRに基づいてFSを決定する。例えば、式のFS=FL+FRを用いてFSを決定してもよい。
1.2.2.1、ABS(L1-L0)<Betaであり、且つABS(L2-L0)<Betaであれば、FLは3となり、ABS(L1-L0)<Beta、且つABS(L2-L0)>=Betaであれば、FLは2となり、ABS(L1-L0)>=Betaであり、且つABS(L2-L0)<Betaであれば、FLは1となり、それ以外の場合、FLは0となる。Betaは所定の数値であり、ABS()は絶対値を取る演算である。
1.2.2.2、FRの計算方式はFLの計算方式と類似するため、ここでは重複する説明は省略する。
1.2.3、FSに基づいてBS値を決定する(FSの選択可能な値は0、2、3、4、5、6であり、BSの選択可能な値は0、1、2、3、4である)。例えば、FSを得た後、FSの値に基づいてBS値を決定してもよい。
1.2.3.1、FSが2以下(最大で1辺が中等平坦)であれば、BS=0となる。
1.2.3.2、FSが3(1辺のみが高度平坦)であれば、BS=(ABS(L1-R1)<Beta)?1:0となり、すなわち、ABS(L1-R1)<Betaが成立すれば、BS=1となり、それ以外の場合、BS=0となる。
1.2.3.3、FSが4(すなわち両辺がいずれも中等平坦)であれば、BS=(FL==2)?2:1となり、すなわち、FL=2であれば、BS=2となり、それ以外の場合、すなわち、FLが2に等しくなければ、BS=1となる。
1.2.3.4、FSが5(すなわち一辺が中等平坦で、他辺が高度平坦)であれば、
現在フレームのフィルタリングタイプ(df_type)がタイプ1の場合、BS=(R1==R0&&L0==L1&&ABS(R2-L2)<Alpha)?3:2となり、すなわち、画素点R1の画素値が画素点R0の画素値に等しく、且つ画素点L0の画素値が画素点L1の画素値に等しく、且つ画素点R2の画素値と画素点L2の画素値との間の差分の絶対値がAlpha(すなわち予め設定された数値)より小さい場合、BS=3となり、それ以外の場合、BS=2となる。
そうでなく(すなわち、現在フレームのフィルタリングタイプ(df_type)がタイプ1でない)、現在フレームのフィルタリングタイプがタイプ0の場合、BS=(R1==R0&&L0==L1)?3:2となり、すなわち、画素点R1の画素値が画素点R0の画素値に等しく、且つ画素点L0の画素値が画素点L1の画素値に等しい場合、BS=3となり、それ以外の場合、BS=2となる。
1.2.3.5、FSが6(すなわち、両辺がいずれも高度平坦)であれば、
現在フレームのフィルタリングタイプ(df_type)がタイプ1の場合、BS=(ABS(R0-R1)<=Beta/4&&ABS(L0-L1)<=Beta/4&&ABS(R0-L0)<Alpha)&&ABS(R0-R3)<=Beta/2&&ABS(L0-L3)<=Beta/2?4:3となり、すなわち、ABS(R0-R1)<=Beta/4、ABS(L0-L1)<=Beta/4、ABS(R0-L0)<Alpha、ABS(R0-R3)<=Beta/2、ABS(L0-L3)<=Beta/2がいずれも成立する場合、BS=4となり、それ以外の場合、BS=3となる。
そうでなく(すなわち、現在フレームのフィルタリングタイプ(df_type)がタイプ1でなく)、現在フレームのフィルタリングタイプがタイプ0の場合、BS=(ABS(R0-R1)<=Beta/4&&ABS(L0-L1)<=Beta/4&&ABS(R0-L0)<Alpha)?4:3となり、すなわち、ABS(R0-R1)<=Beta/4、ABS(L0-L1)<=Beta/4、ABS(R0-L0)<Alphaがいずれも成立する場合、BS=4となり、それ以外の場合、BS=3となる。
1.2.4、BS値に基づいて、フィルタリング係数、及びフィルタリング画素数を決定する。例えば、境界の左側又は上側の4つの画素点がそれぞれL0~L3(図3に示すように、図3において左側を例とする)であり、境界の右側又は下側の4つの画素点がR0~R3(図3に示すように、図3において右側を例とする)であるとする。輝度成分については、
1.2.4.1、BS=4であれば、境界両側のそれぞれ3つの画素に対してフィルタリングを行う。
L0及びR0に対して、フィルタリング係数は[3,8,10,8,3]/32であり、すなわち、画素点L0のフィルタリング後の画素値を決定するために、それぞれ画素点L2、L1、L0、R0及びR1の画素値の重み付け和を求め、重み付け係数(すなわちフィルタリング係数)は順に3/32、8/32、10/32、8/32及び3/32である。wjがフィルタリング係数であれば、j=-2(現在画素点の左側の2番目の画素点、すなわちL2)の場合、wj=3/32であり、j=-1(現在画素点の左側の1番目の画素点、すなわちL1)の場合、wj=8/32であり、j=0(現在画素点、すなわちL0)の場合、wj=10/32であり、j=1(現在画素点の右側の1番目の画素点、すなわちR0)の場合、wj=8/32であり、j=2(現画素点の右側の2番目の画素点、すなわちR1)の場合、wj=3/32である。画素点R0のフィルタリング後の画素値を決定するために、それぞれ画素点R2、R1、R0、L0及びL1の画素値の重み付け和を求め、重み付け係数は順に3/32、8/32、10/32、8/32及び3/32である。wjがフィルタリング係数であれば、j=-2(現在画素点の右側の2番目の画素点、すなわちR2)の場合、wj=3/32であり、j=-1(現在画素点の右側の1番目の画素点、すなわちR1)の場合、wj=8/32であり、j=0(現在画素点、すなわちR0)の場合、wj=10/32であり、j=1(現画素点の左側の1番目の画素点、すなわちL0)の場合、wj=8/32であり、j=2(現画素点の左側の2番目の画素点、すなわちL1)の場合、wj=3/32である。
以上をまとめると、L0′=clip(L2*3+L1*8+L0*10+R0*8+R1*3+16)>>5)であり、L0′は画素点L0のフィルタリング後の画素値であり、L0~L2は画素点L0~L2のフィルタリング前の画素値であり、R0~R1は画素点R0~R1の画素値であり、以下同様である。R0′=clip((R2*3+R1*8+R0*10+L0*8+L1*3+16)>>5)>>5)。
上記式において、「>>」は右シフト演算であり、割り算の代わりに用いられ、すなわち、「>>5」は2(すなわち32)で割ることに相当する。乗算(「*」)は左シフトの方式で置き換えることができ、例えば、aに4をかけることは左へ2ビットシフトすることで置き換え、すなわち、a<<2で置き換えることができ、aに10をかけることは、(a<<3)+(a<<1)で置き換えることができる。「<<」は左シフト演算であり、乗算の代わりに用いられ、「a<<2」は2(すなわち4)をかけることに相当する。シフトにより除算を実現する場合、演算結果は通常、整数化され、すなわち、演算結果がN~N+1の間の非整数であれば、結果としてNをとるが、小数部が0.5より大きいとき、結果としてN+1をとると、精度がより高くなることが考慮され、したがって、決定された画素値の正確性を高めるために、計算する際に、上記重み付け和の分子に分母(すなわち被除数)の1/2を加えて、四捨五入の効果を達成してもよい。上記L0′の計算を例にとると、右へ5ビットシフトすることは2(すなわち32)で割ることに相当するので、上記重み付け和の分子に16を加えてもよい。Clip(x)はクリップ操作であり、xが所定の数値範囲の上限を超える場合、xの値を当該所定の数値範囲の上限に設定し、xが所定の数値範囲の下限未満の場合、xの値を当該所定の数値範囲の下限に設定する。
L1及びR1に対して、フィルタリング係数は[4,5,4,3]/16であり、これに基づき、L1′=clip((L2*4+L1*5+L0*4+R0*3+8)>>4)、R1′=clip((R2*4+R1*5+R0*4+L0*3+8)>>4)となる。
L2及びR2に対して、フィルタリング係数が[2,2,2,1,1]/8であれば、L2′=clip((L3*2+L2*2+L1*2+L0*1+R0*1+4)>>3)、R2′=clip((R3*2+R2*2+R1*2+R0*1+L0*1+4)>>3)となる。
1.2.4.2、BS=3であれば、境界両側のそれぞれ2つの画素に対してフィルタリングを行う。
L0とR0に対して、フィルタリング係数が[1,4,6,4,1]/16であれば、L0′=clip(L2*1+L1*4+L0*6+R0*4+R1*1+8)>>4、R0′=clip(R2*1+R1*4+R0*6+L0*4+L1*1+8)>>4となる。
L1とR1に対して、フィルタリング係数が[3,8,4,1]/16であれば、L1′=clip((L2*3+L1*8+L0*4+R0*1+8)>>4)、R1′=clip(R2*3+R1*8+R0*4+L0*1+8)>>4)となる。
1.2.4.3、BS=2であれば、境界両側のそれぞれ1つの画素に対してフィルタリングを行う。
L0とR0に対して、フィルタリング係数は[3,10,3]/16であり、これに基づき、L0′=clip(L1*3+L0*10+R0*3+8)>>4、R0′=clip(R1*3+R0*10+L0*3+8)>>4となる。
1.2.4.4、BS=1であれば、境界両側のそれぞれ1つの画素に対してフィルタリングを行う。L0とR0に対して、フィルタリング係数は[3,1]/4であれば、L0′=clip(L0*3+R0*1+2)>>2、R0′=clip(R0*3+L0*1+2)>>2となる。
1.2.4.5、BS=0であれば、フィルタリングせず、すなわち、境界両側の画素に対してフィルタリングを行わない。
2、edge condition値が2の場合、16*16ブロックの境界に対して色度フィルタリングを行い、すなわち、16*16ブロックの境界に対して色度成分のフィルタリング処理を行い、当該色度成分のフィルタリング処理プロセスは以下のとおりである。
2.1、まずフィルタリング処理を行う必要があるか否かを判断し、プロセスは輝度成分と類似するため、ここでは重複する説明は省略する。
2.2、フィルタリング処理を行う必要があれば(すなわちフィルタリングプロセスをスキップしない)、それぞれFLとFRを計算し、そして、FLとFRに基づいてFSを得、FSに基づいてBS値を得、当該プロセスも輝度成分と類似するため、ここでは重複する説明は省略する。
2.3、得られた色度成分のBS値(例えば、4、3、2、1、0など)から1を引き、すなわち、BSの選択可能な値は3、2、1、0としてもよい。BS値に基づいて色度成分のフィルタリング処理を行い、具体的なプロセスは以下のとおりである。
BS=3であれば、境界両側のそれぞれ2つの画素に対してフィルタリングを行い、L0とR0に対して、フィルタリング係数が[3,10,3]/16であれば、L0′=clip(L1*3+L0*10+R0*3+8)>>4、R0′=clip(R1*3+R0*10+L0*3+8)>>4となる。L1及びR1に対して、フィルタリング係数が[3,8,3,2]/16であれば、L1′=clip((L2*3+L1*8+L0*3+R0*2+8)>>4)、R1′=clip((R2*3+R1*8+R0*3+L0*2+8)>>4)となる。
BS=2、又はBS=1であれば、境界両側のそれぞれ1つの画素に対してフィルタリングを行い、L0とR0に対して、フィルタリング係数が[3,10,3]/16であれば、L0′=clip(L1*3+L0*10+R0*3+8)>>4、R0′=clip(R1*3+R0*10+L0*3+8)>>4となる。BS=0であれば、フィルタリングせず、すなわち、境界両側の画素に対してフィルタリングを行わない。
一例として、上記プロセスのAlpha及びBetaは境界両側のブロックのQP平均値に関連し、すなわち、現在ブロックは現在ブロックの左側ブロック(垂直DBFフィルタリングに対して)、又は現在ブロックは現在ブロックの上側ブロック(水平DBFフィルタリングに対して)のQP平均値に関連し、テーブルルックアップによってAlpha及びBetaの値を取得することができ、これについて限定しない。
ステップS13において、4*4を単位として(フィルタリング処理は8*8を単位とするが、edge condition値などの情報の記憶は4*4を単位とする)、全てのブロックの水平フィルタリングを完了し、実現方式はステップS12と類似するため、ここでは重複する説明は省略する。
関連技術では、DBF、SAO及びALFなどのフィルタ技術は、いずれも現在画素点の画素値に基づいて分類し、又は、現在画素点の画素値と周辺画素点の画素値との関係に基づいて分類し、続いて、異なるカテゴリーに基づいて異なるフィルタリング操作を行うため、オーバーフィルタリング現象が発生する可能性があり、すなわち、フィルタリング後の画素値がフィルタリング前の画素値より遥かに大きく、又は遥かに小さく、元画素値より遥かに大きく、又は遥かに小さく、フィルタリング効果が悪く、符号化性能が比較的低いなどの問題が存在する。
上記発見に対して、本実施例は符号化復号方法を提供し、現在画素点の勾配値に基づいて現在画素点の元画素値を調整し、現在画素点の調整画素値を元画素により近づけ、それにより符号化性能を向上させることができる。フィルタリングプロセスにおいて、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、現在画素点の勾配値に基づいて現在画素点の元画素値を調整することにより、フィルタリング効果を向上させ、符号化性能を向上させることができる。
以下、具体的な実施例に合わせて、本発明の実施例における符号化復号方法について詳細に説明する。
実施例1:本発明の実施例は符号化復号方法を提供し、当該方法は符号化側又は復号側に適用することができ、図4に示すように、当該符号化復号方法のフローチャートであり、当該方法は以下を含み得る。
ステップ401において、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、現在画素点の元画素値と前記現在画素点の周辺画素点の元画素値に基づいて現在画素点の勾配値を決定する。
一例として、現在画素点の勾配値は現在画素点の元画素値と周辺画素点の元画素値との差分に基づいて決定されてもよく、すなわち、現在画素点の勾配値は2つの画素値の差分を反映する。
一例として、現在画素点の周辺画素点は、現在画素点の隣接画素点であってもよく、現在画素点に隣接しない画素点であってもよい。現在画素点の周辺画素点は、現在ブロックに位置する画素点であってもよく、現在ブロックの隣接ブロックに位置する画素点であってもよい。例えば、現在画素点の周辺画素点は、現在画素点の左側の画素点、現在画素点の右側の画素点、現在画素点の上側の画素点、現在画素点の下側の画素点であってもよく、この現在画素点の周辺画素点の位置については限定しない。
例えば、図3に示すように、現在画素点が現在ブロックにおけるR0であれば、現在画素点の周辺画素点は現在ブロックの左側の隣接ブロックにおけるL0であってもよい。現在画素点が現在ブロックにおける1行目2列目の画素点であれば、現在画素点の周辺画素点は現在ブロックの上側の隣接ブロックにおける8行目2列目の画素点であってもよい。
ステップ402において、現在画素点の勾配値及び現在画素点の元画素値に基づいて、現在画素点の調整画素値を決定する。例えば、現在画素点の勾配値、現在画素点の元画素値、第1の調整閾値、第2の調整閾値、第1の調整オフセット値及び第2の調整オフセット値に基づいて、現在画素点の調整画素値を決定してもよい。
1つの可能な実施形態において、現在画素点の勾配値が第1の調整閾値より大きければ、現在画素点の元画素値及び第1の調整オフセット値に基づいて現在画素点の調整画素値を決定し、例えば、現在画素点の元画素値と第1の調整オフセット値との和に基づいて現在画素点の調整画素値を決定する。現在画素点の勾配値が第2の調整閾値より小さければ、現在画素点の元画素値及び第2の調整オフセット値に基づいて現在画素点の調整画素値を決定し、例えば、現在画素点の元画素値と第2の調整オフセット値との和に基づいて現在画素点の調整画素値を決定する。一例といて、第1の調整閾値と第2の調整閾値は互いに反数であってもよい。もちろん、第1の調整閾値と第2の調整閾値は互いに反数でなくてもよく、第1の調整閾値と第2の調整閾値を任意に設定することができる。
1つの可能な実施形態において、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、さらに、現在ブロックの隣接ブロックから現在画素点に対応する参照画素点を決定し、参照画素点の元画素値及び参照画素点の周辺画素点の元画素値に基づいて参照画素点の勾配値を決定し、参照画素点の勾配値及び参照画素点の元画素値に基づいて参照画素点の調整画素値を決定してもよい。
一例として、参照画素点は隣接ブロックにおける現在画素点に隣接する画素点であってもよく、隣接ブロックにおける現在画素点に隣接しない画素点であってもよく、これについては限定しない。例えば、図3に示すように、現在画素点が現在ブロックにおけるR0であれば、参照画素点は現在ブロックの左側の隣接ブロックにおけるL0であってもよく、現在ブロックの左側の隣接ブロックにおけるL1、L2などであってもよく、これについては限定しない。現在画素点が現在ブロックにおけるR1であれば、参照画素点は現在ブロックの左側の隣接ブロックにおけるL0であってもよく、現在ブロックの左側の隣接ブロックにおけるL1、L2などであってもよく、これについては限定しない。現在画素点が現在ブロックにおける1行目2列目の画素点であれば、参照画素点は現在ブロックの上側の隣接ブロックにおける8行目2列目の画素点であってもよく、現在ブロックの上側の隣接ブロックにおける7行目2列目の画素点であってもよく、これについては限定しない。
一例として、参照画素点の勾配値は参照画素点の元画素値と参照画素点の周辺画素点の元画素値との差分に基づいて決定されてもよく、すなわち、勾配値は2つの画素値の差分を反映する。
一例として、参照画素点の周辺画素点は、参照画素点の隣接画素点であってもよく、参照画素点に隣接しない画素点であってもよい。参照画素点の周辺画素点は、参照画素点が所在するブロックに位置する画素点であってもよく、参照画素点が所在するブロックの隣接ブロックに位置する画素点であってもよい。参照画素点の周辺画素点は、参照画素点の左側の画素点であってもよく、参照画素点の右側の画素点であってもよく、参照画素点の上側の画素点であってもよく、参照画素点の下側の画素点であってもよく、この参照画素点の周辺画素点の位置については限定しない。
1つの可能な実施形態において、参照画素点の周辺画素点は、現在ブロックにおける現在画素点であってもよく、同様に、現在画素点の周辺画素点は、現在ブロックの隣接ブロックにおける参照画素点であってもよい。
一例として、参照画素点の勾配値及び参照画素点の元画素値に基づいて、参照画素点の調整画素値を決定するステップは、参照画素点の勾配値、参照画素点の元画素値、第3の調整閾値(第1の調整閾値と同じであってもよく、異なってもよい)、第4の調整閾値(第2の調整閾値と同じであってもよく、異なってもよい)、第3の調整オフセット値(第1の調整オフセット値と同じであってもよく、異なってもよい)及び第4の調整オフセット値(第3の調整オフセット値と同じであってもよく、異なってもよい)に基づいて、参照画素点の調整画素値を決定するステップを含んでもよいが、これに限定されない。
例えば、参照画素点の勾配値が第3の調整閾値より大きければ、参照画素点の元画素値及び第3の調整オフセット値に基づいて参照画素点の調整画素値を決定し、例えば、参照画素点の元画素値と第3の調整オフセット値との和に基づいて参照画素点の調整画素値を決定する。参照画素点の勾配値が第4の調整閾値より小さければ、参照画素点の元画素値及び第4の調整オフセット値に基づいて参照画素点の調整画素値を決定し、例えば、参照画素点の元画素値と第4の調整オフセット値との和に基づいて参照画素点の調整画素値を決定する。
一例といて、第3の調整閾値と第4の調整閾値は互いに反数であってもよい。もちろん、第3の調整閾値と第4の調整閾値は互いに反数でなくてもよく、第3の調整閾値と第4の調整閾値を任意に設定することができる。
1つの可能な実施形態において、ハイレベルシンタックスから現在ブロックに対応する第1の調整閾値、第2の調整閾値、第1の調整オフセット値、第2の調整オフセット値、第3の調整閾値、第4の調整閾値、第3の調整オフセット値及び第4の調整オフセット値を解析してもよい。又は、ハイレベルシンタックスから現在ブロックに対応する第1の調整閾値、第1の調整オフセット値、第2の調整オフセット値、第3の調整閾値、第3の調整オフセット値及び第4の調整オフセット値を解析してもよい。又は、ハイレベルシンタックスから現在ブロックに対応する第2の調整閾値、第1の調整オフセット値、第2の調整オフセット値、第3の調整閾値、第3の調整オフセット値及び第4の調整オフセット値を解析してもよい。又は、ハイレベルシンタックスから現在ブロックに対応する第1の調整閾値、第1の調整オフセット値、第2の調整オフセット値、第4の調整閾値、第3の調整オフセット値及び第4の調整オフセット値を解析してもよい。又は、ハイレベルシンタックスから現在ブロックに対応する第2の調整閾値、第1の調整オフセット値、第2の調整オフセット値、第4の調整閾値、第3の調整オフセット値及び第4の調整オフセット値を解析してもよい。
一例として、第1の調整閾値と第2の調整閾値が互いに反数であれば、ハイレベルシンタックスから第1の調整閾値を解析すると、第2の調整閾値を導出することができ、ハイレベルシンタックスから第2の調整閾値を解析すると、第1の調整閾値を導出することができる。第3の調整閾値と第4の調整閾値が互いに反数であれば、ハイレベルシンタックスから第3の調整閾値を解析すると、第4の調整閾値を導出することができ、ハイレベルシンタックスから第4の調整閾値を解析すると、第3の調整閾値を導出することができる。
1つの可能な実施形態において、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすことは、現在ブロックにおける現在画素点に対応するフィルタリング対象境界の境界強度が強調調整モードのイネーブル条件を満たすと、現在画素点が強調調整モードのイネーブル条件を満たすと決定することを含み得るが、これに限定されない。例えば、現在画素点に対応するフィルタリング対象境界の境界強度が所定の第1の数値であれば、フィルタリング対象境界の境界強度が強調調整モードのイネーブル条件を満たすと決定してもよい。一例として、所定の第1の数値は0であってもよい。もちろん、所定の第1の数値は他の数値であってもよい。
又は、現在ブロックに対応する特徴情報が強調調整モードのイネーブル条件を満たすと、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと決定する。一例として、現在ブロックに対応する特徴情報が強調調整モードのイネーブル条件を満たすとは、現在ブロックに対応する特徴情報に基づいて、現在ブロックに対してフィルタリング操作(例えば、デブロッキングフィルタリング操作など)を開始しないと決定する場合、現在ブロックに対応する特徴情報が強調調整モードのイネーブル条件を満たすと決定することである。
一例として、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと決定する前には、まず、現在ブロックに対応する強調調整モードイネーブルフラグビットを取得し、現在ブロックに対応する強調調整モードイネーブルフラグビットは現在ブロックが強調調整モードをイネーブルすることを許可すると、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすか否かを決定し、すなわち、現在画素点が強調調整モードのイネーブル条件を満たし、又は、強調調整モードのイネーブル条件を満たさないと決定する。
又は、現在ブロックに対応する強調調整モードイネーブルフラグビットは現在ブロックが強調調整モードをイネーブルすることを許可しないと、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たさないと直接決定する。
一例として、復号側は、ハイレベルシンタックスから現在ブロックに対応する強調調整モードイネーブルフラグビットを解析し、続いて強調調整モードイネーブルフラグビットに基づいて現在ブロックが強調調整モードをイネーブルすることを許可するか否かを決定してもよい。
例えば、強調調整モードイネーブルフラグビットが第1の値(例えば1)であれば、強調調整モードイネーブルフラグビットは現在ブロックが強調調整モードをイネーブルすることを許可し、強調調整モードイネーブルフラグビットが第2の値(例えば0)であれば、強調調整モードイネーブルフラグビットは現在ブロックが強調調整モードをイネーブルすることを許可しない。
1つの可能な実施形態において、当該符号化復号方法が予測プロセス(例えばフレーム内予測又はフレーム間予測)に適用されれば、現在画素点の元画素値はフレーム内予測又はフレーム間予測により得られた予測値であってもよく、現在画素点の調整画素値は現在画素点の目標画素値(予測プロセスの最終画素値)である。当該符号化復号方法がフィルタリングプロセスに適用されれば、現在画素点の元画素値はフィルタリング前の予測値であってもよく、現在画素点の調整画素値は現在画素点の目標画素値(フィルタリングプロセスの最終画素値)である。
以上の技術的解決手段から分かるように、本発明の実施例において、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、現在画素点の勾配値及び現在画素点の元画素値に基づいて、現在画素点の調整画素値を決定することができ、すなわち、現在画素点の勾配値に基づいて現在画素点の元画素値を調整し、現在画素点の調整画素値を元画素により近づけ、それにより符号化性能を向上させる。例えば、DBF、SAO及びALFなどのフィルタリングプロセスにおいて、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、現在画素点の勾配値に基づいて現在画素点の元画素値を調整することにより、フィルタリング効果を向上させ、符号化性能を向上させることができる。
1つの可能な実施形態において、現在ブロックにおける現在画素点が通常のフィルタリングモードのイネーブル条件を満たすと、さらに、現在画素点の元画素値に対してデブロッキングフィルタリング(すなわちDBFフィルタリング)を行い、現在画素点のフィルタリング画素値を得てもよい。もちろん、デブロッキングフィルタリングは単なる一例であり、他のフィルタリング方式を用いて現在画素点の元画素値に対してフィルタリングを行ってもよく、例えば、現在画素点の元画素値に対してSAOフィルタを行い、現在画素点のフィルタリング画素値を得てもよい。又は、現在画素点の元画素値に対してALFフィルタを行い、現在画素点のフィルタリング画素値を得る。
一例として、デブロッキングフィルタリングを例とし、ステップS11~ステップS13には、現在画素点の元画素値に対してデブロッキングフィルタリングを行い、現在画素点のフィルタリング画素値を得るプロセスが示され、ここでは重複する説明は省略する。
引き続き、ステップS11~ステップS13を参照し、これらのステップから分かるように、境界両側のブロックが非フレーム内モードブロックであり、残差がなく、且つ動きが一致する場合にのみ、フィルタリングプロセスをスキップし、それ以外の場合は、フィルタリングプロセスを行うことが必要である。フィルタリングプロセスを行う必要がある場合は、さらに、BSの値を取得してもよく、BSが0と等しければ、フィルタリングせず、すなわち、境界両側の画素に対してフィルタリングを行わず、BSが0より大きければ、境界両側の画素に対してフィルタリングを行う。以上をまとめると、境界両側のブロックが非フレーム内モードブロックであり、残差がなく、且つ動きが一致する場合、現在ブロックにおける現在画素点は通常のフィルタリングモードのイネーブル条件を満たさない。境界両側のブロックが非フレーム内モードブロックであり、残差がなく、且つ動きが一致することが成立せず(すなわち、境界両側のブロックが非フレーム内モードブロックでなく、又は境界両側のブロックに残差があり、又は境界両側のブロックの動きが一致しない)、且つBSが0に等しい場合、現在ブロックにおける現在画素点は通常のフィルタリングモードのイネーブル条件を満たさない。境界両側のブロックが非フレーム内モードブロックであり、残差がなく、且つ動きが一致することが成立せず、且つBSが0より大きい場合、現在ブロックにおける現在画素点は通常のフィルタリングモードのイネーブル条件を満たす。
なお、現在ブロックにおける現在画素点が通常のフィルタリングモードのイネーブル条件を満たすと、現在ブロックにおける現在画素点は強調調整モードのイネーブル条件を満たさず、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、現在ブロックにおける現在画素点は通常のフィルタリングモードのイネーブル条件を満たさないことに留意されたい。
現在画素点が通常のフィルタリングモードのイネーブル条件を満たし、且つ現在画素点の元画素値に対してデブロッキングフィルタリングを行い、現在画素点のフィルタリング画素値を得ることに加えて、現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすか否かを決定する必要がある。現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすと、現在画素点のフィルタリング画素値及び現在画素点の元画素値に基づいて、現在画素点の調整画素値を決定し、すなわち、現在画素点の調整画素値を現在画素点の目標画素値(デブロッキングフィルタリング処理の最終画素値)とする。現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たさないと、現在画素点のフィルタリング画素値を調整せず、現在画素点のフィルタリング画素値を現在画素点の目標画素値(デブロッキングフィルタリングプロセスの最終画素値)とする。
一例として、現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすと、現在画素点のフィルタリング画素値及び現在画素点の元画素値に基づいて、現在画素点の調整画素値を決定するステップは、現在画素点のフィルタリング画素値、現在画素点の元画素値、第1のフィルタリング閾値、第2のフィルタリング閾値、第1のフィルタリングオフセット値及び第2のフィルタリングオフセット値に基づいて、現在画素点の調整画素値を決定するステップを含んでもよいが、これに限定されない。
一例として、第1のフィルタリング閾値と第1のフィルタリング閾値は互いに反数であってもよく、もちろん、第1のフィルタリング閾値と第2のフィルタリング閾値は互いに反数でなくてもよく、第1のフィルタリング閾値及び第2のフィルタリング閾値を任意に設定することができる。
1つの可能な実施形態において、現在ブロックにおける現在画素点が通常のフィルタリングモードのイネーブル条件を満たすと、さらに、現在ブロックの隣接ブロックから現在画素点に対応する参照画素点を決定し、参照画素点の元画素値に対してデブロッキングフィルタリング(すなわちDBFフィルタリング)を行い、参照画素点のフィルタリング画素値を得てもよい。もちろん、デブロッキングフィルタリングは単なる一例であり、他のフィルタリング方式を用いて参照画素点の元画素値に対してフィルタリングを行ってもよく、例えば、参照画素点の元画素値に対してSAOフィルタリング又はALFフィルタリングを行い、参照画素点のフィルタリング画素値を得る。
一例として、デブロッキングフィルタリングを例とし、ステップS11~ステップS13には、参照画素点の元画素値に対してデブロッキングフィルタリングを行い、参照画素点のフィルタリング画素値を得るプロセスが示され、ここでは重複する説明は省略する。
一例として、参照画素点は隣接ブロックにおける、現在画素点に隣接する画素点であってもよく、参照画素点は隣接ブロックにおける、現在画素点に隣接しない画素点であってもよく、これについては限定しない。
現在画素点が通常のフィルタリングモードのイネーブル条件を満たし、且つ参照画素点の元画素値に対してデブロッキングフィルタリングを行い、参照画素点のフィルタリング画素値を得ることに加えて、現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすか否かを決定する必要がある。現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすと、参照画素点のフィルタリング画素値及び参照画素点の元画素値に基づいて、参照画素点の調整画素値を決定し、すなわち、参照画素点の調整画素値を参照画素点の目標画素値(デブロッキングフィルタリング処理の最終画素値)とする。現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たさないと、参照画素点のフィルタリング画素値を調整せず、参照画素点のフィルタリング画素値を参照画素点の目標画素値(デブロッキングフィルタリングプロセスの最終画素値)とする。
一例として、参照画素点のフィルタリング画素値及び参照画素点の元画素値に基づいて、参照画素点の調整画素値を決定するステップは、参照画素点のフィルタリング画素値、参照画素点の元画素値、第3のフィルタリング閾値、第4のフィルタリング閾値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値に基づいて、参照画素点の調整画素値を決定するステップを含んでもよいが、これに限定されず、ここで、第3のフィルタリング閾値と第4のフィルタリング閾値は互いに反数であってもよく、もちろん、第3のフィルタリング閾値と第4のフィルタリング閾値は互いに反数でなくてもよく、第3のフィルタリング閾値と第4のフィルタリング閾値を任意に設定することができる。
1つの可能な実施形態において、ハイレベルシンタックスから現在ブロックに対応する第1のフィルタリング閾値、第2のフィルタリング閾値、第1のフィルタリングオフセット値、第2のフィルタリングオフセット値、第3のフィルタリング閾値、第4のフィルタリング閾値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値を解析してもよい。又は、ハイレベルシンタックスから現在ブロックに対応する第1のフィルタリング閾値、第1のフィルタリングオフセット値、第2のフィルタリングオフセット値、第3のフィルタリング閾値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値を解析してもよい。又は、ハイレベルシンタックスから現在ブロックに対応する第2のフィルタリング閾値、第1のフィルタリングオフセット値、第2のフィルタリングオフセット値、第3のフィルタリング閾値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値を解析してもよい。又は、ハイレベルシンタックスから現在ブロックに対応する第1のフィルタリング閾値、第1のフィルタリングオフセット値、第2のフィルタリングオフセット値、第4のフィルタリング閾値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値を解析してもよい。又は、ハイレベルシンタックスから現在ブロックに対応する第2のフィルタリング閾値、第1のフィルタリングオフセット値、第2のフィルタリングオフセット値、第4のフィルタリング閾値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値を解析してもよい。
一例として、第1のフィルタリング閾値と第2のフィルタリング閾値が互いに反数であれば、ハイレベルシンタックスから第1のフィルタリング閾値を解析すると、第2のフィルタリング閾値を導出することができ、ハイレベルシンタックスから第2のフィルタリング閾値を解析すると、第1のフィルタリング閾値を導出することができる。第3のフィルタリング閾値と第4のフィルタリング閾値が互いに反数であれば、ハイレベルシンタックスから第3のフィルタリング閾値を解析すると、第4のフィルタリング閾値を導出することができ、ハイレベルシンタックスから第4のフィルタリング閾値を解析すると、第3のフィルタリング閾値を導出することができる。
1つの可能な実施形態において、現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすことは、現在ブロックにおける現在画素点に対応するフィルタリング対象境界の境界強度が強調フィルタリングモードのイネーブル条件を満たし、且つ現在画素点のフィルタリング画素値と現在画素点の元画素値との差分の絶対値が所定の閾値(当該所定の閾値は正値であり、この所定の閾値については限定せず、例えば、第1のフィルタリング閾値と第2のフィルタリング閾値が互いに反数であれば、第1のフィルタリング閾値が正値の場合、当該所定の閾値は第1のフィルタリング閾値と同じであり、第2のフィルタリング閾値が正値の場合、当該所定の閾値は第2のフィルタリング閾値と同じであり、もちろん、所定の閾値は他の値であってもよい)より大きければ、現在画素点が強調フィルタリングモードのイネーブル条件を満たすと決定することを含み得るが、これに限定されない。一例として、現在ブロックにおける現在画素点に対応するフィルタリング対象境界の境界強度が強調フィルタリングモードのイネーブル条件を満たすことは、現在画素点に対応するフィルタリング対象境界の境界強度が所定の第2の数値(所定の第1の数値とは異なり、すなわち、0ではなく、例えば、所定の第2の数値は0より大きくてもよい)であれば、フィルタリング対象境界の境界強度が強調フィルタリングモードのイネーブル条件を満たすと決定することを含んでもよいが、これに限定されない。
一例として、現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすと決定する前には、まず、現在ブロックに対応する強調フィルタリングモードイネーブルフラグビットを取得し、現在ブロックに対応する強調フィルタリングモードイネーブルフラグビットは現在ブロックが強調フィルタリングモードをイネーブルすることを許可すると、現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすか否かを決定し、すなわち、現在画素点が強調フィルタリングモードのイネーブル条件を満たし、又は、強調フィルタリングモードのイネーブル条件を満たさないと決定する。
又は、現在ブロックに対応する強調フィルタリングモードイネーブルフラグビットは現在ブロックが強調フィルタリングモードをイネーブルすることを許可しないと、現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たさないと直接決定する。
一例として、復号側は、ハイレベルシンタックスから現在ブロックに対応する強調フィルタリングモードイネーブルフラグビットを解析し、続いて強調フィルタリングモードイネーブルフラグビットに基づいて現在ブロックが強調フィルタリングモードをイネーブルすることを許可するか否かを決定してもよい。
例えば、強調フィルタリングモードイネーブルフラグビットが第1の値(例えば1)であれば、強調フィルタリングモードイネーブルフラグビットは現在ブロックが強調フィルタリングモードをイネーブルすることを許可し、強調フィルタリングモードイネーブルフラグビットが第2の値(例えば0)であれば、強調フィルタリングモードイネーブルフラグビットは現在ブロックが強調フィルタリングモードをイネーブルすることを許可しない。
一例として、上記実施例において、ハイレベルシンタックスは、シーケンスパラメータセットSPSレベルのハイレベルシンタックス、画像パラメータセットPPSレベルのハイレベルシンタックス、画像ヘッダレベルのハイレベルシンタックス、画像レベルのハイレベルシンタックス、スライスヘッダレベルのハイレベルシンタックス、符号化ツリーユニットCTUレベルのハイレベルシンタックス、符号化ユニットCUレベルのハイレベルシンタックスのうちの1つを含んでもよいが、これらに限定されない。
一例として、上記実施例において、現在ブロックにおける現在画素点の画素値は輝度成分又は色度成分であってもよい。
以上の技術的解決手段から分かるように、現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすと、現在画素点のフィルタリング画素値及び現在画素点の元画素値に基づいて、現在画素点の調整画素値を決定することができ、すなわち、現在画素点のフィルタリング画素値に基づいて現在画素点の元画素値を調整し、現在画素点の調整画素値を元画素により近づけ、それにより符号化性能を向上させる。例えば、DBF、SAO及びALFなどのフィルタリングプロセスにおいて、現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすと、現在画素点のフィルタリング画素値に基づいて現在画素点の元画素値を調整することにより、フィルタリング効果を向上させ、符号化性能を向上させることができる。
実施例2:フィルタリング処理を行う必要がある場合は、まず、フィルタリングプロセスをスキップするか否かを判断する必要があり、例えば、境界両側のブロック(すなわち現在ブロックと現在ブロックの隣接ブロックであり、垂直境界に対しては、現在ブロックの左側の隣接ブロックであり、水平境界に対しては、現在ブロックの上側の隣接ブロックである)は非フレーム内モードブロック(すなわち現在ブロックと隣接ブロックはいずれもフレーム内ブロックではない)であり、残差がなく(すなわち現在ブロックと隣接ブロックとの間に残差がなく)、且つ動きが一致する(すなわち現在ブロックと隣接ブロックとの動きが一致する)場合は、フィルタリングプロセスをスキップし、それ以外の場合は、フィルタリングプロセスをスキップしない。これに基づき、「フィルタリングプロセスをスキップすること」を強調調整モードのイネーブル条件とすることができ、すなわち、現在ブロックにおける現在画素点に対してフィルタリングプロセスをスキップすれば、現在ブロックにおける現在画素点は強調調整モードのイネーブル条件を満たす。現在画素点が強調調整モードのイネーブル条件を満たす場合、強調調整モードを用いて現在画素点の元画素値を調整することができ、それにより画素値を元画素により近づける。
一例として、現在ブロックに対応する特徴情報が強調調整モードのイネーブル条件を満たすと、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと決定する。現在ブロックに対応する特徴情報は境界両側のブロックが非フレーム内モードブロックであるか否かを表すために用いられ、境界両側のブロックに残差がないか否かを表すために用いられ、また、境界両側のブロックの動きが一致するか否かを表すために用いられる。これに基づき、現在ブロックに対応する特徴情報は境界両側のブロックが非フレーム内モードブロックであることを表すために用いられ、且つ境界両側のブロックに残差がないことを表すために用いられ、且つ境界両側のブロックの動きが一致することを表すために用いられる場合、現在ブロックに対応する特徴情報が強調調整モードのイネーブル条件を満たすことが示され、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと決定し、すなわち、現在ブロックにおける各画素点が強調調整モードのイネーブル条件を満たす。又は、現在ブロックに対応する特徴情報は境界両側のブロックがいずれも非フレーム内モードブロックであるわけではないことを表すために用いられ、及び/又は、現在ブロックに対応する特徴情報は境界両側のブロックに残差があることを表すために用いられ、及び/又は、現在ブロックに対応する特徴情報は境界両側のブロックの動きが一致しないことを表すために用いられる場合、現在ブロックに対応する特徴情報が強調調整モードのイネーブル条件を満たさないことが示され、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たさないと決定し、すなわち、現在ブロックにおける各画素点がいずれも強調調整モードのイネーブル条件を満たさない。
一例として、現在画素点が強調調整モードのイネーブル条件を満たす場合、強調調整モードを用いて現在画素点の元画素値を調整してもよく、例えば、まず、現在画素点の元画素値に基づいて現在画素点の勾配値を決定し、現在画素点の勾配値及び現在画素点の元画素値に基づいて、現在画素点の調整画素値を決定してもよく、調整画素値の決定プロセスについては、後続する実施例を参照することができ、ここでは重複する説明は省略する。
実施例3:フィルタリング処理を行う必要がある場合は、まず、フィルタリングプロセスをスキップするか否かを判断する必要があり、例えば、境界両側のブロックがいずれも非フレーム内モードブロックであり、残差がなく、且つ動きが一致する場合、フィルタリングプロセスをスキップし、それ以外の場合、フィルタリングプロセスをスキップしない。フィルタリングプロセスをスキップしない場合は、さらに、BS値を決定してもよく、BS値が0より大きければ(例えばBS値が1、2、3、4など)、境界両側の画素に対してフィルタリングを行ってもよい。BS値が0であれば、フィルタリングせず、すなわち、境界両側の画素に対してフィルタリングを行わない。これに基づき、「BS値が0であること」を強調調整モードのイネーブル条件とすることができ、すなわち、現在ブロックにおける現在画素点のBS値が0であれば、現在ブロックにおける現在画素点は強調調整モードのイネーブル条件を満たし、現在ブロックにおける現在画素点のBS値が0より大きければ、現在ブロックにおける現在画素点は強調調整モードのイネーブル条件を満たさない。
一例として、現在ブロックにおける現在画素点に対応するフィルタリング対象境界の境界強度が強調調整モードのイネーブル条件を満たすと、現在画素点が強調調整モードのイネーブル条件を満たすと決定する。例えば、まず現在画素点に対応するフィルタリング対象境界の境界強度を決定し、当該境界強度が所定の第1の数値であれば、当該境界強度が強調調整モードのイネーブル条件を満たすと決定してもよい。当該所定の第1の数値は経験に基づいて配置することができ、例えば、所定の第1の数値は0である。以上をまとめると、現在画素点に対応するフィルタリング対象境界の境界強度が0であれば、現在画素点に対応するフィルタリング対象境界の境界強度が強調調整モードのイネーブル条件を満たすことが示され、現在画素点が強調調整モードのイネーブル条件を満たすと決定する。
又は、現在ブロックにおける現在画素点に対応するフィルタリング対象境界の境界強度が強調調整モードのイネーブル条件を満たさないと、現在画素点が強調調整モードのイネーブル条件を満たさないと決定する。例えば、現在画素点に対応するフィルタリング対象境界の境界強度が所定の第1の数値でなければ、当該境界強度が強調調整モードのイネーブル条件を満たさないと決定し、それにより現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たさないと決定することができる。
一例として、現在画素点が強調調整モードのイネーブル条件を満たす場合は、強調調整モードを用いて現在画素点の元画素値を調整することができ、それにより画素値を元画素により近づける。例えば、まず、現在画素点の元画素値に基づいて現在画素点の勾配値を決定し、現在画素点の勾配値及び現在画素点の元画素値に基づいて、現在画素点の調整画素値を決定してもよく、調整画素値の決定プロセスは、後続する実施例を参照することができる。
実施例4:フィルタリング処理を行う必要がある場合は、まず、フィルタリングプロセスをスキップするか否かを判断する必要があり、例えば、境界両側のブロックがいずれも非フレーム内モードブロックであり、残差がなく、且つ動きが一致する場合、フィルタリングプロセスをスキップし、それ以外の場合、フィルタリングプロセスをスキップしない。フィルタリングプロセスをスキップしない場合は、さらに、BS値を決定してもよく、BS値が0より大きければ(例えばBS値が1、2、3、4など)、境界両側の画素に対してフィルタリングを行ってもよい。BS値が0であれば、フィルタリングせず、すなわち、境界両側の画素に対してフィルタリングを行わない。これに基づき、「BS値が0であること」を通常のフィルタリングモードのイネーブル条件とすることができ、すなわち、現在ブロックにおける現在画素点のBS値が0より大きければ、現在ブロックにおける現在画素点は通常のフィルタリングモードのイネーブル条件を満たし、現在ブロックにおける現在画素点のBS値が0と等しければ、現在ブロックにおける現在画素点は通常のフィルタリングモードのイネーブル条件を満たさない。
一例として、現在ブロックにおける現在画素点に対応するフィルタリング対象境界の境界強度が通常のフィルタリングモードのイネーブル条件を満たすと、現在画素点が通常のフィルタリングモードのイネーブル条件を満たすと決定する。例えば、まず現在画素点に対応するフィルタリング対象境界の境界強度を決定し、当該境界強度が所定の第2の数値であれば、当該境界強度が通常のフィルタリングモードのイネーブル条件を満たすと決定してもよい。当該所定の第2の数値は経験に基づいて配置することができ、例えば、所定の第2の数値は0より大きくてもよく、例えば、所定の第2の数値は1、2、3、4などであってもよい。以上をまとめると、現在画素点に対応するフィルタリング対象境界の境界強度が0より大きければ(すなわち境界強度が0ではない)、現在画素点に対応するフィルタリング対象境界の境界強度が通常のフィルタリングモードのイネーブル条件を満たすことが示され、現在画素点が通常のフィルタリングモードのイネーブル条件を満たすと決定する。
又は、現在ブロックにおける現在画素点に対応するフィルタリング対象境界の境界強度が通常のフィルタリングモードのイネーブル条件を満たさないと、現在画素点が通常のフィルタリングモードのイネーブル条件を満たさないと決定する。例えば、現在画素点に対応するフィルタリング対象境界の境界強度(例えば0)が所定の第2の数値でなければ、当該境界強度が通常のフィルタリングモードのイネーブル条件を満たさないと決定し、それにより現在ブロックにおける現在画素点が通常のフィルタリングモードのイネーブル条件を満たさないと決定することができる。
一例として、現在画素点が通常のフィルタリングモードのイネーブル条件を満たす場合は、さらに、現在画素点の元画素値に対してデブロッキングフィルタリング(すなわちDBFフィルタリング、本明細書では、デブロッキングフィルタリングを例とする)を行い、現在画素点のフィルタリング画素値を得てもよい。
実施例5:現在ブロックにおける現在画素点が通常のフィルタリングモードのイネーブル条件を満たし、且つ現在画素点の元画素値に対してデブロッキングフィルタリングを行い、現在画素点のフィルタリング画素値を得ることに加えて、現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすか否かを決定してもよい。例えば、現在画素点のフィルタリング画素値と現在画素点の元画素値との差分の絶対値が所定の閾値より大きいか否かを決定し、所定の閾値より大きければ、現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすと決定し、所定の閾値より大きくなければ、現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たさないと決定する。以上をまとめると、現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすことは、現在ブロックにおける現在画素点に対応するフィルタリング対象境界の境界強度が強調フィルタリングモードのイネーブル条件を満たし、且つ現在画素点のフィルタリング画素値と現在画素点の元画素値との差分の絶対値が所定の閾値より大きければ、現在画素点が強調フィルタリングモードのイネーブル条件を満たすと決定することを含み得る。
以下、具体的な実施例に合わせて、強調フィルタリングモードのイネーブル条件について説明する。
フィルタリング処理を行う必要がある場合は、まず、フィルタリングプロセスをスキップするか否かを判断する必要があり、フィルタリングプロセスをスキップしない場合、さらに、BS値を決定してもよく、BS値が0より大きければ、境界両側の画素に対してフィルタリングを行ってもよい。これに基づき、「BSの値が0より大きいこと」を強調フィルタリングモードのイネーブル条件とすることができ、すなわち、「BSの値が0より大きいこと」を通常のフィルタリングモード及び強調フィルタリングモードの両方のイネーブル条件とすることができる。BS値が0より大きい場合は、現在画素点の元画素値に対してデブロッキングフィルタリングを行い、現在画素点のフィルタリング画素値を得る必要がある。現在画素点のフィルタリング画素値を得た後、さらに、現在画素点のフィルタリング画素値と現在画素点の元画素値との差分の絶対値が所定の閾値より大きいか否かを決定し、「差分の絶対値が所定の閾値より大きいこと」を強調フィルタリングモードのイネーブル条件とすることができる。
以上をまとめると、現在ブロックにおける現在画素点に対応するフィルタリング対象境界の境界強度が強調フィルタリングモードのイネーブル条件を満たし、且つ現在画素点のフィルタリング画素値と現在画素点の元画素値との差分の絶対値が所定の閾値より大きければ、現在画素点が強調フィルタリングモードのイネーブル条件を満たすと決定する。それ以外の場合、現在画素点が強調フィルタリングモードのイネーブル条件を満たさないと決定する。例えば、まず現在画素点に対応するフィルタリング対象境界の境界強度を決定し、当該境界強度が所定の第2の数値であれば、当該境界強度が強調フィルタリングモードのイネーブル条件を満たすと決定する。所定の第2の数値は経験に基づいて配置することができ、例えば、所定の第2の数値は0より大きくてもよく、例えば、所定の第2の数値は1、2、3、4などであってもよい。
一例として、現在画素点が強調フィルタリングモードのイネーブル条件を満たす場合は、現在画素点のフィルタリング画素値及び現在画素点の元画素値に基づいて、現在画素点の調整画素値を決定し、すなわち、現在画素点の調整画素値を現在画素点の目標画素値(デブロッキングフィルタリング処理の最終画素値)とすることができる。現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たさない場合は、現在画素点のフィルタリング画素値を調整せず、現在画素点のフィルタリング画素値を現在画素点の目標画素値(デブロッキングフィルタリングプロセスの最終画素値)とする。
上記実施例1、2、3、4、5から分かるように、本明細書は強調調整モード、通常のフィルタリングモード及び強調フィルタリングモードに関し、強調調整モード、通常のフィルタリングモード又は強調フィルタリングモードに基づいて現在画素点の元画素値を処理し、現在画素点の目標画素値(すなわち最終画素値)を得てもよい。例えば、現在画素点が強調調整モードのイネーブル条件を満たすと、強調調整モードで、現在画素点の勾配値に基づいて現在画素点の元画素値を調整し、現在画素点の調整画素値を得、当該調整画素値を目標画素値としてもよい。また例えば、現在画素点が通常のフィルタリングモードのイネーブル条件を満たすが、強調フィルタリングモードのイネーブル条件を満たさないと、通常のフィルタリングモードで、現在画素点の元画素値をフィルタリングし、現在画素点のフィルタリング画素値を得、当該フィルタリング画素値を目標画素値としてもよい。また例えば、現在画素点が通常のフィルタリングモードのイネーブル条件を満たし、且つ強調フィルタリングモードのイネーブル条件を満たすと、強調フィルタリングモードで、現在画素点の元画素値をフィルタリングし、現在画素点のフィルタリング画素値を得、現在画素点のフィルタリング画素値に基づいて現在画素点の元画素値を調整し、現在画素点の調整画素値を得、当該調整画素値を目標画素値としてもよい。
1つの可能な実施形態において、現在ブロックに対してデブロッキングフィルタリングを行う時、強調調整モード、通常のフィルタリングモード又は強調フィルタリングモードを用いて現在画素点の元画素値を処理することができ、すなわち、強調調整モード、通常のフィルタリングモード及び強調フィルタリングモードはいずれもデブロッキングフィルタリングモードに属し、すなわち、強調調整モード、通常のフィルタリングモード及び強調フィルタリングモードはデブロッキングフィルタリングモードにおけるサブモードであってもよい。これに基づき、デブロッキングフィルタリングモードでは、強調調整モードを用いて現在画素点の元画素値を処理し、又は、通常のフィルタリングモードを用いて現在画素点の元画素値を処理し、又は、強調フィルタリングモードを用いて現在画素点の元画素値を処理すると決定してもよい。
もちろん、強調調整モード、通常のフィルタリングモード及び強調フィルタリングモードは、例えば、SAOフィルタリングモード又はALFフィルタリングモードなど、他のタイプのフィルタリングモードに属してもよく、すなわち、強調調整モード、通常のフィルタリングモード及び強調フィルタリングモードはSAOフィルタリングモードにおけるサブモードであってもよく、又は、強調調整モード、通常のフィルタリングモード及び強調フィルタリングモードはALFフィルタリングモードにおけるサブモードであってもよい。これに基づき、SAOフィルタリングモード又はALFフィルタリングモードでは、強調調整モードを用いて現在画素点の元画素値を処理し、又は、通常のフィルタリングモードを用いて現在画素点の元画素値を処理し、又は、強調フィルタリングモードを用いて現在画素点の元画素値を処理すると決定してもよい。
例示的に、強調調整モード、通常のフィルタリングモード及び強調フィルタリングモードがいずれもデブロッキングフィルタリングモードに属することを例とすると、通常のフィルタリングモードはデブロッキングフィルタリングモードの通常のモードと呼ぶことができ、すなわち、現在画素点の元画素値に対してデブロッキングフィルタリングを行ってフィルタリング画素値を得た後、デブロッキングフィルタリングされたフィルタリング画素値を調整しない。強調フィルタリングモードはデブロッキングフィルタリング調整モード(deblocking refinement、DBRと略称する)と呼ぶことができ、すなわち、現在画素点の元画素値に対してデブロッキングフィルタリングを行ってフィルタリング画素値を得た後、さらに、デブロッキングフィルタリングされたフィルタリング画素値を調整する必要がある。強調調整モードは代替的デブロッキングフィルタリング調整モード(alt deblocking refinement、ADBRと略称)と呼ぶことができ、すなわち、現在画素点の元画素値に対してデブロッキングフィルタリングを行わない上で、現在画素点の元画素値を直接調整する。
実施例6:実施例1、実施例2及び実施例3に対して、強調調整モードを用いて現在画素点の元画素値を調整してもよく、元画素値を調整する時、以下のステップを用いてもよい。
ステップS21において、現在画素点の元画素値及び現在画素点の周辺画素点の元画素値に基づいて現在画素点の勾配値を決定する。例えば、現在画素点の勾配値は、現在画素点の元画素値と周辺画素点の元画素値との差分に基づいて決定されてもよく、この決定方式については限定しない。
ステップS22において、現在ブロックの隣接ブロック(垂直境界に対しては、当該隣接ブロックは現在ブロックの左側の隣接ブロックであり、水平境界に対しては、当該隣接ブロックは現在ブロックの上側の隣接ブロックである)から現在画素点に対応する参照画素点を決定し、参照画素点の元画素値及び参照画素点の周辺画素点の元画素値に基づいて参照画素点の勾配値を決定する。例えば、参照画素点の勾配値は、参照画素点の元画素値と参照画素点の周辺画素点の元画素値との差分に基づいて決定されてもよく、この決定方式については限定しない。
一例として、現在画素点の元画素値及び現在画素点の周辺画素点(例えば周辺画素点は参照画素点である)の元画素値に基づいて現在画素点の勾配値を決定し、参照画素点の周辺画素点(例えば周辺画素点は現在画素点である)の元画素値及び参照画素点の元画素値に基づいて参照画素点の勾配値を決定する。
例えば、piが現在ブロックにおける現在画素点の元画素値であり、すなわち、参照画素点の周辺画素点の元画素値であり、qiが隣接ブロックにおける参照画素点の元画素値であり、すなわち、現在画素点の周辺画素点の元画素値であり、すなわち、piとqiはそれぞれ境界両側の元画素値であるとすると、現在画素点piの勾配値DPiは、DPi=(pi-qi+2)>>2により決定されてもよく、参照画素点qiの勾配値DQiは、DQi=(qi-pi+2)>>2により決定されてもよい。もちろん、以上は現在画素点の勾配値及び参照画素点の勾配値を決定する例に過ぎず、これについては限定しない。明らかに、現在画素点の勾配値は、現在画素点の元画素値と周辺画素点の元画素値との差分に基づいて決定され得る。参照画素点の勾配値は、参照画素点の元画素値と現在画素点の元画素値との差分に基づいて決定され得る。
現在画素点piがp0(図3のR0に対応する)であり、参照画素点qiがq0(図3のL0に対応する)であることを例とし、現在画素点p0の勾配値DP0は、DP0=(p0-q0+2)>>2により決定され、参照画素点q0の勾配値DQ0は、DQ0=(q0-p0+2)>>2により決定される。DP0=(p0-q0+2)>>2の別の表現は、DP0=(p0-q0+1)>>1であり、DQ0=(q0-p0+2)>>2の別の表現は、DQ0=(q0-p0+1)>>1である。
ステップS23において、現在画素点の勾配値及び現在画素点の元画素値に基づいて、現在画素点の調整画素値を決定する。例えば、現在画素点の勾配値が第1の調整閾値より大きければ、現在画素点の元画素値及び第1の調整オフセット値(第1の調整オフセット量と呼ばれてもよい)に基づいて現在画素点の調整画素値を決定する。現在画素点の勾配値が第2の調整閾値より小さければ、現在画素点の元画素値及び第2の調整オフセット値に基づいて現在画素点の調整画素値を決定する。一例として、第1の調整閾値と第2の調整閾値は互いに反数であってもよい。
ステップS24において、参照画素点の勾配値及び参照画素点の元画素値に基づいて、参照画素点の調整画素値を決定する。例えば、参照画素点の勾配値が第3の調整閾値より大きければ、参照画素点の元画素値及び第3の調整オフセット値(第3の調整オフセット量と呼ばれてもよい)に基づいて参照画素点の調整画素値を決定する。参照画素点の勾配値が第4の調整閾値より小さければ、参照画素点の元画素値及び第4の調整オフセット値に基づいて参照画素点の調整画素値を決定する。一例として、第3の調整閾値と第4の調整閾値は互いに反数であってもよい。
例えば、現在画素点piの勾配値DPiがalt_dbr_th(alt_dbr_thは第1の調整閾値を表す)より大きければ、現在画素点piの調整画素値Piは、Pi=clip(pi+alt_dbr_offset0)により決定されてもよく、alt_dbr_offset0は第1の調整オフセット値を表すことができる。又は、現在画素点piの勾配値DPiが-alt_dbr_th(-alt_dbr_thは第2の調整閾値を表す)より小さければ、現在画素点piの調整画素値Piは、Pi=clip(pi+alt_dbr_offset1)により決定されてもよく、alt_dbr_offset1は第2の調整オフセット値を表すことができる。
上記実施例において、iは0、1、2であってもよく、iが0であることを例として説明すると、DP0>dbr_thであれば、p0=clip(p0+alt_dbr_offset0)となり、DP0<-dbr_thであれば、p0=clip(p0+alt_dbr_offset1)となる。
例えば、参照画素点qiの勾配値DQiがalt_dbr_th(alt_dbr_thは第3の調整閾値を表し、ここで、第3の調整閾値が第1の調整閾値と同じであることを例とし、実際の適用では、第3の調整閾値は第1の調整閾値と異なってもよい)より大きければ、参照画素点qiの調整画素値Qiは、Qi=clip(qi+alt_dbr_offset0)により決定されてもよく、alt_dbr_offset0は第3の調整オフセット値を表すことができ、ここで、第3の調整オフセット値が第1の調整オフセット値と同じであることを例とし、実際の適用では、第3の調整オフセット値は第1の調整オフセット値と異なってもよい。
又は、参照画素点qiの勾配値DQiが-alt_dbr_th(-alt_dbr_thは第4の調整閾値を表し、ここで、第4の調整閾値が第2の調整閾値と同じであることを例とし、実際の適用では、第4の調整閾値は第2の調整閾値と異なってもよい)より小さければ、参照画素点qiの調整画素値Qiは、Qi=clip(qi+alt_dbr_offset1)により決定されてもよく、alt_dbr_offset1は第4の調整オフセット値を表すことができ、ここで、第4の調整オフセット値が第2の調整オフセット値と同じであることを例とし、実際の適用では、第4の調整オフセット値は第2の調整オフセット値と異なってもよい。
上記実施例において、iは0、1、2であってもよく、iが0であることを例として説明すると、DQ0>dbr_thであれば、Q0=clip(q0+alt_dbr_offset0)となり、DQ0<-dbr_thであれば、Q0=clip(q0+alt_dbr_offset1)となる。
上記実施例において、piは現在画素点の元画素値を表し、DPiは現在画素点の勾配値を表し、Piは現在画素点の調整画素値を表し、qiは参照画素点の元画素値を表し、DQiは参照画素点の勾配値を表し、Qiは参照画素点の調整画素値を表す。clip(x)は、xを[0,2^(lbit_depth)-1]の間(0と2^(bit_depth)-1を含む)に制限することを表し、bit_depthは画像のビット深度を表し、一般的には、8、10、12などである。
1つの可能な実施形態において、復号側は、ハイレベルシンタックスから現在ブロックに対応する第1の調整閾値、第1の調整オフセット値、第2の調整オフセット値、第3の調整閾値、第3の調整オフセット値及び第4の調整オフセット値を解析してもよい。第1の調整閾値と第2の調整閾値は互いに反数であり、第3の調整閾値と第4の調整閾値は互いに反数であるため、復号側は第2の調整閾値と第4の調整閾値を決定することができる。
別の可能な実施形態において、復号側は、ハイレベルシンタックスから現在ブロックに対応する第1の調整閾値、第1の調整オフセット値、第2の調整オフセット値、第4の調整閾値、第3の調整オフセット値及び第4の調整オフセット値を解析してもよい。第1の調整閾値と第2の調整閾値は互いに反数であり、第3の調整閾値と第4の調整閾値は互いに反数であるため、復号側は第2の調整閾値と第3の調整閾値を決定することができる。
別の可能な実施形態において、復号側には、ハイレベルシンタックスから現在ブロックに対応する第2の調整閾値、第1の調整オフセット値、第2の調整オフセット値、第3の調整閾値、第3の調整オフセット値及び第4の調整オフセット値を解析してもよい。第1の調整閾値と第2の調整閾値は互いに反数であり、第3の調整閾値と第4の調整閾値は互いに反数であるため、復号側は第1の調整閾値と第4の調整閾値を決定することができる。
別の可能な実施形態において、復号側には、ハイレベルシンタックスから現在ブロックに対応する第2の調整閾値、第1の調整オフセット値、第2の調整オフセット値、第4の調整閾値、第3の調整オフセット値及び第4の調整オフセット値を解析してもよい。第1の調整閾値と第2の調整閾値は互いに反数であり、第3の調整閾値と第4の調整閾値は互いに反数であるため、復号側は第1の調整閾値と第3の調整閾値を決定することができる。
別の可能な実施形態において、復号側は、ハイレベルシンタックスから現在ブロックに対応する第1の調整閾値(又は第2の調整閾値、又は第3の調整閾値、又は第4の調整閾値、すなわち、1つの調整閾値により他の3つの調整閾値を導出することができる)、第1の調整オフセット値(又は第3の調整オフセット値)及び第2の調整オフセット値(又は第4の調整オフセット値)を解析してもよい。これに基づき、第1の調整閾値と第2の調整閾値は互いに反数であるため、第2の調整閾値を決定することができる。第1の調整閾値と第3の調整閾値は同じであるため、第3調整閾値を決定することができる。第3の調整オフセット値と第1の調整オフセット値は同じであるため、第3の調整オフセット値を決定することができる。第4の調整オフセット値と第2の調整オフセット値は同じであるため、第4の調整オフセット値を決定することができる。第3の調整閾値と第4の調整閾値は互いに反数であるため、第4の調整閾値を決定することができる。
もちろん、上記形態はいくつかの例に過ぎず、復号化側が第1の調整閾値、第2の調整閾値、第3の調整閾値、第4の調整閾値、第1の調整オフセット値、第2の調整オフセット値、第3の調整オフセット値及び第4の調整オフセット値を取得できれば、これについては限定せず、すなわち、上記各数値は解析又は導出によって得ることができる。
上記実施例において、ハイレベルシンタックスは、SPSレベルのハイレベルシンタックス、PPSレベルのハイレベルシンタックス、画像ヘッダレベルのハイレベルシンタックス、画像レベルのハイレベルシンタックス、スライスヘッダレベルのハイレベルシンタックス、CTUレベルのハイレベルシンタックス、CUレベルのハイレベルシンタックスのうちの1つを含み得るが、これらに限定されない。もちろん、以上はハイレベルシンタックスのいくつかの例に過ぎず、ハイレベルシンタックスによって現在ブロックに対応する調整閾値及び調整オフセット値を付加することができれば、このハイレベルシンタックスのタイプについては限定しない。
上記実施例において、現在ブロックにおける現在画素点の画素値は輝度成分又は色度成分であってもよい。
1つの可能な実施形態において、強調調整モードイネーブルフラグビットにより強調調整モードをイネーブルすることを許可するか否かを表してもよく、強調調整モードイネーブルフラグビットは現在ブロックが強調調整モードをイネーブルすることを許可すると、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすか否かを決定する必要があり、現在画素点が強調調整モードのイネーブル条件を満たすと、強調調整モードを用いて現在画素点の元画素値を調整する。強調調整モードイネーブルフラグビットは現在ブロックが強調調整モードをイネーブルすることを許可しないと、現在ブロックにおける各画素点が強調調整モードのイネーブル条件を満たさないと直接決定し、強調調整モードを用いて現在画素点の元画素値を調整することはない。これに基づき、現在ブロックに対応する強調調整モードイネーブルフラグビットは現在ブロックが強調調整モードをイネーブルすることを許可すると、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすか否かを決定する。現在ブロックに対応する強調調整モードイネーブルフラグビットは現在ブロックが強調調整モードをイネーブルすることを許可しないと、現在ブロックにおける各画素点が強調調整モードのイネーブル条件を満たさないと決定する。
一例として、復号側は、ハイレベルシンタックスから現在ブロックに対応する強調調整モードイネーブルフラグビットを解析してもよい。例えば、当該強調調整モードイネーブルフラグビットが第1の値(例えば1)であれば、強調調整モードイネーブルフラグビットは現在ブロックが強調調整モードをイネーブルすることを許可することが示され、当該強調調整モードイネーブルフラグビットが第2の値(例えば0)であれば、強調調整モードイネーブルフラグビットは現在ブロックが強調調整モードをイネーブルすることを許可しないことが示される。
上記実施例において、ハイレベルシンタックスは、SPSレベルのハイレベルシンタックス、PPSレベルのハイレベルシンタックス、画像ヘッダレベルのハイレベルシンタックス、画像レベルのハイレベルシンタックス、スライスヘッダレベルのハイレベルシンタックス、CTUレベルのハイレベルシンタックス、CUレベルのハイレベルシンタックスのうちの1つを含み得るが、これらに限定されない。もちろん、以上はハイレベルシンタックスのいくつかの例に過ぎず、ハイレベルシンタックスによって現在ブロックに対応する強調調整モードイネーブルフラグビットを付加することができれば、このハイレベルシンタックスのタイプについては限定しない。
実施例7:実施例1及び実施例5に対して、強調フィルタリングモードを用いて現在画素点の元画素値を調整してもよく、現在画素点の元画素値を調整する時、以下のステップを用いてもよい。
ステップS31において、現在画素点の元画素値に対してデブロッキングフィルタリングを行い、現在画素点のフィルタリング画素値を得る。
ステップS32において、現在ブロックの隣接ブロック(垂直境界に対しては、当該隣接ブロックは現在ブロックの左側の隣接ブロックであり、水平境界に対しては、当該隣接ブロックは現在ブロックの上側の隣接ブロックである)から現在画素点に対応する参照画素点を決定し、参照画素点の元画素値に対してデブロッキングフィルタリングを行い、参照画素点のフィルタリング画素値を得る。
一例として、DBFフィルタリング(すなわちデブロッキングフィルタリング)方式を用いて現在画素点の元画素値に対してデブロッキングフィルタリングを行い、現在画素点のフィルタリング画素値を得、DBFフィルタリング方式を用いて参照画素点の元画素値に対してデブロッキングフィルタリングを行い、参照画素点のフィルタリング画素値を得る。もちろん、SAOフィルタリング方式を用いて現在画素点の元画素値に対してフィルタリングを行い、現在画素点のフィルタリング画素値を得、SAOフィルタリング方式を用いて参照画素点の元画素値に対してフィルタリングを行い、参照画素点のフィルタリング画素値を得てもよい。又は、ALFフィルタリング方式を用いて現在画素点の元画素値に対してフィルタリングを行い、現在画素点のフィルタリング画素値を得、ALFフィルタリング方式を用いて参照画素点の元画素値に対してフィルタリングを行い、参照画素点のフィルタリング画素値を得てもよい。説明の便宜上、後続する実施例において、DBFフィルタリング方式を用いて現在画素点及び参照画素点の元画素値に対してデブロッキングフィルタリングを行うことを例とする。
図3に示すように、現在画素点の位置に基づいて、現在画素点及び参照画素点に対して水平DBFフィルタリングのみを行ってもよく、現在画素点及び参照画素点に対して垂直DBFフィルタリングのみを行ってもよく、さらに、まず現在画素点及び参照画素点に対して垂直DBFフィルタリングを行ってから、現在画素点及び参照画素点に対して水平DBFフィルタリングを行ってもよい。
ステップS33において、現在画素点のフィルタリング画素値及び現在画素点の元画素値に基づいて、現在画素点の調整画素値を決定する。例えば、現在画素点のフィルタリング画素値、現在画素点の元画素値、第1のフィルタリング閾値、第2のフィルタリング閾値、第1のフィルタリングオフセット値及び第2のフィルタリングオフセット値に基づいて、現在画素点の調整画素値を決定し、ここで、当該第1のフィルタリング閾値と当該第2のフィルタリング閾値は互いに反数であってもよい。
ステップS34において、参照画素点のフィルタリング画素値及び参照画素点の元画素値に基づいて、参照画素点の調整画素値を決定する。例えば、参照画素点のフィルタリング画素値、参照画素点の元画素値、第3のフィルタリング閾値、第4のフィルタリング閾値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値に基づいて、参照画素点の調整画素値を決定し、ここで、当該第3のフィルタリング閾値と当該第4のフィルタリング閾値は互いに反数であってもよい。
一例として、現在画素点が通常のフィルタリングモードのイネーブル条件のみを満たし、強調フィルタリングモードのイネーブル条件を満たさないと、ステップS31及びステップS32を実行し、フィルタリング画素値を目標画素値(デブロッキングフィルタリングプロセスの最終画素値)とする。現在画素点が通常のフィルタリングモードのイネーブル条件及び強調フィルタリングモードのイネーブル条件を満たすと、ステップS31~ステップS34を実行し、調整画素値を目標画素値(デブロッキングフィルタリングプロセスの最終画素値)とする。
ステップS33及びステップS34において、フィルタリング画素値及びフィルタリング処理されていない元画素値に基づいて、画素点の元画素値に対して強調フィルタリング処理を行うことができ、すなわち、画素点の元画素値に対して強調フィルタリング処理を行い、強調処理された調整画素値を得ることにより、強調処理された調整画素値を、フィルタリング画素値よりも真の画素に近づけ、オーバーフィルタリングによるフィルタリング画素値が画素点の真の画素より遥かに大きく、又は遥かに小さいことを回避し、画像品質を向上させることができる。
一例として、ステップS33には、現在画素点のフィルタリング画素値と現在画素点の元画素値との差分が第1のフィルタリング閾値より大きければ、現在画素点のフィルタリング画素値、現在画素点の元画素値及び第1のフィルタリングオフセット値に基づいて、現在画素点の調整画素値を決定してもよい。現在画素点のフィルタリング画素値と現在画素点の元画素値との差分が第2のフィルタリング閾値より小さければ、現在画素点のフィルタリング画素値、現在画素点の元画素値及び第2のフィルタリングオフセット値に基づいて、現在画素点の調整画素値を決定してもよい。
例えば、Y(i)を現在画素点の元画素値、Y(i)を現在画素点のフィルタリング画素値、Y(i)を現在画素点の調整画素値を表すようにとし、Y(i)=(Y(i)+Y(i)+1)>>1とする。
これに基づき、Y(i)-Y(i)>Tであれば、Y(i)=Clip(Y(i)+f0)となり、Y(i)-Y(i)<NTであれば、Y(i)=Clip(Y(i)+f1)となる。上記式において、Tは第1のフィルタリング閾値を表すことができ、f0は第1のフィルタリングオフセット値を表すことができ、NTは第2のフィルタリング閾値を表すことができ、f1は第2のフィルタリングオフセット値を表すことができ、NTは一般的に-Tとされ、他の値であってもよく、clip(x)はxを所定の値範囲内に制限することを表し、当該範囲は一般的に[0,2-1]であり、Dは画像ビット深度であり、8ビットの画像に対して、範囲は[0,255]であり、10ビットの画像に対して、範囲は[0,1023]である。
強調処理された調整画素値が画素値の値範囲を超えることを回避するために、調整画素値を得る時、Clip(クリップ)操作により、調整画素値を所定の値範囲にClipしてもよい。調整画素値が所定の値範囲の上限より大きい場合、調整画素値を所定の値範囲の上限に設定し、調整画素値が所定の値範囲の下限より小さい場合、調整画素値を所定の値範囲の下限に設定する。例えば、8ビットの画像を例とすると、調整画素値が0より小さい場合、調整画素値を0に設定し、調整画素値が255より大きい場合、調整画素値を255に設定する。
一例として、ステップS34には、参照画素点のフィルタリング画素値と参照画素点の元画素値との差分が第3のフィルタリング閾値より大きければ、参照画素点のフィルタリング画素値、参照画素点の元画素値及び第3のフィルタリングオフセット値に基づいて、参照画素点の調整画素値を決定してもよい。参照画素点のフィルタリング画素値と参照画素点の元画素値との差分が第4のフィルタリング閾値より小さければ、参照画素点のフィルタリング画素値、参照画素点の元画素値及び第4のフィルタリングオフセット値に基づいて、参照画素点の調整画素値を決定してもよい。参照画素点の調整画素値の決定方式は現在画素点の調整画素値の決定方式と同様であり、ここでは重複する説明は省略する。
一例として、第3のフィルタリング閾値と第1のフィルタリング閾値は同じであってもよく、異なってもよく、第3のフィルタリングオフセット値と第1のフィルタリングオフセット値は同じであってもよく、異なってもよく、第4のフィルタリング閾値と第2のフィルタリング閾値は同じであってもよく、異なってもよく、第4のフィルタリングオフセット値と第2のフィルタリングオフセット値は同じであってもよく、異なってもよい。
1つの可能な実施形態において、復号側は、ハイレベルシンタックスから現在ブロックに対応する第1のフィルタリング閾値、第1のフィルタリングオフセット値、第2のフィルタリングオフセット値、第3のフィルタリング閾値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値を解析してもよい。第1のフィルタリング閾値と第2のフィルタリング閾値は互いに反数であり、第3のフィルタリング閾値と第4のフィルタリング閾値は互いに反数であるため、復号側は第2のフィルタリング閾値と第4のフィルタリング閾値を決定することができる。
別の可能な実施形態において、復号側は、ハイレベルシンタックスから現在ブロックに対応する第1のフィルタリング閾値、第1のフィルタリングオフセット値、第2のフィルタリングオフセット値、第4のフィルタリング閾値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値を解析してもよい。第1のフィルタリング閾値と第2のフィルタリング閾値は互いに反数であり、第3のフィルタリング閾値と第4のフィルタリング閾値は互いに反数であるため、復号側は第2のフィルタリング閾値と第3のフィルタリング閾値を決定することができる。
別の可能な実施形態において、復号側は、ハイレベルシンタックスから現在ブロックに対応する第2のフィルタリング閾値、第1のフィルタリングオフセット値、第2のフィルタリングオフセット値、第3のフィルタリング閾値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値を解析してもよい。第1のフィルタリング閾値と第2のフィルタリング閾値は互いに反数であり、第3のフィルタリング閾値と第4のフィルタリング閾値は互いに反数であるため、復号側は第1のフィルタリング閾値と第4のフィルタリング閾値を決定することができる。
別の可能な実施形態において、復号側は、ハイレベルシンタックスから現在ブロックに対応する第2のフィルタリング閾値、第1のフィルタリングオフセット値、第2のフィルタリングオフセット値、第4のフィルタリング閾値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値を解析してもよい。第1のフィルタリング閾値と第2のフィルタリング閾値は互いに反数であり、第3のフィルタリング閾値と第4のフィルタリング閾値は互いに反数であるため、復号側は第1のフィルタリング閾値と第3のフィルタリング閾値を決定することができる。
別の可能な実施形態において、復号側は、ハイレベルシンタックスから現在ブロックに対応する第1のフィルタリング閾値(又は第2のフィルタリング閾値、又は第3のフィルタリング閾値、又は第4のフィルタリング閾値、すなわち、1つのフィルタリング閾値により他の3つのフィルタリング閾値を導出することができる)、第1のフィルタリングオフセット値(又は第3のフィルタリングオフセット値)及び第2のフィルタリングオフセット値(又は第4のフィルタリングオフセット値)を解析してもよい。これに基づき、第1のフィルタリング閾値と第2のフィルタリング閾値は互いに反数であるため、第2のフィルタリング閾値を決定することができる。第1のフィルタリング閾値と第3のフィルタリング閾値は同じであるため、第3フィルタリング閾値を決定することができる。第3のフィルタリングオフセット値と第1のフィルタリングオフセット値は同じであるため、第3のフィルタリングオフセット値を決定することができる。第4のフィルタリングオフセット値と第2のフィルタリングオフセット値は同じであるため、第4のフィルタリングオフセット値を決定することができる。第3のフィルタリング閾値と第4のフィルタリング閾値は互いに反数であるため、第4のフィルタリング閾値を決定することができる。
もちろん、上記形態はいくつかの例に過ぎず、復号化側が第1のフィルタリング閾値、第2のフィルタリング閾値、第3のフィルタリング閾値、第4のフィルタリング閾値、第1のフィルタリングオフセット値、第2のフィルタリングオフセット値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値を取得できれば、これについて限定せず、すなわち、上記各数値は解析又は導出によって得ることができる。
上記実施例において、ハイレベルシンタックスは、SPSレベルのハイレベルシンタックス、PPSレベルのハイレベルシンタックス、画像ヘッダレベルのハイレベルシンタックス、画像レベルのハイレベルシンタックス、スライスヘッダレベルのハイレベルシンタックス、CTUレベルのハイレベルシンタックス、CUレベルのハイレベルシンタックスのうちの1つを含み得るが、これらに限定されない。もちろん、以上はハイレベルシンタックスのいくつかの例に過ぎず、ハイレベルシンタックスによって現在ブロックに対応するフィルタリング閾値及びフィルタリングオフセット値を付加することができれば、このハイレベルシンタックスのタイプについては限定しない。
上記実施例において、現在ブロックにおける現在画素点の画素値は輝度成分又は色度成分であってもよい。
1つの可能な実施形態において、強調フィルタリングモードイネーブルフラグビットにより強調フィルタリングモードをイネーブルすることを許可するか否かを表すことができ、強調フィルタリングモードイネーブルフラグビットは現在ブロックが強調フィルタリングモードをイネーブルすることを許可すると、現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすか否かを決定する必要があり、現在画素点が強調フィルタリングモードのイネーブル条件を満たすと、強調フィルタリングモードを用いて現在画素点の元画素値を調整する。強調フィルタリングモードイネーブルフラグビットは現在ブロックが強調フィルタリングモードをイネーブルすることを許可しないと、現在ブロックにおける各画素点が強調フィルタリングモードのイネーブル条件を満たさないと直接決定し、強調フィルタリングモードを用いて現在画素点の元画素値を調整することはない。これに基づき、現在ブロックに対応する強調フィルタリングモードイネーブルフラグビットは現在ブロックが強調フィルタリングモードをイネーブルすることを許可すると、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすか否かを決定する。現在ブロックに対応する強調フィルタリングモードイネーブルフラグビットは現在ブロックが強調フィルタリングモードをイネーブルすることを許可しないと、現在ブロックにおける各画素点が強調フィルタリングモードのイネーブル条件を満たさないと決定する。
一例として、復号側は、ハイレベルシンタックスから現在ブロックに対応する強調フィルタリングモードイネーブルフラグビットを解析してもよい。例えば、当該強調フィルタリングモードイネーブルフラグビットが第1の値(例えば1)であれば、強調フィルタリングモードイネーブルフラグビットは現在ブロックが強調フィルタリングモードをイネーブルすることを許可することが示され、当該強調フィルタリングモードイネーブルフラグビットが第2の値(例えば0)であれば、強調フィルタリングモードイネーブルフラグビットは現在ブロックが強調フィルタリングモードをイネーブルすることを許可しないことが示される。
上記実施例において、ハイレベルシンタックスは、SPSレベルのハイレベルシンタックス、PPSレベルのハイレベルシンタックス、画像ヘッダレベルのハイレベルシンタックス、画像レベルのハイレベルシンタックス、スライスヘッダレベルのハイレベルシンタックス、CTUレベルのハイレベルシンタックス、CUレベルのハイレベルシンタックスのうちの1つを含み得るが、これらに限定されない。もちろん、以上はハイレベルシンタックスのいくつかの例に過ぎず、ハイレベルシンタックスによって現在ブロックに対応する強調フィルタリングモードイネーブルフラグビットを付加することができれば、このハイレベルシンタックスのタイプについては限定しない。
実施例8:通常のフィルタリングモードのイネーブル条件を満たす場合、DBFフィルタリング方式(すなわちデブロッキングフィルタリング方式)を用いて画素点の元画素値に対してデブロッキングフィルタリングを行うことができ、DBFフィルタリングは垂直DBFフィルタリングと水平DBFフィルタリングに分けられるため、以下のステップを用いて画素点の元画素値に対してデブロッキングフィルタリング処理を行ってもよい。
ステップ1において、元画素値Y(i)を垂直DBFフィルタリングによってフィルタリングした後にフィルタリング画素値Y(i)を得、
ステップ2において、画素値Y(i)を水平DBFフィルタリングによってフィルタリングした後にフィルタリング画素値Y(i)を得る。
一例として、画素点に対して垂直DBFフィルタリングのみを行えば、ステップ1のみを実行し、画素点のフィルタリング画素値を得る。画素点に対して水平DBFフィルタリングのみを行えば、ステップ2のみを実行し、画素点のフィルタリング画素値を得、ステップ2の画素値Y(i)を画素点の元画素値に置き換えればよい。画素点に対して、まず垂直DBFフィルタリングを行ってから、水平DBFフィルタリングを行えば、ステップ1及びステップ2を順次実行する。
通常のフィルタリングモードのイネーブル条件及び強調フィルタリングモードのイネーブル条件を満たす場合、DBFフィルタリング方式(すなわちデブロッキングフィルタリング方式)を用いて画素点の元画素値に対してデブロッキングフィルタリングを行い、デブロッキングフィルタリングされたフィルタリング画素値を調整してもよく、DBFフィルタリングは垂直DBFフィルタリングと水平DBFフィルタリングに分けられるため、以下のステップを用いて画素点の元画素値に対してデブロッキングフィルタリング処理を行い、デブロッキングフィルタリングされたフィルタリング画素値を調整してもよい。
ステップ1において、元画素値Y(i)を垂直DBFフィルタリングによってフィルタリングした後にフィルタリング画素値Y(i)を得、
ステップ2において、Y(i)-Y(i)に基づいて、調整画素値Y(i)を得、
ステップ3において、画素値Y(i)を水平DBFフィルタリングによってフィルタリングした後にフィルタリング画素値Y(i)を得、
ステップ4において、Y(i)-Y(i)に基づいて、調整画素値Y(i)を得る。
一例として、画素点に対して垂直DBFフィルタリングのみを行えば、ステップ1及びステップ2のみを実行し、画素点の調整画素値を得る。画素点に対して水平DBFフィルタリングのみを行えば、ステップ3及びステップ4のみを実行し、画素点の調整画素値を得、ステップ3の画素値Y(i)を画素点の元画素値に置き換えればよい。画素点に対して、まず垂直DBFフィルタリングを行ってから、水平DBFフィルタリングを行えば、ステップ1、ステップ2、ステップ3及びステップ4を順次実行する。画素点に対して、まず水平DBFフィルタリングを行ってから、垂直DBFフィルタリングを行えば、実行するステップは類似するため、ここでは重複する説明は省略する。
一例として、ステップ2及びステップ4は、強調フィルタリングモードのイネーブル条件を満たす場合、強調フィルタリングモードを用いる処理プロセスであり、すなわち、フィルタリング画素値を調整し、調整画素値を得るプロセスである。
ステップ2において、Y(i)=(Y(i)+Y(i)+1)>>1とすると、Y(i)-Y(i)>Tであれば、Y(i)=Clip(Y(i)+f0)となり、Y(i)-Y(i)<NTであれば、Y(i)=Clip(Y(i)+f1)となり、それ以外の場合、Y(i)=Y(i)となる(一実施例において、この場合はY(i)に対してフィルタリングを行って、Y(i)を得てもよく、例えばY(i)=Y(i)+f2である)。
一例として、clip(x)はxを所定の画像の値範囲内に制限することを表し、当該画像の値範囲は一般的に[0,2-1]であり、Dは画像のビット深度であるため、8ビットの画像に対して、当該画像の値範囲は[0,255]であってもよく、10ビットの画像に対して、当該画像の値範囲は[0,1023]である。閾値NTは、一般的に-Tとされ、他の値であってもよい。
同様に、ステップ2の処理プロセスと類似し、ステップ4において、Y(i)=(Y(i)+Y(i)+1)>>1とすると、Y(i)-Y(i)>Tであれば、Y(i)=Clip(Y(i)+f0)となり、Y(i)-Y(i)<NTであれば、Y(i)=Clip(Y(i)+f1)となり、それ以外の場合、Y(i)=Y(i)となり(一実施例において、この場合はY(i)に対してフィルタリングを行って、Y(i)を得てもよく、例えばY(i)=Y(i)+f2である)、NTは一般的に-Tとされ、他の値であってもよい。
上記実施例において、T及びNTはフィルタリング閾値であり、f0、f1及びf2はフィルタリングオフセット値であり、clip(x)はxを所定の値範囲内に制限することを表す。例えば、Tは上記における第1のフィルタリング閾値及び第3のフィルタリング閾値(第1のフィルタリング閾値と第3のフィルタリング閾値が同じであることを例とする)であり、NTは上記における第2のフィルタリング閾値及び第4のフィルタリング閾値(第2のフィルタリング閾値と第4のフィルタリング閾値が同じであることを例とする)であり、f0は上記における第1のフィルタリングオフセット値及び第3のフィルタリングオフセット値(第1のフィルタリングオフセット値及び第3のフィルタリングオフセット値が同じであることを例とする)であり、f1は上記における第2のフィルタリングオフセット値及び第4のフィルタリングオフセット値(第2のフィルタリングオフセット値及び第4のフィルタリングオフセット値が同じであることを例とする)である。NT=-T、すなわち、TとNTは互いに反数である。
上記実施例において、T及びNTはフィルタリング閾値であり、f0、f1及びf2はフィルタリングオフセット値であり、clip(x)はxを所定の値範囲内に制限することを表す。例えば、Tは上記における第1のフィルタリング閾値及び第3のフィルタリング閾値(第1のフィルタリング閾値と第3のフィルタリング閾値が同じであることを例とする)であり、NTは上記における第2のフィルタリング閾値及び第4のフィルタリング閾値(第2のフィルタリング閾値と第4のフィルタリング閾値が同じであることを例とする)であり、f0は上記における第1のフィルタリングオフセット値及び第3のフィルタリングオフセット値(第1のフィルタリングオフセット値及び第3のフィルタリングオフセット値が同じであることを例とする)であり、f1は上記における第2のフィルタリングオフセット値及び第4のフィルタリングオフセット値(第2のフィルタリングオフセット値及び第4のフィルタリングオフセット値が同じであることを例とする)である。NT=-T、すなわち、TとNTは互いに反数である。
実施例9:DBFにおいて、1つの既定の基準に従ってフィルタリングを行うと、オーバーフィルタリング又はアンダーフィルタリングの状況が存在する。例えば、DBFを行う前の再構成値がY1であり、DBFフィルタリングされた画素値がY2であれば、Y2-Y1に基づいて分類してもよい。フィルタリング残差に基づく分類の主な利点は、いくつかのオーバーフィルタリング又は偽フィルタリングされた画素値に対して特別な強調を行って、これらの画素が元の値により近づけるという効果を実現できることである。オーバーフィルタリングとは、Y2がY1より遥かに大きい(又は遥かに小さい)ことで、Y2が元画素値より遥かに大きい(又は遥かに小さい)ことである。偽フィルタリングとは、Y2-Y1が0であり、又は0に接近し、すなわち、これらの画素値がフィルタリングされた後にも変化せず、フィルタリング効果が得られないことである。上記発見については、本実施例において、強調調整モードを用いて画素点の画素値を調整することができ、すなわち、現在ブロックにおける現在画素点に対して強調調整モードをイネーブルすると、通常のフィルタリングモード又は強調フィルタリングモードを用いて画素点の元画素値を調整することなく、強調調整モードを用いて画素点の元画素値を調整することができる。
1つの可能な実施形態において、元画素値の調整プロセスは、以下のステップを含み得る。
ステップ1において、元画素値Y(i)を垂直DBFフィルタリングによってフィルタリングした後にフィルタリング画素値Y(i)を得、
ステップ2において、Y(i)-Y(i)に基づいて、調整画素値Y(i)を得、
ステップ3において、画素値Y(i)を水平DBFフィルタリングによってフィルタリングした後にフィルタリング画素値Y(i)を得、
ステップ4において、Y(i)-Y(i)に基づいて、調整画素値Y(i)を得る。
ステップ2において、abs(Y(i)-Y(i))<閾値及びabs(Y(i)-Y(i))が閾値より小さくないという2つの場合が存在し、abs(Y(i)-Y(i))<閾値であれば、さらに、BSが0であり、BSが0より大きいという2つの場合に分けられる。一例として、当該閾値は上記実施例の第1のフィルタリング閾値又は第2のフィルタリング閾値であってもよく、例えば、第1のフィルタリング閾値と第2のフィルタリング閾値は互いに反数であり、第1のフィルタリング閾値が正の値であれば、当該閾値は第1のフィルタリング閾値であってもよく、第2のフィルタリング閾値が正の値であれば、当該閾値は第2のフィルタリング閾値であってもよい。
以上をまとめると、元画素値の調整プロセスを以下の3つの場合に分けることができる。
場合1において、BSは0であり、このとき、フィルタリングを行わない(すなわち、Y(i)がY(i)に等しく、元画素値Y(i)に対して垂直DBFフィルタリングを行わないことに相当し、すなわち、ステップ1を実行しない)が、強調調整モードを用いて元画素値Y(i)を調整し、調整画素値を得ることができる。
場合2において、BSは0より大きいが、abs(Y(i)-Y(i))<閾値であり、このとき、フィルタリングを行うことができる(すなわち、元画素値Y(i)に対して垂直DBFフィルタリングを行い、すなわち、ステップ1を実行する)。ステップ1を実行する上で、さらに、強調フィルタリングモードを用いてフィルタリング画素値Y(i)を調整し、画素点の調整画素値Y(i)を得ることができる。
場合3において、BSは0より大きいが、abs(Y(i)-Y(i))が閾値より小さくなく、このとき、フィルタリングを行うことができる(すなわち、元画素値Y(i)に対して垂直DBFフィルタリングを行い、すなわち、ステップ1を実行する)。ステップ1を実行する上で、強調フィルタリングモードを用いてフィルタリング画素値Y(i)を調整せず、すなわち、ステップ2を実行せず、すなわち、Y(i)=Y(i)となる。
ステップ4では、abs(Y(i)-Y(i))<閾値であり、abs(Y(i)-Y(i))が閾値より小さくないという2つの場合が存在し、abs(Y(i)-Y(i))<閾値であれば、さらに、BSが0であり、BSが0より大きいという2つの場合に分けられる。
以上をまとめると、元画素値の調整プロセスを以下の3つの場合に分けることができる。
場合1において、BSは0であり、このとき、フィルタリングを行わない(すなわち、Y(i)がY(i)に等しく、元画素値Y(i)に対して水平DBFフィルタリングを行わないことに相当し、ステップ3を実行しない)が、強調調整モードを用いて元画素値Y(i)を調整し、調整画素値を得ることができる。
場合2において、BSは0より大きいが、abs(Y(i)-Y(i))<閾値であり、このとき、フィルタリングを行うことができ(すなわち、元画素値Y(i)に対して水平DBFフィルタリングを行い、すなわち、ステップ3を実行する)、ステップ3を実行する上で、さらに、強調フィルタリングモードを用いて画素点のフィルタリング画素値Y(i)を調整し、画素点の調整画素値Y(i)を得ることができる。
場合3において、BSは0より大きいが、abs(Y(i)-Y(i))は閾値より小さくなく、このとき、フィルタリングを行うことができる(すなわち、元画素値Y(i)に対して水平DBFフィルタリングを行い、すなわち、ステップ3を実行する)。ステップ3を実行する上で、強調フィルタリングモードを用いてフィルタリング画素値Y(i)を調整せず、すなわち、ステップ4を実行せず、すなわち、Y(i)=Y(i)となる。
以上をまとめると、BSが0であれば、強調調整モードを用いて処理し、すなわち、フィルタリング処理を行わなくてもよく、すなわち、Y(i)=Y(i)で、且つY(i)=Y(i)であり、これに基づき、強調調整モードを用いてY(i)を調整することができ、強調調整モードを用いてY(i)を調整することができ、したがって、以下のステップを用いてDBFフィルタリング処理を行うことができる。
ステップ1において、元画素値Y(i)を垂直DBFフィルタリングによってフィルタリングした後にフィルタリング画素値Y(i)を得る。
ステップ2において、BSが0であれば、強調調整モードによりY(i)を調整し、調整画素値Y(i)を得る。BSが0より大きく、且つabs(Y(i)-Y(i))<閾値であれば、強調フィルタリングモードをイネーブルし、Y(i)-Y(i)に基づいて、調整画素値Y(i)を取得し、実施例8のステップ2を参照する。BSが0より大きく、且つabs(Y(i)-Y(i))が閾値より小さくなければ、通常のフィルタリングモードをイネーブルし、フィルタリング画素値Y(i)を調整せず、すなわち、Y(i)=Y(i)となる。
一例として、BSが0であれば、実際にはステップ1を実行せず、すなわち、フィルタリング画素値Y(i)を得る必要がない。
ステップ3において、画素値Y(i)を水平DBFフィルタリングによってフィルタリングした後にフィルタリング画素値Y(i)を得る。
ステップ4において、BSが0であれば、強調調整モードによりY(i)を調整し、調整画素値Y(i)を得る。BSが0より大きく、且つabs(Y(i)-Y(i))<閾値であれば、強調フィルタリングモードをイネーブルし、Y(i)-Y(i)に基づいて、調整画素値Y(i)を取得し、実施例8のステップ4を参照する。BSが0より大きく、且つabs(Y(i)-Y(i))が閾値より小さくなければ、通常のフィルタリングモードをイネーブルし、フィルタリング画素値Y(i)を調整せず、すなわち、Y(i)=Y(i)となる。
一例として、BSが0であれば、実際にはステップ3を実行せず、すなわち、フィルタリング画素値Y(i)を得る必要がない。
別の可能な実施形態において、BSが0より大きければ、フィルタリング処理を行うが、フィルタリング処理された後、abs(Y(i)-Y(i))<閾値となると、強調フィルタリングモードで処理し、すなわち、以下のステップでDBFフィルタリング処理を行うことができる。
ステップ1において、元画素値Y(i)を垂直DBFフィルタリングによってフィルタリングした後にフィルタリング画素値Y(i)を得る。
ステップ2において、BSが0より大きいが、Y(i)に対して垂直DBFフィルタリングを行った後、依然としてabs(Y(i)-Y(i))<閾値を満たすと、強調フィルタリングモードにより調整画素値Y(i)を取得し、例えば、Y(i)に補償値を加えることによりY(i)を取得する。そうでなく、abs(Y(i)-Y(i))が閾値より小さくなければ、Y(i)=Y(i)となる。
ステップ3において、画素値Y(i)を水平DBFフィルタリングによってフィルタリングした後にフィルタリング画素値Y(i)を得る。
ステップ4において、BSが0より大きいが、Y(i)に対して水平DBFフィルタリングを行った後、依然としてabs(Y(i)-Y(i))<閾値を満たすと、強調フィルタリングモードにより調整画素値Y(i)を取得し、例えば、Y(i)に補償値を加えることによりY(i)を取得する。そうでなく、abs(Y(i)-Y(i))が閾値より小さくなければ、Y(i)=Y(i)となる。
実施例10:実施例9に対して、BSが0であれば、強調調整モードによりY(i)を調整し、調整画素値Y(i)を得、具体的な調整プロセスは以下のステップを参照する。BSが0であれば、強調調整モードによりY(i)を調整し、調整画素値Y(i)を得、当該プロセスは調整画素値Y(i)を得るプロセスと類似するため、ここでは重複する説明は省略する。
まず、Y(i)の勾配値を決定し、Y(i)は現在画素点の元画素値であってもよく、参照画素点の元画素値であってもよい。垂直境界に対して、Y(i)の水平勾配値DY(i)を計算してよく、水平境界に対して、Y(i)の垂直勾配値DY(i)を計算してよい。例えば、pi及びqiをそれぞれ現在画素点の元画素値及び参照画素点の元画素値(Y(i)に対応する)とすると、現在画素点の元画素値piの勾配値DP0を計算し、DP0=(pi-qi+2)>>2となり、参照画素点の元画素値qiの勾配値DQ0を計算し、DQ0=(qi-pi+2)>>2となる。
そして、DY(i)の大きさに基づいて、補償調整を行ってY(i)を得る。例えば、以下の方式で現在画素点の元画素値piに対応する調整画素値Piを決定する。DPi>alt_dbr_thであれば、Pi=clip(pi+alt_dbr_offset0)となり、DPi<-alt_dbr_thであれば、Pi=clip(pi+alt_dbr_offset1)となり、iは0、1、2などである。以下の方式で参照画素点の元画素値qiに対応する調整画素値Qiを決定する。DQi>alt_dbr_thであれば、Qi=clip(qi+alt_dbr_offset0)となり、DQi<-alt_dbr_thであれば、Qi=clip(qi+alt_dbr_offset1)となり、iは0、1、2である。
上記式では、alt_dbr_thは第1の調整閾値及び第3の調整閾値(第3の調整閾値と第1の調整閾値が同じであることを例とする)を表し、alt_dbr_offset0は第1の調整オフセット値及び第3の調整オフセット値(第3の調整オフセット値と第1の調整オフセット値が同じであることを例とする)を表し、alt_dbr_offset1は第2の調整オフセット値及び第4の調整オフセット値(第4の調整オフセット値と第2の調整オフセット値が同じであることを例とする)を表し、-alt_dbr_thは第2の調整閾値と第4の調整閾値(第4の調整閾値と第2の調整閾値が同じであることを例とする)を表し、且つ-alt_dbr_thとalt_dbr_thは互いに反数である。
実施例11:ハイレベルシンタックス(例えばSPSレベルのハイレベルシンタックス)により強調調整モードのイネーブルを制御する。例えば、シーケンスヘッダにおいてフラグビットadbr_enable_flagを符号化/復号し、すなわち、符号化側はシーケンスヘッダにおいてフラグビットadbr_enable_flagを符号化し、復号側はシーケンスヘッダからフラグビットadbr_enable_flagを復号する。adbr_enable_flagは二値変数であり、値「1」は強調調整モードが使用可能であることを表し、値「0」は強調調整モードを使用すべきでないことを表す。AdbrEnableFlagの値はadbr_enable_flagに等しく、ビットストリームにadbr_enable_flagが存在しなければ、AdbrEnableFlagの値は0となる。
以上をまとめると、復号側は、ハイレベルシンタックスから現在ブロックに対応する強調調整モードイネーブルフラグビット(すなわちAdbrEnableFlag)を解析してもよく、当該強調調整モードイネーブルフラグビットが1であれば、強調調整モードイネーブルフラグビットは現在ブロックが強調調整モードをイネーブルすることを許可することが示され、当該強調調整モードイネーブルフラグビットが0であれば、強調調整モードイネーブルフラグビットは現在ブロックが強調調整モードをイネーブルすることを許可しないことが示される。
実施例12:ハイレベルシンタックス(例えばSPSレベルのハイレベルシンタックス)により強調フィルタリングモードのイネーブル及び強調調整モードのイネーブルを同時に制御する。例えば、シーケンスヘッダにおいてフラグビットdbr_enable_flagを符号化/復号し、すなわち、符号化側はシーケンスヘッダにおいてフラグビットdbr_enable_flagを符号化し、復号側はシーケンスヘッダからフラグビットdbr_enable_flagを復号する。
dbr_enable_flagは二値変数であり、値「1」は強調フィルタリングモード及び強調調整モードの使用を許可することを表し、値「0」は強調フィルタリングモード及び強調調整モードの使用を許可しないことを表す。DbrEnableFlagの値はdbr_enable_flagに等しく、ビットストリームにdbr_enable_flagが存在しなければ、DbrEnableFlagの値は0となる。
以上をまとめると、復号側は、ハイレベルシンタックスから現在ブロックに対応する強調フィルタリングモードイネーブルフラグビット及び強調調整モードイネーブルフラグビット(すなわちDbrEnableFlagであり、つまり、DbrEnableFlagを同時に強調フィルタリングモードイネーブルフラグビット及び強調調整モードイネーブルフラグビットとする)を解析することができ、DbrEnableFlagが1であれば、現在ブロックが強調フィルタリングモード及び強調調整モードをイネーブルすることを許可することが示され、DbrEnableFlagが0であれば、現在ブロックが強調フィルタリングモード及び強調調整モードをイネーブルすることを許可しないことが示される。
実施例13:ハイレベルシンタックス(例えば画像ヘッダのハイレベルシンタックス)の1つの表現は表1に示すものを参照することができ、例えば、画像ヘッダにおいて表1に示すシンタックスを符号化/復号する。すなわち、符号化側は画像ヘッダにおいて表1に示すシンタックスを符号化し、復号側は画像ヘッダから表1に示すシンタックスを復号する。
表1において、関連シンタックスの意味は以下のとおりである。
画像レベルのデブロッキングフィルタリング垂直調整の許可フラグビットpicture_dbr_v_enable_flag:picture_dbr_v_enable_flagは二値変数であり、値「1」は現在画像がデブロッキングフィルタリング垂直調整の使用を許可することを表し、値「0」は現在画像がデブロッキングフィルタリング垂直調整の使用を許可しないことを表す。PictureDbrVEnableFlagの値はpicture_dbr_v_enable_flagの値に等しく、ビットストリームにpicture_dbr_v_enable_flagが存在しなければ、PictureDbrVEnableFlagの値は0となる。
一例として、強調調整モードについては、PictureDbrVEnableFlagは強調調整モードイネーブルフラグビットに対応し、垂直DBFフィルタリングに対する強調調整モードイネーブルフラグビットである。すなわち、垂直DBFフィルタリングを行う必要がある場合、PictureDbrVEnableFlagは強調調整モードのイネーブルを許可し、又は強調調整モードのイネーブルを許可しないことを表す。
一例として、強調フィルタリングモードについては、PictureDbrVEnableFlagは強調フィルタリングモードイネーブルフラグビットに対応し、垂直DBFフィルタリングに対する強調フィルタリングモードイネーブルフラグビットである。すなわち、垂直DBFフィルタリングを行う必要がある場合、PictureDbrVEnableFlagは強調フィルタリングモードのイネーブルを許可すること、又は強調フィルタリングモードのイネーブルを許可しないことを表す。
以上をまとめると、PictureDbrVEnableFlagは垂直DBFフィルタリングに対する強調調整モードイネーブルフラグビット、及び垂直DBFフィルタリングに対する強調フィルタリングモードイネーブルフラグビットを表すことができ、すなわち、強調調整モードイネーブルフラグビットと強調フィルタリングモードイネーブルフラグビットは同一のフラグビットを共有し、すなわち、現在画像は強調調整モードと強調フィルタリングモードの両方のイネーブルを同時に許可し、又は、現在画像は強調調整モードと強調フィルタリングモードの両方のイネーブルを同時に許可しない。
デブロッキングフィルタリング垂直調整閾値dbr_v_threshold_minus1:dbr_v_threshold_minus1は現在画像のデブロッキングフィルタリング垂直調整の閾値を決定するために用いられ、値範囲は0~1である。DbrVThresholdの値はdbr_v_threshold_minus1の値に1を加える値に等しく、ビットストリームにdbr_v_threshold_minus1が存在しなければ、DbrVThresholdの値は0となる。
例示的に、強調調整モードについては、DbrVThresholdは第1の調整閾値(第3の調整閾値と第1の調整閾値が同じであることを例とする)に対応し、垂直DBFフィルタリングに対する第1の調整閾値である。つまり、垂直DBFフィルタリングを行う必要がある場合、DbrVThresholdは上記実施例の第1の調整閾値を表す。また、上記実施例の第2の調整閾値(第4の調整閾値と第2の調整閾値が同じであることを例とする)と第1の調整閾値は互いに反数であるため、DbrVThresholdに基づいて第2の調整閾値を決定することができる。
例示的に、強調フィルタリングモードについては、DbrVThresholdは第1のフィルタリング閾値(第3のフィルタリング閾値と第1のフィルタリング閾値が同じであることを例とする)に対応し、垂直DBFフィルタリングに対する第1のフィルタリング閾値である。つまり、垂直DBFフィルタリングを行う必要がある場合、DbrVThresholdは上記実施例の第1のフィルタリング閾値を表す。また、上記実施例の第2のフィルタリング閾値(第4のフィルタリング閾値と第2のフィルタリング閾値が同じであることを例とする)と第1のフィルタリング閾値は互いに反数であるため、DbrVThresholdに基づいて第2のフィルタリング閾値を決定することができる。
以上をまとめると、DbrVThresholdは垂直DBFフィルタリングに対する第1の調整閾値及び第1のフィルタリング閾値を表すことができ、すなわち、第1の調整閾値と第1のフィルタリング閾値は同じであり、両者は同一の値である。
デブロッキングフィルタリング垂直調整オフセット値0(dbr_v_offset0_minus1):現在画像のデブロッキングフィルタリング垂直調整のオフセット値0を決定するために用いられ、値範囲は0~3である。DbrVOffset0の値はdbr_v_offset0_minus1の値に1を加えた後に反数にして得られた負の値に等しく、ビットストリームにdbr_v_offset0_minus1が存在しなければ、DbrVOffset0の値は0となる。
一例として、強調フィルタリングモードについては、DbrVOffset0は第1のフィルタリングオフセット値(第3のフィルタリングオフセット値と第1のフィルタリングオフセット値が同じであることを例とする)に対応し、垂直DBFフィルタリングに対する第1のフィルタリングオフセット値であり、すなわち、垂直DBFフィルタリングを行う必要がある場合、DbrVOffset0は上記実施例の第1のフィルタリングオフセット値を表す。
デブロッキングフィルタリング垂直調整オフセット値1(dbr_v_offset1_minus1):現在画像のデブロッキングフィルタリング垂直調整のオフセット値1を決定するために用いられ、値範囲は0~3であってもよい。DbrVOffset1の値はdbr_v_offset1_minus1の値に1を加える値に等しい。ビットストリームにdbr_v_offset1_minus1が存在しなければ、DbrVOffset1の値は0となる。
一例として、強調フィルタリングモードについては、DbrVOffset1は第2のフィルタリングオフセット値(第4のフィルタリングオフセット値と第2のフィルタリングオフセット値が同じであることを例とする)に対応し、垂直DBFフィルタリングに対する第2のフィルタリングオフセット値であり、すなわち、垂直DBFフィルタリングを行う必要がある場合、DbrVOffset1は上記実施例の第2のフィルタリングオフセット値を表す。
強調デブロッキングフィルタリング垂直調整オフセット値0(dbr_v_alt_offset0_minus1):dbr_v_alt_offset0_minus1は現在画像のデブロッキングフィルタリングBSが0である時の垂直調整のオフセット値0を決定するために用いられ、dbr_v_alt_offset0_minus1の値範囲は0~3であってもよい。DbrVAltOffset0の値はdbr_v_alt_offset0_minus1の値に1を加えた後に反数にして得られた負の値に等しく、ビットストリームにdbr_v_alt_offset0_minus1が存在しなければ、DbrVAltOffset0の値は0となる。
一例として、強調調整モードについては、DbrVAltOffset0は第1の調整オフセット値(第3の調整オフセット値と第1の調整オフセット値が同じであることを例とする)に対応し、垂直DBFフィルタリングに対する第1の調整オフセット値であり、すなわち、垂直DBFフィルタリングを行う必要がある場合、DbrVAltOffset0は上記実施例の第1の調整オフセット値を表す。
強調デブロッキングフィルタリング垂直調整オフセット値1(dbr_v_alt_offset1_minus1):dbr_v_alt_offset1_minus1は現在画像のデブロッキングフィルタリングBSが0である時の垂直調整のオフセット値1を決定するために用いられ、dbr_v_alt_offset1_minus1の値範囲は0~3であってもよい。ここで、DbrVAltOffset1の値はdbr_v_alt_offset1_minus1の値に1を加える値に等しく、ビットストリームにdbr_v_alt_offset1_minus1が存在しなければ、DbrVAltOffset1の値は0となる。
一例として、強調調整モードについては、DbrVAltOffset1は第2の調整オフセット値(第4の調整オフセット値と第2の調整オフセット値が同じであることを例とする)に対応し、垂直DBFフィルタリングに対する第2の調整オフセット値であり、すなわち、垂直DBFフィルタリングを行う必要がある場合、DbrVAltOffset1は上記実施例の第2の調整オフセット値を表す。
画像レベルのデブロッキングフィルタリング水平調整の許可フラグビットpicture_dbr_h_enable_flag:picture_dbr_h_enable_flagは二値変数であり、値「1」は現在画像がデブロッキングフィルタリング水平調整の使用を許可することを表し、値「0」は現在画像がデブロッキングフィルタリング水平調整の使用を許可しないことを表す。PhDbrHEnableFlagの値はpicture_dbr_h_enable_flagの値に等しく、ビットストリームにpicture_dbr_h_enable_flagが存在しなければ、PhDbrHEnableFlagの値は0となる。
一例として、強調調整モードについては、PhDbrHEnableFlagは強調調整モードイネーブルフラグビットに対応し、水平DBFフィルタリングに対する強調調整モードイネーブルフラグビットである。すなわち、水平DBFフィルタリングを行う必要がある場合、PhDbrHEnableFlagは強調調整モードのイネーブルを許可し、又は強調調整モードのイネーブルを許可しないことを表す。
一例として、強調フィルタリングモードについては、PhDbrHEnableFlagは強調フィルタリングモードイネーブルフラグビットに対応し、水平DBFフィルタリングに対する強調フィルタリングモードイネーブルフラグビットである。すなわち、水平DBFフィルタリングを行う必要がある場合、PhDbrHEnableFlagは強調フィルタリングモードのイネーブルを許可すること、又は強調フィルタリングモードのイネーブルを許可しないことを表す。
以上をまとめると、PhDbrHEnableFlagは水平DBFフィルタリングに対する強調調整モードイネーブルフラグビット、及び水平DBFフィルタリングに対する強調フィルタリングモードイネーブルフラグビットを表すことができ、すなわち、強調調整モードイネーブルフラグビットと強調フィルタリングモードイネーブルフラグビットは同一のフラグビットを共有し、すなわち、現在画像は強調調整モードと強調フィルタリングモードの両方のイネーブルを同時に許可し、又は、現在画像は強調調整モードと強調フィルタリングモードの両方のイネーブルを同時に許可しない。
デブロッキングフィルタリング水平調整閾値dbr_h_threshold_minus1:dbr_h_threshold_minus1は現在画像のデブロッキングフィルタリング水平調整の閾値を決定するために用いられ、値範囲は0~1である。DbrHThresholdの値はdbr_h_threshold_minus1の値に1を加える値に等しく、ビットストリームにdbr_h_threshold_minus1が存在しなければ、DbrHThresholdの値は0となる。
例示的に、強調調整モードについては、DbrHThresholdは第1の調整閾値(第3の調整閾値と第1の調整閾値が同じであることを例とする)に対応し、水平DBFフィルタリングに対する第1の調整閾値である。つまり、水平DBFフィルタリングを行う必要がある場合、DbrHThresholdは上記実施例の第1の調整閾値を表す。また、上記実施例の第2の調整閾値(第4の調整閾値と第2の調整閾値が同じであることを例とする)と第1の調整閾値は互いに反数であるため、DbrHThresholdに基づいて第2の調整閾値を決定することができる。
例示的に、強調フィルタリングモードについては、DbrHThresholdは第1のフィルタリング閾値(第3のフィルタリング閾値と第1のフィルタリング閾値が同じであることを例とする)に対応し、水平DBFフィルタリングに対する第1のフィルタリング閾値である。つまり、水平DBFフィルタリングを行う必要がある場合、DbrHThresholdは上記実施例の第1のフィルタリング閾値を表す。また、上記実施例の第2のフィルタリング閾値(第4のフィルタリング閾値と第2のフィルタリング閾値が同じであることを例とする)と第1のフィルタリング閾値は互いに反数であるため、DbrHThresholdに基づいて第2のフィルタリング閾値を決定することができる。
以上をまとめると、DbrHThresholdは水平DBFフィルタリングに対する第1の調整閾値及び第1のフィルタリング閾値を表すことができ、すなわち、第1の調整閾値と第1のフィルタリング閾値は同じであり、両者は同一の値である。
デブロッキングフィルタリング水平調整オフセット値0(dbr_h_offset0_minus1):現在画像のデブロッキングフィルタリング水平調整のオフセット値0を決定するために用いられ、値範囲は0~3である。DbrHOffset0の値はdbr_h_offset0_minus1の値に1を加えた後に反数にして得られた負の値に等しく、ビットストリームにdbr_h_offset0_minus1が存在しなければ、DbrHOffset0の値は0となる。
一例として、強調フィルタリングモードについては、DbrHOffset0は第1のフィルタリングオフセット値(第3のフィルタリングオフセット値と第1のフィルタリングオフセット値が同じであることを例とする)に対応し、水平DBFフィルタリングに対する第1のフィルタリングオフセット値であり、すなわち、水平DBFフィルタリングを行う必要がある場合、DbrHOffset0は上記実施例の第1のフィルタリングオフセット値を表す。
デブロッキングフィルタリング水平調整オフセット値1(dbr_h_offset1_minus1):現在画像のデブロッキングフィルタリング水平調整のオフセット値1を決定するために用いられ、値範囲は0~3であってもよい。DbrHOffset1の値はdbr_h_offset1_minus1の値に1を加える値に等しい。ビットストリームにdbr_h_offset1_minus1が存在しなければ、DbrHOffset1の値は0となる。
一例として、強調フィルタリングモードについては、DbrHOffset1は第2のフィルタリングオフセット値(第4のフィルタリングオフセット値と第2のフィルタリングオフセット値が同じであることを例とする)に対応し、水平DBFフィルタリングに対する第2のフィルタリングオフセット値であり、すなわち、水平DBFフィルタリングを行う必要がある場合、DbrHOffset1は上記実施例の第2のフィルタリングオフセット値を表す。
強調デブロッキングフィルタリング水平調整オフセット値0(dbr_h_alt_offset0_minus1):dbr_h_alt_offset0_minus1は現在画像のデブロッキングフィルタリングBSが0である時の水平調整のオフセット値0を決定するために用いられ、dbr_h_alt_offset0_minus1の値範囲は0~3であってもよい。DbrHAltOffset0の値はdbr_h_alt_offset0_minus1の値に1を加えた後に反数にして得られた負の値に等しく、ビットストリームにdbr_h_alt_offset0_minus1が存在しなければ、DbrHAltOffset0の値は0となる。
一例として、強調調整モードについては、DbrHAltOffset0は第1の調整オフセット値(第3の調整オフセット値と第1の調整オフセット値が同じであることを例とする)に対応し、水平DBFフィルタリングに対する第1の調整オフセット値であり、すなわち、水平DBFフィルタリングを行う必要がある場合、DbrHAltOffset0は上記実施例の第1の調整オフセット値を表す。
強調デブロッキングフィルタリング水平調整オフセット値1(dbr_h_alt_offset1_minus1):dbr_h_alt_offset1_minus1は現在画像のデブロッキングフィルタリングBSが0である時の水平調整のオフセット値1を決定するために用いられ、dbr_h_alt_offset1_minus1の値範囲は0~3であってもよい。ここで、DbrHAltOffset1の値はdbr_h_alt_offset1_minus1の値に1を加える値に等しく、ビットストリームにdbr_h_alt_offset1_minus1が存在しなければ、DbrHAltOffset1の値は0となる。
一例として、強調調整モードについては、DbrHAltOffset1は第2の調整オフセット値(第4の調整オフセット値と第2の調整オフセット値が同じであることを例とする)に対応し、水平DBFフィルタリングに対する第2の調整オフセット値であり、すなわち、水平DBFフィルタリングを行う必要がある場合、DbrHAltOffset1は上記実施例の第2の調整オフセット値を表す。
実施例14:ハイレベルシンタックス(例えば画像ヘッダのハイレベルシンタックス)の1つの表現は表2に示すものを参照することができ、例えば、画像ヘッダにおいて表1に示すシンタックスを符号化/復号する。すなわち、符号化側は画像ヘッダにおいて表2に示すシンタックスを符号化し、復号側は画像ヘッダから表2に示すシンタックスを復号する。
表2において、関連シンタックスの意味は以下のとおりである。
画像レベルの強調垂直調整許可フラグビットpicture_alt_dbr_v_enable_flag:二値変数であり、値「1」は現在画像が強調垂直調整の使用を許可することを表し、値「0」は現在画像が強調垂直調整の使用を許可しないことを表す。PictureAltDbrVEnableFlagの値はpicture_alt_dbr_v_enable_flagに等しくてもよく、ビットストリームにpicture_alt_dbr_v_enable_flagが存在しなければ、PhAltDbrVEnableFlagの値は0となる。
一例として、強調調整モードについては、PictureAltDbrVEnableFlagは強調調整モードイネーブルフラグビットに対応し、垂直DBFフィルタリングに対する強調調整モードイネーブルフラグビットであり、すなわち、垂直DBFフィルタリングを行う必要がある場合、PictureAltDbrVEnableFlagは強調調整モードのイネーブルを許可すること、又は強調調整モードのイネーブルを許可しないことを表す。
実施例13におけるPictureDbrVEnableFlagとは異なり、PictureAltDbrVEnableFlagは垂直DBFフィルタリングに対する強調フィルタリングモードイネーブルフラグビットではなく、単に垂直DBFフィルタリングに対する強調調整モードイネーブルフラグビットである。
画像レベルの強調水平調整許可フラグビットpicture_alt_dbr_h_enable_flagは二値変数であり、値「1」は現在画像が強調水平調整の使用を許可することを表し、値「0」は現在画像が強調水平調整の使用を許可しないことを表す。PictureAltDbrHEnableFlagの値はpicture_alt_dbr_h_enable_flagに等しくてもよく、ビットストリームにpicture_alt_dbr_h_enable_flagが存在しなければ、PhAltDbrHEnableFlagの値は0となる。
一例として、強調調整モードについては、PhAltDbrHEnableFlagは強調調整モードイネーブルフラグビットに対応し、水平DBFフィルタリングに対する強調調整モードイネーブルフラグビットであり、すなわち、水平DBFフィルタリングを行う必要がある場合、PhAltDbrHEnableFlagは強調調整モードのイネーブルを許可すること、又は強調調整モードのイネーブルを許可しないことを表す。
実施例13におけるPictureDbrHEnableFlagとは異なり、PhAltDbrHEnableFlagは水平DBFフィルタリングに対する強調フィルタリングモードイネーブルフラグビットではなく、単に水平DBFフィルタリングに対する強調調整モードイネーブルフラグビットである。
表2における他のシンタックスの意味は、表1における該当シンタックスの意味と同じであり、ここでは重複する説明は省略する。
実施例15:実施例11に対して、adbr_enable_flagの符号化及び復号については、デブロッキングフィルタリングモードがイネーブルされた場合にのみadbr_enable_flagの符号化及び復号を行ってもよく、すなわち、まずデブロッキングフィルタリングモードをイネーブルするか否かを決定してもよく、イネーブルする場合、シーケンスヘッダにおいてフラグビットadbr_enable_flagを符号化/復号し、イネーブルしない場合、シーケンスヘッダにおいてフラグビットadbr_enable_flagを符号化/復号しない。以上をまとめると、強調調整モード(adbr_enable_flagは強調調整モードのイネーブルを制御するために用いられる)はデブロッキングフィルタリングモードのサブモードであり、デブロッキングフィルタリングモードがイネーブルされた場合にのみ強調調整モードのイネーブルが許可される。
実施例12に対して、dbr_enable_flagの符号化及び復号については、デブロッキングフィルタリングモードがイネーブルされた場合にのみdbr_enable_flagの符号化及び復号を行ってもよく、すなわち、まずデブロッキングフィルタリングモードをイネーブルするか否かを決定してもよく、イネーブルする場合、シーケンスヘッダにおいてフラグビットdbr_enable_flagを符号化/復号し、イネーブルしない場合、シーケンスヘッダにおいてフラグビットdbr_enable_flagを符号化/復号しない。以上をまとめると、強調フィルタリングモード(dbr_enable_flagは強調フィルタリングモードのイネーブルを制御するために用いられる)はデブロッキングフィルタリングモードのサブモードであり、デブロッキングフィルタリングモードがイネーブルされた場合にのみ強調フィルタリングモードのイネーブルが許可される。
実施例13に対して、表1に示すハイレベルシンタックス(強調フィルタリングモードのイネーブル及び強調調整モードのイネーブルを制御するために用いられる)の符号化及び復号については、デブロッキングフィルタリングモードがイネーブルされた場合にのみ当該ハイレベルシンタックスの符号化及び復号を行ってもよく、すなわち、まずデブロッキングフィルタリングモードをイネーブルするか否かを決定してもよく、イネーブルする場合、画像ヘッダにおいて表1に示すハイレベルシンタックスを符号化/復号し、イネーブルしない場合、画像ヘッダにおいて表1に示すハイレベルシンタックスを符号化/復号しない。
実施例14に対して、表2に示すハイレベルシンタックス(強調フィルタリングモードのイネーブル及び強調調整モードのイネーブルを制御するために用いられる)の符号化及び復号については、デブロッキングフィルタリングモードがイネーブルされた場合にのみ当該ハイレベルシンタックスの符号化及び復号を行ってもよく、すなわち、まずデブロッキングフィルタリングモードをイネーブルするか否かを決定してもよく、イネーブルする場合、画像ヘッダにおいて表2に示すハイレベルシンタックスを符号化/復号し、イネーブルしない場合、画像ヘッダにおいて表2に示すハイレベルシンタックスを符号化/復号しない。
実施例16:輝度成分(すなわち現在ブロックは輝度成分である)に対するデブロッキングフィルタリングプロセスは、例えば、強調調整モードを用いて輝度成分を調整し、又は、強調フィルタリングモードを用いて輝度成分を調整する。
輝度成分のDBRパラメータの導出プロセスについて、
現在のフィルタリング対象境界が垂直境界であり、且つPictureDbrVEnableFlagの値が1であれば、又は、現在のフィルタリング対象境界が水平境界であり、且つPictureDbrHEnableFlagの値が1であれば、PictureDbrEnableFlagの値が1となり、それ以外の場合、PictureDbrEnableFlagは0となる。また、現在のフィルタリング対象境界が垂直境界であり、且つPictureAltDbrVEnableFlagの値が1であれば、又は、現在のフィルタリング対象境界が水平境界であり、且つPictureAltDbrHEnableFlagの値が1であれば、PictureAltDbrEnableFlagの値が1となり、それ以外の場合、PictureAltDbrEnableFlagは0となる。
以下の方法により、dbr_th、dbr_offset0、dbr_offset1、alt_dbr_offset0、alt_dbr_offset1を導出する。
垂直境界に対して、dbr_th=DbrVThreshold、dbr_offset0=DbrVOffset0、dbr_offset1=DbrVOffset1、alt_dbr_offset0=DbrVAltOffset0、alt_dbr_offset1=DbrVAltOffset1である。
水平境界に対して、dbr_th=DbrHThreshold、dbr_offset0=DbrHOffset0、dbr_offset1=DbrHOffset1、alt_dbr_offset0=DbrHAltOffset0、alt_dbr_offset1=DbrHAltOffset1である。
(1)輝度成分のBSが4に等しい場合の境界のフィルタリングプロセス(強調フィルタリングモードで処理する):
BSの値が4である場合、p0、p1、p2及びq0、q1、q2に対するフィルタリング計算プロセスは以下のとおりである。
P0=(p2*3+p1*8+p0*10+q0*8+q1*3+16)>>5、
P1=(p2*4+p1*5+p0*4+q0*3+8)>>4、
P2=(p3*2+p2*2+p1*2+p0*1+q0*1+4)>>3、
Q0=(p1*3+p0*8+q0*10+q1*8+q2×3+16)>>5、
Q1=(p0*3+q0*4+q1*5+q2*4+8)>>4、
Q2=(p0*1+q0*1+q1*2+q2*2+q3*2+4)>>3。
P0、P1、P2、Q0、Q1、Q2はいずれもフィルタリング後の値(フィルタリング画素値)である。
P0、P1、P2及びQ0、Q1、Q2を得た後、PhDbrEnableFlagが1の場合、
pi>Pi+dbr_thであれば、Pi’=clip((Pi+pi+1)>>1+dbr_offset0)となり、そうでなく、pi<Pi-dbr_thであれば、Pi’=clip((Pi+pi+1)>>1+dbr_offset1)となり、i=0、1、2である。
qi>Qi+dbr_thであれば、Qi’=clip((Qi+qi+1)>>1+dbr_offset0)となり、そうでなく、qi<Qi-dbr_thであれば、Qi’=clip((Qi+qi+1)>>1+dbr_offset1)となり、i=0、1、2である。
上記式において、piは元画素値を表し、qiは元画素値を表し、Piはフィルタリング画素値を表し、Qiはフィルタリング画素値を表し、Pi’は調整画素値を表し、Qi’は調整画素値を表してもよい。
(2)輝度成分のBSが3に等しい場合の境界のフィルタリングプロセス(強調フィルタリングモードで処理する):
BSの値が3である場合、p0、p1及びq0、q1に対するフィルタリング計算プロセスは以下のとおりである。
P0=(p2+(p1<<2)+(p0<<2)+(p0<<1)+(q0<<2)+q1+8)>>4、
P1=((p2<<1)+p2+(p1<<3)+(p0<<2)+q0+8)>>4、
Q0=(p1+(p0<<2)+(q0<<2)+(q0<<1)+(q1<<2)+q2+8)>>4、
Q1=((q2<<1)+q2+(q1<<3)+(q0<<2)+p0+8)>>4。
P0、P1及びQ0、Q1はいずれもフィルタリング後の値(フィルタリング画素値)である。
P0、P1及びQ0、Q1を得た後、PhDbrEnableFlagが1の場合、
pi>Pi+dbr_thであれば、Pi’=clip((Pi+pi+1)>>1+dbr_offset0)となり、そうでなく、pi<Pi-dbr_thであれば、Pi’=clip((Pi+pi+1)>>1+dbr_offset1)となり、i=0、1である。
qi>Qi+dbr_thであれば、Qi’=clip((Qi+qi+1)>>1+dbr_offset0)となり、そうでなく、qi<Qi-dbr_thであれば、Qi’=clip((Qi+qi+1)>>1+dbr_offset1)となり、i=0、1である。
上記式において、piは元画素値を表し、qiは元画素値を表し、Piはフィルタリング画素値を表し、Qiはフィルタリング画素値を表し、Pi’は調整画素値を表し、Qi’は調整画素値を表してもよい。
(3)輝度成分のBSが2に等しい場合の境界のフィルタリングプロセス(強調フィルタリングモードで処理する):
BSの値が2である場合、p0及びq0に対するフィルタリング計算プロセスは以下のとおりである。
P0=((p1<<1)+p1+(p0<<3)+(p0<<1)+(q0<<1)+q0+8)>>4、
Q0=((p0<<1)+p0+(q0<<3)+(q0<<1)+(q1<<1)+q1+8)>>4。
P0及びQ0はいずれもフィルタリング後の値(フィルタリング画素値)である。
P0及びQ0を得た後、PhDbrEnableFlagが1の場合、
pi>Pi+dbr_thであれば、Pi’=clip((Pi+pi+1)>>1+dbr_offset0)となり、そうでなく、pi<Pi-dbr_thであれば、Pi’=clip((Pi+pi+1)>>1+dbr_offset1)となり、i=0である。
qi>Qi+dbr_thであれば、Qi’=clip((Qi+qi+1)>>1+dbr_offset0)となり、そうでなく、qi<Qi-dbr_thであれば、Qi’=clip((Qi+qi+1)>>1+dbr_offset1)となり、i=0である。
上記式において、piは元画素値を表し、qiは元画素値を表し、Piはフィルタリング画素値を表し、Qiはフィルタリング画素値を表し、Pi’は調整画素値を表し、Qi’は調整画素値を表してもよい。
(4)輝度成分のBSが1に等しい場合の境界のフィルタリングプロセス(強調フィルタリングモードで処理する):
BSの値が1である場合、p0及びq0に対するフィルタリング計算プロセスは以下のとおりである。
P0=((p0<<1)+p0+q0+2)>>2、
Q0=((q0<<1)+q0+p0+2)>>2。
P0及びQ0はいずれもフィルタリング後の値(フィルタリング画素値)である。
P0及びQ0を得た後、PhDbrEnableFlagが1の場合、
pi>Pi+dbr_thであれば、Pi’=clip((Pi+pi+1)>>1+dbr_offset0)となり、そうでなく、pi<Pi-dbr_thであれば、Pi’=clip((Pi+pi+1)>>1+dbr_offset1)となり、i=0である。
qi>Qi+dbr_thであれば、Qi’=clip((Qi+qi+1)>>1+dbr_offset0)となり、そうでなく、qi<Qi-dbr_thであれば、Qi’=clip((Qi+qi+1)>>1+dbr_offset1)となり、i=0である。
上記式において、piは元画素値を表し、qiは元画素値を表し、Piはフィルタリング画素値を表し、Qiはフィルタリング画素値を表し、Pi’は調整画素値を表し、Qi’は調整画素値を表してもよい。
(5)輝度成分のBSが0に等しい場合の境界のフィルタリングプロセスの方式1(強調調整モードで処理する):
BSの値が0である場合、pi及びqiに対するフィルタリング計算プロセスは以下のとおりである。
piの勾配値DPi及びqiの勾配値DQiを決定する。例えば、DPi=(pi-qi+2)>>2、DQi=(qi-pi+2)>>2となる。又は、DPi=(pi-qi+1)>>1、DQi=(qi-pi+1)>>1となる。
DPi及びDQiを得た後、PhAltDbrEnableFlagが1の場合、
DPi>dbr_thであれば、Pi=clip(pi+alt_dbr_offset0)となり、そうでなく、DPi<-dbr_thであれば、Pi=clip(pi+alt_dbr_offset1)となり、
DQi>dbr_thであれば、Qi=clip(qi+alt_dbr_offset0)となり、そうでなく、DQi<-dbr_thであれば、Qi=clip(qi+alt_dbr_offset1)となる。
上記iは0であってもよく、0、1、2などであってもよく、これについて限定しない。
上記式において、piは元画素値を表し、qiは元画素値を表し、DPiは勾配値を表し、DQiは勾配値を表し、Piは調整画素値を表し、Qiは調整画素値を表してもよい。
(6)輝度成分のBSが0に等しい場合の境界のフィルタリングプロセスの方式2(強調調整モードで処理する):
BSの値が0である場合、pi及びqiに対するフィルタリング計算プロセスは以下のとおりである。
piの勾配値DPi及びqiの勾配値DQiを決定する。例えば、DPi=(pi-qi+1)>>1、DQi=(qi-pi+1)>>1となる。
DPi及びDQiを得た後、PhAltDbrEnableFlagが1の場合、
DPi>2*dbr_thであれば、Pi=clip(pi+alt_dbr_offset0)となり、そうでなく、DPi<-2*dbr_thであれば、Pi=clip(pi+alt_dbr_offset1)となり、
DQi>2*dbr_thであれば、Qi=clip(qi+alt_dbr_offset0)となり、そうでなく、DQi<-2*dbr_thであれば、Qi=clip(qi+alt_dbr_offset1)となる。
上記2*dbr_th及び-2*dbr_thは、上記実施例における調整閾値であってもよい。
上記iは0であってもよく、0、1、2などであってもよく、これについて限定しない。
上記式において、piは元画素値を表し、qiは元画素値を表し、DPiは勾配値を表し、DQiは勾配値を表し、Piは調整画素値を表し、Qiは調整画素値を表してもよい。
(7)輝度成分のBSが0に等しい場合の境界のフィルタリングプロセスの方式3(強調調整モードで処理する):
BSの値が0である場合、pi及びqiに対するフィルタリング計算プロセスは以下のとおりである。
piの勾配値DPi及びqiの勾配値DQiを決定する。例えば、以下の方式で勾配値DPi及び勾配値DQiを決定してもよい。DPi=((pi<<1)+pi+qi+2)>>2、DQi=((qi<<1)+qi+pi+2)>>2。
DPi及びDQiを得た後、PhAltDbrEnableFlagが1の場合、
pi>DPi+dbr_thであれば、Pi=clip(pi+alt_dbr_offset0)となり、そうでなく、pi<DPi-dbr_thであれば、Pi=clip(pi+alt_dbr_offset1)となり、
qi>DQi+dbr_thであれば、Qi=clip(qi+alt_dbr_offset0)となり、そうでなく、qi<DQi-dbr_thであれば、Qi=clip(qi+alt_dbr_offset1)となる。
1つの可能な実施形態において、上記表現は等価的に以下のように表されてもよい。
piの勾配値DPi及びqiの勾配値DQiを決定する。例えば、以下の方式で勾配値DPi及び勾配値DQiを決定してもよい。DPi=pi-(((pi<<1)+pi+qi+2)>>2)、DQi=qi-(((qi<<1)+qi+pi+2)>>2)。
DPi及びDQiを得た後、PhAltDbrEnableFlagが1の場合、
DPi>dbr_thであれば、Pi=clip(pi+alt_dbr_offset0)となり、そうでなく、DPi<-dbr_thであれば、Pi=clip(pi+alt_dbr_offset1)となり、
DQi>dbr_thであれば、Qi=clip(qi+alt_dbr_offset0)となり、そうでなく、DQi<-dbr_thであれば、Qi=clip(qi+alt_dbr_offset1)となる。
上記iは0であってもよく、0、1、2などであってもよく、これについて限定しない。
上記式において、piは元画素値を表し、qiは元画素値を表し、DPiは勾配値を表し、DQiは勾配値を表し、Piは調整画素値を表し、Qiは調整画素値を表してもよい。
上記実施例において、clip(x)は、xを[0,2^(bit_depth)-1]の間(当該区間は0と2^(bit_depth)-1を含んでもよい)に制限することを表す。bit_depthは画像のビット深度を表し、一般的には、8、10、12などである。
(8)輝度成分のBSが0に等しい場合の境界のフィルタリングプロセスの方式4(強調調整モードで処理する):
BSの値が0である場合、pi及びqiに対するフィルタリング計算プロセスは以下のとおりである。
piの勾配値DPi及びqiの勾配値DQiを決定する。例えば、以下の方式で勾配値DPi及び勾配値DQiを決定してもよい。DPi=(qi-pi+2)>>2、DQi=(pi-qi+2)>>2。
DPi及びDQiを得た後、PhAltDbrEnableFlagが1の場合、
DPi<dbr_thであれば、Pi=clip(pi+dbr_alt_offset0)となり、そうでなく、DPi>-dbr_thであれば、Pi=clip(pi+dbr_alt_offset1)となり、
DQi<dbr_thであれば、Qi=clip(qi+alt_dbr_offset0)となり、そうでなく、DQi>-dbr_thであれば、Qi=clip(qi+dbr_alt_offset1)となる。
上記iは0であってもよく、0、1、2などであってもよく、これについて限定しない。
上記式において、piは元画素値を表し、qiは元画素値を表し、DPiは勾配値を表し、DQiは勾配値を表し、Piは調整画素値を表し、Qiは調整画素値を表してもよい。
(9)輝度成分のBSが0に等しい場合の境界のフィルタリングプロセスの方式5(強調調整モードで処理する):
BSの値が0である場合、pi及びqiに対するフィルタリング計算プロセスは以下のとおりである。
piの勾配値DPi及びqiの勾配値DQiを決定する。例えば、以下の方式で勾配値DPi及び勾配値DQiを決定してもよい。DPi=pi-(((pi<<1)+pi+qi+2)>>2)、すなわちDPi=(pi-qi-2)>>2、DQi=qi-(((qi<<1)+qi+pi+2)>>2)、すなわちDQi=(qi-pi-2)>>2。
DPi及びDQiを得た後、PhAltDbrEnableFlagが1の場合、
DPi>dbr_thであれば、Pi=clip(pi+dbr_alt_offset0)となり、そうでなく、DPi<-dbr_thであれば、Pi=clip(pi+dbr_alt_offset1)となり、
DQi>dbr_thであれば、Qi=clip(qi+dbr_alt_offset0)となり、そうでなく、DQi<-dbr_thであれば、Qi=clip(qi+dbr_alt_offset1)となる。
上記iは0であってもよく、0、1、2などであってもよく、これについて限定しない。
上記式において、piは元画素値を表し、qiは元画素値を表し、DPiは勾配値を表し、DQiは勾配値を表し、Piは調整画素値を表し、Qiは調整画素値を表してもよい。
実施例17:実施例11及び実施例12に対して、SPSレベルのハイレベルシンタックスを、PPSレベルのハイレベルシンタックス、又は画像ヘッダレベルのハイレベルシンタックス、又は画像レベルのハイレベルシンタックス、又はスライスヘッダレベルのハイレベルシンタックス、又はCTUレベルのハイレベルシンタックス、又はCUレベルのハイレベルシンタックスに置き換えてもよく、このハイレベルシンタックスのタイプについて限定せず、すなわち、様々なタイプのハイレベルシンタックスにより、いずれもdbr_enable_flag又はadbr_enable_flagを伝送することができる。実施例13及び実施例14に対して、画像ヘッダレベルのハイレベルシンタックスをSPSレベルのハイレベルシンタックス、又はPPSレベルのハイレベルシンタックス、又は画像レベルのハイレベルシンタックス、又はスライスヘッダレベルのハイレベルシンタックス、又はCTUレベルのハイレベルシンタックス、又はCUレベルのハイレベルシンタックスに置き換えてもよく、このハイレベルシンタックスのタイプについて限定せず、すなわち、様々なタイプのハイレベルシンタックスにより、いずれも表1又は表2の内容を伝送することができ、すなわち様々なタイプのハイレベルシンタックスにより強調調整モードイネーブルフラグビット、強調フィルタリングモードイネーブルフラグビット、第1の調整閾値、第1のフィルタリング閾値、第1のフィルタリングオフセット値、第2のフィルタリングオフセット値、第1の調整オフセット値、第2の調整オフセット値などのパラメータを伝送し、具体的な実現形態は実施例13及び実施例14の実施形態と類似するため、ここでは重複する説明は省略する。
実施例13及び実施例14に対して、画像ヘッダレベルのハイレベルシンタックスをCTUレベルのハイレベルシンタックスに置き換えてもよく、CTUレベルのハイレベルシンタックスによりDBRの関連パラメータを伝送し、DBRの関連パラメータは第1の調整閾値、第1のフィルタリング閾値、第1のフィルタリングオフセット値、第2のフィルタリングオフセット値、第1の調整オフセット値、第2の調整オフセット値などのパラメータなどの内容を含んでもよく、実施例13及び実施例14を参照する。又は、画像ヘッダレベルのハイレベルシンタックスをCUレベルのハイレベルシンタックスに置き換えてもよく、CUレベルのハイレベルシンタックスによりDBRの関連パラメータを伝送し、DBRの関連パラメータは第1の調整閾値、第1のフィルタリング閾値、第1のフィルタリングオフセット値、第2のフィルタリングオフセット値、第1の調整オフセット値、第2の調整オフセット値などのパラメータなどの内容を含んでもよく、実施例13及び実施例14を参照する。
実施例18:実施例16に対して、輝度成分に対するデブロッキングフィルタリングプロセスについては、輝度成分を色度成分に置き換えてもよく、すなわち色度成分(すなわち現在ブロックは色度成分である)に対してデブロッキングフィルタリングプロセスを行い、色度成分のデブロッキングフィルタリングプロセスは輝度成分のデブロッキングフィルタリングプロセスと類似するため、実施例16を参照し、ここでは重複する説明は省略する。
一例として、上記実施例1~実施例18を単独で実現してもよく、任意に組み合わせてもよく、例えば実施例1と実施例2を組み合わせてもよく、実施例1と実施例3を組み合わせてもよく、実施例1と実施例4を組み合わせてもよく、実施例1と実施例5を組み合わせてもよく、実施例1と実施例8~実施例18のうちの少なくとも1つの実施例を組み合わせてもよく、実施例8~実施例18のうちの少なくとも2つの実施例を任意に組み合わせてもよく、実施例2と実施例8~実施例18のうちの少なくとも1つの実施例を組み合わせてもよく、実施例3と実施例8~実施例18のうちの少なくとも1つの実施例を組み合わせてもよく、実施例4と実施例8~実施例18の少なくとも1つの実施例を組み合わせてもよく、実施例5と実施例8~実施例18のうちの少なくとも1つの実施例を組み合わせてもよく、実施例6と実施例8~実施例18のうちの少なくとも1つの実施例を組み合わせてもよく、実施例7と実施例8~実施例18のうちの少なくとも1つの実施例を組み合わせてもよい。もちろん、以上はいくつかの組み合わせの例に過ぎず、実施例1~実施例18のうち、任意の少なくとも2つの実施例は、いずれも組み合わせて該当プロセスを実現することができる。
一例として、上記各実施例において、符号化側の内容を復号側に適用することもでき、すなわち復号側は同じ方式で処理することができ、復号側の内容を符号化側に適用することもでき、すなわち符号化側は同じ方式で処理することができる。
実施例19:上記方法と同様の出願構想に基づき、本発明の実施例において復号装置がさらに提供され、前記復号装置は復号側に適用され、前記復号装置は、ビデオデータを記憶するように構成されるメモリと、上記実施例1~実施例18における符号化復号方法、すなわち復号側の処理フローを実施するように構成される復号器と、を含む。
例えば、1つの可能な実施形態において、復号器は、
現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、前記現在画素点の元画素値及び前記現在画素点の周辺画素点の元画素値に基づいて前記現在画素点の勾配値を決定し、前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定することを実施するように構成される。
上記方法と同様の出願構想に基づき、本発明の実施例において符号化装置がさらに提供され、前記符号化装置は符号化側に適用され、前記符号化装置は、ビデオデータを記憶するように構成されるメモリと、上記実施例1~実施例18における符号化復号方法、すなわち符号化側の処理フローを実施するように構成される符号化器と、を含む。
例えば、1つの可能な実施形態において、符号化器は、
現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、前記現在画素点の元画素値及び前記現在画素点の周辺画素点の元画素値に基づいて前記現在画素点の勾配値を決定し、前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定することを実施するように構成される。
上記方法と同様の出願構想に基づき、本発明の実施例にて提供される復号デバイス(ビデオ復号器とも呼ばれる)は、ハードウェア面から、そのハードウェアアーキテクチャの概略図が具体的に図5Aに示すとおりである。プロセッサ511及び機械可読記憶媒体512を含み、そのうち、前記機械可読記憶媒体512には、前記プロセッサ511によって実行可能な機械実行可能な命令が記憶され、前記プロセッサ511は機械実行可能な命令を実行して、本発明の上記実施例1~18にて開示された方法を実施するために用いられる。例えば、前記プロセッサ511は機械実行可能な命令を実行して、
現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、前記現在画素点の元画素値及び前記現在画素点の周辺画素点の元画素値に基づいて前記現在画素点の勾配値を決定するステップと、前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定するステップとを実施するために用いられる。
上記方法と同様の出願構想に基づき、本発明の実施例にて提供される符号化デバイス(ビデオ符号化器とも呼ばれる)は、ハードウェア面から、そのハードウェアアーキテクチャの概略図が具体的に図5Bに示すとおりである。プロセッサ521及び機械可読記憶媒体522を含み、そのうち、前記機械可読記憶媒体522には、前記プロセッサ521によって実行可能な機械実行可能な命令が記憶され、前記プロセッサ521は機械実行可能な命令を実行して、本発明の上記実施例1~18にて開示された方法を実施するために用いられる。例えば、前記プロセッサ521は機械実行可能な命令を実行して、
現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、前記現在画素点の元画素値及び前記現在画素点の周辺画素点の元画素値に基づいて前記現在画素点の勾配値を決定するステップと、前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定するステップとを実施するために用いられる。
上記方法と同様の出願構想に基づき、本発明の実施例は機械可読記憶媒体をさらに提供し、前記機械可読記憶媒体には、複数のコンピュータ命令が記憶され、前記コンピュータ命令がプロセッサによって実行されると、本発明の上記例にて開示された方法、例えば上記各実施例における符号化復号方法が実施され得る。ここで、上記機械可読記憶媒体は、例えば、実行可能な命令、データなどの情報を含むか、又は記憶することができる、任意の電子的、磁気的、光学的、又は他の物理的記憶装置であってもよい。例えば、機械可読記憶媒体は、RAM(Radom Access Memory、ランダムアクセスメモリ)、揮発性メモリ、不揮発性メモリ、フラッシュメモリ、記憶ドライブ(例えばハードディスクドライブ)、ソリッドステートドライブ、任意のタイプの記憶ディスク(例えば光ディスク、dvdなど)、若しくは類似の記憶媒体、又はそれらの組み合わせであってもよい。
上記方法と同様の出願構想に基づき、本発明の実施例はコンピュータアプリケーションプログラムをさらに提供し、前記コンピュータアプリケーションプログラムは、プロセッサによって実行されると、本発明の上記例にて開示された符号化復号方法が実施され得る。
上記方法と同様の出願構想に基づき、本発明の実施例は符号化側又は復号側に適用可能な符号化復号装置をさらに提供し、当該符号化復号装置は、
現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、前記現在画素点の元画素値及び前記現在画素点の周辺画素点の元画素値に基づいて前記現在画素点の勾配値を決定するための決定モジュールと、前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定するための処理モジュールとを含み得る。
一例として、前記処理モジュールは、前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定する時に、具体的には、
前記現在画素点の勾配値、前記現在画素点の元画素値、第1の調整閾値、第2の調整閾値、第1の調整オフセット値及び第2の調整オフセット値に基づいて、前記現在画素点の調整画素値を決定するために用いられる。
一例として、前記処理モジュールは、前記現在画素点の勾配値、前記現在画素点の元画素値、第1の調整閾値、第2の調整閾値、第1の調整オフセット値及び第2の調整オフセット値に基づいて、前記現在画素点の調整画素値を決定する時に、具体的には、前記現在画素点の勾配値が第1の調整閾値より大きい場合、前記現在画素点の元画素値及び第1の調整オフセット値に基づいて前記現在画素点の調整画素値を決定し、
前記現在画素点の勾配値が第2の調整閾値より小さい場合、前記現在画素点の元画素値及び第2の調整オフセット値に基づいて前記現在画素点の調整画素値を決定するために用いられる。
1つの可能な実施形態において、現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、前記決定モジュールは、さらに、前記現在ブロックの隣接ブロックから前記現在画素点に対応する参照画素点を決定し、前記参照画素点の元画素値及び前記参照画素点の周辺画素点の元画素値に基づいて前記参照画素点の勾配値を決定するために用いられ、前記処理モジュールは、さらに、前記参照画素点の勾配値及び前記参照画素点の元画素値に基づいて、前記参照画素点の調整画素値を決定するために用いられる。
一例として、前記処理モジュールは、前記参照画素点の勾配値及び前記参照画素点の元画素値に基づいて、前記参照画素点の調整画素値を決定する時に、具体的には、
前記参照画素点の勾配値、前記参照画素点の元画素値、第3の調整閾値、第4の調整閾値、第3の調整オフセット値及び第4の調整オフセット値に基づいて、前記参照画素点の調整画素値を決定するために用いられる。
一例として、前記処理モジュールは、前記参照画素点の勾配値、前記参照画素点の元画素値、第3の調整閾値、第4の調整閾値、第3の調整オフセット値及び第4の調整オフセット値に基づいて、前記参照画素点の調整画素値を決定する時に、具体的には、前記参照画素点の勾配値が第3の調整閾値より大きい場合、前記参照画素点の元画素値及び第3の調整オフセット値に基づいて前記参照画素点の調整画素値を決定し、
前記参照画素点の勾配値が第4の調整閾値より小さい場合、前記参照画素点の元画素値及び第4の調整オフセット値に基づいて前記参照画素点の調整画素値を決定するために用いられる。
一つの可能な実施形態において、前記決定モジュールは、前記現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たす時に、具体的には、前記現在ブロックにおける現在画素点に対応するフィルタリング対象境界の境界強度が強調調整モードのイネーブル条件を満たすと、前記現在画素点が強調調整モードのイネーブル条件を満たすと決定し、又は、前記現在ブロックに対応する特徴情報が強調調整モードのイネーブル条件を満たすと、前記現在ブロックにおける前記現在画素点が強調調整モードのイネーブル条件を満たすと決定するために用いられる。
一例として、前記処理モジュールは、さらに、前記現在ブロックにおける現在画素点が通常のフィルタリングモードのイネーブル条件を満たすと、前記現在画素点の元画素値に対してデブロッキングフィルタリングを行い、前記現在画素点のフィルタリング画素値を得、前記現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすと、前記現在画素点のフィルタリング画素値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定するために用いられる。
一例として、前記処理モジュールは、前記現在画素点のフィルタリング画素値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定する時に、具体的には、前記現在画素点のフィルタリング画素値、前記現在画素点の元画素値、第1のフィルタリング閾値、第2のフィルタリング閾値、第1のフィルタリングオフセット値及び第2のフィルタリングオフセット値に基づいて、前記現在画素点の調整画素値を決定するために用いられ、第1のフィルタリング閾値と第2のフィルタリング閾値は互いに反数である。
一例として、前記現在ブロックにおける現在画素点が通常のフィルタリングモードのイネーブル条件を満たすと、前記処理モジュールは、さらに、前記現在ブロックの隣接ブロックから前記現在画素点に対応する参照画素点を決定し、前記参照画素点の元画素値に対してデブロッキングフィルタリングを行い、前記参照画素点のフィルタリング画素値を得、
前記現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすと、前記参照画素点のフィルタリング画素値及び前記参照画素点の元画素値に基づいて、前記参照画素点の調整画素値を決定するために用いられる。
一例として、前記処理モジュールは、前記参照画素点のフィルタリング画素値及び前記参照画素点の元画素値に基づいて、前記参照画素点の調整画素値を決定する時に、具体的には、前記参照画素点のフィルタリング画素値、前記参照画素点の元画素値、第3のフィルタリング閾値、第4のフィルタリング閾値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値に基づいて、前記参照画素点の調整画素値を決定するために用いられ、第3のフィルタリング閾値と第4のフィルタリング閾値は互いに反数である。
上記実施例で説明したシステム、装置、モジュール又はユニットは、具体的には、コンピュータチップ、エンティティ、又は何らかの機能を有する製品によって実現されてもよい。典型的な実現デバイスはコンピュータであり、コンピュータの具体的な形態はパーソナルコンピュータ、ラップトップコンピュータ、携帯電話、カメラ付き電話、スマートフォン、パーソナルデジタルアシスタント、メディアプレーヤ、ナビゲーションデバイス、電子メール送受信デバイス、ゲーム機、タブレット、ウェアラブルデバイス、又はこれらのデバイスの任意のいくつかの組み合わせであってもよい。説明の便宜上、上記の装置を説明するときに機能によって様々なユニットに分けてそれぞれ説明する。もちろん、本発明を実施する際に、各ユニットの機能を同一又は複数のソフトウェア及び/又はハードウェアで実現することも可能である。
当業者であれば分かるように、本発明の実施例が、方法、システム、又はコンピュータプログラム製品として提供されてもよい。本発明は、ハードウェアだけからなる実施例、ソフトウェアだけからなる実施例、又はソフトウェアとハードウェアを組み合わせた実施例なる形態を用いてもよい。本発明の実施例は、コンピュータで使用可能なプログラムコードを含む1つ又は複数のコンピュータで使用可能な記憶媒体(磁気ディスクメモリ、CD-ROM、光学メモリなどを含むが、これらに限定されない)において実施されるコンピュータプログラム製品の形態であってもよい。
本発明は、本発明の実施例による方法、デバイス(システム)、及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照して説明される。フローチャート及び/又はブロック図における各フロー及び/又はブロック、並びにフローチャート及び/又はブロック図におけるフロー及び/又はブロックの組み合わせは、コンピュータプログラム命令によって実現されてもよいことが理解されるべきである。これらのコンピュータプログラム命令は、マシンを生成するために、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、又は他のプログラム可能なデータ処理デバイスのプロセッサに提供されてもよく、それにより、コンピュータ又は他のプログラム可能なデータ処理デバイスのプロセッサによって実行される命令により、フローチャートの1つ又は複数のフロー、及び/又はブロック図の1つ又は複数のブロックにおいて指定される機能を実現するための装置が生成される。
これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理デバイスに特定の方法で作業するように指示することができるコンピュータ可読メモリに記憶されてもよく、その結果、当該コンピュータ可読メモリに記憶されている命令により、フローチャートの1つ又は複数のフロー及び/又はブロック図の1つ又は複数のブロックにおいて指定される機能を実現する命令装置を含む製品が生成される。これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理デバイスにロードしてもよく、それにより、一連の動作ステップがコンピュータ又は他のプログラム可能なデバイス上で実行されることで、コンピュータにより実施される処理が生成され、それにより、コンピュータ又は他のプログラム可能なデバイス上で実行される命令により、フローチャートの1つ又は複数のフロー、及び/又はブロック図の1つ又は複数のブロック内で指定される機能を実現するためのステップが提供される。上記は、本発明の実施例にすぎず、本発明を限定するために使用されるものではない。当業者にとって、本発明は、様々な変更及び変化があり得る。本発明の趣旨と原理から逸脱することなく修正、同等な置換、改善などを行った場合、いずれも本発明の特許請求の範囲に含まれるものとするべきである。
511 プロセッサ
512 機械可読記憶媒体
521 プロセッサ
522 機械可読記憶媒体

Claims (21)

  1. 現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、前記現在画素点の元画素値及び前記現在画素点の周辺画素点の元画素値に基づいて前記現在画素点の勾配値を決定するステップと、
    前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定するステップと、を含み、
    ここで、前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定するステップは、前記現在画素点の勾配値、前記現在画素点の元画素値、第1の調整閾値、第2の調整閾値、第1の調整オフセット値及び第2の調整オフセット値に基づいて、前記現在画素点の調整画素値を決定するステップを含み、
    ここで、前記現在画素点の勾配値が第1の調整閾値より大きい場合、前記現在画素点の元画素値及び第1の調整オフセット値に基づいて前記現在画素点の調整画素値を決定し、
    前記現在画素点の勾配値が第2の調整閾値より小さい場合、前記現在画素点の元画素値及び第2の調整オフセット値に基づいて前記現在画素点の調整画素値を決定する、
    ことを特徴とする復号方法。
  2. 現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、前記方法は、さらに、
    前記現在ブロックの隣接ブロックから前記現在画素点に対応する参照画素点を決定し、前記参照画素点の元画素値及び前記参照画素点の周辺画素点の元画素値に基づいて前記参照画素点の勾配値を決定するステップと、
    前記参照画素点の勾配値及び前記参照画素点の元画素値に基づいて、前記参照画素点の調整画素値を決定するステップと、を含む、
    ことを特徴とする請求項1に記載の方法。
  3. 前記参照画素点の勾配値及び前記参照画素点の元画素値に基づいて、前記参照画素点の調整画素値を決定するステップは、
    前記参照画素点の勾配値、前記参照画素点の元画素値、第3の調整閾値、第4の調整閾値、第3の調整オフセット値及び第4の調整オフセット値に基づいて、前記参照画素点の調整画素値を決定するステップを含む、
    ことを特徴とする請求項2に記載の方法。
  4. 前記参照画素点の勾配値、前記参照画素点の元画素値、第3の調整閾値、第4の調整閾値、第3の調整オフセット値及び第4の調整オフセット値に基づいて、前記参照画素点の調整画素値を決定するステップは、
    前記参照画素点の勾配値が第3の調整閾値より大きい場合、前記参照画素点の元画素値及び第3の調整オフセット値に基づいて前記参照画素点の調整画素値を決定し、前記参照画素点の勾配値が第4の調整閾値より小さい場合、前記参照画素点の元画素値及び第4の調整オフセット値に基づいて前記参照画素点の調整画素値を決定するステップを含む、
    ことを特徴とする請求項に記載の方法。
  5. ハイレベルシンタックスから前記現在ブロックに対応する第1の調整閾値、第1の調整オフセット値、第2の調整オフセット値、第3の調整閾値、第3の調整オフセット値及び第4の調整オフセット値を解析するステップをさらに含む、
    ことを特徴とする請求項1~4のいずれか一項に記載の方法。
  6. 現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと決定する前に、さらに、
    前記現在ブロックに対応する強調調整モードイネーブルフラグビットは現在ブロックが強調調整モードをイネーブルすることを許可すると、前記現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと決定するステップを含む、
    ことを特徴とする請求項1~4のいずれか一項に記載の方法。
  7. ハイレベルシンタックスから前記現在ブロックに対応する強調調整モードイネーブルフラグビットを解析するステップをさらに含む、
    ことを特徴とする請求項6に記載の方法。
  8. 前記現在ブロックにおける現在画素点が通常のフィルタリングモードのイネーブル条件を満たすと、前記現在画素点の元画素値に対してデブロッキングフィルタリングを行い、前記現在画素点のフィルタリング画素値を得るステップと、
    前記現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすと、前記現在画素点のフィルタリング画素値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定するステップと、を含む、
    ことを特徴とする請求項1に記載の方法。
  9. 前記現在画素点のフィルタリング画素値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定するステップは、
    前記現在画素点のフィルタリング画素値、前記現在画素点の元画素値、第1のフィルタリング閾値、第2のフィルタリング閾値、第1のフィルタリングオフセット値及び第2のフィルタリングオフセット値に基づいて、前記現在画素点の調整画素値を決定するステップを含み、
    ここで、第1のフィルタリング閾値と第2のフィルタリング閾値は互いに反数である、
    ことを特徴とする請求項8に記載の方法。
  10. 前記現在ブロックにおける現在画素点が通常のフィルタリングモードのイネーブル条件を満たすと、さらに、
    前記現在ブロックの隣接ブロックから前記現在画素点に対応する参照画素点を決定するステップと、
    前記参照画素点の元画素値に対してデブロッキングフィルタリングを行い、前記参照画素点のフィルタリング画素値を得るステップと、を含み、
    前記現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすと、さらに、
    前記参照画素点のフィルタリング画素値及び前記参照画素点の元画素値に基づいて、前記参照画素点の調整画素値を決定するステップと、を含む、
    ことを特徴とする請求項8に記載の方法。
  11. 前記参照画素点のフィルタリング画素値及び前記参照画素点の元画素値に基づいて、前記参照画素点の調整画素値を決定するステップは、
    前記参照画素点のフィルタリング画素値、前記参照画素点の元画素値、第3のフィルタリング閾値、第4のフィルタリング閾値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値に基づいて、前記参照画素点の調整画素値を決定するステップを含み、
    ここで、第3のフィルタリング閾値と第4のフィルタリング閾値は互いに反数である、
    ことを特徴とする請求項10に記載の方法。
  12. ハイレベルシンタックスから前記現在ブロックに対応する第1のフィルタリング閾値、第1のフィルタリングオフセット値、第2のフィルタリングオフセット値、第4のフィルタリング閾値、第3のフィルタリングオフセット値及び第4のフィルタリングオフセット値を解析するステップをさらに含む、
    ことを特徴とする請求項9に記載の方法。
  13. 前記現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすと決定することは、
    前記現在ブロックにおける現在画素点に対応するフィルタリング対象境界の境界強度が強調フィルタリングモードのイネーブル条件を満たし、且つ前記現在画素点のフィルタリング画素値と前記現在画素点の元画素値との差分の絶対値が所定の閾値より大きければ、前記現在画素点が強調フィルタリングモードのイネーブル条件を満たすと決定することを含む、
    ことを特徴とする請求項8に記載の方法。
  14. 前記現在ブロックにおける現在画素点に対応するフィルタリング対象境界の境界強度が強調フィルタリングモードのイネーブル条件を満たすと決定することは、
    現在画素点に対応するフィルタリング対象境界の境界強度が所定の第2の数値であれば、フィルタリング対象境界の境界強度が強調フィルタリングモードのイネーブル条件を満たすと決定することを含む、
    ことを特徴とする請求項13に記載の方法。
  15. 前記現在ブロックに対応する強調フィルタリングモードイネーブルフラグビットは前記現在ブロックが強調フィルタリングモードをイネーブルすることを許可すると、前記現在ブロックにおける現在画素点が強調フィルタリングモードのイネーブル条件を満たすか否かを決定するステップをさらに含む、
    ことを特徴とする請求項8に記載の方法。
  16. 前記現在ブロックにおける現在画素点の画素値は輝度成分又は色度成分である、
    ことを特徴とする請求項1~4のいずれか一項に記載の方法。
  17. 現在ブロックにおける現在画素点が強調調整モードのイネーブル条件を満たすと、前記現在画素点の元画素値及び前記現在画素点の周辺画素点の元画素値に基づいて前記現在画素点の勾配値を決定するステップと、
    前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定するステップと、を含み、
    ここで、前記現在画素点の勾配値及び前記現在画素点の元画素値に基づいて、前記現在画素点の調整画素値を決定するステップは、前記現在画素点の勾配値、前記現在画素点の元画素値、第1の調整閾値、第2の調整閾値、第1の調整オフセット値及び第2の調整オフセット値に基づいて、前記現在画素点の調整画素値を決定することを含み、
    ここで、前記現在画素点の勾配値が第1の調整閾値より大きい場合、前記現在画素点の元画素値及び第1の調整オフセット値に基づいて前記現在画素点の調整画素値を決定し、
    前記現在画素点の勾配値が第2の調整閾値より小さい場合、前記現在画素点の元画素値及び第2の調整オフセット値に基づいて前記現在画素点の調整画素値を決定する、
    ことを特徴とする符号化方法。
  18. ビデオデータを記憶するように構成されるメモリと、
    請求項1に記載の方法を実施するように構成される復号器と、を含む、
    ことを特徴とする復号装置。
  19. ビデオデータを記憶するように構成されるメモリと、
    請求項17に記載の方法を実施するように構成される符号化器と、を含む、
    ことを特徴とする符号化装置。
  20. プロセッサ及び機械可読記憶媒体を含む復号デバイスであって、前記機械可読記憶媒体には、前記プロセッサによって実行可能な機械実行可能な命令が記憶され、
    前記プロセッサは、機械実行可能な命令を実行して、請求項1に記載の方法を実施するために用いられる、
    ことを特徴とする復号デバイス。
  21. プロセッサ及び機械可読記憶媒体を含む符号化デバイスであって、前記機械可読記憶媒体には、前記プロセッサによって実行可能な機械実行可能な命令が記憶され、
    前記プロセッサは、機械実行可能な命令を実行して、請求項17に記載の方法を実施するために用いられる、
    ことを特徴とする符号化デバイス。
JP2023551246A 2021-02-23 2022-02-22 符号化復号方法、装置及びそのデバイス Active JP7541198B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024135472A JP7707392B2 (ja) 2021-02-23 2024-08-14 符号化復号方法、装置及びそのデバイス

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110204154.2 2021-02-23
CN202110204154.2A CN114640845B (zh) 2021-02-23 2021-02-23 编解码方法、装置及其设备
PCT/CN2022/077298 WO2022179504A1 (zh) 2021-02-23 2022-02-22 编解码方法、装置及其设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024135472A Division JP7707392B2 (ja) 2021-02-23 2024-08-14 符号化復号方法、装置及びそのデバイス

Publications (2)

Publication Number Publication Date
JP2024506213A JP2024506213A (ja) 2024-02-09
JP7541198B2 true JP7541198B2 (ja) 2024-08-27

Family

ID=81073883

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2023551246A Active JP7541198B2 (ja) 2021-02-23 2022-02-22 符号化復号方法、装置及びそのデバイス
JP2024135472A Active JP7707392B2 (ja) 2021-02-23 2024-08-14 符号化復号方法、装置及びそのデバイス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024135472A Active JP7707392B2 (ja) 2021-02-23 2024-08-14 符号化復号方法、装置及びそのデバイス

Country Status (11)

Country Link
US (1) US12081750B2 (ja)
EP (1) EP4277267B1 (ja)
JP (2) JP7541198B2 (ja)
KR (2) KR20240134236A (ja)
CN (2) CN114640845B (ja)
AU (1) AU2022227062B2 (ja)
ES (1) ES3045744T3 (ja)
FI (1) FI4277267T3 (ja)
TW (1) TWI806447B (ja)
WO (1) WO2022179504A1 (ja)
ZA (1) ZA202307790B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120499385A (zh) * 2020-03-17 2025-08-15 北京三星通信技术研究有限公司 视频编解码的方法和装置
CN114640845B (zh) * 2021-02-23 2023-02-28 杭州海康威视数字技术股份有限公司 编解码方法、装置及其设备
CN119788873B (zh) * 2024-11-15 2025-12-09 北京大学 屏幕图像的后处理增强方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060110062A1 (en) 2004-11-23 2006-05-25 Stmicroelectronics Asia Pacific Pte. Ltd. Edge adaptive filtering system for reducing artifacts and method
US20120328029A1 (en) 2011-06-22 2012-12-27 Texas Instruments Incorporated Systems and methods for reducing blocking artifacts
WO2014196613A1 (ja) 2013-06-07 2014-12-11 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
JP2015104061A (ja) 2013-11-27 2015-06-04 三菱電機株式会社 動画像符号化装置及び動画像復号装置
JP2017513326A (ja) 2014-03-14 2017-05-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated ピクセル距離を使用したデブロックフィルタ処理
US20180332309A1 (en) 2015-11-24 2018-11-15 Samsung Electronics Co., Ltd. Method and apparatus for post-processing intra or inter prediction block on basis of gradient of pixel

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9681132B2 (en) * 2010-11-24 2017-06-13 Thomson Licensing Dtv Methods and apparatus for adaptive loop filtering in video encoders and decoders
CN114979635B (zh) * 2017-10-09 2023-10-27 佳能株式会社 用于对样本块进行滤波的方法、装置和存储介质
CN109889853A (zh) * 2019-02-26 2019-06-14 北京大学深圳研究生院 一种去块效应滤波方法、系统、设备及计算机可读介质
US11272203B2 (en) * 2019-07-23 2022-03-08 Tencent America LLC Method and apparatus for video coding
US11310519B2 (en) * 2019-09-18 2022-04-19 Qualcomm Incorporated Deblocking of subblock boundaries for affine motion compensated coding
CN113676735A (zh) * 2019-09-23 2021-11-19 杭州海康威视数字技术股份有限公司 编解码方法方法、装置及设备
WO2021056212A1 (zh) * 2019-09-24 2021-04-01 深圳市大疆创新科技有限公司 视频编解码方法和装置
CN114339224B (zh) 2020-06-05 2022-12-23 杭州海康威视数字技术股份有限公司 图像增强方法、装置及机器可读存储介质
CN111669584B (zh) * 2020-06-11 2022-10-28 浙江大华技术股份有限公司 一种帧间预测滤波方法、装置和计算机可读存储介质
CN114501004B (zh) 2020-07-03 2023-04-28 杭州海康威视数字技术股份有限公司 滤波处理方法、装置及机器可读存储介质
CN114189683B (zh) 2020-09-15 2022-12-23 杭州海康威视数字技术股份有限公司 增强滤波方法及装置
CN114640845B (zh) * 2021-02-23 2023-02-28 杭州海康威视数字技术股份有限公司 编解码方法、装置及其设备
CN114125445B (zh) * 2021-06-30 2023-03-24 杭州海康威视数字技术股份有限公司 解码方法、装置、设备及机器可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060110062A1 (en) 2004-11-23 2006-05-25 Stmicroelectronics Asia Pacific Pte. Ltd. Edge adaptive filtering system for reducing artifacts and method
US20120328029A1 (en) 2011-06-22 2012-12-27 Texas Instruments Incorporated Systems and methods for reducing blocking artifacts
WO2014196613A1 (ja) 2013-06-07 2014-12-11 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
JP2014239338A (ja) 2013-06-07 2014-12-18 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像システム、動画像符号化方法、動画像復号方法、およびプログラム
JP2015104061A (ja) 2013-11-27 2015-06-04 三菱電機株式会社 動画像符号化装置及び動画像復号装置
JP2017513326A (ja) 2014-03-14 2017-05-25 クゥアルコム・インコーポレイテッドQualcomm Incorporated ピクセル距離を使用したデブロックフィルタ処理
US20180332309A1 (en) 2015-11-24 2018-11-15 Samsung Electronics Co., Ltd. Method and apparatus for post-processing intra or inter prediction block on basis of gradient of pixel

Also Published As

Publication number Publication date
ZA202307790B (en) 2024-04-24
JP2024506213A (ja) 2024-02-09
AU2022227062B2 (en) 2023-12-14
KR20240134236A (ko) 2024-09-06
WO2022179504A1 (zh) 2022-09-01
KR20230128555A (ko) 2023-09-05
EP4277267A4 (en) 2024-07-03
AU2022227062A1 (en) 2023-09-07
TWI806447B (zh) 2023-06-21
CN114339223A (zh) 2022-04-12
TW202245474A (zh) 2022-11-16
KR102700665B1 (ko) 2024-08-28
CN114339223B (zh) 2023-03-31
EP4277267B1 (en) 2025-08-20
US20240048695A1 (en) 2024-02-08
CN114640845A (zh) 2022-06-17
CN114640845B (zh) 2023-02-28
EP4277267A1 (en) 2023-11-15
FI4277267T3 (fi) 2025-11-21
JP2024149789A (ja) 2024-10-18
JP7707392B2 (ja) 2025-07-14
US12081750B2 (en) 2024-09-03
ES3045744T3 (en) 2025-11-28

Similar Documents

Publication Publication Date Title
US12003713B2 (en) Image encoding/decoding method and apparatus using sample filtering
US10771819B2 (en) Sample adaptive offset filtering
JP7707392B2 (ja) 符号化復号方法、装置及びそのデバイス
US9100649B2 (en) Method and apparatus for processing a video signal
KR102939858B1 (ko) 행렬 기반 인트라 예측
JP7384974B2 (ja) 適応乗算係数を用いた画像フィルタリングのための方法および装置
CN114143548B (zh) 视频编解码中变换系数的编解码
JP5814191B2 (ja) デブロッキング処理方法、デブロッキング処理装置、プログラム、及び記録媒体
RU2827777C2 (ru) Способ, оборудование и устройства для кодирования и декодирования
RU2817405C1 (ru) Способ, оборудование и устройства для кодирования и декодирования
HK40064089A (en) Decoding method, apparatus, device, and machine-readable storage medium
HK40064089B (en) Decoding method, apparatus, device, and machine-readable storage medium
WO2024192733A9 (zh) 视频编解码方法、装置、设备、系统、及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230823

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240815

R150 Certificate of patent or registration of utility model

Ref document number: 7541198

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150