JP6839246B2 - Video processing equipment, processing methods and computer-readable storage media - Google Patents
Video processing equipment, processing methods and computer-readable storage media Download PDFInfo
- Publication number
- JP6839246B2 JP6839246B2 JP2019160621A JP2019160621A JP6839246B2 JP 6839246 B2 JP6839246 B2 JP 6839246B2 JP 2019160621 A JP2019160621 A JP 2019160621A JP 2019160621 A JP2019160621 A JP 2019160621A JP 6839246 B2 JP6839246 B2 JP 6839246B2
- Authority
- JP
- Japan
- Prior art keywords
- boundary
- filter
- threshold value
- conversion block
- filters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、動画像の処理装置、処理方法及びコンピュータ可読記憶媒体に関する。 The present invention relates to a moving image processing device, a processing method, and a computer-readable storage medium.
特許文献1は、イントラ予測(フレーム内予測)/インター予測(フレーム間予測)と、残差変換と、エントロピー符号化と、インループフィルタを用いた動画像の符号化装置及び復号装置を開示している。図6は、特許文献1に記載の符号化装置の構成図である。なお、符号化は、フレームを分割した複数の異なるサイズのいずれかであるブロックを単位として行われる。
まず、入力画像データは、インター予測部15及びイントラ予測部16に入力される。なお、インター予測部15には、フレームバッファ17から以前のフレームの画像データが入力され、イントラ予測部16には、処理対象と同じフレームの既に処理したブロックの画像データが加算部14から入力される。インター予測部15は、以前のフレームに基づき、フレーム間予測による処理対象ブロックの予測ブロックを出力する。イントラ予測部16は、処理対象ブロックと同じフレームの他のブロックに基づき、処理対象ブロックの予測ブロックを出力する。そして、処理対象ブロックにフレーム間予測を適用するか、フレーム内予測を適用するかに応じて、インター予測部15とイントラ予測部16の出力のいずれかが減算部10に出力される。
First, the input image data is input to the
減算部10は、処理対象ブロックの画像と、インター予測部15又はイントラ予測部16が出力した予測画像との誤差を示す誤差(残差)信号を出力する。変換・量子化部11は、誤差信号に対して直交変換及び量子化を行ってレベル値を出力する。符号化部12は、このレベル値と、サイド情報(図示せず)をエントロピー符号化して、ビットストリームを生成する。なお、サイド情報とは、復号装置において使用する画素値の再構成に必要な情報であり、イントラ予測又はインター予測の何れを使用したかを示す符号化モード、量子化パラメータ、ブロックサイズ等の情報を含んでいる。
The
逆量子化・逆変換部13は、変換・量子化部11とは逆の処理を行って誤差信号を生成する。加算部14は、逆量子化・逆変換部13が出力する誤差信号と、インター予測部15又はイントラ予測部16が出力する予測画像を加算して、処理対象ブロックを生成し、イントラ予測部16と、インループフィルタ18に出力する。インループフィルタ18は、1つのフレームの総てのブロックを受け取ると、当該フレームに対応する局所復号画像を生成してフレームバッファ17に出力する。この局所復号画像は、インター予測部15におけるフレーム間予測に使用される。
The inverse quantization /
なお、非特許文献1は、インループフィルタ18において、デブロッキング処理とサンプル適応オフセット処理を行うことを開示している。デブロッキング処理とは、フレーム内のブロックの境界部に生じる歪を減少させる処理である。これにより、フレーム間予測において画質劣化が伝搬することを防ぐ。なお、サンプル適応オフセット処理とは、画素値に対してオフセット値を加算/減算する処理である。
Non-Patent
図7は、特許文献1に記載の復号装置の構成図である。符号化装置が生成したビットストリームは、復号部20においてエントロピー復号されレベル値とサイド情報が取り出される。逆量子化・逆変換部21は、レベル値から誤差信号を生成する。この誤差信号は、当該誤差信号に対応するブロックがフレーム間予測されたものであるか、フレーム内予測されたものであるかに応じて、インター予測部23又はイントラ予測部24が出力する当該ブロックの予測画像と加算部22において加算される。これにより、加算部22は、当該ブロックを再生する。加算部22が再生したブロックは、フレーム内予測のためにイントラ予測部24に出力される。また、加算部22が再生したブロックは、インループフィルタ26にも出力される。インループフィルタ26は、1つのフレームの総てのブロックを受け取ると、当該フレームに対応する局所復号画像を生成してフレームバッファ25に出力する。この局所復号画像は、インター予測部23におけるフレーム間予測に使用されると同時に、出力画像データとして出力される。
FIG. 7 is a configuration diagram of the decoding device described in
図8は、非特許文献1が開示するインループフィルタ18及び26に設けられるデブロッキングフィルタの構成を示している。なお、デブロッキングは、垂直方向の境界と水平方向の境界のそれぞれについて行われる。図8において奇数の参照符号を付与した構成要素は垂直方向の境界のデブロッキングを行い、偶数の参照符号を付与した構成要素は水平方向の境界のデブロッキングを行う。まず、変換ブロック境界検出部31は、変換ブロックのサイズを示すサイド情報に基づき変換ブロックの垂直方向の境界を検出する。続いて、予測ブロック境界検出部33は、予測ブロックのサイズを示すサイド情報に基づき予測ブロックの垂直方向の境界を検出する。なお、変換ブロックとは、変換・量子化部11が実行する直交変換に関するブロックであり、予測ブロックとはインター予測部15又はイントラ予測部16が行う予測処理でのブロックである。なお、以下では変換ブロック及び予測ブロックの境界を纏めて単位に"境界"と呼ぶ。
FIG. 8 shows the configuration of the deblocking filter provided in the in-
境界強度判定部35は、サイド情報、具体的には、イントラ予測であるかインター予測であるか、変換ブロックの境界であり、かつ、非零の直交変換係数が存在するか否か、境界を挟む2つのブロックの動きベクトルの差が閾値以上であるか否か、境界を挟む2つのブロックの動き補償の参照画像が異なるか、或いは、動きベクトルの数が異なるかに応じて境界強度を0、1、2の三段階で評価する。なお、境界強度0が最も弱く、境界強度2が最も強いものとする。フィルタ決定部37は、処理対象の境界の境界強度と、サイド情報に含まれる量子化パラメータと、フィルタ対象画像であるデブロッキング前画像の画素値とを使用する決定基準に基づき、処理対象の境界に対してフィルタを適用するか否かと、フィルタを適用する場合には、弱フィルタを適用するか強フィルタを適用するかを決定する。フィルタ部39は、フィルタ決定部37の決定に従いデブロッキング前画像にフィルタを適用してデブロッキングを行う。
The boundary
変換ブロック境界検出部32、予測ブロック境界検出部34、境界強度判定部36及びフィルタ決定部38での処理は、変換ブロック境界検出部31、予測ブロック境界検出部33、境界強度判定部35及びフィルタ決定部37での処理とは対象とする境界の方向が異なるのみであり再度の説明は省略する。そして、フィルタ部40は、フィルタ決定部38の決定に従い、フィルタ部39が出力する垂直方向の境界に対してフィルタを適用した画像であるフィルタ対象画像にフィルタを適用してデブロッキング後画像を出力する。
The processing by the conversion block
図9は、垂直方向の境界を示している。なお、pxy及びqxy(x及びyはそれぞれ0から3の整数)の各々は画素である。非特許文献1において、フィルタ種別の決定には、px0、qx0、px3、qx3(ここで、xは0から3の整数)の計16個の画素の画素値を使用している。また、フィルタ処理は、pxy及びqxy(x及びyはそれぞれ0から3の整数)の計32個の画素を単位として行われる。つまり、垂直方向の境界の場合、垂直方向に4画素を単位としてフィルタを適用するか否かと、フィルタを適用する場合にはその強度が決定される。なお、弱フィルタの場合には、フィルタ処理によりp0y及びq0yの画素の値が変更され、強フィルタの場合には、フィルタ処理によりp2y、p1y、p0y、q0y、q1y及びq2yの画素の値が変更される。なお、水平方向の境界の場合には、図9を90度だけ回転させて垂直方向の境界と同様の処理を行う。つまり、水平方向の境界の場合において、フィルタ種別の決定に使用される画素の位置やフィルタにより値が変更される画素の位置と境界との関係は垂直方向の境界の場合と同様である。
FIG. 9 shows the vertical boundaries. In addition, each of pxy and qxy (x and y are integers of 0 to 3 respectively) is a pixel. In
特許文献2は、ブロック歪を抑えるため予測ブロックが大きくなる程、境界強度を強くする構成を開示している。また、非特許文献2は、ブロック歪を抑えるため、大きなサイズのブロックが選択され難い様に符号化制御を行うことを開示している。
特許文献2は予測ブロックのみを考慮するものであり変換ブロックの大きさによってはブロック歪が生じる。また、非特許文献2の構成では符号量が増加する。
本発明は、符号量を増加させることなくブロック歪を低減させる、動画像の処理装置、処理方法及びコンピュータ可読記憶媒体を提供するものである。 The present invention provides a moving image processing device, a processing method, and a computer-readable storage medium that reduce block distortion without increasing the amount of code.
本発明の一側面によると、動画像の処理装置は、動画像の処理装置であって、ブロックの境界を検出する検出手段と、前記検出手段が検出した境界にフィルタを適用するか否かを決定する決定手段と、を備えており、前記決定手段は、境界が変換ブロックの境界であり、かつ、当該境界の両側の変換ブロックのうちの少なくとも1つの変換ブロックの水平方向又は垂直方向のサイズが第1閾値以上であると、当該境界に強フィルタを適用すると決定する、処理装置であり、前記決定手段は、境界にフィルタを適用する場合、3種類以上の異なる強度のフィルタから当該境界に適用するフィルタを決定し、境界が変換ブロックの境界であり、かつ、当該境界の両側の変換ブロックのうちの少なくとも1つの変換ブロックの水平方向又は垂直方向のサイズが前記第1閾値以上であると、当該境界に、前記3種類以上の異なる強度のフィルタの内の最も強度の強いフィルタを適用すると決定し、一方、当該サイズが前記第1閾値未満であると、当該境界に、前記3種類以上の異なる強度のフィルタの内の最も強度の強いフィルタ以外の残りの2種類以上の異なる強度のフィルタの内の何れかのフィルタを適用する、ことを特徴とする。 According to one aspect of the present invention, the moving image processing device is a moving image processing device, and determines whether or not to apply a filter to a detecting means for detecting a block boundary and a boundary detected by the detecting means. A determination means for determining is provided, wherein the boundary is the boundary of the conversion block, and the horizontal or vertical size of at least one conversion block among the conversion blocks on both sides of the boundary. there If it is smaller than the first threshold value, determines to apply a strong filter to the boundary, a processing apparatus, the determining means, when applying the filter to the boundary, on the border of the three or more different intensity filter The filter to be applied is determined, and the boundary is the boundary of the conversion block, and the horizontal or vertical size of at least one conversion block among the conversion blocks on both sides of the boundary is equal to or larger than the first threshold value. , It is determined that the strongest filter among the three or more types of filters having different intensities is applied to the boundary, while when the size is less than the first threshold value, the three or more types are applied to the boundary. It is characterized in that any of the remaining two or more types of filters having different intensities other than the strongest filter among the filters having different intensities is applied.
本発明の一側面によると、処理装置における動画像の処理方法は、処理装置における動画像の処理方法であって、ブロックの境界を検出する検出ステップと、前記検出ステップで検出した境界にフィルタを適用するか否かを決定する決定ステップと、を含み、前記決定ステップにおいては、境界が変換ブロックの境界であり、かつ、当該境界の両側の変換ブロックのうちの少なくとも1つの変換ブロックの水平方向又は垂直方向のサイズが第1閾値以上であると、当該境界に強フィルタを適用すると決定する、処理方法であり、前記決定ステップにおいては、境界にフィルタを適用する場合、3種類以上の異なる強度のフィルタから当該境界に適用するフィルタを決定し、境界が変換ブロックの境界であり、かつ、当該境界の両側の変換ブロックのうちの少なくとも1つの変換ブロックの水平方向又は垂直方向のサイズが前記第1閾値以上であると、当該境界に、前記3種類以上の異なる強度のフィルタの内の最も強度の強いフィルタを適用すると決定し、一方、当該サイズが前記第1閾値未満であると、当該境界に、前記3種類以上の異なる強度のフィルタの内の最も強度の強いフィルタ以外の残りの2種類以上の異なる強度のフィルタの内の何れかのフィルタを適用する、ことを特徴とする。
According to one aspect of the present invention, the moving image processing method in the processing device is a moving image processing method in the processing device, in which a detection step for detecting a block boundary and a filter for the boundary detected in the detection step are applied. Including a determination step of determining whether or not to apply, in the determination step, the boundary is the boundary of the conversion block, and the horizontal direction of at least one conversion block among the conversion blocks on both sides of the boundary. or the vertical size of is the first threshold value or more, determines to apply a strong filter to the boundary, a processing method, in the determination step, when applying a filter to the boundary, three or more different intensities The filter to be applied to the boundary is determined from the filter of the above, the boundary is the boundary of the conversion block, and the horizontal or vertical size of at least one conversion block among the conversion blocks on both sides of the boundary is the first. If it is 1 threshold or more, it is determined that the strongest filter among the three or more different intensity filters is applied to the boundary, while if the size is less than the first threshold, the boundary is applied. In addition, any of the remaining two or more types of filters having different intensities other than the strongest filter among the three or more types of filters having different intensities is applied .
本発明によると、符号量を増加させることなくブロック歪を低減させることができる。 According to the present invention, the block distortion can be reduced without increasing the code amount.
以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。 Hereinafter, exemplary embodiments of the present invention will be described with reference to the drawings. The following embodiments are examples, and the present invention is not limited to the contents of the embodiments. Further, in each of the following figures, components that are not necessary for the description of the embodiment will be omitted from the drawings.
<第一実施形態>
本実施形態における符号化装置及び復号装置の基本的な構成は、図6及び図7と同様であり再度の説明は省略する。また、本実施形態による符号化装置及び復号装置のインループフィルタ18及び26の構成は同じである。以下では、本実施形態による符号化装置及び復号装置のインループフィルタ18及び26に含まれるデブロッキングフィルタについて説明するが、符号化装置及び復号装置を区別することなく、纏めて、動画像の処理装置と呼ぶものとする。図1は、インループフィルタ18及び26に含まれるデブロッキングフィルタを示している。図1に示すデブロッキングフィルタにおいて、図8に示すデブロッキングフィルタと同様の構成要素については同じ参照符号を付与して再度の説明は省略する。また、本実施形態によるデブロッキングフィルタも、図8に示すデブロッキングフィルタと同様に、垂直方向の境界に対するフィルタ処理を行う部分(奇数の参照番号)と、水平方向の境界に対するフィルタ処理を行う部分(偶数の参照符号)があるが、処理の内容は境界の方向以外は同様であるので、以下では、垂直方向の境界のみについて説明する。
<First Embodiment>
The basic configurations of the coding device and the decoding device in this embodiment are the same as those in FIGS. 6 and 7, and the description thereof will be omitted again. Further, the configurations of the in-
本実施形態において、境界強度判定部55は、図8に示す従来の境界強度の判定基準に加えて、変換ブロックサイズを境界強度の判定に使用する。まず、従来の境界強度の判定基準について説明する。境界強度判定部55は、図9に示す垂直方向の境界の一方のブロックがイントラ予測であると、境界強度を2と判定する。また、境界強度判定部55は、境界が、変換ブロックの境界であり、かつ、非零の直交変換係数が存在すると、境界強度を1と判定する。また、境界強度判定部55は、境界を挟む2つのブロックの動きベクトルの差の絶対値が1画素以上であると境界強度を1と判定する。また、境界強度判定部55は、境界を挟む2つのブロックの動き補償の参照画像が異なるか、動きベクトルの数が異なると、境界強度を1と判定する。そして、境界強度判定部55は、上記いずれにも該当しなければ境界強度を0と判定する。
In the present embodiment, the boundary
本実施形態において、境界強度判定部55は、図9に示す垂直方向の境界が変換ブロックの境界であり、かつ、少なくとも一方の変換ブロックの垂直方向のサイズが第1閾値以上であると、先に説明した従来の判定基準で判定した境界の強度に1を加え、これを最終的な境界強度として出力する。つまり、本実施形態において、境界強度判定部55は、0〜3の境界強度のいずれかの値を出力する。例えば、この第1閾値は変換ブロックのブロック歪が目立ちやすくなる16画素とすることができる。
In the present embodiment, the boundary
フィルタ決定部37は、境界の境界強度と、サイド情報に含まれる量子化パラメータと、デブロッキング前画像の画素値と、に基づき、フィルタの決定基準に従い、当該境界に対してフィルタを適用するか否かと、フィルタを適用する場合には、弱フィルタを適用するか強フィルタを適用するかを決定する。
Whether the
ここで、決定基準においては、境界強度の値が強くなる程、フィルタを適用すると判定する確率が高くなる。より具体的には、輝度値については、境界強度が0のときにはフィルタを適用しないと判定する。一方、境界強度が1以上のときには、px0、qx0、px3、qx3(ここで、xは0から2の整数)の計12個の画素の画素値から計算される値と、境界を構成する2つのブロックの量子化パラメータの平均値から求められる値の比較により、フィルタを適用するか否かを決定する。また、色差値については、境界強度が2以上のときにフィルタを適用すると判定する。言い換えると、決定基準においては、境界の強度の値が閾値(輝度値では1、色差値では2)以上であることを、フィルタを適用するための条件の1つとする。そして、境界の強度の値が閾値以上であると、輝度値については、さらに、px0、qx0、px3、qx3(ここで、xは0から2の整数)の計12個の画素の画素値から計算される値が、境界を構成する2つのブロックの量子化パラメータの平均値から求められる値未満であると、フィルタを適用すると判定する。なお、色差値については、境界の強度の値が閾値以上であると、フィルタを適用すると判定する。
Here, in the determination criterion, the stronger the boundary strength value, the higher the probability of determining that the filter is applied. More specifically, regarding the luminance value, it is determined that the filter is not applied when the boundary intensity is 0. On the other hand, when the boundary strength is 1 or more, the value calculated from the pixel values of a total of 12 pixels of px0, qx0, px3, qx3 (where x is an integer from 0 to 2) constitutes the
また、決定基準においては、境界強度が強くなる程、強フィルタを適用すると決定する確率が高くなる。具体的には、輝度値にフィルタを適用する場合、px0、qx0、px3、qx3(ここで、xは0から3の整数)の計16個の画素の画素値に基づき6個の値を計算し、総ての値が所定基準を満たしている場合、強フィルタを適用すると決定する。この所定基準のうちの2つは、p00とq00の差と、p03とq03との差が第2閾値未満であると満たされるが、当該第2閾値は境界強度に基づき設定される。より具体的には、境界強度に基づき中間値を求める。この中間値は境界強度が強くなる程、大きい値に設定される。そして、この中間値に基づき第2閾値を求める。なお、中間値と第2閾値との関係は予め定められている。この中間値と第2閾値との関係は、中間値が第1の値のときに第2閾値が第3の値であり、中間値が第1の値より大きい第2の値のときに第2閾値が第4の値であると、第4の値は第3の値以上の値となる様に定められている。つまり、境界強度が第1の値からより大きな第2の値になると、第2閾値は第3の値から第3の値以上の値になる。そして、決定基準においては、p00とq00の差の絶対値と、p03とq03の差の絶対値が第2閾値より小さいことを、強フィルタ選択のための条件の1つとする。よって、境界強度が強くなると、強フィルタが適用される確率が高くなる。なお、色差値については1種類のフィルタが使用される。 In addition, in the determination criteria, the stronger the boundary strength, the higher the probability of determining that a strong filter is applied. Specifically, when applying a filter to the luminance value, 6 values are calculated based on the pixel values of a total of 16 pixels of px0, qx0, px3, qx3 (where x is an integer from 0 to 3). However, if all the values meet the predetermined criteria, it is decided to apply the strong filter. Two of the predetermined criteria are satisfied that the difference between p00 and q00 and the difference between p03 and q03 are less than the second threshold, and the second threshold is set based on the boundary strength. More specifically, the intermediate value is obtained based on the boundary strength. This intermediate value is set to a larger value as the boundary strength becomes stronger. Then, the second threshold value is obtained based on this intermediate value. The relationship between the intermediate value and the second threshold value is predetermined. The relationship between the intermediate value and the second threshold value is such that when the intermediate value is the first value, the second threshold value is the third value, and when the intermediate value is the second value larger than the first value, the second value is obtained. When the 2 threshold value is the 4th value, the 4th value is set to be a value equal to or higher than the 3rd value. That is, when the boundary strength changes from the first value to a larger second value, the second threshold value changes from the third value to a value equal to or higher than the third value. Then, in the determination criterion, one of the conditions for selecting a strong filter is that the absolute value of the difference between p00 and q00 and the absolute value of the difference between p03 and q03 are smaller than the second threshold value. Therefore, the stronger the boundary strength, the higher the probability that the strong filter will be applied. One type of filter is used for the color difference value.
以上、本実施形態では、境界強度の判定に、変換ブロックのサイズを使用する。より具体的には、予測ブロックの境界及び変換ブロックの境界を検出し、変換ブロックの境界の強度の判定に、当該変換ブロックのサイズを使用する。このとき、境界の両側の変換ブロックのうちの少なくとも1つの変換ブロックの当該境界と同じ方向のサイズが第1閾値以上であると、第1閾値未満である場合より当該境界の強度が強いと判定する。例えば、境界の両側の変換ブロックのうちの少なくとも1つの変換ブロックの当該境界と同じ方向のサイズが第1閾値以上であると、第1閾値未満である場合より当該境界の強度を所定値、例えば、1だけ大きくする。フィルタ決定部37及び38は、境界の強度を含む決定基準により当該境界にフィルタを適用するか否かを決定するが、上述した様に、境界の強度が強い程、当該境界に対してフィルタが適用される確率が高くなる。したがって、変換ブロックのサイズが第1閾値以上であると、フィルタが適用される確率が高くなりフィルタ歪が目立つことを抑えることができる。また、ブロックのサイズが大きくなることを抑えないため、符号量が増加することもない。
As described above, in the present embodiment, the size of the conversion block is used for determining the boundary strength. More specifically, the boundary of the prediction block and the boundary of the conversion block are detected, and the size of the conversion block is used to determine the strength of the boundary of the conversion block. At this time, if the size of at least one of the conversion blocks on both sides of the boundary in the same direction as the boundary is equal to or larger than the first threshold value, it is determined that the strength of the boundary is stronger than when it is less than the first threshold value. To do. For example, when the size of at least one of the conversion blocks on both sides of the boundary in the same direction as the boundary is equal to or larger than the first threshold value, the strength of the boundary is set to a predetermined value, for example, from the case where the size is less than the first threshold value. Increase by 1. The
さらに、フィルタ決定部37及び38は、境界にフィルタを適用する場合、異なる強度の複数のフィルタから当該境界に適用するフィルタを決定する。なお、上述した実施形態では、異なる強度の複数のフィルタは、弱フィルタと、弱フィルタよりフィルタ強度の強い強フィルタの2種類である。しかしながら、3つ以上の異なる強度のフィルタを使用する構成とすることもできる。そして、フィルタ決定部37及び38は、境界の強度に基づき、当該境界に対して適用するフィルタを決定するための第2閾値を設定する。ここで、決定基準においては、境界強度が強い程、第2閾値が大きくなり、第2閾値が大きくなる程、より強いフィルタが選択される可能性が高くなる。したがって、変換ブロックのサイズが第1閾値以上であると、より強いフィルタが適用される確率が高くなりフィルタ歪が目立つことを抑えることができる。
Further, when applying a filter to a boundary, the
<第二実施形態>
続いて、第二実施形態について第一実施形態との相違点を中心に説明する。本実施形態においては、図1の境界強度判定部55及びフィルタ決定部37と、境界強度判定部56とフィルタ決定部38を、それぞれ、図2に示す境界強度判定部60及びフィルタ決定部61に置換する。なお、境界強度判定部60での処理は、図8の境界強度判定部35と同様である。つまり、境界強度判定部60は0〜2の境界強度を出力する。本実施形態において、フィルタ決定部61は、境界が変換ブロックの境界であると、その対応する方向(垂直又は水平)のブロックサイズが第1閾値以上であるか否かを判定する。そして、第1閾値以上であると、強フィルタを適用すると決定する。一方、サイズが第1閾値未満であると、従来通りの方法により、フィルタ適用の有無と、適用する場合には強フィルタを適用するか、弱フィルタを適用するかを決定する。なお、この第1閾値は、第一実施形態と同様に16画素とすることができる。
<Second embodiment>
Subsequently, the second embodiment will be described focusing on the differences from the first embodiment. In the present embodiment, the boundary
以上、本実施形態では、境界のいずれかの側の変換ブロックのサイズが第1閾値以上であると、常に、強フィルタが適用される。したがって、変換ブロックサイズが大きくてもブロック歪を抑えることができる。なお、本実施形態においてもフィルタの強度を3つ以上とすることができる。この場合には、変換ブロックサイズが第1閾値以上であると、常に、最も強いフィルタを適用する。 As described above, in the present embodiment, the strong filter is always applied when the size of the conversion block on any side of the boundary is equal to or larger than the first threshold value. Therefore, block distortion can be suppressed even if the conversion block size is large. In this embodiment as well, the strength of the filter can be set to 3 or more. In this case, when the conversion block size is equal to or larger than the first threshold value, the strongest filter is always applied.
<第三実施形態>
続いて、第三実施形態について第二実施形態との相違点を中心に説明する。本実施形態の構成は第二実施形態と同様である。但し、第二実施形態においては、境界が変換ブロックの境界であり、そのサイズが第1閾値以上であると常に強フィルタを適用していた。既に説明した様に、強フィルタは、図9のpxy及びqxy(ここで、xは0〜2、かつ、yは0〜3)の画素に対して適用される。つまり、境界からの距離が3画素以下の画素に対してフィルタ処理を行う。図3は、強フィルタを適用する際のフィルタ係数を示している。例えば、画素p2yは、画素p3y、p2y、p1y、p0y及びq0yの画素値に基づき変更される。本実施形態では、境界が変換ブロックの境界であり、そのサイズが閾値以上であると、通常の強フィルタより、フィルタを適用する画素範囲の境界からの距離を広げた他の種別のフィルタを使用する。例えば、境界が変換ブロックの境界であり、そのサイズが閾値以上であると、その適用範囲を境界から7画素まで広げる。図4は、この他の種別のフィルタのフィルタ係数の一例を示し、図4においては境界から7画素までをフィルタ対象としている。
<Third Embodiment>
Subsequently, the third embodiment will be described focusing on the differences from the second embodiment. The configuration of this embodiment is the same as that of the second embodiment. However, in the second embodiment, the strong filter is always applied when the boundary is the boundary of the conversion block and the size is equal to or larger than the first threshold value. As described above, the strong filter is applied to the pixels of pxy and qxy (where x is 0 to 2 and y is 0 to 3) in FIG. That is, the filter processing is performed on the pixels whose distance from the boundary is 3 pixels or less. FIG. 3 shows the filter coefficient when applying the strong filter. For example, the pixel p2y is changed based on the pixel values of the pixels p3y, p2y, p1y, p0y and q0y. In the present embodiment, when the boundary is the boundary of the conversion block and its size is equal to or larger than the threshold value, another type of filter is used in which the distance from the boundary of the pixel range to which the filter is applied is wider than that of the normal strong filter. To do. For example, if the boundary is the boundary of the conversion block and its size is equal to or larger than the threshold value, the applicable range is extended from the boundary to 7 pixels. FIG. 4 shows an example of the filter coefficient of another type of filter, and in FIG. 4, the filter target is from the boundary to 7 pixels.
以上、本実施形態では、変換ブロックサイズが第1閾値以上であると、境界を基準としたフィルタ適用の画素範囲を通常の強フィルタより広げる。この構成により、変換ブロックサイズが大きくてもブロック歪を抑えることができる。 As described above, in the present embodiment, when the conversion block size is equal to or larger than the first threshold value, the pixel range of the filter application based on the boundary is expanded as compared with the normal strong filter. With this configuration, block distortion can be suppressed even if the conversion block size is large.
<第四実施形態>
第一実施形態から第三実施形態においては、境界の両側に対して同様にフィルタを適用していた。本実施形態では、境界の一方の変換ブロックのサイズが第1閾値以上、例えば、16画素以上であると、当該一方の変換ブロックに対しては、第一実施形態から第三実施形態のいずれかの処理に従いフィルタを決定し、他方のブロックについては従来通りの方法で決定したフィルタを適用する。例えば、図5に示す様に、処理対象の境界の右側の変換ブロックのサイズが第1閾値以上であり、当該境界の左側の変換ブロックのサイズが第1閾値未満であるする。第一実施形態の方法を適用すると、境界強度判定部55は、境界の左側の変換ブロックの画素に対するフィルタの有無やフィルタ種別を決定するための第1強度と、境界の右側の変換ブロックの画素に対するフィルタの有無やフィルタ種別を決定するための第2強度とをそれぞれ決定する。なお、第一実施形態によると、第2強度は、第1強度に1を加えた値である。また、第二実施形態の方法を適用すると、フィルタ決定部61は、境界の左側の変換ブロックの画素に対するフィルタの有無やフィルタ種別は従来技術の方法に従い決定し、境界の右側の変換ブロックの画素には強フィルタを適用すると決定する。さらに、第三実施形態の方法を適用すると、フィルタ決定部61は、境界の左側の変換ブロックの画素に対するフィルタの有無やフィルタ種別は従来技術の方法に従い決定し、境界の右側の変換ブロックの画素には境界からの距離範囲を広げたフィルタを適用すると決定する。
<Fourth Embodiment>
In the first to third embodiments, the filter was similarly applied to both sides of the boundary. In the present embodiment, when the size of one conversion block of the boundary is equal to or larger than the first threshold value, for example, 16 pixels or more, the conversion block of the one boundary is subjected to any one of the first to third embodiments. The filter is determined according to the process of, and the filter determined by the conventional method is applied to the other block. For example, as shown in FIG. 5, the size of the conversion block on the right side of the boundary to be processed is equal to or larger than the first threshold value, and the size of the conversion block on the left side of the boundary is smaller than the first threshold value. When the method of the first embodiment is applied, the boundary
これにより、適用するフィルタ強度や、その範囲を第1閾値以上の変換ブロックに限定でき、フィルタ処理負荷の増加を抑制できる。 As a result, the filter strength to be applied and the range thereof can be limited to the conversion blocks of the first threshold value or more, and the increase in the filter processing load can be suppressed.
なお、本発明による処理装置、つまり、符号化装置又は復号装置は、コンピュータを上記処理装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。 The processing device according to the present invention, that is, the coding device or the decoding device, can be realized by a program that operates the computer as the processing device. These computer programs are stored in a computer-readable storage medium or can be distributed over a network.
31、32:変換ブロック検出部、33、34:予測ブロック検出部、55、56:境界強度判定部、37、38:フィルタ決定部 31, 32: Conversion block detection unit, 33, 34: Prediction block detection unit, 55, 56: Boundary strength determination unit, 37, 38: Filter determination unit
Claims (6)
ブロックの境界を検出する検出手段と、
前記検出手段が検出した境界にフィルタを適用するか否かを決定する決定手段と、を備えており、
前記決定手段は、境界が変換ブロックの境界であり、かつ、当該境界の両側の変換ブロックのうちの少なくとも1つの変換ブロックの水平方向又は垂直方向のサイズが第1閾値以上であると、当該境界に強フィルタを適用すると決定する、処理装置であり、
前記決定手段は、
境界にフィルタを適用する場合、3種類以上の異なる強度のフィルタから当該境界に適用するフィルタを決定し、
境界が変換ブロックの境界であり、かつ、当該境界の両側の変換ブロックのうちの少なくとも1つの変換ブロックの水平方向又は垂直方向のサイズが前記第1閾値以上であると、当該境界に、前記3種類以上の異なる強度のフィルタの内の最も強度の強いフィルタを適用すると決定し、
一方、当該サイズが前記第1閾値未満であると、当該境界に、前記3種類以上の異なる強度のフィルタの内の最も強度の強いフィルタ以外の残りの2種類以上の異なる強度のフィルタの内の何れかのフィルタを適用する、
ことを特徴とする処理装置。 It is a moving image processing device
Detection means to detect block boundaries and
It is provided with a deciding means for deciding whether or not to apply a filter to the boundary detected by the detecting means.
When the boundary is the boundary of the conversion block and the horizontal or vertical size of at least one conversion block among the conversion blocks on both sides of the boundary is equal to or larger than the first threshold value, the determination means . Is a processing device that decides to apply a strong filter to
The determination means is
When applying a filter to a boundary, determine the filter to be applied to the boundary from three or more types of filters with different intensities.
When the boundary is the boundary of the conversion block and the horizontal or vertical size of at least one conversion block among the conversion blocks on both sides of the boundary is equal to or larger than the first threshold value, the boundary is set to the above 3 Decided to apply the strongest of the different strength filters over different types,
On the other hand, when the size is less than the first threshold value, at the boundary, among the remaining two or more types of filters having different intensities other than the strongest filter among the three or more types of filters having different intensities. Apply one of the filters,
A processing device characterized by the fact that.
前記異なるフィルタとは、フィルタを適用するときに同時に参照する画素数が異なるフィルタである、
請求項1又は2に記載の処理装置。 In the determination means, the boundary is the boundary of the conversion block, and the horizontal or vertical size of one of the conversion blocks on both sides of the boundary is equal to or larger than the first threshold value, and the other. When the horizontal or vertical size of the conversion block is less than the first threshold value, the filter applied to the pixels in the one conversion block and the filter applied to the pixels in the other conversion block are different. , A processing device,
The different filters are filters in which the number of pixels referenced at the same time when applying the filter is different.
The processing apparatus according to claim 1 or 2.
前記異なるフィルタとは、水平方向又は垂直方向のサイズが前記第1閾値以上である変換ブロックに適用されるフィルタが前記3種類以上の異なる強度のフィルタの内の最も強度の強いフィルタであり、一方、当該サイズが前記第1閾値未満である変換ブロックに適用されるフィルタが前記3種類以上の異なる強度のフィルタの内の最も強度の強いフィルタ以外の残りの2種類以上の異なる強度のフィルタの内の何れかのフィルタである、
請求項1又は2に記載の処理装置。 In the determination means, the boundary is the boundary of the conversion block, and the horizontal or vertical size of one of the conversion blocks on both sides of the boundary is equal to or larger than the first threshold value, and the other. When the horizontal or vertical size of the conversion block is less than the first threshold value, the filter applied to the pixels in the one conversion block and the filter applied to the pixels in the other conversion block are different. , A processing device,
The different filters are those in which the filter applied to the conversion block whose horizontal or vertical size is equal to or larger than the first threshold value is the strongest filter among the three or more types of filters having different intensities. The filter applied to the conversion block whose size is less than the first threshold value is among the remaining two or more types of filters having different intensities other than the strongest filter among the three or more types of filters having different intensities. Is one of the filters of
The processing apparatus according to claim 1 or 2.
ブロックの境界を検出する検出ステップと、
前記検出ステップで検出した境界にフィルタを適用するか否かを決定する決定ステップと、を含み、
前記決定ステップにおいては、境界が変換ブロックの境界であり、かつ、当該境界の両側の変換ブロックのうちの少なくとも1つの変換ブロックの水平方向又は垂直方向のサイズが第1閾値以上であると、当該境界に強フィルタを適用すると決定する、処理方法であり、
前記決定ステップにおいては、
境界にフィルタを適用する場合、3種類以上の異なる強度のフィルタから当該境界に適用するフィルタを決定し、
境界が変換ブロックの境界であり、かつ、当該境界の両側の変換ブロックのうちの少なくとも1つの変換ブロックの水平方向又は垂直方向のサイズが前記第1閾値以上であると、当該境界に、前記3種類以上の異なる強度のフィルタの内の最も強度の強いフィルタを適用すると決定し、
一方、当該サイズが前記第1閾値未満であると、当該境界に、前記3種類以上の異なる強度のフィルタの内の最も強度の強いフィルタ以外の残りの2種類以上の異なる強度のフィルタの内の何れかのフィルタを適用する、
ことを特徴とする処理方法。 It is a method of processing moving images in a processing device.
A detection step that detects block boundaries and
Including a determination step of deciding whether or not to apply a filter to the boundary detected in the detection step.
In the determining step, the border is a border of the conversion block, and the horizontal or vertical size of the at least one translation block of the both sides of the conversion block of the boundary is smaller than the first threshold value, the A processing method that determines to apply a strong filter to the boundary,
In the determination step,
When applying a filter to a boundary, determine the filter to be applied to the boundary from three or more types of filters with different intensities.
When the boundary is the boundary of the conversion block and the horizontal or vertical size of at least one conversion block among the conversion blocks on both sides of the boundary is equal to or larger than the first threshold value, the boundary is set to the above 3 Decided to apply the strongest of the different strength filters over different types,
On the other hand, when the size is less than the first threshold value, at the boundary, among the remaining two or more types of filters having different intensities other than the strongest filter among the three or more types of filters having different intensities. Apply one of the filters,
A processing method characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019160621A JP6839246B2 (en) | 2019-09-03 | 2019-09-03 | Video processing equipment, processing methods and computer-readable storage media |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019160621A JP6839246B2 (en) | 2019-09-03 | 2019-09-03 | Video processing equipment, processing methods and computer-readable storage media |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015194343A Division JP6620354B2 (en) | 2015-09-30 | 2015-09-30 | Moving image processing apparatus, processing method, and computer-readable storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019201438A JP2019201438A (en) | 2019-11-21 |
| JP6839246B2 true JP6839246B2 (en) | 2021-03-03 |
Family
ID=68612561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019160621A Active JP6839246B2 (en) | 2019-09-03 | 2019-09-03 | Video processing equipment, processing methods and computer-readable storage media |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6839246B2 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2312853A1 (en) * | 2008-07-03 | 2011-04-20 | Sharp Kabushiki Kaisha | Filter device |
| JP2010081368A (en) * | 2008-09-26 | 2010-04-08 | Toshiba Corp | Image processor, moving image decoding device, moving image encoding device, image processing method, moving image decoding method, and, moving image encoding method |
| TWI600318B (en) * | 2010-05-18 | 2017-09-21 | Sony Corp | Image processing apparatus and image processing method |
| US9185404B2 (en) * | 2011-10-07 | 2015-11-10 | Qualcomm Incorporated | Performing transform dependent de-blocking filtering |
| JP6620354B2 (en) * | 2015-09-30 | 2019-12-18 | Kddi株式会社 | Moving image processing apparatus, processing method, and computer-readable storage medium |
-
2019
- 2019-09-03 JP JP2019160621A patent/JP6839246B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019201438A (en) | 2019-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20250203074A1 (en) | Moving image processing apparatus, processing method, and computer-readable storage medium | |
| US8577168B2 (en) | System and method for in-loop deblocking in scalable video coding | |
| JP4455487B2 (en) | Decoding device, decoding method, and program | |
| CN109644273B (en) | Apparatus and method for video encoding | |
| JP7848270B2 (en) | Methods, apparatus, and programs for boundary processing in video coding. | |
| US12323587B2 (en) | Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and non-transitory computer-readable storage medium | |
| CN114051727A (en) | Encoding apparatus, decoding apparatus and program | |
| JP6839246B2 (en) | Video processing equipment, processing methods and computer-readable storage media | |
| JP7026065B2 (en) | Image decoder, image decoding method and program | |
| JP7267191B2 (en) | Image decoding device, image decoding method and program | |
| JP2006270851A (en) | Image coding device and image decoding device | |
| JP7146129B2 (en) | Image decoding device, image decoding method and program | |
| JP7317194B2 (en) | Image decoding device, image decoding method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190903 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190906 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200812 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200825 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201023 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210126 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210212 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6839246 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |