JP7594364B2

JP7594364B2 - Encoding device, decoding device, and program

Info

Publication number: JP7594364B2
Application number: JP2020012909A
Authority: JP
Inventors: 康孝松尾
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2020-01-29
Filing date: 2020-01-29
Publication date: 2024-12-04
Anticipated expiration: 2040-01-29
Also published as: JP2021118525A

Description

本発明は、符号化装置、復号装置、及びプログラムに関し、特に、画像情報の画面内予測を行う符号化装置、復号装置、及びプログラムに関する。 The present invention relates to an encoding device, a decoding device, and a program, and in particular to an encoding device, a decoding device, and a program that perform intra-frame prediction of image information.

近年の画像（動画像を含む）の高精細化に伴い、より符号化効率を向上させた符号化方式が求められている。例えば、動画像の予測符号化方式であるＭＰＥＧ（Moving Picture Experts Group）－２、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）等では、動画像の各フレームをブロックに分割し、それぞれのブロックを基本処理単位として予測画像を生成し、原画像と予測画像の差分（残差信号）を符号化して出力する。 As images (including video) become increasingly high-definition in recent years, there is a demand for coding methods with improved coding efficiency. For example, in predictive coding methods for video such as MPEG (Moving Picture Experts Group)-2, H.264/AVC (Advanced Video Coding), and H.265/HEVC (High Efficiency Video Coding), each frame of a video is divided into blocks, and a predicted image is generated for each block as a basic processing unit, and the difference between the original image and the predicted image (residual signal) is coded and output.

予測画像の生成には画面内予測（イントラ予測）と動き補償予測（インター予測）の２種類の生成手法がある。画面内予測は予測対象であるブロックを、その周辺画素を参照画素として内挿又は外挿予測する（非特許文献１）。また、動き補償予測は前後フレームからフレームを内挿予測する。このうち、画面内予測で生成される予測画像（Ｉフレーム（Intra-coded Frame））は、画面間予測の基礎となる画像（フレーム）であるため、画面内予測には、より精度が高く、予測効率の良い予測符号化方法が求められている。 There are two methods for generating predicted images: intra-frame prediction (intra-prediction) and motion-compensated prediction (inter-prediction). Intra-frame prediction predicts a block to be predicted by interpolation or extrapolation using surrounding pixels as reference pixels (Non-Patent Document 1). Motion-compensated prediction predicts a frame by interpolation from previous and next frames. Of these, the predicted image generated by intra-frame prediction (I-frame (Intra-coded Frame)) is the image (frame) that forms the basis of inter-frame prediction, so a predictive coding method with higher accuracy and better prediction efficiency is required for intra-frame prediction.

例えば、画面内予測において、大きなサイズの予測ブロックの方向性予測を行った場合に参照画素からの距離が離れるにしたがって予測が当たりづらくなるという課題に対して、参照画素と予測画素の距離に応じて利用する参照画素の数を変えるなどの処理を行うことが提案されている（特許文献１）。 For example, in intra-frame prediction, when directional prediction is performed on a large predicted block, the prediction becomes less likely to be correct as the distance from the reference pixel increases. To address this issue, it has been proposed to perform processing such as changing the number of reference pixels used depending on the distance between the reference pixel and the predicted pixel (Patent Document 1).

特許第５０４４４１５号公報Patent No. 5044415

大久保榮（監修）、他、「インプレス標準教科書シリーズＨ．２６５／ＨＥＶＣ教科書」、（２０１３年）、ｐｐ．１１５～１２４Eiichiro Okubo (editor), et al., "Impress Standard Textbook Series H.265/HEVC Textbook," (2013), pp. 115-124

代表的な動画像の予測符号化方式であるＨＥＶＣの画面内予測では、予測する変換ユニット（ＴＵ：Transform Unit）の左側と上側の隣接画素を参照画素として、参照画素を用いた内挿又は外挿処理により予測画素を生成する。 In intra-frame prediction in HEVC, a representative predictive coding method for video, adjacent pixels to the left and above the transform unit (TU) being predicted are used as reference pixels, and predicted pixels are generated by interpolation or extrapolation processing using the reference pixels.

図７は、一辺のサイズがＮ（図ではＮ＝４）の被予測ＴＵ（被予測変換ユニット）１と、その予測に用いる参照画素の位置関係を示す図である。被予測ＴＵ１の左上の画素（ピクセル）位置を原点（０，０）とし、図示のようにｘ，ｙ軸を設定すると、被予測ＴＵ１の左側のｘ＝－１でｙ＝－１～２Ｎ－１の座標にある画素と被予測ＴＵ１の上側のｙ＝－１でｘ＝－１～２Ｎ－１の座標にある画素の計４Ｎ＋１個の画素を参照画素として準備する。 Figure 7 shows the positional relationship between a predicted TU (predicted transform unit) 1 with a side size of N (N=4 in the figure) and the reference pixels used for its prediction. If the top left pixel position of predicted TU1 is set as the origin (0,0) and the x and y axes are set as shown, a total of 4N+1 pixels are prepared as reference pixels: the pixel on the left side of predicted TU1 at x=-1 and y=-1 to 2N-1 coordinates, and the pixel on the top side of predicted TU1 at y=-1 and x=-1 to 2N-1 coordinates.

ここで参照画素位置の画素が未復号である場合（未復号のＴＵに属している場合）、未復号の参照画素位置では、復号済の近傍参照画素の画素値を代入して用いる。しかし同一画素が連続して用いられることが多いため、これら未復号の位置の参照画素は低周波成分になりやすく、予測するＴＵ内に高周波成分が含まれる場合には予測効率が低下しやすいという課題がある。 If the pixel at the reference pixel position is undecoded (belongs to an undecoded TU), the pixel value of a nearby decoded reference pixel is substituted for the undecoded reference pixel position. However, because the same pixel is often used consecutively, the reference pixels at these undecoded positions tend to be low-frequency components, and there is an issue that prediction efficiency is likely to decrease if high-frequency components are included in the TU to be predicted.

従って、上記のような問題点に鑑みてなされた本発明の目的は、画面内予測において、参照画素位置の画素が未復号である場合でも、高周波成分が含まれるＴＵを精度良く予測し、予測効率を向上させることができる符号化装置、復号装置、及びプログラムを提供することにある。 Therefore, in consideration of the above problems, the object of the present invention is to provide an encoding device, a decoding device, and a program that can accurately predict TUs containing high-frequency components and improve prediction efficiency in intra-screen prediction, even when the pixel at the reference pixel position has not been decoded.

上記課題を解決するために本発明に係る符号化装置は、画像の画面内予測を行う符号化装置において、画面内予測部は、被予測変換ユニット（ＴＵ）に対して、参照画素を準備し、未復号の参照画素位置に復号済の近傍参照画素と等しい参照画素を準備する、参照画素準備部と、未復号の参照画素位置に準備した前記参照画素の周波数成分を補正する、参照画素補正部と、補正された前記参照画素に基づいて、前記被予測変換ユニットの予測処理を行う、予測処理部とを備え、前記参照画素補正部は、未復号の参照画素位置で用いる復号済の近傍参照画素が属する変換ユニット内の参照画素の周波数パワー値を用いて、未復号の参照画素位置に準備した前記参照画素の周波数パワー値を補正し、
前記参照画素補正部は、未復号の参照画素位置で用いる復号済の近傍参照画素が属する変換ユニット内の参照画素についてＤＣＴ（離散コサイン変換）を行うことにより各周波数に含まれる補正元周波数パワー値を求めるとともに、未復号の参照画素位置に準備した前記参照画素についてＤＣＴを行うことにより各周波数に含まれる補正先周波数パワー値を求め、前記補正元周波数パワー値で前記補正先周波数パワー値を補正し、補正された前記補正先周波数パワー値をＩＤＣＴ（逆離散コサイン変換）することにより未復号の参照画素位置の前記参照画素を設定し、
前記参照画素補正部はさらに、未復号の参照画素位置に準備した前記参照画素の前記補正先周波数パワー値を前記補正元周波数パワー値で補正し、ＩＤＣＴすることにより、未復号の参照画素位置に準備した前記参照画素の画素値に加えられた補正量に対し、未復号の参照画素位置と、その位置で用いる復号済の近傍参照画素との間の距離に応じて重みを乗じ、前記補正量を調整することを特徴とする。
In order to solve the above problem, the coding device according to the present invention is a coding device that performs intra-screen prediction of an image, and the intra-screen prediction unit includes a reference pixel preparation unit that prepares reference pixels for a predicted transform unit (TU) and prepares reference pixels equal to decoded neighboring reference pixels at undecoded reference pixel positions, a reference pixel correction unit that corrects frequency components of the reference pixels prepared at the undecoded reference pixel positions, and a prediction processing unit that performs prediction processing of the predicted transform unit based on the corrected reference pixels, and the reference pixel correction unit corrects a frequency power value of the reference pixel prepared at the undecoded reference pixel position using a frequency power value of a reference pixel in a transform unit to which a decoded neighboring reference pixel used at the undecoded reference pixel position belongs,
the reference pixel correction unit obtains a source frequency power value included in each frequency by performing a discrete cosine transform (DCT) on a reference pixel in a transform unit to which a decoded neighboring reference pixel used at an undecoded reference pixel position belongs, and obtains a destination frequency power value included in each frequency by performing a discrete cosine transform (DCT) on the reference pixel prepared at the undecoded reference pixel position, corrects the destination frequency power value with the source frequency power value, and sets the reference pixel at the undecoded reference pixel position by performing an inverse discrete cosine transform (IDCT) on the corrected destination frequency power value;
The reference pixel correction unit is further characterized in that it corrects the destination frequency power value of the reference pixel prepared at an undecoded reference pixel position with the source frequency power value, and performs IDCT, thereby multiplying the correction amount added to the pixel value of the reference pixel prepared at the undecoded reference pixel position by a weight according to the distance between the undecoded reference pixel position and a decoded neighboring reference pixel used at that position, thereby adjusting the correction amount .

また、前記符号化装置は、前記補正先周波数パワー値を前記補正元周波数パワー値で置き換えること、前記補正先周波数パワー値と前記補正元周波数パワー値との平均をとること、周波数ごとに所定比率で前記補正先周波数パワー値と前記補正元周波数パワー値をマージすること、のいずれかにより、前記補正先周波数パワー値の補正を行うことが望ましい。 It is also preferable that the encoding device corrects the correction destination frequency power value by either replacing the correction destination frequency power value with the correction source frequency power value, taking the average of the correction destination frequency power value and the correction source frequency power value, or merging the correction destination frequency power value and the correction source frequency power value at a predetermined ratio for each frequency.

上記課題を解決するために本発明に係る復号装置は、画像の画面内予測を行う復号装置において、画面内予測部は、被予測変換ユニット（ＴＵ）に対して、参照画素を準備し、未復号の参照画素位置に復号済の近傍参照画素と等しい参照画素を準備する、参照画素準備部と、未復号の参照画素位置に準備した前記参照画素の周波数成分を補正する、参照画素補正部と、補正された前記参照画素に基づいて、前記被予測変換ユニットの予測処理を行う、予測処理部とを備え、前記参照画素補正部は、未復号の参照画素位置で用いる復号済の近傍参照画素が属する変換ユニット内の参照画素の周波数パワー値を用いて、未復号の参照画素位置に準備した前記参照画素の周波数パワー値を補正し、
前記参照画素補正部は、未復号の参照画素位置で用いる復号済の近傍参照画素が属する変換ユニット内の参照画素についてＤＣＴ（離散コサイン変換）を行うことにより各周波数に含まれる補正元周波数パワー値を求めるとともに、未復号の参照画素位置に準備した前記参照画素についてＤＣＴを行うことにより各周波数に含まれる補正先周波数パワー値を求め、前記補正元周波数パワー値で前記補正先周波数パワー値を補正し、補正された前記補正先周波数パワー値をＩＤＣＴ（逆離散コサイン変換）することにより未復号の参照画素位置の前記参照画素を設定し、
前記参照画素補正部はさらに、未復号の参照画素位置に準備した前記参照画素の前記補正先周波数パワー値を前記補正元周波数パワー値で補正し、ＩＤＣＴすることにより、未復号の参照画素位置に準備した前記参照画素の画素値に加えられた補正量に対し、未復号の参照画素位置と、その位置で用いる復号済の近傍参照画素との間の距離に応じて重みを乗じ、前記補正量を調整することを特徴とする。 In order to solve the above problem, a decoding device according to the present invention is a decoding device that performs intra-screen prediction of an image, the intra-screen prediction unit includes a reference pixel preparation unit that prepares reference pixels for a predicted transform unit (TU) and prepares reference pixels equal to decoded neighboring reference pixels at undecoded reference pixel positions, a reference pixel correction unit that corrects frequency components of the reference pixels prepared at the undecoded reference pixel positions, and a prediction processing unit that performs prediction processing of the predicted transform unit based on the corrected reference pixels, and the reference pixel correction unit corrects a frequency power value of the reference pixel prepared at the undecoded reference pixel position using a frequency power value of a reference pixel in a transform unit to which a decoded neighboring reference pixel used at the undecoded reference pixel position belongs ,
the reference pixel correction unit obtains a source frequency power value included in each frequency by performing a discrete cosine transform (DCT) on a reference pixel in a transform unit to which a decoded neighboring reference pixel used at an undecoded reference pixel position belongs, and obtains a destination frequency power value included in each frequency by performing a discrete cosine transform (DCT) on the reference pixel prepared at the undecoded reference pixel position, corrects the destination frequency power value with the source frequency power value, and sets the reference pixel at the undecoded reference pixel position by performing an inverse discrete cosine transform (IDCT) on the corrected destination frequency power value;
The reference pixel correction unit is further characterized in that it corrects the destination frequency power value of the reference pixel prepared at an undecoded reference pixel position with the source frequency power value, and performs IDCT, thereby multiplying the correction amount added to the pixel value of the reference pixel prepared at the undecoded reference pixel position by a weight according to the distance between the undecoded reference pixel position and a decoded neighboring reference pixel used at that position, thereby adjusting the correction amount .

上記課題を解決するために本発明に係るプログラムは、コンピュータを、前記符号化装置として機能させることを特徴とする。 To solve the above problem, the program of the present invention is characterized by causing a computer to function as the encoding device.

上記課題を解決するために本発明に係るプログラムは、コンピュータを、前記復号装置として機能させることを特徴とする。 To solve the above problem, the program of the present invention is characterized by causing a computer to function as the decryption device.

本発明における符号化装置、復号装置、及びプログラムによれば、画面内予測において、参照画素位置の画素が未復号である場合でも、高周波成分が含まれるＴＵを精度良く予測し、予測効率を向上させることができる。 The encoding device, decoding device, and program of the present invention make it possible to accurately predict TUs containing high-frequency components and improve prediction efficiency in intra-screen prediction, even when the pixel at the reference pixel position has not yet been decoded.

本発明に用いられる画面内予測部の一例のブロック図である。FIG. 2 is a block diagram of an example of an intra-screen prediction unit used in the present invention. 本発明の符号化装置の一例のブロック図である。FIG. 2 is a block diagram of an example of an encoding device according to the present invention. 被予測ＴＵの参照画素を準備する例を示す図である。FIG. 13 is a diagram showing an example of preparing reference pixels for a predicted TU. 未復号の参照画素位置の画素値を補正する例を示す図である。11 is a diagram showing an example of correcting pixel values at undecoded reference pixel positions; FIG. 画面内予測部の動作の例を示すフローチャートである。13 is a flowchart illustrating an example of an operation of an intra-screen prediction unit. 本発明の復号装置の一例のブロック図である。FIG. 2 is a block diagram of an example of a decoding device of the present invention. 被予測ＴＵと、その予測に用いる参照画素の位置関係を示す図である。FIG. 1 is a diagram showing the positional relationship between a predicted TU and reference pixels used for the prediction.

以下、本発明の実施の形態について、図を参照して説明する。 The following describes an embodiment of the present invention with reference to the drawings.

（実施の形態１）
図１は、本発明の符号化装置（及び復号装置）の一部を構成する、画面内予測部の一例のブロック図である。画面内予測部１０は、被予測画像が入力され、被予測ＴＵごとに復号済ＴＵを用いた予測処理を行い、予測画像を出力する。 (Embodiment 1)
1 is a block diagram of an example of an intra-screen prediction unit constituting a part of the encoding device (and decoding device) of the present invention. The intra-screen prediction unit 10 receives a predicted image, performs a prediction process using a decoded TU for each predicted TU, and outputs a predicted image.

画面内予測部１０は、被予測ＴＵごとに参照画素を準備する参照画素準備部１１と、参照画素の補正を行う参照画素補正部１２と、補正された参照画素に基づいて被予測ＴＵの予測処理を行う予測処理部１３とを備えている。このうち、参照画素準備部１１と予測処理部１３は、従来の画面内予測で行われていた処理を行うものであり、参照画素補正部１２が、従来の画面内予測では行っていない新しい処理を行う。本発明は、参照画素補正部１２で、未復号の参照画素位置において用いる復号済の近傍参照画素値を補正することにより、予測精度を向上させる。なお、画面内予測部１０は、明確にこのようなブロック構成を有する必要はなく、後述する参照画素準備部１１、参照画素補正部１２、及び予測処理部１３の各部の処理を行う機能を備えていればよい。 The intra-screen prediction unit 10 includes a reference pixel preparation unit 11 that prepares reference pixels for each predicted TU, a reference pixel correction unit 12 that corrects the reference pixels, and a prediction processing unit 13 that performs prediction processing of the predicted TU based on the corrected reference pixels. Of these, the reference pixel preparation unit 11 and the prediction processing unit 13 perform processing that was performed in conventional intra-screen prediction, and the reference pixel correction unit 12 performs new processing that was not performed in conventional intra-screen prediction. The present invention improves prediction accuracy by correcting the decoded neighboring reference pixel values used at undecoded reference pixel positions in the reference pixel correction unit 12. Note that the intra-screen prediction unit 10 does not need to have such a clear block configuration, and it is sufficient if it has the function of performing processing of each of the reference pixel preparation unit 11, reference pixel correction unit 12, and prediction processing unit 13 described later.

まず、本発明の実施の形態１としての符号化装置について説明する。図２は、本発明の符号化装置の一例のブロック図であり、符号化方式として代表的なＨ．２６５／ＨＥＶＣによる符号化を行う符号化装置１００である。なお、本発明の符号化装置１００はＨＥＶＣの符号化を行う装置に限られず、Ｈ．２６４／ＡＶＣの符号化を行う装置等、内部に画面内予測部を含む符号化装置であればよい。 First, a coding device according to a first embodiment of the present invention will be described. FIG. 2 is a block diagram of an example of a coding device according to the present invention, which is a coding device 100 that performs coding using H.265/HEVC, a representative coding method. Note that the coding device 100 of the present invention is not limited to a device that performs HEVC coding, and may be any coding device that includes an internal intra-frame prediction unit, such as a device that performs H.264/AVC coding.

符号化装置１００は、分割部１０１、減算処理部１０２、変換部１０３、量子化部１０４、エントロピー符号化部１０５、逆量子化部１０６、逆変換部１０７、加算処理部１０８、ブロックメモリ１０９、画面内予測部（イントラ予測部）１１０、ループフィルタ１１１、フレームメモリ１１２、動き補償予測部（インター予測部）１１３、及び切り換え制御部１１４を備えている。このうち、画面内予測部１１０として、図１の画面内予測部１０を利用する。符号化装置１００は、コンピュータとプログラムによって実現することができる。 The encoding device 100 includes a division unit 101, a subtraction processing unit 102, a transformation unit 103, a quantization unit 104, an entropy encoding unit 105, an inverse quantization unit 106, an inverse transformation unit 107, an addition processing unit 108, a block memory 109, an intra-screen prediction unit (intra-prediction unit) 110, a loop filter 111, a frame memory 112, a motion compensation prediction unit (inter-prediction unit) 113, and a switching control unit 114. Of these, the intra-screen prediction unit 10 in FIG. 1 is used as the intra-screen prediction unit 110. The encoding device 100 can be realized by a computer and a program.

分割部１０１は、入力された画像を、所定サイズのブロックに分割する。分割されたそれぞれのブロック（ブロック画像）は、予測・符号化のための基本処理単位となる。ブロックのサイズは、最大６４×６４画素（ピクセル）であり、更に、予測のユニットとして、４×４、８×８、１６×１６、又は３２×３２画素等に分割される。ブロック化された画像は、減算処理部１０２に出力され、画像ブロック毎にその後の処理が行われる。 The division unit 101 divides the input image into blocks of a predetermined size. Each divided block (block image) becomes the basic processing unit for prediction and encoding. The size of a block is a maximum of 64 x 64 pixels, and is further divided into 4 x 4, 8 x 8, 16 x 16, or 32 x 32 pixels, etc., as a unit of prediction. The blocked image is output to the subtraction processing unit 102, and subsequent processing is performed for each image block.

減算処理部１０２は、分割部１０１から入力されるブロック化された画像から、画面内予測部１１０又は動き補償予測部１１３からの予測画像の減算処理を行い、両画像の差分を求めて、残差信号（差分画像）を変換部１０３に出力する。 The subtraction processing unit 102 subtracts the predicted image from the intra-screen prediction unit 110 or the motion compensation prediction unit 113 from the blocked image input from the division unit 101, calculates the difference between the two images, and outputs a residual signal (difference image) to the conversion unit 103.

変換部１０３は、減算処理部１０２から入力された残差信号に対して、Ｈ．２６５／ＨＥＶＣ等で規定されている変換符号化処理（離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）又は離散サイン変換（ＤＳＴ：Discrete Sine Transform）等）を行い、得られた変換係数を量子化部１０４へ出力する。以下では、ＤＣＴを処理に用いるものとして説明する。 The transform unit 103 performs transform coding processing (such as Discrete Cosine Transform (DCT) or Discrete Sine Transform (DST)) specified in H.265/HEVC etc.) on the residual signal input from the subtraction processing unit 102, and outputs the obtained transform coefficients to the quantization unit 104. In the following, the description will be given assuming that DCT is used for the processing.

量子化部１０４は、変換部１０３から入力された変換係数を、所定の量子化パラメータに基づいて量子化処理を行う。そして、その結果（量子化済み変換係数）をエントロピー符号化部１０５及び逆量子化部１０６に出力する。 The quantization unit 104 performs quantization processing on the transform coefficients input from the transform unit 103 based on a predetermined quantization parameter. Then, the result (quantized transform coefficients) is output to the entropy coding unit 105 and the inverse quantization unit 106.

エントロピー符号化部１０５は、量子化部１０４から入力された量子化済み変換係数（画像の符号化データ）とともに、画像の復号に必要なデータをエントロピー符号化して、ビットストリームを作成する。このビットストリームが符号化装置１００の出力信号となる。 The entropy coding unit 105 entropy codes the quantized transform coefficients (encoded image data) input from the quantization unit 104 as well as the data required for decoding the image to create a bitstream. This bitstream becomes the output signal of the encoding device 100.

逆量子化部１０６は、量子化部１０４から入力された量子化済み変換係数を逆量子化し、変換係数に戻して逆変換部１０７に出力する。 The inverse quantization unit 106 inverse quantizes the quantized transform coefficients input from the quantization unit 104, converts them back to transform coefficients, and outputs them to the inverse transform unit 107.

逆変換部１０７は、逆量子化されたデータ（変換係数）に対して逆変換（離散コサイン逆変換（ＩＤＣＴ：Inverse Discrete Cosine Transform）等）をする。すなわち、逆量子化部１０６と逆変換部１０７により、変換部１０３及び量子化部１０４で行われた符号化処理と反対の復号処理を行い、その結果を加算処理部１０８に出力する。 The inverse transform unit 107 performs an inverse transform (such as an inverse discrete cosine transform (IDCT)) on the inversely quantized data (transform coefficients). That is, the inverse quantization unit 106 and the inverse transform unit 107 perform a decoding process that is the opposite of the encoding process performed by the transform unit 103 and the quantization unit 104, and output the result to the addition processing unit 108.

加算処理部１０８は、逆量子化部１０６と逆変換部１０７で逆量子化及び逆変換されたデータ、すなわち、残差信号の復号処理されたデータと、後述の画面内予測部１１０又は動き補償予測部１１３で処理された予測画像データとを加算し、その合成画像データ（再構成されたブロック画像）をブロックメモリ１０９とループフィルタ１１１に出力する。 The addition processing unit 108 adds the data inversely quantized and inversely transformed by the inverse quantization unit 106 and the inverse transformation unit 107, i.e., the decoded data of the residual signal, to the predicted image data processed by the intra-screen prediction unit 110 or the motion compensation prediction unit 113 described below, and outputs the composite image data (reconstructed block image) to the block memory 109 and the loop filter 111.

ブロックメモリ１０９は、加算処理部１０８から入力される再構成されたブロック画像を蓄積する記憶部である。画面内予測のための被予測画像を格納し、画面内予測部１１０に出力する。 The block memory 109 is a storage unit that accumulates the reconstructed block images input from the addition processing unit 108. It stores the predicted image for intra-screen prediction and outputs it to the intra-screen prediction unit 110.

画面内予測部１１０は、ブロックメモリ１０９に格納された被予測画像のデータに基づいて、被予測ＴＵの画面内予測（イントラ予測）による予測画像を生成する。本発明では、画面内予測部１１０を図１に示す画面内予測部１０の構成とし、参照画素の補正を行う予測画像生成を行う。その処理については後述する。画面内予測部１１０は、画面内予測画像を切り換え制御部１１４に出力する。 The intra prediction unit 110 generates a predicted image by intra prediction (intra prediction) of the predicted TU based on the data of the predicted image stored in the block memory 109. In the present invention, the intra prediction unit 110 has the configuration of the intra prediction unit 10 shown in FIG. 1, and generates a predicted image that corrects reference pixels. This processing will be described later. The intra prediction unit 110 outputs the intra prediction image to the switching control unit 114.

ループフィルタ１１１は、例えば、ブロック歪みを低減するデブロッキング・フィルタと、リンギング歪みを低減するサンプル・アダプティブ・オフセット等によって構成される。加算処理部１０８で合成された画像データに対して、フィルタ処理を行うことにより、符号化ループ内の量子化処理によって発生する符号化歪みを低減する。ループフィルタ１１１はフィルタ処理した画像データをフレームメモリ１１２に出力する。 The loop filter 111 is composed of, for example, a deblocking filter that reduces block distortion and a sample adaptive offset that reduces ringing distortion. By performing filtering on the image data synthesized by the addition processing unit 108, the coding distortion caused by the quantization processing in the coding loop is reduced. The loop filter 111 outputs the filtered image data to the frame memory 112.

フレームメモリ１１２は、ループフィルタ１１１で処理された画像データを蓄積する。フレームメモリ１１２は、動き補償予測（インター予測）に用いられる参照ピクチャを格納する記憶部として機能する。 The frame memory 112 accumulates image data processed by the loop filter 111. The frame memory 112 functions as a storage unit that stores reference pictures used for motion compensation prediction (inter prediction).

動き補償予測部１１３は、フレームメモリ１１２に蓄積された画像と、図示しない動き検出部で求めた画像の動きの情報に基づいて、動き補償予測処理（動きベクトルに基づくフレーム間予測）を行い、動き予測画像を切り換え制御部１１４に出力する。 The motion compensation prediction unit 113 performs motion compensation prediction processing (interframe prediction based on motion vectors) based on the images stored in the frame memory 112 and the image motion information obtained by a motion detection unit (not shown), and outputs the motion prediction image to the switching control unit 114.

切り換え制御部１１４は、減算処理部１０２に、画面内予測部１１０からの画面内予測画像と、動き補償予測部１１３からの動き予測画像とのいずれかを、選択して出力する。 The switching control unit 114 selects and outputs to the subtraction processing unit 102 either the intra-screen prediction image from the intra-screen prediction unit 110 or the motion prediction image from the motion compensation prediction unit 113.

本発明の符号化装置１００は、画面内予測部１１０において参照画素の補正を行うことにより、画面内予測の予測効率を向上させることができる。 The encoding device 100 of the present invention can improve the prediction efficiency of intra-screen prediction by correcting reference pixels in the intra-screen prediction unit 110.

次に、画面内予測部１１０（１０）の動作について詳述する。図１の参照画素準備部１１は、被予測画像が入力され、被予測ＴＵの予測処理に用いる参照画素を準備して出力する。図３に、被予測ＴＵ１の参照画素を準備する例を示す。 Next, the operation of the intra-screen prediction unit 110 (10) will be described in detail. The reference pixel preparation unit 11 in FIG. 1 receives a predicted image, and prepares and outputs reference pixels to be used in the prediction process of the predicted TU. FIG. 3 shows an example of preparing reference pixels for predicted TU1.

ＴＵの一辺のサイズをＮとする。そして図３に示すように、予測するＴＵ１に隣接する４Ｎ＋１個の画素を参照画素ｐ[x][y]として準備する。被予測ＴＵ１に対する４Ｎ＋１個の参照画素の配置関係は、図７と同じである。図３では、被予測ＴＵ１（Ｎ＝４）の左上の画素（ピクセル）位置を座標（１２，１２）とし、被予測ＴＵ１の左側のｘ＝１１でｙ＝１１～１９の座標にある画素と被予測ＴＵ１の上側のｙ＝１１でｘ＝１１～１９の座標にある画素の計１７個の画素を参照画素として準備することとする。 The size of one side of a TU is N. Then, as shown in FIG. 3, 4N+1 pixels adjacent to the TU1 to be predicted are prepared as reference pixels p[x][y]. The arrangement of the 4N+1 reference pixels with respect to the predicted TU1 is the same as that in FIG. 7. In FIG. 3, the top left pixel position of the predicted TU1 (N=4) is set to coordinates (12, 12), and a total of 17 pixels are prepared as reference pixels: the pixel at coordinates x=11 and y=11-19 on the left side of the predicted TU1, and the pixel at coordinates y=11 and x=11-19 on the top side of the predicted TU1.

参照画素の準備手順は次のとおりである。
（１）参照画素が全て復号済の場合、それらをそのままｐ[x][y]の値とする。 The procedure for preparing the reference pixels is as follows.
(1) If all reference pixels have been decoded, they are used as the values of p[x][y] as they are.

（２）復号済み画素が１つもない場合、ｐ[x][y]＝１<<(BitDepth－１)とする（BitDepthはビット深度）。 (2) If no pixels have been decoded, set p[x][y]＝1<<(BitDepth－1) (BitDepth is the bit depth).

（３）それ以外の場合（一部のみ復号済みの場合）、
（３－１）図３の左下端（１１，１９）から参照画素を右上端（１９，１１）に向かって順に走査し、最初に存在する復号済み画素値（ここでは、ｐ[11][15]）を左下端（ｐ[11][19]）の値とする。
（３－２）図３の左下端の１つ上（１１，１８）から（１１，１１）まで順に走査し、当該画素が復号されていなければそのすぐ下の画素値を当該画素の値とする。すなわち、ｐ[11][y+1]をｐ[11][y]の値とする。
（３－３）同様に、図３の（１２，１１）から右上端（１９，１１）まで順に走査し、当該画素が復号されていなければそのすぐ左側の画素値を当該画素の値とする。すなわち、ｐ[x-1][11]をｐ[x][11]の値とする。 (3) In other cases (when only part of the data has been decrypted),
(3-1) Scan the reference pixels in order from the bottom left corner (11, 19) in Figure 3 to the top right corner (19, 11), and use the first decoded pixel value (here, p[11][15]) as the value of the bottom left corner (p[11][19]).
(3-2) Scan from (11,18) one pixel above the bottom left corner of Figure 3 to (11,11) in order, and if the pixel in question has not been decoded, set the pixel value just below it as the value of the pixel in question. In other words, set p[11][y+1] as the value of p[11][y].
(3-3) Similarly, scan from (12,11) to the top right corner (19,11) in Figure 3 in order, and if the pixel in question has not been decoded, set the value of the pixel immediately to the left of it as the value of the pixel in question. In other words, set p[x-1][11] to the value of p[x][11].

上記の（３－１）、（３－２）の手順により、未復号の参照画素の値ｐ[11][19]～ｐ[11][16]は、これらと隣接する復号済みの近傍参照画素ｐ[11][15]と等しくなる。以上の手順により、４Ｎ＋１個の参照画素の全てに値が設定され、ｐ[x][y]として準備される。 By the above steps (3-1) and (3-2), the values of the undecoded reference pixels p[11][19] to p[11][16] become equal to the adjacent decoded reference pixel p[11][15]. By the above steps, values are set for all 4N+1 reference pixels, and they are prepared as p[x][y].

次に、参照画素補正部１２の処理について説明する。参照画素補正部１２は、参照画素準備部１１で準備された参照画素の内、未復号の参照画素位置の画素値の補正を行う。図４に、未復号の参照画素位置の画素値を補正する例を示す。参照画素補正部１２には、例えば、未復号の参照画素位置で用いる復号済の近傍参照画素、被予測画像、及びＴＵ情報（ＴＵ分割情報）が入力され、補正された参照画素が出力される。 Next, the processing of the reference pixel correction unit 12 will be described. The reference pixel correction unit 12 corrects pixel values at undecoded reference pixel positions among the reference pixels prepared by the reference pixel preparation unit 11. FIG. 4 shows an example of correcting pixel values at undecoded reference pixel positions. For example, the reference pixel correction unit 12 receives decoded neighboring reference pixels to be used at the undecoded reference pixel positions, a predicted image, and TU information (TU division information), and outputs corrected reference pixels.

参照画素補正部１２は、まず、未復号の参照画素位置に用いる復号済み近傍参照画素を有する復号済ＴＵ（隣接する複合済ＴＵ５）の参照画素の周波数パワーを解析する。今、参照画素準備部１１の処理により、参照画素値ｐ[11][19]～ｐ[11][16]は復号済み近傍参照画素ｐ[11][15]の値となっている。復号済の近傍参照画素ｐ[11][15]が元々属するＴＵ（復号済ＴＵ５）内の参照画素の周波数パワーを周波数成分解析（例えば、ＤＣＴ解析）して、その結果を周波数パワー解析情報として出力する。 The reference pixel correction unit 12 first analyzes the frequency power of the reference pixels of the decoded TU (adjacent decoded TU5) that has the decoded neighboring reference pixel to be used for the undecoded reference pixel position. Now, as a result of the processing by the reference pixel preparation unit 11, the reference pixel values p[11][19] to p[11][16] are the values of the decoded neighboring reference pixel p[11][15]. The frequency power of the reference pixels in the TU (decoded TU5) to which the decoded neighboring reference pixel p[11][15] originally belonged is analyzed by frequency component analysis (e.g., DCT analysis), and the result is output as frequency power analysis information.

すなわち、復号済ＴＵ５の参照画素ｐ[11][15]～ｐ[11][12]に含まれる周波数パワーをＤＣＴ解析によって求める。以下にＤＣＴの計算式を示す。 That is, the frequency power contained in the reference pixels p[11][15] to p[11][12] of the decoded TU5 is calculated by DCT analysis. The formula for DCT is shown below.

図４における補正元の参照画素ｐ[11][15]を含む、復号済ＴＵ５のｐ[11][15]～ｐ[11][12]のＤＣＴにおいてはＮ＝４であるため、ｐ[11][15]～ｐ[11][12]に対応する周波数パワー解析結果として、ｋ番目の周波数のパワー係数：Ｘ_k(補正元), (k = 0, 1, 2, 3)が出力される。なお、この係数を「周波数パワー値」ということがある。 Since N=4 in the DCT of p[11][15] to p[11][12] of the decoded TU5 including the reference pixel p[11][15] of the correction source in Fig. 4, the power coefficient of the kth frequency: _Xk (correction source), (k = 0, 1, 2, 3) is output as the frequency power analysis result corresponding to p[11][15] to p[11][12]. Note that this coefficient is sometimes called the "frequency power value".

次に、未復号の参照画素位置で用いる画素値を補正する。まず、未復号の参照画素位置における画素（今は復号済の近傍参照画素と等しい）の周波数パワーを周波数成分解析（例えば、ＤＣＴ解析）する。すなわち、補正先であるｐ[11][19]～ｐ[11][16]をＤＣＴ解析して、ｋ番目の周波数のパワー係数：Ｘ_k(補正先), (k = 0, 1, 2, 3)を得る。なお、未復号の参照画素位置で用いる画素値が全て等しい場合は、パワー係数は直流（ＤＣ）成分のみとなり、他の周波数成分は０となる。 Next, the pixel values used at the undecoded reference pixel positions are corrected. First, the frequency power of the pixels at the undecoded reference pixel positions (which are now equal to the decoded neighboring reference pixels) is subjected to frequency component analysis (e.g., DCT analysis). That is, p[11][19] to p[11][16], which are the correction destinations, are subjected to DCT analysis to obtain the power coefficient of the kth frequency: X _k (correction destination), (k = 0, 1, 2, 3). Note that if all pixel values used at the undecoded reference pixel positions are equal, the power coefficient will be only a direct current (DC) component, and the other frequency components will be zero.

そして、得られた周波数パワー値：Ｘ_k(補正先)を、前述の周波数パワー値：Ｘ_k(補正元)を用いて補正する。補正においては、例えば、Ｘ_k(補正先)をＸ_k(補正元)で置き換える、Ｘ_k(補正先)とＸ_k(補正元)の各要素で平均をとる、或いは、Ｘ_k(補正先)とＸ_k(補正元)を要素ごと（周波数ごと）に所定比率でマージする等を行うことができる。所定比率は周波数ごとに変えてもよい。どのような手法で補正するかは、画像の特徴等に基づいて最適なものを選択してもよい。 Then, the obtained frequency power value: _Xk (correction destination) is corrected using the above-mentioned frequency power value: _Xk (correction source). In the correction, for example, _Xk (correction destination) may be replaced with _Xk (correction source), an average may be taken for each element of _Xk (correction destination) and _Xk (correction source), or _Xk (correction destination) and _Xk (correction source) may be merged at a predetermined ratio for each element (each frequency). The predetermined ratio may be changed for each frequency. The method of correction may be selected optimally based on the characteristics of the image, etc.

未復号の参照画素位置が属するＴＵ内の参照画素数と、復号済の近傍参照画素が属するＴＵ内の参照画素数が異なる場合は、画素数に対応させてＸ_kをマッピングすることができる。例えばＸ_k(補正元)がＮ＝４、Ｘ_k(補正先)がＮ＝２の場合は、Ｘ₀(補正元)とＸ₁(補正元)の平均をＸ₀(補正先)、Ｘ₂(補正元)とＸ₃(補正元)の平均をＸ₁(補正先)として用いることができる。 When the number of reference pixels in a TU to which an undecoded reference pixel position belongs differs from the number of reference pixels in a TU to which a decoded neighboring reference pixel belongs, X _k can be mapped in accordance with the number of pixels. For example, when X _k (correction source) is N=4 and X _k (correction destination) is N=2, the average of X ₀ (correction source) and X ₁ (correction source) can be used as X ₀ (correction destination), and the average of X ₂ (correction source) and X ₃ (correction source) can be used as X ₁ (correction destination).

以上のように、未復号の参照画素位置の周波数パワー値を補正した後、ＩＤＣＴすることで、未復号の参照画素位置で用いる補正された画素値が得られる。よって、未復号の参照画素位置の画素値について、周波数成分（周波数パワー）の補正を行うことができる。すなわち、未復号の参照画素位置の参照画素に対し、近傍の復号済の変換ユニットの周波数成分を加える補正を行うことができる。 As described above, after correcting the frequency power value of the undecoded reference pixel position, IDCT is performed to obtain the corrected pixel value to be used at the undecoded reference pixel position. Therefore, the frequency component (frequency power) can be corrected for the pixel value of the undecoded reference pixel position. In other words, a correction can be performed by adding the frequency component of a nearby decoded transform unit to the reference pixel at the undecoded reference pixel position.

更に、前記の補正を行った後で、未復号の参照画素位置と、その位置で用いる復号済の近傍参照画素との間の距離に応じて重みαを乗じることができる。例えばｐ[11][16]はｐ[11][15]から近いので大きな重み（α＝１．０）、ｐ[11][19]はｐ[11][15]から遠いので小さな重み（α＝０．７）という具合で距離に応じた重みを画素値の補正量に乗じ、未復号の参照画素位置における補正量を調整することができる。なお、ＩＤＣＴをする前に、距離に応じた重みをＤＣＴ成分に対して乗じ、補正量を調整してもよい。 Furthermore, after the above correction, a weight α can be multiplied according to the distance between the undecoded reference pixel position and the nearby decoded reference pixel used at that position. For example, p[11][16] is close to p[11][15], so a large weight (α = 1.0) is used, and p[11][19] is far from p[11][15], so a small weight (α = 0.7) is used. In this way, the correction amount for the undecoded reference pixel position can be adjusted by multiplying the correction amount for the pixel value by a weight according to the distance. Note that before performing IDCT, the DCT components may be multiplied by a weight according to the distance to adjust the correction amount.

本実施形態では、参照画素準備部１１はＨＥＶＣを前提としており、未復号の参照画素位置ｐ[11][19]～ｐ[11][16]の画素値を全て復号済み近傍参照画素ｐ[11][15]の値と等しくする処理により準備された未復号ＴＵの参照画素に対して補正を行ったが、参照画素補正部１２による補正は、未復号の参照画素位置の画素に対し、近接する復号済ＴＵの周波数成分を加えるよう補正するものであるから、参照画素の準備処理はこれに限られない。他の処理により準備された未復号の参照画素位置の画素に対しても、同様に補正することにより、予測効率を高める効果を得ることができる。 In this embodiment, the reference pixel preparation unit 11 is based on HEVC, and performs correction on the reference pixels of the undecoded TU prepared by processing to make all pixel values of the undecoded reference pixel positions p[11][19] to p[11][16] equal to the value of the decoded neighboring reference pixel p[11][15]. However, the correction by the reference pixel correction unit 12 is a correction to add frequency components of nearby decoded TUs to the pixels of the undecoded reference pixel positions, so the reference pixel preparation process is not limited to this. By performing a similar correction on the pixels of the undecoded reference pixel positions prepared by other processes, it is possible to obtain the effect of improving prediction efficiency.

次に、予測処理部１３の処理について説明する。予測処理部１３の処理は、従来の符号化方式で行われた面内の予測処理を用いることができる。例えば、符号化方式がＨＥＶＣであれば、（１）プレーナ（Planar）予測、（２）直流（ＤＣ）予測、（３）方向性予測のいずれかを行う。予測処理は、参照画素補正部１２から出力された、補正済みの参照画素値を用いて行う。 Next, the processing of the prediction processing unit 13 will be described. The processing of the prediction processing unit 13 can use intra-plane prediction processing performed in conventional encoding methods. For example, if the encoding method is HEVC, then any one of (1) planar prediction, (2) direct current (DC) prediction, and (3) directional prediction is performed. The prediction processing is performed using the corrected reference pixel values output from the reference pixel correction unit 12.

ここで、（１）プレーナ（Planar）予測は、被予測ＴＵの周囲の４個の参照画素値に基づいて、各予測画素値を滑らかに生成する手法であり、（２）直流（ＤＣ）予測は、被予測ＴＵのすぐ左側及び上側の２Ｎ個の参照画素の平均値でＴＵ内を埋める処理である。また、（３）方向性予測は、３３通りの参照方向のいずれかに基づいて、参照方向にある参照画素値（又は内分値）を予測値とするものであり、これらの予測方法から予測効率の良い方法を選択して予測することができる。 Here, (1) planar prediction is a method for smoothly generating each predicted pixel value based on the four reference pixel values surrounding the predicted TU, and (2) direct current (DC) prediction is a process for filling the TU with the average value of 2N reference pixels immediately to the left and above the predicted TU. Also, (3) directional prediction is a process for predicting a reference pixel value (or an internal division value) in a reference direction based on one of 33 reference directions, and a method with good prediction efficiency can be selected from these prediction methods to make a prediction.

次に、画面内予測部１０の処理について、より一般化して説明する。図５は、画面内予測部１０の動作の例を示すフローチャートである。以下、各ステップについて説明する。 Next, the processing of the intra-screen prediction unit 10 will be described in more general terms. FIG. 5 is a flowchart showing an example of the operation of the intra-screen prediction unit 10. Each step will be described below.

ステップＳ１１：被予測ＴＵ（一辺のサイズをＮ）に対して、隣接する４Ｎ＋１個の画素（図７参照）を参照画素ｐ[x][y]として準備する。なお、参照画素が全て復号済みの場合、それらをそのままｐ[x][y]の値とし、復号済み画素が１つもない場合、ｐ[x][y]＝１<<(BitDepth－１)とする。それ以外の場合、左下端(-1, 2N-1)から右上端(2N-1, -1)に向かって参照画素を順に走査し、最初に存在する復号済み画素値をｐ[-1][2N-1]の値とする。次に、左下端の１つ上(-1, 2N-2)から(-1, -1)まで順に走査し、(-1, y)が復号されていなければp[-1][y+1]をp[-1][y]の値とする。さらに、(0, -1)から右上端(2N-1, -1)まで順に走査し、(x, -1)が復号されていなければｐ[x-1][-1]をｐ[x][-1]の値とする。 Step S11: For the predicted TU (size of one side is N), prepare 4N+1 adjacent pixels (see FIG. 7) as reference pixels p[x][y]. If all reference pixels have already been decoded, they are set as the value of p[x][y]. If there are no decoded pixels, set p[x][y] = 1 << (BitDepth - 1). Otherwise, scan the reference pixels in order from the bottom left corner (-1, 2N-1) to the top right corner (2N-1, -1), and set the first decoded pixel value to the value of p[-1][2N-1]. Next, scan from (-1, 2N-2) above the bottom left corner to (-1, -1) in order, and if (-1, y) has not been decoded, set p[-1][y+1] to the value of p[-1][y]. Furthermore, it scans sequentially from (0, -1) to the top right corner (2N-1, -1), and if (x, -1) has not been decoded, it sets p[x-1][-1] to the value of p[x][-1].

ステップＳ１２：未復号の参照画素位置で用いる復号済みの近傍参照画素が元々属するＴＵ（未復号ＴＵ６に隣接する復号済ＴＵ５）内の参照画素の周波数パワーをＤＣＴ解析して、その結果を周波数パワー解析情報（補正元の周波数別のパワー係数）として出力する（図４参照）。 Step S12: Perform DCT analysis on the frequency power of the reference pixels in the TU (decoded TU5 adjacent to undecoded TU6) to which the decoded neighboring reference pixel used at the undecoded reference pixel position originally belongs, and output the result as frequency power analysis information (power coefficients for each frequency of the correction source) (see Figure 4).

ステップＳ１３：補正対象である未復号の参照画素位置の画素値についてＤＣＴ解析を行い、得られた周波数パワー解析情報（補正先の周波数別のパワー係数）を、ステップＳ１２で得られた復号済ＴＵの参照画素の周波数パワー解析情報に基づいて、補正する（図４参照）。補正においては、例えば補正先の係数列（周波数パワー値）を補正元の係数列（周波数パワー値）で置き換える、補正先周波数パワー値と補正元周波数パワー値の平均をとる、補正先と補正元の各周波数のパワー値を所定比率でマージする等の処理を行うことができる。その後、補正された補正先周波数パワー値をＩＤＣＴすることで、未復号の参照画素位置で用いる補正された参照画素値が得られる。なお、補正先と補正元の画素間の距離に基づいて、補正量の重み付け処理を行ってもよい。 Step S13: DCT analysis is performed on the pixel value of the undecoded reference pixel position to be corrected, and the obtained frequency power analysis information (power coefficients for each frequency of the correction destination) is corrected based on the frequency power analysis information of the reference pixel of the decoded TU obtained in step S12 (see FIG. 4). In the correction, for example, the coefficient sequence (frequency power value) of the correction destination may be replaced with the coefficient sequence (frequency power value) of the correction source, the average of the correction destination frequency power value and the correction source frequency power value may be taken, and the power values of each frequency of the correction destination and correction source may be merged at a predetermined ratio. Then, the corrected correction destination frequency power value is subjected to IDCT to obtain the corrected reference pixel value to be used at the undecoded reference pixel position. Note that the correction amount may be weighted based on the distance between the correction destination and correction source pixels.

ステップＳ１４：参照画素（補正された参照画素を含む）に対し、線形フィルタ又は平滑化フィルタ等のフィルタ処理を、必要に応じて行う。なお、このフィルタ処理は、歪や雑音を低減するための処理であり、ＨＥＶＣ等で行われる通常の処理である。 Step S14: Filter processing such as a linear filter or a smoothing filter is performed on the reference pixels (including the corrected reference pixels) as necessary. Note that this filtering is a process for reducing distortion and noise, and is a normal process performed in HEVC, etc.

ステップＳ１５：ステップＳ１１～Ｓ１４で得られた参照画素にもとづいて、被予測ＴＵの予測処理を行う。例えば、ＨＥＶＣでは、３３通りの参照方向を有する方向性予測、及び非方向性予測として、プレーナ（Planar）予測又は直流（ＤＣ）予測が用意されており、これらの予測処理により、画面内予測を行う。 Step S15: Prediction processing of the predicted TU is performed based on the reference pixels obtained in steps S11 to S14. For example, HEVC provides directional prediction with 33 reference directions, and planar prediction or direct current (DC) prediction as non-directional prediction, and performs intra-screen prediction using these prediction processes.

なお、本実施形態では、周波数成分解析として、ＤＣＴ解析を行ったが、これに限られず、ＤＳＴ解析等、周波数パワー係数を求める他の手法を用いてもよい。 In this embodiment, DCT analysis is used as the frequency component analysis, but this is not limited to this, and other methods for finding frequency power coefficients, such as DST analysis, may also be used.

（実施の形態２）
実施の形態２として、復号装置について説明する。画面内予測部１０は、符号化装置における局部復号処理のみならず、復号装置の復号処理においても同様に使用される。 (Embodiment 2)
A decoding device will be described as embodiment 2. The intra prediction unit 10 is used not only in the local decoding process in the encoding device, but also in the decoding process in the decoding device.

図６は、本発明の復号装置の一例のブロック図であり、符号化方式として代表的なＨ．２６５／ＨＥＶＣによる復号を行う復号装置２００である。なお、本発明の復号装置２００はＨＥＶＣによる復号を行う装置に限られず、Ｈ．２６４／ＡＶＣによる復号を行う装置等、内部に画面内予測部を含む復号装置であればよい。復号装置２００は、符号化データであるビットストリームを入力し、復号処理を行い、復元した画像を出力する。 Fig. 6 is a block diagram of an example of a decoding device of the present invention, which is a decoding device 200 that performs decoding using H.265/HEVC, a representative encoding method. Note that the decoding device 200 of the present invention is not limited to a device that performs decoding using HEVC, and may be any decoding device that includes an internal intra-frame prediction unit, such as a device that performs decoding using H.264/AVC. The decoding device 200 inputs a bit stream, which is encoded data, performs a decoding process, and outputs a restored image.

復号装置２００は、エントロピー復号部２０１、逆量子化部２０２、逆変換部２０３、加算処理部２０４、ループフィルタ２０５、ブロックメモリ２０６、画面内予測部２０７、フレームメモリ２０８、動き補償予測部２０９、及び切り換え制御部２１０を備えている。このうち、画面内予測部２０７として、図１の画面内予測部１０を利用する。復号装置２００は、コンピュータとプログラムによって実現することができる。 The decoding device 200 includes an entropy decoding unit 201, an inverse quantization unit 202, an inverse transform unit 203, an addition processing unit 204, a loop filter 205, a block memory 206, an intra-screen prediction unit 207, a frame memory 208, a motion compensation prediction unit 209, and a switching control unit 210. Of these, the intra-screen prediction unit 10 in FIG. 1 is used as the intra-screen prediction unit 207. The decoding device 200 can be realized by a computer and a program.

エントロピー復号部２０１は、入力されたビットストリームをエントロピー復号し、伝送された画像の符号化データとともに、画像の復号に必要なデータを復号する。画像の符号化データは、ブロック単位で逆量子化部２０２に出力される。 The entropy decoding unit 201 entropy decodes the input bit stream and decodes the transmitted encoded data of the image as well as the data required for decoding the image. The encoded data of the image is output to the inverse quantization unit 202 in units of blocks.

逆量子化部２０２は、エントロピー復号部２０１から入力された画像の符号化データ（量子化係数）を逆量子化する。この逆量子化により、符号化側の変換符号化処理（離散コサイン変換等）で生成された変換係数が得られる。そして、逆量子化されたデータを、逆変換部２０３に出力する。 The inverse quantization unit 202 inverse quantizes the coded data (quantized coefficients) of the image input from the entropy decoding unit 201. This inverse quantization results in transform coefficients generated by the transform coding process (discrete cosine transform, etc.) on the coding side. The inverse quantized data is then output to the inverse transform unit 203.

逆変換部２０３は、逆量子化されたデータ（変換係数）を逆変換（離散コサイン逆変換等）する。すなわち、逆量子化部２０２と逆変換部２０３は、符号化装置１００で行われた変換部１０３及び量子化部１０４の処理と反対の復号処理を行い、その結果を加算処理部２０４に出力する。 The inverse transform unit 203 performs an inverse transform (such as an inverse discrete cosine transform) on the inversely quantized data (transformation coefficients). That is, the inverse quantization unit 202 and the inverse transform unit 203 perform a decoding process that is the opposite of the process performed by the transform unit 103 and the quantization unit 104 in the encoding device 100, and output the result to the addition processing unit 204.

加算処理部２０４は、逆量子化部２０２及び逆変換部２０３で逆量子化及び逆変換されたデータ（これは、差分画像のデータに相当する）と、後述の画面内予測部２０７（又は動き補償予測部２０９）で処理された予測画像データとを加算し、その合成画像データ（再構成されたブロック画像）をループフィルタ２０５とブロックメモリ２０６に出力する。 The addition processing unit 204 adds the data inversely quantized and inversely transformed by the inverse quantization unit 202 and the inverse transformation unit 203 (this corresponds to the differential image data) to the predicted image data processed by the intra-screen prediction unit 207 (or the motion compensation prediction unit 209) described below, and outputs the composite image data (reconstructed block image) to the loop filter 205 and the block memory 206.

ループフィルタ２０５は、加算処理部２０４から入力された画像データに対して、サンプル・アダプティブ・オフセットの処理、或いは、デブロッキング・フィルタの処理等を行う。ループフィルタ２０５は、フィルタ処理した画像データをフレームメモリ２０８に出力するとともに、復号装置２００の出力画像（復元画像）として出力する。 The loop filter 205 performs sample adaptive offset processing, deblocking filter processing, and the like, on the image data input from the addition processing unit 204. The loop filter 205 outputs the filtered image data to the frame memory 208, and also outputs it as an output image (reconstructed image) of the decoding device 200.

ブロックメモリ２０６は、加算処理部２０４で生成された合成画像データ（再構成ブロック画像）を順次蓄積する記憶部である。画面内予測のための被予測画像を格納し、画面内予測部２０７に出力する。 The block memory 206 is a storage unit that sequentially accumulates the composite image data (reconstructed block image) generated by the addition processing unit 204. It stores a predicted image for intra-screen prediction and outputs it to the intra-screen prediction unit 207.

画面内予測部２０７は、ブロックメモリ２０６に格納された被予測画像のデータに基づいて、被予測ＴＵの画面内予測（イントラ予測）による予測画像を生成する。本発明では、画面内予測部２０７を図１に示す画面内予測部１０の構成とし、参照画素の補正を行って予測画像生成を行う。その処理については前述したとおりである。なお、復号側では、符号化側でどのような予測処理をしたかの情報が送られてくるため、それに基づく予測を行う。画面内予測部２０７は、画面内予測画像を切り換え制御部２１０に出力する。 The intra prediction unit 207 generates a predicted image by intra prediction (intra prediction) of the predicted TU based on the data of the predicted image stored in the block memory 206. In the present invention, the intra prediction unit 207 has the configuration of the intra prediction unit 10 shown in FIG. 1, and generates a predicted image by correcting reference pixels. The process is as described above. Note that, on the decoding side, information on what kind of prediction process was performed on the encoding side is sent, and prediction is performed based on that information. The intra prediction unit 207 outputs the intra prediction image to the switching control unit 210.

フレームメモリ２０８は、ループフィルタ２０５で処理された画像データを蓄積する。フレームメモリ２０８は、動き補償予測（インター予測）に用いられる参照ピクチャを格納する記憶部として機能する。 The frame memory 208 accumulates image data processed by the loop filter 205. The frame memory 208 functions as a storage unit that stores reference pictures used for motion compensation prediction (inter prediction).

動き補償予測部２０９は、フレームメモリ２０８に蓄積された画像と、図示しない動き検出部で求めた画像の動きの情報に基づいて、動き補償予測処理を行い、動き予測画像を切り換え制御部２１０に出力する。 The motion compensation prediction unit 209 performs motion compensation prediction processing based on the image stored in the frame memory 208 and the image motion information obtained by a motion detection unit (not shown), and outputs the motion prediction image to the switching control unit 210.

切り換え制御部２１０は、加算処理部２０４に、画面内予測部２０７からの画面内予測画像と、動き補償予測部２０９からの動き予測画像とのいずれかを、選択して出力する。 The switching control unit 210 selects and outputs to the addition processing unit 204 either the intra-screen prediction image from the intra-screen prediction unit 207 or the motion prediction image from the motion compensation prediction unit 209.

本発明の復号装置２００は、画面内予測部２０７において参照画素の補正を行うことにより、画面内予測の予測効率を向上させることができる。 The decoding device 200 of the present invention can improve the prediction efficiency of intra-screen prediction by correcting reference pixels in the intra-screen prediction unit 207.

上記の実施の形態では、符号化装置１００及び復号装置２００の構成と動作について説明したが、本発明はこれに限らず、画面内予測において参照画素の補正を行う符号化方法、又は復号方法として構成されてもよい。或いは、図５のフローチャートに基づいて、画像の画面内予測方法としても良い。 In the above embodiment, the configuration and operation of the encoding device 100 and the decoding device 200 have been described, but the present invention is not limited to this, and may be configured as an encoding method or a decoding method that corrects reference pixels in intra-screen prediction. Alternatively, it may be configured as an intra-screen prediction method for images based on the flowchart of FIG. 5.

なお、上述した符号化装置１００又は復号装置２００として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置１００又は復号装置２００の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。 A computer can be suitably used to function as the encoding device 100 or the decoding device 200 described above, and such a computer can be realized by storing a program describing the processing contents for realizing each function of the encoding device 100 or the decoding device 200 in the memory unit of the computer, and reading and executing this program by the CPU of the computer. Note that this program can be recorded on a computer-readable recording medium.

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。 The above-mentioned embodiment has been described as a representative example, but it will be apparent to those skilled in the art that many modifications and substitutions can be made within the spirit and scope of the present invention. Therefore, the present invention should not be interpreted as being limited by the above-mentioned embodiment, and various modifications and changes are possible without departing from the scope of the claims. For example, it is possible to combine multiple component blocks described in the embodiment into one, or to divide one component block.

１被予測ＴＵ
２～５復号済ＴＵ
６未復号ＴＵ
１０画面内予測部
１１参照画素準備部
１２参照画素補正部
１３予測処理部
１００符号化装置
１０１分割部
１０２減算処理部
１０３変換部
１０４量子化部
１０５エントロピー符号化部
１０６逆量子化部
１０７逆変換部
１０８加算処理部
１０９ブロックメモリ
１１０画面内予測部（イントラ予測部）
１１１ループフィルタ
１１２フレームメモリ
１１３動き補償予測部（インター予測部）
１１４切り換え制御部
２００復号装置
２０１エントロピー復号部
２０２逆量子化部
２０３逆変換部
２０４加算処理部
２０５ループフィルタ
２０６ブロックメモリ
２０７画面内予測部
２０８フレームメモリ
２０９動き補償予測部
２１０切り換え制御部
1 Predicted TU
2 to 5 Decoded TU
6 Undecoded TU
10 Intra-screen prediction unit 11 Reference pixel preparation unit 12 Reference pixel correction unit 13 Prediction processing unit 100 Encoding device 101 Division unit 102 Subtraction processing unit 103 Transformation unit 104 Quantization unit 105 Entropy encoding unit 106 Inverse quantization unit 107 Inverse transformation unit 108 Addition processing unit 109 Block memory 110 Intra-screen prediction unit (intra prediction unit)
111 Loop filter 112 Frame memory 113 Motion compensation prediction unit (inter prediction unit)
114 Switching control unit 200 Decoding device 201 Entropy decoding unit 202 Inverse quantization unit 203 Inverse transform unit 204 Addition processing unit 205 Loop filter 206 Block memory 207 Intra-screen prediction unit 208 Frame memory 209 Motion compensation prediction unit 210 Switching control unit

Claims

In a coding device that performs intra-frame prediction of an image,
The in-screen prediction unit
A reference pixel preparation unit that prepares reference pixels for a predicted transform unit (TU) and prepares reference pixels equal to decoded neighboring reference pixels at undecoded reference pixel positions;
a reference pixel correction unit that corrects a frequency component of the reference pixel prepared at an undecoded reference pixel position;
a prediction processing unit that performs a prediction process on the predicted conversion unit based on the corrected reference pixels,
The reference pixel correction unit corrects a frequency power value of a reference pixel prepared at an undecoded reference pixel position by using a frequency power value of a reference pixel in a transform unit to which a decoded neighboring reference pixel used at an undecoded reference pixel position belongs,
the reference pixel correction unit obtains a source frequency power value included in each frequency by performing a discrete cosine transform (DCT) on a reference pixel in a transform unit to which a decoded neighboring reference pixel used at an undecoded reference pixel position belongs, and obtains a destination frequency power value included in each frequency by performing a DCT on the reference pixel prepared at an undecoded reference pixel position;
correcting the correction destination frequency power value with the correction source frequency power value;
The corrected frequency power value is subjected to IDCT (inverse discrete cosine transform) to set the reference pixel at the undecoded reference pixel position;
the reference pixel correction unit further corrects the destination frequency power value of the reference pixel prepared at an undecoded reference pixel position with the source frequency power value, and performs IDCT to multiply the correction amount added to the pixel value of the reference pixel prepared at the undecoded reference pixel position by a weight according to a distance between the undecoded reference pixel position and a decoded neighboring reference pixel used at that position, thereby adjusting the correction amount .

2. The encoding device according to claim 1 ,
A coding device, characterized in that the correction destination frequency power value is corrected by any one of replacing the correction destination frequency power value with the correction source frequency power value, taking an average of the correction destination frequency power value and the correction source frequency power value, and merging the correction destination frequency power value and the correction source frequency power value at a predetermined ratio for each frequency.

In a decoding device that performs intra-frame prediction of an image,
The in-screen prediction unit
A reference pixel preparation unit that prepares reference pixels for a predicted transform unit (TU) and prepares reference pixels equal to decoded neighboring reference pixels at undecoded reference pixel positions;
a reference pixel correction unit that corrects a frequency component of the reference pixel prepared at an undecoded reference pixel position;
a prediction processing unit that performs a prediction process on the predicted conversion unit based on the corrected reference pixels,
The reference pixel correction unit corrects a frequency power value of a reference pixel prepared at an undecoded reference pixel position by using a frequency power value of a reference pixel in a transform unit to which a decoded neighboring reference pixel used at an undecoded reference pixel position belongs ,
the reference pixel correction unit obtains a source frequency power value included in each frequency by performing a discrete cosine transform (DCT) on a reference pixel in a transform unit to which a decoded neighboring reference pixel used at an undecoded reference pixel position belongs, and obtains a destination frequency power value included in each frequency by performing a DCT on the reference pixel prepared at an undecoded reference pixel position;
correcting the correction destination frequency power value with the correction source frequency power value;
The corrected frequency power value is subjected to IDCT (inverse discrete cosine transform) to set the reference pixel at the undecoded reference pixel position;
the reference pixel correction unit further corrects the destination frequency power value of the reference pixel prepared at an undecoded reference pixel position with the source frequency power value, and performs IDCT to multiply the correction amount added to the pixel value of the reference pixel prepared at the undecoded reference pixel position by a weight according to a distance between the undecoded reference pixel position and a nearby decoded reference pixel used at that position, thereby adjusting the correction amount .

A program causing a computer to function as the encoding device according to claim 1 or 2 .

A program causing a computer to function as the decoding device according to claim 3 .