JP4129006B2 - Moving image re-encoding method, moving image re-encoding device, moving image re-encoding program, and computer-readable recording medium recording the program - Google Patents
Moving image re-encoding method, moving image re-encoding device, moving image re-encoding program, and computer-readable recording medium recording the program Download PDFInfo
- Publication number
- JP4129006B2 JP4129006B2 JP2005046355A JP2005046355A JP4129006B2 JP 4129006 B2 JP4129006 B2 JP 4129006B2 JP 2005046355 A JP2005046355 A JP 2005046355A JP 2005046355 A JP2005046355 A JP 2005046355A JP 4129006 B2 JP4129006 B2 JP 4129006B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoding
- filter processing
- loop filter
- loop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、ループ内フィルタ処理を伴って符号化された動画像の符号化ストリームを復号して再符号化する動画像再符号化方法及びその装置と、その動画像再符号化方法の実現に用いられる動画像再符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関し、特に、画質劣化がほとんど生じない再符号化を実現し、また、画質劣化が少ない効率的な再符号化を実現する動画像再符号化方法及びその装置と、その動画像再符号化方法の実現に用いられる動画像再符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。 The present invention relates to a moving image re-encoding method and apparatus for decoding and re-encoding a moving image encoded stream encoded with in-loop filtering, and to realize the moving image re-encoding method. The present invention relates to a moving image re-encoding program to be used and a computer-readable recording medium on which the program is recorded. Particularly, the re-encoding that realizes re-encoding with little image quality degradation and less image quality degradation is realized. The present invention relates to a moving image re-encoding method and apparatus for realizing the above, a moving image re-encoding program used for realizing the moving image re-encoding method, and a computer-readable recording medium storing the program.
従来、ＭＰＥＧ−２などの映像符号化方式においては、前段のＤＣＴ係数以外の符号化パラメータを全て継承して再符号化を行うことで、ほぼ画質劣化のない再符号化が可能であることが知られている（例えば、非特許文献１参照）。 Conventionally, in a video encoding method such as MPEG-2, re-encoding is performed by inheriting all encoding parameters other than the DCT coefficient in the previous stage, so that re-encoding can be performed with almost no image quality degradation. It is known (for example, refer nonpatent literature 1).
このような性質を生かして、伝送路の障害発生時のパス切り替えにより発生することになる映像の停止を防ぐために、符号化ストリームの切り替え時に、符号化ストリームを一旦復号して再符号化することで符号化ストリームを再構成することが行われている（例えば、非特許文献２参照）。 Taking advantage of this property, the encoded stream is once decoded and re-encoded when the encoded stream is switched in order to prevent the video from being stopped due to path switching when a transmission path failure occurs. The encoded stream is reconstructed by using (see, for example, Non-Patent Document 2).
また、配信センタから階層的に分散配置されたネットワーク上のノードを経由して、ＭＰＥＧ化された高品質な映像コンテンツを配信することを実現するために、変動するネットワーク負荷に応じて、伝送する映像コンテンツのビットレートを変更（トランスコード）して伝送することが行われている（例えば、非特許文献３参照）。
一方、最新の符号化規格であるＨ.264/MPEG-4AVCでは、ブロックノイズを除去するために、ループ内フィルタであるデブロッキングフィルタ処理が新たに追加されたことから、符号化処理の可逆性が失われて、上記のような性質（ほぼ画質劣化のない再符号化が可能であるという性質）は成り立たない。 On the other hand, in the latest encoding standard, H.264 / MPEG-4AVC, a deblocking filter process, which is an in-loop filter, is newly added to remove block noise. Is lost, and the above-described property (property that re-encoding with almost no deterioration in image quality is possible) does not hold.
そのため、符号化パラメータを全て継承して再符号化しても、符号化の度に、大きな画質劣化が生ずるという問題がある。 For this reason, even if all the encoding parameters are inherited and re-encoding is performed, there is a problem that image quality is greatly deteriorated every time encoding is performed.
これでは、最新の符号化規格であるＨ.264/MPEG-4AVCでは、符号化ストリームの再符号化を利用した符号化ストリームの連結・切り替えやトランスコードなどの方法を用いることができないことになる。 With this, the latest coding standard, H.264 / MPEG-4AVC, cannot use methods such as connection / switching of encoded streams and transcoding using re-encoding of the encoded streams. .
本発明はかかる事情に鑑みてなされたものであって、ループ内フィルタ処理を伴って符号化された動画像の符号化ストリームを復号して再符号化するときにあって、画質劣化がほとんど生じない再符号化を実現し、また、画質劣化が少ない効率的な再符号化を実現する新たな動画像再符号化技術の提供を目的とする。 The present invention has been made in view of such circumstances, and when decoding and re-encoding an encoded stream of a moving image that has been encoded with an in-loop filter process, image quality degradation is almost caused. An object of the present invention is to provide a new moving image re-encoding technique that realizes efficient re-encoding that realizes efficient re-encoding with less image quality degradation.
この目的を達成するために、本発明では、基本的な構成として、ループ内フィルタ処理を伴って符号化された動画像の符号化ストリームを復号して再符号化するときにあって、デコーダにおけるループ内フィルタ処理（例えばデブロッキングフィルタ処理）の直前の画像を出力して、その映像に対して、前段の符号化パラメータを完全に継承して再符号化を行うという構成を採ることで、ループ内フィルタ処理を伴い、ループ内フィルタ処理後の画像を復号画像とするＨ.264のような動画像符号化方式においても、画質劣化がほとんど生じない再符号化を実現するものである。 In order to achieve this object, in the present invention, as a basic configuration, a coded stream of a moving image that has been encoded with an in- loop filter process is decoded and re-encoded. By adopting a configuration in which the image immediately before the in-loop filter processing (for example, deblocking filter processing) is output and the video is completely inherited from the previous encoding parameter and re-encoding is performed. Along with the inner filter processing, even in a moving image coding scheme such as H.264 in which the image after the inner loop filter processing is a decoded image, re-encoding is realized with little image quality degradation.
そして、本発明では、基本的な構成として、ループ内フィルタ処理を伴って符号化された動画像の符号化ストリームを復号して再符号化するときにあって、デコーダにおけるループ内フィルタ処理（例えばデブロッキングフィルタ処理）の直前の画像を出力して、その映像に対して、前段の符号化パラメータの一部を変更しながら継承して再符号化を行うという構成を採ることで、ループ内フィルタ処理を伴い、ループ内フィルタ処理後の画像を復号画像とするＨ.264のような動画像符号化方式においても、画質劣化が少ない効率的な再符号化を実現するものである。 In the present invention, as a basic configuration, when an encoded stream of a moving image encoded with an in-loop filter process is decoded and re-encoded, an in-loop filter process (for example, in a decoder) By adopting a configuration in which the image immediately before the deblocking filter process) is output and the video is inherited and re-encoded while changing some of the previous encoding parameters, the in-loop filter is adopted. With processing, even in a moving image coding scheme such as H.264 in which an image after in-loop filtering is used as a decoded image, efficient re-encoding is realized with little image quality degradation.
次に、本発明による再符号化により画質劣化がほとんど生じないことについて理論的に説明する。 Next, a theoretical explanation will be given of the fact that image quality degradation hardly occurs due to re-encoding according to the present invention.
図１に、本発明により構成される再符号化動作モデルを図示する。 FIG. 1 illustrates a re-encoding operation model constructed according to the present invention.
ここで、図中、ＤＦ()はループ内フィルタ（例えばデブロッキングフィルタ）の処理を示し、ＴＱ()は直交変換・量子化処理を示し、ＴＱ-1()をＴＱ()の逆変換処理を示し、ＢＵＦは参照フレームバッファを示す。また、可変長符号化・算術符号化（情報源符号化）および可変長復号・算術復号（情報源復号）については省略してある。 Here, in the figure, DF () indicates processing of an in-loop filter (for example, deblocking filter), TQ () indicates orthogonal transformation / quantization processing, and TQ −1 () is inversely converted to TQ (). BUF indicates a reference frame buffer. Also, variable length coding / arithmetic coding (information source coding) and variable length decoding / arithmetic decoding (information source decoding) are omitted.
この図に示すように、本発明により構成される再符号化では、ループ内フィルタ処理を伴い、ループ内フィルタ処理後の画像を復号画像とする動画像符号化方式を前提としており、この前提の下に、復号部は、デブロッキングフィルタ処理の直前の画像を出力し、再符号化部は、その映像に対して、前段の符号化パラメータを全て継承しながら再符号化を行うという構成を採る。 As shown in this figure, the re-encoding configured according to the present invention is premised on a moving picture encoding method in which an intra-loop filter process is performed and an image after the intra-loop filter process is used as a decoded image. Below, the decoding unit outputs an image immediately before the deblocking filter process, and the re-encoding unit re-encodes the video while inheriting all the previous encoding parameters. .
図中に示す記号を用いると、信号Ｃ、信号Ｈは、復号部のループ内フィルタＤＦをＤＦ １、再符号化部のループ内フィルタＤＦをＤＦ ２と表すならば、それぞれ、
Ｃ＝ＤＦ １（Ｅ＋Ｐ’）
Ｈ＝ＤＦ ２（Ｇ＋Ｐ”）
＝ＤＦ ２（ＴＱ-1（ＴＱ（Ｆ))＋Ｐ”）
＝ＤＦ ２（ＴＱ-1（ＴＱ（Ｅ＋Ｐ’−Ｐ”))＋Ｐ”）
と表せる。
When the symbols shown in the figure are used, the signal C and the signal H are converted to the intra-loop filter DF of the decoding unit DF. 1. DF in-loop filter DF of
C = DF 1 (E + P ')
H = DF 2 (G + P ")
= DF 2 (TQ -1 (TQ (F)) + P ")
= DF 2 (TQ −1 (TQ (E + P′−P ″)) + P ″)
It can be expressed.
今、Ｉピクチャの直後のピクチャとすると、ＭＶ（動きベクトル）および予測モードの継承により、
Ｐ’＝Ｐ”
が成立し、これにより、
Ｈ＝ＤＦ ２（ＴＱ-1（ＴＱ（Ｅ＋Ｐ’−Ｐ”))＋Ｐ”）
＝ＤＦ ２（ＴＱ-1（ＴＱ（Ｅ))＋Ｐ”）
となる。
Now, if it is a picture immediately after an I picture, MV (motion vector) and prediction mode inheritance,
P '= P "
Is established,
H = DF 2 (TQ −1 (TQ (E + P′−P ″)) + P ″)
= DF 2 (TQ -1 (TQ (E)) + P ")
It becomes.
ここで、“Ｅ”はすでに量子化・逆量子化された値であり、２回目の量子化・逆量子化により値がほぼ変化しないため、
Ｈ＝ＤＦ ２（ＴＱ-1（ＴＱ（Ｅ))＋Ｐ”）
＝ＤＦ ２（Ｅ＋Ｐ”）
となる。
Here, “E” is a value that has already been quantized / inverse quantized, and the value does not change substantially by the second quantization / inverse quantization,
H = DF 2 (TQ -1 (TQ (E)) + P ")
= DF 2 (E + P ")
It becomes.
ＭＶ（動きベクトル）、ＱＰ（量子化パラメータ）、符号化モードを全て継承し、ｃｂｐ（符号化ブロックパターン）と再生画像とが一致すれば、ＤＦ １とＤＦ ２のデブロッキングフィルタ強度は同じとなるため、
Ｈ＝Ｃ
が成立し、これにより、次のピクチャの予測画像についても、
Ｐ’＝Ｐ”
が成立する。
If all of MV (motion vector), QP (quantization parameter), and encoding mode are inherited and cbp (encoded block pattern) matches the reproduced image,
H = C
As a result, for the predicted picture of the next picture,
P '= P "
Is established.
さらに、信号Ａは、
Ａ＝ＴＱ（Ｘ−Ｐ）
であることを考慮すると、信号Ｄは、
Ｄ＝ＴＱ（Ｂ−Ｐ”）
＝ＴＱ（ＴＱ-1（Ａ）＋Ｐ’−Ｐ”）
＝ＴＱ（ＴＱ-1（ＴＱ（Ｘ−Ｐ))＋Ｐ’−Ｐ”）
となる。
Furthermore, the signal A is
A = TQ (XP)
The signal D is
D = TQ (BP ")
= TQ (TQ -1 (A) + P'-P ")
= TQ (TQ -1 (TQ (X-P)) + P'-P ")
It becomes.
ここで、
Ｐ’＝Ｐ”
であり、かつ、“ＴＱ（Ｘ−Ｐ）”はすでに量子化された値であり、２回目の量子化・逆量子化により値がほぼ変化しないことを考慮すると、
Ｄ＝ＴＱ（ＴＱ-1（ＴＱ（Ｘ−Ｐ))＋Ｐ’−Ｐ”）
＝ＴＱ（Ｘ−Ｐ）
となり、よって、
Ｄ＝Ａ
となる。
here,
P '= P "
And “TQ (X−P)” is a value that has already been quantized, and considering that the value hardly changes due to the second quantization / inverse quantization,
D = TQ (TQ −1 (TQ (X−P)) + P′−P ″)
= TQ (X-P)
And therefore
D = A
It becomes.
すなわち、２段目の符号化ストリームと１段目の符号化ストリームとが一致し、再符号化によって画質劣化がほぼ生じないことが分かる。 That is, it can be seen that the encoded stream at the second stage matches the encoded stream at the first stage, and the image quality is hardly deteriorated by re-encoding.
ここで、上記で継承する必要のある符号化パラメータとしては、予測モード関連情報、動きベクトル、参照ピクチャ情報、量子化パラメータ、ピクチャタイプ、マクロブロックタイプなど、基本的にストリーム内の直交変換係数以外のものであり、ほとんどの情報を再符号化の際の符号化パラメータとして継承する必要がある。 Here, the encoding parameters that need to be inherited above are basically other than orthogonal transform coefficients in the stream, such as prediction mode related information, motion vectors, reference picture information, quantization parameters, picture types, macroblock types, etc. Most information needs to be inherited as an encoding parameter at the time of re-encoding.
また、上記の理論的説明では、符号化パラメータの全てを継承することにより、同一ビットレートの符号化ストリームに、ほぼ画質劣化が生ずることなく再符号化するという構成について説明したが、符号化パラメータの一部、例えば量子化パラメータや予測モードなどを変更することにより、より低いビットレートの符号化ストリームに、より少ない画質劣化で効率的に再符号化・トランスコードするという構成を採ることも可能である。 Further, in the above theoretical explanation, a configuration has been described in which all of the encoding parameters are inherited, so that the encoded stream of the same bit rate is re-encoded with almost no image quality degradation. It is also possible to adopt a configuration that efficiently re-encodes and transcodes a lower-bit-rate encoded stream with less image quality degradation by changing the quantization parameters, prediction mode, etc. It is.
次に、本発明の構成についてまとめる。 Next, the configuration of the present invention will be summarized.
本発明の動画像再符号化装置は、基本的な構成として、ループ内フィルタ処理を伴って符号化された動画像の符号化ストリームを復号して再符号化するものであり、（１）符号化ストリームに対して逆量子化および逆直交変換を行うことで差分画像を生成し、（２）参照フレームバッファに保存されている参照画像を用いて予測画像を生成し、（３）生成した差分画像と生成した予測画像とを加算することでループ内フィルタ処理前の画像を生成して、その生成したループ内フィルタ処理前の画像を出力または保存し、（４）生成したループ内フィルタ処理前の画像に対してループ内フィルタ処理を行うことでループ内フィルタ処理後の画像を生成し、（５）生成したループ内フィルタ処理後の画像を参照画像として参照フレームバッファに保存し、（６）出力または保存したループ内フィルタ処理前の画像に対して再符号化処理を行うという構成を採る。
このように、本発明の動画像再符号化装置は、ループ内フィルタ処理を伴って符号化された動画像の符号化ストリームを復号して再符号化するときにあって、（ｉ）符号化ストリームを復号するときに、ループ内フィルタ処理前の画像を再符号化部に直接出力したり、一旦メモリに保存して、そのメモリを介して再符号化部に受け渡す手段を有する復号部と、（ii）復号部から受け取るループ内フィルタ処理前の画像に対して、符号化ストリームの符号化パラメータと同一またはその一部を変更した符号化パラメータを用いて再符号化処理を行う手段を有する再符号化部とを備えることを基本構成とする。
Video transcoder of the present invention includes, as a basic configuration, which with a loop filter for re-encoding decodes the coded stream of video data encoded, (1) code A difference image is generated by performing inverse quantization and inverse orthogonal transform on the stream, (2) a prediction image is generated using the reference image stored in the reference frame buffer, and (3) the generated difference An image before the in-loop filter processing is generated by adding the image and the generated predicted image, and the generated image before the in-loop filter processing is output or saved. (4) Before the generated in-loop filter processing The image after the in-loop filter processing is generated by performing the in-loop filter processing on the image of (5), and the generated image after the in-loop filter processing is used as a reference image in the reference frame buffer. Resides employs a configuration of performing re-coding processing on the (6) output or saved loop unfiltered image.
As described above, the moving image re-encoding device according to the present invention decodes and re-encodes the encoded stream of the moving image that has been encoded with the in-loop filter processing, and (i) encoding A decoding unit having means for directly outputting an image before in-loop filter processing to a re-encoding unit when decoding a stream, or temporarily storing the image in a memory and passing it to the re-encoding unit via the memory; And (ii) means for performing re-encoding processing on the image before the in-loop filter processing received from the decoding unit, using an encoding parameter that is the same as or changed from the encoding parameter of the encoded stream. A basic configuration includes a re-encoding unit.
この基本構成を実現するために、本発明の動画像再符号化装置では、例えば、（イ）復号部は、符号化ストリームの復号した符号化パラメータについても出力または保存し、これを受けて、再符号化部は、復号部からその符号化パラメータを受け取って、その受け取った符号化パラメータと同一またはその一部を変更した符号化パラメータを用いて再符号化処理を行ったり、（ロ）再符号化部は、復号部に入力される符号化ストリームを受け取って、その符号化ストリームから符号化パラメータのみを復号して、その復号した符号化パラメータと同一またはその一部を変更した符号化パラメータを用いて再符号化処理を行う。 In order to realize this basic configuration, in the video re-encoding device of the present invention, for example, (a) the decoding unit outputs or stores the decoded encoding parameter of the encoded stream, and receives this, The re-encoding unit receives the encoding parameter from the decoding unit and performs re-encoding processing using an encoding parameter that is the same as or a part of the received encoding parameter, or (b) The encoding unit receives an encoded stream input to the decoding unit, decodes only the encoding parameter from the encoded stream, and changes the same or a part of the decoded encoding parameter. The re-encoding process is performed using.
この基本構成を採るときに、本発明の動画像再符号化装置では、復号部は、ループ内フィルタ処理前の画像とループ内フィルタ処理後の画像の両方を出力または保存し、これを受けて、再符号化部は、例えば、再符号化前後の量子化パラメータがほぼ同一となる画像領域（再符号化前後の量子化パラメータの差が規定の閾値より小さい画像領域であるのか否かで判断する）については、再符号化にあたって画質劣化が生じないことを実現できるので、ループ内フィルタ処理前の画像を選択し、一方、再符号化前後の量子化パラメータが大きく変わる画像領域については、再符号化にあたってループ内フィルタ処理前の画像を選択しても画質劣化が避けられないので、ループ内フィルタ処理後の画像を選択するというように、再符号化前後での量子化パラメータの違いに応じて、復号部の出力・保存する２つの画像のいずれか一方を選択して、その選択した画像を処理対象として再符号化処理を行う。
この構成を採るときにあって、本発明の動画像再符号化装置では、さらに、復号部の出力・保存するループ内フィルタ処理前の画像の部分的な画像領域に対して画像の変更を加える画像加工部を備えることがあり、この画像加工部を備えるときには、再符号化部は、画像加工部により変更の加えられていない画像領域については、画質劣化が生じないことを実現できるので、符号化ストリームの符号化パラメータと同一またはその一部を変更した符号化パラメータを用いて再符号化処理を行ない、それ以外の画像領域については、画像が変更されているので、符号化ストリームの符号化パラメータを利用しない通常の符号化処理を行うことで再符号化処理を行なうことになる。
When adopting this basic configuration, in the moving image re-encoding device of the present invention, the decoding unit outputs or stores both the image before the in-loop filter processing and the image after the in-loop filter processing, and receives this The re-encoding unit determines, for example, an image region in which the quantization parameters before and after re-encoding are substantially the same (whether or not the difference between the quantization parameters before and after re-encoding is an image region smaller than a predetermined threshold value). Since the image quality degradation does not occur during re-encoding, the image before the in-loop filter processing is selected, while the image area where the quantization parameter before and after re-encoding changes greatly Even if an image before the in-loop filter processing is selected for encoding, image quality deterioration cannot be avoided. Therefore, an image after the in-loop filter processing is selected, so that the image before and after re-encoding is selected. According to a difference in coca parameters, and selects one of the two images to be output and storing the decoding unit, re-encoding process is performed and the selected image as a processing target.
In adopting this configuration, the moving image re-encoding device of the present invention further modifies the image to a partial image region of the image before the in-loop filter processing that is output and stored by the decoding unit. An image processing unit may be provided, and when the image processing unit is provided, the re-encoding unit can realize that no image quality degradation occurs in an image area that has not been changed by the image processing unit. Re-encoding processing is performed using an encoding parameter that is the same as or a part of the encoding parameter of the encoded stream, and the image is changed for other image areas. A re-encoding process is performed by performing a normal encoding process that does not use parameters.
ここで、以上のように構成される本発明の動画像再符号化装置を実現する各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。 Here, each processing means for realizing the moving image re-encoding device of the present invention configured as described above can also be realized by a computer program, and this computer program is recorded on an appropriate computer-readable recording medium. Or provided via a network, installed when the present invention is carried out, and operated on a control means such as a CPU, thereby realizing the present invention.
以上説明したように、本発明では、ループ内フィルタ処理を伴って符号化された動画像の符号化ストリームを復号して再符号化するときにあって、復号部におけるループ内フィルタ処理直前の画像を出力して、その映像に対して、前段の符号化パラメータを完全継承したり、そのほとんどを継承しながら再符号化を行うという構成を採る。 As described above, in the present invention, an image immediately before an in-loop filter process in a decoding unit when decoding and re-encoding an encoded stream of a moving image encoded with an in-loop filter process. Is output, and the video is completely inherited from the previous encoding parameters, or re-encoded while inheriting most of them.
この構成に従い、本発明によれば、Ｈ.264のようなループ内フィルタ処理を伴い、ループ内フィルタ処理後の画像を復号画像とする動画像符号化方式においても、画質劣化がほとんど生じない再符号化を実現することが可能であり、これにより、符号化ストリームの連結・切替・加工やトランスコードなどを完全な形で行うことができるようになる。 In accordance with this configuration, according to the present invention, even in a moving image coding system that includes an in-loop filter process such as H.264 and uses an image after the in-loop filter process as a decoded image, the image quality degradation hardly occurs. It is possible to realize encoding, and thereby, it becomes possible to perform connection, switching, processing, transcoding, and the like of encoded streams in a complete form.
そして、この構成に従い、本発明によれば、Ｈ.264のようなループ内フィルタ処理を伴い、ループ内フィルタ処理後の画像を復号画像とする動画像符号化方式においても、画質劣化が少ない効率的な再符号化を実現することが可能であり、これにより、符号化ストリームの連結・切替・加工やトランスコードなどを完全に近い形で効率的に行うことができるようになる。 According to the present invention, according to the present invention, the efficiency of the image coding method with less in image quality degradation is also obtained in the moving picture coding system that uses the in-loop filter processing such as H.264 and uses the image after the in-loop filter processing as a decoded image. Re-encoding can be realized, and this makes it possible to efficiently perform concatenation, switching, processing, transcoding, and the like of encoded streams almost completely.
以下、実施の形態に従って本発明を詳細に説明する。 Hereinafter, the present invention will be described in detail according to embodiments.
〔１〕本発明に関連する第１の構成例
図２に、本発明に関連する動画像再符号化装置１の装置構成の一例を図示する。
[1] First Configuration Example FIG 2 relating to the present invention, illustrating an example of a moving picture
この図に示すように、本発明に関連する動画像再符号化装置１は、デブロッキングフィルタ処理を伴って符号化された動画像の符号化ストリームを入力として、その符号化ストリームを復号するとともに、その復号の際に、デブロッキングフィルタ処理前の画像を出力する図１に示した復号部のように構成される復号部１０と、復号部１０の出力するデブロッキングフィルタ処理前の画像を入力として、その映像を符号化することで新たな符号化ストリームを生成して出力する図１に示した再符号化部のように構成される再符号化部１１とを備える。
As shown in this figure, a moving
図３に、本構成例における復号部１０の実行する処理フローの一例を図示し、図４に、本構成例における再符号化部１１の実行する処理フローの一例を図示する。
3, illustrates an example of a processing flow executed by the
次に、これらの処理フローに従って、このように構成される本発明に関連する動画像再符号化装置１の処理について説明する。
Next, according to these processing flows, processing of the moving
〔１−１〕復号部１０の処理
復号部１０は、図３の処理フローに示すように、デブロッキングフィルタ処理を伴って符号化された動画像の符号化ストリームを入力すると（Ｓ１０）、復号対象ブロックを決めて（Ｓ１１）、その復号対象ブロックについて情報源復号処理を行う（Ｓ１２）。ここで、情報源復号処理とは可変長復号や算術復号をさす。
[1-1] Processing of
続いて、復号対象ブロックの係数情報を逆量子化・逆直交変換して差分画像を生成する（Ｓ１３）。続いて、情報源復号処理により得た動きベクトル・予測モードの情報と、参照フレームバッファに保存されている参照画像とから復号対象ブロックの予測画像を生成する（Ｓ１４）。 Subsequently, the coefficient information of the decoding target block is inversely quantized and inverse orthogonal transformed to generate a difference image (S13). Subsequently, a prediction image of the decoding target block is generated from the motion vector / prediction mode information obtained by the information source decoding process and the reference image stored in the reference frame buffer (S14).
続いて、復号対象ブロックの差分画像に予測画像を加算し（Ｓ１５）、この加算した画像をデブロッキングフィルタ処理前の画像として、復号部１０より出力する（Ｓ１６）。このとき、この処理フローではメモリＡに保存することで復号部１０より出力することを想定しているが、再符号化部１１に直接出力することも可能である。
Subsequently, the predicted image is added to the difference image of the decoding target block (S15), and the added image is output from the
続いて、その加算した画像に対してデブロッキングフィルタ処理を行ない（Ｓ１７）、そのデブロッキングフィルタ処理後の画像、すなわち復号画像を参照画像として参照フレームバッファに保存する（Ｓ１８）。 Subsequently, a deblocking filter process is performed on the added image (S17), and an image after the deblocking filter process, that is, a decoded image is stored as a reference image in a reference frame buffer (S18).
これを全てのブロックについて行うとともに（Ｓ１９）、符号化ストリームが終了するまで、この処理を繰り返す（Ｓ２０）。 This is performed for all blocks (S19), and this process is repeated until the encoded stream is completed (S20).
〔１−２〕再符号化部１１の処理
一方、再符号化部１１は、図４の処理フローに示すように、例えばメモリＡから復号部１０の出力するデブロッキングフィルタ処理前の画像を入力すると（Ｓ３０）、再符号化対象ブロックを決めて（Ｓ３１）、その再符号化対象ブロックについて、動き探索・各種予測モード探索により動きベクトル・予測モードを決定する（Ｓ３２）。
[1-2] Processing of Re-Encoding Unit 11 On the other hand, the re-encoding unit 11 inputs an image before deblocking filter processing output from the
続いて、参照フレームバッファに保存されている参照画像と、その動きベクトル・予測モードとから再符号化対象ブロックの予測画像を生成する（Ｓ３３）。続いて、再符号化対象ブロックの入力画像から予測画像を減算して差分画像を生成する（Ｓ３４）。 Subsequently, a prediction image of the re-encoding target block is generated from the reference image stored in the reference frame buffer and its motion vector / prediction mode (S33). Subsequently, the prediction image is subtracted from the input image of the re-encoding target block to generate a difference image (S34).
続いて、その差分画像を直交変換・量子化して係数情報を生成し（Ｓ３５）、その係数情報と各種符号化パラメータとを情報源符号化する（Ｓ３６）。ここで、情報源符号化とは可変長符号化や算術符号化をさす。 Subsequently, the difference image is orthogonally transformed and quantized to generate coefficient information (S35), and the coefficient information and various encoding parameters are information source encoded (S36). Here, information source coding refers to variable-length coding or arithmetic coding.
続いて、再符号化対象ブロックの係数情報を逆量子化・逆直交変換し予測画像を加算して、デブロッキングフィルタ処理を行ない（Ｓ３７）、そのデブロッキングフィルタ処理後の画像、すなわち再生画像を参照画像として参照フレームバッファに保存する（Ｓ３８）。 Subsequently, the coefficient information of the re-encoding target block is inversely quantized / inverse orthogonal transformed, the predicted image is added, and the deblocking filter process is performed (S37), and the image after the deblocking filter process, that is, the reproduced image is obtained. The reference image is stored in the reference frame buffer as a reference image (S38).
これを全てのブロックについて行うとともに（Ｓ３９）、入力画像が終了するまで、この処理を繰り返す（Ｓ４０）。 This is performed for all blocks (S39), and this process is repeated until the input image is completed (S40).
このようにして、図２のように構成される本発明に関連する動画像再符号化装置１では、再符号化部１１は、復号部１０の出力するデブロッキングフィルタ処理前の画像を入力として、その映像を再符号化することで新たな符号化ストリームを生成して出力するように処理するのである。
In this manner, in the moving
このように、本構成例によれば、再符号化部１１は、前段の符号化情報を継承しないで再符号化を行うことから、再符号化による画質は劣化するものの、復号部１０と再符号化部１１との間の情報のやりとりが画像のみとなることから、装置構成が単純になるという長所がある。 As described above, according to the present configuration example , the re-encoding unit 11 performs re-encoding without inheriting the previous-stage encoding information. Since the exchange of information with the encoding unit 11 is only an image, there is an advantage that the apparatus configuration is simplified.
〔２〕本発明に関連する第２の構成例
図５に、本発明に関連する動画像再符号化装置１の装置構成の他の一例を図示する。
[2] Second Configuration Example FIG. 5 relating to the present invention, illustrating another example of a configuration of a moving picture
本構成例と図２に示す構成例との違いは、本構成例では、復号部１０は、再符号化部１１に対して、デブロッキングフィルタ処理前の画像を出力することに加えて、符号化情報（各種符号化パラメータの情報）を出力するという構成を採り、これを受けて、再符号化部１１は、復号部１０の出力するデブロッキングフィルタ処理前の画像と符号化情報とを入力して、入力したデブロッキングフィルタ処理前の画像を、入力した符号化情報を用いて再符号化を行うことで新たな符号化ストリームを生成するという構成を採るという点である。
The difference between the configuration shown in this configuration example and FIG. 2, in the present configuration example, the
図６に、本構成例における復号部１０の実行する処理フローの一例を図示し、図７に、本構成例における再符号化部１１の実行する処理フローの一例を図示する。
FIG. 6 illustrates an example of a processing flow executed by the
ここで、図６の処理フローと図３の処理フローとの違いは、図６の処理フローでは、ステップ１８（Ｓ１８）とステップ１９（Ｓ１９）との間に、新たにステップ１０００（Ｓ１０００）という処理が設けられている点である。 Here, the difference between the processing flow of FIG. 6 and the processing flow of FIG. 3 is that in the processing flow of FIG. 6, a new step 1000 (S1000) is provided between step 18 (S18) and step 19 (S19). The point is that a process is provided.
また、図７の処理フローと図４の処理フローとの違いは、図７の処理フローでは、ステップ３０（Ｓ３０）とステップ３１（Ｓ３１）との間に、新たにステップ３０００（Ｓ３０００）という処理が設けられている点と、図４の処理フローで設けられていたステップ３２（Ｓ３２）の処理が実行されないという点と、図４の処理フローで設けられていたステップ３３（Ｓ３３）の処理に代えて、ステップ３３αという処理を実行するという点である。 Further, the difference between the processing flow of FIG. 7 and the processing flow of FIG. 4 is that in the processing flow of FIG. 7, a process called step 3000 (S3000) is newly added between step 30 (S30) and step 31 (S31). Is provided, the process of step 32 (S32) provided in the process flow of FIG. 4 is not executed, and the process of step 33 (S33) provided in the process flow of FIG. Instead, the process of step 33α is executed.
次に、これらの処理フローに従って、このように構成される本発明に関連する動画像再符号化装置１の処理について説明する。
Next, according to these processing flows, processing of the moving
〔２−１〕復号部１０の処理
復号部１０は、図６の処理フローに示すように、デブロッキングフィルタ処理を伴って符号化された動画像の符号化ストリームを入力すると（Ｓ１０）、復号対象ブロックを決めて（Ｓ１１）、その復号対象ブロックについて情報源復号処理を行う（Ｓ１２）。ここで、情報源復号処理とは可変長復号や算術復号をさす。
[2-1] Processing of
続いて、復号対象ブロックの係数情報を逆量子化・逆直交変換して差分画像を生成する（Ｓ１３）。続いて、情報源復号処理により得た動きベクトル・予測モードの情報と、参照フレームバッファに保存されている参照画像とから復号対象ブロックの予測画像を生成する（Ｓ１４）。 Subsequently, the coefficient information of the decoding target block is inversely quantized and inverse orthogonal transformed to generate a difference image (S13). Subsequently, a prediction image of the decoding target block is generated from the motion vector / prediction mode information obtained by the information source decoding process and the reference image stored in the reference frame buffer (S14).
続いて、復号対象ブロックの差分画像に予測画像を加算し（Ｓ１５）、この加算した画像をデブロッキングフィルタ処理前の画像として、復号部１０より出力する（Ｓ１６）。このとき、この処理フローではメモリＡに保存することで復号部１０より出力することを想定しているが、再符号化部１１に直接出力することも可能である。
Subsequently, the predicted image is added to the difference image of the decoding target block (S15), and the added image is output from the
続いて、その加算した画像に対してデブロッキングフィルタ処理を行ない（Ｓ１７）、そのデブロッキングフィルタ処理後の画像、すなわち復号画像を参照画像として参照フレームバッファに保存する（Ｓ１８）。 Subsequently, a deblocking filter process is performed on the added image (S17), and an image after the deblocking filter process, that is, a decoded image is stored as a reference image in a reference frame buffer (S18).
続いて、復号対象ブロックの各種符号化パラメータを符号化情報として、復号部１０より出力する（Ｓ１０００）。このとき、この処理フローではメモリＢに保存することで復号部１０より出力することを想定しているが、再符号化部１１に直接出力することも可能である。
Subsequently, various encoding parameters of the decoding target block are output as encoding information from the decoding unit 10 (S1000). At this time, in this processing flow, it is assumed that the data is stored in the memory B and output from the
これを全てのブロックについて行うとともに（Ｓ１９）、符号化ストリームが終了するまで、この処理を繰り返す（Ｓ２０）。 This is performed for all blocks (S19), and this process is repeated until the encoded stream is completed (S20).
〔２−２〕再符号化部１１の処理
一方、再符号化部１１は、図７の処理フローに示すように、例えばメモリＡから復号部１０の出力するデブロッキングフィルタ処理前の画像を入力し（Ｓ３０）、例えばメモリＢから復号部１０の出力する符号化情報を入力すると（Ｓ３０００）、再符号化対象ブロックを決める（Ｓ３１）。
[2-2] Processing of Re-encoding Unit 11 On the other hand, the re-encoding unit 11 inputs an image before deblocking filter processing output from the
続いて、その再符号化対象ブロックについて、参照フレームバッファに保存されている参照画像と、入力した符号化情報の持つ再符号化対象ブロックの動きベクトル・予測モードとから再符号化対象ブロックの予測画像を生成する（Ｓ３３α）。続いて、再符号化対象ブロックの入力画像から予測画像を減算して差分画像を生成する（Ｓ３４）。 Subsequently, for the re-encoding target block, the re-encoding target block is predicted from the reference image stored in the reference frame buffer and the motion vector / prediction mode of the re-encoding target block included in the input encoding information. An image is generated (S33α). Subsequently, the prediction image is subtracted from the input image of the re-encoding target block to generate a difference image (S34).
続いて、その差分画像を直交変換・量子化して係数情報を生成し（Ｓ３５）、その係数情報と各種符号化パラメータとを情報源符号化する（Ｓ３６）。ここで、情報源符号化とは可変長符号化や算術符号化をさす。 Subsequently, the difference image is orthogonally transformed and quantized to generate coefficient information (S35), and the coefficient information and various encoding parameters are information source encoded (S36). Here, information source coding refers to variable-length coding or arithmetic coding.
続いて、再符号化対象ブロックの係数情報を逆量子化・逆直交変換し予測画像を加算して、デブロッキングフィルタ処理を行ない（Ｓ３７）、そのデブロッキングフィルタ処理後の画像、すなわち再生画像を参照画像として参照フレームバッファに保存する（Ｓ３８）。 Subsequently, the coefficient information of the re-encoding target block is inversely quantized / inverse orthogonal transformed, the predicted image is added, and the deblocking filter process is performed (S37), and the image after the deblocking filter process, that is, the reproduced image is obtained. The reference image is stored in the reference frame buffer as a reference image (S38).
これを全てのブロックについて行うとともに（Ｓ３９）、入力画像が終了するまで、この処理を繰り返す（Ｓ４０）。 This is performed for all blocks (S39), and this process is repeated until the input image is completed (S40).
このようにして、図５のように構成される本発明に関連する動画像再符号化装置１では、再符号化部１１は、復号部１０の出力するデブロッキングフィルタ処理前の画像と符号化情報とを入力して、入力したデブロッキングフィルタ処理前の画像を、入力した符号化情報を用いて再符号化を行うことで新たな符号化ストリームを生成して出力するように処理するのである。
In this manner, in the moving
このように、本構成例によれば、再符号化部１１は、デブロッキングフィルタ処理前の画像を処理対象として、前段の符号化情報を継承して再符号化を行うことから、画質劣化がほとんどない生じない再符号化を実行できるようになるという長所がある。 As described above, according to the present configuration example , the re-encoding unit 11 performs the re-encoding by inheriting the previous-stage encoding information for the image before the deblocking filter process as the processing target, and thus the image quality degradation is reduced. It has the advantage of being able to perform re-encoding that rarely occurs.
〔３〕本発明に関連する第３の構成例
図８に、本発明に関連する動画像再符号化装置１の装置構成の他の一例を図示する。
[3] Third Configuration Example FIG 8 relating to the present invention, illustrating another example of a configuration of a moving picture
本構成例と図２に示す構成例との違いは、本構成例では、再符号化部１１は、復号部１０に入力される符号化ストリームを入力として、その中に含まれる符号化情報のみを復号する符号化情報復号部１１０と、復号部１０の出力するデブロッキングフィルタ処理前の画像と符号化情報復号部１１０の復号する符号化情報とを入力として、入力したデブロッキングフィルタ処理前の画像を、入力した符号化情報を用いて再符号化を行うことで新たな符号化ストリームを生成して出力する符号化部１１１とを備えるもので構成されるという点である。
The difference between the configuration shown in this configuration example and FIG. 2, in the present configuration example, the re-encoding unit 11 as an input an encoded stream input to the
図９に、本構成例における復号部１０、符号化情報復号部１１０および符号化部１１１の実行する処理フローの一例を図示する。
FIG. 9 illustrates an example of a processing flow executed by the
ここで、この図に示すように、本構成例における復号部１０は、上述した図３の処理フローを実行し、本構成例における符号化部１１１は、上述した図７の処理フローを実行することになる。
Here, as shown in this figure, the
次に、この処理フローに従って、このように構成される本発明に関連する動画像再符号化装置１の処理について説明する。
Next, processing of the moving
〔３−１〕復号部１０の処理
復号部１０は、図３の処理フローに示すように、デブロッキングフィルタ処理を伴って符号化された動画像の符号化ストリームを入力すると（Ｓ１０）、復号対象ブロックを決めて（Ｓ１１）、その復号対象ブロックについて情報源復号処理を行う（Ｓ１２）。ここで、情報源復号処理とは可変長復号や算術復号をさす。
[3-1] Processing of
続いて、復号対象ブロックの係数情報を逆量子化・逆直交変換して差分画像を生成する（Ｓ１３）。続いて、情報源復号処理により得た動きベクトル・予測モードの情報と、参照フレームバッファに保存されている参照画像とから復号対象ブロックの予測画像を生成する（Ｓ１４）。 Subsequently, the coefficient information of the decoding target block is inversely quantized and inverse orthogonal transformed to generate a difference image (S13). Subsequently, a prediction image of the decoding target block is generated from the motion vector / prediction mode information obtained by the information source decoding process and the reference image stored in the reference frame buffer (S14).
続いて、復号対象ブロックの差分画像に予測画像を加算し（Ｓ１５）、この加算した画像をデブロッキングフィルタ処理前の画像として、例えばメモリＡに保存することで復号部１０より出力する（Ｓ１６）。
Subsequently, the predicted image is added to the difference image of the decoding target block (S15), and the added image is output from the
続いて、その加算した画像に対してデブロッキングフィルタ処理を行ない（Ｓ１７）、そのデブロッキングフィルタ処理後の画像、すなわち復号画像を参照画像として参照フレームバッファに保存する（Ｓ１８）。 Subsequently, a deblocking filter process is performed on the added image (S17), and an image after the deblocking filter process, that is, a decoded image is stored as a reference image in a reference frame buffer (S18).
これを全てのブロックについて行うとともに（Ｓ１９）、符号化ストリームが終了するまで、この処理を繰り返す（Ｓ２０）。 This is performed for all blocks (S19), and this process is repeated until the encoded stream is completed (S20).
〔３−２〕符号化情報復号部１１０の処理
一方、符号化情報復号部１１０は、図９中の処理フローに示すように、復号部１０に入力される符号化ストリームを入力すると（Ｓ５０）、復号対象ブロックを決めて（Ｓ５１）、その復号対象ブロックについて情報源復号処理を行う（Ｓ５２）。ここで、情報源復号処理とは可変長復号や算術復号をさす。
[3-2] Process of Encoded
続いて、復号した復号対象ブロックの各種符号化パラメータを符号化情報として、例えばメモリＢに保存することで符号化情報復号部１１０より出力する（Ｓ５３）。 Subsequently, various encoding parameters of the decoded block to be decoded are stored as encoding information in, for example, the memory B and output from the encoding information decoding unit 110 (S53).
これを全てのブロックについて行うとともに（Ｓ５４）、符号化ストリームが終了するまで、この処理を繰り返す（Ｓ５５）。 This is performed for all blocks (S54), and this process is repeated until the encoded stream is completed (S55).
〔３−３〕符号化部１１１の処理
一方、符号化部１１１は、図７の処理フローに示すように、例えばメモリＡから復号部１０の出力するデブロッキングフィルタ処理前の画像を入力し（Ｓ３０）、例えばメモリＢから符号化情報復号部１１０の出力する符号化情報を入力すると（Ｓ３０００）、再符号化対象ブロックを決める（Ｓ３１）。
[3-3] Processing of Encoding Unit 111 On the other hand, the encoding unit 111 inputs, for example, an image before deblocking filter processing output from the
続いて、その再符号化対象ブロックについて、参照フレームバッファに保存されている参照画像と、入力した符号化情報の持つ再符号化対象ブロックの動きベクトル・予測モードとから再符号化対象ブロックの予測画像を生成する（Ｓ３３α）。続いて、再符号化対象ブロックの入力画像から予測画像を減算して差分画像を生成する（Ｓ３４）。 Subsequently, for the re-encoding target block, the re-encoding target block is predicted from the reference image stored in the reference frame buffer and the motion vector / prediction mode of the re-encoding target block included in the input encoding information. An image is generated (S33α). Subsequently, the prediction image is subtracted from the input image of the re-encoding target block to generate a difference image (S34).
続いて、その差分画像を直交変換・量子化して係数情報を生成し（Ｓ３５）、その係数情報と各種符号化パラメータとを情報源符号化する（Ｓ３６）。ここで、情報源符号化とは可変長符号化や算術符号化をさす。 Subsequently, the difference image is orthogonally transformed and quantized to generate coefficient information (S35), and the coefficient information and various encoding parameters are information source encoded (S36). Here, information source coding refers to variable-length coding or arithmetic coding.
続いて、再符号化対象ブロックの係数情報を逆量子化・逆直交変換し予測画像を加算して、デブロッキングフィルタ処理を行ない（Ｓ３７）、そのデブロッキングフィルタ処理後の画像、すなわち再生画像を参照画像として参照フレームバッファに保存する（Ｓ３８）。 Subsequently, the coefficient information of the re-encoding target block is inversely quantized / inverse orthogonal transformed, the predicted image is added, and the deblocking filter process is performed (S37), and the image after the deblocking filter process, that is, the reproduced image is obtained. The reference image is stored in the reference frame buffer as a reference image (S38).
これを全てのブロックについて行うとともに（Ｓ３９）、入力画像が終了するまで、この処理を繰り返す（Ｓ４０）。 This is performed for all blocks (S39), and this process is repeated until the input image is completed (S40).
このようにして、図８のように構成される本発明に関連する動画像再符号化装置１では、再符号化部１１は、復号部１０に入力される符号化ストリームの符号化情報のみを復号するとともに、復号部１０の出力するデブロッキングフィルタ処理前の画像を入力して、入力したデブロッキングフィルタ処理前の画像を、復号した符号化情報を用いて再符号化を行うことで新たな符号化ストリームを生成して出力するように処理するのである。
Thus, in the moving
このように、本構成例によれば、図５で示した構成例と同様に、再符号化部１１は、デブロッキングフィルタ処理前の画像を処理対象として、前段の符号化情報を継承して再符号化を行うことから、画質劣化がほとんどない生じない再符号化を実行できるようになるとともに、前段の符号化情報を復号する符号化情報復号部１１０と再符号化を行う符号化部１１１とを密結合に実装可能になることで、規格化が進んでいない再符号化情報の伝送フォーマットを新たに規定する必要がないという長所がある。
As described above, according to the present configuration example , as in the configuration example illustrated in FIG. 5, the re-encoding unit 11 inherits the previous-stage encoding information for the image before the deblocking filter processing as a processing target. Since re-encoding is performed, re-encoding that hardly causes image quality degradation can be performed, and an encoded
〔４〕本発明に関連する第４の構成例
図１０に、本発明に関連する動画像再符号化装置１の装置構成の他の一例を図示する。
[4] Fourth Configuration Example FIG. 10 related to the present invention, illustrating another example of the moving picture
本構成例と図５に示す構成例との違いは、本構成例では、復号部１０と再符号化部１１との間に、復号部１０の出力するデブロッキングフィルタ処理前の画像と符号化情報とを入力として、その入力画像の部分的な画像領域に別の画像情報を重畳する処理を行う画像加工部１２を備えるという構成を採る点であり、この画像加工部１２を設けることを受けて、再符号化部１１は、画像加工部１２の出力するデブロッキングフィルタ処理前の画像（加工された画像）と符号化情報とを入力として、入力したデブロッキングフィルタ処理前の画像（加工された画像）を、入力した符号化情報を用いて再符号化を行うことで新たな符号化ストリームを生成して出力するという構成を採る点である。
The difference between the configuration shown in this configuration example and 5, in this configuration example, between the
図１１に、本構成例における画像加工部１２の実行する処理フローの一例を図示し、図１２及び図１３に、本構成例における再符号化部１１の実行する処理フローの一例を図示する。 11, illustrates an example of a process flow performed by the image processing unit 12 in this configuration example, FIG. 12 and FIG. 13 illustrates an example of a process flow performed by the re-encoding unit 11 in the present configuration example.
ここで、本構成例における復号部１０は、上述した図６の処理フローを実行することになる。
Here, the
次に、これらの処理フローに従って、このように構成される本発明に関連する動画像再符号化装置１の処理について説明する。
Next, according to these processing flows, processing of the moving
〔４−１〕復号部１０の処理
復号部１０は、図６の処理フローに示すように、デブロッキングフィルタ処理を伴って符号化された動画像の符号化ストリームを入力すると（Ｓ１０）、復号対象ブロックを決めて（Ｓ１１）、その復号対象ブロックについて情報源復号処理を行う（Ｓ１２）。ここで、情報源復号処理とは可変長復号や算術復号をさす。
[4-1] Processing of
続いて、復号対象ブロックの係数情報を逆量子化・逆直交変換して差分画像を生成する（Ｓ１３）。続いて、情報源復号処理により得た動きベクトル・予測モードの情報と、参照フレームバッファに保存されている参照画像とから復号対象ブロックの予測画像を生成する（Ｓ１４）。 Subsequently, the coefficient information of the decoding target block is inversely quantized and inverse orthogonal transformed to generate a difference image (S13). Subsequently, a prediction image of the decoding target block is generated from the motion vector / prediction mode information obtained by the information source decoding process and the reference image stored in the reference frame buffer (S14).
続いて、復号対象ブロックの差分画像に予測画像を加算し（Ｓ１５）、この加算した画像をデブロッキングフィルタ処理前の画像として、例えばメモリＡに保存することで復号部１０より出力する（Ｓ１６）。
Subsequently, the predicted image is added to the difference image of the decoding target block (S15), and the added image is output from the
続いて、その加算した画像に対してデブロッキングフィルタ処理を行ない（Ｓ１７）、そのデブロッキングフィルタ処理後の画像、すなわち復号画像を参照画像として参照フレームバッファに保存する（Ｓ１８）。 Subsequently, a deblocking filter process is performed on the added image (S17), and an image after the deblocking filter process, that is, a decoded image is stored as a reference image in a reference frame buffer (S18).
続いて、復号対象ブロックの各種符号化パラメータを符号化情報として、例えばメモリＢに保存することで復号部１０より出力する（Ｓ１０００）。
Subsequently, various encoding parameters of the decoding target block are output as encoding information from the
これを全てのブロックについて行うとともに（Ｓ１９）、符号化ストリームが終了するまで、この処理を繰り返す（Ｓ２０）。 This is performed for all blocks (S19), and this process is repeated until the encoded stream is completed (S20).
〔４−２〕画像加工部１２の処理
一方、画像加工部１２は、図１１の処理フローに示すように、例えばメモリＡから復号部１０の出力するデブロッキングフィルタ処理前の画像を入力し（Ｓ６０）、例えばメモリＢから復号部１０の出力する符号化情報を入力して（Ｓ６１）、重畳画像を入力する（Ｓ６２）。
[4-2] Processing of Image Processing Unit 12 On the other hand, as shown in the processing flow of FIG. 11, the image processing unit 12 inputs, for example, an image before deblocking filter processing output from the
続いて、処理対象ブロックを決めて（Ｓ６３）、その処理対象ブロックに、入力した重畳画像信号があるのかを判断する（Ｓ６４）。 Subsequently, a processing target block is determined (S63), and it is determined whether or not there is an input superimposed image signal in the processing target block (S64).
この判断処理により、処理対象ブロックに重畳画像信号があることを判断するときには、処理対象ブロックの入力画像に対して重畳画像を重畳加工して（Ｓ６５）、処理対象ブロックの符号化情報に画像加工フラグを付加し（Ｓ６６）、これに対して、処理対象ブロックに重畳画像信号がないことを判断するときには、処理対象ブロックの符号化情報に画像加工フラグを付加しないようにする（Ｓ６７）。 When it is determined by this determination processing that there is a superimposed image signal in the processing target block, the superimposed image is superimposed on the input image of the processing target block (S65), and image processing is performed on the encoded information of the processing target block. A flag is added (S66). On the other hand, when it is determined that there is no superimposed image signal in the processing target block, the image processing flag is not added to the encoding information of the processing target block (S67).
続いて、処理対象ブロックの各種符号化パラメータを符号化情報として、例えばメモリＢ’に保存することで画像加工部１２より出力する（Ｓ６８）。続いて、処理対象ブロックの画像であるデブロッキングフィルタ処理前の画像を、例えばメモリＡ’に保存することで画像加工部１２より出力する（Ｓ６９）。 Subsequently, various encoding parameters of the processing target block are stored as encoding information in, for example, the memory B 'and output from the image processing unit 12 (S68). Subsequently, the image before the deblocking filter process, which is an image of the processing target block, is output from the image processing unit 12 by storing it in the memory A ′, for example (S69).
これを全てのブロックについて行うとともに（Ｓ７０）、入力画像が終了するまで、この処理を繰り返す（Ｓ７１）。 This is performed for all blocks (S70), and this process is repeated until the input image is completed (S71).
〔４−３〕再符号化部１１の処理
一方、再符号化部１１は、図１２及び図１３の処理フローに示すように、例えばメモリＡ’から画像加工部１２の出力するデブロッキングフィルタ処理前の画像（加工された画像）を入力し（Ｓ８０）、例えばメモリＢ’から画像加工部１２の出力する符号化情報を入力すると（Ｓ８１）、再符号化対象ブロックを決める（Ｓ８２）。
[4-3] Processing of Re-encoding Unit 11 On the other hand, the re-encoding unit 11 performs, for example, deblocking filter processing output from the image processing unit 12 from the memory A ′ as shown in the processing flow of FIGS. When a previous image (processed image) is input (S80) and, for example, encoding information output from the image processing unit 12 is input from the memory B ′ (S81), a re-encoding target block is determined (S82).
続いて、その再符号化対象ブロックに画像加工フラグが付加されているのかを判断して（Ｓ８３）、画像加工フラグが付加されていることを判断する場合には、画像が加工されたことにより符号化情報を継承することができないことを判断して、再符号化対象ブロックについて、動き探索・各種予測モード探索により動きベクトル・予測モードを決定して（Ｓ８４）、参照フレームバッファに保存されている参照画像と、その動きベクトル・予測モードとから再符号化対象ブロックの予測画像を生成する（Ｓ８５）。 Subsequently, it is determined whether an image processing flag is added to the re-encoding target block (S83). If it is determined that an image processing flag is added, the image is processed. It is determined that the encoding information cannot be inherited, and the motion vector / prediction mode is determined by motion search / various prediction mode search for the re-encoding block (S84) and stored in the reference frame buffer. A predicted image of the re-encoding target block is generated from the reference image being present and the motion vector / prediction mode (S85).
これに対して、再符号化対象ブロックに画像加工フラグが付加されていないことを判断する場合には、画像が加工されていないことにより符号化情報を継承することができることを判断して、参照フレームバッファに保存されている参照画像と、入力した符号化情報の持つ再符号化対象ブロックの動きベクトル・予測モードとから再符号化対象ブロックの予測画像を生成する（Ｓ８６）。 On the other hand, when it is determined that the image processing flag is not added to the re-encoding target block, it is determined that the encoding information can be inherited because the image is not processed, and the reference is made. A predicted image of the re-encoding target block is generated from the reference image stored in the frame buffer and the motion vector / prediction mode of the re-encoding target block of the input encoding information (S86).
続いて、再符号化対象ブロックの入力画像から予測画像を減算して差分画像を生成する（Ｓ８７）。続いて、その差分画像を直交変換・量子化して係数情報を生成し（Ｓ８８）、その係数情報と各種符号化パラメータとを情報源符号化する（Ｓ８９）。ここで、情報源符号化とは可変長符号化や算術符号化をさす。 Subsequently, the prediction image is subtracted from the input image of the re-encoding target block to generate a difference image (S87). Subsequently, the difference image is orthogonally transformed and quantized to generate coefficient information (S88), and the coefficient information and various encoding parameters are information source encoded (S89). Here, information source coding refers to variable-length coding or arithmetic coding.
続いて、再符号化対象ブロックの係数情報を逆量子化・逆直交変換し予測画像を加算して、デブロッキングフィルタ処理を行ない（Ｓ９０）、そのデブロッキングフィルタ処理後の画像、すなわち再生画像を参照画像として参照フレームバッファに保存する（Ｓ９１）。 Subsequently, the coefficient information of the re-encoding target block is inversely quantized / inverse orthogonally transformed and the predicted image is added, and the deblocking filter process is performed (S90), and the image after the deblocking filter process, that is, the reproduced image is obtained. The reference image is stored in the reference frame buffer as a reference image (S91).
これを全てのブロックについて行うとともに（Ｓ９２）、入力画像が終了するまで、この処理を繰り返す（Ｓ９３）。 This is performed for all blocks (S92), and this process is repeated until the input image is completed (S93).
このようにして、図１０のように構成される本発明に関連する動画像再符号化装置１では、復号部１０の復号する復号画像に対して画像加工を行うのではなくて、復号部１０の出力するデブロッキングフィルタ処理前の画像に対して画像加工を行うとともに、加工された画像領域については通常の再符号化を行ない、加工されていない画像領域については前段の符号化情報を継承して再符号化を行うように処理するのである。
In this way, in the moving image
このように、本構成例によれば、再符号化にあたって画像の加工を行う場合にも、画質劣化の少ない再符号化を実行できるようになるという長所がある。 As described above, according to this configuration example , even when an image is processed during re-encoding, there is an advantage that re-encoding with less image quality deterioration can be performed.
〔５〕本発明の一実施形態例
図１４に、本発明の動画像再符号化装置１の装置構成の一実施形態例を図示する。
ここで、以下では、上述した第２の構成例に適用した場合を具体例にして本発明について説明するが、本発明は上述した第３の構成例や第４の構成例に対してもそのまま適用できるものである。
[5] One Embodiment of the Present Invention FIG. 14 illustrates one embodiment of the apparatus configuration of the moving image
Here, hereinafter, the present invention will be described by taking a case where the present invention is applied to the above-described second configuration example as a specific example, but the present invention is also applied to the above-described third configuration example and the fourth configuration example as they are. Applicable.
本実施形態例と図５に示す構成例との違いは、本実施形態例では、復号部１０は、デブロッキングフィルタ処理前の画像と符号化情報とを出力することに加えて、デブロッキングフィルタ処理後の画像である復号画像を出力するという構成を採る点であり、これを受けて、再符号化部１１は、再符号化対象ブロック毎に、画像内容や量子化パラメータに応じて、復号画像を入力するか、デブロッキングフィルタ処理前の画像を入力するのかを適応的に選択して、その入力した画像を再符号化するという構成を採る点である。
The difference between the present exemplary embodiment and the configuration example illustrated in FIG. 5 is that, in the present exemplary embodiment, the
図１５に、本実施形態例における復号部１０の実行する処理フローの一例を図示し、図１６及び図１７に、本実施形態例における再符号化部１１の実行する処理フローの一例を図示する。
FIG. 15 illustrates an example of a processing flow executed by the
次に、これらの処理フローに従って、このように構成される本発明の動画像再符号化装置１の処理について説明する。
Next, processing of the moving
〔５−１〕復号部１０の処理
復号部１０は、図１５の処理フローに示すように、デブロッキングフィルタ処理を伴って符号化された動画像の符号化ストリームを入力すると（Ｓ１００）、復号対象ブロックを決めて（Ｓ１０１）、その復号対象ブロックについて情報源復号処理を行う（Ｓ１０２）。ここで、情報源復号処理とは可変長復号や算術復号をさす。
[5-1] Processing of
続いて、復号対象ブロックの係数情報を逆量子化・逆直交変換して差分画像を生成する（Ｓ１０３）。続いて、情報源復号処理により得た動きベクトル・予測モードの情報と、参照フレームバッファに保存されている参照画像とから復号対象ブロックの予測画像を生成する（Ｓ１０４）。 Subsequently, the coefficient information of the decoding target block is inversely quantized and inverse orthogonal transformed to generate a difference image (S103). Subsequently, a prediction image of the decoding target block is generated from the motion vector / prediction mode information obtained by the information source decoding process and the reference image stored in the reference frame buffer (S104).
続いて、復号対象ブロックの差分画像に予測画像を加算し（Ｓ１０５）、この加算した画像をデブロッキングフィルタ処理前の画像として、例えばメモリＡに保存することで復号部１０より出力する（Ｓ１０６）。
Subsequently, the prediction image is added to the difference image of the decoding target block (S105), and the added image is output from the
続いて、その加算した画像に対してデブロッキングフィルタ処理を行ない（Ｓ１０７）、そのデブロッキングフィルタ処理後の画像、すなわち復号画像を例えばメモリＣに保存することで復号部１０より出力する（Ｓ１０８）。 Subsequently, a deblocking filter process is performed on the added image (S107), and the image after the deblocking filter process, that is, a decoded image is stored in, for example, the memory C and output from the decoding unit 10 (S108). .
続いて、そのデブロッキングフィルタ処理後の画像、すなわち復号画像を参照画像として参照フレームバッファに保存する（Ｓ１０９）。続いて、復号対象ブロックの各種符号化パラメータを符号化情報として、例えばメモリＢに保存することで復号部１０より出力する（Ｓ１１０）。
Subsequently, the image after the deblocking filter processing, that is, the decoded image is stored in the reference frame buffer as a reference image (S109). Subsequently, various encoding parameters of the decoding target block are output as encoding information from the
これを全てのブロックについて行うとともに（Ｓ１１１）、符号化ストリームが終了するまで、この処理を繰り返す（Ｓ１１２）。 This is performed for all blocks (S111), and this process is repeated until the encoded stream is completed (S112).
〔５−２〕再符号化部１１の処理
一方、再符号化部１１は、図１６及び図１７の処理フローに示すように、例えばメモリＢから復号部１０の出力する符号化情報を入力すると（Ｓ２００）、再符号化対象ブロックを決める（Ｓ２０１）。
[5-2] Processing of Re-encoding Unit 11 On the other hand, when the re-encoding unit 11 receives the encoding information output from the
続いて、その再符号化対象ブロックの再符号化前後の量子化パラメータの差が規定の閾値より小さいのかを判断して（Ｓ２０２）、小さいことを判断する場合には、例えばメモリＡから復号部１０の出力する再符号化対象ブロックについてのデブロッキングフィルタ処理前の画像を入力し（Ｓ２０３）、これに対して、小さくないことを判断する場合には、例えばメモリＣから復号部１０の出力する再符号化対象ブロックについての復号画像を入力する（Ｓ２０４）。
Subsequently, it is determined whether the difference between the quantization parameters before and after the re-encoding of the re-encoding target block is smaller than a predetermined threshold (S202). The image before the deblocking filter processing for the re-encoding target block output by 10 is input (S203). If it is determined that the image is not small, the
続いて、参照フレームバッファに保存されている参照画像と、入力した符号化情報の持つ再符号化対象ブロックの動きベクトル・予測モードとから再符号化対象ブロックの予測画像を生成する（Ｓ２０５）。 Subsequently, a prediction image of the re-encoding target block is generated from the reference image stored in the reference frame buffer and the motion vector / prediction mode of the re-encoding target block included in the input encoding information (S205).
続いて、再符号化対象ブロックの入力画像から予測画像を減算して差分画像を生成する（Ｓ２０６）。続いて、その差分画像を直交変換・量子化して係数情報を生成し（Ｓ２０７）、その係数情報と各種符号化パラメータとを情報源符号化する（Ｓ２０８）。ここで、情報源符号化とは可変長符号化や算術符号化をさす。 Subsequently, the prediction image is subtracted from the input image of the re-encoding target block to generate a difference image (S206). Subsequently, the difference image is orthogonally transformed and quantized to generate coefficient information (S207), and the coefficient information and various encoding parameters are information source encoded (S208). Here, information source coding refers to variable-length coding or arithmetic coding.
続いて、再符号化対象ブロックの係数情報を逆量子化・逆直交変換し予測画像を加算して、デブロッキングフィルタ処理を行ない（Ｓ２０９）、そのデブロッキングフィルタ処理後の画像、すなわち再生画像を参照画像として参照フレームバッファに保存する（Ｓ２１０）。 Subsequently, the coefficient information of the re-encoding target block is inversely quantized / inverse orthogonal transformed, the predicted image is added, and the deblocking filter process is performed (S209), and the image after the deblocking filter process, that is, the reproduced image is obtained. The reference image is stored in the reference frame buffer as a reference image (S210).
これを全てのブロックについて行うとともに（Ｓ２１１）、入力画像が終了するまで、この処理を繰り返す（Ｓ２１２）。 This is performed for all blocks (S211), and this process is repeated until the input image is completed (S212).
このようにして、図１４のように構成される本発明の動画像再符号化装置１では、再符号化前後の量子化パラメータがほぼ同一となるブロックについては、再符号化にあたって画質劣化が生じないことを実現できるので、デブロッキングフィルタ処理前の画像を選択し、一方、再符号化前後の量子化パラメータが大きく変わるブロックについては、再符号化にあたってデブロッキングフィルタ処理前の画像を選択しても画質劣化が避けられないので、デブロッキングフィルタ処理後の画像を選択して、その選択した画像を再符号化するように処理するのである。
In this way, in the moving
このように、本実施形態例によれば、再符号化前後での量子化パラメータの違いや画像内容に応じて、より少ない画質で再符号化を行うことができるようになる。 As described above, according to this embodiment, re-encoding can be performed with less image quality according to the difference in quantization parameter before and after re-encoding and the image content.
図示実施形態例について説明したが、本発明はこれに限定されるものではない。例えば、実施形態例では、ループ内フィルタとしてデブロッキングフィルタを用いることを想定したが、本発明はその適用がデブロッキングフィルタに限られるものではなく、どのようなループ内フィルタが用いられる場合にも、そのまま適用できるものである。 Although the illustrated embodiment has been described, the present invention is not limited to this. For example, in the embodiment, it is assumed that a deblocking filter is used as the in-loop filter. However, the present invention is not limited to the deblocking filter, and any in-loop filter is used. It can be applied as it is.
また、実施形態例では、符号化パラメータの全てを継承することにより、同一ビットレートの符号化ストリームに、ほぼ画質劣化が生ずることなく再符号化するという構成について説明したが、符号化パラメータの一部、例えば量子化パラメータや予測モードなどを変更することにより、より低いビットレートの符号化ストリームに、より少ない画質劣化で効率的に再符号化するという構成を採ることも可能である。 Also, in the embodiment, a configuration has been described in which all of the encoding parameters are inherited, so that the encoded stream of the same bit rate is re-encoded with almost no image quality degradation. It is also possible to adopt a configuration in which, for example, by changing a quantization parameter, a prediction mode, and the like, an encoded stream with a lower bit rate is efficiently re-encoded with less image quality degradation.
１ 動画像再符号化装置
１０ 復号部
１１ 再符号化部
１２ 画像加工部
１１０ 符号化情報復号部
１１１ 符号化部
DESCRIPTION OF
Claims (12)
上記符号化ストリームに対して逆量子化および逆直交変換を行うことで差分画像を生成し、
参照フレームバッファに保存されている参照画像を用いて予測画像を生成し、
上記生成した差分画像と上記生成した予測画像とを加算することでループ内フィルタ処理前の画像を生成して、その生成したループ内フィルタ処理前の画像を出力または保存し、
上記ループ内フィルタ処理前の画像に対してループ内フィルタ処理を行うことでループ内フィルタ処理後の画像を生成し、
上記ループ内フィルタ処理後の画像を参照画像として上記参照フレームバッファに保存し、
上記ループ内フィルタ処理前の画像と上記ループ内フィルタ処理後の画像とを選択対象として、再符号化前後の量子化パラメータの差が規定の閾値より小さい画像領域についてはループ内フィルタ処理前の画像を選択し、それ以外の画像領域についてはループ内フィルタ処理後の画像を選択して、その選択した画像に対して再符号化処理を行うことを、
特徴とする動画像再符号化方法。 A moving image re-encoding method for decoding and re-encoding an encoded stream of a moving image that has been encoded with an in-loop filtering process,
A difference image is generated by performing inverse quantization and inverse orthogonal transform on the encoded stream,
Generate a prediction image using the reference image stored in the reference frame buffer,
Add the generated difference image and the generated predicted image to generate an image before the in-loop filter processing, and output or save the generated image before the in-loop filter processing,
Generating an image after loop filtering by performing a loop filter processing to the upper Kill-loop in unfiltered image,
Stored in the reference frame buffer images after top kill-loop in the filter processing as the reference image,
For an image region in which the difference between the quantization parameters before and after re-encoding is smaller than a predetermined threshold with the image before the in-loop filter processing and the image after the in-loop filter processing being selected, the image before the in-loop filter processing select, except for the image area of the selected image after loop filtering to perform a re-encoding process on the selected images,
A moving image re-encoding method as a feature.
上記符号化ストリームに対して逆量子化および逆直交変換を行うことで差分画像を生成し、
参照フレームバッファに保存されている参照画像を用いて予測画像を生成し、
上記生成した差分画像と上記生成した予測画像とを加算することでループ内フィルタ処理前の画像を生成して、その生成したループ内フィルタ処理前の画像を出力または保存し、
上記ループ内フィルタ処理前の画像に対してループ内フィルタ処理を行うことでループ内フィルタ処理後の画像を生成し、
上記ループ内フィルタ処理後の画像を参照画像として上記参照フレームバッファに保存し、
上記ループ内フィルタ処理前の画像と上記ループ内フィルタ処理後の画像とを選択対象として、再符号化前後の量子化パラメータの差が規定の閾値より小さい画像領域についてはループ内フィルタ処理前の画像を選択し、それ以外の画像領域についてはループ内フィルタ処理後の画像を選択して、その選択した画像に対して再符号化処理を行うとともに、この再符号化処理にあたって、上記ループ内フィルタ処理前の画像を再符号化処理する場合には、上記符号化ストリームの符号化パラメータと同一またはその一部を変更した符号化パラメータを用いてその再符号化処理を行うことを、
特徴とする動画像再符号化方法。 A moving image re-encoding method for decoding and re-encoding an encoded stream of a moving image that has been encoded with an in-loop filtering process,
A difference image is generated by performing inverse quantization and inverse orthogonal transform on the encoded stream,
Generate a prediction image using the reference image stored in the reference frame buffer,
Add the generated difference image and the generated predicted image to generate an image before the in-loop filter processing, and output or save the generated image before the in-loop filter processing,
Generating an image after loop filtering by performing a loop filter processing to the upper Kill-loop in unfiltered image,
Stored in the reference frame buffer images after top kill-loop in the filter processing as the reference image,
For an image region in which the difference between the quantization parameters before and after re-encoding is smaller than a predetermined threshold with the image before the in-loop filter processing and the image after the in-loop filter processing being selected, the image before the in-loop filter processing For other image regions, the image after the in-loop filter processing is selected, the re-encoding processing is performed on the selected image, and the above-mentioned in-loop filter processing is performed in the re-encoding processing. when processing re-encode the previous image, to perform the re-encoding process using an encoding parameter for changing the same or a portion thereof and the coding parameters above Symbol encoded stream,
A moving image re-encoding method as a feature.
上記符号化ストリームに対して逆量子化および逆直交変換を行うことで差分画像を生成し、
参照フレームバッファに保存されている参照画像を用いて予測画像を生成し、
上記生成した差分画像と上記生成した予測画像とを加算することでループ内フィルタ処理前の画像を生成して、その生成したループ内フィルタ処理前の画像を出力または保存するとともに、上記符号化ストリームの復号で得られる符号化パラメータを出力または保存し、
上記ループ内フィルタ処理前の画像に対してループ内フィルタ処理を行うことでループ内フィルタ処理後の画像を生成し、
上記ループ内フィルタ処理後の画像を参照画像として上記参照フレームバッファに保存し、
上記ループ内フィルタ処理前の画像と上記ループ内フィルタ処理後の画像とを選択対象として、再符号化前後の量子化パラメータの差が規定の閾値より小さい画像領域についてはループ内フィルタ処理前の画像を選択し、それ以外の画像領域についてはループ内フィルタ処理後の画像を選択して、その選択した画像に対して再符号化処理を行うとともに、この再符号化処理にあたって、上記ループ内フィルタ処理前の画像を再符号化処理する場合には、上記出力または保存した符号化パラメータと同一またはその一部を変更した符号化パラメータを用いてその再符号化処理を行うことを、
特徴とする動画像再符号化方法。 A moving image re-encoding method for decoding and re-encoding an encoded stream of a moving image that has been encoded with an in-loop filtering process,
A difference image is generated by performing inverse quantization and inverse orthogonal transform on the encoded stream,
Generate a prediction image using the reference image stored in the reference frame buffer,
The generated difference image and the generated predicted image are added to generate an image before the in-loop filter processing, and the generated image before the in-loop filter processing is output or saved, and the encoded stream Output or save the encoding parameters obtained by decoding
Generating an image after loop filtering by performing a loop filter processing to the upper Kill-loop in unfiltered image,
Stored in the reference frame buffer images after top kill-loop in the filter processing as the reference image,
For an image region in which the difference between the quantization parameters before and after re-encoding is smaller than a predetermined threshold with the image before the in-loop filter processing and the image after the in-loop filter processing being selected, the image before the in-loop filter processing For other image regions, the image after the in-loop filter processing is selected, the re-encoding processing is performed on the selected image, and the above-mentioned in-loop filter processing is performed in the re-encoding processing. when processing re-encode the previous image, to perform the re-encoding process using an encoding parameter for changing the encoding parameters were above SL output or store the same or a portion thereof,
A moving image re-encoding method as a feature.
上記符号化ストリームに対して逆量子化および逆直交変換を行うことで差分画像を生成し、
参照フレームバッファに保存されている参照画像を用いて予測画像を生成し、
上記生成した差分画像と上記生成した予測画像とを加算することでループ内フィルタ処理前の画像を生成して、その生成したループ内フィルタ処理前の画像を出力または保存し、
上記ループ内フィルタ処理前の画像に対してループ内フィルタ処理を行うことでループ内フィルタ処理後の画像を生成し、
上記ループ内フィルタ処理後の画像を参照画像として上記参照フレームバッファに保存し、
上記符号化ストリームから符号化パラメータのみを復号し、上記ループ内フィルタ処理前の画像と上記ループ内フィルタ処理後の画像とを選択対象として、再符号化前後の量子化パラメータの差が規定の閾値より小さい画像領域についてはループ内フィルタ処理前の画像を選択し、それ以外の画像領域についてはループ内フィルタ処理後の画像を選択して、その選択した画像に対して再符号化処理を行うとともに、この再符号化処理にあたって、上記ループ内フィルタ処理前の画像を再符号化処理する場合には、その復号した符号化パラメータと同一またはその一部を変更した符号化パラメータを用いてその再符号化処理を行うことを、
特徴とする動画像再符号化方法。 A moving image re-encoding method for decoding and re-encoding an encoded stream of a moving image that has been encoded with an in-loop filtering process,
A difference image is generated by performing inverse quantization and inverse orthogonal transform on the encoded stream,
Generate a prediction image using the reference image stored in the reference frame buffer,
Add the generated difference image and the generated predicted image to generate an image before the in-loop filter processing, and output or save the generated image before the in-loop filter processing,
Generating an image after loop filtering by performing a loop filter processing to the upper Kill-loop in unfiltered image,
Stored in the reference frame buffer images after top kill-loop in the filter processing as the reference image,
Only the encoding parameters are decoded from the encoded stream, and the difference between the quantization parameters before and after the re-encoding is selected with the image before the in-loop filter processing and the image after the in-loop filter processing as a selection target. For the smaller image area, select the image before the in-loop filter process, and for the other image areas, select the image after the in-loop filter process, and re-encode the selected image. , when the re-encoding process, the re-using the coding parameters in the case, changing the decoding coded parameters identical or part of its to handle re-encodes the image before the loop filter Performing the encoding process,
A moving image re-encoding method as a feature.
上記ループ内フィルタ処理前の画像の部分的な画像領域に対して画像の変更を加え、
上記変更を加えていない画像領域については、上記符号化ストリームの符号化パラメータと同一またはその一部を変更した符号化パラメータを用いて再符号化処理を行ない、それ以外の画像領域については、上記符号化ストリームの符号化パラメータを利用しない通常の符号化処理を行うことで再符号化処理を行なうことを、
特徴とする動画像再符号化方法。 The moving image re-encoding method according to any one of claims 2 to 4,
Change the image to a partial image area of the image before the in-loop filter processing,
For the image area that has not been changed, re-encoding processing is performed using an encoding parameter that is the same as or part of the encoding parameter of the encoded stream, and for other image areas, Performing the re-encoding process by performing a normal encoding process that does not use the encoding parameter of the encoded stream,
A moving image re-encoding method as a feature.
上記符号化ストリームに対して逆量子化および逆直交変換を行うことで差分画像を生成する手段と、
参照フレームバッファに保存されている参照画像を用いて予測画像を生成する手段と、
上記生成した差分画像と上記生成した予測画像とを加算することでループ内フィルタ処理前の画像を生成して、その生成したループ内フィルタ処理前の画像を出力または保存する手段と、
上記ループ内フィルタ処理前の画像に対してループ内フィルタ処理を行うことでループ内フィルタ処理後の画像を生成する手段と、
上記ループ内フィルタ処理後の画像を参照画像として上記参照フレームバッファに保存する手段と、
上記ループ内フィルタ処理前の画像と上記ループ内フィルタ処理後の画像とを選択対象として、再符号化前後の量子化パラメータの差が規定の閾値より小さい画像領域についてはループ内フィルタ処理前の画像を選択し、それ以外の画像領域についてはループ内フィルタ処理後の画像を選択して、その選択した画像に対して再符号化処理を行う手段とを備えることを、
特徴とする動画像再符号化装置。 A moving image re-encoding device that decodes and re-encodes an encoded stream of a moving image that has been encoded with an in-loop filtering process,
Means for generating a difference image by performing inverse quantization and inverse orthogonal transform on the encoded stream;
Means for generating a predicted image using a reference image stored in a reference frame buffer;
Means for generating an image before the in-loop filter processing by adding the generated difference image and the generated predicted image, and outputting or saving the generated image before the in-loop filter processing;
It means for generating an image after loop filtering by performing a loop filter processing to the upper Kill-loop in unfiltered image,
It means for storing in the reference frame buffer images after top kill-loop in the filter processing as the reference image,
For an image region in which the difference between the quantization parameters before and after re-encoding is smaller than a predetermined threshold with the image before the in-loop filter processing and the image after the in-loop filter processing being selected, the image before the in-loop filter processing select, except for the image area of the selected image after loop filtering by comprising means for performing re-encoding process on the selected images,
A moving image re-encoding device.
上記符号化ストリームに対して逆量子化および逆直交変換を行うことで差分画像を生成する手段と、
参照フレームバッファに保存されている参照画像を用いて予測画像を生成する手段と、
上記生成した差分画像と上記生成した予測画像とを加算することでループ内フィルタ処理前の画像を生成して、その生成したループ内フィルタ処理前の画像を出力または保存する手段と、
上記ループ内フィルタ処理前の画像に対してループ内フィルタ処理を行うことでループ内フィルタ処理後の画像を生成する手段と、
上記ループ内フィルタ処理後の画像を参照画像として上記参照フレームバッファに保存する手段と、
上記ループ内フィルタ処理前の画像と上記ループ内フィルタ処理後の画像とを選択対象として、再符号化前後の量子化パラメータの差が規定の閾値より小さい画像領域についてはループ内フィルタ処理前の画像を選択し、それ以外の画像領域についてはループ内フィルタ処理後の画像を選択して、その選択した画像に対して再符号化処理を行うとともに、この再符号化処理にあたって、上記ループ内フィルタ処理前の画像を再符号化処理する場合には、上記符号化ストリームの符号化パラメータと同一またはその一部を変更した符号化パラメータを用いてその再符号化処理を行う手段とを備えることを、
特徴とする動画像再符号化装置。 A moving image re-encoding device that decodes and re-encodes an encoded stream of a moving image that has been encoded with an in-loop filtering process,
Means for generating a difference image by performing inverse quantization and inverse orthogonal transform on the encoded stream;
Means for generating a predicted image using a reference image stored in a reference frame buffer;
Means for generating an image before the in-loop filter processing by adding the generated difference image and the generated predicted image, and outputting or saving the generated image before the in-loop filter processing;
It means for generating an image after loop filtering by performing a loop filter processing to the upper Kill-loop in unfiltered image,
It means for storing in the reference frame buffer images after top kill-loop in the filter processing as the reference image,
For an image region in which the difference between the quantization parameters before and after re-encoding is smaller than a predetermined threshold with the image before the in-loop filter processing and the image after the in-loop filter processing being selected, the image before the in-loop filter processing For other image regions, the image after the in-loop filter processing is selected, the re-encoding processing is performed on the selected image, and the above-mentioned in-loop filter processing is performed in the re-encoding processing. when processing re-encode the previous image, that comprises means for performing the re-encoding process using an encoding parameter the same or encoding parameter by changing a part thereof above Symbol coded stream ,
A moving image re-encoding device.
上記符号化ストリームに対して逆量子化および逆直交変換を行うことで差分画像を生成する手段と、
参照フレームバッファに保存されている参照画像を用いて予測画像を生成する手段と、
上記生成した差分画像と上記生成した予測画像とを加算することでループ内フィルタ処理前の画像を生成して、その生成したループ内フィルタ処理前の画像を出力または保存するとともに、上記符号化ストリームの復号で得られる符号化パラメータを出力または保存する手段と、
上記ループ内フィルタ処理前の画像に対してループ内フィルタ処理を行うことでループ内フィルタ処理後の画像を生成する手段と、
上記ループ内フィルタ処理後の画像を参照画像として上記参照フレームバッファに保存する手段と、
上記ループ内フィルタ処理前の画像と上記ループ内フィルタ処理後の画像とを選択対象として、再符号化前後の量子化パラメータの差が規定の閾値より小さい画像領域についてはループ内フィルタ処理前の画像を選択し、それ以外の画像領域についてはループ内フィルタ処理後の画像を選択して、その選択した画像に対して再符号化処理を行うとともに、この再符号化処理にあたって、上記ループ内フィルタ処理前の画像を再符号化処理する場合には、上記出力または保存した符号化パラメータと同一またはその一部を変更した符号化パラメータを用いてその再符号化処理を行う手段とを備えることを、
特徴とする動画像再符号化装置。 A moving image re-encoding device that decodes and re-encodes an encoded stream of a moving image that has been encoded with an in-loop filtering process,
Means for generating a difference image by performing inverse quantization and inverse orthogonal transform on the encoded stream;
Means for generating a predicted image using a reference image stored in a reference frame buffer;
The generated difference image and the generated predicted image are added to generate an image before the in-loop filter processing, and the generated image before the in-loop filter processing is output or saved, and the encoded stream Means for outputting or storing the encoding parameters obtained by decoding
It means for generating an image after loop filtering by performing a loop filter processing to the upper Kill-loop in unfiltered image,
It means for storing in the reference frame buffer images after top kill-loop in the filter processing as the reference image,
For an image region in which the difference between the quantization parameters before and after re-encoding is smaller than a predetermined threshold with the image before the in-loop filter processing and the image after the in-loop filter processing being selected, the image before the in-loop filter processing For other image regions, the image after the in-loop filter processing is selected, the re-encoding processing is performed on the selected image, and the above-mentioned in-loop filter processing is performed in the re-encoding processing. when processing re-encode the previous image, that comprises means for performing the re-encoding process using an encoding parameter for changing the encoding parameters were above SL output or store the same or a portion thereof ,
A moving image re-encoding device.
上記符号化ストリームに対して逆量子化および逆直交変換を行うことで差分画像を生成する手段と、
参照フレームバッファに保存されている参照画像を用いて予測画像を生成する手段と、
上記生成した差分画像と上記生成した予測画像とを加算することでループ内フィルタ処理前の画像を生成して、その生成したループ内フィルタ処理前の画像を出力または保存する手段と、
上記ループ内フィルタ処理前の画像に対してループ内フィルタ処理を行うことでループ内フィルタ処理後の画像を生成する手段と、
上記ループ内フィルタ処理後の画像を参照画像として上記参照フレームバッファに保存する手段と、
上記符号化ストリームから符号化パラメータのみを復号し、上記ループ内フィルタ処理前の画像と上記ループ内フィルタ処理後の画像とを選択対象として、再符号化前後の量子化パラメータの差が規定の閾値より小さい画像領域についてはループ内フィルタ処理前の画像を選択し、それ以外の画像領域についてはループ内フィルタ処理後の画像を選択して、その選択した画像に対して再符号化処理を行うとともに、この再符号化処理にあたって、上記ループ内フィルタ処理前の画像を再符号化処理する場合には、その復号した符号化パラメータと同一またはその一部を変更した符号化パラメータを用いてその再符号化処理を行う手段とを備えることを、
特徴とする動画像再符号化装置。 A moving image re-encoding device that decodes and re-encodes an encoded stream of a moving image that has been encoded with an in-loop filtering process,
Means for generating a difference image by performing inverse quantization and inverse orthogonal transform on the encoded stream;
Means for generating a predicted image using a reference image stored in a reference frame buffer;
Means for generating an image before the in-loop filter processing by adding the generated difference image and the generated predicted image, and outputting or saving the generated image before the in-loop filter processing;
It means for generating an image after loop filtering by performing a loop filter processing to the upper Kill-loop in unfiltered image,
It means for storing in the reference frame buffer images after top kill-loop in the filter processing as the reference image,
Only the encoding parameters are decoded from the encoded stream, and the difference between the quantization parameters before and after the re-encoding is selected with the image before the in-loop filter processing and the image after the in-loop filter processing as a selection target. For the smaller image area, select the image before the in-loop filter process, and for the other image areas, select the image after the in-loop filter process, and re-encode the selected image. , when the re-encoding process, the re-using the coding parameters in the case, changing the decoding coded parameters identical or part of its to handle re-encodes the image before the loop filter Means for performing an encoding process,
A moving image re-encoding device.
上記ループ内フィルタ処理前の画像の部分的な画像領域に対して画像の変更を加える画像加工手段を備え、
上記再符号化処理を行う手段は、上記画像加工手段により変更の加えられていない画像領域については、上記符号化ストリームの符号化パラメータと同一またはその一部を変更した符号化パラメータを用いて再符号化処理を行ない、それ以外の画像領域については、上記符号化ストリームの符号化パラメータを利用しない通常の符号化処理を行うことで再符号化処理を行なうことを、
特徴とする動画像再符号化装置。 The moving image re-encoding device according to any one of claims 7 to 9 ,
Image processing means for changing an image to a partial image region of the image before the in-loop filter processing,
The means for performing the re-encoding process re-encodes an image area that has not been changed by the image processing means, using an encoding parameter that is the same as or part of the encoding parameter of the encoded stream. Encoding processing is performed, and for other image regions, re-encoding processing is performed by performing normal encoding processing that does not use the encoding parameters of the encoded stream.
A moving image re-encoding device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005046355A JP4129006B2 (en) | 2005-02-23 | 2005-02-23 | Moving image re-encoding method, moving image re-encoding device, moving image re-encoding program, and computer-readable recording medium recording the program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005046355A JP4129006B2 (en) | 2005-02-23 | 2005-02-23 | Moving image re-encoding method, moving image re-encoding device, moving image re-encoding program, and computer-readable recording medium recording the program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006237759A JP2006237759A (en) | 2006-09-07 |
| JP4129006B2 true JP4129006B2 (en) | 2008-07-30 |
Family
ID=37044967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005046355A Expired - Lifetime JP4129006B2 (en) | 2005-02-23 | 2005-02-23 | Moving image re-encoding method, moving image re-encoding device, moving image re-encoding program, and computer-readable recording medium recording the program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4129006B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101527148B1 (en) * | 2008-08-08 | 2015-06-10 | 에스케이 텔레콤주식회사 | Inter prediction device and image encoding / decoding device and method using the same |
| KR101780444B1 (en) * | 2015-10-29 | 2017-09-21 | 삼성에스디에스 주식회사 | Method for reducing noise of video signal |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8326064B2 (en) | 2007-01-22 | 2012-12-04 | Nec Corporation | Image re-encoding method to decode image data which is orthogonally transformed per first block and encoded by a first encoding method |
| JP4847890B2 (en) | 2007-02-16 | 2011-12-28 | パナソニック株式会社 | Encoding method converter |
-
2005
- 2005-02-23 JP JP2005046355A patent/JP4129006B2/en not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101527148B1 (en) * | 2008-08-08 | 2015-06-10 | 에스케이 텔레콤주식회사 | Inter prediction device and image encoding / decoding device and method using the same |
| KR101780444B1 (en) * | 2015-10-29 | 2017-09-21 | 삼성에스디에스 주식회사 | Method for reducing noise of video signal |
| US10003826B2 (en) | 2015-10-29 | 2018-06-19 | Samsung Sds Co., Ltd. | Method of reducing noise of video signal |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006237759A (en) | 2006-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11770553B2 (en) | Conditional signalling of reference picture list modification information | |
| CN100579234C (en) | Image encoding/decoding method and apparatus thereof | |
| CN102150427B (en) | System and method for video encoding using adaptive loop filter | |
| US20100135389A1 (en) | Method and apparatus for image encoding and image decoding | |
| US20070206679A1 (en) | Motion Image Encoding Method and Motion Image Decoding Method | |
| JP2022501870A (en) | Video coding and decoding | |
| JP5004180B2 (en) | Video encoding apparatus and decoding apparatus | |
| WO2023044900A1 (en) | Coding/decoding method, code stream, coder, decoder, and storage medium | |
| US20100208794A1 (en) | Image coding apparatus and image coding method | |
| KR102845645B1 (en) | Encoding device, decoding device, and program | |
| JP4129006B2 (en) | Moving image re-encoding method, moving image re-encoding device, moving image re-encoding program, and computer-readable recording medium recording the program | |
| JP4174728B2 (en) | Information processing apparatus, information processing method, recording medium, and program | |
| TWI859243B (en) | Image processing device and image processing method | |
| JP2007013298A (en) | Image coding apparatus | |
| US20100322316A1 (en) | Moving-picture encoding apparatus and decoding apparatus | |
| JP4139416B2 (en) | Encoded stream re-encoding device, encoded stream re-encoding method, encoded stream re-encoding program, and computer-readable recording medium recording the program | |
| JP2005323315A (en) | Prediction information / quantization value control compression encoding apparatus, prediction information / quantization value control compression encoding program, and prediction information / quantization value control compression encoding method | |
| JP2006270851A (en) | Image coding device and image decoding device | |
| JP6998846B2 (en) | Image decoding device, image coding device, image processing system and program | |
| JP4798652B2 (en) | Video rate converter | |
| Lee et al. | Complexity modeling for context-based adaptive binary arithmetic coding (CABAC) in H. 264/AVC decoder | |
| JP2009111718A (en) | Video re-encoding device, video re-encoding method, video re-encoding program, and computer-readable recording medium recording the program | |
| WO2020258001A1 (en) | Luminance component prediction method, encoder, decoder and storage medium | |
| JP2009088826A (en) | Transcoder, transcoding method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050223 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070927 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080416 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080513 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080515 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4129006 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130523 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140523 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |