Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5447239B2 - Moving picture coding apparatus and moving picture coding method - Google Patents
[go: Go Back, main page]

JP5447239B2 - Moving picture coding apparatus and moving picture coding method - Google Patents

Moving picture coding apparatus and moving picture coding method Download PDF

Info

Publication number
JP5447239B2
JP5447239B2 JP2010154213A JP2010154213A JP5447239B2 JP 5447239 B2 JP5447239 B2 JP 5447239B2 JP 2010154213 A JP2010154213 A JP 2010154213A JP 2010154213 A JP2010154213 A JP 2010154213A JP 5447239 B2 JP5447239 B2 JP 5447239B2
Authority
JP
Japan
Prior art keywords
data
unit
reference image
encoding
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010154213A
Other languages
Japanese (ja)
Other versions
JP2012019288A (en
Inventor
寛 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2010154213A priority Critical patent/JP5447239B2/en
Publication of JP2012019288A publication Critical patent/JP2012019288A/en
Application granted granted Critical
Publication of JP5447239B2 publication Critical patent/JP5447239B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、動画像符号化装置及び動画像符号化方法に関する。   The present invention relates to a moving image encoding apparatus and a moving image encoding method.

動画像情報をデジタル信号として取り扱う際の符号フォーマットとして、国際標準規格であるMPEG(Moving Picture Experts Group)−2、H.264/AVC(Advanced Video Coding)などが用いられている。   MPEG (Moving Picture Experts Group) -2, which is an international standard, H.264, and H.264 are code formats for handling moving image information as digital signals. H.264 / AVC (Advanced Video Coding) is used.

近年、H.264/AVCにより、フルHD(High Definition)映像データを圧縮符号化する技術が、デジタルビデオカメラからデジタルスチルカメラまで普及し、さらに携帯電話のムービー撮影機能にまで及んでいる。また、据え置き型の装置では、H.264/AVC圧縮方式により、Blu−ray(登録商標)ディスクレコーダなど高密度大容量の記憶媒体にフルHD映像データを録画する装置も登場している。   In recent years, H.C. A technology for compressing and encoding full HD (High Definition) video data using H.264 / AVC has spread from a digital video camera to a digital still camera, and further to a movie shooting function of a mobile phone. In a stationary apparatus, H.264 Devices that record full HD video data on a high-density and large-capacity storage medium such as a Blu-ray (registered trademark) disk recorder using the H.264 / AVC compression method have also appeared.

MPEG−2やH.264/AVCなどの動画像圧縮処理では、各フレーム画像において、圧縮の処理単位となる矩形領域(マクロブロック)に対して、参照画像と呼ばれる時間的に近接した画像から絵柄の似た矩形領域が探索される。そして、2つの矩形領域間の空間的な位置の差分が動きベクトルデータとして、また、これらの画像の残差データが係数データとして圧縮符号化される。   MPEG-2 and H.264 In a moving image compression process such as H.264 / AVC, in each frame image, a rectangular area having a similar pattern from a temporally close image called a reference image is referred to as a rectangular area (macroblock) serving as a compression processing unit. Explored. Then, the spatial position difference between the two rectangular areas is compression-coded as motion vector data, and the residual data of these images is compression-coded as coefficient data.

この圧縮符号化の過程において、動画像圧縮符号化装置は、参照画像などの画像データをメモリとやり取りするため、フルHD画像など高精細でフレーム画像単位のデータ量が大きくなると動画像符号化装置とメモリ間のデータ転送量が増大する。   In this compression coding process, the moving image compression coding device exchanges image data such as reference images with the memory. Therefore, when the amount of data such as a full HD image and a high-definition frame image increases, the moving image coding device The amount of data transferred between the memory and the memory increases.

そこで、従来、原画像入力をバッファリングしながら動画像符号化処理部に原画像を供給するとともに、参照画像のメモリへの書き込み時に縮小処理を行い、縮小画像とそれに伴う誤差データをメモリに記憶させる技術が用いられてきている。   Therefore, conventionally, the original image input is supplied to the moving image encoding processing unit while buffering the original image input, and the reduction process is performed when the reference image is written to the memory, and the reduced image and the error data associated therewith are stored in the memory. Technology has been used.

この技術によれば、動き検出で用いるために生成した参照画像をメモリに書き込む前に縮小処理を行うことで、書き込みと読み出し時における動画像符号化装置とメモリ間のデータ転送量が低減される。メモリから読み出された参照画像は拡大され、メモリから読み出される誤差データが加算されることにより、元の参照画像に復元され、動き検出で用いられる。   According to this technique, by performing a reduction process before writing a reference image generated for use in motion detection into a memory, the amount of data transferred between the moving picture coding apparatus and the memory at the time of writing and reading is reduced. . The reference image read from the memory is enlarged, and error data read from the memory is added to restore the original reference image, which is used for motion detection.

特開2007−221697号公報JP 2007-221697 A 特開2007−036738号公報JP 2007-036738 A

しかし、参照画像を縮小してメモリに記憶する技術では、データ転送量を削減するために参照画像の縮小率を大きくすればするほど、誤差データが大きくなる。誤差データも参照画像を復元するためにメモリに書き込むため、誤差データが大きくなるとデータ転送量の削減に限界が生じ、十分にデータ転送量を低減できないという問題があった。   However, in the technique of reducing the reference image and storing it in the memory, the error data increases as the reduction rate of the reference image is increased in order to reduce the data transfer amount. Since the error data is also written in the memory to restore the reference image, there is a problem that if the error data becomes large, the reduction of the data transfer amount is limited, and the data transfer amount cannot be reduced sufficiently.

発明の一観点によれば、原画像データを符号化し、第1の圧縮符号化データを生成する第1の符号化部と、前記第1の圧縮符号化データを復号して参照画像データを生成する第1の復号化部と、前記原画像データをフレーム内符号化して第2の圧縮符号化データをメモリに出力する第2の符号化部と、前記第2の圧縮符号化データを復号して疑似参照画像データを生成する第2の復号化部と、前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力する誤差計算部と、を備えた動画像符号化装置が提供される。   According to one aspect of the invention, a first encoding unit that encodes original image data and generates first compressed encoded data, and generates reference image data by decoding the first compressed encoded data A first decoding unit that performs intra-frame encoding of the original image data and outputs second compressed encoded data to a memory; and decodes the second compressed encoded data A moving image code comprising: a second decoding unit that generates pseudo reference image data; and an error calculation unit that generates error data between the reference image data and the pseudo reference image data and outputs the error data to the memory A device is provided.

開示の動画像符号化装置及び動画像符号化方法によれば、動画像符号化装置とメモリとの間のデータ転送量を低減できる。   According to the disclosed moving image encoding device and moving image encoding method, the data transfer amount between the moving image encoding device and the memory can be reduced.

第1の実施の形態の動画像符号化装置の一例を示す図である。It is a figure which shows an example of the moving image encoder of 1st Embodiment. 動画像符号化装置の処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process of a moving image encoder. 第2の実施の形態の動画像符号化装置の一例を示す図である。It is a figure which shows an example of the moving image encoder of 2nd Embodiment. 参照画像圧縮符号化部の量子化パラメータ値を調整する例を示す図である。It is a figure which shows the example which adjusts the quantization parameter value of a reference image compression encoding part. 符号化処理部の一例を示す図である。It is a figure which shows an example of an encoding process part. 更新された変換テーブルの一例を示す図である。It is a figure which shows an example of the updated conversion table. 評価式を用いて、参照画像圧縮符号化部の量子化パラメータ値を調整する例を示す図である。It is a figure which shows the example which adjusts the quantization parameter value of a reference image compression encoding part using an evaluation formula.

以下、本発明の動画像符号化装置及び動画像符号化方法の実施の形態を、図面を参照しつつ説明する。
(第1の実施の形態)
図1は、第1の実施の形態の動画像符号化装置の一例を示す図である。
Embodiments of a moving image encoding apparatus and a moving image encoding method of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram illustrating an example of a moving image encoding apparatus according to the first embodiment.

第1の実施の形態の動画像符号化装置10は、符号化部11、復号化部12、符号化部13、復号化部14、誤差計算部15、参照画像復元部16を有している。
符号化部11は、入力される原画像データを符号化し、圧縮符号化データを生成する。符号化部11は、原画像データのうち、フレーム間符号化処理を行わない基準となるフレーム画像に対してはフレーム内符号化処理を行い、それ以外のフレーム画像に対してはフレーム間符号化処理を行う。符号化部11は、生成した圧縮符号化データを、参照画像データを生成するために復号化部12に入力する。また、符号化部11は、生成した圧縮符号化データを動画像符号化装置10から出力する。
The moving image encoding apparatus 10 according to the first embodiment includes an encoding unit 11, a decoding unit 12, an encoding unit 13, a decoding unit 14, an error calculation unit 15, and a reference image restoration unit 16. .
The encoding unit 11 encodes input original image data to generate compressed encoded data. The encoding unit 11 performs an intra-frame encoding process on a reference frame image that is not subjected to the inter-frame encoding process in the original image data, and performs inter-frame encoding on the other frame images. Process. The encoding unit 11 inputs the generated compressed encoded data to the decoding unit 12 in order to generate reference image data. The encoding unit 11 outputs the generated compressed encoded data from the moving image encoding device 10.

なお、復号化部12に入力する圧縮符号化データは、たとえば、エントロピー符号化前の量子化係数であるが、エントロピー符号化されたデータとしてもよい。
復号化部12は、圧縮符号化データを復号して参照画像データを生成する。
The compressed encoded data input to the decoding unit 12 is, for example, a quantized coefficient before entropy encoding, but may be entropy encoded data.
The decoding unit 12 decodes the compression encoded data to generate reference image data.

符号化部13は、原画像データに対してフレーム内符号化処理を行って圧縮符号化データを生成し、メモリ20に出力する。さらに、符号化部13は、圧縮符号化データを復号化部14に入力する。   The encoding unit 13 performs intra-frame encoding processing on the original image data to generate compressed encoded data, and outputs the compressed encoded data to the memory 20. Further, the encoding unit 13 inputs the compression encoded data to the decoding unit 14.

なお、復号化部14に入力する圧縮符号化データは、たとえば、エントロピー符号化前の量子化係数であるが、エントロピー符号化されたデータとしてもよい。メモリ20に出力するデータについても同様である。   Note that the compression encoded data input to the decoding unit 14 is, for example, a quantized coefficient before entropy encoding, but may be entropy encoded data. The same applies to data output to the memory 20.

復号化部14は、符号化部13より入力された圧縮符号化データを復号して疑似参照画像データを生成する。
誤差計算部15は、復号化部12で生成された参照画像データと、復号化部14で生成された疑似参照画像データとの誤差データを生成し、メモリ20に出力する。
The decoding unit 14 decodes the compressed encoded data input from the encoding unit 13 to generate pseudo reference image data.
The error calculation unit 15 generates error data between the reference image data generated by the decoding unit 12 and the pseudo reference image data generated by the decoding unit 14 and outputs the error data to the memory 20.

参照画像復元部16は、メモリ20から圧縮符号化データと誤差データとを読み出す。そして、参照画像復元部16は、圧縮符号化データを復号し、復号結果に対して誤差データの加算処理を行って、参照画像データを復元し、復元した参照画像データを符号化部11に入力する。   The reference image restoration unit 16 reads out the compressed encoded data and the error data from the memory 20. Then, the reference image restoration unit 16 decodes the compressed encoded data, performs error data addition processing on the decoding result, restores the reference image data, and inputs the restored reference image data to the encoding unit 11 To do.

なお、メモリ20は、動画像符号化装置10内にあってもよい。
以下、動画像符号化装置10の動作を説明する。
図2は、動画像符号化装置の処理の流れを示すフローチャートである。
Note that the memory 20 may be in the moving image encoding apparatus 10.
Hereinafter, the operation of the moving image encoding apparatus 10 will be described.
FIG. 2 is a flowchart showing a flow of processing of the moving image encoding apparatus.

ステップS1:符号化部11,13は、原画像データを入力する。
ステップS2:符号化部11は、入力された原画像データに対して、フレーム内符号化処理またはフレーム間符号化処理を行い、圧縮符号化データを生成する。生成された圧縮符号化データは復号化部12に入力される。フレーム間符号化処理においては、参照画像復元部16において、メモリ20から、圧縮符号化データと誤差データとを読み出し、圧縮符号化データの復号及び、誤差データの加算処理を行うことで、参照画像データを復元する。
Step S1: The encoding units 11 and 13 input original image data.
Step S2: The encoding unit 11 performs an intra-frame encoding process or an inter-frame encoding process on the input original image data, and generates compressed encoded data. The generated compressed encoded data is input to the decoding unit 12. In the inter-frame encoding process, the reference image restoration unit 16 reads out the compressed encoded data and the error data from the memory 20, and performs the decoding of the compressed encoded data and the addition process of the error data, so that the reference image Restore the data.

ステップS3:復号化部12は、符号化部11で生成された圧縮符号化データを復号して参照画像データを生成する。
ステップS4:一方、符号化部13は、入力された原画像データに対してフレーム内符号化処理を行って圧縮符号化データを生成する。生成された圧縮符号化データは、メモリ20に書き込まれる。また、圧縮符号化データは、復号化部14に入力される。
Step S3: The decoding unit 12 decodes the compressed encoded data generated by the encoding unit 11 to generate reference image data.
Step S4: On the other hand, the encoding unit 13 performs intra-frame encoding processing on the input original image data to generate compressed encoded data. The generated compressed encoded data is written into the memory 20. The compressed encoded data is input to the decoding unit 14.

ステップS5:復号化部14は、符号化部13より入力された圧縮符号化データを復号して疑似参照画像データを生成する。
ステップS6:誤差計算部15は、復号化部12で生成された参照画像データと、復号化部14で生成された疑似参照画像データとの誤差を計算する。計算によって得られた誤差データは、メモリ20に書き込まれる。
Step S5: The decoding unit 14 decodes the compressed encoded data input from the encoding unit 13 to generate pseudo reference image data.
Step S6: The error calculation unit 15 calculates an error between the reference image data generated by the decoding unit 12 and the pseudo reference image data generated by the decoding unit 14. Error data obtained by the calculation is written in the memory 20.

符号化部11では、量子化による非可逆圧縮処理が実施されるため、復号された参照画像データは、原画像データに比べて画質劣化が生じる。本実施の形態の動画像符号化装置10では、参照画像データを生成する経路とは別経路で、原画像データに対してフレーム内符号化処理を行い、得られた圧縮符号化データをメモリ20に書き込むとともに、復号して疑似参照画像データを生成している。   Since the encoding unit 11 performs irreversible compression processing by quantization, the image quality of the decoded reference image data is deteriorated compared to the original image data. In the moving image encoding apparatus 10 according to the present embodiment, intra-frame encoding processing is performed on original image data in a path different from the path for generating reference image data, and the obtained compressed encoded data is stored in the memory 20. And pseudo reference image data is generated by decoding.

ここで生成される疑似参照画像データは、参照画像データと同様に、原画像データに対して符号化と復号を行うことによって生成されるので、参照画像データと同様の劣化品質となり、誤差計算部15で計算される誤差データを小さくすることができる。   The pseudo reference image data generated here is generated by performing encoding and decoding on the original image data in the same manner as the reference image data, so that the degradation quality is the same as that of the reference image data, and the error calculation unit The error data calculated in 15 can be reduced.

これにより、動画像符号化装置10とメモリ20との間のデータ転送量を低減することができる。
(第2の実施の形態)
以下、第2の実施の形態として、メモリとの間のデータ転送量を低減可能な動画像符号化装置を、より詳細に説明する。
Thereby, the data transfer amount between the moving image encoder 10 and the memory 20 can be reduced.
(Second Embodiment)
Hereinafter, as a second embodiment, a moving picture coding apparatus capable of reducing the amount of data transferred to and from the memory will be described in more detail.

図3は、第2の実施の形態の動画像符号化装置の一例を示す図である。
動画像符号化装置100は、入力画像バッファ110、フレーム間符号化部120、フレーム内符号化部130、参照画像生成部140、参照画像復元部150を有している。
FIG. 3 is a diagram illustrating an example of a moving image encoding apparatus according to the second embodiment.
The moving image coding apparatus 100 includes an input image buffer 110, an interframe coding unit 120, an intraframe coding unit 130, a reference image generation unit 140, and a reference image restoration unit 150.

入力画像バッファ110は、原画像データを保持し、保持した原画像データをフレーム間符号化部120、フレーム内符号化部130、参照画像生成部140に供給する。
原画像データにおいて、フレーム画像のフォーマットとして、たとえば、4:2:0YUVフォーマットが用いられる。フルHDの映像データ(1920×1080ピクセル、30fps)の場合、1秒間あたりのデータ転送量は、1920×1080[ピクセル]×1.5[バイト/ピクセル]×30[fps]=約90MB/sである。
The input image buffer 110 holds the original image data, and supplies the held original image data to the inter-frame encoding unit 120, the intra-frame encoding unit 130, and the reference image generation unit 140.
In the original image data, for example, a 4: 2: 0 YUV format is used as a frame image format. In the case of full HD video data (1920 × 1080 pixels, 30 fps), the data transfer amount per second is 1920 × 1080 [pixels] × 1.5 [bytes / pixel] × 30 [fps] = about 90 MB / s It is.

フレーム画像には、他の画像を参照せずに圧縮符号化処理が行われるイントラ画像と、他の画像を参照して符号化が行われるインター画像とがある。さらに、フレーム画像内の各マクロブロックにおいては、フレーム内の情報のみで圧縮可能なイントラマクロブロックと、他のフレーム画像のブロックとの差分を圧縮するインターマクロブロックとがある。   The frame image includes an intra image in which compression encoding processing is performed without referring to other images, and an inter image in which encoding is performed with reference to other images. Further, in each macroblock in the frame image, there are an intra macroblock that can be compressed only by information in the frame and an inter macroblock that compresses a difference between the blocks of other frame images.

フレーム間符号化部120とフレーム内符号化部130は、図1で示した第1の実施の形態の動画像符号化装置10における符号化部11の機能を有する。
フレーム間符号化部120は、動きベクトル探索メモリ121、動きベクトル探索部122、差分画像生成部123を有している。
The inter-frame coding unit 120 and the intra-frame coding unit 130 have the function of the coding unit 11 in the moving picture coding apparatus 10 according to the first embodiment shown in FIG.
The interframe coding unit 120 includes a motion vector search memory 121, a motion vector search unit 122, and a difference image generation unit 123.

動きベクトル探索メモリ121は、参照画像復元部150で復元された参照画像データのうち、動きベクトル探索の対象となる部分を一時的かつ局所的に保持する。
動きベクトル探索部122は、入力画像バッファ110に保持された原画像データにおける符号化対象のマクロブロックに対して、動きベクトル探索メモリ121に保持された参照画像データを用いて動きベクトルの検出を行う。そして、動きベクトル探索部122は、検出した動きベクトルを用いて動きベクトル探索メモリ121から適切な参照画像データを読み出し、予測画像ブロックを生成し、出力する。
The motion vector search memory 121 temporarily and locally holds a portion to be subjected to motion vector search among the reference image data restored by the reference image restoration unit 150.
The motion vector search unit 122 detects a motion vector for the macroblock to be encoded in the original image data held in the input image buffer 110 using the reference image data held in the motion vector search memory 121. . Then, the motion vector search unit 122 reads appropriate reference image data from the motion vector search memory 121 using the detected motion vector, generates a prediction image block, and outputs it.

差分画像生成部123は、処理対象のマクロブロックと、動きベクトル探索部122で生成された予測画像ブロックとの画素データの差分を求め差分画像ブロックデータとして出力する。   The difference image generation unit 123 obtains a difference between pixel data between the macro block to be processed and the predicted image block generated by the motion vector search unit 122 and outputs the difference as block image block data.

フレーム内符号化部130は、周波数変換部131、量子化部132、エントロピー符号化部133を有する。
周波数変換部131は、処理対象のマクロブロックが、前述のインターマクロブロックの場合には、フレーム間符号化部120の差分画像生成部123から出力される差分画像ブロックデータに対して周波数変換を行う。また、周波数変換部131は、処理対象のマクロブロックがイントラマクロブロックの場合には、入力画像バッファ110に保持された原画像データにおける処理対象のマクロブロックに対して、周波数変換を行う。量子化部132は、周波数変換部131の出力に対して量子化を行う。エントロピー符号化部133は、量子化部132からの圧縮符号化データに対してエントロピー符号化を行い、出力する。
The intraframe coding unit 130 includes a frequency conversion unit 131, a quantization unit 132, and an entropy coding unit 133.
When the macro block to be processed is the above-described inter macro block, the frequency conversion unit 131 performs frequency conversion on the difference image block data output from the difference image generation unit 123 of the inter-frame encoding unit 120. . In addition, when the processing target macroblock is an intra macroblock, the frequency conversion unit 131 performs frequency conversion on the processing target macroblock in the original image data held in the input image buffer 110. The quantization unit 132 performs quantization on the output of the frequency conversion unit 131. The entropy encoding unit 133 performs entropy encoding on the compressed encoded data from the quantization unit 132 and outputs the result.

なお、フレーム内符号化部130での処理の際に用いられる量子化パラメータ値などのパラメータは、圧縮規格に応じて、イントラマクロブロックを処理するときと、インターマクロブロックを処理するときとでは異なるものが設定される。   It should be noted that parameters such as quantization parameter values used for processing in the intra-frame coding unit 130 differ depending on the compression standard when processing an intra macroblock and when processing an inter macroblock. Things are set.

参照画像生成部140は、局所復号化部141、参照画像圧縮符号化部142、参照画像局所復号化部143、誤差計算部144を有する。
局所復号化部141は、図1で示した第1の実施の形態の動画像符号化装置10における復号化部12の機能を有する。局所復号化部141は、インターマクロブロックの処理の際、量子化部132から出力される圧縮符号化データに対し、周波数変換部131、量子化部132での圧縮符号化規格に応じた逆量子化、逆周波数変換を実施して差分画像ブロックデータを再構成する。そして、局所復号化部141は、動きベクトル探索部122より出力される予測画像ブロックの画素データと、差分画像ブロックデータとを足し合わせることで、局所復号画像データを生成する。
The reference image generation unit 140 includes a local decoding unit 141, a reference image compression encoding unit 142, a reference image local decoding unit 143, and an error calculation unit 144.
The local decoding unit 141 has the function of the decoding unit 12 in the video encoding device 10 of the first embodiment shown in FIG. The local decoding unit 141 performs inverse quantization corresponding to the compression coding standards in the frequency conversion unit 131 and the quantization unit 132 on the compression coded data output from the quantization unit 132 during the inter-macroblock processing. The difference image block data is reconstructed by performing conversion and inverse frequency conversion. Then, the local decoding unit 141 generates local decoded image data by adding the pixel data of the predicted image block output from the motion vector search unit 122 and the difference image block data.

イントラマクロブロックの処理の際には、局所復号化部141は、量子化部132からの圧縮符号化データに対して、逆量子化、逆周波数変換を実施して局所復号画像データを生成する。   When processing an intra macroblock, the local decoding unit 141 performs inverse quantization and inverse frequency conversion on the compressed encoded data from the quantization unit 132 to generate local decoded image data.

なお、局所復号画像データは、第1の実施の形態で説明した、参照画像データに対応している。
参照画像圧縮符号化部142は、図1で示した第1の実施の形態の動画像符号化装置10における符号化部13の機能を有する。参照画像圧縮符号化部142は、入力画像バッファ110で保持されている原画像データに対して、フレーム内符号化処理を行う。参照画像圧縮符号化部142は、フレーム内符号化処理における量子化結果である圧縮符号化データを参照画像局所復号化部143に入力する。また、参照画像圧縮符号化部142は、量子化結果をさらにエントロピー符号化して得られた圧縮符号化データを、メモリ200の参照画像メモリ領域201に書き込む。
Note that the locally decoded image data corresponds to the reference image data described in the first embodiment.
The reference image compression encoding unit 142 has the function of the encoding unit 13 in the moving image encoding apparatus 10 according to the first embodiment shown in FIG. The reference image compression encoding unit 142 performs an intra-frame encoding process on the original image data held in the input image buffer 110. The reference image compression encoding unit 142 inputs the compression encoded data, which is the quantization result in the intraframe encoding process, to the reference image local decoding unit 143. Further, the reference image compression encoding unit 142 writes the compression encoded data obtained by further entropy encoding the quantization result in the reference image memory area 201 of the memory 200.

参照画像局所復号化部143は、図1で示した第1の実施の形態の動画像符号化装置10における復号化部14の機能を有する。参照画像局所復号化部143は、参照画像圧縮符号化部142で生成された圧縮符号化データに対して、参照画像圧縮符号化部142で適用されている圧縮規格にしたがって復号を行い、疑似参照画像データを生成する。   The reference image local decoding unit 143 has the function of the decoding unit 14 in the video encoding device 10 of the first embodiment shown in FIG. The reference image local decoding unit 143 decodes the compressed encoded data generated by the reference image compression encoding unit 142 according to the compression standard applied by the reference image compression encoding unit 142, and performs pseudo reference Generate image data.

誤差計算部144は、図1で示した第1の実施の形態の動画像符号化装置10における誤差計算部15の機能を有する。誤差計算部144は、局所復号化部141から出力される局所復号画像データと、疑似参照画像データとの誤差を計算する。そして、誤差計算部144は、計算で得られた誤差データをメモリ200の誤差メモリ領域202に書き込む。   The error calculation unit 144 has the function of the error calculation unit 15 in the moving picture coding apparatus 10 according to the first embodiment shown in FIG. The error calculation unit 144 calculates an error between the locally decoded image data output from the local decoding unit 141 and the pseudo reference image data. Then, the error calculation unit 144 writes the error data obtained by the calculation into the error memory area 202 of the memory 200.

参照画像復元部150は、図1で示した第1の実施の形態の動画像符号化装置10における参照画像復元部16の機能を有し、参照画像復号化部151、誤差加算部152を備えている。   The reference image restoration unit 150 has the function of the reference image restoration unit 16 in the moving picture coding apparatus 10 according to the first embodiment illustrated in FIG. 1, and includes a reference image decoding unit 151 and an error addition unit 152. ing.

参照画像復号化部151は、メモリ200の参照画像メモリ領域201に格納されている圧縮符号化データを読み出して復号する。
誤差加算部152は、メモリ200の誤差メモリ領域202に格納されている誤差データを読み出し、参照画像復号化部151の出力に対して加算し、参照画像データを復元する。復元された参照画像データは、動きベクトル探索メモリ121に書き込まれる。
The reference image decoding unit 151 reads and decodes the compressed encoded data stored in the reference image memory area 201 of the memory 200.
The error adding unit 152 reads error data stored in the error memory area 202 of the memory 200, adds the error data to the output of the reference image decoding unit 151, and restores the reference image data. The restored reference image data is written into the motion vector search memory 121.

以下、動画像符号化装置100の一例の動作を説明する。
入力画像バッファ110に原画像データが取り込まれると、図示しない制御部によって、処理対象のマクロブロックがインターマクロブロックであるかイントラマクロブロックであるかの判定が行われる。
Hereinafter, an example of the operation of the moving image encoding apparatus 100 will be described.
When the original image data is taken into the input image buffer 110, a control unit (not shown) determines whether the macro block to be processed is an inter macro block or an intra macro block.

イントラマクロブロックの場合には、フレーム間符号化部120と参照画像復元部150は動作せず、フレーム内符号化部130にてフレーム内符号化処理が行われる。このとき、処理対象のマクロブロックが、周波数変換部131にて周波数変換され、量子化部132にて量子化され、エントロピー符号化部133にてエントロピー符号化が実施され、圧縮されたビットストリームとして動画像符号化装置100から出力される。   In the case of an intra macroblock, the interframe coding unit 120 and the reference image restoration unit 150 do not operate, and the intraframe coding unit 130 performs an intraframe coding process. At this time, the macroblock to be processed is frequency-converted by the frequency converter 131, quantized by the quantizer 132, entropy-encoded by the entropy encoder 133, and compressed as a bit stream. It is output from the moving picture encoding apparatus 100.

またこのとき、参照画像圧縮符号化部142にて、原画像データの処理対象のマクロブロックに対してフレーム内符号化処理が行われ、生成された圧縮符号化データがメモリ200の参照画像メモリ領域201に書き込まれる。   At this time, the reference image compression coding unit 142 performs intra-frame coding processing on the macroblock to be processed of the original image data, and the generated compression coded data is stored in the reference image memory area of the memory 200. 201 is written.

また、フレーム内符号化部130の量子化部132からの圧縮符号化データは局所復号化部141にて復号され、局所復号画像データとして誤差計算部144に入力される。参照画像圧縮符号化部142で生成された圧縮符号化データは、参照画像局所復号化部143にて復号され、疑似参照画像データとして誤差計算部144に入力される。誤差計算部144は、参照画像データである局所復号画像データと、疑似参照画像データとの誤差を計算し、誤差データをメモリ200の誤差メモリ領域202に記憶する。   Also, the compressed encoded data from the quantization unit 132 of the intra-frame encoding unit 130 is decoded by the local decoding unit 141 and input to the error calculation unit 144 as local decoded image data. The compressed encoded data generated by the reference image compression encoding unit 142 is decoded by the reference image local decoding unit 143 and input to the error calculation unit 144 as pseudo reference image data. The error calculation unit 144 calculates an error between the locally decoded image data that is reference image data and the pseudo reference image data, and stores the error data in the error memory area 202 of the memory 200.

このようなイントラマクロブロックの処理では、参照画像圧縮符号化部142において、フレーム内符号化部130と同じイントラ予測モードと量子化パラメータ値を用いることで、誤差計算部144での誤差データを小さくすることができる。特にフレーム内の全てのマクロブロックがイントラマクロブロックであるイントラフレームでは、誤差データを0とすることができる。なお、イントラ予測とは、処理中のマクロブロックより前に処理された同じフレーム画像内の周辺のマクロブロックの処理結果を予測データとして使うことを意味する。どの周辺マクロブロックのデータをどのように加工して使うかが、イントラ予測モードとして圧縮規格に定められている。   In such intra macroblock processing, the reference image compression encoding unit 142 uses the same intra prediction mode and quantization parameter values as the intra-frame encoding unit 130, thereby reducing the error data in the error calculation unit 144. can do. In particular, error data can be set to 0 in an intra frame in which all macro blocks in the frame are intra macro blocks. Note that intra prediction means that the processing result of the surrounding macroblock in the same frame image processed before the macroblock being processed is used as prediction data. The compression standard defines an intra prediction mode as to which peripheral macroblock data is processed and used.

一方、インターマクロブロックを処理する場合、参照画像復号化部151は、メモリ200の参照画像メモリ領域201に格納されている圧縮符号化データを読み出して復号する。さらに、誤差加算部152は、メモリ200の誤差メモリ領域202に格納されている誤差データを読み出し、参照画像復号化部151の出力に対して加算し、参照画像データを復元する。   On the other hand, when processing an inter macroblock, the reference image decoding unit 151 reads and decodes the compressed encoded data stored in the reference image memory area 201 of the memory 200. Further, the error adding unit 152 reads out the error data stored in the error memory area 202 of the memory 200, adds it to the output of the reference image decoding unit 151, and restores the reference image data.

復元された参照画像データは、動きベクトル探索メモリに保持され、動きベクトル探索部122により読み出される。動きベクトル探索部122は、処理対象のマクロブロックに対して、動きベクトル探索メモリ121に保持された参照画像データを用いて動きベクトルの検出を行う。   The restored reference image data is held in the motion vector search memory and read by the motion vector search unit 122. The motion vector search unit 122 detects a motion vector for the macroblock to be processed using the reference image data held in the motion vector search memory 121.

そして、動きベクトル探索部122は、検出した動きベクトルを用いて動きベクトル探索メモリ121から適切な参照画像データを読み出し、予測画像ブロックを生成し、出力する。差分画像生成部123は、処理対象のマクロブロックと、動きベクトル探索部122で生成された予測画像ブロックとの画素データの差分を求め差分画像ブロックデータとして出力する。差分画像ブロックデータは、周波数変換部131にて周波数変換され、量子化部132にて量子化され、エントロピー符号化部133にてエントロピー符号化が実施され、圧縮されたビットストリームとして動画像符号化装置100から出力される。   Then, the motion vector search unit 122 reads appropriate reference image data from the motion vector search memory 121 using the detected motion vector, generates a prediction image block, and outputs it. The difference image generation unit 123 obtains a difference between pixel data between the macro block to be processed and the predicted image block generated by the motion vector search unit 122 and outputs the difference as block image block data. The difference image block data is frequency-converted by the frequency converter 131, quantized by the quantizer 132, entropy-encoded by the entropy encoder 133, and encoded as a compressed bit stream. Output from the device 100.

このとき、参照画像圧縮符号化部142においても、処理対象のインターマクロブロックに対してフレーム内符号化処理が行われ、生成された圧縮符号化データがメモリ200の参照画像メモリ領域201に書き込まれる。   At this time, also in the reference image compression encoding unit 142, intra-frame encoding processing is performed on the inter macroblock to be processed, and the generated compressed encoded data is written in the reference image memory area 201 of the memory 200. .

また、フレーム内符号化部130の量子化部132からの圧縮符号化データは局所復号化部141にて復号され、差分画像ブロックデータとして再構成される。さらに、局所復号化部141は、動きベクトル探索部122より出力される予測画像ブロックの画素データと、差分画像ブロックデータとを足し合わせることで、局所復号画像データを生成し、誤差計算部144に入力する。参照画像圧縮符号化部142で生成された圧縮符号化データは参照画像局所復号化部143にて復号され、疑似参照画像データとして誤差計算部144に入力される。誤差計算部144は、参照画像データである局所復号画像データと、疑似参照画像データとの誤差データを計算し、その誤差データをメモリ200の誤差メモリ領域202に記憶する。   In addition, the compression encoded data from the quantization unit 132 of the intraframe encoding unit 130 is decoded by the local decoding unit 141 and reconstructed as difference image block data. Furthermore, the local decoding unit 141 generates local decoded image data by adding the pixel data of the predicted image block output from the motion vector search unit 122 and the difference image block data, and sends the decoded data to the error calculation unit 144. input. The compression encoded data generated by the reference image compression encoding unit 142 is decoded by the reference image local decoding unit 143 and input to the error calculation unit 144 as pseudo reference image data. The error calculation unit 144 calculates error data between the locally decoded image data that is reference image data and the pseudo reference image data, and stores the error data in the error memory area 202 of the memory 200.

以上のように、動画像符号化装置100は、参照画像データを生成する経路とは別経路で、原画像データに対してフレーム内符号化処理を行い、得られた圧縮符号化データをメモリ200に書き込む。このとき、H.264/AVCで規定されているフレーム内符号化処理(イントラ圧縮ともいう)を適用すれば、90MB/sの原画像データ入力に対して、5MB/s程度にデータ量を圧縮することが可能である。   As described above, the moving image encoding apparatus 100 performs the intraframe encoding process on the original image data in a path different from the path for generating the reference image data, and stores the obtained compressed encoded data in the memory 200. Write to. At this time, H.C. By applying intra-frame coding processing (also referred to as intra compression) defined in H.264 / AVC, it is possible to compress the data amount to about 5 MB / s with respect to 90 MB / s original image data input. is there.

また、動画像符号化装置100は、参照画像圧縮符号化部142から出力される圧縮符号化データを復号して疑似参照画像データを生成している。ここで生成される疑似参照画像データは、参照画像データと同様に、原画像データに対して符号化と復号を行うことによって生成されるので、参照画像データと同様の劣化品質となり、誤差計算部144にて算出される誤差データを小さくすることができる。これにより、動画像符号化装置100とメモリ200との間のデータ転送量を低減することができ、メモリコストを削減できる。   In addition, the moving image encoding apparatus 100 generates pseudo reference image data by decoding the compression encoded data output from the reference image compression encoding unit 142. The pseudo reference image data generated here is generated by performing encoding and decoding on the original image data in the same manner as the reference image data, so that the degradation quality is the same as that of the reference image data, and the error calculation unit The error data calculated at 144 can be reduced. Thereby, the data transfer amount between the moving image coding apparatus 100 and the memory 200 can be reduced, and the memory cost can be reduced.

ところで、インターマクロブロックを処理する場合、前述のようにフレーム間符号化処理が行われる。このときでも、参照画像圧縮符号化部142はフレーム内符号化処理を実施するため、局所復号化部141と、参照画像局所復号化部143の局所復号結果との間には、異なる符号化処理に起因した誤差が生じる。   By the way, when processing an inter macroblock, the inter-frame encoding process is performed as described above. Even at this time, since the reference image compression encoding unit 142 performs the intra-frame encoding process, a different encoding process is performed between the local decoding unit 141 and the local decoding result of the reference image local decoding unit 143. An error caused by.

以下ではこの誤差を小さくすることで、誤差計算部144からメモリ200に書き込まれる誤差データをより小さくする方法を説明する。
図4は、参照画像圧縮符号化部の量子化パラメータ値を調整する例を示す図である。
Hereinafter, a method for reducing the error data by reducing the error data written from the error calculation unit 144 to the memory 200 will be described.
FIG. 4 is a diagram illustrating an example of adjusting the quantization parameter value of the reference image compression encoding unit.

図4では、図3で示した局所復号化部141、参照画像圧縮符号化部142、参照画像局所復号化部143、誤差計算部144と、参照画像圧縮符号化部142内に設けられたインター・イントラQ値変換用の変換テーブル300を示している。   In FIG. 4, the local decoding unit 141, the reference image compression encoding unit 142, the reference image local decoding unit 143, the error calculation unit 144, and the interface provided in the reference image compression encoding unit 142 shown in FIG. A conversion table 300 for intra Q value conversion is shown.

変換テーブル300では、インデックスとして、フレーム内符号化部130の量子化部132でインターマクロブロックを量子化する際に用いられるインター量子化パラメータ値QP1が設定されている。そして、インター量子化パラメータ値QP1に対応して、参照画像圧縮符号化部142で用いるイントラ量子化パラメータ値QP2が設定されている。変換テーブル300は、動画像符号化装置100が扱う画像サイズ、ターゲットビットレートに応じて動画像符号化処理前に、図示しない制御部によって初期化される。   In the conversion table 300, an inter quantization parameter value QP1 used when the quantization unit 132 of the intra-frame encoding unit 130 quantizes the inter macroblock is set as an index. An intra quantization parameter value QP2 used in the reference image compression encoding unit 142 is set corresponding to the inter quantization parameter value QP1. The conversion table 300 is initialized by a control unit (not shown) before the moving image coding process according to the image size and target bit rate handled by the moving image coding apparatus 100.

また、図4では、参照画像圧縮符号化部142内において、原画像データの処理対象のマクロブロックに対してフレーム内符号化処理を行う符号化処理部142aを図示している。   FIG. 4 illustrates an encoding processing unit 142a that performs intra-frame encoding processing on a macroblock to be processed of original image data in the reference image compression encoding unit 142.

図5は、符号化処理部の一例を示す図である。
符号化処理部142aは、参照画像周波数変換部142−1、参照画像量子化部142−2、セレクタ142−3、参照画像エントロピー符号化部142−4を有している。
FIG. 5 is a diagram illustrating an example of the encoding processing unit.
The encoding processing unit 142a includes a reference image frequency converting unit 142-1, a reference image quantizing unit 142-2, a selector 142-3, and a reference image entropy encoding unit 142-4.

参照画像周波数変換部142−1は、入力画像バッファ110から処理対象のマクロブロックを入力して周波数変換を行う。
参照画像量子化部142−2は、変換テーブル300から供給された大きさの異なる3つの量子化パラメータ値QL,QM,QHを用いて、周波数変換結果に対して量子化を行う。
The reference image frequency conversion unit 142-1 receives the macroblock to be processed from the input image buffer 110 and performs frequency conversion.
The reference image quantization unit 142-2 performs quantization on the frequency conversion result using the three quantization parameter values QL, QM, and QH having different sizes supplied from the conversion table 300.

セレクタ142−3は、各量子化パラメータ値QL,QM,QHを用いた量子化によって得られた圧縮符号化データ(量子化係数CL,CM,CH)の何れかを、誤差計算部144での選択結果に応じて選択し、出力する。   The selector 142-3 selects one of the compression encoded data (quantized coefficients CL, CM, and CH) obtained by quantization using the quantization parameter values QL, QM, and QH in the error calculation unit 144. Select and output according to the selection result.

参照画像エントロピー符号化部142−4は、セレクタ142−3で選択された量子化係数に対してエントロピー符号化を施し、圧縮符号化データを生成し、メモリ200の参照画像メモリ領域201に出力する。   The reference image entropy encoding unit 142-4 performs entropy encoding on the quantized coefficient selected by the selector 142-3, generates compressed encoded data, and outputs the compressed encoded data to the reference image memory area 201 of the memory 200. .

以下、図4、図5で示す各部による量子化パラメータ値の調整方法を説明する。
図3で示したフレーム内符号化部130にてインターマクロブロックが符号化される場合、参照画像圧縮符号化部142は、量子化部132で用いられたインター量子化パラメータ値QP1を取得する。そして、符号化処理部142aは、変換テーブル300のイントラ量子化パラメータ値QP2から、取得したインター量子化パラメータ値QP1に対応する値を、使用する量子化パラメータ値QMとして入力する。
Hereinafter, a method for adjusting the quantization parameter value by each unit shown in FIGS. 4 and 5 will be described.
When the inter macroblock is encoded by the intraframe encoding unit 130 illustrated in FIG. 3, the reference image compression encoding unit 142 acquires the inter quantization parameter value QP <b> 1 used by the quantization unit 132. Then, the encoding processing unit 142a inputs a value corresponding to the acquired inter quantization parameter value QP1 from the intra quantization parameter value QP2 of the conversion table 300 as a quantization parameter value QM to be used.

図4の例では、QP1(Index)=12に対して、QM=10が使用されている。
また、符号化処理部142aは、QMのほかに、QMより大きい量子化パラメータ値QH、QMより小さい量子化パラメータ値QLを用いて、量子化を行い、図5に示すように、3種類の量子化係数CL,CM,CHを生成する。
In the example of FIG. 4, QM = 10 is used for QP1 (Index) = 12.
In addition to the QM, the encoding processing unit 142a performs quantization using a quantization parameter value QH larger than QM and a quantization parameter value QL smaller than QM. As shown in FIG. Quantization coefficients CL, CM, and CH are generated.

参照画像局所復号化部143は、3種類の量子化係数CL,CM,CHで与えられる圧縮符号化データを復号し、3種類の復号画像データL,M,Hを疑似参照画像データとして生成する。   The reference image local decoding unit 143 decodes the compression encoded data given by the three types of quantization coefficients CL, CM, and CH, and generates the three types of decoded image data L, M, and H as pseudo reference image data. .

誤差計算部144は、比較部144aによって、復号画像データL,M,Hを、局所復号化部141から出力される局所復号画像データと比較する。そして、誤差計算部144は、差分が最小となる復号画像データL,M,Hを最適な疑似参照画像であるとして選択し、その差分を誤差データとしてメモリ200に出力する。また、比較部144aは、選択結果を符号化処理部142aに通知する。   The error calculation unit 144 compares the decoded image data L, M, and H with the local decoded image data output from the local decoding unit 141 by the comparison unit 144a. Then, the error calculation unit 144 selects the decoded image data L, M, and H that have the smallest difference as the optimum pseudo reference image, and outputs the difference to the memory 200 as error data. The comparison unit 144a notifies the encoding processing unit 142a of the selection result.

符号化処理部142aのセレクタ142−3は、選択結果に応じて、3種類の量子化係数CL,CM,CHの何れかを選択して、出力する。参照画像エントロピー符号化部142−4は、選択された量子化係数に対してエントロピー符号化を施し、圧縮符号化データを生成し、メモリ20に出力する。   The selector 142-3 of the encoding processing unit 142a selects and outputs any of the three types of quantization coefficients CL, CM, and CH according to the selection result. The reference image entropy encoding unit 142-4 performs entropy encoding on the selected quantized coefficient, generates compressed encoded data, and outputs the compressed encoded data to the memory 20.

たとえば、復号画像データHと局所復号画像データとの差分が最小の場合、符号化処理部142aは、量子化パラメータ値QHを用いた符号化によって生成された量子化係数CMに対して、エントロピー符号化処理を行い、出力する。   For example, when the difference between the decoded image data H and the local decoded image data is minimum, the encoding processing unit 142a applies the entropy code to the quantization coefficient CM generated by encoding using the quantization parameter value QH. Process and output.

また、比較部144aは、選択結果をもとに、変換テーブル300を更新する旨のテーブル更新指示信号を参照画像圧縮符号化部142に通知する。参照画像圧縮符号化部142は、テーブル更新指示信号をもとに、変換テーブル300を更新する。   The comparison unit 144a also notifies the reference image compression encoding unit 142 of a table update instruction signal for updating the conversion table 300 based on the selection result. The reference image compression encoding unit 142 updates the conversion table 300 based on the table update instruction signal.

図6は、更新された変換テーブルの一例を示す図である。
図6に示す例では、インター量子化パラメータ値QP1=12に対して、QH=11が最適であった場合に更新された変換テーブル300aを示している。Index=12に対して、イントラ量子化パラメータ値QP2=11が割り当てられている。
FIG. 6 is a diagram illustrating an example of the updated conversion table.
In the example shown in FIG. 6, the conversion table 300a updated when QH = 11 is optimal with respect to the inter quantization parameter value QP1 = 12. An intra quantization parameter value QP2 = 11 is assigned to Index = 12.

なお、上記の例では、大きさの異なる3種類の量子化パラメータ値を候補として用いたが、2種類、または4種類以上の量子化パラメータ値を候補として用いてもよい。
以上のように、参照画像圧縮符号化部142は、フレーム内符号化部130の量子化部132で用いられるインター量子化パラメータ値QP1を利用して、量子化パラメータ値を決定することで誤差計算部144での誤差データを小さくすることができる。
In the above example, three types of quantization parameter values having different sizes are used as candidates, but two types, or four or more types of quantization parameter values may be used as candidates.
As described above, the reference image compression encoding unit 142 calculates the error by determining the quantization parameter value using the inter quantization parameter value QP1 used by the quantization unit 132 of the intra-frame encoding unit 130. The error data in the unit 144 can be reduced.

また、大きさの異なる複数の量子化パラメータ値を用いて符号化及び復号を行い、複数の復号画像データを生成してその中から最適なものを選択することで、誤差計算部144で生成される誤差データをさらに小さくすることができる。   In addition, encoding and decoding are performed using a plurality of quantization parameter values having different sizes, a plurality of decoded image data are generated, and an optimum one is selected from among the decoded image data. Error data can be further reduced.

また、誤差計算部144での選択結果に応じて変換テーブル300を更新していくことで、変換テーブル300を最適化でき、インター量子化パラメータ値GP1に対して、参照画像圧縮符号化部142で用いる最適な量子化パラメータ値を得ることができる。   In addition, the conversion table 300 can be optimized by updating the conversion table 300 according to the selection result in the error calculation unit 144, and the reference image compression encoding unit 142 performs the inter quantization parameter value GP1. An optimum quantization parameter value to be used can be obtained.

また、参照画像圧縮符号化部142は、複数の量子化係数の中から、選択された最適な量子化係数に対してエントロピー符号化処理を行うことで、符号化におけるハードウェアの負荷を低減することができる。   Further, the reference image compression encoding unit 142 performs entropy encoding processing on the optimal quantization coefficient selected from the plurality of quantization coefficients, thereby reducing the hardware load in encoding. be able to.

図7は、評価式を用いて、参照画像圧縮符号化部の量子化パラメータ値を調整する例を示す図である。
図5に示したものと同様の要素については同一符号を付している。
FIG. 7 is a diagram illustrating an example of adjusting the quantization parameter value of the reference image compression encoding unit using the evaluation formula.
The same elements as those shown in FIG.

符号化処理部142bの参照画像エントロピー符号化部142−5は、図5に示した参照画像エントロピー符号化部142−4と異なり、複数の量子化係数CL,CM,CHに対して、エントロピー符号化を行い、符号化ストリームSL,SM,SHを生成する。   Unlike the reference image entropy encoding unit 142-4 illustrated in FIG. 5, the reference image entropy encoding unit 142-5 of the encoding processing unit 142b performs entropy coding on a plurality of quantization coefficients CL, CM, and CH. To generate encoded streams SL, SM, and SH.

また、誤差計算部144bは、複数の復号画像データL,M,Hと、局所復号画像データとの誤差データYL,YM,YHを生成、出力する。
さらに、図7の例では、評価部310とセレクタ311が設けられている。
The error calculation unit 144b generates and outputs error data YL, YM, and YH between the plurality of decoded image data L, M, and H and the local decoded image data.
Further, in the example of FIG. 7, an evaluation unit 310 and a selector 311 are provided.

評価部310は、ストリーム量(符号化データ量)XL,XM,XHと、誤差データYL,YM,YHを入力して、(XL,YL)、(XM,YM)、(XH,YH)の3組に対して、データ転送コスト(=ストリーム量×重み係数+誤差データ)を求める。評価部310は、データ転送コストが最小となる組を評価結果として出力する。また、評価部310は、その組が示す符号化ストリームを生成したときに用いた量子化パラメータ値で、変換テーブル300を最適化させる旨のテーブル更新指示信号を出力する。   The evaluation unit 310 receives stream amounts (encoded data amounts) XL, XM, and XH and error data YL, YM, and YH, and inputs (XL, YL), (XM, YM), and (XH, YH). Data transfer costs (= stream amount × weighting coefficient + error data) are obtained for the three sets. The evaluation unit 310 outputs a set that minimizes the data transfer cost as an evaluation result. Moreover, the evaluation unit 310 outputs a table update instruction signal for optimizing the conversion table 300 with the quantization parameter value used when the encoded stream indicated by the set is generated.

セレクタ311は、評価結果で指定された組の誤差データを選択して出力する。
上記のような方法によれば、たとえば、符号化ストリームSHについてのストリーム量XHと誤差データYHの組が、データ転送コストが最小となった場合には、セレクタ142−6は、符号化ストリームSHを圧縮符号化データとしてメモリ200に出力する。また、セレクタ311は、誤差データYHを誤差データとしてメモリ200に出力する。また、テーブル更新指示信号によって、QH=11が、インター量子化パラメータ値QP1=12に対して最適なものであるとして、図6に示すように変換テーブル300aが更新される。
The selector 311 selects and outputs a set of error data designated by the evaluation result.
According to the method as described above, for example, when the combination of the stream amount XH and the error data YH for the encoded stream SH minimizes the data transfer cost, the selector 142-6 allows the encoded stream SH to Are output to the memory 200 as compressed encoded data. The selector 311 outputs the error data YH to the memory 200 as error data. Further, the conversion table 300a is updated as shown in FIG. 6 by assuming that QH = 11 is optimal for the inter quantization parameter value QP1 = 12, according to the table update instruction signal.

以上のような方法によっても、メモリ200に出力される誤差データを小さくできるとともに、メモリ200の参照画像メモリ領域201に書き込む圧縮符号化データを含めたトータルなデータ転送コストを削減できる。   Also by the method as described above, the error data output to the memory 200 can be reduced, and the total data transfer cost including the compressed encoded data written in the reference image memory area 201 of the memory 200 can be reduced.

以上、実施の形態に基づき、本発明の動画像符号化装置及び動画像符号化方法の一観点について説明してきたが、これらは一例にすぎず、上記の記載に限定されるものではない。   As mentioned above, although one viewpoint of the moving image encoding device and the moving image encoding method of the present invention has been described based on the embodiments, these are merely examples, and are not limited to the above description.

以上説明した複数の実施の形態に関し、さらに以下の付記を開示する。
(付記1) 原画像データを符号化し、第1の圧縮符号化データを生成する第1の符号化部と、
前記第1の圧縮符号化データを復号して参照画像データを生成する第1の復号化部と、
前記原画像データをフレーム内符号化して第2の圧縮符号化データをメモリに出力する第2の符号化部と、
前記第2の圧縮符号化データを復号して疑似参照画像データを生成する第2の復号化部と、
前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力する誤差計算部と、
を有することを特徴とする動画像符号化装置。
The following additional notes are further disclosed with respect to the plurality of embodiments described above.
(Supplementary note 1) a first encoding unit that encodes original image data and generates first compressed encoded data;
A first decoding unit that generates reference image data by decoding the first compression-encoded data;
A second encoding unit for intra-encoding the original image data and outputting second compressed encoded data to a memory;
A second decoding unit that decodes the second compressed encoded data to generate pseudo reference image data;
Generating error data between the reference image data and the pseudo reference image data, and outputting the error data to the memory;
A moving picture encoding apparatus comprising:

(付記2) 前記メモリから前記第2の圧縮符号化データと前記誤差データを読み出し、前記第2の圧縮符号化データを復号して、復号結果に前記誤差データを加算することで、前記参照画像データを復元する参照画像復元部を、有することを特徴とする付記1記載の動画像符号化装置。   (Supplementary Note 2) The second compression-encoded data and the error data are read from the memory, the second compression-encoded data is decoded, and the error data is added to a decoding result, whereby the reference image The moving picture coding apparatus according to supplementary note 1, further comprising a reference picture restoration unit for restoring data.

(付記3) 前記第2の符号化部は、前記第1の符号化部における量子化で用いられる第1の量子化パラメータ値をもとに、前記フレーム内符号化時に用いる第2の量子化パラメータ値を決定することを特徴とする付記1または2に記載の動画像符号化装置。   (Supplementary Note 3) The second encoding unit uses the first quantization parameter value used in the quantization in the first encoding unit, and the second quantization used in the intra-frame encoding The moving image encoding apparatus according to appendix 1 or 2, wherein a parameter value is determined.

(付記4) 前記第2の符号化部は、大きさの異なる複数の前記第2の量子化パラメータ値をもとに、複数の前記第2の圧縮符号化データを生成し、
前記第2の復号化部は、複数の前記第2の圧縮符号化データを復号して複数の前記疑似参照画像データを生成し、
前記誤差計算部は、前記参照画像データとの前記誤差データが最小となる前記疑似参照画像データを選択し、最小の前記誤差データを前記メモリに出力することを特徴とする付記3記載の動画像符号化装置。
(Supplementary Note 4) The second encoding unit generates a plurality of the second compressed encoded data based on the plurality of second quantization parameter values having different sizes,
The second decoding unit decodes a plurality of the second compression-encoded data to generate a plurality of the pseudo reference image data,
The moving image according to claim 3, wherein the error calculation unit selects the pseudo reference image data that minimizes the error data with respect to the reference image data, and outputs the minimum error data to the memory. Encoding device.

(付記5) 前記第2の符号化部は、複数の前記第2の量子化パラメータ値を用いた複数の量子化結果のうち、前記誤差データが最小となる前記疑似参照画像データを生成する際に用いられた前記第2の量子化パラメータ値による前記量子化結果に対してエントロピー符号化を行い、前記メモリに出力する前記第2の圧縮符号化データを生成することを特徴とする付記4記載の動画像符号化装置。   (Supplementary Note 5) When the second encoding unit generates the pseudo reference image data that minimizes the error data among a plurality of quantization results using the plurality of second quantization parameter values. The entropy encoding is performed on the quantization result based on the second quantization parameter value used in the above, and the second compressed encoded data to be output to the memory is generated. Video encoding device.

(付記6) 前記第2の符号化部は、前記第1の量子化パラメータから前記第2の量子化パラメータを求める変換テーブルを有し、前記誤差計算部での前記疑似参照画像の選択結果に応じて、前記変換テーブルを更新することを特徴とする付記4または5に記載の動画像符号化装置。   (Supplementary Note 6) The second encoding unit includes a conversion table for obtaining the second quantization parameter from the first quantization parameter, and includes a selection result of the pseudo reference image in the error calculation unit. The moving image encoding apparatus according to appendix 4 or 5, wherein the conversion table is updated accordingly.

(付記7) 大きさの異なる複数の前記第2の量子化パラメータ値をもとに生成された複数の前記圧縮符号化データの符号化データ量と前記誤差データとをもとに、データ転送コストが最小となる前記圧縮符号化データを求め、前記第2の符号化部から前記メモリに出力させる評価部を有することを特徴とする付記3記載の動画像符号化装置。   (Supplementary Note 7) Data transfer cost based on encoded data amounts and error data of a plurality of compressed encoded data generated based on a plurality of second quantization parameter values having different sizes The moving picture coding apparatus according to claim 3, further comprising: an evaluation unit that obtains the compression-coded data that minimizes the output and outputs the compressed coding data to the memory from the second coding unit.

(付記8) 第1の符号化部が、原画像データを符号化して第1の圧縮符号化データを生成し、
第1の復号化部が、前記第1の圧縮符号化データを復号して参照画像データを生成し、
第2の符号化部が、前記原画像データをフレーム内符号化して第2の圧縮符号化データをメモリに出力し、
第2の復号化部が、前記第2の圧縮符号化データを復号して疑似参照画像データを生成し、
誤差計算部が、前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力することを特徴とする動画像符号化方法。
(Supplementary Note 8) A first encoding unit generates original compressed encoded data by encoding original image data,
A first decoding unit that decodes the first compressed encoded data to generate reference image data;
A second encoding unit performs intra-frame encoding on the original image data and outputs second compressed encoded data to a memory;
A second decoding unit that generates pseudo reference image data by decoding the second compressed encoded data;
An error calculation unit generates error data between the reference image data and the pseudo reference image data, and outputs the error data to the memory.

10 動画像符号化装置
11,13 符号化部
12,14 復号化部
15 誤差計算部
16 参照画像復元部
20 メモリ
DESCRIPTION OF SYMBOLS 10 Moving image encoder 11, 13 Encoding part 12, 14 Decoding part 15 Error calculation part 16 Reference image decompression | restoration part 20 Memory

Claims (6)

原画像データを符号化し、第1の圧縮符号化データを生成する第1の符号化部と、
前記第1の圧縮符号化データを復号して参照画像データを生成する第1の復号化部と、
前記原画像データをフレーム内符号化して第2の圧縮符号化データをメモリに出力する第2の符号化部と、
前記第2の圧縮符号化データを復号して疑似参照画像データを生成する第2の復号化部と、
前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力する誤差計算部と、
を有することを特徴とする動画像符号化装置。
A first encoding unit that encodes original image data and generates first compressed encoded data;
A first decoding unit that generates reference image data by decoding the first compression-encoded data;
A second encoding unit for intra-encoding the original image data and outputting second compressed encoded data to a memory;
A second decoding unit that decodes the second compressed encoded data to generate pseudo reference image data;
Generating error data between the reference image data and the pseudo reference image data, and outputting the error data to the memory;
A moving picture encoding apparatus comprising:
前記第2の符号化部は、前記第1の符号化部における量子化で用いられる第1の量子化パラメータ値をもとに、前記フレーム内符号化時に用いる第2の量子化パラメータ値を決定することを特徴とする請求項1記載の動画像符号化装置。   The second encoding unit determines a second quantization parameter value to be used at the time of the intra-frame encoding based on a first quantization parameter value used in quantization in the first encoding unit. The moving picture coding apparatus according to claim 1, wherein: 前記第2の符号化部は、大きさの異なる複数の前記第2の量子化パラメータ値をもとに、複数の前記第2の圧縮符号化データを生成し、
前記第2の復号化部は、複数の前記第2の圧縮符号化データを復号して複数の前記疑似参照画像データを生成し、
前記誤差計算部は、前記参照画像データとの前記誤差データが最小となる前記疑似参照画像データを選択し、最小の前記誤差データを前記メモリに出力することを特徴とする請求項2記載の動画像符号化装置。
The second encoding unit generates a plurality of second compressed encoded data based on the plurality of second quantization parameter values having different sizes,
The second decoding unit decodes a plurality of the second compression-encoded data to generate a plurality of the pseudo reference image data,
The moving image according to claim 2, wherein the error calculation unit selects the pseudo reference image data that minimizes the error data with respect to the reference image data, and outputs the minimum error data to the memory. Image encoding device.
前記第2の符号化部は、複数の前記第2の量子化パラメータ値を用いた複数の量子化結果のうち、前記誤差データが最小となる前記疑似参照画像データを生成する際に用いられた前記第2の量子化パラメータ値による前記量子化結果に対してエントロピー符号化を行い、前記メモリに出力する前記第2の圧縮符号化データを生成することを特徴とする請求項3記載の動画像符号化装置。   The second encoding unit is used when generating the pseudo reference image data that minimizes the error data among a plurality of quantization results using the plurality of second quantization parameter values. 4. The moving image according to claim 3, wherein entropy encoding is performed on the quantization result based on the second quantization parameter value to generate the second compressed encoded data to be output to the memory. 5. Encoding device. 前記第2の符号化部は、前記第1の量子化パラメータから前記第2の量子化パラメータを求める変換テーブルを有し、前記誤差計算部での前記疑似参照画像の選択結果に応じて、前記変換テーブルを更新することを特徴とする請求項3または4に記載の動画像符号化装置。   The second encoding unit includes a conversion table for obtaining the second quantization parameter from the first quantization parameter, and according to a selection result of the pseudo reference image in the error calculation unit, 5. The moving picture coding apparatus according to claim 3, wherein the conversion table is updated. 第1の符号化部が、原画像データを符号化して第1の圧縮符号化データを生成し、
第1の復号化部が、前記第1の圧縮符号化データを復号して参照画像データを生成し、
第2の符号化部が、前記原画像データをフレーム内符号化して第2の圧縮符号化データをメモリに出力し、
第2の復号化部が、前記第2の圧縮符号化データを復号して疑似参照画像データを生成し、
誤差計算部が、前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力することを特徴とする動画像符号化方法。
A first encoding unit that encodes the original image data to generate first compressed encoded data;
A first decoding unit that decodes the first compressed encoded data to generate reference image data;
A second encoding unit performs intra-frame encoding on the original image data and outputs second compressed encoded data to a memory;
A second decoding unit that generates pseudo reference image data by decoding the second compressed encoded data;
An error calculation unit generates error data between the reference image data and the pseudo reference image data, and outputs the error data to the memory.
JP2010154213A 2010-07-06 2010-07-06 Moving picture coding apparatus and moving picture coding method Expired - Fee Related JP5447239B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010154213A JP5447239B2 (en) 2010-07-06 2010-07-06 Moving picture coding apparatus and moving picture coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010154213A JP5447239B2 (en) 2010-07-06 2010-07-06 Moving picture coding apparatus and moving picture coding method

Publications (2)

Publication Number Publication Date
JP2012019288A JP2012019288A (en) 2012-01-26
JP5447239B2 true JP5447239B2 (en) 2014-03-19

Family

ID=45604222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010154213A Expired - Fee Related JP5447239B2 (en) 2010-07-06 2010-07-06 Moving picture coding apparatus and moving picture coding method

Country Status (1)

Country Link
JP (1) JP5447239B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5969914B2 (en) * 2012-12-20 2016-08-17 株式会社日立情報通信エンジニアリング Video compression / decompression device
JP2017055275A (en) 2015-09-10 2017-03-16 株式会社東芝 Decoder and video transmission system
JP6985899B2 (en) * 2017-11-15 2021-12-22 キヤノン株式会社 Image coding device and its control method and program
US12184861B2 (en) * 2019-05-10 2024-12-31 Nippon Telegraph And Telephone Corporation Encoding apparatus, encoding method, and program
CN115861052A (en) * 2022-11-09 2023-03-28 中汽创智科技有限公司 A downsampling method, device, equipment and storage medium

Also Published As

Publication number Publication date
JP2012019288A (en) 2012-01-26

Similar Documents

Publication Publication Date Title
KR100813963B1 (en) Lossless encoding and decoding method for video
JP5513584B2 (en) Method and apparatus for intra-predictive video decoding
US20140254660A1 (en) Video encoder, method of detecting scene change and method of controlling video encoder
JP2012034213A (en) Image processing device, image processing system and image processing method
JP4501631B2 (en) Image coding apparatus and method, computer program for image coding apparatus, and portable terminal
CN102986211A (en) Rate control in video coding
JP2005510150A (en) Video decoding with reduced complexity using larger pixel grid motion compensation
KR101615643B1 (en) Compression of pictures
JP5447239B2 (en) Moving picture coding apparatus and moving picture coding method
JPWO2009008177A1 (en) Transcoder, transcoding method, decoder, and decoding method
CN102187678A (en) Encoding method and encoding device for compression encoding of moving images
CN1825976B (en) Method and device for decoding digital image sequence
JP2011250400A (en) Moving picture encoding apparatus and moving picture encoding method
CN100355290C (en) Data processing device and method of same, and encoding device and decoding device
JP5598199B2 (en) Video encoding device
JP2007013298A (en) Image coding apparatus
CN107257459B (en) Moving picture predictive decoding device and moving picture predictive decoding method
JP5388977B2 (en) Image encoding method, image decoding method, image encoding device, image decoding device, and program
JP2007067526A (en) Image processing device
JP2008289105A (en) Image processing device and imaging apparatus equipped therewith
KR20080013843A (en) Lossless encoding and decoding method for video
JP2005348207A (en) Encoding device and program
JP2020058075A (en) Video predictive encoding device, video predictive decoding device, video predictive encoding method, video predictive decoding method, and recording medium
JP4894793B2 (en) Decoding method, decoder and decoding apparatus
JP4561701B2 (en) Video encoding device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131216

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees