JP5447239B2 - Moving picture coding apparatus and moving picture coding method - Google Patents
Moving picture coding apparatus and moving picture coding method Download PDFInfo
- Publication number
- JP5447239B2 JP5447239B2 JP2010154213A JP2010154213A JP5447239B2 JP 5447239 B2 JP5447239 B2 JP 5447239B2 JP 2010154213 A JP2010154213 A JP 2010154213A JP 2010154213 A JP2010154213 A JP 2010154213A JP 5447239 B2 JP5447239 B2 JP 5447239B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- reference image
- encoding
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、動画像符号化装置及び動画像符号化方法に関する。 The present invention relates to a moving image encoding apparatus and a moving image encoding method.
動画像情報をデジタル信号として取り扱う際の符号フォーマットとして、国際標準規格であるMPEG(Moving Picture Experts Group)−2、H.264/AVC(Advanced Video Coding)などが用いられている。 MPEG (Moving Picture Experts Group) -2, which is an international standard, H.264, and H.264 are code formats for handling moving image information as digital signals. H.264 / AVC (Advanced Video Coding) is used.
近年、H.264/AVCにより、フルHD(High Definition)映像データを圧縮符号化する技術が、デジタルビデオカメラからデジタルスチルカメラまで普及し、さらに携帯電話のムービー撮影機能にまで及んでいる。また、据え置き型の装置では、H.264/AVC圧縮方式により、Blu−ray(登録商標)ディスクレコーダなど高密度大容量の記憶媒体にフルHD映像データを録画する装置も登場している。 In recent years, H.C. A technology for compressing and encoding full HD (High Definition) video data using H.264 / AVC has spread from a digital video camera to a digital still camera, and further to a movie shooting function of a mobile phone. In a stationary apparatus, H.264 Devices that record full HD video data on a high-density and large-capacity storage medium such as a Blu-ray (registered trademark) disk recorder using the H.264 / AVC compression method have also appeared.
MPEG−2やH.264/AVCなどの動画像圧縮処理では、各フレーム画像において、圧縮の処理単位となる矩形領域(マクロブロック)に対して、参照画像と呼ばれる時間的に近接した画像から絵柄の似た矩形領域が探索される。そして、2つの矩形領域間の空間的な位置の差分が動きベクトルデータとして、また、これらの画像の残差データが係数データとして圧縮符号化される。 MPEG-2 and H.264 In a moving image compression process such as H.264 / AVC, in each frame image, a rectangular area having a similar pattern from a temporally close image called a reference image is referred to as a rectangular area (macroblock) serving as a compression processing unit. Explored. Then, the spatial position difference between the two rectangular areas is compression-coded as motion vector data, and the residual data of these images is compression-coded as coefficient data.
この圧縮符号化の過程において、動画像圧縮符号化装置は、参照画像などの画像データをメモリとやり取りするため、フルHD画像など高精細でフレーム画像単位のデータ量が大きくなると動画像符号化装置とメモリ間のデータ転送量が増大する。 In this compression coding process, the moving image compression coding device exchanges image data such as reference images with the memory. Therefore, when the amount of data such as a full HD image and a high-definition frame image increases, the moving image coding device The amount of data transferred between the memory and the memory increases.
そこで、従来、原画像入力をバッファリングしながら動画像符号化処理部に原画像を供給するとともに、参照画像のメモリへの書き込み時に縮小処理を行い、縮小画像とそれに伴う誤差データをメモリに記憶させる技術が用いられてきている。 Therefore, conventionally, the original image input is supplied to the moving image encoding processing unit while buffering the original image input, and the reduction process is performed when the reference image is written to the memory, and the reduced image and the error data associated therewith are stored in the memory. Technology has been used.
この技術によれば、動き検出で用いるために生成した参照画像をメモリに書き込む前に縮小処理を行うことで、書き込みと読み出し時における動画像符号化装置とメモリ間のデータ転送量が低減される。メモリから読み出された参照画像は拡大され、メモリから読み出される誤差データが加算されることにより、元の参照画像に復元され、動き検出で用いられる。 According to this technique, by performing a reduction process before writing a reference image generated for use in motion detection into a memory, the amount of data transferred between the moving picture coding apparatus and the memory at the time of writing and reading is reduced. . The reference image read from the memory is enlarged, and error data read from the memory is added to restore the original reference image, which is used for motion detection.
しかし、参照画像を縮小してメモリに記憶する技術では、データ転送量を削減するために参照画像の縮小率を大きくすればするほど、誤差データが大きくなる。誤差データも参照画像を復元するためにメモリに書き込むため、誤差データが大きくなるとデータ転送量の削減に限界が生じ、十分にデータ転送量を低減できないという問題があった。 However, in the technique of reducing the reference image and storing it in the memory, the error data increases as the reduction rate of the reference image is increased in order to reduce the data transfer amount. Since the error data is also written in the memory to restore the reference image, there is a problem that if the error data becomes large, the reduction of the data transfer amount is limited, and the data transfer amount cannot be reduced sufficiently.
発明の一観点によれば、原画像データを符号化し、第1の圧縮符号化データを生成する第1の符号化部と、前記第1の圧縮符号化データを復号して参照画像データを生成する第1の復号化部と、前記原画像データをフレーム内符号化して第2の圧縮符号化データをメモリに出力する第2の符号化部と、前記第2の圧縮符号化データを復号して疑似参照画像データを生成する第2の復号化部と、前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力する誤差計算部と、を備えた動画像符号化装置が提供される。 According to one aspect of the invention, a first encoding unit that encodes original image data and generates first compressed encoded data, and generates reference image data by decoding the first compressed encoded data A first decoding unit that performs intra-frame encoding of the original image data and outputs second compressed encoded data to a memory; and decodes the second compressed encoded data A moving image code comprising: a second decoding unit that generates pseudo reference image data; and an error calculation unit that generates error data between the reference image data and the pseudo reference image data and outputs the error data to the memory A device is provided.
開示の動画像符号化装置及び動画像符号化方法によれば、動画像符号化装置とメモリとの間のデータ転送量を低減できる。 According to the disclosed moving image encoding device and moving image encoding method, the data transfer amount between the moving image encoding device and the memory can be reduced.
以下、本発明の動画像符号化装置及び動画像符号化方法の実施の形態を、図面を参照しつつ説明する。
(第1の実施の形態)
図1は、第1の実施の形態の動画像符号化装置の一例を示す図である。
Embodiments of a moving image encoding apparatus and a moving image encoding method of the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram illustrating an example of a moving image encoding apparatus according to the first embodiment.
第1の実施の形態の動画像符号化装置10は、符号化部11、復号化部12、符号化部13、復号化部14、誤差計算部15、参照画像復元部16を有している。
符号化部11は、入力される原画像データを符号化し、圧縮符号化データを生成する。符号化部11は、原画像データのうち、フレーム間符号化処理を行わない基準となるフレーム画像に対してはフレーム内符号化処理を行い、それ以外のフレーム画像に対してはフレーム間符号化処理を行う。符号化部11は、生成した圧縮符号化データを、参照画像データを生成するために復号化部12に入力する。また、符号化部11は、生成した圧縮符号化データを動画像符号化装置10から出力する。
The moving
The
なお、復号化部12に入力する圧縮符号化データは、たとえば、エントロピー符号化前の量子化係数であるが、エントロピー符号化されたデータとしてもよい。
復号化部12は、圧縮符号化データを復号して参照画像データを生成する。
The compressed encoded data input to the
The
符号化部13は、原画像データに対してフレーム内符号化処理を行って圧縮符号化データを生成し、メモリ20に出力する。さらに、符号化部13は、圧縮符号化データを復号化部14に入力する。
The
なお、復号化部14に入力する圧縮符号化データは、たとえば、エントロピー符号化前の量子化係数であるが、エントロピー符号化されたデータとしてもよい。メモリ20に出力するデータについても同様である。
Note that the compression encoded data input to the
復号化部14は、符号化部13より入力された圧縮符号化データを復号して疑似参照画像データを生成する。
誤差計算部15は、復号化部12で生成された参照画像データと、復号化部14で生成された疑似参照画像データとの誤差データを生成し、メモリ20に出力する。
The
The
参照画像復元部16は、メモリ20から圧縮符号化データと誤差データとを読み出す。そして、参照画像復元部16は、圧縮符号化データを復号し、復号結果に対して誤差データの加算処理を行って、参照画像データを復元し、復元した参照画像データを符号化部11に入力する。
The reference
なお、メモリ20は、動画像符号化装置10内にあってもよい。
以下、動画像符号化装置10の動作を説明する。
図2は、動画像符号化装置の処理の流れを示すフローチャートである。
Note that the
Hereinafter, the operation of the moving image encoding
FIG. 2 is a flowchart showing a flow of processing of the moving image encoding apparatus.
ステップS1:符号化部11,13は、原画像データを入力する。
ステップS2:符号化部11は、入力された原画像データに対して、フレーム内符号化処理またはフレーム間符号化処理を行い、圧縮符号化データを生成する。生成された圧縮符号化データは復号化部12に入力される。フレーム間符号化処理においては、参照画像復元部16において、メモリ20から、圧縮符号化データと誤差データとを読み出し、圧縮符号化データの復号及び、誤差データの加算処理を行うことで、参照画像データを復元する。
Step S1: The
Step S2: The
ステップS3:復号化部12は、符号化部11で生成された圧縮符号化データを復号して参照画像データを生成する。
ステップS4:一方、符号化部13は、入力された原画像データに対してフレーム内符号化処理を行って圧縮符号化データを生成する。生成された圧縮符号化データは、メモリ20に書き込まれる。また、圧縮符号化データは、復号化部14に入力される。
Step S3: The
Step S4: On the other hand, the
ステップS5:復号化部14は、符号化部13より入力された圧縮符号化データを復号して疑似参照画像データを生成する。
ステップS6:誤差計算部15は、復号化部12で生成された参照画像データと、復号化部14で生成された疑似参照画像データとの誤差を計算する。計算によって得られた誤差データは、メモリ20に書き込まれる。
Step S5: The
Step S6: The
符号化部11では、量子化による非可逆圧縮処理が実施されるため、復号された参照画像データは、原画像データに比べて画質劣化が生じる。本実施の形態の動画像符号化装置10では、参照画像データを生成する経路とは別経路で、原画像データに対してフレーム内符号化処理を行い、得られた圧縮符号化データをメモリ20に書き込むとともに、復号して疑似参照画像データを生成している。
Since the
ここで生成される疑似参照画像データは、参照画像データと同様に、原画像データに対して符号化と復号を行うことによって生成されるので、参照画像データと同様の劣化品質となり、誤差計算部15で計算される誤差データを小さくすることができる。 The pseudo reference image data generated here is generated by performing encoding and decoding on the original image data in the same manner as the reference image data, so that the degradation quality is the same as that of the reference image data, and the error calculation unit The error data calculated in 15 can be reduced.
これにより、動画像符号化装置10とメモリ20との間のデータ転送量を低減することができる。
(第2の実施の形態)
以下、第2の実施の形態として、メモリとの間のデータ転送量を低減可能な動画像符号化装置を、より詳細に説明する。
Thereby, the data transfer amount between the
(Second Embodiment)
Hereinafter, as a second embodiment, a moving picture coding apparatus capable of reducing the amount of data transferred to and from the memory will be described in more detail.
図3は、第2の実施の形態の動画像符号化装置の一例を示す図である。
動画像符号化装置100は、入力画像バッファ110、フレーム間符号化部120、フレーム内符号化部130、参照画像生成部140、参照画像復元部150を有している。
FIG. 3 is a diagram illustrating an example of a moving image encoding apparatus according to the second embodiment.
The moving
入力画像バッファ110は、原画像データを保持し、保持した原画像データをフレーム間符号化部120、フレーム内符号化部130、参照画像生成部140に供給する。
原画像データにおいて、フレーム画像のフォーマットとして、たとえば、4:2:0YUVフォーマットが用いられる。フルHDの映像データ(1920×1080ピクセル、30fps)の場合、1秒間あたりのデータ転送量は、1920×1080[ピクセル]×1.5[バイト/ピクセル]×30[fps]=約90MB/sである。
The
In the original image data, for example, a 4: 2: 0 YUV format is used as a frame image format. In the case of full HD video data (1920 × 1080 pixels, 30 fps), the data transfer amount per second is 1920 × 1080 [pixels] × 1.5 [bytes / pixel] × 30 [fps] = about 90 MB / s It is.
フレーム画像には、他の画像を参照せずに圧縮符号化処理が行われるイントラ画像と、他の画像を参照して符号化が行われるインター画像とがある。さらに、フレーム画像内の各マクロブロックにおいては、フレーム内の情報のみで圧縮可能なイントラマクロブロックと、他のフレーム画像のブロックとの差分を圧縮するインターマクロブロックとがある。 The frame image includes an intra image in which compression encoding processing is performed without referring to other images, and an inter image in which encoding is performed with reference to other images. Further, in each macroblock in the frame image, there are an intra macroblock that can be compressed only by information in the frame and an inter macroblock that compresses a difference between the blocks of other frame images.
フレーム間符号化部120とフレーム内符号化部130は、図1で示した第1の実施の形態の動画像符号化装置10における符号化部11の機能を有する。
フレーム間符号化部120は、動きベクトル探索メモリ121、動きベクトル探索部122、差分画像生成部123を有している。
The
The
動きベクトル探索メモリ121は、参照画像復元部150で復元された参照画像データのうち、動きベクトル探索の対象となる部分を一時的かつ局所的に保持する。
動きベクトル探索部122は、入力画像バッファ110に保持された原画像データにおける符号化対象のマクロブロックに対して、動きベクトル探索メモリ121に保持された参照画像データを用いて動きベクトルの検出を行う。そして、動きベクトル探索部122は、検出した動きベクトルを用いて動きベクトル探索メモリ121から適切な参照画像データを読み出し、予測画像ブロックを生成し、出力する。
The motion
The motion
差分画像生成部123は、処理対象のマクロブロックと、動きベクトル探索部122で生成された予測画像ブロックとの画素データの差分を求め差分画像ブロックデータとして出力する。
The difference
フレーム内符号化部130は、周波数変換部131、量子化部132、エントロピー符号化部133を有する。
周波数変換部131は、処理対象のマクロブロックが、前述のインターマクロブロックの場合には、フレーム間符号化部120の差分画像生成部123から出力される差分画像ブロックデータに対して周波数変換を行う。また、周波数変換部131は、処理対象のマクロブロックがイントラマクロブロックの場合には、入力画像バッファ110に保持された原画像データにおける処理対象のマクロブロックに対して、周波数変換を行う。量子化部132は、周波数変換部131の出力に対して量子化を行う。エントロピー符号化部133は、量子化部132からの圧縮符号化データに対してエントロピー符号化を行い、出力する。
The intraframe coding unit 130 includes a
When the macro block to be processed is the above-described inter macro block, the
なお、フレーム内符号化部130での処理の際に用いられる量子化パラメータ値などのパラメータは、圧縮規格に応じて、イントラマクロブロックを処理するときと、インターマクロブロックを処理するときとでは異なるものが設定される。 It should be noted that parameters such as quantization parameter values used for processing in the intra-frame coding unit 130 differ depending on the compression standard when processing an intra macroblock and when processing an inter macroblock. Things are set.
参照画像生成部140は、局所復号化部141、参照画像圧縮符号化部142、参照画像局所復号化部143、誤差計算部144を有する。
局所復号化部141は、図1で示した第1の実施の形態の動画像符号化装置10における復号化部12の機能を有する。局所復号化部141は、インターマクロブロックの処理の際、量子化部132から出力される圧縮符号化データに対し、周波数変換部131、量子化部132での圧縮符号化規格に応じた逆量子化、逆周波数変換を実施して差分画像ブロックデータを再構成する。そして、局所復号化部141は、動きベクトル探索部122より出力される予測画像ブロックの画素データと、差分画像ブロックデータとを足し合わせることで、局所復号画像データを生成する。
The reference
The
イントラマクロブロックの処理の際には、局所復号化部141は、量子化部132からの圧縮符号化データに対して、逆量子化、逆周波数変換を実施して局所復号画像データを生成する。
When processing an intra macroblock, the
なお、局所復号画像データは、第1の実施の形態で説明した、参照画像データに対応している。
参照画像圧縮符号化部142は、図1で示した第1の実施の形態の動画像符号化装置10における符号化部13の機能を有する。参照画像圧縮符号化部142は、入力画像バッファ110で保持されている原画像データに対して、フレーム内符号化処理を行う。参照画像圧縮符号化部142は、フレーム内符号化処理における量子化結果である圧縮符号化データを参照画像局所復号化部143に入力する。また、参照画像圧縮符号化部142は、量子化結果をさらにエントロピー符号化して得られた圧縮符号化データを、メモリ200の参照画像メモリ領域201に書き込む。
Note that the locally decoded image data corresponds to the reference image data described in the first embodiment.
The reference image
参照画像局所復号化部143は、図1で示した第1の実施の形態の動画像符号化装置10における復号化部14の機能を有する。参照画像局所復号化部143は、参照画像圧縮符号化部142で生成された圧縮符号化データに対して、参照画像圧縮符号化部142で適用されている圧縮規格にしたがって復号を行い、疑似参照画像データを生成する。
The reference image
誤差計算部144は、図1で示した第1の実施の形態の動画像符号化装置10における誤差計算部15の機能を有する。誤差計算部144は、局所復号化部141から出力される局所復号画像データと、疑似参照画像データとの誤差を計算する。そして、誤差計算部144は、計算で得られた誤差データをメモリ200の誤差メモリ領域202に書き込む。
The
参照画像復元部150は、図1で示した第1の実施の形態の動画像符号化装置10における参照画像復元部16の機能を有し、参照画像復号化部151、誤差加算部152を備えている。
The reference
参照画像復号化部151は、メモリ200の参照画像メモリ領域201に格納されている圧縮符号化データを読み出して復号する。
誤差加算部152は、メモリ200の誤差メモリ領域202に格納されている誤差データを読み出し、参照画像復号化部151の出力に対して加算し、参照画像データを復元する。復元された参照画像データは、動きベクトル探索メモリ121に書き込まれる。
The reference
The
以下、動画像符号化装置100の一例の動作を説明する。
入力画像バッファ110に原画像データが取り込まれると、図示しない制御部によって、処理対象のマクロブロックがインターマクロブロックであるかイントラマクロブロックであるかの判定が行われる。
Hereinafter, an example of the operation of the moving
When the original image data is taken into the
イントラマクロブロックの場合には、フレーム間符号化部120と参照画像復元部150は動作せず、フレーム内符号化部130にてフレーム内符号化処理が行われる。このとき、処理対象のマクロブロックが、周波数変換部131にて周波数変換され、量子化部132にて量子化され、エントロピー符号化部133にてエントロピー符号化が実施され、圧縮されたビットストリームとして動画像符号化装置100から出力される。
In the case of an intra macroblock, the
またこのとき、参照画像圧縮符号化部142にて、原画像データの処理対象のマクロブロックに対してフレーム内符号化処理が行われ、生成された圧縮符号化データがメモリ200の参照画像メモリ領域201に書き込まれる。
At this time, the reference image
また、フレーム内符号化部130の量子化部132からの圧縮符号化データは局所復号化部141にて復号され、局所復号画像データとして誤差計算部144に入力される。参照画像圧縮符号化部142で生成された圧縮符号化データは、参照画像局所復号化部143にて復号され、疑似参照画像データとして誤差計算部144に入力される。誤差計算部144は、参照画像データである局所復号画像データと、疑似参照画像データとの誤差を計算し、誤差データをメモリ200の誤差メモリ領域202に記憶する。
Also, the compressed encoded data from the
このようなイントラマクロブロックの処理では、参照画像圧縮符号化部142において、フレーム内符号化部130と同じイントラ予測モードと量子化パラメータ値を用いることで、誤差計算部144での誤差データを小さくすることができる。特にフレーム内の全てのマクロブロックがイントラマクロブロックであるイントラフレームでは、誤差データを0とすることができる。なお、イントラ予測とは、処理中のマクロブロックより前に処理された同じフレーム画像内の周辺のマクロブロックの処理結果を予測データとして使うことを意味する。どの周辺マクロブロックのデータをどのように加工して使うかが、イントラ予測モードとして圧縮規格に定められている。
In such intra macroblock processing, the reference image
一方、インターマクロブロックを処理する場合、参照画像復号化部151は、メモリ200の参照画像メモリ領域201に格納されている圧縮符号化データを読み出して復号する。さらに、誤差加算部152は、メモリ200の誤差メモリ領域202に格納されている誤差データを読み出し、参照画像復号化部151の出力に対して加算し、参照画像データを復元する。
On the other hand, when processing an inter macroblock, the reference
復元された参照画像データは、動きベクトル探索メモリに保持され、動きベクトル探索部122により読み出される。動きベクトル探索部122は、処理対象のマクロブロックに対して、動きベクトル探索メモリ121に保持された参照画像データを用いて動きベクトルの検出を行う。
The restored reference image data is held in the motion vector search memory and read by the motion
そして、動きベクトル探索部122は、検出した動きベクトルを用いて動きベクトル探索メモリ121から適切な参照画像データを読み出し、予測画像ブロックを生成し、出力する。差分画像生成部123は、処理対象のマクロブロックと、動きベクトル探索部122で生成された予測画像ブロックとの画素データの差分を求め差分画像ブロックデータとして出力する。差分画像ブロックデータは、周波数変換部131にて周波数変換され、量子化部132にて量子化され、エントロピー符号化部133にてエントロピー符号化が実施され、圧縮されたビットストリームとして動画像符号化装置100から出力される。
Then, the motion
このとき、参照画像圧縮符号化部142においても、処理対象のインターマクロブロックに対してフレーム内符号化処理が行われ、生成された圧縮符号化データがメモリ200の参照画像メモリ領域201に書き込まれる。
At this time, also in the reference image
また、フレーム内符号化部130の量子化部132からの圧縮符号化データは局所復号化部141にて復号され、差分画像ブロックデータとして再構成される。さらに、局所復号化部141は、動きベクトル探索部122より出力される予測画像ブロックの画素データと、差分画像ブロックデータとを足し合わせることで、局所復号画像データを生成し、誤差計算部144に入力する。参照画像圧縮符号化部142で生成された圧縮符号化データは参照画像局所復号化部143にて復号され、疑似参照画像データとして誤差計算部144に入力される。誤差計算部144は、参照画像データである局所復号画像データと、疑似参照画像データとの誤差データを計算し、その誤差データをメモリ200の誤差メモリ領域202に記憶する。
In addition, the compression encoded data from the
以上のように、動画像符号化装置100は、参照画像データを生成する経路とは別経路で、原画像データに対してフレーム内符号化処理を行い、得られた圧縮符号化データをメモリ200に書き込む。このとき、H.264/AVCで規定されているフレーム内符号化処理(イントラ圧縮ともいう)を適用すれば、90MB/sの原画像データ入力に対して、5MB/s程度にデータ量を圧縮することが可能である。
As described above, the moving
また、動画像符号化装置100は、参照画像圧縮符号化部142から出力される圧縮符号化データを復号して疑似参照画像データを生成している。ここで生成される疑似参照画像データは、参照画像データと同様に、原画像データに対して符号化と復号を行うことによって生成されるので、参照画像データと同様の劣化品質となり、誤差計算部144にて算出される誤差データを小さくすることができる。これにより、動画像符号化装置100とメモリ200との間のデータ転送量を低減することができ、メモリコストを削減できる。
In addition, the moving
ところで、インターマクロブロックを処理する場合、前述のようにフレーム間符号化処理が行われる。このときでも、参照画像圧縮符号化部142はフレーム内符号化処理を実施するため、局所復号化部141と、参照画像局所復号化部143の局所復号結果との間には、異なる符号化処理に起因した誤差が生じる。
By the way, when processing an inter macroblock, the inter-frame encoding process is performed as described above. Even at this time, since the reference image
以下ではこの誤差を小さくすることで、誤差計算部144からメモリ200に書き込まれる誤差データをより小さくする方法を説明する。
図4は、参照画像圧縮符号化部の量子化パラメータ値を調整する例を示す図である。
Hereinafter, a method for reducing the error data by reducing the error data written from the
FIG. 4 is a diagram illustrating an example of adjusting the quantization parameter value of the reference image compression encoding unit.
図4では、図3で示した局所復号化部141、参照画像圧縮符号化部142、参照画像局所復号化部143、誤差計算部144と、参照画像圧縮符号化部142内に設けられたインター・イントラQ値変換用の変換テーブル300を示している。
In FIG. 4, the
変換テーブル300では、インデックスとして、フレーム内符号化部130の量子化部132でインターマクロブロックを量子化する際に用いられるインター量子化パラメータ値QP1が設定されている。そして、インター量子化パラメータ値QP1に対応して、参照画像圧縮符号化部142で用いるイントラ量子化パラメータ値QP2が設定されている。変換テーブル300は、動画像符号化装置100が扱う画像サイズ、ターゲットビットレートに応じて動画像符号化処理前に、図示しない制御部によって初期化される。
In the conversion table 300, an inter quantization parameter value QP1 used when the
また、図4では、参照画像圧縮符号化部142内において、原画像データの処理対象のマクロブロックに対してフレーム内符号化処理を行う符号化処理部142aを図示している。
FIG. 4 illustrates an
図5は、符号化処理部の一例を示す図である。
符号化処理部142aは、参照画像周波数変換部142−1、参照画像量子化部142−2、セレクタ142−3、参照画像エントロピー符号化部142−4を有している。
FIG. 5 is a diagram illustrating an example of the encoding processing unit.
The
参照画像周波数変換部142−1は、入力画像バッファ110から処理対象のマクロブロックを入力して周波数変換を行う。
参照画像量子化部142−2は、変換テーブル300から供給された大きさの異なる3つの量子化パラメータ値QL,QM,QHを用いて、周波数変換結果に対して量子化を行う。
The reference image frequency conversion unit 142-1 receives the macroblock to be processed from the
The reference image quantization unit 142-2 performs quantization on the frequency conversion result using the three quantization parameter values QL, QM, and QH having different sizes supplied from the conversion table 300.
セレクタ142−3は、各量子化パラメータ値QL,QM,QHを用いた量子化によって得られた圧縮符号化データ(量子化係数CL,CM,CH)の何れかを、誤差計算部144での選択結果に応じて選択し、出力する。
The selector 142-3 selects one of the compression encoded data (quantized coefficients CL, CM, and CH) obtained by quantization using the quantization parameter values QL, QM, and QH in the
参照画像エントロピー符号化部142−4は、セレクタ142−3で選択された量子化係数に対してエントロピー符号化を施し、圧縮符号化データを生成し、メモリ200の参照画像メモリ領域201に出力する。
The reference image entropy encoding unit 142-4 performs entropy encoding on the quantized coefficient selected by the selector 142-3, generates compressed encoded data, and outputs the compressed encoded data to the reference
以下、図4、図5で示す各部による量子化パラメータ値の調整方法を説明する。
図3で示したフレーム内符号化部130にてインターマクロブロックが符号化される場合、参照画像圧縮符号化部142は、量子化部132で用いられたインター量子化パラメータ値QP1を取得する。そして、符号化処理部142aは、変換テーブル300のイントラ量子化パラメータ値QP2から、取得したインター量子化パラメータ値QP1に対応する値を、使用する量子化パラメータ値QMとして入力する。
Hereinafter, a method for adjusting the quantization parameter value by each unit shown in FIGS. 4 and 5 will be described.
When the inter macroblock is encoded by the intraframe encoding unit 130 illustrated in FIG. 3, the reference image
図4の例では、QP1(Index)=12に対して、QM=10が使用されている。
また、符号化処理部142aは、QMのほかに、QMより大きい量子化パラメータ値QH、QMより小さい量子化パラメータ値QLを用いて、量子化を行い、図5に示すように、3種類の量子化係数CL,CM,CHを生成する。
In the example of FIG. 4, QM = 10 is used for QP1 (Index) = 12.
In addition to the QM, the
参照画像局所復号化部143は、3種類の量子化係数CL,CM,CHで与えられる圧縮符号化データを復号し、3種類の復号画像データL,M,Hを疑似参照画像データとして生成する。
The reference image
誤差計算部144は、比較部144aによって、復号画像データL,M,Hを、局所復号化部141から出力される局所復号画像データと比較する。そして、誤差計算部144は、差分が最小となる復号画像データL,M,Hを最適な疑似参照画像であるとして選択し、その差分を誤差データとしてメモリ200に出力する。また、比較部144aは、選択結果を符号化処理部142aに通知する。
The
符号化処理部142aのセレクタ142−3は、選択結果に応じて、3種類の量子化係数CL,CM,CHの何れかを選択して、出力する。参照画像エントロピー符号化部142−4は、選択された量子化係数に対してエントロピー符号化を施し、圧縮符号化データを生成し、メモリ20に出力する。
The selector 142-3 of the
たとえば、復号画像データHと局所復号画像データとの差分が最小の場合、符号化処理部142aは、量子化パラメータ値QHを用いた符号化によって生成された量子化係数CMに対して、エントロピー符号化処理を行い、出力する。
For example, when the difference between the decoded image data H and the local decoded image data is minimum, the
また、比較部144aは、選択結果をもとに、変換テーブル300を更新する旨のテーブル更新指示信号を参照画像圧縮符号化部142に通知する。参照画像圧縮符号化部142は、テーブル更新指示信号をもとに、変換テーブル300を更新する。
The
図6は、更新された変換テーブルの一例を示す図である。
図6に示す例では、インター量子化パラメータ値QP1=12に対して、QH=11が最適であった場合に更新された変換テーブル300aを示している。Index=12に対して、イントラ量子化パラメータ値QP2=11が割り当てられている。
FIG. 6 is a diagram illustrating an example of the updated conversion table.
In the example shown in FIG. 6, the conversion table 300a updated when QH = 11 is optimal with respect to the inter quantization parameter value QP1 = 12. An intra quantization parameter value QP2 = 11 is assigned to Index = 12.
なお、上記の例では、大きさの異なる3種類の量子化パラメータ値を候補として用いたが、2種類、または4種類以上の量子化パラメータ値を候補として用いてもよい。
以上のように、参照画像圧縮符号化部142は、フレーム内符号化部130の量子化部132で用いられるインター量子化パラメータ値QP1を利用して、量子化パラメータ値を決定することで誤差計算部144での誤差データを小さくすることができる。
In the above example, three types of quantization parameter values having different sizes are used as candidates, but two types, or four or more types of quantization parameter values may be used as candidates.
As described above, the reference image
また、大きさの異なる複数の量子化パラメータ値を用いて符号化及び復号を行い、複数の復号画像データを生成してその中から最適なものを選択することで、誤差計算部144で生成される誤差データをさらに小さくすることができる。 In addition, encoding and decoding are performed using a plurality of quantization parameter values having different sizes, a plurality of decoded image data are generated, and an optimum one is selected from among the decoded image data. Error data can be further reduced.
また、誤差計算部144での選択結果に応じて変換テーブル300を更新していくことで、変換テーブル300を最適化でき、インター量子化パラメータ値GP1に対して、参照画像圧縮符号化部142で用いる最適な量子化パラメータ値を得ることができる。
In addition, the conversion table 300 can be optimized by updating the conversion table 300 according to the selection result in the
また、参照画像圧縮符号化部142は、複数の量子化係数の中から、選択された最適な量子化係数に対してエントロピー符号化処理を行うことで、符号化におけるハードウェアの負荷を低減することができる。
Further, the reference image
図7は、評価式を用いて、参照画像圧縮符号化部の量子化パラメータ値を調整する例を示す図である。
図5に示したものと同様の要素については同一符号を付している。
FIG. 7 is a diagram illustrating an example of adjusting the quantization parameter value of the reference image compression encoding unit using the evaluation formula.
The same elements as those shown in FIG.
符号化処理部142bの参照画像エントロピー符号化部142−5は、図5に示した参照画像エントロピー符号化部142−4と異なり、複数の量子化係数CL,CM,CHに対して、エントロピー符号化を行い、符号化ストリームSL,SM,SHを生成する。
Unlike the reference image entropy encoding unit 142-4 illustrated in FIG. 5, the reference image entropy encoding unit 142-5 of the
また、誤差計算部144bは、複数の復号画像データL,M,Hと、局所復号画像データとの誤差データYL,YM,YHを生成、出力する。
さらに、図7の例では、評価部310とセレクタ311が設けられている。
The
Further, in the example of FIG. 7, an
評価部310は、ストリーム量(符号化データ量)XL,XM,XHと、誤差データYL,YM,YHを入力して、(XL,YL)、(XM,YM)、(XH,YH)の3組に対して、データ転送コスト(=ストリーム量×重み係数+誤差データ)を求める。評価部310は、データ転送コストが最小となる組を評価結果として出力する。また、評価部310は、その組が示す符号化ストリームを生成したときに用いた量子化パラメータ値で、変換テーブル300を最適化させる旨のテーブル更新指示信号を出力する。
The
セレクタ311は、評価結果で指定された組の誤差データを選択して出力する。
上記のような方法によれば、たとえば、符号化ストリームSHについてのストリーム量XHと誤差データYHの組が、データ転送コストが最小となった場合には、セレクタ142−6は、符号化ストリームSHを圧縮符号化データとしてメモリ200に出力する。また、セレクタ311は、誤差データYHを誤差データとしてメモリ200に出力する。また、テーブル更新指示信号によって、QH=11が、インター量子化パラメータ値QP1=12に対して最適なものであるとして、図6に示すように変換テーブル300aが更新される。
The
According to the method as described above, for example, when the combination of the stream amount XH and the error data YH for the encoded stream SH minimizes the data transfer cost, the selector 142-6 allows the encoded stream SH to Are output to the
以上のような方法によっても、メモリ200に出力される誤差データを小さくできるとともに、メモリ200の参照画像メモリ領域201に書き込む圧縮符号化データを含めたトータルなデータ転送コストを削減できる。
Also by the method as described above, the error data output to the
以上、実施の形態に基づき、本発明の動画像符号化装置及び動画像符号化方法の一観点について説明してきたが、これらは一例にすぎず、上記の記載に限定されるものではない。 As mentioned above, although one viewpoint of the moving image encoding device and the moving image encoding method of the present invention has been described based on the embodiments, these are merely examples, and are not limited to the above description.
以上説明した複数の実施の形態に関し、さらに以下の付記を開示する。
(付記1) 原画像データを符号化し、第1の圧縮符号化データを生成する第1の符号化部と、
前記第1の圧縮符号化データを復号して参照画像データを生成する第1の復号化部と、
前記原画像データをフレーム内符号化して第2の圧縮符号化データをメモリに出力する第2の符号化部と、
前記第2の圧縮符号化データを復号して疑似参照画像データを生成する第2の復号化部と、
前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力する誤差計算部と、
を有することを特徴とする動画像符号化装置。
The following additional notes are further disclosed with respect to the plurality of embodiments described above.
(Supplementary note 1) a first encoding unit that encodes original image data and generates first compressed encoded data;
A first decoding unit that generates reference image data by decoding the first compression-encoded data;
A second encoding unit for intra-encoding the original image data and outputting second compressed encoded data to a memory;
A second decoding unit that decodes the second compressed encoded data to generate pseudo reference image data;
Generating error data between the reference image data and the pseudo reference image data, and outputting the error data to the memory;
A moving picture encoding apparatus comprising:
(付記2) 前記メモリから前記第2の圧縮符号化データと前記誤差データを読み出し、前記第2の圧縮符号化データを復号して、復号結果に前記誤差データを加算することで、前記参照画像データを復元する参照画像復元部を、有することを特徴とする付記1記載の動画像符号化装置。
(Supplementary Note 2) The second compression-encoded data and the error data are read from the memory, the second compression-encoded data is decoded, and the error data is added to a decoding result, whereby the reference image The moving picture coding apparatus according to
(付記3) 前記第2の符号化部は、前記第1の符号化部における量子化で用いられる第1の量子化パラメータ値をもとに、前記フレーム内符号化時に用いる第2の量子化パラメータ値を決定することを特徴とする付記1または2に記載の動画像符号化装置。
(Supplementary Note 3) The second encoding unit uses the first quantization parameter value used in the quantization in the first encoding unit, and the second quantization used in the intra-frame encoding The moving image encoding apparatus according to
(付記4) 前記第2の符号化部は、大きさの異なる複数の前記第2の量子化パラメータ値をもとに、複数の前記第2の圧縮符号化データを生成し、
前記第2の復号化部は、複数の前記第2の圧縮符号化データを復号して複数の前記疑似参照画像データを生成し、
前記誤差計算部は、前記参照画像データとの前記誤差データが最小となる前記疑似参照画像データを選択し、最小の前記誤差データを前記メモリに出力することを特徴とする付記3記載の動画像符号化装置。
(Supplementary Note 4) The second encoding unit generates a plurality of the second compressed encoded data based on the plurality of second quantization parameter values having different sizes,
The second decoding unit decodes a plurality of the second compression-encoded data to generate a plurality of the pseudo reference image data,
The moving image according to
(付記5) 前記第2の符号化部は、複数の前記第2の量子化パラメータ値を用いた複数の量子化結果のうち、前記誤差データが最小となる前記疑似参照画像データを生成する際に用いられた前記第2の量子化パラメータ値による前記量子化結果に対してエントロピー符号化を行い、前記メモリに出力する前記第2の圧縮符号化データを生成することを特徴とする付記4記載の動画像符号化装置。 (Supplementary Note 5) When the second encoding unit generates the pseudo reference image data that minimizes the error data among a plurality of quantization results using the plurality of second quantization parameter values. The entropy encoding is performed on the quantization result based on the second quantization parameter value used in the above, and the second compressed encoded data to be output to the memory is generated. Video encoding device.
(付記6) 前記第2の符号化部は、前記第1の量子化パラメータから前記第2の量子化パラメータを求める変換テーブルを有し、前記誤差計算部での前記疑似参照画像の選択結果に応じて、前記変換テーブルを更新することを特徴とする付記4または5に記載の動画像符号化装置。 (Supplementary Note 6) The second encoding unit includes a conversion table for obtaining the second quantization parameter from the first quantization parameter, and includes a selection result of the pseudo reference image in the error calculation unit. The moving image encoding apparatus according to appendix 4 or 5, wherein the conversion table is updated accordingly.
(付記7) 大きさの異なる複数の前記第2の量子化パラメータ値をもとに生成された複数の前記圧縮符号化データの符号化データ量と前記誤差データとをもとに、データ転送コストが最小となる前記圧縮符号化データを求め、前記第2の符号化部から前記メモリに出力させる評価部を有することを特徴とする付記3記載の動画像符号化装置。
(Supplementary Note 7) Data transfer cost based on encoded data amounts and error data of a plurality of compressed encoded data generated based on a plurality of second quantization parameter values having different sizes The moving picture coding apparatus according to
(付記8) 第1の符号化部が、原画像データを符号化して第1の圧縮符号化データを生成し、
第1の復号化部が、前記第1の圧縮符号化データを復号して参照画像データを生成し、
第2の符号化部が、前記原画像データをフレーム内符号化して第2の圧縮符号化データをメモリに出力し、
第2の復号化部が、前記第2の圧縮符号化データを復号して疑似参照画像データを生成し、
誤差計算部が、前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力することを特徴とする動画像符号化方法。
(Supplementary Note 8) A first encoding unit generates original compressed encoded data by encoding original image data,
A first decoding unit that decodes the first compressed encoded data to generate reference image data;
A second encoding unit performs intra-frame encoding on the original image data and outputs second compressed encoded data to a memory;
A second decoding unit that generates pseudo reference image data by decoding the second compressed encoded data;
An error calculation unit generates error data between the reference image data and the pseudo reference image data, and outputs the error data to the memory.
10 動画像符号化装置
11,13 符号化部
12,14 復号化部
15 誤差計算部
16 参照画像復元部
20 メモリ
DESCRIPTION OF
Claims (6)
前記第1の圧縮符号化データを復号して参照画像データを生成する第1の復号化部と、
前記原画像データをフレーム内符号化して第2の圧縮符号化データをメモリに出力する第2の符号化部と、
前記第2の圧縮符号化データを復号して疑似参照画像データを生成する第2の復号化部と、
前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力する誤差計算部と、
を有することを特徴とする動画像符号化装置。 A first encoding unit that encodes original image data and generates first compressed encoded data;
A first decoding unit that generates reference image data by decoding the first compression-encoded data;
A second encoding unit for intra-encoding the original image data and outputting second compressed encoded data to a memory;
A second decoding unit that decodes the second compressed encoded data to generate pseudo reference image data;
Generating error data between the reference image data and the pseudo reference image data, and outputting the error data to the memory;
A moving picture encoding apparatus comprising:
前記第2の復号化部は、複数の前記第2の圧縮符号化データを復号して複数の前記疑似参照画像データを生成し、
前記誤差計算部は、前記参照画像データとの前記誤差データが最小となる前記疑似参照画像データを選択し、最小の前記誤差データを前記メモリに出力することを特徴とする請求項2記載の動画像符号化装置。 The second encoding unit generates a plurality of second compressed encoded data based on the plurality of second quantization parameter values having different sizes,
The second decoding unit decodes a plurality of the second compression-encoded data to generate a plurality of the pseudo reference image data,
The moving image according to claim 2, wherein the error calculation unit selects the pseudo reference image data that minimizes the error data with respect to the reference image data, and outputs the minimum error data to the memory. Image encoding device.
第1の復号化部が、前記第1の圧縮符号化データを復号して参照画像データを生成し、
第2の符号化部が、前記原画像データをフレーム内符号化して第2の圧縮符号化データをメモリに出力し、
第2の復号化部が、前記第2の圧縮符号化データを復号して疑似参照画像データを生成し、
誤差計算部が、前記参照画像データと前記疑似参照画像データとの誤差データを生成し、前記メモリに出力することを特徴とする動画像符号化方法。 A first encoding unit that encodes the original image data to generate first compressed encoded data;
A first decoding unit that decodes the first compressed encoded data to generate reference image data;
A second encoding unit performs intra-frame encoding on the original image data and outputs second compressed encoded data to a memory;
A second decoding unit that generates pseudo reference image data by decoding the second compressed encoded data;
An error calculation unit generates error data between the reference image data and the pseudo reference image data, and outputs the error data to the memory.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010154213A JP5447239B2 (en) | 2010-07-06 | 2010-07-06 | Moving picture coding apparatus and moving picture coding method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010154213A JP5447239B2 (en) | 2010-07-06 | 2010-07-06 | Moving picture coding apparatus and moving picture coding method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012019288A JP2012019288A (en) | 2012-01-26 |
| JP5447239B2 true JP5447239B2 (en) | 2014-03-19 |
Family
ID=45604222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010154213A Expired - Fee Related JP5447239B2 (en) | 2010-07-06 | 2010-07-06 | Moving picture coding apparatus and moving picture coding method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5447239B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5969914B2 (en) * | 2012-12-20 | 2016-08-17 | 株式会社日立情報通信エンジニアリング | Video compression / decompression device |
| JP2017055275A (en) | 2015-09-10 | 2017-03-16 | 株式会社東芝 | Decoder and video transmission system |
| JP6985899B2 (en) * | 2017-11-15 | 2021-12-22 | キヤノン株式会社 | Image coding device and its control method and program |
| US12184861B2 (en) * | 2019-05-10 | 2024-12-31 | Nippon Telegraph And Telephone Corporation | Encoding apparatus, encoding method, and program |
| CN115861052A (en) * | 2022-11-09 | 2023-03-28 | 中汽创智科技有限公司 | A downsampling method, device, equipment and storage medium |
-
2010
- 2010-07-06 JP JP2010154213A patent/JP5447239B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012019288A (en) | 2012-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100813963B1 (en) | Lossless encoding and decoding method for video | |
| JP5513584B2 (en) | Method and apparatus for intra-predictive video decoding | |
| US20140254660A1 (en) | Video encoder, method of detecting scene change and method of controlling video encoder | |
| JP2012034213A (en) | Image processing device, image processing system and image processing method | |
| JP4501631B2 (en) | Image coding apparatus and method, computer program for image coding apparatus, and portable terminal | |
| CN102986211A (en) | Rate control in video coding | |
| JP2005510150A (en) | Video decoding with reduced complexity using larger pixel grid motion compensation | |
| KR101615643B1 (en) | Compression of pictures | |
| JP5447239B2 (en) | Moving picture coding apparatus and moving picture coding method | |
| JPWO2009008177A1 (en) | Transcoder, transcoding method, decoder, and decoding method | |
| CN102187678A (en) | Encoding method and encoding device for compression encoding of moving images | |
| CN1825976B (en) | Method and device for decoding digital image sequence | |
| JP2011250400A (en) | Moving picture encoding apparatus and moving picture encoding method | |
| CN100355290C (en) | Data processing device and method of same, and encoding device and decoding device | |
| JP5598199B2 (en) | Video encoding device | |
| JP2007013298A (en) | Image coding apparatus | |
| CN107257459B (en) | Moving picture predictive decoding device and moving picture predictive decoding method | |
| JP5388977B2 (en) | Image encoding method, image decoding method, image encoding device, image decoding device, and program | |
| JP2007067526A (en) | Image processing device | |
| JP2008289105A (en) | Image processing device and imaging apparatus equipped therewith | |
| KR20080013843A (en) | Lossless encoding and decoding method for video | |
| JP2005348207A (en) | Encoding device and program | |
| JP2020058075A (en) | Video predictive encoding device, video predictive decoding device, video predictive encoding method, video predictive decoding method, and recording medium | |
| JP4894793B2 (en) | Decoding method, decoder and decoding apparatus | |
| JP4561701B2 (en) | Video encoding device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130507 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131030 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131203 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131209 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131216 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |