Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4249672B2 - Video information multiple simultaneous encoding device - Google Patents
[go: Go Back, main page]

JP4249672B2 - Video information multiple simultaneous encoding device - Google Patents

Video information multiple simultaneous encoding device Download PDF

Info

Publication number
JP4249672B2
JP4249672B2 JP2004236620A JP2004236620A JP4249672B2 JP 4249672 B2 JP4249672 B2 JP 4249672B2 JP 2004236620 A JP2004236620 A JP 2004236620A JP 2004236620 A JP2004236620 A JP 2004236620A JP 4249672 B2 JP4249672 B2 JP 4249672B2
Authority
JP
Japan
Prior art keywords
rate
fnm
video information
encoding
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004236620A
Other languages
Japanese (ja)
Other versions
JP2006054801A (en
Inventor
広昌 柳原
暁夫 米山
康之 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2004236620A priority Critical patent/JP4249672B2/en
Publication of JP2006054801A publication Critical patent/JP2006054801A/en
Application granted granted Critical
Publication of JP4249672B2 publication Critical patent/JP4249672B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明はビデオ情報複数同時符号化装置に関し、特に、様々なネットワークや再生環境への映像配信を行う場合に必要となる複数ストリームの同時符号化を、従来の方法より高速かつ画質劣化を抑えて行うことができるビデオ情報複数同時符号化装置に関する。   The present invention relates to a plurality of video information simultaneous encoding apparatuses, and more particularly to simultaneous encoding of a plurality of streams required for video distribution to various networks and playback environments at a higher speed than conventional methods and with reduced image quality degradation. The present invention relates to a plurality of video information simultaneous encoding devices that can be performed.

映像コンテンツを生成する場合、各種ネットワークや再生環境に応じたビットレートの異なる複数のコンテンツを生成する必要があるが、ビデオ情報を個々に符号化したのでは多くの時間や手間がかかる。そこで、同時に複数のストリームを高速に生成するトランスコード方式がいくつか考案されている。   When generating video content, it is necessary to generate a plurality of contents having different bit rates according to various networks and playback environments. However, encoding video information individually takes a lot of time and effort. Accordingly, several transcoding schemes have been devised that simultaneously generate a plurality of streams at high speed.

その一例を、図24のブロック図を参照して簡単に説明する。図は、周知のMPEG2をベースとするビデオ情報複数同時符号化装置であるので、詳細な動作説明は省略し、要点のみを説明する。この従来装置は、低ビットレートと高ビットレートの2種類のストリームを生成して出力するものであり、低および高ビットレートそれぞれのループ、すなわちDCT−量子化部(Q)−逆量子化部(IQ)−逆DCT(IDCT)−フレームメモリ−動き補償部(MC)からなるループを有し、かつ前記量子化部Q,Q’をレート制御する2つのレート制御部11,12を有している。この従来装置では、動き探索処理部4を共通化することにより、処理を軽減している。   An example of this will be briefly described with reference to the block diagram of FIG. The figure is a well-known MPEG2 multiple simultaneous encoding apparatus for video information, so detailed description of the operation will be omitted, and only the main points will be described. This conventional apparatus generates and outputs two types of streams of a low bit rate and a high bit rate, and each loop of low and high bit rates, that is, a DCT-quantization unit (Q) -inverse quantization unit (IQ) -inverse DCT (IDCT) -frame memory-motion compensation unit (MC), and two rate control units 11 and 12 for rate controlling the quantization units Q and Q ' ing. In this conventional apparatus, the processing is reduced by sharing the motion search processing unit 4.

また、他の従来装置としては、例えば、情報研報、AVM33−5(2001)の「マルチレート出力機能実現のためのMPEG2トランスコーダ量子化制御方式の検討」に記されているような、量子化処理を部分的に共通化する方式がある。
情報研報、AVM33−5(2001)の「マルチレート出力機能実現のためのMPEG2トランスコーダ量子化制御方式の検討」
As another conventional apparatus, for example, as described in “Research of MPEG2 transcoder quantization control system for realizing multi-rate output function” of Information Research Bulletin, AVM33-5 (2001). There is a method of partially sharing the processing.
"Study of MPEG2 transcoder quantization control method for realizing multi-rate output function" of Information Research Institute, AVM33-5 (2001)

上記の従来技術は、それぞれ、低および高ビットレートにおける動きベクトルの探索を共通化する方式、量子化処理を部分的に共通化する方式により処理量を軽減して高速化を図るものであるが、各ビットレートのストリームを符号化する際に必要となるレート制御処理はレート制御部11,12により独立に行っていた。そして、該レート制御処理の処理量を軽減する配慮は何らなされていなかった。   The above-described conventional techniques reduce the amount of processing and increase the speed by using a method for sharing motion vector searches at low and high bit rates and a method for partially sharing quantization processing, respectively. The rate control processing required when encoding the stream of each bit rate is performed independently by the rate control units 11 and 12. No consideration has been given to reducing the amount of rate control processing.

本発明は前記従来技術に鑑みてなされたものであり、その目的は、レート制御の処理量を軽減して、高速かつ画質劣化を抑えて符号化処理を行うことができるビデオ情報複数同時符号化装置を提供することにある。   The present invention has been made in view of the prior art, and an object of the present invention is to simultaneously encode a plurality of pieces of video information capable of performing encoding processing at a high speed while suppressing deterioration in image quality by reducing the amount of rate control processing. To provide an apparatus.

前記した目的を達成するために、本発明は、ビデオ情報を複数同時に符号化するビデオ情報複数同時符号化装置において、複数の異なるビットレートで量子化する複数の量子化器と、 該複数の量子化器の量子化パラメータを求めるレート制御部とを具備し、該レート制御部は、マスタレートで符号化された量子化パラメータを利用して、派生レートの映像を符号化し、該レート制御に用いる派生レートの量子化パラメータは、マスタレート符号化時の量子化パラメータQと、前記バッファ占有率を基に算出された重み付け係数rとの積で求められ、前記重み付け係数rのIピクチャとPピクチャの初期値rは、それぞれ下記の(1)、(2)式から求められるようにした点に特徴がある。
=A×(IピクチャのDCT係数のレート比)+B ・・・(1)
=C×(PピクチャのDCT係数のレート比)+D・・・(2)
ここに、A,B,CおよびDは、定数である。
In order to achieve the above-described object, the present invention provides a video information multiple simultaneous encoding apparatus that simultaneously encodes a plurality of video information, a plurality of quantizers that perform quantization at a plurality of different bit rates, A rate control unit for obtaining a quantization parameter of the encoder, the rate control unit encoding a video of a derived rate using the quantization parameter encoded at a master rate, and using the encoded rate video for the rate control The quantization parameter of the derived rate is obtained by the product of the quantization parameter Q at the time of master rate coding and the weighting factor r calculated based on the buffer occupancy, and the I picture and the P picture of the weighting factor r The initial value r 0 is characterized in that it can be obtained from the following equations (1) and (2) .
r 0 = A × (rate ratio of DCT coefficient of I picture) + B (1)
r 0 = C × (rate ratio of DCT coefficient of P picture) + D (2)
Here, A, B, C and D are constants.

請求項1〜の発明によれば、マスタレートの符号化に対して通常のレート制御を行い、派生レートでの符号化に対しては、前記マスタレートの符号化で得られた符号化パラメータを利用してレート制御するようにしているので、レート制御に要する処理量を低減でき、かつ複数同時符号化装置の処理を高速化することができるようになる。 According to the first to fourth aspects of the present invention, normal rate control is performed for the coding of the master rate, and for the coding at the derived rate, the coding parameter obtained by the coding of the master rate. Therefore, the amount of processing required for rate control can be reduced, and the processing of a plurality of simultaneous encoding devices can be speeded up.

また、ビットレート比が2以上であっても、重み付け係数rの初期値rは、入力画像条件に依存しない適切な値にすることができる。また、生成ファイル容量および平均PSNRが通常符号化の場合とほぼ同じになり、マスタレートとのビットレート比が2以上であっても、派生レートの符号化を、通常符号化とほぼ同じ精度、すなわち画質劣化を十分に抑えて行うことができるようになる。 Even if the bit rate ratio is 2 or more, the initial value r 0 of the weighting coefficient r can be an appropriate value that does not depend on the input image conditions. In addition, the generated file capacity and the average PSNR are almost the same as those in the normal encoding, and even when the bit rate ratio to the master rate is 2 or more, the encoding of the derived rate is almost the same as the normal encoding. That is, it is possible to perform the image quality deterioration sufficiently.

以下に、図面を参照して、本発明を詳細に説明する。まず、通常のレート制御(MPEG-2 ISO/IEC13396-2 Test Model 5)処理を説明する。該通常のレート制御では、下記のステップ1〜ステップ3の処理が行われる。   Hereinafter, the present invention will be described in detail with reference to the drawings. First, normal rate control (MPEG-2 ISO / IEC13396-2 Test Model 5) processing will be described. In the normal rate control, the following steps 1 to 3 are performed.

(ステップ 1)
まず、各フレームの符号化に先立ち、次式で定義したI、P、Bピクチャの復雑さ指標Xi、Xp、Xbを更新する。Si、Sp、Sbを発生ビット数、Qi(ave)、Qp(ave)、Qb(ave)を平均的な量子化パラメータ(以下QP)(1フレーム中のすべてのMBのmquantの平均値、ただし1〜31の範囲に正規化されている)とする。この復雑さ指標は、符号化情報量が多く発生するような画像に対して大きくなり、高い圧縮率が得られる画像に対しては小さくなる。該指標は、これから符号化しようとする画像のタイプによってどの程度情報量が必要かを、ある数値で規格化して、相対的に見積もったものである。
Xi=SiQi(ave) 、 Xp=SpQp(ave) 、 Xb=SbQb(ave)
初期値Xi(init)、Xp(init)、Xb(init)は、次のように与えられる。
Xi(init) = 160×Bit-rate /115
Xp(init) = 60×Bit-rate /115
Xb(init) = 42×Bit-rate /115
ここに、Bit-rateはビットレート(ビット/秒)である。
(Step 1)
First, prior to encoding of each frame, the complexity indicators Xi, Xp, and Xb of I, P, and B pictures defined by the following equations are updated. Si, Sp, Sb is generated bit number, Qi (ave), Qp (ave), Qb (ave) is an average quantization parameter (hereinafter referred to as QP) (average value of mquant of all MBs in one frame, however Normalized to the range of 1 to 31). The complexity index is large for an image in which a large amount of encoded information is generated, and is small for an image with a high compression rate. The index is a relative estimate of how much information is required depending on the type of image to be encoded, normalized by a certain numerical value.
Xi = SiQi (ave), Xp = SpQp (ave), Xb = SbQb (ave)
The initial values Xi (init), Xp (init), and Xb (init) are given as follows.
Xi (init) = 160 × Bit-rate / 115
Xp (init) = 60 × Bit-rate / 115
Xb (init) = 42 × Bit-rate / 115
Here, Bit-rate is a bit rate (bits / second).

GOPの中の次の画面の目標ビット数Ti、Tp、Tbは、次のようにGOPの残りのビット数を、I、P、Bの残りの枚数の自分のピクチャタイプに換算したもので割ることで得られる。これはGOP中のまだ符号化していない画像のすべてが、これから符号化しようとする画像タイプであるとみなしたとき、1フレームあたり何ビット与えることができるかの目安を与えるものである。
Ti = R/(1+NpXp/(XiKp)+NbXb/(XiKb))
Tp = R/(Np+NbKpXb/(KbXp))
Tb = R/(Nb+NpKbXp/(KpXb))
Kp、Kbは量子化マトリクスに依存する恒常な定数であり、Kp=1.0、Kb=1.4である。Np、NbはGOPの中の符号化順でP、Bピクチャの残った枚数、RはGOPに与えられた残りのビット数であり、画像の符号化の後では、R = R−Si あるいは R = R−Sp あるいは R = R−Sbである。
Divide the target number of bits Ti, Tp, and Tb of the next screen in the GOP by converting the remaining number of bits of the GOP into the number of remaining pictures of I, P, and B as follows: Can be obtained. This gives an indication of how many bits can be given per frame when all the unencoded images in the GOP are considered to be the image type to be encoded.
Ti = R / (1 + NpXp / (XiKp) + NbXb / (XiKb))
Tp = R / (Np + NbKpXb / (KbXp))
Tb = R / (Nb + NpKbXp / (KpXb))
Kp and Kb are constants that depend on the quantization matrix, and Kp = 1.0 and Kb = 1.4. Np and Nb are the remaining number of P and B pictures in the encoding order in the GOP, R is the remaining number of bits given to the GOP, and after encoding the image, R = R−Si or R = R-Sp or R = R-Sb.

GOPの最初の画面では、次のように設定する。
R = G + R
G = Bit-rate × N /Picture-rate
N:GOPの中のピクチャの数
On the first screen of GOP, set as follows.
R = G + R
G = Bit-rate × N / Picture-rate
N: Number of pictures in the GOP

(ステップ2)
各フレームに含まれるMBを順次符号化しながら、量子化ステップを求める段階である。符号化しようとしているフレームに対する割り当て情報量と実際に発生した情報量の差をMBごとにフィードバックする。実際の発生情報量が、計画量より大きいと、発生情報量を減らすために量子化ステップは大きくなり、逆の場合には量子化ステップが小さくなる。
(Step 2)
This is a step of obtaining a quantization step while sequentially encoding MBs included in each frame. The difference between the allocated information amount for the frame to be encoded and the actually generated information amount is fed back for each MB. If the actual amount of generated information is larger than the planned amount, the quantization step is increased in order to reduce the amount of generated information, and vice versa.

まず、j番目のMBの符号化の前にI、P、Bフレームに対する仮想的なバッファ(このバッファは量子化ステップの計算だけに用いるもので、後述する仮想バッファ検証器とは異なる)の充満度を計算する。初期バッファ状態をdi(0)、dp(0)、db(0)とする。
di(j) = di(0) + B(j−1)−Ti×(j−1)/MB-cnt
dp(j) = dp(0) + B(j−1)−Tp×(j−1)/MB-cnt
db(j) = db(0) + B(j−1)−Tb×(j−1)/MB-cnt
B(j)はjを含んでそれまでのすべてのMBの符号化発生ビット数、MB-cntはピクチャ内のMB数である。ピクチャ内の最後の充満度は次の同タイプのピクチャのdi(0)、dp(0)、db(0)とみなされる。マクロブロックjの仮の量子化ステップQ(j)は次のように与えられる。
Q(j) = d(j)×31 / r
r = 2×Bit-rate /Picture-rate
First, before the j-th MB is encoded, the virtual buffer for I, P, and B frames (this buffer is used only for the quantization step calculation and is different from the virtual buffer verifier described later). Calculate the degree. Assume that the initial buffer state is di (0), dp (0), and db (0).
di (j) = di (0) + B (j−1) −Ti × (j−1) / MB-cnt
dp (j) = dp (0) + B (j−1) −Tp × (j−1) / MB-cnt
db (j) = db (0) + B (j−1) −Tb × (j−1) / MB-cnt
B (j) is the number of encoding bits of all MBs including j so far, and MB-cnt is the number of MBs in the picture. The last fullness in a picture is regarded as di (0), dp (0), db (0) of the next picture of the same type. The provisional quantization step Q (j) of the macroblock j is given as follows.
Q (j) = d (j) x 31 / r
r = 2 x Bit-rate / Picture-rate

初期値は、次の通りである。
di(0) = 10×r/31
dp(0) = Kp×di(0)
db(0) = Kb×di(0)
The initial values are as follows.
di (0) = 10 × r / 31
dp (0) = Kp × di (0)
db (0) = Kb × di (0)

(ステップS3)
QPの平均値を、MBごとのアクティビティによって変化させる。マクロブロックjの空間的アクティビティ測定act(j)として、入力画像の輝度ブロック(MB中に4個含まれる)の画素値を使って次式を計算する。sblkは輝度ブロックの番号を示す。
(Step S3)
The average value of QP is changed according to the activity for each MB. As the spatial activity measurement act (j) of the macroblock j, the following expression is calculated using the pixel values of the luminance block (4 included in MB) of the input image. sblk indicates the number of the luminance block.

Figure 0004249672
Figure 0004249672

ここで here

Figure 0004249672
Figure 0004249672

(Pk:8×8ブロックの画素値)
アクティビティact(j)を、平均的なアクティビティの値からの偏りによって[2,1/2]の範囲に正規化した係数N-act(j)を計算する。
(Pk: Pixel value of 8 × 8 block)
A coefficient N-act (j) obtained by normalizing the activity act (j) to a range of [2,1 / 2] by the deviation from the average activity value is calculated.

N-act(j)=(2×act(j)+avg-act)/(act(j)+2×avg-act)・・・(2)
avg-actは前の時刻の画像のact(j)の平均値、初期値は400である。この正規化した係数を用いて変調した量子化ステップは次式で得られる。
Mq(j)=Q(j)×N-act(j)
N-act (j) = (2 × act (j) + avg-act) / (act (j) + 2 × avg-act) (2)
avg-act is the average value of act (j) of the image at the previous time, and the initial value is 400. A quantization step modulated using the normalized coefficient is obtained by the following equation.
Mq (j) = Q (j) × N-act (j)

Mq(j)は[1,31]の範囲の整数にクリップされる。この変調により、視覚特性上ノイズに敏感なアクティビティの低い部分には細かな量子化ステップが割り当てされる。逆に、ノイズの目立ちにくい、変化の激しい部分には粗い量子化ステップが割り当てられる。   Mq (j) is clipped to an integer in the range [1,31]. Due to this modulation, fine quantization steps are assigned to low-activity parts that are sensitive to noise in terms of visual characteristics. On the contrary, a coarse quantization step is assigned to a portion where noise is not noticeable and changes rapidly.

このように、通常のレート制御は、大きな処理量を必要とする。
この不具合に鑑みて、本発明者が先に特許出願した発明(2003−206482)を、まずその原理から説明する。本発明者は、ビットレートを制御するには、量子化処理における量子化パラメータ(以下、QP値)の設定と、その値により変動するVBV(Video Buffering Verifier)バッファの占有量の大きさが重要になることに着目し、次のような予備実験を行った。なお、前記VBVバッファは、仮想的なバッファ検証器を意味する。符号化により生成されるビットストリームは、該VBVが要求する条件を満たすことが義務付けられており、一定レートで符号化されたビットストリームは、VBVによって課せられた拘束条件に合っていなければならないという決まりがあるが、これは周知であるので説明を省略する。
Thus, normal rate control requires a large amount of processing.
In view of this problem, the invention (2003-206482) previously filed by the inventor of the present invention will be described from the principle. In order to control the bit rate, the present inventor needs to set a quantization parameter (hereinafter referred to as a QP value) in the quantization process and a size of a VBV (Video Buffering Verifier) buffer that varies depending on the value. The following preliminary experiment was conducted. The VBV buffer means a virtual buffer verifier. The bitstream generated by the encoding is obliged to satisfy the conditions required by the VBV, and the bitstream encoded at a constant rate must meet the constraints imposed by the VBV. Although there is a rule, this is well known and will not be described.

さて、前記予備実験として、MPEG−4エンコーダで通常のレート制御(例えば、TM5符号化方式)を行ったとき、各フレーム毎のVBVバッファ占有量の推移と、フレーム単位での平均QP値の推移と、マクロブロック(以下、MB)単位でのQP値の推移が、各ビットレート(例えば、4Mbps,3Mbpsおよび2Mbps)においてどのようになっているかを検証した。実験に使用した入力および出力シーケンスの符号化条件を、図3(a)および(b)に示す。   As a preliminary experiment, when normal rate control (for example, TM5 encoding method) is performed with an MPEG-4 encoder, the transition of the VBV buffer occupancy for each frame and the transition of the average QP value for each frame. Then, it was verified how the transition of the QP value in units of macroblocks (hereinafter referred to as MB) is at each bit rate (for example, 4 Mbps, 3 Mbps, and 2 Mbps). The coding conditions of the input and output sequences used in the experiment are shown in FIGS. 3 (a) and 3 (b).

また、前記実験により得た結果であるVBVバッファの占有量のフレーム数による推移を図4に、フレーム単位での平均QP値の推移の結果を図5に示す。また、第0フレームのIピクチャでのMB単位のQP値の推移を図6に、第1フレームのPピクチャでのMB単位のQP値の推移を図7に示す。   FIG. 4 shows the transition of the VBV buffer occupancy, which is the result obtained from the experiment, according to the number of frames, and FIG. 5 shows the transition of the average QP value for each frame. FIG. 6 shows the transition of the QP value in MB unit for the I picture of the 0th frame, and FIG. 7 shows the transition of the QP value in MB unit of the P picture in the first frame.

図4を見ると、各ビットレート(4Mbps,3Mbpsおよび2Mbps)におけるVBVバッファの推移特性が類似している、すなわち相関があることがわかる。また、図5を見ると、各ビットレートにおけるフレーム単位での平均QP値が類似していることがわかる。また、図6、図7を見ると、各ビットレートにおけるMB単位でのQP値の推移特性も類似していることがわかる。   Referring to FIG. 4, it can be seen that the transition characteristics of the VBV buffer at each bit rate (4 Mbps, 3 Mbps, and 2 Mbps) are similar, that is, there is a correlation. In addition, it can be seen from FIG. 5 that the average QP values in units of frames at the respective bit rates are similar. 6 and 7, it can be seen that the transition characteristics of QP values in MB units at the respective bit rates are similar.

つまり、この実験により、本発明者は、サイマルエンコーダを構築する際に、最高ビットレート(例えば、4Mbps)のQP値を低ビットレート(例えば、3Mbps,2Mbps)のQP値の算出に利用することにより、ビデオ情報複数同時符号化装置のレート制御のQP値の算出処理を削減し、処理の高速化を図ることができることを着想した。   That is, according to this experiment, the present inventor uses the QP value of the highest bit rate (for example, 4 Mbps) to calculate the QP value of the low bit rate (for example, 3 Mbps, 2 Mbps) when constructing the simul encoder. Thus, the idea was to reduce the processing for calculating the QP value for rate control of the video information multiple simultaneous encoding device, and to increase the processing speed.

本発明の原理は、最高ビットレートでのコンテンツ符号化には通常のエンコード処理、すなわち前記ステップ1〜3の処理を行い、低ビットレートのコンテンツには該最高ビットレートでのエンコード処理結果のVBVバッファ推移を参照して、低ビットレートのVBVバッファ推移をこの推移に追随させる制御をすることにある。なお、後述するように、上記の文中の「最高ビットレート」を「最低ビットレート」と、また「低ビットレート」を「高ビットレート」と置き換えても良いので、以降では、これらを総称するために、場合によっては、通常のエンコード処理を行うビットレートを「マスタレート」、該マスタレートのVBVバッファ推移を参照してエンコード処理を行うビットレートを「派生レート」と呼ぶことにする。   The principle of the present invention is that the normal encoding process for content encoding at the highest bit rate, that is, the processing of steps 1 to 3 is performed, and the VBV of the encoding process result at the highest bit rate is applied to the low bit rate content. By referring to the buffer transition, the control is performed to follow the transition of the low bit rate VBV buffer. As will be described later, “maximum bit rate” in the above sentence may be replaced with “minimum bit rate”, and “low bit rate” may be replaced with “high bit rate”. Therefore, in some cases, the bit rate at which normal encoding processing is performed is referred to as “master rate”, and the bit rate at which encoding processing is performed with reference to the VBV buffer transition of the master rate is referred to as “derivative rate”.

次に、マスタレートである高ビットレートのVBVバッファ占有量を初期バッファ占有量で正規化した参照バッファ占有率を、フレーム番号fnmを用いて、bhr(fnm)とする。しかし、高ビットレートと派生レートである低ビットレートでは、バッファサイズ指定やビットレート指定の違いにより、バッファ占有量を同一とすることはできない。このため、低ビットレートのシーケンスは、高ビットレートのバッファ推移を低ビットレートの理想推移に修正することで得るものとする。   Next, the reference buffer occupancy rate obtained by normalizing the VBV buffer occupancy amount of the high bit rate which is the master rate with the initial buffer occupancy amount is set to bhr (fnm) using the frame number fnm. However, at the high bit rate and the low bit rate, which is the derivative rate, the buffer occupancy cannot be made the same due to differences in buffer size designation and bit rate designation. For this reason, the low bit rate sequence is obtained by correcting the high bit rate buffer transition to the low bit rate ideal transition.

この理想推移の修正法を以下に説明する。イントラ符号化VOP(以下、I−VOP)符号化時のVBVバッファ占有率の変動幅は、各エンコードビットレート、初期バッファ占有量、バッファサイズにより異なる。低ビットレート用理想バッファ占有率bhr’(fnm)に該bhr(fnm)をそのまま利用すると、この変動を考慮していないため、制御時の誤差量が定期的に増大する。そこで、I−VOPの出現位置に応じた、下記の式(3)による理想バッファ占有率の生成を行った。
bhr’(fnm)=bhr(fnm)−{(bhrI−pic−blrI−pic)×(fnmin−gop−fnmgop)/fnmin−gop} ・・・(3)
A method for correcting this ideal transition will be described below. The fluctuation range of the VBV buffer occupancy during intra-encoded VOP (hereinafter I-VOP) encoding varies depending on each encoding bit rate, initial buffer occupancy, and buffer size. If bhr (fnm) is used as it is for the ideal buffer occupancy rate bhr ′ (fnm) for low bit rate, this variation is not taken into consideration, so that the amount of error during control periodically increases. Therefore, an ideal buffer occupancy rate is generated by the following equation (3) according to the appearance position of the I-VOP.
bhr '(fnm) = bhr ( fnm) - {(bhr I-pic -blr I-pic) × (fnm in-gop -fnm gop) / fnm in-gop} ··· (3)

ここに、fnmはフレーム番号、bhr’(fnm)は派生レート用理想バッファ占有率、bhr(fnm)はマスタレートのバッファ占有率、bhrI−picはマスタレートのIピクチャ符号化後のバッファ占有率、blrI−picは派生レートのIピクチャ符号化後のバッファ占有率、fnmin−gopは1GOP内のフレーム枚数、fnmgopは直前のIピクチャからの経過フレーム枚数である。なお、この式(3)は、本発明により初めて示される新規性のある式である。 Here, fnm is the frame number, bhr ′ (fnm) is the ideal buffer occupancy for the derivative rate, bhr (fnm) is the buffer occupancy at the master rate, and bhr I-pic is the buffer occupancy after I-picture encoding at the master rate. Rate, blr I-pic is the buffer occupancy after encoding the I picture of the derived rate, fnm in-gop is the number of frames in one GOP, and fnm gop is the number of frames that have elapsed since the previous I picture. The formula (3) is a novel formula that is shown for the first time by the present invention.

次に、マスタレートである最高ビットレートで通常のエンコード処理した際の量子化値QPを参照値Qとし、派生レートである低ビットレートコンテンツ生成に利用するQPをqとすると、該qはq=Q×rで求めるものとし、このrの値により低ビットレートの発生ビット量を制御する。このrは量子化パラメータの重み付け係数であり、フレーム単位で動的に変化させるものとし、以下のようにして決定する。   Next, assuming that the quantized value QP at the time of normal encoding at the highest bit rate that is the master rate is the reference value Q and the QP that is used to generate the low bit rate content that is the derived rate is q, the q is q = Q × r, and the amount of bits generated at a low bit rate is controlled by the value of r. This r is a quantization parameter weighting coefficient, which is dynamically changed in units of frames, and is determined as follows.

低ビットレートのバッファ占有率blr(fnm)がbhr’(fnm)となるように、rの初期値rを下記の式(4)により求め、下記の式(5)により、フレーム単位でrの更新(=r)を行う。
=high-bitrate(bps)/low-bitrate(bps) ・・・(4)
=マスタレート/派生レート
n+1=rn×[1+{(bhr’(fnm)−blr(fnm))/blr(fnm)}×p] (n≧0) ・・・(5)
ここに、pは、rの変動量のパラメータであり、{(bhr’(fnm)−blr(fnm))/blr(fnm)}の平均値と標準偏差値による評価により決定される。一例として、p=0.1とすることができる。
The initial value r 0 of r is obtained by the following equation (4) so that the low bit rate buffer occupancy blr (fnm) becomes bhr ′ (fnm), and r in frame units by the following equation (5). Update (= r n ).
r 0 = high-bitrate (bps) / low-bitrate (bps) (4)
= Master rate / Derived rate r n + 1 = r n × [1 + {(bhr ′ (fnm) −blr (fnm)) / blr (fnm)} × p 1 ] (n ≧ 0) (5)
Here, p 1 is a parameter for the amount of fluctuation of r, and is determined by evaluation using an average value and a standard deviation value of {(bhr ′ (fnm) −blr (fnm)) / blr (fnm)}. As an example, p 2 = 0.1.

実際のqの算出に際して、MPEG−4規格での隣接MB間の変動制限±2以内を付加する。そして、前記(4)、(5)式で求められるrを用いて、低ビットレートを、q=Q×rでエンコードする。この時、qが小数の時は、小数第1位で四捨五入し、必ず整数になるようにする。   In the actual calculation of q, a variation limit within ± 2 between adjacent MBs in the MPEG-4 standard is added. Then, the low bit rate is encoded by q = Q × r using r obtained by the equations (4) and (5). At this time, when q is a decimal number, it is rounded off to the first decimal place so that it always becomes an integer.

図1に、前記した処理がなされる符号化器の概略の構成を示す。
本実施形態は、図示されているように、マスタレート用、例えば高ビットレート用のレート制御部1と、派生レート用、例えば低ビットレート用のレート制御部2を設け、該レート制御部1は前記ステップ1〜3の通常の処理を行い、レート制御部2は該レート制御部の処理結果を利用して、低処理負荷のレート制御を行うようにした点に特徴がある。なお、高ビットレートの量子化器Qは前記レート制御部1により、低ビットレートの量子化器Q’は前記レート制御部2により制御される。本実施形態によれば、後述の説明から分かるように、レート制御の処理量を大きく低減することができる。前記仮想的なバッファ検証器であるVBVバッファは、該レート制御部1、2内に存在すると想定できる。
FIG. 1 shows a schematic configuration of an encoder that performs the above-described processing.
In the present embodiment, as shown in the figure, a rate control unit 1 for a master rate, for example, a high bit rate, and a rate control unit 2 for a derived rate, for example, a low bit rate are provided. Is characterized in that the normal processing of steps 1 to 3 is performed, and the rate control unit 2 performs rate control of a low processing load by using the processing result of the rate control unit. The high bit rate quantizer Q is controlled by the rate control unit 1, and the low bit rate quantizer Q ′ is controlled by the rate control unit 2. According to the present embodiment, as can be seen from the description below, the amount of rate control processing can be greatly reduced. It can be assumed that the VBV buffer which is the virtual buffer verifier exists in the rate control units 1 and 2.

次に、該レート制御部2の機能および動作を、図2を参照して説明する。ステップS1では、マスタビットレートのコンテンツを前記した通常の方法で符号化する。ステップS2では、ステップS1の符号化結果から、派生ビットレートのコンテンツ用に、量子化パラメータQP(Q)とバッファ占有率bhr(fnm)とを取得する。ステップS3は、前記式(3)よりbhr’(fnm)を算出する。ステップS4では、最初のフレームか、またはGOPの最初のフレームか否かの判断がなされ、この判断が肯定の場合にはステップS5に進んで前記式(4)によりrを算出する。次にステップS6において、低ビットレートの量子化器Q’を量子化パラメータq(=Q×r)でエンコードする。次いでステップS7に進んでnm枚目の画像fnmを更新する。そして、ステップS2に戻って、ステップS1の符号化結果から、画像fnmの量子化パラメータQP(Q)とバッファ占有率bhr(fnm)とを取得する。ステップS3では、前記と同様に、式(3)よりbhr’(fnm)を算出する。 Next, functions and operations of the rate control unit 2 will be described with reference to FIG. In step S1, the master bit rate content is encoded by the normal method described above. In step S2, the quantization parameter QP (Q) and the buffer occupancy bhr (fnm) are obtained for the derived bit rate content from the encoding result of step S1. In step S3, bhr ′ (fnm) is calculated from the equation (3). In step S4, whether the first frame, or first frame determines whether the GOP is made to calculate the r 0 by the equation proceeds to step S5 if the determination is affirmative (4). Next, in step S6, the low bit rate quantizer Q ′ is encoded with the quantization parameter q (= Q × r 0 ). In step S7, the nmth image fnm is updated. Then, returning to step S2, the quantization parameter QP (Q) and buffer occupancy bhr (fnm) of the image fnm are acquired from the encoding result of step S1. In step S3, bhr ′ (fnm) is calculated from equation (3) in the same manner as described above.

次に、ステップS4の判断が否定になると、ステップS8に進み、前記式(5)より、r(=rfnm)を算出する。ステップS9では、派生ビットレートの量子化器Q’を量子化パラメータq(=Q×rfnm)でエンコードする。ステップS10では、入力映像が終了したか否かの判断がなされ、この判断が否定の時にはステップS7に進んでfnmが更新され、前記した処理が続行される。一方、ステップS10が肯定になると、派生ビットレートの符号化処理は終了する。 Next, when the determination in step S4 is negative, the process proceeds to step S8, where r n (= r fnm ) is calculated from the above equation (5). In step S9, the quantizer Q ′ having a derived bit rate is encoded with a quantization parameter q (= Q × r fnm ). In step S10, it is determined whether or not the input video has been completed. If this determination is negative, the process proceeds to step S7, where fnm is updated, and the above-described processing is continued. On the other hand, when step S10 becomes affirmative, the encoding process of the derived bit rate ends.

次に、前記実施形態を用いた実験結果の一例を、図8〜図12に示す。図8はVBVバッファの推移を、図9はVBVバッファ占有率の推移を、図10はVBVバッファ占有率の平均絶対誤差を、図11はフレーム単位でのPSNRの推移を、さらに図12は処理時間を示す。また、図中のnormalは通常の符号化を示し、proposalは本実施形態による符号化を示す。   Next, an example of the experimental result using the said embodiment is shown in FIGS. 8 shows the transition of the VBV buffer, FIG. 9 shows the transition of the VBV buffer occupancy, FIG. 10 shows the average absolute error of the VBV buffer occupancy, FIG. 11 shows the transition of PSNR in units of frames, and FIG. Show time. In the figure, normal indicates normal encoding, and proper indicates encoding according to the present embodiment.

図8からは、2.5MbpsのVBVバッファの推移(proposal)が、normalのそれとほぼ同じであることが分かる。また、図9、図10から、低ビットレート用理想バッファ占有率bhr’(fnm)がnormalのバッファ占有率nml(fnm)と近似し、また|nml(fnm)−blr(fnm)|が小さいことが分かる。また、図11から、本実施形態により符号化した場合の平均PSNRが、通常の符号化による場合の平均PSNRより向上していることが分かる。さらに、図12から、本実施形態を用いると、レート制御処理時間が3.75m秒となり、本実施形態を用いない場合の138.889m秒に比べて、大きく短縮できることが分かる。   FIG. 8 shows that the transition (proposal) of the 2.5 Mbps VBV buffer is almost the same as that of normal. Also, from FIGS. 9 and 10, the ideal buffer occupancy bhr ′ (fnm) for low bit rate approximates the normal buffer occupancy nml (fnm), and | nml (fnm) −blr (fnm) | is small. I understand that. In addition, it can be seen from FIG. 11 that the average PSNR obtained by encoding according to the present embodiment is higher than the average PSNR obtained by normal encoding. Furthermore, it can be seen from FIG. 12 that when this embodiment is used, the rate control processing time is 3.75 msec, which can be greatly shortened compared to 1388.889 msec when this embodiment is not used.

なお、前記実施形態では、最高ビットレートでのエンコード処理結果のVBVバッファ推移を参照したが、本発明はこれに限定されず、最低ビットレートでのエンコード処理結果のVBVバッファ推移を参照して、高ビットレートのVBVバッファ推移をこの推移に追随させる制御をするようにしてもよい。   In the above embodiment, the VBV buffer transition of the encoding process result at the highest bit rate is referred to. However, the present invention is not limited to this, and the VBV buffer transition of the encoding process result at the lowest bit rate is referred to. You may make it control the VBV buffer transition of a high bit rate to track this transition.

次に、前記した処理では、符号化ストリームにおいて、量子化パラメータの重み付け係数の初期値rを、前記(4)式のように、マスタレートと派生レートの単純な比から求めたのに対して、下記の実験により得られた測定結果から、量子化パラメータの重み付け係数の初期値rをマスタレート値と派生レート値の比率を変数とする関数から求めることを、先の特許出願で提案した。 Next, in the processing described above, in the encoded stream, the initial value r 0 of the weighting coefficient of the quantization parameter is obtained from the simple ratio of the master rate and the derived rate as in the above equation (4). Based on the measurement results obtained by the following experiment, an earlier patent application proposes to obtain the initial value r 0 of the quantization parameter weighting coefficient from a function having the ratio between the master rate value and the derived rate value as a variable. did.

この実験では、図13に示されているように、マスタレートと派生レートを設定した。実験1では、マスタレート2Mbps、派生レート1.5Mbps、1Mbps、500Kbpsと設定した。実験2では、マスタレート3Mbps、派生レート2Mbps、1.5Mbps、1Mbps、500Kbpsと設定した。また、実験3では、マスタレート4Mbps、派生レート3Mbps、2Mbps、1.5Mbps、1Mbps、500Kbpsと設定した。   In this experiment, a master rate and a derivative rate were set as shown in FIG. In Experiment 1, the master rate was set to 2 Mbps, the derived rate was 1.5 Mbps, 1 Mbps, and 500 Kbps. In Experiment 2, the master rate was set to 3 Mbps, the derived rate was 2 Mbps, 1.5 Mbps, 1 Mbps, and 500 Kbps. In Experiment 3, the master rate was 4 Mbps, the derivative rate was 3 Mbps, 2 Mbps, 1.5 Mbps, 1 Mbps, and 500 Kbps.

図14、図15および図16は、それぞれマスタレートを2Mbps、3Mbps、4Mbpsとした時の図13の実験1,2および3に対応する測定結果を示し、横軸はレート比(マスタレート/派生レート)、縦軸は平均QP比、すなわち(派生レートの平均qp)/(マスタレートの平均QP)を示す。例えば、図14の実験1では、横軸のレート比は、それぞれ2/1.5,2/1,2/0.5となり、図15の実験2では該レート比は、3/2,3/1.5,3/1,3/0.5となる。   FIGS. 14, 15 and 16 show the measurement results corresponding to Experiments 1, 2 and 3 in FIG. 13 when the master rate is 2 Mbps, 3 Mbps and 4 Mbps, respectively, and the horizontal axis indicates the rate ratio (master rate / derivation). (Rate), the vertical axis indicates the average QP ratio, that is, (average derivation rate qp) / (average QP of master rate). For example, in Experiment 1 of FIG. 14, the horizontal axis rate ratios are 2 / 1.5, 2/1, 2 / 0.5, respectively, and in Experiment 2 of FIG. 15, the rate ratios are 3/2, 3 /1.5, 3/1, 3 / 0.5.

図14、図15および図16のグラフから、平均QP比は、レート比を変数とする直線またはそれに近い曲線に近似できることが分かった。   From the graphs of FIGS. 14, 15, and 16, it was found that the average QP ratio can be approximated to a straight line having a rate ratio as a variable or a curve close thereto.

そこで、本実施形態では、前記(4)式に代えて、レート比を変数とする下記(6)式を使用する。
=f(レート比) ・・・(6)
上記のfは関数を表す。
Therefore, in the present embodiment, the following equation (6) using the rate ratio as a variable is used instead of the equation (4).
r 0 = f (rate ratio) (6)
The above f represents a function.

以上が、先の特許出願で提案されている発明である。次に、本発明の一実施形態を説明する。この実施形態は、前記した発明では、図14〜図16の関係から明らかなように、レート比が2程度までは入力画像条件(テスト画像など)に依存せずに、ほぼ等しい平均QP比が得られ、一意の近似により適切な初期値rが得られるが、該レート比が2以上になると、平均QP比の入力画像条件による違いが大きくなり、一意の近似により適切な初期値rが得られなくなるという不具合があるのを、改善しようとするものである。 The above is the invention proposed in the previous patent application. Next, an embodiment of the present invention will be described. In this embodiment, as is apparent from the relationship of FIGS. 14 to 16, in the above-described invention, the rate ratio is approximately equal to the average QP ratio up to about 2 without depending on the input image condition (test image or the like). An appropriate initial value r 0 is obtained by unique approximation. However, when the rate ratio is 2 or more, the difference in the average QP ratio depending on the input image condition increases, and an appropriate initial value r 0 by unique approximation is obtained. It is intended to improve the problem of not being able to obtain.

本発明者は、マクロブロック(以下、MBと記す)全体の使用ビット量が、符号化レートで制御される、すなわちQP値で制御されるビット量(以下、QP値依存ビット量;例えば、DCT係数)、符号化レートで制御されない、すなわちQP値で制御されないビット量(以下、QP値非依存ビット量;例えば、MBタイプ、動きベクトルMV等)からなることに着目し、前記QP値依存ビット量のみを用いて、前記図14〜図16と同様の、レート比と平均QP比との関係を求めた。   The present inventor has determined that the amount of used bits of the entire macroblock (hereinafter referred to as MB) is controlled by the coding rate, that is, the amount of bits controlled by the QP value (hereinafter, QP value dependent bit amount; for example, DCT The QP value dependent bits, noting that it is not controlled by the coding rate, that is, the bit amount not controlled by the QP value (hereinafter, QP value independent bit amount; for example, MB type, motion vector MV, etc.) Using only the amount, the relationship between the rate ratio and the average QP ratio was obtained in the same manner as in FIGS.

図17は、Iピクチャにおいて、マスタレートを6,8,10Mbps、派生レートを3〜10Mbpsとした場合の、QP値依存ビット量のみを用いて求めたレート比(横軸)と平均QP比(縦軸)との関係を示す。また、図18は、Pピクチャにおいて、マスタレートを6,8,10Mbps、派生レートを3〜10Mbpsとした場合の、QP値依存ビット量のみを用いて求めたレート比(横軸)と平均QP比(縦軸)との関係を示す。   FIG. 17 shows a rate ratio (horizontal axis) and an average QP ratio (only the QP value-dependent bit amount) obtained when the master rate is 6, 8, 10 Mbps and the derived rate is 3-10 Mbps. The vertical axis). FIG. 18 shows the rate ratio (horizontal axis) and average QP obtained using only the QP value-dependent bit amount when the master rate is 6, 8, 10 Mbps, and the derived rate is 3-10 Mbps in the P picture. The relationship with the ratio (vertical axis) is shown.

図17、図18の関係から、IおよびPピクチャの両方において、レート比が2以上になっても、入力画像条件に無関係にほぼ等しい平均QP値が得られ、かつ(DCT係数のレート比)を変数とする次の一次式((7)式、(8)式)で表せることを発見した。
I0=A×DCTbit比I+B ・・・(7)
P0=C×DCTbit比P+D ・・・(8)
ここに、A,B,C,およびDは、定数である。
17 and FIG. 18, in both I and P pictures, even if the rate ratio is 2 or more, an average QP value that is almost equal is obtained regardless of the input image condition, and (rate ratio of DCT coefficient) It was discovered that it can be expressed by the following linear equations (equation (7), equation (8)), where is a variable.
r I0 = A × DCT bit ratio I + B (7)
r P0 = C × DCT bit ratio P + D (8)
Here, A, B, C, and D are constants.

さらに、図17、図18のグラフから、例えば、A=0.8、B=0.2、C=0.55、D=0.45が好適であることを発見した。   Further, from the graphs of FIGS. 17 and 18, it was found that, for example, A = 0.8, B = 0.2, C = 0.55, and D = 0.45 are preferable.

次に、A=0.8、B=0.2、C=0.55、D=0.45を用いた前記(7)、(8)式を用い、符号化条件を図19(a)、(b)として、図20の方法でシミュレーション実験を行った。そして、通常符号化および該実施形態による符号化の場合で、VBVバッファ占有率、PSNR、および処理時間について、比較検討した。なお、図19(b)のマスタレートは10Mbps、派生レートは4Mbpsであるので、レート比は2.5となる。   Next, using the equations (7) and (8) using A = 0.8, B = 0.2, C = 0.55, and D = 0.45, the encoding conditions are shown in FIG. , (B), a simulation experiment was performed by the method of FIG. Then, in the case of normal encoding and encoding according to the embodiment, the VBV buffer occupancy, PSNR, and processing time were compared and examined. Since the master rate in FIG. 19B is 10 Mbps and the derived rate is 4 Mbps, the rate ratio is 2.5.

ここで、図20の方法を説明すると、ステップS11では、マスタビットレートのコンテンツを前記した通常の方法で符号化する。ステップS12では、ステップS11の符号化結果から、派生ビットレートのコンテンツ用に、量子化パラメータQP(Q)とバッファ占有率bhr(fnm)とを取得する。ステップS13では、前記式(3)よりbhr’(fnm)を算出する。ステップS14では、入力画像が最初のIピクチャであるか否かの判断がなされ、肯定の時にはステップS15に進んで、前記式(7)よりrI0を算出する。ステップS16では、q=Q×rI0でエンコードする。次に、ステップS17に進んで、フレーム番号fnmが更新される。 Here, the method of FIG. 20 will be described. In step S11, the master bit rate content is encoded by the above-described normal method. In step S12, the quantization parameter QP (Q) and the buffer occupancy rate bhr (fnm) are acquired from the encoding result of step S11 for the content of the derived bit rate. In step S13, bhr ′ (fnm) is calculated from the equation (3). In step S14, it is determined whether or not the input image is the first I picture. If the determination is affirmative, the process proceeds to step S15 to calculate rI0 from the equation (7). In step S16, encoding is performed with q = Q × rI0 . Next, proceeding to step S17, the frame number fnm is updated.

ステップS12とS13で前記と同様の処理が行われ、ステップS14の判断が否定になると、ステップS18に進んで、入力画像が前記最初のIピクチャの次のPピクチャであるか否かの判断がなされる。この判断が肯定であるとステップS19に進んで、前記式(8)よりrP0を算出する。ステップS20では、q=Q×rP0でエンコードする。次に、ステップS17に進んで、フレーム番号fnmが更新される。 If the same processing as described above is performed in steps S12 and S13, and the determination in step S14 is negative, the process proceeds to step S18 to determine whether or not the input image is the P picture next to the first I picture. Made. If this determination is affirmative, the routine proceeds to step S19, where rP0 is calculated from the equation (8). In step S20, encoding is performed using q = Q × r P0 . Next, proceeding to step S17, the frame number fnm is updated.

次に、前記ステップS18の判断が否定になると、すなわち入力画像が前記最初のIピクチャから2番目以降のPまたはIピクチャになるとステップS21に進み、前記式(5)により量子化パラメータの重み付け係数rfnmを算出する。次いでステップS22に進み、q=Q×rfnmでエンコードする。ステップS23では、入力画像が終了したか否かの判断がなされ、否定の場合には、前記した各処理が繰り返される。ステップS23の判断が肯定になると、図20の処理は終了する。 Next, if the determination in step S18 is negative, that is, if the input image becomes the second or subsequent P or I picture from the first I picture, the process proceeds to step S21, and the weighting coefficient of the quantization parameter according to the equation (5) r fnm is calculated. Next, in step S22, encoding is performed with q = Q × r fnm . In step S23, it is determined whether or not the input image is completed. If the determination is negative, the above-described processes are repeated. If the determination in step S23 is affirmative, the process in FIG. 20 ends.

図20のシミュレーション実験で得られたVBVバッファ占有率は図21に示すようになり、派生レートのバッファ占有率[提案方式](曲線a)は、派生レートのバッファ占有率[通常符号化](曲線b)と良く一致し、QP値依存ビット量の比を用いた近似を、量子化パラメータの重み付け係数rの初期値rとして利用しても制御可能であることが確認できた。よって、本実施形態は、レート比が2以上であっても、適用可能であることが確認できた。また、図22より、生成ファイル容量および平均PSNRが、通常符号化とほぼ同じであることも確認できた。 The VBV buffer occupancy obtained in the simulation experiment of FIG. 20 is as shown in FIG. 21. The derived rate buffer occupancy [proposed method] (curve a) is derived from the derived rate buffer occupancy [normal encoding] ( The curve b) agrees well with the curve, and it has been confirmed that the control using the approximation using the ratio of the QP value-dependent bit amount as the initial value r 0 of the weighting coefficient r of the quantization parameter is possible. Therefore, it was confirmed that this embodiment is applicable even when the rate ratio is 2 or more. Further, from FIG. 22, it was confirmed that the generated file capacity and the average PSNR are almost the same as those in the normal encoding.

それにも拘わらず、本発明による処理時間は、図23に示されているように、レート制御部では、通常の符号化に比べて、約87%削減することができ、本発明の有効性が確認できた。   Nevertheless, as shown in FIG. 23, the processing time according to the present invention can be reduced by about 87% in the rate control unit compared with the normal encoding, and the effectiveness of the present invention is reduced. It could be confirmed.

本発明の一実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of this invention. 図1の要部の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the principal part of FIG. 予備実験の入力シーケンス条件と出力シーケンス条件とを示す図である。It is a figure which shows the input sequence conditions and output sequence conditions of a preliminary experiment. 高ビットレートと低ビットレートのVBVバッファ占有量の推移を示す図である。It is a figure which shows transition of the VBV buffer occupation amount of a high bit rate and a low bit rate. 高ビットレートと低ビットレートのフレーム単位における平均QP値の推移を示す図である。It is a figure which shows transition of the average QP value in the frame unit of a high bit rate and a low bit rate. IピクチャのMB単位のQP値の推移を示す図である。It is a figure which shows transition of QP value of MB unit of I picture. PピクチャのMB単位のQP値の推移を示す図である。It is a figure which shows transition of QP value of MB unit of P picture. 実験結果であるVBVバッファの推移を示す図である。It is a figure which shows transition of the VBV buffer which is an experimental result. 実験結果であるVBVバッファ占有率の推移を示す図である。It is a figure which shows transition of the VBV buffer occupation rate which is an experimental result. VBVバッファ占有率の平均絶対誤差を示す図である。It is a figure which shows the average absolute error of a VBV buffer occupation rate. 実験結果であるフレーム単位でのPSNRの推移を示す図である。It is a figure which shows transition of PSNR per frame which is an experimental result. 処理時間の低減を示す図である。It is a figure which shows reduction of processing time. マスタレートと派生レートの設定の説明図である。It is explanatory drawing of the setting of a master rate and a derivative rate. レート比と平均QP値の比(実験1)の関係を示す図である。It is a figure which shows the relationship between a rate ratio and ratio (experiment 1) of an average QP value. レート比と平均QP値の比(実験2)の関係を示す図である。It is a figure which shows the relationship between a rate ratio and ratio (Experiment 2) of an average QP value. レート比と平均QP値の比(実験3)の関係を示す図である。It is a figure which shows the relationship between a rate ratio and ratio (Experiment 3) of an average QP value. 平均QP値比とQP値依存ビット量比(Iピクチャ)の関係を示す図である。It is a figure which shows the relationship between average QP value ratio and QP value dependence bit amount ratio (I picture). 平均QP値比とQP値依存ビット量比(Pピクチャ)の関係を示す図である。It is a figure which shows the relationship between average QP value ratio and QP value dependence bit amount ratio (P picture). シミュレーション実験の符号化条件を示す図である。It is a figure which shows the encoding conditions of simulation experiment. シミュレーション実験の方法を示すフローチャートである。It is a flowchart which shows the method of a simulation experiment. 本発明の一実施形態による符号化[提案方式]と通常符号化を行った場合とにおける、派生レートのバッファ占有率を示す図である。It is a figure which shows the buffer occupancy rate of a derivation rate in the case of encoding [proposed system] by one Embodiment of this invention, and the case where normal encoding is performed. 本発明の一実施形態による符号化[提案方式]と通常符号化を行った場合とにおける、PSNRと生成ファイル容量とを示す図である。It is a figure which shows PSNR and the production | generation file capacity | capacitance in the case of performing the encoding [proposed system] by one Embodiment of this invention, and normal encoding. 派生レートが4Mbpsの場合の、本発明の一実施形態による符号化[提案方式]と通常符号化を行った場合とにおける処理時間を示す図である。It is a figure which shows the processing time in the case of carrying out the encoding [proposed system] by one Embodiment of this invention, and a normal encoding in case a derivative rate is 4 Mbps. 従来の異符号化方式の構成を示すブロック図である。It is a block diagram which shows the structure of the conventional different encoding system.

符号の説明Explanation of symbols

1・・・レート制御部、2・・・低処理負荷レート制御部。


DESCRIPTION OF SYMBOLS 1 ... Rate control part, 2 ... Low processing load rate control part.


Claims (4)

ビデオ情報を複数同時に符号化するビデオ情報複数同時符号化装置において、
複数の異なるビットレートで量子化する複数の量子化器と、
該複数の量子化器の量子化パラメータを求めるレート制御部とを具備し、
該レート制御部は、マスタレートで符号化された量子化パラメータを利用して、派生レートの映像を符号化し、該レート制御に用いる派生レートの量子化パラメータは、マスタレート符号化時の量子化パラメータQと、前記バッファ占有率を基に算出された重み付け係数rとの積で求められ、
前記重み付け係数rのIピクチャとPピクチャの初期値rは、それぞれ下記の(1)、(2)式から求められることを特徴とするビデオ情報複数同時符号化装置。
=A×(IピクチャのDCT係数のレート比)+B ・・・(1)
=C×(PピクチャのDCT係数のレート比)+D・・・(2)
ここに、A,B,CおよびDは、定数である。
In a video information multiple simultaneous encoding device for simultaneously encoding a plurality of video information,
A plurality of quantizers that quantize at a plurality of different bit rates;
A rate control unit for obtaining quantization parameters of the plurality of quantizers,
The rate control unit encodes a derived rate video using a quantization parameter encoded at a master rate, and the derived rate quantization parameter used for the rate control is a quantization at the time of master rate encoding. It is obtained by the product of the parameter Q and the weighting coefficient r calculated based on the buffer occupancy rate,
An initial value r 0 of the I picture and the P picture of the weighting coefficient r is obtained from the following equations (1) and (2) , respectively, and a plurality of video information simultaneous encoding apparatuses:
r 0 = A × (rate ratio of DCT coefficient of I picture) + B (1)
r 0 = C × (rate ratio of DCT coefficient of P picture) + D (2)
Here, A, B, C and D are constants.
請求項に記載のビデオ情報複数同時符号化装置において、
前記定数A,B,CおよびDは、A=0.8、B=0.2、C=0.55、D=0.45あるいはそれらに近似する値であることを特徴とするビデオ情報複数同時符号化装置。
In the video information multiple simultaneous encoding device according to claim 1 ,
The constants A, B, C, and D are A = 0.8, B = 0.2, C = 0.55, D = 0.45, or values approximate thereto, Simultaneous encoding device.
請求項1に記載のビデオ情報複数同時符号化装置において、
前記量子化パラメータで制御されるビット量は、DCT係数のビット量であることを特徴とするビデオ情報複数同時符号化装置。
In the video information multiple simultaneous encoding device according to claim 1,
The video information plural simultaneous encoding device, wherein the bit amount controlled by the quantization parameter is a bit amount of a DCT coefficient.
請求項1ないしのいずれかに記載のビデオ情報複数同時符号化装置において、
前記派生レートの理想バッファ占有率をbhr’(fnm)とし、前記派生レートのバッファ占有率をblr(fnm)とする時(fnmはフレーム番号)、前記重み付け係数rfnmは次式により求められることを特徴とするビデオ情報複数同時符号化装置。
fnm+1=rfnm×[1+{(bhr’(fnm)−blr(fnm))/blr(fnm)}×p] (n≧0の整数)
ここに、pは、rの変動量のパラメータである。
The video information multiple simultaneous encoding device according to any one of claims 1 to 3 ,
When the ideal buffer occupancy rate of the derived rate is bhr ′ (fnm) and the buffer occupancy rate of the derived rate is blr (fnm) (fnm is a frame number), the weighting coefficient r fnm can be obtained by the following equation. An apparatus for simultaneously encoding a plurality of video information.
r fnm + 1 = r fnm × [1 + {(bhr ′ (fnm) −blr (fnm)) / blr ( fnm )} × p 2 ] (integer of n ≧ 0)
Here, p 2 is the variation of parameters of r.
JP2004236620A 2004-08-16 2004-08-16 Video information multiple simultaneous encoding device Expired - Fee Related JP4249672B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004236620A JP4249672B2 (en) 2004-08-16 2004-08-16 Video information multiple simultaneous encoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004236620A JP4249672B2 (en) 2004-08-16 2004-08-16 Video information multiple simultaneous encoding device

Publications (2)

Publication Number Publication Date
JP2006054801A JP2006054801A (en) 2006-02-23
JP4249672B2 true JP4249672B2 (en) 2009-04-02

Family

ID=36031958

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004236620A Expired - Fee Related JP4249672B2 (en) 2004-08-16 2004-08-16 Video information multiple simultaneous encoding device

Country Status (1)

Country Link
JP (1) JP4249672B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964830B2 (en) * 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
WO2014199566A1 (en) * 2013-06-13 2014-12-18 日本電気株式会社 Video encoding device, video encoding method, and program-containing non-transitory computer-readable medium
EP3175618A1 (en) * 2014-09-11 2017-06-07 Euclid Discoveries, LLC Perceptual optimization for model-based video encoding
JP2017163287A (en) * 2016-03-08 2017-09-14 富士ゼロックス株式会社 Display device
CN105898384B (en) * 2016-04-26 2019-03-22 广州盈可视电子科技有限公司 Method and device for mixed frame rate control of streaming media video

Also Published As

Publication number Publication date
JP2006054801A (en) 2006-02-23

Similar Documents

Publication Publication Date Title
US7593462B2 (en) Moving picture encoding system
US5805222A (en) Video coding apparatus
WO2009121234A1 (en) A video compression code rate control method
JP2002010259A (en) Image encoding device, image encoding method, and recording medium recording image encoding program
CN101069432B (en) For the determination method and apparatus of the quantization parameter that video encoder rate controls
WO1999063760A1 (en) Sequence adaptive bit allocation for pictures encoding
JP4104066B2 (en) Video information multiple simultaneous encoding device
CN101335891A (en) Video rate control method and video rate controller
JP4249672B2 (en) Video information multiple simultaneous encoding device
JP4179917B2 (en) Video encoding apparatus and method
Yi et al. Improved H. 264 rate control by enhanced MAD-based frame complexity prediction
JP2004040811A (en) Method and apparatus for adjusting the amount of DCT computation for moving picture coding
CN111416978B (en) Video encoding and decoding method and system, and computer readable storage medium
JP2006295535A (en) Moving picture coding apparatus and method
US9426474B2 (en) Transcoder
CN100448295C (en) A Low Complexity Integral Code Rate Control Method
CN100505874C (en) Video-frequency encoding-rate controlling method
JP4586340B2 (en) Encoding apparatus, encoding method, and program
JP3812269B2 (en) Video encoding apparatus and method
WO2008047714A1 (en) Code conversion method, transcoder, and integrated circuit thereof
JP4153454B2 (en) Moving picture coding apparatus, moving picture coding method, moving picture coding program, and computer-readable recording medium recording the program
KR100930485B1 (en) Adaptive Bitrate Control Scheme for Video Encoder Using Generated Bitrate
JPH08265769A (en) Method and apparatus for adaptive quantization of image data
JP4273385B2 (en) Encoding apparatus, encoding method, program, and recording medium
JPH11196423A (en) Image processing apparatus and method, and providing medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081015

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090107

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090115

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150123

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees