JP4249672B2 - ビデオ情報複数同時符号化装置 - Google Patents

Description

本発明はビデオ情報複数同時符号化装置に関し、特に、様々なネットワークや再生環境への映像配信を行う場合に必要となる複数ストリームの同時符号化を、従来の方法より高速かつ画質劣化を抑えて行うことができるビデオ情報複数同時符号化装置に関する。

映像コンテンツを生成する場合、各種ネットワークや再生環境に応じたビットレートの異なる複数のコンテンツを生成する必要があるが、ビデオ情報を個々に符号化したのでは多くの時間や手間がかかる。そこで、同時に複数のストリームを高速に生成するトランスコード方式がいくつか考案されている。

その一例を、図２４のブロック図を参照して簡単に説明する。図は、周知のＭＰＥＧ２をベースとするビデオ情報複数同時符号化装置であるので、詳細な動作説明は省略し、要点のみを説明する。この従来装置は、低ビットレートと高ビットレートの２種類のストリームを生成して出力するものであり、低および高ビットレートそれぞれのループ、すなわちＤＣＴ−量子化部（Ｑ）−逆量子化部（ＩＱ）−逆ＤＣＴ（ＩＤＣＴ）−フレームメモリ−動き補償部（ＭＣ）からなるループを有し、かつ前記量子化部Ｑ，Ｑ’をレート制御する２つのレート制御部１１，１２を有している。この従来装置では、動き探索処理部４を共通化することにより、処理を軽減している。

また、他の従来装置としては、例えば、情報研報、ＡＶＭ３３−５（２００１）の「マルチレート出力機能実現のためのＭＰＥＧ２トランスコーダ量子化制御方式の検討」に記されているような、量子化処理を部分的に共通化する方式がある。
情報研報、ＡＶＭ３３−５（２００１）の「マルチレート出力機能実現のためのＭＰＥＧ２トランスコーダ量子化制御方式の検討」

上記の従来技術は、それぞれ、低および高ビットレートにおける動きベクトルの探索を共通化する方式、量子化処理を部分的に共通化する方式により処理量を軽減して高速化を図るものであるが、各ビットレートのストリームを符号化する際に必要となるレート制御処理はレート制御部１１，１２により独立に行っていた。そして、該レート制御処理の処理量を軽減する配慮は何らなされていなかった。

本発明は前記従来技術に鑑みてなされたものであり、その目的は、レート制御の処理量を軽減して、高速かつ画質劣化を抑えて符号化処理を行うことができるビデオ情報複数同時符号化装置を提供することにある。

前記した目的を達成するために、本発明は、ビデオ情報を複数同時に符号化するビデオ情報複数同時符号化装置において、複数の異なるビットレートで量子化する複数の量子化器と、 該複数の量子化器の量子化パラメータを求めるレート制御部とを具備し、該レート制御部は、マスタレートで符号化された量子化パラメータを利用して、派生レートの映像を符号化し、該レート制御に用いる派生レートの量子化パラメータは、マスタレート符号化時の量子化パラメータＱと、前記バッファ占有率を基に算出された重み付け係数ｒとの積で求められ、前記重み付け係数ｒのＩピクチャとＰピクチャの初期値ｒ_０は、それぞれ下記の（１）、（２）式から求められるようにした点に特徴がある。
ｒ _０ ＝Ａ×（ＩピクチャのＤＣＴ係数のレート比）＋Ｂ ・・・（１）
ｒ _０ ＝Ｃ×（ＰピクチャのＤＣＴ係数のレート比）＋Ｄ・・・（２）
ここに、Ａ，Ｂ，ＣおよびＤは、定数である。

請求項１〜４の発明によれば、マスタレートの符号化に対して通常のレート制御を行い、派生レートでの符号化に対しては、前記マスタレートの符号化で得られた符号化パラメータを利用してレート制御するようにしているので、レート制御に要する処理量を低減でき、かつ複数同時符号化装置の処理を高速化することができるようになる。

また、ビットレート比が２以上であっても、重み付け係数ｒの初期値ｒ_０は、入力画像条件に依存しない適切な値にすることができる。また、生成ファイル容量および平均ＰＳＮＲが通常符号化の場合とほぼ同じになり、マスタレートとのビットレート比が２以上であっても、派生レートの符号化を、通常符号化とほぼ同じ精度、すなわち画質劣化を十分に抑えて行うことができるようになる。

以下に、図面を参照して、本発明を詳細に説明する。まず、通常のレート制御（MPEG-2 ISO/IEC13396-2 Test Model 5）処理を説明する。該通常のレート制御では、下記のステップ１〜ステップ３の処理が行われる。

(ステップ １)
まず、各フレームの符号化に先立ち、次式で定義したI、P、Bピクチャの復雑さ指標Xi、Xp、Xbを更新する。Si、Sp、Sbを発生ビット数、Qi(ave)、Qp(ave)、Qb(ave)を平均的な量子化パラメータ（以下QP）（1フレーム中のすべてのMBのmquantの平均値、ただし1〜31の範囲に正規化されている）とする。この復雑さ指標は、符号化情報量が多く発生するような画像に対して大きくなり、高い圧縮率が得られる画像に対しては小さくなる。該指標は、これから符号化しようとする画像のタイプによってどの程度情報量が必要かを、ある数値で規格化して、相対的に見積もったものである。
Xi=SiQi(ave) 、 Xp=SpQp(ave) 、 Xb=SbQb(ave)
初期値Xi(init)、Xp(init)、Xb(init)は、次のように与えられる。
Xi(init) = 160×Bit-rate /115
Xp(init) = 60×Bit-rate /115
Xb(init) = 42×Bit-rate /115
ここに、Bit-rateはビットレート（ビット／秒）である。

GOPの中の次の画面の目標ビット数Ti、Tp、Tbは、次のようにGOPの残りのビット数を、I、P、Bの残りの枚数の自分のピクチャタイプに換算したもので割ることで得られる。これはGOP中のまだ符号化していない画像のすべてが、これから符号化しようとする画像タイプであるとみなしたとき、1フレームあたり何ビット与えることができるかの目安を与えるものである。
Ti = R/(1+NpXp/(XiKp)+NbXb/(XiKb))
Tp = R/(Np+NbKpXb/(KbXp))
Tb = R/(Nb+NpKbXp/(KpXb))
Kp、Kbは量子化マトリクスに依存する恒常な定数であり、Kp=1.0、Kb=1.4である。Np、NbはGOPの中の符号化順でP、Bピクチャの残った枚数、RはGOPに与えられた残りのビット数であり、画像の符号化の後では、R = R−Si あるいは R = R−Sp あるいは R = R−Sbである。

GOPの最初の画面では、次のように設定する。
R = G + R
G = Bit-rate × N /Picture-rate
N：GOPの中のピクチャの数

(ステップ２)
各フレームに含まれるMBを順次符号化しながら、量子化ステップを求める段階である。符号化しようとしているフレームに対する割り当て情報量と実際に発生した情報量の差をMBごとにフィードバックする。実際の発生情報量が、計画量より大きいと、発生情報量を減らすために量子化ステップは大きくなり、逆の場合には量子化ステップが小さくなる。

まず、j番目のMBの符号化の前にI、P、Bフレームに対する仮想的なバッファ（このバッファは量子化ステップの計算だけに用いるもので、後述する仮想バッファ検証器とは異なる）の充満度を計算する。初期バッファ状態をdi(0)、dp(0)、db(0)とする。
di(j) = di(0) + B(j−1)−Ti×(j−1)/MB-cnt
dp(j) = dp(0) + B(j−1)−Tp×(j−1)/MB-cnt
db(j) = db(0) + B(j−1)−Tb×(j−1)/MB-cnt
B(j)はjを含んでそれまでのすべてのMBの符号化発生ビット数、MB-cntはピクチャ内のMB数である。ピクチャ内の最後の充満度は次の同タイプのピクチャのdi(0)、dp(0)、db(0)とみなされる。マクロブロックjの仮の量子化ステップQ(j)は次のように与えられる。
Q(j) = d(j)×31 / r
r = 2×Bit-rate /Picture-rate

初期値は、次の通りである。
di(0) = 10×r/31
dp(0) = Kp×di(0)
db(0) = Kb×di(0)

(ステップＳ３)
QPの平均値を、MBごとのアクティビティによって変化させる。マクロブロックjの空間的アクティビティ測定act(j)として、入力画像の輝度ブロック（MB中に4個含まれる）の画素値を使って次式を計算する。sblkは輝度ブロックの番号を示す。

ここで

（Pk：8×8ブロックの画素値）
アクティビティact(j)を、平均的なアクティビティの値からの偏りによって[2,1/2]の範囲に正規化した係数N-act(j)を計算する。

N-act(j)＝（２×act(j)＋avg-act）/（act(j)＋２×avg-act）・・・（２）
avg-actは前の時刻の画像のact(j)の平均値、初期値は400である。この正規化した係数を用いて変調した量子化ステップは次式で得られる。
Mq(j)＝Ｑ(j)×N-act(j)

Mq(j)は[1,31]の範囲の整数にクリップされる。この変調により、視覚特性上ノイズに敏感なアクティビティの低い部分には細かな量子化ステップが割り当てされる。逆に、ノイズの目立ちにくい、変化の激しい部分には粗い量子化ステップが割り当てられる。

このように、通常のレート制御は、大きな処理量を必要とする。
この不具合に鑑みて、本発明者が先に特許出願した発明（２００３−２０６４８２）を、まずその原理から説明する。本発明者は、ビットレートを制御するには、量子化処理における量子化パラメータ（以下、ＱＰ値）の設定と、その値により変動するＶＢＶ（Video Buffering Verifier）バッファの占有量の大きさが重要になることに着目し、次のような予備実験を行った。なお、前記ＶＢＶバッファは、仮想的なバッファ検証器を意味する。符号化により生成されるビットストリームは、該ＶＢＶが要求する条件を満たすことが義務付けられており、一定レートで符号化されたビットストリームは、ＶＢＶによって課せられた拘束条件に合っていなければならないという決まりがあるが、これは周知であるので説明を省略する。

さて、前記予備実験として、ＭＰＥＧ−４エンコーダで通常のレート制御（例えば、ＴＭ５符号化方式）を行ったとき、各フレーム毎のＶＢＶバッファ占有量の推移と、フレーム単位での平均ＱＰ値の推移と、マクロブロック（以下、ＭＢ）単位でのＱＰ値の推移が、各ビットレート（例えば、４Ｍｂｐｓ，３Ｍｂｐｓおよび２Ｍｂｐｓ）においてどのようになっているかを検証した。実験に使用した入力および出力シーケンスの符号化条件を、図３(a)および(b)に示す。

また、前記実験により得た結果であるＶＢＶバッファの占有量のフレーム数による推移を図４に、フレーム単位での平均ＱＰ値の推移の結果を図５に示す。また、第０フレームのＩピクチャでのＭＢ単位のＱＰ値の推移を図６に、第１フレームのＰピクチャでのＭＢ単位のＱＰ値の推移を図７に示す。

図４を見ると、各ビットレート（４Ｍｂｐｓ，３Ｍｂｐｓおよび２Ｍｂｐｓ）におけるＶＢＶバッファの推移特性が類似している、すなわち相関があることがわかる。また、図５を見ると、各ビットレートにおけるフレーム単位での平均ＱＰ値が類似していることがわかる。また、図６、図７を見ると、各ビットレートにおけるＭＢ単位でのＱＰ値の推移特性も類似していることがわかる。

つまり、この実験により、本発明者は、サイマルエンコーダを構築する際に、最高ビットレート（例えば、４Ｍｂｐｓ）のＱＰ値を低ビットレート（例えば、３Ｍｂｐｓ，２Ｍｂｐｓ）のＱＰ値の算出に利用することにより、ビデオ情報複数同時符号化装置のレート制御のＱＰ値の算出処理を削減し、処理の高速化を図ることができることを着想した。

本発明の原理は、最高ビットレートでのコンテンツ符号化には通常のエンコード処理、すなわち前記ステップ１〜３の処理を行い、低ビットレートのコンテンツには該最高ビットレートでのエンコード処理結果のＶＢＶバッファ推移を参照して、低ビットレートのＶＢＶバッファ推移をこの推移に追随させる制御をすることにある。なお、後述するように、上記の文中の「最高ビットレート」を「最低ビットレート」と、また「低ビットレート」を「高ビットレート」と置き換えても良いので、以降では、これらを総称するために、場合によっては、通常のエンコード処理を行うビットレートを「マスタレート」、該マスタレートのＶＢＶバッファ推移を参照してエンコード処理を行うビットレートを「派生レート」と呼ぶことにする。

次に、マスタレートである高ビットレートのＶＢＶバッファ占有量を初期バッファ占有量で正規化した参照バッファ占有率を、フレーム番号ｆｎｍを用いて、ｂｈｒ（ｆｎｍ）とする。しかし、高ビットレートと派生レートである低ビットレートでは、バッファサイズ指定やビットレート指定の違いにより、バッファ占有量を同一とすることはできない。このため、低ビットレートのシーケンスは、高ビットレートのバッファ推移を低ビットレートの理想推移に修正することで得るものとする。

この理想推移の修正法を以下に説明する。イントラ符号化ＶＯＰ（以下、Ｉ−ＶＯＰ）符号化時のＶＢＶバッファ占有率の変動幅は、各エンコードビットレート、初期バッファ占有量、バッファサイズにより異なる。低ビットレート用理想バッファ占有率ｂｈｒ’（ｆｎｍ）に該ｂｈｒ（ｆｎｍ）をそのまま利用すると、この変動を考慮していないため、制御時の誤差量が定期的に増大する。そこで、Ｉ−ＶＯＰの出現位置に応じた、下記の式（３）による理想バッファ占有率の生成を行った。
ｂｈｒ’（ｆｎｍ）＝ｂｈｒ（ｆｎｍ）−｛（ｂｈｒ_{Ｉ−ｐｉｃ}−ｂｌｒ_{Ｉ−ｐｉｃ}）×（ｆｎｍ_{ｉｎ−ｇｏｐ}−ｆｎｍ_ｇｏｐ）／ｆｎｍ_{ｉｎ−ｇｏｐ}｝ ・・・（３）

ここに、ｆｎｍはフレーム番号、ｂｈｒ’（ｆｎｍ）は派生レート用理想バッファ占有率、ｂｈｒ（ｆｎｍ）はマスタレートのバッファ占有率、ｂｈｒ_{Ｉ−ｐｉｃ}はマスタレートのＩピクチャ符号化後のバッファ占有率、ｂｌｒ_{Ｉ−ｐｉｃ}は派生レートのＩピクチャ符号化後のバッファ占有率、ｆｎｍ_{ｉｎ−ｇｏｐ}は１ＧＯＰ内のフレーム枚数、ｆｎｍ_ｇｏｐは直前のＩピクチャからの経過フレーム枚数である。なお、この式（３）は、本発明により初めて示される新規性のある式である。

次に、マスタレートである最高ビットレートで通常のエンコード処理した際の量子化値ＱＰを参照値Ｑとし、派生レートである低ビットレートコンテンツ生成に利用するＱＰをｑとすると、該ｑはｑ＝Ｑ×ｒで求めるものとし、このｒの値により低ビットレートの発生ビット量を制御する。このｒは量子化パラメータの重み付け係数であり、フレーム単位で動的に変化させるものとし、以下のようにして決定する。

低ビットレートのバッファ占有率ｂｌｒ（ｆｎｍ）がｂｈｒ’（ｆｎｍ）となるように、ｒの初期値ｒ_０を下記の式（４）により求め、下記の式（５）により、フレーム単位でｒの更新（＝ｒ_ｎ）を行う。
ｒ_０＝high-bitrate(bps)／low-bitrate(bps) ・・・（４）
＝マスタレート／派生レート
ｒ_ｎ＋１＝ｒ_ｎ×［１＋｛（ｂｈｒ’（ｆｎｍ）−ｂｌｒ（ｆｎｍ））／ｂｌｒ（ｆｎｍ）｝×ｐ_１］ （ｎ≧０） ・・・（５）
ここに、ｐ_１は、ｒの変動量のパラメータであり、｛（ｂｈｒ’（ｆｎｍ）−ｂｌｒ（ｆｎｍ））／ｂｌｒ（ｆｎｍ）｝の平均値と標準偏差値による評価により決定される。一例として、ｐ_２＝０．１とすることができる。

実際のｑの算出に際して、ＭＰＥＧ−４規格での隣接ＭＢ間の変動制限±２以内を付加する。そして、前記（４）、（５）式で求められるｒを用いて、低ビットレートを、ｑ＝Ｑ×ｒでエンコードする。この時、ｑが小数の時は、小数第１位で四捨五入し、必ず整数になるようにする。

図１に、前記した処理がなされる符号化器の概略の構成を示す。
本実施形態は、図示されているように、マスタレート用、例えば高ビットレート用のレート制御部１と、派生レート用、例えば低ビットレート用のレート制御部２を設け、該レート制御部１は前記ステップ１〜３の通常の処理を行い、レート制御部２は該レート制御部の処理結果を利用して、低処理負荷のレート制御を行うようにした点に特徴がある。なお、高ビットレートの量子化器Ｑは前記レート制御部１により、低ビットレートの量子化器Ｑ’は前記レート制御部２により制御される。本実施形態によれば、後述の説明から分かるように、レート制御の処理量を大きく低減することができる。前記仮想的なバッファ検証器であるＶＢＶバッファは、該レート制御部１、２内に存在すると想定できる。

次に、該レート制御部２の機能および動作を、図２を参照して説明する。ステップＳ１では、マスタビットレートのコンテンツを前記した通常の方法で符号化する。ステップＳ２では、ステップＳ１の符号化結果から、派生ビットレートのコンテンツ用に、量子化パラメータＱＰ（Ｑ）とバッファ占有率ｂｈｒ（ｆｎｍ）とを取得する。ステップＳ３は、前記式（３）よりｂｈｒ’（ｆｎｍ）を算出する。ステップＳ４では、最初のフレームか、またはＧＯＰの最初のフレームか否かの判断がなされ、この判断が肯定の場合にはステップＳ５に進んで前記式（４）によりｒ_０を算出する。次にステップＳ６において、低ビットレートの量子化器Ｑ’を量子化パラメータｑ（＝Ｑ×ｒ_０）でエンコードする。次いでステップＳ７に進んでｎｍ枚目の画像ｆｎｍを更新する。そして、ステップＳ２に戻って、ステップＳ１の符号化結果から、画像ｆｎｍの量子化パラメータＱＰ（Ｑ）とバッファ占有率ｂｈｒ（ｆｎｍ）とを取得する。ステップＳ３では、前記と同様に、式（３）よりｂｈｒ’（ｆｎｍ）を算出する。

次に、ステップＳ４の判断が否定になると、ステップＳ８に進み、前記式（５）より、ｒ_ｎ（＝ｒ_ｆｎｍ）を算出する。ステップＳ９では、派生ビットレートの量子化器Ｑ’を量子化パラメータｑ（＝Ｑ×ｒ_ｆｎｍ）でエンコードする。ステップＳ１０では、入力映像が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ７に進んでｆｎｍが更新され、前記した処理が続行される。一方、ステップＳ１０が肯定になると、派生ビットレートの符号化処理は終了する。

次に、前記実施形態を用いた実験結果の一例を、図８〜図１２に示す。図８はＶＢＶバッファの推移を、図９はＶＢＶバッファ占有率の推移を、図１０はＶＢＶバッファ占有率の平均絶対誤差を、図１１はフレーム単位でのＰＳＮＲの推移を、さらに図１２は処理時間を示す。また、図中のnormalは通常の符号化を示し、proposalは本実施形態による符号化を示す。

図８からは、２．５ＭｂｐｓのＶＢＶバッファの推移（proposal）が、normalのそれとほぼ同じであることが分かる。また、図９、図１０から、低ビットレート用理想バッファ占有率ｂｈｒ’（ｆｎｍ）がnormalのバッファ占有率ｎｍｌ（ｆｎｍ）と近似し、また｜ｎｍｌ（ｆｎｍ）−ｂｌｒ（ｆｎｍ）｜が小さいことが分かる。また、図１１から、本実施形態により符号化した場合の平均ＰＳＮＲが、通常の符号化による場合の平均ＰＳＮＲより向上していることが分かる。さらに、図１２から、本実施形態を用いると、レート制御処理時間が３．７５ｍ秒となり、本実施形態を用いない場合の１３８．８８９ｍ秒に比べて、大きく短縮できることが分かる。

なお、前記実施形態では、最高ビットレートでのエンコード処理結果のＶＢＶバッファ推移を参照したが、本発明はこれに限定されず、最低ビットレートでのエンコード処理結果のＶＢＶバッファ推移を参照して、高ビットレートのＶＢＶバッファ推移をこの推移に追随させる制御をするようにしてもよい。

次に、前記した処理では、符号化ストリームにおいて、量子化パラメータの重み付け係数の初期値ｒ_０を、前記（４）式のように、マスタレートと派生レートの単純な比から求めたのに対して、下記の実験により得られた測定結果から、量子化パラメータの重み付け係数の初期値ｒ_０をマスタレート値と派生レート値の比率を変数とする関数から求めることを、先の特許出願で提案した。

この実験では、図１３に示されているように、マスタレートと派生レートを設定した。実験１では、マスタレート２Mbps、派生レート１．５Mbps、１Mbps、５００Kbpsと設定した。実験２では、マスタレート３Mbps、派生レート２Mbps、１．５Mbps、１Mbps、５００Kbpsと設定した。また、実験３では、マスタレート４Mbps、派生レート３Mbps、２Mbps、１．５Mbps、１Mbps、５００Kbpsと設定した。

図１４、図１５および図１６は、それぞれマスタレートを２Mbps、３Mbps、４Mbpsとした時の図１３の実験１，２および３に対応する測定結果を示し、横軸はレート比（マスタレート／派生レート）、縦軸は平均QP比、すなわち（派生レートの平均ｑｐ）／（マスタレートの平均QP）を示す。例えば、図１４の実験１では、横軸のレート比は、それぞれ２／１．５，２／１，２／０．５となり、図１５の実験２では該レート比は、３／２，３／１．５，３／１，３／０．５となる。

図１４、図１５および図１６のグラフから、平均QP比は、レート比を変数とする直線またはそれに近い曲線に近似できることが分かった。

そこで、本実施形態では、前記（４）式に代えて、レート比を変数とする下記（６）式を使用する。
ｒ_０＝ｆ（レート比） ・・・（６）
上記のｆは関数を表す。

以上が、先の特許出願で提案されている発明である。次に、本発明の一実施形態を説明する。この実施形態は、前記した発明では、図１４〜図１６の関係から明らかなように、レート比が２程度までは入力画像条件（テスト画像など）に依存せずに、ほぼ等しい平均ＱＰ比が得られ、一意の近似により適切な初期値ｒ_０が得られるが、該レート比が２以上になると、平均ＱＰ比の入力画像条件による違いが大きくなり、一意の近似により適切な初期値ｒ_０が得られなくなるという不具合があるのを、改善しようとするものである。

本発明者は、マクロブロック（以下、ＭＢと記す）全体の使用ビット量が、符号化レートで制御される、すなわちＱＰ値で制御されるビット量（以下、ＱＰ値依存ビット量；例えば、ＤＣＴ係数）、符号化レートで制御されない、すなわちＱＰ値で制御されないビット量（以下、ＱＰ値非依存ビット量；例えば、ＭＢタイプ、動きベクトルＭＶ等）からなることに着目し、前記ＱＰ値依存ビット量のみを用いて、前記図１４〜図１６と同様の、レート比と平均ＱＰ比との関係を求めた。

図１７は、Ｉピクチャにおいて、マスタレートを６，８，１０Ｍｂｐｓ、派生レートを３〜１０Ｍｂｐｓとした場合の、ＱＰ値依存ビット量のみを用いて求めたレート比（横軸）と平均ＱＰ比（縦軸）との関係を示す。また、図１８は、Ｐピクチャにおいて、マスタレートを６，８，１０Ｍｂｐｓ、派生レートを３〜１０Ｍｂｐｓとした場合の、ＱＰ値依存ビット量のみを用いて求めたレート比（横軸）と平均ＱＰ比（縦軸）との関係を示す。

図１７、図１８の関係から、ＩおよびＰピクチャの両方において、レート比が２以上になっても、入力画像条件に無関係にほぼ等しい平均ＱＰ値が得られ、かつ（ＤＣＴ係数のレート比）を変数とする次の一次式（（７）式、（８）式）で表せることを発見した。
ｒ_Ｉ０＝Ａ×ＤＣＴ_{ｂｉｔ比Ｉ}＋Ｂ ・・・（７）
ｒ_Ｐ０＝Ｃ×ＤＣＴ_{ｂｉｔ比Ｐ}＋Ｄ ・・・（８）
ここに、Ａ，Ｂ，Ｃ，およびＤは、定数である。

さらに、図１７、図１８のグラフから、例えば、Ａ＝０．８、Ｂ＝０．２、Ｃ＝０．５５、Ｄ＝０．４５が好適であることを発見した。

次に、Ａ＝０．８、Ｂ＝０．２、Ｃ＝０．５５、Ｄ＝０．４５を用いた前記（７）、（８）式を用い、符号化条件を図１９（ａ）、（ｂ）として、図２０の方法でシミュレーション実験を行った。そして、通常符号化および該実施形態による符号化の場合で、ＶＢＶバッファ占有率、ＰＳＮＲ、および処理時間について、比較検討した。なお、図１９（ｂ）のマスタレートは１０Ｍｂｐｓ、派生レートは４Ｍｂｐｓであるので、レート比は２．５となる。

ここで、図２０の方法を説明すると、ステップＳ１１では、マスタビットレートのコンテンツを前記した通常の方法で符号化する。ステップＳ１２では、ステップＳ１１の符号化結果から、派生ビットレートのコンテンツ用に、量子化パラメータＱＰ（Ｑ）とバッファ占有率ｂｈｒ（ｆｎｍ）とを取得する。ステップＳ１３では、前記式（３）よりｂｈｒ’（ｆｎｍ）を算出する。ステップＳ１４では、入力画像が最初のＩピクチャであるか否かの判断がなされ、肯定の時にはステップＳ１５に進んで、前記式（７）よりｒ_Ｉ０を算出する。ステップＳ１６では、ｑ＝Ｑ×ｒ_Ｉ０でエンコードする。次に、ステップＳ１７に進んで、フレーム番号ｆｎｍが更新される。

ステップＳ１２とＳ１３で前記と同様の処理が行われ、ステップＳ１４の判断が否定になると、ステップＳ１８に進んで、入力画像が前記最初のＩピクチャの次のＰピクチャであるか否かの判断がなされる。この判断が肯定であるとステップＳ１９に進んで、前記式（８）よりｒ_Ｐ０を算出する。ステップＳ２０では、ｑ＝Ｑ×ｒ_Ｐ０でエンコードする。次に、ステップＳ１７に進んで、フレーム番号ｆｎｍが更新される。

次に、前記ステップＳ１８の判断が否定になると、すなわち入力画像が前記最初のＩピクチャから２番目以降のＰまたはＩピクチャになるとステップＳ２１に進み、前記式（５）により量子化パラメータの重み付け係数ｒ_ｆｎｍを算出する。次いでステップＳ２２に進み、ｑ＝Ｑ×ｒ_ｆｎｍでエンコードする。ステップＳ２３では、入力画像が終了したか否かの判断がなされ、否定の場合には、前記した各処理が繰り返される。ステップＳ２３の判断が肯定になると、図２０の処理は終了する。

図２０のシミュレーション実験で得られたＶＢＶバッファ占有率は図２１に示すようになり、派生レートのバッファ占有率［提案方式］（曲線ａ）は、派生レートのバッファ占有率［通常符号化］（曲線ｂ）と良く一致し、ＱＰ値依存ビット量の比を用いた近似を、量子化パラメータの重み付け係数ｒの初期値ｒ_０として利用しても制御可能であることが確認できた。よって、本実施形態は、レート比が２以上であっても、適用可能であることが確認できた。また、図２２より、生成ファイル容量および平均ＰＳＮＲが、通常符号化とほぼ同じであることも確認できた。

それにも拘わらず、本発明による処理時間は、図２３に示されているように、レート制御部では、通常の符号化に比べて、約８７％削減することができ、本発明の有効性が確認できた。

本発明の一実施形態の構成を示すブロック図である。 図１の要部の動作を示すフローチャートである。 予備実験の入力シーケンス条件と出力シーケンス条件とを示す図である。 高ビットレートと低ビットレートのＶＢＶバッファ占有量の推移を示す図である。 高ビットレートと低ビットレートのフレーム単位における平均ＱＰ値の推移を示す図である。 ＩピクチャのＭＢ単位のＱＰ値の推移を示す図である。 ＰピクチャのＭＢ単位のＱＰ値の推移を示す図である。 実験結果であるＶＢＶバッファの推移を示す図である。 実験結果であるＶＢＶバッファ占有率の推移を示す図である。 ＶＢＶバッファ占有率の平均絶対誤差を示す図である。 実験結果であるフレーム単位でのＰＳＮＲの推移を示す図である。 処理時間の低減を示す図である。 マスタレートと派生レートの設定の説明図である。 レート比と平均QP値の比（実験１）の関係を示す図である。 レート比と平均QP値の比（実験２）の関係を示す図である。 レート比と平均QP値の比（実験３）の関係を示す図である。 平均ＱＰ値比とＱＰ値依存ビット量比（Ｉピクチャ）の関係を示す図である。 平均ＱＰ値比とＱＰ値依存ビット量比（Ｐピクチャ）の関係を示す図である。 シミュレーション実験の符号化条件を示す図である。 シミュレーション実験の方法を示すフローチャートである。 本発明の一実施形態による符号化［提案方式］と通常符号化を行った場合とにおける、派生レートのバッファ占有率を示す図である。 本発明の一実施形態による符号化［提案方式］と通常符号化を行った場合とにおける、ＰＳＮＲと生成ファイル容量とを示す図である。 派生レートが４Ｍｂｐｓの場合の、本発明の一実施形態による符号化［提案方式］と通常符号化を行った場合とにおける処理時間を示す図である。 従来の異符号化方式の構成を示すブロック図である。

符号の説明

１・・・レート制御部、２・・・低処理負荷レート制御部。

Claims (4)

1. ビデオ情報を複数同時に符号化するビデオ情報複数同時符号化装置において、
   複数の異なるビットレートで量子化する複数の量子化器と、
   該複数の量子化器の量子化パラメータを求めるレート制御部とを具備し、
   該レート制御部は、マスタレートで符号化された量子化パラメータを利用して、派生レートの映像を符号化し、該レート制御に用いる派生レートの量子化パラメータは、マスタレート符号化時の量子化パラメータＱと、前記バッファ占有率を基に算出された重み付け係数ｒとの積で求められ、
   前記重み付け係数ｒのＩピクチャとＰピクチャの初期値ｒ_０は、それぞれ下記の（１）、（２）式から求められることを特徴とするビデオ情報複数同時符号化装置。
   ｒ _０ ＝Ａ×（ＩピクチャのＤＣＴ係数のレート比）＋Ｂ ・・・（１）
   ｒ _０ ＝Ｃ×（ＰピクチャのＤＣＴ係数のレート比）＋Ｄ・・・（２）
   ここに、Ａ，Ｂ，ＣおよびＤは、定数である。
2. 請求項１に記載のビデオ情報複数同時符号化装置において、
   前記定数Ａ，Ｂ，ＣおよびＤは、Ａ＝０．８、Ｂ＝０．２、Ｃ＝０．５５、Ｄ＝０．４５あるいはそれらに近似する値であることを特徴とするビデオ情報複数同時符号化装置。
3. 請求項１に記載のビデオ情報複数同時符号化装置において、
   前記量子化パラメータで制御されるビット量は、ＤＣＴ係数のビット量であることを特徴とするビデオ情報複数同時符号化装置。
4. 請求項１ないし３のいずれかに記載のビデオ情報複数同時符号化装置において、
   前記派生レートの理想バッファ占有率をｂｈｒ’（ｆｎｍ）とし、前記派生レートのバッファ占有率をｂｌｒ（ｆｎｍ）とする時（ｆｎｍはフレーム番号）、前記重み付け係数ｒ_ｆｎｍは次式により求められることを特徴とするビデオ情報複数同時符号化装置。
   ｒ_{ｆｎｍ＋１}＝ｒ_ｆｎｍ×［１＋｛（ｂｈｒ’（ｆｎｍ）−ｂｌｒ（ｆｎｍ））／ｂｌｒ（ｆｎｍ）｝×ｐ_２］ （ｎ≧０の整数）
   ここに、ｐ_２は、ｒの変動量のパラメータである。

Images