JP4291763B2 - 動画像符号量制御方式 - Google Patents

Description

本発明は、動画像符号量制御方式に関し、特に、適切な符号量制御により画質を向上させることができる動画像符号量制御方式に関する。

動画像符号化の新方式であるH.264は、地上デジタル放送の携帯受信サービスなど、主に低ビットレートの動画像アプリケーションで採用されつつある。この方式を固定ビットレートにて利用する際には符号量の制御が必要となる。符号量の制御を目的とした方式として、MPEG-2やMPEG-4などの従来の符号化方式を対象としたものがいくつか提案されている。

例えば、非特許文献１では、ピクチャタイプの性質を考慮した上で、各フレームに対する目標符号量を決定する方式が提案されている。また、非特許文献２では、SOPと呼ばれる一連のピクチャセットに対する目標符号量を設定し、それに基づいて符号量の配分を行うことが提案されている。
水野修,鹿喰善明,野尻裕司,大塚吉道,田中豊,"ピクチャ別レートひずみ特性に基づいた符号量分配手法の検討"信学論,Vol.J82-D-2,No.8,pp.1239-1251,Aug.1999 内藤整,小池淳,和田正裕,松本修一,羽鳥好律,"ひずみ最小型レート制御の高度利用に基づくMPEG-2ビット配分の最適化"信学論,Vol.J86-D-2,No.11,pp.1565-1574,Nov.2003

しかしながら、非特許文献１で提案された方式では、マクロブロックタイプごとの量子化制御については考慮されていない。また、シーンチェンジなどに代表される対象画像の性質の変化を考慮に入れていないため、対象画像の性質に変化が起こった際に画質劣化が生じるという課題がある。

また、非特許文献２で提案された方式は、MPEG-2の符号化方式での符号量の配分を対象とし、各フレームの符号量のみを算出するものであるため、H.264におけるマクロブロックごとに符号化方式を変更させる機能を用いる場合にはそのまま適用することができないという課題がある。

本発明の目的は、上記課題を解決し、適切な符号量制御を行うことにより、伝送ビットレートが制限される状況下においても画質を向上させることができ、また、シーンチェンジによる画像性質の変化にも対応できる動画像符号量制御方式を提供することにある。

上記課題を解決するため、本発明は、局所的なフレーム群に対する目標符号量を設定する目標符号量設定手段と、符号量−歪み量特性を元に符号化対象マクロブロックにおける量子化パラメータを設定する量子化パラメータ設定手段と、前記量子化パラメータ設定手段で設定された量子化パラメータを用いて符号化対象マクロブロックが符号化処理された後に、前記符号量−歪み量特性を表す係数であるパラメータを、該符号化対象マクロブロックまでの符号量および歪み量の合計値を用いて算出された値に更新して次のマクロブロックに対する量子化パラメータに反映させる第１の量子化パラメータ更新手段と、当該フレームの全マクロブロックが符号化処理された後に、前記符号量−歪み量特性を表す係数であるパラメータを、当該フレームまでの符号量および歪み量の合計値を用いて算出された値に更新して前記目標符号量設定手段での目標符号量に反映させる第２のパラメータ更新手段とを備えることを特徴としている。

また、本発明は、前記符号量−歪み量特性が、マクロブロックタイプ別に符号量と歪み量が集計されたものであることを特徴としている。

さらに、本発明は、前記符号化対象マクロブロックが符号化処理された後にシーンチェンジが存在するか否かを判定するシーンチェンジ判定手段を備え、前記第２のパラメータ更新手段は、前記シーンチェンジ判定手段によるシーンチェンジが存在すると判定された場合には前記符号量−歪み量特性を表す係数であるパラメータを初期化して前記目標符号量設定手段での目標符号量に反映させることを特徴としている。

本発明によれば、目標符号量内において、同一フレームにおける各マクロブロックの歪み量を一定にし、かつSOP内の各フレームにおけるピクチャタイプごとの歪み量割合を一定にすることができるので、伝送ビットレートが制限される状況下においても画質を向上させることができる。また、対象画像の性質に変化をもたらすシーンチェンジへの対応も行うので、シーンチェンジによる画質劣化を抑制することができる。

以下に、図面を参照して本発明を説明する。図１は、H.264の符号化参照ソフトであるＪＭ(Karstein Suhring, H.264/AVC Software Coordination, htt://bs.hhi.de/suehring/tml/download/old_jm/)に従う符号化手順を示すフローチャートである。

まず、直前の符号化マクロブロックおよびビットレートを元に、符号化対象マクロブロックに対する量子化パラメータ（以下、Ｑ値と称す。）を算出する(S11)。次に、S11で算出されたＱ値を用いて、各マクロブロックタイプによる符号化処理を行った上で、最適なマクロブロックタイプを選択する(S12)。続いて、S12で選択がなされたマクロブロックタイプによる符号化処理結果を符号化データとして出力し、算術符号化におけるパラメータを更新する(S13)。

本発明は、上記S11において符号化対象マクロブロックに対する適切なＱ値を設定するための符号量制御方式を提供する。ここで、適切なＱ値とは、目標符号量内において、同一フレームにおける各マクロブロックの歪み量が一定となり、かつSOP内の各フレームにおけるピクチャタイプごとの歪み量割合が一定となるような値を意味する。SOPについては後述する。

図２は、本発明に係る動画像符号量制御方式における処理を示すフローチャートである。まず、SOPに対する目標符号量を設定する(S21)。次に、符号化対象ブロックにおける適切なＱ値を各マクロブロックタイプにおいて選出する(S22)。Ｑ値は、符号量−歪み量特性(以下、R-D特性と称す。）を元に選出され、R-D特性のパラメータはマクロブロックごとおよびフレームごとに更新される。適切なＱ値とは上記の内容を意味する。

次に、S22で選出されたＱ値を用いてＪＭによるマクロブロックタイプの選択および符号化処理(S23)を行う。符号化対象マクロブロックの符号化が終了した後、R-D特性のパラメータ更新を行う(S24)。なお、シーンチェンジに対応させた量子化制御を行う場合には、ここでシーンチェンジの判定を行い、シーンチェンジと判定された場合には、後述するフレームごとのパラメータ更新(S26)でR-D特性のパラメータの初期化処理を行う。

次に、当該フレームについて全マクロブロックの符号化が完了したか否かを調べ(S25)、当該フレームにおける未符号化マクロブロックが存在する場合にはS22に戻って、次のマクロブロックについてＱ値選出(S22)、符号化処理(S23)を繰り返す。

当該フレームについて全マクロブロックの符号化が完了し、未符号化マクロブロックが存在しなければ、未符号化フレームに対するR-D特性のパラメータ更新を必要に応じて行う(S26)。次に、全フレームの符号化が完了したか否かを調べ(S27)、未符号化フレームが存在する場合にはS21に戻って、続くフレームについてSOP符号量設定(S21)以下の処理を繰り返し、未符号化フレームが存在しなければ符号化処理を終了する。

図３は、本発明におけるＱ値設定の概念図である。SOP内フレーム群に対して設定された目標符号量（目標ビットレート）が達成されるように、また、同一フレームにおける各マクロブロックの歪み量が一定となるように、さらに、SOP内の各フレームにおけるピクチャタイプごとの歪み量割合（Ｉピクチャの歪み量とＰピクチャの歪み量とＢピクチャの歪み量の割合）が一定、例えば１：１：0.5となるようにＱ値が選出される。Ｑ値は、各マクロブロックの符号化終了ごとおよび各フレームの符号化終了ごとにR-D特性のパラメータを更新することにより更新される。以下に、図２の各ステップでの処理について詳細に説明する。

1.SOP符号量設定(S21)
本発明では、バッファ量を考慮に入れた局所的な目標符号量を設定し、それに基づいた符号量制御を行う。これによって、CBP内の破綻防止に繋がる制御が可能となる。まず、一般的なビット配分の制御単位であるGOPの他に、SOPという単位を定義する。GOPおよびSOPは、以下のように定義される。

GOPは、ビット配分を行う際に用いられる複数枚のフレームの集合を表し、Ｉピクチャから次のＩピクチャの直前（終端GOPにおいてはＩピクチャから終端）までの一連のフレームを表すのが一般的である。ＪＭに従い、先頭と終端以外のGOPにおいて、ピクチャの枚数は常に定数Ｎ_Ｇであると定義する。GOPの例を図４に示し、図示する符号化順にフレームが並んでいるものとする。GOP内の先頭ピクチャはＩピクチャであり、その後にＢピクチャがＮ_Ｂ枚(図４では２枚)続く。以下、Ｐピクチャ１枚とＢピクチャがＮ_Ｂ枚の組がＮ_Ｐ回(図４では４回)続く。従って、Ｎ_Ｇは、下記式(1)によって算出される。

N_Ｇ＝(1＋N_Ｐ)×(1＋N_Ｂ) (1)

例えば、図４の例では、Ｎ_Ｐ＝４、Ｎ_Ｂ＝２であるので、Ｎ_Ｇ＝１５となる。
一方、SOPは、局所的なフレーム群を意味し、当該フレームからＮ_Ｇ枚分のフレームを表す。

1-1.SOP符号量Ｒ_Ｓの初期値の設定
まず、SOP内の目標符号量の初期値を算出する。GOP先頭でピクチャデータの引き抜きが開始されるバッファ占有量ｖ_０、および理想とするバッファ量ｖ_Ｔを別途定め、初期段階におけるSOP内の目標符号量Ｒ_Ｓを下記式(2)により定義する。

R_Ｓ＝N_Ｇ×(bit_rate/frame_rate)＋ｖ_０−ｖ_Ｔ (2)
R_Ｇ＝R_Ｓ (3)

ただし、Ｒ_Ｇは、Ｒ_Ｓの初期値を蓄積するための変数であり、後述する「1-3.Ｒ_Ｓの再定義」にて参照および更新されてシーンチェンジへの対応を可能にする。

1-2.SOP符号量Ｒ_Ｓの更新
各フレームにおける符号量は、フレームごとの性質や参照画像の信頼性、ピクチャタイプなどにも依存するため、目標符号量を定めた場合においても実際の発生符号量は目標符号量と異なる場合がある。そこで、目標符号量と実際の発生符号量との差分を吸収するため、フレームごとの符号化処理が終了した後、 下記式(4)によって目標符号量Ｒ_Ｓの更新を行う。この更新は、後述するS26でのパラメータ更新が反映された結果である。

R_Ｓ←R_Ｓ＋R(C)−S(C) (4)

ただし、←は右辺の値を左辺に代入することを表し、Ｒ(C)、Ｓ(C)はそれぞれ、当該フレームＣにおける目標符号量、実際の発生符号量を表す。Ｒ(C)は、後述する「2-2.符号化当該フレームの符号量予測」で算出されるマクロブロックごとの目標符号量の合計とする。

1-3.SOP符号量Ｒ_Ｓの再定義
上記「1-2.SOP符号量Ｒ_Ｓの更新」によっては目標符号量に完全に準拠しているとは限らない。SOP符号量Ｒ_Ｓを再定義することによって、上記「1-2.SOP符号量Ｒ_Ｓの更新」によって生じてくる符号量の増減を完全に吸収し、SOP符号量を目標符号量に完全に準拠させることができる。また、画像の性質に変化をもたらすシーンチェンジへ対応させることができる。

下記(5)によってＲ_Ｇの更新をＩピクチャを符号化する直前において行い、さらに同様のタイミングでＲ_ＳとＲ_Ｇの整合性をとるため、下記(6)式によってＲ_Ｓの再定義を行う。この再定義も、後述するS26でのパラメータ更新が反映された結果である。

R_Ｇ←R_Ｇ＋N(I)×(bit_rate/frame_rate)−S(I) (5)
R_Ｓ＝R_Ｇ (6)

ただし、Ｎ(I)、Ｓ(I)はそれぞれ、Ｒ_Ｇの更新後の符号化を行ったフレームの枚数(最初の更新においては全符号化済フレームの枚数)、同フレームにおける符号量の合計を表す。

2.各マクロブロックの符号量設定(S22)
各マクロブロックごとの符号量設定を行うに際し、マクロブロックごとに、マクロブロックタイプ別にＱ値に対する評価を行う。まず、「2-3.適切なQ値の選出」で述べる手法によって評価対象となるＱ値から歪み量を予測し、該歪み量を用いてSOP内の符号量を予測する。

次に、予測された符号量とＲ_Ｓとの差分の絶対値をＱ値に対する評価値とし、該評価値が最も低いものを選出する。ただし、ＰピクチャもしくはＢピクチャにおいてそれぞれ符号化済のピクチャが存在しない場合は、Ｑ値として初期値Ｑ_ｄを(例えばｑ＝0〜51としたとき、41とする。)用いる。歪み量が決まった際の予測符号量は、以下の「2-1.未符号化フレームの符号量予測」および「2-2.符号化当該フレームの符号量予測」で説明するように定義され、適切なＱ値は、「2-3.適切なQ値の選出」で説明するように選出される。

2-1.未符号化フレームの符号量予測
フレーム番号ｍ＋Ｎ_Ｇにおける各マクロブロックタイプｎ(n∈1,2,・・・,M)の歪み量がＤ′(ｍ＋Ｎ_Ｇ,ｎ)として与えられた際におけるフレームの予測符号量Ｒ(ｍ＋Ｎ_Ｇ)は、以下のようにして算出できる。

初期GOP以降におけるGOP内のピクチャの出現パターンは一定であるため、図５に示すように、ストリーム内における符号化対象フレームのピクチャタイプをＦ(ｉ)と表すと、Ｆ(ｉ＋１)からＦ(ｉ＋Ｎ_Ｇ−１)はＦ(ｉ−Ｎ_Ｇ＋１)からＦ(ｉ−１)と完全に一致する。同一ピクチャタイプにおけるマクロブロックタイプの割合が一定であると仮定すると、Ｆ(ｉ＋１)からＦ(ｉ＋Ｎ_Ｇ−１)におけるマクロブロックタイプの発生数はＦ(ｉ−Ｎ_Ｇ＋１)からＦ(ｉ−１)までのマクロブロックタイプの発生数によって表すことができる。

R-D特性をGOP内における符号化順序およびマクロブロックタイプのみに依存すると仮定し、R-D特性を表す関数(R-D関数)を下記(7)式によって定義する。

log(T(m,n)×D′(m＋N_Ｇ,n))＝log(T(m,n)＋logD′(m＋N_Ｇ,n)＝A(m,n)R(m＋N_Ｇ,n)＋B(m,n) (7)

ここで、Ｔ(ｍ,ｎ)、Ｒ(ｍ＋Ｎ_Ｇ,ｎ)はそれぞれ、第ｍレームにおけるマクロブロックタイプｎの発生回数、第ｍ＋Ｎ_Ｇフレームにおけるマクロブロックタイプｎの発生符号量の合計を表し、Ａ(ｍ,ｎ)およびＢ(ｍ,ｎ)は、第ｍフレームにおけるマクロブロックタイプｎにおけるR-D特性を表す係数とする。ただし、R-D特性は、直線にて表現するのが困難であるため、下記式(8)、(9)の条件に従ってＡ(ｍ,ｎ)およびＢ(ｍ,ｎ)の適用範囲を定め、算出には下記式(10)、(11)を用いる。
A(m,n)＝A(m,n,q)
if D(m,n,q)≦D′(m＋N_Ｇ,n)×T(m,n)≦D(m,n,q＋1) (8)

B(m,n)＝B(m,n,q)
if D(m,n,q)≦D′(m＋N_Ｇ,n)×T(m,n)≦D(m,n,q＋1) (9)

A(m,n,q)＝(D(m,n,q)−D(m,n,q＋1))/(R(m,n,q)−R(m,n,q＋1)) (10)
B(m,n,q)＝D(m,n,q)−A(m,n,q)R(m,n,q) (11)

ただし、Ｄ(ｍ,ｎ,ｑ)、Ｒ(ｍ,ｎ,ｑ)はそれぞれ、Ｑ値がｑの際の各ブロックにおける歪み量の合計、符号量の合計を表し、後述する「4.マクロブロック符号化処理後のパラメータ更新」で定義される値を用いる。Ｑ値の増加に伴って符号量は常に減少し、歪み量は常に増加することから、Ａ(ｍ,ｎ)の値は常に負となる。従って、ｑ＝0,・・・,51とすると、Ｄ(ｍ,ｎ,０)からＤ(ｍ,ｎ,５１)の範囲においてＤ(ｍ,ｎ)が決定すれば、Ｒ(ｍ,ｎ)は一意に決定される。

上記式(7)をＲ(ｍ＋Ｎ_Ｇ,ｎ)について解くと、R-D関数として下記式(12)が導出される。従って、下記式(13)によってフレーム番号ｍ＋Ｎ_Ｇにおける予測符号量Ｒ(ｍ＋Ｎ_Ｇ)が算出される。

R(m＋N_Ｇ,n)＝(logT(m,n)＋logD′(m＋N_Ｇ,n)−B(m,n))/A(m,n) (12)

2-2.符号化当該フレームの符号量予測
一部のフレームでは、当該フレームにおけるR-D特性やマクロブロックタイプの出現割合が局所的に変動することがある。このようなフレームにおいては、それにおけるマクロブロックタイプの出現割合およびR-D特性を上記「2-1.未符号化フレームの符号量予測」とは別に算出する。以下に、当該フレームにおける各マクロブロックタイプｎの歪み量がＤ′(Ｃ,ｎ)として与えられた際におけるフレームの予測符号量Ｒ″(Ｃ)の算出について説明する。

まず、当該フレームの先頭マクロブロックから符号化対象マクロブロックまでのマクロブロックタイプｎの発生回数Ｔ(Ｃ,ｎ)をマクロブロックタイプごとに観測した上で、下記式(14)によってフレーム全体の符号量Ｒ″(Ｃ)と１マクロブロックの平均符号量Ｒ′(Ｃ,ｎ)の関係を表す。

ただし、Ｒ_ｆ(Ｃ)、Ｔ(Ｃ,ｎ)、ｎ_ｙ(Ｃ)、ｎ_ｆ(Ｃ)はそれぞれ、当該フレームにおける当該マクロブロックまでの符号量、マクロブロックタイプｎの発生回数、未符号化マクロブロック数、符号化済マクロブロック数を表す。Ｒ(Ｃ,ｎ)を符号化済マクロブロックにおけるマクロブロックタイプ別の符号量の合計とすると、下記式(15)が成り立つため、下記式(16)におけるR-D特性は下記式(17)となる。

R(C,n)＝R′(C,n)T(C,n) (15)
log(T(C,n)×D′(C,n))＝A(C,n)R(C,n)＋B(C,n) (16)
log(T(C,n)×D′(C,n))＝logD′(C,n)＋logT(C,n)＝A(C,n)T(C,n)R′(C,n)＋B(C,n) (17)

ただし、Ａ(Ｃ,ｎ)およびＢ(Ｃ,ｎ)は、当該フレームにおける符号化済マクロブロックより、Ａ(ｍ,ｎ)、Ｂ(ｍ,ｎ)の算出(「2-1.未符号化フレームの符号量予測」参照)と同様に算出されるR-D特性を表す係数であり、上記式(8)、(9)の条件に従うこととする。上記式(14)と式(17)によて下記式(18)が導出される。下記式(12)の右辺第１項は当該フレームにおける符号化済マクロブロックに対する符号量を表し、第２項は未符号化マクロマクロブロックに対する予測符号量を表している。

しかしながら、当該フレームにおけるサンプル数(符号化済マクロブロック数)が少ない場合には、Ｔ(Ｃ,ｎ)、Ａ(Ｃ,ｎ)およびＢ(Ｃ,ｎ)における信頼性が低いため、当該ピクチャにおける符号化済ブロック数の割合が閾値Ｔ_ｂ(例えば1/8)より低いときのみ、Ｒ(Ｃ,ｎ)、Ｔ(Ｃ,ｎ)およびｎ_ｆ(Ｃ)を下記式(19)−(21)によって置き換える。なお、ｎ_ａｌｌは、１フレームあたりの全マクロブロック数を表す。

R(C,n)←R(C,n)＋R(i−N_Ｇ,n) (19)
T(C,n)←T(C,n)＋T(i−N_Ｇ,n) (20)
n_ｆ(C)←n_ｆ(C)＋n_ａｌｌ (21)

2-3.適切なQ値の選出
「2-1.未符号化フレームの符号量予測」および「2-2.符号化当該フレームの符号量予測」で定義された符号量算出式を用いて当該マクロブロックにおけるＱ値をマクロブロックタイプ別に選出する。ここでは、フレーム間の歪み量の割合が下記式(23)に従うことを目標とする。

D(I)＝D(P)＝w_ｂ×D(B) (22)

ただし、Ｄ(Ｉ)、Ｄ(Ｐ)、Ｄ(Ｂ)はそれぞれ、Ｉ、Ｐ、Ｂピクチャにおける各フレームの歪み量を表し、w_ｂは重み係数を表す。上記式(22)は、SOP内の各フレームにおけるピクチャタイプごとの歪み量割合が一定となることを規定する。

上記目標に従って、当該マクロブロックにおけるマクロブロックタイプをｎ″、Ｑ値をｑ(Ｃ,ｎ″)と仮定した際の評価値Ｅ(Ｃ,ｎ″,ｑ(Ｃ,ｎ″))を以下の手順で算出する。まず、図６に従い、マクロブロックごとの目標歪み量Ｄ′(ｍ,ｎ)を定義する。ここで、Ｄ(Ｃ,ｎ,ｑ(Ｃ,ｎ″))は、後述する「4.マクロブロック符号化処理後のパラメータ更新」で定義される値を用いることとし、当該ピクチャにおける符号化済マクロブロック数の割合が閾値Ｔ_ｂより低い場合には、Ｔ(Ｃ,ｎ)およびＤ(Ｃ,ｎ,ｑ(Ｃ,ｎ″))を上記式(20)および下記式(23)によって置き換えることとする。

D(C,n,q(C,n″))←D(C,n,q(C,n″))＋D(i−N_Ｇ,n,q(C,n″)) (23)

上記定義による目標歪み量Ｄ′(ｍ,ｎ)を上記式(13)および(18)に当てはめ、下記式(24)を用いてｑ(Ｃ,ｎ″)に対する評価値Ｅ(Ｃ,ｎ″,ｑ(Ｃ,ｎ″))を算出する。

評価値Ｅ(Ｃ,ｎ″,ｑ(Ｃ,ｎ″))が最小となるようなｑ(Ｃ,ｎ″)を探索し、この値をマクロブロックタイプｎ″における適切なＱ値Ｑ(Ｃ,ｎ″)とする。

3.符号化処理(S23)
上記2-3で選出されたＱ値を用いてマクロブロックタイプの選択および符号化処理を行う。この処理にはＪＭで用いられる処理をそのまま適用することができるので、説明は省略する。

4.マクロブロック符号化処理後のパラメータ更新(S24)
各マクロブロックの符号化処理が終了した後、以下に説明するように、R-D特性のびパラメータ更新を行う。また、シーンチェンジに対応させた量子化制御を行う場合には、ここでシーンチェンジの判定を行う。これによって、当該フレームの画像の性質を反映させた符号量制御が可能になる。

4-1.パラメータ更新
各マクロブロックの符号化処理終了ごとに、当該フレームにおける当該マクロブロックまでの符号量Ｒ_ｆ(Ｃ)の更新を下記式(25)によって行う。ただし、Ｒ_ｆ(Ｃ)の初期値は０とする。

R_ｆ(C)＝R_ｆ(C)＋r(C,C′_ｎ,Q(C,C′_ｎ)) (25)

ここで、Ｃ′_ｎ、r(Ｃ,Ｃ′_ｎ,Ｑ(Ｃ,Ｃ′_ｎ))はそれぞれ、選択がなされたマクロブロックタイプ、当該マクロブロックにおける符号量を表す。この更新終了後、当該マクロブロックに対して、Ｑ値をｑ＝0,・・・,51に変化させることによって仮符号化を行い、符号量および歪み量の合計値Ｒ(Ｃ,Ｃ′_ｎ,ｑ)、Ｄ(Ｃ,Ｃ′_ｎ,ｑ)を下記式(26)、(27)によって更新する。

R(C,C′_ｎ,q)←R(C,C′_ｎ,q)＋r(C,C′_ｎ,q) (26)
D(C,C′_ｎ,q)←D(C,C′_ｎ,q)＋d(C,C′_ｎ,q) (27)

ただし、ｒ(Ｃ,Ｃ′_ｎ,ｑ)、ｄ(Ｃ,Ｃ′_ｎ,ｑ)はそれぞれ、当該マクロブロックにおいてＱ値をｑとしたときの符号量、歪み量を表す。

最後に、マクロブロックタイプの発生回数Ｔ(Ｃ,Ｃ′_ｎ)を下記式(28)によって更新する

T(C,C′_ｎ)←T(C,C′_ｎ)＋1 (28)

4−2.シーンチェンジ判定
動画像中にシーンチェンジが存在する場合、その前後のフレームにおける画像の性質が大きく異なる。これに対しても適切なレート制御を可能にするためには、シーンチェンジの判定を行い、シーンチェンジが存在した場合には以下に説明する処理を行えばよい。

シーンチェンジの発生は、例えば、以下のようにして判定できる。シーンチェンジの直後の画像の性質として、前フレームとの間の相関が低くなるため、イントラ符号化の割合が増加する。そこで、以下の２つの条件(1)、(2)を共に満たした場合にシーンチェンジが発生したと見なすことができる。
条件(1):当該ピクチャにおける符号化済マクロブロックの割合が定数Ｔ_ｈ(ＭＢ)(例えば1/8)を超えている。
条件(2):当該ピクチャにおける符号化済マクロブロックのうち、イントラ符号化の割合が一定値Ｔ_ｈ(ＩＴ)(例えば3/4)を超えている。

シーンチェンジと見なされた際には、当該フレームの符号化が終了した後、つまり 後述する「5.フレーム符号化終了後のパラメータ更新(S26)」で以下の処理(1)、(2)を行い、ｉ＋１フレーム目以後ＰピクチャもしくはＢピクチャがシーンチェンジ後にシーンチェンジ先頭を除き符号化がなされない場合においては、Ｑ値を初期値Ｑ_ｄとして符号化を行う。
処理(1):Ｒ_Ｓの再定義−シーンチェンジ直後の目標符号量Ｒ(Ｃ)の予測は困難であるため、上記式(5)、(6)を適用させる。
処理(2):R-D関数の代入−シーンチェンジ直後のピクチャにおける全マクロブロックの符号化が終わった後、当該GOP内のＩピクチャにおけるマクロブロック発生割合Ｔ(ｋ(Ｃ),ｎ)、ビットレートＲ(ｋ(Ｃ),ｎ,ｑ)、および歪み量Ｄ(ｋ(Ｃ),ｎ,ｑ)を下記式(31)、(32)、(33)によって更新する。

T(k(C),n)＝T(C,n)×(ｎ_ａｌｌ/n_ｉ(C)) (29)
R(k(C),n,q)＝R(C,n,q)×(ｎ_ａｌｌ/n_ｉ(C)) (30)
D(k(C),n,q)＝D(C,n,q)×(ｎ_ａｌｌ/n_ｉ(C)) (31)

ここで、ｋ(C)は、当該GOP内のＩピクチャを表し、ｎ_ｉ(C)は、当該フレームにおけるイントラマクロブロックの発生回数を表す。

5.フレーム符号化終了後のパラメータ更新(S26)
フレーム内のマクロブロックの符号化が全て終了した後、下記式(32)をｍ(m∈i−N_Ｇ＋1,i−N_Ｇ＋2,・・・,i−1)に対して適用させることによって、符号量、歪み量、および発生回数の代入を行う。この処理によって先頭GOPやシーンチェンジを含むGOPなどにおいても適切な符号量制御が可能になる。ただし、シーンチェンジ直後のフレームにおいては該フレームの信頼性が低いと考えられるので、この処理は行わないこととする。

R(m,n,q)←R(C,n,q)
D(m,n,q)←D(C,n,q)
T(m,n)←T(C,n)
if F(C)＝F(m)and(m≦s(C)) (32)

ここで、ｓ(Ｃ)は直前に発生したシーンチェンジ(初期値は０)におけるフレーム番号とする。

本発明は、携帯向けの地上波デジテル放送などのH.264符号化を伴う映像伝送システムに適用することができる。例えば、広告のシーンチェンジなどを含む携帯向け放送サービスにおいて、画質劣化が少ない符号化を実現でき、これによって視聴者側においてもストレスの少ない映像の受信が可能になる。また、ADSL環境などの比較的中規模な帯域を主眼とした動画像の提供環境において、画質劣化が少ない映像を提供することが可能となるため、FTTH環境が整備されていない地域における動画像コンテンツの配信が可能になる。

H.264の符号化参照ソフトＪＭに従う符号化手順を示すフローチャートである。 本発明に係る動画像符号量制御方式における処理を示すフローチャートである。 本発明におけるＱ値設定の概念図である。 GOPの例を示す説明図である。 ストリーム内における符号化対象フレームを示す説明図である。 Ｑ値に従った各マクロブロックの目標歪み量の定義を示す説明図である。

符号の説明

１・・・符号化済マクロブロック、２・・・符号化対象マクロブロック、３・・・未符号化フレーム、４・・・ＳＯＰ

Claims (3)

1. 局所的なフレーム群に対する目標符号量を設定する目標符号量設定手段と、
   符号量−歪み量特性を元に符号化対象マクロブロックにおける量子化パラメータを設定する量子化パラメータ設定手段と、
   前記量子化パラメータ設定手段で設定された量子化パラメータを用いて符号化対象マクロブロックが符号化処理された後に、前記符号量−歪み量特性を表す係数であるパラメータを、該符号化対象マクロブロックまでの符号量および歪み量の合計値を用いて算出された値に更新して次のマクロブロックに対する量子化パラメータに反映させる第１の量子化パラメータ更新手段と、
   当該フレームの全マクロブロックが符号化処理された後に、前記符号量−歪み量特性を表す係数であるパラメータを、当該フレームまでの符号量および歪み量の合計値を用いて算出された値に更新して前記目標符号量設定手段での目標符号量に反映させる第２のパラメータ更新手段とを備えることを特徴とする動画像符号量制御方式。
2. 前記符号量−歪み量特性は、マクロブロックタイプ別に符号量と歪み量が集計されたものであることを特徴とする請求項１に記載の動画像符号量制御方式。
3. 前記符号化対象マクロブロックが符号化処理された後にシーンチェンジが存在するか否かを判定するシーンチェンジ判定手段を備え、
   前記第２のパラメータ更新手段は、前記シーンチェンジ判定手段によるシーンチェンジが存在すると判定された場合には前記符号量−歪み量特性を表す係数であるパラメータを初期化して前記目標符号量設定手段での目標符号量に反映させることを特徴とする請求項１に記載の動画像符号量制御方式。

Images