JP4357560B2 - 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム - Google Patents

Description

本発明は、ＭＰＥＧ（Moving Picture Experts Group）等のアルゴリズムによって動画像データを圧縮符号化する動画像符号化装置、動画像符号化方法及び動画像符号化プログラムに関する。

周知のように、ＭＰＥＧ方式等による動画像符号化装置は、動画像データをブロック単位で動き補償予測し、この処理によって得られる予測誤差と動きベクトルとを符号化するもので、従来から、動画像データの符号化効率を高める様々な改良がなされている。その中に、符号化対象のブロックのＤＣＴ（Discrete Cosine Transform：離散コサイン変換）及び量子化後の予測誤差が０であるか否かを判定し、０であると判定した場合には、Ｐピクチャについては動きベクトルが第１閾値より小さい場合に、Ｂピクチャについては隣のブロックの動きベクトルとの大きさの差が第２閾値より小さい場合に当該ブロックの処理を省略させ、動きベクトルを０に置き換えて可変長符号化部に送ることで当該ブロックの可変長符号化を省略させ、これによって圧縮率を高めるというスキップ判定を用いた提案がある（特許文献１参照）。

しかしながら、上記提案のスキップ判定による手法では、Ｐピクチャにおいて、マクロブロックにおける量子化ブロックの予測誤差が０で、動きベクトルが閾値以下と判定した場合、それを一律にスキップマクロブロックと判定して符号化処理をスキップしてしまうため、後に続くピクチャに影響を及ぼし、Ｂピクチャにおいて、マクロブロックにおける量子化ブロックの予測誤差が０で同一方向の差分ベクトルが閾値以下と判定した場合、量子化誤差が小さい場合に、画質劣化につながることがあった。
特開２００１−２５１６２７公報

以上述べたように、従来の動画像符号化装置にあっては、動画像データの符号化を高めるために、一定条件の元でマクロブロックに対する符号化処理をスキップさせることが提案されているが、そのスキップ判定が適切でないため、後に続くピクチャに悪影響を与え、画質劣化が生じることがあった。

本発明は上記の課題を解決するためになされたもので、マクロブロックの符号化処理を省略した場合の後に続くピクチャへの影響を抑制し、画質劣化を最小限に抑えることのできる動画像符号化装置、動画像符号化方法及び動画像符号化プログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る動画像符号化装置は、動画像データをマクロブロック単位で動き補償予測し、この処理によって得られる予測誤差に対して離散コサイン変換、量子化を行って量子化ステップを求め、この量子化ステップを前記動き補償予測によって得られる動きベクトルと共に可変長符号化するもので、前記可変長符号化の対象マクロブロックそれぞれの符号化モードをピクチャタイプに応じて制御する符号化制御部を備え、前記符号化制御部は、前記対象マクロブロックのピクチャタイプが他のフレームの参照フレームとならないＢピクチャであるとき、前記量子化ステップが閾値以上か判断する量子化ステップ判断手段と、前記量子化ステップが閾値以上の場合にフレーム予測のみによる動き検出処理を行うフレーム予測モード処理手段と、前記量子化ステップが閾値に満たない場合に通常のフレーム／フィールド予測判定後に動き検出処理を行う通常モード処理手段と、前記フレーム予測モード処理手段または前記通常モード処理手段の動き検出処理後に一定の条件下で前記対象マクロブロックの符号化処理をスキップさせるスキップ判定制御手段とを具備する構成とする。

また、本発明に係る動画像符号化方法は、動画像データをマクロブロック単位で動き補償予測し、この処理によって得られる予測誤差に対して離散コサイン変換、量子化を行って量子化ステップを求め、この量子化ステップを前記動き補償予測によって得られる動きベクトルと共に可変長符号化する方法であって、前記可変長符号化の対象マクロブロックそれぞれの符号化モードをピクチャタイプに応じて制御する場合に、前記対象マクロブロックのピクチャタイプが他のフレームの参照フレームとならないＢピクチャであるとき、前記量子化ステップが閾値以上か判断し、前記量子化ステップが閾値以上の場合にフレーム予測のみによる動き検出処理を行い、前記量子化ステップが閾値に満たない場合に通常のフレーム／フィールド予測判定後に動き検出処理を行い、動き検出処理後に一定の条件下で前記対象マクロブロックの符号化処理をスキップさせることとする。

また、本発明に係る動画像符号化プログラムは、動画像データをマクロブロック単位で動き補償予測し、この処理によって得られる予測誤差に対して離散コサイン変換、量子化を行って量子化ステップを求め、この量子化ステップを前記動き補償予測によって得られる動きベクトルと共に可変長符号化する処理をコンピュータに実行させるプログラムであって、前記可変長符号化の対象マクロブロックそれぞれの符号化モードをピクチャタイプに応じて制御する符号化制御ステップを備え、前記符号化制御ステップは、前記対象マクロブロックのピクチャタイプが他のフレームの参照フレームとならないＢピクチャであるとき、前記量子化ステップが閾値以上か判断し、前記量子化ステップが閾値以上の場合にフレーム予測のみによる動き検出処理を行い、前記量子化ステップが閾値に満たない場合に通常のフレーム／フィールド予測判定後に動き検出処理を行い、動き検出処理後に一定の条件下で前記対象マクロブロックの符号化処理をスキップさせるものとする。

すなわち、本発明では、ビットレートが低く、量子化ステップが大きく、かつ、フレーム間隔が一定の場合に、予測モードの選択肢を制限し、スキップマクロブロックを発生させやすくすることで、Ｂピクチャの発生符号量を少なくし、これによって画質劣化を抑えることが可能となる。

以上のように構成したことによって、本発明によれば、マクロブロックの符号化処理を省略した場合の後に続くピクチャへの影響を抑制し、画質劣化を最小限に抑えることのできる動画像符号化装置、動画像符号化方法及び動画像符号化プログラムを提供することができる。

以下、図面を参照して本発明の実施の形態について説明する。

図１は本発明に係る動画像符号化装置の一実施形態を示すブロック図である。この装置に入力された映像信号は減算器１１に送られ、ここで過去に符号化され、再度再生された画面データとの差分がとられる。この差分データはＤＣＴ１２でＤＣＴ処理され、量子化器１３で量子化処理された後、ＤＣＴ係数情報として出力される。この量子化器１３に対する量子化特性（いわゆる量子化ステップ）は符号化制御部１４で決定され、その量子化特性情報も同時に符号化される。量子化器１３で符号化されたＤＣＴ係数情報は次の画面での予測画像として使用するため、逆量子化器１５で逆量子化され、ＩＤＣＴ１６でＩＤＣＴ処理された後、加算器１７で動きベクトル情報を元に過去の再生画像と加算されて、スイッチ１８により第１、第２の参照画像メモリ１９，２０に交互に送られ、これらの参照画像メモリ１９，２０に双方向予測のためのＩピクチャ、Ｐピクチャ再生用として２画面分の参照画面が保持される。各参照画像メモリ１９，２０に蓄積された参照画面はスイッチ２１により選択的に、または内挿処理器２２によって内挿処理されて、またはイントラの場合には“０”発生器２３で発生される“０”に置き換えられて減算器１１にフィードバックされる。

上記構成において、以下、図２及び図３に示すフローチャートを参照して、Ｂピクチャでのマクロブロック（以下、ＭＢ）単位の信号処理について説明する。図２は図１に示した動画像符号化装置の符号化制御部１４で実行される本発明によるＢピクチャでのＭＢ単位の信号処理を示すフローチャートである。また、図３は図１に示した動画像符号化装置の符号化制御部１４で実行される通常のＢピクチャでのＭＢ単位の信号処理を示すフローチャートである。

本発明では、ピクチャタイプがＢピクチャの場合において、スキップＭＢとなる条件を
条件１：フレーム予測モードであり、直前に符号化されたマクロブロックがインターＭＢで予測方向が同じであること。
条件２：ＭＢタイプが存在しない（Not Coded）つまりＣＢＰ＝０（ＣＢＰ：Coded Block Pattern）であること。
条件３：差分ベクトル（ＭＥ（動き検出）処理により検出された動きベクトルと予測ベクトルとの差分）が０であること。
条件４：スライスの先頭または最後のマクロブロックではないこと。
とする。

図２において、ＢピクチャでのＭＢ単位の信号処理が開始された場合、まず、量子化ステップが閾値以上か判断し（ステップＳ１１）、閾値以上の場合にはフレーム予測のみによるＭＥ処理を行い（ステップＳ１２）、閾値に満たない場合は通常のフレーム／フィールド予測判定後にＭＥ処理を行う（ステップＳ１３）。ビットレートが低く、量子化ステップが大きくなると画像の解像度が悪くなるため、フレーム予測のみよるＭＥ処理でも画質の劣化が抑えられる。

次にイントラ／インターのモード判定を行い（ステップＳ１４）、ＤＣＴ処理、量子化処理、逆量子化処理及び逆ＤＣＴ処理を行う（ステップＳ１５）。続いて、インターＭＢか（ステップＳ１６）、ＭＢタイプが存在しない（Not Coded）か（ステップＳ１７）、スキップＭＢを設定可能か（ステップＳ１８）、差分ベクトルが閾値以内か（ステップＳ１９）を判断する。

ステップＳ１６でインターＭＢが選択されたと判断され、ステップＳ１７でＭＢタイプが存在しない（Not Coded）（前記条件２）であると判断され、ステップＳ１８でスキップＭＢが設定可能なＭＢ（前記条件１及び４）であると判断され、ステップＳ１９で差分ベクトルが閾値以内であると判断された場合には、スキップＭＢに設定する（ステップＳ２０）。上記ステップＳ１６〜Ｓ１９のいずれかの判断に該当しない場合、スキップＭＢに設定されない。以後、ＭＢ単位のシンタックス処理へ移行する。

一方、通常のＢピクチャでのＭＢ単位の信号処理では、図３に示すような手順となる。まず、フレーム／フィールド予測判定後、ＭＥ処理を行い（ステップＳ３１）、イントラ／インターのモード判定を行い（ステップＳ３２）、ＤＣＴ処理、量子化処理、逆量子化処理及び逆ＤＣＴ処理を行った後（ステップＳ３３）、インターＭＢか（ステップＳ３４）、ＭＢタイプが存在しない（Not Coded）か（ステップＳ３５）、スキップＭＢを設定可能か（ステップＳ３６）、差分ベクトルが０か（ステップＳ３７）を判断する。

ステップＳ３４でインターＭＢが選択されたと判断され、ステップＳ３５でＭＢタイプが存在しない（Not Coded）（前記条件２）であると判断され、ステップＳ３６でスキップＭＢが設定可能なＭＢ（前記条件１及び４）であると判断され、ステップＳ３７で差分ベクトルが０であると判断された場合には、スキップＭＢに設定する（ステップＳ３８）。上記ステップＳ３４〜Ｓ３７のいずれかの判断に該当しない場合、スキップＭＢに設定されない。以後、ＭＢ単位のシンタックス処理へ移行する。

図２及び図３の処理手順を比較するに、条件３では差分ベクトルが０であるが、本発明では図２に示すように、ステップＳ１９において差分ベクトル値が閾値以内の場合も０と見なす。これにより、図３における通常のＢピクチャでのＭＢ単位の信号処理と比較すると、量子化ステップが閾値以上の場合にはフレーム予測モードが選択され易くなり、スキップＭＢとなる条件１〜４を満たす確率が高くなる。スキップＭＢが増加するとマクロブロック以下の情報量が無くなり、符号量を抑えることが可能となる。画質の劣化は、量子化ステップが閾値以上の大きい場合に限定することにより、抑えることが可能となる。

したがって、上記構成による動画像符号化装置は、ビットレートが低く、量子化係数が大きい場合に、フレーム間隔が一定の場合でも、予測モードの選択肢を制限し、スキップＭＢを発生させやすくするようにしているので、画質劣化を抑えつつＢピクチャの発生符号量を少なくすることができる。

尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明に係る動画像符号化装置の一実施形態を示すブロック構成図。 図１に示した動画像符号化装置の符号化制御部１４で実行される本発明によるＢピクチャでのＭＢ単位の信号処理を示すフローチャート。 図１に示した動画像符号化装置の符号化制御部１４で実行される通常のＢピクチャでのＭＢ単位の信号処理を示すフローチャート。

符号の説明

１１…減算器、１２…ＤＣＴ、１３…量子化器、１４…符号化制御部、１５…逆量子化器、１６…ＩＤＣＴ、１７…加算器、１８…スイッチ、１９，２０…参照画像メモリ、２１…スイッチ、２２…内挿処理器、２３…“０”発生器。

Claims (4)

1. 動画像データをマクロブロック単位で動き補償予測し、この処理によって得られる予測誤差に対して離散コサイン変換、量子化を行って量子化ステップを求め、この量子化ステップを前記動き補償予測によって得られる動きベクトルと共に可変長符号化する動画像符号化装置において、
   前記可変長符号化の対象マクロブロックそれぞれの符号化モードをピクチャタイプに応じて制御する符号化制御部を備え、
   前記符号化制御部は、
   前記対象マクロブロックのピクチャタイプが他のフレームの参照フレームとならないＢピクチャであるとき、前記量子化ステップが閾値以上か判断する量子化ステップ判断手段と、
   前記量子化ステップが閾値以上の場合にフレーム予測のみによる動き検出処理を行うフレーム予測モード処理手段と、
   前記量子化ステップが閾値に満たない場合に通常のフレーム／フィールド予測判定後に動き検出処理を行う通常モード処理手段と、
   前記フレーム予測モード処理手段または前記通常モード処理手段の動き検出処理後に一定の条件下で前記対象マクロブロックの符号化処理をスキップさせるスキップ判定制御手段と
   を具備することを特徴とする動画像符号化装置。
2. 前記スキップ判定制御手段は、
   前記フレーム予測モード処理時に、直前に符号化されたマクロブロックがインターマクロブロックで予測方向が同じであること、
   マクロブロックタイプが存在しないこと、
   前記動き検出処理により検出された動きベクトルと予測ベクトルとの差分が０であること、
   スライスの先頭または最後のマクロブロックではないこと、
   の条件を満たすマクロブロックの符号発生を省略することを特徴とする請求項１記載の動画像符号化装置。
3. 動画像データをマクロブロック単位で動き補償予測し、この処理によって得られる予測誤差に対して離散コサイン変換、量子化を行って量子化ステップを求め、この量子化ステップを前記動き補償予測によって得られる動きベクトルと共に可変長符号化する動画像符号化方法において、
   前記可変長符号化の対象マクロブロックそれぞれの符号化モードをピクチャタイプに応じて制御する場合に、
   前記対象マクロブロックのピクチャタイプが他のフレームの参照フレームとならないＢピクチャであるとき、前記量子化ステップが閾値以上か判断し、
   前記量子化ステップが閾値以上の場合にフレーム予測のみによる動き検出処理を行い、
   前記量子化ステップが閾値に満たない場合に通常のフレーム／フィールド予測判定後に動き検出処理を行い、
   前記動き検出処理後に一定の条件下で前記対象マクロブロックの符号化処理をスキップさせることを特徴とする動画像符号化方法。
4. 動画像データをマクロブロック単位で動き補償予測し、この処理によって得られる予測誤差に対して離散コサイン変換、量子化を行って量子化ステップを求め、この量子化ステップを前記動き補償予測によって得られる動きベクトルと共に可変長符号化する処理をコンピュータに実行させる動画像符号化プログラムにおいて、
   前記可変長符号化の対象マクロブロックそれぞれの符号化モードをピクチャタイプに応じて制御する符号化制御ステップを備え、
   前記符号化制御ステップは、
   前記対象マクロブロックのピクチャタイプが他のフレームの参照フレームとならないＢピクチャであるとき、前記量子化ステップが閾値以上か判断し、
   前記量子化ステップが閾値以上の場合にフレーム予測のみによる動き検出処理を行い、
   前記量子化ステップが閾値に満たない場合に通常のフレーム／フィールド予測判定後に動き検出処理を行い、
   前記動き検出処理後に一定の条件下で前記対象マクロブロックの符号化処理をスキップさせることを特徴とする動画像符号化プログラム。

Images