JP4406887B2 - 動画像符号化装置及び動画像符号化方法 - Google Patents

Description

本発明は、デジタル動画像の符号化に係り、特にピクチャ間の画質の違いによる画質歪を抑制する動画像符号化装置及び符号化プログラムに関する。

MPEG-2やMPEG-4、AVC（MPEG-4Part10）などのデジタル動画像符号化では、画像を所定の大きさのブロックに分割して符号化を行ない、ブロック単位で量子化の粗さを表す量子化値を決定できる。この量子化値を制御することにより、ブロック単位で画質を制御することができる。

画面間予測を使用しない画面内符号化ピクチャの符号量は、ブロック内の画素の分散や差分で表されるアクティビティなどで予測できる。また、特許文献１のように、画面間予測を使用する画面間符号化ピクチャの符号量は、動き補償の際の誤差評価値などで予測できる。ここで誤差評価値とは、ブロックマッチングを用いて、ブロック間の相違を絶対差分和や差分二乗和などで表現したものである。

このようにブロックの予測符号量を基に、各ブロックに符号量を配分することで、静止画として最適な符号量配分が可能となる。
特許第２８６５８４７号公報

しかし、従来の動画像符号化装置では、画面内符号化ピクチャの量子化値をピクチャ内の情報のみで決定して、静止画として最善の画質になるように画面内で量子化値を制御しているため、画面間符号化ピクチャの予測効率がブロック毎に大きく異なる場合に、画面内符号化ピクチャにて低画質なブロックが画面間符号化ピクチャにて高画質になるなど、画面内符号化ピクチャと画面間符号化ピクチャの画質の違いによる画質歪が生じてしまい、動画として良好な画質にならない、という問題がある。

そこで、本発明は、画面内符号化ピクチャと画面間符号化ピクチャの画質の違いによる画質歪を小さくして動画として良好な画質を得ることができる動画像符号化装置および動画像符号化方法を提供することを目的とする。

上記目的を達成するため本発明では、動画像信号を構成するピクチャをブロックに分割してブロック単位で動き補償を行うと共にブロック単位で量子化値を制御して動画像を符号化する動画像符号化装置及び動画像符号化方法であって、画面間符号化ピクチャを動き補償した際の予測効率値を前記ブロック単位で算出し、符号化すべきピクチャが画面内符号化ピクチャである場合には、既に符号化が終了した画面間符号化ピクチャの各ブロックの前記予測効率値に基づき、前記予測効率値が大きく予測効率が低いブロックと同位置の前記画面内符号化ピクチャのブロックでは量子化値を所定値より大きくする一方、前記予測効率値が小さく予測効率が高いブロックと同位置の前記画面内符号化ピクチャのブロックでは量子化値を所定値より小さくするよう制御する、ものである。

本発明では、画面内符号化ピクチャの符号化の際に、動き補償の予測効率が高いブロックに符号量を多く割り当て、予測効率が低いブロックに符号量を少なく割り当てるように量子化値を制御することで、画面間符号化ピクチャで高画質なブロックでは画面内符号化ピクチャでも高画質になり、画面間符号化ピクチャで低画質なブロックでは画面内符号化ピクチャでも低画質になるなど、ピクチャ間の画質差による画質歪を抑制することができる。そのため動画として良好な画質となる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明になる動画像符号化装置の一実施の形態を示すブロック図である。

本実施の形態の動画像符号化装置１００は、図１に示すように、直交変換手段１０１と、量子化手段１０２と、逆量子化手段１０３と、逆直交変換手段１０４と、画像メモリ１０５と、動き補償手段１０６と、予測効率値算出手段１０７と、量子化値制御手段１０８と、エントロピー符号化手段１０９と、減算器１１０と、加算器１１１とを有している。なお、本実施の形態の動画像符号化装置１００は、MPEG-2符号化方式や、ＭＰＥＧ-4符号化方式、さらにはＡＶＣ（MPEG-4Part10）符号化方式により符号化を行う。

図２は、図１に示す動画像符号化装置によって符号化された符号化データを復号する動画像復号装置の一実施の形態を示すブロック図である。

本実施の形態の動画像復号装置２００は、図２に示すように、エントロピー復号化手段２０１と、逆量子化手段２０２と、逆直交変換手段２０３と、動き補償手段２０４と、画像メモリ２０５と、加算器２０６とを有している。

次に動作を説明する。

図１に示す動画像符号化装置１００では、まず、直交変換手段１０１が入力された画像信号をＤＣＴ等により直交変換し、直交変換した画像信号を量子化手段１０２に供給する。

量子化手段１０２は、直交変換された画像信号を量子化値制御手段１０８にて決定された量子化の粗さを示す量子化値で量子化し、量子化した画像信号とその際の量子化値とを逆量子化手段１０３と、エントロピー符号化手段１０９に供給する。なお、量子化値制御手段１０８における量子化値の決定方法は後述する。

逆量子化手段１０３は、量子化された画像信号を量子化した量子化値で逆量子化し、逆直交変換手段１０４に供給する。逆直交変換手段１０４は、逆直交変換された画像信号を逆直交変換して、加算器１１１にて動き補償手段１０６にて動き補償にて使用された予測画像と加算して画像を復元し、画像メモリ１０５へ出力する。画像メモリ１０５は、加算器１１１により復元された画像を参照画像として記憶する。

そして、動き補償手段１０６は、画像メモリ１０５に格納された参照画像を参照して、動き補償を行って予測画像を求め、求めた予測画像を、予測効率値算出手段１０７、減算器１１０および加算器１１１へ出力する。

予測効率値算出手段１０７は、画面間符号化ピクチャにて動き補償予測を行う際、予測効率を示す予測効率値をブロック単位で算出し、画面間符号化ピクチャおよび画面内符号化ピクチャ符号化の際に符号化対象ブロックに対応する予測効率値を量子化値制御手段１０８に供給する。

予測効率値とは、例えば、画面間予測の効率を表す値で、動き補償時の予測誤差などで代表される。予測効率値は値が小さいほど予測効率が高いことを示す。また、ピクチャとは画面のことであり、例えば、プログレッシブ走査におけるフレーム画像や、インターレース走査におけるフィールド画像のことである。

ここで、画面内符号化ピクチャでは、他のピクチャを使用した動き補償の必要がないため、予測効率値算出のためだけに動き補償を行うこと無駄である。このため、本実施の形態では、既に符号化が終了している画面間符号化ピクチャの同位置のブロックの予測効率値をブロック単位で記憶して、その後現れる画面内符号化ピクチャの予測効率値として利用することにより、画面内符号化ピクチャの動き補償を行なわずに予測効率値を適用する。従って、ＧＯＰの最初の画面内符号化ピクチャの符号化する場合には、一つ前のＧＯＰの画面間符号化ピクチャの同位置のブロックの予測効率値を記憶しておいて利用することになる。なお、画面間符号化ピクチャでは、当該画面間符号化ピクチャにて、動き補償予測符号化を行っているので、当該画面間符号化ピクチャにおける動き補償予測した際の予測効率値を利用する。

つまり、本発明の実施の形態では、ピクチャ間の画質差による画質歪の抑制という目的を、既に符号化が終了した画面間符号化ピクチャの予測効率値に基づいて、画面内符号化ピクチャの符号化対象ブロックの量子化値を決定するようしている。

また、インターレース画像の場合、図５のような符号化画像のフレームアクティビティとフィールドアクティビティとの比を用いて予測効率値を定義することもある。これは、インターレース画像の場合、動きのある部分ではフィールドアクティビティがフレームアクティビティに対して小さくなることを利用している。

ここで、フレームアクティビティは、ブロック内の縦方向に隣接する異なるフィールドの画素間、すなわち奇数フィールド画素と偶数フィールドの画素との輝度値等の絶対差分和であり、フィールドアクティビティは、ブロック内の縦方向に１ライン飛ばしで算出した輝度値等の絶対差分和である。

このため、動きのあるブロックでは、時間差による影響が大きくなる一方、動きの少ないブロックでは、時間差による影響よりも空間的位置の差によるアクティビティの方が大きくなるので、動きのあるブロックでは、隣接する異なるフィールドの画素間のアクティビティであるフレームアクティビティが大きくなり、予測効率値が大きくなる一方、動きの少ないブロックでは、フレームアクティビティは小さくなり、フィールドアクティビティが大きくなるので、予測効率値は小さくなる。

量子化値制御手段１０８は、符号化すべき動画像信号のピクチャタイプと、予測効率値を基に量子化値を制御し、決定した量子化値を量子化手段１０２に供給する。なお、動画像信号のピクチャタイプには、画面内符号化（イントラ）ピクチャと、一方向と両方向の画面間符号化（インター）ピクチャとがあり、予め符号化すべき動画像信号に対し固定的に設定するように図１に示すように本装置外部から指定するようにしても良いが、本発明では、これに限らず、本装置内部で符号化結果等に基づいて適応的にピクチャタイプを切替えて決定するようにしても勿論良く、ピクチャタイプの指示は本装置内外いずれでも良い。

エントロピー符号化手段１０９は、直交変換量子化された画像信号や、量子化手段１０２からの量子化値、動き補償手段１０６からの動きベクトルなどの符号化パラメータをエントロピー符号化し、外部の例えば図２に示す動画像復号装置へ符号化データとして出力する。

一方、図２に示す動画像復号装置２００では、図１に示す動画像符号化装置１００で符号化された符号化データを動画像符号化装置１００とは逆の動作で復号、すなわちまずエントロピー復号化手段２０１がエントロピー復号して符号化データと、量子化値や動きベクトル等の符号化パラメータを取り出し、続いて逆量子化手段２０２がその量子化値を用いて符号化データを逆量子化し、さらに逆直交変換手段２０３が逆ＤＣＴ変換等の逆直交変換をする。そして、加算器２０６では、逆直交変換手段２０３からの逆直交変換された画像データと、エントロピー復号された動きベクトルに基づく動き補償手段２０４による画像メモリ２０５からの予測データとを加算して、画像信号とし出力する。

図３は、本実施の形態の予測効率値算出手段１０７の予測効率値算出の動作を示すフローチャートである。

まず、本実施の形態の予測効率値算出手段１０７では、図１に示すように、動画像信号と共に入力する当該動画像信号のピクチャタイプ信号に基づいて、符号化すべきピクチャが画面内符号化ピクチャであるか、あるいは画面間符号化ピクチャであるかを判断する（Ｓ３１）。

ここで、ピクチャタイプが画面内符号化ピクチャであると判断した場合（Ｓ３１“ＹＥＳ”）、予測効率値算出手段１０７は、当該画面内符号化ピクチャにおいて、予測効率値が大きいブロックの量子化値を、所定値より大きくする一方、予測効率値の小さいブロックの量子化値は所定値より小さくする（Ｓ３２）。ここで所定値とは、本発明の実施の形態では、基準となる量子化値であれば何でも良く、例えば、ＧＯＰ毎やピクチャ毎に固定または可変（適応的に変わる）の量子化値や、シーン単位で固定または可変の量子化値、さらには現在の量子化値、１つ前の量子化値、さらにはＧＯＰやシーン等に関係しない初期値や一定の固定値などが考えられる。

これに対し、ピクチャタイプが画面間符号化ピクチャの場合（Ｓ３１“ＮＯ”）は、予測効率値算出手段１０７は、当該画面間符号化ピクチャにおいて、予測効率値が大きいブロックの量子化値を所定値より小さくし、予測効率値の小さいブロックの量子化値を所定値より大きくする（Ｓ３３）。

図４（ａ），（ｂ）は、それぞれ、画面間符号化ピクチャと画面内符号化ピクチャの予測効率値が大・小のブロックにおける量子化値を示している。

具体的には、図４（ａ）は、画面間符号化ピクチャにおける、予測効率値が大・小のブロックにおける量子化値を示している。画面間符号化ピクチャの場合、予測効率値が小さいブロック４１ａでは、動きが少なく、動き補償の予測が当たっていて、一般には画質は高いので、図４（ｂ）に示す画面内符号化ピクチャ４２のブロック４２aの画質に近づけるよう量子化値を所定値より大きくして、そのブロックの画質を粗くする。

これに対し、予測効率値が大きいブロック４１ｂでは、動きがあり、一般には動き補償の予測が当たってなく、画質が悪いので、図４（ｂ）に示す画面内符号化ピクチャ４２のブロック４２ｂの画質に近づけるよう量子化値を所定値より小さくして、そのブロックの画質を精細にする。

図４（ｂ）は、画面内符号化ピクチャにおける、予測効率値が大・小のブロックにおける量子化値を示している。画面内符号化ピクチャの場合、その前に符号化して記憶しておいた図４（ａ）に示す画面間符号化ピクチャ４１の予測効率値を使用して、予測効率値が小さいブロック４１aと位置が同じブロック４２ａでは、画面間符号化ピクチャ４１のブロック４１aの画質に近づけるよう量子化値を所定値より小さくして、そのブロック４２ａの画質を精細にする。

これに対し、予測効率値が大きいブロック４２ｂでは、その前に符号化して記憶しておいた図４（ａ）に示す画面間符号化ピクチャ４１の予測効率値が大きいブロック４１ｂの予測効率値を利用して、予測効率値が大きいブロック４１ｂと位置が同じブロック４２ｂでは、画面間符号化ピクチャ４１のブロック４１ｂの画質に近づけるよう量子化値を所定値より大きくして、そのブロック４２ｂの画質を粗くする。

これにより、予測効率値が小さいブロック４１aと位置が同じブロック４２ａではそのブロック４２ａの画質が精細、すなわち動き補償の予測効率が高いブロック４２aに符号量を多く割り当て画質が精細になる一方、予測効率値が大きいブロック４１ｂと位置が同じブロック４２ｂではそのブロック４２ｂの画質を粗く、すなわち予測効率が低いブロックに符号量を少なく割り当てて画質が粗くなるように量子化値を制御したので、画面間符号化ピクチャで高画質なブロックでは画面内符号化ピクチャでも高画質になり、画面間符号化ピクチャで低画質なブロックでは画面内符号化ピクチャでも低画質になるなど、ピクチャ間の画質差による画質歪を抑制することができる。

また、画面間符号化ピクチャの場合、ステップＳ３３により画面内符号化ピクチャとは逆に量子化値を制御しているので、連続する画面間符号化ピクチャと、画面内符号化ピクチャとの間では、予測効率値が小さいブロック４１ａ，４２ａ同士の画質がお互いに近付くと共に、予測効率値が大きいブロック４１ｂ，４２ｂ同士の画質もお互いに近付くことになる。そのため、より迅速かつ滑らかに画面間符号化ピクチャと画面内符号化ピクチャとの間の画質差による画質歪を抑制することができ、動画として良好な画質を得ることができる。

さらに、画面間符号化ピクチャにおいて、予測効率が高いブロックは画面間予測が選択される可能性が高く、予測効率が低いブロックは画面間予測が選択される可能性が低いため、予測効率が高いブロックの参照画像を高画質にすれば、画面間符号化ピクチャの発生符号量が減少し、符号化効率を向上させることも可能となる。

図５（ａ）〜（ｃ）は、それぞれ、画面内符号化ピクチャにおける画像や予測効率値、量子化値の一例を示している。

具体的には、図５（ａ）は、画面内符号化ピクチャ５１における画像の具体例を示しており、自動車５２の画像が映ってない背景のブロックでは、動きが少ないので、予測効率値が小さい一方、自動車５２の画像が映っているブロックでは、動きが大きいので、予測効率値が大きいことを示している。

図５（ｂ）は、図５（ａ）に示す画面内符号化ピクチャ５１における予測効率値を示しており、自動車５２の画像が映ってない背景のブロックでは、動きが少ないので、予測効率値が小さく、例えば２００となる一方、自動車５２の画像が映っているブロックでは、動きが大きいので、予測効率値が大きく、例えば４００となることを示している。

図５（ｃ）は、図５（ａ）に示す画面内符号化ピクチャ５１における量子化値を示しており、自動車５２の画像が映ってない背景のブロックでは、図５（ｂ）に示すように予測効率値が２００と小さいので、この予測効率値に基づき後述する算術式（２）により量子化値は３５となる一方、自動車５２の画像が映っているブロックでは、図５（ｂ）に示すよう予測効率値が４００と大きいので、この予測効率値に基づき後述する算術式（２）により量子化値は４４となる。

次に、量子化値制御手段１０８による予測効率値に基づき量子化値を求める具体的な決定方法について説明する。

ここでは、図５（ａ）等に示すように、ピクチャ内の総ブロック数が４×８＝３２個、量子化の粗さに対して量子化値が線形な線形量子化、適応量子化前の量子化値を表す基本量子化値が４０で固定の場合で説明する。３２個のブロックの予測効率値が図５（ｂ）のように与えられた場合、画面内符号化ピクチャの量子化値は、以下の式（２）により決定する。

ここで、予測効率値の平均値は、３００となるため、予測効率値２００のブロックの量子化値は、４０＊（２＊２００＋３００）／（２００＋２＊３００）＝３５となる。また、予測効率値４００のブロックの量子化値は、４０＊（２＊４００＋３００）／（４００＋２＊３００）＝４４となる。

なお、画面間符号化ピクチャの場合の量子化値は、以下の式（３）のように決定することになる。

このように、本実施の形態によれば、画面内符号化ピクチャの符号化の際、既に符号化が終了した画面間符号化ピクチャの予測効率値を利用して、動き補償の予測効率値が小さいブロック、すなわち予測効率が高いブロックには量子化値を小さくして符号量を多く割り当てる一方、予測効率値が大きいブロック、すなわち予測効率が低いブロックには量子化値を大きくして符号量を少なく割り当てるように制御したので、画面間符号化ピクチャで高画質なブロックでは画面内符号化ピクチャでも高画質になり、画面間符号化ピクチャで低画質なブロックでは画面内符号化ピクチャでも低画質になるなど、画面間符号化ピクチャと画面内符号化ピクチャとの間の画質差による画質歪を抑制することができ、動画として良好な画質を得ることができる。

また、本実施の形態では、さらに、画面間符号化ピクチャの符号化の際には、予測効率が高いブロックに符号量を少なく割り当て、予測効率が低いブロックに符号量を多く割り当てることで、より迅速かつ滑らかに画面内符号化ピクチャと画面間符号化ピクチャの画質差を縮めることができる。

また、画面間符号化ピクチャにおいて、予測効率が高いブロックは画面間予測が選択される可能性が高く、予測効率が低いブロックは画面間予測が選択される可能性が低いため、予測効率が高いブロックの参照画像を高画質にすることにより、画面間符号化ピクチャの発生符号量が減少し、符号化効率を向上させることも可能となる。

なお、本実施の形態は、図１に示すようにハードウエア的に構成して説明したが、本発明では、これに限定されるものではなく、上記動画像符号化装置および動画像復号装置の機能をコンピュータに実現させるための動画像符号化プログラムおよび動画像復号プログラムを、記録媒体から読み取ったり、通信ネットワークを介してダウンロードして、メモリやＨＤＤ等に格納し、ＣＰＵがそのプログラムを実行して、上記動画像符号化装置および動画像復号装置の機能を達成するようにしても勿論よい。

また、本実施の形態では、量子化値制御手段１０８は、符号化すべきブロックが画面間符号化ブロックの場合、ステップ２３の処理を行うように説明したが、本発明では、これに限らず、図６に示すように、符号化すべきブロックが画面間符号化ブロックの場合、ステップＳ３３の処理を行わず、符号化すべきブロックが画面内符号化ブロックの場合、ステップＳ３２の処理のみを実行するように構成しても勿論よい。

また、本実施の形態では、図３に示すように、画面間符号化ピクチャであれば、全てステップＳ３３の処理を行うように説明したが、本発明では、これに限らず、画面内符号化ピクチャに再生順番が近い画面間符号化ピクチャのみ、ステップＳ３３の処理を行って、画面内符号化ピクチャの画質に近づけるようにしても勿論よい。例えば、画面内符号化ピクチャに再生順番が近い所定数、例えば３枚の画面間符号化ピクチャのみ、ステップＳ３３の処理を行うようにしても良いし、さらには、面内符号化ピクチャに再生順番が近い前方向の画面間符号化ピクチャのみ、ステップＳ３３の処理を行うようにしても良い。

また、本実施の形態では、画面間符号化ピクチャであれば、画面内符号化ピクチャとの間の距離（時間差）に関係なく、上記式（３）により、予測効率値に基づいてその量子化値を決定するようにしているが、本発明ではこれに限らず、例えば、画面内符号化ピクチャに再生順番が近い画面間符号化ピクチャの場合上記式（３）により量子化値を求め、画面内符号化ピクチャから再生順番が離れた画面間符号化ピクチャほど上記式（３）において強度を示す“２”の係数を、例えば、２．０、１．６、１．２、…というように小さくするようにしても勿論良い。

本発明になる動画像符号化装置の一実施の形態を示すブロック図である。 図１に示す動画像符号化装置によって符号化された符号化データを復号する動画像復号装置の一実施の形態を示すブロック図である。 本実施の形態の予測効率値算出手段の予測効率値算出の動作を示すフローチャートである。 （ａ），（ｂ）は、それぞれ、画面間符号化ピクチャと画面内符号化ピクチャの予測効率値が大・小のブロックにおける量子化値を示す図である。 （ａ）〜（ｃ）は、それぞれ、画面内符号化ピクチャにおける画像や予測効率値、量子化値の一例を示す図である。 本実施の形態の予測効率値算出手段の予測効率値算出の別の動作を示すフローチャートである。

符号の説明

１０１ 直交変換手段
１０２ 量子化手段
１０３ 逆量子化手段
１０４ 逆直交変換手段
１０５ 画像メモリ
１０６ 動き補償手段
１０７ 予測効率値算出手段
１０８ 量子化値制御手段
１０９ エントロピー符号化手段
１１０ 減算器
１１１ 加算器

Claims (4)

1. 動画像信号を構成するピクチャをブロックに分割してブロック単位で量子化値を制御して動画像を符号化する動画像符号化装置であって、
   画面間符号化ピクチャを動き補償した際の予測効率値を前記ブロック単位で算出する予測効率値算出手段と、
   符号化すべきピクチャが画面内符号化ピクチャである場合、既に符号化が終了した画面間符号化ピクチャの各ブロックの前記予測効率値に基づき、前記予測効率値が大きく予測効率が低いブロックと同位置の前記画面内符号化ピクチャのブロックでは量子化値を所定値より大きくする一方、前記予測効率値が小さく予測効率が高いブロックと同位置の前記画面内符号化ピクチャのブロックでは量子化値を所定値より小さくするよう制御する量子化値制御手段と、
   を有することを特徴とする動画像符号化装置。
2. 請求項１記載の動画像符号化装置において、
   前記量子化値制御手段は、符号化すべきピクチャが画面間符号化ピクチャである場合、前記予測効率値が大きく予測効率が低いブロックでは量子化値を所定値より小さくする一方、前記予測効率値が小さく予測効率が高いブロックでは量子化値を所定値より大きくするよう制御する、
   ことを特徴とする動画像符号化装置。
3. 動画像信号を構成するピクチャをブロックに分割してブロック単位で量子化値を制御して動画像を符号化する動画像符号化方法であって、
   画面間符号化ピクチャを動き補償した際の予測効率値を前記ブロック単位で算出し、
   符号化すべきピクチャが画面内符号化ピクチャである場合には、既に符号化が終了した画面間符号化ピクチャの各ブロックの前記予測効率値に基づき、前記予測効率値が大きく予測効率が低いブロックと同位置の前記画面内符号化ピクチャのブロックでは量子化値を所定値より大きくする一方、前記予測効率値が小さく予測効率が高いブロックと同位置の前記画面内符号化ピクチャのブロックでは量子化値を所定値より小さくするよう制御する、
   ことを特徴とする動画像符号化方法。
4. 請求項３記載の動画像符号化方法において、
   符号化すべきピクチャが画面間符号化ピクチャである場合には、前記予測効率値が大きく予測効率が低いブロックでは量子化値を所定値より小さくする一方、前記予測効率値が小さく予測効率が高いブロックでは量子化値を所定値より大きくするよう制御する、
   ことを特徴とする動画像符号化方法。