JP4469904B2

JP4469904B2 - 動画像復号装置、動画像復号方法及び動画像復号プログラムを記憶した記憶媒体

Info

Publication number: JP4469904B2
Application number: JP2008143502A
Authority: JP
Inventors: 亮押切; 達朗藤澤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-05-30
Filing date: 2008-05-30
Publication date: 2010-06-02
Anticipated expiration: 2028-05-30
Also published as: JP2009290765A; US7991050B2; US20090296819A1

Description

本発明は、動画像復号装置、動画像復号方法及び動画像復号プログラムを記憶した記憶媒体に関する。

動画像復号装置は、符号化され圧縮された動画像データの復号を行う。動画像復号装置では、動画像データの復号に際して、連続するフレーム間の動きを予測して補間画像を生成し、生成した補間画像をフレーム間に挿入して、動きを滑らかにみせる手法は広く用いられている。

補間画像を生成する際には、一般に、画面内を移動する物体の動きを表す動きベクトルが検出される。そしてこの動きベクトルに基づいて、フレーム間での画面の動きが予測され、補間画像が生成される。

例えば特許文献１には、動きベクトル推定のために必要な情報を入力ストリームから取り出してフレーム補間処理を行う技術が記載されている。
特開２００６−２７９９１７（段落００１３、図１）

補間画像の生成は、動画像の動きを滑らかにするために行われる。しかしながら、補間画像を生成することが不要であったり、補間画像の挿入によってかえって動画像の品質が低下したりするような場合も存在する。

例えば、動きがないフレーム間で補間画像を挿入しても視覚的に意味がなく、演算処理量の無駄となる。また、突然画面が切り替わるような画像等、フレーム間の動きに連続性のないような場合は、動きの予測を行っても不正確な結果しか得られず、補間画像が破綻する恐れがある。動きに連続性があっても、画面内に支配的な動きが複数存在する場合には、動きの境界部での予測がうまくいかずに擬似的な輪郭が発生してしまい、ノイズが発生したように見えてしまう。これらのような場合には、補間画像を生成しても効果的ではなく、演算量の増加を招くだけである。

本発明は、前記のような問題に鑑みなされたもので、補間画像を生成する際に、処理の負荷を低減できる動画像復号装置を提供することを目的とする。

本発明の一実施形態に係る動画像復号装置は、符号化された動画像データ及びその符号化情報を含む入力ストリームを復号して、復号動画像データ及び復号情報を取得する復号手段と、前記復号手段によって復号された復号動画像データのフレーム間に挿入する補間画像フレームを生成する補間画像生成手段と、前記復号情報に基づいて、前記補間画像生成手段による補間画像フレームの生成を制御する画像生成制御手段と、を備え、
前記画像生成制御手段は、前記補間画像フレームを生成するか否かを、前記復号情報に基づいて判定する補間判定手段を備え、前記補間判定手段が前記補間画像フレームを生成すると判定した場合に、前記補間画像フレームを生成し、
前記復号情報は、前記符号化された動画像データの１フレームに含まれる各ブロックの復号された動きベクトルを含み、
前記補間判定手段は、前記復号情報に含まれる動きベクトルのうち、当該１フレーム内で最も数が多い動きベクトルを主ベクトルとして検出する主ベクトル検出手段を備え、前記主ベクトル検出手段が検出した主ベクトルに対応するブロック数の当該１フレーム内での割合が、所定の閾値より大きい場合に、前記補間画像フレームを生成するよう判定し、
前記補間画像生成手段は、前記復号された動画像データから１フレーム内の各ブロックの動きベクトルを探索する動きベクトル探索手段と、前記復号情報に含まれる動きベクトルが主ベクトルに一致するブロックについては前記主ベクトル検出手段が検出した主ベクトルを動きベクトルと設定する動きベクトル設定手段と、を備え、前記動きベクトル探索手段が探索した、あるいは前記動きベクトル設定手段が設定した動きベクトルに基づいて、前記補間画像フレームを生成する。

本発明の一実施形態に係る動画像復号方法は、符号化された動画像データ及びその符号化情報を含む入力ストリームを復号して、復号動画像データ及び復号情報を取得する復号ステップと、
前記復号ステップによって復号された復号動画像データのフレーム間に挿入する補間画像フレームを生成する補間画像生成ステップと、
前記復号情報に基づいて、前記補間画像生成ステップによる補間画像フレームの生成を制御する画像生成制御ステップと、を備え、
前記画像生成制御ステップは、前記補間画像フレームを生成するか否かを、前記復号情報に基づいて判定する補間判定ステップを備え、前記補間判定ステップが前記補間画像フレームを生成すると判定した場合に、前記補間画像フレームを生成し、
前記復号情報は、前記符号化された動画像データの１フレームに含まれる各ブロックの復号された動きベクトルを含み、
前記補間判定ステップは、前記復号情報に含まれる動きベクトルのうち、当該１フレーム内で最も数が多い動きベクトルを主ベクトルとして検出する主ベクトル検出ステップを備え、前記主ベクトル検出ステップが検出した主ベクトルに対応するブロック数の当該１フレーム内での割合が、所定の閾値より大きい場合に、前記補間画像フレームを生成するよう判定し、
前記補間画像生成ステップは、前記復号された動画像データから１フレーム内の各ブロックの動きベクトルを探索する動きベクトル探索ステップと、前記復号情報に含まれる動きベクトルが主ベクトルに一致するブロックについては前記主ベクトル検出ステップが検出した主ベクトルを動きベクトルと設定する動きベクトル設定ステップと、を備え、前記動きベクトル探索ステップが探索した、あるいは前記動きベクトル設定ステップが設定した動きベクトルに基づいて、前記補間画像フレームを生成する。

本発明の一実施形態に係る動画像復号プログラムを格納するコンピュータ読み取り可能な記録媒体は、コンピュータを、符号化された動画像データ及びその符号化情報を含む入力ストリームを復号して、復号動画像データ及び復号情報を取得する復号手段と、前記復号手段によって復号された復号動画像データのフレーム間に挿入する補間画像フレームを生成する補間画像生成手段と、前記復号情報に基づいて、前記補間画像生成手段による補間画像フレームの生成を制御する画像生成制御手段と、して機能させるためのプログラムを格納し、
前記画像生成制御手段は、前記補間画像フレームを生成するか否かを、前記復号情報に基づいて判定する補間判定手段を備え、前記補間判定手段が前記補間画像フレームを生成すると判定した場合に、前記補間画像フレームを生成し、
前記復号情報は、前記符号化された動画像データの１フレームに含まれる各ブロックの復号された動きベクトルを含み、
前記補間判定手段は、前記復号情報に含まれる動きベクトルのうち、当該１フレーム内で最も数が多い動きベクトルを主ベクトルとして検出する主ベクトル検出手段を備え、前記主ベクトル検出手段が検出した主ベクトルに対応するブロック数の当該１フレーム内での割合が、所定の閾値より大きい場合に、前記補間画像フレームを生成するよう判定し、
前記補間画像生成手段は、前記復号された動画像データから１フレーム内の各ブロックの動きベクトルを探索する動きベクトル探索手段と、前記復号情報に含まれる動きベクトルが主ベクトルに一致するブロックについては前記主ベクトル検出手段が検出した主ベクトルを動きベクトルと設定する動きベクトル設定手段と、を備え、前記動きベクトル探索手段が探索した、あるいは前記動きベクトル設定手段が設定した動きベクトルに基づいて、前記補間画像フレームを生成する。

本発明の一実施形態に係る動画像復号装置によれば、復号手段は、符号化された動画像データ及びその符号化情報を含む入力ストリームを復号して、復号動画像データ及び復号情報を取得する。復号動画像データのフレーム間に挿入する補間画像フレームの生成は、復号情報に基づいて画像生成制御手段によって制御される。このため、補間画像を生成する際の処理を低減することができる。

以下、図面を参照して本発明による動画像復号装置の実施形態を説明する。

図１は本発明の一実施形態に係る動画像復号装置１の構成を示すブロック図である。動画像復号装置の一例として、Ｈ．２６４／ＡＶＣのデコーダが挙げられる。

動画像復号装置１は、復号処理部１０及び補間処理部４０を有する。Ｈ．２６４規格の符号化方式を用いて符号化された動画像データを含む入力ストリームが、動画像復号装置１に入力すると、復号処理部１０によって復号処理されて復号画像データが得られる。また、補間処理部４０は、この復号画像のフレーム間に挿入する補間画像を生成する。そして、これらの復号画像及び補間画像が外部に出力される。

復号処理部１０のエントロピー復号部１１は、符号化された動画像データを含む入力ストリームに対して可変長復号処理を行い、量子化されたＤＣＴ（Discrete Cosine Transform）係数（以下、量子化ＤＣＴ係数と称する）および量子化パラメータＱＰ（Quantization Parameter）を得、復号動きベクトル、参照フレーム番号、予測モード等を含む復号情報を得る。この量子化ＤＣＴ係数および量子化パラメータＱＰ及び復号情報は、逆量子化部１２に出力される。また、復号情報は、補間処理部４０にも出力される。また、復号情報とは、入力された動画像データがどのように符号化されていたのかを示す情報である。例えば当該動画像データの符号化の際には、フレーム間の動きを示す動きベクトルが検出されて符号化されるが、この符号化された動きベクトルを復号したものが復号動きベクトルである。また、符号化された参照フレーム番号や予測モードも、エントロピー復号部１１によって復号されて抽出され、復号情報に含まれてもよい。

逆量子化部１２は、動画像復号装置１のシステム負荷に応じた逆量子化処理により、量子化パラメータＱＰに基づいて量子化ＤＣＴ係数を逆量子化し、ＤＣＴ係数を得る。このＤＣＴ係数は、逆変換部１３に出力される。

逆変換部１３は、入力したＤＣＴ係数に、逆離散コサイン変換処理を施す。この処理結果は、残差信号として加算部１４に出力される。

加算部１４は、残差信号と、イントラ予測部２２又はインター予測部２３から出力される予測画像データとを加算する。これにより、フレーム画像のデータが再現される。この再現されたフレームデータは、デブロッキングフィルタ部１５及びイントラ予測部２２に出力される。生成された画像データは、イントラ予測部２２によって参照されるとともにデブロッキングフィルタ部１５に送られる。

デブロッキングフィルタ部１５は、加算部１４から出力されるフレーム画像のデータに対して、符号化ブロック間の歪みを改善する処理を施し、この処理結果をフレームメモリ３０に出力する。

符号化モード制御部２１は、エントロピー復号部１１の復号結果から、入力した動画像データが、イントラ予測（フレーム内予測）モードで符号化されたデータか、インター予測（フレーム間予測）モードで符号化されたデータであるかを判定する。

イントラ予測部２２は、加算部１４から出力されるフレーム画像のデータと、エントロピー復号部１１にて得られた量子化ＤＣＴ係数とに基づいてフレーム内予測を行って、予測画像データを生成する。

インター予測部２３は、エントロピー復号部１１が取得した量子化ＤＣＴ係数と、フレームメモリ３０から出力される参照画像とに基づいてフレーム間予測を行って、予測画像データを生成する。

イントラ予測部２２及びインター予測部２３が出力する予測画像データは、符号化モード制御部２１が判定した符号化モードに応じて、選択的に加算部１４に入力する。

フレームメモリ３０は、デブロッキングフィルタ部１５で処理された復号画像データを記憶する。記憶された復号画像データは、フレーム単位で補間処理部４０に送られる。復号画像データはまた、参照画像データとしてインター予測部２３にも出力される。

以上のようにして復号処理部１０によって復号処理された画像信号に対して、補間処理部４０により、補間画像の生成処理が行われる。

補間処理部４０は、復号画像の連続する２フレーム間の補間画像を生成する。図２は、補間処理部４０の構成を示す図である。

補間判定部５１は、フレームメモリ３０からの復号画像データに対して補間画像を生成する必要があるか否かを、エントロピー復号部１１から送られた復号情報に基づいて判定する。主ベクトル検出部５１１は、復号情報に含まれる復号動きベクトルのうち、フレーム内で支配的な（最も数が多い）動きベクトルを主ベクトルとして検出する。ベクトル分類部５１２は、フレーム内の復号ベクトルを主ベクトル群、静止ベクトル群、非主ベクトル群の３群に分類する。割合判定部５１３は、フレーム内での主ベクトル群の割合Ｒを判定し、この主ベクトル群の割合Ｒに基づいて補間画像を生成する必要があるか否かを判定する。補間画像を生成する必要があると判定された場合は、復号画像データ及び復号情報が補間画像生成部５２に出力される。補間画像を生成しない場合は、復号画像データのみが外部出力される。

図３は、補間画像生成部５２の構成を示す図である。

動きベクトル探索部６１は、各フレーム内で、所定サイズのブロックごとに動きベクトルの探索を行う。動画像を圧縮する際に用いられた符号化器の性能によっては、復号情報に含まれる動きベクトルの信頼性が低いこともあり得る。従って、高品質の画像補間を行うために、動きベクトル探索部６１は、復号画像データの各フレームに対して、ブロックごとに改めて動きベクトルの探索を行って、信頼性の高い動きベクトルを取得し直す。本実施形態による動きベクトル探索部６１では演算量削減のため補間判定部５１と連動し、動きベクトル探索の一部を省略する。

動きベクトルフィルタリング部６２は、動きベクトル探索部６１によって探索された動きベクトルの補正を行う。一般的な補正処理の一例を図４に示す。図４では、処理対象のブロックＦの周囲８ブロックの動きベクトルはほぼ一様であり、対象ブロックＦの動きベクトルのみが特異的に周囲とは異なっている。このような場合、対象ブロックＦの本来の動きベクトルもまた、周囲の動きベクトルと一様である可能性が高いと考えられ、対象ブロックＦの動きベクトルが誤って検出されているものと見ることができる。従って、処理対象ブロックＦの周囲８ブロックの動きベクトルの各成分の中央値（メディアン）を対象ブロックＦの動きベクトルの成分として、検出結果を補正する。このような補正処理により、誤って探索された動きベクトルを除去できるようになる。以下では、このような周囲ブロックの動きベクトルの中央値で、処理対象ブロックの動きベクトルを置き換える処理をフィルタリング処理と称する。なお、中央値に代えて周囲ブロックの動きベクトルの平均値を用いてフィルタリング処理が行われてもよい。

フィルタリング処理を行った場合に、正しい動きベクトルも除去されてしまうことがあり得る。特に、フレーム内の動きのある部分と、動きの無い部分との境界では、動きの無い部分までも動きのある部分のブロックのフィルタリング処理に用いることで、動きの無い部分が動きのある部分に影響を及ぼして、正しい動きベクトルが得られないことがある。また上記のようなフィルタリング処理による悪影響を防止するために、精度の高い複雑なフィルタリング処理を用いる事も出来るが、演算量の大幅な増大を招く。このため、本実施形態による動きベクトルフィルタリング部６２は、エントロピー復号部１１によって抽出された復号情報を利用してフィルタリング処理を行い、演算量を低減させ精度を向上させる。フィルタリング処理によって補正された動きベクトルを含む復号情報は、復号画像データと共に動き補償部６３に送られる。

動き補償部６３では、補正された動きベクトルと復号画像データに基づいて動き補償を行い、フレーム間に挿入される補間画像データを生成する。以上のようにして生成された復号画像データ及び補間画像データが、出力画像データとして外部出力される。

図５は、本実施形態に係る動画像復号装置１による動画像復号処理のフローチャートである。

符号化された動画像データが動画像復号装置１に入力すると、当該動画像データは、復号処理部１０によって復号される（ブロックＡ１）。復号された復号画像データ及び、エントロピー復号部１１によって抽出された復号情報（復号動きベクトル、参照フレーム番号、予測モード等）は、補間処理部４０に出力される。

補間処理部４０の補間判定部５１は、補間判定処理（図６参照）を行い、復号画像に対して補間画像データを生成する必要があるか否かを判定する（ブロックＡ２）。この補間判定処理は、エントロピー復号部１１から送られた復号情報に基づいて行われる。

以下、補間判定部５１による補間判定処理について説明する。

動画像復号装置１は、動画像の動きを滑らかに見せるために、フレーム間の動きを予測して補間画像フレームを内挿する。しかしながら、例えば動きに連続性のない２フレーム間の動きを予測しても、正しい予測結果が得られず、結果的に画像の破綻を引き起しかねない。また、動きのない２フレーム間に補間画像フレームを挿入しても視覚的にはほとんど効果がなく、処理の負荷や消費電力を不必要に増大させる。このため、補間判定部５１によって、補間画像を生成するか否かをフレーム単位で判定する。

主ベクトル検出部５１１は、１フレームを所定画素数（例えば８画素×８画素、あるいは１６画素×１６画素）のブロックに分割する（ブロックＢ１）。以下、分割された各ブロックを、変数ｉを用いてブロックＬｉ（ｉ＝０〜Ｎ−１，Ｎ：ブロック数）と表す。

まず、変数ｉに０が代入され（ブロックＢ２）、ｉ番目のブロックＬｉが、フレーム内符号化領域であるか否かが判断される（ブロックＢ３）。

ここで、フレーム内符号化領域では、入力された動画像データが符号化された際に、動きベクトルによるフレーム間の予測信号との差分ではなく、フレーム内の画素から作られた予測信号との差分が符号化されている。従って、ブロックＬｉがフレーム内符号化領域である場合、当該ブロックＬｉは動きベクトルをもたない。ブロックＬｉがフレーム内符号化領域であるか否かは、復号情報に含まれる予測モードから判断することができる。

ブロックＬｉがフレーム内符号化領域である場合（ブロックＢ３でＹｅｓ）、当該ブロックＬｉは動きベクトルをもたないと判断される（ブロックＢ４）。一方、ブロックＬｉがフレーム内符号化領域ではなく、フレーム間符号化領域である場合には（ブロックＢ３でＮｏ）、当該ブロックＬｉは動きベクトルをもつため、主ベクトル検出部５１１は、等しい動きベクトルを有するブロックの数をカウントする（ブロックＢ５）。

ブロックＢ５のブロック数のカウント処理は、例えば以下のように行われてもよい。すなわち、主ベクトル検出部５１１には、ブロック数を格納するためのカウンタが動きベクトル毎に備えられ、ブロックＢ５では、ブロックＬｉの動きベクトルに対応するカウンタの値が１ずつ増加される。

次に、変数ｉの値が１だけインクリメントされ（ブロックＢ６）、ｉの値がブロック数Ｎより小さいか否かが判断される（ブロックＢ７）。

変数ｉの値がブロック数よりも小さければ（ブロックＢ７でＹｅｓ）、処理はブロックＢ３に戻り、次のブロックＬｉについて以降の処理を繰り返す。一方、変数ｉの値がブロック数以上となり、全ブロックについての処理が終了すれば（ブロックＢ７でＮｏ）、主ベクトル検出部５１１は、零ベクトル（０，０）（静止ベクトル）を除き、フレーム内に最も多く存在する復号動きベクトル（主ベクトル）を検出する（ブロックＢ８）。すなわち主ベクトル検出部５１１は、図７に示すように、同じ動きベクトルを有するブロックの数をカウントした結果、最もブロック数の多い動きベクトルを主ベクトルとする。

ベクトル分類部５１２は、フレーム内の復号動きベクトルを３群に分類する（ブロックＢ９）。本実施形態では、復号動きベクトルは「主ベクトル群」、「非主ベクトル群」及び「静止ベクトル群」の３群に分類される。図７に示すように、主ベクトル及び主ベクトルに近い動きベクトル（例えば主ベクトルとの距離が１以内である動きベクトル）は主ベクトル群に分類される。また、動きがない零ベクトル（０，０）は静止ベクトル群に分類される。主ベクトル群、静止ベクトル群のいずれにも分類されない動きベクトルは、非主ベクトル群に分類される。

割合判定部５１３は、静止ベクトル群に分類されるブロックを除いたフレーム内での、主ベクトル群に対応するブロックの割合を計算し、計算結果が所定の閾値以上であるか否かを判定する（ブロックＢ１０）。主ベクトル群に属するブロック数をＭ、非主ベクトル群に属するブロック数をＮとすれば、主ベクトル群の割合Ｒは、Ｒ＝Ｍ／（Ｍ＋Ｎ）により求められる。

主ベクトル群の割合Ｒが所定の閾値以上である場合（ブロックＢ１０でＹｅｓ）、補間画像生成フラグをＯＮとし（ブロックＢ１１）、補間判定処理が終了する。一方、主ベクトル群の割合Ｒが所定の閾値よりも小さい場合（ブロックＢ１０でＮｏ）、補間画像生成フラグがＯＦＦにされ（ブロックＢ１２）、補間判定処理が終了する。

以上のように、補間判定処理によって、主ベクトル（画面内で最も支配的な動きベクトル）を検出し、主ベクトルと主ベクトルに類似する動きベクトルのフレーム内での割合Ｒに応じて補間画像生成のＯＮ／ＯＦＦを判定することができる。

図５のフローチャートに復帰し、補間画像生成フラグがＯＦＦになっていると、補間画像データを生成する必要がないと判定される（ブロックＡ３でＮｏ）。この場合、復号画像データがそのまま出力される（ブロックＡ４）。

一方、補間画像生成フラグがＯＮであり、補間画像データを生成する必要があると判定された場合（ブロックＡ３でＹｅｓ）、復号画像データ及び復号情報が補間画像生成部５２の動きベクトル探索部６１に送られて、動きベクトル探索処理（図８参照）が行われる（ブロックＡ５）。

以下では、この動きベクトル探索処理について説明する。図８は、動きベクトル探索処理のフローチャートである。

高品質の画像補間を行うためには、復号画像データに対して動きベクトルの探索を行って、信頼性の高い動きベクトルを取得し直すことが望ましい。一般に、動きベクトルの探索では、ブロックごとにマッチング処理を行い、誤差が最小となるときの動きベクトルを解とするブロック・マッチング法が用いられる。しかしながら、ブロックごとのマッチング処理は処理負荷が高いため、処理が間に合わない、消費電力の増大といった問題を招く。本実施形態による動きベクトル探索部６１では演算量削減のため補間判定部５１と連動し、動きベクトル探索の一部を省略できるようにする。

動きベクトル探索部６１は、主ベクトル検出処理の場合と同様に、１フレームを所定画素数のブロックに分割する（ブロックＣ１）。あるいは、主ベクトル検出処理（図６参照）の実行時のブロック分割結果をそのまま利用してもよい。

まず、変数ｉに０が代入され（ブロックＣ２）、ｉ番目のブロックＬｉが、フレーム内符号化領域であるか否かが判断される（ブロックＣ３）。

ブロックＬｉがフレーム内符号化領域である場合（ブロックＣ３でＹｅｓ）、当該ブロックＬｉは動きベクトルをもたない。しかしながら、フレーム内符号化領域であっても実際には動きが存在する領域である可能性もあるため、動きベクトルの探索を行う（ブロックＣ４）。探索の結果得られる動きベクトルは、動きベクトルフィルタリング部６２に出力される。

一方、ブロックＬｉがフレーム間符号化領域である場合（ブロックＣ３でＮｏ）、動きベクトル探索部６１は、当該ブロックＬｉの復号動きベクトルが主ベクトル群に含まれるか否かを判断する（ブロックＣ５）。ブロックＬｉに対応する復号動きベクトルが主ベクトル群に含まれない場合は（ブロックＣ５でＮｏ）、ブロックＬｉの動きベクトルの探索を行う（ブロックＣ６）。探索の結果得られる動きベクトルは、動きベクトルフィルタリング部６２に出力される。

また、ブロックＬｉに対応する復号動きベクトルが主ベクトル群に含まれる場合、すなわち、ブロックＬｉの復号動きベクトルと主ベクトル検出部５１１が求めた主ベクトルとの差がほとんどない場合に（ブロックＣ５でＹｅｓ）、動きベクトルの探索は省略され、復号動きベクトルがそのまま動きベクトルの探索結果として、復号画像データと共に動きベクトルフィルタリング部６２に出力される（ブロックＣ７）。

次に、変数ｉの値が１だけインクリメントされ（ブロックＣ８）、ｉの値がブロック数より小さいか否かが判断される（ブロックＣ９）。変数ｉの値がブロック数よりも小さければ（ブロックＣ９でＹｅｓ）、ブロックＣ３に戻り、次のブロックＬｉについて動きベクトルの探索を繰り返す。一方、変数ｉの値がブロック数以上となり、全ブロックについて探索が終了すれば（ブロックＣ９でＮｏ）、動きベクトル探索処理は終了する。

動きベクトル探索処理が終了すると、図５のフローチャートに復帰し、動きベクトル探索処理によって探索された動きベクトルの精度を更に向上させるための動きベクトルフィルタリング処理が行われる（ブロックＡ６）。

以下では、この動きベクトルフィルタリング処理について説明する。図９は、本実施形態に係る動きベクトルフィルタリング処理のフローチャートである。

本実施形態に係るフィルタリング処理では、フレーム内の各ブロックを動領域及び静領域に区別してフィルタリング処理を行う。ここで、動きベクトル探索処理の結果得られた動きベクトルが零ベクトル、または零ベクトルに近いブロックを静領域と称し、静領域でないブロックを動領域と称する。

フィルタリング部６２は、主ベクトル検出処理の場合と同様に、１フレームを所定画素数のブロックに分割する（ブロックＤ１）。まず、変数ｉに０が代入され（ブロックＤ２）、ｉ番目のブロックＬｉが動領域であるか否かが判断される（ブロックＤ３）。

ブロックＬｉが動領域である場合は（ブロックＤ３でＹｅｓ）、周囲のブロックのうち静領域のブロックの動きベクトルを用いず、動領域のブロックの動きベクトルのみを用いてフィルタリング処理を行う（ブロックＤ４）。

一方、ブロックＬｉが動領域ではなく静領域である場合は（ブロックＤ３でＮｏ）、通常のフィルタリング処理と同様に、周囲の全ブロックの動きベクトルを用いてフィルタリング処理を行う（ブロックＤ５）。

そして、変数ｉの値が１だけインクリメントされ（ブロックＤ６）、ｉの値がブロック数Ｎより小さいか否かが判断される（ブロックＤ７）。変数ｉの値がブロック数よりも小さければ（ブロックＤ７でＹｅｓ）、ブロックＤ３に戻り、次のブロックＬｉについてフィルタリングを繰り返す。一方、変数ｉの値がブロック数以上となり、全ブロックについてフィルタリングが終了すれば（ブロックＤ７でＮｏ）、動きベクトルフィルタリング処理は終了する。フィルタリングの結果得られる動きベクトルは、復号画像データと共に動き補償部６３に送られる。

このフィルタリング処理によれば、図１０に示すように、フィルタリング対象のブロックＦ０が動領域である場合には、その周囲８ブロックのうち静領域のブロックの動きベクトルはフィルタリングには用いられない。図１０では、ブロックＦ０は静領域との境界の動領域であると考えられるが、このような動領域に対して、静領域が影響を及ぼすようなフィルタリング処理が行われることは望ましくない。本実施形態のフィルタリング処理によれば、処理対象ブロックＦ０の動きベクトルは、周囲の動領域Ｆ１、Ｆ２及びＦ３の動きベクトルの中央値によってフィルタリングされる。このため、静領域による影響を除去できる。

フィルタリング処理が終了すると、図５のフローチャートに復帰し、動き補償部６３によって動き補償処理が行われる（ブロックＡ７）。動き補償部６３は、動きベクトルフィルタリング部６２から入力される復号画像データ及び、動きベクトルに基づいて、フレーム間に挿入する補間画像データを生成する。復号画像データ及び挿入された補間画像データは、出力画像データとして外部出力され（ブロックＡ８）、処理が終了する。

本実施形態の補間判定処理（図６）では、フレーム中の主ベクトル群の割合Ｒに応じて、補間画像生成を行うか否かが判定された。すなわち、本実施形態では、主ベクトル群の割合がある程度高いとき（例えば主ベクトル群がフレーム内の動きベクトルの８割を占める場合）のみ補間画像を生成する。主ベクトル群の割合が高いということは画面内に連続性がある支配的な動きが１つだけ存在することを示している。例えば、動きがないシーンには支配的な動きは存在せず、補間処理を行っても視覚的に意味がなく演算処理量の無駄となる。また、突然画面が切り替わるような動画像等、動きに連続性のないシーンにおいても支配的な動きは存在せず、動きの予測が不正確で補間画像が破綻する危険性がある。動きに連続性があっても、画面内に支配的な動きが複数存在するシーンでは、動きの境界部での予測がうまくいかず、擬似的な輪郭が発生してしまい、ノイズのように見えてしまう。このように、補間画像を生成しても効果的ではなく、演算量の増加を招くだけの場合に、上述の補間判定処理によって補間画像生成フラグがＯＦＦにされるため、不要な補間画像の生成が行われなくなる。

補間画像の生成を行うか否かを判定する閾値は、可変であってもよい。対象フレームよりも以前のフレームに対して補間画像の生成が行われている場合には、主ベクトル群の割合Ｒが閾値より小さいからといって補間画像の生成を行わないと、かえって動画像の滑らかさが損なわれることもあり得る。このため、判定閾値は、フレームの連続性に応じて定められてもよい。

なお本実施形態では、主ベクトル群の割合を補間画像の生成判定の基準としているが、非主ベクトル群の割合や静止ベクトル群の割合を判定の基準として用いてもよい。

本実施形態では、補間画像生成を行うか否かを判定するために、動画像復号時に得られる復号動きベクトルを用いるため、少ない演算量で確実に判定を行うことができる。また、補間画像生成の効果があり、かつ画像が破綻しないという２つの条件を満たすように補間画像生成を行うか否かを判定するので、補間が確実な場合にのみ補間画像を生成することができる。従って、補間画像生成のための演算量が必要最小限となり、処理が間に合わない、消費電力の増大といった問題を防ぐことができる。

また、本実施の形態の動きベクトル探索処理（図８）では、主ベクトル群に含まれる動きベクトルを有するブロックについては、改めて探索を行わずに、復号動きベクトルをそのまま探索結果とした。上述のように、主ベクトルは、フレーム内での支配的な動きを表す。従って、復号動きベクトルが主ベクトルと同等ということは、動きベクトル探索の予測結果として信頼性がかなり高いことを示している。

また、動きベクトル探索処理が行われるのは、主ベクトル群の割合が高く、画面内で支配的な動きが１つだけ存在する場合である。すなわち、静止領域を除き、多数のブロックが主ベクトルと同等の動きをする場合である。このため、主ベクトルと同等のベクトルを有するブロックについて探索を省略することで、探索実行回数を低減させ、結果的に探索の負荷を大幅に減らすことができる。

本実施形態では、主ベクトルと復号動きベクトルの差がほとんどないブロックを省略の対象としたが、更なる負荷低減のため、復号動きベクトルが零ベクトルであるブロックについても探索を行わずに、結果を零ベクトルとしてもよい。

本実施形態のフィルタリング処理（図９）では、図１０に示すように、静領域と動領域の境界のブロックにおいて、異なる領域の動きベクトルがフィルタリングの結果に影響を及ぼすことを防止できる。このため、取得する動きベクトルの信頼性をより高めることができる。

また、このフィルタリング処理のブロックＤ３では、処理対象ブロックが動領域であるか否かが判断されたが、動領域か否かではなく、処理対象ブロックがフレーム内符号化領域であるか否かが判断されてもよい。この場合、フレーム内の各ブロックをフレーム内符号化領域とフレーム間符号化領域に分類し、更にフレーム間符号化領域を動領域及び静領域に分類してフィルタリング処理を行う。

ここで、フレーム間符号化領域は、動画像データを符号化する際に動きベクトルに基づいたフレーム間の予測信号との差分が符号化されたブロックであり、フレーム内符号化領域は、フレーム内の画素から生成された予測信号との差分が符号化されたブロックである。各ブロックがフレーム内符号化領域であるか否かは、復号情報に含まれる予測モードに基づいて判定できる。また、動きベクトル探索処理の結果得られた動きベクトルが零ベクトル、又は零ベクトルに近いブロックを静領域と称し、静領域でないブロックを動領域と称する。

処理対象ブロックがフレーム内符号化領域である場合には、処理はブロックＤ４に進み、周囲のブロックのうち静領域のブロックの動きベクトルを用いずにフィルタリング処理を行う。処理対象ブロックがフレーム内符号化領域ではない場合は、通常のフィルタリング処理と同様に、周囲の全ブロックの動きベクトルを用いてフィルタリング処理を行う（ブロックＤ５）。この場合、図１１に示すように、フィルタリング対象のブロックＦ０がフレーム内符号化領域である場合には、その周囲８ブロックのうち静領域のブロックの動きベクトルはフィルタリングには用いられない。処理対象ブロックＦ０の動きベクトルは、周囲のフレーム内符号化領域Ｇ１及びＧ２と、動領域Ｆ１、Ｆ２及びＦ３の動きベクトルの中央値によってフィルタリングされる。

以上のように、図９のフィルタリング処理では、処理対象ブロックが静領域であるか動領域であるかを、既知の情報である復号情報から少ない演算量で判定することができる。また、フィルタリング処理本来の効果である誤った動きベクトルの除去を実現しつつ、正しい動きベクトルが除去されるなどの悪影響を抑制することもでき、フィルタリングの精度が向上する。

なお、上述の補間判定処理（図６）、動きベクトル探索処理（図８）及び動きベクトルフィルタリング処理（図９）全てではなく、これらの処理のうち、１以上の処理が任意に選択されて組み合わされて実行されてもよい。

変形例
本発明は上述した実施の形態に限定されず、種々変形して実施可能である。例えば、図９に示す動きベクトルフィルタリング処理に変えて、図１２に示すフィルタリング処理が行われてもよい。

以下では、図１２を参照して、動きベクトルフィルタリング処理の変形例について説明する。

図１２に示すフィルタリング処理では、上述のフィルタリング処理と同様に、フレーム内の各ブロックをフレーム内符号化領域とフレーム間符号化領域に分類し、更にフレーム間符号化領域を動領域と静領域に分類してフィルタリング処理を行う。

フィルタリング部６２は、主ベクトル検出処理の場合と同様に、１フレームを所定画素数のブロックに分割する（ブロックＥ１）。変数ｉに０が代入され（ブロックＥ２）、ｉ番目のブロックＬｉがフレーム内符号化領域であるか否かが判断される（ブロックＥ３）。

ブロックＬｉがフレーム内符号化領域である場合は（ブロックＥ３でＹｅｓ）、周囲のブロックのうち静領域のブロックの動きベクトルを用いず、動領域のブロックの動きベクトルの中央値でブロックＬｉの動きベクトルを置き換える中央値フィルタリング処理を行う（ブロックＥ４）。続いて、ブロックＬｉの動きベクトルを、周囲の全ブロックの動きベクトルの平均値で置き換える平均値フィルタリングを行う（ブロックＥ５）。

一方、ブロックＬｉがフレーム内符号化領域ではない場合は（ブロックＥ３でＮｏ）、通常のフィルタリング処理と同様に、周囲の全ブロックの動きベクトルを用いて中央値フィルタリング処理を行う（ブロックＥ６）。

そして、変数ｉの値が１だけインクリメントされ（ブロックＥ７）、ｉの値がブロック数Ｎより小さいか否かが判断される（ブロックＥ８）。変数ｉの値がブロック数よりも小さければ（ブロックＥ８でＹｅｓ）、ブロックＥ３に戻り、次のブロックＬｉについてフィルタリングを繰り返す。一方、変数ｉの値がブロック数以上となり、全ブロックについてフィルタリングが終了すれば（ブロックＥ８でＮｏ）、動きベクトルフィルタリング処理は終了する。フィルタリングの結果得られる動きベクトルは、復号画像データと共に動き補償部６３に送られる。

このフィルタリング処理によれば、図１３に示すように、フィルタリング対象のブロックＦ０がフレーム内符号化領域である場合には、その周囲８ブロックのうち、静領域を除いたブロックの動きベクトルの中央値による置き換え（フィルタリング）が行われる。中央値によるフィルタリングが行われた後、更に周囲の全ブロックの動きベクトルの平均値によるフィルタリングが行われる。

フレーム内符号化された領域については、符号化の際にフレーム間符号化が困難と判定された領域であると考えられる。このような領域は、オクルージョン領域（画像内を移動する物体によって隠れていた背景部分が、物体の移動に伴って新たに可視となる領域）である可能性があり、動きの予測が困難である。動きの予測が困難である場合に、図１２のフィルタリング処理により、周囲の動きベクトルとの平均値フィルタリングを行うことにより、周囲の動きになじませ、画像の破綻を防止することが可能となる。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

また、本発明は、コンピュータに所定の手段を実行させるため、コンピュータを所定の手段として機能させるため、コンピュータに所定の機能を実現させるため、あるいはプログラムを記録したコンピュータ読取り可能な記録媒体としても実施することもできる。

また、上述の説明は個々の実施例それぞれについて行ったが、複数の実施例を適宜組み合わせてもよい。

本発明の一実施形態に係る動画像復号装置の構成を示すブロック図。補間処理部の構成の一例を示す図。補間画像生成部の構成の一例を示す図。一般的なフィルタリング処理の一例を示す図。動画像復号装置による動画像復号処理の一例を示すフローチャート。動画像復号装置による補間判定処理の一例を示すフローチャート。フレーム内の主ベクトル群の割合判定の一例を説明するための図。動画像復号装置による動きベクトル探索処理の一例を示すフローチャート。動画像復号装置による動きベクトルフィルタリング処理の一例を示すフローチャート。対象ブロックが動領域である場合のフィルタリングの一例を示す図。対象ブロックがフレーム内符号化領域である場合のフィルタリングの一例を示す図。動きベクトルフィルタリング処理の変形例を示すフローチャート。対象ブロックがフレーム内符号化領域である場合のフィルタリングの他の一例を示す図。

符号の説明

１…動画像復号装置、１０…復号処理部、１１…エントロピー復号部、１２…逆量子化部、１３…逆変換部、１４…加算部、１５…デブロッキングフィルタ部、２１…符号化モード制御部、２２…イントラ予測部、２３…インター予測部、３０…フレームメモリ、４０…補間処理部。

Claims

符号化された動画像データ及びその符号化情報を含む入力ストリームを復号して、復号動画像データ及び復号情報を取得する復号手段と、
前記復号手段によって復号された復号動画像データのフレーム間に挿入する補間画像フレームを生成する補間画像生成手段と、
前記復号情報に基づいて、前記補間画像生成手段による補間画像フレームの生成を制御する画像生成制御手段と、を備え、
前記画像生成制御手段は、前記補間画像フレームを生成するか否かを、前記復号情報に基づいて判定する補間判定手段を備え、前記補間判定手段が前記補間画像フレームを生成すると判定した場合に、前記補間画像フレームを生成し、
前記復号情報は、前記符号化された動画像データの１フレームに含まれる各ブロックの復号された動きベクトルを含み、
前記補間判定手段は、前記復号情報に含まれる動きベクトルのうち、当該１フレーム内で最も数が多い動きベクトルを主ベクトルとして検出する主ベクトル検出手段を備え、前記主ベクトル検出手段が検出した主ベクトルに対応するブロック数の当該１フレーム内での割合が、所定の閾値より大きい場合に、前記補間画像フレームを生成するよう判定し、
前記補間画像生成手段は、前記復号された動画像データから１フレーム内の各ブロックの動きベクトルを探索する動きベクトル探索手段と、前記復号情報に含まれる動きベクトルが主ベクトルに一致するブロックについては前記主ベクトル検出手段が検出した主ベクトルを動きベクトルと設定する動きベクトル設定手段と、を備え、前記動きベクトル探索手段が探索した、あるいは前記動きベクトル設定手段が設定した動きベクトルに基づいて、前記補間画像フレームを生成する動画像復号装置。
前記主ベクトル検出手段は、主ベクトル及び当該主ベクトルとの距離が所定値以内である動きベクトルを主ベクトル群として分類し、
前記補間判定手段は、前記主ベクトル群に含まれるベクトルに対応するブロック数の当該１フレーム内での割合が、所定の閾値より大きい場合に、前記補間画像フレームを生成するよう判定する、請求項１に記載の動画像復号装置。
前記復号情報は予測モードを含み、
前記動きベクトル設定手段は、前記予測モードに基づいてフレーム間符号化によって符号化されたブロックを判別し、当該フレーム間符号化によって符号化されたブロックのうち、対応する動きベクトルが前記主ベクトルに一致するブロックについては前記主ベクトル検出手段が検出した主ベクトルを動きベクトルと設定する、請求項１に記載の動画像復号装置。
前記補間画像生成手段は、前記１フレーム内の各ブロックを、動きベクトルが零ベクトルではない動領域ブロックと、動きベクトルが零ベクトルである静領域ブロックに分類し、動領域ブロックの動きベクトルの各成分の値を、静領域ブロックを除く当該動領域ブロックの周囲ブロックの動きベクトルの各成分の中央値で置き換えるフィルタリング処理を行うフィルタリング手段を備え、前記フィルタリング手段によって置き換えられた動きベクトルに基づいて、前記補間画像フレームを生成する、請求項１に記載の動画像復号装置。
前記復号情報は予測モードを含み、
前記フィルタリング手段は、フレーム内符号化によって符号化されたブロックを前記予測モードに基づいて判定し、前記フレーム内符号化によって符号化されたブロックの動きベクトルの各成分の値を、静領域ブロックを除く周囲ブロックの動きベクトルの各成分の中央値で置き換える第１のフィルタリング処理を行う、請求項４に記載の動画像復号装置。
前記フィルタリング手段は、前記第１のフィルタリング処理が行われたブロックの動きベクトルの各成分の値を、当該ブロックの周囲ブロックの動きベクトル各成分の平均値で置き換える第２のフィルタリング処理を行う、請求項５に記載の動画像復号装置。
符号化された動画像データ及びその符号化情報を含む入力ストリームを復号して、復号動画像データ及び復号情報を取得する復号ステップと、
前記復号ステップによって復号された復号動画像データのフレーム間に挿入する補間画像フレームを生成する補間画像生成ステップと、
前記復号情報に基づいて、前記補間画像生成ステップによる補間画像フレームの生成を制御する画像生成制御ステップと、を備え、
前記画像生成制御ステップは、前記補間画像フレームを生成するか否かを、前記復号情報に基づいて判定する補間判定ステップを備え、前記補間判定ステップが前記補間画像フレームを生成すると判定した場合に、前記補間画像フレームを生成し、
前記復号情報は、前記符号化された動画像データの１フレームに含まれる各ブロックの復号された動きベクトルを含み、
前記補間判定ステップは、前記復号情報に含まれる動きベクトルのうち、当該１フレーム内で最も数が多い動きベクトルを主ベクトルとして検出する主ベクトル検出ステップを備え、前記主ベクトル検出ステップが検出した主ベクトルに対応するブロック数の当該１フレーム内での割合が、所定の閾値より大きい場合に、前記補間画像フレームを生成するよう判定し、
前記補間画像生成ステップは、前記復号された動画像データから１フレーム内の各ブロックの動きベクトルを探索する動きベクトル探索ステップと、前記復号情報に含まれる動きベクトルが主ベクトルに一致するブロックについては前記主ベクトル検出ステップが検出した主ベクトルを動きベクトルと設定する動きベクトル設定ステップと、を備え、前記動きベクトル探索ステップが探索した、あるいは前記動きベクトル設定ステップが設定した動きベクトルに基づいて、前記補間画像フレームを生成する動画像復号方法。
前記補間画像生成ステップは、前記１フレーム内の各ブロックを、動きベクトルが零ベクトルではない動領域ブロックと、動きベクトルが零ベクトルである静領域ブロックに分類し、動領域ブロックの動きベクトルの各成分の値を、静領域ブロックを除く当該動領域ブロックの周囲ブロックの動きベクトルの各成分の中央値で置き換えるフィルタリング処理を行うフィルタリングステップを備え、前記フィルタリングステップによって置き換えられた動きベクトルに基づいて、前記補間画像フレームを生成する、請求項７に記載の動画像復号方法。
前記復号情報は予測モードを含み、
前記フィルタリングステップは、フレーム内符号化によって符号化されたブロックを前記予測モードに基づいて判定し、前記フレーム内符号化によって符号化されたブロックの動きベクトルの各成分の値を、静領域ブロックを除く周囲ブロックの動きベクトルの各成分の中央値で置き換えるフィルタリング処理を行う、請求項８に記載の動画像復号方法。
動画像復号プログラムを格納するコンピュータ読み取り可能な記録媒体において、コンピュータを、
符号化された動画像データ及びその符号化情報を含む入力ストリームを復号して、復号動画像データ及び復号情報を取得する復号手段と、
前記復号手段によって復号された復号動画像データのフレーム間に挿入する補間画像フレームを生成する補間画像生成手段と、
前記復号情報に基づいて、前記補間画像生成手段による補間画像フレームの生成を制御する画像生成制御手段と、
して機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記画像生成制御手段は、前記補間画像フレームを生成するか否かを、前記復号情報に基づいて判定する補間判定手段を備え、前記補間判定手段が前記補間画像フレームを生成すると判定した場合に、前記補間画像フレームを生成し、
前記復号情報は、前記符号化された動画像データの１フレームに含まれる各ブロックの復号された動きベクトルを含み、
前記補間判定手段は、前記復号情報に含まれる動きベクトルのうち、当該１フレーム内で最も数が多い動きベクトルを主ベクトルとして検出する主ベクトル検出手段を備え、前記主ベクトル検出手段が検出した主ベクトルに対応するブロック数の当該１フレーム内での割合が、所定の閾値より大きい場合に、前記補間画像フレームを生成するよう判定し、
前記補間画像生成手段は、前記復号された動画像データから１フレーム内の各ブロックの動きベクトルを探索する動きベクトル探索手段と、前記復号情報に含まれる動きベクトルが主ベクトルに一致するブロックについては前記主ベクトル検出手段が検出した主ベクトルを動きベクトルと設定する動きベクトル設定手段と、を備え、前記動きベクトル探索手段が探索した、あるいは前記動きベクトル設定手段が設定した動きベクトルに基づいて、前記補間画像フレームを生成するコンピュータ読み取り可能な記録媒体。
前記補間画像生成手段は、前記１フレーム内の各ブロックを、動きベクトルが零ベクトルではない動領域ブロックと、動きベクトルが零ベクトルである静領域ブロックに分類し、動領域ブロックの動きベクトルの各成分の値を、静領域ブロックを除く当該動領域ブロックの周囲ブロックの動きベクトルの各成分の中央値で置き換えるフィルタリング処理を行うフィルタリング手段を備え、前記フィルタリング手段によって置き換えられた動きベクトルに基づいて、前記補間画像フレームを生成する、請求項１０に記載のコンピュータ読み取り可能な記録媒体。
前記復号情報は予測モードを含み、
前記フィルタリング手段は、フレーム内符号化によって符号化されたブロックを、前記予測モードに基づいて判定し、前記フレーム内符号化によって符号化されたブロックの動きベクトルの各成分の値を、静領域ブロックを除く周囲ブロックの動きベクトルの各成分の中央値で置き換える第１のフィルタリング処理を行う、請求項１１に記載のコンピュータ読み取り可能な記録媒体。