JP4529295B2

JP4529295B2 - Motion vector conversion method and conversion device

Info

Publication number: JP4529295B2
Application number: JP2001046919A
Authority: JP
Inventors: 数史佐藤; 邦明高橋; 輝彦鈴木; 陽一矢ケ崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-02-22
Filing date: 2001-02-22
Publication date: 2010-08-25
Anticipated expiration: 2021-02-22
Also published as: JP2002252854A

Description

【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧなどの様に、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報を示すビットストリームを、衛星放送、ケーブルＴＶ、インターネットなどのネットワークメディアを介して受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像情報変換方法（画像情報変換変換装置）における動きベクトル変換方法（動きベクトル変換装置）に関するものである。
【０００２】
【従来の技術】
近年、画像情報をデジタル信号として取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準方式で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化に適用されていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４の符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２として、その規格が国際標準に承認された。
【０００５】
ところで、ディジタル放送用に一度符号化されたＭＰＥＧ２の画像圧縮情報を示すビットストリームを、携帯端末上等で処理するのにより適した、より低い符号量（ビットレート）のＭＰＥＧ４の画像圧縮情報を示すビットストリームに変換したいというニーズがある。
【０００６】
かかる目的を達成するための従来の画像情報変換装置を図１に示し、以下、これについて説明する。図１は、入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームを、ＭＰＥＧ４の画像圧縮情報を示すビットストリームへ変換する画像情報変換装置である。すなわち、図１において、１はＭＰＥＧ２の画像情報復号化装置、２は解像度・フレームレート変換装置、３はＭＰＥＧ４の画像情報符号化装置である。入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームは、ＭＰＥＧ２の画像情報復号化装置１により復号化される。復号化された画像情報は解像度・フレームレート変換装置２へ伝送され、任意の異なる解像度、フレームレートをもつ画像情報へ変換される。変換された画像情報は、ＭＰＥＧ４の画像情報符号化装置３に入力されて、ＭＰＥＧ４の画像符号化方式によりＭＰＥＧ４の画像圧縮情報を示すビットストリームに符号化され出力される。
【０００７】
ＭＰＥＧ２の画像情報復号化装置１においては、水平及び垂直方向成分共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームの８次のＤＣＴ係数全てを用いた復号処理を行うことが考えられるが、垂直方向には８次の係数全てを用いるものの、水平方向には８次の係数のうち低域４成分のみを用いた復号処理（以下これを４×８ダウンデコードと呼ぶ）、若しくは、水平、垂直方向共に水平方向には８次の係数のうち低域４成分のみを用いた復号処理（以下これを４×４ダウンデコードと呼ぶ）を行うことで、画質劣化を最小限に抑えながら、演算量とビデオメモリ容量を削減し、更に後段のダウンサンプリング処理を簡略化する構成も考えられる。
【０００８】
このような従来方法では、ＭＰＥＧ４の画像符号化装置において、入力された画像信号を符号化する際、動きベクトル情報を検出する演算処理量は、全演算処理量の約６０〜７０パーセントを占める。そのため、画像のリアルタイムでの処理が困難となり、時間遅延が発生し、装置が大規模になってしまう等の問題点が生じる。
【０００９】
かかる問題を解決する手段として、発明者らは先に図２に示す画像情報変換装置の発明を行った。以下、これについて説明する。４はＭＰＥＧ２の画像情報復号化装置、５は解像度・フレームレート変換装置、６は動きベクトル変換装置、７はＭＰＥＧ４の画像情報符号化装置である。図２の画像情報変換装置において、動きベクトル変換装置６を除く部分の動作原理については、図１に示した画像情報変換装置と同様であるため、動きベクトル変換装置６の動作原理について詳述する。
【００１０】
図３は、ＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の動きベクトル情報と、ＭＰＥＧ４の画像圧縮情報を示すビットストリーム中の動きベクトル情報の相関を示す図で、以下、これについて説明する。画像の解像度が変換される際、変換後の前フレームでの位置から現フレームでの位置への動きベクトル情報の水平成分は、解像度変換前の動きベクトル情報の水平成分と画像の横方向の解像度変換比によって求めることが可能であり、解像度変換後の垂直成分は、解像度変換前の動きベクトル情報の垂直成分と画像の垂直方向の解像度変換レートによって求めることが可能である。解像度変換前の動きベクトル情報と変換後の動きベクトル情報は大きな相関を持ち、その相関を利用して解像度変換前の動きベクトル情報から変換後の動きベクトル情報を求めることが可能である。
【００１１】
すなわち、入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリームより、ＭＰＥＧ２のマクロブロック動きベクトルやマクロブロックタイプ等の情報を利用し、ＭＰＥＧ４の動きベクトル情報へ変換する。ＭＰＥＧ４の符号化装置７内では、動きベクトル情報の検出を行わず、変換された動きベクトル情報を用いた画像符号化を行う。これにより、処理量の大幅な削減を可能とする。
【００１２】
ここで、解像度フレームレート変換装置５の動作原理について述べる。まず、ＭＰＥＧ２の画像情報復号化装置４より入力された画像の解像度変換を行う。ここでは、水平方向・垂直方向共に解像度を１／２にする場合を例にして挙げる。図４に示すように、垂直方向のダウンサンプリングは、入力された飛び越し走査画像の第一フィールド、若しくはを第二フィールドを抽出して、順次走査画像に変換する。水平方向に関しては、ダウンサンプリングフィルタを用いて、１／２の解像度に変換する。また、低ビットレートを実現するために、解像度の変換による圧縮だけではなく、Ｂピクチャを破棄することでフレームレートの低減を実現する。例えば、図４に示したＭＰＥＧ２のＩＢＢＰの画像は解像度・フレーム変換後、ＩＰの第一フィールドの構成になる。解像度・フレーム変換を行った画像は、ＭＰＥＧ４の画像情報符号化装置７においてマクロブロック単位の処理を可能とするため、輝度信号の水平方向・垂直方向の画素数が共に１６の倍数となるようにする。そのため、外部から入力される画像サイズ調整フラグにより、画素の補填あるいは画素の除去を行う。
【００１３】
画像サイズ調整フラグは、解像度・フレームレート変換器の外部から入力され、画像の水平方向・垂直方向の画素数が１６の倍数でない場合に対し、画像への画素補填若しくは、除去を判定するためのフラグである。
【００１４】
次に、図５を用いて、画像サイズ調整フラグによる画像への処理を説明する。ＭＰＥＧ２の画像復号化装置４より出力された画像の解像度がｍ画素×ｎ画素であるとすると、ｍ、ｎは共に１６の倍数であるが、水平方向・垂直方向がそれぞれ１／２にダウンサンプリングされたｍ／２，ｎ／２は、１６の整数倍、若しくは、１６で割って８画素の余りがある。前者の場合、、画素数の調整を行う必要はない。後者の場合、マクロブロック単位の処理を可能とするためには、画像サイズ調整フラグによる画像への処理が必要となる。画像サイズ調整フラグには、画素の補填と除去の二つの選択肢をもつ。ｍ／２若しくはｎ／２を１６で割って、８画素が余った場合においては、画像の除去を選択すれば、余った８画素は除去される。すなわち、出力画像は（ｍ／２−８）若しくは（ｎ／２―８）となる。一方画素の補填を選択すれば、新たに作成した８画素若しくは元の画像から複製した８画素若しくは画像に適した８画素を行、あるいは列の先頭若しくは、後部から付け加える。すなわち、出力画像は（ｍ／２＋８）若しくは（ｎ／２＋８）となる。結果として、変換後の画像解像度の横と縦は１６の倍数となり、マクロブロック単位の処理に適したサイズを持つ画像が出力される。
【００１５】
例として、今、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームの解像度が７２０×４８０画素である場合を考える。この時、ｍ／２＝３６０，ｎ／２＝２４０となるが、水平方向に関しては、１６の倍数でない。このため画素の除去を行い、ｍ／２−８＝３５２画素とするか、若しくは画素の補填を行ってｍ／２＋８＝３６８画素とする。
【００１６】
入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームと、出力となるＭＰＥＧ４の画像圧縮情報を示すビットストリームにおけるマクロブロックの対応関係を、図６を用いて説明する。
【００１７】
図６Ａおよび図６Ｂの実線で区切られている各正方格子の一つ一つがマクロブロックを示している。図６ＡはＭＰＥＧ２の復号化装置４より出力された画像、なわち、解像度変換前の画像である。図６Ｂは図６Ａの画像を解像度・フレームレート変換装置５により、水平方向・垂直方向の解像度とも１／２に変換された画像である。たとえば、変換前の図６Ａの左上の網掛けされた１６×１６マクロブロックは、変換後の図６Ｂにおける左上の８×８ブロックになる。すなわち、図６Ａに示した４つの網掛けした１６×１６マクロブロックが、解像度変換された後、それぞれ図６Ｂに示した４つの網掛けした８×８ブロックになり、それらによって１つの１６×１６マクロブロックが構成される。解像度変換前と後の動きベクトル情報の相関が大きいため、変換後の８×８ブロックの動きベクトル情報は、変換前の１６×１６マクロブロックの動きベクトル情報より求めることができる。さらに、４つの８×８の動きベクトル情報から１つの１６×１６の動きベクトル情報を求め、ＭＰＥＧ４の画像情報符号化装置７における処理に用いる動きベクトル情報の４つの８×８の動きベクトルと１つ１６×１６の動きベクトル情報が生成される。
【００１８】
図７に、図２における動きベクトル変換装置６の詳細な回路構成を示し、以下、これについて説明する。すなわち、８はＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置、９は画像サイズ調整フラグによる動きベクトルへの調整器、１０はＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置、１１はＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補正器である。
【００１９】
入力されたＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の動きベクトル、画像サイズなどのパラメータは、ＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換器８により、補正前の８×８の動きベクトルが作成される。
【００２０】
図８に、図７におけるＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８の動作原理のフローチャートを示す。飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいては、一般的にフレーム構造が用いられるため、以下ではフレーム構造の場合への処理のみの変換方法を説明する。
【００２１】
ステップＳＴ−１では、マクロブロックが、イントラマクロブロック、スキップマクロブロック及びインターマクロブロックのいずれであらかの判定を行う。そのマクロブロックがイントラマクロブロックである場合には、ステップＳＴ−２で、解像度変換後の８×８ブロックが動きベクトル情報を持つことを想定する。その処理としては、まず８×８の動きベクトル情報を０に設定し、さらに、図７の補正器１１による処理を行うため、イントラモードフラグを設ける。すなわち、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいてイントラマクロブロックである場合、イントラモードフラグが立つ。
【００２２】
そのマクロブロックがスキップマクロブロックである場合には、ステップＳＴ−３で、各ブロックの動きベクトル情報を０に設定する。
【００２３】
そのマクロブロックがインターマクロブロックである場合には、ステップＳＴ−４で、フレーム予測かフィールド予測かの判定を行う。画像がフレーム構造、フレーム予測である場合は、ステップＳＴ−５で、フレーム予測に適した動きベクトルへの変換を行う。その場合の動きベクトル変換の概念図を図９に示す。図３で説明したように、変換後の動きベクトル情報の水平成分は変換前の動きベクトル情報の水平成分と画像の水平方向の解像度変換比から求められる。垂直成分は変換前の動きベクトル情報の垂直成分と画像の垂直方向の解像度変換比から求められる。すなわち、横方向の解像度を１／２に変換した際、変換後の動きベクトル情報の水平成分も変換前の１／２になる。縦方向の解像度を１／２に変換した際、変換後の動きベクトル情報の垂直成分も変換前の１／２になる。例えば、図９に示した動きベクトル情報は、図９Ａの変換前の（８，１２）から図９Ｂの変換後の（４，６）になる。尚、この場合は、整数画素の中間値（半画素）の間隔を１としている。図９Ａの解像度変換前では、黒丸は整数画素の位置を示し、四角は半画素の位置を示している。解像度変換後の半画素は白丸で示す。図からわかるように、変換前の整数画素の位置に示している動きベクトル情報は、変換後の整数画素若しくは半画素の位置に示す。変換前の半画素の位置に示している動きベクトル情報は解像度変換後は参照する画素がなくなる。そこで、変換後の動きベクトル情報も予測画像の半画素の位置を示すようにする。それは本来、復号された画像信号には、量子化による歪みが含まれているため、そのまま予測画像として使用すると予測効率が低下し、画質劣化を引き起こす場合がある。これを低減するために、低域通過フィルタに相当する参照画面での各画素間を１：１で直線補間した半画素精度が選択されることもあり、これにより、画質劣化を避けることができる。したがって、ＭＰＥＧ４の画像情報符号化装置７における処理においても、予測効率を向上し、画質劣化を防ぐために、ＭＰＥＧ４で動きベクトル情報が半画素の位置に示している場合、ＭＰＥＧ４の画像圧縮情報を示すビットストリームへ変換した際も半画素の位置に示すように変換する。変換前と変換後の動きベクトル情報の対応関係を、図１０の表図に示す。
【００２４】
次に、ステップＳＴ−４の判定で、画像がフレーム構造でフィールド予測である場合は、ステップＳＴ−６に移行して、第一フィールド予測であるか、第二フィールド予測であるかの判定を行う。まず、第一フィールド予測であるときは、ステップＳＴ−７に移行して、フィールドの第一フィールド予測に適した動きベクトルへの変換を行う。図１１にその動きベクトル変換の概念図を示す。動きベクトル情報の水平成分は、図１０と同様な処理が行われる。垂直方向は、第一フィールドを抽出することにより、解像度を１／２に変換することを可能とする。また、予測も第一フィールド予測を行っているため、変換前の動きベクトル情報は、そのまま変換後の動きベクトル情報になる。
【００２５】
ステップＳＴ−６の判定で、第二フィールド予測の場合は、ステップＳＴ−８に移行して、フィールド予測の第二フィールド予測に適した動きベクトルへの変換を行う。その第二フィールド予測である場合の動きベクトル変換の概念図を図１２及び図１３に示す。解像度変換した際、第一フィールドのみが抽出されるため、変換後は第一フィールドの画素値を参照画像として用いる。そのため、ＭＰＥＧ２で予測画像として用いた第二フィールドの画素値を解像度変換後の第一フィールド予測に変換するように、動きベクトル情報の時空間補正を行う。図１２は、第二フィールド予測から近似的に第一フィールド予測に変換するための空間的な補正を行う手法を示した図である。すなわち、動きベクトル情報の垂直成分に１を加える。図からわかるように、第二フィールド予測で求めた動きベクトル情報の垂直成分に１を加えると、１行が繰り上げられることによって、第二フィールドが第一フィールドと同様の位相に補正され、空間上で、第一フィールド予測で求めた動きベクトル情報のようになる。次に示す数１の式は空間補正により、第一フィールドと同様な空間位置にある第二フィールド、すなわち近似第一フィールドを予測とした時、動きベクトルＭＶ_topの垂直成分を表している。
【００２６】
【数１】
垂直成分：近似ＭＶ_top＝ＭＶ_bottom＋１
【００２７】
また、飛び越し走査のＭＰＥＧ２の画像圧縮情報には第一フィールドと第二フィールドとで時間ずれがある。そのため、第二フィールドから近似された第一フィールドと実際の第一フィールドとの時間ずれの補正を行う。図１３は各フィールドの時間的位置関係を示している。ここで、第一フィールドと第二フィールドの間隔を１とし、ａをＩピクチャの第二フィールドとＰピクチャの第一フィールドの間隔とすると、ａは１，３，５，７，……のような奇数になる。尚、ａが１の場合は、画像の構成がＩＰＰＰ…の場合である。時間補正した動きベクトルＭＶ′を、数２の式に示す。
【００２８】
【数２】
垂直成分：ＭＶ′＝｛（ａ＋１）／ａ｝・近似ＭＶ_top
【００２９】
数１の式を数２の式に代入すると、変換後の動きベクトル情報の垂直成分が数３の式のようになる。
【００３０】
【数３】
垂直成分：ＭＶ′＝｛（ａ＋１）／ａ｝・（ＭＶ_bottom＋１）
【００３１】
尚、変換後の動きベクトル情報の水平成分は、変換前の動きベクトル情報に、（ａ＋１）／ａを乗じ、時間的な補正を行った後、図１０に示した動作原理に基づいて求められる。
【００３２】
動きベクトル情報の垂直成分に対して、必要に応じて、時間的補正を行った後、空間的な補正を行ってもよい。その場合、動きベクトルＭＶ′の垂直成分を４の式に示す。尚、水平成分は空間・時間補正（空間補正を行ってから時間補正を行う）と時間・空間補正（時間補正が行ってから空間補正を行う）は同様な値となる。
【００３３】
【数４】
垂直成分：ＭＶ′＝｛（ａ＋１）／ａ｝・ＭＶ_bottom＋１
【００３４】
数３の式と数４の式との差、すなわち、空間・時間補正を行った場合と、時間・空間補正を行った場合の動きベクトル情報の垂直成分の差は１／ａになる。従って、ａの値によって、その差による影響が異なるので、ａが１の場合と、１より大きい、すなわち３，５，７，……の２つの場合における補正方法を説明する。
【００３５】
まず、ａ＝１の場合について、数３の式のａに１を代入すると、動きベクトル情報の垂直成分は数５の式になる。
【００３６】
【数５】
垂直成分：ＭＶ′＝２×（ＭＶ_bottom＋１）
【００３７】
数４の式のａに１を代入すると、動きベクトル情報の垂直成分は数６の式になる。
【００３８】
【数６】
垂直成分：ＭＶ′＝２×（ＭＶ_bottom＋１）−１
【００３９】
その結果、変換前の動きベクトルＭＶ_bottomに０，１，２，……を代入すると、数５の式による値は２，４，６，……のような偶数になる。すなわち、空間・時間補正を行うと、変換前の動きベクトル情報は、整数画素の位相を示す場合も、半画素の位相を示す場合も、変換後は全て整数画素の位相を示すことになる。また、数６の式による値は、１，３，５，……のような奇数になる。すなわち、時間・空間補正を行うと、変換前の動きベクトル情報は、整数画素の位相を示す場合も、半画素の位相に存在する場合も、変換後は全て半画素の位相を示すことになる。したがって、変換前整数画素の位相を示す動きベクトル情報は、変換後も整数画素の位相を示すように空間・時間補正を行う。また、変換前半画素の位置に示している動きベクトル情報は、変換後も半画素の位置に示すように時間・空間補正を行う。
【００４０】
以上の動きベクトル変換処理が終了した後、補正前のＭＰＥＧ４の８×８の動きベクトル情報が出力される。出力された８×８の動きベクトル情報は、画像サイズ調整フラグによる動きベクトルへの調整器９（図７）に伝送され、外部より入力された画像サイズ調整フラグにより、画像サイズに適した動きベクトル情報を出力する。
【００４１】
画像サイズ調整フラグによる動きベクトル調整器９におけるフローチャートを図１４に示し、以下これについて説明する。ステップＳＴ−１１で、入力画像サイズｍ画素× n画素に対して、ｍ／２，ｎ／２が共に１６の倍数であるか否かの判定を行い、ＹＥＳあれば、図２の動きベクトル変換装置６から出力されたＭＰＥＧ４の８×８の動きベクトル情報を、処理することなくそのまま出力する。ステップＳＴ−１１の判定でＮＯ、すなわち、ｍ／２，ｎ／２のいずれかが１６の倍数でない場合は、ステップＳＴ−１２に移行して、外部から入力された画像サイズ調整フラグが作動し、画素除去か否かの判定を行い、ＹＥＳ、すなわち、画素除去の場合は、除去された８画素の８×８の動きベクトル情報を出力しないで、他の８×８の動きベクトル情報を出力する。ステップＳＴ−１２の判定で、ＮＯのときは、ステップＳＴ−１３に移行して、画素補填か否かの判定を行い、ＹＥＳ、すなわち、画素補填の場合は、補填された８画素の８×８の動きベクトル情報を０に設定し、他の入力された８×８の動きベクトル情報と合わせて出力される。
【００４２】
再び図７に戻って説明するに、画像サイズ調整フラグによる動きベクトルへの調整器９より出力された画像サイズに適した８×８の動きベクトル情報は、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０によって変換される。以下に、８×８の動きベクトル情報が、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０によって変換される動作について述べる。
【００４３】
第一の方法として、マクロブロックを構成する４つのブロックの中、イントラでないマクロブロックから変換されたブロックの動きベクトルの和をインターマクロブロックから変換されたブロックの数で割った平均を１６×１６の動きベクトル情報として出力する。
【００４４】
第二の方法として、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０においては、ＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８において生成された、そのマクロブロックに対するＭＰＥＧ４の８×８の動きベクトル情報のうち、最も符号化効率が高いと考えられるマクロブロックより生成されたものを選択し、ＭＰＥＧ４の１６×１６の動きベクトル情報として出力する。
【００４５】
符号化効率の判定は、画像情報変換装置の入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるマクロブロック毎の情報を基に行う。第一の方法は、４つのマクロブロックのうち、最も非零のＤＣＴ係数の少ないマクロブロックを符号化効率が高いとする方法である。第二の方法は、４つのマクロブロックのうち、輝度成分のＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを符号化効率が高いとする方法である。第三の方法は、４つのマクロブロックのうち、ＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを符号化効率が高いとする方法である。第四の方法は、４つのマクロブロックのうち、動きベクトル情報を含めた、マクロブロックに割り当てられた全ビット数の最も少ないマクロブロックを符号化効率が高いとする方法である。第五の方法は、４つのマクロブロックのうち、割り当てられた量子化スケールが最も小さいマクロブロックを符号化効率が高いとする方法である。第六の方法は、４つのマクロブロックのうち、コンプレクシティの最も低いマクロブロックを符号化効率が高いとする方法である。各マクロブロックに割り当てられたコンプレクシティＸは、そのマクロブロックに割り当てられた量子化スケールＱ、及びビット数Ｂを用いて以下のように計算される。
【００４６】
【数７】
Ｘ＝Ｑ・Ｂ
【００４７】
ここで、Ｂは、マクロブロック全体に割り当てられたビット数でも良いし、ＤＣＴ係数に割り当てられたビット数でも良いし、輝度成分に割り当てられたＤＣＴ係数に割り当てられたビット数でも良い。
【００４８】
図７で、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０における第三の方法として、ＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８において生成された、そのマクロブロックに対するＭＰＥＧ４の８×８の動きベクトル情報のうち最も重み付けが高いと考えられるマクロブロックより生成されたものを２回重複して数え、合計５つの８×８の動きベクトル情報のうち、中間値の長さを持つ動きベクトル情報の最も符号化効率が高いものを選択し、ＭＰＥＧ４の１６×１６の動きベクトル情報として出力する。ここで動きベクトルの長さの比較は水平方向、垂直方向に対して、それぞれの長さの、二乗根の和を用い、平方根をもとめる処理は省略する。
【００４９】
重み付けの判定は、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるマクロブロック毎の情報を基に行う。すなわち、第一の方法は、４つのマクロブロックのうち、最も非零ＤＣＴの係数の少ないマクロブロックを重み付けが高いとする方法である。第二の方法は、４つのマクロブロックのうち、輝度成分のＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを重み付けが高いとする方法である。第三の方法は、４つのマクロブロックのうち、ＤＣＴ係数に割り当てられたビット数の最も少ないマクロブロックを重み付けが高いとする方法である。第四の方法は、４つのマクロブロックのうち、動きベクトルを含めた、マクロブロックに割り当てられた全ビット数の最も少ないマクロブロックを重み付けが高いとする方法である。第五の方法は、４つのマクロブロックのうち、割り当てられた量子化スケールが最も小さいマクロブロックを重み付けが高いとする方法である。第六の方法は、４つのマクロブロックのうち、コンプレクシティの最も低いマクロブロックを重み付けが高いとする方法である。各マクロブロックに割り当てられたコンプレクシティＸは、そのマクロブロックに割り当てられた量子化スケールＱ、及びビット数Ｂを用い、数７の式に基づいて算出する。Ｂは、マクロブロック全体に割り当てられたビット数でも良いし、ＤＣＴ係数に割り当てられたビット数でも良いし、輝度成分に割り当てられたＤＣＴ係数に割り当てられたビット数でも良い。
【００５０】
一方、画像サイズ調整フラグによる動きベクトルへの調整器９より出力された、画像サイズに適した８×８の動きベクトル情報は、ＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補正器１１に入力される。そこでＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいてはイントラであったマクロブロックから変換されたブロックの８×８の動きベクトル情報は、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０によって求められた１６×１６の動きベクトル情報に置き換えられ、補正される。補正後の８×８の動きベクトル情報と、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０で求めた１６×１６の動きベクトル情報を合わせて、ＭＰＥＧ４の動きベクトル情報として出力する。
【００５１】
図１５は、図７における、ＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補正器１１の動作説明ための図である。画像サイズに適した８×８の動きベクトル情報がＭＰＥＧ２のイントラマクロブロックに対する補正器１１に入力し、イントラモードフラグが立っている場合、すなわち、ＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいてはイントラマクロブロックである場合、スイッチＳＷの可動接点ｍが固定接点ａ側に切換えられて、そのイントラマクロブロックから変換された８×８ブロックの動きベクトル情報を、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０より求められた１６×１６の動きベクトル情報に置き換えられる。若しくは、そのイントラマクロブロックの周辺に存在するインターマクロブロックの動きベクトル情報から変換された動きベクトル情報に置き換えてもよい。更にまた、イントラマクロブロックに一番近いインターマクロブロックの動きベクトル情報から変換された動きベクトル情報にしてもよい。尚、４つのブロックともイントラマクロブロックから変換された場合は、４つとも動きベクトルが０となり、ＭＰＥＧ４の８×８の動きベクトル→ＭＰＥＧ４の１６×１６の動きベクトル変換装置１０によって求められる１６×１６の動きベクトルも０となるため、ＭＰＥＧ４の画像符号化に用いる動きベクトルは０となり、マクロブロックタイプがイントラモードとなる。また、イントラモードフラグが立たない場合、すなわち、ＭＰＥＧ２ではイントラマクロブロックがない場合、スイッチＳＷの可動接点ｍが固定接点ｂ側に切換えられて、入力された８×８の動きベクトル情報がそのまま出力される。
【００５２】
次に生成された動きベクトル情報の再検索を行う場合について説明する。インターマクロブロックに対し、画像がフレーム構造、フレーム予測である場合の動きベクトル変換の概念図は図９に示したとおりである。図からわかるように、変換前整数画素の位相を示している動きベクトル情報は、変換後整数画素若しくは半画素の位相を示すが、変換前半画素の位相を示している動きベクトル情報は解像度変換後参照する画素がなくなる。このような場合、変換後の動きベクトル情報も予測画像の最も近い整数画素位置を示すようにする。これは、後に動きベクトル補整において動きベクトル周辺画素を再検索する際に、サーチウィンドウの中心画素値を整数画素にする為である。まず、サーチウィンドウ内で最も予測誤差が少ない整数画素の動きベクトル情報を求め、次にその整数画素周辺の９半画素値を検索することにより処理のステップを削減している。変換前と変換後の動きベクトル情報の対応関係は図１０に示した通りである。従来例の図９に示された半画素動きベクトル情報を先に生成し、これを中心としてサーチを行うことも考えられるが、処理量の増大を招く。
【００５３】
画像がフレーム構造でフィールド予測である場合であるが、まず、第一フィールド予測である時について、動きベクトル変換の概念図は図１１に示した通りである。すなわち、動きベクトル情報の水平成分は、フレーム構造、フレーム予測である場合と同様な処理が行われる。垂直方向は、第一フィールドを抽出することにより、解像度を１／２に変換することを可能とする。また、予測も第一フィールド予測を行っているため、変換前の動きベクトル情報は、そのまま変換後の動きベクトル情報になる。
【００５４】
第二フィールド予測である場合の動きベクトル変換の概念図は図１２に示した通りである。すなわち、解像度変換した際、第一フィールドのみが抽出されるため、変換後は第一フィールドの画素値を参照画像として用いる。フィールドのライン補整及び時間方向の動きベクトル補正は従来例の図１２に示したのと同様な方法により補整を行い、その後、水平方向の画素値は変換後に整数画素を示すように、フレーム構造、フレーム予測である場合と同様な処理が行われる。
【００５５】
図１６に動きベクトル変換装置の構成を示す。すなわち、１２はＭＰＥＧ２→ＭＰＥＧ４の８×８ＭＶ変換装置、１３は動きベクトル整数画素検索装置、１４は８×８ＭＶ→１６×１６ＭＶ合成装置、１５は動きベクトル整数画素検索装置、１６は動きベクトル半画素検索装置である。
【００５６】
まず、ＭＰＥＧ２→ＭＰＥＧ４の８×８ＭＶ変換装置１２においては、動きベクトル情報の空間・時間補整を行い８×８の動きベクトル情報を生成する。次に、動きベクトル整数画素検索装置１３において、８×８の動きベクトル情報の再検索処理を行う。例えば、生成された８×８の動きベクトル情報の参照先を中心に、検索サーチウィンドウを整数画素で縦横２画素ずつで検索を行う。これにより８×８の動きベクトル情報の予測精度を向上させることが可能である。次に一つのマクロブロックを構成する４つの８×８の動きベクトル情報それぞれに対して、再検索された予測誤差及び、再検索処理を施した８×８の動きベクトル情報を８×８ＭＶ→１６×１６ＭＶ合成装置１４へ入力する。
【００５７】
８×８の動きベクトル情報を８×８ＭＶ→１６×１６ＭＶ合成装置１４では、４つの８×８の動きベクトル情報に対して、再検索時にもとめられた予測残差が最も小さい動きベクトル情報を抽出し、１６×１６の動きベクトル情報に割り当てる。次に生成された１６×１６の動きベクトル情報に対して、動きベクトル整数画素検索装置１５において再検索処理を行い、１６×１６の動きベクトル情報の予測精度を向上させる。これによりＭＰＥＧ４の８×８の動きベクトル情報及び、１６×１６の動きベクトル情報を生成し、出力する。出力された８×８の動きベクトル情報及び１６×１６の動きベクトル情報は、それぞれ半画素検索装置１６に入力され、半画素精度で８×８の動きベクトル情報及び１６×１６の動きベクトル情報が出力される。
【００５８】
動きベクトル整数画素検索装置１３及び１５では指定されたサーチウィンドウ内で最も予測画素値が少ない整数画素動きベクトルを選択し、次に半画素検索装置１６において、整数画素値で選択された最小予測誤差の動きベクトルの周辺９半画素値を検索し、最も予測誤差が少ない最適な動きベクトル値を出力する。
【００５９】
ところで、図２に示した画像情報変換装置においては、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャのみを破棄するため、例えば入力となるＭＰＥＧ２の画像圧縮情報が３０Ｈｚである場合、出力となるＭＰＥＧ４の画像圧縮情報を示すビットストリームは１０Ｈｚとなる。しかしながら、絵柄、及び出力となるＭＰＥＧ４の画像圧縮情報を示すビットストリームの符号量（ビットレート）によっては図２に示した画像情報変換装置を用いても良好な画質が得られない場合がある。このような場合、Ｂピクチャのみならず、Ｉ若しくはＰピクチャも一枚おきに破棄することで、５ＨｚのＭＰＥＧ４の画像圧縮情報を示すビットストリームへ変換することが考えられる。
【００６０】
図１７に、かかる変換を行う際の、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるピクチャ・コーディング・タイプ（ｐｉｃｔｕｒｅ−ｃｏｄｉｎｇ−ｔｙｐｅ）と、出力となるＭＰＥＧ４の画像圧縮情報を示すビットストリームにおけるブイオーピー・コーディング・タイプ｛ｖｏｐ（Video Object Plane) −ｃｏｄｉｎｇ−ｔｙｐｅ｝の対応の一例を示す。ＧＯＰ（画像グルーブ）構造がｎ＝１５；ｍ＝３である３０ＨｚのＭＰＥＧ２の画像圧縮情報を示すビットストリームを、ＧＯＶ（Group of VOP,VOP:Video Object Plane)構造がｎ＝５；ｍ＝１である５ＨｚのＭＰＥＧ４の画像圧縮情報を示すビットストリームに変換する場合、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の、Ｉピクチャ及びＰピクチャを一枚おきに抽出し、ＭＰＥＧ４の画像圧縮情報を示すビットストリームに変換する。図１７の例では、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームの２ＧＯＰが、ＭＰＥＧ４の画像圧縮情報を示すビットストリームの１ＧＯＶと対応するため、Ｐピクチャを破棄する場合とＩピクチャを破棄する場合が考えられる。ＭＰＥＧ２の動きベクトル情報からＭＰＥＧ４の動きベクトル情報を求める方法として、動きベクトル情報を伸張する方法及び動きベクトル情報を足し合わせる方法の２通りが考えられるが、これらのうち、符号化効率の高い動きベクトル情報を適応的に選択し、ＭＰＥＧ４の動きベクトル情報として出力し、ＭＰＥＧ４の画像符号化処理を行う。
【００６１】
このような適応的な選択を行う動きベクトル変換装置を図１８に示し、以下これについて説明する。すなわち、１７はＭＶ及びＭＢ情報バッファ、１８は足し合わせベクトル判定装置、１９は参照ＭＢアドレス算出装置、２０は動きベクトル空間・時間補正装置、２１はＭＶ再検索装置、２２は動きベクトル伸張空間・時間補正装置、２３はＭＶ再検索装置、２４は８×８ＭＶ選択装置、２５は８×８ＭＶ→１６×１６ＭＶ合成装置、２６は１６×１６ＭＶ再検索装置である。
【００６２】
以下に、まず、動きベクトル情報を伸張により合成する方法及び足し合わせにより合成する方法について述べる。図１９に、動きベクトル情報を伸張により合成する方法を示す。入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームで、Ｉピクチャにおいては動きベクトル情報が存在しない為、Ｐピクチャ内でのそのマクロブロックの動きベクトル情報に、破棄されたＩピクチャの動きベクトル情報を足し合わせて動きベクトル情報を合成することは不可能である。したがって、上述の方式に基づき、そのマクロブロックの動きベクトル情報をスケーリングにより空間・時間補整を施し、次に破棄されたＩピクチャの直前のＩまたはＰピクチャより変換された動きベクトル情報の大きさを２倍に伸張する。これにより、そのＰ−ＶＯＰの動きベクトル情報が破棄されたフレームの直前のＩまたはＰピクチャより変換されたＶＯＰを参照する。このようにして、空間・時間補整によるスケーリングを行って後に時間方向に２倍に伸張された動きベクトル情報を生成し、８×８の動きベクトル情報として出力する。同様の方法を、Ｐピクチャを破棄する際に適用することも可能である。
【００６３】
動きベクトル情報を足し合わせる手法について図２０、図２１、図２２及び図２３を用いて説明する。まず、図２０に足し合わせにより動きベクトル情報を合成する方法の概念図を示す。破棄されるＰピクチャに含まれるマクロブロックは動きベクトル情報を有している為、そのマクロブロックの動きベクトル情報に破棄されるＰピクチャの動きベクトル情報を足し合わせ、破棄されるＰピクチャの前のフレームを参照する動きベクトル情報を生成する。図２０に示すように、そのマクロブロックの動きベクトル情報は破棄されるフレームを参照するが、このとき参照する画素は複数のマクロブロックに跨る。図２１に参照画素がどのように複数のマクロブロックに重なるかを示す。図からわかるように、参照画素は１つ、または２つ、または４つのマクロブロックに重なる場合がある。破棄されるＰピクチャの動きベクトル情報及び、マクロブロックモード並びに予測モードまたはビット数、または量子化スケールは後に動きベクトル情報の足し合わせの合成を行う為、ＭＢ及びＭＶ情報バッファ１７にフレーム単位で格納する。ＭＰＥＧ２からＭＰＥＧ４への動きベクトル変換を行うそのマクロブックにおいて、まず捨てられたＰフレーム上でその動きベクトルが参照する座標を計算する。複数のマクロブロックに重なる場合には予め定めたパラメータＸに基づいて、マクロブロックの優先順位を判定する。すなわち、第一の方法はＸをマクロブロックに重なっている画素数とし、第２の方法はＸをマクロブロックの重なっている画素数／マクロブロックビット数とし、第３の方法はＸをマクロブロックの重なっている画素数／量子化スケールとし、第４の方法はＸをマクロブロックの重なっている画素数／（マクロブロックビット数×量子化スケール）とし、第５の方法はＸを１／マクロブロックビット数とし、第６の方法はＸを１／量子化スケールとし、第７の方法はＸを１／（マクロブロックビット数×量子化スケール）とする。パラメータＸの最も大きいものを最大値とし、パラメータＸの最も小さいものを最小値とする。
【００６４】
図２２に破棄するフレームがＰピクチャで、足し合わせにより動きベクトル情報を合成する際のフローチャートを示す。まず、ステップＳＴ−２１で、そのマクロブロックのＭＰＥＧ２の動きベクトル情報が参照する画素に重複する、マクロブロックを構成する１つまたは２つまたは４つのマクロブロックのうち、マクロブロックモードがＮｏｔＣｏｄｅｄであり、尚、且つ重複する画素値が閾値Ｔ以上であるマクロブロックを検索する。閾値Ｔは例えば１００画素とする。ステップＳＴ−２１の判定でＹＥＳ、すなわち、重複するマクロブロックのうち一つでもＮｏｔＣｏｄｅｄのマクロブロックが含まれていれば、ステップＳＴ−２２に移行して、そのマクロブロックアドレスが最も若いＮｏｔＣｏｄｅｄのマクロブロックの動きベクトル情報を選択する。ここで、「ＮｏｔＣｏｄｅｄ」は、ＭＰＥＧ２において、ＤＣＴ係数ビットが発生しないことを意味するマクロブロックモードを言う。
【００６５】
ステップＳＴ−２１の判定でＮＯのときは、ステップＳＴ−２３に移行して、そのマクロブロックのＭＰＥＧ２の動きベクトル情報が参照する画素に重複する、マクロブロックを構成する１つまたは２つまたは４つのマクロブロックのうち、マクロブロックモードがＮｏＭＣであり、尚、且つ重複する画素値が閾値Ｔ以上であるマクロブロックを検索する。ステップＳＴ−２３の判定で、ＹＥＳ、すなわち、重複するマクロブロックのうち一つでもＮｏＭＣのマクロブロックが含まれていれば、ステップＳＴ−２４に移行して、そのマクロブロックアドレスが最も若いＮｏＭＣのマクロブロックの動きベクトル情報を選択する。そのマクロブロックのＭＰＥＧ２の動きベクトル情報が参照する画素に重複する、マクロブロックを構成する１つまたは２つまたは４つのマクロブロックのうち重複するマクロブロックにＮｏｔＣｏｄｅｄ及びＮｏＭＣが存在しない場合には、ステップＳＴ−２５に移行して、マクロブロックモードがイントラマクロブロックか否かを判定し、ＮＯであれば、ステップＳＴ−２８に移行し、ＹＥＳであれば、ステップＳＴ−２６に移行して、全てのマクロブロックモードがイントラマクロブロックか否かを判定し、ステップＳＴ−２６の判定で、ＮＯのときは、ステップＳＴ−２５に戻り、ＹＥＳであれば、０の動きベクトル情報を選択する。すなわち、上述のパラメータＸが最も大きいマクロブロックより順番にマクロブロックモードがイントラマクロブロックであるか否かを判定する（ステップＳＴ−２６）。もし、参照マクロブロックがイントラマクロブロックであれば、次にパラメータＸが大きいマクロブロックがイントラマクロブロックであるかを判定する（ステップＳＴ−２６）。そのマクロブロックが参照する画素に重複するマクロブロック全てがイントラマクロブロックであれば（ステップＳＴ−２５）、０の動きベクトル情報を選択する（ステップＳＴ−２７）。インターマクロブロックを検索した場合には、次の判定ルーチンに移る。ここで、「ＮｏＭＣ」は、ＭＰＥＧ２において、動きベクトルが（０，０）であることを意味するマクロブロックモードを言う。
【００６６】
ステップＳＴ−２５の判定で、ＮＯのとき、マクロブロックモードがイントラマクロブロックではなく、インターマクロブロックであるときは、ステップＳＴ−２８に移行して、予測モードが、第２フィールドを参照するフィールド予測であるか否かを判定する。ステップＳＴ−２８の判定でＹＥＳ、すなわち、第２フィールドを参照するフィールド予測であるときは、ステップＳＴ−２８に移行して、パラメータＸが次に大きい参照マクロブロックにおいて同様の判定を行う。ステップＳＴ−２９で、Ｎ（イントラマクロブロックの個数）個の参照マクロブロックが第２フィールドを参照するフィールド予測であるか否かの判定を行い、ＹＥＳのときは、ステップＳＴ−３０に移行して、最も大きなパラメータＸをもった参照マクロブロックの動きベクトル情報を選択する。Ｎは予め定めた数であり、１〜４の値を持つ。
【００６７】
ステップＳＴ−２８の判定でＮＯのとき、すなわち、第２フィールドを参照するフィールド予測でないマクロブロックを検索した場合には、ステップＳＴ−３１に移行して、そのマクロブロックの動きベクトル情報を選択する。
【００６８】
このようにしてそのマクロブロックの動きベクトル情報に足し合わせる動きベクトル情報を選択する。
【００６９】
図２３を参照して、第２フィールドを参照する動きベクトル情報の時間補正を説明する。足し合わせた動きベクトル情報のスケーリング方法は従来の技術で述べた動きベクトル情報の空間・時間補正を施すスケーリング方法と同様の方法で行う。よって、足し合わせた動きベクトル情報が参照フレームの第２フィールドを参照する場合は、動きベクトル情報の垂直成分に対し、フィールド補正を行い、更に時間方向のベクトル補整として１フィールド間隔分動きベクトルを伸張する。図に示すようにそのフィールドと参照する第２フィールドのフィールド間隔がａであり、よって１フィールド分の時間補整を施すのに動きベクトルに（ａ＋１）／ａをかける。このようにして８×８の動きベクトル情報を求めて、出力する。
【００７０】
再び図１８を参照するに、破棄されるフレームが１ピクチャの場合には、入力となるＭＰＥＧ２の動きベクトル情報は動きベクトル伸張空間・時間補正装置２２に伝送され、Ｐピクチャの場合には、ＭＶ及びＭＢ情報バッファ１７及び動きベクトル伸張空間・時間補正装置２２の双方に伝送される。
【００７１】
ＭＶ及びＭＢ情報バッファ１７においては、破棄するＰピクチャの動きベクトル情報及びマクロブロック予測モード、マクロブロック毎のビット量及び量子化スケールをフレーム単位で格納する。参照ＭＢアドレス算出装置１９においては、破棄するＰピクチャの、次のＰピクチャの動きベクトル情報を入力とし、そのそのマクロブロックの参照位置を計算する。動きベクトルの参照位置は足し合わせ動きベクトル判定装置１８に入力され、参照位置を元に、参照画素に重なる、破棄するＰピクチャに含まれるマクロブロックのアドレスを算出する。足し合わせ動きベクトル判定装置１８においては、この情報を利用し、上段に述べた足し合わせる動きベクトル情報を選択する手法に基づき処理を行い、動きベクトル情報を出力する。出力された動きベクトル情報はそのマクロブロックの動きベクトル情報と足し合わせ（合成）が行われ、合成された動きベクトル情報が生成される。次に合成された動きベクトル情報は動きベクトル空間・時間補正装置２０に入力され、上述の空間・時間の補整スケーリングにより変換を行い、動きベクトル情報を生成する。動きベクトル伸張空間時間補正装置２２においては、上述の方法により、ＭＰＥＧ４の８×８の動きベクトル情報が伸張方式により求められ、このＭＰＥＧ４の８×８の動きベクトル情報は、ＭＶ再検索装置２３によって高精度化される。ＭＶ再検索装置２１及び２３より出力された動きベクトル情報は８×８ＭＶ選択装置２４に入力され、より予測残差の少ない動きベクトル情報を８×８の動きベクトル情報として出力する。８×８ＭＶ→１６×１６ＭＶ合成装置２５においては、上述の方法により、８×８ＭＶ選択装置２４の出力となる８×８の動きベクトル情報を基に、１６×１６の動きベクトル情報の合成を行い、１６×１６ＭＶ再検索装置２５においては、８×８ＭＶ→１６×１６ＭＶ合成装置２５において生成された１６×１６の動きベクトル情報を、周辺数画素サーチすることで高精度化する。これによりＭＰＥＧ４の８×８の動きベクトル情報及び１６×１６の動きベクトル情報を生成し、出力する。
【００７２】
【発明が解決しようとする課題】
ところで、図１８に示した動きベクトル変換装置においては、まず、ＭＰＥＧ４の８×８の動きベクトル情報を伸張と足し合わせの２通りの方法で合成し、これらの予測効率の高い方を選択し、これを用いてＭＰＥＧ４の１６×１６の動きベクトル情報を合成している。しかしながら、ＭＰＥＧ４の８×８の動きベクトル情報は伸張を用いて合成した方が、予測効率が高いが、ＭＰＥＧ４の１６×１６の動きベクトル情報は足し合わせを用いて合成した方が、予測効率が高いということが有り得るが、このような場合、図１８に示した動きベクトル変換装置においては予測効率の低下を招く。
【００７３】
かかる点に鑑み、本発明は、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とすると共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも一枚おきに破棄することでフレームレートの変換を実現する画像情報変換方法における、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＭＰＥＧ２の１６×１６の動きベクトルを入力とし、ＭＰＥＧ４の８×８の動きベクトル及びＭＰＥＧ４の１６×１６の動きベクトルを生成する動きベクトル変換方法において、予測効率が低下しないものを提案しようとするものである。
【００７４】
又、本発明は、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とすると共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも一枚おきに破棄することでフレームレートの変換を実現する画像情報変換装置における、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＭＰＥＧ２の１６×１６の動きベクトルを入力とし、ＭＰＥＧ４の８×８の動きベクトル及びＭＰＥＧ４の１６×１６の動きベクトルを生成する動きベクトル変換装置において、予測効率が低下しないものを提案しようとするものである。
【００７５】
【課題を解決するための手段】
第１の発明は、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とすると共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも一枚おきに破棄することでフレームレートの変換を実現する画像情報変換方法における動きベクトル変換方法において、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＭＰＥＧ２の１６×１６の動きベクトルを入力とし、ＭＰＥＧ４の８×８の動きベクトル及びＭＰＥＧ４の１６×１６の動きベクトルを生成する動きベクトル変換方法であって、
上記入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＩピクチャ若しくはＰピクチャを一枚おきに破棄することにより行われるＭＰＥＧ４の８×８の動きベクトル情報の合成を、Ｉピクチャが破棄される場合には、破棄するピクチャの次のピクチャの動きベクトル情報を２倍に伸張する方法のみにより行い、Ｐピクチャが破棄される場合には、上記伸張と、破棄するピクチャの次のピクチャの動きベクトル情報に破棄するピクチャの動きベクトル情報を足し合わせる方法との２つの方法により行う第１のステップと、
上記第１のステップで上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第２のステップと、
Ｐピクチャが破棄される場合に、上記第１のステップで上記足し合わせにより合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第３のステップと、
Ｉピクチャが破棄される場合には、上記第１のステップで上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第１のステップで上記伸張及び上記足し合わせの２つの方法により合成したＭＰＥＧ４の８×８の動きベクトル情報のうち、予測効率の高い方を選択する第４のステップと、
Ｉピクチャが破棄される場合には、上記第２のステップで上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第２のステップで上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報及び上記第３のステップで上記足し合わせにより合成したＭＰＥＧ４の１６×１６の動きベクトル情報のうち、予測効率の高い方を選択する第５のステップと、
上記第４及び第５のステップで選択したＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を、ＭＰＥＧ４の動きベクトル情報として出力する第７のステップとを有する動きベクトル変換方法である。
【００７６】
第１の発明によれば、第１のステップとして、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＩピクチャ若しくはＰピクチャを一枚おきに破棄することにより行われるＭＰＥＧ４の８×８の動きベクトル情報の合成を、Ｉピクチャが破棄される場合には、破棄するピクチャの次のピクチャの動きベクトル情報を２倍に伸張する方法のみにより行い、Ｐピクチャが破棄される場合には、上記伸張と、破棄するピクチャの次のピクチャの動きベクトル情報に破棄するピクチャの動きベクトル情報を足し合わせる方法との２つの方法により行う。
次に第２のステップとして、第１のステップで上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する。また、Ｐピクチャが破棄される場合には、第３のステップとして、上記第１のステップで上記足し合わせにより合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する。
次に第４のステップとして、Ｉピクチャが破棄される場合には、上記第１のステップで上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第１のステップで上記伸張及び上記足し合わせの２つの方法により合成したＭＰＥＧ４の８×８の動きベクトル情報のうち、予測効率の高い方を選択する。また、第５のステップとして、Ｉピクチャが破棄される場合には、上記第２のステップで上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第２のステップで上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報及び上記第３のステップで上記足し合わせにより合成したＭＰＥＧ４の１６×１６の動きベクトル情報のうち、予測効率の高い方を選択する。
そして第６のステップとして、上記第４及び第５のステップで選択したＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を、ＭＰＥＧ４の動きベクトル情報として出力する。
【００７７】
第２の発明は、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とすると共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも一枚おきに破棄することでフレームレートの変換を実現する画像情報変換装置における動きベクトル変換装置において、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＭＰＥＧ２の１６×１６の動きベクトルを入力とし、ＭＰＥＧ４の８×８の動きベクトル及びＭＰＥＧ４の１６×１６の動きベクトルを生成する動きベクトル変換装置であって、
上記入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＩピクチャ若しくはＰピクチャを一枚おきに破棄することにより行われるＭＰＥＧ４の８×８の動きベクトル情報の合成を、Ｉピクチャが破棄される場合には、破棄するピクチャの次のピクチャの動きベクトル情報を２倍に伸張する方法のみにより行い、Ｐピクチャが破棄される場合には、上記伸張と、破棄するピクチャの次のピクチャの動きベクトル情報に破棄するピクチャの動きベクトル情報を足し合わせる方法との２つの方法により行う第１の合成手段と、
上記第１の合成手段で上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第２の合成手段と、
Ｐピクチャが破棄される場合に、上記第１の合成手段で上記足し合わせにより合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第３の合成手段と、
Ｉピクチャが破棄される場合には、上記第１の合成手段で上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第１の合成手段で上記伸張及び上記足し合わせの２つの方法により合成したＭＰＥＧ４の８×８の動きベクトル情報のうち、予測効率の高い方を選択する第１の選択手段と、
Ｉピクチャが破棄される場合には、上記第２の合成手段で上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第２の合成手段で上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報及び上記第３の合成手段で上記足し合わせにより合成したＭＰＥＧ４の１６×１６の動きベクトル情報のうち、予測効率の高い方を選択する第２の選択手段とを有し、
上記第１及び第２の選択手段で選択したＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を、ＭＰＥＧ４の動きベクトル情報として出力する動きベクトル変換装置である。
【００８２】
第３の発明は、第１の発明の動きベクトル変換方法において、Ｐピクチャが破棄される場合には、ＧＯＶ内での最初のＰ−ＶＯＰ（Video Object Plane)、若しくはシーンチェンジの直後のＧＯＶに関しては、上記第１乃至第３のステップで上記伸張及び上記足し合わせの２通りの方法によりＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を合成し、上記第４及び第５のステップで予測効率の高い方を選択し出力すると同時に、上記伸張と上記足し合わせのどちらの方法が選択されたかに関する情報を、ＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報のそれぞれについて記憶手段に格納し、それ以降のＰ−ＶＯＰについては、上記第１乃至第３のステップでＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報のそれぞれを、上記記憶手段に格納された情報に基づいて合成し、上記第４及び第５のステップでは予測効率に基づく選択を行わない動きベクトル変換方法である。
【００８７】
第４の発明は、第２の発明の動きベクトル変換装置において、Ｐピクチャが破棄される場合には、ＧＯＶ内での最初のＰ−ＶＯＰ（Video Object Plane)、若しくはシーンチェンジの直後のＧＯＶに関しては、上記第１乃至第３の合成手段で上記伸張及び上記足し合わせの２通りの方法によりＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を合成し、上記第１及び第２の選択手段で予測効率の高い方を選択し出力すると同時に、上記伸張と上記足し合わせのどちらの方法が選択されたかに関する情報を、ＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報のそれぞれについて記憶手段に格納し、それ以降のＰ−ＶＯＰについては、上記第１乃至第３の合成手段でＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報のそれぞれを、上記記憶手段に格納された情報に基づいて合成し、上記第１及び第２の選択手段では予測効率に基づく選択を行わない動きベクトル変換装置である。
【００８８】
【発明の実施の形態】
以下、図２４を参照し、本発明の実施の形態の動きベクトル変換方法及び変換装置の例を説明する。
【００８９】
図２４に、その動きベクトル変換装置の例を示し、以下、これについて説明する。図２４において、２７はＭＶ及びＭＢ情報バッファ、２８は足し合わせ動きベクトル判定装置、２９は参照ＭＢアドレス算出装置、３０は動きベクトル空間・時間補正装置、３１は８×８ＭＶ再検索装置（足し合わせ）、３２は８×８ＭＶ→１６×１６ＭＶ合成装置（足し合わせ）、３３は１６×１６ＭＶ再検索装置（足し合わせ）、３４は１６×１６ＭＶ選択装置、３５は動きベクトル伸張空間・時間補正装置、３６は８×８ＭＶ再検索装置、３７は８×８ＭＶ→１６×１６ＭＶ合成装置（伸張）、３８は１６×１６ＭＶ再検索装置（伸張）、３９は８×８ＭＶ選択装置である。
【００９０】
図２４において、ＭＰＥＧ２の動きベクトル情報を入力とし、足し合わせ及び伸張の２通りの方法でＭＰＥＧ４の８×８の動きベクトル情報を生成する方法に関しては、図１８に示した動きベクトル変換装置におけるそれと同様である。足し合わせにより生成されたＭＰＥＧ４の８×８の動きベクトル情報は、８×８ＭＶ再検索装置（足し合わせ）３１によって、伸張により生成されたＭＰＥＧ４の８×８の動きベクトル情報は８×８ＭＶ再検索装置（伸張）３６によって、それぞれ周辺数画素を再検索することで、ＭＰＥＧ４の８×８の動きベクトル情報の高精度化を行う。高精度化されたＭＰＥＧ４の８×８の動きベクトル情報は、それぞれ８×８の動きベクトル選択装置３９に伝送される。
【００９１】
また、８×８ＭＶ再検索装置（足し合わせ）３１の出力となる、足し合わせにより合成され、高精度化されたＭＰＥＧ４の８×８の動きベクトル情報は、８×８ＭＶ→１６×１６ＭＶ合成装置（足し合わせ）３２に伝送され、ここでＭＰＥＧ４の１６×１６の動きベクトル情報が合成される。同時に、また、８×８ＭＶ再検索装置（伸張）３６の出力となる、伸張により合成され、高精度化されたＭＰＥＧ４の８×８の動きベクトル情報は、８×８ＭＶ→１６×１６ＭＶ合成装置（伸張）３７に伝送され、ここでＭＰＥＧ４の１６×１６の動きベクトル情報が合成される。合成されたＭＰＥＧ４の１６×１６の動きベクトル情報は、それぞれ１６×１６ＭＶ選択装置３４に伝送される。
【００９２】
１６×１６ＭＶ選択装置３４及び８×８の動きベクトル選択装置３９においては、それぞれ、足し合わせ及び伸張により合成されたＭＰＥＧ４の１６×１６の動きベクトル情報及びＭＰＥＧ４の８×８の動きベクトル情報のうち、予測効率の高い方を選択し、合わせてＭＰＥＧ４の動きベクトル情報として出力する。
【００９３】
尚、足し合わせ及び伸張の２通りの方法で動きベクトルの合成を行うのは、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいて、破棄されるフレームのピクチャ・コーディング・タイプ（ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）がＰピクチャの場合に限る。Ｉピクチャの場合には、足し合わせにより合成することが不可能であるため、伸張により合成されたＭＰＥＧ４の動きベクトル情報のみを出力する。
【００９４】
また、ＧＯＶ（Group of VOP,VOP:Video Object Plane)の最初のＰ−ＶＯＰ、若しくはシーンチェンジ直後のＰ−ＶＯＰにおいてのみ、上述の適応的な方法によりＭＰＥＧ４の動きベクトル情報を合成するとともに、足し合わせ若しくは伸張のどちらの方法を用いてＭＰＥＧ４の８×８の動きベクトル情報並びにＭＰＥＧ４の１６×１６の動きベクトル情報の合成を行ったかに関する情報をメモリ（記憶手段）に格納し、以後のＰ−ＶＯＰにおいては、破棄されるフレームが、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおいてＩピクチャである場合を除き、メモリに格納された方法を用いてＭＰＥＧ４の８×８の動きベクトル情報並びにＭＰＥＧ４の１６×１６の動きベクトル情報の合成を行い、予測効率に基づく選択を行わないことで演算量の削減を実現することも可能である。
【００９５】
以上、入力としてＭＰＥＧ２の画像圧縮情報を示すビットストリームを、出力としてＭＰＥＧ４の画像圧縮情報を示すビットストリームを対象としてきたが、入力、出力ともこれに限らず、例えばＭＰＥＧ−１やＨ．２６３などの画像圧縮情報を示すビットストリームでも良い。
【００９６】
【発明の効果】
第１の発明によれば、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とすると共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも一枚おきに破棄することでフレームレートの変換を実現する画像情報変換方法における動きベクトル変換方法において、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＭＰＥＧ２の１６×１６の動きベクトルを入力とし、ＭＰＥＧ４の８×８の動きベクトル及びＭＰＥＧ４の１６×１６の動きベクトルを生成する動きベクトル変換方法であって、
上記入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＩピクチャ若しくはＰピクチャを一枚おきに破棄することにより行われるＭＰＥＧ４の８×８の動きベクトル情報の合成を、Ｉピクチャが破棄される場合には、破棄するピクチャの次のピクチャの動きベクトル情報を２倍に伸張する方法のみにより行い、Ｐピクチャが破棄される場合には、上記伸張と、破棄するピクチャの次のピクチャの動きベクトル情報に破棄するピクチャの動きベクトル情報を足し合わせる方法との２つの方法により行う第１のステップと、
上記第１のステップで上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第２のステップと、
Ｐピクチャが破棄される場合に、上記第１のステップで上記足し合わせにより合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第３のステップと、
Ｉピクチャが破棄される場合には、上記第１のステップで上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第１のステップで上記伸張及び上記足し合わせの２つの方法により合成したＭＰＥＧ４の８×８の動きベクトル情報のうち、予測効率の高い方を選択する第４のステップと、
Ｉピクチャが破棄される場合には、上記第２のステップで上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第２のステップで上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報及び上記第３のステップで上記足し合わせにより合成したＭＰＥＧ４の１６×１６の動きベクトル情報のうち、予測効率の高い方を選択する第５のステップと、
上記第４及び第５のステップで選択したＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を、ＭＰＥＧ４の動きベクトル情報として出力する第６のステップとを有するようにしたので、予測効率が低下しない動きベクトル変換方法を得ることができる。
【００９７】
第２の発明によれば、飛び越し走査のＭＰＥＧ２の画像圧縮情報を示すビットストリームを入力とし、順次走査のＭＰＥＧ４の画像圧縮情報を示すビットストリームを出力とすると共に、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも一枚おきに破棄することでフレームレートの変換を実現する画像情報変換装置における動きベクトル変換装置において、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＭＰＥＧ２の１６×１６の動きベクトルを入力とし、ＭＰＥＧ４の８×８の動きベクトル及びＭＰＥＧ４の１６×１６の動きベクトルを生成する動きベクトル変換装置であって、
上記入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームのＩピクチャ若しくはＰピクチャを一枚おきに破棄することにより行われるＭＰＥＧ４の８×８の動きベクトル情報の合成を、Ｉピクチャが破棄される場合には、破棄するピクチャの次のピクチャの動きベクトル情報を２倍に伸張する方法のみにより行い、Ｐピクチャが破棄される場合には、上記伸張と、破棄するピクチャの次のピクチャの動きベクトル情報に破棄するピクチャの動きベクトル情報を足し合わせる方法との２つの方法により行う第１の合成手段と、
上記第１の合成手段で上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第２の合成手段と、
Ｐピクチャが破棄される場合に、上記第１の合成手段で上記足し合わせにより合成したＭＰＥＧ４の８×８の動きベクトル情報からＭＰＥＧ４の１６×１６の動きベクトル情報を合成する第３の合成手段と、
Ｉピクチャが破棄される場合には、上記第１の合成手段で上記伸張により合成したＭＰＥＧ４の８×８の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第１の合成手段で上記伸張及び上記足し合わせの２つの方法により合成したＭＰＥＧ４の８×８の動きベクトル情報のうち、予測効率の高い方を選択する第１の選択手段と、
Ｉピクチャが破棄される場合には、上記第２の合成手段で上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報をそのまま選択し、Ｐピクチャが破棄される場合には、上記第２の合成手段で上記伸張により合成したＭＰＥＧ４の１６×１６の動きベクトル情報及び上記第３の合成手段で上記足し合わせにより合成したＭＰＥＧ４の１６×１６の動きベクトル情報のうち、予測効率の高い方を選択する第２の選択手段とを有し、
上記第１及び第２の選択手段で選択したＭＰＥＧ４の８×８の動きベクトル情報及びＭＰＥＧ４の１６×１６の動きベクトル情報を、ＭＰＥＧ４の動きベクトル情報として出力するので、予測効率が低下しない動きベクトル変換装置を得ることができる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２の画像圧縮情報を示すビットストリームからＭＰＥＧ４の画像圧縮情報を示すビットストリームへの変換を実現する従来例の画像情報変換装置を示すブロック図である。
【図２】本発明者らの発明によるＭＰＥＧ２の画像圧縮情報を示すビットストリームからＭＰＥＧ４の画像圧縮情報を示すビットストリームへの変換を実現する画像情報変換装置を示すブロック図である。
【図３】ＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の動きベクトル情報と、ＭＰＥＧ４の画像圧縮情報を示すビットストリーム中の動きベクトル情報の相関を説明する説明図である。
【図４】図２の解像度・フレームレート変換装置５における動作原理を示す説明図である。
【図５】図２の画枠サイズ調整フラグに応じた解像度・フレームレート変換装置５における画素の補填或いは除去の動作原理を示す説明図である。
【図６】図２の動きベクトル変換装置６における動きベクトル変換方法を説明する説明図である。
【図７】図２の動きベクトル変換装置６の詳細な回路構成を示すブロック図である。
【図８】図２のＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４の８×８の動きベクトル変換装置８の動作を説明するフローチャートである。
【図９】図７のＭＰＥＧ２の１６×１６の動きベクトル→ＭＰＥＧ４のベクトル変換の概念を説明する説明図である。
【図１０】図９におけるＭＰＥＧ２の画像圧縮情報を示すビットストリーム中の半画素精度の動きベクトル情報の、ＭＰＥＧ４の８×８の動きベクトル情報への変換後の取り扱いを示す表図である。
【図１１】図９における、画像がフレーム構造で、第一フィールド予測であるときについての動きベクトル変換の概念を説明する説明図である。
【図１２】図９における、画像がフレーム構造で、第二フィールド予測であるときについて動きベクトル変換の概念を説明する説明図である。
【図１３】図９における、画像がフレーム構造で、第二フィールド予測であるときについての動きベクトル変換の概念を説明する説明図である。
【図１４】図７における画像サイズ調整フラグによる動きベクトル調整器９の動作を説明するフローチャートである。
【図１５】図７において、ＭＰＥＧ２のイントラマクロブロックに対する動きベクトル補正器１１の動作を説明するブロック図である。
【図１６】図７においての、画像がフレーム構造で、第二フィールド予測であるときについての動きベクトル変換装置の詳細回路を示すブロック図である。
【図１７】ｎ＝１５；ｍ＝３のＧＯＰ構造を持つ３０ＨｚのＭＰＥＧ２の画像圧縮情報を示すビットストリームを、ｎ＝５；ｍ＝１のＧＯＶ構造を持つ５ＨｚのＭＰＥＧ４の画像圧縮情報を示すビットストリームへ変換する際の、入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるピクチャ・コーディング・タイプ（ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）と、出力となるＭＰＥＧ４の画像圧縮情報を示すビットストリームにおけるブイオーピー・コーディング・タイプ（ｖｏｐ＿ｃｏｄｉｎｇ＿ｔｙｐｅ）の対応を示す説明図である。
【図１８】入力となるＭＰＥＧ２の画像圧縮情報を示すビットストリームにおけるＢピクチャを破棄し、更にＩピクチャ若しくはＰピクチャも１フレームおきに破棄することでフレームレートの変換を実現する装置で、動きベクトル情報の合成を、伸張、或いは足し合わせにより適応的に行う画像情報変換装置の構成を示すブロック図である。
【図１９】図１８における、動きベクトル情報を伸張により合成する方法を示す説明図である。
【図２０】図１８における、動きベクトル情報を足し合わせにより合成する方法の説明図である。
【図２１】図１８における、動きベクトル情報を足し合わせにより合成する際、破棄されるフレームを参照する動きベクトル情報が、どのようにマクロブロックに跨るかを示す説明図である。
【図２２】図１８における、破棄するフレームがＰピクチャで、足し合わせによりを動きベクトル情報を合成することを説明するフローチャートである。
【図２３】図２０における、足し合わせた動きベクトル情報が参照フレームの第２フィールドを参照する場合の時間補正の方法を説明する説明図である。
【図２４】本発明の実施の形態の動きベクトル変換装置の例を示すブロック図である。
【符号の説明】
２７ＭＶ及びＭＢ情報バッファ、２８足し合わせ動きベクトル判定装置、２９参照ＭＢアドレス算出装置、３０動きベクトル空間・時間補正装置、３１８×８ＭＶ再検索装置（足し合わせ）、３２８×８ＭＶ→１６×１６ＭＶ再検索装置（足し合わせ）、３３１６×１６ＭＶ再検索装置（足し合わせ）、３４１６×１６ＭＶ選択装置、３５動きベクトル伸張空間・時間補正装置、３６８×８ＭＶ再検索装置、３７８×８ＭＶ→１６×１６ＭＶ合成装置（伸張）、３８１６×１６ＭＶ再検索装置（伸張）、３９８×８ＭＶ選択装置。[0001]
BACKGROUND OF THE INVENTION
When receiving a bit stream indicating image information compressed by orthogonal transformation such as discrete cosine transformation and motion compensation, such as MPEG, via network media such as satellite broadcasting, cable TV, and the Internet. The present invention also relates to a motion vector conversion method (motion vector conversion device) in an image information conversion method (image information conversion / conversion device) used when processing on a storage medium such as an optical, magnetic disk, or flash memory.
[0002]
[Prior art]
In recent years, MPEG treats image information as a digital signal and compresses it by orthogonal transform such as discrete cosine transform and motion compensation, using the redundancy unique to image information for the purpose of efficient transmission and storage of information. And the like are being used for both information distribution at broadcast stations and information reception in general households.
[0003]
In particular, MPEG2 (ISO / IEC 13818-2) is defined as a general-purpose image coding system, and is a standard system that covers both interlaced scanning images and progressive scanning images, standard resolution images, and high-definition images. It is expected to continue to be used in a wide range of applications for consumer use and consumer use. By using the MPEG2 compression method, for example, a standard resolution interlaced scanning image having 720 × 480 pixels is 4 to 8 Mbps, and a high resolution interlaced scanning image having 1920 × 1088 pixels is 18 to 22 Mbps. (Bit rate) can be assigned to achieve a high compression rate and good image quality.
[0004]
MPEG2 was mainly applied to high-quality encoding suitable for broadcasting, but did not support encoding methods with a lower code amount (bit rate) than MPEG1, that is, higher compression rate. With the widespread use of portable terminals, the need for such an encoding method is expected to increase in the future, and the MPEG4 encoding method has been standardized accordingly. Regarding the image coding system, the standard was approved as an international standard as ISO / IEC 14496-2 in December 1998.
[0005]
By the way, it shows MPEG4 image compression information of a lower code amount (bit rate) more suitable for processing a bit stream showing MPEG2 image compression information once encoded for digital broadcasting on a portable terminal or the like. There is a need to convert to bitstream.
[0006]
A conventional image information conversion apparatus for achieving this object is shown in FIG. 1 and will be described below. FIG. 1 shows an image information conversion apparatus that converts a bit stream indicating MPEG-2 image compression information into a bit stream indicating MPEG4 image compression information. That is, in FIG. 1, 1 is an MPEG2 image information decoding apparatus, 2 is a resolution / frame rate conversion apparatus, and 3 is an MPEG4 image information encoding apparatus. The input bit stream indicating the MPEG2 image compression information is decoded by the MPEG2 image information decoding apparatus 1. The decoded image information is transmitted to the resolution / frame rate conversion device 2 and converted into image information having arbitrary different resolutions and frame rates. The converted image information is input to the MPEG4 image information encoding device 3, encoded into a bit stream indicating MPEG4 image compression information by the MPEG4 image encoding method, and output.
[0007]
In the MPEG2 image information decoding apparatus 1, it is conceivable to perform decoding processing using all the 8th-order DCT coefficients of the bitstream indicating the MPEG2 image compression information that is input in both the horizontal and vertical components. Although all the 8th order coefficients are used in the vertical direction, a decoding process using only the lower 4 components of the 8th order coefficients in the horizontal direction (hereinafter referred to as 4 × 8 downdecoding), or horizontal, Performs decoding while minimizing image quality degradation by performing decoding processing using only the four low-frequency components of the 8th order coefficient in the horizontal direction (hereinafter referred to as 4 × 4 down-decoding). A configuration is also conceivable in which the amount and video memory capacity are reduced, and the downstream downsampling process is simplified.
[0008]
In such a conventional method, when the input image signal is encoded in the MPEG4 image encoding apparatus, the calculation processing amount for detecting motion vector information occupies about 60 to 70 percent of the total calculation processing amount. For this reason, it becomes difficult to process the image in real time, a time delay occurs, and the apparatus becomes large-scale.
[0009]
As means for solving such a problem, the inventors previously invented the image information conversion apparatus shown in FIG. This will be described below. 4 is an MPEG2 image information decoding device, 5 is a resolution / frame rate conversion device, 6 is a motion vector conversion device, and 7 is an MPEG4 image information encoding device. In the image information conversion apparatus of FIG. 2, the operation principle of the portion excluding the motion vector conversion apparatus 6 is the same as that of the image information conversion apparatus shown in FIG. .
[0010]
FIG. 3 is a diagram showing the correlation between motion vector information in a bit stream indicating MPEG2 image compression information and motion vector information in a bit stream indicating MPEG4 image compression information. This will be described below. When the resolution of the image is converted, the horizontal component of the motion vector information from the position in the previous frame after the conversion to the position in the current frame is the horizontal component of the motion vector information before the resolution conversion and the horizontal resolution of the image The vertical component after resolution conversion can be obtained from the vertical component of motion vector information before resolution conversion and the resolution conversion rate in the vertical direction of the image. The motion vector information before the resolution conversion and the motion vector information after the conversion have a large correlation, and it is possible to obtain the converted motion vector information from the motion vector information before the resolution conversion using the correlation.
[0011]
That is, information such as the macroblock motion vector and macroblock type of MPEG2 is converted from the bit stream indicating the MPEG2 image compression information into MPEG4 motion vector information. In the MPEG4 encoding device 7, motion vector information is not detected, and image encoding using the converted motion vector information is performed. Thereby, the processing amount can be greatly reduced.
[0012]
Here, the operation principle of the resolution frame rate conversion device 5 will be described. First, resolution conversion of an image input from the MPEG2 image information decoding device 4 is performed. Here, a case where the resolution is halved in both the horizontal direction and the vertical direction will be described as an example. As shown in FIG. 4, in the down-sampling in the vertical direction, the first field or the second field of the input interlaced scanning image is extracted and sequentially converted into the scanning image. With respect to the horizontal direction, the down-sampling filter is used to convert the resolution to ½. In addition, in order to realize a low bit rate, not only compression by resolution conversion but also reduction of the frame rate is realized by discarding the B picture. For example, the MPEG2 IBBP image shown in FIG. 4 has the structure of the first IP field after resolution / frame conversion. An image subjected to resolution / frame conversion can be processed in units of macroblocks in the MPEG4 image information encoding device 7 so that the number of pixels in the horizontal and vertical directions of the luminance signal is a multiple of 16. To do. Therefore, pixel compensation or pixel removal is performed by an image size adjustment flag input from the outside.
[0013]
The image size adjustment flag is input from the outside of the resolution / frame rate converter, and is used to determine whether to compensate for or remove pixels from the image when the number of pixels in the horizontal and vertical directions of the image is not a multiple of 16. Flag.
[0014]
Next, processing for an image using an image size adjustment flag will be described with reference to FIG. Assuming that the resolution of the image output from the MPEG2 image decoding device 4 is m pixels × n pixels, both m and n are multiples of 16, but the horizontal and vertical directions are down-sampled to 1/2 respectively. The divided m / 2 and n / 2 are an integral multiple of 16 or a remainder of 8 pixels divided by 16. In the former case, it is not necessary to adjust the number of pixels. In the latter case, in order to enable processing in units of macroblocks, it is necessary to process an image with an image size adjustment flag. The image size adjustment flag has two options of pixel compensation and removal. When m / 2 or n / 2 is divided by 16 and 8 pixels remain, if the removal of the image is selected, the remaining 8 pixels are removed. That is, the output image is (m / 2-8) or (n / 2-8). On the other hand, if pixel compensation is selected, 8 pixels newly created, 8 pixels copied from the original image, or 8 pixels suitable for the image are added from the beginning or rear of the row or column. That is, the output image is (m / 2 + 8) or (n / 2 + 8). As a result, the horizontal and vertical dimensions of the converted image resolution are multiples of 16, and an image having a size suitable for processing in units of macroblocks is output.
[0015]
As an example, consider a case where the resolution of a bitstream indicating MPEG2 image compression information to be input is 720 × 480 pixels. At this time, m / 2 = 360 and n / 2 = 240, but it is not a multiple of 16 in the horizontal direction. Therefore, the pixels are removed and m / 2−8 = 352 pixels, or the pixels are compensated so that m / 2 + 8 = 368 pixels.
[0016]
The correspondence relationship between the bit stream indicating MPEG2 image compression information as input and the macroblock in the bit stream indicating MPEG4 image compression information as output will be described with reference to FIG.
[0017]
Each of the square lattices delimited by the solid lines in FIGS. 6A and 6B represents a macroblock. FIG. 6A shows an image output from the MPEG2 decoding device 4, that is, an image before resolution conversion. FIG. 6B is an image obtained by converting the image of FIG. 6A by the resolution / frame rate conversion device 5 into half the horizontal and vertical resolutions. For example, the shaded 16 × 16 macroblock in the upper left of FIG. 6A before conversion becomes the upper left 8 × 8 block in FIG. 6B after conversion. That is, the four shaded 16 × 16 macroblocks shown in FIG. 6A are converted into the four shaded 8 × 8 blocks shown in FIG. A macroblock is constructed. Since the correlation between the motion vector information before and after the resolution conversion is large, the motion vector information of the 8 × 8 block after the conversion can be obtained from the motion vector information of the 16 × 16 macroblock before the conversion. Further, 16 × 16 motion vector information is obtained from the four 8 × 8 motion vector information, and the four 8 × 8 motion vectors of the motion vector information used for processing in the MPEG4 image information encoding device 7 and 1 16 × 16 motion vector information is generated.
[0018]
FIG. 7 shows a detailed circuit configuration of the motion vector conversion device 6 in FIG. 2, which will be described below. That is, 8 is an MPEG2 16 × 16 motion vector → MPEG4 8 × 8 motion vector converter, 9 is a motion vector adjuster based on an image size adjustment flag, and 10 is an MPEG4 8 × 8 motion vector → MPEG4. 16 × 16 motion vector converter 11 is a motion vector corrector for an MPEG2 intra macroblock.
[0019]
Parameters such as a motion vector and an image size in the bit stream indicating the input MPEG2 image compression information are converted into an 8 × 8 motion vector converter 8 of MPEG2 by an 8 × 8 motion vector converter 8 of MPEG4 before correction. A x8 motion vector is created.
[0020]
FIG. 8 shows a flowchart of the operation principle of the MPEG2 16 × 16 motion vector → MPEG4 8 × 8 motion vector converter 8 in FIG. Since a frame structure is generally used in a bit stream indicating MPEG2 image compression information for interlaced scanning, a conversion method only for processing in the case of a frame structure will be described below.
[0021]
In Step ST-1, it is determined whether the macro block is an intra macro block, a skip macro block, or an inter macro block. If the macroblock is an intra macroblock, it is assumed in step ST-2 that the 8 × 8 block after resolution conversion has motion vector information. As the processing, first, the 8 × 8 motion vector information is set to 0, and an intra mode flag is provided in order to perform processing by the corrector 11 of FIG. That is, in the case of an intra macroblock in the bit stream indicating MPEG2 image compression information to be input, an intra mode flag is set.
[0022]
If the macroblock is a skip macroblock, the motion vector information of each block is set to 0 in step ST-3.
[0023]
If the macroblock is an inter macroblock, it is determined in step ST-4 whether it is frame prediction or field prediction. If the image has a frame structure and frame prediction, in step ST-5, conversion to a motion vector suitable for frame prediction is performed. FIG. 9 shows a conceptual diagram of motion vector conversion in that case. As described with reference to FIG. 3, the horizontal component of the motion vector information after conversion is obtained from the horizontal component of the motion vector information before conversion and the horizontal resolution conversion ratio of the image. The vertical component is obtained from the vertical component of the motion vector information before conversion and the resolution conversion ratio in the vertical direction of the image. That is, when the horizontal resolution is converted to ½, the horizontal component of the converted motion vector information is also ½ before the conversion. When the vertical resolution is converted to ½, the vertical component of the converted motion vector information is also ½ before the conversion. For example, the motion vector information shown in FIG. 9 changes from (8, 12) before conversion in FIG. 9A to (4, 6) after conversion in FIG. 9B. In this case, the interval between intermediate values (half pixels) of integer pixels is 1. Before the resolution conversion in FIG. 9A, black circles indicate the positions of integer pixels, and squares indicate the positions of half pixels. Half pixels after resolution conversion are indicated by white circles. As can be seen from the figure, the motion vector information shown at the position of the integer pixel before conversion is shown at the position of the integer pixel or half pixel after conversion. The motion vector information shown at the position of the half pixel before conversion has no reference pixel after resolution conversion. Therefore, the converted motion vector information also indicates the position of the half pixel of the predicted image. Originally, since the decoded image signal includes distortion due to quantization, if it is used as a predicted image as it is, the prediction efficiency may be reduced and image quality may be deteriorated. In order to reduce this, a half-pixel accuracy obtained by linearly interpolating 1: 1 between pixels on a reference screen corresponding to a low-pass filter may be selected, thereby avoiding image quality degradation. . Therefore, in the process in the MPEG4 image information encoding device 7, in order to improve prediction efficiency and prevent image quality deterioration, if the motion vector information is shown at a half pixel position in MPEG4, the MPEG4 image compression information is indicated. Even when converted to a bit stream, conversion is performed as shown in the half pixel position. The correspondence relationship between the pre-conversion and post-conversion motion vector information is shown in the table of FIG.
[0024]
Next, when it is determined in step ST-4 that the image has a frame structure and is field prediction, the process proceeds to step ST-6 to determine whether it is first field prediction or second field prediction. Do. First, when it is the first field prediction, the process proceeds to step ST-7, and the field is converted into a motion vector suitable for the first field prediction. FIG. 11 shows a conceptual diagram of the motion vector conversion. The horizontal component of the motion vector information is processed in the same way as in FIG. The vertical direction makes it possible to convert the resolution to ½ by extracting the first field. Further, since the first field prediction is also performed for the prediction, the motion vector information before the conversion becomes the motion vector information after the conversion as it is.
[0025]
If it is determined in step ST-6 that the second field prediction is to be performed, the process proceeds to step ST-8 to convert the field prediction into a motion vector suitable for the second field prediction. The conceptual diagram of the motion vector conversion in the case of the second field prediction is shown in FIGS. Since only the first field is extracted when the resolution is converted, the pixel value of the first field is used as a reference image after the conversion. Therefore, the spatio-temporal correction of the motion vector information is performed so that the pixel value of the second field used as the predicted image in MPEG2 is converted into the first field prediction after resolution conversion. FIG. 12 is a diagram showing a technique for performing spatial correction for approximately converting from the second field prediction to the first field prediction. That is, 1 is added to the vertical component of the motion vector information. As can be seen from the figure, when 1 is added to the vertical component of the motion vector information obtained in the second field prediction, the second field is corrected to the same phase as the first field by moving up one row, and the spatial Thus, the motion vector information obtained by the first field prediction is obtained. The following equation (1) is obtained by predicting a second field in the same spatial position as the first field, that is, an approximate first field, by spatial correction._topRepresents the vertical component of.
[0026]
[Expression 1]
Vertical component: Approximate MV_top= MV_bottom+1
[0027]
Further, in the MPEG2 image compression information for interlaced scanning, there is a time lag between the first field and the second field. Therefore, the time lag between the first field approximated from the second field and the actual first field is corrected. FIG. 13 shows the temporal positional relationship of each field. Here, when the interval between the first field and the second field is 1, and a is the interval between the second field of the I picture and the first field of the P picture, a is as follows: 1, 3, 5, 7,. Become an odd number. If a is 1, the image configuration is IPPP. The time-corrected motion vector MV ′ is shown in Equation 2.
[0028]
[Expression 2]
Vertical component: MV ′ = {(a + 1) / a} · approximate MV_top
[0029]
By substituting Equation 1 into Equation 2, the vertical component of the motion vector information after conversion becomes Equation 3.
[0030]
[Equation 3]
Vertical component: MV ′ = {(a + 1) / a} · (MV_bottom+1)
[0031]
Note that the horizontal component of the motion vector information after conversion is obtained based on the operation principle shown in FIG. 10 after multiplying the motion vector information before conversion by (a + 1) / a and performing temporal correction. .
[0032]
Spatial correction may be performed after performing temporal correction on the vertical component of the motion vector information as necessary. In this case, the vertical component of the motion vector MV ′ is shown in Equation 4. The horizontal component has the same value for space / time correction (time correction is performed after the space correction is performed) and time / space correction (space correction is performed after the time correction is performed).
[0033]
[Expression 4]
Vertical component: MV ′ = {(a + 1) / a} · MV_bottom+1
[0034]
The difference between Equation 3 and Equation 4, that is, the difference between the vertical components of the motion vector information when the space / time correction is performed and when the time / space correction is performed is 1 / a. Therefore, since the influence of the difference differs depending on the value of a, the correction method in the case where a is 1 and the case where it is larger than 1, that is, 3, 5, 7,.
[0035]
First, in the case of a = 1, if 1 is substituted into “a” in Equation 3, the vertical component of the motion vector information becomes Equation 5.
[0036]
[Equation 5]
Vertical component: MV ′ = 2 × (MV_bottom+1)
[0037]
When 1 is substituted into a in the equation (4), the vertical component of the motion vector information becomes the equation (6).
[0038]
[Formula 6]
Vertical component: MV ′ = 2 × (MV_bottom+1) -1
[0039]
As a result, the motion vector MV before conversion_bottomWhen 0, 1, 2,... Is substituted into, the value of the formula 5 becomes an even number such as 2, 4, 6,. That is, when the space / time correction is performed, the motion vector information before conversion indicates the phase of the integer pixel after conversion, whether it indicates the phase of the integer pixel or the phase of the half pixel. Further, the value according to the equation 6 is an odd number such as 1, 3, 5,. That is, when time / space correction is performed, the motion vector information before conversion indicates the phase of an integer pixel and the phase of a half pixel after conversion, regardless of whether it exists in the phase of a half pixel. . Therefore, the motion vector information indicating the phase of the integer pixel before conversion is subjected to space / time correction so as to indicate the phase of the integer pixel even after conversion. In addition, the motion vector information indicated at the position of the first half pixel is subjected to time / space correction so as to be indicated at the half pixel position after the conversion.
[0040]
After the above motion vector conversion process is completed, 8 × 8 motion vector information of MPEG4 before correction is output. The output 8 × 8 motion vector information is transmitted to a motion vector adjuster 9 (FIG. 7) using an image size adjustment flag, and a motion vector suitable for the image size is input from an externally input image size adjustment flag. Output information.
[0041]
A flowchart in the motion vector adjuster 9 based on the image size adjustment flag is shown in FIG. 14 and will be described below. In step ST-11, it is determined whether m / 2 and n / 2 are multiples of 16 for the input image size m pixels × n pixels. If YES, the motion vector conversion of FIG. The MPEG4 8 × 8 motion vector information output from the device 6 is output as it is without being processed. If NO in step ST-11, that is, if either m / 2 or n / 2 is not a multiple of 16, the process proceeds to step ST-12, and the image size adjustment flag input from the outside is activated. It is determined whether or not the pixel is removed, and in the case of pixel removal, the other 8 × 8 motion vector information is output without outputting the 8 × 8 motion vector information of the removed 8 pixels. To do. If the determination in step ST-12 is NO, the process proceeds to step ST-13 to determine whether or not pixel compensation is performed. If YES, that is, in the case of pixel compensation, 8 × 8 × 8 pixels that have been supplemented. 8 motion vector information is set to 0, and is output together with other input 8 × 8 motion vector information.
[0042]
Returning to FIG. 7 again, the 8 × 8 motion vector information suitable for the image size output from the adjuster 9 to the motion vector based on the image size adjustment flag is the 8 × 8 motion vector of MPEG4 → MPEG4. 16 × 16 motion vector conversion device 10. Hereinafter, an operation in which 8 × 8 motion vector information is converted by the MPEG4 8 × 8 motion vector → MPEG4 16 × 16 motion vector conversion apparatus 10 will be described.
[0043]
As a first method, an average obtained by dividing the sum of motion vectors of blocks converted from non-intra macro blocks by the number of blocks converted from inter macro blocks among four blocks constituting the macro block is 16 × 16. Is output as motion vector information.
[0044]
As a second method, in the MPEG4 8 × 8 motion vector → MPEG4 16 × 16 motion vector converter 10, the MPEG2 16 × 16 motion vector → MPEG4 8 × 8 motion vector converter 8 Among the generated MPEG4 8 × 8 motion vector information for the macroblock, the one generated from the macroblock considered to have the highest encoding efficiency is selected, and the MPEG4 16 × 16 motion vector information is selected. Output.
[0045]
The coding efficiency is determined based on information for each macroblock in the bit stream indicating MPEG2 image compression information that is input to the image information conversion apparatus. The first method is a method in which, among the four macroblocks, the macroblock with the fewest non-zero DCT coefficients has high coding efficiency. The second method is a method in which, among the four macroblocks, the macroblock having the smallest number of bits allocated to the DCT coefficient of the luminance component is set to have high coding efficiency. The third method is a method in which, among the four macroblocks, the macroblock having the smallest number of bits allocated to the DCT coefficient is set to have high coding efficiency. The fourth method is a method in which, among the four macroblocks, a macroblock including the motion vector information and having the smallest total number of bits allocated to the macroblock has high coding efficiency. The fifth method is a method in which the encoding efficiency of a macroblock having the smallest assigned quantization scale among the four macroblocks is high. The sixth method is a method in which the encoding efficiency of the macroblock with the lowest complexity among the four macroblocks is high. The complexity X assigned to each macroblock is calculated as follows using the quantization scale Q and the number of bits B assigned to the macroblock.
[0046]
[Expression 7]
X = Q · B
[0047]
Here, B may be the number of bits assigned to the entire macroblock, the number of bits assigned to the DCT coefficient, or the number of bits assigned to the DCT coefficient assigned to the luminance component.
[0048]
In FIG. 7, as a third method in the MPEG4 8 × 8 motion vector → MPEG4 16 × 16 motion vector conversion apparatus 10, the MPEG2 16 × 16 motion vector → MPEG4 8 × 8 motion vector conversion apparatus Among the 8 × 8 motion vector information of MPEG4 for the macroblock generated in 8, those generated from the macroblock considered to have the highest weight are counted twice and a total of 5 × 8 × 8 Among the motion vector information, the one having the highest encoding efficiency of the motion vector information having an intermediate length is selected and output as MPEG4 16 × 16 motion vector information. Here, the comparison of the lengths of the motion vectors uses the sum of the square roots of the respective lengths in the horizontal direction and the vertical direction, and the process of obtaining the square root is omitted.
[0049]
The determination of the weighting is performed based on information for each macroblock in the bit stream indicating the MPEG2 image compression information to be input. That is, the first method is a method in which a macroblock having the least non-zero DCT coefficient among four macroblocks is given high weight. The second method is a method in which the macroblock having the smallest number of bits allocated to the DCT coefficient of the luminance component among the four macroblocks is given high weight. The third method is a method in which the macroblock having the smallest number of bits allocated to the DCT coefficient among the four macroblocks is given high weight. The fourth method is a method in which the macroblock with the smallest number of all bits allocated to the macroblock including the motion vector among the four macroblocks is given a high weight. The fifth method is a method in which a macroblock having the smallest assigned quantization scale among the four macroblocks is given high weight. The sixth method is a method in which the weight of the macroblock having the lowest complexity among the four macroblocks is set high. The complexity X assigned to each macroblock is calculated based on the equation (7) using the quantization scale Q and the number of bits B assigned to the macroblock. B may be the number of bits allocated to the entire macroblock, the number of bits allocated to the DCT coefficient, or the number of bits allocated to the DCT coefficient allocated to the luminance component.
[0050]
On the other hand, 8 × 8 motion vector information suitable for the image size output from the motion vector adjuster 9 based on the image size adjustment flag is input to the motion vector corrector 11 for the MPEG2 intra macroblock. Therefore, in the bit stream indicating the MPEG2 image compression information, the 8 × 8 motion vector information of the block converted from the intra macroblock is the MPEG4 8 × 8 motion vector → MPEG4 16 × 16 motion vector. The 16 × 16 motion vector information obtained by the conversion device 10 is replaced and corrected. The corrected 8 × 8 motion vector information and the MPEG4 8 × 8 motion vector → 16 × 16 motion vector information obtained by the MPEG4 16 × 16 motion vector converter 10 are combined to obtain the MPEG4 motion vector. Output as information.
[0051]
FIG. 15 is a diagram for explaining the operation of the motion vector corrector 11 for the MPEG2 intra macroblock in FIG. When 8 × 8 motion vector information suitable for the image size is input to the corrector 11 for the MPEG2 intra macroblock and the intra mode flag is set, that is, in the bitstream indicating the MPEG2 image compression information, the intra macro is used. In the case of a block, the movable contact m of the switch SW is switched to the fixed contact a side, and the motion vector information of the 8 × 8 block converted from the intra macroblock is converted into the 8 × 8 motion vector of MPEG4 → MPEG4. It is replaced with 16 × 16 motion vector information obtained from the 16 × 16 motion vector conversion device 10. Alternatively, the motion vector information converted from the motion vector information of the inter macroblock existing around the intra macroblock may be replaced. Furthermore, motion vector information converted from the motion vector information of the inter macro block closest to the intra macro block may be used. When all four blocks are converted from intra macroblocks, the motion vector of all four blocks is 0, and the MPEG4 8 × 8 motion vector → MPEG4 16 × 16 motion vector conversion device 10 obtains 16 ×. Since the 16 motion vectors are also 0, the motion vector used for MPEG4 image encoding is 0, and the macroblock type is the intra mode. If the intra mode flag is not raised, that is, if there is no intra macroblock in MPEG2, the movable contact m of the switch SW is switched to the fixed contact b side, and the input 8 × 8 motion vector information is output as it is. Is done.
[0052]
Next, a case where the generated motion vector information is re-searched will be described. A conceptual diagram of motion vector conversion when an image has a frame structure and frame prediction for an inter macroblock is as shown in FIG. As can be seen, the motion vector information indicating the phase of the integer pixel before conversion indicates the phase of the integer pixel or half pixel after conversion, but the motion vector information indicating the phase of the half pixel before conversion is after the resolution conversion. There is no reference pixel. In such a case, the converted motion vector information also indicates the nearest integer pixel position of the predicted image. This is because the center pixel value of the search window is set to an integer pixel when the motion vector peripheral pixels are searched again later in the motion vector correction. First, the motion vector information of an integer pixel with the smallest prediction error in the search window is obtained, and then the 9 half pixel values around the integer pixel are searched to reduce the processing steps. The correspondence between the pre-conversion and post-conversion motion vector information is as shown in FIG. Although it is conceivable that the half-pixel motion vector information shown in FIG. 9 of the conventional example is generated first and the search is performed centering on this, the processing amount is increased.
[0053]
This is a case where the image has a frame structure and field prediction. First, for the first field prediction, a conceptual diagram of motion vector conversion is as shown in FIG. That is, the horizontal component of the motion vector information is processed in the same manner as in the frame structure and frame prediction. The vertical direction makes it possible to convert the resolution to ½ by extracting the first field. Further, since the first field prediction is also performed for the prediction, the motion vector information before the conversion becomes the motion vector information after the conversion as it is.
[0054]
A conceptual diagram of motion vector conversion in the case of the second field prediction is as shown in FIG. That is, since only the first field is extracted when the resolution is converted, the pixel value of the first field is used as the reference image after the conversion. The line correction of the field and the motion vector correction in the time direction are corrected by a method similar to that shown in FIG. 12 of the conventional example, and then the horizontal pixel value indicates an integer pixel after conversion. The same processing as in the case of frame prediction is performed.
[0055]
FIG. 16 shows the configuration of the motion vector conversion apparatus. That is, 12 is an MPEG2 → MPEG4 8 × 8MV conversion device, 13 is a motion vector integer pixel search device, 14 is an 8 × 8MV → 16 × 16MV synthesis device, 15 is a motion vector integer pixel search device, and 16 is a motion vector half pixel. A search device.
[0056]
First, in the MPEG2 → MPEG4 8 × 8 MV converter 12, motion vector information is spatially and temporally corrected to generate 8 × 8 motion vector information. Next, the motion vector integer pixel search device 13 performs re-search processing of 8 × 8 motion vector information. For example, the search search window is searched by integer pixels and vertically and horizontally by 2 pixels, centering on the reference destination of the generated 8 × 8 motion vector information. As a result, it is possible to improve the prediction accuracy of 8 × 8 motion vector information. Next, for each of the four 8 × 8 motion vector information constituting one macroblock, the re-searched prediction error and the 8 × 8 motion vector information subjected to the re-search processing are converted into 8 × 8 MV → 16. X16 MV is input to the synthesizer 14.
[0057]
The 8 × 8 motion vector information is extracted from the 8 × 8 MV → 16 × 16 MV synthesizing apparatus 14 with respect to the four 8 × 8 motion vector information, and the motion vector information having the smallest prediction residual obtained during the re-search is extracted. And assigned to 16 × 16 motion vector information. Next, the motion vector integer pixel search device 15 performs a re-search process on the generated 16 × 16 motion vector information to improve the prediction accuracy of the 16 × 16 motion vector information. Thus, MPEG4 8 × 8 motion vector information and 16 × 16 motion vector information are generated and output. The output 8 × 8 motion vector information and 16 × 16 motion vector information are respectively input to the half-pixel search device 16, and 8 × 8 motion vector information and 16 × 16 motion vector information are obtained with half-pixel accuracy. Is output.
[0058]
The motion vector integer pixel search devices 13 and 15 select the integer pixel motion vector having the smallest predicted pixel value in the designated search window, and then the half pixel search device 16 selects the minimum prediction error selected by the integer pixel value. The nine half pixel values around the motion vector are searched, and the optimum motion vector value with the least prediction error is output.
[0059]
By the way, in the image information conversion apparatus shown in FIG. 2, only the B picture of the bit stream indicating the MPEG2 image compression information to be input is discarded. For example, when the MPEG2 image compression information to be input is 30 Hz, The bit stream indicating the MPEG4 image compression information to be output is 10 Hz. However, depending on the picture and the code amount (bit rate) of the bit stream indicating the MPEG4 image compression information to be output, good image quality may not be obtained even using the image information conversion apparatus shown in FIG. In such a case, it is conceivable to convert not only the B picture but also every other I or P picture into a bit stream indicating 5 Hz MPEG4 image compression information.
[0060]
FIG. 17 shows a picture coding type (picture-coding-type) in a bitstream indicating MPEG2 image compression information as an input and a bitstream indicating MPEG4 image compression information as an output when performing such conversion. An example of the correspondence of the buoy coding type {vop (Video Object Plane) -coding-type} in FIG. A bit stream indicating 30 Hz MPEG2 image compression information having a GOP (image groove) structure of n = 15; m = 3, and a GOV (Group of VOP, VOP: Video Object Plane) structure of n = 5; m = 1 When converting to a bit stream indicating 5 Hz MPEG4 image compression information, every other I picture and P picture are extracted from the input bitstream indicating MPEG2 image compression information, and MPEG4 image compression is performed. Converts to a bitstream indicating information. In the example of FIG. 17, since 2 GOP of the bit stream indicating MPEG2 image compression information to be input corresponds to 1 GOV of the bit stream indicating MPEG4 image compression information, the P picture is discarded and the I picture is discarded. There are cases. There are two methods for obtaining the motion vector information of MPEG4 from the motion vector information of MPEG2: a method of expanding the motion vector information and a method of adding the motion vector information. Of these, a motion vector with high encoding efficiency is considered. Information is adaptively selected and output as MPEG4 motion vector information, and MPEG4 image encoding processing is performed.
[0061]
A motion vector conversion apparatus that performs such adaptive selection is shown in FIG. 18 and will be described below. That is, 17 is an MV and MB information buffer, 18 is an addition vector determination device, 19 is a reference MB address calculation device, 20 is a motion vector space / time correction device, 21 is an MV re-search device, 22 is a motion vector expansion space, A time correction device, 23 is an MV re-search device, 24 is an 8 × 8 MV selection device, 25 is an 8 × 8 MV → 16 × 16 MV synthesis device, and 26 is a 16 × 16 MV re-search device.
[0062]
Hereinafter, a method for synthesizing motion vector information by expansion and a method for synthesizing by adding together will be described. FIG. 19 shows a method of combining motion vector information by decompression. In the bit stream indicating MPEG2 image compression information to be input and no motion vector information exists in the I picture, the motion vector information of the discarded I picture is added to the motion vector information of the macroblock in the P picture. It is impossible to add motion vector information together. Therefore, based on the above method, the motion vector information of the macroblock is subjected to space / time correction by scaling, and the size of the motion vector information converted from the I or P picture immediately before the discarded I picture is set. Stretch 2 times. Thereby, the VOP converted from the I or P picture immediately before the frame in which the motion vector information of the P-VOP is discarded is referred to. In this way, the motion vector information expanded by a factor of 2 in the time direction after scaling by space / time correction is generated and output as 8 × 8 motion vector information. A similar method can be applied when discarding a P picture.
[0063]
A method of adding motion vector information will be described with reference to FIGS. 20, 21, 22, and 23. First, FIG. 20 shows a conceptual diagram of a method for synthesizing motion vector information by addition. Since the macroblock included in the P picture to be discarded has motion vector information, the motion vector information of the P picture to be discarded is added to the motion vector information of the macroblock. Motion vector information referring to the frame is generated. As shown in FIG. 20, the motion vector information of the macroblock refers to the discarded frame, but the pixel referred to at this time straddles a plurality of macroblocks. FIG. 21 shows how the reference pixel overlaps a plurality of macroblocks. As can be seen, the reference pixel may overlap one, two, or four macroblocks. The motion vector information of the P picture to be discarded, the macroblock mode and the prediction mode or the number of bits, or the quantization scale is stored in the MB and MV information buffer 17 in units of frames for later synthesis of motion vector information. To do. In the macro book that performs the motion vector conversion from MPEG2 to MPEG4, first, the coordinates that the motion vector refers to on the discarded P frame are calculated. When overlapping a plurality of macroblocks, the priority order of the macroblocks is determined based on a predetermined parameter X. That is, the first method sets X to the number of pixels overlapping the macroblock, the second method sets X to the number of pixels overlapping the macroblock / the number of macroblock bits, and the third method sets X to the macroblock. Is the number of pixels that overlap each other / quantization scale. In the fourth method, X is the number of pixels that overlap macroblocks / (number of macroblock bits × quantization scale), and in the fifth method, X is 1 / macro. In the sixth method, X is 1 / quantization scale, and in the seventh method, X is 1 / (macroblock bit number × quantization scale). The largest parameter X is the maximum value, and the smallest parameter X is the minimum value.
[0064]
FIG. 22 shows a flowchart when a frame to be discarded is a P picture and motion vector information is synthesized by addition. First, in step ST-21, the macroblock mode is NotCoded among one, two, or four macroblocks constituting the macroblock that overlap with the pixel referred to by the MPEG2 motion vector information of the macroblock. In addition, a macroblock whose overlapping pixel value is equal to or greater than the threshold value T is searched. The threshold T is, for example, 100 pixels. If the determination in step ST-21 is YES, that is, if even one of the overlapping macroblocks contains a NotCoded macroblock, the process proceeds to step ST-22 and the macro of the NotCoded with the smallest macroblock address is entered. Select motion vector information for a block. Here, “NotCoded” refers to a macroblock mode that means that no DCT coefficient bits are generated in MPEG2.
[0065]
When the determination in step ST-21 is NO, the process proceeds to step ST-23, where one or two or four constituting the macroblock overlapped with the pixel to which the motion vector information of MPEG2 of the macroblock refers. Among the macroblocks, a macroblock whose macroblock mode is NoMC and whose overlapping pixel value is equal to or greater than a threshold value T is searched. If the determination in step ST-23 is YES, that is, if even one of the overlapping macroblocks contains a NoMC macroblock, the process proceeds to step ST-24, and the macroblock address with the smallest macroblock address is included. Select motion vector information for a macroblock. If NotCoded and NoMC exist in the overlapped macroblock among one, two, or four macroblocks constituting the macroblock that overlap with the pixel to which the MPEG2 motion vector information of the macroblock refers The process proceeds to ST-25 to determine whether or not the macroblock mode is an intra macroblock. If NO, the process proceeds to step ST-28. If YES, the process proceeds to step ST-26. It is determined whether or not the current macroblock mode is an intra macroblock. If NO in step ST-26, the process returns to step ST-25, and if YES, 0 motion vector information is selected. That is, it is determined whether or not the macro block mode is an intra macro block in order from the macro block having the largest parameter X (step ST-26). If the reference macroblock is an intra macroblock, it is determined whether the macroblock with the next largest parameter X is an intra macroblock (step ST-26). If all the macroblocks that overlap with the pixel to which the macroblock refers are intra macroblocks (step ST-25), 0 motion vector information is selected (step ST-27). When the inter macro block is searched, the process proceeds to the next determination routine. Here, “NoMC” refers to a macroblock mode which means that the motion vector is (0, 0) in MPEG2.
[0066]
When the determination in step ST-25 is NO and the macro block mode is not an intra macro block but an inter macro block, the process proceeds to step ST-28, and the prediction mode refers to the field referring to the second field. It is determined whether it is prediction. If the determination in step ST-28 is YES, that is, if field prediction refers to the second field, the process proceeds to step ST-28, and the same determination is performed for the reference macroblock having the next largest parameter X. In step ST-29, it is determined whether or not N (number of intra macroblocks) reference macroblocks is field prediction referring to the second field. If YES, the process proceeds to step ST-30. Thus, the motion vector information of the reference macroblock having the largest parameter X is selected. N is a predetermined number and has a value of 1 to 4.
[0067]
When the determination in step ST-28 is NO, that is, when a macroblock that is not field prediction referring to the second field is searched, the process proceeds to step ST-31, and motion vector information of the macroblock is selected. .
[0068]
In this way, motion vector information to be added to the motion vector information of the macroblock is selected.
[0069]
With reference to FIG. 23, time correction of motion vector information referring to the second field will be described. The scaling method of the added motion vector information is performed by the same method as the scaling method for performing space / time correction of the motion vector information described in the prior art. Therefore, when the added motion vector information refers to the second field of the reference frame, field correction is performed on the vertical component of the motion vector information, and the motion vector is expanded by one field interval as vector correction in the time direction. To do. As shown in the figure, the field interval between the field and the second field to be referred to is a. Therefore, (a + 1) / a is applied to the motion vector to perform time correction for one field. In this way, 8 × 8 motion vector information is obtained and output.
[0070]
Referring to FIG. 18 again, when the discarded frame is one picture, the input MPEG2 motion vector information is transmitted to the motion vector expansion space / time correction device 22, and when it is a P picture, MV And the MB information buffer 17 and the motion vector expansion space / time correction device 22.
[0071]
The MV and MB information buffer 17 stores the motion vector information and macroblock prediction mode of the P picture to be discarded, the bit amount for each macroblock, and the quantization scale in units of frames. In the reference MB address calculation device 19, the motion vector information of the next P picture of the P picture to be discarded is input, and the reference position of the macroblock is calculated. The reference position of the motion vector is input to the addition motion vector determination device 18, and the address of the macroblock included in the P picture to be discarded that overlaps the reference pixel is calculated based on the reference position. The addition motion vector determination device 18 uses this information to perform processing based on the above-described method for selecting the addition motion vector information, and outputs motion vector information. The output motion vector information is added (synthesized) with the motion vector information of the macroblock, and synthesized motion vector information is generated. Next, the synthesized motion vector information is input to the motion vector space / time correction device 20, and converted by the above-described space / time correction scaling to generate motion vector information. Motion vector expansion In the spatio-temporal correction device 22, MPEG4 8 × 8 motion vector information is obtained by the expansion method by the above-described method, and this MPEG4 8 × 8 motion vector information is obtained by the MV re-search device 23. Increased accuracy. The motion vector information output from the MV re-search devices 21 and 23 is input to the 8 × 8 MV selection device 24, and motion vector information with a smaller prediction residual is output as 8 × 8 motion vector information. The 8 × 8 MV → 16 × 16 MV synthesizer 25 synthesizes 16 × 16 motion vector information based on the 8 × 8 motion vector information output from the 8 × 8 MV selector 24 by the above-described method. In the 16 × 16 MV re-search device 25, the 16 × 16 motion vector information generated in the 8 × 8 MV → 16 × 16 MV synthesizing device 25 is refined by searching the surrounding pixels. As a result, 8 × 8 motion vector information and 16 × 16 motion vector information of MPEG4 are generated and output.
[0072]
[Problems to be solved by the invention]
By the way, in the motion vector conversion apparatus shown in FIG. 18, first, the MPEG4 8 × 8 motion vector information is synthesized by two methods of expansion and addition, and the one with the higher prediction efficiency is selected. Using this, MPEG4 16 × 16 motion vector information is synthesized. However, the prediction efficiency of MPEG4 8 × 8 motion vector information is higher when combined using decompression, but the prediction efficiency is higher when MPEG4 16 × 16 motion vector information is combined using addition. In such a case, the motion vector conversion apparatus shown in FIG. 18 causes a decrease in prediction efficiency.
[0073]
In view of such a point, the present invention receives a bit stream indicating MPEG2 image compression information for interlaced scanning as an input, outputs a bit stream indicating MPEG4 image compression information for progressive scanning, and inputs MPEG2 image compression as an input. Indicates MPEG2 image compression information as an input in an image information conversion method that realizes frame rate conversion by discarding a B-picture of a bitstream indicating information and also discarding every other I or P picture Let's propose a motion vector conversion method that generates an MPEG4 8x8 motion vector and an MPEG4 16x16 motion vector using an MPEG2 16x16 motion vector in a bitstream as an input and that does not reduce the prediction efficiency. It is what.
[0074]
Further, the present invention inputs a bit stream indicating MPEG2 image compression information of interlaced scanning as an input, outputs a bit stream indicating MPEG4 image compression information of progressive scanning, and indicates MPEG2 image compression information as an input. In a bitstream indicating MPEG2 image compression information to be input in an image information conversion apparatus that realizes frame rate conversion by discarding a B-picture of a bitstream and also discarding every other I or P picture A motion vector conversion apparatus that uses an MPEG2 16 × 16 motion vector as an input and generates an MPEG4 8 × 8 motion vector and an MPEG4 16 × 16 motion vector that does not reduce the prediction efficiency. It is.
[0075]
[Means for Solving the Problems]
  According to a first aspect of the present invention, a bitstream indicating MPEG2 image compression information for interlaced scanning is input, a bitstream indicating MPEG4 image compression information for progressive scanning is output, and MPEG2 image compression information is input. MPEG2 image compression information as input in a motion vector conversion method in an image information conversion method that realizes frame rate conversion by discarding a B-picture of a bitstream and also discarding every other I or P picture A motion vector conversion method for generating an MPEG4 8 × 8 motion vector and an MPEG4 16 × 16 motion vector by using an MPEG2 16 × 16 motion vector in a bitstream indicating
  The bit stream indicating the MPEG2 image compression information to be inputThis is done by discarding every other I or P pictureMPEG4 8x8Combining motion vector informationWhen the I picture is discarded, the motion vector information of the next picture of the picture to be discarded is only expanded by a factor of two. When the P picture is discarded, the expansion and the information of the discarded picture A first step performed by two methods of adding motion vector information of a picture to be discarded to motion vector information of a next picture;
  A second step of synthesizing MPEG4 16 × 16 motion vector information from the MPEG4 8 × 8 motion vector information synthesized by the expansion in the first step;
  A third step of synthesizing MPEG4 16 × 16 motion vector information from the MPEG4 8 × 8 motion vector information synthesized by the addition in the first step when the P picture is discarded;
  When the I picture is discarded, the MPEG4 8 × 8 motion vector information synthesized by the expansion in the first step is selected as it is, and when the P picture is discarded, the first step A fourth step of selecting the one with the highest prediction efficiency from the 8 × 8 motion vector information of MPEG4 synthesized by the two methods of extension and addition in the above;
  When the I picture is discarded, the 16 × 16 motion vector information of MPEG4 synthesized by the expansion in the second step is selected as it is, and when the P picture is discarded, the second step The MPEG4 16 × 16 motion vector information synthesized by the expansion in step 3 and the MPEG4 16 × 16 motion vector information synthesized by the addition in the third step are selected to select the one having the higher prediction efficiency. And the steps
  And a seventh step of outputting the MPEG4 8 × 8 motion vector information and the MPEG4 16 × 16 motion vector information selected in the fourth and fifth steps as MPEG4 motion vector information.This is a motion vector conversion method.
[0076]
  According to the first invention,As a first step, a bitstream indicating MPEG2 image compression information to be inputThis is done by discarding every other I or P pictureMPEG4 8x8Combining motion vector informationWhen the I picture is discarded, the motion vector information of the next picture of the picture to be discarded is only expanded by a factor of two. When the P picture is discarded, the expansion and the information of the discarded picture The motion vector information of the next picture is added to the motion vector information of the next picture.
  Next, as a second step, MPEG4 16 × 16 motion vector information is synthesized from the MPEG4 8 × 8 motion vector information synthesized by the above-described decompression in the first step. When the P picture is discarded, as a third step, MPEG4 16 × 16 motion vector information is converted from the MPEG4 8 × 8 motion vector information synthesized by the addition in the first step. Synthesize.
  Next, as the fourth step, when the I picture is discarded, the 8 × 8 motion vector information of MPEG4 synthesized by the expansion in the first step is selected as it is, and the P picture is discarded. Is selected from the MPEG4 8 × 8 motion vector information synthesized by the above-mentioned two methods of expansion and addition in the first step, which has higher prediction efficiency. Further, as the fifth step, when the I picture is discarded, the 16 × 16 motion vector information of MPEG4 synthesized by the expansion in the second step is selected as it is, and the P picture is discarded. Of the MPEG4 16 × 16 motion vector information synthesized by the expansion in the second step and the MPEG4 16 × 16 motion vector information synthesized by the addition in the third step. Select the higher one.
  As a sixth step, the MPEG4 8 × 8 motion vector information and the MPEG4 16 × 16 motion vector information selected in the fourth and fifth steps are output as MPEG4 motion vector information.
[0077]
  According to a second aspect of the present invention, a bit stream indicating MPEG2 image compression information for interlaced scanning is input, a bit stream indicating MPEG4 image compression information for progressive scanning is output, and MPEG2 image compression information to be input is indicated. MPEG2 image compression information to be input in a motion vector conversion device in an image information conversion device that realizes frame rate conversion by discarding a B-picture of a bitstream and also discarding every other I or P picture A motion vector conversion device that generates an MPEG4 8 × 8 motion vector and an MPEG4 16 × 16 motion vector by using an MPEG2 16 × 16 motion vector in a bitstream indicating:
  The bit stream indicating the MPEG2 image compression information to be inputThis is done by discarding every other I or P pictureMPEG4 8x8Combining motion vector informationWhen the I picture is discarded, the motion vector information of the next picture of the picture to be discarded is only expanded by a factor of two. When the P picture is discarded, the expansion and the information of the discarded picture This is done by two methods: adding the motion vector information of the picture to be discarded to the motion vector information of the next picture.First synthesis means;
  Second synthesizing means for synthesizing 16 × 16 motion vector information of MPEG4 from 8 × 8 motion vector information of MPEG4 synthesized by the expansion by the first synthesizing means;
  A third synthesizing unit that synthesizes MPEG4 16 × 16 motion vector information from the MPEG4 8 × 8 motion vector information synthesized by the addition by the first synthesizing unit when the P picture is discarded; ,
  When the I picture is discarded, the MPEG4 8 × 8 motion vector information synthesized by the decompression by the first synthesizing means is selected as it is, and when the P picture is discarded, the first picture is First selecting means for selecting the one with the highest prediction efficiency among the 8 × 8 motion vector information of MPEG4 synthesized by the synthesis means by the two methods of expansion and addition;
  When the I picture is discarded, the 16 × 16 motion vector information of MPEG4 synthesized by the decompression by the second synthesizing means is selected as it is, and when the P picture is discarded, the second picture Of the MPEG4 16 × 16 motion vector information synthesized by the above-mentioned decompression by the synthesizing means and the MPEG4 16 × 16 motion vector information synthesized by the above-mentioned third synthesizing means, the one with the higher prediction efficiency is selected. Second selection means to
  The MPEG4 8 × 8 motion vector information and the MPEG4 16 × 16 motion vector information selected by the first and second selection means are output as MPEG4 motion vector information.It is a motion vector conversion device.
[0082]
  First3According to the present invention, in the motion vector conversion method of the first invention,If the P picture is discarded,Regarding the first P-VOP (Video Object Plane) in the GOV or the GOV immediately after the scene change,In the first to third steps, the aboveStretching andthe aboveTwo ways of addingMPEG4 8x8 motion vector information and MPEG4 16x16Combining motion vector information,In the fourth and fifth steps aboveSelect and output the one with the highest prediction efficiency,the aboveStretch andthe aboveInformation relating to which method of addition is selected is stored in the storage means for each of the MPEG4 8 × 8 motion vector information and the MPEG4 16 × 16 motion vector information. ,MPEG4 in the first to third stepsEach of 8 × 8 motion vector information and MPEG4 16 × 16 motion vector information is synthesized based on the information stored in the storage means,In the fourth and fifth steps aboveBased on predicted efficiencyDo not selectThis is a motion vector conversion method.
[0087]
  First4The invention of the second aspect is the motion vector conversion device of the second invention,If the P picture is discarded,Regarding the first P-VOP (Video Object Plane) in the GOV or the GOV immediately after the scene change,The first to third synthesis meansStretching andthe aboveTwo ways of addingMPEG4 8x8 motion vector information and MPEG4 16x16Combining motion vector information,With the first and second selection meansSelect and output the one with the highest prediction efficiency,the aboveStretch andthe aboveInformation relating to which method of addition is selected is stored in the storage means for each of the MPEG4 8 × 8 motion vector information and the MPEG4 16 × 16 motion vector information. ,MPEG4 of the first to third synthesis meansEach of 8 × 8 motion vector information and MPEG4 16 × 16 motion vector information is synthesized based on the information stored in the storage means,In the first and second selection means,Based on predicted efficiencyDo not selectIt is a motion vector conversion device.
[0088]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, with reference to FIG. 24, an example of a motion vector conversion method and a conversion apparatus according to the embodiment of the present invention will be described.
[0089]
  FIG. 24 shows an example of the motion vector conversion apparatus, which will be described below. In FIG. 24, 27 is an MV and MB information buffer, 28 is an addition motion vector determination device, 29 is a reference MB address calculation device, 30 is a motion vector space / time correction device, and 31 is an 8 × 8 MV re-search device (addition). ), 32 is 8 × 8MV → 16 × 16MVCompositionDevice (addition), 33 is a 16 × 16 MV re-search device (addition), 34 is a 16 × 16 MV selection device, 35 is a motion vector expansion space / time correction device, 36 is an 8 × 8 MV re-search device, and 37 is 8 × 8MV → 16 × 16MV synthesis device (expansion), 38 is a 16 × 16MV re-search device (extension), and 39 is an 8 × 8MV selection device.
[0090]
In FIG. 24, a method of generating MPEG4 8 × 8 motion vector information by using MPEG2 motion vector information as an input and two methods of addition and decompression is the same as that in the motion vector conversion apparatus shown in FIG. It is the same. The 8 × 8 motion vector information of MPEG4 generated by the addition is re-searched by the 8 × 8MV re-search device (addition) 31 and the 8 × 8 motion vector information of MPEG 4 generated by the expansion is re-searched by 8 × 8 MV. The apparatus (expansion) 36 re-searches several peripheral pixels, thereby improving the accuracy of motion vector information of MPEG4 8 × 8. The high-precision MPEG4 8 × 8 motion vector information is transmitted to the 8 × 8 motion vector selection device 39, respectively.
[0091]
  Further, the 8 × 8 MV synthesizing device (8 × 8 MV → 16 × 16 MV synthesizing device), which is the output of the 8 × 8 MV re-search device (addition) 31, and which is synthesized by the addition and improved in MPEG4 8 × 8 motion vector information ( Add together)32Here, MPEG4 16 × 16 motion vector information is synthesized. At the same time, it also becomes the output of the 8 × 8MV re-search device (expansion) 36.Stretch8 × 8 motion vector information of MPEG4 that has been synthesized and improved in precision is 8 × 8MV → 16 × 16MV synthesizer (decompression)37Here, MPEG4 16 × 16 motion vector information is synthesized. The combined MPEG4 16 × 16 motion vector information is transmitted to the 16 × 16 MV selection device 34, respectively.
[0092]
In the 16 × 16MV selection device 34 and the 8 × 8 motion vector selection device 39, respectively, the MPEG4 16 × 16 motion vector information and the MPEG4 8 × 8 motion vector information synthesized by addition and expansion are combined. The one with the higher prediction efficiency is selected and output together as MPEG4 motion vector information.
[0093]
Note that motion vectors are synthesized by the two methods of addition and decompression when the picture coding type (picture_coding_type) of the discarded frame is P in the bitstream indicating the MPEG2 image compression information to be input. Only for pictures. In the case of an I picture, since it is impossible to synthesize by addition, only the motion vector information of MPEG4 synthesized by decompression is output.
[0094]
In addition, only in the first P-VOP of the GOV (Group of VOP, VOP: Video Object Plane) or the P-VOP immediately after the scene change, the motion vector information of MPEG4 is synthesized by the above-described adaptive method and added. Information on whether the MPEG4 8 × 8 motion vector information and the MPEG4 16 × 16 motion vector information were synthesized by using the method of combining or decompressing is stored in a memory (storage means), and the subsequent P− In the VOP, except for the case where the discarded frame is an I picture in the bitstream indicating the MPEG2 image compression information to be input, the MPEG4 8 × 8 motion vector information and the method stored in the memory are used. MPEG4 16x16 motion vector information is synthesized and selection based on prediction efficiency is not performed. It is also possible to realize a reduction in computation amount.
[0095]
The bit stream indicating the MPEG2 image compression information as an input and the bitstream indicating the MPEG4 image compression information as an output have been described above. However, the input and output are not limited to this. It may be a bit stream indicating image compression information such as H.263.
[0096]
【The invention's effect】
  According to the first aspect of the present invention, a bit stream indicating MPEG2 image compression information for interlaced scanning is input, a bit stream indicating MPEG4 image compression information for progressive scanning is output, and MPEG2 image compression information to be input is input. In the motion vector conversion method in the image information conversion method that realizes the frame rate conversion by discarding the B picture of the bit stream indicating, and also discarding every other I picture or P picture, an MPEG2 image as an input A motion vector conversion method for generating an MPEG4 8 × 8 motion vector and an MPEG4 16 × 16 motion vector by using an MPEG2 16 × 16 motion vector in a bit stream indicating compression information as an input,
  The bit stream indicating the MPEG2 image compression information to be inputThis is done by discarding every other I or P pictureMPEG4 8x8Combining motion vector informationWhen the I picture is discarded, the motion vector information of the next picture of the picture to be discarded is only expanded by a factor of two. When the P picture is discarded, the expansion and the information of the discarded picture A first step performed by two methods of adding motion vector information of a picture to be discarded to motion vector information of a next picture;
  A second step of synthesizing MPEG4 16 × 16 motion vector information from the MPEG4 8 × 8 motion vector information synthesized by the expansion in the first step;
  A third step of synthesizing MPEG4 16 × 16 motion vector information from the MPEG4 8 × 8 motion vector information synthesized by the addition in the first step when the P picture is discarded;
  When the I picture is discarded, the MPEG4 8 × 8 motion vector information synthesized by the expansion in the first step is selected as it is, and when the P picture is discarded, the first step A fourth step of selecting the one with the highest prediction efficiency from the 8 × 8 motion vector information of MPEG4 synthesized by the two methods of extension and addition in the above;
  When the I picture is discarded, the 16 × 16 motion vector information of MPEG4 synthesized by the expansion in the second step is selected as it is, and when the P picture is discarded, the second step The MPEG4 16 × 16 motion vector information synthesized by the expansion in step 3 and the MPEG4 16 × 16 motion vector information synthesized by the addition in the third step are selected to select the one having the higher prediction efficiency. And the steps
  And a sixth step of outputting the MPEG4 8 × 8 motion vector information and the MPEG4 16 × 16 motion vector information selected in the fourth and fifth steps as MPEG4 motion vector information.Since it did in this way, the motion vector conversion method in which prediction efficiency does not fall can be obtained.
[0097]
  According to the second aspect of the present invention, a bitstream indicating MPEG2 image compression information for interlaced scanning is input, a bitstream indicating MPEG4 image compression information for progressive scanning is output, and MPEG2 image compression information to be input is input. An MPEG2 image as an input in a motion vector conversion apparatus in an image information conversion apparatus that realizes frame rate conversion by discarding a B picture of a bitstream indicating, and also discarding every other I picture or P picture A motion vector conversion device for generating an MPEG4 8 × 8 motion vector and an MPEG4 16 × 16 motion vector by using an MPEG2 16 × 16 motion vector in a bit stream indicating compression information as an input,
  The bit stream indicating the MPEG2 image compression information to be inputThis is done by discarding every other I or P pictureMPEG4 8x8Combining motion vector informationWhen the I picture is discarded, the motion vector information of the next picture of the picture to be discarded is only expanded by a factor of two. When the P picture is discarded, the expansion and the information of the discarded picture This is done by two methods: adding the motion vector information of the picture to be discarded to the motion vector information of the next picture.First synthesis means;
  Second synthesizing means for synthesizing 16 × 16 motion vector information of MPEG4 from 8 × 8 motion vector information of MPEG4 synthesized by the expansion by the first synthesizing means;
  A third synthesizing unit that synthesizes MPEG4 16 × 16 motion vector information from the MPEG4 8 × 8 motion vector information synthesized by the addition by the first synthesizing unit when the P picture is discarded; ,
  When the I picture is discarded, the MPEG4 8 × 8 motion vector information synthesized by the decompression by the first synthesizing means is selected as it is, and when the P picture is discarded, the first picture is First selecting means for selecting the one with the highest prediction efficiency among the 8 × 8 motion vector information of MPEG4 synthesized by the synthesis means by the two methods of expansion and addition;
  When the I picture is discarded, the 16 × 16 motion vector information of MPEG4 synthesized by the decompression by the second synthesizing means is selected as it is, and when the P picture is discarded, the second picture Of the MPEG4 16 × 16 motion vector information synthesized by the above-mentioned decompression by the synthesizing means and the MPEG4 16 × 16 motion vector information synthesized by the above-mentioned third synthesizing means, the one with the higher prediction efficiency is selected. Second selection means to
  The MPEG4 8 × 8 motion vector information and the MPEG4 16 × 16 motion vector information selected by the first and second selection means are output as MPEG4 motion vector information.Therefore, it is possible to obtain a motion vector conversion device that does not reduce the prediction efficiency.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a conventional image information conversion apparatus that realizes conversion from a bit stream indicating MPEG2 image compression information to a bitstream indicating MPEG4 image compression information.
FIG. 2 is a block diagram showing an image information conversion apparatus that realizes conversion from a bitstream indicating MPEG2 image compression information to a bitstream indicating MPEG4 image compression information according to the inventors' invention.
FIG. 3 is an explanatory diagram for explaining a correlation between motion vector information in a bitstream indicating MPEG2 image compression information and motion vector information in a bitstream indicating MPEG4 image compression information.
4 is an explanatory diagram showing an operation principle in the resolution / frame rate conversion apparatus 5 of FIG. 2; FIG.
FIG. 5 is an explanatory diagram showing an operation principle of pixel compensation or removal in the resolution / frame rate conversion apparatus 5 according to the image frame size adjustment flag of FIG. 2;
6 is an explanatory diagram for explaining a motion vector conversion method in the motion vector conversion device 6 of FIG. 2; FIG.
7 is a block diagram showing a detailed circuit configuration of the motion vector conversion device 6 of FIG. 2; FIG.
FIG. 8 is a flowchart for explaining the operation of the MPEG2 16 × 16 motion vector → MPEG4 8 × 8 motion vector conversion apparatus 8 in FIG. 2;
FIG. 9 is an explanatory diagram for explaining the concept of MPEG2 16 × 16 motion vector → MPEG4 vector conversion in FIG. 7;
10 is a table showing how half-pixel precision motion vector information in the bitstream indicating MPEG2 image compression information in FIG. 9 is converted to MPEG4 8 × 8 motion vector information. FIG.
FIG. 11 is an explanatory diagram for explaining the concept of motion vector conversion when the image has a frame structure and is the first field prediction in FIG. 9;
FIG. 12 is an explanatory diagram for explaining the concept of motion vector conversion when the image has a frame structure and is second field prediction in FIG. 9;
13 is an explanatory diagram for explaining the concept of motion vector conversion when the image has a frame structure and is second field prediction in FIG. 9. FIG.
14 is a flowchart for explaining the operation of the motion vector adjuster 9 based on the image size adjustment flag in FIG.
FIG. 15 is a block diagram for explaining the operation of the motion vector corrector 11 for an MPEG2 intra macroblock in FIG. 7;
16 is a block diagram illustrating a detailed circuit of the motion vector conversion apparatus when the image has a frame structure and is second field prediction in FIG. 7; FIG.
FIG. 17 shows a bit stream indicating 30 Hz MPEG2 image compression information with a GOP structure of n = 15; m = 3, and indicates 5 Hz MPEG4 image compression information with a GOV structure of n = 5; m = 1. When converting to a bitstream, a picture coding type (picture_coding_type) in a bitstream indicating MPEG2 image compression information as an input and a buoy coding type (in a bitstream indicating MPEG4 image compression information as an output ( It is explanatory drawing which shows a response | compatibility of (vop_coding_type).
FIG. 18 shows a motion vector in a device that realizes frame rate conversion by discarding a B picture in a bitstream indicating MPEG2 image compression information to be input, and also discarding an I picture or a P picture every other frame. It is a block diagram which shows the structure of the image information converter which adaptively synthesize | combines information by expansion | extension or addition.
FIG. 19 is an explanatory diagram showing a method of combining motion vector information by decompression in FIG. 18;
20 is an explanatory diagram of a method of combining motion vector information in FIG. 18 by adding them together.
FIG. 21 is an explanatory diagram showing how motion vector information that refers to a discarded frame straddles a macro block when combining motion vector information in FIG. 18;
FIG. 22 is a flowchart for explaining how to synthesize motion vector information by adding together a P picture as a frame to be discarded in FIG. 18;
FIG. 23 is an explanatory diagram for explaining a time correction method when the added motion vector information refers to the second field of the reference frame in FIG. 20;
FIG. 24 is a block diagram illustrating an example of a motion vector conversion apparatus according to an embodiment of this invention.
[Explanation of symbols]
27 MV and MB information buffer, 28 addition motion vector determination device, 29 reference MB address calculation device, 30 motion vector space / time correction device, 318 × 8MV re-search device (addition), 32 8 × 8MV → 16 × 16 MV re-search device (addition), 33 16 × 16 MV re-search device (addition), 34 16 × 16 MV selection device, 35 motion vector expansion space / time correction device, 368 8 × 8 MV re-search device, 37 8 × 8 MV → 16 × 16 MV synthesis device (extension), 38 16 × 16 MV re-search device (extension), 398 × 8 MV selection device.

Claims

A bit stream indicating MPEG2 image compression information for interlaced scanning is input, a bit stream indicating MPEG4 image compression information for progressive scanning is output, and a B picture of the bit stream indicating MPEG2 image compression information is input. In the motion vector conversion method in the image information conversion method that realizes frame rate conversion by discarding and also discarding every other I picture or P picture, MPEG2 in the bit stream indicating MPEG2 image compression information to be input A motion vector conversion method for generating an 8 × 8 motion vector of MPEG4 and a 16 × 16 motion vector of MPEG4 using the 16 × 16 motion vector of
When the I picture is discarded by combining the 8 × 8 motion vector information of MPEG4, which is performed by discarding every other I picture or P picture of the bit stream indicating the MPEG2 image compression information to be input. Is performed only by a method of expanding the motion vector information of the next picture of the picture to be discarded twice, and when the P picture is discarded, the expansion and the motion vector information of the next picture of the picture to be discarded are performed. A first step performed by two methods: a method of adding motion vector information of a picture to be discarded;
A second step of synthesizing MPEG4 16 × 16 motion vector information from the MPEG4 8 × 8 motion vector information synthesized by the expansion in the first step;
A third step of synthesizing MPEG4 16 × 16 motion vector information from the MPEG4 8 × 8 motion vector information synthesized by the addition in the first step when the P picture is discarded;
When the I picture is discarded, the MPEG4 8 × 8 motion vector information synthesized by the expansion in the first step is selected as it is, and when the P picture is discarded, the first step A fourth step of selecting the one with the highest prediction efficiency from the 8 × 8 motion vector information of MPEG4 synthesized by the two methods of extension and addition in the above;
When the I picture is discarded, the 16 × 16 motion vector information of MPEG4 synthesized by the expansion in the second step is selected as it is, and when the P picture is discarded, the second step The MPEG4 16 × 16 motion vector information synthesized by the expansion in step 3 and the MPEG4 16 × 16 motion vector information synthesized by the addition in the third step are selected to select the one having the higher prediction efficiency. And the steps
And a sixth step of outputting the MPEG4 8 × 8 motion vector information and the MPEG4 16 × 16 motion vector information selected in the fourth and fifth steps as MPEG4 motion vector information. Method.

A bit stream indicating MPEG2 image compression information for interlaced scanning is input, a bit stream indicating MPEG4 image compression information for progressive scanning is output, and a B picture of the bit stream indicating MPEG2 image compression information is input. In a motion vector conversion apparatus in an image information conversion apparatus that realizes frame rate conversion by discarding and discarding every other I picture or P picture, MPEG2 in a bitstream indicating MPEG2 image compression information to be input A motion vector conversion apparatus that generates an MPEG4 8 × 8 motion vector and an MPEG4 16 × 16 motion vector by using a 16 × 16 motion vector as an input,
When the I picture is discarded by combining the 8 × 8 motion vector information of MPEG4, which is performed by discarding every other I picture or P picture of the bit stream indicating the MPEG2 image compression information to be input. Is performed only by a method of expanding the motion vector information of the next picture of the picture to be discarded twice, and when the P picture is discarded, the expansion and the motion vector information of the next picture of the picture to be discarded are performed. First combining means for performing two methods: a method of adding motion vector information of a picture to be discarded ;
Second synthesizing means for synthesizing 16 × 16 motion vector information of MPEG4 from 8 × 8 motion vector information of MPEG4 synthesized by the expansion by the first synthesizing means;
A third synthesizing unit that synthesizes MPEG4 16 × 16 motion vector information from the MPEG4 8 × 8 motion vector information synthesized by the addition by the first synthesizing unit when the P picture is discarded; ,
When the I picture is discarded, the MPEG4 8 × 8 motion vector information synthesized by the decompression by the first synthesizing means is selected as it is, and when the P picture is discarded, the first picture is First selecting means for selecting the one with the highest prediction efficiency among the 8 × 8 motion vector information of MPEG4 synthesized by the synthesis means by the two methods of expansion and addition;
When the I picture is discarded, the 16 × 16 motion vector information of MPEG4 synthesized by the decompression by the second synthesizing means is selected as it is, and when the P picture is discarded, the second picture Of the MPEG4 16 × 16 motion vector information synthesized by the above-mentioned decompression by the synthesizing means and the MPEG4 16 × 16 motion vector information synthesized by the above-mentioned third synthesizing means, the one with the higher prediction efficiency is selected. Second selection means to
A motion vector conversion device for outputting MPEG4 8 × 8 motion vector information and MPEG4 16 × 16 motion vector information selected by the first and second selection means as MPEG4 motion vector information .

The motion vector conversion method according to claim 1,
When the P picture is discarded , the first P-VOP (Video Object Plane) in the GOV, or the GOV immediately after the scene change, the extension and the addition in the first to third steps. By combining the MPEG4 8 × 8 motion vector information and the MPEG4 16 × 16 motion vector information by the two methods, and selecting and outputting the one with the higher prediction efficiency in the fourth and fifth steps , Information relating to which of the above- described expansion and addition methods is selected is stored in the storage means for each of the MPEG4 8 × 8 motion vector information and the MPEG4 16 × 16 motion vector information, and the subsequent P for -Vop, movement of the first to third motion of MPEG4 of 8 × 8 in step vector information and MPEG4 of 16 × 16 Each vector information, and synthesized on the basis of the information stored in the storage means, the fourth and the motion vector conversion method that does not perform selection based on prediction efficiency in the fifth step.

The motion vector conversion device according to claim 2,
If the P picture is discarded, the first P-VOP in the GOV (Video Object Plane), or with respect to the scene immediately after the change GOV, the stretching and adding the above first to third synthesizing means By combining the MPEG4 8 × 8 motion vector information and the MPEG4 16 × 16 motion vector information by the two methods of combining, the first and second selection means select and output the one with the higher prediction efficiency. At the same time, information regarding which of the above- described expansion and addition methods is selected is stored in the storage means for each of the MPEG4 8 × 8 motion vector information and the MPEG4 16 × 16 motion vector information, and thereafter. dynamic information in P-VOP, the above first to third synthetic movement MPEG4 of 8 × 8 in unit vector information and MPEG4 of 16 × 16 Each vector information, synthesized based on the information stored in the storage means, a motion vector conversion apparatus that does not perform selection based on prediction efficiency in the first and second selection means.