JP3057966B2

JP3057966B2 - インタレース動画像の動き補償予測装置

Info

Publication number: JP3057966B2
Application number: JP19165393A
Authority: JP
Inventors: 康之中島
Original assignee: ケイディディ株式会社
Priority date: 1992-11-27
Filing date: 1993-07-06
Publication date: 2000-07-04
Anticipated expiration: 2015-07-04
Also published as: JPH06217295A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、インタレース動画
像の符号化における動き補償予測装置に関する。

【０００２】

【従来の技術】テレビ会議等の動画像通信やＣＤ−ＲＯ
Ｍ等への動画像蓄積を目的とした動画像の高能率符号化
方式においてはフレームもしくはフィールドの画面で、
各画面を例えば１６画素×１６ラインのブロックに分割
して面内符号化、又は動き補償による参照画面と現画面
の差分を符号化する面間符号化を用いて高能率符号化を
行っている。

【０００３】図４に一般的な符号化装置の構成を示す。
ここで、４１は減算器であり、入力画面Ｘ１と予測画面
Ｘ２の差分を求めて予測誤差画面Ｘ３を生ずる。４２は
離散コサイン変換（ＤＣＴ）やベクトル量子化器等の符
号化器、４３は量子化器、４４は逆量子化器、４５は逆
離散コサイン変換（ＩＤＣＴ）や逆ベクトル量子化器等
の復号器、４６は加算器で復号器によって復元された予
測誤差画面Ｘ５と予測画面Ｘ２を加算して局部復号画面
Ｘ６を発生する。予測画面についてはフレームメモリ４
７に格納された参照画面に対する入力画面の動き量を動
き検出部４８で求め、得られた動き量に対する参照画面
を動き補償器４９で作成し、予測画面として用いる。量
子化器４３の出力は５０の可変長符号化器で符号化さ
れ、５１の多重化器で４８の動き検出部で得られた動き
ベクトル等のデータと共に多重化され、符号化情報ＣＩ
として出力される。

【０００４】図３は動き検出部を示したものである。こ
の動き検出では２１の１ベクトル動き検出による予測誤
差信号Ｅ１、２２の２ベクトル動き検出による予測誤差
信号Ｅ２，…，２ｎのｎベクトル動き検出による予測誤
差信号Ｅｎとを１２の比較器で比較して、誤差信号が小
さい方の動き検出を１３の選択器で選択して動き補償を
行い符号化効率の向上を図っている。

【０００５】

【発明が解決しようとする課題】上述した符号化装置で
は、フレーム画面やフィールド画面によるインタレース
画面に対して動き検出を行い、予測誤差結果にもとづい
て適応的に予測方式を選択して動き補償を行っている。
この場合、（１）ｎベクトル動き検出（ｎ＝２，３，４，…）の場
合は１ベクトル動き検出の場合に比べｎ倍の動きベクト
ル個数が必要になる。従って、両者ともに予測誤差があ
まり大きくなくいずれの場合を用いても予測効率の差が
小さい場合でも、ｎベクトル動き検出の場合の予測誤差
の方が小さい場合には、ｎベクトル動き補償が選択され
るため、結果的に送出する動きベクトル量が多くなり、
符号化効率が低下する。（２）予測誤差が大きい場合でも、１ベクトル動き検出
の場合とｎベクトル動き検出の場合であまり差がない場
合、ｎベクトル動き検出の場合の予測誤差のほうがやや
小さい場合には、ｎベクトル動き検出が選択されるた
め、送出する動きベクトル量が多くなり、符号化効率が
低下する。

【０００６】よって本発明の目的は上述従来方式の欠点
である動きベクトル量の不必要な増加による符号化効率
の低下を改善することにある。

【０００７】

【課題を解決するための手段】本発明によれば、入力画
面及び参照画面を用いブロック単位でブロックの動きベ
クトルの予測とこの予測に対する誤差により動き補償を
行うインタレース動画像の動き補償予測装置において、
ブロックに対し参照画面を用いて、互いに異なる数の動
きベクトルをそれぞれ出力すると共に予測誤差信号を出
力する複数個の動き検出手段と、各動き検出手段から出
力された予測誤差信号の予測誤差値に、動きベクトルの
数、累積符号量、量子化係数及び予測画像の種類のうち
の少なくとも一つを含む符号化情報に応じて決定される
ハンディ値を付加する前処理手段と、前処理手段から出
力された各予測誤差値を比較し、最小の予測誤差値を示
す選択フラグ及び最小の予測誤差値を出力した動き検出
手段からの動きベクトルを選択する手段とを具備し、符
号化された予測誤差に、いずれの動き検出手段からの出
力を選択したかを示す選択フラグ及び選択フラグに対応
した動きベクトルを付加して伝送するようにしたインタ
レース動画像の動き補償予測装置が提供される。

【０００８】このように、本発明では、インタレース動
画像の高能率符号化装置等の画像伝送や蓄積装置におけ
るブロック単位での動き補償予測において、ブロック当
り１個又は複数個の動きベクトルを用いる際に、予測方
式間でハンディ値をもたせて、少ないベクトル数の予測
方式を優先的に選択する。これによって情報量の効率的
な削減をおこない、符号化効率の向上を図ることができ
る。

【０００９】ハンディ値は、動きベクトルの数に応じて
決定され、動きベクトルの数が多くなるに従い大きくな
るようにすることが好ましい。

【００１０】予測誤差値が予め定められたスレッショル
ド値より小さい場合は、最小の動きベクトル数を出力す
る動き検出手段からの動きベクトルによる動き補償を優
先的に選択するようにしたことが好ましい。その場合、
動き検出手段が１個の動きベクトルを出力すると共に予
測誤差信号を出力する動き検出手段を含んでおり、予測
誤差値が予め定められたスレッショルド値より小さい場
合は、１個の動きベクトルを出力する動き検出手段から
の動きベクトルによる動き補償を優先的に選択すること
がより好ましい。これにより、従来の動きベクトル個数
の多いフィールド動き補償の多用による符号化効率の低
下を防ぎ、符号化情報量の削減を実現することが可能で
ある。

【００１１】

【発明の実施の形態】以下、本発明の一実施形態の構成
を示す図１のブロック図を参照して説明する。同図にお
いて、１０は入力ブロックデータ、１１は参照ブロック
データであり、共にインタレース画面となっている。入
力画面及び参照画面のブロック信号は１ベクトル動き検
出器２１で動き検出が行われ、動きベクトルＶ１とブロ
ックの予測誤差Ｅ１が出力される。また２ベクトル動き
検出器２２でも動き検出が行われ、動きベクトルＶ２及
び予測誤差のＥ２が出力される。同様にｎベクトル動き
検出器２ｎでも動き検出が行われ、動きベクトルＶｎ及
び予測誤差のＥｎが出力される。

【００１２】１ベクトル動き検出器２１は、１つ以上の
参照画面を用いて入力画面のブロックと参照画面のブロ
ックの間の動きを予測した動きベクトルと、予測画面と
入力画面との誤差を出力する。同様に、２ベクトル動き
検出器２２は、２つ以上の参照画面を用いて一つの画面
を予測し、ｎベクトル動き検出器２ｎはｎ個以上の参照
画面からひとつの画面を予測する。

【００１３】１ベクトル動き検出器２１、２ベクトル動
き検出器２２，…，ｎベクトル動き検出器２ｎから出力
された予測誤差Ｅ１，Ｅ２，…，Ｅｎは前処理器１４に
入力され、符号化情報ＣＩを元にそれぞれの予測誤差信
号はベクトル数に応じたハンディ値を付加される。該ハ
ンディ値を付加された各信号は比較器１２で比較され、
ブロックごとにいずれかを選択し、いずれを選択したか
の信号として選択フラグＺＭを出力する。選択器１３で
比較器１２の結果をもとに動きベクトルの選択が行わ
れ、動きベクトルＺＶとして出力される。

【００１４】以下に、本実施形態の主要部の構成につい
て、詳細に説明する。

【００１５】まず、図２を参照して、入力画面のブロッ
クデータの構成を詳細に説明する。入力ブロックの大き
さについては、輝度信号は１６画素×１６ライン、２つ
の色差信号についてはそれぞれ８画素×１６ラインと
し、これらをまとめてマクロブロックと呼ぶ。符号化の
一連の処理はこのマクロブロックごとに行われる。

【００１６】同図に示されているように、前記ブロック
は、奇数ラインに存在する奇数フィールドのデータ
（○）と、偶数ラインに存在する偶数フィールドのデー
タ（□）とから構成されている。フレームブロックは、
奇数ラインと偶数ラインが交互に現れるデータから構成
され、フィールドブロックは、奇数ラインのデータのみ
を集めたデータ、あるいは偶数ラインのデータのみを集
めたデータから構成される。

【００１７】動き検出に用いる参照ブロックについて
は、輝度信号のみを用いる。ブロックの大きさは検索す
る範囲に応じて変化する。例えば、検索範囲が主及び副
走査方向に±７画素の場合は３０画素×３０ラインとな
る。なお、動き補償後に得られる予測誤差データのサイ
ズは、輝度信号、色差信号ともに図２の入力ブロックと
同様の構成となる。

【００１８】１ベクトル動き検出器２１、２ベクトル動
き検出器２２，…，及びｎベクトル動き検出器２ｎに入
力された１６画素×１６ラインのブロック信号は、参照
画面に対して、それぞれ、１個、２個、…、及びｎ個の
ベクトルを用いて検索を行う。この場合、参照画面は、
時間的に前の画面あるいは後の画面を用いることができ
る。さらに、１個、２個、…、及びｎ個のベクトルで表
せる限り、時間的に前後の２つ以上の画面を参照するこ
とが可能である。

【００１９】次に、１ベクトル動き検出器２１、２ベク
トル動き検出器２２，…，及びｎベクトル動き検出器２
ｎの内部の構成を図５に示す。なお、図５には、これら
の動き検出器２１，２２，…，２ｎのうちの一つが代表
として示されている。入力画面及び参照画面はそれぞれ
入力ブロックメモリ２０ａ及び参照ブロックメモリ２０
ｂに一旦記憶される。アドレス発生回路５５からのアド
レスにより動き検出を行う入力画面データと参照画面デ
ータが取り出される。

【００２０】次いで、１ベクトル動き検出器２１の場合
には、参照画面データは必要に応じて時間／空間フィル
タ５２にてフィルタリングされ、予測誤差演算回路５３
にて、入力画面と参照画面との誤差が計算される。２ベ
クトル動き検出器２２の場合には、２個のベクトルに応
じた参照画面データは時間／空間フィルタ５２にてフィ
ルタリングされ、１つの予測画面に合成され、予測誤差
演算回路５３にて、入力画面と参照画面との誤差が計算
される。また、ｎベクトル動き検出器２ｎの場合には、
ｎ個のベクトルに応じた参照画面データは時間／空間フ
ィルタ５２にてフィルタリングされ、１つの予測画面に
合成され、予測誤差演算回路５３にて、入力画面と参照
画面との誤差が計算される。

【００２１】最適ベクトル判定回路５４は、各サーチポ
イントでの予測誤差信号を比較して、最小となる位置を
求め、それぞれ、１個，２個，…，ｎ個のベクトルから
なる動きベクトルＶ１と予測誤差Ｅ１、動きベクトルＶ
２と予測誤差Ｅ２，…，動きベクトルＶｎと予測誤差Ｅ
ｎを出力する。予測誤差信号としては、差分絶対値の累
積和あるいは差分二乗値の累積和等が利用できる。

【００２２】各動き検出器２１，２２，…，２ｎからの
予測誤差値Ｅ１，Ｅ２，…，Ｅｎは比較器１２で比較さ
れ予測誤差の小さい方の動き検出を選択し、決定された
選択フラグＺＭを出力する。この際、以下のような判定
条件を用いる。

【００２３】（１）ｉｆ（Ｅ１＜Ｔ１）ｔｈｅｎＺＶ
＝Ｖ１（２）ｅｌｓｅＺＶ＝Ｖｘここで、Ｖｘはｍｉｎ（Ｅ１，Ｅ２′，…，Ｅｎ′）を
与える動きベクトルただし、Ｅ２′＝Ｅ２＋Ｔ２， ………………………… Ｅｎ′＝Ｅｎ＋Ｔｎである。

【００２４】Ｔ１はスレショルド値であり、またＴ２，
…，Ｔｎはハンディ値で、一般にＴ２＜Ｔ３＜……＜Ｔ
ｎである。これらの値は、動きベクトルの個数、累積符
号量、量子化係数、予測画像の種類等の符号化情報ＣＩ
に応じて決定する。例えば、累積符号化量や量子化係数
が大きな場合、スレショルド値Ｔ１を大きくとり、また
ハンディ値Ｔ２，Ｔ３，…も大きくとることにより、ベ
クトル数の増大に伴う符号化量の増大による符号化効率
の低下を防ぐ。逆に、これらの値が小さい場合は比較的
小さなＴ１，…，Ｔｎをとることが可能である。

【００２５】また、許容動きベクトルの個数が２程度と
少ない場合のスレショルド値Ｔ１は、許容動きベクトル
の個数が多い場合におけるＴ１より大きな値をとること
によって、各動きベクトルの個数に対する選択率を変更
して、許容動きベクトルの個数に応じたバランスポイン
トを設定することが可能となる。さらに、予測画像の種
類については、例えば時間的に離れた画像から予測する
場合、動きの精度はあまり高くないため、許容動きベク
トルの個数を少なめに設定すること、及びＴ１，…，Ｔ
ｎの値を高くして、動きベクトルの符号量を少なくし
て、残りの情報量を変換符号化等の他の符号化へ配分す
ることが可能である。逆に、時間的に近い画像からの予
測の場合、予測精度が高いため、Ｔ１，…，Ｔｎの値を
小さめに設定することが可能である。

【００２６】ただし、同じ個数のベクトルを用いる動き
補償が複数個ある場合は、それぞれにハンディ値を与え
る。例えば、ベクトルの個数が２で、フレームベクトル
やフィールドベクトル等で複数個の動き補償が可能な時
には、（２）式の動きベクトルＶｘとして、ｍｉｎ（Ｅ
１，Ｅ２１′，Ｅ２２′……，Ｅｎ′）を与える。ただし、Ｅ２１′＝Ｅ２１＋Ｔ２１，Ｅ２２′＝Ｅ２２＋Ｔ２２， ………………………… Ｅｎ′＝Ｅｎ＋Ｔｎ

【００２７】ここに、Ｅ２１，Ｅ２２，…は各動き検出
器２１，２２，…の予測誤差、Ｔ２１，Ｔ２２，…はそ
れぞれのハンディ値である。

【００２８】この場合、時間的に前後の参照画面からそ
れぞれ１個の動きベクトルを用いて予測を行うフレーム
ベクトルで求めた予測誤差Ｅ２１と、時間的に前または
後ろのいずれかの参照画面から２個の動きベクトルを用
いて予測を行うフィールドベクトルとで求めた予測誤差
Ｅ２２に対して、異なる値のハンディ値Ｔ２１，Ｔ２２
を与えることにより、フレームベクトルとフィールドベ
クトルとのどちらかに優先度を与えることが可能であ
る。

【００２９】本発明の実施にあたっては種々の変形形態
が可能である。例えばブロックのサイズは、１６画素×
１６ラインに限らず、３２画素×３２ライン等種々のサ
イズが適用可能である。

【００３０】また、Ｅ２′，…，Ｅｎ′に関しては、Ｅ２′＝Ｃ２×Ｅ２＋Ｔ２， ………………………… Ｅｎ′＝ＣｎＸＥｎ＋Ｔｎのように、ある係数Ｃ２，…，ＣｎをＥ２，…，Ｅｎに
対して掛けて、その後ハンディ値Ｔ２，…，Ｔｎを加算
することにより、より細かい制御を行うことが可能であ
る。

【００３１】

【発明の効果】本発明では、複数の動き検出のそれぞれ
の予測誤差にスレッショルド値またはハンディ値をもた
せ、同程度の予測誤差を持つ動き予測に対してはベクト
ルの個数が少ない動き補償予測を優先的に選択するよう
にしたので、従来の予測誤差値の大小のみによるベクト
ル個数の多い動き補償方式に比べて、符号化量を削減で
き、符号化効率の向上を実現することが可能である。

【００３２】効果の一例として、ＩＳＯテスト動画像
（ＦｌｏｗｅｒＧａｒｄｅｎ，Ｂｉｃｙｃｌｅ）を、
ＣＣＩＲ６０１画像フォーマットの条件において、４Ｍ
ｂｉｔ／ｓのビットレートで符号化を行った際の画質
（Ｓ／Ｎ比）は、フレーム動き補償とフィールド動き補
償を適応的に用いた方式に比較して、０．５〜１．０ｄ
Ｂ向上でき、動きベクトル情報伝送量は３０〜６０％削
減できた。

【図面の簡単な説明】

【図１】本発明の実施形態における動き検出装置を説明
するための構成図である。

【図２】ブロックデータの構成を示す図である。

【図３】従来の動き検出器を示す図である。

【図４】符号化装置の構成図である。

【図５】動きベクトル検出器の構成を示す図である。

【符号の説明】

１０入力画面１１参照画面１２比較器１３選択器１４前処理器２１１ベクトル動き検出器２２２ベクトル動き検出器２ｎｎベクトル動き検出器４１減算器４２符号化器４３量子化器４４逆量子化器４５復号器４６加算器４７フレームメモリ４８動き検出部４９動き補償器５０可変長符号化器５１多重化器

フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H04N 11/04 G06T 7/20

Claims

(57)【特許請求の範囲】

【請求項１】入力画面及び参照画面を用いブロック単
位でブロックの動きベクトルの予測と該予測に対する誤
差により動き補償を行うインタレース動画像の動き補償
予測装置において、該ブロックに対し参照画面を用いて、互いに異なる数の
動きベクトルをそれぞれ出力すると共に予測誤差信号を
出力する複数個の動き検出手段と、前記各動き検出手段から出力された予測誤差信号の予測
誤差値に、前記動きベクトルの数、累積符号量、量子化
係数及び予測画像の種類のうちの少なくとも１つを含む
符号化情報に応じて決定されるハンディ値を付加する前
処理手段と、該前処理手段から出力された各予測誤差値を比較し、最
小の予測誤差値を示す選択フラグ及び該最小の予測誤差
値を出力した動き検出手段からの動きベクトルを選択す
る手段とを具備し、符号化された予測誤差に、いずれの動き検出手段からの
出力を選択したかを示す選択フラグ及び該選択フラグに
対応した動きベクトルを付加して伝送するようにしたこ
とを特徴とするインタレース動画像の動き補償予測装
置。
【請求項２】前記ハンディ値は、動きベクトルの数に
応じて決定され、該動きベクトルの数が多くなるに従い
大きくなることを特徴とする請求項１に記載のインタレ
ース動画像の動き補償予測装置。
【請求項３】前記予測誤差値が予め定められたスレッ
ショルド値より小さい場合は、最小の動きベクトル数を
出力する動き検出手段からの動きベクトルによる動き補
償を優先的に選択するようにしたことを特徴とする請求
項１又は２に記載のインタレース動画像の動き補償予測
装置。
【請求項４】前記動き検出手段が１個の動きベクトル
を出力すると共に予測誤差信号を出力する動き検出手段
を含んでおり、前記予測誤差値が予め定められたスレッ
ショルド値より小さい場合は、該１個の動きベクトルを
出力する動き検出手段からの動きベクトルによる動き補
償を優先的に選択するようにしたことを特徴とする請求
項３に記載のインタレース動画像の動き補償予測装置。