JP3573176B2

JP3573176B2 - Moving image encoding method and apparatus

Info

Publication number: JP3573176B2
Application number: JP34707395A
Authority: JP
Inventors: 悟史宮地; 修一松本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 1995-12-15
Filing date: 1995-12-15
Publication date: 2004-10-06
Anticipated expiration: 2015-12-15
Also published as: JPH09168154A

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像信号を動き補償して符号化する動画像符号化方法及び装置に関し、特に、低ビットレートで伝送する場合に有効な動画像符号化方法及び装置に関する。
【０００２】
【従来の技術】
ブロックマッチング法を用いる従来の動画像符号化装置においては、符号化対象マクロブロックを有意・非有意に分類し、有意ブロックのみを符号化することによって、情報量の削減が行われる。
【０００３】
即ち、現フレームの符号化対象マクロブロックと、前フレームの動き補償を施したマクロブロックとの差分をとり、この差分値がある閾値を下回るマクロブロックは非有意マクロブロックとして取扱い、動きベクトルのみを伝送すると共に非有意でありかつ動きベクトルが零の静止しているマクロブロックに関しては、一切の符号化を行わないという方法が用いられてきた。
【０００４】
【発明が解決しようとする課題】
このような従来の方法によると、現フレームの符号化対象マクロブロックと前フレームの動き補償を施したマクロブロックとの差分（歪）ができるだけ小さくなるような前フレームのマクロブロックを従って動きベクトルを検出し、その検出した動きベクトルによって動き補償を行うというブロックマッチング法が用いられているため、次のような問題が生じてしまう。
【０００５】
差分値（歪）を最も小さくするように参照画像のマクロブロックを求めて動きベクトルを検出するシステムにおいて上述のようなマクロブロックの有意性の判定を行うと、非有意と判定されるマクロブロックに関して不必要な大きさの動きベクトルが伝送されてしまう恐れがある。即ち、非有意のマクロブロックでは、伝送される情報が動きベクトルのみとなるため、小さな動きベクトルでも十分精度の良い動き補償を行える場合や、動き補償を行わなくても差分値があまり増大しない場合などにも大きな動きベクトルが送られ、その分、無駄な情報が伝送されてしまうこととなる。
【０００６】
従って本発明の目的は、画像の品質劣化を防止しつつ、伝送情報量を低減化することができる動画像符号化方法及び装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明は、発生させた動きベクトルを用いて前フレームのマクロブロックに動き補償を施し、動き補償を施したマクロブロックと現フレームの符号化対象マクロブロックとの差分である予測誤差を算出し、算出した予測誤差を閾値と比較することによりこの符号化対象マクロブロックが閾値より小さい非有意マクロブロックであるか大きい有意マクロブロックであるかを判別し、有意マクロブロックである場合は符号化を行う動画像符号化方法に関するものである。特に本発明によれば、閾値を動きベクトルの大きさが大きくなると減少する関数とし、非有意マクロブロックであると判別した場合は、動きベクトルのみを伝送するようにすると共に符号化対象マクロブロックが非有意と判別される範囲内で最小のベクトルスカラ長の動きベクトルを選択している。
【０００８】
符号化対象マクロブロックが非有意と判別される範囲内で最小のベクトルスカラ長の動きベクトルを選択しているので、動きベクトルのみを伝送する場合にその伝送される動きベクトル情報量が少なくなり、伝送情報量の低減化を図ることができる。しかも、非有意マクロブロックであるか大きい有意マクロブロックであるかを判別する閾値を動きベクトルの大きさが大きくなると減少する関数としているので、動きベクトルが小さいと非有意マクロブロックと判定され易くなり、動きベクトルが大きいと非有意マクロブロックと判定され難くなる。
【０００９】
動きベクトルを最小の大きさの動きベクトルから順次大きくして発生させ、その発生の都度、発生した動きベクトルを用いて動き補償を施し、予測誤差を算出し、算出した予測誤差を閾値と比較することにより有意及び非有意の判別を行うようにすることが好ましい。
【００１０】
閾値を、動きベクトルの大きさが大きくなると減少し、動きベクトルがある値を越えると飽和する関数とすることが好ましい。
【００１１】
本発明は、さらに、動きベクトルを発生させる動きベクトル発生手段と、発生させた動きベクトルを用いて前フレームのマクロブロックに動き補償を施す手段と、動き補償を施したマクロブロックと現フレームの符号化対象マクロブロックとの差分である予測誤差を算出する手段と、算出した予測誤差を閾値と比較することによりこの符号化対象マクロブロックが閾値より小さい非有意マクロブロックであるか大きい有意マクロブロックであるかを判別する判別手段と、有意マクロブロックと判別した場合は符号化を行う手段とを備えた動画像符号化装置に関している。特に本発明では、非有意マクロブロックであると判別した場合は動きベクトルのみを伝送する手段をさらに備えており、判別手段の閾値は動きベクトルの大きさが大きくなると減少する関数であり、動きベクトル発生手段は符号化対象マクロブロックが非有意と判別される範囲内で最小のベクトルスカラ長の動きベクトルを選択するべく構成されている。
【００１２】
符号化対象マクロブロックが非有意と判別される範囲内で最小のベクトルスカラ長の動きベクトルが選択されるので、動きベクトルのみを伝送する場合にその伝送される動きベクトル情報量が少なくなり、伝送情報量の低減化を図ることができる。しかも、非有意マクロブロックであるか大きい有意マクロブロックであるかを判別する閾値を動きベクトルの大きさが大きくなると減少する関数としているので、動きベクトルが小さいと非有意マクロブロックと判定され易くなり、動きベクトルが大きいと非有意マクロブロックと判定され難くなる。
【００１３】
動きベクトル発生手段は、動きベクトルを最小の大きさの動きベクトルから順次大きくして発生させる手段であり、動き補償手段、算出手段及び判別手段は、動きベクトルが発生した都度、発生した動きベクトルを用いて動き補償を施し、予測誤差を算出し、算出した予測誤差を閾値と比較することにより有意及び非有意の判別を行う手段であることが好ましい。
【００１４】
判別手段の閾値が、動きベクトルの大きさが大きくなると減少し、動きベクトルがある値を越えると飽和する関数であることが好ましい。
【００１５】
【発明の実施の形態】
以下、図面を参照して本発明を詳細に説明する。図１は本発明の動画像符号化装置の一実施形態の構成を概略的に示すブロック図である。
【００１６】
同図において、１は可変フレームレート動画像符号化装置全体の構成を示している。この動画像符号化装置１は、映像信号入力部２と、この映像信号入力部２に接続されており入力された映像信号に対してフレームスキップを行うフレームスキップ部３と、このフレームスキップ部３に接続されておりフレームスキップして入力された少なくとも前フレーム及び現フレームの映像信号を格納しておくフレームメモリ４と、フレームメモリ４から出力される現フレームの符号化対象マクロブロック（注目マクロブロック）の映像信号５が入力される符号化エンジン部６とを含んでいる。
【００１７】
フレームメモリ４には、上述の符号化エンジン部６と、動き補償部８と、減算部１３とが接続されている。後述するようにスカラ長の小さいものから大きいものへ順次に動きベクトルを発生しその動きベクトル情報９及びスカラ長情報１０を出力する動きベクトル発生部１１には、動き補償部８と、符号化エンジン部６と、ＶＬＣ（可変長符号化部）２３と、マクロブロック有意／非有意判定部１５と、フレームスキップ数決定部２０とが接続されている。動き補償部８には、前フレームの各マクロブロックの映像信号７がフレームメモリ４から与えられる。
【００１８】
減算部１３には、その＋入力に接続されたフレームメモリ４から現フレームの注目マクロブロックの映像信号５と、−入力に接続された動き補償部８から動き補償された前フレームのマクロブロックの映像信号１２とが入力される。減算部１３の出力は有意／非有意判定部１５に接続されている。この有意／非有意判定部１５には、減算部１３からマクロブロック間差分値１４が動きベクトル発生部１１からスカラ長情報１０が入力される。有意／非有意判定部１５の出力はフレームスキップ数決定部２０に接続されている。
【００１９】
このフレームスキップ数決定部２０は、さらに、出力バッファメモリ部１７及びフレームスキップ部３に接続されており、有意／非有意判定部１５から有意マクロブロック割合情報１６が動きベクトル発生部１１からスカラ長情報１０が出力バッファメモリ部１７から直前までの発生情報量１８がそれぞれ入力されていて、フレームスキップ数情報１９を発生してフレームスキップ部３及び符号化エンジン部６へ出力する。
【００２０】
可変長符号化部２３は、有意／非有意判定部１５と、符号化エンジン部６と、動きベクトル発生部１１とに接続されており、それぞれからマクロブロック有意情報２１、量子化情報２２及び動きベクトル情報９を受け取り符号化を行う。この可変長符号化部２３はさらに前述の出力バッファメモリ部１７の入力に接続されており符号化出力２４を出力する。出力バッファメモリ部１７の出力は符号出力部２５に接続されている。
【００２１】
符号化エンジン部６は後述する一部構成を除いて公知の符号化装置構成となっている。即ち、フレーム間予測かフレーム内予測かに応じて切り替えを行うモードスイッチ６ａ及び６ｂと、減算部６ｃと、加算部６ｄと、有意／非有意判定部１５からマクロブロック有意情報２１に応じて有意の場合はオン、非有意の場合はオフとなるスイッチ６ｅと、ＤＣＴ（離散コサイン変換）回路６ｆと、Ｑ（量子化回路）６ｇと、Ｑ^−１（逆量子化回路）６ｈと、ＩＤＣＴ（離散コサイン逆変換）回路６ｉと、フレームメモリ６ｊと、動き補償部６ｋとから主として構成されている。
【００２２】
図２は本実施形態における主要動作を説明するフローチャートである。以下、この図を合わせ用いて本実施形態の動作を説明する。
【００２３】
映像信号が映像信号入力部２に入力されると（ステップＳ１）、このフレームが１枚目のフレームかどうか判別される（ステップＳ２）。１枚目のフレームである場合は、フレームスキップ部３におけるフレームスキップ動作（ステップＳ３）を行わずに、映像信号はフレームメモリ部４に入力され、現フレームメモリに格納される（ステップＳ４）。次いで、このフレームが１枚目のフレームかどうか再度判別される（ステップＳ５）。
【００２４】
１枚目のフレームである場合は、フレームスキップ数決定部２０から出力されるフレームスキップ数１９を初期値Ｎ（枚）に設定する（ステップＳ６）。次いで、映像信号は符号化エンジン部６へと入力されてフレーム内符号化が行われ、可変長符号化部２３でビットストリームに変換された後、出力バッファメモリ部１７を通じて、符号出力部２５から出力される（ステップＳ７）。その後、フレームメモリ部４の現フレームメモリに格納されている内容を前フレームメモリに移動し（ステップＳ８）、ステップＳ２へ戻る。
【００２５】
以後は２枚目以降のフレームとなるため、フレームスキップ部３において、フレームスキップ数１９に応じた入力映像信号のフレームスキップ動作が行われる（ステップＳ３）。フレームスキップ部３においてフレームスキップされた映像信号は、フレームメモリ４の現フレームメモリに格納される（ステップＳ４）。その後、フレームメモリ４の現フレームメモリ及び前フレームメモリに格納されている画像が所定数のマクロブロックに分割される（ステップＳ９）。
【００２６】
次いで、現フレームの全てのマクロブロックについて処理が終了したかどうか判別し（ステップＳ１０）、終了してない場合は、動きベクトル発生部１１より、動きベクトルを発生させる（ステップＳ１１）。この動きベクトルは、零ベクトル（０，０）から順番にその大きさが徐々に大きくなるように一定画素ずつ増大させて発生されるものである。
【００２７】
図３は動きベクトル発生部の動作の概念図であり、以下同図を参照してこの動きベクトル発生部１１の動作を説明する。図３の各格子は、動きベクトルの最小単位を示している。例えば、動きベクトルの増加ステップが４分の１画素単位であれば、各格子は４分の１画素を表している。丸で囲まれた数字は、動きベクトルを発生させる順番である。▲１▼零ベクトル（０，０）を初めとして、この数字の順番に▲２▼（０，１）、▲３▼（１，０）、▲４▼（０，−１）、▲５▼（−１，０）、▲６▼（１，１）、・・・、と動きベクトルをその大きさの小さい順に発生させる。
【００２８】
この動きベクトルは、動きベクトル情報９として動き補償部８、符号化エンジン部６及び可変長符号化部２３に印加される。またそのスカラ長は動きベクトルスカラ長情報１０としてマクロブロック有意性判定部１５及びフレームスキップ数決定部２０に印加される。
【００２９】
次いで、動きベクトル発生部１１において全ての種類の動きベクトルを発生したかどうか判別し（ステップＳ１２）、発生していない場合は、そのマクロブロックに関する動き補償処理を動き補償部８で行う（ステップＳ１３）。即ち、フレームメモリ４に蓄えられている、前フレームの注目マクロブロックに対して動きベクトル発生部１１から与えられる１つの動きベクトル情報９で動き補償を施したマクロブロックを抽出し、動き補償マクロブロック１２として出力する。
【００３０】
次いで、現フレームの注目マクロブロック５と動き補償マクロブロック１２とを減算部１３に入力し、各画素毎の差分絶対値１４（歪）を算出してマクロブロック有意性判定部１５へと出力する（ステップＳ１４）。マクロブロック有意性判定部１５では、この差分絶対値１４からそのマクロブロックが有意であるか非有意であるかを判定する（ステップＳ１５）。
【００３１】
図４はマクロブロック有意性判定部１５の動作の概念図であり、以下同図を参照して、この有意性判定部１５の機能を説明する。まず、マクロブロックを縦横半分ずつ４分割し、それぞれの分割ブロックの差分絶対値の総和を求める。その４つの総和値をＴ１、Ｔ２、Ｔ３、Ｔ４とした場合、Ｔ１〜Ｔ４の中の最大のものｍａｘ（Ｔ１，Ｔ２，Ｔ３，Ｔ４）が、閾値Ｔｈを上回るマクロブロックを有意マクロブロック、それ以外を非有意マクロブロックと判定する。
【００３２】
この判定の閾値Ｔｈは、図５にその一例を示すように、動きベクトルスカラ長をパラメータに含む関数によって決定される。この関数は、図５に示す特性曲線に限定されるものではなく、動きベクトルスカラ長が小さい場合は大きく、動きベクトル長が大きくなると減少し、動きベクトルがある値を越えると飽和する特性であればどのような特性曲線（直線）であってもよい。これにより動きベクトルが小さいとき程、非有意マクロブロックと判定される傾向になる。
【００３３】
非有意と判定された場合、動きベクトル及びその「非有意」の情報を保存し（ステップＳ１６）、次のマクロブロックに進み（ステップＳ１７）、ステップＳ１０〜Ｓ１８の処理を繰り返す。有意と判定された場合、ステップＳ１１へ戻って次の大きさの動きベクトルを発生させてステップＳ１２〜Ｓ１５の同様の処理を行う。
【００３４】
ステップＳ１２において、動きベクトル発生部１１が全ての種類の動きベクトルを発生したと判別した場合は、そのマクロブロックは最後まで非有意と判定されなかったため、最終的に有意マクロブロックであることとなる。この場合は、フレーム間差分値が最も小さかった動きベクトル及びその差分値を保存し（ステップＳ１８）、次のマクロブロックに進み（ステップＳ１７）、ステップＳ１０〜Ｓ１８の処理を繰り返す。
【００３５】
このように、各マクロブロック毎に、動きベクトル発生部１１から得られるそれぞれのベクトルに対し、現フレームの有意性の判定を行う。全てのマクロブロックに対してこの処理が終了した場合（ステップＳ１０）、次フレームまでのスキップ数１９がフレームスキップ数決定部２０において算出される（ステップＳ１９）。フレームスキップ数決定部２０は、入力されるフレーム内に占める有意マクロブロックの割合情報１６、有意マクロブロックの動きベクトルのスカラ長情報１０、及び／又は符号化直前までの発生情報量１８をパラメータとして含む関数によってフレームスキップ数１９を決定する。
【００３６】
図６は有意マクロブロック割合に対するフレームスキップ数の好ましい特性の一例を表わしている。有意マクロブロック割合が零の場合にフレームスキップ数は零であり、有意マクロブロック割合が大きくなるにつれてフレームスキップ数も大きくなり、有意マクロブロック割合がある値を越えると飽和する特性となっている。なお、同図におけるフレームスキップ数の数値は、単なる一例でありこれに限定されるものではない。このように、現フレームを占めている有意マクロブロックの割合が大きい場合、その現フレームを符号化するのに必要な情報量は大きいと考えられるので、一定の品質を維持できるまで、フレームスキップ数を必要最小限大きくしている。しかし、フレームスキップ数の甚だしい増加は、動き補償による情報量削減の効率が低下してしまうので、有意マクロブロック割合１６の増加に対して、フレームスキップ数１９は増加させ続けるのではなく、飽和するような傾向とする。
【００３７】
図７は動きベクトルのスカラ長に対するフレームスキップ数の好ましい特性の一例を表わしている。動きベクトルスカラ長が大きくなるにつれてフレームスキップ数が減少する特性となっている。なお、同図におけるフレームスキップ数の数値は、単なる一例でありこれに限定されるものではない。このように、有意マクロブロックの持つ動きベクトルスカラ長１０が大きい場合、フレームスキップ数１９を大きくすると視覚的に動きの不自然な画像となるため、フレームスキップ数１９をやや減少させている。
【００３８】
図８は直前までの発生情報量（出力バッファメモリ部１７の容量に対する情報蓄積量の割合）に対するフレームスキップ数の好ましい特性の一例を表わしている。直前までの発生情報量が大きくなるにつれてフレームスキップ数も大きくなる特性となっている。なお、同図におけるフレームスキップ数の数値は、単なる一例でありこれに限定されるものではない。このように、直前までの発生情報量１８が大きいときには、スキップ数を少し増加させ、発生情報量を抑えてバッファ溢れを防いでいる。
【００３９】
フレームスキップ数は、上述の有意マクロブロックの割合、有意マクロブロックの動きベクトルスカラ長、及び符号化直前までの発生情報量のいずれか１つをパラメータとする関数であってもよいが、これらを全てパラメータとする関数であってもよい。
【００４０】
図９はその場合のフレームスキップ数の好ましい特性を３次元的に表わしている。即ち、有意マクロブロック割合が零の場合にフレームスキップ数は零であり、有意マクロブロック割合が大きくなるにつれてフレームスキップ数も大きくなり、有意マクロブロック割合がある値を越えると飽和し、動きベクトルスカラ長が大きくなるにつれてフレームスキップ数が減少し、直前までの発生情報量が大きくなるにつれてフレームスキップ数も大きくなる特性となっている。
【００４１】
一例として、注目フレームにおける有意マクロブロック割合が３０％、動きベクトルスカラ長が６０、直前までの情報発生量が出力バッファの７０％を占めているとすると、図６よりスキップ数は７枚、図７よりスキップ数は＋１枚、図８よりスキップ数は−１枚であるので、最終的なフレームスキップ数は、この場合、７＋１＋（−１）＝７枚となる。
【００４２】
次フレームまでのフレームスキップ数を決定した後、決定されたフレームスキップ数１９、現フレームの注目マクロブロック５、動きベクトル情報９、及びマクロブロックの有意情報２１をそれぞれ符号化エンジン部６に入力する（ステップＳ２０）と共に、動きベクトル情報９及びマクロブロックの有意情報２１を可変長符号化部２３に入力する。
【００４３】
符号化エンジン部６において、決定されたフレームスキップ数１９は量子化部６ｇに入力され、量子化器選択のためのパラメータとして用いられる。フレームスキップ数１９が大きいときは、伝送路に余裕があるため、やや細かい量子化器を選択する。逆にフレームスキップ数１９が小さいときには、やや粗い量子化器を選択するようにする。図１０はフレームスキップ数に対する量子化ステップの好ましい特性の一例を表わしている。フレームスキップ数が大きくなるにつれて量子化ステップ数が細かくなる特性となっている。なお、同図におけるフレームスキップ数の数値は、単なる一例でありこれに限定されるものではない。
【００４４】
マクロブロックの有意情報２１はスイッチ６ｅに印加され、有意マクロブロックの場合はこのスイッチ６ｅをオンとしてそのマクロブロックに関する予測誤差を量子化するが、非有意マクロブロックの場合はこのスイッチ６ｅをオフとしてそのマクロブロックに関する予測誤差を量子化しない。符号化エンジン部６のその他の動作は公知であるため、説明を省略する。
【００４５】
符号化エンジン部６で得られたそのフレームの量子化データ２２（有意マクロブロックの場合）、動ベクトル情報９、及びマクロブロックの有意情報２１は可変長符号化部２３で符号化され（ステップＳ２１）、出力バッファメモリ部１７を通して、符号出力部２５から伝送路上に出力される。次いでステップＳ２からの同様の動作が次のフレームに関して繰り返される。
【００４６】
以上述べたように本実施形態によれば、動きベクトルのみを伝送する非有意マクロブロックに関して、そのマクロブロックが非有意と判定される範囲内で、動きベクトルのスカラ長が小さくなるように選ばれるので、発生する動きベクトル情報量を抑えることができる。
【００４７】
また、フレームスキップ数を注目フレームの符号化前に決定することにより、その画像の持つ特徴を十分に生かしたフレームスキップ数を決定することが可能となる。その結果、画像の持つ情報量をあらかじめ予測し、フレームレートの制御をすることが可能になり、品質が一定な可変フレームレート画像符号化が可能となった。また、動きベクトル情報をフレームレートの制御に用いることができるので、視覚的に自然な動きの画像を得ることができる。
【００４８】
以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様及び変更態様で実施することができる。従って本発明の範囲は特許請求の範囲及びその均等範囲によってのみ規定されるものである。
【００４９】
【発明の効果】
以上詳細に説明したように本発明によれば、非有意マクロブロックであると判別した場合は動きベクトルのみを伝送するようにし、符号化対象マクロブロックが非有意と判別される範囲内で最小のベクトルスカラ長の動きベクトルを選択しているので、動きベクトルのみを伝送する場合にその伝送される動きベクトル情報量が少なくなり、伝送情報量の低減化を図ることができる。
【００５０】
閾値が動きベクトルの大きさをパラメータに含む関数によって決定され、関数が動きベクトルの大きさが大きくなると減少する関数であるか、又は動きベクトルの大きさが大きくなると減少し、動きベクトルがある値を越えると飽和する関数であるようにすることにより、動きベクトルが小さいほど、非有意マクロブロックと判定され易くなる。
【図面の簡単な説明】
【図１】本発明の動画像符号化装置の一実施形態の構成を概略的に示すブロック図である。
【図２】図１の実施形態における主要動作を説明するフローチャートである。
【図３】動きベクトル発生部の動作の概念図である。
【図４】マクロブロック有意性判定部の動作の概念図である。
【図５】マクロブロック有意性判定閾値の特性図である。
【図６】有意マクロブロック割合に対するフレームスキップ数の好ましい特性の一例を表わす特性図である。
【図７】動きベクトルのスカラ長に対するフレームスキップ数の好ましい特性の一例を表わす特性図である。
【図８】直前までの発生情報量に対するフレームスキップ数の好ましい特性の一例を表わす特性図である。
【図９】フレームスキップ数の好ましい特性を３次元的に表わす特性図である。
【図１０】フレームスキップ数に対する量子化ステップの好ましい特性の一例を表わす特性図である。
【符号の説明】
１可変フレームレート動画像符号化装置
２映像信号入力部
３フレームスキップ部
４、６ｊフレームメモリ
６符号化エンジン部
６ａ、６ｂモードスイッチ
６ｃ、１３減算部
６ｄ加算部
６ｅスイッチ
６ｆＤＣＴ（離散コサイン変換）回路
６ｇＱ（量子化回路）
６ｈＱ^−１（逆量子化回路）
６ｉＩＤＣＴ（離散コサイン逆変換）回路
６ｋ、８動き補償部
１１動きベクトル発生部
１５マクロブロック有意／非有意判定部
１７出力バッファメモリ部
２０フレームスキップ数決定部
２３ＶＬＣ（可変長符号化部）
２５符号出力部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving picture coding method and apparatus for coding a moving picture signal with motion compensation, and more particularly to a moving picture coding method and apparatus effective when transmitting at a low bit rate.
[0002]
[Prior art]
In a conventional moving picture coding apparatus using a block matching method, the amount of information is reduced by classifying a coding target macroblock as significant or insignificant and coding only significant blocks.
[0003]
That is, the difference between the current macroblock to be coded in the current frame and the motion-compensated macroblock in the previous frame is calculated. Macroblocks with a difference value below a certain threshold are treated as insignificant macroblocks, and only the motion vector is calculated. A method has been used that does not perform any encoding on stationary macroblocks that are transmitted and are insignificant and have zero motion vector.
[0004]
[Problems to be solved by the invention]
According to such a conventional method, the motion vector is determined according to the macroblock of the previous frame such that the difference (distortion) between the current macroblock to be encoded of the current frame and the macroblock subjected to motion compensation of the previous frame is as small as possible. Since the block matching method of detecting and performing motion compensation using the detected motion vector is used, the following problem occurs.
[0005]
When the significance of a macroblock is determined as described above in a system that determines a macroblock of a reference image and detects a motion vector so as to minimize the difference value (distortion), a macroblock determined to be insignificant is determined. Unnecessarily large motion vectors may be transmitted. In other words, in a non-significant macroblock, information to be transmitted is only a motion vector. Therefore, when motion compensation with sufficient accuracy can be performed even with a small motion vector, or when a difference value does not increase so much without motion compensation. Etc., a large motion vector is transmitted, and accordingly, useless information is transmitted.
[0006]
Accordingly, it is an object of the present invention to provide a moving picture coding method and apparatus capable of reducing the amount of transmission information while preventing image quality deterioration.
[0007]
[Means for Solving the Problems]
The present invention performs motion compensation on the macroblock of the previous frame using the generated motion vector, and calculates a prediction error that is a difference between the macroblock subjected to motion compensation and the current macroblock to be coded, By comparing the calculated prediction error with a threshold, it is determined whether the current macroblock is a non-significant macroblock or a significant macroblock larger than the threshold, and if the macroblock is a significant macroblock, coding is performed. The present invention relates to a moving picture coding method. In particular, according to the present invention, the threshold value is set to a function that decreases as the size of the motion vector increases, and when it is determined that the macroblock is insignificant, only the motion vector is transmitted and the encoding target macroblock is The motion vector having the minimum vector scalar length within the range determined to be insignificant is selected.
[0008]
Since the motion vector having the minimum vector scalar length is selected within the range in which the encoding target macroblock is determined to be insignificant, the amount of transmitted motion vector information is reduced when only the motion vector is transmitted, The amount of transmission information can be reduced. In addition, since the threshold for determining whether a macroblock is a non-significant macroblock or a large macroblock is a function that decreases as the size of the motion vector increases, it is easy to determine that the motion vector is small as a nonsignificant macroblock. If the motion vector is large, it is difficult to determine that the block is an insignificant macroblock.
[0009]
A motion vector is generated by sequentially increasing the motion vector from the smallest one, and each time the motion vector is generated, motion compensation is performed using the generated motion vector, a prediction error is calculated, and the calculated prediction error is compared with a threshold value. Thus, it is preferable to make a distinction between significant and insignificant.
[0010]
Preferably, the threshold is a function that decreases as the magnitude of the motion vector increases and saturates when the motion vector exceeds a certain value.
[0011]
The present invention further provides a motion vector generating unit for generating a motion vector, a unit for performing motion compensation on a macroblock of a previous frame using the generated motion vector, a code of a macroblock subjected to motion compensation and a code of a current frame. Means for calculating a prediction error that is a difference from the encoding target macroblock, and comparing the calculated prediction error with a threshold to determine whether the encoding target macroblock is a non-significant macroblock smaller than the threshold or a significant macroblock. The present invention relates to a moving picture coding apparatus provided with a discriminating means for discriminating whether there is a macroblock and a means for coding when a significant macroblock is discriminated. In particular, the present invention further comprises means for transmitting only the motion vector when the motion vector is determined to be a non-significant macroblock, and the threshold value of the determination means is a function that decreases as the size of the motion vector increases. The generating means is configured to select a motion vector having a minimum vector scalar length within a range in which the encoding target macroblock is determined to be insignificant.
[0012]
Since the motion vector having the minimum vector scalar length is selected within the range in which the encoding target macroblock is determined to be insignificant, when only the motion vector is transmitted, the amount of transmitted motion vector information is reduced. The amount of information can be reduced. In addition, since the threshold for determining whether a macroblock is a non-significant macroblock or a large macroblock is a function that decreases as the size of the motion vector increases, it is easy to determine that the motion vector is small as a nonsignificant macroblock. If the motion vector is large, it is difficult to determine that the block is an insignificant macroblock.
[0013]
The motion vector generation means is means for generating a motion vector by sequentially increasing the motion vector from the smallest magnitude motion vector, and the motion compensation means, the calculation means, and the discrimination means generate the motion vector each time a motion vector is generated. It is preferable that the means is a means for performing motion compensation using the data, calculating a prediction error, and comparing the calculated prediction error with a threshold to determine significance or insignificance.
[0014]
It is preferable that the threshold value of the determination means be a function that decreases as the magnitude of the motion vector increases and saturates when the motion vector exceeds a certain value.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram schematically showing a configuration of an embodiment of the moving picture coding apparatus according to the present invention.
[0016]
In FIG. 1, reference numeral 1 denotes the configuration of the entire variable frame rate video encoding device. The moving picture coding apparatus 1 includes a video signal input unit 2, a frame skip unit 3 connected to the video signal input unit 2 and performing frame skip on an input video signal, and a frame skip unit 3. And a frame memory 4 for storing at least the video signals of the previous frame and the current frame inputted by skipping the frame, and a current macroblock to be encoded of the current frame outputted from the frame memory 4 (the macro block of interest). ), And an encoding engine unit 6 to which the video signal 5 is input.
[0017]
The frame memory 4 is connected to the above-described encoding engine unit 6, motion compensation unit 8, and subtraction unit 13. As will be described later, a motion vector generation unit 11 that sequentially generates motion vectors from a small scalar length to a large scalar length and outputs the motion vector information 9 and the scalar length information 10 includes a motion compensation unit 8 and an encoding engine. The section 6, a VLC (variable length coding section) 23, a macroblock significant / insignificant determination section 15, and a frame skip number determination section 20 are connected. The video signal 7 of each macroblock of the previous frame is supplied from the frame memory 4 to the motion compensation unit 8.
[0018]
The subtractor 13 has the video signal 5 of the current macroblock of interest from the frame memory 4 connected to its + input, and the macroblock of the previous frame motion-compensated from the motion compensator 8 connected to the-input. The video signal 12 is input. The output of the subtraction unit 13 is connected to a significant / insignificant determination unit 15. The significant / insignificant determining unit 15 receives the difference value between macroblocks 14 from the subtracting unit 13 and the scalar length information 10 from the motion vector generating unit 11. The output of the significant / insignificant determination unit 15 is connected to the frame skip number determination unit 20.
[0019]
The frame skip number determination unit 20 is further connected to the output buffer memory unit 17 and the frame skip unit 3, and outputs the significant macroblock ratio information 16 from the significant / insignificant determination unit 15 to the scalar length from the motion vector generation unit 11. The generated information amount 18 immediately before the information 10 is input from the output buffer memory 17 to the frame skip number information 19, and is output to the frame skip unit 3 and the encoding engine unit 6.
[0020]
The variable-length coding unit 23 is connected to the significant / insignificant determining unit 15, the coding engine unit 6, and the motion vector generating unit 11, and the macroblock significant information 21, the quantization information 22, and the motion The vector information 9 is received and encoded. The variable length coding unit 23 is further connected to an input of the output buffer memory unit 17 and outputs a coded output 24. The output of the output buffer memory unit 17 is connected to the code output unit 25.
[0021]
The encoding engine unit 6 has a known encoding device configuration except for a partial configuration described later. That is, the mode switches 6a and 6b that switch according to the inter-frame prediction or the intra-frame prediction, the subtraction unit 6c, the addition unit 6d, and the significance / non-significance determination unit 15 determine the significance according to the macroblock significance information 21. , A switch 6e that is turned off if insignificant, a DCT (discrete cosine transform) circuit 6f, a Q (quantization circuit) 6g, a Q ^-1 (inverse quantization circuit) 6h, and an IDCT ( It mainly comprises a discrete cosine inverse transform circuit 6i, a frame memory 6j, and a motion compensator 6k.
[0022]
FIG. 2 is a flowchart illustrating main operations in the present embodiment. Hereinafter, the operation of this embodiment will be described with reference to FIG.
[0023]
When a video signal is input to the video signal input unit 2 (step S1), it is determined whether or not this frame is the first frame (step S2). If it is the first frame, the video signal is input to the frame memory unit 4 and stored in the current frame memory without performing the frame skip operation (step S3) in the frame skip unit 3 (step S4). Next, it is determined again whether or not this frame is the first frame (step S5).
[0024]
If the frame is the first frame, the frame skip number 19 output from the frame skip number determination unit 20 is set to an initial value N (sheets) (step S6). Next, the video signal is input to the encoding engine unit 6, subjected to intra-frame encoding, converted into a bit stream by the variable length encoding unit 23, and then output from the code output unit 25 through the output buffer memory unit 17. It is output (step S7). Thereafter, the contents stored in the current frame memory of the frame memory unit 4 are moved to the previous frame memory (step S8), and the process returns to step S2.
[0025]
Thereafter, since the subsequent frames are the second and subsequent frames, the frame skip unit 3 performs a frame skip operation of the input video signal according to the frame skip number 19 (step S3). The video signal whose frame has been skipped by the frame skip unit 3 is stored in the current frame memory of the frame memory 4 (step S4). Thereafter, the images stored in the current frame memory and the previous frame memory of the frame memory 4 are divided into a predetermined number of macro blocks (step S9).
[0026]
Next, it is determined whether or not the processing has been completed for all the macroblocks in the current frame (step S10). If the processing has not been completed, a motion vector is generated by the motion vector generation unit 11 (step S11). This motion vector is generated by increasing the size of the motion vector from the zero vector (0, 0) by a certain number of pixels so that the magnitude gradually increases.
[0027]
FIG. 3 is a conceptual diagram of the operation of the motion vector generator. Hereinafter, the operation of the motion vector generator 11 will be described with reference to FIG. Each grid in FIG. 3 indicates a minimum unit of a motion vector. For example, if the increment step of the motion vector is a quarter pixel unit, each grid represents a quarter pixel. The circled numbers indicate the order in which the motion vectors are generated. {Circle around (1)} Starting with the zero vector (0,0), in order of these numbers, {2} (0,1), {3} (1,0), {4} (0, −1), {5} (-1, 0), {circle around (6)} (1, 1),...
[0028]
This motion vector is applied as motion vector information 9 to the motion compensation unit 8, the encoding engine unit 6, and the variable length encoding unit 23. The scalar length is applied as motion vector scalar length information 10 to the macroblock significance determining unit 15 and the frame skip number determining unit 20.
[0029]
Next, it is determined whether or not all types of motion vectors have been generated in the motion vector generation unit 11 (step S12). If no motion vector has been generated, the motion compensation unit 8 performs motion compensation processing on the macroblock (step S13). ). That is, a macroblock obtained by performing motion compensation on the target macroblock of the previous frame stored in the frame memory 4 with one piece of motion vector information 9 given from the motion vector generation unit 11 is extracted. Output as 12.
[0030]
Next, the target macroblock 5 and the motion compensation macroblock 12 of the current frame are input to the subtraction unit 13, the difference absolute value 14 (distortion) of each pixel is calculated, and output to the macroblock significance determination unit 15. (Step S14). The macroblock significance determining unit 15 determines whether the macroblock is significant or non-significant from the difference absolute value 14 (step S15).
[0031]
FIG. 4 is a conceptual diagram of the operation of the macroblock significance determination unit 15, and the function of the significance determination unit 15 will be described below with reference to FIG. First, a macroblock is divided into four halves each vertically and horizontally, and the sum of absolute differences of the divided blocks is obtained. Assuming that the sum of the four values is T1, T2, T3, and T4, a macroblock whose maximum (T1, T2, T3, T4) among T1 to T4 exceeds the threshold Th is a significant macroblock, Are determined to be insignificant macroblocks.
[0032]
The threshold value Th for this determination is determined by a function including a motion vector scalar length as a parameter, as shown in an example in FIG. This function is not limited to the characteristic curve shown in FIG. 5, but is large when the motion vector scalar length is small, decreases when the motion vector length is large, and saturates when the motion vector exceeds a certain value. Any characteristic curve (straight line) may be used. As a result, the smaller the motion vector is, the more likely it is to determine a non-significant macroblock.
[0033]
If it is determined to be insignificant, the motion vector and its "insignificant" information are stored (step S16), the process proceeds to the next macroblock (step S17), and the processing of steps S10 to S18 is repeated. If it is determined to be significant, the process returns to step S11 to generate a motion vector of the next magnitude, and performs the same processing in steps S12 to S15.
[0034]
In step S12, when the motion vector generating unit 11 determines that all types of motion vectors have been generated, the macroblock has not been determined to be insignificant to the end, and is finally a significant macroblock. . In this case, the motion vector having the smallest inter-frame difference value and the difference value are stored (step S18), the process proceeds to the next macroblock (step S17), and the processing of steps S10 to S18 is repeated.
[0035]
In this way, for each macroblock, the significance of the current frame is determined for each vector obtained from the motion vector generation unit 11. When this process is completed for all macroblocks (step S10), the skip number 19 up to the next frame is calculated by the frame skip number determination unit 20 (step S19). The frame skip number determination unit 20 uses the ratio information 16 of the significant macroblock in the input frame, the scalar length information 10 of the motion vector of the significant macroblock, and / or the generated information amount 18 immediately before encoding as parameters. The frame skip number 19 is determined by the included function.
[0036]
FIG. 6 shows an example of a preferable characteristic of the frame skip number with respect to the significant macroblock ratio. When the ratio of significant macroblocks is zero, the number of frame skips is zero, and as the ratio of significant macroblocks increases, the number of frame skips also increases. When the ratio of significant macroblocks exceeds a certain value, the characteristic is saturated. It should be noted that the numerical value of the number of frame skips in the figure is merely an example, and the present invention is not limited to this. As described above, when the ratio of significant macroblocks occupying the current frame is large, the amount of information necessary to encode the current frame is considered to be large. Is as large as possible. However, if the number of frame skips is significantly increased, the efficiency of information amount reduction by motion compensation is reduced. Therefore, the frame skip number 19 does not continue to increase but saturates with respect to the increase in the significant macroblock ratio 16. Such a tendency.
[0037]
FIG. 7 shows an example of a preferable characteristic of the frame skip number with respect to the scalar length of the motion vector. As the motion vector scalar length increases, the number of frame skips decreases. It should be noted that the numerical value of the number of frame skips in the figure is merely an example, and the present invention is not limited to this. As described above, when the motion vector scalar length 10 of the significant macroblock is large, if the number of frame skips 19 is increased, the image becomes visually unnatural. Therefore, the number of frame skips 19 is slightly reduced.
[0038]
FIG. 8 shows an example of a preferable characteristic of the number of frame skips with respect to the amount of information generated immediately before (the ratio of the information storage amount to the capacity of the output buffer memory unit 17). As the amount of generated information up to immediately before increases, the number of frame skips also increases. It should be noted that the numerical value of the number of frame skips in the figure is merely an example, and the present invention is not limited to this. As described above, when the amount of generated information 18 immediately before is large, the number of skips is slightly increased, and the amount of generated information is suppressed to prevent buffer overflow.
[0039]
The number of frame skips may be a function in which any one of the above-described ratio of significant macroblocks, the length of a motion vector scalar of significant macroblocks, and the amount of information generated immediately before encoding is used. Functions with all parameters may be used.
[0040]
FIG. 9 three-dimensionally shows a preferable characteristic of the frame skip number in that case. That is, when the significant macroblock ratio is zero, the number of frame skips is zero, and as the significant macroblock ratio increases, the frame skip number also increases. As the length increases, the number of frame skips decreases, and as the amount of generated information up to immediately before increases, the number of frame skips also increases.
[0041]
As an example, assuming that the significant macroblock ratio in the frame of interest is 30%, the motion vector scalar length is 60, and the information generation amount immediately before occupies 70% of the output buffer, the number of skips is 7 from FIG. Since the skip number is +1 from FIG. 7 and the skip number is −1 from FIG. 8, the final frame skip number is 7 + 1 + (− 1) = 7 in this case.
[0042]
After the number of frame skips up to the next frame is determined, the determined frame skip number 19, the noted macroblock 5 of the current frame, the motion vector information 9, and the significant information 21 of the macroblock are input to the encoding engine unit 6, respectively. Along with (Step S20), the motion vector information 9 and the significant information 21 of the macroblock are input to the variable length coding unit 23.
[0043]
In the encoding engine unit 6, the determined frame skip number 19 is input to the quantization unit 6g and used as a parameter for selecting a quantizer. When the number of frame skips 19 is large, the transmission path has room, so that a slightly finer quantizer is selected. Conversely, when the frame skip number 19 is small, a slightly coarser quantizer is selected. FIG. 10 shows an example of a preferable characteristic of the quantization step with respect to the number of frame skips. As the number of frame skips increases, the number of quantization steps decreases. It should be noted that the numerical value of the number of frame skips in the figure is merely an example, and the present invention is not limited to this.
[0044]
The significant information 21 of the macroblock is applied to the switch 6e. In the case of a significant macroblock, the switch 6e is turned on to quantize a prediction error relating to the macroblock. In the case of a non-significant macroblock, the switch 6e is turned off. Do not quantize the prediction error for that macroblock. Other operations of the encoding engine unit 6 are known, and thus description thereof is omitted.
[0045]
The quantized data 22 (in the case of a significant macroblock) of the frame, the motion vector information 9 and the significant information 21 of the macroblock obtained by the encoding engine unit 6 are encoded by the variable length encoding unit 23 (step S21). ), Output from the code output unit 25 through the output buffer memory unit 17 onto the transmission path. Then, the same operation from step S2 is repeated for the next frame.
[0046]
As described above, according to the present embodiment, for a non-significant macroblock that transmits only a motion vector, the scalar length of the motion vector is selected to be small within a range in which the macroblock is determined to be nonsignificant. Therefore, the amount of generated motion vector information can be suppressed.
[0047]
Further, by determining the number of frame skips before encoding the frame of interest, it is possible to determine the number of frame skips that makes full use of the features of the image. As a result, it becomes possible to predict the information amount of the image in advance and control the frame rate, and it becomes possible to perform variable frame rate image coding with constant quality. Also, since the motion vector information can be used for controlling the frame rate, a visually natural motion image can be obtained.
[0048]
The embodiments described above are merely examples of the present invention and are not intended to limit the present invention, and the present invention can be embodied in other various modifications and alterations. Therefore, the scope of the present invention is defined only by the appended claims and their equivalents.
[0049]
【The invention's effect】
As described above in detail, according to the present invention, when it is determined that the macroblock is a non-significant macroblock, only the motion vector is transmitted, and the coding target macroblock has the minimum value within the range determined to be nonsignificant. Since a motion vector having a vector scalar length is selected, when only a motion vector is transmitted, the amount of transmitted motion vector information is reduced, and the amount of transmitted information can be reduced.
[0050]
The threshold is determined by a function that includes the magnitude of the motion vector as a parameter, and the function is a function that decreases as the magnitude of the motion vector increases, or decreases when the magnitude of the motion vector increases, and a value at which the motion vector has a certain value. Is set to be a function that saturates when the motion vector exceeds the threshold value, so that the smaller the motion vector is, the easier it is to determine a non-significant macro block.
[Brief description of the drawings]
FIG. 1 is a block diagram schematically showing a configuration of an embodiment of a video encoding device of the present invention.
FIG. 2 is a flowchart illustrating a main operation in the embodiment of FIG. 1;
FIG. 3 is a conceptual diagram of an operation of a motion vector generation unit.
FIG. 4 is a conceptual diagram illustrating the operation of a macroblock significance determination unit.
FIG. 5 is a characteristic diagram of a macroblock significance determination threshold.
FIG. 6 is a characteristic diagram illustrating an example of a preferable characteristic of a frame skip number with respect to a significant macroblock ratio.
FIG. 7 is a characteristic diagram illustrating an example of a preferable characteristic of a frame skip number with respect to a scalar length of a motion vector.
FIG. 8 is a characteristic diagram illustrating an example of a preferable characteristic of a frame skip number with respect to an amount of generated information up to immediately before;
FIG. 9 is a characteristic diagram three-dimensionally showing preferable characteristics of the frame skip number.
FIG. 10 is a characteristic diagram illustrating an example of preferable characteristics of a quantization step with respect to the number of frame skips.
[Explanation of symbols]
Reference Signs List 1 Variable frame rate video encoding device 2 Video signal input unit 3 Frame skip unit 4, 6j Frame memory 6 Encoding engine unit 6a, 6b Mode switch 6c, 13 Subtraction unit 6d Addition unit 6e Switch 6f DCT (discrete cosine transform) Circuit 6g Q (quantization circuit)
6h Q ^-1 (Inverse quantization circuit)
6i IDCT (Inverse Discrete Cosine Transform) circuit 6k, 8 Motion compensation unit 11 Motion vector generation unit 15 Macroblock significant / insignificant determination unit 17 Output buffer memory unit 20 Frame skip number determination unit 23 VLC (variable length encoding unit)
25 Code output unit

Claims

Using the generated motion vector, motion compensation is performed on the macroblock of the previous frame, and a prediction error, which is a difference between the motion-compensated macroblock and the current macroblock to be coded, is calculated. By comparing the prediction error with a threshold, it is determined whether the current macroblock is a non-significant macroblock or a significant macroblock larger than the threshold, and if it is determined that the macroblock is a significant macroblock, coding is performed. Moving image encoding method,
When the threshold value is a function that decreases as the size of the motion vector increases, and when it is determined that the macroblock is insignificant, only the motion vector is transmitted and the encoding target macroblock is determined to be insignificant. A moving vector having a minimum vector scalar length within a range to be encoded.

The motion vector is generated by sequentially increasing the motion vector from the smallest one, and each time the motion vector is generated, motion compensation is performed using the generated motion vector to calculate a prediction error. The method according to claim 1, wherein the determination of the significance and the insignificance is performed by comparing with the following.

3. The method according to claim 1, wherein the function is a function that saturates when a motion vector exceeds a certain value.

A motion vector generating means for generating a motion vector, a motion compensating means for performing motion compensation on a macroblock of a previous frame using the generated motion vector, and an encoding target of the macroblock subjected to the motion compensation and a current frame. Calculating means for calculating a prediction error, which is a difference from the macroblock, and comparing the calculated prediction error with a threshold value, whereby the coding target macroblock is a non-significant macroblock smaller or larger than the significant macroblock. A moving image encoding apparatus comprising: a determination unit configured to determine whether the block is a block; and a unit configured to perform coding when determined to be a significant macroblock,
If it is determined that the block is a non-significant macro block, further comprising means for transmitting only the motion vector,
The threshold of the determination means is a function that decreases as the size of the motion vector increases,
The moving picture encoding apparatus, wherein the motion vector generating means is a means for selecting a motion vector having a minimum vector scalar length within a range in which the encoding target macroblock is determined to be insignificant.

The motion vector generating means is means for generating the motion vector by sequentially increasing the motion vector from the smallest magnitude motion vector, and the motion compensating means, the calculating means, and the determining means each time the motion vector is generated. Means for performing a motion compensation using the generated motion vector, calculating a prediction error, and comparing the calculated prediction error with a threshold to determine the significance or insignificance. Item 5. The apparatus according to Item 4.

The apparatus according to claim 4, wherein the function is a function that saturates when a motion vector exceeds a certain value.