JP3784086B2 - 映像信号符号化・復号化装置及び符号化・復号化方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
この発明は、動き補償予測を用いて映像信号の符号化・復号化を行う映像信号符号化・復号化装置及び符号化・復号化方法に関するものである。
【０００２】
【従来の技術】
映像信号符号化・復号化装置における符号化手段として、動き補償予測とＤＣＴ（離散コサイン変換）を併用したものがよく使われている。以下に説明する従来例もこれを用いたものである。
【０００３】
図１１乃至図１５は、例えば、ISO/IEC 13818-2 Draft International Standardに示されたような、従来の映像信号符号化装置及び該符号化装置により符号化された映像信号を再生する復号化装置について説明するための図である。
ここに、図１１は映像信号符号化装置の概略構成を示すブロック図、図１２は映像信号復号化装置の概略構成を示すブロック図であり、また、図１３，図１４は映像信号の符号化に際して行われる動き補償予測の概念を示すための概念図、図１５は符号化のためのベクトルコードを示す図（なお、同図ではいくつかの探索範囲におけるベクトルコードのみを示している。）である。
また、図１６は後述する動きベクトルの差分値とその出現確率との関係を示した図である。
【０００４】
一般に、動き補償予測とＤＣＴを用いた符号化では、１枚の画像情報を格子状の複数の小領域（以下、符号化対象領域と呼ぶ。）に分割し、かかる小領域毎に符号化を行う。
この動き補償予測と呼ばれるものは、現在符号化しようとしている画像（以下、符号化対象画像と呼ぶ。）の符号化対象領域に対して、過去に符号化したいくつかの画像（以下、参照画像と呼ぶ。）における最も類似し、かつ符号化対象領域と同じ大きさの領域（以下、予測領域と呼ぶ。）を検出し、当該予測領域と符号化対象領域との差信号のみを符号化して伝送するものである。
【０００５】
この際、どの領域が当該予測領域であるかという情報も同時に復号化手段に伝送することが必要であるが、この情報を動きベクトルと呼び、インタレース画像とノンインタレース画像とでは異なるが、本従来例では、説明上、水平動きベクトルと垂直動きベクトルの２つのベクトルによって構成されるものとする。
この動き補償予測を概念的に示したものが図１４である。
【０００６】
一方、復号化手段では、伝送されてきた上述の動きベクトルと再生された参照画像とから予測領域を検出し、該予測領域の映像信号に伝送されてきた差信号を加えるようにされており、ここに元の符号化対象領域の信号を再生できる。
【０００７】
また、予測領域は、図１３に示すように、参照画像において符号化対象画像の符号化対象領域と同じ水平／垂直位置を中心として水平方向に±ｈ画素、垂直方向に±ｖライン分拡張した領域（以下、探索領域と呼ぶ。）内から選択される。
一般に、動きの速い映像に対して符号化効率を上げるためにはその探索領域を広げることが必要である。そこで、従来の装置ではこの探索領域の大きさを適宜選択可能にし得るように構成されている。
【０００８】
では、従来の映像信号符号化装置の具体的な構成について、図１１に基づき説明する。
図において、１ａは映像信号の入力端子、２ａは符号化された映像信号の出力端子、３ａは減算手段、４ａは情報圧縮のため映像信号を水平／垂直の空間周波数に変換するＤＣＴ手段、５ａは量子化手段、６ａは逆量子化手段、７ａは周波数変換された映像信号を元の映像信号に再変換するＩＤＣＴ（逆離散コサイン変換）手段、８ａは加算手段、９ａはメモリ手段、１２ａはスイッチ（切替）手段、１３ａは可変長符号化手段、１４ａは送信バッファ手段、１５ａは符号量制御手段、１８ａは動き検出手段である。
【０００９】
入力端子１ａから入力された映像信号１０１は、動きベクトル生成のため、その一部が動き検出手段１８ａに入力されるとともに、減算手段３ａにおいて予測領域の信号との差信号１０２とされる。
この差信号１０２は、ＤＣＴ手段４ａにおいて周波数変換され、さらに量子化手段５ａによって量子化される。
【００１０】
そして、量子化された差信号１０４の一部は逆量子化手段６ａ及び逆ＤＣＴ手段７ａを介して再変換されて元の差信号とされ、加算手段８ａで予測領域の信号が加算されて元の映像信号となり、メモリ手段９ａに参照画像として蓄えられる。 一方、残りの差信号１０４は可変長符号化手段１３ａにおいて、動き検出手段１８ａで生成された動きベクトル１１２とともに符号化され、多重化される。
ここで、可変長符号化とは、出現確率の高いシンボルには短い符号語を、出現確率の低いシンボルには長い符号語を割り当てる符号化手法の一つである。
【００１１】
そして、多重化信号１１４は送信バッファ手段１４ａを経て、出力端子２ａより伝送、あるいは、図示せぬ記録媒体に記録されることになる。
なお、符号量制御手段１５ａは、送信バッファ手段１４ａにおけるメモリ残量等の信号を受けて、オーバーフローが発生しないよう、量子化手段５ａの量子化ステップを適応的に変化させている。
【００１２】
一方、メモリ手段９ａに蓄えられた参照画像はスイッチ手段１２ａの第１の端子に入力されるとともに、動き検出手段１８ａにも入力される。（スイッチ手段１２ａの第２の端子には零信号が入力されている。）
【００１３】
動き検出手段１８ａでは、入力された参照画像１０８、及び、映像信号（符号化対象画像）１０１から符号化対象画像の符号化対象領域毎に、上述したような動きベクトル１１２を検出する（図１３，図１４参照）。
検出された動きベクトル１１２は可変長符号化手段１３ａに送出され、ここで隣接する符号化対象領域の動きベクトルとの差分値が算出され、これを可変長符号化したベクトルコードは、可変長符号化された差信号１０４に多重化される。
【００１４】
また、動き検出手段１８ａの出力１１０は、スイッチ手段１２ａの切替信号としても用いられ、かかる信号に基づき参照画像の映像信号は予測領域の信号１０９に変換されて減算手段３ａ及び加算手段８ａに入力される。さらに、かかる信号１１０は可変長符号化手段１３ａにおいて、差信号１０４と動きベクトルの符号化切替信号としても用いられる。
【００１５】
次に、上述のごとく符号化された映像信号を復号化する映像信号復号化装置の具体的構成について、図１２に基づき説明する。
図において、１ｂは符号化された映像信号の入力端子、２ｂは復号化された映像信号の出力端子、１４ｂは受信バッファ手段、１３ｂは可変長復号化手段、５ｂは逆量子化手段、４ｂはＩＤＣＴ手段、８ｂは加算手段、９ｂはメモリ手段、１２ｂはスイッチ手段である。
【００１６】
入力端子１ｂから入力された符号化映像信号２０１は、受信バッファ手段１４ｂを介して、可変長復号化手段１３ｂに入力される。可変長復号化手段１３ｂではこの符号化映像信号２０２を復号化し、動きベクトル２１３と差信号２０３とに分離する。
分離された差信号２０３は逆量子化手段５ｂで逆量子化され、ＩＤＣＴ手段４ｂで元の差信号２０５に変換される。さらに、この差信号２０５は、加算手段８ｂにおいて予測領域の信号２０８と加算されて元の符号化対象領域の信号２０６に戻され、その一部がメモリ手段９ｂに蓄えられるとともに、元の符号化対象画像として出力端子２ｂから出力される。
【００１７】
一方、メモリ手段９ｂは加算手段８ｂからの符号化対象領域信号２０６と可変長復号化手段で復号化された動きベクトル２１３とから予測領域の信号２０７を生成し、該予測領域信号２０７を可変長復号化手段で生成した動き補償予測のための切替信号２０９に基づいて切り替えられるスイッチ手段１２ｂを介して加算手段８ｂに入力させるように構成されている。なお、スイッチ手段１２ｂの一端には零信号が入力されており、この端子が選択されている場合には動き補償予測のなされていない信号が８ｂより出力される。
【００１８】
【発明が解決しようとする課題】
従来の映像信号符号化・復号化装置は以上のように構成されており、動きの速い映像に対する符号化効率を上げるため、探索領域の大きさを適宜設定することができるように構成されていた。
【００１９】
しかし、図１６に示すように、探索領域の大きさが異なると、それに伴って動きベクトルの差分値の出現確率が異なってくる。このため、可変長符号化手段１３ａにおいて動きベクトルのベクトルコードを作成する際にはその探索領域の大きさに応じてベクトルコードを異ならせることが必要となる。
【００２０】
そこで、従来の装置では、図１５に示すように、motion code（ある定められた可変長コード）と、motion residual（探索範囲に応じて符号長の定められたコード）の２つのコードを組み合わせることによってベクトルコードを作成するように構成されており、これらを組み合わせることで探索領域の大きさに応じた異なるベクトルコードを作成していた。
【００２１】
ここで、動きベクトルの差分値は、図１６に示されるように、その探索領域の大きさにかかわらず、ベクトルの差分値の小さいものの出現確率が高いという特徴を有している。しかし、従来のベクトルコードではこの点を全く考慮していなかったため、図１５に示すように、探索領域が大きくなるにしたがって、ベクトル差分値の小さい値を示すベクトルコードの符号長が長くなるという特徴を持っている。
【００２２】
このことは、動きの速い映像に対して符号化効率を上げるために探索領域を広げているのにもかかわらず、広げたことによりベクトルコードの平均語長が長くなってしまい、その結果、符号化効率が悪化し、画質を劣化させてしまうという問題を生じさせていた。
【００２３】
また、従来の装置では、motion codeと、motion residualの２つのコードを組み合わせることによって探索領域の大きさに応じて異なるベクトルコードを作成するようにしているため、あらゆる探索領域に対して最適なベクトルコードを得るために探索領域の大きさに対応した複数種類のベクトルコードを並列的に持つことが必要となる。従って、ハードウェア／ソフトウェア規模が必然的に大きくならざるを得ず、実用的ではないという問題点もあった。
【００２４】
本発明は、以上述べたような従来装置の問題点を解消するためになされたものであり、探索領域を広げても、符号化効率が劣化しない、また、ハードウェア／ソフトウェア規模を小規模のものとすることができる、映像信号符号化・復号化装置及び符号化・復号化方法を得ることを目的としている。
【００２５】
【課題を解決するための手段】
本発明に係る映像信号符号化装置は、１枚の画像情報に対応する領域を複数の領域に分割した上位符号化対象領域の時間的な動きを示す第１の動きベクトルを検出する第１の動き検出手段と、前記上位符号化領域を複数の領域に分割した符号化対象領域の時間的な動きを示す第２の動きベクトルを検出する第２の動き検出手段と、前記第１および第２の動き検出手段から出力される前記第１および第２の動きベクトルを符号化する可変長符号化手段とを備える。
また、第２の動きベクトルは、第１の動きベクトルで指定される領域を中心とした所定の探索領域内において検出されることを特徴とする。
また、第１および第２の動きベクトルがそれぞれに対応するベクトルコードによってコード化されることを特徴とする。
また、隣接する上位符号化対象領域及び符号化対象領域における第１および第２の動きベクトルの差分値をベクトルコードによりコード化することを特徴とする。
また、第１の動き検出手段は、符号化対象画像の低域成分を出力する低域通過フィルタ手段と、該低域通過フィルタ手段からの出力をサブサンプリングするサブサンプリング手段と、該サブサンプリング手段からのサブサンプリングされた映像信号を参照画像として蓄積するメモリ手段と、該メモリ手段から出力される前記参照画像出力と前記サブサンプリング手段から出力される前記符号化対象画像のサブサンプリング出力とに基づいて第１の動きベクトルを出力する代表ベクトル検出手段とを備える。
【００２６】
また、第ｎ画像及び第ｎ＋ｍ画像の第１の動きベクトルをもとに、当該第ｎ画像及び第ｎ＋ｍ画像の間にある第ｎ＋ｙ画像における過去の画像に対する第１の動きベクトルｖｆと未来の画像に対する第１の動きベクトルｖｂとを下記の式により作成することを特徴とする。
ｖｆ＝ { ｙ／ｍ } ×ｖ
ｖｂ＝ { （ｍ−ｙ）／ｍ } ×（−ｖ）
また、符号化対象画像のうちの一の上位符号化対象領域に対する第１の動きベクトルを他の上位符号化対象領域に対する第１の動きベクトルとすることを特徴とする。
本発明に係る映像信号符号化方法は、１枚の画像情報に対応する領域を複数の領域に分割した上位符号化対象領域の時間的な動きを示す第１の動きベクトルを検出する第１の動き検出工程と、前記上位符号化領域を複数の領域に分割した符号化対象領域の時間的な動きを示す第２の動きベクトルを検出する第２の動き検出工程と、前記第１および第２の動き検出工程によって得られる前記第１および第２の動きベクトルを符号化する可変長符号化工程とを含む。
また、第２の動きベクトルは、第１の動きベクトルで指定される領域を中心とした所定の探索領域内において検出されることを特徴とする。
また、第１および第２の動きベクトルがそれぞれに対応するベクトルコードによってコード化されることを特徴とする。
また、隣接する上位符号化対象領域及び符号化対象領域における第１および第２の動きベクトルの差分値をベクトルコードによりコード化することを特徴とする。
【００２８】
本発明に係る映像信号復号化装置は、１枚の画像情報に対応する領域を複数の領域に分割した上位符号化対象領域の時間的な動きを示す第１の動きベクトルおよび前記上位符号化対象領域を複数の領域に分割した符号化対象領域の時間的な動きを示す第２の動きベクトルを含む符号化映像信号から前記第１および第２の動きベクトルの各々に対応する各ベクトルコードを分離し復号する可変長復号化手段と、該可変長復号化手段から出力される前記第１および第２の動きベクトルコードに対応する前記第１および第２の動きベクトルに基づいて動きベクトルを出力する動きベクトル再生手段と、該動きベクトル再生手段から出力される前記動きベクトルに基づいて前記１枚の画像情報を再生する画像情報再生手段とを備える。
また、第１および第２の動きベクトルをベクトル合成することにより動きベクトルを再生することを特徴とする。
【００３０】
【作用】
本発明によれば、画像情報の大域的な動きを示す第１の動きベクトルと局所的な動きを示す第２の動きベクトルとの組み合わせによって、画像情報の符号化対象領域の動きベクトルを表すようにしているので、第１の動きベクトルの符号量を小さくできるとともに、第２の動きベクトルの検出のために複数の探索領域を設けておく必要がなくなる。
【００３１】
また、本発明によれば、第１の動きベクトルが検出されない場合にも、パンニング等、通常の画像情報の特徴及び人間の視覚特性に基づいて、他の第１の動きベクトルを用いて当該第１の動きベクトルの作成あるいは検出された第１の動きベクトルによる代用をさせることができる。
【００３２】
【実施例】
実施例１．
以下、本発明の実施例について図に基づき説明する。
図１乃至図８は、本発明の第１の実施例にかかる映像信号符号化装置及び該符号化装置により符号化された映像信号を再生する復号化装置について説明するための図である。
【００３３】
ここに、図１は映像信号符号化装置の概略構成を示すブロック図、図２は映像信号復号化装置の概略構成を示すブロック図、図３は第１の動き検出手段の構成の一例を示すブロック図である。また、図４は本実施例における符号化対象領域と上位符号化対象領域の概念を示す概念図、図５，図６は本実施例の映像信号の符号化に際して行われる動き補償予測の概念を示すための概念図、図７は符号化のためのベクトルコードを示す図、図８は本実施例の第１の動きベクトルと画像との関係を示す概念図である。
【００３４】
上述の図１６で説明したように、通常の画像における動きベクトルの差分値は、その探索領域の大きさにかかわらず、ベクトル差分値の小さいものの出現確率が非常に高い。これは、通常の画像の時間的な動きは、カメラのパンニング等に代表されるように、あるまとまった領域においては同じような動きをすることが多いことを意味している。よって、動きの速い画像の場合、その動きベクトル自体は大きな値をとるとしても、動きベクトルの差分値については大部分は小さな値をとることになる。
また、人間の視覚特性を考慮すると、このパンニングのような、あるまとまった領域毎の速い動きに対しては、人間の視覚特性は比較的良好であるのに対し、逆に画面の局所的な速い動きに対しては、人間の視覚特性は極度に劣化するという特徴がある。
【００３５】
本発明はかかる画像及び人間の視覚特性の特徴を利用したものであり、本実施例においては、まず、図４に示したような、上位符号化対象領域というものを定義する。これは、従来の符号化対象領域を複数集めることで構成されるものである。
そして、図５に示すように、この符号化対象画像を構成する全ての上位符号化対象領域に対して、大域的な動きを示す第１の動きベクトルをそれぞれ検出する。その後、図６に示すように、第１の動きベクトルの検出された上位符号化対象領域に含まれた符号化対象領域の各々に対し、第１の動きベクトルにて指定された位置を中心とする所定の探索領域内における第２の動きベクトルを検出し、これらの動きベクトルを各々符号化するようにしている。
【００３６】
このような本実施例によれば、第１の動きベクトルは広い領域に対して検出されるため、全体の符号量に対する第１の動きベクトルの符号量は非常に少ないものとなる。また、第２の動きベクトルは既に第１の動きベクトルにより広い領域の動きを検出しているため、動きの速い画像であっても、限られた範囲の中での局所的な動き検出を行えば十分であり、予め適当な１つの探索領域を設定しておき、この探索領域内において第２の動きベクトルを検出すればよい。従って、従来のように複数のベクトルコードを並列的に設ける必要はなくなる。
【００３７】
では、本実施例の具体的な装置構成について以下、説明する。図１は、このような本発明の第１の実施例にかかる映像信号符号化装置の構成を示すブロック図である。
図において、１ｃは映像信号の入力端子、２ｃは符号化された映像信号の出力端子、３ｃは減算手段、４ｃは情報圧縮のため映像信号を水平／垂直の空間周波数に変換するＤＣＴ手段、５ｃは量子化手段、６ｃは逆量子化手段、７ｃは周波数変換された映像信号を元の映像信号に再変換するＩＤＣＴ（逆離散コサイン変換）手段、８ｃは加算手段、９ｃはメモリ手段、１０ｃは第１の動き検出手段、１２ｃはスイッチ（切替）手段、１３ｃは可変長符号化手段、１４ｃは送信バッファ手段、１５ｃは符号量制御手段、１８ｃは第２の動き検出手段である。
【００３８】
入力端子１ｃから入力された映像信号３０１は、その一部が第１の動き検出手段１０ｃ及び第２の動き検出手段１８ｃに入力されるとともに、減算手段３ｃ入力されて予測領域の信号３０９との差信号３０２とされる。
この差信号３０２は、ＤＣＴ手段４ｃにおいて周波数変換され、さらに量子化手段５ｃによって量子化される。
【００３９】
そして、量子化された差信号３０４の一部は逆量子化手段６ｃ及び逆ＤＣＴ手段７ｃを介して再変換されて元の差信号とされ、加算手段８ｃで予測領域の信号３０９が加算されて元の映像信号となり、メモリ手段９ｃに参照画像として蓄えられる。
一方、残りの差信号３０４は可変長符号化手段１３ｃにおいて、第１の動き検出手段１０ｃ及び第２の動き検出手段１８ｃで生成された第１，第２の動きベクトル３１２，３１３とともに符号化され、多重化される。
【００４０】
そして、多重化信号３１４は送信バッファ手段１４ｃを経て、出力端子２ｃより伝送、あるいは、図示せぬ記録媒体に記録されることになる。
なお、符号量制御手段１５ｃは、送信バッファ手段１４ｃにおけるメモリ残量等の信号を受けて、オーバーフローが発生しないよう、量子化手段５ｃの量子化ステップを適応的に変化させている。
【００４１】
一方、メモリ手段９ｃに蓄えられた参照画像はスイッチ手段１２ｃの第１の端子に入力されるとともに、第２の動き検出手段１８ｃにも入力される。（スイッチ手段１２ｃの第２の端子には零信号が入力されている。）
【００４２】
第２の動き検出手段１８ｃでは、入力された参照画像３０８、映像信号（符号化対象画像）３０１及び第１の動き検出手段１０ｃで生成された第１の動きベクトル３１３から符号化対象画像の符号化対象領域毎に、上位符号化対象領域の第１の動きベクトルで指定される領域を中心とした所定の探索領域内において動き検出されて第２の動きベクトルを検出する（図６参照）。
検出された第１の動きベクトル３１３及び第２の動きベクトル３１２は可変長符号化手段１３ｃに送出され、ここでそれぞれ隣接する上位符号化対象領域及び符号化対象領域における動きベクトルとの差分値が算出され、これを図７に示すようなベクトルコードによりベクトルコード化し、可変長符号化された差信号３０４に多重化される。
【００４３】
また、第２の動き検出手段１８ｃの出力３１０は、スイッチ手段１２ｃの切替信号としても用いられ、かかる信号に基づき参照画像の映像信号３０８は予測領域の信号３０９に変換されて減算手段３ｃ及び加算手段８ｃに入力され、また、かかる信号３１０は可変長符号化手段１３ｃにおいて、差信号３０４と第１，第２の動きベクトルとの符号化切替信号としても用いられる。
【００４４】
なお、図７に示すように、本実施例では第１の動きベクトルのベクトルコードと、第２の動きベクトルのベクトルコードとにより動きベクトルがコード化される。
また、本実施例では第１の動きベクトルのベクトルコードとして８ビット固定長のコードを示したが、これに限られるものではなく、他のビット長でも、可変長コードでもよい。
さらに、本実施例では第２の動きベクトルのベクトルコードとして従来例に示した基準探索範囲におけるベクトルコードを示したが、これに限られるものではなく、他の探索範囲におけるベクトルコードとしてもよい。
【００４５】
次に、上述のごとく符号化された映像信号を復号化する映像信号復号化装置について、図２に基づき説明する。
図において、１ｄは符号化された映像信号の入力端子、２ｄは復号化された映像信号の出力端子、１４ｄは受信バッファ手段、１３ｄは可変長復号化手段、５ｄは逆量子化手段、４ｄはＩＤＣＴ手段、８ｄは加算手段、９ｄはメモリ手段、１２ｄはスイッチ手段、１７ｄは動きベクトル再生手段である。
【００４６】
入力端子１ｄから入力された符号化映像信号４０１は、受信バッファ手段１４ｄを介して、可変長復号化手段１３ｄに入力される。可変長復号化手段１３ｄではこの符号化映像信号４０２を復号化し、第１の動きベクトル４１０と第２の動きベクトル４１１と差信号４０３とに分離する。
分離された差信号４０３は逆量子化手段５ｄで逆量子化され、ＩＤＣＴ手段４ｄで元の差信号４０５に変換される。さらに、この差信号４０５は、加算手段８ｄにおいて予測領域の信号４０８と加算されて元の符号化対象領域の信号４０６に戻され、その一部がメモリ手段９ｄに蓄えられるとともに、元の符号化対象画像として出力端子２ｄから出力される。
【００４７】
一方、メモリ手段９ｄは加算手段８ｄからの符号化対象領域信号４０６と可変長復号化手段で復号化され、動きベクトル再生手段１７ｄでベクトル合成された動きベクトル４１２とから予測領域の信号４０７を生成し、該予測領域信号４０７を可変長復号化手段で生成した動き補償予測のための切替信号４０９に基づいて切り替えられるスイッチ手段１２ｄを介して加算手段８ｄに入力させるように構成されている。なお、スイッチ手段１２ｄの一端には零信号が入力されており、この信号端子が選択されている場合には動き補償予測のなされていない再生信号が加算手段８ｄより出力されることになる。
【００４８】
次に、本実施例における第１の動きベクトルの検出方法について説明する。図３は、図１に示した第１の動き検出手段１０ｃの具体的構成の一例を示す図である。
図において、１９ｃは低域通過フィルタ（ＬＰＦ）手段、２０ｃはサブサンプリング手段、２１ｃはメモリ手段、２２ｃは代表ベクトル検出手段である。
【００４９】
第１の動き検出手段１０ｃに入力された映像信号３０１は、ＬＰＦ手段１９ｃを通過することにより高周波成分が除去されるとともに、サブサンプリング手段２０ｃによりハードウェア規模を縮小するためにサブサンプリングされる。この際、サブサンプリングの前処理としてＬＰＦ手段１９ｃを施しているので、動き検出に与える折り返し歪の影響を除去することができる。
サブサンプリングされた映像信号は、メモリ手段２１ｃにおいて参照画像として蓄えられるとともに、代表ベクトル検出手段２２ｃに直接与えられる。代表ベクトル検出手段２２ｃでは、入力された映像信号から構成される符号化対象画像の上位符号化対象領域とメモリ手段２１ｃからの参照画像を基に、図５で説明したように第１の動きベクトルを検出する。
【００５０】
また、図８は本実施例における第１の動きベクトルと画像との関係を示す図である。
図において、縦線は各画像、横の短線は上位符号化対象領域の境界、矢印は第１の動きベクトルを示している。
同図からわかるように、第１の動きベクトルはすべての上位符号化対象領域に対して検出される。
【００５１】
実施例２．
次に、本発明の第２の実施例を説明する。
図９は第１の動きベクトルと画像との間の第１の関係を示す図である。
【００５２】
上述の実施例１では、符号化対象画像のすべての上位符号化対象領域に対して第１の動きベクトルが検出される場合について説明したが、第１の動きベクトルは、その画像の動きの早さや上位符号化対象領域の大きさの取り方によっては検出されない場合がある。
【００５３】
本実施例は、このような第１の動きベクトルが検出されない上位符号化対象領域における第１の動きベクトルの作成方法に関するものであり、符号化装置と復号化装置との間に定められた一定の規則に基づき、他の上位符号化対象領域の第１の動きベクトルから当該上位符号化対象領域の第１の動きベクトルを作成する。
【００５４】
図９は、ある画像間隔をおいて、第１の動きベクトルが検出された場合である。 同図では、ｍ枚の画像毎に第１の動きベクトルが検出される。この際、第１の動きベクトルが検出されなかった画像では、第１の動きベクトルの検出された最も近接する未来の画像における当該第１の動きベクトルから、以下のような方法で第１の動きベクトルを作成する。
【００５５】
すなわち、第ｎ画像及び第ｎ＋ｍ画像の第１の動きベクトルが検出されている時、第ｎ＋ｍ画像における第１の動きベクトルをｖとすると、第ｎ＋ｙ画像では過去の画像に対する第１の動きベクトルｖｆと未来の画像に対する第１の動きベクトルｖｂを以下のように作成する。
ｖｆ＝｛ｙ／ｍ｝×ｖ
ｖｂ＝｛(ｍ−ｙ)／ｍ｝×（−ｖ）
【００５６】
なお、第１のベクトル作成方法としては、基本的には符号化装置と復号化装置との間で共通の規則に従って定められた方法であれば良く、上記式以外の方法であっても良い。
【００５７】
実施例３．
図１０は本発明の第３の実施例を示す図であり、第１の動きベクトルと画像との間の第２の関係を示すものである。
【００５８】
本実施例は、上記実施例２とは異なり、符号化対象画像のうち１つの上位符号化対象画像に対してのみ第１の動きベクトルが検出された場合である。このような場合、本実施例では、他の上位符号化対象画像の第１の動きベクトルとして、この検出された第１の動きベクトルを代用するようにしている。
このようにしたとしても、上述したように、通常の画像は、パンニング等、画面全体を一つの塊として移動することが多いため、大きな問題とはならない。
【００５９】
なお、上述の実施例２及び実施例３において、第１の動きベクトルが検出されない上位符号化対象領域ではかかる第１の動きベクトルのベクトルコードを第２の動きベクトルや差信号のベクトルコードに多重化して伝送する必要のないことはいうまでもない。
また、上記各実施例においては、第１，第２の動きベクトルの検出に際して１枚の画像すなわち、ＴＶにおけるフレーム画像を単位としていたが、フィールド画像を単位に第１，第２の動きベクトルを検出するようにしてもよい。
【００６０】
【発明の効果】
以上のように、本発明によれば、画像情報の動きをその大域的な動きを示す第１の動きベクトルと、局所的な動きを示す第２の動きベクトルとにより２段階の動き補償予測を行うようにしているため、ハードウェア／ソフトウェア規模を小規模なものとしながら、動きの早い画像にあっても符号化効率の高い映像信号符号化・復号化装置及び符号化・復号化方法が得られるという効果がある。
【００６１】
また、本発明によれば、第１の動きベクトルが検出できない上位符号化対象領域があったとしても、容易にこれに代わる第１の動きベクトルを得ることができ、また、本発明により得た第１の動きベクトルは、パンニング等の画像情報の特徴及び人間の視覚特性に基づいて得たものであるため、再生画質の劣化も僅かなものに押さえた映像信号符号化・復号化装置及び符号化・復号化方法が得られるという効果がある。
【図面の簡単な説明】
【図１】 本発明の映像信号符号化・復号化装置における符号化装置の概略構成を示すブロック図である。
【図２】 本発明の映像信号符号化・復号化装置における復号化装置の概略構成を示すブロック図である。
【図３】 本発明の映像信号符号化・復号化装置における第１の動き検出手段の構成を示すブロック図である。
【図４】 本発明の映像信号符号化・復号化装置における符号化対象領域及び上位符号化対象領域の概念を示す概念図である。
【図５】 本発明の映像信号符号化・復号化装置における第１の動きベクトル検出の概念を示す概念図である。
【図６】 本発明の映像信号符号化・復号化装置における第２の動きベクトル検出の概念及び第１，第２の動きベクトルの関係を示す概念図である。
【図７】 本発明の映像信号符号化・復号化装置におけるベクトルコードを示す図である。
【図８】 本発明の映像信号符号化・復号化装置における第１の動きベクトルと各画像間の関係を示す図である。
【図９】 本発明の映像信号符号化・復号化装置において検出されなかった第１の動きベクトルを作成する方法を示す図である。
【図１０】 本発明の映像信号符号化・復号化装置において検出されなかった第１の動きベクトルを検出された他の第１の動きベクトルで代用する方法を示す図である。
【図１１】 従来の映像信号符号化・復号化装置における符号化装置の概略構成を示すブロック図である。
【図１２】 従来の映像信号符号化・復号化装置における復号化装置の概略構成を示すブロック図である。
【図１３】 従来の映像信号符号化・復号化装置において動きベクトルを検出するための探索領域の概念を示す概念図である。
【図１４】 従来の映像信号符号化・復号化装置における動きベクトル検出の概念を示す概念図である。
【図１５】 従来の映像信号符号化・復号化装置におけるベクトルコードを示す図である。
【図１６】 従来の映像信号符号化・復号化装置における動きベクトルの差分値とその出現確率との関係を示す図である。
【符号の説明】
１ａ，１ｂ，１ｃ，１ｄ：入力端子、２ａ，２ｂ，２ｃ，２ｄ：出力端子、３ａ，３ｃ：減算手段、４ａ，４ｃ：ＤＣＴ（離散コサイン変換）手段、４ｂ：ＩＤＣＴ（逆離散コサイン変換）手段、５ａ，５ｃ：量子化手段、５ｂ，５ｄ：逆量子化手段、６ａ，６ｃ：逆量子化手段、７ａ，７ｃ：ＩＤＣＴ手段、８ａ，８ｂ，８ｃ，８ｄ：加算手段、９ａ，９ｂ，９ｃ，９ｄ：メモリ手段、１０ｃ：第１の動き検出手段、１２ａ，１２ｂ，１２ｃ，１２ｄ：スイッチ（切替）手段、１３ａ，１３ｃ：可変長符号化手段、１３ｂ，１３ｄ：可変長復号化手段、１４ａ，１４ｃ：送信バッファ手段、１４ｂ，１４ｄ：受信バッファ手段、１５ａ，１５ｃ：符号量制御手段、１７ｄ：動きベクトル再生手段、１８ａ，１８ｃ：第２の動き検出手段、１９ｃ：低域通過フィルタ（ＬＰＦ）手段、２０ｃ：サブサンプリング手段、２１ｃ：メモリ手段、２２ｃ：代表ベクトル検出手段

Claims (2)

1. ＜Ａ１＞ 上位符号化対象領域を、現在符号化しようとしている１枚の画像情報に対応する領域を複数の領域に分割した領域と定義し、
   ＜Ａ２＞ 参照領域を、過去に符号化した画像である参照画像内において、前記上位符号化対象領域と同一の大きさを有する任意の領域と定義したときに、
   ＜Ａ３＞ 前記上位符号化対象領域が、前記参照画像内の複数の参照領域のいずれをシフトしたものであるかを示す第１の動きベクトルを検出する第１の動き検出手段を有し、
   ＜Ｂ１＞ 符号化対象領域を、前記上位符号化対象領域を複数に分割した領域と定義し、
   ＜Ｂ２＞ 探索領域を、前記参照画像内において前記第１の動きベクトルで指定される位置を中心とした所定の大きさの領域と定義したときに、
   ＜Ｂ３＞ 前記符号化対象領域が、前記探索領域内で前記符号化対象領域と同一の大きさを有する任意の領域のうち、いずれをシフトしたものかを示す第２の動きベクトルを検出する第２の動き検出手段と、
   ＜Ｃ＞ 前記第１および第２の動き検出手段から出力される前記第１および第２の動きベクトルを符号化する可変長符号化手段と
   を有し、
   前記第１の動き検出手段は、
   符号化対象画像の低域成分を出力する低域通過フィルタ手段と、
   該低域通過フィルタ手段からの出力をサブサンプリングするサブサンプリング手段と、
   該サブサンプリング手段からのサブサンプリングされた映像信号を参照画像として蓄積するメモリ手段と、
   該メモリ手段から出力される前記参照画像出力と前記サブサンプリング手段から出力される前記符号化対象画像のサブサンプリング出力とに基づいて第１の動きベクトルを出力する代表ベクトル検出手段とを備える映像信号符号化装置。
2. ＜Ａ１＞ 上位符号化対象領域を、現在符号化しようとしている１枚の画像情報に対応する領域を複数の領域に分割した領域と定義し、
   ＜Ａ２＞ 参照領域を、過去に符号化した画像である参照画像内において、前記上位符号化対象領域と同一の大きさを有する任意の領域と定義したときに、
   ＜Ａ３＞ 前記上位符号化対象領域が、前記参照画像内の複数の参照領域のいずれをシフトしたものであるかを示す第１の動きベクトルを検出する第１の動き検出工程を有し、
   ＜Ｂ１＞ 符号化対象領域を、前記上位符号化対象領域を複数に分割した領域と定義し、
   ＜Ｂ２＞ 探索領域を、前記参照画像内において前記第１の動きベクトルで指定される位置を中心とした所定の大きさの領域と定義したときに、
   ＜Ｂ３＞ 前記符号化対象領域が、前記探索領域内で前記符号化対象領域と同一の大きさを有する任意の領域のうち、いずれをシフトしたものかを示す第２の動きベクトルを検出する第２の動き検出工程と、
   ＜Ｃ＞ 前記第１および第２の動き検出手段から出力される前記第１および第２の動きベクトルを符号化する可変長符号化工程と
   を含み、
   前記第１の動き検出工程は、
   符号化対象画像の低域成分を出力する低域通過フィルタ工程と、
   該低域通過フィルタ工程によって得られる出力をサブサンプリングするサブサンプリング工程と、
   該サブサンプリング工程からのサブサンプリングされた映像信号を参照画像として蓄積するメモリ工程と、
   該メモリ工程により出力される前記参照画像出力と前記サブサンプリング工程によって得られる前記符号化対象画像のサブサンプリング出力とに基づいて第１の動きベクトルを出力する代表ベクトル検出工程とを含む映像信号符号化方法。

Images