JP5698541B2 - 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム - Google Patents

Description

本発明は、画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムに関するものであり、特に、周囲ブロックの動き情報を用いて対象ブロックの予測信号を生成する画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムに関するものである。

静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ−１〜４やＩＴＵ（International Telecommunication Union）Ｈ．２６１〜Ｈ．２６４の方式が広く用いられている。

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化処理又は復号処理を行う。画面内の予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（圧縮された画像データが復元されたもの）を用いて予測信号を生成した上で、その予測信号を対象ブロックの信号から引き算することによって得られる差分信号を符号化する。画面間の予測符号化では、対象ブロックと異なる画面内にある隣接する既再生の画像信号を参照して動きの補正を行ない、予測信号を生成し、その予測信号を対象ブロックの信号から引き算することによって得られる差分信号を符号化する。

例えば、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図１５は、ＩＴＵ Ｈ．２６４に用いられる画面内予測方法を説明するための模式図である。図１５（ａ）において、対象ブロック８０２は符号化の対象となるブロックであり、その対象ブロック８０２の境界に隣接する画素Ａ〜Ｍからなる画素群８０１は隣接領域であり、過去の処理において既に再生された画像信号である。

図１５（ａ）に示す場合には、対象ブロック８０２の真上にある隣接画素である画素群８０１を下方に引き伸ばすことにより予測信号を生成する。また、図１５（ｂ）に示す場合では、対象ブロック８０４の左にある既再生画素（Ｉ〜Ｌ）を右に引き伸ばすことにより予測信号を生成する。予測信号を生成する具体的な方法は、例えば特許文献１に記載されている。このように図１５（ａ）〜（ｉ）に示す方法で生成された９つの予測信号のそれぞれと対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適な予測信号とする。以上のように、画素を外挿することにより予測信号を生成することができる。以上の内容については、下記特許文献１に記載されている。

通常の画面間予測符号化では、符号化の対象となるブロックについて、その画素信号に類似する信号を既に再生済みの画面から探索するという方法で予測信号を生成する。そして、対象ブロックと探索した信号が構成する領域との間の空間的な変位量である動きベクトルと、対象ブロックの画素信号と予測信号との残差信号とを符号化する。このようにブロック毎に動きベクトルを探索する手法はブロックマッチングと呼ばれる。

図１６は、ブロックマッチング処理を説明するための模式図である。以下、符号化対象の画面６０１上の対象ブロック６０２を例に予測信号の生成手順を説明する。画面６０３は既に再生済みであり、領域６０４は対象ブロック６０２と空間的に同一位置の領域である。ブロックマッチングでは、領域６０４を囲む探索範囲６０５を設定し、この探索範囲の画素信号から対象ブロック６０２の画素信号との絶対値誤差和が最小となる領域６０６を検出する。この領域６０６の信号が予測信号となり、領域６０４から領域６０６への変位量が動きベクトル６０７として検出される。また、参照画面６０３を複数用意し、対象ブロック毎にブロックマッチングを実施する参照画面を選択し、参照画面選択情報を検出する方法も用いられることがある。Ｈ．２６４では、画像の局所的な特徴の変化に対応するため、動きベクトルを符号化するブロックサイズが異なる複数の予測タイプを用意している。Ｈ．２６４の予測タイプについては、例えば特許文献２に記載されている。

動画像データの圧縮符号化では、各画面（フレーム、フィールド）の符号化順序は任意でよい。そのため、再生済み画面を参照して予測信号を生成する画面間予測にも、符号化順序について３種類の手法がある。第１の手法は、再生順で過去の再生済み画面を参照して予測信号を生成する前方向予測であり、第２の手法は、再生順で未来の再生済み画面を参照して予測信号を生成する後方向予測であり、第３の手法は、前方向予測と後方向予測を共に行い、２つの予測信号を平均化する双方向予測である。画面間予測の種類については、例えば特許文献３に記載されている。

なお、近年では、双方向予測はより一般化されており、２つの過去の再生済み画面を用いて２つの予測信号が生成できるようになっている。つまり、複数の参照画面を登録した２つの参照画面リスト（第１の参照画面リストと第２の参照画面リスト）を用意して、それぞれから１つの参照画面を選択して、２つの予測信号を生成する。生成した２つの予測信号を平均して最終的な予測信号を求める。そのため、双方向予測ではなく、双予測と呼ばれる。

同様に、前方向予測と後方向予測についても、２つの参照画面リスト（第１の参照画面リストと第２の参照画面リスト）の何れかを選択するという手法が用いられる事が多い。この場合、片予測と呼ばれる。

次世代符号化映像符号化方式として標準化が始まったＨＥＶＣ（High efficiency video coding）では、画面間予測ブロックの分割タイプとして、図１７（ｂ）及び（ｃ）に示す矩形２分割、図１７（ｄ）に示す正方４分割に加えて、図１７（ｅ）〜（ｈ）に示すように非対称分割の導入も検討されている。これらのブロックの動きベクトルを符号化する際には、符号化効率向上のため、動きベクトルそのものではなく、隣接ブロックの動きベクトルを予測動きベクトルとし、予測動きベクトルと符号化対象の動きベクトルとの差分値を符号化する。さらに、複数の予測動きベクトルを用意し、差分値が小さくなる１つを選択する工夫も施されている。

図１７（ｂ）の分割タイプでは、例えば、図１８（ａ）に示すサブブロック７００ａと図１８（ｂ）に示すブロック７００ｂの予測動きベクトル候補として、隣接ブロック７０１ａ〜７０４ａと隣接ブロック７０１ｂ〜７０４ｂの動きベクトルが利用できる。複数の予測動きベクトルの候補から１つを選択し、選択した予測動きベクトルを示すための「予測動きベクトル選択情報」を符号化する。

米国特許公報第６７６５９６４号 米国特許公報第７００３０３５号 米国特許公報第６２５９７３９号

図１８に示したように、ＨＥＶＣで検討されている動きベクトル符号化では、複数の隣接ブロックの動きベクトルが予測動きベクトルとして利用できる。予測動きベクトルの候補の数が増えれば、選択肢が増えるため、差分動きベクトルの符号量は減少するが、その一方で、「予測動きベクトル選択情報」の符号量は増加する。

そのため、予測効率の悪い動きベクトルは予測動きベクトルの候補に含めないことが好ましい。しかしながら、従来例では、図１８（ａ）及び（ｂ）に示すように、ブロック内のサブブロックの位置によらず、４個の同一位置の隣接ブロックの動きベクトルが予測動きベクトルの候補として利用されている。

このような分割タイプは、サブブロック７００ａとサブブロック７００ｂが異なる動きを保有している場合に有効となる。そのため、ブロック７０２ｂの動きベクトル、つまりサブブロック７００ａの動きベクトルは、ブロック７００ｂの予測動きベクトルとしては好ましくないと考えられる。

そこで、上述の課題を解決するために、本発明は、対象ブロック内のサブブロックの位置に応じて予測動きベクトルの候補の選出を適応化することにより、動きベクトルを効率良く処理できる画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムを提供することを目的とする。

上記課題を解決するために、本発明に係る画像予測符号化装置は、入力画像を複数の領域に分割する領域分割手段と、領域分割手段によって分割された符号化対象とする対象領域を第１領域と第２領域とに分け、当該２領域の信号との相関が高い信号を既再生信号から取得するための２つの動きベクトルを求める動き情報推定手段と、動き情報推定手段によって求められた２領域の動きベクトルに基づいて、対象領域の予測信号を生成する予測信号生成手段と、第１領域及び第２領域の動きベクトルを保存する予測情報保存手段と、第２領域に隣接するブロックの動きベクトルを第２領域の予測動きベクトルとし、第２領域の動きベクトルと第２領域の予測動きベクトルとから第２領域の差分動きベクトルを生成する動き情報生成手段と、対象領域の予測信号と対象領域の画素信号とに基づく残差信号を生成する残差信号生成手段と、残差信号生成手段によって生成された残差信号に量子化処理を施し、量子化係数を生成する量子化手段と、第１領域の動きベクトルの生成に必要な情報、前記第２領域の予測動きベクトルを指示する選択情報、第２領域の差分動きベクトル及び残差信号の量子化係数を符号化する符号化手段と、量子化手段によって生成された量子化係数に逆量子化処理を施し、残差信号を再生する逆量子化手段と、予測信号と再生された残差信号とを加算することによって対象領域の復元画素信号を生成し、当該復元画素信号を既再生信号として保存する記録手段と、を備え、動き情報生成手段は、対象領域の第２領域に隣接するブロックから、対象領域の第１領域を除く予め定められた複数個の隣接ブロックに属する動きベクトルを第２領域の予測動きベクトルの候補として選出し、当該複数の第２領域の予測動きベクトルの候補から１つを選択して、第２領域の予測動きベクトルとすることを特徴とする。

この画像予測符号化装置では、対象領域の第２領域に隣接するブロックから、対象領域の第１領域を除く予め定められた複数個の隣接ブロックに属する動きベクトルを第２領域の予測動きベクトルの候補として選出し、この複数の第２領域の予測動きベクトルの候補から１つを選択して第２領域の予測動きベクトルとする。このように、第２領域の予測動きベクトルの候補から第１領域の動きベクトルを除外することにより、予測動きベクトルの候補数が減り、第２領域の予測動きベクトル選択情報の符号量が抑制される。したがって、対象領域内のサブブロックの位置に応じて予測動きベクトルの候補の選出を適応化させることができ、動きベクトルを効率良く符号化することができる。

また、動き情報生成手段は、予め定められた複数個の隣接ブロックが動きベクトルを保有しない場合、対象領域の第１領域に属する動きベクトルを、第２領域の予測動きベクトルとすることが好ましい。予め定められた複数個の隣接ブロックが動きベクトルを保有しない場合、すなわち第２領域の予測動きベクトルの候補数が０個の場合には、第１領域の動きベクトルがそのまま符号化される。通常、第１領域と第２領域との動きベクトルの差分の絶対値は、第２領域の動きベクトルの絶対値より小さいため、動きベクトルの符号量は削減される。したがって、第２領域の動き情報の符号化効率が更に向上する。
この画像予測復号化装置において、前記動き情報生成手段は、前記第１領域に隣接するブロックの動きベクトルを前記第１領域の予測動きベクトルとし、前記第１領域の動きベクトルと前記第１領域の予測動きベクトルとから前記第１領域の差分動きベクトルを生成し、前記符号化手段は、さらに、前記第１領域の動きベクトルを生成するための情報として、前記第１領域の差分動きベクトルを符号化する。

また、本発明に係る画像予測復号装置は、複数の領域に分割して符号化された画像の圧縮データを解析し、復号対象となる対象領域の信号を第１領域と第２領域とに分けて予測するための動き情報の復号データと、残差信号の復号データとを復号する復号手段と、動き情報の復号データには、前記第１領域の動きベクトルの生成に必要な情報、前記第２領域の予測動きベクトルを指示する選択情報、前記第２領域の差分動きベクトルが含まれており、第１領域の動きベクトルの生成に必要な情報から第１領域の動きベクトルを復元すると共に、第２領域に隣接するブロックの動きベクトルから前記動き情報の復号データに含まれる前記第２領域の予測動きベクトルを指示する選択情報に基づいて第２領域の予測動きベクトルを決定し、動き情報の復号データに含まれる第２領域の差分動きベクトルと第２領域の予測動きベクトルとから第２領域の動きベクトルを復元する動き情報復元手段と、動き情報復元手段によって復元された２領域の動きベクトルに基づいて、対象領域の予測信号を生成する予測信号生成手段と、第１領域及び第２領域の動きベクトルを保存する予測情報保存手段と、残差信号の復号データである量子化係数に逆量子化処理を施して、残差信号を再生する逆量子化手段と、予測信号と再生された残差信号とを加算することによって対象領域の復元画素信号を生成し、当該復元画素信号を既再生信号として保存する記録手段と、を備え、動き情報復元手段は、対象領域の第２領域に隣接するブロックから、対象領域の第１領域を除く予め定められた複数個の隣接ブロックに属する動きベクトルを第２領域の予測動きベクトルの候補として選出し、当該複数の第２領域の予測動きベクトルの候補から１つを選択して、第２領域の予測動きベクトルとすることを特徴とする。

この画像予測復号装置では、対象領域の第２領域に隣接するブロックから、対象領域の第１領域を除く予め定められた複数個の隣接ブロックに属する動きベクトルを第２領域の予測動きベクトルの候補として選出し、この複数の第２領域の予測動きベクトルの候補から１つを選択して第２領域の予測動きベクトルとする。このように、第２領域の予測動きベクトルの候補から第１領域の動きベクトルを除外することにより、予測動きベクトルの候補数が減り、第２領域の予測動きベクトル選択情報の符号量が抑制される。したがって、対象領域内のサブブロックの位置に応じて予測動きベクトルの候補の選出を適応化させることができ、動きベクトルを効率良く復号化することができる。

また、動き情報復元手段は、予め定められた複数個の隣接ブロックが動きベクトルを保有しない場合、対象領域の第１領域に属する動きベクトルを、第２領域の予測動きベクトルとすることが好ましい。予め定められた複数個の隣接ブロックが動きベクトルを保有しない場合、すなわち第２領域の予測動きベクトルの候補数が０個の場合には、第１領域の動きベクトルがそのまま符号化される。通常、第１領域と第２領域との動きベクトルの差分の絶対値は、第２領域の動きベクトルの絶対値より小さいため、動きベクトルの復号量は削減される。したがって、第２領域の動き情報の復号化効率が更に向上する。
また、この画像予測復号装置において、前記動き情報の復号データには、前記第１領域の動きベクトルの生成に必要な情報として、前記第１領域の予測動きベクトルを指示する選択情報を含むとともに、さらに前記第１領域の差分動きベクトルを含み、前記動き情報復元手段は、前記第１領域に隣接するブロックの動きベクトルを決定し、第１領域の差分ベクトルと前記第１領域の予測動きベクトルから第１の領域の動きベクトルを復元する。

また、本発明は、上記のように画像予測符号化装置及び画像予測復号装置として記述できる他に、以下のように画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム及び画像予測復号プログラムとしても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。

即ち、本発明に係る画像予測符号化方法は、画素信号を保存する記録手段を備える画像予測符号化装置の画像予測符号化方法において、入力画像を複数の領域に分割する領域分割ステップと、領域分割ステップにおいて分割された符号化対象とする対象領域を第１領域と第２領域とに分け、当該２領域の信号との相関が高い信号を既再生信号から取得するための２つの動きベクトルを求める動き情報推定ステップと、動き情報推定ステップにおいて求められた２領域の動きベクトルに基づいて、対象領域の予測信号を生成する予測信号生成ステップと、第１領域及び第２領域の動きベクトルを保存する予測情報保存ステップと、第２領域に隣接するブロックの動きベクトルを第２領域の予測動きベクトルとし、第２領域の動きベクトルと第２領域の予測動きベクトルとから第２領域の差分動きベクトルを生成する動き情報生成ステップと、対象領域の予測信号と対象領域の画素信号とに基づく残差信号を生成する残差信号生成ステップと、残差信号生成ステップにおいて生成された残差信号に量子化処理を施し、量子化係数を生成する量子化ステップと、第１領域の動きベクトルの生成に必要な情報、前記第２領域の予測動きベクトルを指示する選択情報、第２領域の差分動きベクトル及び残差信号の量子化係数を符号化する符号化ステップと、量子化ステップにおいて生成された量子化係数に逆量子化処理を施し、残差信号を再生する逆量子化ステップと、予測信号と再生された残差信号とを加算することによって対象領域の復元画素信号を生成し、当該復元画素信号を既再生信号として前記記録手段に保存する記録ステップと、を含み、動き情報生成ステップでは、対象領域の第２領域に隣接するブロックから、対象領域の第１領域を除く予め定められた複数個の隣接ブロックに属する動きベクトルを第２領域の予測動きベクトルの候補として選出し、当該複数の第２領域の予測動きベクトルの候補から１つを選択して、第２領域の予測動きベクトルとすることを特徴とする。

また、本発明に係る画像予測復号方法は、画素信号を保存する記録手段を備える画像予測復号装置の画像予測復号方法において、複数の領域に分割して符号化された画像の圧縮データを解析し、復号対象となる対象領域の信号を第１領域と第２領域とに分けて予測するための動き情報の復号データと、残差信号の復号データとを復号する復号ステップと、動き情報の復号データには、前記第１領域の動きベクトルの生成に必要な情報、前記第２領域の予測動きベクトルを指示する選択情報、前記第２領域の差分動きベクトルが含まれており、第１領域の動きベクトルの生成に必要な情報から第１領域の動きベクトルを復元すると共に、第２領域に隣接するブロックの動きベクトルから前記動き情報の復号データに含まれる前記第２領域の予測動きベクトルを指示する選択情報に基づいて第２領域の予測動きベクトルを決定し、動き情報の復号データに含まれる第２領域の差分動きベクトルと第２領域の予測動きベクトルとから第２領域の動きベクトルを復元する動き情報復元ステップと、動き情報復元ステップにおいて復元された２領域の動きベクトルに基づいて、対象領域の予測信号を生成する予測信号生成ステップと、第１領域及び第２領域の動きベクトルを保存する予測情報保存ステップと、残差信号の復号データである量子化係数に逆量子化処理を施して、残差信号を再生する逆量子化ステップと、予測信号と再生された残差信号とを加算することによって対象領域の復元画素信号を生成し、当該復元画素信号を既再生信号として前記記録手段に保存する記録ステップと、を含み、動き情報復元ステップでは、対象領域の第２領域に隣接するブロックから、対象領域の第１領域を除く予め定められた複数個の隣接ブロックに属する動きベクトルを第２領域の予測動きベクトルの候補として選出し、当該複数の第２領域の予測動きベクトルの候補から１つを選択して、第２領域の予測動きベクトルとすることを特徴とする。

また、本発明に係る画像予測符号化プログラムは、コンピュータを、入力画像を複数の領域に分割する領域分割モジュールと、領域分割モジュールによって分割された符号化対象とする対象領域を第１領域と第２領域とに分け、当該２領域の信号との相関が高い信号を既再生信号から取得するための２つの動きベクトルを求める動き情報推定モジュールと、動き情報推定モジュールによって求められた２領域の動きベクトルに基づいて、対象領域の予測信号を生成する予測信号生成モジュールと、第１領域及び第２領域の動きベクトルを保存する予測情報保存モジュールと、第２領域に隣接するブロックの動きベクトルを第２領域の予測動きベクトルとし、第２領域の動きベクトルと第２領域の予測動きベクトルとから第２領域の差分動きベクトルを生成する動き情報生成モジュールと、対象領域の予測信号と対象領域の画素信号とに基づく残差信号を生成する残差信号生成モジュールと、残差信号生成モジュールによって生成された残差信号に量子化処理を施し、量子化係数を生成する量子化モジュールと、第１領域の動きベクトルの生成に必要な情報、前記第２領域の予測動きベクトルを指示する選択情報、第２領域の差分動きベクトル及び残差信号の量子化係数を符号化する符号化モジュールと、量子化モジュールによって生成された量子化係数に逆量子化処理を施し、残差信号を再生する逆量子化モジュールと、予測信号と再生された残差信号とを加算することによって対象領域の復元画素信号を生成し、当該復元画素信号を既再生信号として保存する記録モジュールと、として機能させ、動き情報生成モジュールは、対象領域の第２領域に隣接するブロックから、対象領域の第１領域を除く予め定められた複数個の隣接ブロックに属する動きベクトルを第２領域の予測動きベクトルの候補として選出し、当該複数の第２領域の予測動きベクトルの候補から１つを選択して、第２領域の予測動きベクトルとすることを特徴とする。

また、本発明に係る画像予測復号プログラムは、コンピュータを、複数の領域に分割して符号化された画像の圧縮データを解析し、復号対象となる対象領域の信号を第１領域と第２領域とに分けて予測するための動き情報の復号データと、残差信号の復号データとを復号する復号モジュールと、動き情報の復号データには、前記第１領域の動きベクトルの生成に必要な情報、前記第２領域の予測動きベクトルを指示する選択情報、前記第２領域の差分動きベクトルが含まれており、第１領域の動きベクトルの生成に必要な情報から第１領域の動きベクトルを復元すると共に、第２領域に隣接するブロックの動きベクトルから前記動き情報の復号データに含まれる前記第２領域の予測動きベクトルを指示する選択情報に基づいて第２領域の予測動きベクトルを決定し、動き情報の復号データに含まれる第２領域の差分動きベクトルと第２領域の予測動きベクトルとから第２領域の動きベクトルを復元する動き情報復元モジュールと、動き情報復元モジュールによって復元された２領域の動きベクトルに基づいて、対象領域の予測信号を生成する予測信号生成モジュールと、第１領域及び第２領域の動きベクトルを保存する予測情報保存モジュールと、残差信号の復号データである量子化係数に逆量子化処理を施して、残差信号を再生する逆量子化モジュールと、予測信号と再生された残差信号とを加算することによって対象領域の復元画素信号を生成し、当該復元画素信号を既再生信号として保存する記録モジュールと、として機能させ、動き情報復元モジュールは、対象領域の第２領域に隣接するブロックから、対象領域の第１領域を除く予め定められた複数個の隣接ブロックに属する動きベクトルを第２領域の予測動きベクトルの候補として選出し、当該複数の第２領域の予測動きベクトルの候補から１つを選択して、第２領域の予測動きベクトルとすることを特徴とする。

本発明に係る画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラムによれば、対象ブロック内のサブブロック位置に基づいて予測動きベクトルの候補を選出できるので、より効率良く動き情報が処理できる。

一実施形態に係る画像予測符号化装置を示すブロック図である。 第１領域の動き情報の候補が属する隣接ブロックを説明するための模式図である。 第２領域の予測動きベクトルの候補が属する隣接ブロックを説明するための模式図である。 図１に示す予測情報符号化器の処理を説明するフローチャートである。 図４に示す動き情報生成の手順を示すフローチャートである。 第２領域の予測動きベクトル候補の選出手順を示すフローチャートである。 隣接ブロックに属する動きベクトルが予測動きベクトルの条件を満たすか否かを判定する手順を示すフローチャートである。 一実施形態に係る画像予測復号装置を示すブロック図である。 図８に示す予測情報復号器の処理を説明するフローチャートである。 図９に示す動き情報生成の手順を示すフローチャートである。 一実施形態に係る画像予測符号化方法を実行することができるプログラムを示すブロック図である。 一実施形態に係る画像予測復号方法を実行することができるプログラムを示すブロック図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータを示す図である。 従来の画面内予測方法を説明するための模式図である。 画面間予測におけるブロックマッチング処理を説明するための模式図である。 符号化ブロックの予測ブロック分割タイプを説明するための模式図である。 予測動きベクトルの候補が属する隣接ブロックの従来例を説明するための模式図である。

以下、添付図面を参照しながら本実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

図１は、一実施形態に係る画像予測符号化装置１００を示すブロック図である。この画像予測符号化装置１００は、入力端子１０１、ブロック分割器（領域分割手段）１０２、予測信号生成器（予測信号生成手段）１０３、フレームメモリ（記録手段）１０４、減算器（残差信号生成手段）１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、符号化器（符号化手段）１１１、出力端子１１２、動き情報推定器（動き情報推定手段）１１３、予測情報用メモリ（予測情報保存手段）１１４、差分動き情報生成器（動き情報生成手段）１１５を備えている。なお、変換器１０６と量子化器１０７とは、量子化手段として機能する。また、逆量子化器１０８と逆変換器１０９とは、逆量子化手段として機能する。

入力端子１０１は、複数枚の画像からなる動画像の信号を入力する端子である。

ブロック分割器１０２は、入力端子１０１からラインＬ１０１を経由して入力された信号で表される、符号化処理の対象となる画像を複数の領域に分割する。本実施形態では、符号化対象の画像を１６×１６の画素からなるブロックに分割するが、それ以外の大きさ又は形状のブロックに分割してもよい。また、画面内にサイズの異なるブロックが混在してもよい。ブロック分割器１０２において分割されたブロックは、符号化順に対象ブロック（対象領域）として出力され、ラインＬ１０２ａとラインＬ１０２ｂを経由して、それぞれ動き情報推定器１１３及び減算器１０５に出力される。

動き情報推定器１１３では、対象ブロック内の予測信号を生成するために必要な動き情報を検出する。対象ブロックの予測信号の生成方法（予測方法）については、背景技術で説明したような画面間予測や画面内予測（画面内予測については図示せず）が適用可能であるが、本実施形態では、対象ブロックの一部の部分領域（第１領域）を予測情報用メモリ１１４に保存されている隣接ブロックの動き情報を用いて予測し、残りの部分（第２領域）をブロックマッチング（図１６参照）にて検出した動き情報を用いて予測する方法を考える。これらの予測方法をブロック単位で適応的に用いる場合は、選択情報を符号化器１１１にて符号化する。なお、動き情報には、動きベクトル、画面間予測モード（第１の参照画面リストを用いた片予測／第２の参照画面リストを用いた片予測／双予測）、参照画面番号（複数の参照画面の識別番号、片予測の場合は１つ、双予測の場合は２つ）が含まれる。

動き情報推定器１１３は、対象ブロックの第１領域情報、第１領域の動き情報及び第２領域の動き情報を生成する。これらの情報の生成手順については後述する。

動き情報推定器１１３にて生成された第１領域情報、第１領域の動き情報及び第２領域の動き情報は、ラインＬ１１３ａを経由して予測信号生成器１０３に出力される。同時に、第１領域の動き情報と第２領域の動き情報とは、ラインＬ１１３ｃ経由で予測情報用メモリ１１４に出力され、以降の予測のために保存される。さらに、第１領域情報と、周囲の隣接ブロックの動き情報から第１領域の予測信号生成に用いる動き情報を指示するための第１領域の動き選択情報（詳細は後述）とは、ラインＬ１１３ｂを経由して符号化器１１１に出力される。加えて、第１領域情報と第２領域の動き情報は、ラインＬ１１３ｄを経由して差分動き情報生成器１１５に出力される。

差分動き情報生成器１１５では、第２領域に隣接するブロックの動き情報を用いて第２領域の動き情報の符号化データ量を削減する。具体的には、差分動き情報生成器１１５は、動き情報推定器１１３からラインＬ１１３ｄを経由して入力される第１領域情報と第２領域の動き情報と、予測情報用メモリ１１４からラインＬ１１４ｂを経由して取得する隣接ブロックの動き情報とに基づいて、第２領域の動き情報に含まれる動きベクトルの各成分（水平成分、垂直成分）を、隣接ブロックの動き情報に含まれる動きベクトルから予測し、予測動きベクトルと第２領域の動きベクトルとの差分動きベクトルを求める。

そして、差分動き情報生成器１１５は、周囲の隣接ブロックの動き情報から第１領域の動きベクトルの予測に用いる動きベクトルを指示するための第２領域の予測動きベクトル選択情報（詳細は後述）と差分動きベクトルを含む第２領域の差分動き情報とをラインＬ１１５経由で符号化器１１１に出力する。第２領域の差分動き情報は、参照画面番号、画面間予測モード、第２領域の予測動きベクトル選択情報及び差分動きベクトルを含む。

予測信号生成器１０３では、ラインＬ１１３ａ経由で入力された対象ブロックの第１領域情報、第１領域の動き情報及び第２領域の動き情報に基づいて、ラインＬ１０４を経由してフレームメモリ１０４から既再生信号を取得し、対象ブロックの予測信号を生成する。予測信号生成器１０３にて生成された予測信号は、ラインＬ１０３経由で減算器１０５と加算器１１０に出力される。

減算器１０５は、ラインＬ１０２ａを経由して入力されたブロック分割器１０２で分割して入力された対象ブロックの画素信号からラインＬ１０３を経由して入力される対象ブロックに対する予測信号を減算して、残差信号を生成する。減算器１０５は、減算して得た残差信号を、ラインＬ１０５を経由して変換器１０６に出力する。

変換器１０６は、入力された残差信号を離散コサイン変換する部分である。また、量子化器１０７は、変換器１０６により離散コサイン変換された変換係数をラインＬ１０６を経由して入力して量子化（量子化処理）する部分である。量子化器１０７は、量子化変換係数（量子化係数）をラインＬ１０７を経由して符号化器１１１に出力する。

符号化器１１１は、量子化器１０７からラインＬ１０７経由で入力された量子化変換係数、差分動き情報生成器１１５からラインＬ１１５を経由して入力された第１領域情報、第１領域の動き選択情報及び第２領域の差分動き情報（参照画面番号、画面間予測モード、第２領域の予測動きベクトル選択情報、差分動きベクトル）をエントロピー符号化する。符号化器１１１において符号化された符号化データは、ラインＬ１１１を経由して出力端子１１２に出力される。エントロピー符号化の方法は限定されないが、算術符号化や可変長符号化などが適用できる。なお、第１領域の動き選択情報と第２領域の予測動きベクトル選択情報については、選択の候補が１個の場合は符号化されない。

出力端子１１２は、符号化器１１１から出力された情報をまとめて外部に出力する。

逆量子化器１０８は、量子化された変換係数を逆量子化（逆量子化処理）してラインＬ１０８経由で逆変換器１０９に出力する。逆変換器１０９は、逆離散コサイン変換により残差信号を復元（生成）して加算器１１０にラインＬ１０９経由で出力する。加算器１１０は、復元された残差信号とラインＬ１０３経由で入力される予測信号とを加算し、対象ブロックの信号（復元画素信号）を再生し、再生された信号をフレームメモリ１０４に格納する。本実施形態では、変換器１０６と逆変換器１０９とを用いているが、これらの変換器に代わる他の変換処理を用いてもよい。また、変換器１０６及び逆変換器１０９は必須ではない。このように、後続の対象ブロックの予測信号生成に用いるため、符号化された対象ブロックの再生信号は、逆処理にて復元されフレームメモリ１０４に記憶される。

なお、差分動き情報生成器１１５は、符号化器１１１に含まれていてもよい。動き情報推定器１１３は、予測信号生成器１０３に含まれていてもよい。予測情報用メモリ１１４は、符号化器１１１又は動き情報推定器１１３に含まれていてもよい。

ここで、図２及び図３を用いて、第１領域情報の生成方法、第１領域及び第２領域の動き情報と予測信号の生成方法、第１領域の動き選択情報、及び、第２領域の予測動きベクトル選択情報について説明する。

最初に、第１領域の形状及び大きさの生成方法と第１領域の動き情報の生成方法とについて、図２を参照しながら説明する。

第１領域の形状としては、図２（ａ）〜（ｃ）に示す領域４００ａ、領域４００ｂ、領域４００ｃが挙げられる。領域４００ａあるいは領域４００ｂを第１領域とする場合には、領域のサイズ４１０ａ又は領域のサイズ４１０ｂを求める。領域サイズは任意でもよいが、対象ブロックの１／４，１／２，３／４のように選択肢を用意し、その中から選択してもよい。第１領域の領域形状と領域サイズを指示する情報をまとめて第１領域情報と呼ぶことにする。さらに対象ブロック全体を第２領域とする場合を第１領域形状の候補に含んでいてもよい。

次に、図２を用いて、第１領域の動き情報選択情報及び第１領域の予測信号生成方法について説明する。

第１領域が４００ａの場合には、隣接ブロック４０１ａ〜４０５ａの動き情報をラインＬ１１４ａ経由で予測情報用メモリ１１４から取得し、その中から１つの動き情報を選択し、第１領域の予測信号生成に用いる。選択した動き情報を識別するための識別情報（例えば、４０１ａ〜４０５ａに０〜４の識別番号を与える）を第１領域の動き選択情報と呼ぶ。同様に第１領域が４００ｂの場合には、隣接ブロック４０１ｂ〜４０５ｂの動き情報から１つの動き情報を選択し、第１領域の予測信号生成に用いる。第１領域が４００ｃの場合には、隣接ブロック４０１ｃ〜４０５ｃの動き情報から１つの動き情報を選択し、第１領域の予測信号生成に用いる。

一方、第２領域の動き情報はブロックマッチングにて求める。第１領域及び第２領域の動き情報は、ラインＬ１０２ｂ経由で入力された対象ブロックの原信号と、ラインＬ１０４経由で取得される予測信号との差（絶対値誤差和や二乗誤差和）が小さくなるように求める。

次に、図３を用いて、第２領域の予測動きベクトル選択情報及び第２領域の予測動きベクトルの候補について説明する。

第２領域が図３（ａ）に示す領域５００の場合には、隣接ブロック５０１ａ，５０３ａ及び５０５ａの動きベクトルを予測動きベクトルの候補とする。各水平、垂直成分について、３つの動きベクトル成分値（動きベクトル成分の大きさ）の候補から第２領域の動きベクトル成分値との差が最小となる候補を選択する。選択した動きベクトル成分値を識別するための識別情報（例えば、ブロック５０１ａ，５０３ａ，５０５ａに０〜２の識別番号を与える）を第２領域の予測動きベクトル選択情報と呼ぶ。

この際、他の隣接ブロックの動きベクトルや、複数の隣接ブロックの動きベクトルから生成される動きベクトルを予測動きベクトルの候補に加えてもよい。例えば、領域５００と空間的に同一位置の符号化済み画面上のブロックの動きベクトルや、ブロック５０１ａ，５０３ａ，５０５ａの動きベクトルの各成分の中間値から成る中間動きベクトルを予測動きベクトルの候補に加えてもよい。

しかしながら、隣接ブロック４００ａの動きベクトルは、予測動きベクトルの候補には含めない。隣接ブロック４００ａは、対象ブロックの第１領域の動きベクトルであり、第２領域の動きベクトルとは異なる。そのため、隣接ブロック４００ａの動きベクトルは、第２領域の動きベクトルとの差が大きい可能性が高い。そこで、予測動きベクトル選択情報の候補数を減らし、第２領域の予測動きベクトル選択情報の符号量を削減するため、隣接ブロック４００ａの動きベクトルは、第２領域の予測動きベクトルの候補には含めない。

ただし、全ての隣接ブロックの候補が動きベクトルを持たない場合には、図３（ｂ）に示すように、第１領域４００ａの動きベクトルを予測動きベクトルとする。ここで、「動きベクトルを持たない場合」とは、隣接ブロックが画面内予測にて予測されている場合や、隣接ブロックが画面外の場合が含まれる。

図３（ｂ）の別例としては、図３（ｃ）に示すように、第２領域の隣接ブロックではないが、ブロック５０４ｃ，５０５ｃ，５０６ｃのような第１領域の隣接ブロックの動きベクトルを第２領域の予測動きベクトルの候補としてもよい。また、図３（ｂ）及び（ｃ）を組み合わせて予測動きベクトルの候補を選出してもよい。

なお、第２領域の動き情報に含まれる画面間予測が１つの動きベクトルを必要とすることを示す場合、すなわち片予測（第１の参照画面リストを用いた片予測又は第２の参照画面リストを用いた片予測）の場合には、第２領域の予測動きベクトル選択情報は、選択した水平及び垂直成分の動きベクトル成分値を複数の候補から識別するための２個の識別情報を含む。一方、第２領域の動き情報に含まれる画面間予測が２つの動きベクトルを必要とすることを示す場合、すなわち双予測の場合には、第２領域の予測動きベクトル選択情報は、２つの動きベクトルの水平、垂直成分の予測動きベクトル成分値を複数の候補から識別するための４個の識別情報を含む。

一方、第２領域が図３（ｄ）に示す領域７００の場合には、隣接ブロック７０２ａ，７０３ａ，７０５ａの動きベクトルを予測動きベクトルの候補とする。各水平、垂直成分について、３つの動きベクトル成分値（動きベクトル成分の大きさ）の候補から第２領域の動きベクトル成分値との差が最小となる候補を選択する。選択した動きベクトル成分値を識別するための識別情報（例えば、ブロック７０２ａ，７０３ａ，７０５ａに０〜２の識別番号を与える）を第２領域の予測動きベクトル選択情報と呼ぶ。

この際、他の隣接ブロックの動きベクトルや、複数の隣接ブロックの動きベクトルから生成される動きベクトルを予測動きベクトルの候補に加えてもよい。例えば、領域７００と空間的に同一位置の符号化済み画面上のブロックの動きベクトルや、ブロック７０２ａ，７０３ａ，７０５ａの動きベクトルの各成分の中間値から成る中間動きベクトルを予測動きベクトルの候補に加えてもよい。

しかしながら、隣接ブロック４００ｂの動きベクトルは予測動きベクトルの候補には含めない。隣接ブロック４００ｂは対象ブロックの第１領域の動きベクトルであり、第２領域の動きベクトルとは異なる。そのため、隣接ブロック４００ｂの動きベクトルは、第２領域の動きベクトルとの差が大きい可能性が高い。そこで、予測動きベクトル選択情報の候補数を減らし、第２領域の予測動きベクトル選択情報の符号量を削減するため、隣接ブロック４００ｂの動きベクトルは、第２領域の予測動きベクトルの候補には含めない。

ただし、全ての隣接ブロックの候補が動きベクトルを持たない場合には、図３（ｅ）に示すように、第１領域４００ｂの動きベクトルを予測動きベクトルとする。ここで、「動きベクトルを持たない場合」とは、隣接ブロックが画面内予測にて予測されている場合や、隣接ブロックが画面外の場合が含まれる。

図３（ｅ）の別例としては、図３（ｆ）に示すように、第２領域の隣接ブロックではないが、ブロック７０３ｃ，７０５ｃ，７０６ｃのような第１領域の隣接ブロックの動きベクトルを第２領域の予測動きベクトルの候補としてもよい。また、図３（ｅ）及び（ｆ）を組み合わせて予測動きベクトルの候補を選出してもよい。

なお、第２領域の動き情報に含まれる画面間予測が１つの動きベクトルを必要とすることを示す場合、すなわち片予測（第１の参照画面リストを用いた片予測又は第２の参照画面リストを用いた片予測）の場合には、第２領域の予測動きベクトル選択情報は、水平及び垂直成分の予測動きベクトル成分値を上記にて選出された複数の候補から識別するための２個の識別情報（第２領域の各成分の予測動きベクトル選択情報）を含む。一方、第２領域の動き情報に含まれる画面間予測が２つの動きベクトルを必要とすることを示す場合、すなわち双予測の場合には、第２領域の予測動きベクトル選択情報は、２つの動きベクトルの水平、垂直成分の予測動きベクトル成分値を上記にて選出された複数の候補から識別するための４個の識別情報（２つの動きベクトルにおける第２領域の各成分の予測動きベクトル選択情報）を含む。

図４は、本実施形態に係る画像予測符号化装置１００における画像予測符号化方法の手順を示すフローチャートである。まず、ブロック分割器１０２にて入力画像を１６×１６の符号化ブロックに分割する（それ以外の大きさ又は形状のブロックに分割してもよい。また、画面内にサイズの異なるブロックが混在してもよい）。

次に、動き情報推定器１１３、予測情報用メモリ１１４及び差分動き情報生成器１１５は、対象ブロックの動き情報を生成する（ステップＳ１００）。そして、予測信号生成器１０３は、第１領域情報と第１領域の動き情報及び第２領域の動き情報に基づいて対象ブロックの動き情報を生成する（ステップＳ１０１）。ステップＳ１０１における予測信号の生成方法（予測方法）には、背景技術で説明したような画面間予測や画面内予測が利用できるが、図４では、対象ブロックの一部の部分領域（第１領域）を予測情報用メモリ１１４に保存されている隣接ブロックの動き情報を用いて予測し、残りの部分（第２領域）をブロックマッチング（図１６参照）にて検出した動き情報を用いて予測する方法について説明する。これらの予測方法をブロック単位で適応的に用いる場合には、後述するステップＳ１０３にて、選択情報を符号化する。なお、動き情報には、動きベクトル、画面間予測モード（第１の参照画面リストを用いた片予測／第２の参照画面リストを用いた片予測／双予測）、参照画面番号（複数の参照画面の識別番号、片予測の場合は１つ、双予測の場合は２つ）が含まれる。

対象ブロックの画素信号と予測信号との差分である残差信号は、変換器１０６及び量子化器１０７において、変換、量子化される。その処理により、量子化変換係数が生成される（ステップＳ１０２）。

そして、符号化器１１１にて、量子化変換係数と第１領域情報、第１領域の動き選択情報、第２領域の差分動き情報（参照画面番号、画面間予測モード、第２領域の予測動きベクトル選択情報、差分動きベクトル）がエントロピー符号化される（ステップＳ１０３）。符号化データは、出力端子１１２を介して出力される（ステップＳ１０４）。

後続の対象ブロックを予測符号化するため、これら処理の後に又はこれらの処理と並行して符号化された残差信号が逆量子化器１０８及び逆変換器１０９により復号される（ステップＳ１０５）。そして、加算器１１０にて、復号された残差信号と予測信号とが加算され、対象ブロックの信号が再生される。再生信号はフレームメモリ１０４に参照画面として記憶される（ステップＳ１０６）。そして、すべての対象ブロックの処理が完了していない場合には処理はステップＳ１０１に戻り、次の対象ブロックに対する処理が行われる。すべての対象ブロックの処理が完了している場合には、処理を終了する（ステップＳ１０７）。

図５は、図４における動き情報の生成手順（ステップＳ１００）を示す詳細フローチャートである。動き情報推定器１１３は、対象ブロックの第１領域情報を生成すると共に、第１領域に隣接する複数のブロックの動き情報から第１領域の予測信号生成に用いる動き情報を選出し、第１領域の動き選択情報を生成する（ステップＳ１１１）。第１領域情報及び第１領域の動き情報は、予測情報用メモリ１１４に保存される。次に、動き情報推定器１１３は、ブロックマッチングにより第２領域の動き情報を生成する（ステップＳ１１２）。第２領域の動き情報は予測情報用メモリ１１４に保存される。

差分動き情報生成器１１５は、第２領域の水平成分の動きベクトル成分値（動きベクトル成分の大きさ）に対応する予測動きベクトル成分値を求めるため、図３で説明したように、複数の隣接ブロックの動きベクトルから予測動きベクトル成分値の候補を選出する（ステップＳ１１３）。次に、選出した予測動きベクトル成分値の候補から、第２領域の水平成分の動きベクトル成分値との差分値が最小となる１つの水平成分の動きベクトル成分値を選択する。選択した情報に基づいて、複数の予測動きベクトル成分値の候補から１つを指示するための識別情報にて構成される第２領域の予測動きベクトル選択情報を生成する（ステップＳ１１４）。そして、選択した水平方向の予測動きベクトル成分値と第２領域の水平成分の動きベクトル成分値との差分値を算出する（ステップＳ１１５）。同様に垂直成分について、ステップＳ１１３からステップＳ１１５を実施する。さらに、第２領域の動き情報が２つの動きベクトルを有する場合には、２本目の動きベクトルの水平成分及び垂直成分についてもステップＳ１１３からステップＳ１１５を実施する（ステップＳ１１７）。

差分動き情報生成器１１５は生成した第１領域情報、第１領域の動き選択情報、第２領域の差分動き情報（参照画面番号、画面間予測モード、第２領域の予測動きベクトル選択情報、差分動きベクトル）を符号化器１１１に出力する（ステップＳ１１６）。

図６に、ステップＳ１１３における予測動きベクトル成分値（水平成分、垂直成分）の候補選出手順を示す詳細フローチャートを示す。ここでは、例えば、図３（ａ）のブロック４００ａ，５０１ａ，５０３ａ，５０５ａあるいは、図３（ｄ）のブロック４００ｂ，７０２ａ，７０３ａ，７０５ａを隣接ブロックの候補とした場合、この４個の予測動きベクトル成分値の候補から、差分動き情報生成器１１５が、実際に選択可能な動きベクトル成分値を選出する。

まず、隣接ブロックの候補数Ｎ（図３（ａ）及び（ｄ）の例では４）を設定すると共に、チェック済みの隣接ブロック数ｎと選択可能な動きベクトル成分値の数ｍを０に初期化する（ステップＳ１５１）。次に、ｎ番目の隣接動きベクトルが対象ブロック内の第１領域（図３（ａ）ではブロック４００ａ、図３（ｄ）ではブロック４００ｂ）であるかを判定する（ステップＳ１５２）。Ｙｅｓの場合にはステップＳ１５７に、ｎｏの場合はステップＳ１５３に進む。ステップＳ１５３では、ｎ番目の隣接ブロックに属する動き情報と対象ブロック内の第１領域の動き情報を取得する。そして、それらが一致するかを判定する（ステップＳ１５４）。ｎｏの場合にはステップＳ１５７に、Ｙｅｓの場合はステップＳ１５５に進む。ステップＳ１５５では、ｎ番目の隣接ブロックの動きベクトルが予測動きベクトルの条件を満たすかを判定する。ｎｏの場合にはステップＳ１５７に、Ｙｅｓの場合はステップＳ１５６に進む。予測動きベクトルの条件については、図１０において後に説明する。ステップＳ１５６では、ｎ番目の隣接ブロックに属する動きベクトル成分値を予測動きベクトル成分値の候補に追加し、「ｍ」に「１」を加算する。続いて、ステップＳ１５７では、「ｎ」に「１」を加算する。「ｎ」の値が「Ｎ」より小さい場合には、次の隣接ブロックの動きベクトル成分値が予測動きベクトルの候補として選択可能であるかを判定するため、ステップＳ１５２に戻る（ステップＳ１５８）。

「ｎ」の値が「Ｎ」より大きい場合には、「ｍ」の値が「０」より大きいか否かを判定する（ステップＳ１５９）。Ｙｅｓの場合には処理を終了し、ｎｏの場合には、予測動きベクトルの候補数が０個であるため、追加の処理を行う。まず、対象ブロック内の第１領域の動き情報を取得する（ステップＳ１６０）。次に、対象ブロック内の第１領域の動き情報が予測動き情報の条件を満たすかを判定する（ステップＳ１６１）。Ｙｅｓの場合にはステップＳ１６２に進み、ｎｏの場合は処理を終了する。ステップＳ１６２では、対象ブロック内の第１領域の動きベクトル成分値を予測動きベクトル成分値の候補に追加し、「ｍ」の値を「１」として、処理を終了する。なお、最終的に「ｍ」が「０」の場合には予測動きベクトル成分値は「０」となる。

図７は、ステップＳ１５５とステップＳ１６２にて、隣接ブロックの動き情報が予測動き情報の条件を満たすかを判定するための処理フローを示している。ステップＳ１７１からステップＳ１７３にて、３つの条件がチェックされ、いずれかを満たす場合には、予測動き情報の条件を満たすものと判断される。ステップＳ１７１では、隣接ブロックが画面内に存在し、動きベクトルを有するブロックかであるかを判定する。ステップＳ１７２では隣接ブロックの動き情報に予測対象である動きベクトルと同じ参照画面リストを指し示す動きベクトルが含まれているかを判定する。例えば、隣接ブロックの画面間予測モードが第１の参照画面リストを用いた片予測で、予測対象の動きベクトルが第２の参照画面リストを用いた片予測の動きベクトルの場合には、予測動き情報の条件を満たさない（ｎｏ）と判定する。隣接ブロックの画面間予測モードが双予測あるいは第２の参照画面リストを用いた片予測で、予測対象の動きベクトルが第２の参照画面リストを用いた片予測の動きベクトルの場合には、予測動き情報の条件を満たす（Ｙｅｓ）と判定する。

ステップＳ１７３では、ステップＳ１７２に条件を満たす隣接ブロックの動きベクトルが指示する参照画面番号が、予測対象である動きベクトルが指し示す参照画面番号と一致するかを判定する。一致しない場合は、予測動き情報の条件を満たさない(ｎｏ)と判定する。

このように、第２領域の予測動きベクトルの候補から、第１領域の動きベクトルを除外することにより、予測動きベクトルの候補数が減り、第２領域の予測動きベクトル選択情報の符号量が抑制される。これにより、第２領域の動き情報の符号化効率が向上する。

また、第２領域の予測動きベクトルの候補数が０個の場合には、第１領域の動きベクトルを第２領域の予測動きベクトルとして使用する。第２領域の予測動きベクトルの候補数は１個であれば、識別情報の符号化は必要ないため、第２領域の予測動きベクトル選択情報の符号量は増加しない。一方、第２領域の予測動きベクトルの候補数が０個の場合には、第１領域の動きベクトル成分がそのまま符号化されるため（予測動きベクトル成分値が「０」となる）、第１領域と第２領域の動きベクトル成分値の差分の絶対値が、第２領域の動きベクトル成分値の絶対値より小さいとき、動きベクトル成分値の符号量は削減される。このとき、第２領域の動き情報の符号化効率は向上する。

次に、一実施形態に係る画像予測復号について説明する。図８は、一実施形態に係る画像予測復号装置を示すブロック図である。この画像予測復号装置２００は、入力端子２０１、復号器（復号手段）２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、出力端子２０６、動き情報復元器（動き情報復元手段）２０７、フレームメモリ１０４、予測信号生成器１０３、予測情報用メモリ１１４を備えている。逆量子化器１０８と逆変換器１０９は逆量子化手段として機能する。なお、逆量子化手段は、これらのもの以外を用いて行ってもよい。また、逆変換器２０４はなくてもよい。また、予測情報用メモリ１１４と動き情報復元器２０７は復号器２０２に含まれていてもよい。

入力端子２０１は、上述した画像予測符号化方法で圧縮符号化された圧縮データを入力する。この圧縮データには、複数に分割された復号対象のブロック（対象ブロック）について、誤差信号を変換量子化してエントロピー符号化した量子化変換係数と、ブロックの予測信号を生成するための動き情報を復元するための符号化データが含まれている。動き情報には、動きベクトル、画面間予測モード（第１の参照画面リストを用いた片予測／第２の参照画面リストを用いた片予測／双予測）、参照画面番号（複数の参照画面の識別番号、片予測の場合は１つ、双予測の場合は２つ）が含まれる。本実施形態では、復号対象の対象ブロックのサイズを１６×１６とするが、それ以外の大きさ又は形状のブロックに分割でもよい。また、画面内にサイズの異なるブロックが混在してもよい。

復号器２０２は、入力端子２０１に入力された圧縮データをラインＬ２０１を経由して入力し、この圧縮データを解析して、復号対象の対象ブロックに関する量子化変換係数の符号化データと動き情報の符号化データに分離すると共に、エントロピー復号し、復号データをラインＬ２０２ａ、ラインＬ２０２ｂ経由で、それぞれ、逆量子化器２０３、動き情報復元器２０７に出力する。

動き情報復元器２０７は、入力された復号データに基づいて対象ブロックの動き情報を復元する。

対象ブロックの予測信号の生成方法（予測方法）については、背景技術で説明したような画面間予測や画面内予測（画面内予測については図示せず）が適用可能であるが、本実施形態では、対象ブロックの一部の部分領域（第１領域）を予測情報用メモリ１１４に保存されている隣接ブロックの動き情報を用いて予測し、残りの部分（第２領域）をブロックマッチング（図１６参照）にて検出した動き情報を用いて予測する方法を考える。なお、これらの予測方法をブロック単位で適応的に用いる場合は、選択情報を復号器２０２にて復号し、その選択情報に基づいて、動き情報の復元処理を行う。

動き情報復元器２０７に入力された復号データには、第１領域情報、第１領域の動き選択情報と第２領域の差分動き情報（参照画面番号、画面間予測モード、第２領域の予測動きベクトル選択情報、差分動きベクトル）が含まれている。

第１領域情報には、第１領域の形状と大きさを示す情報が含まれている。第１領域の形状としては、図２の（ａ）〜（ｃ）に示す領域４００ａ、領域４００ｂ、領域４００ｃが挙げられる。さらに第１領域の形状の候補に、対象ブロック全体を第２領域とする場合を含んでいてもよい。その中から１つを指示するための領域形状情報が第１領域情報に含まれる。領域４００ａあるいは領域４００ｂを第１領域とする場合には、領域のサイズ４１０ａ又は４１０ｂも第１領域情報に含まれる。領域サイズとしては、任意の値が復号される場合と、対象ブロックの１／４，１／２，３／４のように選択肢から１つを指示するための情報が復号される場合がある。

第１領域が領域４００ａの場合には、第１領域の動き選択情報として、隣接ブロック４０１ａ〜４０５ａの動き情報から１つを選択するための識別情報（例えば、ブロック４０１ａ〜４０５ａに０〜４の識別番号を与えられている）が復号データに含まれている。同様に第１領域が領域４００ｂの場合には、第１領域の動き選択情報として、隣接ブロック４０１ｂ〜４０５ｂの動き情報から１つの動き情報を選択するための識別情報が復号データに含まれている。第１領域が４００ｃの場合には、第１領域の動き選択情報として、隣接ブロック４０１ｃ〜４０５ｃの動き情報から１つの動き情報を選択するための識別情報が復号データに含まれている。いずれも場合でも、復号された第１領域の動き選択情報に基づいて、ラインＬ１１４経由で予測情報用メモリ１１４から１つの隣接ブロックの動き情報を取得し、第１領域の動き情報とする。

なお、第１領域の動き情報の候補が１つの場合、例えば、１つ以外の候補の隣接ブロックが画面内予測で予測されている場合や画面外のブロックの場合には、第１領域の動き選択情報は復号側で一意に決定できるため、第１領域の動き選択情報は復号データに含まれなくてもよい。また、第１領域の動き情報の候補が０個の場合には、対象ブロック全体が第２領域となることが一意に決定できるため、第１領域情報が復号データに含まれていなくてもよい。

第２領域の動き情報の復号データである第２領域の差分動き情報には、上記で説明したように参照画面番号、画面間予測モード、第２領域の予測動きベクトル選択情報及び差分動きベクトルが含まれている。

動き情報復元器２０７では、第２領域の予測動きベクトル選択情報に基づいて、第２領域の予測動きベクトル値を水平及び垂直成分についてそれぞれ生成し、復号された差分動きベクトル値と加算することにより、第２領域の動きベクトルを復元する。動き情報復元器２０７は、第２領域の予測動きベクトル選択情報に基づいて、複数の予測動きベクトルの候補（詳細は後述）から第２領域の予測動きベクトルを得られる。

第２領域の予測動きベクトル選択情報について詳細に説明する。第２領域の動き情報に含まれる画面間予測が１つの動きベクトルを必要とすることを示す場合、すなわち片予測（第１の参照画面リストを用いた片予測又は第２の参照画面リストを用いた片予測）の場合には、第２領域の予測動きベクトル選択情報は、水平及び垂直成分の予測動きベクトル成分値を複数の候補から識別するための２個の識別情報（第２領域の水平、垂直成分の予測動きベクトル選択情報）を含む。一方、第２領域の動き情報に含まれる画面間予測が２つの動きベクトルを必要とすることを示す場合、すなわち双予測の場合には、第２領域の予測動きベクトル選択情報は、２つの動きベクトルの水平、垂直成分の予測動きベクトル成分値を複数の候補から識別するための４個の識別情報（２つの動きベクトルにおける第２領域の各成分の予測動きベクトル選択情報）を含む。

これらの識別情報に基づいて、第２領域の全ての動きベクトルを復元する。この処理により、第２領域の動き情報は復元される。

なお、予測動きベクトル成分値の候補が１個の場合には、予測動きベクトル成分値は一意に決定できるため、その動きベクトル成分値については、予測動きベクトル成分値を複数の候補から識別するため識別情報は復号データに含まれていなくてもよい。予測動きベクトル成分値の候補が０個の場合には、予測動きベクトル成分値は「０」となる。

動き情報復元器２０７は、復元した第１領域情報、第１領域の動き情報及び第２領域の動き情報をラインＬ２０７aとラインＬ２０７ｂを経由して、それぞれ、予測信号生成器１０３と予測情報用メモリ１１４に出力する。

予測情報用メモリ１１４は、入力された第１領域情報、第１領域の動き情報及び第２領域の動き情報を、以降の予測のために保存する。

予測信号生成器１０３では、ラインＬ２０７ａ経由で入力された第１領域情報、第１領域の動き情報及び第２領域の動き情報に基づいて、フレームメモリ１０４から既再生信号を取得し、対象ブロックの予測信号を生成する。生成された予測信号はラインＬ１０３経由で加算器２０５に出力される。

復号器２０２は、対象ブロックにおける残差信号の量子化変換係数の符号化データをエントロピー復号し、ラインＬ２０２経由で逆量子化器２０３に出力する。

逆量子化器２０３は、ラインＬ２０２経由で入力された復号データに含まれる量子化変換係数を逆量子化し、この量子化変換係数をラインＬ２０３を経由して逆変換器２０４に出力する。逆変換器２０４は、逆量子化したデータを逆離散コサイン変換し、対象ブロックの誤差信号を復元する。逆変換器２０４は、対象ブロックの誤差信号をラインＬ２０４を経由して加算器２０５に出力する。

加算器２０５は、予測信号生成器１０３で生成された予測信号をラインＬ１０３を経由して入力し、この予測信号を逆量子化器２０３及び逆変換器２０４により復元された残差信号に加算して、対象ブロックの再生画素信号をラインＬ２０５経由で出力端子２０６及びフレームメモリ１０４に出力する。出力端子２０６は、外部に（例えばディスプレイ）出力する。

フレームメモリ１０４は、次の復号処理のための参照用の再生画像として、加算器２０５から出力された再生画像を参照画面として記憶する。

ここで、図３を用いて、第２領域の予測動きベクトル選択情報と第２領域の予測動きベクトルの候補について説明する。

第２領域が図３（ａ）に示す領域５００の場合には、隣接ブロック５０１ａ，５０３ａ及び５０５ａの動きベクトルを予測動きベクトルの候補となる。符号化側で選択された動きベクトル成分値を識別するための識別情報（例えば、ブロック５０１ａ，５０３ａ，５０５ａに０〜２の識別番号を与える）を第２領域の予測動きベクトル選択情報と呼ぶ。

この際、他の隣接ブロックの動きベクトルや、複数の隣接ブロックの動きベクトルから生成される動きベクトルが予測動きベクトルの候補に加えられていてもよい。例えば、領域５００と空間的に同一位置の符号化済み画面上のブロックの動きベクトルや、ブロック５０１ａ，５０３ａ，５０５ａの動きベクトルの各成分の中間値から成る中間動きベクトルを予測動きベクトルの候補に加えてもよい。

しかしながら、隣接ブロック４００ａの動きベクトルは予測動きベクトルの候補には含めない。隣接ブロック４００ａは対象ブロックの第１領域の動きベクトルであり、第２領域の動きベクトルとは異なる。そのため、隣接ブロック４００ａの動きベクトルは、第２領域の動きベクトルとの差が大きい可能性が高い。そこで、予測動きベクトル選択情報の候補数を減らし、第２領域の予測動きベクトル選択情報の符号量を削減するため、隣接ブロック４００ａの動きベクトルは、第２領域の予測動きベクトルの候補には含めない。

ただし、全ての隣接ブロックの候補が動きベクトルを持たない場合には、図３（ｂ）に示すように、第１領域４００ａの動きベクトルを予測動きベクトルとする。ここで、「動きベクトルを持たない場合」とは、隣接ブロックが画面内予測にて予測されている場合や、隣接ブロックが画面外の場合が含まれる。

図３（ｂ）の別例としては、図３（ｃ）に示すように、第２領域の隣接ブロックではないが、ブロック５０４ｃ，５０５ｃ，５０６ｃのような第１領域の隣接ブロックの動きベクトルを第２領域の予測動きベクトルの候補としてもよい。また、図３（ｂ）及び（ｃ）を組み合わせて予測動きベクトルの候補を選出してもよい。

なお、第２領域の動き情報に含まれる画面間予測が１つの動きベクトルを必要とすることを示す場合、すなわち片予測（第１の参照画面リストを用いた片予測又は第２の参照画面リストを用いた片予測）の場合には、第２領域の予測動きベクトル選択情報は、選択した水平及び垂直成分の動きベクトル成分値を複数の候補から識別するための２個の識別情報を含んでいる。一方、第２領域の動き情報に含まれる画面間予測が２つの動きベクトルを必要とすることを示す場合、すなわち双予測の場合には、第２領域の予測動きベクトル選択情報は、２つの動きベクトルの水平、垂直成分の予測動きベクトル成分値を複数の候補から識別するための４個の識別情報を含んでいる。

一方、第２領域が図３（ｄ）に示す領域７００の場合には、隣接ブロック７０２ａ，７０３ａ及び７０５ａの動きベクトルを予測動きベクトルの候補となる。符号化側で選択された動きベクトル成分値を識別するための識別情報（例えば、ブロック７０２ａ，７０３ａ，７０５ａに０〜２の識別番号を与える）を第２領域の予測動きベクトル選択情報と呼ぶ。

この際、他の隣接ブロックの動きベクトルや、複数の隣接ブロックの動きベクトルから生成される動きベクトルが予測動きベクトルの候補に加えられていてもよい。例えば、領域７００と空間的に同一位置の符号化済み画面上のブロックの動きベクトルや、ブロック７０２ａ，７０３ａ，７０５ａの動きベクトルの各成分の中間値から成る中間動きベクトルを予測動きベクトルの候補に加えてもよい。

しかしながら、隣接ブロック４００ｂの動きベクトルは予測動きベクトルの候補には含めない。隣接ブロック４００ｂは対象ブロックの第１領域の動きベクトルであり、第２領域の動きベクトルとは異なる。そのため、隣接ブロック４００ｂの動きベクトルは、第２領域の動きベクトルとの差が大きい可能性が高い。そこで、予測動きベクトル選択情報の候補数を減らし、第２領域の予測動きベクトル選択情報の符号量を削減するため、隣接ブロック４００ｂの動きベクトルは、第２領域の予測動きベクトルの候補には含めない。

ただし、全ての隣接ブロックの候補が動きベクトルを持たない場合には、図３（ｅ）に示すように、第１領域４００ｂの動きベクトルを予測動きベクトルとする。ここで、「動きベクトルを持たない場合」とは、隣接ブロックが画面内予測にて予測されている場合や、隣接ブロックが画面外の場合が含まれる。

図３（ｅ）の別例としては、図３（ｆ）に示すように、第２領域の隣接ブロックではないが、ブロック７０３ｃ，７０５ｃ，７０６ｃのような第１領域の隣接ブロックの動きベクトルを第２領域の予測動きベクトルの候補としてもよい。また、図３（ｅ）及び（ｆ）を組み合わせて予測動きベクトルの候補を選出してもよい。

次に、図９を用いて、図６に示す画像予測復号装置２００における画像予測復号方法を説明する。まず、入力端子２０１を介して、圧縮データが入力される（ステップＳ２０１）。この圧縮データには、複数に分割された復号対象のブロック（対象ブロック）について、誤差信号を変換量子化してエントロピー符号化した量子化変換係数と、ブロックの予測信号を生成するための動き情報を復元するための符号化データが含まれている。動き情報には、動きベクトル、画面間予測モード（第１の参照画面リストを用いた片予測／第２の参照画面リストを用いた片予測／双予測）、参照画面番号（複数の参照画面の識別番号、片予測の場合は１つ、双予測の場合は２つ）が含まれている。本実施形態では、復号対象の対象ブロックのサイズを１６×１６とするが、それ以外の大きさ又は形状のブロックに分割でもよい。また、画面内にサイズの異なるブロックが混在してもよい。

復号器２０２は、入力端子２０１に入力された圧縮データを解析して、復号対象の対象ブロックに関する量子化変換係数と動き情報の復号データをエントロピー復号する（ステップＳ２０２）。動き情報の復号データには、第１領域情報、第１領域の動き選択情報と第２領域の差分動き情報（参照画面番号、画面間予測モード、第２領域の予測動きベクトル選択情報、差分動きベクトル）が含まれている。

対象ブロックの予測信号の生成方法（予測方法）については、背景技術で説明したような画面間予測や画面内予測（画面内予測については図示せず）が適用可能であるが、本実施形態では、対象ブロックの一部の部分領域（第１領域）を予測情報用メモリ１１４に保存されている隣接ブロックの動き情報を用いて予測し、残りの部分（第２領域）をブロックマッチング（図１６参照）にて検出した動き情報を用いて予測する方法を考える。なお、これらの予測方法をブロック単位で適応的に用いる場合は、選択情報を復号器２０２にて復号し、その選択情報に基づいて、動き情報の復元処理を行う。

その後、動き情報の復号データに基づいて、動き情報復元器２０７が第１領域情報、第１領域の動き情報及び第２領域の動き情報を復元する（ステップＳ２０３）。第２領域の動き情報を復元する際には、第１の動き情報が第２領域の動き情報と異なることを考慮して行う。なお、復元された第１領域情報、第１領域の動き情報及び第２領域の動き情報は、以降の予測処理のため予測情報用メモリ１１４に保存される。

復元した第１領域情報、第１領域の動き情報及び第２領域の動き情報に基づいて、予測信号生成器１０３が対象ブロックの予測信号を生成する（ステップＳ２０４）。

復号器２０２にて復号された量子化変換係数は、逆量子化器２０３において逆量子化され、逆変換器２０４において逆変換が行われ、再生残差信号が生成される（ステップＳ２０５）。そして、生成された予測信号と再生残差信号とが加算されることで再生信号が生成され、この再生信号が次の対象ブロックを再生するためにフレームメモリ１０４に格納される（ステップＳ２０６）。次の圧縮データがある場合には、Ｓ２０２〜Ｓ２０６のプロセスを繰り返し（ステップＳ２０７）、全データが最後まで処理される。

図１０は、図９における動き情報の生成手順（ステップＳ２０３）を示す詳細フローチャートである。

まず、動き情報復元器２０７に、復号した第１領域情報、第１領域の動き選択情報、第２領域の差分動き情報が入力される（ステップＳ２３１）。

動き情報復元器２０７は、第１領域の動き選択情報に基づいて、第１領域の動き情報を復元する（ステップＳ２３２）。

次に、動き情報復元器２０７は、第２領域の水平成分の動きベクトル成分値（動きベクトル成分の大きさ）に対応する予測動きベクトル成分値を求めるため、図３で説明したように、複数の隣接ブロックの動きベクトルから予測動きベクトル成分値の候補を選出する（ステップＳ２３３）。

動き情報復元器２０７は、復元した第２領域の差分動き情報に含まれる第２領域の水平成分の予測動きベクトル選択情報に基づいて、選出した予測動きベクトル成分値の候補から第２領域の水平成分の予測動きベクトル成分値を選択する（ステップＳ２３４）。そして、復元した第２領域の差分動き情報に含まれる第２領域の水平成分の差分動きベクトル成分値と複数の候補から選択した予測動きベクトル成分値を加算して、第２領域の水平成分の動きベクトル成分値を復元する（ステップＳ２３５）。同様に垂直成分について、ステップＳ２３３からステップＳ２３５を実施する。さらに、第２領域の動き情報が２つの動きベクトルを有する場合には、２本目の動きベクトルの水平成分及び垂直成分についてもステップＳ２３３からステップＳ２３５を実施する（ステップＳ２３６）。この処理により、第２領域の動き情報が復元される。

図６に、ステップＳ２３３における予測動きベクトル成分値（水平成分、垂直成分）の候補選出手順を示す詳細フローチャートを示す。ここでは、例えば、図３（ａ）のブロック４００ａ，５０１ａ，５０３ａ，５０５ａあるいは、図３（ｄ）のブロック４００ｂ，７０２ａ，７０３ａ，７０５ａを隣接ブロックの候補とした場合、４個の予測動きベクトル成分値の候補から、差分動き情報生成器１１５が、実際に選択可能な動きベクトル成分値を選出する。

まず、隣接ブロックの候補数Ｎ（図３（ａ）及び（ｄ）の例では４）を設定すると共に、チェック済みの隣接ブロック数ｎと選択可能な動きベクトル成分値の数ｍを０に初期化する（ステップＳ１５１）。次に、ｎ番目の隣接動きベクトルが対象ブロック内の第１領域（図３（ａ）ではブロック４００ａ、図３（ｄ）ではブロック４００ｂ）であるかを判定する（ステップＳ１５２）。Ｙｅｓの場合にはステップＳ１５７に、ｎｏの場合はステップＳ１５３に進む。ステップＳ１５３では、ｎ番目の隣接ブロックに属する動き情報と対象ブロック内の第１領域の動き情報を取得する。そして、それらが一致するかを判定する（ステップＳ１５４）。ｎｏの場合にはステップＳ１５７に、Ｙｅｓの場合はステップＳ１５５に進む。ステップＳ１５５では、ｎ番目の隣接ブロックの動きベクトルが予測動きベクトルの条件を満たすかを判定する。ｎｏの場合にはステップＳ１５７に、Ｙｅｓの場合はステップＳ１５６に進む。予測動きベクトルの条件については、図７において後に説明する。ステップＳ１５６では、ｎ番目の隣接ブロックに属する動きベクトル成分値を予測動きベクトル成分値の候補に追加し、「ｍ」に「１」を加算する。続いて、ステップＳ１５７では、「ｎ」に「１」を加算する。「ｎ」の値が「Ｎ」より小さい場合には、次の隣接ブロックの動きベクトル成分値が予測動きベクトルの候補として選択可能であるかを判定するため、ステップＳ１５２に戻る（ステップＳ１５８）。

「ｎ」の値が「Ｎ」より大きい場合には、「ｍ」の値が「０」より大きいか否かを判定する（ステップＳ１５９）。Ｙｅｓの場合には処理を終了し、ｎｏの場合には、予測動きベクトルの候補数が０個であるため、追加の処理を行う。まず、対象ブロック内の第１領域の動き情報を取得する（ステップＳ１６０）。次に、対象ブロック内の第１領域の動き情報が予測動き情報の条件を満たすかを判定する（ステップＳ１６１）。Ｙｅｓの場合にはステップＳ１６２に進み、ｎｏの場合は処理を終了する。なお、「ｍ」の０個の場合には予測動きベクトル成分値は「０」となる。ステップＳ１６２では、対象ブロック内の第１領域の動きベクトル成分値を予測動きベクトル成分値の候補に追加し、「ｍ」の値を「１」として、処理を終了する。

図７は、ステップＳ１５５とステップＳ１６１とにおいて、隣接ブロックの動き情報が予測動き情報の条件を満たすかを判定するための処理フローを示している。ステップＳ１７１からステップＳ１７３にて、３つの条件がチェックされ、いずれかを満たす場合には、予測動き情報の条件を満たすものと判断される。ステップＳ１７１では、隣接ブロックが画面内に存在し、動きベクトルを有するブロックかであるかを判定する。ステップＳ１７２では、隣接ブロックの動き情報に予測対象である動きベクトルと同じ参照画面リストを指し示す動きベクトルが含まれているかを判定する。例えば、隣接ブロックの画面間予測モードが第１の参照画面リストを用いた片予測で、予測対象の動きベクトルが第２の参照画面リストを用いた片予測の動きベクトルの場合には、予測動き情報の条件を満たさない（ｎｏ）と判定する。隣接ブロックの画面間予測モードが双予測あるいは第２の参照画面リストを用いた片予測で、予測対象の動きベクトルが第２の参照画面リストを用いた片予測の動きベクトルの場合には、予測動き情報の条件を満たす（Ｙｅｓ）と判定する。ステップＳ１７３では、ステップＳ１７２に条件を満たす隣接ブロックの動きベクトルが指示する参照画面番号が、予測対象である動きベクトルが指し示す参照画面番号と一致するかを判定する。一致しない場合は、予測動き情報の条件を満たさない(ｎｏ)と判定する。

本発明では、さらに下記の変形が可能である。

（第２領域の動き情報の候補）
上述の説明では、第２領域の予測動きベクトル成分値の候補を、水平、垂直成分に分けて選出していたが、水平及び垂直成分をまとめて、予測動きベクトルの候補を選出してもよい。この際にも、図３や図９で説明したように、第１領域の動きベクトルは、候補に含めない。但し、予測動きベクトルの候補が０個の場合には、第１領域の動きベクトルを第２領域の予測動きベクトルの候補としてもよいし、図３（ｃ）や図３（ｆ）のように第１領域に隣接するブロックの動きベクトルを予測動きベクトルの候補に加えてもよい。

また、第２領域の予測動きベクトルの候補は、必ずしも第２領域に隣接していなくてもよい。例えば、対象ブロック内の第２領域と空間的に同一位置（時間方向の隣接ブロック）の符号化済み画面、つまり参照画面上の領域に付随する動きベクトルを予測動きベクトルの候補に加えてもよい。この際、第２領域に付随する動き情報に含まる動きベクトルが指示する参照画面番号が、時間方向の隣接ブロックに付随する動き情報に含まる動きベクトルが指示する参照画面番号と異なる場合には、参照画面番号が同じになるように動きベクトルを時間方向にスケーリングしてよい。

さらに、サイズの異なる対象ブロックが画面内に含まれる場合には、第２領域の上端（図３のブロック５０１に相当）あるいは左端（図３のブロック７０２に相当）に複数のブロックが存在する場合がある。この場合、これらの複数のブロックを全ての予測動きベクトルの候補に加えてもよいし、複数から１つを選択してもよい。後者については、例えば、上端（左端）のブロックについて、図１０の条件を満たす動きベクトルを左から右に（上から下に）向けて順番に探すような方法でもよい。

（第１領域の動き情報の候補）
第２領域の予測動きベクトルの候補は、必ずしも第２領域に隣接していなくてもよい。例えば、対象ブロック内の第２領域と空間的に同一位置（時間方向の隣接ブロック）の符号化済み画面、つまり参照画面上の領域に付随する動きベクトルを予測動きベクトルの候補に加えてもよい。

（第１領域の形状）
第１領域の形状は矩形でなくてもよい。例えば、対象ブロックを斜めに分割してもよいし、曲線で分割されていてもよい。

（動きベクトル予測）
上記では、対象ブロックを第１領域と第２領域に分け、第１領域を隣接ブロックの動き情報を用いて予測する方法について説明した。しかしながら、図３や図９にて説明する本発明における第２領域の予測動きベクトルの候補選出法は、第１領域をブロックマッチングにて生成した動き情報を用いて予測する方法でも有効である。対象ブロックを２つに分割して動き予測では、第１領域と第２領域の動きベクトルは異なる。そのため、第２領域の動きベクトルの予測に第１領域の動きベクトルを用いる効果は低いと考えられる。

（変換器、逆変換器）
残差信号の変換処理は、固定のブロックサイズで行ってもよいし、部分領域にあわせて対象領域を再分割して変換処理を行ってもよい。

（動き情報）
上述した説明では、動き情報は、動きベクトル、参照画面番号及び画面間予測モードにて構成されると説明してきたが、輝度補償などの信号変換処理を含む予測方法にも本発明の予測信号生成処理は適用可能である。この場合、輝度補償パラメータなどが予測情報に含まれる。このパラメータについても、動きベクトルと同様に、隣接ブロックのパラメータとの差分値が符号化される場合には、図３や図９で説明した候補選出法が適用できる。

（画面間予測モード）
２つの参照画面リストを用いず、前方向／後方向／双方向予測を用いてもよい。

（色信号）
上述した説明では、色フォーマットについては特に述べていないが、色信号あるいは色差信号についても、輝度信号と個別に予測信号の生成処理を行ってもよい。また、輝度信号の処理と連動して予測信号の生成処理を行ってもよい。

（ブロックノイズ除去処理）
上述した説明では述べていないが、再生画像に対してブロックノイズ除去処理を行う場合には、第１領域と第２領域の境界部分に対してノイズ除去処理を行うとよい。

本実施形態に係る画像予測符号化方法及び画像予測復号方法を、プログラムとして記録媒体に格納して提供することもできる。記録媒体としては、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図１１は、画像予測符号化方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測符号化プログラムＰ１００は、ブロック分割モジュール（領域分割モジュール）Ｐ１０１、予測信号生成モジュールＰ１０２、記憶モジュール（記録モジュール）Ｐ１０３、減算モジュール（残差信号生成モジュール）Ｐ１０４、変換モジュールＰ１０５、量子化モジュールＰ１０６、逆量子化モジュールＰ１０７、逆変換モジュールＰ１０８、加算モジュールＰ１０９、符号化モジュールＰ１１０、動き情報推定モジュールＰ１１１、予測情報記憶モジュール（予測情報保存モジュール）Ｐ１１２、及び差分動き情報生成モジュールＰ１１３を備えている。上記各モジュールがコンピュータで実行されることにより実現される機能は、上述した画像予測符号化装置１００の機能と同じである。すなわち、ブロック分割モジュールＰ１０１、予測信号生成モジュールＰ１０２、記憶モジュールＰ１０３、減算モジュールＰ１０４、変換モジュールＰ１０５、量子化モジュールＰ１０６、逆量子化モジュールＰ１０７、逆変換モジュールＰ１０８、加算モジュールＰ１０９、符号化モジュールＰ１１０、動き情報推定モジュールＰ１１１、予測情報記憶モジュールＰ１１２、及び差分動き情報生成モジュールＰ１１３は、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、符号化器１１１、動き情報推定器１１３、予測情報用メモリ１１４、差分動き情報生成器１１５とそれぞれ同様の機能をコンピュータに実行させる。

また、図１２は、画像予測復号方法を実行することができるプログラムのモジュールを示すブロック図である。画像予測復号プログラムＰ２００は、復号モジュールＰ２０１、動き情報復元モジュールＰ２０２、予測情報記憶モジュールＰ２０３、予測信号生成モジュールＰ２０４、記憶モジュールＰ２０５、逆量子化モジュールＰ２０６、逆変換モジュールＰ２０７及び加算モジュールＰ２０８を備えている。

上記各モジュールが実行されることにより実現される機能は、上述した画像予測復号装置２００の各構成要素と同じである。すなわち、復号モジュールＰ２０１、動き情報復元モジュールＰ２０２、予測情報記憶モジュールＰ２０３、予測信号生成モジュールＰ２０４、記憶モジュールＰ２０５、逆量子化モジュールＰ２０６、逆変換モジュールＰ２０７、加算モジュールＰ２０８は、復号器２０２、動き情報復元器２０７、予測情報用メモリ１１４、予測信号生成器１０３、フレームメモリ１０４、逆量子化器２０３、逆変換器２０４、加算器２０５と、それぞれ同様の機能をコンピュータに実行させる。

このように構成された画像予測符号化プログラムＰ１００又は画像予測復号プログラムＰ２００は、記録媒体１０に記憶され、後述するコンピュータで実行される。

図１３は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１４は、記録媒体に記憶されたプログラムを実行するためのコンピュータを示す図である。なお、記録媒体に記憶されたプログラムを実行するものはコンピュータに限定されず、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などでもよい。

図１４に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された画像予測符号化・復号プログラムにアクセス可能になり、当該画像符号化又は復号プログラムによって、本実施形態に係る画像符号化装置又は画像復号装置として動作することが可能になる。

図１３に示すように、画像予測符号化プログラム及び画像復号プログラムは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した画像予測符号化プログラムもしくは画像復号プログラをメモリ１６に格納し、当該画像予測符号化プログラムもしくは画像予測復号プログラムを実行することができる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明はさらに上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

１００…画像予測符号化装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…符号化器、１１２…出力端子、１１３…動き情報推定器、１１４…予測情報用メモリ、１１５…差分動き情報生成器、２００…画像予測復号装置、２０１…入力端子、２０２…復号器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…動き情報復元器。

Claims (10)

1. 入力画像を複数の領域に分割する領域分割手段と、
   前記領域分割手段によって分割された符号化対象とする対象領域を第１領域と第２領域とに分け、当該２領域の信号との相関が高い信号を既再生信号から取得するための２つの動きベクトルを求める動き情報推定手段と、
   前記動き情報推定手段によって求められた前記２領域の動きベクトルに基づいて、前記対象領域の予測信号を生成する予測信号生成手段と、
   前記第１領域及び前記第２領域の動きベクトルを保存する予測情報保存手段と、
   前記第２領域に隣接するブロックの動きベクトルを前記第２領域の予測動きベクトルとし、前記第２領域の動きベクトルと前記第２領域の予測動きベクトルとから前記第２領域の差分動きベクトルを生成する動き情報生成手段と、
   前記対象領域の予測信号と前記対象領域の画素信号とに基づく残差信号を生成する残差信号生成手段と、
   前記残差信号生成手段によって生成された前記残差信号に量子化処理を施し、量子化係数を生成する量子化手段と、
   前記第１領域の動きベクトルの生成に必要な情報、前記第２領域の予測動きベクトルを指示する選択情報、前記第２領域の差分動きベクトル及び前記残差信号の量子化係数を符号化する符号化手段と、
   前記量子化手段によって生成された前記量子化係数に逆量子化処理を施し、前記残差信号を再生する逆量子化手段と、
   前記予測信号と再生された残差信号とを加算することによって前記対象領域の復元画素信号を生成し、当該復元画素信号を前記既再生信号として保存する記録手段と、を備え、
   前記動き情報生成手段は、前記対象領域の前記第２領域に隣接するブロックから、前記対象領域の前記第１領域を除く予め定められた複数個の隣接ブロックに属する動きベクトルを前記第２領域の予測動きベクトルの候補として選出し、当該複数の第２領域の予測動きベクトルの候補から１つを選択して、前記第２領域の予測動きベクトルとすることを特徴とする画像予測符号化装置。
2. 前記動き情報生成手段は、前記予め定められた複数個の隣接ブロックが動きベクトルを保有しない場合、前記対象領域の第１領域に属する動きベクトルを、前記第２領域の予測動きベクトルとすることを特徴とする請求項１に記載の画像予測符号化装置。
3. 前記動き情報生成手段は、前記第１領域に隣接するブロックの動きベクトルを前記第１領域の予測動きベクトルとし、前記第１領域の動きベクトルと前記第１領域の予測動きベクトルとから前記第１領域の差分動きベクトルを生成し、
   前記符号化手段は、さらに、前記第１領域の動きベクトルを生成するための情報として、前記第１領域の差分動きベクトルを符号化する、請求項１または２に記載の画像予測符号化装置。
4. 複数の領域に分割して符号化された画像の圧縮データを解析し、復号対象となる対象領域の信号を第１領域と第２領域とに分けて予測するための動き情報の復号データと、残差信号の復号データとを復号する復号手段と、
   前記動き情報の復号データには、前記第１領域の動きベクトルの生成に必要な情報、前記第２領域の予測動きベクトルを指示する選択情報、前記第２領域の差分動きベクトルが含まれており、前記第１領域の動きベクトルの生成に必要な情報から第１領域の動きベクトルを復元すると共に、前記第２領域に隣接するブロックの動きベクトルから前記動き情報の復号データに含まれる前記第２領域の予測動きベクトルを指示する選択情報に基づいて第２領域の予測動きベクトルを決定し、前記動き情報の復号データに含まれる前記第２領域の差分動きベクトルと前記第２領域の予測動きベクトルとから第２領域の動きベクトルを復元する動き情報復元手段と、
   前記動き情報復元手段によって復元された前記２領域の動きベクトルに基づいて、前記対象領域の予測信号を生成する予測信号生成手段と、
   前記第１領域及び前記第２領域の動きベクトルを保存する予測情報保存手段と、
   前記残差信号の復号データである量子化係数に逆量子化処理を施して、前記残差信号を再生する逆量子化手段と、
   前記予測信号と再生された残差信号とを加算することによって前記対象領域の復元画素信号を生成し、当該復元画素信号を既再生信号として保存する記録手段と、を備え、
   前記動き情報復元手段は、前記対象領域の前記第２領域に隣接するブロックから、前記対象領域の前記第１領域を除く予め定められた複数個の隣接ブロックに属する動きベクトルを前記第２領域の予測動きベクトルの候補として選出し、当該複数の第２領域の予測動きベクトルの候補から１つを選択して、前記第２領域の予測動きベクトルとすることを特徴とする画像予測復号装置。
5. 前記動き情報復元手段は、前記予め定められた複数個の隣接ブロックが動きベクトルを保有しない場合、前記対象領域の第１領域に属する動きベクトルを、前記第２領域の予測動きベクトルとすることを特徴とする請求項４に記載の画像予測復号装置。
6. 前記動き情報の復号データには、前記第１領域の動きベクトルの生成に必要な情報として、前記第１領域の予測動きベクトルを指示する選択情報を含むとともに、さらに前記第１領域の差分動きベクトルを含み、
   前記動き情報復元手段は、前記第１領域に隣接するブロックの動きベクトルを決定し、第１領域の差分ベクトルと前記第１領域の予測動きベクトルから第１の領域の動きベクトルを復元する、請求項４または５に記載の画像予測復号装置。
7. 画素信号を保存する記録手段を備える画像予測符号化装置の画像予測符号化方法において、
   入力画像を複数の領域に分割する領域分割ステップと、
   前記領域分割ステップにおいて分割された符号化対象とする対象領域を第１領域と第２領域とに分け、当該２領域の信号との相関が高い信号を既再生信号から取得するための２つの動きベクトルを求める動き情報推定ステップと、
   前記動き情報推定ステップにおいて求められた前記２領域の動きベクトルに基づいて、前記対象領域の予測信号を生成する予測信号生成ステップと、
   前記第１領域及び前記第２領域の動きベクトルを保存する予測情報保存ステップと、
   前記第２領域に隣接するブロックの動きベクトルを前記第２領域の予測動きベクトルとし、前記第２領域の動きベクトルと前記第２領域の予測動きベクトルとから前記第２領域の差分動きベクトルを生成する動き情報生成ステップと、
   前記対象領域の予測信号と前記対象領域の画素信号とに基づく残差信号を生成する残差信号生成ステップと、
   前記残差信号生成ステップにおいて生成された前記残差信号に量子化処理を施し、量子化係数を生成する量子化ステップと、
   前記第１領域の動きベクトルの生成に必要な情報、前記第２領域の予測動きベクトルを指示する選択情報、前記第２領域の差分動きベクトル及び前記残差信号の量子化係数を符号化する符号化ステップと、
   前記量子化ステップにおいて生成された前記量子化係数に逆量子化処理を施し、前記残差信号を再生する逆量子化ステップと、
   前記予測信号と再生された残差信号とを加算することによって前記対象領域の復元画素信号を生成し、当該復元画素信号を前記既再生信号として前記記録手段に保存する記録ステップと、を含み、
   前記動き情報生成ステップでは、前記対象領域の前記第２領域に隣接するブロックから、前記対象領域の前記第１領域を除く予め定められた複数個の隣接ブロックに属する動きベクトルを前記第２領域の予測動きベクトルの候補として選出し、当該複数の第２領域の予測動きベクトルの候補から１つを選択して、前記第２領域の予測動きベクトルとすることを特徴とする画像予測符号化方法。
8. 画素信号を保存する記録手段を備える画像予測復号装置の画像予測復号方法において、
   複数の領域に分割して符号化された画像の圧縮データを解析し、復号対象となる対象領域の信号を第１領域と第２領域とに分けて予測するための動き情報の復号データと、残差信号の復号データとを復号する復号ステップと、
   前記動き情報の復号データには、前記第１領域の動きベクトルの生成に必要な情報、前記第２領域の予測動きベクトルを指示する選択情報、前記第２領域の差分動きベクトルが含まれており、前記第１領域の動きベクトルの生成に必要な情報から第１領域の動きベクトルを復元すると共に、前記第２領域に隣接するブロックの動きベクトルから前記動き情報の復号データに含まれる前記第２領域の予測動きベクトルを指示する選択情報に基づいて第２領域の予測動きベクトルを決定し、前記動き情報の復号データに含まれる前記第２領域の差分動きベクトルと前記第２領域の予測動きベクトルとから第２領域の動きベクトルを復元する動き情報復元ステップと、
   前記動き情報復元ステップにおいて復元された前記２領域の動きベクトルに基づいて、前記対象領域の予測信号を生成する予測信号生成ステップと、
   前記第１領域及び前記第２領域の動きベクトルを保存する予測情報保存ステップと、
   前記残差信号の復号データである量子化係数に逆量子化処理を施して、前記残差信号を再生する逆量子化ステップと、
   前記予測信号と再生された残差信号とを加算することによって前記対象領域の復元画素信号を生成し、当該復元画素信号を既再生信号として前記記録手段に保存する記録ステップと、を含み、
   前記動き情報復元ステップでは、前記対象領域の前記第２領域に隣接するブロックから、前記対象領域の前記第１領域を除く予め定められた複数個の隣接ブロックに属する動きベクトルを前記第２領域の予測動きベクトルの候補として選出し、当該複数の第２領域の予測動きベクトルの候補から１つを選択して、前記第２領域の予測動きベクトルとすることを特徴とする画像予測復号方法。
9. コンピュータを、
   入力画像を複数の領域に分割する領域分割モジュールと、
   前記領域分割モジュールによって分割された符号化対象とする対象領域を第１領域と第２領域とに分け、当該２領域の信号との相関が高い信号を既再生信号から取得するための２つの動きベクトルを求める動き情報推定モジュールと、
   前記動き情報推定モジュールによって求められた前記２領域の動きベクトルに基づいて、前記対象領域の予測信号を生成する予測信号生成モジュールと、
   前記第１領域及び前記第２領域の動きベクトルを保存する予測情報保存モジュールと、
   前記第２領域に隣接するブロックの動きベクトルを前記第２領域の予測動きベクトルとし、前記第２領域の動きベクトルと前記第２領域の予測動きベクトルとから前記第２領域の差分動きベクトルを生成する動き情報生成モジュールと、
   前記対象領域の予測信号と前記対象領域の画素信号とに基づく残差信号を生成する残差信号生成モジュールと、
   前記残差信号生成モジュールによって生成された前記残差信号に量子化処理を施し、量子化係数を生成する量子化モジュールと、
   前記第１領域の動きベクトルの生成に必要な情報、前記第２領域の予測動きベクトルを指示する選択情報、前記第２領域の差分動きベクトル及び前記残差信号の量子化係数を符号化する符号化モジュールと、
   前記量子化モジュールによって生成された前記量子化係数に逆量子化処理を施し、前記残差信号を再生する逆量子化モジュールと、
   前記予測信号と再生された残差信号とを加算することによって前記対象領域の復元画素信号を生成し、当該復元画素信号を前記既再生信号として保存する記録モジュールと、として機能させ、
   前記動き情報生成モジュールは、前記対象領域の前記第２領域に隣接するブロックから、前記対象領域の前記第１領域を除く予め定められた複数個の隣接ブロックに属する動きベクトルを前記第２領域の予測動きベクトルの候補として選出し、当該複数の第２領域の予測動きベクトルの候補から１つを選択して、前記第２領域の予測動きベクトルとすることを特徴とする画像予測符号化プログラム。
10. コンピュータを、
    複数の領域に分割して符号化された画像の圧縮データを解析し、復号対象となる対象領域の信号を第１領域と第２領域とに分けて予測するための動き情報の復号データと、残差信号の復号データとを復号する復号モジュールと、
    前記動き情報の復号データには、前記第１領域の動きベクトルの生成に必要な情報、前記第２領域の予測動きベクトルを指示する選択情報、前記第２領域の差分動きベクトルが含まれており、前記第１領域の動きベクトルの生成に必要な情報から第１領域の動きベクトルを復元すると共に、前記第２領域に隣接するブロックの動きベクトルから前記動き情報の復号データに含まれる前記第２領域の予測動きベクトルを指示する選択情報に基づいて第２領域の予測動きベクトルを決定し、前記動き情報の復号データに含まれる前記第２領域の差分動きベクトルと前記第２領域の予測動きベクトルとから第２領域の動きベクトルを復元する動き情報復元モジュールと、
    前記動き情報復元モジュールによって復元された前記２領域の動きベクトルに基づいて、前記対象領域の予測信号を生成する予測信号生成モジュールと、
    前記第１領域及び前記第２領域の動きベクトルを保存する予測情報保存モジュールと、
    前記残差信号の復号データである量子化係数に逆量子化処理を施して、前記残差信号を再生する逆量子化モジュールと、
    前記予測信号と再生された残差信号とを加算することによって前記対象領域の復元画素信号を生成し、当該復元画素信号を既再生信号として保存する記録モジュールと、として機能させ、
    前記動き情報復元モジュールは、前記対象領域の前記第２領域に隣接するブロックから、前記対象領域の前記第１領域を除く予め定められた複数個の隣接ブロックに属する動きベクトルを前記第２領域の予測動きベクトルの候補として選出し、当該複数の第２領域の予測動きベクトルの候補から１つを選択して、前記第２領域の予測動きベクトルとすることを特徴とする画像予測復号プログラム。

Images