JP4844449B2

JP4844449B2 - 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム

Info

Publication number: JP4844449B2
Application number: JP2007093162A
Authority: JP
Inventors: 智坂爪
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-04-17
Filing date: 2007-03-30
Publication date: 2011-12-28
Anticipated expiration: 2027-03-30
Also published as: US20070268968A1; JP2007312362A; US8090025B2

Description

本発明は、動画像に対して符号化を行う際に、ポアソン方程式を満たす条件を境界条件及び動画像に適したソースモデルに基づいて導出し、その結果を符号化及び復号化に適用する動画像符号化装置、動画像符号化プログラム、動画像復号化装置、及び動画像復号化プログラムに関する。

ディジタル放送やネットワークを介した様々な動画像配信サービスが一般的となり、より高画質・高品質の動画像をより多く記録したいという要求から、更なる動画像の符号化効率向上が望まれている。

近年、従来の符号化技術の符号化効率を大幅に向上させたＭＰＥＧ−４ＡＶＣ（以後、ＡＶＣもしくはＨ.２６４という。）などの新たな符号化方法を導入したものも存在し、これらを導入することでより効果的な情報の符号化を行うことができる。上述のような符号化方法では、通常、ＭＣ（動き補償）とＤＣＴ（離散余弦変換）を組み合わせることで映像の情報圧縮を行う。

しかし、従来のＭＣは処理単位となる矩形領域（通常は所定の正方ブロック、以後、ＭＣブロック又は単にブロックと呼ぶ）内の全画素が同一の動きを持つことを前提として動き量の検出を行って動きベクトル情報を生成することから、ＭＣブロックを空間配置して構成される予測ピクチャでは、ＭＣブロック境界において画像信号が不連続な状態となる場合がある。このＭＣブロック境界の不連続な状態は、動き量の探索やその後の直交変換、量子化などの符号化処理単位がブロック単位であることに起因する。この現象は符号化時に利用できる符号量が少ないほど顕著に現れ、一般にブロック歪みとして知覚することができる。

特に、ブロック境界の不連続性と、ブロック内のテクスチャ情報の不整合は、一般に動画像のピクチャ間において、動画像内に含まれる物体の動きが大きい場合や、物体自体の変形、複数の物体との間の相互関係の変化、つまり物体の消失や出現が生じている場合に多く発生する。

そこで、上述のＭＣブロック境界の不連続な状態を改善するための方法として、動き補償器の後段に平滑化フィルタを設け、ブロック単位の動き補償によって生成される予測ピクチャに対して、そのＭＣブロック間の境界に生じる不連続波形を適応的に平滑化する処理を比較的簡易な演算で行い、これによって動き補償を用いた低ビットレートの符号化効率を改善することができる構成が提案されている（例えば、特許文献１参照）。
再公表特許ＷＯ２００３／００３７４９

しかし、前述した特許文献１記載の発明では、このようなブロック間の不連続性やテクスチャ情報の不整合を改善するために、ブロック間の境界付近の画素に対して画像信号の平滑化を行うことで、不連続な状態を緩和することを試みているものの、平滑化の強弱によってブロック間の不連続性を十分緩和することができない場合がある。

例えば、平滑化の強度が必要とする強度よりも弱い場合には、ブロック間の不連続性が十分改善することができずに依然としてブロック歪みとして影響が残る。また、平滑化の強度が必要とする強度よりも強い場合には、ブロック境界部分の不連続性は改善されるものの、ブロック内のテクスチャ情報に対しても平滑化を掛けすぎてしまうため、結果としてブロック内のテクスチャ情報が劣化する。

また、平滑化を行った後に、符号化対象となっている動画像フレームとの差分を行うことで生成する差分画像フレームに対して所定の直交変換、量子化及びエントロピー符号化を行うことになる。ここで、動き推定において最適なブロックを選択した後に動き補償によって生成した予測ピクチャに対して平滑化を行うため、必ずしも最適なブロックとはならず、平滑化後に同等の品質をもつブロックは、参照ピクチャ内に他にも存在する可能性がある。従って、動きベクトル情報や量子化後の直交変換係数情報の符号量を考慮して、より最適な動きベクトル情報を求めようとすると、動き推定、動き補償、平滑化処理を繰り返し行って最適な動きベクトル情報を決定する必要があり、多くの演算量を費やさなければならない。

本発明は以上の点に鑑みなされたもので、平滑化処理を行うことなく、一般的に用いられる動き推定及び動き補償によって生じる、ブロック間の不連続な状態を解消し、ブロック境界部分においても、含まれる画像信号の連続性が維持されるような予測ピクチャを生成することが可能な動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラムを提供することを目的とする。

また、本発明の他の目的は、従来よりも少ない符号量をもつ符号化ビットストリームを効率良く伝送、受信、再生することが可能な動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラムを提供することにある。

本発明は、上記課題を解決するために、以下の装置、プログラム、方法を提供する。
(1) 入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、前記矩形領域を処理単位として局部復号画像信号である参照ピクチャから生成された予測ピクチャと前記符号化対象の動画像信号である符号化ピクチャとの差分信号である差分ピクチャを生成し、前記差分ピクチャに対して符号化を行う動画像符号化装置において、
前記符号化ピクチャ内の予測対象としている前記矩形領域と、その矩形領域に隣接する他の矩形領域との間の境界部分を探索単位として境界部分の境界条件を求め、その境界条件に適合する境界条件を持つ前記参照ピクチャの境界部分を該参照ピクチャ内の動きベクトル探索を行うことによって特定し、更に前記符号化ピクチャ内の前記矩形領域の境界部分から前記参照ピクチャ内の前記特定した境界部分までの動きベクトル情報である境界部動きベクトル情報を生成する領域境界動き推定手段と、
前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで第１の予測ピクチャを生成する領域境界動き補償手段と、
前記符号化ピクチャと前記第１の予測ピクチャとの差分から第１の差分ピクチャを生成する第１の差分手段と、
前記第１の差分ピクチャに対して所定の直交変換を行うことで直交変換係数情報を生成する直交変換手段と、
前記直交変換係数情報に対して所定の量子化パラメータに基づいて所定の量子化を行うことで量子化後情報を生成する量子化手段と、
前記量子化後情報に対して所定の量子化パラメータに基づいて所定の逆量子化を行うことで、逆量子化後情報を生成する逆量子化手段と、
前記逆量子化後情報に対して所定の逆直交変換を行うことで、前記参照ピクチャを生成する逆直交変換手段と、
を備えることを特徴とする動画像符号化装置。
(2) 前記符号化ピクチャ内の各矩形領域において前記参照ピクチャ内をブロックマッチングによって動きベクトル探索を行い、前記参照ピクチャ内の適合する矩形領域までの動きベクトル情報を生成する動き推定手段と、
前記動きベクトル情報に基づいて前記参照ピクチャから対応する矩形領域を特定し、第２の予測ピクチャを生成する動き補償手段と、
前記動き補償手段によって生成した前記第２の予測ピクチャと前記符号化ピクチャとの差分である第２の差分ピクチャを生成する第２の差分手段と、
前記第１の差分ピクチャと前記第２の差分ピクチャとを、所定の判定基準に基づいて比較し、情報量の少ない方の差分ピクチャを選択する差分判定手段と、
を更に備え、
前記直交変換手段は、前記差分判定手段により選択された差分ピクチャに対して、所定の直交変換を行うことで直交変換係数情報を生成するようにした、
ことを特徴とする上記(1)記載の動画像符号化装置。
(3) 前記量子化後情報と、前記境界部動きベクトル情報または前記動きベクトル情報とに対して、所定のエントロピー符号化を行うことで符号化ビット列を生成するエントロピー符号化手段と、
所定の構文構造に基づいて前記符号化ビット列を多重化することで符号化ビットストリームを生成する多重化手段と、
を更に備え、
前記エントロピー符号化手段は、供給される前記量子化後情報が、前記第１の差分ピクチャによるものである場合には、前記境界部動きベクトル情報に対して所定のエントロピー符号化を行い、供給される前記量子化後情報が、前記第２の差分ピクチャによるものである場合には、前記動きベクトル情報に対して所定のエントロピー符号化を行う、
ことを特徴とする上記(2)記載の動画像符号化装置。
(4) 入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、前記矩形領域を処理単位として局部復号画像信号である参照ピクチャから生成された予測ピクチャと前記符号化対象の動画像信号である符号化ピクチャとの差分信号である差分ピクチャを生成し、前記差分ピクチャに対して符号化を行うことを、コンピュータにより実行させるための動画像符号化プログラムにおいて、
前記コンピュータを、
前記符号化ピクチャ内の予測対象としている前記矩形領域と、その矩形領域に隣接する他の矩形領域との間の境界部分を探索単位として境界部分の境界条件を求め、その境界条件に適合する境界条件を持つ前記参照ピクチャの境界部分を該参照ピクチャ内の動きベクトル探索を行うことによって特定し、更に前記符号化ピクチャ内の前記矩形領域の境界部分から前記参照ピクチャ内の前記特定した境界部分までの動きベクトル情報である境界部動きベクトル情報を生成する領域境界動き推定手段と、
前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで第１の予測ピクチャを生成する領域境界動き補償手段と、
前記符号化ピクチャと前記第１の予測ピクチャとの差分から第１の差分ピクチャを生成する第１の差分手段と、
前記第１の差分ピクチャに対して所定の直交変換を行うことで直交変換係数情報を生成する直交変換手段と、
前記直交変換係数情報に対して所定の量子化パラメータに基づいて所定の量子化を行うことで量子化後情報を生成する量子化手段と、
前記量子化後情報に対して所定の量子化パラメータに基づいて所定の逆量子化を行うことで、逆量子化後情報を生成する逆量子化手段と、
前記逆量子化後情報に対して所定の逆直交変換を行うことで、前記参照ピクチャを生成する逆直交変換手段と、
少なくとも前記量子化後情報及び前記境界部動きベクトル情報に対して所定のエントロピー符号化を行うことで符号化ビット列を生成するエントロピー符号化手段と、
所定の構文構造に基づいて前記符号化ビット列を多重化することで符号化ビットストリームを生成する多重化手段と、
して機能させることを特徴とする動画像符号化プログラム。
(5) 前記コンピュータを、
前記符号化ピクチャ内の各矩形領域において前記参照ピクチャ内をブロックマッチングによって動きベクトル探索を行い、前記参照ピクチャ内の適合する矩形領域までの動きベクトル情報を生成する動き推定手段と、
前記動きベクトル情報に基づいて前記参照ピクチャから対応する矩形領域を特定し、第２の予測ピクチャを生成する動き補償手段と、
前記動き補償手段によって生成した前記第２の予測ピクチャと前記符号化ピクチャとの差分である第２の差分ピクチャを生成する第２の差分手段と、
前記第１の差分ピクチャと前記第２の差分ピクチャとを、所定の判定基準に基づいて比較し、情報量の少ない方の差分ピクチャを選択する差分判定手段と、
前記差分判定手段の選択結果に応じて、前記差分判定手段で選択した差分ピクチャを前記直交変換手段に供給するための制御を行う符号化制御手段と、
して更に機能させ、
前記直交変換手段は、前記符号化制御手段の制御に基づいて供給された前記差分ピクチャに対して所定の直交変換を行う、
ことを特徴とする上記(4)記載の動画像符号化プログラム。
(6) 上記(3)に記載の動画像符号化装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号化した動画像信号を出力する動画像復号化装置であって、
前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
前記多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、前記量子化後情報、前記境界部動きベクトル情報または前記動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成するエントロピー復号化手段と、
前記エントロピー復号化手段から取得した前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の直交変換係数情報を生成する逆量子化手段と、
前記逆量子化手段から取得した逆量子化後の直交変換係数情報に対して逆直交変換を行うことにより、１ピクチャ分の復号差分ピクチャを生成する逆直交変換手段と、
前記エントロピー復号化手段から前記境界部動きベクトル情報を取得した場合には、前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで第１の予測ピクチャを生成する領域境界動き補償手段と、
前記エントロピー復号化手段から前記動きベクトル情報を取得した場合には、前記動きベクトル情報に基づいて前記参照ピクチャから対応する矩形領域を特定し、第２の予測ピクチャを生成する動き補償手段と、
生成した前記第１の予測ピクチャと前記復号差分ピクチャとを合成、または生成した前記第２の予測ピクチャと前記復号差分ピクチャとを合成して復号動画像信号を生成する合成手段と、
少なくとも１ピクチャ分の復号動画像信号を参照ピクチャとして保持するための記憶手段と、
を少なくとも備えることを特徴とする動画像復号化装置。
(7) 上記(3)に記載の動画像符号化装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号化した動画像信号を出力することを、コンピュータにより実行させるための動画像復号化プログラムであって、
前記コンピュータを、
前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
前記多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、前記量子化後情報、前記境界部動きベクトル情報または前記動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成するエントロピー復号化手段と、
前記エントロピー復号化手段から取得した前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の直交変換係数情報を生成する逆量子化手段と、
前記逆量子化手段から取得した逆量子化後の直交変換係数情報に対して逆直交変換を行うことにより、１ピクチャ分の復号差分ピクチャを生成する逆直交変換手段と、
前記エントロピー復号化手段から前記境界部動きベクトル情報を取得した場合には、前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで第１の予測ピクチャを生成する領域境界動き補償手段と、
前記エントロピー復号化手段から前記動きベクトル情報を取得した場合には、前記動きベクトル情報に基づいて前記参照ピクチャから対応する矩形領域を特定し、第２の予測ピクチャを生成する動き補償手段と、
生成した前記第１の予測ピクチャと前記復号差分ピクチャとを合成、または生成した前記第２の予測ピクチャと前記復号差分ピクチャとを合成して復号動画像信号を生成する合成手段と、
少なくとも１ピクチャ分の復号動画像信号を参照ピクチャとして保持するための記憶手段と、
して機能させることを特徴とする動画像復号化プログラム。
(8) 入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、前記矩形領域を処理単位として局部復号画像信号である参照ピクチャから生成された予測ピクチャと前記符号化対象の動画像信号である符号化ピクチャとの差分信号である差分ピクチャを生成し、前記差分ピクチャに対して符号化を行う動画像符号化方法であって、
前記符号化ピクチャ内の予測対象としている前記矩形領域と、その矩形領域に隣接する他の矩形領域との間の境界部分を探索単位として境界部分の境界条件を求め、その境界条件に適合する境界条件を持つ前記参照ピクチャの境界部分を該参照ピクチャ内の動きベクトル探索を行うことによって特定し、更に前記符号化ピクチャ内の前記矩形領域の境界部分から前記参照ピクチャ内の前記特定した境界部分までの動きベクトル情報である境界部動きベクトル情報を生成するステップと、
前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで予測ピクチャを生成するステップと、
前記符号化ピクチャと前記予測ピクチャとの差分から差分ピクチャを生成するステップと、
前記差分ピクチャに対して所定の直交変換を行うことで直交変換係数情報を生成するステップと、
前記直交変換係数情報に対して所定の量子化パラメータに基づいて所定の量子化を行うことで量子化後情報を生成するステップと、
前記量子化後情報に対して所定の量子化パラメータに基づいて所定の逆量子化を行うことで、逆量子化後情報を生成するステップと、
前記逆量子化後情報に対して所定の逆直交変換を行うことで、前記参照ピクチャを生成するステップと、
を有する動画像符号化方法。
(9) 上記(8)に記載の動画像符号化方法によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号化した動画像信号を出力する動画像復号化方法であって、
前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行うステップと、
前記多重化分離後の情報に対して、所定のエントロピー復号化を行い、少なくとも、前記量子化後情報、境界部動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成するステップと、
前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の直交変換係数情報を生成するステップと、
前記逆量子化後の直交変換係数情報に対して逆直交変換を行うことにより、１ピクチャ分の復号差分ピクチャを生成するステップと、
取得した前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで予測ピクチャを生成するステップと、
生成した前記予測ピクチャと復号差分ピクチャとを合成して復号動画像信号を生成するステップと、
少なくとも１ピクチャ分の復号動画像信号を参照ピクチャとして記憶するステップと、
を有する動画像復号方法。
(10) 上記(8)に記載の動画像符号化方法によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号化した動画像信号を出力する動画像復号化装置であって、
前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
前記多重化分離後の情報に対して、所定のエントロピー復号化を行い、少なくとも、前記量子化後情報、境界部動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成するエントロピー復号化手段と、
前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の直交変換係数情報を生成する逆量子化手段と、
前記逆量子化後の直交変換係数情報に対して逆直交変換を行うことにより、１ピクチャ分の復号差分ピクチャを生成する逆直交変換手段と、
取得した前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで予測ピクチャを生成する領域境界動き補償手段と、
生成した前記予測ピクチャと復号差分ピクチャとを合成して復号動画像信号を生成する合成手段と、
少なくとも１ピクチャ分の復号動画像信号を参照ピクチャとして記憶する記憶手段と、
を有する動画像復号化装置。

本発明によれば、符号化ピクチャ内の予測対象としている矩形領域と、その矩形領域に隣接する他の矩形領域との間の境界部分を探索単位として境界部分の境界条件を求め、その境界条件に適合する境界条件を持つ参照ピクチャの境界部分を参照ピクチャ内の動きベクトル探索を行うことによって特定し、更に符号化ピクチャ内の矩形領域の境界部分から参照ピクチャ内の特定した境界部分までの動きベクトル情報である境界部動きベクトル情報に基づいて参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号に基づいて第１の予測ピクチャを生成することで領域境界動き補償を行うようにしたため、一般的に用いられる動き推定及び動き補償によって生じる、ブロック間の不連続な状態を解消し、ブロック境界部分においても、含まれる画像信号の連続性が維持されるような予測ピクチャを生成することができる。

また、本発明によれば、矩形領域間の不連続な状態を解消し、連続的な画像信号を含む予測ピクチャが得られることで、その後の予測ピクチャと符号化ピクチャとの差分によって生成される差分ピクチャの品質に対して、動き推定及び動き補償が与える影響を排除でき、その後の差分ピクチャが供給される直交変換及び量子化の効率を向上させることができる。

また、本発明によれば、領域境界動き補償手段により生成された第１の予測ピクチャと符号化ピクチャとの差分信号である第１の差分ピクチャと、従来と同様の動き補償手段によって生成した第２の予測ピクチャと符号化ピクチャとの差分信号である第２の差分ピクチャとのうち、情報量の少ない方の差分ピクチャを選択し、後段の直交変換に供給し、発生する情報量に応じて、生成される差分ピクチャを情報量が少なくなるように随時切り替えるようにしたため、符号化ビットストリーム全体としての符号化効率を向上させることができる。

また、本発明では、上述のように符号化されて得られた符号化ビットストリームを所定の伝送路または記録媒体から取得してエントロピー復号化し、少なくとも、量子化後情報、境界部動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成し、復号化した境界部動きベクトル情報に基づいて参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで予測ピクチャを生成し、その予測ピクチャと復号差分ピクチャとを合成して復号動画像信号を生成するので、従来よりも少ない符号量をもつ符号化ビットストリームを効率良く伝送、受信、再生することを可能にすることができる。

次に、発明を実施するための最良の形態について図面を併せ参照して説明する。

（実施の形態１）
まず、本発明の動画像符号化装置、動画像復号化装置及びこれらの方法の実施の形態１について説明する。図１は本発明になる動画像符号化装置の実施の形態１のブロック図を示す。図１に示すように、本実施の形態の符号化装置は、スイッチ１０２、スイッチ１０３、フレームメモリ１０４、第２差分器１０６、直交変換器１０７、量子化器１０８、逆量子化器１０９、逆直交変換器１１０、第１合成器１１１、エントロピー符号化器１１３、多重化器１１４、出力伝送器１１５、符号化制御器１１７、領域境界動き推定器１１８、領域境界動き補償器１１９、第１差分器１２０、を少なくとも備えるように構成する。更に、図１のように、イントラ予測器１０５、デブロックフィルタ１１２を備えるような構成とすることが望ましい。本実施の形態は、上述の従来技術のような平滑化フィルタは設けず、領域境界動き推定器１１８及び領域境界動き補償器１１９を設けた点に特徴がある。

次に、図１に示す本発明の実施の形態１の符号化装置の各構成部分の詳細について説明する。スイッチ１０２は、第２差分器１０６から供給される第２の差分ピクチャ（符号化ピクチャとイントラ予測による第４の予測ピクチャから生成）と、第１差分器１２０から供給される第１の差分ピクチャ（符号化ピクチャと領域境界動き補償による第１の予測ピクチャから生成）とを符号化制御器１１７の指示に応じて切り替えることで必要な差分ピクチャを直交変換器１０７に供給する機能を有する。

スイッチ１０３は、領域境界動き補償器１１９から供給される第１の予測ピクチャと、イントラ予測器１０５から供給される第４の予測ピクチャとを符号化制御器１１７の指示に応じて切り替えることで、必要な予測ピクチャを第１合成器１１１に供給する機能を有する。

フレームメモリ１０４は、図１においては、デブロックフィルタ１１２から、デブロックフィルタ処理後の復号ピクチャを取得し、参照ピクチャとして格納する機能を有する。また、入力信号(図では、入力符号と記している。)である符号化ピクチャについても、符号化モードに応じて参照ピクチャとして格納するような機能を有しても構わない。また、フレームメモリ１０４は、参照ピクチャを必要とする各部に対して要求された参照ピクチャを供給する機能を有する。図１におけるフレームメモリ１０４では、要求に応じて必要としている参照ピクチャをイントラ予測器１０５、領域境界動き推定器１１８、領域境界動き補償器１１９に供給する機能を有する。

第２差分器１０６は、入力信号である符号化ピクチャと、イントラ予測器１０５から第４の予測ピクチャを取得すると共に、取得した符号化ピクチャと第４の予測ピクチャとの差分をとることで第２の差分ピクチャを生成し、スイッチ１０２の端子ｂに供給する機能を有する。

直交変換器１０７は、スイッチ１０２から差分ピクチャを取得する機能を有する。また、取得した差分ピクチャに対して、所定の直交変換を行うことで直交変換係数情報を生成し、量子化器１０８に供給する機能を有する。ここで、所定の直交変換で用いられる直交変換基底は、ＤＣＴ（離散余弦変換）基底であり、生成される直交変換係数情報はＤＣＴ係数情報であることが望ましい。本実施の形態では、直交変換基底にＤＣＴを用いるものとして話を進めるが、この直交変換基底によって特に限定されるものではないことに注意する。

量子化器１０８は、直交変換器１０７からＤＣＴ係数情報を取得し、所定の量子化パラメータに基づいて所定の量子化を行うことで、量子化後情報を生成し、逆量子化器１０９及びエントロピー符号化器１１３に供給する機能を有する。逆量子化器１０９は、量子化器１０８から量子化後情報を取得し、所定の量子化パラメータに基づいて所定の逆量子化を行うことで、逆量子化後情報を生成し、その逆量子化後情報を逆直交変換器１１０に供給する機能を有する。

逆直交変換器１１０は、逆量子化器１０９から逆量子化後情報を取得し、所定の逆直交変換を行うことで復号差分ピクチャを生成し、その復号差分ピクチャを第１合成器１１１に供給する機能を有する。第１合成器１１１は、逆直交変換器１１０から復号差分ピクチャを取得し、スイッチ１０３から予測ピクチャを取得する機能を有する。また、第１合成器１１１は、取得した復号差分ピクチャと予測ピクチャとを合成することで復号ピクチャを生成し、その復号ピクチャをイントラ予測器１０５及びデブロックフィルタ１１２に供給する機能を有する。

エントロピー符号化器１１３は、量子化器１０８から量子化後情報と、領域境界動き推定器１１８から境界部動きベクトル情報を少なくとも取得する機能を有する。ここで、エントロピー符号化器１１３は、その他の所定の構文構造を構成するために必要なパラメータ情報などを符号化装置の各部から取得する機能を有することが望ましい。所定の構文構造を構成するために必要なパラメータ情報としては、マクロブロックの各種状態を特定するためのマクロブロック情報、量子化及び逆量子化を行う際に用いる量子化パラメータ情報、イントラ予測の方法を特定するためのイントラ予測モード情報、参照画像フレームの参照順を特定するためのフレーム順序情報、などが含まれると更によい。エントロピー符号化器１１３は、取得した各種の情報に対して所定のエントロピー符号化を行うことで符号化ビット列を生成し、多重化器１１４に供給する機能を有する。

多重化器１１４は、エントロピー符号化器１１３から符号化ビット列を取得し、所定の構文構造に基づいて所定の多重化を行うことで符号化ビットストリームを生成すると共に、符号化ビットストリームを出力伝送器１１５に供給する機能を有する。出力伝送器１１５は、多重化器１１４から符号化ビットストリームを取得し、その取得した符号化ビットストリームを出力信号（図では、出力符号と記している。）として所定の伝送路や所定の記録媒体などに出力するため、所定のパケットヘッダ及びペイロードをもつ構成とするようにパケット化処理を行い、パケット情報を生成する機能を有する。

ここで、パケット情報は、パケットヘッダ及びペイロードを１単位として扱う。通常、取得した符号化ビットストリームをより細かい単位に分割してペイロードに格納し、所定のパケットヘッダを付加することでパケット化処理を行う。また、出力伝送器１１５は、生成した各パケット情報を出力信号として所定の出力先である伝送路や記録媒体の状態に応じて出力する機能を有する。

符号化制御器１１７は、本発明の符号化装置の動作を制御するために、符号化装置を構成する各部に対して符号化に必要な各種パラメータ情報を供給すると共に、使用した各種パラメータ情報をエントロピー符号化器１１３に供給する機能を有する。また、各部の入出力の制御を行うと共に、少なくともスイッチ１０２、スイッチ１０３の切り替え制御を行う機能を有する。

領域境界動き推定器１１８は、入力された符号化対象の動画像信号の一画面領域（ここでは１フレームとするが、フレーム単位以外にもスライス単位やフィールド単位も考えられる）の符号化ピクチャと、フレームメモリに格納されている参照ピクチャとを取得する機能を有する。そして、領域境界動き推定器１１８では、ある特定の領域における境界条件を確定することができれば、その領域の境界条件に基づいてポアソン方程式を満たすような推定信号を生成することができるという特徴を利用するために、取得した符号化ピクチャを所定の画素数からなる矩形領域であるブロック領域を単位として細分割し、符号化ピクチャ内におけるブロック間の各辺の境界条件である各辺の画像信号の傾きを算出する機能を有する。

更に、領域境界動き推定器１１８は、符号化ピクチャ内における各辺の画像信号の傾きに最も近い画像信号の傾きを持つ位置を、各辺に対応する画像信号の傾きを算出しながら、参照ピクチャ内の動きベクトル探索を行うことによって特定し、境界部動きベクトル情報を生成する、領域境界動き推定を行うと共に、生成した境界部動きベクトル情報を領域境界動き補償器１１９とエントロピー符号化器１１３にそれぞれ供給する機能を有する。

領域境界動き補償器１１９は、領域境界動き推定器１１８から境界部動きベクトル情報を取得すると共に、フレームメモリ１０４から参照ピクチャを取得する機能を有する。また、領域境界動き補償器１１９は、取得した境界部動きベクトル情報に基づいて、ブロック内の推定信号を生成する際に必要となる、各辺の画像信号の傾きを、参照ピクチャ内から特定し、特定した各辺の画像信号の傾きを境界条件としてポアソン方程式に適用することによってブロック内の予測信号を生成し、ピクチャ内の各ブロックの予測信号を生成して第１の予測ピクチャを生成することで領域境界動き補償を行い、また生成した第１の予測ピクチャを、スイッチ１０３の端子ａと第１差分器１２０に供給する機能を有する。

第１差分器１２０は、入力信号１０１である動画像の符号化対象となっている符号化ピクチャと、領域境界動き補償器１１９から第１の予測ピクチャを取得し、取得した符号化ピクチャと第１の予測ピクチャとの差分により第１の差分ピクチャを生成し、生成した第１の差分ピクチャをスイッチ１０２の端子ａに供給する機能を有する。

イントラ予測器１０５は、第１合成器１１１から復号ピクチャを取得し、所定のイントラ予測を行うことで第４の予測ピクチャを生成する機能を有する。ここで、イントラ予測に利用するピクチャをフレームメモリ１０４から取得するような構成であっても構わない。イントラ予測器１０５は、生成した第４の予測ピクチャを、スイッチ１０３の端子ｂと第２差分器１０６に供給する機能を有する。

デブロックフィルタ１１２は、第１合成器１１１から復号ピクチャを取得し、所定のデブロックフィルタ処理を行った後に、デブロックフィルタ処理後の復号ピクチャを参照メモリとして格納するためにフレームメモリ１０４に供給する機能を有する。

次に、本発明の実施の形態１の符号化装置の要部を構成する領域境界動き推定器１１８が備える領域境界動き推定処理、及び領域境界動き補償器１１９が備える領域境界動き補償処理について図１３から図１６を用いて詳細に説明する。

図１３は、一般的なブロックマッチングによる動きベクトル探索を行うことで、動きベクトル情報を生成する、動き推定の様子を示した概念図である。ここで、ブロックマッチングで用いる所定の矩形領域の大きさは、話を簡単にするために、便宜上、横方向に４画素、縦方向に４画素のブロックであるものとする。

まず、符号化ピクチャ１３０１を各ブロックに分割し、現在動きベクトル探索を行おうとしている、予測対象１３０３のブロックに注目する。ここで、予測対象１３０３のブロックと、その周囲のブロックとの間にある境界部分をΓ（１）、Γ（２）、Γ（３）、Γ（４）と表す。また、参照ピクチャ１３０２において、符号化ピクチャ内の予測対象１３０３のブロックと同じ空間位置に存在する領域を基準位置１３０４とし、この基準位置１３０４から動きベクトル探索を開始する。

動きベクトル探索は、通常、参照ピクチャ１３０２内の探索範囲１３０５を設定し、この探索範囲内で１／２画素精度もしくは１／４画素精度でのブロックマッチングを行う。ブロックマッチングでは、通常、ＳＡＤ（Sum of Absolute Difference；予測誤差の絶対値誤差和）が最小となるようなブロックを、参照ピクチャ１３０２の探索範囲１３０５内から探し出すことで、適合したブロック１３０６を特定する。その後、予測対象１３０３のブロックと、適合したブロック１３０６との空間位置の違いを動きベクトル情報１３０７として求めることで、動き推定を行う。

従って、生成した動きベクトル情報１３０７に基づいて参照ピクチャ１３０２内の適合したブロック１３０６を特定し、このブロック１３０６内の画素情報を複製し、予測ピクチャの対応する空間位置に配置することを予測ピクチャ内の各ブロックに対して行うことにより動き補償を行う。このようにブロック単位で動き補償を行うため、各ブロック間の画像としての特徴、例えば画像に含まれる物体の形状や輪郭、ブロック内の模様であるテクスチャの性質が、ブロック間において滑らかに接続されずにブロック間で不連続な状態となることがある。

図１４は、図１の領域境界動き推定器１１８が備える領域境界動き推定処理の様子を示した概念図である。領域境界動き推定器１１８の領域境界動き推定では、動きベクトル探索の探索単位を、予測対象としているブロックの境界部分Γ（１）、Γ（２）、Γ（３）、Γ（４）を探索単位とする。ここでは、Γ（１）を予測対象１４０３として領域境界動き推定を行う。

まず、図１５（ａ）に示すように、符号化ピクチャ１４０１において、予測対象１４０３であるΓ（１）のブロック境界部分の境界条件を求める。このブロック境界部分の境界条件は、境界部分の画像信号の傾きを境界条件とすることが望ましい。ここでは、一例として図１５（ｂ）に示すように、境界部分の仮想画素を×印で表現し、この×印に隣接する画素から図１５（ｃ）に示すように×印の仮想画素の傾きｄＶ／ｄＹを特定するためのｄＹ、ｄＶを算出している。ここで、ｄＹは画素ｂと画素ｃとの間の距離、ｄＶは画素ｂと画素ｃの輝度成分または色差成分等の画素値である。

このようにして、本実施の形態１の領域境界動き推定器１１８は、符号化ピクチャ内のブロック境界部分の境界条件である、境界部分の傾き情報を求める。そして、本実施の形態１では、求めた境界部分の傾き情報が理想的な傾き情報、すなわちブロック境界における原信号の傾きに近い傾き情報であるものとして、参照ピクチャの探索範囲の中から、この理想的な傾き情報に最も近い境界部分を特定する。

すなわち、図１４において、まず、参照ピクチャ１４０２において、符号化ピクチャ１４０１内の予測対象１４０３のブロックの境界部分Γ（１）と同じ空間位置に存在するブロックの境界部分を基準位置１４０４とし、この基準位置１４０４の傾き情報を計算し、理想的な傾き情報と比較する。ここで、比較方法は、通常の動き推定で用いるＳＡＤを利用するようにしても構わない。

その後、１／２画素もしくは１／４画素の精度で比較対象となる参照ピクチャ１４０２内の境界部分を移動させつつ、移動した先において、その都度、境界部分の傾き情報を計算し、理想的な傾き情報と比較することを繰り返し、参照ピクチャ１４０２の探索範囲１４０５内で最も適合した境界部分１４０６を特定する。続いて、符号化ピクチャ１４０１内の予測対象１４０３の境界部分と、参照ピクチャ１４０２内の適合した境界部分１４０６との空間位置の違いを境界部動きベクトル情報１４０７として求めることで、領域境界動き推定を行う。

その後、図１６に示すように、符号化ピクチャ１４０１内の予測対象としているブロックの境界部分Γ（１）、Γ（２）、Γ（３）、Γ（４）に適合する参照ピクチャ１４０２内の境界部分１６０１、１６０２、１６０３、１６０４の境界条件である、画像信号の傾きを、予測ピクチャ１６０５の境界部分１６０１ａ、１６０２ａ、１６０３ａ、１６０４ａにおける画像信号の傾き情報として考える。この特定された画像信号の傾き情報に基づいて、ポアソン方程式を適用することでブロック内の予測信号を生成し、予測ブロック１６０６に格納する。このような処理を予測ピクチャ内の各ブロックに対して行い、予測ピクチャを生成することで、領域境界動き補償が完了する。

次に、特定した各辺の画像信号の傾きを境界条件としてポアソン方程式に適用することによってブロック内の予測信号を生成するため、本実施の形態１が採用した多重調和局所余弦変換手法について説明する。

図１７は、多重調和局所余弦変換手法の基本概念を示すための概念図である。多重調和局所余弦変換手法は、“Improvement of DCT-based Compression Algorithms Using Poisson's Equation”等で述べられているように、ＪＰＥＧなどで用いられるＤＣＴの符号化効率を改善するための手法である。図１７は、原画像フレーム内のある特定のブロックにおいて、その中のある特定のラインに注目し、注目したラインの原信号と、ブロック境界上にあるその原信号の境界の状態が、この手法によってどのように推移するかを示している。

図１７（ａ）が示す原信号１７０１に対して、ブロック境界１７０４，１７０５に対応する原信号１７０１の両端部分における画像信号の傾き１７０２、１７０３を求める。この両端部分の画像信号の傾き１７０２，１７０３を境界条件とする。多重調和局所余弦変換手法は、ブロック内の信号の振る舞いを規定する２次関数等の所定のソースモデルを規定し、ブロック内の信号をその所定のソースモデルにより表現し、所定のソースモデルにより表現したブロック内の信号をブロックの境界条件に基づいて推定信号を生成することを、ＤＣＴ（離散余弦変換）係数から導出できるようにした手法である。

ここでは、図１７（ｂ）に示すような原信号１７０１の両端部分の画像信号の傾きを境界条件として、推定信号１７０６を生成する。所定のソースモデルは、境界条件の下で原信号に最も近い信号を推定することができるモデルを採用することが望ましい。一般に、図１７のような１次元の信号の場合には所定のソースモデルとして２次関数を適用することで容易に求めることが可能であるが、ここでは特にこのモデルに限定されるものではなく、１次関数等の低次の関数や、３次関数、４次関数等のより高次な関数でも良い。このように本実施の形態では、所定のソースモデルを導入することで膨大な演算量を費やしてポアソン方程式を数値的に解くことなく、解析的にブロック内の推定信号を生成している。

本実施の形態１の領域境界動き補償器１１９では、領域境界動き推定器１１８によって参照ピクチャ内から特定された境界条件、つまりここでは画像信号の傾きと、上述のような所定のソースモデルの適用とによりブロック内の予測信号を生成し、ピクチャ内の各ブロックの予測信号を生成して第１の予測ピクチャを生成することで領域境界動き補償を行う。

領域境界動き補償器１１９が図１７（ｂ）のような境界条件に基づいた推定信号１７０６を生成した後、第１差分器１２０が図１７（ａ）に示す原信号１７０１と、図１７（ｂ）に示す推定信号１７０６との間で差分を求めることで、図１７（ｃ）が示すような残差信号１７０７を生成する。このようにして求めた残差信号１７０７に対して通常の直交変換であるＤＣＴや量子化及びエントロピー符号化を行うことで、多重調和局所余弦変換手法は行われている。

次に、図１８及び図１９により、多重調和局所余弦変換手法を用いることで通常のＤＣＴとどのような違いが生じるかを説明する。これは、本発明の実施の形態により生成された予測ブロックによって構成される予測ピクチャが後段の直交変換において、どの様な効果があるかを示すためのものでもある。

図１８は、図１７（ａ）の原信号１７０１に対して通常のＤＣＴを行った場合の例を示している。図１８中、横軸はｘ方向にのみ注目した際の画像信号、縦軸は注目した画像信号の１ラインの各画素の値（輝度値）を示す。また、図１８では便宜上、波形を連続関数で示しているが、実際は離散値である（図１９も同様）。通常ＤＣＴのタイプは、ＤＣＴ−IIを利用することから、図１８（ａ）に示すようなブロックで区切られた有限な原信号１７０１に対してＤＣＴを行う場合には、原信号１７０１のブロック境界の片方、ここでは右側を軸として原信号１７０１を偶接続し、図１８（ｂ）に示すような原信号１７０１の周期波形信号とする。

このような周期波形信号とすることにより、図１８（ｃ）に示すようなＤＣＴ級数で表現することが可能となる。通常、図１８（ｂ）の点線部１８０１〜１８０３が示すように、原信号１７０１を偶対象（線対称）に遇接続した場合に信号の滑らかさが必ずしも十分でない部分が生じる。この影響から、図１８（ｃ）で示すＤＣＴ級数の各振幅であるＤＣＴ係数は、信号の遇接続によって本来原信号がもつ信号成分とは異なる信号成分が混入することから、図１８（ｃ）の点線部１８０４が示すような高い周波数成分領域であっても、ＤＣＴ係数の収束が必ずしも十分ではない状態となる。従って、このようなＤＣＴ係数に対して所定の量子化及びエントロピー符号化を行った場合には相応の符号量が発生することになる。

図１９は、図１７（ｃ）の残差信号１７０７に対して通常のＤＣＴを行った場合の例を示している。図１７により説明したように、多重調和局所余弦変換手法を用いて図１７（ｂ）が示すような推定信号１７０６を生成した後、図１７（ａ）の原信号１７０１との差分をとることで、図１７（ｃ）及び図１９（ａ）に示すような残差信号１７０７を得る。この残差信号１７０７を利用することで、図１９（ａ）に示すように、図１８（ａ）と同様にこの残差信号１７０７を仮に信号の右側を軸として遇接続し、図１９（ｂ）に示すような残差信号１７０７の周期波形信号が得られる。

得られた残差信号１７０７の周期波形信号は、周期接続部分、すなわちある周期の信号と次の周期の信号の接続部分である図１９（ｂ）の点線部１９０１〜１９０３において、図１８（ｂ）に示した原信号１７０１の周期波形信号の対応する部分の波形よりも滑らかさが向上すると共に、本来原信号には含まれない不要な信号成分の混入を防ぐことが可能となる。従って、図１９（ｂ）に示した残差信号１７０７の周期波形信号を離散周期波形とみなしてＤＣＴを行い、そのスペクトルを表現すると、図１９（ｃ）にＩで示すようなＤＣＴ係数列、すなわち残差直交変換係数（ここでは、残差ＤＣＴ係数情報）が得られる。図１９（ｃ）のＩで示す残差ＤＣＴ係数情報は、通常のＤＣＴを行った場合の同図（ｃ）のIIで示すＤＣＴ係数列と比較すると、図１９（ｃ）の点線部１９０４が示すような高い周波数成分領域でＤＣＴ係数が十分抑制され、より低い周波数成分をもつＤＣＴ係数に偏った状態となる。

従って、本実施の形態１によれば、このような多重調和局所余弦変換手法を用いて原信号のブロック境界の傾きから生成した推定信号と原信号との差分をとった残差信号のＤＣＴ係数に対して所定の量子化及びエントロピー符号化を行うことで、通常の原信号に対しＤＣＴによる符号化を行った場合よりも発生する符号量を抑制することが可能となり、符号化効率の向上につながる。

つまり、本実施の形態１の領域境界動き補償器１１９において生成される各ブロックの境界部分の予測信号は、符号化ピクチャ内の符号化対象となっているブロックの周囲の境界条件、つまり画像信号の傾きに最も近いものが領域境界動き推定器１１８によって特定された上で、この境界条件に基づいて予測信号として、図１７（ｂ）に示すような多重調和局所余弦変換手法を用いた推定信号１７０６が生成される。従って、後段の第１差分器１２０において領域境界動き補償器１１９によって生成された各ブロックの境界部分の推定信号１７０６と、入力信号１０１である原信号１７０１との差分をとった残差信号１７０７における両端部分の傾きが零に近づくことから、後段の直交変換器１０７における直交変換において、上述と同様の効果が期待できる。

ここで、本発明の領域境界動き補償器１１９における予測信号の生成方法として、例えば、以下に示す方法を用いる。

まず、入力される動画像フレームに対して、数１によって表現される図２０に示される各ブロックとして動画像フレームの画像信号をとらえる。

図２０のΩ（０，０）が現在処理対象となっているブロックであるものとする。また、各ブロック内の各画素は、数２で表現される。

境界条件である画像信号の傾きを周波数領域で議論することができるように、ＤＣＴ級数で表現する。ここでは数３に示した境界条件のＤＣＴ級数展開の式を利用して画像信号の傾きをｇとした場合に数３に示した式中のＧｋのようなＤＣＴ係数で表現する。

また、ポアソン方程式の概念を導入してブロック内の原信号に対する推定信号を求める。ここで、ポアソン方程式は、処理対象ブロックＱｊにおいて、ブロック内の推定信号ｕのラプラシアンである△ｕｊがソース項Ｋｊとの間において、次式が成立する方程式である。

△ｕｊ＝Ｋｊ

この式において、ブロック内の推定信号ｕはノイマンの境界条件とＤＣＴ級数表記を用いることで、数５に示す式のように表現することができる。これは、数４で示すような各境界からの推定信号のＤＣＴ級数展開成分を足し合わせることで求められる。

このようなu(x,y)を求めることで、本実施の形態１の領域境界動き補償器１１９は、予測信号（推定信号）を算出する。ただし、本実施の形態１の領域境界動き補償器１１９における予測信号（推定信号）の生成方法は、あくまで一例であって、上述の生成方法に特に限定されるものではない。つまり、△ｕｊ＝Ｋｊを満たすより高速な演算方法によって求められたu(x,y)であっても構わない。

次に、図１のブロック図に示す本発明になる動画像符号化装置の実施の形態１の動
作を図２のフローチャートに従って説明する。

まず、入力信号１０１として、動画像の符号化対象となっているフレームもしくはフィールドを符号化ピクチャとして準備する（ステップＳ１０１）。

続いて、符号化制御器１１７は、現在の符号化装置の符号化モードがイントラ符号化か、イントラ符号化でないかを判定する（ステップＳ１０２）。イントラ符号化である場合（ステップＳ１０２“ＹＥＳ”）、符号化制御器１１７は、符号化装置の各部に対してイントラ符号化を行うためのパラメータ情報を供給すると共に、スイッチ１０２を端子ｂに接続し、かつ、スイッチ１０３を端子ｂに接続することで、イントラ符号化を行うための準備を行う。その後、イントラ予測器１０５によって所定のイントラ予測を行う（ステップＳ１０３）。その後、ステップＳ１０６に進む。

一方、イントラ符号化でない場合（ステップＳ１０２“ＮＯ”）、符号化制御器１１７は、符号化装置の各部に対してインター符号化を行うためのパラメータ情報を供給すると共に、スイッチ１０２を端子ａに接続し、かつ、スイッチ１０３を端子ａに接続することで、インター符号化を行うための準備を行う。その後、領域境界動き推定器１１８は、入力信号として準備された符号化ピクチャと、フレームメモリ１０４に格納されている参照ピクチャを取得し、前述した所定の領域境界動き推定を行う（ステップＳ１０４）ことで、境界部動きベクトル情報を生成する。生成した境界部動きベクトル情報は、領域境界動き補償器１１９に供給されると共に、エントロピー符号化器１１３に供給される。

領域境界動き補償器１１９は、領域境界動き推定器１１８から境界部動きベクトル情報取得すると共に、フレームメモリ１０４から対応する参照ピクチャを取得し、前述した所定の領域境界動き補償を行う（ステップＳ１０５）ことで、第１の予測ピクチャを生成する。この第１の予測ピクチャは、スイッチ１０３の端子ａと、第１差分器１２０に供給される。その後、ステップＳ１０６に進む。

イントラ予測器１０５もしくは領域境界動き補償器１１９において予測ピクチャが生成された後、符号化ピクチャと予測ピクチャとの差分を行う（ステップＳ１０６）ことで、差分ピクチャを生成する。ここで、符号化モードがイントラ符号化である場合には（ステップＳ１０２“ＹＥＳ”）、第２差分器１０６が、入力信号１０１である符号化ピクチャと、イントラ予測器１０５が生成した第４の予測ピクチャとを取得し、取得した符号化ピクチャと第４の予測ピクチャとの差分演算（減算）を行うことにより、第２の差分ピクチャを生成し、スイッチ１０２の端子ｂに供給する。

符号化モードがインター符号化である場合には（ステップＳ１０２“ＮＯ”）、第１差分器１２０が、入力信号１０１である符号化ピクチャと、領域境界動き補償器１１９が生成した第１の予測ピクチャとを取得し、取得した符号化ピクチャと第１の予測ピクチャとの差分演算（減算）を行うことにより、第１の差分ピクチャを生成し、スイッチ１０２の端子ａに供給する。

差分ピクチャが生成されると、直交変換器１０７は、スイッチ１０２から第１又は第２の差分ピクチャを取得し、その差分ピクチャに対して所定の直交変換を行う（ステップＳ１０７）。直交変換は、ＭＰＥＧ１，２，４ではＤＣＴを利用するが、ＡＶＣでは整数精度ＤＣＴ及びアダマール変換を利用する。ＤＣＴでは、余弦関数を基底とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧ１，２，４ではＭＢを４分割して所定の矩形領域である、水平方向８画素，垂直方向８画素のＤＣＴブロックに対して、２次元ＤＣＴを行う。ＡＶＣでは、水平方向４画素，垂直方向４画素のブロックに対して２次元整数精度ＤＣＴ及びアダマール変換を行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うことで係数を低域成分に集中させることができ、その後の量子化器１０８により効率の良い情報量の削減ができる。これにより、直交変換係数情報（ここではＤＣＴ係数情報）が生成され、生成されたそのＤＣＴ係数情報は、量子化器１０８に供給される。

量子化器１０８は、直交変換器１０７からＤＣＴ係数情報を取得し、所定の量子化パラメータに基づいて所定の量子化を行う（ステップＳ１０８）。量子化は量子化マトリックスというＭＰＥＧ１，２，４では水平方向８画素，垂直方向８画素の２次元周波数を視覚特性で重み付けした値、ＡＶＣでは水平方向４画素，垂直方向４画素の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算する。デコーダで逆量子化するときは量子化値で乗算することにより、元のＤＣＴ係数に近い値を得ることになる。これにより、量子化後情報が生成され、生成されたその量子化後情報は、逆量子化器１０９及びエントロピー符号化器１１３に供給される。

逆量子化器１０９は、量子化器１０８から量子化後情報を取得し、所定の量子化パラメータに基づいて所定の逆量子化を行う（ステップＳ１０９）。これにより、逆量子化後情報が生成され、生成されたその逆量子化後情報は、逆直交変換器１１０に供給される。逆直交変換器１１０は、逆量子化器１０９から逆量子化後情報を取得し、所定の逆直交変換を行う（ステップＳ１１０）。これにより、復号差分ピクチャが生成され、生成されたその復号差分ピクチャは、第１合成器１１１に供給される。

第１合成器１１１は、逆直交変換器１１０から復号差分ピクチャと、スイッチ１０３から第１又は第４の予測ピクチャを取得して、それら復号差分ピクチャと予測ピクチャとの合成を行う（ステップＳ１１１）。これにより、復号ピクチャが生成され、生成されたその復号ピクチャは、デブロックフィルタ１１２に供給される。また、符号化モードがイントラ符号化である場合には、復号ピクチャは更にイントラ予測器１０５に供給される。

デブロックフィルタ１１２は、第１合成器１１１から復号ピクチャを取得し、所定のデブロックフィルタ処理を行う（ステップＳ１１２）。これにより生成されたデブロックフィルタ処理後の復号ピクチャは、参照ピクチャとしてフレームメモリ１０４に格納されることで、次の符号化を行う際の参照ピクチャを準備する（ステップＳ１１３）。

その後、一連の符号化結果を出力するために、エントロピー符号化器１１３は、少なくとも量子化器１０８から量子化後情報、領域境界動き推定器１１８から境界部動きベクトル情報を取得し、所定のエントロピー符号化を行う（ステップＳ１１４）ことで、符号化ビット列を生成する。ここで、エントロピー符号化器１１３は、更に符号化時に利用した各種パラメータ情報についても符号化装置の各部から取得し、所定のエントロピー符号化を行うようにすると更によい。生成された符号化ビット列は、多重化器１１４に供給される。なお、一般に、エントロピー符号化は、ＶＬＣ（Variable Length Code）器であり、量子化されたデータに対して可変長符号化を行う。可変長符号化においては、一般にＤＣＴ係数の低域から高域にジグザグスキャンを行い、ゼロのラン長及び有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。また、このエントロピー符号化器１１３では、ハフマン符号化の替わりに算術符号化を利用することでより高い情報の圧縮を行うことも可能である。ＡＶＣでは、このエントロピー符号化にＣＡＶＬＣ（Context-Adaptive Variable Length Coding；コンテキスト適応型可変長符号化方式）及びＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding；コンテキスト適応型２値算術符号化方式）を用いることで効率を高めている。

多重化器１１４は、エントロピー符号化器１１３から符号化ビット列を取得し、所定の構文構造に基づいて多重化を行う（ステップＳ１１５）ことで、符号化ビットストリームを生成する。生成された符号化ビットストリームは、出力伝送器１１５に供給される。出力伝送器１１５は、多重化部１１４から多重化ビットストリームを取得し、所定のパケット化処理などを行った後に、出力信号（符号化データ）１１６として出力される（ステップＳ１１６）。

以上のようなステップＳ１０１〜Ｓ１１６の処理を行うことで、実施の形態１の符号化装置において、ある時点での符号化対象となっている符号化ピクチャの符号化処理が完了する。

このようにして出力された出力信号１１６は、符号化ビットストリームとして蓄積媒体やネットワークによる伝送により配信され、端末装置によって再生されることになる。端末装置で再生する場合には、配信された符号化ビットストリームは端末装置の復号化装置によって復号化された後に再生される。

このように、本実施の形態１の動画像符号化装置および動画像符号化方法によれば、領域境界動き推定器１１８および領域境界動き補償器１１９により上述した領域境界動き推定及び領域境界動き補償を行うようにしたので、ブロックマッチングによる動き推定及び動き補償によって生成される予測ピクチャに対し平滑フィルタをかける従来技術よりも、ブロック境界において滑らかな予測ピクチャを生成することを可能とし、品質の良い差分ピクチャを生成できるようになることから、符号化効率の向上につながる。

また、本実施の形態１の動画像符号化装置および動画像符号化方法によれば、領域境界動き推定を行う際に、矩形領域の各辺に対応する境界条件である画像信号の傾きを、矩形領域の辺ごとに別々に動きベクトル探索し、それぞれの境界部動きベクトル情報を生成することで、符号化ピクチャと参照ピクチャとの間で、ピクチャ内に含まれる画像信号が変形した場合であっても、各辺に対応する別々の境界部動きベクトル情報から特定される画像信号の傾きから、従来の動き補償よりも品質の高い予測ピクチャを生成することができるため、符号化効率を向上させることができる。

次に、本発明の動画像符号化装置の実施の形態１もしくは後述するこの実施の形態の符号化装置を実現する第１の符号化プログラムによって動作するコンピュータによって生成された符号化ビットストリームを取得して復号化を行う、本発明の動画像復号化装置の実施の形態１について、図３及び図４を用いて説明する。

図３は、本発明になる動画像復号化装置の実施の形態１のブロック図を示す。図３に示すように、本実施の形態の復号化装置は、スイッチ３０２、入力受信器３０３、多重化分離器３０４、エントロピー復号化器３０５、逆量子化器３０６、逆直交変換器３０７、第１合成器３０９、フレームメモリ３１１、復号化制御器３１３、領域境界動き補償器３１４を少なくとも備えるように構成される。更に、図３に示すように、イントラ予測器３０８、デブロックフィルタ３１０を備えるような構成とすることが望ましい。

スイッチ３０２は、端子ａに供給されるイントラ予測器３０８から取得する第４の予測ピクチャと、端子ｂに供給される領域境界動き補償器３１４から取得する第１の予測ピクチャとを、復号化制御器３１３の制御に応じてスイッチを切り替えることで予測ピクチャを選択し、選択された予測ピクチャを第１合成器３０９に供給する機能を有する。

入力受信器３０３は、所定の伝送路もしくは所定の記録媒体から供給される、符号化ビットストリームを所定のパケット処理によってパケット化されたパケット情報を取得する機能を有する。また、入力受信器３０３は、取得したパケット情報からパケット合成処理を行うことで、符号化ビットストリームを生成し、生成した符号化ビットストリームを多重化分離器３０４に供給する機能を有する。

多重化分離器３０４は、入力受信器３０３から符号化ビットストリームを取得し、所定の構文構造に基づいて符号化ビットストリームの多重化分離を行うことで、符号化ビット列を生成する機能と、生成した符号化ビット列をエントロピー復号化器３０５に供給する機能とを有する。

エントロピー復号化器３０５は、多重化分離器３０４から符号化ビット列を取得し、所定のエントロピー復号化を行うことで、量子化後情報と境界部動きベクトル情報を少なくとも取得する機能を有する。ここで、エントロピー復号化器３０５は、その他の所定の構文構造を構成するために必要なパラメータ情報などを、符号化ビット列に対してエントロピー復号化を行うことによって取得する機能を有することが望ましい。一般にエントロピー復号化は、逆ＶＬＣ器であり、多重化分離されたデータに対して可変長復号化を行う。ＡＶＣでは、逆ＣＡＶＬＣもしくは逆ＣＡＢＡＣによって可変長復号化を行う。また、動き補償器７０２は、エントロピー復号化器３０５から得られる動きベクトル情報に基づいて予測ピクチャを生成する。

所定の構文構造を構成するために必要なパラメータ情報としては、マクロブロックの各種状態を特定するためのマクロブロック情報、量子化及び逆量子化を行う際に用いる量子化パラメータ情報、イントラ予測の方法を特定するためのイントラ予測モード情報、参照画像フレームの参照順を特定するためのフレーム順序情報、などが含まれると更によい。

また、エントロピー復号化器３０５は、取得した量子化後情報を逆量子化器３０６に供給するとともに、境界部動きベクトル情報を領域境界動き補償器３１４に供給する機能を少なくとも有する。

逆量子化器３０６は、エントロピー復号化器３０５から量子化後情報を取得し、所定の量子化パラメータに基づいて所定の逆量子化を行うことで、逆量子化後情報を生成し、逆直交変換器３０７に供給する機能を有する。逆直交変換器３０７は、逆量子化器３０６から逆量子化後情報を取得し、所定の逆直交変換を行うことで、復号差分ピクチャを生成する機能と、生成した復号差分ピクチャを、第１合成器３０９に供給する機能とを有する。この逆直交変換は、ＭＰＥＧ１，２，４ではＩＤＣＴ（逆離散余弦変換）を利用する。ＡＶＣでは、整数精度のＩＤＣＴ及びアダマール変換を利用する。

第１合成器３０９は、逆直交変換器３０７から復号差分ピクチャを取得し、スイッチ３０２から予測ピクチャを取得する機能と、取得した復号差分ピクチャと予測ピクチャとの合成を行うことで復号ピクチャを生成する機能と、生成した復号ピクチャを、イントラ予測器３０８とデブロックフィルタ３１０に供給する機能とを有する。

フレームメモリ３１１は、復号ピクチャを参照ピクチャとして保持するために各部から復号ピクチャを取得し、格納する機能を有する。図３においては、デブロックフィルタ３１０からデブロックフィルタ処理後の復号ピクチャを取得するように構成することが望ましい。また、フレームメモリ３１１は、必要に応じて復号化装置の各部に対して要求された参照ピクチャを供給する機能を有する。図３において、参照ピクチャは、イントラ予測器３０８と領域境界動き補償器３１４に供給されるように構成することが望ましい。また、フレームメモリ３１１は、出力表示装置の要求に応じて復号ピクチャを出力信号として供給する機能を有する。

復号化制御器３１３は、本実施の形態の復号化装置の動作を制御するために、復号化装置を構成する各部に対して復号化に必要な各種パラメータ情報を供給する機能と、各部の入出力の制御を行うと共に、少なくともスイッチ３０２の切り替え制御を行う機能とを有する。

領域境界動き補償器３１４は、エントロピー復号化器３０５から境界部動きベクトル情報を取得すると共に、フレームメモリ３１１から参照ピクチャを取得する機能と、取得した境界部動きベクトル情報に基づいて、ブロック内の推定信号を生成する際に必要となる、各辺の画像信号の傾きを、参照ピクチャ内から特定し、特定した各辺の画像信号の傾きを境界条件としてポアソン方程式に適用することでブロック内の予測信号を生成し、ピクチャ内の各ブロックの予測信号を生成して第１の予測ピクチャを生成することで領域境界動き補償を行う機能と、生成した第１の予測ピクチャをスイッチ３０２の端子ｂに供給する機能とを有する。

イントラ予測器３０８は、第１合成器３０９から復号ピクチャを取得し、所定のイントラ予測を行うことで第４の予測ピクチャを生成する機能を有する。また、イントラ予測に利用するピクチャをフレームメモリ３１１から取得するような構成であっても構わない。また、イントラ予測器３０８は、生成した第４の予測ピクチャを、スイッチ３０２の端子ａに供給する機能を有する。

デブロックフィルタ３１０は、第１合成器３０９から復号ピクチャを取得し、所定のデブロックフィルタ処理を行った後に、デブロックフィルタ処理後の復号ピクチャを参照メモリとして格納するためにフレームメモリ３１１に供給する機能を有する。

次に、図３の実施の形態１の復号化装置の動作を図９のフローチャートに従って説明する。まず、入力受信器３０３は、入力信号３０１として所定の伝送路もしくは所定の記録媒体などから所定のパケット情報を順次取得することで、符号化結果を入力受信する（ステップＳ２０１）。更に、入力受信器３０３は、取得した所定のパケット情報から所定のパケット合成処理を行うことで、符号化ビットストリームを再構成する。その後、符号化ビットストリームを多重化分離器３０４に供給する。

多重化分離器３０４は、入力受信器３０３によって再構成された符号化ビットストリームを取得し、取得した符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行い（ステップＳ２０２）、多重化分離後の情報である符号化ビット列をエントロピー復号化器３０５に通知する。

エントロピー復号化器３０５は、多重化分離器３０４から符号化ビット列を取得し、所定のエントロピー復号化を行う（ステップＳ２０３）ことで、量子化後情報及び境界部動きベクトル情報、及びその他の所定の構文構造を構成するために必要なパラメータ情報などを生成し、少なくとも量子化後情報を逆量子化器３０６に供給すると共に、境界部動きベクトル情報を領域境界動き補償器３１４に供給する。

その後、復号化制御器３１３は、現在の復号化装置の復号化モードがイントラ復号化か、イントラ復号化でないかを判定する（ステップＳ２０４）。イントラ復号化である場合（ステップＳ２０４“ＹＥＳ”）、復号化制御器３１３は、復号化装置の各部に対してイントラ復号化を行うためのパラメータ情報を供給すると共に、スイッチ３０２を端子ａに接続することで、イントラ復号化を行うための準備を行う。その後、イントラ予測器３０８によって所定のイントラ予測を行う（ステップＳ２０５）。その後、ステップＳ２０７に進む。

イントラ復号化でない場合（ステップＳ２０４“ＮＯ”）、復号化制御器３１３は、復号化装置の各部に対してインター復号化を行うためのパラメータ情報を供給すると共に、スイッチ３０２を端子ｂに接続することで、インター復号化を行うための準備を行う。その後、領域境界動き補償器３１４は、エントロピー復号化器３０５から境界部動きベクトル情報を取得すると共に、フレームメモリ３１１から対応する参照ピクチャを取得し、所定の領域境界動き補償を行う（ステップＳ２０６）ことで、第１の予測ピクチャを生成する。生成した第１の予測ピクチャをスイッチ３０２の端子ｂに供給する。その後、ステップＳ２０７に進む。

予測ピクチャの準備が完了すると、逆量子化器３０６は、エントロピー復号化器３０５から量子化後情報を取得し、所定の量子化パラメータに基づいて所定の逆量子化を行う（ステップＳ２０７）ことで、逆量子化後情報を生成し、逆量子化後情報を逆直交変換器３０７に供給する。

逆直交変換器３０７は、逆量子化器３０６から逆量子化後情報を取得し、所定の逆直交変換を行う（ステップＳ２０８）ことで、復号差分ピクチャを生成して第１合成器３０９に供給する。第１合成器３０９は、逆直交変換器３０７から復号差分ピクチャを取得し、スイッチ３０２から予測ピクチャを取得してそれらの合成を行うことで、復号ピクチャを生成する（ステップＳ２０９）。生成された復号ピクチャは、デブロックフィルタ３１０に供給される。また、復号化モードがイントラ復号化である場合には、復号ピクチャは更にイントラ予測器３０８に供給される。

デブロックフィルタ３１０は、第１合成器３０９から復号ピクチャを取得し、所定のデブロックフィルタ処理を行う（ステップＳ２１０）。これにより、デブロックフィルタ処理後の復号ピクチャが生成され、そのデブロックフィルタ処理後の復号ピクチャは、参照ピクチャとしてフレームメモリ３１１に格納されることで、次の符号化を行う際の参照ピクチャを準備する（ステップＳ２１１）。

フレームメモリ３１１では、デブロッキングフィルタ３１０からデブロックフィルタ処理後の復号ピクチャを参照ピクチャとして取得及び蓄積する。また、フレームメモリ３１１は必要に応じて領域境界動き補償器３１４、イントラ予測器３０８に参照ピクチャを供給する。ここで、フレームメモリ３１１は、少なくとも１ピクチャ以上の参照ピクチャを蓄積し、各構成要素の要求に応じて必要な参照ピクチャを供給できることが望ましい。また、フレームメモリ３１１は、復号ピクチャの表示タイミングに応じて復号画像フレームを出力する（ステップＳ２１２）。この復号画像フレームは、表示に必要な出力信号３１２として外部の出力表示器に出力される。

その後、更に復号化対象となる符号化ビットストリームが存在し、復号化の必要がある場合にはステップＳ２０１に進むことで復号化処理を継続し、復号化の必要がない場合には一連の復号化処理を終了する。

このように、本実施の形態１の動画像復号化装置および動画像復号化方法によれば、動画像符号化装置により以上のように領域境界動き推定及び領域境界動き補償が行われた符号化ビットストリームと、符号化パラメータと、境界部動きベクトル情報とを入力信号として入力して、領域境界動き補償器３１４が領域境界動き補償を行ってから復号を行うようにしたので、領域境界動き推定及び領域境界動き補償によりブロック境界部分の境界条件に基づく推定信号により残差信号（差分ピクチャ）を求めて符号化した符号化ビットストリームであっても、正しく復号することができ、全体として符号量が少なくても、品質の良い復号画像を得られる。

（実施の形態２）
次に、本発明の動画像符号化装置及び動画像復号化装置の実施の形態２について説明する。

図５は、本発明になる動画像符号化装置の実施の形態２のブロック図を示す。同図中、図１と同一構成部分には同一符号を付してある。図５に示すように、本実施の形態の動画像符号化装置は、図１の動画像符号化装置の構成の他に、スイッチ５０１、動き推定器５０２、動き補償器５０３、差分判定器５０４を更に備え、Ｈ．２６４／ＡＶＣ符号化における動き推定および動き補償も実行するように構成したものである。

ここで、ＡＶＣには、面内予測（Intra）符号化、前方向予測（Predictively）符号化、双予測（Bidirectionaly）符号化の３つの予測モードが存在する。面内予測符号化では、動き補償器５０３の出力を利用せずに面内の情報及びイントラ予測器１０５による面内からの予測情報を利用した後、後述する直交変換器１０７による直交変換を行う。このモードで符号化したものをＩピクチャと呼ぶ。Ｉピクチャは、復号化時に他のピクチャに依存することなく復号することができる。ＡＶＣでは通常１ピクチャ内に複数のスライスという単位を含むことができるが、話を簡単にするため以後１ピクチャは１スライスのみで構成されているものとする。

前方向予測符号化では、動き補償器５０３により過去に符号化したピクチャを補償し、現在符号化対象となっているピクチャに対する予測を行う。この予測によって生成された予測ピクチャと入力信号１０１からの符号化ピクチャとの差分によって生成した差分ピクチャに対して直交変換器１０７による変換を行う。直交変換器１０７で行う直交変換は、ＭＰＥＧ１，２，４ではＤＣＴ（Discrete Cosine Transform；離散余弦変換）が使用される。直交変換は、アダマール基底や、ウェーブレット基底といった他の変換基底を用いても行うことができる。ＡＶＣでは、整数精度ＤＣＴとアダマール変換を用いて直交変換を行う。前方向予測モードで符号化されたものをＰピクチャと呼ぶ。Ｐピクチャは、他のピクチャに依存するため、Ｉピクチャのように独立して復号することはできないが、Ｉピクチャよりも圧縮率を高めることができる。

双予測符号化では、動き補償器５０３により過去と未来の双方向に限らず、任意の符号化された２枚のフレームを補償し、現在符号化対象となっているピクチャに対する予測を行う。この予測によって生成した予測ピクチャと入力信号１０１からの符号化ピクチャとの差分を行うことにより生成する差分ピクチャに対して直交変換器１０７による直交変換を行う。双予測モードで符号化されたピクチャをＢピクチャと呼ぶ。Ｂピクチャは、過去や未来の他のピクチャに依存するため、Ｉピクチャのように独立して復号することはできないが、Ｉピクチャ、Ｐピクチャよりも更に圧縮率を高めることができる。

各フレーム及び各スライスは、所定の矩形領域として水平方向１６画素、垂直方向１６画素のＭＢ（マクロブロック）毎に予測処理が行われる。また、更に細かいブロック単位やサブブロック単位に分割されて予測処理が行われることもある。以後、話を簡単にするため、予測処理は水平方向８画素，垂直方向８画素のブロック単位で行われるものとして進める。

予測方向はＩピクチャ、Ｐピクチャ、Ｂピクチャにより異なっている。全てのＭＢを独立して符号化するのがＩピクチャである。過去のピクチャからの予測により符号化するモードと、予測をしないでそのＭＢを独立して符号化するモードの２つのモードが存在するのがＰピクチャである。また、未来からの予測、過去からの予測、両方からの予測、予測をしないでそのＭＢを独立して符号化する４つのモードが存在するのがＢピクチャである。

動き推定は、動き推定器５０２により符号化対象となっている符号化ピクチャ内の各ブロックに対して、誤差が最小となる領域を参照ピクチャから特定するために、１／２もしくは１／４画素の精度で所定のパターンマッチングを行い、動き情報を生成する。ここで、動き情報は少なくとも、パターンマッチングによって検出した、それぞれのブロックに対応する領域までの空間位置を特定するための動きベクトル情報と、参照ピクチャを特定するための参照ピクチャ情報とによって構成される。動き補償は、動き補償器５０３により、動き推定器５０２によって推定した動き情報に基づいて、参照ピクチャから予測ピクチャを生成することで行う。

スイッチ５０１は、イントラ予測器１０５が生成した第４の予測ピクチャを端子ｂに入力として供給され、動き補償器５０３が生成した第２の予測ピクチャを端子ａに入力として供給される。スイッチ５０１は、上記の第２及び第４の予測ピクチャの一方を、符号化制御器１１７の制御に応じて選択し、選択した予測ピクチャをスイッチ１０３の端子ｂと、第２差分器１０６に供給する機能を有する。

動き推定器５０２は、入力信号１０１である動画像の符号化対象となっている符号化ピクチャを取得すると共に、フレームメモリ１０４から対象となる参照ピクチャを取得し、所定の動き推定を行うことで、動きベクトル情報を生成する機能を有する。上記の所定の動き推定は、一般的なＡＶＣなどの動き推定と同様に、符号化ピクチャ内の各ブロック領域において参照ピクチャ内をブロックマッチングによって動きベクトル探索を行い、適合するブロック領域までの動きベクトル情報を生成する。また、動き推定器５０２は、生成した動きベクトル情報を動き補償器５０３と、エントロピー符号化器１１３に供給する機能を有する。

動き補償器５０３は、動き推定器５０２から動きベクトル情報を取得すると共に、フレームメモリ１０４から対応する参照ピクチャを取得する機能と、取得した動きベクトル情報に基づいて参照ピクチャから対応するブロック領域を特定し、第２の予測ピクチャを生成する機能と、生成した第２の予測ピクチャを、スイッチ５０１の端子ａに供給する機能とを有する。

差分判定器５０４は、第２差分器１０６において第２又は第４の予測ピクチャと入力信号１０１との差分を行うことで生成された第２の差分ピクチャと、第１差分器１２０において第１の予測ピクチャと入力信号１０１との差分を行うことで生成された第１の差分ピクチャとを少なくとも取得する機能を有する。また、差分判定器５０４は、領域境界動き補償器１１８から境界部動きベクトル情報と、動き推定器５０２から動きベクトル情報を更に取得するような機能を有すると更によい構成となる。

そして、差分判定器５０４は、所定の判定基準に基づいて、第１差分器１２０からの第１の差分ピクチャと、第２差分器１０６からの第２の差分ピクチャのどちらを採用するかを判定する機能を有する。ここで、上記の所定の判定基準は、取得した第１の差分ピクチャの情報量及び第２の差分ピクチャの情報量との比較を行い、情報量の少ない方の差分ピクチャを選択するような判定基準であるとよい。また、上記の所定の判定基準は、境界部動きベクトル情報の情報量と、動きベクトル情報の情報量を更に利用して、取得した第１の差分ピクチャの情報量及び境界部動きベクトル情報の情報量と、第２の差分ピクチャの情報量及び動きベクトル情報の情報量との比較を行い、情報量の少ない方の差分ピクチャを選択するような判定基準であると更によい構成となる。更に、差分判定器５０４は、第１の差分ピクチャと第２の差分ピクチャのどちらを選択したかを表す差分判定情報を符号化制御器１１７とエントロピー符号化器１１３に供給する機能を有する。

符号化制御器１１７は、更に、差分判定器５０４から差分判定情報を取得し、判定結果に基づいてスイッチ１０２の切り替え制御を行うことで、直交変換器１０７に供給する差分ピクチャの切り替え制御を行う機能を有する。また、符号化制御器１１７は、取得した差分判定情報の判定結果に基づいて、スイッチ１０３の切り替え制御を行うことで、選択された差分ピクチャを生成する際に利用した予測ピクチャを、第１合成器１１１に供給するように予測ピクチャの切り替え制御を行う機能を有する。また、符号化制御器１１７は、符号化モードに応じてスイッチ５０１の切り替え制御を行う機能を有する。

イントラ予測器１０５は、生成した第４の予測ピクチャをスイッチ５０１の端子ｂに供給する機能を有する。スイッチ５０１の選択結果は、スイッチ１０３の端子ｂに供給されるように構成する。第２差分器１０６は、入力信号１０１である動画像の符号化対象である符号化ピクチャと、スイッチ５０１から第２の予測ピクチャもしくは第４の予測ピクチャを取得する機能を有する。ここで、第２の予測ピクチャは動き補償器５０３によって生成されたピクチャであり、第４の予測ピクチャはイントラ予測器１０５によって生成されたピクチャである。第２差分器１０６は、取得した符号化ピクチャと第２又は第４の予測ピクチャとの差分演算を行うことで、第２の差分ピクチャを生成する機能と、生成した第２の差分ピクチャをスイッチ１０２の端子ｂと差分判定器５０４に供給する機能とを更に有する。

エントロピー符号化器１１３は、更に、動き推定器５０２から動きベクトル情報を取得する一方、差分判定器５０４から差分判定情報を取得し、所定のエントロピー符号化を行う機能を有する。

その他の図５の実施の形態２の動画像符号化装置の構成に含まれる各部の機能については図１の実施の形態１の動画像符号化装置に含まれる各部の機能と同様であることから、重複を避けるために説明を省略する。

次に、図５に示す実施の形態２の動画像符号化装置の動作を図６のフローチャートに従って説明する。

まず、入力信号１０１として、動画像の符号化対象となっているフレームもしくはフィールドを符号化ピクチャとして準備する（ステップＳ３０１）。符号化制御器１１７は、現在の符号化装置の符号化モードがイントラ符号化か、イントラ符号化でないかを判定する（ステップＳ３０２）。

イントラ符号化である場合（ステップＳ３０２“ＹＥＳ”）、符号化制御器１１７は、符号化装置の各部に対してイントラ符号化を行うためのパラメータ情報を供給すると共に、スイッチ１０２を端子ｂに接続し、スイッチ１０３を端子ｂに接続し、スイッチ５０１を端子ｂに接続することで、イントラ符号化を行うための準備を行う。その後、イントラ予測器１０５によって所定のイントラ予測を行う（ステップＳ３０３）。その後、ステップＳ３０８に進む。

イントラ符号化でない場合（ステップＳ３０２“ＮＯ”）、符号化制御器１１７は、符号化装置の各部に対してインター符号化を行うためのパラメータ情報を供給すると共に、スイッチ１０２を切断し、スイッチ１０３を切断し、スイッチ５０１を端子ａに接続することで、インター符号化を行うための準備を行う。

その後、領域境界動き推定器１１８は、入力信号１０１として準備された符号化ピクチャを取得すると共に、フレームメモリ１０４に格納されている参照ピクチャを取得し、所定の領域境界動き推定を行う（ステップＳ３０４）。これにより生成された境界部動きベクトル情報は、領域境界動き補償器１１９に供給されると共に、エントロピー符号化器１１３に供給される。

領域境界動き補償器１１９は、領域境界動き推定器１１８から境界部動きベクトル情報を取得し、フレームメモリ１０４から対応する参照ピクチャを取得して所定の領域境界動き補償を行う（ステップＳ３０５）。これにより、第１の予測ピクチャを生成し、生成した第１の予測ピクチャをスイッチ１０３の端子ａと、第１差分器１２０に供給する。

同様に、動き推定器５０２は、入力信号１０１として準備された符号化ピクチャを取得し、フレームメモリ１０４に格納されている参照ピクチャを取得して所定の動き推定を行う（ステップＳ３０６）。これにより、動きベクトル情報を生成し、生成した動きベクトル情報を動き補償器５０３に供給すると共に、エントロピー符号化器１１３に供給する。

動き補償器５０３は、動き推定器５０２から動きベクトル情報を取得し、フレームメモリ１０４から対応する参照ピクチャを取得して所定の動き補償を行う（ステップＳ３０７）。これにより、第２の予測ピクチャを生成し、生成した第２の予測ピクチャをスイッチ５０１の端子ａに供給する。その後、ステップＳ３０８に進む。

イントラ予測器１０５もしくは領域境界動き補償器１１９及び動き補償器５０３において予測ピクチャが生成された後、符号化ピクチャと予測ピクチャとの差分演算を行う（ステップＳ３０８）ことで、差分ピクチャを生成する。ここで、符号化モードがイントラ符号化である場合には（ステップＳ３０２“ＹＥＳ”）、スイッチ５０１が端子ｂに接続されていることから、第２差分器１０６が、入力信号１０１である符号化ピクチャと、イントラ予測器１０５が生成した第４の予測ピクチャとを取得して、それらの差分演算（減算）を行うことにより、第２の差分ピクチャを生成し、スイッチ１０２の端子ｂと差分判定器５０４に供給する。

一方、符号化モードがインター符号化である場合には（ステップＳ３０２“ＮＯ”）、スイッチ５０１が端子ａに接続されていることから、第２差分器１０６が、入力信号１０１である符号化ピクチャと、動き補償器５０３が生成した第２の予測ピクチャとを取得し、それらの差分演算（減算）を行うことにより、第２の差分ピクチャを生成し、スイッチ１０２の端子ｂと差分判定器５０４に供給する（ステップＳ３０６，Ｓ３０７）。

また、第１差分器１２０においては、入力信号１０１である符号化ピクチャと、領域境界動き補償器１１９が生成した第１の予測ピクチャとを取得し、取得した符号化ピクチャと第１の予測ピクチャとの差分演算（減算）を行うことにより、第１の差分ピクチャを生成し、スイッチ１０２の端子ａと差分判定器５０４に供給する（ステップＳ３０４，Ｓ３０５）。なお、ステップＳ３０６，Ｓ３０７の処理と、ステップＳ３０４，Ｓ３０５の処理の順序は、どちらが先でも、同時でもかまわない。

その後、差分判定器５０４において、第１差分器１２０からの第１の差分ピクチャと、第２差分器１０６からの第２の差分ピクチャとを所定の比較基準に基づいて、採用する差分ピクチャの判定を行う（ステップＳ３０９）ことで、直交変換器１０７に供給する差分ピクチャを選択する。そして、差分判定器５０４は、第１の差分ピクチャと第２の差分ピクチャのどちらを選択したかを表す差分判定情報を、符号化制御器１１７と、エントロピー符号化器１１３とに供給する。

符号化制御器１１７に対して差分判定器５０４から差分判定情報が供給されると、符号化制御器１１７は、スイッチ１０２とスイッチ１０３を切り替えて符号化の制御を行う。
ここで、差分判定情報から第１の差分ピクチャが選択されたことを特定した場合には、スイッチ１０２を端子ａ、スイッチ１０３を端子ａに接続する。また、符号化制御器１１７は、差分判定情報から第２の差分ピクチャが選択されたことを特定した場合には、スイッチ１０２を端子ｂ、スイッチ１０３を端子ｂに接続する。これにより、スイッチ１０２で選択された差分ピクチャは直交変換器１０７に供給されると共に、スイッチ１０３で選択された差分ピクチャは第１合成器１１１に供給される。

直交変換器１０７は、スイッチ１０２にて選択された差分ピクチャを取得し、所定の直交変換を行う（ステップＳ３１０）。これにより生成された直交変換係数情報（ここではＤＣＴ係数情報）は、量子化器１０８に供給される。量子化器１０８は、直交変換器１０７からＤＣＴ係数情報を取得し、所定の量子化パラメータに基づいて所定の量子化を行う（ステップＳ３１１）。これにより生成された量子化後情報は、逆量子化器１０９及びエントロピー符号化器１１３に供給される。

逆量子化器１０９は、量子化器１０８から量子化後情報を取得し、所定の量子化パラメータに基づいて所定の逆量子化を行う（ステップＳ３１２）。これにより生成された逆量子化後情報は、逆直交変換器１１０に供給される。逆直交変換器１１０は、逆量子化器１０９から逆量子化後情報を取得し、所定の逆直交変換を行う（ステップＳ３１３）。これにより生成された復号差分ピクチャは、第１合成器１１１に供給される。

第１合成器１１１は、逆直交変換器１１０から取得した復号差分ピクチャと、スイッチ１０３から取得した予測ピクチャとを合成する（ステップＳ３１４）ことで、復号ピクチャを生成し、生成した復号ピクチャを、デブロックフィルタ１１２に供給する。また、符号化モードがイントラ符号化である場合には、復号ピクチャは更にイントラ予測器１０５に供給される。

デブロックフィルタ１１２は、第１合成器１１１から復号ピクチャを取得し、所定のデブロックフィルタ処理を行う（ステップＳ３１５）。これにより生成されたデブロックフィルタ処理後の復号ピクチャは、参照ピクチャとしてフレームメモリ１０４に格納することで、次の符号化を行う際の参照ピクチャを準備する（ステップＳ３１６）。

その後、一連の符号化結果を出力するために、エントロピー符号化器１１３は、少なくとも量子化器１０８から量子化後情報、領域境界動き推定器１１８から境界部動きベクトル情報、動き推定器５０２から動きベクトル情報、差分判定器５０４から差分判定情報をそれぞれ取得し、所定のエントロピー符号化を行う（ステップＳ３１７）ことで、符号化ビット列を生成する。ここで、エントロピー符号化器１１３は、更に符号化時に利用した各種パラメータ情報についても符号化装置の各部から取得し、所定のエントロピー符号化を行うようにすると更によい。生成された符号化ビット列は、多重化器１１４に供給される。

多重化器１１４は、エントロピー符号化器１１３から符号化ビット列を取得し、所定の構文構造に基づいて多重化を行う（ステップＳ３１８）。これにより生成された符号化ビットストリームは、出力伝送器１１５に供給される。出力伝送器１１５は、多重化部１１４から多重化ビットストリームを取得し、所定のパケット化処理などを行った後に、所定の伝送路もしくは所定の記録媒体に符号化結果を出力伝送する（ステップＳ３１９）。以上のステップＳ３０１〜Ｓ３１９の処理を行うことで、本実施の形態の符号化装置において、ある時点での符号化対象となっている符号化ピクチャの符号化処理が完了する。

このように、本実施の形態２の動画像符号化装置および動画像符号化方法によれば、通常の動き推定器５０２および動き補償器５０３により動き推定および補償を行って通常の予測信号を生成して入力信号１０１との残差信号（差分ピクチャ）を求めると共に、本実施の形態１と同様の領域境界動き推定器１１８および領域境界動き補償器１１９により上述した領域境界動き推定及び領域境界動き補償を行ってブロック境界部分の境界条件に基づく推定信号を生成して入力信号１０１との残差信号（差分ピクチャ）を求め、差分判定器５０４が第１差分器１２０からの残差信号の情報量と第２差分器１０６からの残差信号の情報量との比較を行い、情報量等の少ない方の残差信号（差分ピクチャ）を選択するようにしたので、従来の動き推定および動き補償によって得られる予測信号よりもブロック境界部分の境界条件に基づく推定信号とから情報量等が多い場合は、従来の動き推定および動き補償によって得られる予測信号と入力信号との差分である残差信号（差分ピクチャ）を選択することになり、全体として符号量を少なくすることにより、品質の良い符号化画像を得られると共に、符号化効率を向上させることができる。

次に、本発明の符号化装置の実施の形態２もしくは後述するこの実施の形態の符号化装置を実現する第２の符号化プログラムによって動作するコンピュータによって生成された符号化ビットストリームを取得して復号化を行う、本発明の復号化装置の第２の実施の形態について、図７及び図８を用いて説明する。

図７は、本発明になる動画像復号化装置の実施の形態２のブロック図を示す。同図中、図３と同一構成部分には同一符号を付してある。図７に示すように、本実施の形態の動画像復号化装置は、図３に示した実施の形態１の動画像復号化装置の構成の他に、スイッチ７０１、動き補償器７０２を更に備えるように構成したものである。

スイッチ７０１は、端子ｂに領域境界動き補償器３１４から第１の予測ピクチャが供給され、端子ａに動き補償器７０２から第２の予測ピクチャが供給され、この供給された第１の予測ピクチャと第２の予測ピクチャとを切り替え制御を、復号化制御器３１３の要求に応じてスイッチを切り替えることで、スイッチ３０２の端子ｂに供給する機能を有する。

動き補償器７０２は、エントロピー復号化器３０５から動きベクトル情報を取得し、フレームメモリ３１１から対応する参照ピクチャを取得する機能と、取得した動きベクトル情報に基づいて参照ピクチャから対応するブロック領域を特定し、第２の予測ピクチャを生成する機能と、生成した第２の予測ピクチャを、スイッチ７０１の端子ａに供給する機能とを有する。

スイッチ３０２は、イントラ予測器３０８によって生成された第４の予測ピクチャが端子ａに供給されると共に、スイッチ７０１によって選択された第１の予測ピクチャ又は第２の予測ピクチャが端子ｂに供給される。スイッチ３０２は、端子ａ及び端子ｂに供給されるそれぞれの予測ピクチャに対し、復号化制御器３１３の要求に応じてスイッチの切り替え制御を行い、選択した予測ピクチャを第１合成器３０９に供給する機能を有する。

エントロピー復号化器３０５は、更に、動きベクトル情報、差分判定情報を、取得した符号化ビット列に対してエントロピー復号化を行うことによって取得する機能と、取得した動きベクトル情報を動き補償器７０２に供給すると共に、取得した差分判定情報を復号化制御器３１３に供給する機能とを更に有する。

復号化制御器３１３は、エントロピー復号化器３０５から差分判定情報を取得し、取得した差分判定情報から差分ピクチャを生成する際に利用した予測ピクチャが、第１の予測ピクチャと第２の予測ピクチャのどちらであるかを特定すると共に、特定した結果に基づいてスイッチ７０１の切り替え制御を行う機能を更に有する。ここで、差分判定情報から差分ピクチャを生成する際に利用した予測ピクチャが、第１の予測ピクチャであったことを特定した場合には、スイッチ７０１を端子ｂに接続する。

また、差分判定情報から差分ピクチャを生成する際に利用した予測ピクチャが、第２の予測ピクチャであったことを特定した場合には、スイッチ７０１を端子ａに接続することで選択した予測ピクチャをスイッチ３０２の端子ｂに供給する。また、復号化制御器３１３は、復号化モードに応じてスイッチ３０２の切り替え制御を行う機能を有する。ここで、復号化モードがイントラ復号化である場合には、スイッチ３０２を端子ａに接続し、復号化モードがイントラ復号化ではない場合には、スイッチ３０２を端子ｂに接続することで、切り替え制御を行う。

領域境界動き補償器３１４は、生成した第１の予測ピクチャをスイッチ７０１の端子ｂに供給する機能を有する。その他の第２の復号化装置の構成に含まれる各部の機能については第１の復号化装置に含まれる各部の機能と同様であることから、ここでは重複を避けるために説明を省略する。

次に、図７の本発明の復号化装置の実施の形態２の動作を図８のフローチャートに従って説明する。まず、入力受信器３０３は、入力信号３０１として所定の伝送路もしくは所定の記録媒体などから所定のパケット情報を順次取得することで、符号化結果を入力受信する（ステップＳ４０１）。取得した所定のパケット情報から所定のパケット合成処理を行うことで、符号化ビットストリームを再構成する。その後、符号化ビットストリームを多重化分離器３０４に供給する。

多重化分離器３０４は、入力受信器３０３によって再構成された符号化ビットストリームを取得し、取得した符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行い（ステップＳ４０２）、多重化分離後の情報である符号化ビット列をエントロピー復号化器３０５に通知する。

エントロピー復号化器３０５は、多重化分離器３０４から符号化ビット列を取得し、所定のエントロピー復号化を行う（ステップＳ４０３）ことで、量子化後情報及び境界部動きベクトル情報、動きベクトル情報、差分判定情報、及びその他の所定の構文構造を構成するために必要なパラメータ情報などを生成する。その後、少なくとも量子化後情報を逆量子化器３０６に、境界部動きベクトル情報を領域境界動き補償器３１４に、動きベクトル情報を動き補償器７０２に、差分判定情報を復号化制御器３１３に、それぞれ供給する。

その後、復号化制御器３１３は、現在の復号化装置の復号化モードがイントラ復号化であるか否かを判定する（ステップＳ４０４）。イントラ復号化である場合（ステップＳ４０４“ＹＥＳ”）、復号化制御器３１３は、復号化装置の各部に対してイントラ復号化を行うためのパラメータ情報を供給すると共に、スイッチ３０２を端子ａに接続することで、イントラ復号化を行うための準備を行う。その後、イントラ予測器３０８によって所定のイントラ予測を行う（ステップＳ４０５）。その後、ステップＳ４０９に進む。一方、イントラ復号化でない場合（ステップＳ４０４“ＮＯ”）、復号化制御器３１３は、復号化装置の各部に対してインター復号化を行うためのパラメータ情報を供給すると共に、スイッチ３０２を端子ｂに接続することで、インター復号化を行うための準備を行う。

次に、復号化制御器３１３は、イントラ復号化でない場合（ステップＳ４０４“ＮＯ”）、エントロピー復号化器３０５から取得した差分判定情報に基づいて、領域境界モードであるか否かを判定する（ステップＳ４０６）。復号化制御器３１３は、領域境界モードである場合には（ステップＳ４０６“ＹＥＳ”）、領域境界動き補償器３１４が生成した第１の予測ピクチャを選択するように、スイッチ７０１を端子ｂに接続する。

すると、領域境界モードである場合には（ステップＳ４０６“ＹＥＳ”）、領域境界動き補償器３１４が、エントロピー復号化器３０５から取得した境界部動きベクトル情報と、フレームメモリ３１１から取得した対応する参照ピクチャに基づいて、所定の領域境界動き補償を行う（ステップＳ４０７）。これにより生成された第１の予測ピクチャは、スイッチ７０１の端子ｂに供給される。その後、ステップＳ４０９に進む。

その一方、復号化制御器３１３は、領域境界モードでない場合には（ステップＳ４０６“ＮＯ”）、動き補償器７０２が生成した第２の予測ピクチャを選択するように、スイッチ７０１を端子ａに接続する。

すると、領域境界モードでない場合には（ステップＳ４０６“ＮＯ”）、動き補償器７０２が、エントロピー復号化器３０５から取得した動きベクトル情報と、フレームメモリ３１１から取得した対応する参照ピクチャとに基づいて、所定の動き補償を行う（ステップＳ４０８）。これにより生成された第２の予測ピクチャはスイッチ７０１の端子ａに供給される。その後、ステップＳ４０９に進む。

予測ピクチャの準備が完了すると、逆量子化器３０６は、エントロピー復号化器３０５から量子化後情報を取得し、所定の量子化パラメータに基づいて所定の逆量子化を行う（ステップＳ４０９）。これにより生成された逆量子化後情報は、逆直交変換器３０７に供給される。逆直交変換器３０７は、逆量子化器３０６から逆量子化後情報を取得し、所定の逆直交変換を行う（ステップＳ４１０）。これにより生成された復号差分ピクチャは、第１合成器３０９に供給される。

第１合成器３０９は、逆直交変換器３０７から取得した復号差分ピクチャと、スイッチ３０２から取得した予測ピクチャとを合成して（ステップＳ４１１）、復号ピクチャを生成し、その復号ピクチャをデブロックフィルタ３１０に供給する。また、復号化モードがイントラ復号化である場合には、復号ピクチャは更にイントラ予測器３０８に供給される。

デブロックフィルタ３１０は、第１合成器３０９から復号ピクチャを取得し、所定のデブロックフィルタ処理を行う（ステップＳ４１２）。これにより生成されたデブロックフィルタ処理後の復号ピクチャは、参照ピクチャとしてフレームメモリ３１１に格納されることで、次の符号化を行う際の参照ピクチャとして準備される（ステップＳ４１３）。

フレームメモリ３１１は、デブロッキングフィルタ３１０からデブロックフィルタ処理後の復号ピクチャを参照ピクチャとして取得及び蓄積し、また、必要に応じて領域境界動き補償器３１４、動き補償器７０２、イントラ予測器３０８に参照ピクチャを供給する。ここで、フレームメモリ３１１は、少なくとも１ピクチャ以上の参照ピクチャを蓄積し、各構成要素の要求に応じて必要な参照ピクチャを供給できることが望ましい。また、復号ピクチャの表示タイミングに応じて復号画像フレームを出力する（ステップＳ４１４）。これにより、表示に必要な復号ピクチャを出力信号３１２として外部の出力表示器に供給する。

その後、更に復号化対象となる符号化ビットストリームが存在し、復号化の必要がある場合にはステップＳ４０１に進むことで復号化処理を継続し、復号化の必要がない場合には一連の復号化処理を終了する。

このように、本実施の形態２の動画像復号化装置および動画像復号化方法によれば、動画像符号化装置により以上のように領域境界動き推定及び領域境界動き補償または通常の動き推定および補償が行われた符号化ビットストリームと、符号化パラメータと、境界部動きベクトル情報と、どちらの補償された予測信号による残差信号を選択したかを示す差分判定情報とを入力信号として入力して、領域境界動き補償器３１４または動き補償器７０２が領域境界動き補償または通常の動き補償を行ってから復号を行うようにしたので、情報量に基づいて適応的に領域境界動き補償または通常の動き補償が切り替えられ符号化された符号化ビットストリームでも、正しく復号を行うことができ、全体として符号量が少なくても、品質の良い復号画像を得られる。

（実施の形態３）
本発明は以上の実施の形態１，２に限定されるものではなく、上記図１、図５の符号化装置、及び上記図３、図７が示す及び復号化装置の機能を図９から図１２に示すコンピュータである中央処理制御装置に実現させるためのプログラムを含むものであり、以下それらのプログラムについて説明する。

図９は、本発明になる動画像符号化プログラムの実施の形態１により動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置９００は、各種の情報を入力するための入力装置９０１と、各種の情報を出力するための出力装置９０２と、本発明の実施の形態１の符号化プログラムにより動作する中央処理制御装置９０３と、外部記憶装置９０４と、中央処理制御装置９０３による演算処理の際の作業領域などに用いる一時記憶装置９０５と、外部と通信するための通信装置９０６とが、双方向のバス９０７により接続された構成とされている。

中央処理制御装置９０３は、実施の形態１の符号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置９０６により取り込まれ、図１に示したイントラ予測器１０５に相当するイントラ予測手段９０８、第２差分器１０６に相当する第２差分手段９０９、直交変換器１０７に相当する直交変換手段９１０、量子化器１０８に相当する量子化手段９１１、逆量子化器１０９に相当する逆量子化手段９１２、逆直交変換器１１０に相当する逆直交変換手段９１３、第１合成器１１１に相当する第１合成手段９１４、デブロックフィルタ１１２に相当するデブロックフィルタ手段９１５、エントロピー符号化器１１３に相当するエントロピー符号化手段９１６、多重化器１１４に相当する多重化手段９１７、出力伝送器１１５に相当する出力伝送手段９１８、符号化制御器１１７に相当する符号化制御手段９１９、領域境界動き推定器１１８に相当する領域境界動き推定手段９２０、領域境界動き補償器１１９に相当する領域境界動き補償手段９２１、第１差分器１２０に相当する第１差分手段９２２の各機能を少なくとも有し、図１に示す符号化装置と同様の動作をソフトウェア処理により実行する。

図１０は、本発明になる動画像復号化プログラムの実施の形態１により動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置９００に含まれる装置の基本構成は、図９と同様であるため、説明を省略する。中央処理制御装置９０３は、第１の実施の形態の復号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置９０６により取り込まれ、図３の入力受信器３０３に相当する入力受信手段１００１、多重化分離器３０４に相当する多重化分離手段１００２、エントロピー復号化器３０５に相当するエントロピー復号化手段１００３、逆量子化器３０６に相当する逆量子化手段１００４、逆直交変換器３０７に相当する逆直交変換手段１００５、イントラ予測器３０８に相当するイントラ予測手段１００６、第１合成器３０９に相当する第１合成手段１００７、デブロックフィルタ３１０に相当するデブロックフィルタ手段１００８、復号化制御器３１３に相当する復号化制御手段１００９、領域境界動き補償器３１４に相当する領域境界動き補償手段１０１０の各機能を少なくとも有し、図３に示した復号化装置と同様の動作をソフトウェア処理により実行する。

図１１は、本発明になる動画像符号化プログラムの実施の形態２により動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置９００に含まれる装置の基本構成は、図９と同様であるため、説明を省略する。中央処理制御装置９０３は、第２の実施の形態の符号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置９０６により取り込まれ、図９の符号化プログラムの他に、更に動き推定器５０２に相当する動き推定手段１１０１、動き補償器５０３に相当する動き補償手段１１０２、差分判定器５０４に相当する差分判定手段１１０３の各機能を少なくとも有し、図５に示した符号化装置と同様の動作をソフトウェア処理により実行する。

図１２は、本発明になる動画像復号化プログラムの実施の形態２により動作する情報処理装置の一例の構成図を示す。同図において、情報処理装置９００に含まれる装置の基本構成は、図１０と同様であるため、説明を省略する。中央処理制御装置９０３は、本発明の符号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置９０６により取り込まれ、図１０の復号化プログラムの他に、更に動き補償器７０２に相当する動き補償手段１２０１の各機能を少なくとも有し、図７に示した復号化装置と同様の動作をソフトウェア処理により実行する。

なお、以上の実施の形態１〜３の説明では、イントラ予測やデブロックフィルタ等を行うＨ．２６４／ＡＶＣ符号化または復号化装置や、その方法、そのプログラムをベースとして説明したが、本発明では、これに限らず、イントラ予測やデブロックフィルタ等を行わないＭＰＥＧ１やＭＰＥＧ２、ＭＰＥＧ４等の他の符号化方式または復号装置等でも、ブロック単位で動き推定および補償を行う符号化方式または復号装置等であれば、実施の形態１〜３のような形で領域境界動き推定器１１８や領域境界動き補償器１１９等を設けることにより適用可能である。

本発明の動画像符号化装置の実施の形態１のブロック図である。本発明の動画像符号化装置の実施の形態１の動作説明用フローチャートである。本発明の動画像復号化装置の実施の形態１のブロック図である。本発明の動画像復号化装置の実施の形態１の動作説明用フローチャートである。本発明の動画像符号化装置の実施の形態２のブロック図である。本発明の動画像符号化装置の実施の形態２の動作説明用フローチャートである。本発明の動画像復号化装置の実施の形態２のブロック図である。本発明の動画像復号化装置の実施の形態２の動作説明用フローチャートである。本発明の動画像符号化プログラムの実施の形態１により動作する情報処理装置の一例の構成図である。本発明の動画像復号化プログラムの実施の形態１により動作する情報処理装置の一例の構成図である。本発明の動画像符号化プログラムの実施の形態２により動作する情報処理装置の一例の構成図である。本発明の動画像復号化プログラムの実施の形態２により動作する情報処理装置の一例の構成図である。一般的なブロックマッチングによる動きベクトル探索を行うことで、動きベクトル情報を生成する、動き推定の様子を示した概念図である。領域境界動き推定器１１８が備える領域境界動き推定処理の様子を示した概念図である。符号化ピクチャ内のブロック境界部分の境界条件である、境界部分の傾き情報を求めることを説明する図である。ブロック内の予測信号を生成し予測ブロックに格納する処理を予測ピクチャ内の各ブロックに対して行い、予測ピクチャを生成すること説明する図である。多重調和局所余弦変換手法の基本概念を示すための概念図である。原信号に対して通常のＤＣＴを行った場合の例を示す図である。残差信号に対して通常のＤＣＴを行った場合の例を示す図である。各ピクチャを所定の矩形領域で分割した際の状態を模式的に表すための概念図である。

符号の説明

１０６第２差分器
１０７直交変換器
１０８量子化器
１０９、３０６逆量子化器
１１０、３０７逆直交変換器
１１３エントロピー符号化器
１１４多重化器
１１８領域境界動き推定器
１１９領域境界動き補償器
１２０第１差分器
３０４多重化分離器
３０５エントロピー復号化器
３１４領域境界動き補償器
５０２動き推定器
５０３、７０２動き補償器
５０４差分判定器

Claims

入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、前記矩形領域を処理単位として局部復号画像信号である参照ピクチャから生成された予測ピクチャと前記符号化対象の動画像信号である符号化ピクチャとの差分信号である差分ピクチャを生成し、前記差分ピクチャに対して符号化を行う動画像符号化装置において、
前記符号化ピクチャ内の予測対象としている前記矩形領域と、その矩形領域に隣接する他の矩形領域との間の境界部分を探索単位として境界部分の境界条件を求め、その境界条件に適合する境界条件を持つ前記参照ピクチャの境界部分を該参照ピクチャ内の動きベクトル探索を行うことによって特定し、更に前記符号化ピクチャ内の前記矩形領域の境界部分から前記参照ピクチャ内の前記特定した境界部分までの動きベクトル情報である境界部動きベクトル情報を生成する領域境界動き推定手段と、
前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで第１の予測ピクチャを生成する領域境界動き補償手段と、
前記符号化ピクチャと前記第１の予測ピクチャとの差分から第１の差分ピクチャを生成する第１の差分手段と、
前記第１の差分ピクチャに対して所定の直交変換を行うことで直交変換係数情報を生成する直交変換手段と、
前記直交変換係数情報に対して所定の量子化パラメータに基づいて所定の量子化を行うことで量子化後情報を生成する量子化手段と、
前記量子化後情報に対して所定の量子化パラメータに基づいて所定の逆量子化を行うことで、逆量子化後情報を生成する逆量子化手段と、
前記逆量子化後情報に対して所定の逆直交変換を行うことで、前記参照ピクチャを生成する逆直交変換手段と、
を備えることを特徴とする動画像符号化装置。
前記符号化ピクチャ内の各矩形領域において前記参照ピクチャ内をブロックマッチングによって動きベクトル探索を行い、前記参照ピクチャ内の適合する矩形領域までの動きベクトル情報を生成する動き推定手段と、
前記動きベクトル情報に基づいて前記参照ピクチャから対応する矩形領域を特定し、第２の予測ピクチャを生成する動き補償手段と、
前記動き補償手段によって生成した前記第２の予測ピクチャと前記符号化ピクチャとの差分である第２の差分ピクチャを生成する第２の差分手段と、
前記第１の差分ピクチャと前記第２の差分ピクチャとを、所定の判定基準に基づいて比較し、情報量の少ない方の差分ピクチャを選択する差分判定手段と、
を更に備え、
前記直交変換手段は、前記差分判定手段により選択された差分ピクチャに対して、所定の直交変換を行うことで直交変換係数情報を生成するようにした、
ことを特徴とする請求項１記載の動画像符号化装置。
前記量子化後情報と、前記境界部動きベクトル情報または前記動きベクトル情報とに対して、所定のエントロピー符号化を行うことで符号化ビット列を生成するエントロピー符号化手段と、
所定の構文構造に基づいて前記符号化ビット列を多重化することで符号化ビットストリームを生成する多重化手段と、
を更に備え、
前記エントロピー符号化手段は、供給される前記量子化後情報が、前記第１の差分ピクチャによるものである場合には、前記境界部動きベクトル情報に対して所定のエントロピー符号化を行い、供給される前記量子化後情報が、前記第２の差分ピクチャによるものである場合には、前記動きベクトル情報に対して所定のエントロピー符号化を行う、
ことを特徴とする請求項２記載の動画像符号化装置。
入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、前記矩形領域を処理単位として局部復号画像信号である参照ピクチャから生成された予測ピクチャと前記符号化対象の動画像信号である符号化ピクチャとの差分信号である差分ピクチャを生成し、前記差分ピクチャに対して符号化を行うことを、コンピュータにより実行させるための動画像符号化プログラムにおいて、
前記コンピュータを、
前記符号化ピクチャ内の予測対象としている前記矩形領域と、その矩形領域に隣接する他の矩形領域との間の境界部分を探索単位として境界部分の境界条件を求め、その境界条件に適合する境界条件を持つ前記参照ピクチャの境界部分を該参照ピクチャ内の動きベクトル探索を行うことによって特定し、更に前記符号化ピクチャ内の前記矩形領域の境界部分から前記参照ピクチャ内の前記特定した境界部分までの動きベクトル情報である境界部動きベクトル情報を生成する領域境界動き推定手段と、
前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで第１の予測ピクチャを生成する領域境界動き補償手段と、
前記符号化ピクチャと前記第１の予測ピクチャとの差分から第１の差分ピクチャを生成する第１の差分手段と、
前記第１の差分ピクチャに対して所定の直交変換を行うことで直交変換係数情報を生成する直交変換手段と、
前記直交変換係数情報に対して所定の量子化パラメータに基づいて所定の量子化を行うことで量子化後情報を生成する量子化手段と、
前記量子化後情報に対して所定の量子化パラメータに基づいて所定の逆量子化を行うことで、逆量子化後情報を生成する逆量子化手段と、
前記逆量子化後情報に対して所定の逆直交変換を行うことで、前記参照ピクチャを生成する逆直交変換手段と、
少なくとも前記量子化後情報及び前記境界部動きベクトル情報に対して所定のエントロピー符号化を行うことで符号化ビット列を生成するエントロピー符号化手段と、
所定の構文構造に基づいて前記符号化ビット列を多重化することで符号化ビットストリームを生成する多重化手段と、
して機能させることを特徴とする動画像符号化プログラム。
前記コンピュータを、
前記符号化ピクチャ内の各矩形領域において前記参照ピクチャ内をブロックマッチングによって動きベクトル探索を行い、前記参照ピクチャ内の適合する矩形領域までの動きベクトル情報を生成する動き推定手段と、
前記動きベクトル情報に基づいて前記参照ピクチャから対応する矩形領域を特定し、第２の予測ピクチャを生成する動き補償手段と、
前記動き補償手段によって生成した前記第２の予測ピクチャと前記符号化ピクチャとの差分である第２の差分ピクチャを生成する第２の差分手段と、
前記第１の差分ピクチャと前記第２の差分ピクチャとを、所定の判定基準に基づいて比較し、情報量の少ない方の差分ピクチャを選択する差分判定手段と、
前記差分判定手段の選択結果に応じて、前記差分判定手段で選択した差分ピクチャを前記直交変換手段に供給するための制御を行う符号化制御手段と、
して更に機能させ、
前記直交変換手段は、前記符号化制御手段の制御に基づいて供給された前記差分ピクチャに対して所定の直交変換を行う、
ことを特徴とする請求項４記載の動画像符号化プログラム。
請求項３に記載の動画像符号化装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号化した動画像信号を出力する動画像復号化装置であって、
前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
前記多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、前記量子化後情報、前記境界部動きベクトル情報または前記動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成するエントロピー復号化手段と、
前記エントロピー復号化手段から取得した前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の直交変換係数情報を生成する逆量子化手段と、
前記逆量子化手段から取得した逆量子化後の直交変換係数情報に対して逆直交変換を行うことにより、１ピクチャ分の復号差分ピクチャを生成する逆直交変換手段と、
前記エントロピー復号化手段から前記境界部動きベクトル情報を取得した場合には、前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで第１の予測ピクチャを生成する領域境界動き補償手段と、
前記エントロピー復号化手段から前記動きベクトル情報を取得した場合には、前記動きベクトル情報に基づいて前記参照ピクチャから対応する矩形領域を特定し、第２の予測ピクチャを生成する動き補償手段と、
生成した前記第１の予測ピクチャと前記復号差分ピクチャとを合成、または生成した前記第２の予測ピクチャと前記復号差分ピクチャとを合成して復号動画像信号を生成する合成手段と、
少なくとも１ピクチャ分の復号動画像信号を参照ピクチャとして保持するための記憶手段と、
を少なくとも備えることを特徴とする動画像復号化装置。
請求項３に記載の動画像符号化装置によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号化した動画像信号を出力することを、コンピュータにより実行させるための動画像復号化プログラムであって、
前記コンピュータを、
前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
前記多重化分離手段から取得した多重化分離後の情報に対して、所定のエントロピー復号化を行い、前記量子化後情報、前記境界部動きベクトル情報または前記動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成するエントロピー復号化手段と、
前記エントロピー復号化手段から取得した前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の直交変換係数情報を生成する逆量子化手段と、
前記逆量子化手段から取得した逆量子化後の直交変換係数情報に対して逆直交変換を行うことにより、１ピクチャ分の復号差分ピクチャを生成する逆直交変換手段と、
前記エントロピー復号化手段から前記境界部動きベクトル情報を取得した場合には、前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで第１の予測ピクチャを生成する領域境界動き補償手段と、
前記エントロピー復号化手段から前記動きベクトル情報を取得した場合には、前記動きベクトル情報に基づいて前記参照ピクチャから対応する矩形領域を特定し、第２の予測ピクチャを生成する動き補償手段と、
生成した前記第１の予測ピクチャと前記復号差分ピクチャとを合成、または生成した前記第２の予測ピクチャと前記復号差分ピクチャとを合成して復号動画像信号を生成する合成手段と、
少なくとも１ピクチャ分の復号動画像信号を参照ピクチャとして保持するための記憶手段と、
して機能させることを特徴とする動画像復号化プログラム。
入力された符号化対象の動画像信号の一画面領域を、所定の画素数からなる矩形領域を単位として細分割し、前記矩形領域を処理単位として局部復号画像信号である参照ピクチャから生成された予測ピクチャと前記符号化対象の動画像信号である符号化ピクチャとの差分信号である差分ピクチャを生成し、前記差分ピクチャに対して符号化を行う動画像符号化方法であって、
前記符号化ピクチャ内の予測対象としている前記矩形領域と、その矩形領域に隣接する他の矩形領域との間の境界部分を探索単位として境界部分の境界条件を求め、その境界条件に適合する境界条件を持つ前記参照ピクチャの境界部分を該参照ピクチャ内の動きベクトル探索を行うことによって特定し、更に前記符号化ピクチャ内の前記矩形領域の境界部分から前記参照ピクチャ内の前記特定した境界部分までの動きベクトル情報である境界部動きベクトル情報を生成するステップと、
前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで予測ピクチャを生成するステップと、
前記符号化ピクチャと前記予測ピクチャとの差分から差分ピクチャを生成するステップと、
前記差分ピクチャに対して所定の直交変換を行うことで直交変換係数情報を生成するステップと、
前記直交変換係数情報に対して所定の量子化パラメータに基づいて所定の量子化を行うことで量子化後情報を生成するステップと、
前記量子化後情報に対して所定の量子化パラメータに基づいて所定の逆量子化を行うことで、逆量子化後情報を生成するステップと、
前記逆量子化後情報に対して所定の逆直交変換を行うことで、前記参照ピクチャを生成するステップと、
を有する動画像符号化方法。
請求項８に記載の動画像符号化方法によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号化した動画像信号を出力する動画像復号化方法であって、
前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行うステップと、
前記多重化分離後の情報に対して、所定のエントロピー復号化を行い、少なくとも、前記量子化後情報、境界部動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成するステップと、
前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の直交変換係数情報を生成するステップと、
前記逆量子化後の直交変換係数情報に対して逆直交変換を行うことにより、１ピクチャ分の復号差分ピクチャを生成するステップと、
取得した前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで予測ピクチャを生成するステップと、
生成した前記予測ピクチャと復号差分ピクチャとを合成して復号動画像信号を生成するステップと、
少なくとも１ピクチャ分の復号動画像信号を参照ピクチャとして記憶するステップと、
を有する動画像復号方法。
請求項８に記載の動画像符号化方法によって生成された符号化ビットストリームを所定の蓄積媒体又は所定の伝送路から取得し、取得した前記符号化ビットストリームに対して復号化動作を行って、復号化した動画像信号を出力する動画像復号化装置であって、
前記符号化ビットストリームに対して所定の構文構造に基づいて符号化情報の多重化分離を行う多重化分離手段と、
前記多重化分離後の情報に対して、所定のエントロピー復号化を行い、少なくとも、前記量子化後情報、境界部動きベクトル情報、及び所定の構文構造を構成するために必要なパラメータ情報を生成するエントロピー復号化手段と、
前記量子化後情報に対して逆量子化を行うことにより、逆量子化後の直交変換係数情報を生成する逆量子化手段と、
前記逆量子化後の直交変換係数情報に対して逆直交変換を行うことにより、１ピクチャ分の復号差分ピクチャを生成する逆直交変換手段と、
取得した前記境界部動きベクトル情報に基づいて前記参照ピクチャから対応する境界部分の境界条件を特定し、特定した境界部分の境界条件に基づいて、ポアソン方程式を満たすような符号化ピクチャ内の各矩形領域内の推定画像信号を生成することで予測ピクチャを生成する領域境界動き補償手段と、
生成した前記予測ピクチャと復号差分ピクチャとを合成して復号動画像信号を生成する合成手段と、
少なくとも１ピクチャ分の復号動画像信号を参照ピクチャとして記憶する記憶手段と、
を有する動画像復号化装置。