JP4154903B2 - Image processing apparatus, image processing method, program, and recording medium - Google Patents

Description

【００８２】
式（１）を一般化するために、タップ係数ｗ_jの集合でなる行列Ｗ、生徒データｘ_ijの集合でなる行列Ｘ、および予測値Ｅ［ｙ_j］の集合でなる行列Ｙ’を、
【数１】

で定義すると、次のような観測方程式が成立する。
【００８３】
ＸＷ＝Ｙ’・・・（２）
【００８４】
ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙ_iの予測に用いる生徒データの集合）（予測タップ）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗ_jは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙ_iは、ｉ件目の教師データを表し、従って、Ｅ［ｙ_i］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙ_iのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ijのサフィックスｉを省略したものである。
【００８５】
式（２）の観測方程式に、例えば最小自乗法を適用して、元の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる真の画素値ｙの集合でなる行列Ｙ、および画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】

で定義すると、式（２）から、次のような残差方程式が成立する。
【００８６】
ＸＷ＝Ｙ＋Ｅ・・・（３）
【００８７】
この場合、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗ_jは、自乗誤差
【数３】

を最小にすることで求めることができる。
【００８８】
従って、上述の自乗誤差をタップ係数ｗ_jで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗ_jが、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００８９】
【数４】

・・・（４）
【００９０】
そこで、まず、式（３）を、タップ係数ｗ_jで微分することにより、次式が成立する。
【００９１】
【数５】

・・・（５）
【００９２】
式（４）および（５）より、式（６）が得られる。
【００９３】
【数６】

・・・（６）
【００９４】
さらに、式（３）の残差方程式における生徒データｘ_ij、タップ係数ｗ_j、教師データｙ_i、および残差ｅ_iの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００９５】
【数７】

・・・（７）
【００９６】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】

で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
ＡＷ＝ｖ・・・（８）
で表すことができる。
【００９７】
式（７）における各正規方程式は、生徒データｘ_ijおよび教師データｙ_iのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_jの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適なタップ係数（ここでは、自乗誤差を最小にするタップ係数）ｗ_jを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００９８】
以上のようにして、最適なタップ係数、即ち、画素値の予測値の統計的な誤差を最小にするタップ係数ｗ_jを求めておき、さらに、そのタップ係数ｗ_jを用いて、式（１）により、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００９９】
なお、上述のように、画像の画素値を教師データとするとともに、その画像を、ブロック単位でＤＣＴ変換し、さらに量子化、逆量子化をして得られるＤＣＴ係数を生徒データとする場合には、ＤＣＴ係数（画素値をＤＣＴ変換し、量子化し、さらに、逆量子化して得られるＤＣＴ係数）を、式（１）の線形予測演算によって、元の画素値（の予測値）に変換するのに最適なタップ係数を得ることができる。そして、ＤＣＴ係数は、周波数領域のデータであり、画素値は時間領域の信号であるから、上述のようなタップ係数を用いて、ＤＣＴ係数を画素値に変換する適応処理は、周波数(Frequency)と時間(Time)の頭文字をとって、ＦＴ変換と呼ぶことができる。
【０１００】
ここで、上述の場合には、画像を２次元ＤＣＴ変換し、さらに量子化、逆量子化して得られるＤＣＴ係数を生徒データとするとともに、原画像を教師データとして、タップ係数を求めるようにしたが、タップ係数は、その他、例えば、原画像を２次元ＤＣＴ変換し、さらに量子化、逆量子化して得られるＤＣＴ係数を生徒データとするとともに、原画像を２次元ＤＣＴ変換して得られるＤＣＴ係数を教師データとして求めるようにすることも可能である。この場合、量子化誤差のあるＤＣＴ係数を、量子化誤差のないＤＣＴ係数（の予測値）に変換するのに最適なタップ係数を得ることができる。
【０１０１】
また、タップ係数は、原画像を２次元ＤＣＴ変換し、さらに、量子化、逆量子化、２次元逆ＤＣＴ変換して得られる復号画像を生徒データとするとともに、原画像を教師データとして求めるようにすることも可能である。この場合、逆量子化および２次元逆ＤＣＴ変換によって復号された画像を、原画像（の予測値）に変換するのに最適なタップ係数を得ることができる。
【０１０２】
即ち、適応処理によれば、教師データと生徒データとして、どのようなデータを採用するかによって、任意のデータ変換を行う（生徒データに対応するデータを、教師データに対応するデータに変換する）のに最適なタップ係数を得ることができる。
【０１０３】
次に、図３は、図２のＤＣＴ変換部２１および周波数領域動き補償加算部２２の構成例を示している。
【０１０４】
ＤＣＴ変換部２１は、（８×８画素）サンプリング部６１とＤＣＴ部６２から構成され、画像メモリ５に記憶された予測画像を２次元ＤＣＴ変換した予測ＤＣＴ係数を生成するようになっている。
【０１０５】
即ち、サンプリング部６１には、画像メモリ５に記憶された予測画像と、分離部１（図２）が出力する注目ブロック（を含むマクロブロック）のＤＣＴタイプが供給されるようになっている。
【０１０６】
ここで、画像メモリ５には、動き補償部４（図２）から、マクロブロックと同一の大きさである１６×１６画素の予測画像が供給されるようになっており、画像メモリ５は、注目ブロックに対応する１６×１６画素の予測画像を記憶する。従って、画像メモリ５は、少なくとも１６×１６画素の画像を記憶することのできる記憶容量を有している。
【０１０７】
サンプリング部６１は、画像メモリ５に記憶された１６×１６画素の予測画像を、注目ブロックのＤＣＴタイプにしたがってサンプリングし、ブロックと同一の大きさの８×８画素の予測画像を生成する。
【０１０８】
即ち、画像メモリ５に記憶された１６×１６画素の予測画像は、フレーム構造になっており、注目ブロックの構造と一致している場合と、一致していない場合とがある。
【０１０９】
具体的には、注目ブロックがフレーム構造である場合には、注目ブロックと、画像メモリ５に記憶された１６×１６画素の予測画像とは、一致した構造のものとなる。
【０１１０】
従って、注目ブロックが、図４Ａに示すように、マクロブロック（注目マクロブロック）の左上、左下、右上、または右下のブロックである場合、サンプリング部６１は、図４Ｂに示すように、画像メモリ５に記憶された１６×１６画素の予測画像のうち、左上、左下、右上、または右下の８×８画素を、それぞれサンプリングし、これにより、注目ブロックの各画素と空間的に対応する位置にある８×８画素の予測画像を得て、ＤＣＴ部６２に供給する。
【０１１１】
ここで、図４において（後述する図５においても同様）、影を付してあるラインは、奇数ライン（トップフィールド）を表し、影を付していないラインは、偶数ライン（ボトムフィールド）を表す。
【０１１２】
一方、注目ブロックがフィールド構造である場合は、注目ブロックと、画像メモリ５に記憶された１６×１６画素の予測画像とは、異なる構造のものとなる。
【０１１３】
即ち、この場合、注目ブロックを含むマクロブロック（注目マクロブロック）は、図５Ａに示すように、上側の８ラインが奇数ライン（トップフィールド）で構成され、下側の８ラインが偶数ライン（ボトムフィールド）で構成される。
【０１１４】
従って、注目ブロックが、注目マクロブロックの左上のブロックである場合、その注目ブロックの８×８画素は、図５Ｂに示すように、画像メモリ５に記憶された１６×１６画素の予測画像のうちの、８つの奇数ライン（影を付してあるライン）の左側の８画素に対応する。また、注目ブロックが、注目マクロブロックの左下のブロックである場合、その注目ブロックの８×８画素は、図５Ｂに示すように、画像メモリ５に記憶された１６×１６画素の予測画像のうちの、８つの偶数ライン（影を付してないライン）の左側の８画素に対応する。さらに、注目ブロックが、注目マクロブロックの右上のブロックである場合には、その注目ブロックの８×８画素は、図５Ｂに示すように、画像メモリ５に記憶された１６×１６画素の予測画像のうちの、８つの奇数ライン（影を付してあるライン）の右側の８画素に対応し、また、注目ブロックが、注目マクロブロックの右下のブロックである場合には、その注目ブロックの８×８画素は、図５Ｂに示すように、画像メモリ５に記憶された１６×１６画素の予測画像のうちの、８つの偶数ライン（影を付してないライン）の右側の８画素に対応する。
【０１１５】
そこで、サンプリング部６１は、注目ブロックが、フィールド構造である場合には、画像メモリ５に記憶された１６×１６画素の予測画像のうち、注目マクロブロックにおける注目ブロックの位置に対応する、上述のような８×８画素をサンプリングし、これにより、注目ブロックの各画素と空間的に対応する位置にある８×８画素の予測画像を得て、ＤＣＴ部６２に供給する。
【０１１６】
ＤＣＴ部６２は、サンプリング部６１から供給される、注目ブロックの各画素と空間的に対応する位置にある８×８画素の予測画像を２次元ＤＣＴ変換し、これにより、８×８の予測ＤＣＴ係数を得て、周波数領域動き補償加算部２２に供給する。
【０１１７】
なお、サンプリング部６１において、注目ブロックの構造は、分離部１（図２）が出力する注目ブロック（を含む注目マクロブロック）のＤＣＴタイプに基づいて認識される。
【０１１８】
図３において、周波数領域動き補償加算部２２は、ＤＣＴ係数選択部７１、加算部７２、および選択部７３から構成され、ＤＣＴ係数抽出／逆量子化部２（図２）から供給される注目ブロックの２次元ＤＣＴ係数と、ＤＣＴ変換部２１から供給される予測ＤＣＴ係数とを、必要に応じて加算することにより、注目ブロックの元の画像の２次元ＤＣＴ係数を求める。
【０１１９】
即ち、ＤＣＴ係数選択部７１には、ＤＣＴ係数抽出／逆量子化部２（図２）が出力する注目ブロックの２次元ＤＣＴ係数と、分離部１（図２）が出力する注目ブロック（を含む注目マクロブロック）のＣＢＰが供給されるようになっている。
【０１２０】
注目ブロックがイントラ符号化されたものである場合、その注目ブロックの２次元ＤＣＴ係数は、注目ブロックの元の画像を２次元ＤＣＴ変換したものであるから、ＤＣＴ係数選択部７１は、注目ブロックを、そのまま出力する。ＤＣＴ係数選択部７１の出力は、加算部７２と選択部７３に供給される。
【０１２１】
注目ブロックがイントラ符号化されたものである場合、加算部７２は、特に処理を行わず、また、選択部７３は、ＤＣＴ係数選択部７１の出力を選択し、後段のバッファメモリ１２（図２）に供給する。
【０１２２】
従って、注目ブロックがイントラ符号化されたものである場合、即ち、ＤＣＴ係数抽出／逆量子化部２（図２）が出力する注目ブロックの２次元ＤＣＴ係数が、注目ブロックの元の画像を２次元ＤＣＴ変換したものである場合には、ＤＣＴ係数抽出／逆量子化部２（図２）が出力する注目ブロックが、そのまま、バッファメモリ１２（図２）に供給される。
【０１２３】
一方、ＤＣＴ係数選択部７１は、注目ブロックがノンイントラ符号化されたものである場合、その注目ブロックのＣＢＰを参照し、残差画像の２次元ＤＣＴ係数の有無を認識する。即ち、注目ブロックがノンイントラ符号化されたものである場合には、その注目ブロックには、原則として、残差画像の２次元ＤＣＴ係数が（ビデオストリーム中に）配置されるが、残差画像の２次元ＤＣＴ係数がすべて０となるときには、ＣＢＰが０とされ、２次元ＤＣＴ係数は配置されない。そして、この場合、注目ブロックの画像は、予測画像に一致する。
【０１２４】
そこで、ＤＣＴ係数選択部７１は、注目ブロックがノンイントラ符号化されたものであり、そのＣＢＰが０である場合には、残差画像の２次元ＤＣＴ係数として０を出力する。
【０１２５】
また、ＤＣＴ係数選択部７１は、注目ブロックがノンイントラ符号化されたものであり、そのＣＢＰが１である場合、ＤＣＴ係数抽出／逆量子化部２（図２）が出力する注目ブロックには、残差画像の２次元ＤＣＴ係数が配置されているから、その２次元ＤＣＴ係数を出力する。
【０１２６】
ＤＣＴ係数選択部７１の出力は、上述したように、加算部７２と選択部７３に供給される。
【０１２７】
加算部７２は、注目ブロックがノンイントラ符号化されたものである場合、ＤＣＴ係数選択部７１の出力と、ＤＣＴ変換部２１（のＤＣＴ部６２）が出力する予測画像の２次元ＤＣＴ係数とを加算し、これにより、注目ブロックについて、元の画像の２次元ＤＣＴ係数を得て、選択部７３に供給する。
【０１２８】
選択部７３は、注目ブロックがノンイントラ符号化されたものである場合、演算部７２の出力を選択し、後段のバッファメモリ１２（図２）に供給する。
【０１２９】
従って、注目ブロックがノンイントラ符号化されたものである場合において、注目ブロックのＣＢＰが０であるときには、注目ブロックの画像が、予測画像に一致するため、加算部７２において、ＤＣＴ係数選択部７１が出力する０と、ＤＣＴ部６２が出力する予測画像のＤＣＴ係数（予測ＤＣＴ係数）とが加算されることにより、注目ブロックの元の画像の２次元ＤＣＴ係数が求められる。
【０１３０】
また、注目ブロックのＣＢＰが１であるときには、加算部７２において、ＤＣＴ係数選択部７１が出力する注目ブロックの残差画像のＤＣＴ係数と、ＤＣＴ部６２が出力する予測画像のＤＣＴ係数（予測ＤＣＴ係数）とが加算されることにより、やはり、注目ブロックの元の画像の２次元ＤＣＴ係数が求められる。
【０１３１】
そして、選択部７３では、加算部７２において上述したようにして得られる、注目ブロックの元の画像の２次元ＤＣＴ係数が選択されて出力される。
【０１３２】
なお、前処理部１１（図２）では、周波数領域において、残差画像と予測画像とを加算して、元の画像の２次元ＤＣＴ係数を求めるようにしたが、即ち、残差画像の２次元ＤＣＴ係数と、予測画像の２次元ＤＣＴ係数とを加算して、元の画像の２次元ＤＣＴ係数を求めるようにしたが、これは、後段のクラス分類部１３において、周波数領域のＤＣＴ係数を用いて処理を行うため、前処理部１１とクラス分類部１３の処理を、周波数領域で行うように統一した方が都合が良いと考えられるためである。
【０１３３】
従って、元の画像の２次元ＤＣＴ係数は、残差画像と予測画像とを、時間領域において加算し、その加算結果を、２次元ＤＣＴ変換することによって求めても良い。
【０１３４】
次に、図６および図７を参照して、図２の１次元逆ＤＣＴ変換部３１の処理について説明する。
【０１３５】
ＭＰＥＧやＪＰＥＧ(Joint Photographic Experts Group)等のＤＣＴ変換を利用した画像の符号化方式では、画像データが、水平方向および垂直方向の２次元のＤＣＴ変換（２次元ＤＣＴ変換）／逆ＤＣＴ変換（２次元逆ＤＣＴ変換）が行われる。
【０１３６】
図６Ａに示すような８×８画素のブロックにおける画素値を、８行×８列の行列Ｘで表すとともに、図６Ｂに示すような８×８のブロックにおけるＤＣＴ係数を、８行×８列の行列Ｆで表すこととすると、２次元ＤＣＴ変換／２次元逆ＤＣＴ変換は、次式で表すことができる。
【０１３７】
ＣＸＣ^T＝Ｆ・・・（９）
Ｃ^TＦＣ＝Ｘ・・・（１０）
【０１３８】
ここで、上付のＴは、転置を表す。また、Ｃは、８行×８列のＤＣＴ変換行列で、その第ｉ＋１行第ｊ＋１列のコンポーネントｃ_ijは、次式で表される。
【０１３９】
ｃ_ij＝Ａ_i×ｃｏｓ（（２ｊ＋１）×ｉ×π／１６）・・・（１１）
【０１４０】
但し、式（１１）において、ｉ＝０のときは、Ａ_i＝１／（２√２）であり、ｉ≠０のときは、Ａ_i＝１／２である。また、ｉとｊは、０乃至７の範囲の整数値である。
【０１４１】
式（９）は、画素値Ｘを、２次元ＤＣＴ係数Ｆに変換する２次元ＤＣＴ変換を表し、式（１０）は、２次元ＤＣＴ係数Ｆを、画素値Ｘに変換する２次元逆ＤＣＴ変換を表す。
【０１４２】
従って、式（１０）によれば、２次元ＤＣＴ係数Ｆは、その左側から行列Ｃ^Tをかけるとともに、その右側から行列Ｃをかけることにより、画素値Ｘに変換されるが、１次元逆ＤＣＴ変換部３１は、２次元ＤＣＴ係数Ｆに対して、その左側から行列Ｃ^Tをかけるだけか、または、その右側から行列Ｃをかけるだけかすることにより、１次元ＤＣＴ係数を求める。
【０１４３】
即ち、１次元逆ＤＣＴ変換部３１は、２次元ＤＣＴ係数Ｆに対して、その左側から行列Ｃ^Tだけをかける。この場合、図６Ｃに示すように、２次元ＤＣＴ係数Ｆにおける垂直方向が空間領域に変換され、水平方向が周波数領域のままとされる垂直１次元逆ＤＣＴ変換が行われることとなり、その結果、水平方向の空間周波数成分を表す水平１次元ＤＣＴ係数ｖＸｈＦを得ることができる。
【０１４４】
また、１次元逆ＤＣＴ変換部３１は、２次元ＤＣＴ係数Ｆに対して、その右側から行列Ｃだけをかける。この場合、図６Ｄに示すように、２次元ＤＣＴ係数Ｆにおける水平方向が空間領域に変換され、垂直方向が周波数領域のままとされる水平１次元逆ＤＣＴ変換が行われることとなり、その結果、垂直方向の空間周波数成分を表す垂直１次元ＤＣＴ係数ｈＸｖＦを得ることができる。
【０１４５】
なお、横×縦が８×８の２次元ＤＣＴ係数Ｆを、垂直１次元逆ＤＣＴ変換した場合には、８×１の水平１次元ＤＣＴ係数が、８セット（８行分）得られることになる（図６Ｃ）。また、２次元ＤＣＴ係数Ｆを、水平１次元逆ＤＣＴ変換した場合には、１×８の垂直１次元ＤＣＴ係数が、８セット（８列分）得られることになる（図６Ｄ）。
【０１４６】
そして、ある行における８×１の水平１次元ＤＣＴ係数については、その左端のＤＣＴ係数が、その行の８画素の画素値の直流成分（ＤＣ成分）（８画素の画素値の平均値）を表し、他の７つのＤＣＴ係数が、その行の水平方向の交流成分を表す。また、ある列における１×８の垂直１次元ＤＣＴ係数については、その最上行のＤＣＴ係数が、その列の８画素の画素値の直流成分を表し、他の７つのＤＣＴ係数が、その列の垂直方向の交流成分を表す。
【０１４７】
ここで、式（９）によれば、水平１次元ＤＣＴ係数は、２次元ＤＣＴ係数Ｆに対応する画素値Ｘに対して、その右側から行列Ｃ^Tをかける水平１次元ＤＣＴ変換を行うことによっても求めることができる。また、垂直１次元ＤＣＴ係数は、２次元ＤＣＴ係数Ｆに対応する画素値Ｘに対して、その左側から行列Ｃをかける垂直１次元ＤＣＴ変換を行うことによっても求めることができる。
【０１４８】
図７は、実際の画像と、その画像についての２次元ＤＣＴ係数、水平１次元ＤＣＴ係数、および垂直１次元ＤＣＴ係数を示している。
【０１４９】
なお、図７は、８×８ブロックの画像と、その画像についての２次元ＤＣＴ係数、水平１次元ＤＣＴ係数、および垂直１次元ＤＣＴ係数を示している。また、図７Ａが、実際の画像を、図７Ｂが、２次元ＤＣＴ係数を、図７Ｃが、水平１次元ＤＣＴ係数を、図７Ｄが、垂直１次元ＤＣＴ係数を、それぞれ示している。
【０１５０】
ここで、図７Ａの画像は、８ビットの画素値を有するものであり、そのような画素値から求められるＤＣＴ係数は、負の値も取り得る。但し、図７Ｂ乃至図７Ｄの実施の形態では、求められたＤＣＴ係数に対して、１２８（＝２⁷）を加算し、その加算値が０未満となるものは０にクリップするとともに、加算値が２５６以上となるものは２５５にクリップすることにより、０乃至２５５の範囲のＤＣＴ係数を、図示してある。
【０１５１】
２次元ＤＣＴ係数には、８×８画素のブロック全体の情報が反映されているため、２次元ＤＣＴ係数からでは、ブロック内の特定の画素の情報等の局所的な情報を把握するのは困難である。これに対して、水平１次元ＤＣＴ係数または垂直１次元ＤＣＴ係数には、ブロックのある１行または１列だけの情報が、それぞれ反映されているため、２次元ＤＣＴ係数に比較して、ブロック内の局所的な情報を容易に把握することができる。
【０１５２】
即ち、ブロックのある行の特徴は、その行の８×１の水平１次元ＤＣＴ係数から把握することができ、ある列の特徴は、その列の１×８の垂直１次元ＤＣＴ係数から把握することができる。さらに、ブロックのある画素の特徴は、その画素が位置する行の８×１の水平１次元ＤＣＴ係数と、その画素が位置する列の１×８の垂直１次元ＤＣＴ係数とから把握することができる。
【０１５３】
また、左右に隣接するブロックどうしの境界の状態は、ブロック全体の情報が反映された２次元ＤＣＴ係数よりも、ブロックの境界部分の垂直方向の空間周波数成分を表す垂直１次元ＤＣＴ係数を用いた方が、より正確に把握することができる。さらに、上下に隣接するブロックどうしの境界の状態も、ブロック全体の情報が反映された２次元ＤＣＴ係数よりも、ブロックの境界部分の水平方向の空間周波数成分を表す水平１次元ＤＣＴ係数を用いた方が、より正確に把握することができる。
【０１５４】
次に、図２の隣接次元ＤＣＴ係数選択／変換部３２は、上述したように、１次元逆ＤＣＴ変換部３１から供給される１次元ＤＣＴ係数の中から、注目ブロックに隣接する画素（列）の１次元ＤＣＴ係数（隣接１次元ＤＣＴ係数）を取得するが、この隣接１次元ＤＣＴ係数は、注目ブロックと、その注目ブロックと空間的に隣接するブロック（以下、適宜、隣接ブロックという）との間のブロック境界の状態を分析するのに用いられるものであるため、空間領域において、注目ブロックの境界と隣接する画素列を１次元ＤＣＴ変換したものである必要がある。
【０１５５】
しかしながら、ＭＰＥＧ２では、マクロブロック単位で、フレーム構造とフィールド構造の選択が可能であることから、注目ブロックを含む注目マクロブロックの構造や、注目マクロブロックに隣接するマクロブロック（以下、適宜、隣接マクロブロックという）の構造によっては、注目ブロックに隣接する隣接ブロックにおける、注目ブロックに隣接する１次元ＤＣＴ係数が、空間領域において、注目ブロックの境界と隣接する画素列を１次元ＤＣＴ変換したものとなっていない場合がある。
【０１５６】
そこで、隣接１次元ＤＣＴ係数選択／変換部３２は、バッファメモリ１２から供給されるＤＣＴタイプによって、注目ブロックと隣接ブロックの構造を認識し、注目ブロックの構造を基準として、空間領域において、その注目ブロックの境界と隣接する隣接ブロックの画素列を１次元ＤＣＴ変換した１次元ＤＣＴ係数（隣接１次元ＤＣＴ係数）を取得するようになっている。
【０１５７】
ここで、図８乃至図２３を参照して、注目ブロックの構造を基準とした場合に、空間領域において、その注目ブロックの境界と隣接する隣接ブロックの画素列を１次元ＤＣＴ変換したものとなる１次元ＤＣＴ係数について説明する。
【０１５８】
なお、図８乃至図２３では、注目マクロブロックをＭＢ_Nと、注目マクロブロックＭＢ_Nの上下左右に隣接するマクロブロックを、それぞれＭＢ_U，ＭＢ_D，ＭＢ_L，ＭＢ_Rと表す。
【０１５９】
さらに、注目マクロブロックＭＢ_Nの左上、左下、右上、右下のブロックを、それぞれ、Ｂ_NUL，Ｂ_NDL，Ｂ_NUR，Ｂ_NDRと表し、上隣接マクロブロック（注目ブロックの上に隣接するマクロブロック）ＭＢ_Uの左上、左下、右上、右下のブロックを、それぞれ、Ｂ_UUL，Ｂ_UDL，Ｂ_UUR，Ｂ_UDRと表す。また、下隣接マクロブロック（注目ブロックの下に隣接するマクロブロック）ＭＢ_Dの左上、左下、右上、右下のブロックを、それぞれ、Ｂ_DUL，Ｂ_DDL，Ｂ_DUR，Ｂ_DDRと表し、左隣接マクロブロック（注目ブロックの左に隣接するマクロブロック）ＭＢ_Lの左上、左下、右上、右下のブロックを、それぞれ、Ｂ_LUL，Ｂ_LDL，Ｂ_LUR，Ｂ_LDRと表す。さらに、右隣接マクロブロック（注目ブロックの右に隣接するマクロブロック）ＭＢ_Rの左上、左下、右上、右下のブロックを、それぞれ、Ｂ_RUL，Ｂ_RDL，Ｂ_RUR，Ｂ_RDRと表す。
【０１６０】
図８は、注目マクロブロックＭＢ_Nの左上のブロックＢ_NULが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NULの上側の境界、即ち、最上行の８画素に隣接する隣接ブロックの画素列（以下、適宜、上隣接画素列という）を示している。
【０１６１】
なお、図８において、影を付してあるラインが、注目ブロックＢ_NULの最上行の画素列を表し、斜線を付してあるラインが、上隣接画素列を表している。
【０１６２】
注目マクロブロックＭＢ_Nの左上のブロックＢ_NULが注目ブロックである場合の上に隣接するブロックは、注目マクロブロックＭＢ_Nの中のブロックではない上隣接マクロブロックＭＢ_Uの左下のブロックＢ_UDLとなるから、注目ブロックＢ_NULの最上行の画素列の上に隣接する上隣接画素列がいずれの画素列になるかは、注目マクロブロックＭＢ_Nと、上隣接マクロブロックＭＢ_Uの両方の構造を考慮する必要がある。
【０１６３】
即ち、注目マクロブロックＭＢ_Nと上隣接マクロブロックＭＢ_UのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、注目ブロックＢ_NULは、注目マクロブロックＭＢ_Nの左上の８×８画素であり、図８Ａに示すように、その最上行の８画素（影を付してある部分）は、空間領域において、フレーム構造の上隣接マクロブロックＭＢ_Uの左下のブロックＢ_UDLの最下行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NULの最上行の水平１次元ＤＣＴ係数に対し、空間領域において上側に隣接する画素列の水平１次元ＤＣＴ係数（以下、適宜、上隣接１次元ＤＣＴ係数という）は、ブロックＢ_UDLの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０１６４】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、上隣接マクロブロックＭＢ_UのＤＣＴタイプが、フィールドＤＣＴの場合は、注目ブロックＢ_NULは、注目マクロブロックＭＢ_Nの左上の８×８画素であり、図８Ｂに示すように、その最上行の８画素（影を付してある部分）は、空間領域において、フィールド構造の上隣接マクロブロックＭＢ_Uの左下のブロックＢ_UDLの最下行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NULの最上行の水平１次元ＤＣＴ係数に対する上隣接１次元ＤＣＴ係数は、ブロックＢ_UDLの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０１６５】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、上隣接マクロブロックＭＢ_UのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NULは、注目マクロブロックＭＢ_Nの８つの奇数ラインの左側の８画素であり、図８Ｃに示すように、その最上行の８画素（影を付してある部分）は、空間領域において、フレーム構造の上隣接マクロブロックＭＢ_Uの左下ブロックＢ_UDLの第７行目（上から７行目）の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NULの最上行の水平１次元ＤＣＴ係数に対する上隣接１次元ＤＣＴ係数は、ブロックＢ_UDLの第７行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０１６６】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、上隣接マクロブロックＭＢ_UのＤＣＴタイプも、フィールドＤＣＴの場合は、注目ブロックＢ_NULは、注目マクロブロックＭＢ_Nの８つの奇数ラインの左側の８画素であり、図８Ｄに示すように、その最上行の８画素（影を付してある部分）は、空間領域において、フィールド構造の上隣接マクロブロックＭＢ_Uの左上のブロックＢ_UULの最下行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NULの最上行の水平１次元ＤＣＴ係数に対する上隣接１次元ＤＣＴ係数は、ブロックＢ_UULの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０１６７】
次に、図９は、注目マクロブロックＭＢ_Nの左上のブロックＢ_NULが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NULの下側の境界、即ち、最下行の８画素に隣接する隣接ブロックの画素列（以下、適宜、下隣接画素列という）を示している。
【０１６８】
なお、図９において、影を付してあるラインが、注目ブロックＢ_NULの最下行の画素列を表し、斜線を付してあるラインが、下隣接画素列を表している。
【０１６９】
注目マクロブロックＭＢ_Nの左上のブロックＢ_NULが注目ブロックである場合の下に隣接するブロックは、注目マクロブロックＭＢ_Nの中の左下のブロックＢ_NDLとなるから、注目ブロックＢ_NULの最下行の画素列の下に隣接する下隣接画素列がいずれの画素列になるかは、注目マクロブロックＭＢ_Nの構造のみを考慮すれば良い。
【０１７０】
即ち、注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NULは、注目マクロブロックＭＢ_Nの左上の８×８画素であり、図９Ａに示すように、その最下行の８画素（影を付してある部分）は、空間領域において、フレーム構造の注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLの最上行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NULの最下行の水平１次元ＤＣＴ係数に対し、空間領域において下側に隣接する画素列の水平１次元ＤＣＴ係数（以下、適宜、下隣接１次元ＤＣＴ係数という）は、ブロックＢ_NDLの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０１７１】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴである場合は、注目ブロックＢ_NULは、注目マクロブロックＭＢ_Nの８つの奇数ラインの左側の８画素であり、図９Ｂに示すように、その最下行の８画素（影を付してある部分）は、空間領域において、フィールド構造の注目マクロブロックＭＢ_Nの下に隣接する下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULの最上行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NULの最下行の水平１次元ＤＣＴ係数に対する下隣接１次元ＤＣＴ係数は、ブロックＢ_DULの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０１７２】
次に、図１０は、注目マクロブロックＭＢ_Nの左上のブロックＢ_NULが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NULの左側の境界、即ち、最左列の８画素に隣接する隣接ブロックの画素列（以下、適宜、左隣接画素列という）を示している。
【０１７３】
なお、図１０において、影を付してあるラインが、注目ブロックＢ_NULの最左列の画素列を表し、斜線を付してあるラインが、左隣接画素列を表している。
【０１７４】
注目マクロブロックＭＢ_Nの左上のブロックＢ_NULが注目ブロックである場合の左に隣接するブロックは、注目マクロブロックＭＢ_Nの中のブロックではない左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURとなるから、注目ブロックＢ_NULの最左列の画素列の左に隣接する左隣接画素列がいずれの画素列になるかは、注目マクロブロックＭＢ_Nと、左隣接マクロブロックＭＢ_Lの両方の構造を考慮する必要がある。
【０１７５】
即ち、注目マクロブロックＭＢ_Nと左隣接マクロブロックＭＢ_UのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、注目ブロックＢ_NULは、注目マクロブロックＭＢ_Nの左上の８×８画素であり、図１０Ａに示すように、その最左列の８画素（影を付してある部分）は、空間領域において、フレーム構造の左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURの最右列の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NULの最左列の垂直１次元ＤＣＴ係数に対し、空間領域において左側に隣接する画素列の垂直１次元ＤＣＴ係数（以下、適宜、左隣接１次元ＤＣＴ係数という）は、ブロックＢ_LURの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０１７６】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、左隣接マクロブロックＭＢ_LのＤＣＴタイプが、フィールドＤＣＴの場合は、注目ブロックＢ_NULは、注目マクロブロックＭＢ_Nの左上の８×８画素であり、図１０Ｂに示すように、その最左列の８画素（影を付してある部分）は、空間領域において、フィールド構造の左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の上４画素と、その右下のブロックＢ_LDRにおける最右列の上４画素の合計８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NULの最左列の垂直１次元ＤＣＴ係数に対する左隣接１次元ＤＣＴ係数は、ブロックＢ_LURにおける最右列の上４画素とブロックＢ_LDRにおける最右列の上４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０１７７】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、左隣接マクロブロックＭＢ_LのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NULは、注目マクロブロックＭＢ_Nの８つの奇数ラインの左側の８画素であり、図１０Ｃに示すように、その最左列の８画素（影を付してある部分）は、空間領域において、フレーム構造の左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の奇数行の４画素と、その右下のブロックＢ_LDRにおける奇数行の４画素の合計８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NULの最左列の垂直１次元ＤＣＴ係数に対する左隣接１次元ＤＣＴ係数は、ブロックＢ_LURにおける最右列の奇数行の４画素とブロックＢ_LDRにおける奇数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０１７８】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、左隣接マクロブロックＭＢ_LのＤＣＴタイプも、フィールドＤＣＴの場合は、注目ブロックＢ_NULは、注目マクロブロックＭＢ_Nの８つの奇数ラインの左側の８画素であり、図１０Ｄに示すように、その最左列の８画素（影を付してある部分）は、空間領域において、フィールド構造の左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURの最右列の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NULの最左列の垂直１次元ＤＣＴ係数に対する左隣接１次元ＤＣＴ係数は、ブロックＢ_LURの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０１７９】
次に、図１１は、注目マクロブロックＭＢ_Nの左上のブロックＢ_NULが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NULの右側の境界、即ち、最右列の８画素に隣接する隣接ブロックの画素列（以下、適宜、右隣接画素列という）を示している。
【０１８０】
なお、図１１において、影を付してあるラインが、注目ブロックＢ_NULの最右列の画素列を表し、斜線を付してあるラインが、右隣接画素列を表している。
【０１８１】
注目マクロブロックＭＢ_Nの左上のブロックＢ_NULが注目ブロックである場合の右に隣接するブロックは、注目マクロブロックＭＢ_Nの中の右上のブロックＢ_NURになるから、注目ブロックＢ_NULの最右列の画素列の右に隣接する右隣接画素列は、必ず、ブロック_NURの最左列の８画素となるので、注目マクロブロックＭＢ_Nや、その注目マクロブロックＭＢ_Nに隣接するマクロブロックの構造を考慮する必要はない。
【０１８２】
即ち、注目マクロブロックＭＢ_Nの左上のブロックＢ_NULが注目ブロックである場合には、図１１に示すように、その最右列の８画素（影を付してある部分）は、空間領域において、注目ブロックＢ_NULの右隣のブロックＢ_NURの最左列の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NULの最右列の垂直１次元ＤＣＴ係数に対し、空間領域において右側に隣接する画素列の垂直１次元ＤＣＴ係数（以下、適宜、右隣接１次元ＤＣＴ係数という）は、ブロックＢ_NURの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０１８３】
次に、図１２は、注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDLの上側の境界、即ち、最上行の８画素に隣接する隣接ブロックの画素列（上隣接画素列）を示している。
【０１８４】
なお、図１２において、影を付してあるラインが、注目ブロックＢ_NDLの最上行の画素列を表し、斜線を付してあるラインが、上隣接画素列を表している。
【０１８５】
注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLが注目ブロックである場合の上に隣接するブロックは、注目マクロブロックＭＢ_Nの中の左上のブロックＢ_NULとなるから、注目ブロックＢ_NDLの最上行の画素列の上に隣接する上隣接画素列がいずれの画素列になるかは、注目マクロブロックＭＢ_Nの構造のみを考慮すれば良い。
【０１８６】
即ち、注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NDLは、注目マクロブロックＭＢ_Nの左下の８×８画素であり、図１２Ａに示すように、その最上行の８画素（影を付してある部分）は、空間領域において、フレーム構造の注目マクロブロックＭＢ_Nの左上ブロックＢ_NULの最下行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDLの最上行の水平１次元ＤＣＴ係数に対する上隣接１次元ＤＣＴ係数は、ブロックＢ_NULの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０１８７】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴである場合は、注目ブロックＢ_NDLは、注目マクロブロックＭＢ_Nの８つの偶数ラインの左側の８画素であり、図１２Ｂに示すように、その最上行の８画素（影を付してある部分）は、空間領域において、フレーム構造の注目マクロブロックＭＢ_Nの上に隣接する上隣接マクロブロックＭＢ_Uの左下のブロックＢ_UDLの最下行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDLの最上行の水平１次元ＤＣＴ係数に対する上隣接１次元ＤＣＴ係数は、ブロックＢ_UDLの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０１８８】
次に、図１３は、注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDLの下側の境界、即ち、最下行の８画素に隣接する隣接ブロックの画素列（下隣接画素列）を示している。
【０１８９】
なお、図１３において、影を付してあるラインが、注目ブロックＢ_NDLの最下行の画素列を表し、斜線を付してあるラインが、下隣接画素列を表している。
【０１９０】
注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLが注目ブロックである場合の下に隣接するブロックは、注目マクロブロックＭＢ_Nの中のブロックではない下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULとなるから、注目ブロックＢ_NDLの最下行の画素列の下に隣接する下隣接画素列がいずれの画素列になるかは、注目マクロブロックＭＢ_Nと、下隣接マクロブロックＭＢ_Dの両方の構造を考慮する必要がある。
【０１９１】
即ち、注目マクロブロックＭＢ_Nと下隣接マクロブロックＭＢ_DのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、注目ブロックＢ_NDLは、注目マクロブロックＭＢ_Nの左下の８×８画素であり、図１３Ａに示すように、その最下行の８画素（影を付してある部分）は、空間領域において、フレーム構造の下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULの最上行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDLの最下行の水平１次元ＤＣＴ係数に対する下隣接１次元ＤＣＴ係数は、ブロックＢ_DULの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０１９２】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、下隣接マクロブロックＭＢ_DのＤＣＴタイプが、フィールドＤＣＴの場合は、注目ブロックＢ_NDLは、注目マクロブロックＭＢ_Nの左下の８×８画素であり、図１３Ｂに示すように、その最下行の８画素（影を付してある部分）は、空間領域において、フィールド構造の下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULの最上行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDLの最下行の水平１次元ＤＣＴ係数に対する下隣接１次元ＤＣＴ係数は、ブロックＢ_DULの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０１９３】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、下隣接マクロブロックＭＢ_DのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NDLは、注目マクロブロックＭＢ_Nの８つの偶数ラインの左側の８画素であり、図１３Ｃに示すように、その最下行の８画素（影を付してある部分）は、空間領域において、フレーム構造の下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULの第２行目の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDLの最下行の水平１次元ＤＣＴ係数に対する下隣接１次元ＤＣＴ係数は、ブロックＢ_DULの第２行目の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０１９４】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、下隣接マクロブロックＭＢ_DのＤＣＴタイプも、フィールドＤＣＴの場合は、注目ブロックＢ_NDLは、注目マクロブロックＭＢ_Nの８つの偶数ラインの左側の８画素であり、図１３Ｄに示すように、その最下行の８画素（影を付してある部分）は、空間領域において、フィールド構造の下隣接マクロブロックＭＢ_Dの左下のブロックＢ_DDLの最上行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDLの最下行の水平１次元ＤＣＴ係数に対する下隣接１次元ＤＣＴ係数は、ブロックＢ_DDLの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０１９５】
次に、図１４は、注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDLの左側の境界、即ち、最左列の８画素に隣接する隣接ブロックの画素列（左隣接画素列）を示している。
【０１９６】
なお、図１４において、影を付してあるラインが、注目ブロックＢ_NDLの最左列の画素列を表し、斜線を付してあるラインが、左隣接画素列を表している。
【０１９７】
注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLが注目ブロックである場合の左に隣接するブロックは、注目マクロブロックＭＢ_Nの中のブロックではない左隣接マクロブロックＭＢ_Lの右下のブロックＢ_LDRとなるから、注目ブロックＢ_NDLの最左列の画素列の左に隣接する左隣接画素列がいずれの画素列になるかは、注目マクロブロックＭＢ_Nと、左隣接マクロブロックＭＢ_Lの両方の構造を考慮する必要がある。
【０１９８】
即ち、注目マクロブロックＭＢ_Nと左隣接マクロブロックＭＢ_LのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、注目ブロックＢ_NDLは、注目マクロブロックＭＢ_Nの左下の８×８画素であり、図１４Ａに示すように、その最左列の８画素（影を付してある部分）は、空間領域において、フレーム構造の左隣接マクロブロックＭＢ_Lの右下のブロックＢ_LDRの最右列の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDLの最左列の垂直１次元ＤＣＴ係数に対する左隣接１次元ＤＣＴ係数は、ブロックＢ_LDRの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０１９９】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、左隣接マクロブロックＭＢ_LのＤＣＴタイプが、フィールドＤＣＴの場合は、注目ブロックＢ_NDLは、注目マクロブロックＭＢ_Nの左下の８×８画素であり、図１４Ｂに示すように、その最左列の８画素（影を付してある部分）は、空間領域において、フィールド構造の左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の下４画素と、その右下のブロックＢ_LDRにおける最右列の下４画素の合計８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDLの最左列の垂直１次元ＤＣＴ係数に対する左隣接１次元ＤＣＴ係数は、ブロックＢ_LURにおける最右列の下４画素とブロックＢ_LDRにおける最右列の下４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０２００】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、左隣接マクロブロックＭＢ_LのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NDLは、注目マクロブロックＭＢ_Nの８つの偶数ラインの左側の８画素であり、図１４Ｃに示すように、その最左列の８画素（影を付してある部分）は、空間領域において、フレーム構造の左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の偶数行の４画素と、その右下のブロックＢ_LDRにおける偶数行の４画素の合計８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDLの最左列の垂直１次元ＤＣＴ係数に対する左隣接１次元ＤＣＴ係数は、ブロックＢ_LURにおける最右列の偶数行の４画素とブロックＢ_LDRにおける偶数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０２０１】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、左隣接マクロブロックＭＢ_LのＤＣＴタイプも、フィールドＤＣＴの場合は、注目ブロックＢ_NDLは、注目マクロブロックＭＢ_Nの８つの偶数ラインの左側の８画素であり、図１４Ｄに示すように、その最左列の８画素（影を付してある部分）は、空間領域において、フィールド構造の左隣接マクロブロックＭＢ_Lの右下のブロックＢ_LDRの最右列の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDLの最左列の垂直１次元ＤＣＴ係数に対する左隣接１次元ＤＣＴ係数は、ブロックＢ_LDRの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０２０２】
次に、図１５は、注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDLの右側の境界、即ち、最右列の８画素に隣接する隣接ブロックの画素列（右隣接画素列）を示している。
【０２０３】
なお、図１５において、影を付してあるラインが、注目ブロックＢ_NDLの最右列の画素列を表し、斜線を付してあるラインが、右隣接画素列を表している。
【０２０４】
注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLが注目ブロックである場合の右に隣接するブロックは、注目マクロブロックＭＢ_Nの中の右下のブロックＢ_NDRになるから、注目ブロックＢ_NDLの最右列の画素列の右に隣接する右隣接画素列は、必ず、ブロック_NDRの最左列の８画素となるので、注目マクロブロックＭＢ_Nや、その注目マクロブロックＭＢ_Nに隣接するマクロブロックの構造を考慮する必要はない。
【０２０５】
即ち、注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLが注目ブロックである場合には、図１５に示すように、その最右列の８画素（影を付してある部分）は、空間領域において、注目ブロックＢ_NDLの右隣のブロックＢ_NDRの最左列の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDLの最右列の垂直１次元ＤＣＴ係数に対する右隣接１次元ＤＣＴ係数は、ブロックＢ_NDRの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０２０６】
図１６は、注目マクロブロックＭＢ_Nの右上のブロックＢ_NURが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NURの上側の境界、即ち、最上行の８画素に隣接する隣接ブロックの画素列（上隣接画素列）を示している。
【０２０７】
なお、図１６において、影を付してあるラインが、注目ブロックＢ_NURの最上行の画素列を表し、斜線を付してあるラインが、上隣接画素列を表している。
【０２０８】
注目マクロブロックＭＢ_Nの右上のブロックＢ_NURが注目ブロックである場合の上に隣接するブロックは、注目マクロブロックＭＢ_Nの中のブロックではない上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRとなるから、注目ブロックＢ_NURの最上行の画素列の上に隣接する上隣接画素列がいずれの画素列になるかは、注目マクロブロックＭＢ_Nと、上隣接マクロブロックＭＢ_Uの両方の構造を考慮する必要がある。
【０２０９】
即ち、注目マクロブロックＭＢ_Nと上隣接マクロブロックＭＢ_UのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、注目ブロックＢ_NURは、注目マクロブロックＭＢ_Nの右上の８×８画素であり、図１６Ａに示すように、その最上行の８画素（影を付してある部分）は、空間領域において、フレーム構造の上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRの最下行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NURの最上行の水平１次元ＤＣＴ係数に対する上隣接１次元ＤＣＴ係数は、ブロックＢ_UDRの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０２１０】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、上隣接マクロブロックＭＢ_UのＤＣＴタイプが、フィールドＤＣＴの場合は、注目ブロックＢ_NURは、注目マクロブロックＭＢ_Nの右上の８×８画素であり、図１６Ｂに示すように、その最上行の８画素（影を付してある部分）は、空間領域において、フィールド構造の上隣接マクロブロックＭＢ_Uの右下ブロックＢ_UDRの最下行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NURの最上行の水平１次元ＤＣＴ係数に対する上隣接１次元ＤＣＴ係数は、ブロックＢ_UDRの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０２１１】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、上隣接マクロブロックＭＢ_UのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NURは、注目マクロブロックＭＢ_Nの８つの奇数ラインの右側の８画素であり、図１６Ｃに示すように、その最上行の８画素（影を付してある部分）は、空間領域において、フレーム構造の上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRの第７行目の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NURの最上行の水平１次元ＤＣＴ係数に対する上隣接１次元ＤＣＴ係数は、ブロックＢ_UDRの第７行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０２１２】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、上隣接マクロブロックＭＢ_UのＤＣＴタイプも、フィールドＤＣＴの場合は、注目ブロックＢ_NURは、注目マクロブロックＭＢ_Nの８つの奇数ラインの右側の８画素であり、図１６Ｄに示すように、その最上行の８画素（影を付してある部分）は、空間領域において、フィールド構造の上隣接マクロブロックＭＢ_Uの右上のブロックＢ_UURの最下行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NURの最上行の水平１次元ＤＣＴ係数に対する上隣接１次元ＤＣＴ係数は、ブロックＢ_UURの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０２１３】
次に、図１７は、注目マクロブロックＭＢ_Nの右上のブロックＢ_NURが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NURの下側の境界、即ち、最下行の８画素に隣接する隣接ブロックの画素列（下隣接画素列）を示している。
【０２１４】
なお、図１７において、影を付してあるラインが、注目ブロックＢ_NURの最下行の画素列を表し、斜線を付してあるラインが、下隣接画素列を表している。
【０２１５】
注目マクロブロックＭＢ_Nの右上のブロックＢ_NURが注目ブロックである場合の下に隣接するブロックは、注目マクロブロックＭＢ_Nの中の右下のブロックＢ_NDRとなるから、注目ブロックＢ_NURの最下行の画素列の下に隣接する下隣接画素列がいずれの画素列になるかは、注目マクロブロックＭＢ_Nの構造のみを考慮すれば良い。
【０２１６】
即ち、注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NURは、注目マクロブロックＭＢ_Nの右上の８×８画素であり、図１７Ａに示すように、その最下行の８画素（影を付してある部分）は、空間領域において、フレーム構造の注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRの最上行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NURの最下行の水平１次元ＤＣＴ係数に対する下隣接１次元ＤＣＴ係数は、ブロックＢ_NDRの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０２１７】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴである場合は、注目ブロックＢ_NURは、注目マクロブロックＭＢ_Nの８つの奇数ラインの右側の８画素であり、図１７Ｂに示すように、その最下行の８画素（影を付してある部分）は、空間領域において、フレーム構造の注目マクロブロックＭＢ_Nの下に隣接する下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURの最上行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NURの最下行の水平１次元ＤＣＴ係数に対する下隣接１次元ＤＣＴ係数は、ブロックＢ_DURの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０２１８】
次に、図１８は、注目マクロブロックＭＢ_Nの右上のブロックＢ_NURが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NURの左側の境界、即ち、最左列の８画素に隣接する隣接ブロックの画素列（左隣接画素列）を示している。
【０２１９】
なお、図１８において、影を付してあるラインが、注目ブロックＢ_NURの最左列の画素列を表し、斜線を付してあるラインが、左隣接画素列を表している。
【０２２０】
注目マクロブロックＭＢ_Nの右上のブロックＢ_NURが注目ブロックである場合の左に隣接するブロックは、注目マクロブロックＭＢ_Nの中の左上のブロックＢ_NULになるから、注目ブロックＢ_NURの最左列の画素列の左に隣接する左隣接画素列は、必ず、ブロックＢ_NULの最右列の８画素となるので、注目マクロブロックＭＢ_Nや、その注目マクロブロックＭＢ_Nに隣接するマクロブロックの構造を考慮する必要はない。
【０２２１】
即ち、注目マクロブロックＭＢ_Nの右上のブロックＢ_NURが注目ブロックである場合には、図１８に示すように、その最左列の８画素（影を付してある部分）は、空間領域において、注目ブロックＢ_NURの左隣のブロックＢ_NULの最右列の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NURの最左列の垂直１次元ＤＣＴ係数に対する左隣接１次元ＤＣＴ係数は、ブロックＢ_NULの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０２２２】
次に、図１９は、注目マクロブロックＭＢ_Nの右上のブロックＢ_NURが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NURの右側の境界、即ち、最右列の８画素に隣接する隣接ブロックの画素列（右隣接画素列）を示している。
【０２２３】
なお、図１９において、影を付してあるラインが、注目ブロックＢ_NURの最右列の画素列を表し、斜線を付してあるラインが、右隣接画素列を表している。
【０２２４】
注目マクロブロックＭＢ_Nの右上のブロックＢ_NURが注目ブロックである場合の右に隣接するブロックは、注目マクロブロックＭＢ_Nの中のブロックではない右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULとなるから、注目ブロックＢ_NURの最右列の画素列の右に隣接する右隣接画素列がいずれの画素列になるかは、注目マクロブロックＭＢ_Nと、右隣接マクロブロックＭＢ_Rの両方の構造を考慮する必要がある。
【０２２５】
即ち、注目マクロブロックＭＢ_Nと右隣接マクロブロックＭＢ_RのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、注目ブロックＢ_NURは、注目マクロブロックＭＢ_Nの右上の８×８画素であり、図１９Ａに示すように、その最右列の８画素（影を付してある部分）は、空間領域において、フレーム構造の右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULの最左列の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NURの最右列の垂直１次元ＤＣＴ係数に対する右隣接１次元ＤＣＴ係数は、ブロックＢ_RULの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０２２６】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、右隣接マクロブロックＭＢ_RのＤＣＴタイプが、フィールドＤＣＴの場合は、注目ブロックＢ_NURは、注目マクロブロックＭＢ_Nの右上の８×８画素であり、図１９Ｂに示すように、その最左列の８画素（影を付してある部分）は、空間領域において、フィールド構造の右隣接マクロブロックＭＢ_Lの左上のブロックＢ_RULにおける最左列の上４画素と、その左下のブロックＢ_RDLにおける最左列の上４画素の合計８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NURの最右列の垂直１次元ＤＣＴ係数に対する右隣接１次元ＤＣＴ係数は、ブロックＢ_RULにおける最左列の上４画素とブロックＢ_RDLにおける最左列の上４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０２２７】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、右隣接マクロブロックＭＢ_RのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NURは、注目マクロブロックＭＢ_Nの８つの奇数ラインの右側の８画素であり、図１９Ｃに示すように、その最右列の８画素（影を付してある部分）は、空間領域において、フレーム構造の右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の奇数行の４画素と、その左下のブロックＢ_RDLにおける奇数行の４画素の合計８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NURの最右列の垂直１次元ＤＣＴ係数に対する右隣接１次元ＤＣＴ係数は、ブロックＢ_RULにおける最右列の奇数行の４画素とブロックＢ_RDLにおける奇数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０２２８】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、右隣接マクロブロックＭＢ_RのＤＣＴタイプも、フィールドＤＣＴの場合は、注目ブロックＢ_NURは、注目マクロブロックＭＢ_Nの８つの奇数ラインの右側の８画素であり、図１９Ｄに示すように、その最右列の８画素（影を付してある部分）は、空間領域において、フィールド構造の右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULの最左列の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NURの最右列の垂直１次元ＤＣＴ係数に対する右隣接１次元ＤＣＴ係数は、ブロックＢ_RULの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０２２９】
次に、図２０は、注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDRの上側の境界、即ち、最上行の８画素に隣接する隣接ブロックの画素列（上隣接画素列）を示している。
【０２３０】
なお、図２０において、影を付してあるラインが、注目ブロックＢ_NDRの最上行の画素列を表し、斜線を付してあるラインが、上隣接画素列を表している。
【０２３１】
注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRが注目ブロックである場合の上に隣接するブロックは、注目マクロブロックＭＢ_Nの中の右上のブロックＢ_NURとなるから、注目ブロックＢ_NDRの最上行の画素列の上に隣接する上隣接画素列がいずれの画素列になるかは、注目マクロブロックＭＢ_Nの構造のみを考慮すれば良い。
【０２３２】
即ち、注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NDRは、注目マクロブロックＭＢ_Nの右下の８×８画素であり、図２０Ａに示すように、その最上行の８画素（影を付してある部分）は、空間領域において、フレーム構造の注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRの最上行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDRの最上行の水平１次元ＤＣＴ係数に対する上隣接１次元ＤＣＴ係数は、ブロックＢ_NDRの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０２３３】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴである場合は、注目ブロックＢ_NDRは、注目マクロブロックＭＢ_Nの８つの偶数ラインの右側の８画素であり、図２０Ｂに示すように、その最上行の８画素（影を付してある部分）は、空間領域において、フレーム構造の注目マクロブロックＭＢ_Nの上に隣接する上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRの最下行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDRの最上行の水平１次元ＤＣＴ係数に対する上隣接１次元ＤＣＴ係数は、ブロックＢ_UDRの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０２３４】
次に、図２１は、注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDRの下側の境界、即ち、最下行の８画素に隣接する隣接ブロックの画素列（下隣接画素列）を示している。
【０２３５】
なお、図２１において、影を付してあるラインが、注目ブロックＢ_NDRの最下行の画素列を表し、斜線を付してあるラインが、下隣接画素列を表している。
【０２３６】
注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRが注目ブロックである場合の下に隣接するブロックは、注目マクロブロックＭＢ_Nの中のブロックではない下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURとなるから、注目ブロックＢ_NDRの最下行の画素列の下に隣接する下隣接画素列がいずれの画素列になるかは、注目マクロブロックＭＢ_Nと、下隣接マクロブロックＭＢ_Dの両方の構造を考慮する必要がある。
【０２３７】
即ち、注目マクロブロックＭＢ_Nと下隣接マクロブロックＭＢ_DのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、注目ブロックＢ_NDRは、注目マクロブロックＭＢ_Nの右下の８×８画素であり、図２１Ａに示すように、その最下行の８画素（影を付してある部分）は、空間領域において、フレーム構造の下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURの最上行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDRの最下行の水平１次元ＤＣＴ係数に対する下隣接１次元ＤＣＴ係数は、ブロックＢ_DURの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０２３８】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、下隣接マクロブロックＭＢ_DのＤＣＴタイプが、フィールドＤＣＴの場合は、注目ブロックＢ_NDRは、注目マクロブロックＭＢ_Nの右下の８×８画素であり、図２１Ｂに示すように、その最下行の８画素（影を付してある部分）は、空間領域において、フィールド構造の下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURの最上行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDRの最下行の水平１次元ＤＣＴ係数に対する下隣接１次元ＤＣＴ係数は、ブロックＢ_DURの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０２３９】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、下隣接マクロブロックＭＢ_DのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NDRは、注目マクロブロックＭＢ_Nの８つの偶数ラインの右側の８画素であり、図２１Ｃに示すように、その最下行の８画素（影を付してある部分）は、空間領域において、フレーム構造の下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURの第２行目の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDRの最下行の水平１次元ＤＣＴ係数に対する下隣接１次元ＤＣＴ係数は、ブロックＢ_DURの第２行目の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０２４０】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、下隣接マクロブロックＭＢ_DのＤＣＴタイプも、フィールドＤＣＴの場合は、注目ブロックＢ_NDRは、注目マクロブロックＭＢ_Nの８つの偶数ラインの右側の８画素であり、図２１Ｄに示すように、その最下行の８画素（影を付してある部分）は、空間領域において、フィールド構造の下隣接マクロブロックＭＢ_Dの右下のブロックＢ_DDRの最上行の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDRの最下行の水平１次元ＤＣＴ係数に対する下隣接１次元ＤＣＴ係数は、ブロックＢ_DDRの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数になる。
【０２４１】
次に、図２２は、注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDRの左側の境界、即ち、最左列の８画素に隣接する隣接ブロックの画素列（左隣接画素列）を示している。
【０２４２】
なお、図２２において、影を付してあるラインが、注目ブロックＢ_NDRの最左列の画素列を表し、斜線を付してあるラインが、左隣接画素列を表している。
【０２４３】
注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRが注目ブロックである場合の左に隣接するブロックは、注目マクロブロックＭＢ_Nの中の左下のブロックＢ_NDLになるから、注目ブロックＢ_NDRの最左列の画素列の左に隣接する左隣接画素列は、必ず、ブロック_NDLの最右列の８画素となるので、注目マクロブロックＭＢ_Nや、その注目マクロブロックＭＢ_Nに隣接するマクロブロックの構造を考慮する必要はない。
【０２４４】
即ち、注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRが注目ブロックである場合には、図２２に示すように、その最左列の８画素（影を付してある部分）は、空間領域において、注目ブロックＢ_NDRの左隣のブロックＢ_NDLの最右列の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDRの最左列の垂直１次元ＤＣＴ係数に対する左隣接１次元ＤＣＴ係数は、ブロックＢ_NDLの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０２４５】
次に、図２３は、注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDRの右側の境界、即ち、最右列の８画素に隣接する隣接ブロックの画素列（右隣接画素列）を示している。
【０２４６】
なお、図２３において、影を付してあるラインが、注目ブロックＢ_NDRの最右列の画素列を表し、斜線を付してあるラインが、右隣接画素列を表している。
【０２４７】
注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRが注目ブロックである場合の右に隣接するブロックは、注目マクロブロックＭＢ_Nの中のブロックではない右隣接マクロブロックＭＢ_Rの右下のブロックＢ_RDLとなるから、注目ブロックＢ_NDRの最右列の画素列の右に隣接する右隣接画素列がいずれの画素列になるかは、注目マクロブロックＭＢ_Nと、右隣接マクロブロックＭＢ_Rの両方の構造を考慮する必要がある。
【０２４８】
即ち、注目マクロブロックＭＢ_Nと右隣接マクロブロックＭＢ_RのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、注目ブロックＢ_NDRは、注目マクロブロックＭＢ_Nの右下の８×８画素であり、図２３Ａに示すように、その最右列の８画素（影を付してある部分）は、空間領域において、フレーム構造の右隣接マクロブロックＭＢ_Rの左下のブロックＢ_RDLの最左列の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDRの最右列の垂直１次元ＤＣＴ係数に対する右隣接１次元ＤＣＴ係数は、ブロックＢ_RDLの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０２４９】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、右隣接マクロブロックＭＢ_RのＤＣＴタイプが、フィールドＤＣＴの場合は、注目ブロックＢ_NDRは、注目マクロブロックＭＢ_Nの右下の８×８画素であり、図２３Ｂに示すように、その最右列の８画素（影を付してある部分）は、空間領域において、フィールド構造の右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の下４画素と、その左下のブロックＢ_RDLにおける最左列の下４画素の合計８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDRの最右列の垂直１次元ＤＣＴ係数に対する右隣接１次元ＤＣＴ係数は、ブロックＢ_RULにおける最左列の下４画素とブロックＢ_RDLにおける最左列の下４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０２５０】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、右隣接マクロブロックＭＢ_RのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NDRは、注目マクロブロックＭＢ_Nの８つの偶数ラインの左側の８画素であり、図２３Ｃに示すように、その最右列の８画素（影を付してある部分）は、空間領域において、フレーム構造の右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の偶数行の４画素と、その左下のブロックＢ_RDLにおける最左列の偶数行の４画素の合計８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDRの最左列の垂直１次元ＤＣＴ係数に対する右隣接１次元ＤＣＴ係数は、ブロックＢ_RULにおける最左列の偶数行の４画素とブロックＢ_RDLにおける偶数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０２５１】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、右隣接マクロブロックＭＢＲのＤＣＴタイプも、フィールドＤＣＴの場合は、注目ブロックＢ_NDRは、注目マクロブロックＭＢ_Nの８つの偶数ラインの右側の８画素であり、図２３Ｄに示すように、その最右列の８画素（影を付してある部分）は、空間領域において、フィールド構造の右隣接マクロブロックＭＢ_Rの左下のブロックＢ_RDLの最左列の８画素（斜線を付してある部分）と隣接する。従って、注目ブロックＢ_NDRの最右列の垂直１次元ＤＣＴ係数に対する右隣接１次元ＤＣＴ係数は、ブロックＢ_RDLの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数になる。
【０２５２】
次に、図２４は、図８乃至図２３で説明したような、注目ブロックに対する隣接１次元ＤＣＴ係数（上隣接１次元ＤＣＴ係数、下隣接１次元ＤＣＴ係数、左隣接１次元ＤＣＴ係数、および右隣接１次元ＤＣＴ係数）を取得する、図２の隣接１次元ＤＣＴ係数選択／変換部３２の構成例を示している。
【０２５３】
隣接１次元ＤＣＴ係数選択／変換部３２において、１次元逆ＤＣＴ変換部３１（図２）が出力する１次元ＤＣＴ係数（水平１次元ＤＣＴ係数および垂直１次元ＤＣＴ係数）は、メモリ８１に供給されるようになっており、バッファメモリ１２（図１２）に記憶された注目マクロブロックと隣接マクロブロック（上隣接マクロブロック、下隣接マクロブロック、左隣接マクロブロック、および右隣接マクロブロック）のＤＣＴタイプは、サンプリング部８３および選択部８５に供給されるようになっている。
【０２５４】
制御部８０は、隣接１次元ＤＣＴ係数選択／変換部３２を構成する各ブロックを制御する。
【０２５５】
メモリ８１は、１次元逆ＤＣＴ変換部３１（図２）が出力する１次元ＤＣＴ係数を、一時記憶する。
【０２５６】
垂直１次元逆ＤＣＴ変換部８２は、メモリ８１に記憶された垂直１次元ＤＣＴ係数を読み出して、垂直１次元逆ＤＣＴ変換し、これにより、横×縦が１×８の画素列を得て出力する。垂直１次元逆ＤＣＴ変換部８２が出力する１×８の画素列は、サンプリング部８３に供給される。
【０２５７】
サンプリング部８３は、バッファメモリ１２（図２）に記憶された注目マクロブロックと隣接マクロブロックのＤＣＴタイプに基づき、垂直１次元逆ＤＣＴ変換部８３から供給される画素列を対象としたサンプリングを行い、そのサンプリングの結果得られる画素から、１×８の画素列を再構成して、垂直１次元ＤＣＴ変換部８４に供給する。
【０２５８】
垂直１次元ＤＣＴ変換部８４は、サンプリング部８３から供給される１×８の画素列を、垂直１次元ＤＣＴ変換し、これにより、横×縦が１×８の垂直１次元ＤＣＴ係数を得て、選択部８５に供給する。
【０２５９】
選択部８５は、メモリ８１に記憶された水平１次元ＤＣＴ係数もしくは垂直１次元ＤＣＴ係数、または垂直１次元ＤＣＴ変換部８４が出力する垂直１次元ＤＣＴ係数を選択し、隣接１次元ＤＣＴ係数として出力する。
【０２６０】
次に、図２５のフローチャートを参照して、図２４の隣接１次元ＤＣＴ係数選択／変換部３２の処理（隣接１次元ＤＣＴ係数選択／変換処理）について説明する。
【０２６１】
メモリ８１には、注目マクロブロック、上隣接マクロブロック、下隣接マクロブロック、左隣接マクロブロック、および右隣接マクロブロックの１次元ＤＣＴ係数が供給されて記憶される。また、サンプリング部８３および選択部８５には、注目マクロブロック、上隣接マクロブロック、下隣接マクロブロック、左隣接マクロブロック、および右隣接マクロブロックのＤＣＴタイプが供給される。
【０２６２】
そして、ステップＳ１において、制御部８０は、注目マクロブロックにおける注目ブロックの位置を判定する。ステップＳ１において、注目ブロックが、注目ブロックの左上、左下、右上、または右下のブロックであると判定された場合、ステップＳ２，Ｓ３，Ｓ４、またはＳ５にそれぞれ進み、左上ブロック処理、左下ブロック処理、右上ブロック処理、または右下ブロック処理がそれぞれ行われ、処理を終了する。
【０２６３】
なお、図２５のフローチャートに示した処理は、例えば、注目ブロックが変更されるごとに行われる。
【０２６４】
次に、図２６のフローチャートを参照して、図２５のステップＳ２における左上ブロック処理について説明する。
【０２６５】
左上ブロック処理では、注目マクロブロックの左上のブロックＢ_NULについて、上隣接１次元ＤＣＴ係数、下隣接１次元ＤＣＴ係数、左隣接１次元ＤＣＴ係数、右隣接１次元ＤＣＴ係数が取得される。
【０２６６】
即ち、左上ブロック処理では、まず最初に、ステップＳ１１において、選択部８５が、注目マクロブロックと上隣接マクロブロックのＤＣＴタイプを判定する。
【０２６７】
ステップＳ１１において、注目マクロブロックと上隣接マクロブロックのＤＣＴタイプが、いずれもフレームＤＣＴであると判定された場合、ステップＳ１２に進み、選択部８５は、図８Ａで説明したように、上隣接マクロブロックＭＢ_Uの左下のブロックＢ_UDLにおける最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、上隣接１次元ＤＣＴ係数として取得する。
【０２６８】
即ち、注目ブロックが、注目マクロブロックの左上のブロックＢ_NULである場合において、注目マクロブロックと上隣接マクロブロックが、いずれもフレーム構造であるときには、上隣接１次元ＤＣＴ係数は、図８Ａで説明したように、上隣接マクロブロックＭＢ_Uの左下のブロックＢ_UDLにおける最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_UDLの第８行の水平１次元ＤＣＴ係数である。ブロックＢ_UDLの第８行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ１２において、メモリ８１から、ブロックＢ_UDLの第８行の水平１次元ＤＣＴ係数を読み出して選択し、上隣接１次元ＤＣＴ係数として出力する。
【０２６９】
また、ステップＳ１１において、注目マクロブロックのＤＣＴタイプがフレームＤＣＴであり、上隣接マクロブロックのＤＣＴタイプがフィールドＤＣＴであると判定された場合、ステップＳ１３に進み、選択部８５は、図８Ｂで説明したように、上隣接マクロブロックＭＢ_Uの左下のブロックＢ_UDLの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、上隣接１次元ＤＣＴ係数として取得する。
【０２７０】
即ち、注目ブロックが、注目マクロブロックの左上のブロックＢ_NULである場合において、注目マクロブロックがフレーム構造であり、上隣接マクロブロックがフィールド構造であるときには、上隣接１次元ＤＣＴ係数は、図８Ｂで説明したように、上隣接マクロブロックＭＢ_Uの左下のブロックＢ_UDLにおける最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_UDLの第８行の水平１次元ＤＣＴ係数である。ブロックＢ_UDLの第８行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ１３において、メモリ８１から、ブロックＢ_UDLの第８行の水平１次元ＤＣＴ係数を読み出して選択し、上隣接１次元ＤＣＴ係数として出力する。
【０２７１】
また、ステップＳ１１において、注目マクロブロックのＤＣＴタイプがフィールドＤＣＴであり、上隣接マクロブロックのＤＣＴタイプがフレームＤＣＴであると判定された場合、ステップＳ１４に進み、選択部８５は、図８Ｃで説明したように、上隣接マクロブロックＭＢ_Uの左下ブロックＢ_UDLの第７行目の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、上隣接１次元ＤＣＴ係数として取得する。
【０２７２】
即ち、注目ブロックが、注目マクロブロックの左上のブロックＢ_NULである場合において、注目マクロブロックがフィールド構造であり、上隣接マクロブロックがフレーム構造であるときには、上隣接１次元ＤＣＴ係数は、図８Ｃで説明したように、上隣接マクロブロックＭＢ_Uの左下ブロックＢ_UDLの第７行目の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_UDLの第７行の水平１次元ＤＣＴ係数である。ブロックＢ_UDLの第７行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ１４において、メモリ８１から、ブロックＢ_UDLの第７行の水平１次元ＤＣＴ係数を読み出して選択し、上隣接１次元ＤＣＴ係数として出力する。
【０２７３】
また、ステップＳ１１において、注目マクロブロックと上隣接マクロブロックのＤＣＴタイプが、いずれもフィールドＤＣＴであると判定された場合、ステップＳ１５に進み、選択部８５は、図８Ｄで説明したように、上隣接マクロブロックＭＢ_Uの左上のブロックＢ_UULの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、上隣接１次元ＤＣＴ係数として取得する。
【０２７４】
即ち、注目ブロックが、注目マクロブロックの左上のブロックＢ_NULである場合において、注目マクロブロックと上隣接マクロブロックが、いずれもフィールド構造であるときには、上隣接１次元ＤＣＴ係数は、図８Ｄで説明したように、上隣接マクロブロックＭＢ_Uの左上のブロックＢ_UULの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_UULの第８行の水平１次元ＤＣＴ係数である。ブロックＢ_UULの第８行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ１５において、メモリ８１から、ブロックＢ_UULの第８行の水平１次元ＤＣＴ係数を読み出して選択し、上隣接１次元ＤＣＴ係数として出力する。
【０２７５】
ステップＳ１２乃至Ｓ１５の処理後は、いずれも、ステップＳ１６に進み、選択部８５が、注目マクロブロックのＤＣＴタイプを判定する。
【０２７６】
ステップＳ１６において、注目マクロブロックのＤＣＴタイプがフレームＤＣＴであると判定された場合、ステップＳ１７に進み、選択部８５は、図９Ａで説明したように、注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、下隣接１次元ＤＣＴ係数として取得する。
【０２７７】
即ち、注目ブロックが、注目マクロブロックの左上のブロックＢ_NULである場合において、注目マクロブロックがフレーム構造であるときには、下隣接１次元ＤＣＴ係数は、図９Ａで説明したように、注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_NDLの第１行の水平１次元ＤＣＴ係数である。ブロックＢ_NDLの第１行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ１７において、メモリ８１から、ブロックＢ_NDLの第１行の水平１次元ＤＣＴ係数を読み出して選択し、下隣接１次元ＤＣＴ係数として出力する。
【０２７８】
また、ステップＳ１６において、注目マクロブロックのＤＣＴタイプがフィールドＤＣＴであると判定された場合、ステップＳ１８に進み、選択部８５は、図９Ｂで説明したように、下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、下隣接１次元ＤＣＴ係数として取得する。
【０２７９】
即ち、注目ブロックが、注目マクロブロックの左上のブロックＢ_NULである場合において、注目マクロブロックがフィールド構造であるときには、下隣接１次元ＤＣＴ係数は、図９Ｂで説明したように、下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_DULの第１行の水平１次元ＤＣＴ係数である。ブロックＢ_DULの第１行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ１８において、メモリ８１から、ブロックＢ_DULの第１行の水平１次元ＤＣＴ係数を読み出して選択し、下隣接１次元ＤＣＴ係数として出力する。
【０２８０】
ステップＳ１７およびＳ１８の処理後は、いずれも、ステップＳ１９に進み、サンプリング部８３および選択部８５が、注目マクロブロックと左隣接マクロブロックのＤＣＴタイプを判定する。
【０２８１】
ステップＳ１９において、注目マクロブロックと左隣接マクロブロックのＤＣＴタイプが、いずれもフレームＤＣＴであると判定された場合、ステップＳ２０に進み、選択部８５は、図１０Ａで説明したように、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、左隣接１次元ＤＣＴ係数として取得する。
【０２８２】
即ち、注目ブロックが、注目マクロブロックの左上のブロックＢ_NULである場合において、注目マクロブロックと左隣接マクロブロックが、いずれもフレーム構造であるときには、左隣接１次元ＤＣＴ係数は、図１０Ａで説明したように、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数であり、この垂直１次元ＤＣＴ係数は、ブロックＢ_LURの第８列（左から８列目）の垂直１次元ＤＣＴ係数である。ブロックＢ_LURの第８列の垂直１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ２０において、メモリ８１から、ブロックＢ_LURの第８列の垂直１次元ＤＣＴ係数を読み出して選択し、左隣接１次元ＤＣＴ係数として出力する。
【０２８３】
また、ステップＳ１９において、注目マクロブロックのＤＣＴタイプがフレームＤＣＴであり、左隣接マクロブロックのＤＣＴタイプがフィールドＤＣＴであると判定された場合、ステップＳ２１乃至Ｓ２３に順次進み、選択部８５は、図１０Ｂで説明したように、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の上４画素と、その右下のブロックＢ_LDRにおける最右列の上４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、左隣接１次元ＤＣＴ係数として取得する。
【０２８４】
即ち、注目ブロックが、注目マクロブロックの左上のブロックＢ_NULである場合において、注目マクロブロックがフレーム構造であり、左隣接マクロブロックがフィールド構造であるときには、左隣接１次元ＤＣＴ係数は、図１０Ｂで説明したように、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の上４画素と、その右下のブロックＢ_LDRにおける最右列の上４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数となるが、このような垂直１次元ＤＣＴ係数は、メモリ８１に存在しない。
【０２８５】
そこで、サンプリング部８３は、ブロックＢ_LURの第８列の垂直１次元ＤＣＴ係数と、ブロックＢ_LDRの第８列の垂直１次元ＤＣＴ係数の垂直１次元逆ＤＣＴ変換を、垂直１次元逆ＤＣＴ変換部８２に要求する。
【０２８６】
垂直１次元逆ＤＣＴ変換部８２は、サンプリング部８３からの要求に応じ、ステップＳ２１において、ブロックＢ_LURの第８列の垂直１次元ＤＣＴ係数と、ブロックＢ_LDRの第８列の垂直１次元ＤＣＴ係数を、メモリ８１から読み出し、垂直１次元逆ＤＣＴ変換を施す。これにより、垂直１次元逆ＤＣＴ変換部８２は、ブロックＢ_LURの第８列の８画素と、ブロックＢ_LDRの第８列の８画素を得て、サンプリング部８３に供給し、ステップＳ２２に進む。
【０２８７】
ステップＳ２２では、サンプリング部８３は、垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_LURの第８列の８画素のうちの上４画素をサンプリングするとともに、同じく垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_LDRの第８列の８画素のうちの上４画素をサンプリングし、ブロックＢ_LURの第８列からサンプリングした上４画素を奇数行（トップフィールド）に配置するとともに、ブロックＢ_LDRの第８列からサンプリングした上４画素を偶数行（ボトムフィールド）に配置することにより、注目マクロブロックと同一のフレーム構造とした垂直方向に並ぶ８画素を、垂直１次元ＤＣＴ変換部８４に供給する。
【０２８８】
垂直１次元ＤＣＴ変換部８４は、サンプリング部８３でサンプリングされた８画素を受信すると、ステップＳ２３において、その８画素を、垂直１次元ＤＣＴ変換し、これにより、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の上４画素と、その右下のブロックＢ_LDRにおける最右列の上４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を得て、選択部８５に供給する。選択部８５は、垂直１次元ＤＣＴ変換部８４から供給される垂直１次元ＤＣＴ係数を選択し、左隣接１次元ＤＣＴ係数として出力する。
【０２８９】
また、ステップＳ１９において、注目マクロブロックのＤＣＴタイプがフィールドＤＣＴであり、左隣接マクロブロックのＤＣＴタイプがフレームＤＣＴであると判定された場合、ステップＳ２４乃至Ｓ２６に順次進み、選択部８５は、図１０Ｃで説明したように、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の奇数行の４画素と、その右下のブロックＢ_LDRにおける奇数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、左隣接１次元ＤＣＴ係数として取得する。
【０２９０】
即ち、注目ブロックが、注目マクロブロックの左上のブロックＢ_NULである場合において、注目マクロブロックがフィールド構造であり、左隣接マクロブロックがフレーム構造であるときには、左隣接１次元ＤＣＴ係数は、図１０Ｃで説明したように、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の奇数行の４画素と、その右下のブロックＢ_LDRにおける奇数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数となるが、そのような垂直１次元ＤＣＴ係数は、メモリ８１に存在しない。
【０２９１】
そこで、サンプリング部８３は、ブロックＢ_LURの第８列の垂直１次元ＤＣＴ係数と、ブロックＢ_LDRの第８列の垂直１次元ＤＣＴ係数の垂直１次元逆ＤＣＴ変換を、垂直１次元逆ＤＣＴ変換部８２に要求する。
【０２９２】
垂直１次元逆ＤＣＴ変換部８２は、サンプリング部８３からの要求に応じ、ステップＳ２４において、ブロックＢ_LURの第８列の垂直１次元ＤＣＴ係数と、ブロックＢ_LDRの第８列の垂直１次元ＤＣＴ係数を、メモリ８１から読み出し、垂直１次元逆ＤＣＴ変換を施す。これにより、垂直１次元逆ＤＣＴ変換部８２は、ブロックＢ_LURの第８列の８画素と、ブロックＢ_LDRの第８列の８画素を得て、サンプリング部８３に供給し、ステップＳ２５に進む。
【０２９３】
ステップＳ２５では、サンプリング部８３は、垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_LURの第８列の８画素のうちの奇数行の４画素をサンプリングするとともに、同じく垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_LDRの第８列の８画素のうちの奇数行の４画素をサンプリングし、ブロックＢ_LURの第８列からサンプリングした奇数行の４画素を上側に配置するとともに、ブロックＢ_LDRの第８列からサンプリングした奇数行の４画素を下側に配置することにより、注目マクロブロックと同一のフィールド（トップフィールド）構造とした垂直方向に並ぶ８画素を、垂直１次元ＤＣＴ変換部８４に供給する。
【０２９４】
垂直１次元ＤＣＴ変換部８４は、サンプリング部８３でサンプリングされた８画素を受信すると、ステップＳ２６において、その８画素を、垂直１次元ＤＣＴ変換し、これにより、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の奇数行の４画素と、その右下のブロックＢ_LDRにおける奇数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を得て、選択部８５に供給する。選択部８５は、垂直１次元ＤＣＴ変換部８４から供給される垂直１次元ＤＣＴ係数を選択し、左隣接１次元ＤＣＴ係数として出力する。
【０２９５】
また、ステップＳ１９において、注目マクロブロックと左隣接マクロブロックのＤＣＴタイプが、いずれもフィールドＤＣＴであると判定された場合、ステップＳ２７に進み、選択部８５は、図１０Ｄで説明したように、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、左隣接１次元ＤＣＴ係数として取得する。
【０２９６】
即ち、注目ブロックが、注目マクロブロックの左上のブロックＢ_NULである場合において、注目マクロブロックと左隣接マクロブロックが、いずれもフィールド構造であるときには、左隣接１次元ＤＣＴ係数は、図１０Ｄで説明したように、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数であり、この垂直１次元ＤＣＴ係数は、ブロックＢ_LURの第８列の垂直１次元ＤＣＴ係数である。ブロックＢ_LURの第８列の垂直１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ２７において、メモリ８１から、ブロックＢ_LURの第８列の垂直１次元ＤＣＴ係数を読み出して選択し、左隣接１次元ＤＣＴ係数として出力する。
【０２９７】
ステップＳ２０，Ｓ２３，Ｓ２６、およびＳ２７の処理後は、いずれも、ステップＳ２８に進み、選択部８５は、図１１で説明したように、注目ブロックＢ_NULの右隣のブロックＢ_NURの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、右隣接１次元ＤＣＴ係数として取得する。
【０２９８】
即ち、注目ブロックが、注目マクロブロックの左上のブロックＢ_NULである場合には、右隣接１次元ＤＣＴ係数は、図１１で説明したように、注目ブロックＢ_NULの右隣のブロックＢ_NURの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数であり、この垂直１次元ＤＣＴ係数は、ブロックＢ_NURの第１列の垂直１次元ＤＣＴ係数である。ブロックＢ_NURの第１列の垂直１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ２８において、メモリ８１から、ブロックＢ_NURの第１列の垂直１次元ＤＣＴ係数を読み出して選択し、右隣接１次元ＤＣＴ係数として出力して、左上ブロック処理を終了する。
【０２９９】
次に、図２７のフローチャートを参照して、図２５のステップＳ３における左下ブロック処理について説明する。
【０３００】
左下ブロック処理では、注目マクロブロックの左下のブロックＢ_NDLについて、上隣接１次元ＤＣＴ係数、下隣接１次元ＤＣＴ係数、左隣接１次元ＤＣＴ係数、右隣接１次元ＤＣＴ係数が取得される。
【０３０１】
即ち、左下ブロック処理では、まず最初に、ステップＳ３１において、選択部８５が、注目マクロブロックのＤＣＴタイプを判定する。
【０３０２】
ステップＳ３１において、注目マクロブロックのＤＣＴタイプがフレームＤＣＴであると判定された場合、ステップＳ３２に進み、選択部８５は、図１２Ａで説明したように、注目マクロブロックＭＢ_Nの左上のブロックＢ_NULの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、上隣接１次元ＤＣＴ係数として取得する。
【０３０３】
即ち、注目ブロックが、注目マクロブロックの左下のブロックＢ_NDLである場合において、注目マクロブロックがフレーム構造であるときには、上隣接１次元ＤＣＴ係数は、図１２Ａで説明したように、注目マクロブロックＭＢ_Nの左上のブロックＢ_NULの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_NULの第８行の水平１次元ＤＣＴ係数である。ブロックＢ_NULの第８行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ３２において、メモリ８１から、ブロックＢ_NULの第８行の水平１次元ＤＣＴ係数を読み出して選択し、上隣接１次元ＤＣＴ係数として出力する。
【０３０４】
また、ステップＳ３１において、注目マクロブロックのＤＣＴタイプがフィールドＤＣＴであると判定された場合、ステップＳ３３に進み、選択部８５は、図１２Ｂで説明したように、上隣接マクロブロックＭＢ_Uの左下のブロックＢ_UDLの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、上隣接１次元ＤＣＴ係数として取得する。
【０３０５】
即ち、注目ブロックが、注目マクロブロックの左下のブロックＢ_NDLである場合において、注目マクロブロックがフィールド構造であるときには、上隣接１次元ＤＣＴ係数は、図１２Ｂで説明したように、上隣接マクロブロックＭＢ_Uの左下のブロックＢ_UDLの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_UDLの第８行の水平１次元ＤＣＴ係数である。ブロックＢ_UDLの第１行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ３３において、メモリ８１から、ブロックＢ_UDLの第１行の水平１次元ＤＣＴ係数を読み出して選択し、上隣接１次元ＤＣＴ係数として出力する。
【０３０６】
ステップＳ３２およびＳ３３の処理後は、いずれも、ステップＳ３４に進み、選択部８５が、注目マクロブロックと下隣接マクロブロックのＤＣＴタイプを判定する。
【０３０７】
ステップＳ３４において、注目マクロブロックと下隣接マクロブロックのＤＣＴタイプが、いずれもフレームＤＣＴであると判定された場合、ステップＳ３５に進み、選択部８５は、図１３Ａで説明したように、下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULにおける最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、下隣接１次元ＤＣＴ係数として取得する。
【０３０８】
即ち、注目ブロックが、注目マクロブロックの左下のブロックＢ_NDLである場合において、注目マクロブロックと下隣接マクロブロックが、いずれもフレーム構造であるときには、下隣接１次元ＤＣＴ係数は、図１３Ａで説明したように、下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULにおける最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_DULの第１行の水平１次元ＤＣＴ係数である。ブロックＢ_DULの第１行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ３５において、メモリ８１から、ブロックＢ_DULの第１行の水平１次元ＤＣＴ係数を読み出して選択し、下隣接１次元ＤＣＴ係数として出力する。
【０３０９】
また、ステップＳ３４において、注目マクロブロックのＤＣＴタイプがフレームＤＣＴであり、下隣接マクロブロックのＤＣＴタイプがフィールドＤＣＴであると判定された場合、ステップＳ３６に進み、選択部８５は、図１３Ｂで説明したように、下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、下隣接１次元ＤＣＴ係数として取得する。
【０３１０】
即ち、注目ブロックが、注目マクロブロックの左下のブロックＢ_NDLである場合において、注目マクロブロックがフレーム構造であり、下隣接マクロブロックがフィールド構造であるときには、下隣接１次元ＤＣＴ係数は、図１３Ｂで説明したように、下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULにおける最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_DULの第１行の水平１次元ＤＣＴ係数である。ブロックＢ_DULの第１行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ３６において、メモリ８１から、ブロックＢ_DULの第１行の水平１次元ＤＣＴ係数を読み出して選択し、下隣接１次元ＤＣＴ係数として出力する。
【０３１１】
また、ステップＳ３４において、注目マクロブロックのＤＣＴタイプがフィールドＤＣＴであり、下隣接マクロブロックのＤＣＴタイプがフレームＤＣＴであると判定された場合、ステップＳ３７に進み、選択部８５は、図１３Ｃで説明したように、下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULの第２行目の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、下隣接１次元ＤＣＴ係数として取得する。
【０３１２】
即ち、注目ブロックが、注目マクロブロックの左下のブロックＢ_NDLである場合において、注目マクロブロックがフィールド構造であり、下隣接マクロブロックがフレーム構造であるときには、下隣接１次元ＤＣＴ係数は、図１３Ｃで説明したように、下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULの第２行目の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_DULの第２行の水平１次元ＤＣＴ係数である。ブロックＢ_DULの第２行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ３７において、メモリ８１から、ブロックＢ_DULの第２行の水平１次元ＤＣＴ係数を読み出して選択し、下隣接１次元ＤＣＴ係数として出力する。
【０３１３】
また、ステップＳ３４において、注目マクロブロックと下隣接マクロブロックのＤＣＴタイプが、いずれもフィールドＤＣＴであると判定された場合、ステップＳ３８に進み、選択部８５は、図１３Ｄで説明したように、下隣接マクロブロックＭＢ_Dの左下のブロックＢ_DDLの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、下隣接１次元ＤＣＴ係数として取得する。
【０３１４】
即ち、注目ブロックが、注目マクロブロックの左下のブロックＢ_NDLである場合において、注目マクロブロックと下隣接マクロブロックが、いずれもフィールド構造であるときには、下隣接１次元ＤＣＴ係数は、図１３Ｄで説明したように、下隣接マクロブロックＭＢ_Dの左下のブロックＢ_DDLの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_DDLの第１行の水平１次元ＤＣＴ係数である。ブロックＢ_DDLの第１行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ３８において、メモリ８１から、ブロックＢ_DDLの第１行の水平１次元ＤＣＴ係数を読み出して選択し、下隣接１次元ＤＣＴ係数として出力する。
【０３１５】
ステップＳ３５乃至Ｓ３８の処理後は、いずれも、ステップＳ３９に進み、サンプリング部８３および選択部８５が、注目マクロブロックと左隣接マクロブロックのＤＣＴタイプを判定する。
【０３１６】
ステップＳ３９において、注目マクロブロックと左隣接マクロブロックのＤＣＴタイプが、いずれもフレームＤＣＴであると判定された場合、ステップＳ４０に進み、選択部８５は、図１４Ａで説明したように、左隣接マクロブロックＭＢ_Lの右下のブロックＢ_LDRの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、左隣接１次元ＤＣＴ係数として取得する。
【０３１７】
即ち、注目ブロックが、注目マクロブロックの左下のブロックＢ_NDLである場合において、注目マクロブロックと左隣接マクロブロックが、いずれもフレーム構造であるときには、左隣接１次元ＤＣＴ係数は、図１４Ａで説明したように、左隣接マクロブロックＭＢ_Lの右下のブロックＢ_LDRの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数であり、この垂直１次元ＤＣＴ係数は、ブロックＢ_LDRの第８列の垂直１次元ＤＣＴ係数である。ブロックＢ_LDRの第８列の垂直１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ４０において、メモリ８１から、ブロックＢ_LDRの第８列の垂直１次元ＤＣＴ係数を読み出して選択し、左隣接１次元ＤＣＴ係数として出力する。
【０３１８】
また、ステップＳ３９において、注目マクロブロックのＤＣＴタイプがフレームＤＣＴであり、左隣接マクロブロックのＤＣＴタイプがフィールドＤＣＴであると判定された場合、ステップＳ４１乃至Ｓ４３に順次進み、選択部８５は、図１４Ｂで説明したように、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の下４画素と、その右下のブロックＢ_LDRにおける最右列の下４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、左隣接１次元ＤＣＴ係数として取得する。
【０３１９】
即ち、注目ブロックが、注目マクロブロックの左下のブロックＢ_NDLである場合において、注目マクロブロックがフレーム構造であり、左隣接マクロブロックがフィールド構造であるときには、左隣接１次元ＤＣＴ係数は、図１４Ｂで説明したように、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の上４画素と、その右下のブロックＢ_LDRにおける最右列の上４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数となるが、このような垂直１次元ＤＣＴ係数は、メモリ８１に存在しない。
【０３２０】
そこで、サンプリング部８３は、ブロックＢ_LURの第８列の垂直１次元ＤＣＴ係数と、ブロックＢ_LDRの第８列の垂直１次元ＤＣＴ係数の垂直１次元逆ＤＣＴ変換を、垂直１次元逆ＤＣＴ変換部８２に要求する。
【０３２１】
垂直１次元逆ＤＣＴ変換部８２は、サンプリング部８３からの要求に応じ、ステップＳ４１において、ブロックＢ_LURの第８列の垂直１次元ＤＣＴ係数と、ブロックＢ_LDRの第８列の垂直１次元ＤＣＴ係数を、メモリ８１から読み出し、垂直１次元逆ＤＣＴ変換を施す。これにより、垂直１次元逆ＤＣＴ変換部８２は、ブロックＢ_LURの第８列の８画素と、ブロックＢ_LDRの第８列の８画素を得て、サンプリング部８３に供給し、ステップＳ４２に進む。
【０３２２】
ステップＳ４２では、サンプリング部８３は、垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_LURの第８列の８画素のうちの下４画素をサンプリングするとともに、同じく垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_LDRの第８列の８画素のうちの下４画素をサンプリングし、ブロックＢ_LURの第８列からサンプリングした上４画素を奇数行（トップフィールド）に配置するとともに、ブロックＢ_LDRの第８列からサンプリングした上４画素を偶数行（ボトムフィールド）に配置することにより、注目マクロブロックと同一のフレーム構造とした垂直方向に並ぶ８画素を、垂直１次元ＤＣＴ変換部８４に供給する。
【０３２３】
垂直１次元ＤＣＴ変換部８４は、サンプリング部８３でサンプリングされた８画素を受信すると、ステップＳ４３において、その８画素を、垂直１次元ＤＣＴ変換し、これにより、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の上４画素と、その右下のブロックＢ_LDRにおける最右列の上４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を得て、選択部８５に供給する。選択部８５は、垂直１次元ＤＣＴ変換部８４から供給される垂直１次元ＤＣＴ係数を選択し、左隣接１次元ＤＣＴ係数として出力する。
【０３２４】
また、ステップＳ３９において、注目マクロブロックのＤＣＴタイプがフィールドＤＣＴであり、左隣接マクロブロックのＤＣＴタイプがフレームＤＣＴであると判定された場合、ステップＳ４４乃至Ｓ４６に順次進み、選択部８５は、図１４Ｃで説明したように、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の偶数行の４画素と、その右下のブロックＢ_LDRにおける偶数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、左隣接１次元ＤＣＴ係数として取得する。
【０３２５】
即ち、注目ブロックが、注目マクロブロックの左下のブロックＢ_NDLである場合において、注目マクロブロックがフィールド構造であり、左隣接マクロブロックがフレーム構造であるときには、左隣接１次元ＤＣＴ係数は、図１４Ｃで説明したように、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の偶数行の４画素と、その右下のブロックＢ_LDRにおける偶数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数となるが、そのような垂直１次元ＤＣＴ係数は、メモリ８１に存在しない。
【０３２６】
そこで、サンプリング部８３は、ブロックＢ_LURの第８列の垂直１次元ＤＣＴ係数と、ブロックＢ_LDRの第８列の垂直１次元ＤＣＴ係数の垂直１次元逆ＤＣＴ変換を、垂直１次元逆ＤＣＴ変換部８２に要求する。
【０３２７】
垂直１次元逆ＤＣＴ変換部８２は、サンプリング部８３からの要求に応じ、ステップＳ４４において、ブロックＢ_LURの第８列の垂直１次元ＤＣＴ係数と、ブロックＢ_LDRの第８列の垂直１次元ＤＣＴ係数を、メモリ８１から読み出し、垂直１次元逆ＤＣＴ変換を施す。これにより、垂直１次元逆ＤＣＴ変換部８２は、ブロックＢ_LURの第８列の８画素と、ブロックＢ_LDRの第８列の８画素を得て、サンプリング部８３に供給し、ステップＳ４５に進む。
【０３２８】
ステップＳ４５では、サンプリング部８３は、垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_LURの第８列の８画素のうちの偶数行の４画素をサンプリングするとともに、同じく垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_LDRの第８列の８画素のうちの偶数行の４画素をサンプリングし、ブロックＢ_LURの第８列からサンプリングした偶数行の４画素を上側に配置するとともに、ブロックＢ_LDRの第８列からサンプリングした偶数行の４画素を下側に配置することにより、注目マクロブロックと同一のフィールド（ボトムフィールド）構造とした垂直方向に並ぶ８画素を、垂直１次元ＤＣＴ変換部８４に供給する。
【０３２９】
垂直１次元ＤＣＴ変換部８４は、サンプリング部８３でサンプリングされた８画素を受信すると、ステップＳ４６において、その８画素を、垂直１次元ＤＣＴ変換し、これにより、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の偶数行の４画素と、その右下のブロックＢ_LDRにおける偶数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を得て、選択部８５に供給する。選択部８５は、垂直１次元ＤＣＴ変換部８４から供給される垂直１次元ＤＣＴ係数を選択し、左隣接１次元ＤＣＴ係数として出力する。
【０３３０】
また、ステップＳ３９において、注目マクロブロックと左隣接マクロブロックのＤＣＴタイプが、いずれもフィールドＤＣＴであると判定された場合、ステップＳ４７に進み、選択部８５は、図１４Ｄで説明したように、左隣接マクロブロックＭＢ_Lの右下のブロックＢ_LDRの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、左隣接１次元ＤＣＴ係数として取得する。
【０３３１】
即ち、注目ブロックが、注目マクロブロックの左下のブロックＢ_NDLである場合において、注目マクロブロックと左隣接マクロブロックが、いずれもフィールド構造であるときには、左隣接１次元ＤＣＴ係数は、図１４Ｄで説明したように、左隣接マクロブロックＭＢ_Lの右下のブロックＢ_LDRの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数であり、この垂直１次元ＤＣＴ係数は、ブロックＢ_LDRの第８列の垂直１次元ＤＣＴ係数である。ブロックＢ_LDRの第８列の垂直１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ４７において、メモリ８１から、ブロックＢ_LDRの第８列の垂直１次元ＤＣＴ係数を読み出して選択し、左隣接１次元ＤＣＴ係数として出力する。
【０３３２】
ステップＳ４０，Ｓ４３，Ｓ４６、およびＳ４７の処理後は、いずれも、ステップＳ４８に進み、選択部８５は、図１５で説明したように、注目ブロックＢ_NDLの右隣のブロックＢ_NDRの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、右隣接１次元ＤＣＴ係数として取得する。
【０３３３】
即ち、注目ブロックが、注目マクロブロックの左下のブロックＢ_NDLである場合には、右隣接１次元ＤＣＴ係数は、図１５で説明したように、注目ブロックＢ_NDLの右隣のブロックＢ_NDRの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数であり、この垂直１次元ＤＣＴ係数は、ブロックＢ_NDRの第１列の垂直１次元ＤＣＴ係数である。ブロックＢ_NDRの第１列の垂直１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ４８において、メモリ８１から、ブロックＢ_NDRの第１列の垂直１次元ＤＣＴ係数を読み出して選択し、右隣接垂直１次元ＤＣＴ係数として出力して、左下ブロック処理を終了する。
【０３３４】
次に、図２８のフローチャートを参照して、図２５のステップＳ４における右上ブロック処理について説明する。
【０３３５】
右上ブロック処理では、注目マクロブロックの右上のブロックＢ_NURについて、上隣接１次元ＤＣＴ係数、下隣接１次元ＤＣＴ係数、左隣接１次元ＤＣＴ係数、右隣接１次元ＤＣＴ係数が取得される。
【０３３６】
即ち、右上ブロック処理では、まず最初に、ステップＳ５１において、選択部８５が、注目マクロブロックと上隣接マクロブロックのＤＣＴタイプを判定する。
【０３３７】
ステップＳ５１において、注目マクロブロックと上隣接マクロブロックのＤＣＴタイプが、いずれもフレームＤＣＴであると判定された場合、ステップＳ５２に進み、選択部８５は、図１６Ａで説明したように、上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRにおける最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、上隣接１次元ＤＣＴ係数として取得する。
【０３３８】
即ち、注目ブロックが、注目マクロブロックの右上のブロックＢ_NURである場合において、注目マクロブロックと上隣接マクロブロックが、いずれもフレーム構造であるときには、上隣接１次元ＤＣＴ係数は、図１６Ａで説明したように、上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRにおける最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_UDRの第８行の水平１次元ＤＣＴ係数である。ブロックＢ_UDRの第８行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ５２において、メモリ８１から、ブロックＢ_UDRの第８行の水平１次元ＤＣＴ係数を読み出して選択し、上隣接１次元ＤＣＴ係数として出力する。
【０３３９】
また、ステップＳ５１において、注目マクロブロックのＤＣＴタイプがフレームＤＣＴであり、上隣接マクロブロックのＤＣＴタイプがフィールドＤＣＴであると判定された場合、ステップＳ５３に進み、選択部８５は、図１６Ｂで説明したように、上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、上隣接１次元ＤＣＴ係数として取得する。
【０３４０】
即ち、注目ブロックが、注目マクロブロックの右上のブロックＢ_NURである場合において、注目マクロブロックがフレーム構造であり、上隣接マクロブロックがフィールド構造であるときには、上隣接１次元ＤＣＴ係数は、図１６Ｂで説明したように、上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRにおける最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_UDRの第８行の水平１次元ＤＣＴ係数である。ブロックＢ_UDRの第８行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ５３において、メモリ８１から、ブロックＢ_UDRの第８行の水平１次元ＤＣＴ係数を読み出して選択し、上隣接１次元ＤＣＴ係数として出力する。
【０３４１】
また、ステップＳ５１において、注目マクロブロックのＤＣＴタイプがフィールドＤＣＴであり、上隣接マクロブロックのＤＣＴタイプがフレームＤＣＴであると判定された場合、ステップＳ５４に進み、選択部８５は、図１６Ｃで説明したように、上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRの第７行目の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、上隣接１次元ＤＣＴ係数として取得する。
【０３４２】
即ち、注目ブロックが、注目マクロブロックの右上のブロックＢ_NURである場合において、注目マクロブロックがフィールド構造であり、上隣接マクロブロックがフレーム構造であるときには、上隣接１次元ＤＣＴ係数は、図１６Ｃで説明したように、上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRの第７行目の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_UDRの第７行の水平１次元ＤＣＴ係数である。ブロックＢ_UDRの第７行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ５４において、メモリ８１から、ブロックＢ_UDRの第７行の水平１次元ＤＣＴ係数を読み出して選択し、上隣接１次元ＤＣＴ係数として出力する。
【０３４３】
また、ステップＳ５１において、注目マクロブロックと上隣接マクロブロックのＤＣＴタイプが、いずれもフィールドＤＣＴであると判定された場合、ステップＳ５５に進み、選択部８５は、図１６Ｄで説明したように、上隣接マクロブロックＭＢ_Uの右上のブロックＢ_UURの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、上隣接１次元ＤＣＴ係数として取得する。
【０３４４】
即ち、注目ブロックが、注目マクロブロックの右上のブロックＢ_NURである場合において、注目マクロブロックと上隣接マクロブロックが、いずれもフィールド構造であるときには、上隣接１次元ＤＣＴ係数は、図１６Ｄで説明したように、上隣接マクロブロックＭＢ_Uの右上のブロックＢ_UURの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_UULの第８行の水平１次元ＤＣＴ係数である。ブロックＢ_UURの第８行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ５５において、メモリ８１から、ブロックＢ_UURの第８行の水平１次元ＤＣＴ係数を読み出して選択し、上隣接１次元ＤＣＴ係数として出力する。
【０３４５】
ステップＳ５２乃至Ｓ５５の処理後は、いずれも、ステップＳ５６に進み、選択部８５が、注目マクロブロックのＤＣＴタイプを判定する。
【０３４６】
ステップＳ５６において、注目マクロブロックのＤＣＴタイプがフレームＤＣＴであると判定された場合、ステップＳ５７に進み、選択部８５は、図１７Ａで説明したように、注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、下隣接１次元ＤＣＴ係数として取得する。
【０３４７】
即ち、注目ブロックが、注目マクロブロックの右上のブロックＢ_NURである場合において、注目マクロブロックがフレーム構造であるときには、下隣接１次元ＤＣＴ係数は、図１７Ａで説明したように、注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_NDRの第１行の水平１次元ＤＣＴ係数である。ブロックＢ_NDRの第１行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ５７において、メモリ８１から、ブロックＢ_NDRの第１行の水平１次元ＤＣＴ係数を読み出して選択し、下隣接１次元ＤＣＴ係数として出力する。
【０３４８】
また、ステップＳ５６において、注目マクロブロックのＤＣＴタイプがフィールドＤＣＴであると判定された場合、ステップＳ５８に進み、選択部８５は、図１７Ｂで説明したように、下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、下隣接１次元ＤＣＴ係数として取得する。
【０３４９】
即ち、注目ブロックが、注目マクロブロックの右上のブロックＢ_NURである場合において、注目マクロブロックがフィールド構造であるときには、下隣接１次元ＤＣＴ係数は、図１７Ｂで説明したように、下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_DURの第１行の水平１次元ＤＣＴ係数である。ブロックＢ_DURの第１行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ５８において、メモリ８１から、ブロックＢ_DURの第１行の水平１次元ＤＣＴ係数を読み出して選択し、下隣接１次元ＤＣＴ係数として出力する。
【０３５０】
ステップＳ５７およびＳ５８の処理後は、いずれも、ステップＳ５９に進み、サンプリング部８３および選択部８５が、注目マクロブロックと右隣接マクロブロックのＤＣＴタイプを判定する。
【０３５１】
ステップＳ５９において、注目マクロブロックと右隣接マクロブロックのＤＣＴタイプが、いずれもフレームＤＣＴであると判定された場合、ステップＳ６０に進み、選択部８５は、図１９Ａで説明したように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、右隣接１次元ＤＣＴ係数として取得する。
【０３５２】
即ち、注目ブロックが、注目マクロブロックの右上のブロックＢ_NURである場合において、注目マクロブロックと右隣接マクロブロックが、いずれもフレーム構造であるときには、右隣接１次元ＤＣＴ係数は、図１９Ａで説明したように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数であり、この垂直１次元ＤＣＴ係数は、ブロックＢ_RULの第１列の垂直１次元ＤＣＴ係数である。ブロックＢ_RULの第１列の垂直１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ６０において、メモリ８１から、ブロックＢ_RULの第１列の垂直１次元ＤＣＴ係数を読み出して選択し、右隣接１次元ＤＣＴ係数として出力する。
【０３５３】
また、ステップＳ５９において、注目マクロブロックのＤＣＴタイプがフレームＤＣＴであり、右隣接マクロブロックのＤＣＴタイプがフィールドＤＣＴであると判定された場合、ステップＳ６１乃至Ｓ６３に順次進み、選択部８５は、図１９Ｂで説明したように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の上４画素と、その左下のブロックＢ_RDLにおける最左列の上４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、右隣接１次元ＤＣＴ係数として取得する。
【０３５４】
即ち、注目ブロックが、注目マクロブロックの右上のブロックＢ_NURである場合において、注目マクロブロックがフレーム構造であり、右隣接マクロブロックがフィールド構造であるときには、右隣接１次元ＤＣＴ係数は、図１９Ｂで説明したように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の上４画素と、その左下のブロックＢ_RDLにおける最左列の上４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数となるが、このような垂直１次元ＤＣＴ係数は、メモリ８１に存在しない。
【０３５５】
そこで、サンプリング部８３は、ブロックＢ_RULの第１列の垂直１次元ＤＣＴ係数と、ブロックＢ_RDLの第１列の垂直１次元ＤＣＴ係数の垂直１次元逆ＤＣＴ変換を、垂直１次元逆ＤＣＴ変換部８２に要求する。
【０３５６】
垂直１次元逆ＤＣＴ変換部８２は、サンプリング部８３からの要求に応じ、ステップＳ６１において、ブロックＢ_RULの第１列の垂直１次元ＤＣＴ係数と、ブロックＢ_RDLの第１列の垂直１次元ＤＣＴ係数を、メモリ８１から読み出し、垂直１次元逆ＤＣＴ変換を施す。これにより、垂直１次元逆ＤＣＴ変換部８２は、ブロックＢ_RULの第１列の８画素と、ブロックＢ_RDLの第１列の８画素を得て、サンプリング部８３に供給し、ステップＳ６２に進む。
【０３５７】
ステップＳ６２では、サンプリング部８３は、垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_RULの第１列の８画素のうちの上４画素をサンプリングするとともに、同じく垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_RDLの第１列の８画素のうちの上４画素をサンプリングし、ブロックＢ_RULの第１列からサンプリングした上４画素を奇数行（トップフィールド）に配置するとともに、ブロックＢ_RDLの第１列からサンプリングした上４画素を偶数行（ボトムフィールド）に配置することにより、注目マクロブロックと同一のフレーム構造とした垂直方向に並ぶ８画素を、垂直１次元ＤＣＴ変換部８４に供給する。
【０３５８】
垂直１次元ＤＣＴ変換部８４は、サンプリング部８３でサンプリングされた８画素を受信すると、ステップＳ６３において、その８画素を、垂直１次元ＤＣＴ変換し、これにより、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の上４画素と、その左下のブロックＢ_RDLにおける最左列の上４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を得て、選択部８５に供給する。選択部８５は、垂直１次元ＤＣＴ変換部８４から供給される垂直１次元ＤＣＴ係数を選択し、右隣接１次元ＤＣＴ係数として出力する。
【０３５９】
また、ステップＳ５９において、注目マクロブロックのＤＣＴタイプがフィールドＤＣＴであり、右隣接マクロブロックのＤＣＴタイプがフレームＤＣＴであると判定された場合、ステップＳ６４乃至Ｓ６６に順次進み、選択部８５は、図１９Ｃで説明したように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の奇数行の４画素と、その左下のブロックＢ_RDLにおける奇数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、右隣接１次元ＤＣＴ係数として取得する。
【０３６０】
即ち、注目ブロックが、注目マクロブロックの右上のブロックＢ_NURである場合において、注目マクロブロックがフィールド構造であり、右隣接マクロブロックがフレーム構造であるときには、右隣接１次元ＤＣＴ係数は、図１９Ｃで説明したように、右隣接マクロブロックＭＢ_Lの左上のブロックＢ_RULにおける最左列の奇数行の４画素と、その左下のブロックＢ_RDLにおける奇数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数となるが、そのような垂直１次元ＤＣＴ係数は、メモリ８１に存在しない。
【０３６１】
そこで、サンプリング部８３は、ブロックＢ_RULの第１列の垂直１次元ＤＣＴ係数と、ブロックＢ_RDLの第１列の垂直１次元ＤＣＴ係数の垂直１次元逆ＤＣＴ変換を、垂直１次元逆ＤＣＴ変換部８２に要求する。
【０３６２】
垂直１次元逆ＤＣＴ変換部８２は、サンプリング部８３からの要求に応じ、ステップＳ６４において、ブロックＢ_RULの第１列の垂直１次元ＤＣＴ係数と、ブロックＢ_RDLの第１列の垂直１次元ＤＣＴ係数を、メモリ８１から読み出し、垂直１次元逆ＤＣＴ変換を施す。これにより、垂直１次元逆ＤＣＴ変換部８２は、ブロックＢ_RULの第１列の８画素と、ブロックＢ_RDLの第１列の８画素を得て、サンプリング部８３に供給し、ステップＳ６５に進む。
【０３６３】
ステップＳ６５では、サンプリング部８３は、垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_RULの第１列の８画素のうちの奇数行の４画素をサンプリングするとともに、同じく垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_RDLの第１列の８画素のうちの奇数行の４画素をサンプリングし、ブロックＢ_RULの第１列からサンプリングした奇数行の４画素を上側に配置するとともに、ブロックＢ_RDLの第１列からサンプリングした奇数行の４画素を下側に配置することにより、注目マクロブロックと同一のフィールド（トップフィールド）構造とした垂直方向に並ぶ８画素を、垂直１次元ＤＣＴ変換部８４に供給する。
【０３６４】
垂直１次元ＤＣＴ変換部８４は、サンプリング部８３でサンプリングされた８画素を受信すると、ステップＳ６６において、その８画素を、垂直１次元ＤＣＴ変換し、これにより、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の奇数行の４画素と、その左下のブロックＢ_RDLにおける奇数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を得て、選択部８５に供給する。選択部８５は、垂直１次元ＤＣＴ変換部８４から供給される垂直１次元ＤＣＴ係数を選択し、右隣接１次元ＤＣＴ係数として出力する。
【０３６５】
また、ステップＳ５９において、注目マクロブロックと右隣接マクロブロックのＤＣＴタイプが、いずれもフィールドＤＣＴであると判定された場合、ステップＳ６７に進み、選択部８５は、図１９Ｄで説明したように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、右隣接１次元ＤＣＴ係数として取得する。
【０３６６】
即ち、注目ブロックが、注目マクロブロックの右上のブロックＢ_NURである場合において、注目マクロブロックと右隣接マクロブロックが、いずれもフィールド構造であるときには、右隣接１次元ＤＣＴ係数は、図１９Ｄで説明したように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数であり、この垂直１次元ＤＣＴ係数は、ブロックＢ_RULの第１列の垂直１次元ＤＣＴ係数である。ブロックＢ_RULの第１列の垂直１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ６７において、メモリ８１から、ブロックＢ_RULの第１列の垂直１次元ＤＣＴ係数を読み出して選択し、右隣接１次元ＤＣＴ係数として出力する。
【０３６７】
ステップＳ６０，Ｓ６３，Ｓ６６、およびＳ６７の処理後は、いずれも、ステップＳ６８に進み、選択部８５は、図１８で説明したように、注目ブロックＢ_NURの左隣のブロックＢ_NULの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、左隣接１次元ＤＣＴ係数として取得する。
【０３６８】
即ち、注目ブロックが、注目マクロブロックの右上のブロックＢ_NURである場合には、左隣接１次元ＤＣＴ係数は、図１８で説明したように、注目ブロックＢ_NURの左隣のブロックＢ_NULの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数であり、この垂直１次元ＤＣＴ係数は、ブロックＢ_NULの第８列の垂直１次元ＤＣＴ係数である。ブロックＢ_NURの第８列の垂直１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ６８において、メモリ８１から、ブロックＢ_NULの第８列の垂直１次元ＤＣＴ係数を読み出して選択し、左隣接垂直１次元ＤＣＴ係数として出力して、右上ブロック処理を終了する。
【０３６９】
次に、図２９のフローチャートを参照して、図２５のステップＳ５における右下ブロック処理について説明する。
【０３７０】
右下ブロック処理では、注目マクロブロックの右下のブロックＢ_NDRについて、上隣接１次元ＤＣＴ係数、下隣接１次元ＤＣＴ係数、左隣接１次元ＤＣＴ係数、右隣接１次元ＤＣＴ係数が取得される。
【０３７１】
即ち、右下ブロック処理では、まず最初に、ステップＳ７１において、選択部８５が、注目マクロブロックのＤＣＴタイプを判定する。
【０３７２】
ステップＳ７１において、注目マクロブロックのＤＣＴタイプがフレームＤＣＴであると判定された場合、ステップＳ７２に進み、選択部８５は、図２０Ａで説明したように、注目マクロブロックＭＢ_Nの右上のブロックＢ_NURの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、上隣接１次元ＤＣＴ係数として取得する。
【０３７３】
即ち、注目ブロックが、注目マクロブロックの右下のブロックＢ_NDRである場合において、注目マクロブロックがフレーム構造であるときには、上隣接１次元ＤＣＴ係数は、図２０Ａで説明したように、注目マクロブロックＭＢ_Nの右上のブロックＢ_NURの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_NURの第８行の水平１次元ＤＣＴ係数である。ブロックＢ_NURの第８行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ７２において、メモリ８１から、ブロックＢ_NURの第８行の水平１次元ＤＣＴ係数を読み出して選択し、上隣接１次元ＤＣＴ係数として出力する。
【０３７４】
また、ステップＳ７１において、注目マクロブロックのＤＣＴタイプがフィールドＤＣＴであると判定された場合、ステップＳ７３に進み、選択部８５は、図２０Ｂで説明したように、上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、上隣接１次元ＤＣＴ係数として取得する。
【０３７５】
即ち、注目ブロックが、注目マクロブロックの右下のブロックＢ_NDRである場合において、注目マクロブロックがフィールド構造であるときには、上隣接１次元ＤＣＴ係数は、図２０Ｂで説明したように、上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRの最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_UDRの第８行の水平１次元ＤＣＴ係数である。ブロックＢ_UDRの第１行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ７３において、メモリ８１から、ブロックＢ_UDRの第８行の水平１次元ＤＣＴ係数を読み出して選択し、上隣接１次元ＤＣＴ係数として出力する。
【０３７６】
ステップＳ７２およびＳ７３の処理後は、いずれも、ステップＳ７４に進み、選択部８５が、注目マクロブロックと下隣接マクロブロックのＤＣＴタイプを判定する。
【０３７７】
ステップＳ７４において、注目マクロブロックと下隣接マクロブロックのＤＣＴタイプが、いずれもフレームＤＣＴであると判定された場合、ステップＳ７５に進み、選択部８５は、図２１Ａで説明したように、下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURにおける最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、下隣接１次元ＤＣＴ係数として取得する。
【０３７８】
即ち、注目ブロックが、注目マクロブロックの右下のブロックＢ_NDRである場合において、注目マクロブロックと下隣接マクロブロックが、いずれもフレーム構造であるときには、下隣接１次元ＤＣＴ係数は、図２１Ａで説明したように、下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURにおける最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_DURの第１行の水平１次元ＤＣＴ係数である。ブロックＢ_DURの第１行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ７５において、メモリ８１から、ブロックＢ_DURの第１行の水平１次元ＤＣＴ係数を読み出して選択し、下隣接１次元ＤＣＴ係数として出力する。
【０３７９】
また、ステップＳ７４において、注目マクロブロックのＤＣＴタイプがフレームＤＣＴであり、下隣接マクロブロックのＤＣＴタイプがフィールドＤＣＴであると判定された場合、ステップＳ７６に進み、選択部８５は、図２１Ｂで説明したように、下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、下隣接１次元ＤＣＴ係数として取得する。
【０３８０】
即ち、注目ブロックが、注目マクロブロックの右下のブロックＢ_NDRである場合において、注目マクロブロックがフレーム構造であり、下隣接マクロブロックがフィールド構造であるときには、下隣接１次元ＤＣＴ係数は、図２１Ｂで説明したように、下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURにおける最下行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_DURの第１行の水平１次元ＤＣＴ係数である。ブロックＢ_DURの第１行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ７６において、メモリ８１から、ブロックＢ_DURの第１行の水平１次元ＤＣＴ係数を読み出して選択し、下隣接１次元ＤＣＴ係数として出力する。
【０３８１】
また、ステップＳ７４において、注目マクロブロックのＤＣＴタイプがフィールドＤＣＴであり、下隣接マクロブロックのＤＣＴタイプがフレームＤＣＴであると判定された場合、ステップＳ７７に進み、選択部８５は、図２１Ｃで説明したように、下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURの第２行目の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、下隣接１次元ＤＣＴ係数として取得する。
【０３８２】
即ち、注目ブロックが、注目マクロブロックの右下のブロックＢ_NDRである場合において、注目マクロブロックがフィールド構造であり、下隣接マクロブロックがフレーム構造であるときには、下隣接１次元ＤＣＴ係数は、図２１Ｃで説明したように、下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURの第２行目の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_DURの第２行の水平１次元ＤＣＴ係数である。ブロックＢ_DURの第２行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ７７において、メモリ８１から、ブロックＢ_DURの第２行の水平１次元ＤＣＴ係数を読み出して選択し、下隣接１次元ＤＣＴ係数として出力する。
【０３８３】
また、ステップＳ７４において、注目マクロブロックと下隣接マクロブロックのＤＣＴタイプが、いずれもフィールドＤＣＴであると判定された場合、ステップＳ７８に進み、選択部８５は、図２１Ｄで説明したように、下隣接マクロブロックＭＢ_Dの右下のブロックＢ_DDRの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数を、下隣接１次元ＤＣＴ係数として取得する。
【０３８４】
即ち、注目ブロックが、注目マクロブロックの右下のブロックＢ_NDRである場合において、注目マクロブロックと下隣接マクロブロックが、いずれもフィールド構造であるときには、下隣接１次元ＤＣＴ係数は、図２１Ｄで説明したように、下隣接マクロブロックＭＢ_Dの右下のブロックＢ_DDRの最上行の８画素を水平１次元ＤＣＴ変換した水平１次元ＤＣＴ係数であり、この水平１次元ＤＣＴ係数は、ブロックＢ_DDRの第１行の水平１次元ＤＣＴ係数である。ブロックＢ_DDRの第１行の水平１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ７８において、メモリ８１から、ブロックＢ_DDRの第１行の水平１次元ＤＣＴ係数を読み出して選択し、下隣接１次元ＤＣＴ係数として出力する。
【０３８５】
ステップＳ７５乃至Ｓ７８の処理後は、いずれも、ステップＳ７９に進み、サンプリング部８３および選択部８５が、注目マクロブロックと左隣接マクロブロックのＤＣＴタイプを判定する。
【０３８６】
ステップＳ７９において、注目マクロブロックと左隣接マクロブロックのＤＣＴタイプが、いずれもフレームＤＣＴであると判定された場合、ステップＳ８０に進み、選択部８５は、図２３Ａで説明したように、右隣接マクロブロックＭＢ_Rの左下のブロックＢ_RDLの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、右隣接１次元ＤＣＴ係数として取得する。
【０３８７】
即ち、注目ブロックが、注目マクロブロックの右下のブロックＢ_NDRである場合において、注目マクロブロックと右隣接マクロブロックが、いずれもフレーム構造であるときには、右隣接１次元ＤＣＴ係数は、図２３Ａで説明したように、右隣接マクロブロックＭＢ_Rの左下のブロックＢ_RDLの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数であり、この垂直１次元ＤＣＴ係数は、ブロックＢ_RDLの第１列の垂直１次元ＤＣＴ係数である。ブロックＢ_RDLの第１列の垂直１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ８０において、メモリ８１から、ブロックＢ_RDLの第１列の垂直１次元ＤＣＴ係数を読み出して選択し、右隣接１次元ＤＣＴ係数として出力する。
【０３８８】
また、ステップＳ７９において、注目マクロブロックのＤＣＴタイプがフレームＤＣＴであり、右隣接マクロブロックのＤＣＴタイプがフィールドＤＣＴであると判定された場合、ステップＳ８１乃至Ｓ８３に順次進み、選択部８５は、図２３Ｂで説明したように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の下４画素と、その左下のブロックＢ_RDLにおける最左列の下４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、右隣接１次元ＤＣＴ係数として取得する。
【０３８９】
即ち、注目ブロックが、注目マクロブロックの右下のブロックＢ_NDRである場合において、注目マクロブロックがフレーム構造であり、右隣接マクロブロックがフィールド構造であるときには、右隣接１次元ＤＣＴ係数は、図２３Ｂで説明したように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の下４画素と、その左下のブロックＢ_RDLにおける最左列の下４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数となるが、このような垂直１次元ＤＣＴ係数は、メモリ８１に存在しない。
【０３９０】
そこで、サンプリング部８３は、ブロックＢ_RULの第１列の垂直１次元ＤＣＴ係数と、ブロックＢ_RDLの第１列の垂直１次元ＤＣＴ係数の垂直１次元逆ＤＣＴ変換を、垂直１次元逆ＤＣＴ変換部８２に要求する。
【０３９１】
垂直１次元逆ＤＣＴ変換部８２は、サンプリング部８３からの要求に応じ、ステップＳ８１において、ブロックＢ_RULの第１列の垂直１次元ＤＣＴ係数と、ブロックＢ_RDLの第１列の垂直１次元ＤＣＴ係数を、メモリ８１から読み出し、垂直１次元逆ＤＣＴ変換を施す。これにより、垂直１次元逆ＤＣＴ変換部８２は、ブロックＢ_RULの第１列の８画素と、ブロックＢ_RDLの第１列の８画素を得て、サンプリング部８３に供給し、ステップＳ８２に進む。
【０３９２】
ステップＳ８２では、サンプリング部８３は、垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_RULの第１列の８画素のうちの下４画素をサンプリングするとともに、同じく垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_RDLの第１列の８画素のうちの下４画素をサンプリングし、ブロックＢ_RULの第１列からサンプリングした上４画素を奇数行（トップフィールド）に配置するとともに、ブロックＢ_RDLの第１列からサンプリングした上４画素を偶数行（ボトムフィールド）に配置することにより、注目マクロブロックと同一のフレーム構造とした垂直方向に並ぶ８画素を、垂直１次元ＤＣＴ変換部８４に供給する。
【０３９３】
垂直１次元ＤＣＴ変換部８４は、サンプリング部８３でサンプリングされた８画素を受信すると、ステップＳ８３において、その８画素を、垂直１次元ＤＣＴ変換し、これにより、右隣接マクロブロックＭＢ_Lの左上のブロックＢ_RULにおける最左列の下４画素と、その左下のブロックＢ_RDLにおける最左列の下４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を得て、選択部８５に供給する。選択部８５は、垂直１次元ＤＣＴ変換部８４から供給される垂直１次元ＤＣＴ係数を選択し、右隣接１次元ＤＣＴ係数として出力する。
【０３９４】
また、ステップＳ７９において、注目マクロブロックのＤＣＴタイプがフィールドＤＣＴであり、右隣接マクロブロックのＤＣＴタイプがフレームＤＣＴであると判定された場合、ステップＳ８４乃至Ｓ８６に順次進み、選択部８５は、図２３Ｃで説明したように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の偶数行の４画素と、その左下のブロックＢ_RDLにおける偶数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、右隣接１次元ＤＣＴ係数として取得する。
【０３９５】
即ち、注目ブロックが、注目マクロブロックの右下のブロックＢ_NDRである場合において、注目マクロブロックがフィールド構造であり、右隣接マクロブロックがフレーム構造であるときには、右隣接１次元ＤＣＴ係数は、図２３Ｃで説明したように、右隣接マクロブロックＭＢ_Lの左上のブロックＢ_RULにおける最左列の偶数行の４画素と、その左下のブロックＢ_RDLにおける偶数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数となるが、そのような垂直１次元ＤＣＴ係数は、メモリ８１に存在しない。
【０３９６】
そこで、サンプリング部８３は、ブロックＢ_RULの第１列の垂直１次元ＤＣＴ係数と、ブロックＢ_RDLの第１列の垂直１次元ＤＣＴ係数の垂直１次元逆ＤＣＴ変換を、垂直１次元逆ＤＣＴ変換部８２に要求する。
【０３９７】
垂直１次元逆ＤＣＴ変換部８２は、サンプリング部８３からの要求に応じ、ステップＳ８４において、ブロックＢ_RULの第１列の垂直１次元ＤＣＴ係数と、ブロックＢ_RDLの第１列の垂直１次元ＤＣＴ係数を、メモリ８１から読み出し、垂直１次元逆ＤＣＴ変換を施す。これにより、垂直１次元逆ＤＣＴ変換部８２は、ブロックＢ_RULの第１列の８画素と、ブロックＢ_RDLの第１列の８画素を得て、サンプリング部８３に供給し、ステップＳ８５に進む。
【０３９８】
ステップＳ８５では、サンプリング部８３は、垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_RULの第１列の８画素のうちの偶数行の４画素をサンプリングするとともに、同じく垂直１次元逆ＤＣＴ変換部８２から供給されるブロックＢ_RDLの第１列の８画素のうちの偶数行の４画素をサンプリングし、ブロックＢ_RULの第１列からサンプリングした偶数行の４画素を上側に配置するとともに、ブロックＢ_RDLの第１列からサンプリングした偶数行の４画素を下側に配置することにより、注目マクロブロックと同一のフィールド（ボトムフィールド）構造とした垂直方向に並ぶ８画素を、垂直１次元ＤＣＴ変換部８４に供給する。
【０３９９】
垂直１次元ＤＣＴ変換部８４は、サンプリング部８３でサンプリングされた８画素を受信すると、ステップＳ８６において、その８画素を、垂直１次元ＤＣＴ変換し、これにより、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の偶数行の４画素と、その左下のブロックＢ_RDLにおける偶数行の４画素の合計８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を得て、選択部８５に供給する。選択部８５は、垂直１次元ＤＣＴ変換部８４から供給される垂直１次元ＤＣＴ係数を選択し、右隣接１次元ＤＣＴ係数として出力する。
【０４００】
また、ステップＳ７９において、注目マクロブロックと右隣接マクロブロックのＤＣＴタイプが、いずれもフィールドＤＣＴであると判定された場合、ステップＳ８７に進み、選択部８５は、図２３Ｄで説明したように、右隣接マクロブロックＭＢ_Rの左下のブロックＢ_RDLの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、右隣接１次元ＤＣＴ係数として取得する。
【０４０１】
即ち、注目ブロックが、注目マクロブロックの右下のブロックＢ_NDRである場合において、注目マクロブロックと右隣接マクロブロックが、いずれもフィールド構造であるときには、右隣接１次元ＤＣＴ係数は、図２３Ｄで説明したように、右隣接マクロブロックＭＢ_Rの左下のブロックＢ_RDLの最左列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数であり、この垂直１次元ＤＣＴ係数は、ブロックＢ_RDLの第１列の垂直１次元ＤＣＴ係数である。ブロックＢ_RDLの第１列の垂直１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ８７において、メモリ８１から、ブロックＢ_RDLの第１列の垂直１次元ＤＣＴ係数を読み出して選択し、右隣接１次元ＤＣＴ係数として出力する。
【０４０２】
ステップＳ８０，Ｓ８３，Ｓ８６、およびＳ８７の処理後は、いずれも、ステップＳ８８に進み、選択部８５は、図２２で説明したように、注目ブロックＢ_NDRの左隣のブロックＢ_NDLの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数を、左隣接１次元ＤＣＴ係数として取得する。
【０４０３】
即ち、注目ブロックが、注目マクロブロックの右下のブロックＢ_NDRである場合には、左隣接１次元ＤＣＴ係数は、図２２で説明したように、注目ブロックＢ_NDRの左隣のブロックＢ_NDLの最右列の８画素を垂直１次元ＤＣＴ変換した垂直１次元ＤＣＴ係数であり、この垂直１次元ＤＣＴ係数は、ブロックＢ_NDLの第８列の垂直１次元ＤＣＴ係数である。ブロックＢ_NDLの第８列の垂直１次元ＤＣＴ係数は、メモリ８１に記憶されており、選択部８５は、ステップＳ８８において、メモリ８１から、ブロックＢ_NDLの第８列の垂直１次元ＤＣＴ係数を読み出して選択し、左隣接垂直１次元ＤＣＴ係数として出力して、右下ブロック処理を終了する。
【０４０４】
次に、図２のＡＣパワー算出部３３の処理について説明する。
【０４０５】
ＡＣパワー算出部３３は、上述したように、１次元逆ＤＣＴ係数変換部３１から供給される１次元ＤＣＴ係数の交流成分のパワー（ＡＣパワー）を求めるとともに、隣接１次元ＤＣＴ係数選択／変換部３２から供給される隣接１次元ＤＣＴ係数のＡＣパワーを求めるようになっている。
【０４０６】
即ち、ＡＣパワー算出部３３は、図３０に示すように、注目ブロックにおける注目画素の位置の行の水平１次元ＤＣＴ係数から、水平方向のＡＣパワーを求めるとともに、注目画素の位置の列の垂直１次元ＤＣＴ係数から、垂直方向のＡＣパワーを求める。
【０４０７】
ここで、１次元ＤＣＴ係数の７つの交流成分をＡＣ_nと表すこととすると（ｎ＝１，２，・・・，７）、ＡＣパワーＰ_ACは、例えば、次式によって計算される。
【０４０８】
Ｐ_AC＝ΣＡＣ_n ²・・・（１２）
【０４０９】
但し、式（１２）において、Σは、変数ｎを１から７に変えてのサメーションを表す。
【０４１０】
また、ＡＣパワー算出部３３は、注目ブロックについての上隣接１次元ＤＣＴ係数、下隣接１次元ＤＣＴ係数、左隣接１次元ＤＣＴ係数、右隣接１次元ＤＣＴ係数それぞれについても、式（１２）にしたがい、ＡＣパワーを求める。なお、上隣接１次元ＤＣＴ係数と下隣接１次元ＤＣＴ係数は、いずれも水平１次元ＤＣＴ係数であり、従って、これらから求められるＡＣパワーは、水平方向のＡＣパワーである。また、左隣接１次元ＤＣＴ係数と右隣接１次元ＤＣＴ係数は、いずれも垂直１次元ＤＣＴ係数であり、従って、これらから求められるＡＣパワーは、垂直方向のＡＣパワーである。
【０４１１】
ＡＣパワー算出部３３は、さらに、注目ブロックの１次元ＤＣＴ係数のうち、その境界に隣接するもの（以下、適宜、境界１次元ＤＣＴ係数という）についても、式（１２）にしたがい、ＡＣパワーを求める。
【０４１２】
即ち、ＡＣパワー算出部３３は、注目ブロックの上側の境界に隣接する第１行の水平１次元ＤＣＴ係数（以下、適宜、上境界１次元ＤＣＴ係数という）から、水平方向のＡＣパワーを求める。さらに、ＡＣパワー算出部３３は、注目ブロックの下側の境界に隣接する第８行の水平１次元ＤＣＴ係数（以下、適宜、下境界１次元ＤＣＴ係数という）から、水平方向のＡＣパワーを求める。また、ＡＣパワー算出部３３は、注目ブロックの左側の境界に隣接する第１列の垂直１次元ＤＣＴ係数（以下、適宜、左境界１次元ＤＣＴ係数という）から、垂直方向のＡＣパワーを求めるとともに、注目ブロックの右側の境界に隣接する第８列の垂直１次元ＤＣＴ係数（以下、適宜、右境界１次元ＤＣＴ係数という）から、垂直方向のＡＣパワーを求める。
【０４１３】
次に、図３１は、以上のようにしてＡＣパワーを求める図２のＡＣパワー算出部３３の構成例を示している。
【０４１４】
水平１次元ＤＣＴ係数抽出部９１および垂直１次元ＤＣＴ係数抽出部９２には、１次元逆ＤＣＴ変換部３１（図２）と、隣接１次元ＤＣＴ係数選択／変換部３２から、１次元ＤＣＴ係数が供給されるようになっている。
【０４１５】
水平１次元ＤＣＴ係数抽出部９１は、そこに供給される１次元ＤＣＴ係数から、ＡＣパワーの計算対象とするものを抽出し、水平ＡＣパワー計算部９３に供給する。即ち、水平１次元ＤＣＴ係数抽出部９１は、そこに供給される１次元ＤＣＴ係数から、注目ブロックにおける注目画素の位置の行の水平１次元ＤＣＴ係数、注目ブロックについての上隣接１次元ＤＣＴ係数および下隣接１次元ＤＣＴ係数、並びに注目ブロックの上境界１次元ＤＣＴ係数および下境界１次元ＤＣＴ係数を抽出し、水平ＡＣパワー計算部９３に供給する。
【０４１６】
垂直１次元ＤＣＴ係数抽出部９２には、そこに供給される１次元ＤＣＴ係数から、ＡＣパワーの計算対象とするものを抽出し、垂直ＡＣパワー計算部９４に供給する。即ち、垂直１次元ＤＣＴ係数抽出部９２は、そこに供給される１次元ＤＣＴ係数から、注目ブロックにおける注目画素の位置の列の垂直１次元ＤＣＴ係数、注目ブロックについての左隣接１次元ＤＣＴ係数および右隣接１次元ＤＣＴ係数、並びに注目ブロックの左境界１次元ＤＣＴ係数および右境界１次元ＤＣＴ係数を抽出し、垂直ＡＣパワー計算部９４に供給する。
【０４１７】
水平ＡＣパワー計算部９３は、水平１次元ＤＣＴ係数抽出部９１から供給される水平１次元ＤＣＴ係数から、式（１２）にしたがって、水平方向のＡＣパワーを計算して出力する。即ち、水平ＡＣパワー計算部９３は、注目ブロックにおける注目画素の位置の行の水平１次元ＤＣＴ係数、注目ブロックについての上隣接１次元ＤＣＴ係数および下隣接１次元ＤＣＴ係数、並びに注目ブロックの上境界１次元ＤＣＴ係数および下境界１次元ＤＣＴ係数それぞれから、水平方向のＡＣパワーを計算する。
【０４１８】
垂直ＡＣパワー計算部９４は、垂直１次元ＤＣＴ係数抽出部９２から供給される垂直１次元ＤＣＴ係数から、式（１２）にしたがって、垂直方向のＡＣパワーを計算して出力する。即ち、垂直ＡＣパワー計算部９４は、注目ブロックにおける注目画素の位置の列の垂直１次元ＤＣＴ係数、注目ブロックについての左隣接１次元ＤＣＴ係数および右隣接１次元ＤＣＴ係数、並びに注目ブロックの左境界１次元ＤＣＴ係数および右境界１次元ＤＣＴ係数それぞれから、垂直方向のＡＣパワーを計算する。
【０４１９】
なお、以上のようにして、１次元ＤＣＴ係数から求められるＡＣパワーは、その１次元ＤＣＴ係数に対応する８画素の交流成分の電力と捉えることができ、従って、画像のアクティビティを表す。
【０４２０】
次に、図２のＡＣ内積計算部３４の処理について説明する。
【０４２１】
ＡＣ内積計算部３４は、上述したように、１次元逆ＤＣＴ係数変換部３１から供給される注目ブロックの境界部分の１次元ＤＣＴ係数（境界１次元ＤＣＴ係数）の交流成分と、隣接１次元ＤＣＴ係数選択／変換部３２から供給される隣接１次元ＤＣＴ係数の交流成分とを、それぞれベクトルのコンポーネントとみなして、その２つのベクトルの内積（ＡＣ内積）を求める。
【０４２２】
即ち、ＡＣ内積計算部３４は、図３２に示すように、注目ブロックについての上境界１次元ＤＣＴ係数の交流成分と、上隣接１次元ＤＣＴ係数の交流成分とを、それぞれベクトルのコンポーネントとみなして、その２つのベクトルのＡＣ内積（以下、上内積という）を、次式にしたがって求める。
【０４２３】
Ｉ＝Σ（ＡＣ_n×ＡＣ_n’）・・・（１３）
【０４２４】
但し、式（１３）において、Ｉは、ＡＣ内積を表す。さらに、ＡＣ_nは、注目ブロックについての上境界１次元ＤＣＴ係数のｎ番目の交流成分を表し、ＡＣ_n’は、注目ブロックについての上隣接１次元ＤＣＴ係数のｎ番目の交流成分を表す。また、Σは、ｎを１から７に変えてのサメーションを表す。
【０４２５】
ＡＣ内積計算部３４は、注目ブロックについての下境界１次元ＤＣＴ係数と下隣接１次元ＤＣＴ係数、左境界１次元ＤＣＴ係数と左隣接１次元ＤＣＴ係数、または右境界１次元ＤＣＴ係数と右隣接１次元ＤＣＴ係数それぞれについても、式（１３）にしたがい、ＡＣ内積を求める。
【０４２６】
ここで、以下、適宜、注目ブロックについての下境界１次元ＤＣＴ係数と下隣接１次元ＤＣＴ係数とから求められるＡＣ内積を、下内積と、左境界１次元ＤＣＴ係数と左隣接１次元ＤＣＴ係数とから求められるＡＣ内積を、左内積と、右境界１次元ＤＣＴ係数と右隣接１次元ＤＣＴ係数とから求められるＡＣ内積を、右内積と、それぞれいう。
【０４２７】
ＡＣ内積は、注目ブロックの境界を挟む境界１次元ＤＣＴ係数と隣接１次元ＤＣＴ係数の交流成分が類似する場合、即ち、境界１次元ＤＣＴ係数の交流成分をコンポーネントとするベクトルと、隣接１次元ＤＣＴ係数の交流成分をコンポーネントとするベクトルとがつくる角度が９０度未満（以上）である場合に正の値（０以上の値）となる。従って、ＡＣ内積が正の値であることは、注目ブロックの境界を挟む境界１次元ＤＣＴ係数に対応する８画素と、隣接１次元ＤＣＴ係数に対応する８画素の波形パターンが似ていることを表しており、例えば、注目ブロックとそれに隣接するブロックの境界において、その境界を横切る形で連続しているエッジが存在することを表す。
【０４２８】
次に、図３３は、注目ブロックについて、上述のようなＡＣ内積（上内積、下内積、左内積、右内積）を計算する図２のＡＣ内積計算部３４の構成例を示している。
【０４２９】
１次元逆ＤＣＴ変換部３１と隣接１次元ＤＣＴ係数選択／変換部３２が出力する１次元ＤＣＴ係数は、上内積用１次元ＤＣＴ係数抽出部１０１、下内積用１次元ＤＣＴ係数抽出部１０２、左内積用１次元ＤＣＴ係数抽出部１０３、および右内積用１次元ＤＣＴ係数抽出部１０４に供給されるようになっている。
【０４３０】
上内積用１次元ＤＣＴ係数抽出部１０１は、注目ブロックについて、上内積を計算するのに用いる上境界１次元ＤＣＴ係数と上隣接１次元ＤＣＴ係数を、そこに供給される１次元ＤＣＴ係数から抽出し、上内積演算部１０５に供給する。
【０４３１】
上内積演算部１０５は、上内積用１次元ＤＣＴ係数抽出部１０１から供給される上境界１次元ＤＣＴ係数と上隣接１次元ＤＣＴ係数から、式（１３）にしたがって、上内積を計算して出力する。
【０４３２】
下内積用１次元ＤＣＴ係数抽出部１０２は、注目ブロックについて、下内積を計算するのに用いる下境界１次元ＤＣＴ係数と下隣接１次元ＤＣＴ係数を、そこに供給される１次元ＤＣＴ係数から抽出し、下内積演算部１０６に供給する。
【０４３３】
下内積演算部１０６は、下内積用１次元ＤＣＴ係数抽出部１０２から供給される下境界１次元ＤＣＴ係数と下隣接１次元ＤＣＴ係数から、式（１３）にしたがって、下内積を計算して出力する。
【０４３４】
左内積用１次元ＤＣＴ係数抽出部１０３は、注目ブロックについて、左内積を計算するのに用いる左境界１次元ＤＣＴ係数と左隣接１次元ＤＣＴ係数を、そこに供給される１次元ＤＣＴ係数から抽出し、左内積演算部１０７に供給する。
【０４３５】
左内積演算部１０７は、左内積用１次元ＤＣＴ係数抽出部１０３から供給される左境界１次元ＤＣＴ係数と左隣接１次元ＤＣＴ係数から、式（１３）にしたがって、左内積を計算して出力する。
【０４３６】
右内積用１次元ＤＣＴ係数抽出部１０４は、注目ブロックについて、右内積を計算するのに用いる右境界１次元ＤＣＴ係数と右隣接１次元ＤＣＴ係数を、そこに供給される１次元ＤＣＴ係数から抽出し、右内積演算部１０８に供給する。
【０４３７】
右内積演算部１０８は、右内積用１次元ＤＣＴ係数抽出部１０４から供給される右境界１次元ＤＣＴ係数と右隣接１次元ＤＣＴ係数から、式（１３）にしたがって、右内積を計算して出力する。
【０４３８】
次に、図３４は、図２のクラスコード生成部３６の構成例を示している。
【０４３９】
クラスコード生成部３６は、輝度信号のブロックを対象に、そのブロックを構成する画素をクラス分類するようになっている。
【０４４０】
即ち、比較部１１１および１１２には、ＡＣパワー算出部３３（図２）が出力するＡＣパワーが供給される。平坦性条件判定部１１３には、ＡＣパワー算出部３３（図２）が出力するＡＣパワー、並びに１次元逆ＤＣＴ変換部３１および隣接１次元ＤＣＴ係数選択／変換部３２が出力する１次元ＤＣＴ係数が供給される。連続性判定部１１４には、ＡＣ内積計算部３４（図２）が出力するＡＣ内積が供給される。境界部エッジ条件判定部１１５には、１次元逆ＤＣＴ変換部３１および隣接１次元ＤＣＴ係数選択／変換部３２が出力する１次元ＤＣＴ係数が供給される。
【０４４１】
比較部１１１は、ＡＣパワー算出部３３（図２）が出力するＡＣパワーのうちの、注目画素の行の水平１次元ＤＣＴ係数から求められた水平方向のＡＣパワーを、所定の閾値Ａと比較し、その比較結果を、クラスコード作成部１１６に供給する。
【０４４２】
比較部１１２は、ＡＣパワー算出部３３（図２）が出力するＡＣパワーのうちの、注目画素の列の垂直１次元ＤＣＴ係数から求められた垂直方向のＡＣパワーを、所定の閾値Ａと比較し、その比較結果を、クラスコード作成部１１６に供給する。
【０４４３】
平坦性条件判定部１１３は、注目ブロックについて、境界１次元ＤＣＴ係数から求められたＡＣパワー、隣接１次元ＤＣＴ係数から求められたＡＣパワー、さらには、境界１次元ＤＣＴ係数の直流成分、隣接１次元ＤＣＴ係数の直流成分に基づき、注目ブロックの上下左右それぞれの境界について、各境界部分における画像の平坦性を判定し、その判定結果を、クラスコード生成部１１６に供給する。
【０４４４】
連続性条件判定部１１４は、注目ブロックについて求められた上内積、下内積、左内積、右内積に基づき、注目ブロックの上下左右それぞれの境界について、各境界部分における画像の連続性を判定し、その判定結果を、クラスコード生成部１１６に供給する。
【０４４５】
境界部エッジ条件判定部１１５は、注目ブロックについての境界１次元ＤＣＴ係数の直流成分と、隣接１次元ＤＣＴ係数の直流成分とに基づき、注目ブロックの上下左右それぞれの境界について、その境界に沿ってエッジが存在するかどうかを判定し、その判定結果を、クラスコード生成部１１６に供給する。
【０４４６】
クラスコード作成部１１６は、比較部１１１および１１２、平坦性条件判定部１１３、連続性条件判定部１１４、並びに境界部エッジ条件判定部１１５の出力に基づき、注目画素をクラス分類し、そのクラスを表すクラスコード（輝度クラスコード）を作成（生成）して出力する。
【０４４７】
ここで、図３５は、クラスコード作成部１１６が出力するクラスコードのフォーマットを示している。
【０４４８】
図３５の実施の形態では、クラスコードは、１０ビットとされており、その先頭から、２ビットのＡＣパワークラスコード、４ビットのブロック平坦性クラスコード、４ビットのブロック間連続性クラスコードが順次配置されて構成される。
【０４４９】
２ビットのＡＣパワークラスコードは、注目画素を、その垂直方向のＡＣパワーと水平方向のＡＣパワーによってクラス分けするもので、その先頭のビットは、注目画素の列の垂直１次元ＤＣＴ係数から求められた垂直方向のＡＣパワーによって決定され、２番目のビットは、注目画素の行の水平１次元ＤＣＴ係数から求められた水平方向のＡＣパワーによって決定される。従って、ＡＣパワークラスコードは、画素ごとに決定される。
【０４５０】
４ビットのブロック平坦性クラスコードは、注目画素を含むブロック（注目ブロック）を、その上下左右それぞれの境界部分の平坦性（注目ブロックとそれに隣接するブロックとの間における画像の平坦さ）によってクラス分けするもので、その１乃至４番目のビットは、注目ブロックの上、下、左、右それぞれの境界の平坦性によって決定される。従って、ブロック平坦性クラスコードは、ブロックごとに決定される。
【０４５１】
４ビットのブロック間連続性クラスコードは、注目画素を含むブロック（注目ブロック）を、その上下左右それぞれの境界部分の連続性（注目ブロックとそれに隣接するブロックとの間における画像のつながり具合）によってクラス分けするもので、その１乃至４番目のビットは、注目ブロックの上、下、左、右それぞれの境界の連続性によって決定される。従って、ブロック連続性クラスコードも、ブロック平坦性クラスコードと同様に、ブロックごとに決定される。
【０４５２】
以上から、ＡＣパワークラスコードは、基本的に、画素ごとに異なるが、ブロック平坦性クラスコードとブロック間連続性クラスコードは、同一ブロックの画素については、同一となる。
【０４５３】
次に、図３６のフローチャートを参照して、図３４のクラスコード生成部３６の処理（クラス分類処理）について説明する。
【０４５４】
クラスコード生成部３６では、まず最初に、ステップＳ９１において、比較部１１１が、ＡＣパワー算出部３３（図２）が出力するＡＣパワーのうちの、注目画素の行の水平１次元ＤＣＴ係数から求められた水平方向のＡＣパワーを、所定の閾値Ａと比較し、その比較結果を、クラスコード作成部１１６に供給する。さらに、ステップＳ９１では、比較部１１２が、ＡＣパワー算出部３３（図２）が出力するＡＣパワーのうちの、注目画素の列の垂直１次元ＤＣＴ係数から求められた垂直方向のＡＣパワーを、所定の閾値Ａと比較し、その比較結果を、クラスコード作成部１１６に供給する。
【０４５５】
そして、クラスコード作成部１１６は、比較部１１１と１１２の出力に基づいて、注目画素のＡＣパワークラスコードを決定する。
【０４５６】
即ち、クラスコード作成部１１６は、注目画素の列の垂直１次元ＤＣＴ係数から求められた垂直方向のＡＣパワーが、所定の閾値Ａより大の場合は、２ビットのＡＣパワークラスコードのうちの１番目のビットを、例えば１とし、その垂直方向のＡＣパワーが、所定の閾値Ａより大でない場合は、ＡＣパワークラスコードの１番目のビットを、例えば、０とする。さらに、クラスコード作成部１１６は、注目画素の行の水平１次元ＤＣＴ係数から求められた水平方向のＡＣパワーが、所定の閾値Ａより大の場合は、２ビットのＡＣパワークラスコードのうちの２番目のビットを、例えば１とし、その水平方向のＡＣパワーが、所定の閾値Ａより大でない場合は、ＡＣパワークラスコードの２番目のビットを、例えば、０とする。
【０４５７】
その後、ステップＳ９２に進み、境界部エッジ条件判定部１１５は、注目ブロックについての境界１次元ＤＣＴ係数の直流成分と、隣接１次元ＤＣＴ係数の直流成分とに基づき、注目ブロックの境界について、その境界に沿ってエッジが存在するという境界部エッジ条件が満たされるかどうかを判定する。
【０４５８】
即ち、境界部エッジ条件判定部１１５は、例えば、注目ブロックについての境界１次ＤＣＴ係数の直流成分ＤＣと、隣接１次ＤＣＴ係数の直流成分ＤＣ’との差分絶対値｜ＤＣ−ＤＣ’｜が、所定の閾値Ｅよりも大きい（または以上である）という条件を、境界部エッジ条件として、そのような境界部エッジ条件が満たされるかどうかを判定する。
【０４５９】
ステップＳ９２において、境界部エッジ条件が満たされると判定した場合、即ち、注目ブロックについての境界１次ＤＣＴ係数の直流成分ＤＣと、隣接１次ＤＣＴ係数の直流成分ＤＣ’との差が非常に大きく、従って、注目ブロックの境界部分にエッジが存在し、注目ブロックとそれに隣接するブロックの画像パターンにつながりがないと考えられる場合、境界部エッジ条件判定部１１５は、その旨を、クラスコード作成部１１６に出力し、ステップＳ９７に進む。ステップＳ９７では、クラスコード作成部１１６は、ブロック平坦性クラスコードおよびブロック間連続性クラスコードを、いずれも、例えば０とし、ステップＳ９８に進む。
【０４６０】
また、ステップＳ９２において、境界部エッジ条件が満たされないと判定された場合、ステップＳ９３に進み、平坦性条件判定部１１３は、注目ブロックについて、境界１次元ＤＣＴ係数から求められたＡＣパワー、隣接１次元ＤＣＴ係数から求められたＡＣパワー、さらには、境界１次元ＤＣＴ係数の直流成分、隣接１次元ＤＣＴ係数の直流成分に基づき、注目ブロックの境界部分が平坦であるという平坦性条件が満たされるかどうかを判定する。
【０４６１】
即ち、平坦性条件判定部１１３は、例えば、次式で表される条件を、平坦性条件として、そのような平坦性条件が満たされるかどうかを判定する。
【０４６２】
（Ｐ_AC≦Ｂ）∩（Ｐ_AC’≦Ｂ）∩（｜ＤＣ−ＤＣ’｜≦Ｄ）・・・（１４）
【０４６３】
Ｐ_AC’≦Ｃ・・・（１５）
【０４６４】
但し、式（１４）および（１５）において、Ｂ，Ｃ，Ｄは、所定の閾値であり、閾値Ｃは、閾値Ｂよりも十分小さいものとする。また、式（１４）および（１５）において、Ｐ_ACは、注目ブロックについての境界１次元ＤＣＴ係数から求められたＡＣパワーを表し、Ｐ_AC’は、注目ブロックについての隣接１次元ＤＣＴ係数から求められたＡＣパワーを表す。さらに、式（１４）において、ＤＣは、注目ブロックについての境界１次元ＤＣＴ係数の直流成分を表し、ＤＣ’は、注目ブロックについての隣接１次元ＤＣＴ係数の直流成分を表す。また、∩は、論理積を表す。
【０４６５】
式（１４）は、注目ブロックについての境界１次元ＤＣＴ係数と隣接１次元ＤＣＴ係数からそれぞれ求められるＡＣパワーＰ_ACとＰ_AC’が、いずれも閾値Ｂ以下で（または未満で）、かつ、それぞれの直流成分ＤＣとＤＣ’の差分絶対値｜ＤＣ−ＤＣ’｜が、閾値Ｄ以下（または未満）の場合に、真となる。また、式（１５）は、注目ブロックについての隣接１次元ＤＣＴ係数から求められたＡＣパワーＰ_AC’が、閾値Ｃ以下（または未満）の場合に、真となる。
【０４６６】
ここで、閾値Ｃは、上述したように、閾値Ｂよりも十分小さい、例えば、０に近い値であり、従って、式（１５）は、注目ブロックについての隣接１次元ＤＣＴ係数から求められたＡＣパワーＰ_AC’が０に近い場合に、真となる。
【０４６７】
なお、ここでは、平坦性条件は、例えば、式（１４）および（１５）のうちのいずれか一方が真であれば満たされるものとする。
【０４６８】
ステップＳ９３において、平坦性条件が満たされると判定された場合、平坦性条件判定部１１３は、その旨を、クラスコード作成部１１６に供給して、ステップＳ９４に進む。
【０４６９】
ステップＳ９４では、クラスコード作成部１１６は、ブロック平坦性クラスコードおよびブロック間連続性クラスコードを、いずれも、例えば１とし、ステップＳ９８に進む。
【０４７０】
また、ステップＳ９３において、平坦性条件が満たされないと判定された場合、ステップＳ９５に進み、連続性条件判定部１１４は、注目ブロックについて求められたＡＣ内積に基づき、注目ブロックの境界部分に連続性があるという連続性条件が満たされるかどうかを判定する。
【０４７１】
即ち、連続性条件判定部１１４は、例えば、注目ブロックについてのＡＣ内積Ｉが、正の値（または０以上）であるという条件を、連続性条件として、そのような連続性条件が満たされるかどうかを判定する。
【０４７２】
ステップＳ９５において、連続性条件が満たされると判定された場合、連続性条件判定部１１４は、その旨を、クラスコード作成部１１６に供給して、ステップＳ９６に進む。
【０４７３】
ステップＳ９６では、クラスコード作成部１１６は、ブロック平坦性クラスコードを、例えば、０とするとともに、ブロック間連続性クラスコードを、例えば、１とし、ステップＳ９８に進む。
【０４７４】
一方、ステップＳ９６において、連続性条件が満たされないと判定された場合、連続性条件判定部１１４は、その旨を、クラスコード作成部１１６に供給して、ステップＳ９７に進む。ステップＳ９７では、クラスコード作成部１１６は、上述したように、ブロック平坦性クラスコードおよびブロック間連続性クラスコードを、いずれも０とし、ステップＳ９８に進む。
【０４７５】
なお、ステップＳ９２乃至Ｓ９７の処理は、注目ブロックの上下左右の境界それぞれについて、独立に行われ、これにより、ブロック平坦性クラスコードとブロック間連続性クラスコードは、注目ブロックの上下左右の境界それぞれについて求められる。
【０４７６】
ステップＳ９８では、クラスコード作成部１１６は、ステップＳ９１乃至Ｓ９７の処理によって求められたＡＣパワークラスコード、ブロック平坦性クラスコード、およびブロック間連続性クラスコードから、図３５に示した１０ビットのクラスコードを作成し、処理を終了する。
【０４７７】
なお、図３６のフローチャートに示した処理は、新たな画素が注目画素とされるごとに行われる。但し、上述したように、ブロック平坦生クラスコードとブロック間連続性クラスコードは、同一ブロックの画素については同一となるため、同一ブロックを構成する画素については、最初の画素に対してのみ、ステップＳ９１乃至９８の処理を行い、他の画素に対しては、ステップＳ９１とＳ９８の処理だけを行い、ブロック平坦生クラスコードとブロック間連続性クラスコードは、最初の画素に対して得られたものを流用するようにすることが可能である。
【０４７８】
ここで、本実施の形態では、図３５に示したように、クラスコードを１０ビットとしているため、そのような１０ビットのクラスコードによれば、１０２４（＝２¹⁰）通りのクラスを表すことができる。
【０４７９】
しかしながら、図３６に示したクラス分類処理では、ブロック平坦性クラスコードが１で、ブロック間連続性クラスコードが０となるケースは、存在しない。即ち、ここでは、ブロックの境界部分が平坦であるのに、連続性がないということはありえないとして、ブロック平坦性クラスコードが１となる場合には、ブロック間連続性クラスコードも、必ず１とするようにしている。
【０４８０】
従って、例えば、ブロックの上の境界についてのブロック平坦性クラスコードとブロック間連続性クラスコードとの組（ｂ１，ｂ２）は、（０，０），（０，１），（１，１）の３通りしか取り得ない。その結果、ブロックの上下左右の４つの境界すべてについての４ビットのブロック平坦性クラスコード、および４ビットのブロック間連続性クラスコードで表現されるクラス数は、８１（＝３⁴）通りとなる。
【０４８１】
また、２ビットのＡＣパワークラスコードで表現されるクラス数は、４（＝２²）通りである。
【０４８２】
従って、ここでは、図３５の１０ビットのクラスコードで表現されるクラス数は、３２４（＝８１×４）通りとなる。
【０４８３】
ここで、上述の場合において、ブロック平坦性クラスコードとブロック間連続性クラスコードとの組（ｂ１，ｂ２）が、（０，０）となるケースは、注目ブロックとそれに隣接する隣接ブロックにおける画像どうしにつながりがなく、注目ブロックと隣接ブロックとが、いわば「無関係」であることを表す。また、（ｂ１，ｂ２）が、（０，１）となるケースは、注目ブロックと隣接ブロックにおける画像が、平坦ではないが、「連続」していることを表す。さらに、（ｂ１，ｂ２）が、（１，１）となるケースは、注目ブロックと隣接ブロックにおける画像が、「平坦」であること（従って、「連続」でもある）ことを表す。
【０４８４】
なお、上述の場合には、ブロック平坦性クラスコードとブロック間連続性クラスコードとの組（ｂ１，ｂ２）を、３通りとして、１０ビットのクラスコードにより、３２４通りのクラスを表現するようにしたが、（ｂ１，ｂ２）は、３通りではなく、（０，０），（０，１），（１，０）、（１，１）の４通りを取り得るようにして、１０ビットのクラスコードにより、１０２４（＝２¹⁰）通りのクラスを表現することができるようにすることも可能である。
【０４８５】
即ち、上述の場合には、式（１４）または（１５）のいずれか一方のみが満たされれば、平坦性条件が満たされることとして、（ｂ１，ｂ２）に（１，１）を割り当てるようにしたが、例えば、式（１４）と（１５）の両方が満たされる場合と、式（１４）だけが満たされる場合とを区別するようにし、式（１４）と（１５）の両方が満たされる場合には、（ｂ１，ｂ２）に、（１，１）を割り当てるとともに、式（１４）だけが満たされる場合には、（ｂ１，ｂ２）に、（１，０）を割り当てるようにすることが可能である。
【０４８６】
この場合、（ｂ１，ｂ２）が、（１，１）となるケースは、注目ブロックと隣接ブロックにおける画像が、「注目ブロック側と隣接ブロック側の両方で平坦」であることを表し、（ｂ１，ｂ２）が、（１，０）となるケースは、注目ブロックと隣接ブロックにおける画像が、「隣接ブロック側だけで平坦」であることを表す。
【０４８７】
また、図３６のフローチャートでは、境界エッジ条件が満たされるケースであっても、平坦性条件と連続性条件のいずれもが満たされないケースであっても、（ｂ１，ｂ２）を、（０，０）とするようにしたが、境界エッジ条件が満たされるケースか、平坦性条件と連続性条件のいずれもが満たされないケースのうちのいずれか一方を、（１，０）に割り当てることにより、ブロック平坦性クラスコードとブロック間連続性クラスコードとの組（ｂ１，ｂ２）が、４通りを取り得るようにすることも可能である。
【０４８８】
さらに、式（１４）と（１５）の両方が満たされるケースと、式（１４）だけが満たされるケースとを区別するとともに、境界エッジ条件が満たされるケースと、平坦性条件と連続性条件のいずれもが満たされないケースとを区別するようにすることも可能である。但し、この場合、注目ブロックと隣接ブロックにおける画像が「連続」しているケース、および注目ブロックと隣接ブロックにおける画像が「平坦」であるケースとあわせると、注目ブロックの１つ（１辺）の境界について、５通りの場合分けが必要となる。従って、この場合、注目ブロックの境界によるクラスの場合の数は、６２５通りとなり、その結果、２ビットのＡＣパワークラスコードも考慮すると、全クラス数は、２５００となる。
【０４８９】
次に、図３７は、図２のクラスコード生成部３７の構成例を示している。
【０４９０】
クラスコード生成部３７は、色差信号のブロックを対象に、そのブロックを構成する画素をクラス分類するようになっている。
【０４９１】
従って、クラスコード生成部３７は、輝度クラスコードを出力するクラスコード生成部３６と同様に構成することも可能である。
【０４９２】
しかしながら、色差信号のブロックは、一般に、輝度信号のブロックに比較して、画像のアクティビティが低く、１次元ＤＣＴ係数の交流成分の値が小さくなるため、クラスコード生成部３６と同一の処理を行うと、効果的なクラス分類が困難な場合がある。
【０４９３】
そこで、ここでは、クラスコード生成部３７は、クラスコード生成部３６で得られた輝度クラスコードをも用いて、色差信号の画素のクラス分類を行うようになっている。
【０４９４】
即ち、図３７の実施の形態において、比較部１２１および１２２には、ＡＣパワー算出部３３（図２）が出力するＡＣパワーが供給される。
【０４９５】
比較部１２１は、図３４の比較部１１１と同様に、ＡＣパワー算出部３３（図２）が出力するＡＣパワーのうちの、注目画素の行の水平１次元ＤＣＴ係数から求められた水平方向のＡＣパワーを、所定の閾値Ａと比較し、その比較結果を、クラスコード作成部１２３に供給する。
【０４９６】
比較部１２２は、図３３の比較部１１２と同様に、ＡＣパワー算出部３３（図２）が出力するＡＣパワーのうちの、注目画素の列の垂直１次元ＤＣＴ係数から求められた垂直方向のＡＣパワーを、所定の閾値Ａと比較し、その比較結果を、クラスコード作成部１２３に供給する。
【０４９７】
なお、クラスコード生成部３７では、色差信号のブロックを対象に処理が行われるが、上述したように、色差信号については、その１次元ＤＣＴ係数の交流成分の値が小さくなることから、ＡＣパワーも小さくなる。このため、比較部１２１と１２２で用いられる閾値Ａは、図３４の比較部１１１と１１２で用いられるものよりも小さい値のものを用いるのが望ましい。
【０４９８】
クラスコード作成部１２３には、比較部１２１および１２２の出力の他、クラスコード作成部３６が出力する図３５の輝度クラスコードも供給されるようになっており、クラスコード作成部１２３は、これらの比較部１２１および１２２の出力、並びに輝度クラスコードに基づき、注目画素をクラス分類し、そのクラスを表すクラスコード（色差クラスコード）を作成（生成）して出力する。
【０４９９】
ここで、クラスコード作成部１２３は、図３５に示した輝度クラスコードと同一フォーマットの色差クラスコードを作成するようになっている。
【０５００】
即ち、クラスコード作成部１２３は、注目画素のＡＣパワークラスコードについては、比較部１２１と１２２の出力に基づき、図３４のクラスコード作成部１１６と同様にして作成する。
【０５０１】
また、クラスコード作成部１２３は、注目画素のブロック平坦性クラスコードと、ブロック間連続性クラスコードについては、その注目画素を含む色差信号のブロック（注目ブロック）と空間的に同一位置にある輝度信号のブロックにおける画素の輝度クラスコードを用いて作成する。
【０５０２】
即ち、例えば、いま、画像データがＹＵＶ形式で表されるものとし、その画像フォーマットが、４：２：２であるとすると、図３８Ａに示すように、左右に並ぶ２つの輝度ブロックＹ１およびＹ２と、１つの色差ブロックＵと、１つの色差ブロックＶとが対応する。
【０５０３】
そして、この場合、色差ブロックＵの上の境界は、左の輝度ブロックＹ１の上の境界ａと右の輝度ブロックＹ２の上の境界ｂに、色差ブロックＵの下の境界は、輝度ブロックＹ１の下の境界ｅと輝度ブロックＹ２の下の境界ｆに、色差ブロックＵの左の境界は、輝度ブロックＹ１の左の境界ｃに、色差ブロックＵの右の境界は、輝度ブロックＹ２の右の境界ｄに、それぞれ対応する。
【０５０４】
そこで、図３８Ａに点線で示してあるように、色差ブロックＵを、横×縦が４×８画素の、左右に隣接する２つの小ブロックＵｌとＵｒに分割すると、図３８Ｂに示すように、左の小ブロックＵｌの上の境界は、輝度ブロックＹ１の上の境界ａに、小ブロックＵｌの下の境界は、輝度ブロックＹ１の下の境界ｅに、小ブロックＵｌの左の境界は、輝度ブロックＹ１の左の境界ｃに、小ブロックＵｌの右の境界は、輝度ブロックＹ２の右の境界ｄに、それぞれ対応する。また、右の小ブロックＵｒの上の境界は、輝度ブロックＹ２の上の境界ｂに、小ブロックＵｒの下の境界は、輝度ブロックＹ２の下の境界ｆに、小ブロックＵｒの左の境界は、輝度ブロックＹ１の左の境界ｃに、小ブロックＵｒの右の境界は、輝度ブロックＹ２の右の境界ｄに、それぞれ対応する。
【０５０５】
ここで、図３５のクラスコードにおいて、ブロックの上下左右の境界について求められたブロック平坦性クラスコードを、以下、適宜、上境界平坦性コード、下境界平坦性コード、左境界平坦性コード、右境界平坦性コードと、それぞれいう。また、ブロックの上下左右の境界について求められたブロック間連続性クラスコードを、以下、適宜、上境界連続性コード、下境界連続性コード、左境界連続性コード、右境界連続性コードと、それぞれいう。さらに、以下、適宜、上境界平坦性コードと上境界連続性コードをまとめて、上境界コードと、下境界平坦性コードと下境界連続性コードをまとめて、下境界コードと、左境界平坦性コードと左境界連続性コードをまとめて、左境界コードと、右境界平坦性コードと右境界連続性コードをまとめて、右境界コードと、それぞれいう。また、以下、適宜、上境界コード、下境界コード、左境界コード、および右境界コードをまとめて、境界コードという。
【０５０６】
輝度ブロックＹ１およびＹ２の境界と、小ブロックＵｌやＵｒの境界との間には、上述のような対応関係があることから、クラスコード作成部１２３は、小ブロックＵｌとＵｒそれぞれの画素の色差クラスコードにおける境界コードとして、輝度ブロックＹ１およびＹ２の対応する境界について求められたものを、そのまま用いるようになっている。
【０５０７】
即ち、クラスコード作成部１２３は、小ブロックＵｌの画素については、その色差クラスコードにおける上境界コード、下境界コード、左境界コード、右境界コードとして、それぞれ、輝度ブロックＹ１の上境界コード、輝度ブロックＹ１の下境界コード、輝度ブロックＹ１の左境界コード、輝度ブロックＹ２の右境界をセットする。
【０５０８】
また、クラスコード作成部１２３は、小ブロックＵｒの画素については、その色差クラスコードにおける上境界コード、下境界コード、左境界コード、右境界コードとして、それぞれ、輝度ブロックＹ２の上境界コード、輝度ブロックＹ２の下境界コード、輝度ブロックＹ１の左境界コード、輝度ブロックＹ２の右境界コードをセットする。
【０５０９】
色差ブロックＶと、輝度ブロックＹ１およびＹ２との対応関係も、色差ブロックＵと、輝度ブロックＹ１およびＹ２との対応関係と同一であり、クラスコード作成部１２３は、色差ブロックＵにおける場合と同様に、色差ブロックＶを、横×縦が４×８画素の２つの小ブロックＶｌとＶｒに分割し、小ブロックＶｌとＶｒの色差クラスコードにおける境界コードとして、輝度ブロックＹ１およびＹ２の境界コードを、色差ブロックＵにおける場合と同様にしてセットする。
【０５１０】
その結果、クラスコード作成部１２３では、小ブロックＵｌ，Ｕｒ，Ｖｌ，Ｖｒの画素について、次のような色差クラスコードが作成される。
【０５１１】
即ち、例えば、いま、図３９Ａに示すように、色差ブロックＵ，Ｖに対応する２つの輝度ブロックＹ１またはＹ２の画素について得られている１０ビットの輝度クラスコードの第ｉビット（最下位ビットからｉビット目）を、ＢＬ＃ｉ−１またはＢＲ＃ｉ−１と、それぞれ表すこととすると、小ブロックＵｌ，Ｕｒ，Ｖｌ，Ｖｒの画素については、図３９Ｂに示すようなクラスコードが作成される。
【０５１２】
即ち、小ブロックＵｌ，Ｖｌの画素の色差クラスコードの第１乃至第８ビットには、ＢＲ０，ＢＬ１，ＢＬ２，ＢＬ３，ＢＲ４，ＢＬ５，ＢＬ６，ＢＬ７がそれぞれ配置される。また、小ブロックＵｒ，Ｖｒの画素の色差クラスコードの第１乃至第８ビットには、ＢＲ０，ＢＬ１，ＢＲ２，ＢＲ３，ＢＲ４，ＢＬ５，ＢＲ６，ＢＲ７がそれぞれ配置される。
【０５１３】
ここで、色差クラスコードの第９ビットと第１０ビットは、輝度クラスコードにおける場合と同様に、注目画素のＡＣパワーに基づいて決定される。
【０５１４】
次に、画像フォーマットが、例えば、４：２：０である場合には、図４０Ａに示すように、左上、左下、右上、右下の位置関係にある４つの隣接する輝度ブロックＹ１，Ｙ２，Ｙ３，Ｙ４と、１つの色差ブロックＵと、１つの色差ブロックＶとが対応する。
【０５１５】
そして、この場合、図４０Ａに点線で示してあるように、色差ブロックＵを、横×縦が４×４画素の左上、左下、右上、右下の位置関係にある４つの小ブロックＵｕｌ，Ｕｌｌ，Ｕｕｒ，Ｕｌｒに分割すると、図４０Ｂに示すように、小ブロックＵｕｌの上の境界は、輝度ブロックＹ１の上の境界ａに、小ブロックＵｕｌの下の境界は、輝度ブロックＹ３の下の境界ｇに、小ブロックＵｕｌの左の境界は、輝度ブロックＹ１の左の境界ｃに、小ブロックＵｕｌの右の境界は、輝度ブロックＹ２の右の境界ｄに、それぞれ対応する。また、小ブロックＵｌｌの上の境界は、輝度ブロックＹ１の上の境界ａに、小ブロックＵｌｌの下の境界は、輝度ブロックＹ３の下の境界ｇに、小ブロックＵｌｌの左の境界は、輝度ブロックＹ３の左の境界ｅに、小ブロックＵｌｌの右の境界は、輝度ブロックＹ４の右の境界ｆに、それぞれ対応する。さらに、小ブロックＵｕｒの上の境界は、輝度ブロックＹ２の上の境界ｂに、小ブロックＵｕｒの下の境界は、輝度ブロックＹ４の下の境界ｈに、小ブロックＵｕｒの左の境界は、輝度ブロックＹ１の左の境界ｃに、小ブロックＵｕｒの右の境界は、輝度ブロックＹ２の右の境界ｄに、それぞれ対応する。さらに、小ブロックＵｌｒの上の境界は、輝度ブロックＹ２の上の境界ｂに、小ブロックＵｌｒの下の境界は、輝度ブロックＹ４の下の境界ｈに、小ブロックＵｌｒの左の境界は、輝度ブロックＹ３の左の境界ｅに、小ブロックＵｌｒの右の境界は、輝度ブロックＹ４の右の境界ｆに、それぞれ対応する。
【０５１６】
輝度ブロックＹ１乃至Ｙ４の境界と、小ブロックＵｕｌや、Ｕｌｌ，Ｕｕｒ，Ｕｌｒの境界との間には、上述のような対応関係があることから、クラスコード作成部１２３は、画像フォーマットが４：２：２である場合と同様に、小ブロックＵｕｌ，Ｕｌｌ，Ｕｕｒ，Ｕｌｒそれぞれの画素の色差クラスコードにおける境界コードとして、輝度ブロックＹ１乃至Ｙ４の対応する境界について求められたものを、そのまま用いるようになっている。
【０５１７】
即ち、クラスコード作成部１２３は、小ブロックＵｕｌの画素については、その色差クラスコードにおける上境界コード、下境界コード、左境界コード、右境界コードとして、それぞれ、輝度ブロックＹ１の上境界コード、輝度ブロックＹ３の下境界コード、輝度ブロックＹ１の左境界コード、輝度ブロックＹ２の右境界をセットする。
【０５１８】
また、クラスコード作成部１２３は、小ブロックＵｌｌの画素については、その色差クラスコードにおける上境界コード、下境界コード、左境界コード、右境界コードとして、それぞれ、輝度ブロックＹ１の上境界コード、輝度ブロックＹ３の下境界コード、輝度ブロックＹ３の左境界コード、輝度ブロックＹ４の右境界をセットする。
【０５１９】
さらに、クラスコード作成部１２３は、小ブロックＵｕｒの画素については、その色差クラスコードにおける上境界コード、下境界コード、左境界コード、右境界コードとして、それぞれ、輝度ブロックＹ２の上境界コード、輝度ブロックＹ４の下境界コード、輝度ブロックＹ１の左境界コード、輝度ブロックＹ２の右境界コードをセットする。
【０５２０】
また、クラスコード作成部１２３は、小ブロックＵｌｒの画素については、その色差クラスコードにおける上境界コード、下境界コード、左境界コード、右境界コードとして、それぞれ、輝度ブロックＹ２の上境界コード、輝度ブロックＹ４の下境界コード、輝度ブロックＹ３の左境界コード、輝度ブロックＹ４の右境界コードをセットする。
【０５２１】
色差ブロックＶと、輝度ブロックＹ１乃至Ｙ４との対応関係も、色差ブロックＵと、輝度ブロックＹ１乃至Ｙ４との対応関係と同一であり、クラスコード作成部１２３は、色差ブロックＵにおける場合と同様に、色差ブロックＶを、横×縦が４×４画素の４つの小ブロックＶｕｌ，Ｖｌｌ，Ｖｕｒ，Ｖｌｒに分割し、小ブロックＶｕｌ，Ｖｌｌ，Ｖｕｒ，Ｖｌｒの色差クラスコードにおける境界コードとして、輝度ブロックＹ１乃至Ｙ４の境界コードを、色差ブロックＵにおける場合と同様にしてセットする。
【０５２２】
その結果、クラスコード作成部１２３では、小ブロックＵｕｌ，Ｕｌｌ，Ｕｕｒ，Ｕｌｒ、およびＶｕｌ，Ｖｌｌ，Ｖｕｒ，Ｖｌｒの画素について、次のような色差クラスコードが作成される。
【０５２３】
即ち、例えば、いま、図４１Ａに示すように、色差ブロックＵ，Ｖに対応する２つの輝度ブロックＹ１乃至Ｙ４の画素について得られている１０ビットの輝度クラスコードの第ｉビットを、ＢＵＬ＃ｉ−１，ＢＵＲ＃ｉ−１，ＢＤＬ＃ｉ−１，ＢＤＲ＃ｉ−１と、それぞれ表すこととすると、小ブロックＵｕｌ，Ｕｌｌ，Ｕｕｒ，Ｕｌｒ、およびＶｕｌ，Ｖｌｌ，Ｖｕｒ，Ｖｌｒの画素については、図４１Ｂに示すようなクラスコードが作成される。
【０５２４】
即ち、小ブロックＵｕｌ，Ｖｕｌの画素の色差クラスコードの第１乃至第８ビットには、ＢＵＲ０，ＢＵＬ１，ＢＤＬ２，ＢＵＬ３，ＢＵＲ４，ＢＵＬ５，ＢＤＬ６，ＢＵＬ７がそれぞれ配置される。また、小ブロックＵｌｌ，Ｖｌｌの画素の色差クラスコードの第１乃至第８ビットには、ＢＤＲ０，ＢＤＬ１，ＢＤＬ２，ＢＵＬ３，ＢＤＲ４，ＢＤＬ５，ＢＤＬ６，ＢＵＬ７がそれぞれ配置される。さらに、小ブロックＵｕｒ，Ｖｕｒの画素の色差クラスコードの第１乃至第８ビットには、ＢＵＲ０，ＢＵＬ１，ＢＤＲ２，ＢＵＲ３，ＢＵＲ４，ＢＵＬ５，ＢＤＲ６，ＢＵＲ７がそれぞれ配置される。また、小ブロックＵｌｒ，Ｖｌｒの画素の色差クラスコードの第１乃至第８ビットには、ＢＤＲ０，ＢＤＬ１，ＢＤＲ２，ＢＵＲ３，ＢＤＲ４，ＢＤＬ５，ＢＤＲ６，ＢＵＲ７がそれぞれ配置される。
【０５２５】
ここで、色差クラスコードの第９ビットと第１０ビットは、輝度クラスコードにおける場合と同様に、注目画素のＡＣパワーに基づいて決定される。
【０５２６】
なお、ここでは、画像データが、Ｙ，Ｕ，Ｖ形式で表されるものとして説明したが、画像データが、その他、例えば、Ｙ，Ｃｂ，Ｃｒ形式で表される場合も、同様のクラス分類を行うことが可能である。
【０５２７】
さらに、ここでは、画像フォーマットが、４：２：２の場合と、４：２：０の場合について説明したが、画像フォーマットが、４：４：４の場合（例えば、画像データが、Ｒ(red)，Ｇ(green)，Ｂ(blue)形式の場合）は、各信号について、同一のクラス分類を行っても良いし、ある信号について行ったクラス分類により得られたクラスコードを、そのまま、他の信号に用いるようにしても良い。
【０５２８】
次に、図４２は、図２の適応処理部５１の構成例を示している。
【０５２９】
予測タップ生成部１３１は、バッファメモリ１２（図２）から２次元ＤＣＴ係数を読み出すことにより、注目画素を予測する式（１）の線形１次予測演算を行うための予測タップを生成し、積和演算部１３３に供給する。
【０５３０】
ここで、図４３は、図４２の予測タップ生成部１３１の構成例を示している。
【０５３１】
読み出し部１３６は、バッファメモリ１２（図２）から必要な２次元ＤＣＴ係数を読み出し、配列部１３７に供給する。配列部１３７は、読み出し部１３６からの２次元ＤＣＴ係数を、所定の順番に配列する（並べる）ことにより、予測タップを構成し、積和演算部１３３（図４２）に供給する。
【０５３２】
ここで、読み出し部１３６は、例えば、バッファメモリ１２に記憶された注目ブロックの２次元ＤＣＴ係数すべてを読み出し、予測タップとして、配列部１３７に供給する。この場合、予測タップは、６４（＝８×８）タップで構成されることになる。
【０５３３】
ところで、注目画素の空間周波数成分は、注目ブロックの２次元ＤＣＴ係数全体に、いわば分散しているから、注目画素を予測するにあたっては、少なくとも、注目ブロックの２次元ＤＣＴ係数すべてを、予測タップとして用いるのが望ましい。
【０５３４】
しかしながら、注目画素は、一般に、注目ブロックの画素のみならず、それに隣接する隣接ブロックなどの、注目ブロックの周辺の周辺ブロックの画素とも相関を有する場合が多く、従って、予測タップは、一般には、周辺ブロックの情報（周辺情報）も含めた形で構成した方が、注目画素を、より精度良く復号（予測）することが可能となる。
【０５３５】
そこで、読み出し部１３６では、例えば、図４４に示すように、バッファメモリ１２に記憶された注目ブロックの２次元ＤＣＴ係数すべてと、その注目ブロックの上下左右それぞれに隣接する４つの隣接ブロックの２次元ＤＣＴ係数すべてとを読み出し、予測タップとして、配列部１３７に供給することができる。この場合、予測タップは、３２０（＝８×８×５）タップで構成されることになる。
【０５３６】
また、読み出し部１３６では、例えば、図４５に示すように、バッファメモリ１２に記憶された注目ブロックの２次元ＤＣＴ係数すべてと、その注目ブロックの上、下、左、右、左上、左下、右上、右下それぞれに隣接する８つの隣接ブロックの２次元ＤＣＴ係数すべてとを読み出し、予測タップとして、配列部１３７に供給することができる。この場合、予測タップは、５７６（＝８×８×９）タップで構成されることになる。
【０５３７】
ところで、図４４や図４５に示したように、注目ブロックに隣接する複数ブロックの２次元ＤＣＴ係数すべてを、予測タップに含めることとすると、予測タップのタップ数が大になり、後述する積和演算部１３３（図４２）において用いられるタップ係数の数も多くなり、さらには、積和演算部１３３の演算量も大になる。
【０５３８】
そこで、読み出し部１３６には、例えば、図４６に示すように、バッファメモリ１２に記憶された注目ブロックの２次元ＤＣＴ係数すべてと、その注目ブロックの上、下、左、右、左上、左下、右上、右下それぞれに隣接する８つのブロックの２次元ＤＣＴ係数のうちの直流成分だけを、予測タップとして読み出させるようにすることができる。この場合、予測タップは、７２（＝８×８＋８）タップで構成されることになり、図４４や図４５における場合に比較して、隣接ブロックの情報を含む予測タップ、即ち、ここでは、２次元ＤＣＴ係数の直流成分によって表される、注目ブロック付近の画素値の勾配の情報を含む予測タップを、少ないタップ数で構成することができる。
【０５３９】
図４２に戻り、タップ係数バッファ１３２は、タップ係数記憶部１４（図２）から供給されるタップ係数を一時記憶する。
【０５４０】
積和演算部１３１は、予測タップ生成部１３１から供給される予測タップと、タップ係数バッファ１３２に記憶されたタップ係数とを用いて、式（１）の線形１次予測演算を行い、注目画素の復号値を出力する。
【０５４１】
次に、図４７のフローチャートを参照して、図４２の適応処理部５１の処理（適応処理）について説明する。
【０５４２】
まず最初に、ステップＳ１０１において、予測タップ生成部１３１は、注目ブロックの各画素を予測する式（１）の線形１次予測演算を行うための予測タップを、例えば、バッファメモリ１２に記憶された注目ブロックのすべての２次元ＤＣＴ係数と、その他の必要な２次元ＤＣＴ係数を用いて生成し、積和演算部１３３に供給して、ステップＳ１０２に進む。
【０５４３】
ステップＳ１０２では、積和演算部１３３が、画素位置モードを表す変数ｉを、例えば１に初期化する。
【０５４４】
ここで、ブロックの２次元ＤＣＴ係数を逆ＤＣＴ変換する場合は、そのブロックにおける各画素の空間上の位置を表す位置情報が、式（１１）に示した変換行列Ｃのコンポーネントｃ_ijを定義するｃｏｓ（（２ｊ＋１）×ｉ×π／１６）の位相という形で考慮される。
【０５４５】
一方、適応処理では、予測タップを構成するＤＣＴ係数と、タップ係数とを用いた式（１）の線形１次予測演算が行われるが、この線形１次予測演算では、復号しようとしている画素（注目画素）の位置情報が考慮されない。そこで、注目画素の位置情報を考慮した線形１次予測演算を行うために、ここでは、注目画素の位置によって異なるタップ係数が用いられるようになっている。即ち、同一のクラスに分類される画素であっても、ブロックにおける位置が異なる場合には、異なるタップ係数を用いて、線形１次予測演算が行われるようになっている。この場合、線形１次予測演算に用いるタップ係数が、ブロックにおける注目画素の位置によって切り替えられることとなるが、この注目画素の位置を表す情報が、画素位置モードである。
【０５４６】
いまの場合、ブロックは８×８画素で構成されるから、６４カ所の位置が存在し、ここでは、例えば、ラスタスキャン順で、ｉ番目の位置を、画素位置モード＃ｉと表すこととする。
【０５４７】
その後、画素位置モード＃ｉの画素が注目画素とされ、クラス分類部１３（図２）において、その注目画素についてクラス分類が行われることにより、タップ係数記憶部１４から、注目画素のクラスコードに対応するタップ係数が供給されてくるのを待って、ステップＳ１０３に進む。
【０５４８】
ステップＳ１０３では、タップ係数記憶部１４からのタップ係数が、タップ係数バッファ１３２に供給されて記憶される。
【０５４９】
ここで、上述のように、同一のクラスに分類される画素であっても、ブロックにおける位置（画素位置モード）が異なる場合には、異なるタップ係数が用いられる。従って、タップ係数記憶部１４からは、注目画素のクラスのタップ係数として、画素位置モードの総数である６４セットのタップ係数が供給されるようになっており、タップ係数バッファ１３２は、そのような６４セットのタップ係数を記憶する。
【０５５０】
その後、ステップＳ１０４に進み、積和演算部１３３は、画素位置モード＃ｉに対応するタップ係数のセット（式（１）におけるｗ₁，ｗ₂，・・・）を、タップ係数バッファ１３２から読み出すことにより取得し、ステップＳ１０５に進む。
【０５５１】
ステップＳ１０５では、積和演算部１３３は、予測タップ生成部１３１からの予測タップと、タップ係数バッファ１３２から読み出したタップ係数とを用いて、式（１）の線形１次予測演算を行い、これにより、注目画素の画素値を復号する。
【０５５２】
そして、ステップＳ１０６に進み、積和演算部１３３は、画素位置モード＃ｉが、注目ブロックの画素数である６４（＝８×８）に等しいかどうかを判定する。
【０５５３】
ステップＳ１０６において、画素位置モード＃ｉが６４に等しくないと判定された場合、ステップＳ１０７に進み、積和演算部１３３は、画素位置モード＃ｉを１だけインクリメントして、ステップＳ１０３に戻り、以下、同様の処理が繰り返される。
【０５５４】
また、ステップＳ１０６において、画素位置モード＃ｉが６４に等しいと判定された場合、即ち、注目ブロックのすべての画素値を復号した場合、処理を終了する。
【０５５５】
なお、適応処理部５１では、バッファメモリ１２（図２）に記憶されるブロックを、順次、注目ブロックとして、図４７の適応処理を繰り返し行う。
【０５５６】
また、積和演算部１３３は、１フレーム（またはフィールド）の復号画像を得るまでは、復号したブロックを一時記憶しており、１フレームの復号画像が得られると、その１フレームの復号画像を出力する。
【０５５７】
ここで、ＭＰＥＧ符号化では、８ビットの画像データを符号化する場合、画素値および２次元ＤＣＴ係数を、０を中心とした正側と負側に均等に分布させるため、原画像の画素値から１２８（＝２⁷）を減算して得られる画素値が符号化される。
【０５５８】
このため、積和演算部１３３では、復号画像として、各画素値のレベルが、１２８だけ低いものが得られる。そこで、積和演算部１３３は、復号画像の各画素値に、１２８を加算して出力するようになっている。
【０５５９】
次に、図２の係数メモリ４３および４４に記憶させるタップ係数の学習について説明する。
【０５６０】
ＭＰＥＧでは、予測方式の違いにより、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３つのピクチャタイプがあるので、タップ係数の学習も、ピクチャタイプごとに行われる。
【０５６１】
図４８は、Ｉピクチャ用のタップ係数を学習する場合の学習装置の一実施の形態の構成例を示している。
【０５６２】
教師データストレージ１４１は、学習用の画像データを、教師データとして記憶している。
【０５６３】
生徒データ生成部１４２は、ＭＰＥＧエンコーダ１５１、分離部１５２、およびＤＣＴ係数抽出／逆量子化部１５３から構成され、教師データストレージ１４１に記憶された学習用の画像データ（ここでは、教師データでもある）から、生徒データを生成するようになっている。
【０５６４】
即ち、ＭＰＥＧエンコーダ１５１は、教師データストレージ１４１に記憶された学習用の画像データを読み出して、ＭＰＥＧ符号化し、その結果得られる符号化データを、分離部１５２に供給する。分離部１５２とＤＣＴ係数抽出／逆量子化部１５３は、図２の分離部１とＤＣＴ係数抽出／逆量子化部２とそれぞれ同様に構成されており、符号化データから、量子化ＤＣＴ係数を分離、抽出し、逆量子化して出力する。
【０５６５】
なお、分離部１５２およびＤＣＴ係数抽出／逆量子化部１５３は、Ｉピクチャのみを対象に処理を行う。また、分離部１５２は、符号化データから、量子化ＤＣＴ係数の他、量子化スケールやＤＣＴタイプ等の、いわゆるサイドインフォメーションも、必要に応じて分離する。
【０５６６】
従って、ＤＣＴ係数抽出／逆量子化部１５３からは、Ｉピクチャについての２次元ＤＣＴ係数の他、ＤＣＴタイプ等の必要なサイドインフォメーションも出力される。
【０５６７】
ＤＣＴ係数抽出／逆量子化部１５３が出力するＩピクチャについての２次元ＤＣＴ係数やＤＣＴタイプ等は、生徒データとして、生徒データストレージ１４３に供給される。
【０５６８】
生徒データストレージ１４３は、生徒データ生成部１４２（のＤＣＴ係数抽出／逆量子化部１５３）から供給される生徒データを記憶する。
【０５６９】
予測タップ生成部１４４は、生徒データストレージ１４３に記憶された生徒データから、図４２の予測タップ生成部１３１が生成するのと同一の予測タップを生成し、足し込み部１４６に供給する。従って、ここでは、予測タップ生成部１４４は、生徒データストレージ１４３に記憶された生徒データとしての２次元ＤＣＴ係数のうち、注目ブロックを構成するすべての２次元ＤＣＴ係数と、必要な２次元ＤＣＴ係数を読み出して、予測タップとする。
【０５７０】
なお、図４２の予測タップ生成部１３１が注目ブロックの２次元ＤＣＴ係数の他、注目ブロックに隣接するブロックの２次元ＤＣＴ係数を用いて予測タップを生成する場合には、予測タップ生成部１４４も、注目ブロックの２次元ＤＣＴ係数の他、注目ブロックに隣接する２次元ＤＣＴ係数を用いて、予測タップ生成部１３１が生成するのと同一構造の予測タップを生成する。この場合、予測タップ生成部１４４は、注目ブロックに隣接するブロックの２次元ＤＣＴ係数を、生徒データストレージ１４３から取得する。
【０５７１】
クラス分類部１４５は、図２のクラス分類部１３と同様にされ、生徒データストレージ１４３に記憶された生徒データとしての２次元ＤＣＴ係数から１次元ＤＣＴ係数を求め、さらに、その１次元ＤＣＴ係数に基づき、図２のクラス分類部１３における場合と同様にして、注目ブロックにおける注目画素をクラス分類し、注目画素のクラスを表すクラスコードを、足し込み部１４６に出力する。
【０５７２】
足し込み部１４６は、生徒データストレージ１４３に記憶された生徒データとしての２次元ＤＣＴ係数のブロックを、順次、注目ブロックとし、さらに、注目ブロックの画素を、順次、注目画素（注目教師データ）として、予測タップ生成部１４４からの生徒データとしての予測タップ（を構成する２次元ＤＣＴ係数）、および注目画素を対象とした足し込みを行う。
【０５７３】
即ち、足し込み部１４６は、クラス分類部１４５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘ_inｘ_im）と、サメーション（Σ）に相当する演算を行う。
【０５７４】
さらに、足し込み部１４６は、やはり、クラス分類部１４５から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）および注目画素（教師データ）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘ_inｙ_i）と、サメーション（Σ）に相当する演算を行う。
【０５７５】
なお、足し込み部１４６における、上述のような足し込みは、各クラスについて、注目画素に対する画素位置モードごとに行われる。
【０５７６】
足し込み部１４６は、以上の足し込みを、生徒データストレージ１４３に記憶されている生徒データとしての２次元ＤＣＴ係数を構成するブロックすべてを注目ブロックとして行い、これにより、各クラスについて、画素位置モードごとに、式（８）に示した正規方程式をたてる。
【０５７７】
タップ係数演算部１４７は、足し込み部１４６においてクラスごとに、かつ、画素位置モードごとに生成された各正規方程式を解くことにより、クラスごとに、６４の画素位置モードに対応した６４セットのタップ係数を求める。
【０５７８】
なお、学習用の画像として用意する画像の枚数や、その画像の内容等によっては、足し込み部１４６において、タップ係数を求めるのに必要な数の正規方程式が得られないクラス、さらには画素位置モードが生じる場合があり得るが、タップ係数演算部１４７は、そのようなクラスや画素位置モードについては、例えば、デフォルトのタップ係数を出力する。
【０５７９】
次に、図４９のフローチャートを参照して、図４８の学習装置の処理（学習処理）について説明する。
【０５８０】
まず最初に、ステップＳ１１１において、生徒データ生成部１４２は、上述したように、教師データストレージ１４１に記憶された学習用の画像データから、Ｉピクチャについての生徒データを生成し、生徒データストレージ１４３に供給して記憶させる。
【０５８１】
そして、ステップＳ１１２に進み、足し込み部１４６は、生徒データストレージ１４３に記憶された生徒データとしての２次元ＤＣＴ係数のブロックのうち、まだ、注目ブロックとしていないものの１つを選択して、注目ブロックとし、ステップＳ１１３に進む。
【０５８２】
ステップＳ１１３では、予測タップ生成部１４４が、注目ブロックの生徒データとしての２次元ＤＣＴ係数すべてと、必要な２次元ＤＣＴ係数を、生徒データストレージ１４３から読み出すことにより、予測タップを生成し、ステップＳ１１４に進む。
【０５８３】
ステップＳ１１４では、足し込み部１４６が、画素位置モードを表す変数ｉを、例えば１に初期化し、ステップＳ１１５に進む。ステップＳ１１５では、クラス分類部１４５が、注目ブロックにおける画素位置モード＃ｉが表す位置の画素を注目画素として、図２のクラス分類部１３における場合と同様にして、注目画素のクラス分類を行い、その結果得られるクラスコードを、足し込み部１４６に出力する。
【０５８４】
足し込み部１４６は、ステップＳ１１６において、教師データストレージ１４１から、注目画素となっている教師データ（画素値）を読み出し、生徒データとしての予測タップ（を構成する２次元ＤＣＴ係数）、および教師データとしての注目画素を対象として、式（８）の行列Ａとベクトルｖの、上述したような足し込みを行う。なお、この足し込みは、クラス分類部１４５からのクラスコードに対応するクラスごとに、かつ注目画素に対する画素位置モード＃ｉごとに行われる。
【０５８５】
そして、ステップＳ１１７に進み、足し込み部１４６は、画素位置モード＃ｉが、注目ブロックの画素数である６４に等しいかどうかを判定する。
【０５８６】
ステップＳ１１７において、画素位置モード＃ｉが６４に等しくないと判定された場合、ステップＳ１１８に進み、足し込み部１４６は、画素位置モード＃ｉを１だけインクリメントして、ステップＳ１１５に戻り、以下、同様の処理が繰り返される。
【０５８７】
また、ステップＳ１１７において、画素位置モード＃ｉが６４に等しいと判定された場合、即ち、注目ブロックのすべての画素を注目画素として足し込みを行った場合、ステップＳ１１９に進み、足し込み部１４６は、生徒データストレージ１４３に記憶された生徒データとしての２次元ＤＣＴ係数のブロックのうち、まだ、注目ブロックとしていないもの（以下、適宜、未処理ブロックという）があるかどうかを判定する。
【０５８８】
ステップＳ１１９において、未処理ブロックがあると判定された場合、ステップＳ１１２に戻り、その未処理ブロックの中から、新たに注目ブロックとするものが選択され、以下、同様の処理が繰り返される。
【０５８９】
また、ステップＳ１１９において、未処理ブロックがないと判定された場合、即ち、足し込み部１４６において、各クラスについて、画素位置モードごとの正規方程式が得られた場合、ステップＳ１２０に進み、タップ係数演算部１４７は、各クラスの画素位置モードごとに生成された正規方程式を解くことにより、各クラスごとに、そのクラスの６４の画素位置モードそれぞれに対応する６４セットのタップ係数を求め、学習処理を終了する。
【０５９０】
次に、図５０は、Ｐピクチャ用のタップ係数を学習する場合の学習装置の一実施の形態の構成例を示している。なお、図中、図４８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図５０の学習装置は、生徒データ生成部１５１に代えて、生徒データ生成部１６２が設けられている他は、図４８における場合と基本的に同様に構成されている。
【０５９１】
ここで、Ｐピクチャは、時間的に先行して復号（符号化）されるＩまたはＰピクチャを参照画像として予測符号化（ノンイントラ符号化）されるため、即ち、原画像から予測画像を減算した残差画像が２次元ＤＣＴ変換されるため、図２の画像処理装置では、前処理部１１において、先に復号されたＩまたはＰピクチャに動き補償を施し、その結果得られる予測画像の２次元ＤＣＴ係数と、残差画像の２次元ＤＣＴ係数とを加算した後に、適応処理部５１において、適応処理を施すようになっている。
【０５９２】
従って、Ｐピクチャ用のタップ係数の学習においては、残差画像の２次元ＤＣＴ係数に、予測画像の２次元ＤＣＴ係数を加算したものを、生徒データとして用いる必要がある。
【０５９３】
ところで、Ｐピクチャの予測画像は、先に復号されたＩまたはＰピクチャを参照画像として、その参照画像に、動き補償を施すことで得ることができるが、いまの場合、Ｐピクチャのタップ係数を学習しようとしているので、Ｐピクチャ用のタップ係数は存在しない。
【０５９４】
一方、Ｉピクチャ用のタップ係数は、図４８の学習装置において、あらかじめ求めておくことができる。
【０５９５】
そこで、図５０の学習装置では、生徒データ生成部１６２において、Ｉピクチャを参照画像として予測符号化されるＰピクチャのブロックについて、生徒データが生成されるようになっている。
【０５９６】
即ち、ＭＰＥＧエンコーダ１７１は、教師データストレージ１４１に記憶された学習用の画像データを読み出して、ＭＰＥＧ符号化し、その結果得られる符号化データを、分離部１７２に供給する。分離部１７２とＤＣＴ係数抽出／逆量子化部１７３は、図２の分離部１とＤＣＴ係数抽出／逆量子化部２とそれぞれ同様に構成されており、符号化データから、量子化ＤＣＴ係数を分離、抽出し、逆量子化する。
【０５９７】
なお、分離部１７２およびＤＣＴ係数抽出／逆量子化部１７３は、Ｉピクチャと、Ｐピクチャの予測符号化されたブロックのみを対象に処理を行う。また、分離部１７２は、符号化データから、量子化ＤＣＴ係数の他、量子化スケールやＤＣＴタイプや動きベクトル等のサイドインフォメーションも、必要に応じて分離する。
【０５９８】
ＤＣＴ係数抽出／逆量子化部１７３は、Ｉピクチャの２次元ＤＣＴ係数を得た場合、そのＩピクチャの２次元ＤＣＴ係数を、クラス分類部１７４および適応処理部１７６に供給する。
【０５９９】
また、ＤＣＴ係数抽出／逆量子化部１７３は、Ｐピクチャの予測符号化されたブロックの２次元ＤＣＴ係数、即ち、残差画像の２次元ＤＣＴ係数を得た場合、その残差画像の２次元ＤＣＴ係数を、周波数領域動き補償加算部１８１に供給する。
【０６００】
さらに、ＤＣＴ係数抽出／逆量子化部１７３は、Ｐピクチャの予測符号化されたブロックの動きベクトルを得た場合、その動きベクトルを、動き補償部１７８に供給する。
【０６０１】
クラス分類部１７４は、ＤＣＴ係数抽出／逆量子化部１７３から供給されるＩピクチャのブロックの画素を、順次、注目画素として、その注目画素について、図２のクラス分類部１３における場合と同様にしてクラス分類を行い、その結果得られるクラスコードを、タップ係数記憶部１７５に供給する。タップ係数記憶部１７５は、図４８の学習装置で得られたＩピクチャ用のタップ係数を記憶しており、図２のタップ係数記憶部１４と同様に、クラス分類部１７４から供給されるクラスコードに対応するタップ係数を取得して、適応処理部１７６に供給する。
【０６０２】
適応処理部１７６は、図２の適応処理部５１と同様に、ＤＣＴ係数抽出／逆量子化部１７３から供給される、注目画素を含むブロックの２次元ＤＣＴ係数すべてと、必要な２次元ＤＣＴ係数を予測タップとして、その予測タップと、タップ係数記憶部１７５から供給されるタップ係数とを用いた線形１次予測演算、即ち、適応処理を行う。
【０６０３】
適応処理部１７６において適応処理が行われることにより得られるＩピクチャの復号画像は、Ｉピクチャストレージ１７７に供給されて記憶される。
【０６０４】
その後、動き補償部１７８は、ＤＣＴ係数抽出／逆量子化部１７３から供給される動きベクトルによって動き補償を施すべき参照画像としてのＩピクチャを、Ｉピクチャストレージ１７７から読み出し、そのＩピクチャに動き補償を施すことで、予測画像を生成する。この予測画像は、画像メモリ１７９に供給されて記憶される。画像メモリ１７９に記憶された予測画像は、ＤＣＴ変換部１８０において２次元ＤＣＴ係数に変換され、周波数領域動き補償加算部１８１に供給される。周波数領域動き補償加算部１８１は、ＤＣＴ係数抽出／逆量子化部１７３から供給されるＰピクチャの残差画像の２次元ＤＣＴ係数と、ＤＣＴ変換部１８０から供給される予測画像の２次元ＤＣＴ係数とを加算する。
【０６０５】
即ち、動き補償部１７８、画像メモリ１７９、ＤＣＴ変換部１８０、および周波数領域動き補償加算部１８１は、図２の動き補償部４、画像メモリ５、ＤＣＴ変換部２１、周波数領域動き補償加算部２２と同様に構成されるものであり、従って、周波数領域動き補償加算部１８１において、ＤＣＴ係数抽出／逆量子化部１７３からのＰピクチャの残差画像の２次元ＤＣＴ係数と、ＤＣＴ変換部１８０からの予測画像の２次元ＤＣＴ係数とが加算されることにより、Ｐピクチャの元の画像（上述したように、原画像ではない）を２次元ＤＣＴ変換した２次元ＤＣＴ係数が得られる。
【０６０６】
周波数領域動き補償加算部１８１で得られたＰピクチャの元の画像の２次元ＤＣＴ係数は、生徒データとして、生徒データストレージ１４３に供給されて記憶される。
【０６０７】
以降は、図４８の学習装置における場合と同様の処理が行われ、これにより、Ｐピクチャ用（正確には、Ｐピクチャの予測符号化されたブロック用）のタップ係数が求められる。
【０６０８】
次に、図５１は、Ｂピクチャ用のタップ係数を学習する場合の学習装置の一実施の形態の構成例を示している。なお、Ｂピクチャ用のタップ係数を学習する学習装置も、図５０のＰピクチャ用のタップ係数を学習する学習装置と同様に、生徒データを生成する生徒データ生成部だけが、図４８のＩピクチャ用のタップ係数を学習する学習装置と異なるだけであるため、図５１においては、Ｂピクチャ用のタップ係数を学習する学習装置の生徒データ生成部だけを図示してある。
【０６０９】
Ｂピクチャも、Ｐピクチャと同様に、時間的に先行して復号されるＩまたはＰピクチャを参照画像として予測符号化（ノンイントラ符号化）されるため、即ち、原画像から予測画像を減算した残差画像が２次元ＤＣＴ変換されるため、図２の画像処理装置では、前処理部１１において、先に復号されたＩまたはＰピクチャに動き補償を施し、その結果得られる予測画像の２次元ＤＣＴ係数と、残差画像の２次元ＤＣＴ係数とを加算した後に、適応処理部５１において、適応処理を施すようになっている。
【０６１０】
従って、Ｂピクチャ用のタップ係数の学習においては、残差画像の２次元ＤＣＴ係数に、予測画像の２次元ＤＣＴ係数を加算したものを、生徒データとして用いる必要がある。
【０６１１】
そこで、図５１の学習装置では、そのような生徒データを生成して、学習を行うようになっている。
【０６１２】
即ち、ＭＰＥＧエンコーダ１９１には、学習用の画像データ（ここでは、教師データに等しい）が供給されるようになっており、ＭＰＥＧエンコーダ１９１は、その学習用の画像データをＭＰＥＧ符号化し、その結果得られる符号化データを、分離部１９２に供給する。分離部１９２とＤＣＴ係数抽出／逆量子化部１９３は、図２の分離部１とＤＣＴ係数抽出／逆量子化部２とそれぞれ同様に構成されており、符号化データから、量子化ＤＣＴ係数を分離、抽出し、逆量子化して出力する。
【０６１３】
ＤＣＴ係数抽出／逆量子化部１９３が出力するＩピクチャの２次元ＤＣＴ係数は、クラス分類部１９４と適応処理部１９６に供給される。また、ＤＣＴ係数抽出／逆量子化部１９３が出力するＰピクチャの２次元ＤＣＴ係数は、周波数領域動き補償加算部２０１に供給される。さらに、ＤＣＴ係数抽出／逆量子化部１９３が出力するＢピクチャの２次元ＤＣＴ係数は、周波数領域動き補償加算部２０９に供給される。
【０６１４】
ここで、分離部１９２は、符号化データから、量子化ＤＣＴ係数の他、量子化スケールやＤＣＴタイプや動くベクトル等のサイドインフォメーションも、必要に応じて分離し、ＤＣＴ係数抽出／逆量子化部１９３を介して、必要なブロックに供給する。なお、サイドインフォメーションについては、図５１の実施の形態では、ＤＣＴ係数抽出／逆量子化部１９３から動き補償部１９８へのＰピクチャの動きベクトルの供給と、ＤＣＴ係数抽出／逆量子化部１９３から動き補償部２０６へのＢピクチャの動きベクトルの供給だけを、図示してある。
【０６１５】
また、ＤＣＴ係数抽出／逆量子化部１９３は、Ｂピクチャの予測符号化されたブロックの２次元ＤＣＴ係数、即ち、残差画像の２次元ＤＣＴ係数だけを、周波数領域動き補償加算部２０９に供給する。
【０６１６】
さらに、ＤＣＴ係数抽出／逆量子化部１９３は、Ｐピクチャについては、予測符号化されたブロックの２次元ＤＣＴ係数だけを、周波数領域動き補償加算部２０１に供給する。また、ＤＣＴ係数抽出／逆量子化部１９３では、Ｐピクチャのイントラ符号化されたブロックの２次元ＤＣＴ係数は、クラス分類部１９４および適応処理部１９６に供給され、以下、イントラ符号化されたＩピクチャと同様に処理される。
【０６１７】
即ち、クラス分類部１９４は、ＤＣＴ係数抽出／逆量子化部１９３から供給されるＩピクチャおよびＰピクチャのイントラ符号化されたブロックの画素を、順次、注目画素として、その注目画素について、図２のクラス分類部１３における場合と同様にしてクラス分類を行い、その結果得られるクラスコードを、タップ係数記憶部１９５に供給する。タップ係数記憶部１９５は、図４８の学習装置で得られたＩピクチャ用のタップ係数を記憶しており、図２のタップ係数記憶部１４と同様に、クラス分類部１９４から供給されるクラスコードに対応するタップ係数を取得して、適応処理部１９６に供給する。
【０６１８】
適応処理部１９６は、図２の適応処理部５１と同様に、注目画素を含むブロックの２次元ＤＣＴ係数すべてと、必要な２次元ＤＣＴ係数を予測タップとして、その予測タップと、タップ係数記憶部１９５から供給されるタップ係数とを用いた線形１次予測演算、即ち、適応処理を行う。
【０６１９】
適応処理部１９６において適応処理が行われることにより得られるＩピクチャの復号画像は、Ｉピクチャストレージ１９７に供給されて記憶される。なお、適応処理部１９６では、イントラ符号化されたＰピクチャのブロックの復号画像も得られるが、このＰピクチャの復号画像は、適応処理部１９６からＰピクチャストレージ２０５に供給されて記憶される。
【０６２０】
その後、動き補償部１９８は、ＤＣＴ係数抽出／逆量子化部１９３から供給される動きベクトルによって動き補償を施すべき参照画像としてのＩピクチャを、Ｉピクチャストレージ１９７から読み出し、そのＩピクチャに動き補償を施すことで、Ｐピクチャの予測画像を生成する。このＰピクチャの予測画像は、画像メモリ１９９に供給されて記憶される。画像メモリ１９９に記憶された予測画像は、ＤＣＴ変換部２００において２次元ＤＣＴ係数に変換され、周波数領域動き補償加算部２０１に供給される。周波数領域動き補償加算部２０１は、ＤＣＴ係数抽出／逆量子化部１９３から供給されるＰピクチャの残差画像の２次元ＤＣＴ係数と、ＤＣＴ変換部２００から供給される予測画像の２次元ＤＣＴ係数とを加算する。
【０６２１】
即ち、動き補償部１９８、画像メモリ１９９、ＤＣＴ変換部２００、および周波数領域動き補償加算部２０１は、図２の動き補償部４、画像メモリ５、ＤＣＴ変換部２１、周波数領域動き補償加算部２２と同様に構成されるものであり、従って、周波数領域動き補償加算部２０１において、ＤＣＴ係数抽出／逆量子化部１９３からのＰピクチャの残差画像の２次元ＤＣＴ係数と、ＤＣＴ変換部２００からの予測画像の２次元ＤＣＴ係数とが加算されることにより、Ｐピクチャの元の画像（上述したように、原画像ではない）を２次元ＤＣＴ変換した２次元ＤＣＴ係数が得られる。
【０６２２】
周波数領域動き補償加算部２０１で得られたＰピクチャの元の画像の２次元ＤＣＴ係数は、クラス分類部２０２および適応処理部２０４に供給される。
【０６２３】
クラス分類部２０２は、周波数領域動き補償加算部２０１から供給されるＰピクチャの予測符号化されたブロックの画素を、順次、注目画素として、その注目画素について、図２のクラス分類部１３における場合と同様にしてクラス分類を行い、その結果得られるクラスコードを、タップ係数記憶部２０３に供給する。タップ係数記憶部２０３は、図５０の学習装置で得られたＰピクチャ用のタップ係数を記憶しており、図２のタップ係数記憶部１４と同様に、クラス分類部２０２から供給されるクラスコードに対応するタップ係数を取得して、適応処理部２０４に供給する。
【０６２４】
適応処理部２０４は、図２の適応処理部５１と同様に、注目画素を含むブロックの２次元ＤＣＴ係数すべてを予測タップとして、その予測タップと、タップ係数記憶部２０３から供給されるタップ係数とを用いた線形１次予測演算、即ち、適応処理を行う。
【０６２５】
適応処理部２０４において適応処理が行われることにより得られる、予測符号化されたＰピクチャのブロックの復号画像は、Ｐピクチャストレージ２０５に供給されて記憶される。なお、上述したように、Ｐピクチャストレージ２０５は、適応処理部１９６から供給される、イントラ符号化されたＰピクチャのブロックの復号画像も記憶する。
【０６２６】
その後、動き補償部２０６は、ＤＣＴ係数抽出／逆量子化部１９３から供給されるＢピクチャの動きベクトルによって動き補償を施すべき参照画像としてのＩまたはＰピクチャを、Ｉピクチャストレージ１９７またはＰピクチャストレージ２０５から読み出し、そのＩまたはＰピクチャに動き補償を施すことで、Ｂピクチャの予測画像を生成する。このＢピクチャの予測画像は、画像メモリ２０７に供給されて記憶される。画像メモリ２０７に記憶された予測画像は、ＤＣＴ変換部２０８において２次元ＤＣＴ係数に変換され、周波数領域動き補償加算部２０９に供給される。周波数領域動き補償加算部２０９は、ＤＣＴ係数抽出／逆量子化部１９３から供給されるＢピクチャの残差画像の２次元ＤＣＴ係数と、ＤＣＴ変換部２０８から供給される予測画像の２次元ＤＣＴ係数とを加算する。
【０６２７】
即ち、動き補償部２０６、画像メモリ２０７、ＤＣＴ変換部２０８、および周波数領域動き補償加算部２０９は、図２の動き補償部４、画像メモリ５、ＤＣＴ変換部２１、周波数領域動き補償加算部２２と同様に構成されるものであり、従って、周波数領域動き補償加算部２０９において、ＤＣＴ係数抽出／逆量子化部１９３からのＢピクチャの残差画像の２次元ＤＣＴ係数と、ＤＣＴ変換部２０８からの予測画像の２次元ＤＣＴ係数とが加算されることにより、Ｂピクチャの元の画像（上述したように、原画像ではない）を２次元ＤＣＴ変換した２次元ＤＣＴ係数が得られる。
【０６２８】
周波数領域動き補償加算部２０９で得られたＢピクチャの元の画像の２次元ＤＣＴ係数は、生徒データとして出力される。そして、以降は、図４８の学習装置における場合と同様の処理が行われ、これにより、Ｂピクチャ用（正確には、Ｂピクチャの予測符号化されたブロック用）のタップ係数が求められる。
【０６２９】
図２の係数メモリ４３および４４には、以上のような学習によって、各クラスごとに求められた６４の画素位置モードそれぞれごとの、Ｉ，Ｐ，Ｂピクチャ用のタップ係数が記憶されている。
【０６３０】
従って、係数メモリ４３および４４に記憶されたタップ係数は、線形１次予測演算を行うことにより得られる元の画素値の予測値の予測誤差（ここでは、自乗誤差）が、統計的に最小になるように学習を行うことにより求められたものであり、その結果、図２の適応処理部５１によれば、ＭＰＥＧ符号化された画像を、元の画像に限りなく近い画像、即ち、ブロック歪みやモスキートノイズ等の各種の歪みを十分に低減した、画質の良い画像に復号することができる。
【０６３１】
ここで、学習装置では、輝度信号と色差信号について、別々に正規方程式がたてられ、輝度信号からたてられた正規方程式を解くことにより得られるタップ係数は、係数メモリ４３に記憶され、色差信号からたてられた正規方程式を解くことにより得られるタップ係数は、係数メモリ４４に記憶される。
【０６３２】
また、上述したように、ＭＰＥＧ符号化では、原画像の画素値から１２８（＝２⁷）を減算して得られる画素値が符号化される。このため、足し込み部１４６（図４８、図５０）は、足し込みにおいて、教師データストレージ１４１に記憶された教師データとしての画素値から、１２８を減算した値を用いるようになっている。
【０６３３】
なお、図２の画像処理装置において、Ｉピクチャのブロックについては、Ｉピクチャ用のタップ係数を用いて適応処理が行われる。また、ＰピクチャまたはＢピクチャのブロックについては、そのブロックが予測符号化（ノンイントラ符号化）されている場合には、ＰピクチャまたはＢピクチャ用のタップ係数を用いて適応処理が行われるが、ブロックがイントラ符号化されている場合には、Ｉピクチャ用のタップ係数を用いて適応処理が行われる。
【０６３４】
また、上述の場合には、Ｉ，Ｐ，Ｂピクチャそれぞれ用のタップ係数を学習するようにしたが、例えば、Ｂピクチャ用のタップ係数の学習は省略することが可能である。この場合、図２の画像処理装置では、ＰピクチャとＢピクチャの予測符号化されたブロックについて、例えば、いずれも、Ｐピクチャ用のタップ係数を用いて適応処理が行われる。さらに、図２の画像処理装置において、Ｉ，Ｐ，Ｂピクチャについての適応処理は、すべて、Ｉピクチャ用のタップ係数を用いて行うようにすることが可能である。
【０６３５】
次に、図５２および図５３は、図２の画像処理装置で、ＭＰＥＧ符号化された画像を復号するシミュレーションを行って得られたシミュレーション結果を示している。
【０６３６】
なお、シミュレーションにおいては、４：２：２フォーマットの画像を、約３．３ＭｂｐｓのデータレートでＭＰＥＧ２方式により符号化して得られた符号化データを用いた。また、シミュレーションでは、ＩピクチャとＰピクチャを、それぞれ偶数フレームと奇数フレームとして、１フレームごとに交代する画像シーケンスを用いた。さらに、シミュレーションでは、上述の閾値Ａ，Ｂ，Ｃ，Ｄ，Ｅとして、それぞれ、７００，７００，３５０，１２０，１２０を用いた。但し、色差信号については、閾値Ａとして、８０を用いた。
【０６３７】
図５２は、シミュレーションによって得られた復号画像の輝度信号についてのＳ／Ｎ(Signal to Noise ratio)を示している。
【０６３８】
図５２において、実線で示すＳ／Ｎは、図２の画像処理装置による復号画像のものを示しており、点線で示すＳ／Ｎは、ＭＰＥＧの規格に準拠した従来のＭＰＥＧソフトウェアデコーダによる復号画像のものを示している。図５２から、図２の画像処理装置による復号画像のＳ／Ｎが、従来のＭＰＥＧソフトウェアデコーダによる復号画像と比較して、約１ｄＢ程度向上していることが分かる。
【０６３９】
図５３は、シミュレーションによって得られた復号画像を示している。
【０６４０】
即ち、図５３Ａは、原画像を、図５３Ｂは、従来のＭＰＥＧソフトウェアデコーダによる復号画像を、図５３Ｃは、図２の画像処理装置による復号画像を、それぞれ示している。なお、図５３Ａ乃至図５３Ｃにおいて、その右側の約１／３の部分が、瓶の全体が表示されている全体の画像を示しており、左側の約２／３の部分が、その瓶のラベルの部分を拡大した画像を示している。また、図５３に示した画像は、Ｉピクチャの画像である。
【０６４１】
図５３Ａの原画像と、図５３Ｂの従来のＭＰＥＧソフトウェアデコーダによる復号画像を比較すると、図５３Ｂの復号画像には、ブロックの境界が顕著に現れるブロック歪みが生じ、さらに、瓶のラベルにおける「Ｚ」の文字の部分に、モスキートノイズが顕著に現れている。
【０６４２】
これに対して、図５３Ｃの図２の画像処理装置による復号画像においては、ブロック歪みが十分に低減されており、さらに、モスキートノイズも低減されている。
【０６４３】
次に、図５４は、図４２の予測タップ生成部１３１の第２の構成例を示している。なお、図中、図４３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図５４の実施の形態では、逆ＤＣＴ変換部２２１および選択部２２２が新たに設けられている他は、基本的に、図４３における場合と同様に構成されている。
【０６４４】
ここで、以下においては、予測タップ生成部１３１が構成する予測タップについてだけ説明するが、予測タップ生成部１３１が、以下説明する予測タップを構成する場合には、図４８および図５０に示した学習装置の予測タップ生成部１４４でも、同一のタップ構造の予測タップが構成される。また、図５０の適応処理部１７６、並びに図５１の適応処理部１９６および２０４では、図４２の適応処理部５１と同様の処理が行われるが、その処理にあたっても、予測タップ生成部１３１が生成するのと同一のタップ構造の予測タップが構成（生成）される。
【０６４５】
逆ＤＣＴ変換部２２１は、読み出し部１３６から供給される、注目ブロックの上下左右それぞれに隣接する４つの隣接ブロックを逆ＤＣＴ変換する。即ち、図５４の実施の形態では、読み出し部１３６は、バッファメモリ１２（図２）から、注目ブロックの２次元ＤＣＴ係数の他、その注目ブロックの上下左右それぞれに隣接する４つの隣接ブロックの２次元ＤＣＴ係数も読み出すようになっている。そして、読み出し部１３６は、注目ブロックの２次元ＤＣＴ係数を、配列部１３７に供給するとともに、４つの隣接ブロックの２次元ＤＣＴ係数を、逆ＤＣＴ変換部２２１に供給する。逆ＤＣＴ変換部２２１は、このようにして、読み出し部１３６から供給される、注目ブロックの上下左右それぞれに隣接する４つの隣接ブロックを２次元逆ＤＣＴ変換し、これにより、その４つの隣接ブロックの画素値を復号して、選択部２２２に供給する。
【０６４６】
選択部２２２は、逆ＤＣＴ変換部２２１から供給される４つの隣接ブロックの８×８の画素の画素値から、所定の画素の画素値を選択し、配列部１３７に供給する。この場合、配列部１３７では、読み出し部１３６から供給される注目ブロックの２次元ＤＣＴ係数の他、選択部２２２から供給される画素の画素値が、所定の順番に配列されることにより、予測タップが構成され、積和演算部１３３（図４２）に供給される。
【０６４７】
即ち、選択部２２２は、例えば、図５５Ａに示すように、隣接ブロックの画素のうち、注目ブロックに隣接する画素（ブロック隣接画素）であって、注目画素と同一行の左右にある２つの画素（以下、適宜、それぞれを、左隣接同一行画素と右隣接同一行画素という）の画素値と、注目画素と同一列の上下にある２つの画素（以下、適宜、それぞれを、上隣接同一列画素と下隣接同一列画素という）の画素値を選択し、配列部１３７に供給する。この場合、配列部１３７では、読み出し部１３６から供給される注目ブロックの８×８の２次元ＤＣＴ係数と、選択部２２２から供給される４つの画素の画素値との、合計で６８（＝８×８＋４）タップでなる予測タップが構成される。
【０６４８】
また、選択部２２２は、例えば、図５５Ｂに示すように、左隣接同一行画素、右隣接同一行画素、上隣接同一列画素、および下隣接同一列画素の他に、左隣接同一行画素の左に隣接する画素、右隣接同一行画素の右に隣接する画素、上隣接同一列画素の上に隣接する画素、および下隣接同一列画素の下に隣接する画素を選択し、配列部１３７に供給する。この場合、配列部１３７では、読み出し部１３６から供給される注目ブロックの８×８の２次元ＤＣＴ係数と、選択部２２２から供給される８つの画素の画素値との、合計で７２（＝８×８＋８）タップでなる予測タップが構成される。
【０６４９】
あるいは、また、選択部２２２は、例えば、図５５Ｃに示すように、左隣接同一行画素と右隣接同一行画素のうちの、注目画素に近い方を選択するとともに、上隣接同一列画素と下隣接同一列画素のうちの、注目画素に近い方を選択し、配列部１３７に供給する。この場合、配列部１３７では、読み出し部１３６から供給される注目ブロックの８×８の２次元ＤＣＴ係数と、選択部２２２から供給される２つの画素の画素値との、合計で６６（＝８×８＋２）タップでなる予測タップが構成される。
【０６５０】
また、選択部２２２は、例えば、図５５Ｄに示すように、注目ブロックの上下左右に隣接する４つの隣接ブロックそれぞれにおける、注目ブロックに隣接する８つの画素（ブロック隣接画素）を、４セット選択し、配列部１３７に供給する。この場合、配列部１３７では、読み出し部１３６から供給される注目ブロックの８×８の２次元ＤＣＴ係数と、選択部２２２から供給される８×４の画素の画素値との、合計で９６（＝８×８＋８×４）タップでなる予測タップが構成される。
【０６５１】
ここで、選択部２２２においては、例えば、注目ブロックの上下左右それぞれに隣接する４つの隣接ブロックのすべての画素を選択するようにすることが可能である。しかしながら、この場合、図４４における場合と同様に、配列部１３７で構成される予測タップのタップ数が大になり、積和演算部１３３（図４２）の演算量や、タップ係数を記憶する係数メモリ４３および４４（図２）のメモリ容量なども大になる。
【０６５２】
そこで、例えば、図４６に示したように、注目ブロックの２次元ＤＣＴ係数すべてと、その注目ブロックの上、下、左、右、左上、左下、右上、右下それぞれに隣接する８つの隣接ブロックの２次元ＤＣＴ係数のうちの直流成分とから、予測タップを構成することにより、注目画素との相関がある隣接ブロックの情報を含んだ形で、少ないタップ数の予測タップを構成することができる。
【０６５３】
ところで、注目画素と、隣接ブロックの８×８画素それぞれとの間の相関は、一般には、均一ではない。即ち、隣接ブロックの画素の、注目画素との相関は、一般には、注目画素に近い画素ほど高く、遠い画素ほど低くなることが多い。また、例えば、隣接ブロックの画素と、注目画素との間に、エッジが存在する場合や、複雑な画像については、隣接ブロックの画素と、注目画素との間に、相関がない（ほとんどない）こともある。
【０６５４】
一方、隣接ブロックの２次元ＤＣＴ係数の直流成分は、その隣接ブロックの８×８画素の平均値（画素値の平均値）を表し、その８×８画素すべての情報が反映されている。従って、隣接ブロックの２次元ＤＣＴ係数の直流成分は、注目画素との相関が高い画素の情報を含むが、逆に、注目画素との相関がない画素の情報を含むこともある。このように、注目画素との相関がない（ほとんどない）画素の情報を含んだ形で予測タップが構成される場合には、積和演算部１３３（図４２）で求められる注目画素の復号値の復号精度に悪影響を与える。
【０６５５】
そこで、予測タップは、図５５に示したように、隣接ブロックの画素すべてではなく、そのうちの、注目ブロックに近い（あるいは隣接する）画素だけを選択して構成するようにすることができる。この場合、少ないタップ数の予測タップによって、復号精度を向上させることができる。
【０６５６】
なお、図５５Ａや図５５Ｂに示した左隣接同一行画素、右隣接同一行画素、上隣接同一列画素、および下隣接同一列画素や、左隣接同一行画素の左に隣接する画素、右隣接同一行画素の右に隣接する画素、上隣接同一列画素の上に隣接する画素、および下隣接同一列画素の下に隣接する画素は、注目画素との相関が高い場合が多く、従って、これらを含めて予測タップを構成することは、注目画素の復号精度を向上させるために、即ち、原画像により近く、各種の歪みが十分に低減された高画質の画像を復号するために、基本的に有効である。
【０６５７】
また、例えば、注目ブロックの左端等のブロック境界付近の画素が注目画素とされた場合には、その注目ブロックの左端の注目画素については、左に隣接する隣接ブロックの画素との相関は大きいが、右に隣接する隣接ブロックの画素との相関はほとんどないことがある。従って、図５５Ｃに示したように、左隣接同一行画素と右隣接同一行画素のうちの、注目画素に近い方を選択するとともに、上隣接同一列画素と下隣接同一列画素のうちの、注目画素に近い方を選択して予測タップを構成することは、注目ブロックのブロック境界の画素の復号精度を向上させるのに有効である。なお、その他、例えば、注目ブロック付近が、複雑な画像パターンとなっている場合や、エッジを有する場合も、注目画素から遠い左隣接同一行画素または右隣接同一行画素や、上隣接同一列画素と下隣接同一列画素は、注目画素との相関がほとんどないことがあり、従って、このような場合も、図５５Ｃに示したように予測タップを構成することは、注目画素の復号精度を向上させるのに有効である。
【０６５８】
一方、注目画素のクラス分類が適切に行われている場合には、予測タップを構成する情報量が多い方が、復号精度が向上する。従って、そのような場合に、図５５Ｄに示した予測タップは有効である。
【０６５９】
ここで、予測タップは、図５５Ａ乃至図５５Ｄに示したいずれか１つのタップ構造のものに固定することも可能であるが、図５５Ａ乃至図５５Ｄに示した４つのタップ構造のものを、選択的に採用することも可能である。即ち、予測タップは、注目画素の画素位置モードや、注目画素付近におけるエッジの有無、さらには、注目画素付近における画像の複雑さなどに基づいて、図５５Ａ乃至図５５Ｄに示した４つのタップ構造のものを、選択的に採用することが可能である。
【０６６０】
次に、図５６のフローチャートを参照して、図５４の予測タップ生成部１３１が図４７のステップＳ１０１で行う処理について説明する。
【０６６１】
予測タップ生成部１３１では、まず最初に、ステップＳ１３１において、読み出し部１３６が、注目ブロックと、その上下左右それぞれに隣接する４つの隣接ブロックの２次元ＤＣＴ係数を、バッファメモリ１２（図２）から読み出す。さらに、ステップＳ１３１では、読み出し部１３６が、注目ブロックの２次元ＤＣＴ係数を、配列部１３７に供給するとともに、４つの隣接ブロックの２次元ＤＣＴ係数を、逆ＤＣＴ変換部２２１に供給して、ステップＳ１３２に進む。
【０６６２】
ステップＳ１３２では、逆ＤＣＴ変換部２２１が、読み出し部１３６から供給される４つの隣接ブロックを逆ＤＣＴ変換し、これにより、その４つの隣接ブロックの画素値を復号して、選択部２２２に供給し、ステップＳ１３３に進む。
【０６６３】
ステップＳ１３３では、選択部２２２は、注目ブロックの８×８画素を、順次、注目画素として、各注目画素について、逆ＤＣＴ変換部２２１から供給される４つの隣接ブロックの８×８の画素の画素値から、図５５で説明したようにして、所定の画素の画素値を選択し、配列部１３７に供給して、ステップＳ１３４に進む。
【０６６４】
ステップＳ１３４では、配列部１３７は、注目ブロックの８×８画素それぞれについて、読み出し部１３６から供給される注目ブロックの２次元ＤＣＴ係数と、選択部２２２から供給される画素の画素値とを、所定の順番に配列し、これにより、図５５に示した予測タップを構成して、積和演算部１３３（図４２）に供給し、処理を終了する。
【０６６５】
次に、図５４の予測タップ生成部１３１では、隣接ブロックにおける、注目ブロックに隣接する画素（ブロック隣接画素）の画素値を含む予測タップが生成されるが、このブロック隣接画素は、注目ブロックと空間的に隣接するものである必要がある。
【０６６６】
しかしながら、ＭＰＥＧ２では、上述したように、マクロブロック単位で、フレーム構造とフィールド構造の選択が可能であることから、注目ブロックを含む注目マクロブロックの構造や、注目マクロブロックに隣接する隣接マクロブロックの構造によっては、注目ブロックに隣接する隣接ブロックにおける、注目ブロックに隣接する画素が、空間領域において、注目ブロックの境界と隣接する画素（ブロック隣接画素）となっていない場合がある。
【０６６７】
そこで、読み出し部１３６（図４）は、バッファメモリ１２に記憶されたＤＣＴタイプを参照することにより、注目ブロックと隣接ブロックの構造を認識し、注目ブロックの構造を基準として、空間領域において、その注目ブロックの境界と隣接するブロック隣接画素を有するブロックの２次元ＤＣＴ係数を、バッファメモリ１２から読み出すようになっている。従って、上述の場合には、説明を簡単にするために、図５４の読み出し部１３６が、注目ブロックの上下左右にそれぞれ隣接する４つのブロックの２次元ＤＣＴ係数を読み出すと説明したが、実際には、読み出し部１３６は、空間領域において注目ブロックと隣接する画素（ブロック隣接画素）を得るために、必要に応じて、上述の４つのブロック以外のブロックの２次元ＤＣＴ係数も読み出すようになっている。
【０６６８】
ここで、図５７乃至図７２を参照して、注目ブロックの構造を基準とした場合に、空間領域において、その注目ブロックの境界と隣接するブロック隣接画素について説明する。
【０６６９】
なお、図５７乃至図７２では、図８乃至図２３における場合と同様に、注目マクロブロックをＭＢ_Nと、注目マクロブロックＭＢ_N上下左右に隣接するマクロブロックを、それぞれＭＢ_U，ＭＢ_D，ＭＢ_L，ＭＢ_Rと表す。さらに、注目マクロブロックＭＢ_Nの左上、左下、右上、右下のブロックを、それぞれ、Ｂ_NUL，Ｂ_NDL，Ｂ_NUR，Ｂ_NDRと表し、上隣接マクロブロックＭＢ_Uの左上、左下、右上、右下のブロックを、それぞれ、Ｂ_UUL，Ｂ_UDL，Ｂ_UUR，Ｂ_UDRと表す。また、下隣接マクロブロックＭＢ_Dの左上、左下、右上、右下のブロックを、それぞれ、Ｂ_DUL，Ｂ_DDL，Ｂ_DUR，Ｂ_DDRと表し、左隣接マクロブロックＭＢ_Lの左上、左下、右上、右下のブロックを、それぞれ、Ｂ_LUL，Ｂ_LDL，Ｂ_LUR，Ｂ_LDRと表す。さらに、右隣接マクロブロックＭＢ_Rの左上、左下、右上、右下のブロックを、それぞれ、Ｂ_RUL，Ｂ_RDL，Ｂ_RUR，Ｂ_RDRと表す。
【０６７０】
また、図５７乃至図７２では、斜線を付してあるラインが、ブロック隣接画素を表しており、さらに、黒塗りのブロックが、注目ブロックを表している。
【０６７１】
注目ブロックの構造を基準とした場合に、空間領域において、その注目ブロックの境界と隣接するブロック隣接画素は、隣接１次元ＤＣＴ係数について説明した図８乃至図２３における場合と同様になる。
【０６７２】
即ち、図５７は、注目マクロブロックＭＢ_Nの左上のブロックＢ_NULが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NULの上側の境界に隣接するブロック隣接画素を示している。
【０６７３】
注目マクロブロックＭＢ_Nと上隣接マクロブロックＭＢ_UのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、フレーム構造の注目ブロックＢ_NULの上側の境界に隣接するブロック隣接画素は、図５７Ａに示すように、フレーム構造の上隣接マクロブロックＭＢ_Uの左下のブロックＢ_UDLの最下行の８画素（斜線を付してある部分）となる。
【０６７４】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、上隣接マクロブロックＭＢ_UのＤＣＴタイプが、フィールドＤＣＴの場合は、フレーム構造の注目ブロックＢ_NULの上側の境界に隣接するブロック隣接画素は、図５７Ｂに示すように、フィールド構造の上隣接マクロブロックＭＢ_Uの左下のブロックＢ_UDLの最下行の８画素（斜線を付してある部分）となる。
【０６７５】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、上隣接マクロブロックＭＢ_UのＤＣＴタイプが、フレームＤＣＴの場合は、フィールド構造の注目ブロックＢ_NULの上側の境界に隣接するブロック隣接画素は、図５７Ｃに示すように、フレーム構造の上隣接マクロブロックＭＢ_Uの左下ブロックＢ_UDLの第７行目（上から７行目）の８画素となる。
【０６７６】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、上隣接マクロブロックＭＢ_UのＤＣＴタイプも、フィールドＤＣＴの場合は、フィールド構造の注目ブロックＢ_NULの上側の境界に隣接するブロック隣接画素は、図５７Ｄに示すように、フィールド構造の上隣接マクロブロックＭＢ_Uの左上のブロックＢ_UULの最下行の８画素（斜線を付してある部分）となる。
【０６７７】
次に、図５８は、注目マクロブロックＭＢ_Nの左上のブロックＢ_NULが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NULの下側の境界に隣接するブロック隣接画素を示している。
【０６７８】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴの場合は、フレーム構造の注目ブロックＢ_NULの下側の境界に隣接するブロック隣接画素は、図５８Ａに示すように、フレーム構造の注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLの最上行の８画素（斜線を付してある部分）となる。
【０６７９】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴである場合は、フィールド構造の注目ブロックＢ_NULの下側の境界に隣接するブロック隣接画素は、図５８Ｂに示すように、フィールド構造の注目マクロブロックＭＢ_Nの下に隣接する下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULの最上行の８画素（斜線を付してある部分）となる。
【０６８０】
次に、図５９は、注目マクロブロックＭＢ_Nの左上のブロックＢ_NULが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NULの左側の境界に隣接するブロック隣接画素を示している。
【０６８１】
注目マクロブロックＭＢ_Nと左隣接マクロブロックＭＢ_UのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、フレーム構造の注目ブロックＢ_NULの左側の境界に隣接するブロック隣接画素は、図５９Ａに示すように、フレーム構造の左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURの最右列の８画素（斜線を付してある部分）となる。
【０６８２】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、左隣接マクロブロックＭＢ_LのＤＣＴタイプが、フィールドＤＣＴの場合は、フレーム構造の注目ブロックＢ_NULの左側の境界に隣接するブロック隣接画素は、図５９Ｂに示すように、フィールド構造の左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の上４画素と、その右下のブロックＢ_LDRにおける最右列の上４画素（斜線を付してある部分）となる。即ち、注目ブロックＢ_NULの第１行乃至第８行に隣接する左側のブロック隣接画素は、それぞれ、ブロックＢ_LURの最右列の第１行乃至第４行の画素、ブロックＢ_LDRの最右列の第１行乃至第４行の画素となる。
【０６８３】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、左隣接マクロブロックＭＢ_LのＤＣＴタイプが、フレームＤＣＴの場合は、フィールド構造の注目ブロックＢ_NULの左側の境界に隣接するブロック隣接画素は、図５９Ｃに示すように、フレーム構造の左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の奇数行の４画素と、その右下のブロックＢ_LDRにおける奇数行の４画素（斜線を付してある部分）となる。即ち、注目ブロックＢ_NULの第１行乃至第８行に隣接する左側のブロック隣接画素は、それぞれ、ブロックＢ_LURの最右列の第１，３，５，７行の画素、ブロックＢ_LDRの最右列の第１，３，５，７行の画素となる。
【０６８４】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、左隣接マクロブロックＭＢ_LのＤＣＴタイプも、フィールドＤＣＴの場合は、フィールド構造の注目ブロックＢ_NULの左側の境界に隣接するブロック隣接画素は、図５９Ｄに示すように、フィールド構造の左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURの最右列の８画素（斜線を付してある部分）となる。
【０６８５】
次に、図６０は、注目マクロブロックＭＢ_Nの左上のブロックＢ_NULが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NULの右側の境界に隣接するブロック隣接画素を示している。
【０６８６】
注目マクロブロックＭＢ_Nの左上のブロックＢ_NULが注目ブロックである場合には、その注目ブロックＢ_NULの右側の境界に隣接するブロック隣接画素は、図６０に示すように、その右隣のブロックＢ_NURの最左列の８画素（斜線を付してある部分）となる。
【０６８７】
次に、図６１は、注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDLの上側の境界に隣接するブロック隣接画素を示している。
【０６８８】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NDLの上側の境界に隣接するブロック隣接画素は、図６１Ａに示すように、注目マクロブロックＭＢ_Nの左上ブロックＢ_NULの最下行の８画素（斜線を付してある部分）となる。
【０６８９】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴである場合は、注目ブロックＢ_NDLの上側の境界に隣接するブロック隣接画素は、図６１Ｂに示すように、注目マクロブロックＭＢ_Nの上に隣接する上隣接マクロブロックＭＢ_Uの左下のブロックＢ_UDLの最下行の８画素（斜線を付してある部分）となる。
【０６９０】
次に、図６２は、注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDLの下側の境界に隣接するブロック隣接画素を示している。
【０６９１】
注目マクロブロックＭＢ_Nと下隣接マクロブロックＭＢ_DのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、注目ブロックＢ_NDLの下側の境界に隣接するブロック隣接画素は、図６２Ａに示すように、下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULの最上行の８画素（斜線を付してある部分）となる。
【０６９２】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、下隣接マクロブロックＭＢ_DのＤＣＴタイプが、フィールドＤＣＴの場合は、注目ブロックＢ_NDLの下側の境界に隣接するブロック隣接画素は、図６２Ｂに示すように、下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULの最上行の８画素（斜線を付してある部分）となる。
【０６９３】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、下隣接マクロブロックＭＢ_DのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NDLの下側の境界に隣接するブロック隣接画素は、図６２Ｃに示すように、下隣接マクロブロックＭＢ_Dの左上のブロックＢ_DULの第２行目の８画素（斜線を付してある部分）となる。
【０６９４】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、下隣接マクロブロックＭＢ_DのＤＣＴタイプも、フィールドＤＣＴの場合は、注目ブロックＢ_NDLの下側の境界に隣接するブロック隣接画素は、下隣接マクロブロックＭＢ_Dの左下のブロックＢ_DDLの最上行の８画素（斜線を付してある部分）となる。
【０６９５】
次に、図６３は、注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDLの左側の境界に隣接するブロック隣接画素を示している。
【０６９６】
注目マクロブロックＭＢ_Nと左隣接マクロブロックＭＢ_LのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、注目ブロックＢ_NDLの左側の境界に隣接するブロック隣接画素は、図６３Ａに示すように、左隣接マクロブロックＭＢ_Lの右下のブロックＢ_LDRの最右列の８画素（斜線を付してある部分）となる。
【０６９７】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、左隣接マクロブロックＭＢ_LのＤＣＴタイプが、フィールドＤＣＴの場合は、注目ブロックＢ_NDLの左側の境界に隣接するブロック隣接画素は、図６３Ｂに示すように、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の下４画素と、その右下のブロックＢ_LDRにおける最右列の下４画素（斜線を付してある部分）となる。即ち、注目ブロックＢ_NDLの第１行乃至第８行に隣接する左側のブロック隣接画素は、それぞれ、ブロックＢ_LURの最右列の第５行乃至第８行の画素、ブロックＢ_LDRの最右列の第５行乃至第８行の画素となる。
【０６９８】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、左隣接マクロブロックＭＢ_LのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NDLの左側の境界に隣接するブロック隣接画素は、図６３Ｃに示すように、左隣接マクロブロックＭＢ_Lの右上のブロックＢ_LURにおける最右列の偶数行の４画素と、その右下のブロックＢ_LDRにおける偶数行の４画素（斜線を付してある部分）となる。即ち、注目ブロックＢ_NDLの第１行乃至第８行に隣接する左側のブロック隣接画素は、それぞれ、ブロックＢ_LURの最右列の第２，４，６，８行の画素、ブロックＢ_LDRの最右列の第２，４，６，８行の画素となる。
【０６９９】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、左隣接マクロブロックＭＢ_LのＤＣＴタイプも、フィールドＤＣＴの場合は、注目ブロックＢ_NDLの左側の境界に隣接するブロック隣接画素は、図６３Ｄに示すように、左隣接マクロブロックＭＢ_Lの右下のブロックＢ_LDRの最右列の８画素（斜線を付してある部分）となる。
【０７００】
次に、図６４は、注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDLの右側の境界に隣接するブロック隣接画素を示している。
【０７０１】
注目マクロブロックＭＢ_Nの左下のブロックＢ_NDLが注目ブロックである場合の、その注目ブロックＢ_NDRの右側の境界に隣接するブロック隣接画素は、図６４に示すように、注目ブロックＢ_NDLの右隣のブロックＢ_NDRの最左列の８画素（斜線を付してある部分）となる。
【０７０２】
図６５は、注目マクロブロックＭＢ_Nの右上のブロックＢ_NURが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NURの上側の境界に隣接するブロック隣接画素を示している。
【０７０３】
注目マクロブロックＭＢ_Nと上隣接マクロブロックＭＢ_UのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、注目ブロックＢ_NURの上側の境界に隣接するブロック隣接画素は、図６５Ａに示すように、上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRの最下行の８画素（斜線を付してある部分）となる。
【０７０４】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、上隣接マクロブロックＭＢ_UのＤＣＴタイプが、フィールドＤＣＴの場合は、注目ブロックＢ_NURの上側の境界に隣接するブロック隣接画素は、図６５Ｂに示すように、上隣接マクロブロックＭＢ_Uの右下ブロックＢ_UDRの最下行の８画素（斜線を付してある部分）となる。
【０７０５】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、上隣接マクロブロックＭＢ_UのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NURの上側の境界に隣接するブロック隣接画素は、図６５Ｃに示すように、上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRの第７行目の８画素（斜線を付してある部分）となる。
【０７０６】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、上隣接マクロブロックＭＢ_UのＤＣＴタイプも、フィールドＤＣＴの場合は、注目ブロックＢ_NURの上側の境界に隣接するブロック隣接画素は、図６５Ｄに示すように、上隣接マクロブロックＭＢ_Uの右上のブロックＢ_UURの最下行の８画素（斜線を付してある部分）となる。
【０７０７】
次に、図６６は、注目マクロブロックＭＢ_Nの右上のブロックＢ_NURが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NURの下側の境界に隣接するブロック隣接画素を示している。
【０７０８】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NURの下側の境界に隣接するブロック隣接画素は、図６６Ａに示すように、注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRの最上行の８画素（斜線を付してある部分）となる。
【０７０９】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴである場合は、注目ブロックＢ_NURの下側の境界に隣接するブロック隣接画素は、図６６Ｂに示すように、下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURの最上行の８画素（斜線を付してある部分）となる。
【０７１０】
次に、図６７は、注目マクロブロックＭＢ_Nの右上のブロックＢ_NURが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NURの左側の境界に隣接するブロック隣接画素を示している。
【０７１１】
注目マクロブロックＭＢ_Nの右上のブロックＢ_NURが注目ブロックである場合には、その注目ブロックＢ_NURの左側の境界に隣接するブロック隣接画素は、図６７に示すように、注目ブロックＢ_NURの左隣のブロックＢ_NULの最右列の８画素（斜線を付してある部分）となる。
【０７１２】
次に、図６８は、注目マクロブロックＭＢ_Nの右上のブロックＢ_NURが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NURの右側の境界に隣接するブロック隣接画素を示している。
【０７１３】
注目マクロブロックＭＢ_Nと右隣接マクロブロックＭＢ_RのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、注目ブロックＢ_NURの右側の境界に隣接するブロック隣接画素は、図６８Ａに示すように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULの最左列の８画素（斜線を付してある部分）となる。
【０７１４】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、右隣接マクロブロックＭＢ_RのＤＣＴタイプが、フィールドＤＣＴの場合は、注目ブロックＢ_NURの右側の境界に隣接するブロック隣接画素は、図６８Ｂに示すように、右隣接マクロブロックＭＢ_Lの左上のブロックＢ_RULにおける最左列の上４画素と、その左下のブロックＢ_RDLにおける最左列の上４画素（斜線を付してある部分）となる。
【０７１５】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、右隣接マクロブロックＭＢ_RのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NURの右側の境界に隣接するブロック隣接画素は、図６８Ｃに示すように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の奇数行の４画素と、その左下のブロックＢ_RDLにおける奇数行の４画素（斜線を付してある部分）となる。
【０７１６】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、右隣接マクロブロックＭＢ_RのＤＣＴタイプも、フィールドＤＣＴの場合は、注目ブロックＢ_NURの右側の境界に隣接するブロック隣接画素は、図６８Ｄに示すように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULの最左列の８画素（斜線を付してある部分）となる。
【０７１７】
次に、図６９は、注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDRの上側の境界に隣接するブロック隣接画素を示している。
【０７１８】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NDRの上側の境界に隣接するブロック隣接画素は、図６９Ａに示すように、注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRの最上行の８画素（斜線を付してある部分）となる。
【０７１９】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴである場合は、注目ブロックＢ_NDRの上側の境界に隣接するブロック隣接画素は、図６９Ｂに示すように、注目マクロブロックＭＢ_Nの上に隣接する上隣接マクロブロックＭＢ_Uの右下のブロックＢ_UDRの最下行の８画素（斜線を付してある部分）ととなる。
【０７２０】
次に、図７０は、注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDRの下側の境界に隣接するブロック隣接画素を示している。
【０７２１】
注目マクロブロックＭＢ_Nと下隣接マクロブロックＭＢ_DのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、注目ブロックＢ_NDRの下側の境界に隣接するブロック隣接画素は、図７０Ａに示すように、下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURの最上行の８画素（斜線を付してある部分）となる。
【０７２２】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、下隣接マクロブロックＭＢ_DのＤＣＴタイプが、フィールドＤＣＴの場合は、注目ブロックＢ_NDRの下側の境界に隣接するブロック隣接画素は、図７０Ｂに示すように、下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURの最上行の８画素（斜線を付してある部分）となる。
【０７２３】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、下隣接マクロブロックＭＢ_DのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NDRの下側の境界に隣接するブロック隣接画素は、図７０Ｃに示すように、下隣接マクロブロックＭＢ_Dの右上のブロックＢ_DURの第２行目の８画素（斜線を付してある部分）となる。
【０７２４】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、下隣接マクロブロックＭＢ_DのＤＣＴタイプも、フィールドＤＣＴの場合は、注目ブロックＢ_NDRの下側に隣接するブロック隣接画素は、図７０Ｄに示すように、下隣接マクロブロックＭＢ_Dの右下のブロックＢ_DDRの最上行の８画素（斜線を付してある部分）となる。
【０７２５】
次に、図７１は、注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDRの左側の境界に隣接するブロック隣接画素を示している。
【０７２６】
注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRが注目ブロックである場合には、その注目ブロックＢ_NDRの左側の境界に隣接するブロック隣接画素は、図７１に示すように、注目ブロックＢ_NDRの左隣のブロックＢ_NDLの最右列の８画素（斜線を付してある部分）となる。
【０７２７】
次に、図７２は、注目マクロブロックＭＢ_Nの右下のブロックＢ_NDRが注目ブロックであるとした場合に、空間領域において、注目ブロックＢ_NDRの右側の境界に隣接するブロック隣接画素を示している。
【０７２８】
注目マクロブロックＭＢ_Nと右隣接マクロブロックＭＢ_RのＤＣＴタイプが、いずれもフレームＤＣＴの場合は、注目ブロックＢ_NDRの右側の境界に隣接するブロック隣接画素は、図７２Ａに示すように、右隣接マクロブロックＭＢ_Rの左下のブロックＢ_RDLの最左列の８画素（斜線を付してある部分）となる。
【０７２９】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フレームＤＣＴであり、右隣接マクロブロックＭＢ_RのＤＣＴタイプが、フィールドＤＣＴの場合は、注目ブロックＢ_NDRの右側の境界に隣接するブロック隣接画素は、図７２Ｂに示すように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の下４画素と、その左下のブロックＢ_RDLにおける最左列の下４画素（斜線を付してある部分）となる。
【０７３０】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、右隣接マクロブロックＭＢ_RのＤＣＴタイプが、フレームＤＣＴの場合は、注目ブロックＢ_NDRの右側の境界に隣接するブロック隣接画素は、図７２Ｃに示すように、右隣接マクロブロックＭＢ_Rの左上のブロックＢ_RULにおける最左列の偶数行の４画素と、その左下のブロックＢ_RDLにおける最左列の偶数行の４画素（斜線を付してある部分）となる。
【０７３１】
注目マクロブロックＭＢ_NのＤＣＴタイプが、フィールドＤＣＴであり、右隣接マクロブロックＭＢＲのＤＣＴタイプも、フィールドＤＣＴの場合は、注目ブロックＢ_NDRの右側の境界に隣接するブロック隣接画素は、図７２Ｄに示すように、右隣接マクロブロックＭＢ_Rの左下のブロックＢ_RDLの最左列の８画素（斜線を付してある部分）となる。
【０７３２】
次に、図７３は、図４２の予測タップ生成部１３１の第３の構成例を示している。なお、図中、図５４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図７３の実施の形態では、逆ＤＣＴ変換部２２１に代えて、ＭＰＥＧデコーダ２３１およびバッファメモリ２３２が設けられている他は、基本的に、図５４における場合と同様に構成されている。
【０７３３】
ＭＰＥＧデコーダ２３１は、例えば、図１に示したＭＰＥＧデコーダと同様に構成されている。また、図７３の実施の形態では、図２の画像処理装置に供給されるビデオストリームが、ＭＰＥＧデコーダ２３１にも供給されるようになっており、ＭＰＥＧデコーダ２３１は、そこに供給されるビデオストリームを、図１で説明したようにＭＰＥＧデコードし、その結果得られる復号画像を、バッファメモリ２３２に供給する。
【０７３４】
バッファメモリ２３２は、ＭＰＥＧデコーダ２３１から供給される復号画像を一時記憶する。なお、バッファメモリ２３２は、注目画素について、図５５で説明した予測タップを構成する画素を含む復号画像を記憶することのできる記憶容量を、少なくとも有している。
【０７３５】
以上のように構成される予測タップ生成部１３１では、ＭＰＥＧデコーダ２３１において、そこに供給されるビデオストリームがＭＰＥＧデコードされ、その結果得られる復号画像が、バッファメモリ２３２に供給されて記憶される。
【０７３６】
そして、選択部２２２は、バッファメモリ２３２に記憶された復号画像を構成する画素のうち、図５５で説明した予測タップを構成する画素を選択し、その画素の画素値を、バッファメモリ２３２から読み出して、配列部１３７に供給する。
【０７３７】
従って、図７３の実施の形態においても、図５４における場合と同様の予測タップが生成される。
【０７３８】
なお、ＭＰＥＧデコーダ２３１における復号順序は、必ずしも、表示順に一致しない。即ち、ＭＰＥＧデコーダ２３１における復号順序は、例えば、ＧＯＰ(Group Of Picture)構造によって変化する。このため、ＭＰＥＧデコーダ２３１では、選択部２２２において選択され得る画素が、バッファメモリ２３２に記憶された状態となるように、ＭＰＥＧデコードを行うようにする必要がある。
【０７３９】
次に、図７４は、図４２の予測タップ生成部１３１の第４の構成例を示している。なお、図中、図７３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図７４の実施の形態では、ＭＰＥＧデコーダ２３１に代えて、画像処理装置２４０が設けられている他は、基本的に、図７３における場合と同様に構成されている。
【０７４０】
画像処理装置２４０は、図２の前処理部１１、バッファメモリ１２、クラス分類部１３、タップ係数記憶部１４、画像再構成部１５とそれぞれ同様に構成される前処理部２４１、バッファメモリ２４２、クラス分類部２４３、タップ係数記憶部２４４、画像再構成部２４５で構成されている。また、図７４の実施の形態では、図７３における場合と同様に、図２の画像処理装置に供給されるビデオストリームが、画像処理装置２４０にも供給されるようになっており、画像処理装置２４０は、そこに供給されるビデオストリームを、図２の画像処理装置における場合と同様に処理することにより復号し、その結果得られる復号画像を、バッファメモリ２３２に供給する。
【０７４１】
即ち、図７３の実施の形態では、ＭＰＥＧデコーダ２３１によって、ビデオストリームがＭＰＥＧデコードされるようになっていたが、図７４の実施の形態では、画像処理装置２４０によって、ビデオストリームが復号されるようになっている。
【０７４２】
従って、図７４の実施の形態においても、図５４における場合と同様の予測タップが生成される。
【０７４３】
ここで、画像処理装置２４０における画像再構成部２４５は、図２の画像再構成部１５が有する適応処理部５１と同様の処理を行う適応処理部２５１を有しているが、適応処理部２５１では、例えば、上述した図４３（あるいは、図５４や図７３）の予測タップ生成部１３１における場合と同様にして、予測タップが生成されるようになっている。
【０７４４】
なお、画像処理装置２４０において、ビデオストリームを復号する場合、ノンイントラ符号化されたブロックは、上述したように、そのブロックの画像と予測画像との差分値（残差画像）を２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数（以下、適宜、残差ＤＣＴ係数という）となっているため、画像処理装置２４０では、図２の画像処理装置と同様に、ノンイントラ符号化されたブロックについては、図７５Ａに示すように、残差ＤＣＴ係数と、予測画像をＤＣＴ変換して得られる２次元ＤＣＴ係数とが加算され、その加算の結果得られる２次元ＤＣＴ係数から、予測タップが構成される。そして、その予測タップを用いて適応処理が行われることにより、画像が復号される。
【０７４５】
但し、画像処理装置２４０では、ノンイントラ符号化されたブロックについては、その他、例えば、図７５Ｂに示すように、残差ＤＣＴ係数を２次元逆ＤＣＴ変換して得られる残差画像と、予測画像とを加算し、その加算の結果得られる画像から、予測タップを構成して、適応処理を行うことにより、画像を復号するようにすることが可能である。また、画像処理装置２４０では、ノンイントラ符号化されたブロックについては、例えば、図７５Ｃに示すように、残差ＤＣＴ係数と予測画像とから、予測タップを構成して、適応処理を行うことにより、画像を復号するようにすることも可能である。
【０７４６】
なお、図７５Ａの予測タップを構成して、画像を復号する場合には、学習において、図７５Ａにおける場合と同一構造の予測タップを構成して、タップ係数を求めておく必要がある。図７５Ｂまたは図７５Ｃの予測タップを構成して、画像を復号する場合においても、同様に、図７５Ｂまたは図７５Ｃにおける場合と同一構造の予測タップを構成して、タップ係数を求めておく必要がある。
【０７４７】
次に、図７６は、図４２の予測タップ生成部１３１の第５の構成例を示している。なお、図中、図４３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図７６の実施の形態では、１次元逆ＤＣＴ変換部２６１および隣接１次元ＤＣＴ係数選択／変換部２６２が新たに設けられている他は、基本的に、図４３における場合と同様に構成されている。
【０７４８】
１次元逆ＤＣＴ変換部２６１は、図２の１次元逆ＤＣＴ変換部３１と同様に構成され、読み出し部１３６から供給されるブロックの２次元ＤＣＴ係数を、１次元逆ＤＣＴ変換することにより、１次元ＤＣＴ係数（水平１次元ＤＣＴ係数と垂直１次元ＤＣＴ係数）を求め、隣接１次元ＤＣＴ係数選択／変換部２６２に供給する。
【０７４９】
隣接１次元ＤＣＴ係数選択／変換部２６２は、図２の隣接１次元ＤＣＴ係数選択／変換部３２と同様に構成され、読み出し部１３６から供給されるブロック（マクロブロック）のＤＣＴタイプに基づき、注目ブロックに隣接する画素列の１次元ＤＣＴ係数（隣接１次元ＤＣＴ係数）を、１次元逆ＤＣＴ変換部２６１から供給される１次元ＤＣＴ係数から取得し、配列部１３７に供給する。
【０７５０】
次に、図７７のフローチャートを参照して、図７６の予測タップ生成部１３１が図４７のステップＳ１０１で行う処理について説明する。
【０７５１】
予測タップ生成部１３１では、まず最初に、ステップＳ１４１において、読み出し部１３６が、注目ブロックと、その注目ブロックを含む注目マクロブロックの上下左右それぞれに隣接する４つの隣接マクロブロックの２次元ＤＣＴ係数を、バッファメモリ１２（図２）から読み出すとともに、それらの各マクロブロックのＤＣＴタイプを、バッファメモリ１２から読み出す。さらに、ステップＳ１４１では、読み出し部１３６が、注目ブロックの２次元ＤＣＴ係数を、配列部１３７に供給するとともに、４つの隣接マクロブロックの２次元ＤＣＴ係数を、１次元逆ＤＣＴ変換部２６１に供給する。また、ステップＳ１４１では、読み出し部１３６が、バッファメモリ１２から読み出したＤＣＴタイプを、隣接１次元ＤＣＴ係数選択／変換部２６２に供給し、ステップＳ１４２に進む。
【０７５２】
ステップＳ１４２では、１次元逆ＤＣＴ変換部２６１が、読み出し部１３６から供給される４つの隣接マクロブロックを構成するブロックを１次元逆ＤＣＴ変換し、その結果得られる１次元ＤＣＴ係数を、隣接１次元ＤＣＴ係数選択／変換部２６２に供給して、ステップＳ１４３に進む。
【０７５３】
ステップＳ１４３では、隣接１次元ＤＣＴ係数選択／変換部２６２は、図２の隣接１次元ＤＣＴ係数選択／変換部３２と同様に、読み出し部１３６から供給されるＤＣＴタイプに基づき、図８乃至図２３で説明した、注目ブロックに隣接する画素列の１次元ＤＣＴ係数（隣接１次元ＤＣＴ係数）を、１次元逆ＤＣＴ変換部２６１から供給される１次元ＤＣＴ係数から取得し、配列部１３７に供給する。
【０７５４】
そして、ステップＳ１４４に進み、配列部１３７は、注目ブロックの８×８画素それぞれの予測タップとして、読み出し部１３６から供給される注目ブロックの２次元ＤＣＴ係数と、隣接１次元ＤＣＴ係数選択／変換部２６２から供給される隣接１次元ＤＣＴ係数とを、所定の順番に配列し、これにより、予測タップを構成して、積和演算部１３３（図４２）に供給し、処理を終了する。
【０７５５】
従って、図７６の予測タップ生成部１３１によれば、図７８に示すように、注目ブロックの８×８の２次元ＤＣＴ係数と、その注目ブロックの上下左右それぞれに隣接する隣接１次元ＤＣＴ係数（上隣接１次元ＤＣＴ係数、下隣接１次元ＤＣＴ係数、左隣接１次元ＤＣＴ係数、および右隣接１次元ＤＣＴ係数）との、合計で９６（＝８×８＋８×４）タップでなる予測タップが構成される。
【０７５６】
図７８のタップ構造の予測タップにおいて、上隣接１次元ＤＣＴ係数、下隣接１次元ＤＣＴ係数、左隣接１次元ＤＣＴ係数、右隣接１次元ＤＣＴ係数は、注目ブロックの上、下、左、右に隣接する隣接ブロックそれぞれの８つのブロック隣接画素の水平方向または垂直方向の空間周波数成分を表すことから、即ち、注目画素に近い位置の空間周波数を表すことから、図７６の予測タップ生成部１３１でも、例えば、図４４や図４５における場合に比較して、注目画素との相関が大きい情報を含んだ形の、少ないタップ数の予測タップが生成されることになる。
【０７５７】
なお、１次元逆ＤＣＴ変換部２６１と隣接１次元ＤＣＴ係数選択／変換部２６２は、図２の１次元逆ＤＣＴ変換部３１と隣接１次元ＤＣＴ係数選択／変換部３２それぞれによって兼用するようにすることが可能である。
【０７５８】
また、上述の場合には、２次元ＤＣＴ係数を１次元逆ＤＣＴ変換することによって、予測タップとする１次元ＤＣＴ係数を求めるようにしたが、この１次元ＤＣＴ係数は、その他、例えば、ビットストリームをＭＰＥＧデコード等することにより復号画像に復号し、その復号画像を１次元ＤＣＴ変換することによって求めるようにすることも可能である。
【０７５９】
次に、図７９は、図４２の予測タップ生成部１３１の第６の構成例を示している。なお、図中、図７３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図７９の実施の形態では、予想タップ生成部１３１は、基本的に、図７３における場合と同様に構成されている。
【０７６０】
但し、選択部２２２は、バッファメモリ２３２に記憶された復号画像を構成する画素から、図８０に示すように、注目画素のフレームの１フレーム前と後のフレームそれぞれの、注目画素と同一位置にある画素（以下、適宜、同一位置画素という）を選択し、その同一位置画素の画素値を、バッファメモリ２３２から読み出して、配列部１３７に供給する。
【０７６１】
次に、図８１のフローチャートを参照して、図７９の予測タップ生成部１３１が図４７のステップＳ１０１で行う処理について説明する。
【０７６２】
予測タップ生成部１３１では、まず最初に、ステップＳ１５１において、読み出し部１３６が、注目ブロックの２次元ＤＣＴ係数を、バッファメモリ１２（図２）から読み出し、配列部１３７に供給して、ステップＳ１５２に進む。
【０７６３】
ステップＳ１５２では、選択部２２２が、注目画素のフレームの１フレーム前と後のフレームそれぞれにおける注目ブロックの各画素と同一位置にある画素（同一位置画素）を選択し、その同一位置画素の画素値を、バッファメモリ２３２から読み出して、配列部１３７に供給する。
【０７６４】
そして、ステップＳ１５３に進み、配列部１３７は、注目ブロックの８×８画素を、順次、注目画素として、各注目画素について、読み出し部１３６から供給される注目ブロックの２次元ＤＣＴ係数と、選択部２２２から供給される、注目画素に対する２つの同一位置画素とを、所定の順番に配列し、これにより、予測タップを構成して、積和演算部１３３（図４２）に供給し、処理を終了する。
【０７６５】
従って、図７９の予測タップ生成部１３１によれば、注目画素について、注目ブロックの８×８の２次元ＤＣＴ係数と、その注目画素に対する２つの同一位置画素との、合計で６６（＝８×８＋２）タップでなる予測タップが構成される。
【０７６６】
注目画素のフレームの１フレーム前と後のフレームの同一位置画素は、一般に、注目画素との相関が大きいから、図７９の予測タップ生成部１３１では、そのような注目画素との相関が大きい情報を含んだ形の予測タップであって、タップ数の少ないものが生成されることになる。
【０７６７】
なお、図７９のタップ生成部１３１では、注目画素のフレームの１フレーム前と後のフレームの同一位置画素の他、注目画素のフレームの２フレーム以上前や後のフレームの同一位置画素を含めた形の予測タップを生成するようにすることも可能である。
【０７６８】
また、図７９のタップ生成部１３１では、注目画素のフレームの１フレーム前と後のフレームの同一位置画素の他、その同一位置画素に（空間的に）隣接する画素等を含めた形の予測タップを生成するようにすることも可能である。
【０７６９】
次に、図８２は、図４２の予測タップ生成部１３１の第７の構成例を示している。なお、図中、図７９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図８２の実施の形態では、予想タップ生成部１３１は、基本的に、図７９における場合と同様に構成されている。
【０７７０】
但し、ＭＰＥＧデコーダ２３１は、ＭＰＥＧデコードした復号画像の他、そのＭＰＥＧデコードに用いた動きベクトルも、バッファメモリ２３２に供給するようになっている。また、バッファメモリ２３２は、ＭＰＥＧデコーダ２３１が出力する復号画像と動きベクトルを、一時記憶するようになっている。
【０７７１】
さらに、選択部２２２は、バッファメモリ２３２に記憶された復号画像を構成する画素から、図８３に示すように、注目ブロックのフレームの前または後のフレームにおける、注目画素に対応する位置から、注目ブロックの動きベクトルに対応する分だけ移動した位置にある画素（以下、適宜、動き対応画素という）を選択し、その動き対応画素の画素値を、バッファメモリ２３２から読み出して、配列部１３７に供給する。
【０７７２】
なお、注目ブロックが、両方向予測されるＢピクチャの画像である場合には、図８３Ａに示すように、その注目ブロックについては、注目ブロックのフレームの前のフレームを参照画像として前方予測を行うための動きベクトルと、注目ブロックのフレームの後のフレームを参照画像として後方予測を行うための動きベクトルが存在する。
【０７７３】
ここで、図８３Ａの実施の形態では、第ｎフレームが、注目ブロックのフレームで、Ｂピクチャとなっている。そして、注目ブロックは、Ｉピクチャである第ｎ−２フレームを参照画像として前方予測を行うための動きベクトルｖ₁と、Ｐピクチャである第ｎ＋１フレームを参照画像として後方予測を行うための動きベクトルｖ₂を有している。
【０７７４】
この場合、選択部２２２では、第ｎ−２フレームの、注目画素に対応する位置から動きベクトルｖ₁だけ移動した位置の画素と、第ｎ＋２フレームの、注目画素に対応する位置から動きベクトルｖ₂だけ移動した位置の画素が、動き対応画素として選択される。
【０７７５】
一方、注目ブロックが、予測符号化されないＩピクチャや、前方予測されるＰピクチャの画像である場合は、予測を行うための動きベクトルが存在しなかったり、存在しても、注目ブロックのフレームの前のフレームを参照画像として前方予測を行うための動きベクトルしか存在しない。
【０７７６】
ここで、図８３Ｂの実施の形態では、第ｎフレームが、注目ブロックのフレームで、Ｐピクチャとなっている。そして、注目ブロックは、Ｉピクチャである第ｎ−２フレームを参照画像として前方予測を行うための動きベクトルｖ₃しか有していない。
【０７７７】
ところで、ＩピクチャやＰピクチャは、ＰピクチャやＢピクチャの予測画像を予測するときの参照画像となりうる。図８３Ｂの実施の形態では、Ｂピクチャである第ｎ＋１フレームのブロックが、注目画素のフレームの、注目画素を含む画像を参照画像として前方予測を行うための動きベクトルｖ₄を有している。
【０７７８】
この場合、選択部２２２には、第ｎ−２フレームの、注目画素の対応する位置から動きベクトルｖ₃だけ移動した位置の画素と、第ｎ＋１フレームの、注目画素に対応する位置から動きベクトルｖ₄だけ移動した位置の画素を、動き対応画素として選択させることができる。
【０７７９】
ここで、以下、適宜、動きベクトルに基づいて参照画像を動き補償して得られる予測画像によって予測される画像のフレームを、非参照フレームという。また、以下、適宜、非参照フレームの画像を予測するのに参照される画像のフレームを、参照フレームという。さらに、注目ブロックが有する動きベクトルと、他のブロックが有する、注目画素を含む画像を参照画像とした動き補償に用いられる動きベクトルの両方をまとめて、以下、適宜、注目ブロックに関する動きベクトルという。
【０７８０】
なお、注目画素のフレームの、注目画素を含む画像を参照画像として前方予測を行うための動きベクトルを有する、他のフレーム（非参照フレーム）のブロックは複数存在しうるが、その場合には、その複数の動きベクトルの任意の１以上に基づいて、その１以上の動きベクトルそれぞれに対応する動き対応画素を選択することが可能である。
【０７８１】
また、上述の場合には、参照フレーム（または非参照フレーム）から、１つの動き対応画素を選択するようにしたが、動き対応画素としては、参照フレームの、注目画素に対応する位置から、注目ブロックの動きベクトルに対応する分だけ移動した位置にある画素と、その周辺の１以上の画素との合計２以上の画素を、動き対応画素として選択するようにすることも可能である。さらに、選択部２２２では、注目画素についての動き対応画素を、仮の注目画素とした場合に、その仮の注目画素についての動き対応画素となる画素も、注目画素についての動き対応画素として選択するようにすることが可能である。
【０７８２】
次に、図８４のフローチャートを参照して、図８２の予測タップ生成部１３１が図４７のステップＳ１０１で行う処理について説明する。
【０７８３】
予測タップ生成部１３１では、まず最初に、ステップＳ１６１において、読み出し部１３６が、注目ブロックの２次元ＤＣＴ係数を、バッファメモリ１２（図２）から読み出し、配列部１３７に供給して、ステップＳ１６２に進む。
【０７８４】
ステップＳ１６２では、選択部２２２が、注目ブロックに関する動きベクトルを、バッファメモリ２３２から読み出し、ステップＳ１６３に進む。
【０７８５】
ステップＳ１６３では、選択部２２２は、参照フレームまたは非参照フレームにおいて、注目ブロックの各画素の位置から、注目ブロックに関する動きベクトルに対応する分だけ移動した位置にある画素を、動き対応画素として選択し、その動き対応画素の画素値を、バッファメモリ２３２から読み出して、配列部１３７に供給する。
【０７８６】
そして、ステップＳ１６４に進み、配列部１３７は、注目ブロックの８×８画素を、順次、注目画素として、各注目画素について、読み出し部１３６から供給される注目ブロックの２次元ＤＣＴ係数と、選択部２２２から供給される動き対応画素とを、所定の順番に配列し、これにより、予測タップを構成して、積和演算部１３３（図４２）に供給し、処理を終了する。
【０７８７】
動き対応画素は、一般に、注目画素との相関が大きいから、図８２の予測タップ生成部１３１では、そのような注目画素との相関が大きい情報を含んだ形の予測タップであって、タップ数の少ないものが生成されることになる。
【０７８８】
ここで、動き対応画素を含む予測タップを構成することは、動きのある物体が表示された画像の復号精度を向上させるのに有効である。
【０７８９】
なお、図７９や図８２の実施の形態では、同一位置画素や動き対応画素の画素値を、予測タップに含めるようにしたが、予測タップには、同一位置画素や動き対応画素の画素値ではなく、その１次元ＤＣＴ係数を含めるようにすることが可能である。また、予測タップには、同一位置画素や動き対応画素を含む、垂直または水平方向に並ぶ所定数の画素列の１次元ＤＣＴ係数を含めるようにすることも可能である。
【０７９０】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０７９１】
そこで、図８５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０７９２】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やＲＯＭ４０３に予め記録しておくことができる。
【０７９３】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０７９４】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。
【０７９５】
コンピュータは、CPU(Central Processing Unit)４０２を内蔵している。CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、また、CPU４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０７９６】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０７９７】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０７９８】
以上のように、注目ブロックの２次元ＤＣＴ係数の他、その注目ブロックのフレームに対して、空間的または時間的に近接するフレームのブロックの２次元ＤＣＴ係数から得られる、画素値や１次元ＤＣＴ係数によって、予測タップを構成するようにしたので、少ないタップ数の予測タップによって、ブロック歪みやモスキートノイズ等の歪みを十分に低減した高画質の復号画像を得ることが可能となる。
【０７９９】
なお、本実施の形態では、教師データの予測値を、式（１）の線形１次予測演算によって求めるようにしたが、教師データの予測値は、その他、例えば、２次以上の高次の式を用いて求めるようにすることが可能である。
【０８００】
また、本実施の形態では、クラス分類を、注目ブロックとそれに隣接するブロックの１次元ＤＣＴ係数を用いて行うようにしたが、その他、クラス分類は、注目ブロックと空間的または時間的に近いブロックの１次元ＤＣＴ係数をも用いて行うことが可能である。さらに、クラス分類は、１次元ＤＣＴ係数の他、２次元ＤＣＴ係数も用いて行うことが可能である。また、クラス分類は、注目ブロックに対して、時間方向に近接するブロックの１次元ＤＣＴ係数をも用いて行うことが可能である。
【０８０１】
さらに、クラス分類は、例えば、注目ブロックや隣接ブロックの８×８の２次元ＤＣＴ係数のうちの、直流成分を除く６３個の２次元ＤＣＴ係数のパワー（自乗和）を求め、そのパワーと所定の閾値との大小関係や、注目ブロックから求めたパワーと、隣接ブロックから求めたパワーとの大小関係に基づいて行うようにすることも可能である。また、クラス分類は、例えば、図４６に示した注目ブロックに隣接する８つの隣接ブロックの２次元ＤＣＴ係数のうちの直流成分と所定の閾値との大小関係や、その８つの隣接ブロックの２次元ＤＣＴ係数のうちの直流成分それぞれと、注目ブロックの２次元ＤＣＴ係数のうちの直流成分との大小関係に基づいて行うようにすることも可能である。
【０８０２】
また、クラス分類は、例えば、注目ブロックや隣接ブロックの複数の画素を含んだ形のクラスタップを構成し、そのクラスタップをADRC(Adaptive Dynamic Range Coding)処理することによって行うことも可能である。
【０８０３】
ここで、KビットADRC処理によれば、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列であるADRCコードに基づいて、注目画素のクラスが決定される。
【０８０４】
さらに、クラス分類は、例えば、ビデオストリームに含まれるサイドインフォメーションを用いて行うようにすることも可能である。即ち、クラス分類は、例えば、サイドインフォメーションの１つである量子化ステップに基づいて行うことが可能である。また、クラス分類は、例えば、サイドインフォメーションの１つであるＤＣＴタイプに基づき、注目ブロックと隣接ブロックの構造（フィールド構造であるか、またはフレーム構造であるか）の組み合わせを認識し、その認識結果に基づいて行うようにすることも可能である。さらに、クラス分類は、例えば、動き補償タイプやＣＢＰなどのサイドインフォメーションから認識される動き補償の有無や、２次元ＤＣＴ係数の有無に基づいて行うようにすることも可能である。
【０８０５】
また、クラス分類は、例えば、上述した画素位置モードに基づいて行うことも可能である。
【０８０６】
さらに、本実施の形態では、注目ブロックについては、その２次元ＤＣＴ係数だけを、予測タップに含めるようにしたが、予測タップには、その他、例えば、注目ブロックの画素値や１次元ＤＣＴ係数を含めるようにすることが可能である。
【０８０７】
さらに、本実施の形態では、ＭＰＥＧ符号化された動画像を対象としたが、本発明は、２次元ＤＣＴ変換を用いる、ＭＰＥＧ以外の符号化方式により符号化された動画像や、ＪＰＥＧ符号化された静止画等を復号する場合にも適用可能である。
【０８０８】
【発明の効果】
以上の如く、本発明によれば、画像データを、少なくとも２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる２次元ＤＣＴ係数を含む符号化データを、高画質の画像を復号することが可能となる。
【図面の簡単な説明】
【図１】ＭＰＥＧデコーダの構成例を示すブロック図である。
【図２】本発明を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図３】ＤＣＴ変換部２１と周波数領域動き補償加算部２２の構成例を示すブロック図である。
【図４】サンプリング部６１の処理を説明するための図である。
【図５】サンプリング部６１の処理を説明するための図である。
【図６】２次元ＤＣＴ変換および２次元逆ＤＣＴ変換、並びに１次元ＤＣＴ変換および１次元逆ＤＣＴ変換を説明するための図である。
【図７】原画像、水平１次元ＤＣＴ係数、垂直１次元ＤＣＴ係数、および２次元ＤＣＴ係数を示すディスプレイ上に表示された中間階調の写真である。
【図８】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図９】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図１０】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図１１】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図１２】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図１３】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図１４】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図１５】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図１６】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図１７】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図１８】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図１９】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図２０】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図２１】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図２２】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図２３】注目ブロックの境界の画素列に空間的に隣接する隣接ブロックの画素列を説明するための図である。
【図２４】隣接１次元ＤＣＴ係数選択／変換部３２の構成例を示すブロック図である。
【図２５】隣接１次元ＤＣＴ係数選択／変換部３２の処理を説明するフローチャートである。
【図２６】左上ブロック処理の詳細を説明するフローチャートである。
【図２７】左下ブロック処理の詳細を説明するフローチャートである。
【図２８】右上ブロック処理の詳細を説明するフローチャートである。
【図２９】右下ブロック処理の詳細を説明するフローチャートである。
【図３０】ＡＣパワーを説明するための図である。
【図３１】ＡＣパワー算出部３３の構成例を示すブロック図である。
【図３２】ＡＣ内積を説明するための図である。
【図３３】ＡＣ内積計算部３４の構成例を示すブロック図である。
【図３４】クラスコード生成部３６の構成例を示すブロック図である。
【図３５】クラスコードのフォーマットを示す図である。
【図３６】クラスコード生成部３６の処理を説明するフローチャートである。
【図３７】クラスコード生成部３７の構成例を示すブロック図である。
【図３８】４：２：２フォーマットにおける輝度ブロックと色差ブロックとの対応関係を示す図である。
【図３９】輝度クラスコードを利用した色差クラスコードの生成を説明する図である。
【図４０】４：２：０フォーマットにおける輝度ブロックと色差ブロックとの対応関係を示す図である。
【図４１】輝度クラスコードを利用した色差クラスコードの生成を説明する図である。
【図４２】適応処理部５１の構成例を示すブロック図である。
【図４３】予測タップ生成部１３１の第１の構成例を示すブロック図である。
【図４４】予測タップ生成部１３１が生成する予測タップのタップ構造を示す図である。
【図４５】予測タップ生成部１３１が生成する予測タップのタップ構造を示す図である。
【図４６】予測タップ生成部１３１が生成する予測タップのタップ構造を示す図である。
【図４７】適応処理部５１の処理を説明するフローチャートである。
【図４８】タップ係数を学習する学習装置の第１実施の形態の構成例を示すブロック図である。
【図４９】学習装置による学習処理を説明するフローチャートである。
【図５０】タップ係数を学習する学習装置の第２実施の形態の構成例を示すブロック図である。
【図５１】タップ係数を学習する学習装置の第３実施の形態の構成例を示すブロック図である。
【図５２】シミュレーションにより得られた復号画像のＳ／Ｎを示す図である。
【図５３】シミュレーションにより得られた復号画像を示すディスプレイ上に表示された中間階調の写真である。
【図５４】予測タップ生成部１３１の第２の構成例を示すブロック図である。
【図５５】予測タップ生成部１３１が生成する予測タップのタップ構造を示す図である。
【図５６】予想タップ生成部１３１の処理を説明するフローチャートである。
【図５７】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図５８】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図５９】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図６０】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図６１】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図６２】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図６３】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図６４】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図６５】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図６６】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図６７】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図６８】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図６９】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図７０】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図７１】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図７２】注目ブロックの境界に空間的に隣接するブロック隣接画素を説明するための図である。
【図７３】予測タップ生成部１３１の第３の構成例を示すブロック図である。
【図７４】予測タップ生成部１３１の第４の構成例を示すブロック図である。
【図７５】画像処理装置２４０の処理を説明するための図である。
【図７６】予測タップ生成部１３１の第５の構成例を示すブロック図である。
【図７７】予測タップ生成部１３１の処理を説明するフローチャートである。
【図７８】予測タップ生成部１３１が生成する予測タップのタップ構造を示す図である。
【図７９】予測タップ生成部１３１の第６の構成例を示すブロック図である。
【図８０】予測タップ生成部１３１が生成する予測タップのタップ構造を示す図である。
【図８１】予測タップ生成部１３１の処理を説明するフローチャートである。
【図８２】予測タップ生成部１３１の第７の構成例を示すブロック図である。
【図８３】予測タップ生成部１３１が生成する予測タップのタップ構造を示す図である。
【図８４】予測タップ生成部１３１の処理を説明するフローチャートである。
【図８５】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ 分離部， ２ ＤＣＴ係数抽出／逆量子化部， ４ 動き補償部， ５ 画像メモリ， １１ 前処理部， １２ バッファメモリ， １３ クラス分類部， １４ タップ係数記憶部， １５ 画像再構成部， ２１ ＤＣＴ変換部， ２２ 周波数領域動き補償加算部， ３１ １次元逆ＤＣＴ変換部， ３２隣接１次元ＤＣＴ係数選択／変換部， ３３ ＡＣパワー算出部， ３４ ＡＣ内積計算部， ３６，３７ クラスコード生成部， ４１，４２ タップ係数選択部， ４３，４４ 係数メモリ， ５１ 適応処理部， ５２ 逆ＤＣＴ変換部， ６１ サンプリング部， ６２ ＤＣＴ部， ７１ ＤＣＴ係数選択部， ７２ 加算部， ７３ 選択部， ８０ 制御部， ８１ メモリ， ８２垂直１次元逆ＤＣＴ変換部， ８３ サンプリング部， ８４ 垂直１次元ＤＣＴ変換部， ８５ 選択部， ９１ 水平１次元ＤＣＴ係数抽出部， ９２ 垂直１次元ＤＣＴ係数抽出部， ９３ 水平ＡＣパワー計算部， ９４ 垂直ＡＣパワー計算部， １０１ 上内積用１次元ＤＣＴ係数抽出部， １０２ 下内積用１次元ＤＣＴ係数抽出部， １０３ 左内積用１次元ＤＣＴ係数抽出部， １０４ 右内積用１次元ＤＣＴ係数抽出部， １０５ 上内積演算部， １０６下内積演算部， １０７ 左内積演算部， １０８ 右内積演算部， １１１，１１２ 比較部， １１３ 平坦性条件判定部， １１４ 連続性条件判定部， １１５ 境界部エッジ条件判定部， １１６ クラスコード作成部， １２１，１２２ 比較部， １２３ クラスコード作成部， １３１ 予測タップ生成部， １３２ タップ係数バッファ， １３３ 積和演算部， １３６ 読み出し部， １３７ 配列部， １４１ 教師データストレージ， １４２ 生徒データ生成部， １４３ 生徒データストレージ， １４４ 予測タップ生成部， １４５ クラス分類部， １４６ 足し込み部， １４７ タップ係数演算部， １５１ ＭＰＥＧエンコーダ， １５２ 分離部， １５３ ＤＣＴ係数抽出／逆量子化部， １７１ ＭＰＥＧエンコーダ， １７２ 分離部， １７３ ＤＣＴ係数抽出／逆量子化部， １７４ クラス分類部， １７５ タップ係数記憶部， １７６ 適応処理部， １７７ Ｉピクチャストレージ， １７８ 動き補償部， １７９ 画像メモリ， １８０ ＤＣＴ変換部， １８１ 周波数領域動き補償加算部， １９１ ＭＰＥＧエンコーダ， １９２ 分離部， １９３ ＤＣＴ係数抽出／逆量子化部， １９４ クラス分類部， １９５タップ係数記憶部， １９６ 適応処理部， １９７ Ｉピクチャストレージ， １９８ 動き補償部， １９９ 画像メモリ， ２００ ＤＣＴ変換部， ２０１ 周波数領域動き補償加算部， ２０２ クラス分類部， ２０３ タップ係数記憶部， ２０４ 適応処理部， ２０５ Ｐピクチャストレージ， ２０６ 動き補償部， ２０７ 画像メモリ， ２０８ ＤＣＴ変換部， ２０９周波数領域動き補償加算部， ２２１ 逆ＤＣＴ変換部， ２２２ 選択部，２３１ ＭＰＥＧデコーダ， ２３２ バッファメモリ， ２４０ 画像処理装置， ２４１ 前処理部， ２４２ バッファメモリ， ２４３ クラス分類部， ２４４ タップ係数記憶部， ２４５ 画像再構成部， ２５１ 適応処理部， ２６１ １次元逆ＤＣＴ変換部， ２６２ 隣接１次元ＤＣＴ係数選択／変換部， ４０１ バス， ４０２ CPU， ４０３ ROM， ４０４ RAM，４０５ ハードディスク， ４０６ 出力部， ４０７ 入力部， ４０８ 通信部， ４０９ ドライブ， ４１０ 入出力インタフェース， ４１１ リムーバブル記録媒体[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, an image processing method, a program, and a recording medium, and in particular, an image that enables, for example, encoded data obtained by MPEG encoding image data to be decoded into high-quality image data. The present invention relates to a processing device, an image processing method, a program, and a recording medium.
[0002]
[Prior art]
In encoding methods such as MPEG (Moving Picture Experts Group) 1 and 2, image data is subjected to DCT (Discrete Cosine Transform) conversion in units of 8 × 8 pixel blocks and further quantized to generate encoded data. It is said. For this reason, in an MPEG decoder compliant with the MPEG standard, encoded data is inversely quantized and further decoded by inverse DCT conversion.
[0003]
As described above, in the MPEG encoding method, image data is DCT-converted in units of blocks, and the resulting DCT coefficients are quantized. Therefore, a decoded image obtained by an MPEG decoder compliant with the MPEG standard is included in the decoded image. Various distortions such as block distortion and mosquito noise occur due to the influence of quantization during encoding.
[0004]
As a method of reducing the distortion generated in the decoded image, for example, as described in JP-A-11-187400 and JP-A-11-205792, post-processing is performed on the decoded image, There is a method of detecting and correcting distortion occurring in a decoded image.
[0005]
[Problems to be solved by the invention]
However, as described above, in the method of detecting and correcting distortion, it is necessary to detect the position of the block boundary. Further, when the encoded data is the image data encoded by the MPEG2 system, it is necessary to determine whether the DCT type that can be set in units of macroblocks is the frame DCT or the field DCT. is there. Therefore, if the detection of the position of the block boundary or the determination of the DCT type is mistaken, it may be difficult to sufficiently remove the distortion generated in the decoded image.
[0006]
Furthermore, the above-described method performs a filter process for correction regardless of the phase of the cosine waveform that forms the basis of the distortion waveform generated in the decoded image. I can't say that.
[0007]
The present invention has been made in view of such a situation, and makes it possible to obtain a high-quality decoded image in which various distortions are sufficiently reduced.
[0008]
[Means for Solving the Problems]
  The first image processing apparatus of the present invention includes:Teacher data, which is image data to be a learning teacher, is encoded by at least two-dimensional DCT transform, and encoded data including a two-dimensional DCT coefficient is preliminarily obtained as student data to be a learning student by a predetermined learning process. Calculation coefficient for each classAn acquisition means for acquiring one corresponding to the class of the target pixel that is the prediction target pixel,Of the block of interest that is the block containing the pixel of interestA two-dimensional DCT coefficient;Of the surrounding blocks that are the blocks around the block of interestPixel value information obtained by inverse two-dimensional DCT transformation of two-dimensional DCT coefficientsOr some specific frequency components of DCT coefficients of the peripheral blocks or peripheral information which is one-dimensional DCT coefficients obtained from the two-dimensional DCT coefficients of the peripheral blocks are used for the product-sum operation with the arithmetic coefficients acquired by the acquiring means. Generate as a set of valuesIt corresponds to the class of the generation means and the target pixelCalculation coefficientWhen,Set of valuesPredictive calculation means for decoding the encoded image data by obtaining the pixel value of the pixel of interest by performing a product-sum operation withThe predetermined learning process classifies the pixels constituting the teacher data into one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel, Among the pixels constituting the teacher data, the two-dimensional DCT coefficient of the target block that is the block including the target teacher data that is the prediction target pixel and the two-dimensional DCT coefficient of the peripheral block that is a peripheral block of the target block are inverted by 2. Multiply-sum operation with operation coefficient of pixel value information obtained by two-dimensional DCT conversion or specific frequency component of DCT coefficient of peripheral block or peripheral information which is one-dimensional DCT coefficient obtained from two-dimensional DCT coefficient of peripheral block Of the teacher data of interest obtained by performing a product-sum operation on the set of values and the calculation coefficient. The prediction error, a calculation coefficient for the statistical minimum is the process for obtaining for each classIt is characterized by that.
[0009]
  The first image processing method of the present invention includes:Teacher data, which is image data to be a learning teacher, is encoded by at least two-dimensional DCT transform, and encoded data including a two-dimensional DCT coefficient is preliminarily obtained as student data to be a learning student by a predetermined learning process. Calculation coefficient for each classAn acquisition step of acquiring one corresponding to the class of the target pixel that is the prediction target pixel,Of the block of interest that is the block containing the pixel of interestA two-dimensional DCT coefficient;Of the surrounding blocks that are the blocks around the block of interestPixel value information obtained by inverse two-dimensional DCT transformation of two-dimensional DCT coefficientsOr some specific frequency components of DCT coefficients of the peripheral blocks or peripheral information which is one-dimensional DCT coefficients obtained from the two-dimensional DCT coefficients of the peripheral blocks are used for the product-sum operation with the arithmetic coefficients acquired by the acquiring means. Generate as a set of valuesIt corresponds to the generation step and the class of the target pixel.Calculation coefficientWhen,Set of valuesA prediction operation step of decoding the encoded image data by obtaining the pixel value of the target pixel by performing a product-sum operation withThe predetermined learning process classifies the pixels constituting the teacher data into one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel, Among the pixels constituting the teacher data, the two-dimensional DCT coefficient of the target block that is the block including the target teacher data that is the prediction target pixel and the two-dimensional DCT coefficient of the peripheral block that is a peripheral block of the target block are inverted by 2. Multiply-sum operation with operation coefficient of pixel value information obtained by two-dimensional DCT conversion or specific frequency component of DCT coefficient of peripheral block or peripheral information which is one-dimensional DCT coefficient obtained from two-dimensional DCT coefficient of peripheral block Of the teacher data of interest obtained by performing a product-sum operation on the set of values and the calculation coefficient. The prediction error, a calculation coefficient for the statistical minimum is the process for obtaining for each classIt is characterized by that.
[0010]
  The first program of the present invention is:Teacher data, which is image data to be a learning teacher, is encoded by at least two-dimensional DCT transform, and encoded data including a two-dimensional DCT coefficient is preliminarily obtained as student data to be a learning student by a predetermined learning process. Calculation coefficient for each classAn acquisition step of acquiring one corresponding to the class of the target pixel that is the prediction target pixel,Of the block of interest that is the block containing the pixel of interestA two-dimensional DCT coefficient;Of the surrounding blocks that are the blocks around the block of interestPixel value information obtained by inverse two-dimensional DCT transformation of two-dimensional DCT coefficientsOr some specific frequency components of DCT coefficients of the peripheral blocks or peripheral information which is one-dimensional DCT coefficients obtained from the two-dimensional DCT coefficients of the peripheral blocks are used for the product-sum operation with the arithmetic coefficients acquired by the acquiring means. Generate as a set of valuesIt corresponds to the generation step and the class of the target pixel.Calculation coefficientWhen,Set of valuesA prediction operation step of decoding the encoded image data by obtaining the pixel value of the target pixel by performing a product-sum operation withThe predetermined learning process classifies the pixels constituting the teacher data into one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel, Among the pixels constituting the teacher data, the two-dimensional DCT coefficient of the target block that is the block including the target teacher data that is the prediction target pixel and the two-dimensional DCT coefficient of the peripheral block that is a peripheral block of the target block are inverted by 2. Multiply-sum operation with operation coefficient of pixel value information obtained by two-dimensional DCT conversion or specific frequency component of DCT coefficient of peripheral block or peripheral information which is one-dimensional DCT coefficient obtained from two-dimensional DCT coefficient of peripheral block Of the teacher data of interest obtained by performing a product-sum operation on the set of values and the calculation coefficient. The prediction error, a calculation coefficient for the statistical minimum is the process for obtaining for each classIt is characterized by that.
[0011]
  The first recording medium of the present invention encodes teacher data, which is image data serving as a learning teacher, by performing at least two-dimensional DCT conversion, and becomes encoded learning data including a two-dimensional DCT coefficient. An acquisition step of acquiring, as student data, one corresponding to a class of a pixel of interest that is a prediction target pixel, among computation coefficients for each class obtained in advance by a predetermined learning process;Of the block of interest that is the block containing the pixel of interestA two-dimensional DCT coefficient;Of the surrounding blocks that are the blocks around the block of interestPixel value information obtained by inverse two-dimensional DCT transformation of two-dimensional DCT coefficientsOr some specific frequency components of DCT coefficients of the peripheral blocks or peripheral information which is one-dimensional DCT coefficients obtained from the two-dimensional DCT coefficients of the peripheral blocks are used for the product-sum operation with the arithmetic coefficients acquired by the acquiring means. Generate as a set of valuesIt corresponds to the generation step and the class of the target pixel.Calculation coefficientWhen,Set of valuesA program for causing a computer to execute a prediction calculation step of decoding encoded image data by obtaining a pixel value of a target pixel by performing a product-sum operation withThe predetermined learning process classifies the pixels constituting the teacher data into one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel, Among the pixels constituting the teacher data, the two-dimensional DCT coefficient of the target block that is the block including the target teacher data that is the prediction target pixel and the two-dimensional DCT coefficient of the peripheral block that is a peripheral block of the target block are inverted by 2. Multiply-sum operation with operation coefficient of pixel value information obtained by two-dimensional DCT conversion or specific frequency component of DCT coefficient of peripheral block or peripheral information which is one-dimensional DCT coefficient obtained from two-dimensional DCT coefficient of peripheral block Of the teacher data of interest obtained by performing a product-sum operation on the set of values and the calculation coefficient. The prediction error, a calculation coefficient for the statistical minimum is the process for obtaining for each classComputer readableIs something.
[0012]
  The second image processing apparatus of the present invention encodes teacher data, which is image data serving as a learning teacher, by performing at least two-dimensional DCT conversion, and encodes data including a two-dimensional DCT coefficient with a learning student. Student data generating means for outputting as student data and pixels constituting the teacher dataContains the feature value obtained from the DCT coefficient of the block containingClass classification means for classifying into one of a plurality of classes based on a code, and attention teacher data that is a prediction target pixel among pixels constituting the teacher dataOf the block of interest that is the block containingA two-dimensional DCT coefficient;Of the surrounding blocks that are the blocks around the block of interestPixel value information obtained by inverse two-dimensional DCT transformation of two-dimensional DCT coefficientsAlternatively, a specific frequency component of the DCT coefficient of the peripheral block or peripheral information which is a one-dimensional DCT coefficient obtained from the two-dimensional DCT coefficient of the peripheral block is generated as a set of several values used for the product-sum operation with the arithmetic coefficient. DoGenerating means;Set of valuesWhenCalculation coefficientStatistically minimize the prediction error of the predicted value of the attention teacher data obtained by performing the product-sum operationCalculation coefficientAnd learning means for performing learning for each class.
[0013]
  According to the second image processing method of the present invention, teacher data, which is image data to be a learning teacher, is encoded by at least two-dimensional DCT transform, and encoded data including a two-dimensional DCT coefficient is added to a learning student. A student data generation step to output as student data and a pixel constituting the teacher dataContains the feature value obtained from the DCT coefficient of the block containingBased on the code, a class classification step for classifying into one of a plurality of classes, and attention teacher data that is a prediction target pixel among pixels constituting the teacher dataOf the block of interest that is the block containingA two-dimensional DCT coefficient;Of the surrounding blocks that are the blocks around the block of interestPixel value information obtained by inverse two-dimensional DCT transformation of two-dimensional DCT coefficientsAlternatively, a specific frequency component of the DCT coefficient of the peripheral block or peripheral information which is a one-dimensional DCT coefficient obtained from the two-dimensional DCT coefficient of the peripheral block is generated as a set of several values used for the product-sum operation with the arithmetic coefficient. DoGeneration step;Set of valuesWhenCalculation coefficientStatistically minimize the prediction error of the predicted value of the attention teacher data obtained by performing the product-sum operation withCalculation coefficientAnd a learning step for performing learning for each class.
[0014]
  The second program of the present invention encodes teacher data, which is image data serving as a learning teacher, by performing at least two-dimensional DCT conversion, and encodes data including a two-dimensional DCT coefficient as a learning student. The student data generation step to output as data and the pixels constituting the teacher data areContains the feature value obtained from the DCT coefficient of the block containingBased on the code, a class classification step for classifying into one of a plurality of classes, and attention teacher data that is a prediction target pixel among pixels constituting the teacher dataOf the block of interest that is the block containingA two-dimensional DCT coefficient;Of the surrounding blocks that are the blocks around the block of interestPixel value information obtained by inverse two-dimensional DCT transformation of two-dimensional DCT coefficientsAlternatively, a specific frequency component of the DCT coefficient of the peripheral block or peripheral information which is a one-dimensional DCT coefficient obtained from the two-dimensional DCT coefficient of the peripheral block is generated as a set of several values used for the product-sum operation with the arithmetic coefficient. DoGeneration step;Set of valuesWhenCalculation coefficientStatistically minimize the prediction error of the predicted value of the attention teacher data obtained by performing the product-sum operation withCalculation coefficientAnd a learning step for performing learning for each class.
[0015]
  The second recording medium of the present invention encodes teacher data, which is image data serving as a learning teacher, by performing at least two-dimensional DCT conversion, and uses encoded data including a two-dimensional DCT coefficient as a learning student. The student data generation step for outputting as student data and the pixels constituting the teacher data areContains the feature value obtained from the DCT coefficient of the block containingBased on the code, a class classification step for classifying into one of a plurality of classes, and attention teacher data that is a prediction target pixel among pixels constituting the teacher dataOf the block of interest that is the block containingA two-dimensional DCT coefficient;Of the surrounding blocks that are the blocks around the block of interestPixel value information obtained by inverse two-dimensional DCT transformation of two-dimensional DCT coefficientsAlternatively, a specific frequency component of the DCT coefficient of the peripheral block or peripheral information which is a one-dimensional DCT coefficient obtained from the two-dimensional DCT coefficient of the peripheral block is generated as a set of several values used for the product-sum operation with the arithmetic coefficient. DoGeneration step;Set of valuesWhenCalculation coefficientStatistically minimize the prediction error of the predicted value of the attention teacher data obtained by performing the product-sum operation withCalculation coefficientIs a computer-readable recording medium storing a program for causing a computer to execute a learning step for performing learning for each class.
[0016]
  In the first image processing apparatus, the image processing method, the program, and the recording medium of the present invention,Teacher data, which is image data to be a learning teacher, is encoded by at least two-dimensional DCT transform, and encoded data including a two-dimensional DCT coefficient is preliminarily obtained as student data to be a learning student by a predetermined learning process. Calculation coefficient for each classOf the pixels corresponding to the class of the pixel of interest that is the pixel to be predicted is acquired,Of the block of interest that is the block containing the pixel of interestA two-dimensional DCT coefficient;Of the surrounding blocks that are the blocks around the block of interestPixel value information obtained by inverse two-dimensional DCT transformation of two-dimensional DCT coefficientsAlternatively, a specific frequency component of the DCT coefficient of the peripheral block or peripheral information which is a one-dimensional DCT coefficient obtained from the two-dimensional DCT coefficient of the peripheral block is a set of several values used for the product-sum operation with the arithmetic coefficient.Generated. And corresponding to the class of pixel of interestCalculation coefficientWhen,Set of valuesThe encoded image data is decoded by obtaining the pixel value of the pixel of interest by performing a product-sum operation withIs done. In addition, the predetermined learning process classifies the pixels constituting the teacher data into one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel. The two-dimensional DCT coefficient of the target block that is the block including the target teacher data that is the pixel to be predicted among the pixels that constitute the teacher data and the two-dimensional DCT coefficient of the peripheral block that is a peripheral block of the target block are reversed. The pixel value information obtained by the two-dimensional DCT transform, the specific frequency component of the DCT coefficient of the peripheral block, or the peripheral information which is a one-dimensional DCT coefficient obtained from the two-dimensional DCT coefficient of the peripheral block, and the product sum It is generated as a set of several values used for the calculation, and the attention teacher data obtained by performing the product-sum operation of the set of values and the calculation coefficient The prediction error Hakachi, calculation coefficients that statistically minimum, a process for obtaining for each class.
[0017]
  In the second image processing apparatus, the image processing method, the program, and the recording medium of the present invention, the teacher data, which is image data serving as a learning teacher, is encoded by performing at least two-dimensional DCT conversion, and the two-dimensional DCT coefficient Is output as student data for learning students.Further, class classification is performed in which the pixels constituting the teacher data are classified into one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel.Of the pixels constituting the teacher data, the attention teacher data that is the prediction target pixelOf the block of interest that is the block containingA two-dimensional DCT coefficient;Of the surrounding blocks that are the blocks around the block of interestPixel value information obtained by inverse two-dimensional DCT transformation of two-dimensional DCT coefficientsAlternatively, a specific frequency component of the DCT coefficient of the peripheral block or peripheral information which is a one-dimensional DCT coefficient obtained from the two-dimensional DCT coefficient of the peripheral block is generated as a set of several values used for the product-sum operation with the arithmetic coefficient. A set of valuesWhenCalculation coefficientStatistically minimize the prediction error of the predicted value of the attention teacher data obtained by performing the product-sum operation withCalculation coefficientIs required for each class.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described, but before that, a decoding system compliant with MPEG will be briefly described.
[0019]
FIG. 1 shows an example of the configuration of an MPEG decoder that decodes encoded data encoded by, for example, the MPEG2 system in conformity with MPEG.
[0020]
Encoded data (video stream) obtained by encoding image data by the MPEG2 system is supplied to the separation unit 1. The separation unit 1 is configured to generate a coded block pattern (hereinafter referred to as CBP as appropriate), a DCT type, a quantized DCT coefficient VLC (variable length coding) code, a quantization scale, A motion vector, a motion compensation type (frame motion type, field motion type), etc. are separated and output.
[0021]
The DCT coefficient extraction / inverse quantization unit 2 receives a VLC code, a quantization scale, and a DCT type of a quantized DCT coefficient (hereinafter, appropriately referred to as a quantized DCT coefficient) output from the separation unit 1, Decode the DCT coefficients. That is, the DCT coefficient extraction / inverse quantization unit 2 performs variable-length decoding on the VLC code of the quantized DCT coefficient output from the separation unit 1 to obtain a quantized DCT coefficient for each block of 8 × 8 pixels. Furthermore, the DCT coefficient extraction / inverse quantization unit 2 inversely quantizes the quantized DCT coefficient for each block using the quantization scale output from the separation unit 1 to obtain the DCT coefficient for each block. The DCT coefficient for each block obtained by the DCT coefficient extraction / inverse quantization unit 2 is supplied to the inverse DCT transform unit 3.
[0022]
The inverse DCT transform unit 3 performs inverse DCT transform on the DCT coefficient for each block from the DCT coefficient extraction / inverse quantization unit 2 and supplies the DCT coefficient to the motion compensation addition unit 6.
[0023]
In addition to the inverse DCT conversion result output from the inverse DCT conversion unit 3, the motion compensation addition unit 6 is supplied with the CBP and DCT types output from the separation unit 1. Based on the CBP or DCT type, the motion compensation adding unit 6 adds the predicted image stored in the image memory 5 to the inverse DCT result from the inverse DCT conversion unit 3 as necessary, thereby adding 8 × The block of 8 pixel values is decoded and output.
[0024]
That is, in MPEG coding, an I-picture block is intra-coded, a P-picture block is intra-coded or forward-predicted, and a B-picture block is intra-coded or forward-predicted. Encoded, backward predictive encoded, or bi-directional predictive encoded.
[0025]
Here, in forward predictive coding, an image of a frame (or field) temporally preceding the frame (or field) of the block to be coded is used as a reference image, and the reference image is obtained by motion compensation. The difference between the prediction image of the block to be encoded and the block to be encoded is obtained, and the difference value (hereinafter referred to as a residual image as appropriate) is DCT transformed.
[0026]
Further, in backward predictive coding, a predicted image of a block to be encoded, which is obtained by performing motion compensation on the reference image using a frame image temporally following the frame of the block to be encoded as a reference image. And the difference from the block to be encoded are obtained, and the difference value (residual image) is DCT transformed.
[0027]
Furthermore, in bi-directional predictive coding, two frames (or fields) of a frame temporally preceding and following a frame of a block to be encoded are used as reference images, and the reference image is subjected to motion compensation. The obtained difference between the prediction image of the encoding target block and the encoding target block is obtained, and the difference value (residual image) is subjected to DCT transform.
[0028]
Therefore, when the block is non-intra coded (forward prediction coding, backward prediction coding, or bidirectional prediction coding), the inverse DCT transformation result output by the inverse DCT transformation unit 3 is: It is a residual image (difference value between the original image and the predicted image), and the motion compensation adding unit 6 adds the residual image and the predicted image stored in the image memory 5 to add non-residue. Decode the intra-coded block.
[0029]
On the other hand, when the block output from the inverse DCT transform unit 4 is an intra-coded block, the motion compensation adding unit 6 directly uses the block as a decoding result.
[0030]
When the motion compensation adding unit 6 obtains a decoding result of a block for one frame (or field), that is, a decoded image for one frame (or field), the decoded image is stored in an image memory (I, P picture image memory ) 7 and the picture selection unit 8.
[0031]
When the decoded image supplied from the motion compensation addition unit 6 is an I picture or P picture image, the image memory 7 temporarily stores the decoded image as a reference image of encoded data to be decoded thereafter. In MPEG2, since the B picture is not used as a reference image, when the decoded image supplied from the motion compensation addition unit 6 is an image of the B picture, the decoded image is not stored in the image memory 7.
[0032]
The picture selection unit 8 selects and outputs the decoded image output from the motion compensation addition unit 6 or the frame (or field) of the decoded image stored in the image memory 7 in the display order. That is, in the MPEG2 system, since the display order of the frame (or field) of the image does not match the decoding order (encoding order), the picture selection unit 8 uses the frame (or field) of the decoded image arranged in the decoding order. ) Are sorted and displayed in the order of display.
[0033]
The decoded images arranged in the display order in this way are supplied to and displayed on a display (not shown), for example.
[0034]
On the other hand, the motion compensation unit 4 receives the motion vector and motion compensation type output from the separation unit 1, and reads a frame (or field) serving as a reference image from the image memory 7 based on the motion compensation type. Further, the motion compensation unit 4 performs motion compensation on the reference image read from the image memory 7 according to the motion vector output from the separation unit 1, and supplies the predicted image obtained as a result to the image memory 5. To remember.
[0035]
The prediction image stored in the image memory 5 in this way is added to the residual image output from the inverse DCT transform unit 3 in the motion compensation addition unit 6 as described above.
[0036]
The MPEG decoder in FIG. 1 requires a timing adjustment memory and a synchronization signal for absorbing the delay time in each block, but the illustration thereof is omitted. The same applies to image processing apparatuses and learning apparatuses described later.
[0037]
Next, FIG. 2 shows a configuration example of an embodiment of an image processing apparatus to which the present invention is applied. In the figure, portions corresponding to those in the MPEG decoder of FIG. 1 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate.
[0038]
The image processing apparatus in FIG. 2 includes a preprocessing unit 11, a buffer memory 12, a class classification unit 13, a tap coefficient storage unit 14, and an image reconstruction unit 15. For example, image data is encoded by the MPEG2 system. The encoded data (bit stream) obtained by doing so is decoded.
[0039]
That is, the encoded data is supplied to the preprocessing unit 11. In addition to the encoded data, the pre-processing unit 11 is supplied with an already decoded image from the image reconstruction unit 15 as a reference image.
[0040]
The preprocessing unit 11 includes a separation unit 1, a DCT coefficient extraction / inverse quantization unit 2, a motion compensation unit 4, an image memory 5, a DCT conversion unit 21, and a frequency domain motion compensation addition unit 22. Is pre-processed.
[0041]
In other words, the DCT conversion unit 21 is supplied with the DCT type from the separation unit 1, and is also supplied with the predicted image obtained by applying the motion compensation processing to the reference image in the motion compensation unit 4 from the image memory 5. The
[0042]
Here, the block that is the object of decoding is hereinafter referred to as a target block as appropriate.
[0043]
Hereinafter, a block composed of pixel values will be referred to as a pixel block, and a block composed of DCT coefficients will be referred to as a DCT block.
[0044]
Further, hereinafter, the pixel block or the DCT block that is the target block is appropriately referred to as the target pixel block or the target DCT block, respectively.
[0045]
The DCT conversion unit 21 recognizes the DCT type of the block of interest output from the DCT coefficient extraction / inverse quantization unit 2 based on the DCT type supplied from the separation unit 1. Further, the DCT conversion unit 21 selects 8 × 8 pixels having the same size as the block from the predicted image stored in the image memory 5 based on the DCT type of the block of interest, and converts it into a DCT coefficient. A DCT coefficient obtained from the predicted image (hereinafter referred to as a predicted DCT coefficient as appropriate) is supplied from the DCT conversion unit 21 to the frequency domain motion compensation addition unit 22.
[0046]
The frequency domain motion compensation addition unit 22 is supplied with 8 × 8 predicted DCT coefficients from the DCT conversion unit 21 and also includes a macroblock including the target block (hereinafter, referred to as a target macroblock as appropriate) from the separation unit 1. And the block of interest is supplied from the DCT coefficient extraction / inverse quantization unit 2.
[0047]
Based on the CBP of the target macroblock, the frequency domain motion compensation addition unit 22 adds each DCT coefficient of the target block and the corresponding predicted DCT coefficient as necessary, thereby performing DCT conversion on the pixel value of the target block. Find the noted DCT block.
[0048]
That is, when the target block is intra-coded, the DCT coefficient of the target block is obtained by DCT transforming a block of pixel values (pixel block). Uses the target block as it is as the target DCT block.
[0049]
When the target block is non-intra coded, the target block is obtained by DCT transforming a difference value (residual image) between a pixel value block (pixel block) and a predicted image. Therefore, the frequency domain motion compensation adding unit 22 uses the DCT coefficients of the block of interest and the 8 × 8 predicted DCT coefficients obtained by DCT transforming the predicted image of 8 × 8 pixels in the DCT transform unit 21. The corresponding DCT block is obtained by adding the corresponding ones.
[0050]
The target DCT block obtained by the frequency domain motion compensation addition unit 22 is associated with the DCT type of the target DCT block (including the macroblock) output from the separation unit 1, and is transferred from the preprocessing unit 11 to the buffer memory 12. Supplied.
[0051]
The buffer memory 12 temporarily stores a set of the DCT block of interest and its DCT type supplied from the preprocessing unit 11. As will be described later, the class classification unit 13 performs processing using information on four blocks adjacent to the target block in addition to the information on the upper, lower, left, and right sides of the target block. For this reason, the buffer memory 12 has at least a storage capacity capable of storing a two-dimensional DCT coefficient and a DCT type obtained by adding one macro block to the macro blocks for two rows of the screen.
[0052]
Here, since the DCT coefficients of the block stored in the buffer memory 12 are output from the frequency domain motion compensation adding unit 22 of the preprocessing unit 11, the block is an intra code regardless of the picture type of the block. Regardless of whether it is converted to non-intra coded or not, the pixel value of the original image (the original image, not the residual image) is DCT transformed.
[0053]
The original image referred to here means an image obtained by adding the residual image and the predicted image, and is not the original image that is the target of the MPEG encoding.
[0054]
The class classification unit 13 includes a one-dimensional inverse DCT conversion unit 31, an adjacent one-dimensional DCT coefficient selection / conversion unit 32, an AC power calculation unit 33, an AC inner product calculation unit 34, class code generation units 36 and 37, and a buffer memory Based on the DCT coefficient and DCT type of the block stored in 12, class classification is performed in which each pixel of the block of interest is classified into one of a plurality of classes.
[0055]
That is, the one-dimensional inverse DCT transform unit 31 performs a one-dimensional inverse DCT transform on the block DCT coefficients stored in the buffer memory 12 to thereby generate a horizontal one-dimensional DCT coefficient representing a horizontal spatial frequency component and a vertical direction. A vertical one-dimensional DCT coefficient representing the spatial frequency component of is obtained.
[0056]
Here, hereinafter, the vertical one-dimensional DCT coefficient and the horizontal one-dimensional DCT coefficient are collectively referred to as a one-dimensional DCT coefficient.
[0057]
Further, the DCT coefficient included in the MPEG-encoded encoded data represents a spatial frequency component in two directions of the horizontal direction and the vertical direction. This is called a dimensional DCT coefficient.
[0058]
Furthermore, hereinafter, conversion from a pixel value to a two-dimensional DCT coefficient is referred to as two-dimensional DCT conversion, and conversion from a two-dimensional DCT coefficient to a pixel value is referred to as two-dimensional inverse DCT conversion, respectively. The DCT conversion performed by the DCT conversion unit 21 of FIG. 2 is a two-dimensional DCT conversion, and the inverse DCT conversion performed by the inverse DCT conversion unit 3 of FIG. 1 is a two-dimensional inverse DCT conversion.
[0059]
The one-dimensional DCT coefficient obtained by the one-dimensional inverse DCT conversion unit 31 is supplied to the adjacent one-dimensional DCT coefficient selection / conversion unit 32, the AC power calculation unit 33, the AC inner product calculation unit 34, and the class code generation unit 36.
[0060]
The adjacent one-dimensional DCT coefficient selection / conversion unit 32 receives the DCT type of the block of interest from the buffer memory 12, and based on the DCT type, the one-dimensional DCT coefficient (hereinafter referred to as appropriate) of the pixel (column) adjacent to the block of interest. Is obtained from the one-dimensional DCT coefficient supplied from the one-dimensional inverse DCT conversion unit 31, and is supplied to the AC power calculation unit 33, the AC inner product calculation unit 34, and the class code generation unit 36. .
[0061]
The AC power calculation unit 33 obtains the power of the AC component of the one-dimensional DCT coefficient supplied from the one-dimensional inverse DCT coefficient conversion unit 31 (hereinafter, referred to as AC power as appropriate) and the adjacent one-dimensional DCT coefficient selection / conversion unit. The AC power of the one-dimensional DCT coefficient supplied from 32 is obtained and supplied to the class code generators 36 and 37.
[0062]
The AC inner product calculation unit 34 supplies the AC component of the one-dimensional DCT coefficient at the boundary portion of the block of interest supplied from the one-dimensional inverse DCT coefficient conversion unit 31 and the adjacent one supplied from the adjacent one-dimensional DCT coefficient selection / conversion unit 32. The AC component of the dimensional DCT coefficient is regarded as a vector component, and an inner product of the two vectors (hereinafter referred to as an AC inner product as appropriate) is obtained. The AC inner product obtained by the AC inner product calculation unit 34 is supplied to the class code generation unit 36.
[0063]
The class code generation unit 36 performs class classification of the pixels constituting the luminance signal Y block, and the class code generation unit 37 performs class classification of the pixels constituting the color difference signal (color signal) C block.
[0064]
Here, the encoded data is, for example, color-encoded image data encoded by MPEG.
[0065]
Then, the one-dimensional inverse DCT transform unit 31 determines the one-dimensional DCT coefficient of the target block when the target block is a block of the luminance signal, and the adjacent one-dimensional DCT coefficient selection / conversion unit 32 determines that the target block is the luminance signal. If the target block is a luminance signal block, the AC power calculation unit 33 calculates the AC power obtained for the target block when the target block is a luminance signal block. The AC inner product calculation unit 34 supplies the AC inner product obtained for the target block when the target block is a luminance signal block to the class code generation unit 36, respectively. 36 classifies each pixel of the block of interest based on the information supplied thereto.
[0066]
Further, the class code generation unit 36 generates a class code representing a class obtained by classifying pixels of the luminance signal of the block of interest, and supplies the generated class code to the tap coefficient storage unit 14. Here, the class code for the pixel of the block of the luminance signal obtained in the class code generation unit 36 is hereinafter referred to as a luminance class code as appropriate.
[0067]
The luminance class code for each pixel of the block of interest output from the class code generator 36 is also supplied to the class code generator 37. The class code generation unit 37 is also supplied with AC power obtained for the target block from the AC power calculation unit 33 when the target block is a color difference signal block.
[0068]
The class code generation unit 37 includes the luminance power of the pixel of the block of the luminance signal corresponding to the target block of the color difference signal supplied from the class code generation unit 36 and the AC power of the target block supplied from the AC power calculation unit 33. Each pixel of the block of interest is classified based on the code.
[0069]
The class code generation unit 37 generates a class code representing a class obtained by classifying the pixels of the color difference signal of the block of interest, and supplies the generated class code to the tap coefficient storage unit 14. Here, the class code for the pixel of the block of the color difference signal obtained in the class code generation unit 37 is hereinafter referred to as a color difference class code as appropriate.
[0070]
The tap coefficient storage unit 14 is supplied from the tap coefficient selection units 41 and 42 and the coefficient memories 43 and 44, and acquires a tap coefficient corresponding to the class code supplied from the class code generation unit 36 or 37 of the class classification unit 13. And supplied to the image reconstruction unit 15.
[0071]
That is, the tap coefficient selection unit 41 is supplied with the luminance class code output from the class code generation unit 36, and the tap coefficient selection unit 42 is supplied with the color difference class code output from the class code generation unit 37. Is to be supplied.
[0072]
Further, the coefficient memory 43 stores tap coefficients for each class obtained by learning described later for the pixels of the luminance signal, and the coefficient memory 44 stores the classes obtained by learning for the pixels of the color difference signal. Each tap coefficient is stored.
[0073]
Then, the tap coefficient selection unit 41 gives the luminance class code supplied from the class code generation unit 36 to the coefficient memory 43 as an address, whereby the tap coefficient of the class corresponding to the class code is obtained from the coefficient memory 43. The data is read and supplied to the adaptive processing unit 51 of the image reconstruction unit 15.
[0074]
Further, the tap coefficient selection unit 42 gives the color difference class code supplied from the class code generation unit 37 to the coefficient memory 44 as an address, whereby the tap coefficient of the class corresponding to the class code is obtained from the coefficient memory 44. The data is read and supplied to the adaptive processing unit 51 of the image reconstruction unit 15.
[0075]
The image reconstruction unit 15 includes an image memory 7, a picture selection unit 8, and an adaptive processing unit 51, and includes a two-dimensional DCT coefficient stored in the buffer memory 12 and a coefficient memory 43 in the tap coefficient storage unit 14. The image is decoded (reconstructed) using the tap coefficient supplied from 44.
[0076]
That is, the adaptive processing unit 51 adaptively processes the two-dimensional DCT coefficient of the target block stored in the buffer memory 12 using the tap coefficients supplied from the coefficient memories 43 and 44 of the tap coefficient storage unit 14. The pixel value of the block of interest is converted. Furthermore, when the adaptive processing unit 51 decodes the pixel value for one frame (or field), that is, the image data of one frame (or field), it supplies the decoded image data to the image memory 7 and the picture selection unit 8. To do.
[0077]
The image memory 7 stores the decoded image data of the I picture and the P picture among the decoded image data supplied from the adaptive processing unit 51 as a reference image. The picture selection unit 8 selects and outputs the decoded image data supplied from the adaptive processing unit 51 or the decoded image data stored in the image memory 7 in the display order.
[0078]
Here, as described above, the adaptive processing unit 51 performs adaptive processing for converting DCT coefficients into pixel values using tap coefficients.
[0079]
That is, in the adaptive processing, for example, the DCT coefficient is decoded into the original pixel value by obtaining the predicted value of the original pixel by linear combination of the DCT coefficient and a predetermined tap coefficient.
[0080]
Specifically, for example, the pixel value of the image is used as teacher data, and the image is subjected to DCT conversion in units of blocks, and further subjected to quantization and inverse quantization as student data. The predicted value E [y] of the pixel value y of the pixel that is the teacher data is converted into several DCT coefficients x.₁, X₂, ... and a predetermined tap coefficient w₁, W₂Consider a linear primary combination model defined by the linear combination of. In this case, the predicted value E [y] can be expressed by the following equation.
[0081]

[0082]
To generalize equation (1), tap coefficient w_jA matrix W consisting of_ijAnd a predicted value E [y_j] Is a matrix Y ′ consisting of
[Expression 1]

Then, the following observation equation holds.
[0083]
XW = Y ′ (2)
[0084]
Here, the component x of the matrix X_ijIs a set of i-th student data (i-th teacher data y_iThe j-th student data in the set of student data (prediction tap) used for prediction of_jRepresents a tap coefficient by which a product with the jth student data in the student data set is calculated. Y_iRepresents the i-th teacher data, and thus E [y_i] Represents the predicted value of the i-th teacher data. Note that y on the left side of Equation (1) is the component y of the matrix Y._iThe suffix i is omitted, and x on the right side of Equation (1)₁, X₂,... Are also components x of the matrix X_ijThe suffix i is omitted.
[0085]
Consider that, for example, a least square method is applied to the observation equation of Expression (2) to obtain a predicted value E [y] close to the original pixel value y. In this case, a matrix Y composed of a set of true pixel values y serving as teacher data and a matrix E composed of a set of residuals e of predicted values E [y] for the pixel values y are
[Expression 2]

From the equation (2), the following residual equation is established.
[0086]
XW = Y + E (3)
[0087]
In this case, the tap coefficient w for obtaining the predicted value E [y] close to the original pixel value y._jIs the square error
[Equation 3]

Can be obtained by minimizing.
[0088]
Therefore, the above square error is converted to the tap coefficient w._jWhen the value differentiated by 0 is 0, that is, the tap coefficient w satisfying the following equation:_jHowever, this is the optimum value for obtaining the predicted value E [y] close to the original pixel value y.
[0089]
[Expression 4]

... (4)
[0090]
Therefore, first, the equation (3) is changed to the tap coefficient w._jIs differentiated by the following equation.
[0091]
[Equation 5]

... (5)
[0092]
From equations (4) and (5), equation (6) is obtained.
[0093]
[Formula 6]

... (6)
[0094]
Furthermore, the student data x in the residual equation of equation (3)_ij, Tap coefficient w_j, Teacher data y_iAnd residual e_iConsidering this relationship, the following normal equation can be obtained from the equation (6).
[0095]
[Expression 7]

... (7)
[0096]
In addition, the normal equation shown in Expression (7) has a matrix (covariance matrix) A and a vector v,
[Equation 8]

And the vector W is defined as shown in Equation 1,
AW = v (8)
Can be expressed as
[0097]
Each normal equation in equation (7) is the student data x_ijAnd teacher data y_iBy preparing a certain number of sets, a tap coefficient w to be obtained_jTherefore, by solving equation (8) with respect to vector W (however, to solve equation (8), matrix A in equation (8) is regular). Required), the optimal tap coefficient (here, the tap coefficient that minimizes the square error) w_jCan be requested. In solving the equation (8), for example, a sweeping method (Gauss-Jordan elimination method) or the like can be used.
[0098]
As described above, the optimum tap coefficient, that is, the tap coefficient w that minimizes the statistical error of the predicted value of the pixel value._jAnd tap coefficient w_jThe adaptive processing is to obtain the predicted value E [y] close to the original pixel value y by using the equation (1).
[0099]
As described above, when the pixel value of an image is used as teacher data, and the DCT coefficient obtained by performing DCT conversion on the block unit, and further performing quantization and inverse quantization is used as student data. Converts a DCT coefficient (a DCT coefficient obtained by performing DCT transform, quantization, and inverse quantization on a pixel value) to an original pixel value (predicted value thereof) by the linear prediction calculation of Expression (1). An optimum tap coefficient can be obtained. Since the DCT coefficient is data in the frequency domain, and the pixel value is a signal in the time domain, the adaptive process for converting the DCT coefficient into the pixel value using the tap coefficient as described above is performed with the frequency (Frequency). And the acronym of Time, it can be called FT conversion.
[0100]
Here, in the above case, the two-dimensional DCT transform is performed on the image, and the DCT coefficient obtained by further quantization and inverse quantization is used as the student data, and the tap coefficient is obtained using the original image as the teacher data. However, the tap coefficients are, for example, DCT coefficients obtained by subjecting the original image to two-dimensional DCT transform, further quantizing and dequantizing the DCT coefficients as student data, and obtaining two-dimensional DCT transform of the original image. It is also possible to obtain the coefficient as teacher data. In this case, it is possible to obtain an optimum tap coefficient for converting a DCT coefficient having a quantization error into a DCT coefficient having a quantization error (predicted value thereof).
[0101]
The tap coefficient is obtained by subjecting the original image to two-dimensional DCT transformation, and further obtaining the decoded image obtained by quantization, inverse quantization, and two-dimensional inverse DCT transformation as student data and the original image as teacher data. It is also possible to make it. In this case, it is possible to obtain an optimum tap coefficient for converting an image decoded by inverse quantization and two-dimensional inverse DCT transform into an original image (predicted value thereof).
[0102]
That is, according to the adaptive processing, arbitrary data conversion is performed depending on what kind of data is used as the teacher data and the student data (data corresponding to the student data is converted into data corresponding to the teacher data). An optimum tap coefficient can be obtained.
[0103]
Next, FIG. 3 shows a configuration example of the DCT conversion unit 21 and the frequency domain motion compensation addition unit 22 of FIG.
[0104]
The DCT conversion unit 21 includes a (8 × 8 pixel) sampling unit 61 and a DCT unit 62, and generates a predicted DCT coefficient obtained by two-dimensional DCT conversion of a predicted image stored in the image memory 5.
[0105]
In other words, the sampling unit 61 is supplied with the predicted image stored in the image memory 5 and the DCT type of the target block (including the macroblock) output by the separation unit 1 (FIG. 2).
[0106]
Here, a prediction image of 16 × 16 pixels having the same size as the macroblock is supplied from the motion compensation unit 4 (FIG. 2) to the image memory 5. A predicted image of 16 × 16 pixels corresponding to the block of interest is stored. Therefore, the image memory 5 has a storage capacity capable of storing an image of at least 16 × 16 pixels.
[0107]
The sampling unit 61 samples the 16 × 16 pixel predicted image stored in the image memory 5 in accordance with the DCT type of the block of interest, and generates an 8 × 8 pixel predicted image having the same size as the block.
[0108]
That is, the predicted image of 16 × 16 pixels stored in the image memory 5 has a frame structure and may or may not match the structure of the block of interest.
[0109]
Specifically, when the block of interest has a frame structure, the block of interest and the 16 × 16 pixel predicted image stored in the image memory 5 have a matching structure.
[0110]
Therefore, when the target block is the upper left, lower left, upper right, or lower right block of the macro block (target macro block) as shown in FIG. 4A, the sampling unit 61 uses the image memory as shown in FIG. 4B. Of the 16 × 16 pixel prediction image stored in 5, the upper left, lower left, upper right, or lower right 8 × 8 pixels are sampled, thereby spatially corresponding to each pixel of the block of interest. 8 × 8 pixel predicted image is obtained and supplied to the DCT unit 62.
[0111]
Here, in FIG. 4 (the same applies to FIG. 5 described later), a shaded line represents an odd line (top field), and a non-shadowed line represents an even line (bottom field). To express.
[0112]
On the other hand, when the block of interest has a field structure, the block of interest and the 16 × 16 pixel predicted image stored in the image memory 5 have different structures.
[0113]
That is, in this case, as shown in FIG. 5A, the macro block including the target block (target macro block) is configured such that the upper 8 lines are odd lines (top field) and the lower 8 lines are even lines (bottom lines). Field).
[0114]
Therefore, when the target block is the upper left block of the target macro block, the 8 × 8 pixels of the target block are among the predicted images of 16 × 16 pixels stored in the image memory 5 as shown in FIG. 5B. Correspond to the 8 pixels on the left side of the 8 odd lines (shaded lines). If the target block is the lower left block of the target macro block, the 8 × 8 pixels of the target block are among the predicted images of 16 × 16 pixels stored in the image memory 5 as shown in FIG. 5B. Correspond to the 8 pixels on the left side of the 8 even lines (lines not shaded). Further, when the target block is the upper right block of the target macro block, the 8 × 8 pixels of the target block are predicted images of 16 × 16 pixels stored in the image memory 5 as shown in FIG. 5B. Corresponding to the 8 pixels on the right side of the 8 odd lines (shaded lines), and when the target block is the lower right block of the target macro block, As shown in FIG. 5B, 8 × 8 pixels are 8 pixels on the right side of 8 even lines (lines not shaded) in the predicted image of 16 × 16 pixels stored in the image memory 5. Correspond.
[0115]
Therefore, when the target block has a field structure, the sampling unit 61 corresponds to the position of the target block in the target macro block among the 16 × 16 pixel predicted images stored in the image memory 5. Such 8 × 8 pixels are sampled, whereby an 8 × 8 pixel predicted image at a position spatially corresponding to each pixel of the target block is obtained and supplied to the DCT unit 62.
[0116]
The DCT unit 62 performs a two-dimensional DCT transform on the predicted image of 8 × 8 pixels that is supplied from the sampling unit 61 and is spatially corresponding to each pixel of the target block, and thereby performs an 8 × 8 predicted DCT. The coefficient is obtained and supplied to the frequency domain motion compensation adding unit 22.
[0117]
In the sampling unit 61, the structure of the target block is recognized based on the DCT type of the target block (including the target macroblock) output by the separation unit 1 (FIG. 2).
[0118]
In FIG. 3, the frequency domain motion compensation adding unit 22 includes a DCT coefficient selecting unit 71, an adding unit 72, and a selecting unit 73, and is a block of interest supplied from the DCT coefficient extracting / inverse quantizing unit 2 (FIG. 2). These two-dimensional DCT coefficients and the predicted DCT coefficient supplied from the DCT conversion unit 21 are added as necessary to obtain the two-dimensional DCT coefficient of the original image of the block of interest.
[0119]
That is, the DCT coefficient selection unit 71 includes the two-dimensional DCT coefficient of the target block output from the DCT coefficient extraction / inverse quantization unit 2 (FIG. 2) and the target block output from the separation unit 1 (FIG. 2). CBP of the macro block of interest) is supplied.
[0120]
When the target block is intra-coded, the two-dimensional DCT coefficient of the target block is a two-dimensional DCT transform of the original image of the target block, and thus the DCT coefficient selection unit 71 selects the target block. , Output as it is. The output of the DCT coefficient selection unit 71 is supplied to the addition unit 72 and the selection unit 73.
[0121]
When the block of interest is an intra-coded block, the adder 72 does not perform any particular processing, and the selector 73 selects the output of the DCT coefficient selector 71, and the subsequent buffer memory 12 (FIG. 2). ).
[0122]
Therefore, when the target block is intra-coded, that is, the two-dimensional DCT coefficient of the target block output from the DCT coefficient extraction / inverse quantization unit 2 (FIG. 2) represents the original image of the target block as 2. In the case of dimensional DCT transformation, the target block output from the DCT coefficient extraction / inverse quantization unit 2 (FIG. 2) is supplied to the buffer memory 12 (FIG. 2) as it is.
[0123]
On the other hand, when the block of interest is non-intra coded, the DCT coefficient selection unit 71 refers to the CBP of the block of interest and recognizes the presence or absence of the two-dimensional DCT coefficient of the residual image. In other words, when the target block is non-intra coded, the residual block is basically arranged with the two-dimensional DCT coefficients of the residual image (in the video stream). When all of the two-dimensional DCT coefficients are 0, CBP is 0, and the two-dimensional DCT coefficients are not arranged. In this case, the image of the block of interest matches the predicted image.
[0124]
Therefore, if the block of interest is non-intra coded and its CBP is 0, the DCT coefficient selection unit 71 outputs 0 as the two-dimensional DCT coefficient of the residual image.
[0125]
Further, the DCT coefficient selection unit 71, when the block of interest is non-intra coded and its CBP is 1, the block of interest output by the DCT coefficient extraction / inverse quantization unit 2 (FIG. 2) Since the two-dimensional DCT coefficient of the residual image is arranged, the two-dimensional DCT coefficient is output.
[0126]
The output of the DCT coefficient selection unit 71 is supplied to the addition unit 72 and the selection unit 73 as described above.
[0127]
When the block of interest is non-intra coded, the adding unit 72 outputs the output of the DCT coefficient selecting unit 71 and the two-dimensional DCT coefficient of the predicted image output from the DCT transform unit 21 (the DCT unit 62 thereof). As a result, the two-dimensional DCT coefficient of the original image is obtained for the target block, and supplied to the selection unit 73.
[0128]
When the target block is non-intra coded, the selection unit 73 selects the output of the calculation unit 72 and supplies it to the subsequent buffer memory 12 (FIG. 2).
[0129]
Accordingly, when the block of interest is non-intra coded and the CBP of the block of interest is 0, the image of the block of interest matches the predicted image, so the adder 72 selects the DCT coefficient selector 71. 0 and the DCT coefficient (predicted DCT coefficient) of the predicted image output from the DCT unit 62 are added to obtain the two-dimensional DCT coefficient of the original image of the block of interest.
[0130]
When the CBP of the block of interest is 1, the adder 72 outputs the DCT coefficient of the residual image of the block of interest output from the DCT coefficient selector 71 and the DCT coefficient (predicted DCT of the predicted image output from the DCT unit 62. As a result, the two-dimensional DCT coefficient of the original image of the block of interest is obtained.
[0131]
Then, in the selection unit 73, the two-dimensional DCT coefficient of the original image of the block of interest obtained as described above in the addition unit 72 is selected and output.
[0132]
In the pre-processing unit 11 (FIG. 2), the residual image and the predicted image are added in the frequency domain to obtain the two-dimensional DCT coefficient of the original image. The two-dimensional DCT coefficient of the prediction image and the two-dimensional DCT coefficient of the predicted image are added to obtain the two-dimensional DCT coefficient of the original image. This is because the class classification unit 13 in the subsequent stage calculates the DCT coefficient of the frequency domain. This is because it is considered convenient to unify the processing of the preprocessing unit 11 and the class classification unit 13 so as to be performed in the frequency domain.
[0133]
Therefore, the two-dimensional DCT coefficient of the original image may be obtained by adding the residual image and the predicted image in the time domain and performing the two-dimensional DCT transform on the addition result.
[0134]
Next, processing of the one-dimensional inverse DCT transform unit 31 in FIG. 2 will be described with reference to FIGS. 6 and 7.
[0135]
In an image encoding method using DCT conversion such as MPEG or JPEG (Joint Photographic Experts Group), image data is converted into two-dimensional DCT conversion (two-dimensional DCT conversion) / inverse DCT conversion (2 Dimensional inverse DCT transform) is performed.
[0136]
A pixel value in an 8 × 8 pixel block as shown in FIG. 6A is represented by a matrix X of 8 rows × 8 columns, and a DCT coefficient in an 8 × 8 block as shown in FIG. 6B is expressed as 8 rows × 8 columns. The two-dimensional DCT transformation / two-dimensional inverse DCT transformation can be represented by the following equation.
[0137]
CXC^T= F ... (9)
C^TFC = X (10)
[0138]
Here, the superscript T represents transposition. C is a DCT transformation matrix of 8 rows × 8 columns, and the component c of the (i + 1) th row and the (j + 1) th column._ijIs expressed by the following equation.
[0139]
c_ij= A_i× cos ((2j + 1) × i × π / 16) (11)
[0140]
However, in the equation (11), when i = 0, A_i= 1 / (2√2), and when i ≠ 0, A_i= 1/2. I and j are integer values ranging from 0 to 7.
[0141]
Equation (9) represents a two-dimensional DCT transformation that transforms the pixel value X into a two-dimensional DCT coefficient F, and Equation (10) represents a two-dimensional inverse DCT transformation that transforms the two-dimensional DCT coefficient F into a pixel value X. Represents.
[0142]
Therefore, according to Equation (10), the two-dimensional DCT coefficient F is calculated from the left side of the matrix C^TIs applied to the pixel value X by applying the matrix C from the right side thereof. The one-dimensional inverse DCT conversion unit 31 applies the matrix C from the left side to the two-dimensional DCT coefficient F.^TThe one-dimensional DCT coefficient is obtained by simply multiplying or by multiplying the matrix C from the right side.
[0143]
That is, the one-dimensional inverse DCT transform unit 31 applies the matrix C to the two-dimensional DCT coefficient F from the left side.^TJust apply. In this case, as shown in FIG. 6C, the vertical direction in the two-dimensional DCT coefficient F is transformed into the spatial domain, and the vertical one-dimensional inverse DCT transformation is performed in which the horizontal direction remains the frequency domain. A horizontal one-dimensional DCT coefficient vXhF representing a spatial frequency component in the horizontal direction can be obtained.
[0144]
The one-dimensional inverse DCT transform unit 31 applies only the matrix C to the two-dimensional DCT coefficient F from the right side. In this case, as shown in FIG. 6D, a horizontal one-dimensional inverse DCT transform is performed in which the horizontal direction in the two-dimensional DCT coefficient F is transformed into the spatial domain and the vertical direction remains in the frequency domain. A vertical one-dimensional DCT coefficient hXvF representing a spatial frequency component in the vertical direction can be obtained.
[0145]
In addition, when a two-dimensional DCT coefficient F of horizontal × vertical 8 × 8 is subjected to a vertical one-dimensional inverse DCT transform, eight sets (eight lines) of 8 × 1 horizontal one-dimensional DCT coefficients are obtained. (FIG. 6C). Further, when the two-dimensional DCT coefficient F is subjected to the horizontal one-dimensional inverse DCT transform, 8 sets (for eight columns) of 1 × 8 vertical one-dimensional DCT coefficients are obtained (FIG. 6D).
[0146]
Then, for an 8 × 1 horizontal one-dimensional DCT coefficient in a certain row, the DCT coefficient at the left end represents the direct current component (DC component) of the pixel values of the eight pixels in the row (average value of the pixel values of eight pixels). And the other seven DCT coefficients represent the horizontal AC component of the row. For a 1 × 8 vertical one-dimensional DCT coefficient in a certain column, the DCT coefficient in the uppermost row represents the DC component of the pixel value of the eight pixels in the column, and the other seven DCT coefficients are in the column. Represents the AC component in the vertical direction.
[0147]
Here, according to Equation (9), the horizontal one-dimensional DCT coefficient is a matrix C from the right side of the pixel value X corresponding to the two-dimensional DCT coefficient F.^TIt can also be obtained by performing a horizontal one-dimensional DCT transform that applies. The vertical one-dimensional DCT coefficient can also be obtained by performing a vertical one-dimensional DCT transform that applies the matrix C from the left side to the pixel value X corresponding to the two-dimensional DCT coefficient F.
[0148]
FIG. 7 shows an actual image and a two-dimensional DCT coefficient, a horizontal one-dimensional DCT coefficient, and a vertical one-dimensional DCT coefficient for the image.
[0149]
FIG. 7 shows an 8 × 8 block image, a two-dimensional DCT coefficient, a horizontal one-dimensional DCT coefficient, and a vertical one-dimensional DCT coefficient for the image. 7A shows an actual image, FIG. 7B shows a two-dimensional DCT coefficient, FIG. 7C shows a horizontal one-dimensional DCT coefficient, and FIG. 7D shows a vertical one-dimensional DCT coefficient.
[0150]
Here, the image of FIG. 7A has an 8-bit pixel value, and the DCT coefficient obtained from such a pixel value can take a negative value. However, in the embodiment of FIGS. 7B to 7D, 128 (= 2) is obtained with respect to the obtained DCT coefficient.⁷), And when the added value is less than 0, it is clipped to 0, and when the added value is 256 or more, it is clipped to 255, so that DCT coefficients in the range of 0 to 255 are illustrated. is there.
[0151]
Since the information of the entire block of 8 × 8 pixels is reflected in the two-dimensional DCT coefficient, it is difficult to grasp local information such as information on specific pixels in the block from the two-dimensional DCT coefficient. It is. On the other hand, since the horizontal one-dimensional DCT coefficient or the vertical one-dimensional DCT coefficient reflects information of only one row or one column of the block, it is compared with the two-dimensional DCT coefficient. The local information of can be easily grasped.
[0152]
That is, the feature of a certain row of a block can be grasped from the 8 × 1 horizontal one-dimensional DCT coefficient of the row, and the feature of a certain column can be grasped from the 1 × 8 vertical one-dimensional DCT coefficient of the column. be able to. Furthermore, the characteristics of a pixel with a block can be grasped from the 8 × 1 horizontal one-dimensional DCT coefficient of the row where the pixel is located and the 1 × 8 vertical one-dimensional DCT coefficient of the column where the pixel is located. it can.
[0153]
In addition, for the state of the boundary between adjacent blocks on the left and right, a vertical one-dimensional DCT coefficient representing a spatial frequency component in the vertical direction of the boundary portion of the block is used rather than a two-dimensional DCT coefficient reflecting the information of the entire block. It is possible to grasp more accurately. Further, for the state of the boundary between adjacent blocks, a horizontal one-dimensional DCT coefficient representing a horizontal spatial frequency component of the boundary part of the block is used rather than a two-dimensional DCT coefficient reflecting the information of the entire block. It is possible to grasp more accurately.
[0154]
Next, as described above, the adjacent dimension DCT coefficient selection / transformation unit 32 in FIG. 2 selects a pixel (column) adjacent to the target block from the one-dimensional DCT coefficients supplied from the one-dimensional inverse DCT transform unit 31. The one-dimensional DCT coefficient (adjacent one-dimensional DCT coefficient) is obtained. The adjacent one-dimensional DCT coefficient is obtained by calculating the target block and a block spatially adjacent to the target block (hereinafter referred to as an adjacent block as appropriate). Since it is used for analyzing the state of the block boundary between them, it is necessary that the pixel column adjacent to the boundary of the block of interest is one-dimensional DCT transformed in the spatial domain.
[0155]
However, in MPEG2, the frame structure and field structure can be selected in units of macroblocks. Therefore, the structure of the target macroblock including the target block and the macroblock adjacent to the target macroblock (hereinafter referred to as the adjacent macroblock as appropriate). Depending on the structure of the block, the one-dimensional DCT coefficient adjacent to the target block in the adjacent block adjacent to the target block is a one-dimensional DCT transform of the pixel column adjacent to the boundary of the target block in the spatial domain. There may not be.
[0156]
Therefore, the adjacent one-dimensional DCT coefficient selection / conversion unit 32 recognizes the structure of the target block and the adjacent block based on the DCT type supplied from the buffer memory 12, and uses the target block structure as a reference in the spatial domain. A one-dimensional DCT coefficient (adjacent one-dimensional DCT coefficient) obtained by one-dimensional DCT transform of a pixel column of an adjacent block adjacent to the block boundary is acquired.
[0157]
Here, referring to FIG. 8 to FIG. 23, when the structure of the target block is used as a reference, the pixel column of the adjacent block adjacent to the boundary of the target block in the spatial domain is one-dimensional DCT transformed. A one-dimensional DCT coefficient will be described.
[0158]
In FIG. 8 to FIG._NAnd attention macroblock MB_NMacro blocks adjacent to the top, bottom, left, and right of each_U, MB_D, MB_L, MB_RIt expresses.
[0159]
Furthermore, attention macroblock MB_NThe upper left, lower left, upper right, and lower right blocks of B_NUL, B_NDL, B_NUR, B_NDRThe upper adjacent macroblock (the macroblock adjacent to the target block) MB_UThe upper left, lower left, upper right, and lower right blocks of B_UUL, B_UDL, B_UUR, B_UDRIt expresses. Also, lower adjacent macroblock (macroblock adjacent below the target block) MB_DThe upper left, lower left, upper right, and lower right blocks of B_DUL, B_DDL, B_DUR, B_DDRLeft adjacent macroblock (macroblock adjacent to the left of the target block) MB_LThe upper left, lower left, upper right, and lower right blocks of B_LUL, B_LDL, B_LUR, B_LDRIt expresses. Furthermore, right adjacent macroblock (macroblock adjacent to the right of the target block) MB_RThe upper left, lower left, upper right, and lower right blocks of B_RUL, B_RDL, B_RUR, B_RDRIt expresses.
[0160]
FIG. 8 shows an attention macroblock MB_NBlock B in the upper left of_NULIs a block of interest, the block of interest B in the spatial domain_NUL2, that is, a pixel column of an adjacent block adjacent to the uppermost 8 pixels (hereinafter, appropriately referred to as an upper adjacent pixel column).
[0161]
In FIG. 8, the shaded line is the target block B._NULRepresents the uppermost pixel column, and the hatched line represents the upper adjacent pixel column.
[0162]
Attention macroblock MB_NBlock B in the upper left of_NULIs the target block, the adjacent block above is the target macroblock MB_NIs not a block in the upper adjacent macroblock MB_UBlock B at the lower left of_UDLTherefore, attention block B_NULWhich pixel column the upper adjacent pixel column that is adjacent to the uppermost pixel column of is the target macroblock MB_NAnd upper adjacent macroblock MB_UBoth structures need to be considered.
[0163]
That is, attention macroblock MB_NAnd upper adjacent macroblock MB_UIf both of the DCT types are frame DCT, the target block B_NULIs the attention macroblock MB_N8 × 8 pixels in the upper left of the frame, and as shown in FIG. 8A, the uppermost 8 pixels (shaded portion) are the upper adjacent macroblock MB in the frame structure in the spatial domain._UBlock B at the lower left of_UDLAre adjacent to the 8 pixels in the bottom row (the hatched portion). Therefore, attention block B_NULThe horizontal one-dimensional DCT coefficient of the pixel column adjacent to the upper side in the spatial domain (hereinafter, referred to as the upper adjacent one-dimensional DCT coefficient as appropriate)_UDLThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row.
[0164]
Attention macroblock MB_NThe DCT type of the frame is the frame DCT, and the upper adjacent macroblock MB_UIf the DCT type is field DCT, the target block B_NULIs the attention macroblock MB_N8 × 8 pixels in the upper left of the pixel, and as shown in FIG. 8B, the uppermost 8 pixels (shaded portions) are the upper adjacent macroblock MB in the field structure in the spatial domain._UBlock B at the lower left of_UDLAre adjacent to the 8 pixels in the bottom row (the hatched portion). Therefore, attention block B_NULThe upper adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the top row of_UDLThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row.
[0165]
Attention macroblock MB_NDCT type is field DCT, and upper adjacent macroblock MB_UIf the DCT type is frame DCT, the target block B_NULIs the attention macroblock MB_N8 pixels on the left side of the 8 odd lines, and as shown in FIG. 8C, the 8 pixels in the uppermost row (shaded portions) are the upper adjacent macroblock MB in the frame structure in the spatial region._ULower left block B_UDLAdjacent to the 8th pixel (the hatched portion) of the 7th row (7th row from the top). Therefore, attention block B_NULThe upper adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the top row of_UDLThe horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the eight pixels in the seventh row.
[0166]
Attention macroblock MB_NDCT type is field DCT, and upper adjacent macroblock MB_UIf the DCT type is also a field DCT, the target block B_NULIs the attention macroblock MB_N8 pixels on the left side of the 8 odd lines, and as shown in FIG. 8D, the 8 pixels in the uppermost row (shaded portions) are the upper adjacent macroblock MB in the field structure in the spatial region._UBlock B in the upper left of_UULAre adjacent to the 8 pixels in the bottom row (the hatched portion). Therefore, attention block B_NULThe upper adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the top row of_UULThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row.
[0167]
Next, FIG. 9 shows the attention macroblock MB._NBlock B in the upper left of_NULIs a block of interest, the block of interest B in the spatial domain_NULA lower boundary of the pixel, that is, a pixel column of an adjacent block adjacent to the 8 pixels in the lowermost row (hereinafter referred to as a lower adjacent pixel column as appropriate).
[0168]
In FIG. 9, the shaded line is the target block B._NULThe lowermost row of pixels is represented by a hatched line and the lower adjacent pixel row is represented by a hatched line.
[0169]
Attention macroblock MB_NBlock B in the upper left of_NULIs a target block, the adjacent block below is the target macroblock MB_NBlock B in the lower left of_NDLTherefore, attention block B_NULWhich pixel column is the lower adjacent pixel column adjacent to the lowermost pixel column of the bottom row of the target macroblock MB_NOnly the structure of this should be considered.
[0170]
That is, attention macroblock MB_NIf the DCT type is frame DCT, the target block B_NULIs the attention macroblock MB_N8 × 8 pixels in the upper left of the frame, and as shown in FIG. 9A, the 8 pixels in the bottom row (the shaded portion) are the target macroblock MB of the frame structure in the spatial domain._NBlock B at the lower left of_NDLAdjacent to the uppermost 8 pixels (hatched portion). Therefore, attention block B_NULThe horizontal one-dimensional DCT coefficient of the pixel column adjacent to the lower side in the spatial domain (hereinafter, referred to as the lower adjacent one-dimensional DCT coefficient as appropriate)_NDLThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the top row.
[0171]
Attention macroblock MB_NIf the DCT type is field DCT, the target block B_NULIs the attention macroblock MB_N8 pixels on the left side of the 8 odd lines, and as shown in FIG. 9B, the 8 pixels in the bottom row (the shaded portion) are the target macroblock MB of the field structure in the spatial domain._NLower adjacent macroblock MB adjacent below_DBlock B in the upper left of_DULAdjacent to the uppermost 8 pixels (hatched portion). Therefore, attention block B_NULThe lower adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the bottom row of_DULThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the top row.
[0172]
Next, FIG. 10 shows the attention macroblock MB._NBlock B in the upper left of_NULIs a block of interest, the block of interest B in the spatial domain_NUL2, that is, a pixel column of an adjacent block adjacent to the leftmost eight pixels (hereinafter, referred to as a left adjacent pixel column as appropriate).
[0173]
In FIG. 10, the shaded line is the target block B._NULRepresents the leftmost pixel column, and the hatched line represents the left adjacent pixel column.
[0174]
Attention macroblock MB_NBlock B in the upper left of_NULThe block adjacent to the left when is a target block is the target macroblock MB_NLeft adjacent macroblock MB that is not a block in_LBlock B in the upper right of_LURTherefore, attention block B_NULThe left adjacent pixel column adjacent to the left of the leftmost pixel column of which is the pixel column to be determined is the target macroblock MB_NAnd left adjacent macroblock MB_LBoth structures need to be considered.
[0175]
That is, attention macroblock MB_NAnd left adjacent macroblock MB_UIf both of the DCT types are frame DCT, the target block B_NULIs the attention macroblock MB_N8 × 8 pixels at the upper left of the left side, and as shown in FIG. 10A, the leftmost column of 8 pixels (shaded part) is the left adjacent macroblock MB of the frame structure in the spatial domain._LBlock B in the upper right of_LURAdjacent to the rightmost 8 pixels (the hatched portion). Therefore, attention block B_NULThe vertical one-dimensional DCT coefficient of the pixel column adjacent to the left side in the spatial domain (hereinafter, referred to as the left adjacent one-dimensional DCT coefficient as appropriate)_LURThe vertical one-dimensional DCT coefficients are obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the rightmost column of the above.
[0176]
Attention macroblock MB_NThe DCT type of the frame is a frame DCT, and the left adjacent macroblock MB_LIf the DCT type is field DCT, the target block B_NULIs the attention macroblock MB_N8 × 8 pixels at the upper left of the left side, and as shown in FIG. 10B, the 8 pixels in the leftmost column (the shaded part)_LBlock B in the upper right of_LURThe upper four pixels in the rightmost column and the lower right block B_LDRIs adjacent to a total of 8 pixels (hatched portion) of the upper 4 pixels in the rightmost column. Therefore, attention block B_NULThe left adjacent one-dimensional DCT coefficient for the vertical one-dimensional DCT coefficient in the leftmost column of_LURTop 4 pixels in rightmost column and block B_LDRA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels of the upper four pixels in the rightmost column in FIG.
[0177]
Attention macroblock MB_NDCT type is field DCT, and left adjacent macroblock MB_LIf the DCT type is frame DCT, the target block B_NULIs the attention macroblock MB_N8 pixels on the left side of the 8 odd lines, and as shown in FIG. 10C, the leftmost 8 pixels (shaded portions) are the left adjacent macroblock MB of the frame structure in the spatial domain._LBlock B in the upper right of_LUR4 pixels in the odd-numbered row in the rightmost column and the lower right block B_LDRAre adjacent to a total of 8 pixels (hatched portion) of 4 pixels in an odd row. Therefore, attention block B_NULThe left adjacent one-dimensional DCT coefficient for the vertical one-dimensional DCT coefficient in the leftmost column of_LUR4 pixels in the odd-numbered row in the rightmost column and block B_LDRA vertical one-dimensional DCT coefficient is obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels of four pixels in odd rows.
[0178]
Attention macroblock MB_NDCT type is field DCT, and left adjacent macroblock MB_LIf the DCT type is also a field DCT, the target block B_NULIs the attention macroblock MB_N8 pixels on the left side of the eight odd lines, and as shown in FIG. 10D, the leftmost eight pixels (shaded portions) are left adjacent macroblocks MB of the field structure in the spatial domain._LBlock B in the upper right of_LURAdjacent to the rightmost 8 pixels (the hatched portion). Therefore, attention block B_NULThe left adjacent one-dimensional DCT coefficient for the vertical one-dimensional DCT coefficient in the leftmost column of_LURThe vertical one-dimensional DCT coefficients are obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the rightmost column of the above.
[0179]
Next, FIG. 11 shows the attention macroblock MB._NBlock B in the upper left of_NULIs a block of interest, the block of interest B in the spatial domain_NULThe right side of the right side, that is, the pixel column of the adjacent block adjacent to the 8 pixels in the rightmost column (hereinafter referred to as the right adjacent pixel column as appropriate).
[0180]
In FIG. 11, the shaded line is the target block B._NULRepresents the rightmost pixel column, and the hatched line represents the right adjacent pixel column.
[0181]
Attention macroblock MB_NBlock B in the upper left of_NULIs the attention block, the right adjacent block is the attention macroblock MB_NBlock B in the upper right of the_NURTherefore, attention block B_NULThe right adjacent pixel column adjacent to the right of the rightmost pixel column is always a block._NURSince the 8 pixels in the leftmost column of_NAnd its attention macroblock MB_NIt is not necessary to consider the structure of the macroblock adjacent to the.
[0182]
That is, attention macroblock MB_NBlock B in the upper left of_NUL11 is the target block, as shown in FIG. 11, the rightmost column of 8 pixels (shaded part) is the target block B in the spatial domain._NULBlock B to the right of_NURAdjacent to the leftmost column of 8 pixels (hatched portion). Therefore, attention block B_NULThe vertical one-dimensional DCT coefficient of the pixel column adjacent to the right side in the spatial domain (hereinafter, referred to as the right adjacent one-dimensional DCT coefficient as appropriate)_NURThe vertical one-dimensional DCT coefficients are obtained by performing vertical one-dimensional DCT conversion on the 8 pixels in the leftmost column of the leftmost column.
[0183]
Next, FIG. 12 shows the attention macroblock MB._NBlock B at the lower left of_NDLIs a block of interest, the block of interest B in the spatial domain_NDL, Ie, the pixel column (upper adjacent pixel column) of the adjacent block adjacent to the uppermost 8 pixels.
[0184]
In FIG. 12, the shaded line is the target block B._NDLRepresents the uppermost pixel column, and the hatched line represents the upper adjacent pixel column.
[0185]
Attention macroblock MB_NBlock B at the lower left of_NDLIs the target block, the adjacent block above is the target macroblock MB_NBlock B in the upper left_NULTherefore, attention block B_NDLWhich pixel column the upper adjacent pixel column that is adjacent to the uppermost pixel column of is the target macroblock MB_NOnly the structure of this should be considered.
[0186]
That is, attention macroblock MB_NIf the DCT type is frame DCT, the target block B_NDLIs the attention macroblock MB_N8 × 8 pixels at the lower left of the image, and as shown in FIG. 12A, the uppermost 8 pixels (shaded portions) are the target macroblock MB of the frame structure in the spatial domain._NUpper left block B_NULAre adjacent to the 8 pixels in the bottom row (the hatched portion). Therefore, attention block B_NDLThe upper adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the top row of_NULThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row.
[0187]
Attention macroblock MB_NIf the DCT type is field DCT, the target block B_NDLIs the attention macroblock MB_N8 pixels on the left side of the 8 even lines, and as shown in FIG. 12B, the 8 pixels in the uppermost row (shaded portions) are the target macroblock MB of the frame structure in the spatial domain._NUpper adjacent macroblock MB adjacent above_UBlock B at the lower left of_UDLAre adjacent to the 8 pixels in the bottom row (the hatched portion). Therefore, attention block B_NDLThe upper adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the top row of_UDLThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row.
[0188]
Next, FIG. 13 shows the attention macroblock MB._NBlock B at the lower left of_NDLIs a block of interest, the block of interest B in the spatial domain_NDLThe lower boundary, that is, a pixel column (lower adjacent pixel column) of an adjacent block adjacent to the 8 pixels in the lowermost row.
[0189]
In FIG. 13, the shaded line is the target block B._NDLThe lowermost row of pixels is represented by a hatched line and the lower adjacent pixel row is represented by a hatched line.
[0190]
Attention macroblock MB_NBlock B at the lower left of_NDLIs a target block, the adjacent block below is the target macroblock MB_NLower adjacent macroblock MB that is not a block in_DBlock B in the upper left of_DULTherefore, attention block B_NDLWhich pixel column is the lower adjacent pixel column adjacent to the lowermost pixel column of the bottom row of the target macroblock MB_NAnd lower adjacent macroblock MB_DBoth structures need to be considered.
[0191]
That is, attention macroblock MB_NAnd lower adjacent macroblock MB_DIf both of the DCT types are frame DCT, the target block B_NDLIs the attention macroblock MB_N8 × 8 pixels at the lower left of the frame, and as shown in FIG. 13A, the bottom row of 8 pixels (shaded portion) is the lower adjacent macroblock MB in the frame structure in the spatial region._DBlock B in the upper left of_DULAdjacent to the uppermost 8 pixels (hatched portion). Therefore, attention block B_NDLThe lower adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the bottom row of_DULThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the top row.
[0192]
Attention macroblock MB_NThe DCT type of the frame is a frame DCT, and the lower adjacent macroblock MB_DIf the DCT type is field DCT, the target block B_NDLIs the attention macroblock MB_N8 × 8 pixels at the lower left of the pixel, and as shown in FIG. 13B, the 8 pixels in the bottom row (the shaded portion) are the lower adjacent macroblock MB in the field structure in the spatial region._DBlock B in the upper left of_DULAdjacent to the uppermost 8 pixels (hatched portion). Therefore, attention block B_NDLThe lower adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the bottom row of_DULThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the top row.
[0193]
Attention macroblock MB_NDCT type is field DCT and lower adjacent macroblock MB_DIf the DCT type is frame DCT, the target block B_NDLIs the attention macroblock MB_N8 pixels on the left side of the 8 even lines, and as shown in FIG. 13C, the 8 pixels in the bottom row (shaded portions) are the lower adjacent macroblock MB in the frame structure in the spatial domain._DBlock B in the upper left of_DULAdjacent to the 8th pixel in the second row (the hatched portion). Therefore, attention block B_NDLThe lower adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the bottom row of_DULA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the second row of the first row.
[0194]
Attention macroblock MB_NDCT type is field DCT and lower adjacent macroblock MB_DIf the DCT type is also a field DCT, the target block B_NDLIs the attention macroblock MB_N8 pixels on the left side of the 8 even lines, and as shown in FIG. 13D, the 8 pixels in the bottom row (the shaded portion) are the lower adjacent macroblock MB in the field structure in the spatial region._DBlock B at the lower left of_DDLAdjacent to the uppermost 8 pixels (hatched portion). Therefore, attention block B_NDLThe lower adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the bottom row of_DDLThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the top row.
[0195]
Next, FIG. 14 shows the attention macroblock MB._NBlock B at the lower left of_NDLIs a block of interest, the block of interest B in the spatial domain_NDLThe left side of the left side, that is, the pixel column of the adjacent block adjacent to the 8 pixels in the leftmost column (left adjacent pixel column).
[0196]
In FIG. 14, the shaded line is the target block B._NDLRepresents the leftmost pixel column, and the hatched line represents the left adjacent pixel column.
[0197]
Attention macroblock MB_NBlock B at the lower left of_NDLThe block adjacent to the left when is a target block is the target macroblock MB_NLeft adjacent macroblock MB that is not a block in_LBlock B on the lower right of_LDRTherefore, attention block B_NDLThe left adjacent pixel column adjacent to the left of the leftmost pixel column of which is the pixel column to be determined is the target macroblock MB_NAnd left adjacent macroblock MB_LBoth structures need to be considered.
[0198]
That is, attention macroblock MB_NAnd left adjacent macroblock MB_LIf both of the DCT types are frame DCT, the target block B_NDLIs the attention macroblock MB_N8 × 8 pixels at the lower left of the left side, and as shown in FIG. 14A, the leftmost column of 8 pixels (shaded part) is a left adjacent macroblock MB having a frame structure in the spatial domain._LBlock B on the lower right of_LDRAdjacent to the rightmost 8 pixels (the hatched portion). Therefore, attention block B_NDLThe left adjacent one-dimensional DCT coefficient for the vertical one-dimensional DCT coefficient in the leftmost column of_LDRThe vertical one-dimensional DCT coefficients are obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the rightmost column of the above.
[0199]
Attention macroblock MB_NThe DCT type of the frame is a frame DCT, and the left adjacent macroblock MB_LIf the DCT type is field DCT, the target block B_NDLIs the attention macroblock MB_N8 × 8 pixels at the lower left of the left side, and as shown in FIG. 14B, the leftmost 8 pixels (shaded portions) are left adjacent macroblocks MB of the field structure in the spatial domain._LBlock B in the upper right of_LURLower 4 pixels in the rightmost column and block B in the lower right_LDRIs adjacent to a total of 8 pixels (hatched portion) of the lower 4 pixels in the rightmost column. Therefore, attention block B_NDLThe left adjacent one-dimensional DCT coefficient for the vertical one-dimensional DCT coefficient in the leftmost column of_LURLower 4 pixels in the rightmost column and block B_LDRA vertical one-dimensional DCT coefficient obtained by vertical one-dimensional DCT conversion of a total of eight pixels in the lower four pixels in the rightmost column in FIG.
[0200]
Attention macroblock MB_NDCT type is field DCT, and left adjacent macroblock MB_LIf the DCT type is frame DCT, the target block B_NDLIs the attention macroblock MB_N8 pixels on the left side of the eight even lines, and as shown in FIG. 14C, the leftmost eight pixels (shaded portions) are left adjacent macroblocks MB of the frame structure in the spatial domain._LBlock B in the upper right of_LUR4 pixels in the even-numbered row in the rightmost column and the lower right block B_LDRAre adjacent to a total of 8 pixels (hatched portion) of 4 pixels in even rows. Therefore, attention block B_NDLThe left adjacent one-dimensional DCT coefficient for the vertical one-dimensional DCT coefficient in the leftmost column of_LUR4 pixels in even-numbered row in rightmost column and block B_LDRA vertical one-dimensional DCT coefficient obtained by vertical one-dimensional DCT conversion of a total of eight pixels of four pixels in even rows in FIG.
[0201]
Attention macroblock MB_NDCT type is field DCT, and left adjacent macroblock MB_LIf the DCT type is also a field DCT, the target block B_NDLIs the attention macroblock MB_N8 pixels on the left side of the eight even lines, and as shown in FIG. 14D, the leftmost column of 8 pixels (shaded portion) is the left adjacent macroblock MB of the field structure in the spatial domain._LBlock B on the lower right of_LDRAdjacent to the rightmost 8 pixels (the hatched portion). Therefore, attention block B_NDLThe left adjacent one-dimensional DCT coefficient for the vertical one-dimensional DCT coefficient in the leftmost column of_LDRThe vertical one-dimensional DCT coefficients are obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the rightmost column of the above.
[0202]
Next, FIG. 15 shows the attention macroblock MB._NBlock B at the lower left of_NDLIs a block of interest, the block of interest B in the spatial domain_NDLThe right side boundary, that is, the pixel column (right adjacent pixel column) of the adjacent block adjacent to the 8 pixels in the rightmost column.
[0203]
In FIG. 15, the shaded line is the target block B._NDLRepresents the rightmost pixel column, and the hatched line represents the right adjacent pixel column.
[0204]
Attention macroblock MB_NBlock B at the lower left of_NDLIs the attention block, the right adjacent block is the attention macroblock MB_NBlock B in the lower right_NDRTherefore, attention block B_NDLThe right adjacent pixel column adjacent to the right of the rightmost pixel column is always a block._NDRSince the 8 pixels in the leftmost column of_NAnd its attention macroblock MB_NIt is not necessary to consider the structure of the macroblock adjacent to the.
[0205]
That is, attention macroblock MB_NBlock B at the lower left of_NDL15 is the target block, as shown in FIG. 15, the rightmost column of 8 pixels (shaded part) is the target block B in the spatial domain._NDLBlock B to the right of_NDRAdjacent to the leftmost column of 8 pixels (hatched portion). Therefore, attention block B_NDLThe right adjacent 1D DCT coefficient for the vertical 1D DCT coefficient in the rightmost column of_NDRThe vertical one-dimensional DCT coefficients are obtained by performing vertical one-dimensional DCT conversion on the 8 pixels in the leftmost column of the leftmost column.
[0206]
FIG. 16 shows an attention macroblock MB_NBlock B in the upper right of_NURIs a block of interest, the block of interest B in the spatial domain_NUR, Ie, the pixel column (upper adjacent pixel column) of the adjacent block adjacent to the uppermost 8 pixels.
[0207]
In FIG. 16, the shaded line is the target block B._NURRepresents the uppermost pixel column, and the hatched line represents the upper adjacent pixel column.
[0208]
Attention macroblock MB_NBlock B in the upper right of_NURIs the target block, the adjacent block above is the target macroblock MB_NIs not a block in the upper adjacent macroblock MB_UBlock B on the lower right of_UDRTherefore, attention block B_NURWhich pixel column the upper adjacent pixel column that is adjacent to the uppermost pixel column of is the target macroblock MB_NAnd upper adjacent macroblock MB_UBoth structures need to be considered.
[0209]
That is, attention macroblock MB_NAnd upper adjacent macroblock MB_UIf both of the DCT types are frame DCT, the target block B_NURIs the attention macroblock MB_N8 × 8 pixels on the upper right of the frame, and as shown in FIG. 16A, the uppermost 8 pixels (shaded portions) are the upper adjacent macroblock MB in the frame structure in the spatial domain._UBlock B on the lower right of_UDRAre adjacent to the 8 pixels in the bottom row (the hatched portion). Therefore, attention block B_NURThe upper adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the top row of_UDRThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row.
[0210]
Attention macroblock MB_NThe DCT type of the frame is the frame DCT, and the upper adjacent macroblock MB_UIf the DCT type is field DCT, the target block B_NURIs the attention macroblock MB_N8 × 8 pixels on the upper right side of FIG. 16B, as shown in FIG. 16B, the uppermost 8 pixels (shaded portions) are the upper adjacent macroblock MB in the field structure in the spatial domain._ULower right block B_UDRAre adjacent to the 8 pixels in the bottom row (the hatched portion). Therefore, attention block B_NURThe upper adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the top row of_UDRThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row.
[0211]
Attention macroblock MB_NDCT type is field DCT, and upper adjacent macroblock MB_UIf the DCT type is frame DCT, the target block B_NURIs the attention macroblock MB_N8 pixels on the right side of the 8 odd lines, and as shown in FIG. 16C, the 8 pixels in the uppermost row (shaded portions) are the upper adjacent macroblock MB in the frame structure in the spatial domain._UBlock B on the lower right of_UDRAdjacent to the 8th pixel in the seventh row (the hatched portion). Therefore, attention block B_NURThe upper adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the top row of_UDRThe horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the eight pixels in the seventh row.
[0212]
Attention macroblock MB_NDCT type is field DCT, and upper adjacent macroblock MB_UIf the DCT type is also a field DCT, the target block B_NURIs the attention macroblock MB_N8 pixels on the right side of the eight odd lines, and as shown in FIG. 16D, the uppermost 8 pixels (shaded portions) are the upper adjacent macroblock MB in the field structure in the spatial region._UBlock B in the upper right of_UURAre adjacent to the 8 pixels in the bottom row (the hatched portion). Therefore, attention block B_NURThe upper adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the top row of_UURThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row.
[0213]
Next, FIG. 17 shows the attention macroblock MB._NBlock B in the upper right of_NURIs a block of interest, the block of interest B in the spatial domain_NURThe lower boundary, that is, a pixel column (lower adjacent pixel column) of an adjacent block adjacent to the 8 pixels in the lowermost row.
[0214]
In FIG. 17, the shaded line is the target block B._NURThe lowermost row of pixels is represented by a hatched line and the lower adjacent pixel row is represented by a hatched line.
[0215]
Attention macroblock MB_NBlock B in the upper right of_NURIs a target block, the adjacent block below is the target macroblock MB_NBlock B in the lower right_NDRTherefore, attention block B_NURWhich pixel column is the lower adjacent pixel column adjacent to the lowermost pixel column of the bottom row of the target macroblock MB_NOnly the structure of this should be considered.
[0216]
That is, attention macroblock MB_NIf the DCT type is frame DCT, the target block B_NURIs the attention macroblock MB_N8 × 8 pixels on the upper right side of FIG. 17A, and as shown in FIG. 17A, the 8 pixels in the lowermost row (the shaded portion) are the target macroblock MB of the frame structure in the spatial domain._NBlock B on the lower right of_NDRAdjacent to the uppermost 8 pixels (hatched portion). Therefore, attention block B_NURThe lower adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the bottom row of_NDRThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the top row.
[0217]
Attention macroblock MB_NIf the DCT type is field DCT, the target block B_NURIs the attention macroblock MB_N8 pixels on the right side of the 8 odd lines, and as shown in FIG. 17B, the 8 pixels in the bottom row (the shaded portion) are the target macroblock MB of the frame structure in the spatial domain._NLower adjacent macroblock MB adjacent below_DBlock B in the upper right of_DURAdjacent to the uppermost 8 pixels (hatched portion). Therefore, attention block B_NURThe lower adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the bottom row of_DURThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the top row.
[0218]
Next, FIG. 18 shows the attention macroblock MB._NBlock B in the upper right of_NURIs a block of interest, the block of interest B in the spatial domain_NURThe left side of the left side, that is, the pixel column of the adjacent block adjacent to the 8 pixels in the leftmost column (left adjacent pixel column).
[0219]
In FIG. 18, the shaded line is the target block B._NURRepresents the leftmost pixel column, and the hatched line represents the left adjacent pixel column.
[0220]
Attention macroblock MB_NBlock B in the upper right of_NURThe block adjacent to the left when is a target block is the target macroblock MB_NBlock B in the upper left_NULTherefore, attention block B_NURThe left adjacent pixel column adjacent to the left of the leftmost pixel column is always a block B_NULSince it becomes 8 pixels in the rightmost column of_NAnd its attention macroblock MB_NIt is not necessary to consider the structure of the macroblock adjacent to the.
[0221]
That is, attention macroblock MB_NBlock B in the upper right of_NUR18 is the target block, as shown in FIG. 18, the leftmost column of eight pixels (shaded part) is the target block B in the spatial domain._NURBlock B next to the left_NULAdjacent to the rightmost 8 pixels (the hatched portion). Therefore, attention block B_NURThe left adjacent one-dimensional DCT coefficient for the vertical one-dimensional DCT coefficient in the leftmost column of_NULThe vertical one-dimensional DCT coefficients are obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the rightmost column of the above.
[0222]
Next, FIG. 19 shows the attention macroblock MB._NBlock B in the upper right of_NURIs a block of interest, the block of interest B in the spatial domain_NURThe right side boundary, that is, the pixel column (right adjacent pixel column) of the adjacent block adjacent to the 8 pixels in the rightmost column.
[0223]
In FIG. 19, the shaded line is the target block B._NURRepresents the rightmost pixel column, and the hatched line represents the right adjacent pixel column.
[0224]
Attention macroblock MB_NBlock B in the upper right of_NURIs the attention block, the right adjacent block is the attention macroblock MB_NRight adjacent macroblock MB that is not a block in_RBlock B in the upper left of_RULTherefore, attention block B_NURWhich pixel column the right adjacent pixel column adjacent to the right of the rightmost pixel column of is the macro block MB of interest_NAnd right adjacent macroblock MB_RBoth structures need to be considered.
[0225]
That is, attention macroblock MB_NAnd right adjacent macroblock MB_RIf both of the DCT types are frame DCT, the target block B_NURIs the attention macroblock MB_N8 × 8 pixels on the upper right side of FIG. 19A, and as shown in FIG. 19A, the rightmost 8 pixels (shaded portion) are the right adjacent macroblock MB of the frame structure in the spatial domain._RBlock B in the upper left of_RULAdjacent to the leftmost column of 8 pixels (hatched portion). Therefore, attention block B_NURThe right adjacent 1D DCT coefficient for the vertical 1D DCT coefficient in the rightmost column of_RULThe vertical one-dimensional DCT coefficients are obtained by performing vertical one-dimensional DCT conversion on the 8 pixels in the leftmost column of the leftmost column.
[0226]
Attention macroblock MB_NThe DCT type of the frame is the frame DCT, and the right adjacent macroblock MB_RIf the DCT type is field DCT, the target block B_NURIs the attention macroblock MB_N8 × 8 pixels on the upper right side of FIG. 19B, as shown in FIG. 19B, the leftmost column of 8 pixels (shaded portion) is the right adjacent macroblock MB of the field structure in the spatial domain._LBlock B in the upper left of_RULThe top four pixels in the leftmost column and the lower left block B_RDLAre adjacent to a total of 8 pixels (the hatched portion) of the upper 4 pixels in the leftmost column. Therefore, attention block B_NURThe right adjacent 1D DCT coefficient for the vertical 1D DCT coefficient in the rightmost column of_RULTop 4 pixels in leftmost column and block B_RDLA vertical one-dimensional DCT coefficient obtained by vertical one-dimensional DCT conversion of a total of eight pixels in the upper four pixels of the leftmost column in FIG.
[0227]
Attention macroblock MB_NThe DCT type is field DCT and the right adjacent macroblock MB_RIf the DCT type is frame DCT, the target block B_NURIs the attention macroblock MB_N8 pixels on the right side of the 8 odd lines, and as shown in FIG. 19C, the rightmost 8 pixels (shaded part) are the right adjacent macroblock MB of the frame structure in the spatial domain._RBlock B in the upper left of_RUL4 pixels in the odd-numbered row in the leftmost column and the lower left block B_RDLAre adjacent to a total of 8 pixels (hatched portion) of 4 pixels in an odd row. Therefore, attention block B_NURThe right adjacent 1D DCT coefficient for the vertical 1D DCT coefficient in the rightmost column of_RUL4 pixels in the odd-numbered row in the rightmost column and block B_RDLA vertical one-dimensional DCT coefficient is obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels of four pixels in odd rows.
[0228]
Attention macroblock MB_NThe DCT type is field DCT and the right adjacent macroblock MB_RIf the DCT type is also a field DCT, the target block B_NURIs the attention macroblock MB_N8 pixels on the right side of the 8 odd lines, and as shown in FIG. 19D, the rightmost 8 pixels (shaded portions) are the right adjacent macroblock MB of the field structure in the spatial domain._RBlock B in the upper left of_RULAdjacent to the leftmost column of 8 pixels (hatched portion). Therefore, attention block B_NURThe right adjacent 1D DCT coefficient for the vertical 1D DCT coefficient in the rightmost column of_RULThe vertical one-dimensional DCT coefficients are obtained by performing vertical one-dimensional DCT conversion on the 8 pixels in the leftmost column of the leftmost column.
[0229]
Next, FIG. 20 shows the attention macroblock MB._NBlock B on the lower right of_NDRIs a block of interest, the block of interest B in the spatial domain_NDR, Ie, the pixel column (upper adjacent pixel column) of the adjacent block adjacent to the uppermost 8 pixels.
[0230]
In FIG. 20, the shaded line is the target block B._NDRRepresents the uppermost pixel column, and the hatched line represents the upper adjacent pixel column.
[0231]
Attention macroblock MB_NBlock B on the lower right of_NDRIs the target block, the adjacent block above is the target macroblock MB_NBlock B in the upper right of the_NURTherefore, attention block B_NDRWhich pixel column the upper adjacent pixel column that is adjacent to the uppermost pixel column of is the target macroblock MB_NOnly the structure of this should be considered.
[0232]
That is, attention macroblock MB_NIf the DCT type is frame DCT, the target block B_NDRIs the attention macroblock MB_N8 × 8 pixels at the lower right of FIG. 20A, as shown in FIG. 20A, the uppermost 8 pixels (shaded portions) are the target macroblock MB of the frame structure in the spatial domain._NBlock B on the lower right of_NDRAdjacent to the uppermost 8 pixels (hatched portion). Therefore, attention block B_NDRThe upper adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the top row of_NDRThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the top row.
[0233]
Attention macroblock MB_NIf the DCT type is field DCT, the target block B_NDRIs the attention macroblock MB_N8 pixels on the right side of the eight even lines, and as shown in FIG. 20B, the uppermost 8 pixels (shaded portions) are the target macroblock MB of the frame structure in the spatial domain._NUpper adjacent macroblock MB adjacent above_UBlock B on the lower right of_UDRAre adjacent to the 8 pixels in the bottom row (the hatched portion). Therefore, attention block B_NDRThe upper adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the top row of_UDRThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row.
[0234]
Next, FIG. 21 shows an attention macroblock MB._NBlock B on the lower right of_NDRIs a block of interest, the block of interest B in the spatial domain_NDRThe lower boundary, that is, a pixel column (lower adjacent pixel column) of an adjacent block adjacent to the 8 pixels in the lowermost row.
[0235]
In FIG. 21, the shaded line is the target block B._NDRThe lowermost row of pixels is represented by a hatched line and the lower adjacent pixel row is represented by a hatched line.
[0236]
Attention macroblock MB_NBlock B on the lower right of_NDRIs a target block, the adjacent block below is the target macroblock MB_NLower adjacent macroblock MB that is not a block in_DBlock B in the upper right of_DURTherefore, attention block B_NDRWhich pixel column is the lower adjacent pixel column adjacent to the lowermost pixel column of the bottom row of the target macroblock MB_NAnd lower adjacent macroblock MB_DBoth structures need to be considered.
[0237]
That is, attention macroblock MB_NAnd lower adjacent macroblock MB_DIf both of the DCT types are frame DCT, the target block B_NDRIs the attention macroblock MB_N8 × 8 pixels at the lower right of the image, and as shown in FIG. 21A, the 8 pixels in the bottom row (the shaded portion) are the lower adjacent macroblock MB in the frame structure in the spatial region._DBlock B in the upper right of_DURAdjacent to the uppermost 8 pixels (hatched portion). Therefore, attention block B_NDRThe lower adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the bottom row of_DURThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the top row.
[0238]
Attention macroblock MB_NThe DCT type of the frame is a frame DCT, and the lower adjacent macroblock MB_DIf the DCT type is field DCT, the target block B_NDRIs the attention macroblock MB_N8 × 8 pixels at the lower right of the image, and as shown in FIG. 21B, the 8 pixels in the lowermost row (the shaded portion) are the lower adjacent macroblock MB in the field structure in the spatial region._DBlock B in the upper right of_DURAdjacent to the uppermost 8 pixels (hatched portion). Therefore, attention block B_NDRThe lower adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the bottom row of_DURThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the top row.
[0239]
Attention macroblock MB_NDCT type is field DCT and lower adjacent macroblock MB_DIf the DCT type is frame DCT, the target block B_NDRIs the attention macroblock MB_N8 pixels on the right side of the 8 even lines, and as shown in FIG. 21C, the 8 pixels in the bottom row (shaded portions) are lower adjacent macroblocks MB in the frame structure in the spatial domain._DBlock B in the upper right of_DURAdjacent to the 8th pixel in the second row (the hatched portion). Therefore, attention block B_NDRThe lower adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the bottom row of_DURA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the second row of the first row.
[0240]
Attention macroblock MB_NDCT type is field DCT and lower adjacent macroblock MB_DIf the DCT type is also a field DCT, the target block B_NDRIs the attention macroblock MB_N8 pixels on the right side of the eight even lines, and as shown in FIG. 21D, the bottom eight pixels (shaded portions) are the lower adjacent macroblock MB in the field structure in the spatial region._DBlock B on the lower right of_DDRAdjacent to the uppermost 8 pixels (hatched portion). Therefore, attention block B_NDRThe lower adjacent one-dimensional DCT coefficient for the horizontal one-dimensional DCT coefficient in the bottom row of_DDRThe horizontal one-dimensional DCT coefficient is obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the top row.
[0241]
Next, FIG. 22 shows a macro block MB of interest._NBlock B on the lower right of_NDRIs a block of interest, the block of interest B in the spatial domain_NDRThe left side of the left side, that is, the pixel column of the adjacent block adjacent to the 8 pixels in the leftmost column (left adjacent pixel column).
[0242]
In FIG. 22, the shaded line is the target block B._NDRRepresents the leftmost pixel column, and the hatched line represents the left adjacent pixel column.
[0243]
Attention macroblock MB_NBlock B on the lower right of_NDRThe block adjacent to the left when is a target block is the target macroblock MB_NBlock B in the lower left of_NDLTherefore, attention block B_NDRThe left adjacent pixel column adjacent to the left of the leftmost pixel column is always a block_NDLSince it becomes 8 pixels in the rightmost column of_NAnd its attention macroblock MB_NIt is not necessary to consider the structure of the macroblock adjacent to the.
[0244]
That is, attention macroblock MB_NBlock B on the lower right of_NDR22 is the target block, as shown in FIG. 22, the leftmost column of eight pixels (shaded portion) is the target block B in the spatial domain._NDRBlock B next to the left_NDLAdjacent to the rightmost 8 pixels (the hatched portion). Therefore, attention block B_NDRThe left adjacent one-dimensional DCT coefficient for the vertical one-dimensional DCT coefficient in the leftmost column of_NDLThe vertical one-dimensional DCT coefficients are obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the rightmost column of the above.
[0245]
Next, FIG. 23 shows the attention macroblock MB._NBlock B on the lower right of_NDRIs a block of interest, the block of interest B in the spatial domain_NDRThe right side boundary, that is, the pixel column (right adjacent pixel column) of the adjacent block adjacent to the 8 pixels in the rightmost column.
[0246]
In FIG. 23, the shaded line is the target block B._NDRRepresents the rightmost pixel column, and the hatched line represents the right adjacent pixel column.
[0247]
Attention macroblock MB_NBlock B on the lower right of_NDRIs the attention block, the right adjacent block is the attention macroblock MB_NRight adjacent macroblock MB that is not a block in_RBlock B on the lower right of_RDLTherefore, attention block B_NDRWhich pixel column the right adjacent pixel column adjacent to the right of the rightmost pixel column of is the macro block MB of interest_NAnd right adjacent macroblock MB_RBoth structures need to be considered.
[0248]
That is, attention macroblock MB_NAnd right adjacent macroblock MB_RIf both of the DCT types are frame DCT, the target block B_NDRIs the attention macroblock MB_N8 × 8 pixels at the lower right of the right side, and as shown in FIG. 23A, the rightmost column of 8 pixels (shaded part) is a right adjacent macroblock MB of the frame structure in the spatial domain._RBlock B at the lower left of_RDLAdjacent to the leftmost column of 8 pixels (hatched portion). Therefore, attention block B_NDRThe right adjacent 1D DCT coefficient for the vertical 1D DCT coefficient in the rightmost column of_RDLThe vertical one-dimensional DCT coefficients are obtained by performing vertical one-dimensional DCT conversion on the 8 pixels in the leftmost column of the leftmost column.
[0249]
Attention macroblock MB_NThe DCT type of the frame is the frame DCT, and the right adjacent macroblock MB_RIf the DCT type is field DCT, the target block B_NDRIs the attention macroblock MB_N8 × 8 pixels at the lower right of the right side, and as shown in FIG. 23B, the rightmost 8 pixels (shaded part) are the right adjacent macroblock MB of the field structure in the spatial domain._RBlock B in the upper left of_RULThe lower 4 pixels in the leftmost column and the lower left block B_RDLIs adjacent to a total of 8 pixels (hatched portion) of the lower 4 pixels in the leftmost column. Therefore, attention block B_NDRThe right adjacent 1D DCT coefficient for the vertical 1D DCT coefficient in the rightmost column of_RULLower 4 pixels in the leftmost column and block B_RDLA vertical one-dimensional DCT coefficient obtained by vertical one-dimensional DCT conversion of a total of eight pixels in the lower four pixels in the leftmost column in FIG.
[0250]
Attention macroblock MB_NThe DCT type is field DCT and the right adjacent macroblock MB_RIf the DCT type is frame DCT, the target block B_NDRIs the attention macroblock MB_N8 pixels on the left side of the eight even lines, and as shown in FIG. 23C, the rightmost column of 8 pixels (shaded portion) is the right adjacent macroblock MB of the frame structure in the spatial domain._RBlock B in the upper left of_RUL4 pixels in the even-numbered row in the leftmost column and the lower left block B_RDLAre adjacent to a total of 8 pixels (the hatched portion) of the 4 pixels in the even-numbered row in the leftmost column. Therefore, attention block B_NDRThe right adjacent 1D DCT coefficient for the vertical 1D DCT coefficient in the leftmost column of_RUL4 pixels and even block B in the leftmost column_RDLA vertical one-dimensional DCT coefficient obtained by vertical one-dimensional DCT conversion of a total of eight pixels of four pixels in even rows in FIG.
[0251]
Attention macroblock MB_NIf the DCT type of the current adjacent macroblock MBR is the field DCT and the DCT type of the right adjacent macroblock MBR is also the field DCT, the target block B_NDRIs the attention macroblock MB_N8 pixels on the right side of the eight even lines, and as shown in FIG. 23D, the rightmost eight pixels (shaded portions) are the right adjacent macroblock MB of the field structure in the spatial domain._RBlock B at the lower left of_RDLAdjacent to the leftmost column of 8 pixels (hatched portion). Therefore, attention block B_NDRThe right adjacent 1D DCT coefficient for the vertical 1D DCT coefficient in the rightmost column of_RDLThe vertical one-dimensional DCT coefficients are obtained by performing vertical one-dimensional DCT conversion on the 8 pixels in the leftmost column of the leftmost column.
[0252]
Next, FIG. 24 shows adjacent one-dimensional DCT coefficients (upper adjacent one-dimensional DCT coefficient, lower adjacent one-dimensional DCT coefficient, left adjacent one-dimensional DCT coefficient, and right) for the block of interest as described in FIGS. 3 shows a configuration example of the adjacent one-dimensional DCT coefficient selection / conversion unit 32 in FIG. 2 that acquires (adjacent one-dimensional DCT coefficients).
[0253]
In the adjacent one-dimensional DCT coefficient selection / conversion unit 32, the one-dimensional DCT coefficients (the horizontal one-dimensional DCT coefficient and the vertical one-dimensional DCT coefficient) output from the one-dimensional inverse DCT conversion unit 31 (FIG. 2) are supplied to the memory 81. The DCT type of the target macroblock and adjacent macroblock (upper adjacent macroblock, lower adjacent macroblock, left adjacent macroblock, and right adjacent macroblock) stored in the buffer memory 12 (FIG. 12) Is supplied to the sampling unit 83 and the selection unit 85.
[0254]
The control unit 80 controls each block constituting the adjacent one-dimensional DCT coefficient selection / conversion unit 32.
[0255]
The memory 81 temporarily stores the one-dimensional DCT coefficient output from the one-dimensional inverse DCT transform unit 31 (FIG. 2).
[0256]
The vertical one-dimensional inverse DCT transform unit 82 reads out the vertical one-dimensional DCT coefficient stored in the memory 81 and performs the vertical one-dimensional inverse DCT transform, thereby obtaining and outputting a pixel row of horizontal × vertical 1 × 8. To do. The 1 × 8 pixel column output from the vertical one-dimensional inverse DCT conversion unit 82 is supplied to the sampling unit 83.
[0257]
The sampling unit 83 performs sampling for the pixel column supplied from the vertical one-dimensional inverse DCT conversion unit 83 based on the DCT type of the target macroblock and the adjacent macroblock stored in the buffer memory 12 (FIG. 2). Then, a 1 × 8 pixel row is reconstructed from the pixels obtained as a result of the sampling and supplied to the vertical one-dimensional DCT conversion unit 84.
[0258]
The vertical one-dimensional DCT conversion unit 84 performs vertical one-dimensional DCT conversion on the 1 × 8 pixel column supplied from the sampling unit 83, thereby obtaining a vertical one-dimensional DCT coefficient having horizontal × vertical 1 × 8. To the selection unit 85.
[0259]
The selection unit 85 selects the horizontal one-dimensional DCT coefficient or the vertical one-dimensional DCT coefficient stored in the memory 81, or the vertical one-dimensional DCT coefficient output by the vertical one-dimensional DCT conversion unit 84, and outputs it as an adjacent one-dimensional DCT coefficient. To do.
[0260]
Next, processing of the adjacent one-dimensional DCT coefficient selection / conversion unit 32 (adjacent one-dimensional DCT coefficient selection / conversion processing) in FIG. 24 will be described with reference to the flowchart of FIG.
[0261]
The memory 81 is supplied with and stored one-dimensional DCT coefficients of the target macro block, the upper adjacent macro block, the lower adjacent macro block, the left adjacent macro block, and the right adjacent macro block. The sampling unit 83 and the selection unit 85 are supplied with the DCT types of the target macroblock, the upper adjacent macroblock, the lower adjacent macroblock, the left adjacent macroblock, and the right adjacent macroblock.
[0262]
In step S1, the control unit 80 determines the position of the target block in the target macro block. If it is determined in step S1 that the target block is the upper left, lower left, upper right, or lower right block of the target block, the process proceeds to steps S2, S3, S4, or S5, respectively, and the upper left block process and the lower left block process are performed. , The upper right block process or the lower right block process is performed, and the process ends.
[0263]
Note that the processing shown in the flowchart of FIG. 25 is performed each time the block of interest is changed, for example.
[0264]
Next, the upper left block process in step S2 of FIG. 25 will be described with reference to the flowchart of FIG.
[0265]
In the upper left block processing, the upper left block B of the target macro block_NUL, An upper adjacent one-dimensional DCT coefficient, a lower adjacent one-dimensional DCT coefficient, a left adjacent one-dimensional DCT coefficient, and a right adjacent one-dimensional DCT coefficient are acquired.
[0266]
That is, in the upper left block process, first, in step S11, the selection unit 85 determines the DCT type of the target macro block and the upper adjacent macro block.
[0267]
If it is determined in step S11 that both the DCT type of the target macroblock and the upper adjacent macroblock are frame DCTs, the process proceeds to step S12, and the selection unit 85, as described with reference to FIG. Block MB_UBlock B at the lower left of_UDLA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row is acquired as an upper adjacent one-dimensional DCT coefficient.
[0268]
That is, the target block is the block B at the upper left of the target macro block._NULIn the case where the target macroblock and the upper adjacent macroblock both have a frame structure, the upper adjacent one-dimensional DCT coefficient is equal to the upper adjacent macroblock MB as described with reference to FIG._UBlock B at the lower left of_UDL8 is a horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row in FIG._UDLThis is the horizontal one-dimensional DCT coefficient of the eighth row. Block B_UDLThe horizontal one-dimensional DCT coefficients of the eighth row are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S12._UDLThe horizontal one-dimensional DCT coefficient in the eighth row is read and selected, and is output as the upper adjacent one-dimensional DCT coefficient.
[0269]
If it is determined in step S11 that the DCT type of the target macroblock is the frame DCT and the DCT type of the upper adjacent macroblock is the field DCT, the process proceeds to step S13, and the selection unit 85 is described with reference to FIG. 8B. As above, upper adjacent macroblock MB_UBlock B at the lower left of_UDLA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row of is obtained as an upper adjacent one-dimensional DCT coefficient.
[0270]
That is, the target block is the block B at the upper left of the target macro block._NUL, When the target macroblock has a frame structure and the upper adjacent macroblock has a field structure, the upper adjacent one-dimensional DCT coefficient is equal to the upper adjacent macroblock MB as described in FIG. 8B._UBlock B at the lower left of_UDL8 is a horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row in FIG._UDLThis is the horizontal one-dimensional DCT coefficient of the eighth row. Block B_UDLThe horizontal one-dimensional DCT coefficients of the eighth row are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S13._UDLThe horizontal one-dimensional DCT coefficient in the eighth row is read and selected, and is output as the upper adjacent one-dimensional DCT coefficient.
[0271]
If it is determined in step S11 that the DCT type of the target macroblock is the field DCT and the DCT type of the upper adjacent macroblock is the frame DCT, the process proceeds to step S14, and the selection unit 85 is described with reference to FIG. 8C. As above, upper adjacent macroblock MB_ULower left block B_UDLA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT transformation on the 8 pixels in the seventh row is acquired as an upper adjacent one-dimensional DCT coefficient.
[0272]
That is, the target block is the block B at the upper left of the target macro block._NULIn the case where the target macroblock has a field structure and the upper adjacent macroblock has a frame structure, the upper adjacent one-dimensional DCT coefficient is equal to the upper adjacent macroblock MB as described with reference to FIG. 8C._ULower left block B_UDLAre the horizontal one-dimensional DCT coefficients obtained by performing horizontal one-dimensional DCT conversion on the eight pixels in the seventh row._UDLThis is the horizontal one-dimensional DCT coefficient of the seventh row. Block B_UDLThe horizontal one-dimensional DCT coefficients of the seventh row are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S14._UDLThe horizontal one-dimensional DCT coefficient of the seventh row is read and selected, and is output as the upper adjacent one-dimensional DCT coefficient.
[0273]
If it is determined in step S11 that the DCT type of the target macroblock and the upper adjacent macroblock are both field DCTs, the process proceeds to step S15, and the selection unit 85, as described in FIG. Adjacent macroblock MB_UBlock B in the upper left of_UULA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row of is obtained as an upper adjacent one-dimensional DCT coefficient.
[0274]
That is, the target block is the block B at the upper left of the target macro block._NULWhen both the target macroblock and the upper adjacent macroblock have a field structure, the upper adjacent one-dimensional DCT coefficient is equal to the upper adjacent macroblock MB as described with reference to FIG. 8D._UBlock B in the upper left of_UULAre the horizontal one-dimensional DCT coefficients obtained by performing horizontal one-dimensional DCT transformation on the eight pixels in the bottom row of_UULThis is the horizontal one-dimensional DCT coefficient of the eighth row. Block B_UULThe horizontal one-dimensional DCT coefficients of the eighth row are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S15._UULThe horizontal one-dimensional DCT coefficient in the eighth row is read and selected, and is output as the upper adjacent one-dimensional DCT coefficient.
[0275]
After the processes in steps S12 to S15, the process proceeds to step S16, and the selection unit 85 determines the DCT type of the target macroblock.
[0276]
When it is determined in step S16 that the DCT type of the target macroblock is the frame DCT, the process proceeds to step S17, and the selection unit 85, as described with reference to FIG._NBlock B at the lower left of_NDLA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the eight pixels in the top row is acquired as a lower adjacent one-dimensional DCT coefficient.
[0277]
That is, the target block is the block B at the upper left of the target macro block._NULIn the case where the target macroblock has a frame structure, the lower adjacent one-dimensional DCT coefficient is the target macroblock MB as described with reference to FIG. 9A._NBlock B at the lower left of_NDLAre the horizontal one-dimensional DCT coefficients obtained by horizontal one-dimensional DCT conversion of the eight pixels in the top row of_NDLIs the horizontal one-dimensional DCT coefficient of the first row. Block B_NDLThe horizontal one-dimensional DCT coefficient of the first row of is stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S17._NDLThe horizontal one-dimensional DCT coefficient in the first row is read and selected, and is output as the lower adjacent one-dimensional DCT coefficient.
[0278]
If it is determined in step S16 that the DCT type of the target macroblock is the field DCT, the process proceeds to step S18, and the selection unit 85, as described in FIG. 9B, selects the lower adjacent macroblock MB._DBlock B in the upper left of_DULA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the eight pixels in the top row is acquired as a lower adjacent one-dimensional DCT coefficient.
[0279]
That is, the target block is the block B at the upper left of the target macro block._NULIn the case where the target macroblock has a field structure, the lower adjacent one-dimensional DCT coefficient is lower adjacent macroblock MB as described with reference to FIG. 9B._DBlock B in the upper left of_DULAre the horizontal one-dimensional DCT coefficients obtained by horizontal one-dimensional DCT conversion of the eight pixels in the top row of_DULIs the horizontal one-dimensional DCT coefficient of the first row. Block B_DULThe horizontal one-dimensional DCT coefficient of the first row of is stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S18._DULThe horizontal one-dimensional DCT coefficient in the first row is read and selected, and is output as the lower adjacent one-dimensional DCT coefficient.
[0280]
After the processing in steps S17 and S18, the process proceeds to step S19, and the sampling unit 83 and the selection unit 85 determine the DCT type of the target macroblock and the left adjacent macroblock.
[0281]
If it is determined in step S19 that the DCT type of the target macroblock and the left adjacent macroblock are both frame DCTs, the process proceeds to step S20, and the selection unit 85, as described in FIG. Block MB_LBlock B in the upper right of_LURA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on the eight pixels in the rightmost column is acquired as a left adjacent one-dimensional DCT coefficient.
[0282]
That is, the target block is the block B at the upper left of the target macro block._NULIn the case where the target macroblock and the left adjacent macroblock are both frame structures, the left adjacent one-dimensional DCT coefficient is the left adjacent macroblock MB as described with reference to FIG. 10A._LBlock B in the upper right of_LURAre the vertical one-dimensional DCT coefficients obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the rightmost column of_LURAre the vertical one-dimensional DCT coefficients in the eighth column (the eighth column from the left). Block B_LURThe vertical one-dimensional DCT coefficients of the eighth column are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S20._LURAre read out and selected, and output as the left adjacent one-dimensional DCT coefficients.
[0283]
If it is determined in step S19 that the DCT type of the target macroblock is the frame DCT and the DCT type of the left adjacent macroblock is the field DCT, the process proceeds to steps S21 to S23 in sequence, and the selection unit 85 As described in 10B, the left adjacent macroblock MB_LBlock B in the upper right of_LURThe upper four pixels in the rightmost column and the lower right block B_LDRA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT transformation on a total of eight pixels in the upper four pixels in the rightmost column is acquired as a left adjacent one-dimensional DCT coefficient.
[0284]
That is, the target block is the block B at the upper left of the target macro block._NULIn the case where the target macroblock has a frame structure and the left adjacent macroblock has a field structure, the left adjacent one-dimensional DCT coefficient is equal to the left adjacent macroblock MB as described with reference to FIG. 10B._LBlock B in the upper right of_LURThe upper four pixels in the rightmost column and the lower right block B_LDRA vertical one-dimensional DCT coefficient obtained by vertical one-dimensional DCT conversion of a total of eight pixels in the upper four pixels in the rightmost column in FIG. 6 does not exist in the memory 81.
[0285]
Therefore, the sampling unit 83 uses the block B_LURThe vertical one-dimensional DCT coefficients of the eighth column of_LDRThe vertical one-dimensional inverse DCT transformation of the vertical one-dimensional DCT coefficients in the eighth column is requested to the vertical one-dimensional inverse DCT transformation unit 82.
[0286]
In response to a request from the sampling unit 83, the vertical one-dimensional inverse DCT transform unit 82 receives the block B in step S21._LURThe vertical one-dimensional DCT coefficients of the eighth column of_LDRAre read from the memory 81 and subjected to vertical one-dimensional inverse DCT transform. As a result, the vertical one-dimensional inverse DCT transform unit 82_LUR8 pixels in the 8th column and block B_LDRAre obtained, supplied to the sampling unit 83, and the process proceeds to step S22.
[0287]
In step S <b> 22, the sampling unit 83 receives the block B supplied from the vertical one-dimensional inverse DCT transform unit 82._LURBlock B supplied from the vertical one-dimensional inverse DCT conversion unit 82 while sampling the upper four pixels of the eight pixels in the eighth column_LDRThe top four pixels of the eight pixels in the eighth column are sampled and the block B_LURThe top four pixels sampled from the eighth column of the pixel are arranged in odd rows (top fields), and the block B_LDRBy arranging the upper 4 pixels sampled from the eighth column in even rows (bottom field), 8 pixels arranged in the vertical direction having the same frame structure as the macro block of interest are supplied to the vertical one-dimensional DCT converter 84. To do.
[0288]
When the vertical one-dimensional DCT conversion unit 84 receives the eight pixels sampled by the sampling unit 83, in step S23, the vertical one-dimensional DCT conversion is performed on the eight pixels, thereby the left adjacent macroblock MB._LBlock B in the upper right of_LURThe upper four pixels in the rightmost column and the lower right block B_LDRA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels of the upper four pixels in the rightmost column in FIG. The selection unit 85 selects the vertical one-dimensional DCT coefficient supplied from the vertical one-dimensional DCT conversion unit 84 and outputs it as the left adjacent one-dimensional DCT coefficient.
[0289]
If it is determined in step S19 that the DCT type of the target macroblock is the field DCT and the DCT type of the left adjacent macroblock is the frame DCT, the process proceeds to steps S24 to S26 sequentially. As described in 10C, the left adjacent macroblock MB_LBlock B in the upper right of_LUR4 pixels in the odd-numbered row in the rightmost column and the lower right block B_LDRA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels of the odd-numbered four pixels is obtained as a left adjacent one-dimensional DCT coefficient.
[0290]
That is, the target block is the block B at the upper left of the target macro block._NULIn the case where the target macroblock has a field structure and the left adjacent macroblock has a frame structure, the left adjacent one-dimensional DCT coefficient is equal to the left adjacent macroblock MB as described in FIG. 10C._LBlock B in the upper right of_LUR4 pixels in the odd-numbered row in the rightmost column and the lower right block B_LDRThe vertical one-dimensional DCT coefficient obtained by vertical one-dimensional DCT conversion of a total of eight pixels of the odd-numbered four pixels in FIG.
[0291]
Therefore, the sampling unit 83 uses the block B_LURThe vertical one-dimensional DCT coefficients of the eighth column of_LDRThe vertical one-dimensional inverse DCT transformation of the vertical one-dimensional DCT coefficients in the eighth column is requested to the vertical one-dimensional inverse DCT transformation unit 82.
[0292]
In response to a request from the sampling unit 83, the vertical one-dimensional inverse DCT transform unit 82 receives the block B in step S24._LURThe vertical one-dimensional DCT coefficients of the eighth column of_LDRAre read from the memory 81 and subjected to vertical one-dimensional inverse DCT transform. As a result, the vertical one-dimensional inverse DCT transform unit 82_LUR8 pixels in the 8th column and block B_LDRAre obtained, supplied to the sampling unit 83, and the process proceeds to step S25.
[0293]
In step S25, the sampling unit 83 receives the block B supplied from the vertical one-dimensional inverse DCT transform unit 82._LURBlock B which is sampled from the 8 pixels in the eighth column of the odd-numbered row and supplied from the vertical one-dimensional inverse DCT transform unit 82_LDR4 pixels in odd rows of the 8 pixels in the 8th column are sampled, and the block B_LUR4 pixels in the odd-numbered rows sampled from the eighth column are arranged on the upper side, and the block B_LDRBy arranging 4 pixels in the odd rows sampled from the 8th column in the lower side, the 8 pixels arranged in the vertical direction having the same field (top field) structure as the macroblock of interest are converted into the vertical one-dimensional DCT conversion unit 84. To supply.
[0294]
When the vertical one-dimensional DCT conversion unit 84 receives the eight pixels sampled by the sampling unit 83, in step S26, the vertical one-dimensional DCT conversion is performed on the eight pixels, thereby the left adjacent macroblock MB._LBlock B in the upper right of_LUR4 pixels in the odd-numbered row in the rightmost column and the lower right block B_LDRA vertical one-dimensional DCT coefficient obtained by vertical one-dimensional DCT conversion of a total of eight pixels in the odd-numbered rows of 4 is obtained and supplied to the selection unit 85. The selection unit 85 selects the vertical one-dimensional DCT coefficient supplied from the vertical one-dimensional DCT conversion unit 84 and outputs it as the left adjacent one-dimensional DCT coefficient.
[0295]
If it is determined in step S19 that the DCT type of the target macroblock and the left adjacent macroblock are both field DCTs, the process proceeds to step S27, and the selection unit 85, as described in FIG. Adjacent macroblock MB_LBlock B in the upper right of_LURA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on the eight pixels in the rightmost column is acquired as a left adjacent one-dimensional DCT coefficient.
[0296]
That is, the target block is the block B at the upper left of the target macro block._NULIn the case where the target macroblock and the left adjacent macroblock both have a field structure, the left adjacent one-dimensional DCT coefficient is the left adjacent macroblock MB as described with reference to FIG. 10D._LBlock B in the upper right of_LURAre the vertical one-dimensional DCT coefficients obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the rightmost column of_LURAre the vertical one-dimensional DCT coefficients of the eighth column. Block B_LURThe vertical one-dimensional DCT coefficients of the eighth column are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S27._LURAre read out and selected, and output as the left adjacent one-dimensional DCT coefficients.
[0297]
After the processing of steps S20, S23, S26, and S27, all proceed to step S28, and the selection unit 85, as described in FIG._NULBlock B to the right of_NURA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on the eight pixels in the leftmost column is acquired as a right adjacent one-dimensional DCT coefficient.
[0298]
That is, the target block is the block B at the upper left of the target macro block._NUL, The right adjacent one-dimensional DCT coefficient is equal to the target block B as described in FIG._NULBlock B to the right of_NURIs a vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the leftmost column of_NURIs the vertical one-dimensional DCT coefficient of the first column. Block B_NURThe vertical one-dimensional DCT coefficients of the first column are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S28._NURThe vertical one-dimensional DCT coefficients in the first column are read out and selected, output as the right adjacent one-dimensional DCT coefficients, and the upper left block processing ends.
[0299]
Next, the lower left block process in step S3 of FIG. 25 will be described with reference to the flowchart of FIG.
[0300]
In the lower left block processing, the lower left block B of the target macro block_NDL, An upper adjacent one-dimensional DCT coefficient, a lower adjacent one-dimensional DCT coefficient, a left adjacent one-dimensional DCT coefficient, and a right adjacent one-dimensional DCT coefficient are acquired.
[0301]
That is, in the lower left block process, first, in step S31, the selection unit 85 determines the DCT type of the macro block of interest.
[0302]
If it is determined in step S31 that the DCT type of the target macroblock is the frame DCT, the process proceeds to step S32, and the selection unit 85, as described with reference to FIG._NBlock B in the upper left of_NULA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row of is obtained as an upper adjacent one-dimensional DCT coefficient.
[0303]
That is, the target block is the lower left block B of the target macro block._NDLIn the case where the target macroblock has a frame structure, the upper adjacent one-dimensional DCT coefficient is equal to the target macroblock MB as described with reference to FIG._NBlock B in the upper left of_NULAre the horizontal one-dimensional DCT coefficients obtained by performing horizontal one-dimensional DCT transformation on the eight pixels in the bottom row of_NULThis is the horizontal one-dimensional DCT coefficient of the eighth row. Block B_NULThe horizontal one-dimensional DCT coefficients of the eighth row are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S32._NULThe horizontal one-dimensional DCT coefficient in the eighth row is read and selected, and is output as the upper adjacent one-dimensional DCT coefficient.
[0304]
If it is determined in step S31 that the DCT type of the target macroblock is field DCT, the process proceeds to step S33, and the selection unit 85, as described in FIG._UBlock B at the lower left of_UDLA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row of is obtained as an upper adjacent one-dimensional DCT coefficient.
[0305]
That is, the target block is the lower left block B of the target macro block._NDLIn the case where the macro block of interest has a field structure, the upper adjacent one-dimensional DCT coefficient is equal to the upper adjacent macro block MB as described with reference to FIG._UBlock B at the lower left of_UDLAre the horizontal one-dimensional DCT coefficients obtained by performing horizontal one-dimensional DCT transformation on the eight pixels in the bottom row of_UDLThis is the horizontal one-dimensional DCT coefficient of the eighth row. Block B_UDLThe horizontal one-dimensional DCT coefficient of the first row of is stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S33._UDLThe horizontal one-dimensional DCT coefficient in the first row is read and selected, and is output as the upper adjacent one-dimensional DCT coefficient.
[0306]
After the processing of steps S32 and S33, both proceed to step S34, and the selection unit 85 determines the DCT type of the target macroblock and the lower adjacent macroblock.
[0307]
If it is determined in step S34 that the DCT type of the target macroblock and the lower adjacent macroblock are both frame DCT, the process proceeds to step S35, and the selection unit 85, as described in FIG. Block MB_DBlock B in the upper left of_DULA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the eight pixels in the top row is acquired as a lower adjacent one-dimensional DCT coefficient.
[0308]
That is, the target block is the lower left block B of the target macro block._NDLIn the case where the target macroblock and the lower adjacent macroblock are both frame structures, the lower adjacent one-dimensional DCT coefficient is lower adjacent macroblock MB as described with reference to FIG. 13A._DBlock B in the upper left of_DUL8 is a horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT transformation on the eight pixels in the top row in FIG._DULIs the horizontal one-dimensional DCT coefficient of the first row. Block B_DULThe horizontal one-dimensional DCT coefficient of the first row of is stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S35._DULThe horizontal one-dimensional DCT coefficient in the first row is read and selected, and is output as the lower adjacent one-dimensional DCT coefficient.
[0309]
If it is determined in step S34 that the DCT type of the target macroblock is the frame DCT and the DCT type of the lower adjacent macroblock is the field DCT, the process proceeds to step S36, and the selection unit 85 is described with reference to FIG. 13B. As shown, lower adjacent macroblock MB_DBlock B in the upper left of_DULA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the eight pixels in the top row is acquired as a lower adjacent one-dimensional DCT coefficient.
[0310]
That is, the target block is the lower left block B of the target macro block._NDLIn the case where the target macroblock has a frame structure and the lower adjacent macroblock has a field structure, the lower adjacent one-dimensional DCT coefficient is lower adjacent macroblock MB as described in FIG. 13B._DBlock B in the upper left of_DUL8 is a horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row in FIG._DULIs the horizontal one-dimensional DCT coefficient of the first row. Block B_DULThe horizontal one-dimensional DCT coefficient of the first row of is stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S36._DULThe horizontal one-dimensional DCT coefficient in the first row is read and selected, and is output as the lower adjacent one-dimensional DCT coefficient.
[0311]
If it is determined in step S34 that the DCT type of the target macroblock is the field DCT and the DCT type of the lower adjacent macroblock is the frame DCT, the process proceeds to step S37, and the selection unit 85 is described with reference to FIG. 13C. As shown, lower adjacent macroblock MB_DBlock B in the upper left of_DULA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT transformation on the 8 pixels in the second row is acquired as a lower adjacent one-dimensional DCT coefficient.
[0312]
That is, the target block is the lower left block B of the target macro block._NDLIf the target macroblock has a field structure and the lower adjacent macroblock has a frame structure, the lower adjacent one-dimensional DCT coefficient is lower adjacent macroblock MB as described with reference to FIG. 13C._DBlock B in the upper left of_DULAre horizontal one-dimensional DCT coefficients obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the second row of the second row._DULIs the horizontal one-dimensional DCT coefficient of the second row. Block B_DULThe horizontal one-dimensional DCT coefficients of the second row are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S37._DULThe horizontal one-dimensional DCT coefficient in the second row is read and selected, and is output as the lower adjacent one-dimensional DCT coefficient.
[0313]
If it is determined in step S34 that the DCT type of the target macroblock and the lower adjacent macroblock are both field DCTs, the process proceeds to step S38, and the selection unit 85, as described in FIG. Adjacent macroblock MB_DBlock B at the lower left of_DDLA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the eight pixels in the top row is acquired as a lower adjacent one-dimensional DCT coefficient.
[0314]
That is, the target block is the lower left block B of the target macro block._NDLIn the case where the target macroblock and the lower adjacent macroblock are both field structures, the lower adjacent one-dimensional DCT coefficient is lower adjacent macroblock MB as described with reference to FIG. 13D._DBlock B at the lower left of_DDLAre the horizontal one-dimensional DCT coefficients obtained by horizontal one-dimensional DCT conversion of the eight pixels in the top row of_DDLIs the horizontal one-dimensional DCT coefficient of the first row. Block B_DDLThe horizontal one-dimensional DCT coefficient of the first row of is stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S38._DDLThe horizontal one-dimensional DCT coefficient in the first row is read and selected, and is output as the lower adjacent one-dimensional DCT coefficient.
[0315]
After the processing of steps S35 to S38, the process proceeds to step S39, and the sampling unit 83 and the selection unit 85 determine the DCT type of the target macroblock and the left adjacent macroblock.
[0316]
If it is determined in step S39 that the DCT type of the target macroblock and the left adjacent macroblock are both frame DCT, the process proceeds to step S40, and the selection unit 85, as described in FIG. Block MB_LBlock B on the lower right of_LDRA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on the eight pixels in the rightmost column is acquired as a left adjacent one-dimensional DCT coefficient.
[0317]
That is, the target block is the lower left block B of the target macro block._NDLIn the case where the target macroblock and the left adjacent macroblock both have a frame structure, the left adjacent one-dimensional DCT coefficient is, as described with reference to FIG. 14A, the left adjacent macroblock MB._LBlock B on the lower right of_LDRAre the vertical one-dimensional DCT coefficients obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the rightmost column of_LDRAre the vertical one-dimensional DCT coefficients of the eighth column. Block B_LDRThe vertical one-dimensional DCT coefficients of the eighth column are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S40._LDRAre read out and selected, and output as the left adjacent one-dimensional DCT coefficients.
[0318]
If it is determined in step S39 that the DCT type of the target macroblock is the frame DCT and the DCT type of the left adjacent macroblock is the field DCT, the process proceeds to steps S41 to S43 in sequence, and the selection unit 85 As described in 14B, the left adjacent macroblock MB_LBlock B in the upper right of_LURLower 4 pixels in the rightmost column and block B in the lower right_LDRA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels in the lower four pixels in the rightmost column is acquired as a left adjacent one-dimensional DCT coefficient.
[0319]
That is, the target block is the lower left block B of the target macro block._NDLIn the case where the target macroblock has a frame structure and the left adjacent macroblock has a field structure, the left adjacent one-dimensional DCT coefficient is the left adjacent macroblock MB as described with reference to FIG. 14B._LBlock B in the upper right of_LURThe upper four pixels in the rightmost column and the lower right block B_LDRA vertical one-dimensional DCT coefficient obtained by vertical one-dimensional DCT conversion of a total of eight pixels in the upper four pixels in the rightmost column in FIG. 6 does not exist in the memory 81.
[0320]
Therefore, the sampling unit 83 uses the block B_LURThe vertical one-dimensional DCT coefficients of the eighth column of_LDRThe vertical one-dimensional inverse DCT transformation of the vertical one-dimensional DCT coefficients in the eighth column is requested to the vertical one-dimensional inverse DCT transformation unit 82.
[0321]
In response to a request from the sampling unit 83, the vertical one-dimensional inverse DCT transform unit 82 receives the block B in step S41._LURThe vertical one-dimensional DCT coefficients of the eighth column of_LDRAre read from the memory 81 and subjected to vertical one-dimensional inverse DCT transform. As a result, the vertical one-dimensional inverse DCT transform unit 82_LUR8 pixels in the 8th column and block B_LDRAre obtained, supplied to the sampling unit 83, and the process proceeds to step S42.
[0322]
In step S42, the sampling unit 83 receives the block B supplied from the vertical one-dimensional inverse DCT transform unit 82._LURBlock B supplied from the vertical one-dimensional inverse DCT converter 82 while sampling the lower four pixels of the eight pixels in the eighth column_LDRThe bottom four pixels of the eight pixels in the eighth column of_LURThe top four pixels sampled from the eighth column of the pixel are arranged in odd rows (top fields), and the block B_LDRBy arranging the upper 4 pixels sampled from the eighth column in even rows (bottom field), 8 pixels arranged in the vertical direction having the same frame structure as the macro block of interest are supplied to the vertical one-dimensional DCT converter 84. To do.
[0323]
When the vertical one-dimensional DCT conversion unit 84 receives the eight pixels sampled by the sampling unit 83, the vertical one-dimensional DCT conversion is performed on the eight pixels in step S43._LBlock B in the upper right of_LURThe upper four pixels in the rightmost column and the lower right block B_LDRA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels of the upper four pixels in the rightmost column in FIG. The selection unit 85 selects the vertical one-dimensional DCT coefficient supplied from the vertical one-dimensional DCT conversion unit 84 and outputs it as the left adjacent one-dimensional DCT coefficient.
[0324]
If it is determined in step S39 that the DCT type of the target macroblock is the field DCT and the DCT type of the left adjacent macroblock is the frame DCT, the process proceeds to steps S44 to S46 in sequence, and the selection unit 85 As described in 14C, the left adjacent macroblock MB_LBlock B in the upper right of_LUR4 pixels in the even-numbered row in the rightmost column and the lower right block B_LDRA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels in the even-numbered rows is acquired as a left adjacent one-dimensional DCT coefficient.
[0325]
That is, the target block is the lower left block B of the target macro block._NDLIn the case where the target macroblock has a field structure and the left adjacent macroblock has a frame structure, the left adjacent one-dimensional DCT coefficient is equal to the left adjacent macroblock MB as described with reference to FIG. 14C._LBlock B in the upper right of_LUR4 pixels in the even-numbered row in the rightmost column and the lower right block B_LDRThe vertical one-dimensional DCT coefficient obtained by vertical one-dimensional DCT conversion of a total of eight pixels of the four pixels in the even-numbered row in FIG.
[0326]
Therefore, the sampling unit 83 uses the block B_LURThe vertical one-dimensional DCT coefficients of the eighth column of_LDRThe vertical one-dimensional inverse DCT transformation of the vertical one-dimensional DCT coefficients in the eighth column is requested to the vertical one-dimensional inverse DCT transformation unit 82.
[0327]
In response to a request from the sampling unit 83, the vertical one-dimensional inverse DCT transform unit 82 receives the block B in step S44._LURThe vertical one-dimensional DCT coefficients of the eighth column of_LDRAre read from the memory 81 and subjected to vertical one-dimensional inverse DCT transform. As a result, the vertical one-dimensional inverse DCT transform unit 82_LUR8 pixels in the 8th column and block B_LDRAre obtained, supplied to the sampling unit 83, and the process proceeds to step S45.
[0328]
In step S45, the sampling unit 83 supplies the block B supplied from the vertical one-dimensional inverse DCT transform unit 82._LURBlock B which is sampled from the even pixels in the 8th column of the 8th column and supplied from the vertical one-dimensional inverse DCT transform unit 82_LDR4 pixels in an even-numbered row of 8 pixels in the eighth column of_LUR4 pixels of the even-numbered rows sampled from the eighth column of FIG._LDRBy arranging 4 pixels in even rows sampled from the eighth column of the 8th column on the lower side, 8 pixels arranged in the vertical direction having the same field (bottom field) structure as the macro block of interest are converted into a vertical one-dimensional DCT converter 84. To supply.
[0329]
When the vertical one-dimensional DCT conversion unit 84 receives the eight pixels sampled by the sampling unit 83, in step S46, the vertical one-dimensional DCT conversion is performed on the eight pixels, thereby the left adjacent macroblock MB._LBlock B in the upper right of_LUR4 pixels in the even-numbered row in the rightmost column and the lower right block B_LDRA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels of the four pixels in the even row is supplied to the selection unit 85. The selection unit 85 selects the vertical one-dimensional DCT coefficient supplied from the vertical one-dimensional DCT conversion unit 84 and outputs it as the left adjacent one-dimensional DCT coefficient.
[0330]
If it is determined in step S39 that the DCT type of the target macroblock and the left adjacent macroblock are both field DCTs, the process proceeds to step S47, and the selection unit 85, as described in FIG. Adjacent macroblock MB_LBlock B on the lower right of_LDRA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on the eight pixels in the rightmost column is acquired as a left adjacent one-dimensional DCT coefficient.
[0331]
That is, the target block is the lower left block B of the target macro block._NDLIn the case where the target macroblock and the left adjacent macroblock both have a field structure, the left adjacent one-dimensional DCT coefficient is, as described with reference to FIG._LBlock B on the lower right of_LDRAre the vertical one-dimensional DCT coefficients obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the rightmost column of_LDRAre the vertical one-dimensional DCT coefficients of the eighth column. Block B_LDRThe eighth column vertical one-dimensional DCT coefficients are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S47._LDRAre read out and selected, and output as the left adjacent one-dimensional DCT coefficients.
[0332]
After the processing of steps S40, S43, S46, and S47, all proceed to step S48, and the selection unit 85, as described in FIG._NDLBlock B to the right of_NDRA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on the eight pixels in the leftmost column is acquired as a right adjacent one-dimensional DCT coefficient.
[0333]
That is, the target block is the lower left block B of the target macro block._NDL, The right adjacent one-dimensional DCT coefficient is equal to the target block B as described in FIG._NDLBlock B to the right of_NDRIs a vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the leftmost column of_NDRIs the vertical one-dimensional DCT coefficient of the first column. Block B_NDRThe vertical one-dimensional DCT coefficients of the first column are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S48._NDRThe vertical one-dimensional DCT coefficients of the first column are read out and selected, output as the right adjacent vertical one-dimensional DCT coefficients, and the lower left block processing ends.
[0334]
Next, the upper right block process in step S4 of FIG. 25 will be described with reference to the flowchart of FIG.
[0335]
In the upper right block processing, the upper right block B of the target macro block_NUR, An upper adjacent one-dimensional DCT coefficient, a lower adjacent one-dimensional DCT coefficient, a left adjacent one-dimensional DCT coefficient, and a right adjacent one-dimensional DCT coefficient are acquired.
[0336]
That is, in the upper right block process, first, in step S51, the selection unit 85 determines the DCT type of the target macro block and the upper adjacent macro block.
[0337]
When it is determined in step S51 that the DCT type of the target macroblock and the upper adjacent macroblock are both frame DCT, the process proceeds to step S52, and the selection unit 85, as described with reference to FIG. Block MB_UBlock B on the lower right of_UDRA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row is acquired as an upper adjacent one-dimensional DCT coefficient.
[0338]
That is, the target block is the block B at the upper right of the target macro block._NURIn the case where the target macroblock and the upper adjacent macroblock both have a frame structure, the upper adjacent one-dimensional DCT coefficient is equal to the upper adjacent macroblock MB as described with reference to FIG. 16A._UBlock B on the lower right of_UDR8 is a horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row in FIG._UDRThis is the horizontal one-dimensional DCT coefficient of the eighth row. Block B_UDRThe horizontal one-dimensional DCT coefficients of the eighth row are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S52._UDRThe horizontal one-dimensional DCT coefficient in the eighth row is read and selected, and is output as the upper adjacent one-dimensional DCT coefficient.
[0339]
If it is determined in step S51 that the DCT type of the target macroblock is the frame DCT and the DCT type of the upper adjacent macroblock is the field DCT, the process proceeds to step S53, and the selection unit 85 is described with reference to FIG. 16B. As above, upper adjacent macroblock MB_UBlock B on the lower right of_UDRA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row of is obtained as an upper adjacent one-dimensional DCT coefficient.
[0340]
That is, the target block is the block B at the upper right of the target macro block._NURIn the case where the target macroblock has a frame structure and the upper adjacent macroblock has a field structure, the upper adjacent one-dimensional DCT coefficient is equal to the upper adjacent macroblock MB as described with reference to FIG._UBlock B on the lower right of_UDR8 is a horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row in FIG._UDRThis is the horizontal one-dimensional DCT coefficient of the eighth row. Block B_UDRThe horizontal one-dimensional DCT coefficients of the eighth row are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S53._UDRThe horizontal one-dimensional DCT coefficient in the eighth row is read and selected, and is output as the upper adjacent one-dimensional DCT coefficient.
[0341]
If it is determined in step S51 that the DCT type of the target macroblock is the field DCT and the DCT type of the upper adjacent macroblock is the frame DCT, the process proceeds to step S54, and the selection unit 85 is described with reference to FIG. 16C. As above, upper adjacent macroblock MB_UBlock B on the lower right of_UDRA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT transformation on the 8 pixels in the seventh row is acquired as an upper adjacent one-dimensional DCT coefficient.
[0342]
That is, the target block is the block B at the upper right of the target macro block._NURIn the case where the target macroblock has a field structure and the upper adjacent macroblock has a frame structure, the upper adjacent one-dimensional DCT coefficient is equal to the upper adjacent macroblock MB as described with reference to FIG._UBlock B on the lower right of_UDRAre the horizontal one-dimensional DCT coefficients obtained by performing horizontal one-dimensional DCT conversion on the eight pixels in the seventh row._UDRThis is the horizontal one-dimensional DCT coefficient of the seventh row. Block B_UDRThe horizontal one-dimensional DCT coefficients of the seventh row are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S54._UDRThe horizontal one-dimensional DCT coefficient of the seventh row is read and selected, and is output as the upper adjacent one-dimensional DCT coefficient.
[0343]
If it is determined in step S51 that the DCT type of the target macroblock and the upper adjacent macroblock are both field DCTs, the process proceeds to step S55, and the selection unit 85, as described in FIG. Adjacent macroblock MB_UBlock B in the upper right of_UURA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row of is obtained as an upper adjacent one-dimensional DCT coefficient.
[0344]
That is, the target block is the block B at the upper right of the target macro block._NURIn the case where the target macroblock and the upper adjacent macroblock both have a field structure, the upper adjacent one-dimensional DCT coefficient is equal to the upper adjacent macroblock MB as described with reference to FIG. 16D._UBlock B in the upper right of_UURAre the horizontal one-dimensional DCT coefficients obtained by performing horizontal one-dimensional DCT transformation on the eight pixels in the bottom row of_UULThis is the horizontal one-dimensional DCT coefficient of the eighth row. Block B_UURThe horizontal one-dimensional DCT coefficient of the eighth row is stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S55._UURThe horizontal one-dimensional DCT coefficient in the eighth row is read and selected, and is output as the upper adjacent one-dimensional DCT coefficient.
[0345]
After the processes in steps S52 to S55, the process proceeds to step S56, and the selection unit 85 determines the DCT type of the target macroblock.
[0346]
If it is determined in step S56 that the DCT type of the target macroblock is the frame DCT, the process proceeds to step S57, and the selection unit 85, as described with reference to FIG._NBlock B on the lower right of_NDRA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the eight pixels in the top row is acquired as a lower adjacent one-dimensional DCT coefficient.
[0347]
That is, the target block is the block B at the upper right of the target macro block._NURIn the case where the target macroblock has a frame structure, the lower adjacent one-dimensional DCT coefficient is the target macroblock MB as described with reference to FIG. 17A._NBlock B on the lower right of_NDRAre the horizontal one-dimensional DCT coefficients obtained by horizontal one-dimensional DCT conversion of the eight pixels in the top row of_NDRIs the horizontal one-dimensional DCT coefficient of the first row. Block B_NDRThe horizontal one-dimensional DCT coefficient of the first row of is stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S57._NDRThe horizontal one-dimensional DCT coefficient in the first row is read and selected, and is output as the lower adjacent one-dimensional DCT coefficient.
[0348]
If it is determined in step S56 that the DCT type of the target macroblock is the field DCT, the process proceeds to step S58, and the selection unit 85, as described in FIG. 17B, selects the lower adjacent macroblock MB._DBlock B in the upper right of_DURA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the eight pixels in the top row is acquired as a lower adjacent one-dimensional DCT coefficient.
[0349]
That is, the target block is the block B at the upper right of the target macro block._NUR, When the target macroblock has a field structure, the lower adjacent one-dimensional DCT coefficient is lower adjacent macroblock MB as described with reference to FIG. 17B._DBlock B in the upper right of_DURAre the horizontal one-dimensional DCT coefficients obtained by horizontal one-dimensional DCT conversion of the eight pixels in the top row of_DURIs the horizontal one-dimensional DCT coefficient of the first row. Block B_DURThe horizontal one-dimensional DCT coefficient of the first row of is stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S58._DURThe horizontal one-dimensional DCT coefficient in the first row is read and selected, and is output as the lower adjacent one-dimensional DCT coefficient.
[0350]
After the processes of steps S57 and S58, the process proceeds to step S59, and the sampling unit 83 and the selection unit 85 determine the DCT type of the target macroblock and the right adjacent macroblock.
[0351]
If it is determined in step S59 that the DCT type of the target macroblock and the right adjacent macroblock are both frame DCT, the process proceeds to step S60, and the selection unit 85, as described in FIG. Block MB_RBlock B in the upper left of_RULA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on the eight pixels in the leftmost column is acquired as a right adjacent one-dimensional DCT coefficient.
[0352]
That is, the target block is the block B at the upper right of the target macro block._NURWhen the target macroblock and the right adjacent macroblock both have a frame structure, the right adjacent one-dimensional DCT coefficient is the right adjacent macroblock MB as described with reference to FIG. 19A._RBlock B in the upper left of_RULIs a vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the leftmost column of_RULIs the vertical one-dimensional DCT coefficient of the first column. Block B_RULThe vertical one-dimensional DCT coefficients of the first column are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S60._RULThe vertical one-dimensional DCT coefficients of the first column are read out and selected and output as the right adjacent one-dimensional DCT coefficients.
[0353]
If it is determined in step S59 that the DCT type of the target macroblock is the frame DCT and the DCT type of the right adjacent macroblock is the field DCT, the process proceeds to steps S61 to S63 sequentially. As described in 19B, right adjacent macroblock MB_RBlock B in the upper left of_RULThe top four pixels in the leftmost column and the lower left block B_RDLA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT transformation on a total of eight pixels in the upper four pixels in the leftmost column is acquired as a right adjacent one-dimensional DCT coefficient.
[0354]
That is, the target block is the block B at the upper right of the target macro block._NURIn the case where the target macroblock has a frame structure and the right adjacent macroblock has a field structure, the right adjacent one-dimensional DCT coefficient is the right adjacent macroblock MB as described with reference to FIG. 19B._RBlock B in the upper left of_RULThe top four pixels in the leftmost column and the lower left block B_RDLA vertical one-dimensional DCT coefficient obtained by vertical one-dimensional DCT conversion of a total of eight pixels in the upper four pixels in the leftmost column is not present in the memory 81.
[0355]
Therefore, the sampling unit 83 uses the block B_RULVertical one-dimensional DCT coefficients in the first column of block B and block B_RDLThe vertical one-dimensional inverse DCT transformation of the vertical one-dimensional DCT coefficient of the first column is requested to the vertical one-dimensional inverse DCT transformation unit 82.
[0356]
In response to a request from the sampling unit 83, the vertical one-dimensional inverse DCT transform unit 82 receives the block B in step S61._RULVertical one-dimensional DCT coefficients in the first column of block B and block B_RDLThe vertical one-dimensional DCT coefficients of the first column are read from the memory 81 and subjected to vertical one-dimensional inverse DCT transform. As a result, the vertical one-dimensional inverse DCT transform unit 82_RUL8 pixels in the first column and block B_RDLAre obtained, supplied to the sampling unit 83, and the process proceeds to step S62.
[0357]
In step S62, the sampling unit 83 supplies the block B supplied from the vertical one-dimensional inverse DCT transform unit 82._RULBlock B supplied from the vertical one-dimensional inverse DCT conversion unit 82 while sampling the upper four pixels of the eight pixels in the first column_RDLThe top 4 pixels of the 8 pixels in the first column of_RULThe top four pixels sampled from the first column of the pixel are arranged in odd rows (top fields), and the block B_RDLBy arranging the top 4 pixels sampled from the first column in even rows (bottom field), 8 pixels arranged in the vertical direction having the same frame structure as the macro block of interest are supplied to the vertical one-dimensional DCT converter 84. To do.
[0358]
When the vertical one-dimensional DCT conversion unit 84 receives the eight pixels sampled by the sampling unit 83, in step S63, the vertical one-dimensional DCT conversion is performed on the eight pixels, thereby the right adjacent macroblock MB._RBlock B in the upper left of_RULThe top four pixels in the leftmost column and the lower left block B_RDLA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels of the upper four pixels in the leftmost column in FIG. The selection unit 85 selects the vertical one-dimensional DCT coefficient supplied from the vertical one-dimensional DCT conversion unit 84 and outputs it as the right adjacent one-dimensional DCT coefficient.
[0359]
If it is determined in step S59 that the DCT type of the target macroblock is the field DCT and the DCT type of the right adjacent macroblock is the frame DCT, the process proceeds to steps S64 to S66 sequentially. As described in 19C, right adjacent macroblock MB_RBlock B in the upper left of_RUL4 pixels in the odd-numbered row in the leftmost column and the lower left block B_RDLA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels of the odd-numbered four pixels is obtained as a right adjacent one-dimensional DCT coefficient.
[0360]
That is, the target block is the block B at the upper right of the target macro block._NURIn the case where the target macroblock has a field structure and the right adjacent macroblock has a frame structure, the right adjacent one-dimensional DCT coefficient is the right adjacent macroblock MB as described with reference to FIG. 19C._LBlock B in the upper left of_RUL4 pixels in the odd-numbered row in the leftmost column and the lower left block B_RDLThe vertical one-dimensional DCT coefficient obtained by vertical one-dimensional DCT conversion of a total of eight pixels of the odd-numbered four pixels in FIG.
[0361]
Therefore, the sampling unit 83 uses the block B_RULVertical one-dimensional DCT coefficients in the first column of block B and block B_RDLThe vertical one-dimensional inverse DCT transformation of the vertical one-dimensional DCT coefficient of the first column is requested to the vertical one-dimensional inverse DCT transformation unit 82.
[0362]
In response to a request from the sampling unit 83, the vertical one-dimensional inverse DCT transform unit 82 receives the block B in step S64._RULVertical one-dimensional DCT coefficients in the first column of block B and block B_RDLThe vertical one-dimensional DCT coefficients of the first column are read from the memory 81 and subjected to vertical one-dimensional inverse DCT transform. As a result, the vertical one-dimensional inverse DCT transform unit 82_RUL8 pixels in the first column and block B_RDLAre obtained, supplied to the sampling unit 83, and the process proceeds to step S65.
[0363]
In step S65, the sampling unit 83 supplies the block B supplied from the vertical one-dimensional inverse DCT transform unit 82._RULBlock B supplied from the vertical one-dimensional inverse DCT transform unit 82 while sampling four pixels in odd rows of the eight pixels in the first column_RDL4 pixels in odd rows of the 8 pixels in the first column of_RUL4 pixels in the odd-numbered rows sampled from the first column of FIG._RDLBy arranging the four pixels in the odd rows sampled from the first column in the lower side, the vertical one-dimensional DCT converter 84 converts the eight pixels arranged in the vertical direction in the same field (top field) structure as the macro block of interest. To supply.
[0364]
When the vertical one-dimensional DCT conversion unit 84 receives the eight pixels sampled by the sampling unit 83, the vertical one-dimensional DCT conversion is performed on the eight pixels in step S66._RBlock B in the upper left of_RUL4 pixels in the odd-numbered row in the leftmost column and the lower left block B_RDLA vertical one-dimensional DCT coefficient obtained by vertical one-dimensional DCT conversion of a total of eight pixels in the odd-numbered rows of 4 is obtained and supplied to the selection unit 85. The selection unit 85 selects the vertical one-dimensional DCT coefficient supplied from the vertical one-dimensional DCT conversion unit 84 and outputs it as the right adjacent one-dimensional DCT coefficient.
[0365]
If it is determined in step S59 that the DCT type of the target macroblock and the right adjacent macroblock are both field DCTs, the process proceeds to step S67, and the selection unit 85, as described in FIG. Adjacent macroblock MB_RBlock B in the upper left of_RULA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on the eight pixels in the leftmost column is acquired as a right adjacent one-dimensional DCT coefficient.
[0366]
That is, the target block is the block B at the upper right of the target macro block._NURIn the case where the target macroblock and the right adjacent macroblock both have a field structure, the right adjacent one-dimensional DCT coefficient is, as described with reference to FIG. 19D, the right adjacent macroblock MB._RBlock B in the upper left of_RULIs a vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the leftmost column of_RULIs the vertical one-dimensional DCT coefficient of the first column. Block B_RULThe vertical one-dimensional DCT coefficients of the first column are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S67._RULThe vertical one-dimensional DCT coefficients of the first column are read out and selected and output as the right adjacent one-dimensional DCT coefficients.
[0367]
After the processing of steps S60, S63, S66, and S67, all proceed to step S68, and the selection unit 85, as described with reference to FIG._NURBlock B next to the left_NULA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on the eight pixels in the rightmost column is acquired as a left adjacent one-dimensional DCT coefficient.
[0368]
That is, the target block is the block B at the upper right of the target macro block._NUR, The left adjacent one-dimensional DCT coefficient is the target block B as described with reference to FIG._NURBlock B next to the left_NULAre the vertical one-dimensional DCT coefficients obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the rightmost column of_NULAre the vertical one-dimensional DCT coefficients of the eighth column. Block B_NURThe vertical one-dimensional DCT coefficients of the eighth column are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S68._NULThe eighth column vertical one-dimensional DCT coefficients are read out and selected, output as the left adjacent vertical one-dimensional DCT coefficients, and the upper right block processing is terminated.
[0369]
Next, the lower right block process in step S5 of FIG. 25 will be described with reference to the flowchart of FIG.
[0370]
In the lower right block processing, the lower right block B of the target macro block_NDR, An upper adjacent one-dimensional DCT coefficient, a lower adjacent one-dimensional DCT coefficient, a left adjacent one-dimensional DCT coefficient, and a right adjacent one-dimensional DCT coefficient are acquired.
[0371]
That is, in the lower right block process, first, in step S71, the selection unit 85 determines the DCT type of the target macro block.
[0372]
When it is determined in step S71 that the DCT type of the target macroblock is the frame DCT, the process proceeds to step S72, and the selection unit 85, as described in FIG._NBlock B in the upper right of_NURA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row of is obtained as an upper adjacent one-dimensional DCT coefficient.
[0373]
That is, the target block is the lower right block B of the target macro block._NDRIn the case where the target macroblock has a frame structure, the upper adjacent one-dimensional DCT coefficient is equal to the target macroblock MB as described with reference to FIG._NBlock B in the upper right of_NURAre the horizontal one-dimensional DCT coefficients obtained by performing horizontal one-dimensional DCT transformation on the eight pixels in the bottom row of_NURThis is the horizontal one-dimensional DCT coefficient of the eighth row. Block B_NURThe horizontal one-dimensional DCT coefficients of the eighth row are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S72._NURThe horizontal one-dimensional DCT coefficient in the eighth row is read and selected, and is output as the upper adjacent one-dimensional DCT coefficient.
[0374]
If it is determined in step S71 that the DCT type of the target macroblock is the field DCT, the process proceeds to step S73, and the selection unit 85, as described in FIG._UBlock B on the lower right of_UDRA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row of is obtained as an upper adjacent one-dimensional DCT coefficient.
[0375]
That is, the target block is the lower right block B of the target macro block._NDRWhen the target macroblock has a field structure, the upper adjacent one-dimensional DCT coefficient is equal to the upper adjacent macroblock MB as described with reference to FIG. 20B._UBlock B on the lower right of_UDRAre the horizontal one-dimensional DCT coefficients obtained by performing horizontal one-dimensional DCT transformation on the eight pixels in the bottom row of_UDRThis is the horizontal one-dimensional DCT coefficient of the eighth row. Block B_UDRThe horizontal one-dimensional DCT coefficient of the first row of is stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S73._UDRThe horizontal one-dimensional DCT coefficient in the eighth row is read and selected, and is output as the upper adjacent one-dimensional DCT coefficient.
[0376]
After the processes of steps S72 and S73, both proceed to step S74, and the selection unit 85 determines the DCT type of the target macroblock and the lower adjacent macroblock.
[0377]
If it is determined in step S74 that the DCT type of the target macroblock and the lower adjacent macroblock are both frame DCT, the process proceeds to step S75, and the selection unit 85, as described in FIG. Block MB_DBlock B in the upper right of_DURA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the eight pixels in the top row is acquired as a lower adjacent one-dimensional DCT coefficient.
[0378]
That is, the target block is the lower right block B of the target macro block._NDRIn the case where the target macroblock and the lower adjacent macroblock are both frame structures, the lower adjacent one-dimensional DCT coefficient is lower adjacent macroblock MB as described with reference to FIG. 21A._DBlock B in the upper right of_DUR8 is a horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT transformation on the eight pixels in the top row in FIG._DURIs the horizontal one-dimensional DCT coefficient of the first row. Block B_DURThe horizontal one-dimensional DCT coefficient of the first row of is stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S75._DURThe horizontal one-dimensional DCT coefficient in the first row is read and selected, and is output as the lower adjacent one-dimensional DCT coefficient.
[0379]
If it is determined in step S74 that the DCT type of the target macroblock is the frame DCT and the DCT type of the lower adjacent macroblock is the field DCT, the process proceeds to step S76, and the selection unit 85 is described with reference to FIG. 21B. As shown, lower adjacent macroblock MB_DBlock B in the upper right of_DURA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the eight pixels in the top row is acquired as a lower adjacent one-dimensional DCT coefficient.
[0380]
That is, the target block is the lower right block B of the target macro block._NDRIn the case where the target macroblock has a frame structure and the lower adjacent macroblock has a field structure, the lower adjacent one-dimensional DCT coefficient is lower adjacent macroblock MB as described with reference to FIG. 21B._DBlock B in the upper right of_DUR8 is a horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the bottom row in FIG._DURIs the horizontal one-dimensional DCT coefficient of the first row. Block B_DURThe horizontal one-dimensional DCT coefficient of the first row of is stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S76._DURThe horizontal one-dimensional DCT coefficient in the first row is read and selected, and is output as the lower adjacent one-dimensional DCT coefficient.
[0381]
If it is determined in step S74 that the DCT type of the target macroblock is the field DCT and the DCT type of the lower adjacent macroblock is the frame DCT, the process proceeds to step S77, and the selection unit 85 is described with reference to FIG. 21C. As shown, lower adjacent macroblock MB_DBlock B in the upper right of_DURA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT transformation on the 8 pixels in the second row is acquired as a lower adjacent one-dimensional DCT coefficient.
[0382]
That is, the target block is the lower right block B of the target macro block._NDRWhen the target macroblock has a field structure and the lower adjacent macroblock has a frame structure, the lower adjacent one-dimensional DCT coefficient is lower adjacent macroblock MB as described with reference to FIG. 21C._DBlock B in the upper right of_DURAre horizontal one-dimensional DCT coefficients obtained by performing horizontal one-dimensional DCT conversion on the 8 pixels in the second row of the second row._DURIs the horizontal one-dimensional DCT coefficient of the second row. Block B_DURThe horizontal one-dimensional DCT coefficients of the second row are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S77._DURThe horizontal one-dimensional DCT coefficient in the second row is read and selected, and is output as the lower adjacent one-dimensional DCT coefficient.
[0383]
If it is determined in step S74 that the DCT type of the target macroblock and the lower adjacent macroblock are both field DCTs, the process proceeds to step S78, and the selection unit 85, as described in FIG. Adjacent macroblock MB_DBlock B on the lower right of_DDRA horizontal one-dimensional DCT coefficient obtained by performing horizontal one-dimensional DCT conversion on the eight pixels in the top row is acquired as a lower adjacent one-dimensional DCT coefficient.
[0384]
That is, the target block is the lower right block B of the target macro block._NDRIn the case where the target macroblock and the lower adjacent macroblock are both field structures, the lower adjacent one-dimensional DCT coefficient is lower adjacent macroblock MB as described with reference to FIG. 21D._DBlock B on the lower right of_DDRAre the horizontal one-dimensional DCT coefficients obtained by horizontal one-dimensional DCT conversion of the eight pixels in the top row of_DDRIs the horizontal one-dimensional DCT coefficient of the first row. Block B_DDRThe horizontal one-dimensional DCT coefficient of the first row of is stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S78._DDRThe horizontal one-dimensional DCT coefficient in the first row is read and selected, and is output as the lower adjacent one-dimensional DCT coefficient.
[0385]
After the processing of steps S75 to S78, the process proceeds to step S79, and the sampling unit 83 and the selection unit 85 determine the DCT type of the target macroblock and the left adjacent macroblock.
[0386]
If it is determined in step S79 that the DCT type of the target macroblock and the left adjacent macroblock are both frame DCT, the process proceeds to step S80, and the selection unit 85, as described in FIG. Block MB_RBlock B at the lower left of_RDLA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on the eight pixels in the leftmost column is acquired as a right adjacent one-dimensional DCT coefficient.
[0387]
That is, the target block is the lower right block B of the target macro block._NDRIn the case where the target macroblock and the right adjacent macroblock both have a frame structure, the right adjacent one-dimensional DCT coefficient is, as described with reference to FIG. 23A, the right adjacent macroblock MB._RBlock B at the lower left of_RDLIs a vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the leftmost column of_RDLIs the vertical one-dimensional DCT coefficient of the first column. Block B_RDLThe vertical one-dimensional DCT coefficients of the first column are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S80._RDLThe vertical one-dimensional DCT coefficients of the first column are read out and selected and output as the right adjacent one-dimensional DCT coefficients.
[0388]
If it is determined in step S79 that the DCT type of the target macroblock is the frame DCT and the DCT type of the right adjacent macroblock is the field DCT, the process proceeds to steps S81 to S83 in sequence, and the selection unit 85 As described in 23B, right adjacent macroblock MB_RBlock B in the upper left of_RULThe lower 4 pixels in the leftmost column and the lower left block B_RDLA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT transformation on a total of eight pixels of the lower four pixels in the leftmost column in FIG.
[0389]
That is, the target block is the lower right block B of the target macro block._NDRIn the case where the target macroblock has a frame structure and the right adjacent macroblock has a field structure, the right adjacent one-dimensional DCT coefficient is the right adjacent macroblock MB as described with reference to FIG._RBlock B in the upper left of_RULThe lower 4 pixels in the leftmost column and the lower left block B_RDLA vertical one-dimensional DCT coefficient is obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels in the lower four pixels in the leftmost column. However, such a vertical one-dimensional DCT coefficient does not exist in the memory 81.
[0390]
Therefore, the sampling unit 83 uses the block B_RULVertical one-dimensional DCT coefficients in the first column of block B and block B_RDLThe vertical one-dimensional inverse DCT transformation of the vertical one-dimensional DCT coefficient of the first column is requested to the vertical one-dimensional inverse DCT transformation unit 82.
[0390]
In response to a request from the sampling unit 83, the vertical one-dimensional inverse DCT conversion unit 82 receives the block B in step S81._RULVertical one-dimensional DCT coefficients in the first column of block B and block B_RDLThe vertical one-dimensional DCT coefficients of the first column are read from the memory 81 and subjected to vertical one-dimensional inverse DCT transform. As a result, the vertical one-dimensional inverse DCT transform unit 82_RUL8 pixels in the first column and block B_RDLAre obtained, supplied to the sampling unit 83, and the process proceeds to step S82.
[0392]
In step S82, the sampling unit 83 receives the block B supplied from the vertical one-dimensional inverse DCT transform unit 82._RULBlock B supplied from the vertical one-dimensional inverse DCT transform unit 82 while sampling the lower four pixels of the eight pixels in the first column_RDLThe bottom four pixels of the eight pixels in the first column of_RULThe top four pixels sampled from the first column of the pixel are arranged in odd rows (top fields), and the block B_RDLBy arranging the top 4 pixels sampled from the first column in even rows (bottom field), 8 pixels arranged in the vertical direction having the same frame structure as the macro block of interest are supplied to the vertical one-dimensional DCT converter 84. To do.
[0393]
When the vertical one-dimensional DCT conversion unit 84 receives the eight pixels sampled by the sampling unit 83, in step S83, the vertical one-dimensional DCT conversion is performed on the eight pixels, thereby the right adjacent macroblock MB._LBlock B in the upper left of_RULThe lower 4 pixels in the leftmost column and the lower left block B_RDLA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels of the lower four pixels in the leftmost column in FIG. The selection unit 85 selects the vertical one-dimensional DCT coefficient supplied from the vertical one-dimensional DCT conversion unit 84 and outputs it as the right adjacent one-dimensional DCT coefficient.
[0394]
If it is determined in step S79 that the DCT type of the target macroblock is the field DCT and the DCT type of the right adjacent macroblock is the frame DCT, the process proceeds to steps S84 to S86 in sequence, and the selection unit 85 As described in 23C, right adjacent macroblock MB_RBlock B in the upper left of_RUL4 pixels in the even-numbered row in the leftmost column and the lower left block B_RDLA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels of the four pixels in the even-numbered row is acquired as a right adjacent one-dimensional DCT coefficient.
[0395]
That is, the target block is the lower right block B of the target macro block._NDRIn the case where the target macroblock has a field structure and the right adjacent macroblock has a frame structure, the right adjacent one-dimensional DCT coefficient is the right adjacent macroblock MB as described with reference to FIG._LBlock B in the upper left of_RUL4 pixels in the even-numbered row in the leftmost column and the lower left block B_RDLThe vertical one-dimensional DCT coefficient obtained by vertical one-dimensional DCT conversion of a total of eight pixels of the four pixels in the even-numbered row in FIG.
[0396]
Therefore, the sampling unit 83 uses the block B_RULVertical one-dimensional DCT coefficients in the first column of block B and block B_RDLThe vertical one-dimensional inverse DCT transformation of the vertical one-dimensional DCT coefficient of the first column is requested to the vertical one-dimensional inverse DCT transformation unit 82.
[0397]
In response to a request from the sampling unit 83, the vertical one-dimensional inverse DCT transform unit 82 receives the block B in step S84._RULVertical one-dimensional DCT coefficients in the first column of block B and block B_RDLThe vertical one-dimensional DCT coefficients of the first column are read from the memory 81 and subjected to vertical one-dimensional inverse DCT transform. As a result, the vertical one-dimensional inverse DCT transform unit 82_RUL8 pixels in the first column and block B_RDLAre obtained, supplied to the sampling unit 83, and the process proceeds to step S85.
[0398]
In step S85, the sampling unit 83 supplies the block B supplied from the vertical one-dimensional inverse DCT transform unit 82._RULBlock B supplied from the vertical one-dimensional inverse DCT conversion unit 82 while sampling four pixels in even rows of the eight pixels in the first column_RDL4 pixels in even rows of the 8 pixels in the first column of_RUL4 pixels in the even-numbered rows sampled from the first column of FIG._RDLBy arranging 4 pixels in the even-numbered rows sampled from the first column in the lower side, the vertical 1-dimensional DCT conversion unit 84 converts 8 pixels arranged in the vertical direction in the same field (bottom field) structure as the macro block of interest. To supply.
[0399]
When the vertical one-dimensional DCT conversion unit 84 receives the eight pixels sampled by the sampling unit 83, in step S86, the vertical one-dimensional DCT conversion is performed on the eight pixels, thereby the right adjacent macroblock MB._RBlock B in the upper left of_RUL4 pixels in the even-numbered row in the leftmost column and the lower left block B_RDLA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on a total of eight pixels of the four pixels in the even row is supplied to the selection unit 85. The selection unit 85 selects the vertical one-dimensional DCT coefficient supplied from the vertical one-dimensional DCT conversion unit 84 and outputs it as the right adjacent one-dimensional DCT coefficient.
[0400]
If it is determined in step S79 that the DCT type of the target macroblock and the right adjacent macroblock are both field DCTs, the process proceeds to step S87, and the selection unit 85, as described in FIG. Adjacent macroblock MB_RBlock B at the lower left of_RDLA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on the eight pixels in the leftmost column is acquired as a right adjacent one-dimensional DCT coefficient.
[0401]
That is, the target block is the lower right block B of the target macro block._NDRIn the case where the target macroblock and the right adjacent macroblock both have a field structure, the right adjacent one-dimensional DCT coefficient is the right adjacent macroblock MB as described with reference to FIG. 23D._RBlock B at the lower left of_RDLIs a vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the leftmost column of_RDLIs the vertical one-dimensional DCT coefficient of the first column. Block B_RDLThe vertical one-dimensional DCT coefficients of the first column are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S87._RDLThe vertical one-dimensional DCT coefficients of the first column are read out and selected and output as the right adjacent one-dimensional DCT coefficients.
[0402]
After the processing of steps S80, S83, S86, and S87, all proceed to step S88, and the selection unit 85, as described in FIG._NDRBlock B next to the left_NDLA vertical one-dimensional DCT coefficient obtained by performing vertical one-dimensional DCT conversion on the eight pixels in the rightmost column is acquired as a left adjacent one-dimensional DCT coefficient.
[0403]
That is, the target block is the lower right block B of the target macro block._NDR, The left adjacent one-dimensional DCT coefficient is equal to the target block B as described in FIG._NDRBlock B next to the left_NDLAre the vertical one-dimensional DCT coefficients obtained by performing vertical one-dimensional DCT transformation on the eight pixels in the rightmost column of_NDLAre the vertical one-dimensional DCT coefficients of the eighth column. Block B_NDLThe vertical one-dimensional DCT coefficients of the eighth column are stored in the memory 81, and the selection unit 85 reads the block B from the memory 81 in step S88._NDLThe eighth column vertical one-dimensional DCT coefficients are read out and selected, output as the left adjacent vertical one-dimensional DCT coefficients, and the lower right block processing is terminated.
[0404]
Next, processing of the AC power calculation unit 33 in FIG. 2 will be described.
[0405]
As described above, the AC power calculation unit 33 obtains the power (AC power) of the alternating current component of the one-dimensional DCT coefficient supplied from the one-dimensional inverse DCT coefficient conversion unit 31 and the adjacent one-dimensional DCT coefficient selection / conversion unit. The AC power of the adjacent one-dimensional DCT coefficient supplied from 32 is obtained.
[0406]
That is, as shown in FIG. 30, the AC power calculation unit 33 obtains the AC power in the horizontal direction from the horizontal one-dimensional DCT coefficient in the row of the pixel of interest in the block of interest, and the vertical of the column of the pixel of interest. The AC power in the vertical direction is obtained from the one-dimensional DCT coefficient.
[0407]
Here, the seven AC components of the one-dimensional DCT coefficient are AC_n(N = 1, 2,..., 7), AC power P_ACIs calculated by, for example, the following equation.
[0408]
P_AC= ΣAC_n ²(12)
[0409]
However, in Formula (12), Σ represents a summation when the variable n is changed from 1 to 7.
[0410]
In addition, the AC power calculation unit 33 follows the equation (12) for each of the upper adjacent one-dimensional DCT coefficient, the lower adjacent one-dimensional DCT coefficient, the left adjacent one-dimensional DCT coefficient, and the right adjacent one-dimensional DCT coefficient for the block of interest. Find the AC power. Note that the upper adjacent one-dimensional DCT coefficient and the lower adjacent one-dimensional DCT coefficient are both horizontal one-dimensional DCT coefficients, and therefore the AC power obtained from these is the horizontal AC power. Further, the left adjacent one-dimensional DCT coefficient and the right adjacent one-dimensional DCT coefficient are both vertical one-dimensional DCT coefficients, and therefore the AC power obtained from them is the AC power in the vertical direction.
[0411]
The AC power calculation unit 33 also calculates the AC power of the one-dimensional DCT coefficient of the block of interest adjacent to the boundary (hereinafter referred to as the boundary one-dimensional DCT coefficient as appropriate) according to the equation (12). Ask.
[0412]
That is, the AC power calculation unit 33 calculates horizontal AC power from the horizontal one-dimensional DCT coefficient in the first row adjacent to the upper boundary of the block of interest (hereinafter, referred to as the upper boundary one-dimensional DCT coefficient as appropriate). Further, the AC power calculation unit 33 obtains the AC power in the horizontal direction from the horizontal one-dimensional DCT coefficient in the eighth row adjacent to the lower boundary of the block of interest (hereinafter referred to as the lower boundary one-dimensional DCT coefficient as appropriate). . The AC power calculation unit 33 obtains the AC power in the vertical direction from the vertical one-dimensional DCT coefficient in the first column adjacent to the left boundary of the block of interest (hereinafter, referred to as the left boundary one-dimensional DCT coefficient as appropriate). Then, the AC power in the vertical direction is obtained from the vertical one-dimensional DCT coefficients in the eighth column adjacent to the right boundary of the block of interest (hereinafter referred to as right boundary one-dimensional DCT coefficient as appropriate).
[0413]
Next, FIG. 31 illustrates a configuration example of the AC power calculation unit 33 in FIG. 2 that obtains AC power as described above.
[0414]
The horizontal one-dimensional DCT coefficient extraction unit 91 and the vertical one-dimensional DCT coefficient extraction unit 92 receive one-dimensional DCT coefficients from the one-dimensional inverse DCT conversion unit 31 (FIG. 2) and the adjacent one-dimensional DCT coefficient selection / conversion unit 32. It comes to be supplied.
[0415]
The horizontal one-dimensional DCT coefficient extraction unit 91 extracts an AC power calculation target from the one-dimensional DCT coefficient supplied thereto, and supplies it to the horizontal AC power calculation unit 93. That is, the horizontal one-dimensional DCT coefficient extraction unit 91 determines the horizontal one-dimensional DCT coefficient of the row of the target pixel position in the target block, the upper adjacent one-dimensional DCT coefficient for the target block, and the one-dimensional DCT coefficient supplied thereto. The lower adjacent one-dimensional DCT coefficient, the upper boundary one-dimensional DCT coefficient and the lower boundary one-dimensional DCT coefficient of the block of interest are extracted and supplied to the horizontal AC power calculation unit 93.
[0416]
The vertical one-dimensional DCT coefficient extraction unit 92 extracts an AC power calculation target from the one-dimensional DCT coefficients supplied thereto, and supplies the extracted AC power to the vertical AC power calculation unit 94. That is, the vertical one-dimensional DCT coefficient extraction unit 92 determines, from the one-dimensional DCT coefficient supplied thereto, the vertical one-dimensional DCT coefficient of the column of the target pixel position in the target block, the left adjacent one-dimensional DCT coefficient for the target block, and The right adjacent one-dimensional DCT coefficient, the left boundary one-dimensional DCT coefficient and the right boundary one-dimensional DCT coefficient of the block of interest are extracted and supplied to the vertical AC power calculation unit 94.
[0417]
The horizontal AC power calculation unit 93 calculates the horizontal AC power from the horizontal one-dimensional DCT coefficient supplied from the horizontal one-dimensional DCT coefficient extraction unit 91 according to the equation (12) and outputs it. That is, the horizontal AC power calculation unit 93 calculates the horizontal one-dimensional DCT coefficient of the row at the position of the target pixel in the target block, the upper adjacent one-dimensional DCT coefficient and the lower adjacent one-dimensional DCT coefficient for the target block, and the upper boundary of the target block. The horizontal AC power is calculated from the one-dimensional DCT coefficient and the lower boundary one-dimensional DCT coefficient.
[0418]
The vertical AC power calculation unit 94 calculates and outputs the AC power in the vertical direction from the vertical one-dimensional DCT coefficient supplied from the vertical one-dimensional DCT coefficient extraction unit 92 according to the equation (12). That is, the vertical AC power calculation unit 94 calculates the vertical one-dimensional DCT coefficient of the column of the target pixel position in the target block, the left adjacent one-dimensional DCT coefficient and right adjacent one-dimensional DCT coefficient for the target block, and the left boundary of the target block. The AC power in the vertical direction is calculated from each of the one-dimensional DCT coefficient and the right boundary one-dimensional DCT coefficient.
[0419]
As described above, the AC power obtained from the one-dimensional DCT coefficient can be regarded as the power of the AC component of 8 pixels corresponding to the one-dimensional DCT coefficient, and therefore represents the activity of the image.
[0420]
Next, processing of the AC inner product calculation unit 34 in FIG. 2 will be described.
[0421]
As described above, the AC inner product calculation unit 34 supplies the AC component of the one-dimensional DCT coefficient (boundary one-dimensional DCT coefficient) of the boundary portion of the target block supplied from the one-dimensional inverse DCT coefficient conversion unit 31 and the adjacent one-dimensional DCT. The AC component of the adjacent one-dimensional DCT coefficient supplied from the coefficient selection / conversion unit 32 is regarded as a vector component, and the inner product (AC inner product) of the two vectors is obtained.
[0422]
That is, as shown in FIG. 32, the AC inner product calculation unit 34 regards the AC component of the upper boundary one-dimensional DCT coefficient and the AC component of the upper adjacent one-dimensional DCT coefficient for the target block as vector components, respectively. Then, an AC inner product (hereinafter referred to as upper inner product) of the two vectors is obtained according to the following equation.
[0423]
I = Σ (AC_n× AC_n′) ... (13)
[0424]
However, in Formula (13), I represents an AC inner product. In addition, AC_nRepresents the nth AC component of the upper boundary one-dimensional DCT coefficient for the block of interest, and AC_n'Represents the nth AC component of the upper adjacent one-dimensional DCT coefficient for the block of interest. Σ represents a summation with n changed from 1 to 7.
[0425]
The AC inner product calculation unit 34 performs the lower boundary one-dimensional DCT coefficient and the lower adjacent one-dimensional DCT coefficient, the left boundary one-dimensional DCT coefficient and the left adjacent one-dimensional DCT coefficient, or the right boundary one-dimensional DCT coefficient and the right adjacent one for the block of interest. For each of the dimensional DCT coefficients, an AC inner product is obtained according to equation (13).
[0426]
Here, hereinafter, the AC inner product obtained from the lower boundary one-dimensional DCT coefficient and the lower adjacent one-dimensional DCT coefficient for the target block is appropriately expressed as the lower inner product, the left boundary one-dimensional DCT coefficient, and the left adjacent one-dimensional DCT coefficient. The AC inner product obtained from the left inner product and the AC inner product obtained from the right boundary one-dimensional DCT coefficient and the right adjacent one-dimensional DCT coefficient are referred to as the right inner product.
[0427]
The AC inner product is obtained when the AC component of the boundary one-dimensional DCT coefficient and the adjacent one-dimensional DCT coefficient that sandwich the boundary of the target block are similar, that is, a vector having the AC component of the boundary one-dimensional DCT coefficient as a component, and the adjacent one-dimensional DCT A positive value (a value greater than or equal to 0) is obtained when the angle formed by a vector whose component is the AC component of the coefficient is less than 90 degrees (or greater). Therefore, a positive AC inner product indicates that the waveform pattern of 8 pixels corresponding to the boundary one-dimensional DCT coefficient sandwiching the boundary of the target block is similar to the waveform pattern of 8 pixels corresponding to the adjacent one-dimensional DCT coefficient. For example, the boundary between the block of interest and a block adjacent to the block of interest indicates that there is a continuous edge across the boundary.
[0428]
Next, FIG. 33 shows a configuration example of the AC inner product calculation unit 34 in FIG. 2 that calculates the above-described AC inner product (upper inner product, lower inner product, left inner product, right inner product) for the target block.
[0429]
The one-dimensional DCT coefficients output from the one-dimensional inverse DCT conversion unit 31 and the adjacent one-dimensional DCT coefficient selection / conversion unit 32 are an upper inner product one-dimensional DCT coefficient extraction unit 101, a lower inner product one-dimensional DCT coefficient extraction unit 102, a left The inner product one-dimensional DCT coefficient extraction unit 103 and the right inner product one-dimensional DCT coefficient extraction unit 104 are supplied.
[0430]
The upper inner product one-dimensional DCT coefficient extraction unit 101 extracts, from the one-dimensional DCT coefficients supplied thereto, the upper boundary one-dimensional DCT coefficient and the upper adjacent one-dimensional DCT coefficient used to calculate the upper inner product for the target block. To the upper inner product calculation unit 105.
[0431]
The upper inner product calculation unit 105 calculates the upper inner product from the upper boundary one-dimensional DCT coefficient and the upper adjacent one-dimensional DCT coefficient supplied from the upper inner product one-dimensional DCT coefficient extraction unit 101, and outputs the upper inner product according to Expression (13). To do.
[0432]
The lower inner product one-dimensional DCT coefficient extraction unit 102 extracts the lower boundary one-dimensional DCT coefficient and the lower adjacent one-dimensional DCT coefficient used for calculating the lower inner product for the target block from the one-dimensional DCT coefficient supplied thereto. To the lower inner product calculation unit 106.
[0433]
The lower inner product calculation unit 106 calculates and outputs the lower inner product from the lower boundary one-dimensional DCT coefficient and the lower adjacent one-dimensional DCT coefficient supplied from the lower inner product one-dimensional DCT coefficient extraction unit 102 according to the equation (13). To do.
[0434]
The left inner product one-dimensional DCT coefficient extraction unit 103 extracts the left boundary one-dimensional DCT coefficient and the left adjacent one-dimensional DCT coefficient used for calculating the left inner product for the target block from the one-dimensional DCT coefficient supplied thereto. To the left inner product calculation unit 107.
[0435]
The left inner product calculation unit 107 calculates the left inner product from the left boundary one-dimensional DCT coefficient and the left adjacent one-dimensional DCT coefficient supplied from the left inner product one-dimensional DCT coefficient extraction unit 103 according to the equation (13) and outputs the result. To do.
[0436]
The right inner product one-dimensional DCT coefficient extraction unit 104 extracts the right boundary one-dimensional DCT coefficient and the right adjacent one-dimensional DCT coefficient used for calculating the right inner product for the target block from the one-dimensional DCT coefficient supplied thereto. To the right inner product calculation unit 108.
[0437]
The right inner product calculation unit 108 calculates and outputs a right inner product from the right boundary one-dimensional DCT coefficient and the right adjacent one-dimensional DCT coefficient supplied from the right inner product one-dimensional DCT coefficient extraction unit 104 according to the equation (13). To do.
[0438]
Next, FIG. 34 shows a configuration example of the class code generation unit 36 of FIG.
[0439]
The class code generation unit 36 classifies the pixels constituting the block for the luminance signal block.
[0440]
That is, the comparison unit 111 and 112 are supplied with the AC power output from the AC power calculation unit 33 (FIG. 2). The flatness condition determination unit 113 includes the AC power output from the AC power calculation unit 33 (FIG. 2) and the one-dimensional DCT coefficient output from the one-dimensional inverse DCT conversion unit 31 and the adjacent one-dimensional DCT coefficient selection / conversion unit 32. Is supplied. The continuity determination unit 114 is supplied with the AC inner product output from the AC inner product calculation unit 34 (FIG. 2). The boundary edge condition determination unit 115 is supplied with the one-dimensional DCT coefficients output from the one-dimensional inverse DCT conversion unit 31 and the adjacent one-dimensional DCT coefficient selection / conversion unit 32.
[0441]
The comparison unit 111 compares the AC power in the horizontal direction obtained from the horizontal one-dimensional DCT coefficient of the row of the target pixel, among the AC powers output from the AC power calculation unit 33 (FIG. 2), with a predetermined threshold A. Then, the comparison result is supplied to the class code creation unit 116.
[0442]
The comparison unit 112 compares the AC power in the vertical direction obtained from the vertical one-dimensional DCT coefficient of the column of the pixel of interest among the AC power output by the AC power calculation unit 33 (FIG. 2) with a predetermined threshold A. Then, the comparison result is supplied to the class code creation unit 116.
[0443]
The flatness condition determination unit 113 determines the AC power obtained from the boundary one-dimensional DCT coefficient, the AC power obtained from the adjacent one-dimensional DCT coefficient, the DC component of the boundary one-dimensional DCT coefficient, and the adjacent 1 for the target block. Based on the DC component of the dimensional DCT coefficient, the flatness of the image at each boundary portion is determined for each of the upper, lower, left, and right boundaries of the block of interest, and the determination result is supplied to the class code generator 116.
[0444]
The continuity condition determination unit 114 determines image continuity at each boundary portion for each of the upper, lower, left, and right boundaries of the block of interest based on the upper inner product, the lower inner product, the left inner product, and the right inner product obtained for the block of interest. The determination result is supplied to the class code generation unit 116.
[0445]
The boundary edge condition determination unit 115 is configured to follow the boundary for each of the upper, lower, left, and right boundaries of the block of interest based on the DC component of the boundary one-dimensional DCT coefficient for the block of interest and the DC component of the adjacent one-dimensional DCT coefficient. It is determined whether an edge exists, and the determination result is supplied to the class code generation unit 116.
[0446]
The class code creation unit 116 classifies the pixel of interest based on the outputs of the comparison units 111 and 112, the flatness condition determination unit 113, the continuity condition determination unit 114, and the boundary edge condition determination unit 115, and classifies the class. A class code (luminance class code) is generated (generated) and output.
[0447]
Here, FIG. 35 shows the format of the class code output by the class code creation unit 116.
[0448]
In the embodiment of FIG. 35, the class code is 10 bits, and from the beginning, a 2-bit AC power class code, a 4-bit block flatness class code, and a 4-bit inter-block continuity class code are sequentially provided. Arranged and configured.
[0449]
The 2-bit AC power class code classifies the target pixel by its vertical AC power and horizontal AC power, and the leading bit is obtained from the vertical one-dimensional DCT coefficient of the target pixel column. The second bit is determined by the horizontal AC power obtained from the horizontal one-dimensional DCT coefficient of the row of the target pixel. Accordingly, the AC power class code is determined for each pixel.
[0450]
The 4-bit block flatness class code classifies a block including a target pixel (target block) according to the flatness of the boundary portions of the upper, lower, left, and right sides (image flatness between the target block and the adjacent block). The first to fourth bits are determined by the flatness of the upper, lower, left, and right boundaries of the block of interest. Therefore, the block flatness class code is determined for each block.
[0451]
The 4-bit inter-block continuity class code determines whether a block containing a pixel of interest (target block) depends on the continuity of the upper, lower, left, and right borders (how images are connected between the target block and its adjacent blocks). The first to fourth bits are determined by the continuity of the upper, lower, left, and right boundaries of the block of interest. Accordingly, the block continuity class code is also determined for each block in the same manner as the block flatness class code.
[0452]
From the above, the AC power class code basically differs for each pixel, but the block flatness class code and the interblock continuity class code are the same for the pixels in the same block.
[0453]
Next, processing (class classification processing) of the class code generation unit 36 of FIG. 34 will be described with reference to the flowchart of FIG.
[0454]
In the class code generation unit 36, first, in step S91, the comparison unit 111 obtains the horizontal one-dimensional DCT coefficient of the row of the target pixel from the AC power output from the AC power calculation unit 33 (FIG. 2). The obtained horizontal AC power is compared with a predetermined threshold A, and the comparison result is supplied to the class code creating unit 116. Furthermore, in step S91, the comparison unit 112 calculates the AC power in the vertical direction obtained from the vertical one-dimensional DCT coefficient of the column of the pixel of interest among the AC power output from the AC power calculation unit 33 (FIG. 2). The result is compared with a predetermined threshold A, and the comparison result is supplied to the class code creation unit 116.
[0455]
Then, the class code creation unit 116 determines the AC power class code of the pixel of interest based on the outputs of the comparison units 111 and 112.
[0456]
That is, the class code creation unit 116, when the AC power in the vertical direction obtained from the vertical one-dimensional DCT coefficient of the column of the pixel of interest is larger than the predetermined threshold A, one of the 2-bit AC power class codes. The first bit is set to 1, for example, and when the AC power in the vertical direction is not larger than the predetermined threshold A, the first bit of the AC power class code is set to 0, for example. Furthermore, when the horizontal AC power obtained from the horizontal one-dimensional DCT coefficient of the row of the target pixel is larger than a predetermined threshold A, the class code creating unit 116 selects 2 of the 2-bit AC power class codes. The first bit is set to 1, for example, and if the horizontal AC power is not greater than the predetermined threshold A, the second bit of the AC power class code is set to 0, for example.
[0457]
Thereafter, the process proceeds to step S92, where the boundary edge condition determination unit 115 determines the boundary of the target block based on the DC component of the boundary one-dimensional DCT coefficient and the DC component of the adjacent one-dimensional DCT coefficient for the target block. It is determined whether the boundary edge condition that an edge exists along is satisfied.
[0458]
That is, the boundary edge condition determination unit 115 calculates the difference absolute value | DC−DC ′ | between the DC component DC of the boundary primary DCT coefficient and the DC component DC ′ of the adjacent primary DCT coefficient for the block of interest, for example. As a boundary edge condition, a condition that is greater than (or more than) a predetermined threshold E is used to determine whether such a boundary edge condition is satisfied.
[0459]
When it is determined in step S92 that the boundary edge condition is satisfied, that is, the difference between the DC component DC of the boundary primary DCT coefficient and the DC component DC ′ of the adjacent primary DCT coefficient for the target block is very large. Therefore, when an edge is present at the boundary portion of the block of interest and it is considered that there is no connection between the image pattern of the block of interest and the block adjacent thereto, the boundary edge condition determination unit 115 notifies the class code generation unit The process proceeds to step S97. In step S97, the class code creation unit 116 sets both the block flatness class code and the interblock continuity class code to, for example, 0, and proceeds to step S98.
[0460]
If it is determined in step S92 that the boundary edge condition is not satisfied, the process advances to step S93, and the flatness condition determination unit 113 determines the AC power obtained from the boundary one-dimensional DCT coefficient, adjacent 1 for the target block. Whether the flatness condition that the boundary portion of the target block is flat is satisfied based on the AC power obtained from the two-dimensional DCT coefficient, the DC component of the boundary one-dimensional DCT coefficient, and the DC component of the adjacent one-dimensional DCT coefficient Determine if.
[0461]
That is, the flatness condition determination unit 113 determines whether such flatness condition is satisfied, for example, using the condition represented by the following expression as the flatness condition.
[0462]
(P_AC≦ B) ∩ (P_AC′ ≦ B) ∩ (| DC−DC ′ | ≦ D) (14)
[0463]
P_AC′ ≦ C (15)
[0464]
However, in Expressions (14) and (15), B, C, and D are predetermined threshold values, and the threshold value C is sufficiently smaller than the threshold value B. In the formulas (14) and (15), P_ACRepresents the AC power obtained from the boundary one-dimensional DCT coefficient for the block of interest, and P_AC'Represents the AC power obtained from the adjacent one-dimensional DCT coefficient for the block of interest. Further, in Equation (14), DC represents the direct current component of the boundary one-dimensional DCT coefficient for the block of interest, and DC ′ represents the direct current component of the adjacent one-dimensional DCT coefficient for the block of interest. ∩ represents a logical product.
[0465]
Equation (14) is an AC power P obtained from the boundary one-dimensional DCT coefficient and the adjacent one-dimensional DCT coefficient for the block of interest._ACAnd P_ACIs true when both are less than (or less than) the threshold value B and the absolute difference value | DC-DC '| between the respective DC components DC and DC' is less than or equal to the threshold value D (or less). Become. Further, the equation (15) is obtained by calculating the AC power P obtained from the adjacent one-dimensional DCT coefficient for the block of interest._ACTrue when ′ is less than or equal to threshold C (or less).
[0466]
Here, as described above, the threshold value C is sufficiently smaller than the threshold value B, for example, a value close to 0. Therefore, the equation (15) is an AC obtained from the adjacent one-dimensional DCT coefficient for the block of interest. Power P_ACTrue if ′ is close to 0.
[0467]
Here, it is assumed that the flatness condition is satisfied if, for example, any one of formulas (14) and (15) is true.
[0468]
If it is determined in step S93 that the flatness condition is satisfied, the flatness condition determination unit 113 supplies the fact to the class code creation unit 116 and proceeds to step S94.
[0469]
In step S94, the class code creation unit 116 sets both the block flatness class code and the interblock continuity class code to 1, for example, and proceeds to step S98.
[0470]
If it is determined in step S93 that the flatness condition is not satisfied, the process proceeds to step S95, where the continuity condition determining unit 114 continues to the boundary portion of the target block based on the AC inner product obtained for the target block. It is determined whether or not the continuity condition is satisfied.
[0471]
That is, for example, the continuity condition determination unit 114 sets a condition that the AC inner product I for the block of interest is a positive value (or 0 or more) as a continuity condition, and satisfies such continuity condition. Determine if.
[0472]
If it is determined in step S95 that the continuity condition is satisfied, the continuity condition determination unit 114 supplies the fact to the class code creation unit 116 and proceeds to step S96.
[0473]
In step S96, the class code creation unit 116 sets the block flatness class code to 0, for example, and sets the inter-block continuity class code to 1, for example, and proceeds to step S98.
[0474]
On the other hand, if it is determined in step S96 that the continuity condition is not satisfied, the continuity condition determination unit 114 supplies the fact to the class code creation unit 116 and proceeds to step S97. In step S97, the class code creating unit 116 sets both the block flatness class code and the interblock continuity class code to 0 as described above, and proceeds to step S98.
[0475]
Note that the processing in steps S92 to S97 is performed independently for each of the upper, lower, left, and right boundaries of the block of interest, so that the block flatness class code and the inter-block continuity class code can Sought about.
[0476]
In step S98, the class code creating unit 116 obtains the 10-bit class code shown in FIG. 35 from the AC power class code, block flatness class code, and interblock continuity class code obtained by the processes in steps S91 to S97. And finishes the process.
[0477]
The process shown in the flowchart of FIG. 36 is performed every time a new pixel is set as the target pixel. However, as described above, the block flat raw class code and the inter-block continuity class code are the same for the pixels in the same block, so for the pixels constituting the same block, only the first pixel is a step. The processing of S91 to 98 is performed, and only the processing of steps S91 and S98 is performed for the other pixels, and the block flat raw class code and the interblock continuity class code are obtained for the first pixel. Can be diverted.
[0478]
Here, in the present embodiment, as shown in FIG. 35, the class code is 10 bits, so according to such a 10-bit class code, 1024 (= 2^Ten) Can represent street classes.
[0479]
However, in the class classification process shown in FIG. 36, there is no case where the block flatness class code is 1 and the interblock continuity class code is 0. That is, here, it is impossible that there is no continuity even though the boundary portion of the block is flat. When the block flatness class code is 1, the interblock continuity class code is always 1 as well. Like to do.
[0480]
Therefore, for example, the set (b1, b2) of the block flatness class code and the interblock continuity class code for the upper boundary of the block is (0, 0), (0, 1), (1, 1). You can take only three ways. As a result, the number of classes expressed by the 4-bit block flatness class code and the 4-bit inter-block continuity class code for all four boundaries on the top, bottom, left, and right of the block is 81 (= 3^Four)
[0481]
The number of classes represented by the 2-bit AC power class code is 4 (= 2²) That's right.
[0482]
Therefore, here, the number of classes represented by the 10-bit class code in FIG. 35 is 324 (= 81 × 4).
[0483]
Here, in the above-described case, the case where the set (b1, b2) of the block flatness class code and the interblock continuity class code is (0, 0) is an image in the target block and adjacent blocks adjacent thereto. This means that there is no connection between the blocks and the block of interest and the adjacent block are so-called “unrelated”. A case where (b1, b2) is (0, 1) indicates that the images in the target block and the adjacent blocks are not flat but are “continuous”. Further, the case where (b1, b2) is (1, 1) indicates that the image in the target block and the adjacent block is “flat” (and therefore “continuous”).
[0484]
In the above case, there are three combinations (b1, b2) of the block flatness class code and the interblock continuity class code so that 324 classes are represented by a 10-bit class code. However, (b1, b2) has 10 bits so that four (0, 0), (0, 1), (1, 0), (1, 1) can be taken instead of three. 1024 (= 2^TenIt is also possible to express street classes.
[0485]
That is, in the above case, if only one of the equations (14) and (15) is satisfied, the flatness condition is satisfied and (1, 1) is assigned to (b1, b2). However, for example, a case where both the expressions (14) and (15) are satisfied is distinguished from a case where only the expression (14) is satisfied, and both the expressions (14) and (15) are satisfied. In this case, (1, 1) is assigned to (b1, b2), and (1, 0) is assigned to (b1, b2) when only equation (14) is satisfied. Is possible.
[0486]
In this case, the case where (b1, b2) is (1, 1) indicates that the image in the target block and the adjacent block is “flat on both the target block side and the adjacent block side”, and (b1 , B2) is (1, 0) indicates that the image in the target block and the adjacent block is “flat only on the adjacent block side”.
[0487]
In the flowchart of FIG. 36, (b1, b2) is set to (0, 0) regardless of whether the boundary edge condition is satisfied or the flatness condition and the continuity condition are not satisfied. By assigning either (1) or (0) a case where the boundary edge condition is satisfied or neither the flatness condition nor the continuity condition is satisfied, It is also possible that the set (b1, b2) of the flatness class code and the interblock continuity class code can take four types.
[0488]
Further, a case where both of the expressions (14) and (15) are satisfied is distinguished from a case where only the expression (14) is satisfied, and the cases where the boundary edge condition is satisfied, the flatness condition and the continuity condition It is also possible to distinguish between cases in which neither is satisfied. However, in this case, when the case where the image of the target block and the adjacent block is “continuous” and the case where the image of the target block and the adjacent block are “flat” are combined, one of the target blocks (one side) Regarding the boundary, it is necessary to divide into five cases. Accordingly, in this case, the number of classes based on the boundary of the block of interest is 625, and as a result, the total number of classes is 2500 considering the 2-bit AC power class code.
[0489]
Next, FIG. 37 shows a configuration example of the class code generation unit 37 of FIG.
[0490]
The class code generation unit 37 classifies the pixels constituting the block for the color difference signal block.
[0491]
Accordingly, the class code generation unit 37 can be configured in the same manner as the class code generation unit 36 that outputs a luminance class code.
[0492]
However, the color difference signal block generally has lower image activity than the luminance signal block, and the value of the AC component of the one-dimensional DCT coefficient is smaller, so the same processing as the class code generation unit 36 is performed. In some cases, effective classification is difficult.
[0493]
Therefore, here, the class code generation unit 37 uses the luminance class code obtained by the class code generation unit 36 to classify the pixels of the color difference signal.
[0494]
That is, in the embodiment of FIG. 37, AC power output from the AC power calculation unit 33 (FIG. 2) is supplied to the comparison units 121 and 122.
[0495]
Similar to the comparison unit 111 in FIG. 34, the comparison unit 121 in the horizontal direction obtained from the horizontal one-dimensional DCT coefficient of the row of the target pixel in the AC power output from the AC power calculation unit 33 (FIG. 2). The AC power is compared with a predetermined threshold A, and the comparison result is supplied to the class code creation unit 123.
[0496]
Similar to the comparison unit 112 in FIG. 33, the comparison unit 122 in the vertical direction obtained from the vertical one-dimensional DCT coefficient of the column of the target pixel in the AC power output from the AC power calculation unit 33 (FIG. 2). The AC power is compared with a predetermined threshold A, and the comparison result is supplied to the class code creation unit 123.
[0497]
In the class code generation unit 37, processing is performed for the color difference signal block. As described above, since the AC component value of the one-dimensional DCT coefficient is small for the color difference signal, the AC power Becomes smaller. For this reason, it is desirable that the threshold A used in the comparison units 121 and 122 is smaller than that used in the comparison units 111 and 112 in FIG.
[0498]
In addition to the outputs from the comparison units 121 and 122, the class code creation unit 123 is also supplied with the luminance class code of FIG. 35 output by the class code creation unit 36. Based on the outputs of the comparison units 121 and 122 and the luminance class code, the pixel of interest is classified, and a class code (color difference class code) representing the class is created (generated) and output.
[0499]
Here, the class code creating unit 123 creates a color difference class code having the same format as the luminance class code shown in FIG.
[0500]
That is, the class code creation unit 123 creates the AC power class code of the target pixel in the same manner as the class code creation unit 116 in FIG. 34 based on the outputs of the comparison units 121 and 122.
[0501]
Further, the class code creating unit 123, for the block flatness class code of the pixel of interest and the inter-block continuity class code, has a luminance at the same position as the color difference signal block (the block of interest) including the pixel of interest. It is created using the luminance class code of the pixel in the signal block.
[0502]
That is, for example, assuming that the image data is now expressed in YUV format and the image format is 4: 2: 2, as shown in FIG. 38A, two luminance blocks Y1 and Y2 arranged on the left and right are arranged. And one color difference block U and one color difference block V correspond to each other.
[0503]
In this case, the upper boundary of the color difference block U is the boundary a on the left luminance block Y1 and the upper boundary b of the right luminance block Y2, and the lower boundary of the color difference block U is the luminance block Y1. The lower boundary e and the lower boundary f of the luminance block Y2, the left boundary of the color difference block U is the left boundary c of the luminance block Y1, and the right boundary of the color difference block U is the right boundary of the luminance block Y2. Each corresponds to d.
[0504]
Therefore, as shown by a dotted line in FIG. 38A, when the color difference block U is divided into two small blocks Ul and Ur that are 4 × 8 pixels wide and vertically adjacent to each other as shown in FIG. 38B, The upper boundary of the left small block Ul is the boundary a above the luminance block Y1, the lower boundary of the small block Ul is the lower boundary e of the luminance block Y1, and the left boundary of the small block Ul is the luminance. The left boundary c of the block Y1 and the right boundary of the small block Ul correspond to the right boundary d of the luminance block Y2, respectively. The upper boundary of the right small block Ur is the boundary b above the luminance block Y2, the lower boundary of the small block Ur is the lower boundary f of the luminance block Y2, and the left boundary of the small block Ur is The left boundary c of the luminance block Y1 and the right boundary of the small block Ur correspond to the right boundary d of the luminance block Y2, respectively.
[0505]
Here, in the class code of FIG. 35, the block flatness class codes obtained for the upper, lower, left and right boundaries of the block are as follows, as appropriate: upper boundary flatness code, lower boundary flatness code, left boundary flatness code, right These are called boundary flatness codes. In addition, the inter-block continuity class codes obtained for the upper, lower, left, and right boundaries of the block are respectively referred to as upper boundary continuity code, lower boundary continuity code, left boundary continuity code, and right boundary continuity code, Say. Furthermore, below, the upper boundary flatness code and the upper boundary continuity code are combined as appropriate, and the upper boundary code, the lower boundary flatness code and the lower boundary continuity code are combined, and the lower boundary code and the left boundary flatness are appropriately combined. The code and the left boundary continuity code are collectively referred to as a left boundary code, and the right boundary flatness code and the right boundary continuity code are collectively referred to as a right boundary code. Hereinafter, the upper boundary code, the lower boundary code, the left boundary code, and the right boundary code are collectively referred to as a boundary code as appropriate.
[0506]
Since the boundary between the luminance blocks Y1 and Y2 and the boundaries of the small blocks Ul and Ur have the above-described correspondence, the class code creation unit 123 determines the color difference between the pixels of the small blocks Ul and Ur. As the boundary code in the class code, the code obtained for the boundary corresponding to the luminance blocks Y1 and Y2 is used as it is.
[0507]
That is, for the pixels of the small block Ul, the class code creating unit 123 uses the upper boundary code, the luminance block Y1, and the upper boundary code, the lower boundary code, the left boundary code, and the right boundary code in the color difference class code, respectively. The lower boundary code of the block Y1, the left boundary code of the luminance block Y1, and the right boundary of the luminance block Y2 are set.
[0508]
Also, the class code creating unit 123 sets the upper boundary code, luminance, and luminance block Y2 as the upper boundary code, lower boundary code, left boundary code, and right boundary code in the color difference class code for the pixels of the small block Ur, respectively. The lower boundary code of the block Y2, the left boundary code of the luminance block Y1, and the right boundary code of the luminance block Y2 are set.
[0509]
The correspondence relationship between the color difference block V and the luminance blocks Y1 and Y2 is also the same as the correspondence relationship between the color difference block U and the luminance blocks Y1 and Y2, and the class code creation unit 123 is the same as in the color difference block U. The color difference block V is divided into two small blocks Vl and Vr each having a horizontal size of 4 × 8 pixels, and the boundary codes of the luminance blocks Y1 and Y2 are used as the boundary codes in the color difference class codes of the small blocks Vl and Vr. Set in the same manner as in the color difference block U.
[0510]
As a result, the class code creation unit 123 creates the following color difference class codes for the pixels of the small blocks Ul, Ur, Vl, and Vr.
[0511]
That is, for example, as shown in FIG. 39A, the i-th bit (from the least significant bit) of the 10-bit luminance class code obtained for the pixels of the two luminance blocks Y1 or Y2 corresponding to the color difference blocks U and V If the i-th bit is represented as BL # i-1 or BR # i-1, class codes as shown in FIG. 39B are created for the pixels of the small blocks Ul, Ur, Vl, and Vr. The
[0512]
That is, BR0, BL1, BL2, BL3, BR4, BL5, BL6, and BL7 are arranged in the first to eighth bits of the color difference class codes of the pixels of the small blocks Ul and Vl, respectively. In addition, BR0, BL1, BR2, BR3, BR4, BL5, BR6, BR7 are arranged in the first to eighth bits of the color difference class codes of the pixels of the small blocks Ur, Vr, respectively.
[0513]
Here, the ninth bit and the tenth bit of the color difference class code are determined based on the AC power of the pixel of interest, as in the case of the luminance class code.
[0514]
Next, when the image format is 4: 2: 0, for example, as shown in FIG. 40A, as shown in FIG. 40A, four adjacent luminance blocks Y1, Y2, which are in the positional relationship of upper left, lower left, upper right, and lower right. Y3, Y4, one color difference block U, and one color difference block V correspond to each other.
[0515]
In this case, as indicated by a dotted line in FIG. 40A, the color difference block U is divided into four small blocks Uul, Ull having a horizontal x vertical position of 4 × 4 pixels in the upper left, lower left, upper right, and lower right positions. , Uur, Ulr, as shown in FIG. 40B, the upper boundary of the small block Uul is the boundary a above the luminance block Y1, and the lower boundary of the small block Uul is a lower boundary of the luminance block Y3. g, the left boundary of the small block Uul corresponds to the left boundary c of the luminance block Y1, and the right boundary of the small block Uul corresponds to the right boundary d of the luminance block Y2. The upper boundary of the small block Ull is the boundary a above the luminance block Y1, the lower boundary of the small block Ull is the lower boundary g of the luminance block Y3, and the left boundary of the small block Ull is the luminance. The left boundary e of the block Y3 and the right boundary of the small block Ull correspond to the right boundary f of the luminance block Y4, respectively. Furthermore, the upper boundary of the small block Uur is the boundary b above the luminance block Y2, the lower boundary of the small block Uur is the lower boundary h of the luminance block Y4, and the left boundary of the small block Uur is the luminance. The left boundary c of the block Y1 and the right boundary of the small block Uur correspond to the right boundary d of the luminance block Y2. Furthermore, the upper boundary of the small block Ulr is the boundary b above the luminance block Y2, the lower boundary of the small block Ulr is the lower boundary h of the luminance block Y4, and the left boundary of the small block Ulr is the luminance The left boundary e of the block Y3 and the right boundary of the small block Ulr correspond to the right boundary f of the luminance block Y4, respectively.
[0516]
Since the boundary between the luminance blocks Y1 to Y4 and the boundary between the small blocks Uul, Ull, Uur, and Ulr have the above correspondence, the class code creation unit 123 has an image format of 4: As in the case of 2: 2, as the boundary code in the color difference class code of each pixel of the small blocks Uul, Ull, Uur, Ulr, the one obtained for the corresponding boundary of the luminance blocks Y1 to Y4 is used as it is. It has become.
[0517]
That is, for the pixels of the small block Uul, the class code creating unit 123 uses the upper boundary code, the luminance block Y1 as the upper boundary code, the lower boundary code, the left boundary code, and the right boundary code in the color difference class code, respectively. The lower boundary code of the block Y3, the left boundary code of the luminance block Y1, and the right boundary of the luminance block Y2 are set.
[0518]
In addition, the class code creating unit 123 sets the upper boundary code, luminance, and luminance of the luminance block Y1 as the upper boundary code, lower boundary code, left boundary code, and right boundary code in the color difference class code for the pixels of the small block Ull, respectively. The lower boundary code of the block Y3, the left boundary code of the luminance block Y3, and the right boundary of the luminance block Y4 are set.
[0519]
Further, the class code creation unit 123, for the pixels of the small block Uur, as the upper boundary code, the lower boundary code, the left boundary code, and the right boundary code in the color difference class code, respectively, The lower boundary code of the block Y4, the left boundary code of the luminance block Y1, and the right boundary code of the luminance block Y2 are set.
[0520]
In addition, the class code creating unit 123 sets the upper boundary code, the luminance block Y2 as the upper boundary code, the lower boundary code, the left boundary code, and the right boundary code in the color difference class code for the pixels of the small block Ulr, respectively. The lower boundary code of the block Y4, the left boundary code of the luminance block Y3, and the right boundary code of the luminance block Y4 are set.
[0521]
The correspondence relationship between the color difference block V and the luminance blocks Y1 to Y4 is the same as the correspondence relationship between the color difference block U and the luminance blocks Y1 to Y4, and the class code creation unit 123 is the same as in the color difference block U. The color difference block V is divided into four small blocks Vul, Vll, Vur, Vlr each having a horizontal × vertical size of 4 × 4 pixels, and the luminance block is used as a boundary code in the color difference class code of the small blocks Vul, Vll, Vur, Vlr. The boundary codes Y1 to Y4 are set in the same manner as in the color difference block U.
[0522]
As a result, the class code creation unit 123 creates the following color difference class codes for the pixels of the small blocks Uul, Ull, Uur, Ulr and Vul, Vll, Vur, Vlr.
[0523]
That is, for example, as shown in FIG. 41A, the i-th bit of the 10-bit luminance class code obtained for the pixels of the two luminance blocks Y1 to Y4 corresponding to the color difference blocks U and V is represented by BUL # i. −1, BUR # i−1, BDL # i−1, and BDR # i−1, respectively, the pixels of small blocks Uul, Ull, Uur, Ulr, and Vul, Vll, Vur, Vlr A class code as shown in FIG. 41B is created.
[0524]
That is, BUR0, BUL1, BDL2, BUL3, BUR4, BUL5, BDL6, and BUL7 are arranged in the first to eighth bits of the color difference class codes of the pixels of the small blocks Uul and Vul, respectively. In addition, BDR0, BDL1, BDL2, BUL3, BDR4, BDL5, BDL6, and BUL7 are arranged in the first to eighth bits of the color difference class codes of the pixels of the small blocks Ull and Vll, respectively. Further, BUR0, BUL1, BDR2, BUR3, BUR4, BUL5, BDR6, and BUR7 are arranged in the first to eighth bits of the color difference class codes of the pixels of the small blocks Uur and Vur, respectively. Also, BDR0, BDL1, BDR2, BUR3, BDR4, BDL5, BDR6, and BUR7 are arranged in the first to eighth bits of the color difference class codes of the pixels of the small blocks Ulr and Vlr, respectively.
[0525]
Here, the ninth bit and the tenth bit of the color difference class code are determined based on the AC power of the pixel of interest, as in the case of the luminance class code.
[0526]
Here, the image data is described as being represented in Y, U, V format, but the same class classification is also applied when the image data is represented in, for example, Y, Cb, Cr format. Can be done.
[0527]
Furthermore, here, the case where the image format is 4: 2: 2 and the case where the image format is 4: 2: 0 has been described. However, when the image format is 4: 4: 4 (for example, the image data is R ( red), G (green), and B (blue) formats), the same class classification may be performed for each signal, or the class code obtained by the class classification performed for a certain signal may be used as is. It may be used for other signals.
[0528]
Next, FIG. 42 shows a configuration example of the adaptive processing unit 51 of FIG.
[0529]
The prediction tap generation unit 131 reads out the two-dimensional DCT coefficient from the buffer memory 12 (FIG. 2), thereby generating a prediction tap for performing the linear primary prediction calculation of the expression (1) for predicting the target pixel. This is supplied to the sum calculation unit 133.
[0530]
Here, FIG. 43 illustrates a configuration example of the prediction tap generation unit 131 of FIG.
[0531]
The reading unit 136 reads necessary two-dimensional DCT coefficients from the buffer memory 12 (FIG. 2) and supplies them to the arrangement unit 137. The array unit 137 forms a prediction tap by arranging (arranging) the two-dimensional DCT coefficients from the reading unit 136 in a predetermined order, and supplies the prediction tap to the product-sum operation unit 133 (FIG. 42).
[0532]
Here, the reading unit 136 reads, for example, all the two-dimensional DCT coefficients of the block of interest stored in the buffer memory 12 and supplies them to the arrangement unit 137 as prediction taps. In this case, the prediction tap is composed of 64 (= 8 × 8) taps.
[0533]
By the way, since the spatial frequency component of the target pixel is dispersed throughout the two-dimensional DCT coefficients of the target block, in order to predict the target pixel, at least all the two-dimensional DCT coefficients of the target block are used as prediction taps. It is desirable to use it.
[0534]
However, the target pixel generally has a correlation with not only the pixel of the target block but also the neighboring block pixels around the target block, such as the adjacent block adjacent to the target block. It is possible to decode (predict) the target pixel with higher accuracy when configured in a form including peripheral block information (peripheral information).
[0535]
Therefore, in the reading unit 136, for example, as shown in FIG. 44, all the two-dimensional DCT coefficients of the target block stored in the buffer memory 12, and the two-dimensional of the four adjacent blocks adjacent to the upper, lower, left, and right of the target block. All the DCT coefficients can be read out and supplied to the arrangement unit 137 as a prediction tap. In this case, the prediction tap is composed of 320 (= 8 × 8 × 5) taps.
[0536]
Further, in the reading unit 136, for example, as shown in FIG. 45, all the two-dimensional DCT coefficients of the target block stored in the buffer memory 12, and the upper, lower, left, right, upper left, lower left, and upper right of the target block. All the two-dimensional DCT coefficients of eight adjacent blocks adjacent to the lower right can be read out and supplied to the arrangement unit 137 as prediction taps. In this case, the prediction tap is composed of 576 (= 8 × 8 × 9) taps.
[0537]
Incidentally, as shown in FIGS. 44 and 45, if all the two-dimensional DCT coefficients of a plurality of blocks adjacent to the target block are included in the prediction tap, the number of taps of the prediction tap becomes large, and a product sum described later. The number of tap coefficients used in the calculation unit 133 (FIG. 42) increases, and the calculation amount of the product-sum calculation unit 133 increases.
[0538]
Therefore, for example, as shown in FIG. 46, the reading unit 136 includes all the two-dimensional DCT coefficients of the target block stored in the buffer memory 12 and the upper, lower, left, right, upper left, lower left, Only the DC component of the two-dimensional DCT coefficients of the eight blocks adjacent to the upper right and lower right can be read out as prediction taps. In this case, the prediction tap is composed of 72 (= 8 × 8 + 8) taps. Compared to the cases in FIG. 44 and FIG. 45, the prediction tap including information on adjacent blocks, that is, 2 here. A prediction tap including information on the gradient of the pixel value in the vicinity of the block of interest represented by the DC component of the dimensional DCT coefficient can be configured with a small number of taps.
[0539]
Returning to FIG. 42, the tap coefficient buffer 132 temporarily stores the tap coefficient supplied from the tap coefficient storage unit 14 (FIG. 2).
[0540]
The product-sum operation unit 131 performs the linear primary prediction operation of Expression (1) using the prediction tap supplied from the prediction tap generation unit 131 and the tap coefficient stored in the tap coefficient buffer 132, and the pixel of interest The decrypted value of is output.
[0541]
Next, processing (adaptive processing) of the adaptive processing unit 51 in FIG. 42 will be described with reference to the flowchart in FIG.
[0542]
First, in step S <b> 101, the prediction tap generation unit 131 stores prediction taps for performing linear primary prediction calculation of Expression (1) for predicting each pixel of the block of interest, for example, in the buffer memory 12. All the two-dimensional DCT coefficients of the block of interest and other necessary two-dimensional DCT coefficients are generated and supplied to the product-sum operation unit 133, and the process proceeds to step S102.
[0543]
In step S102, the product-sum operation unit 133 initializes a variable i representing the pixel position mode to, for example, 1.
[0544]
Here, in the case of performing inverse DCT transform on the two-dimensional DCT coefficient of the block, the position information indicating the spatial position of each pixel in the block is the component c of the transformation matrix C shown in Expression (11)._ijIs considered in the form of the phase of cos ((2j + 1) × i × π / 16) defining
[0545]
On the other hand, in the adaptive processing, linear primary prediction calculation of Equation (1) using the DCT coefficients constituting the prediction tap and the tap coefficients is performed. In this linear primary prediction calculation, the pixel ( The position information of the pixel of interest is not considered. Therefore, in order to perform linear primary prediction calculation in consideration of the position information of the target pixel, here, different tap coefficients are used depending on the position of the target pixel. That is, even if the pixels are classified into the same class, if the positions in the blocks are different, linear primary prediction calculation is performed using different tap coefficients. In this case, the tap coefficient used for the linear primary prediction calculation is switched depending on the position of the target pixel in the block, and information indicating the position of the target pixel is the pixel position mode.
[0546]
In this case, since the block is composed of 8 × 8 pixels, there are 64 positions. Here, for example, the i-th position in the raster scan order is represented as a pixel position mode #i. .
[0547]
Thereafter, the pixel in the pixel position mode #i is set as the target pixel, and the class classification unit 13 (FIG. 2) performs class classification on the target pixel, so that the tap coefficient storage unit 14 changes the class code of the target pixel. The process proceeds to step S103 after waiting for the corresponding tap coefficient to be supplied.
[0548]
In step S103, the tap coefficient from the tap coefficient storage unit 14 is supplied to and stored in the tap coefficient buffer 132.
[0549]
Here, as described above, even if the pixels are classified into the same class, different tap coefficients are used when the positions in the block (pixel position modes) are different. Therefore, 64 sets of tap coefficients, which are the total number of pixel position modes, are supplied from the tap coefficient storage unit 14 as tap coefficients of the class of the pixel of interest. Store 64 sets of tap coefficients.
[0550]
Thereafter, the process proceeds to step S104, where the product-sum operation unit 133 sets the tap coefficient corresponding to the pixel position mode #i (w in the expression (1)).₁, W₂,...) Are read out from the tap coefficient buffer 132, and the process proceeds to step S105.
[0551]
In step S105, the product-sum operation unit 133 performs linear primary prediction calculation of Expression (1) using the prediction tap from the prediction tap generation unit 131 and the tap coefficient read from the tap coefficient buffer 132. Thus, the pixel value of the target pixel is decoded.
[0552]
In step S106, the product-sum operation unit 133 determines whether the pixel position mode #i is equal to 64 (= 8 × 8) that is the number of pixels of the target block.
[0553]
If it is determined in step S106 that the pixel position mode #i is not equal to 64, the process proceeds to step S107, and the product-sum operation unit 133 increments the pixel position mode #i by 1, returns to step S103, and so on. The same process is repeated.
[0554]
If it is determined in step S106 that the pixel position mode #i is equal to 64, that is, if all the pixel values of the block of interest are decoded, the process ends.
[0555]
Note that the adaptive processing unit 51 repeatedly performs the adaptive processing of FIG. 47 with the blocks stored in the buffer memory 12 (FIG. 2) as sequential blocks of interest.
[0556]
The product-sum operation unit 133 temporarily stores the decoded block until a decoded image of one frame (or field) is obtained. When the decoded image of one frame is obtained, the decoded image of the one frame is stored. Output.
[0557]
Here, in the MPEG encoding, when encoding 8-bit image data, the pixel value and the two-dimensional DCT coefficient are evenly distributed on the positive side and the negative side centered on 0, so that the pixel value of the original image To 128 (= 2⁷) Is subtracted to encode the pixel value.
[0558]
For this reason, the product-sum operation unit 133 obtains a decoded image having a level of each pixel value that is lower by 128. Therefore, the product-sum operation unit 133 adds 128 to each pixel value of the decoded image and outputs the result.
[0559]
Next, learning of tap coefficients stored in the coefficient memories 43 and 44 in FIG. 2 will be described.
[0560]
In MPEG, there are three picture types, i.e., I picture, P picture, and B picture, depending on the prediction method. Therefore, learning of tap coefficients is also performed for each picture type.
[0561]
FIG. 48 illustrates a configuration example of an embodiment of a learning device when learning tap coefficients for I pictures.
[0562]
The teacher data storage 141 stores learning image data as teacher data.
[0563]
The student data generation unit 142 includes an MPEG encoder 151, a separation unit 152, and a DCT coefficient extraction / inverse quantization unit 153, and learning image data (here, also teacher data) stored in the teacher data storage 141. ) To generate student data.
[0564]
That is, the MPEG encoder 151 reads the learning image data stored in the teacher data storage 141, performs MPEG encoding, and supplies the encoded data obtained as a result to the separation unit 152. Separation section 152 and DCT coefficient extraction / inverse quantization section 153 are configured in the same manner as separation section 1 and DCT coefficient extraction / inverse quantization section 2 in FIG. 2, respectively, and quantize DCT coefficients from encoded data. Separate, extract, dequantize and output.
[0565]
Note that the separation unit 152 and the DCT coefficient extraction / inverse quantization unit 153 perform processing only on the I picture. Further, the separating unit 152 separates so-called side information such as a quantization scale and a DCT type in addition to the quantized DCT coefficient from the encoded data as necessary.
[0566]
Therefore, the DCT coefficient extraction / inverse quantization unit 153 outputs necessary side information such as a DCT type in addition to the two-dimensional DCT coefficient for the I picture.
[0567]
The two-dimensional DCT coefficient, DCT type, and the like for the I picture output from the DCT coefficient extraction / inverse quantization unit 153 are supplied to the student data storage 143 as student data.
[0568]
The student data storage 143 stores the student data supplied from the student data generation unit 142 (its DCT coefficient extraction / inverse quantization unit 153).
[0569]
The prediction tap generation unit 144 generates the same prediction tap generated by the prediction tap generation unit 131 of FIG. 42 from the student data stored in the student data storage 143, and supplies the prediction tap to the addition unit 146. Therefore, here, the prediction tap generation unit 144 includes all the two-dimensional DCT coefficients constituting the block of interest among the two-dimensional DCT coefficients as the student data stored in the student data storage 143 and the necessary two-dimensional DCT coefficients. Is used as a prediction tap.
[0570]
When the prediction tap generation unit 131 in FIG. 42 generates a prediction tap using the two-dimensional DCT coefficient of the block adjacent to the target block in addition to the two-dimensional DCT coefficient of the target block, the prediction tap generation unit 144 also In addition to the two-dimensional DCT coefficient of the target block, a two-dimensional DCT coefficient adjacent to the target block is used to generate a prediction tap having the same structure as the prediction tap generation unit 131 generates. In this case, the prediction tap generation unit 144 acquires the two-dimensional DCT coefficient of the block adjacent to the block of interest from the student data storage 143.
[0571]
The class classification unit 145 is similar to the class classification unit 13 of FIG. 2, obtains a one-dimensional DCT coefficient from the two-dimensional DCT coefficient as the student data stored in the student data storage 143, and further converts the one-dimensional DCT coefficient into the one-dimensional DCT coefficient. Based on the class classification unit 13 shown in FIG. 2, the target pixel in the target block is classified and the class code representing the class of the target pixel is output to the adding unit 146.
[0572]
The adding unit 146 sequentially sets the blocks of the two-dimensional DCT coefficients as the student data stored in the student data storage 143 as the target block, and sequentially sets the pixels of the target block as the target pixel (target teacher data). Then, the prediction tap (two-dimensional DCT coefficient constituting the student data) from the prediction tap generation unit 144 and addition for the target pixel are performed.
[0573]
That is, the adding unit 146 uses the prediction tap (student data) for each class corresponding to the class code supplied from the class classifying unit 145, and is a component in the matrix A of Expression (8). Multiplication of data (x_inx_im) And a calculation corresponding to summation (Σ).
[0574]
Further, the adding unit 146 uses the prediction tap (student data) and the target pixel (teacher data) for each class corresponding to the class code supplied from the class classification unit 145, and uses the vector v of Expression (8). Multiplying student data and teacher data (x_iny_i) And a calculation corresponding to summation (Σ).
[0575]
Note that the above-described addition in the addition unit 146 is performed for each pixel position mode with respect to the target pixel for each class.
[0576]
The addition unit 146 performs the above addition using all the blocks constituting the two-dimensional DCT coefficient as the student data stored in the student data storage 143 as the target block, and thereby, for each class, the pixel position mode For each, the normal equation shown in equation (8) is established.
[0577]
The tap coefficient calculation unit 147 solves each normal equation generated for each class and for each pixel position mode in the addition unit 146, thereby providing 64 sets of taps corresponding to 64 pixel position modes for each class. Find the coefficient.
[0578]
Depending on the number of images prepared as learning images, the contents of the images, etc., the adding unit 146 cannot obtain the number of normal equations necessary for obtaining tap coefficients, and further the pixel position. Although a mode may occur, the tap coefficient calculation unit 147 outputs, for example, a default tap coefficient for such a class or pixel position mode.
[0579]
Next, processing (learning processing) of the learning device in FIG. 48 will be described with reference to the flowchart in FIG.
[0580]
First, in step S111, as described above, the student data generation unit 142 generates student data for the I picture from the learning image data stored in the teacher data storage 141, and stores it in the student data storage 143. Supply and store.
[0581]
In step S112, the adding unit 146 selects one of the blocks of the two-dimensional DCT coefficient as the student data stored in the student data storage 143, which has not yet been set as the target block, and selects the target block. And go to step S113.
[0582]
In step S113, the prediction tap generation unit 144 reads out all the two-dimensional DCT coefficients as the student data of the block of interest and the necessary two-dimensional DCT coefficients from the student data storage 143, thereby generating a prediction tap, and step S114. Proceed to
[0583]
In step S114, the adding unit 146 initializes a variable i representing the pixel position mode to 1, for example, and proceeds to step S115. In step S115, the class classification unit 145 classifies the pixel of interest in the same manner as in the class classification unit 13 of FIG. 2 using the pixel at the position represented by the pixel position mode #i in the block of interest as the pixel of interest. The class code obtained as a result is output to the adding unit 146.
[0584]
In step S116, the adding unit 146 reads out the teacher data (pixel value) serving as the pixel of interest from the teacher data storage 141, the prediction tap (two-dimensional DCT coefficient constituting the student data), and the teacher data As described above, the above-described addition of the matrix A and the vector v in Expression (8) is performed. This addition is performed for each class corresponding to the class code from the class classification unit 145 and for each pixel position mode #i for the target pixel.
[0585]
In step S117, the adding unit 146 determines whether the pixel position mode #i is equal to 64, which is the number of pixels of the target block.
[0586]
If it is determined in step S117 that the pixel position mode #i is not equal to 64, the process proceeds to step S118, and the adding unit 146 increments the pixel position mode #i by 1, and returns to step S115. Similar processing is repeated.
[0587]
If it is determined in step S117 that the pixel position mode #i is equal to 64, that is, if all pixels in the target block are added as the target pixel, the process proceeds to step S119, where the addition unit 146 Then, it is determined whether there is a block of the two-dimensional DCT coefficient as the student data stored in the student data storage 143 that is not yet a block of interest (hereinafter referred to as an unprocessed block as appropriate).
[0588]
If it is determined in step S119 that there is an unprocessed block, the process returns to step S112, and a new target block is selected from the unprocessed blocks. Thereafter, the same processing is repeated.
[0589]
If it is determined in step S119 that there is no unprocessed block, that is, if a normal equation for each pixel position mode is obtained for each class in the adding unit 146, the process proceeds to step S120, and tap coefficient calculation is performed. The unit 147 obtains 64 sets of tap coefficients corresponding to each of the 64 pixel position modes of each class by solving the normal equation generated for each pixel position mode of each class, and performs a learning process. finish.
[0590]
Next, FIG. 50 illustrates a configuration example of an embodiment of a learning device when learning tap coefficients for P pictures. In the figure, portions corresponding to those in FIG. 48 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, the learning apparatus in FIG. 50 is configured basically in the same manner as in FIG. 48 except that a student data generation unit 162 is provided instead of the student data generation unit 151.
[0591]
Here, the P picture is predictively encoded (non-intra encoded) using the I or P picture decoded (encoded) in advance in time as a reference image, that is, the predicted image is subtracted from the original image. 2 is subjected to two-dimensional DCT transform, the preprocessing unit 11 performs motion compensation on the previously decoded I or P picture in the image processing apparatus of FIG. After adding the two-dimensional DCT coefficient of the residual image and the two-dimensional DCT coefficient of the residual image, the adaptive processing unit 51 performs an adaptive process.
[0592]
Therefore, in learning of tap coefficients for P pictures, it is necessary to use, as student data, a value obtained by adding a two-dimensional DCT coefficient of a predicted image to a two-dimensional DCT coefficient of a residual image.
[0593]
By the way, a predicted picture of a P picture can be obtained by using the previously decoded I or P picture as a reference picture and applying motion compensation to the reference picture. Since we are trying to learn, there are no tap coefficients for P pictures.
[0594]
On the other hand, the tap coefficient for I picture can be obtained in advance in the learning apparatus of FIG.
[0595]
Therefore, in the learning apparatus of FIG. 50, the student data generation unit 162 generates student data for a block of a P picture that is predictively encoded using an I picture as a reference image.
[0596]
That is, the MPEG encoder 171 reads the learning image data stored in the teacher data storage 141, performs MPEG encoding, and supplies the encoded data obtained as a result to the separation unit 172. Separation section 172 and DCT coefficient extraction / inverse quantization section 173 are configured in the same manner as separation section 1 and DCT coefficient extraction / inverse quantization section 2 in FIG. 2, respectively, and quantize DCT coefficients from encoded data. Separation, extraction, and inverse quantization.
[0597]
Note that the separation unit 172 and the DCT coefficient extraction / inverse quantization unit 173 perform processing only on the prediction-coded blocks of the I picture and the P picture. Further, the separation unit 172 separates side information such as a quantization scale, a DCT type, and a motion vector from the encoded data as well as the quantized DCT coefficient as necessary.
[0598]
When obtaining the two-dimensional DCT coefficient of the I picture, the DCT coefficient extraction / inverse quantization unit 173 supplies the two-dimensional DCT coefficient of the I picture to the class classification unit 174 and the adaptive processing unit 176.
[0599]
In addition, when the DCT coefficient extraction / inverse quantization unit 173 obtains the two-dimensional DCT coefficient of the P-picture predictively encoded block, that is, the two-dimensional DCT coefficient of the residual image, the two-dimensional DCT coefficient of the residual image is obtained. The DCT coefficient is supplied to the frequency domain motion compensation adding unit 181.
[0600]
Furthermore, when the DCT coefficient extraction / inverse quantization unit 173 obtains the motion vector of the P-picture prediction-coded block, the DCT coefficient extraction / inverse quantization unit 173 supplies the motion vector to the motion compensation unit 178.
[0601]
The class classification unit 174 sequentially uses the pixels of the block of the I picture supplied from the DCT coefficient extraction / inverse quantization unit 173 as the target pixel, and the target pixel is the same as in the class classification unit 13 of FIG. Then, class classification is performed, and a class code obtained as a result is supplied to the tap coefficient storage unit 175. The tap coefficient storage unit 175 stores tap coefficients for I pictures obtained by the learning device of FIG. 48, and the class code supplied from the class classification unit 174 is the same as the tap coefficient storage unit 14 of FIG. The tap coefficient corresponding to is acquired and supplied to the adaptive processing unit 176.
[0602]
Similar to the adaptive processing unit 51 of FIG. 2, the adaptive processing unit 176 supplies all the two-dimensional DCT coefficients of the block including the pixel of interest supplied from the DCT coefficient extraction / inverse quantization unit 173 and the necessary two-dimensional DCT coefficients. Is used as a prediction tap, and linear primary prediction calculation using the prediction tap and the tap coefficient supplied from the tap coefficient storage unit 175, that is, adaptive processing is performed.
[0603]
The decoded picture of the I picture obtained by performing the adaptive process in the adaptive processing unit 176 is supplied to the I picture storage 177 and stored therein.
[0604]
Thereafter, the motion compensation unit 178 reads an I picture as a reference image to be subjected to motion compensation using the motion vector supplied from the DCT coefficient extraction / inverse quantization unit 173 from the I picture storage 177, and motion compensation is performed on the I picture. To generate a predicted image. The predicted image is supplied to and stored in the image memory 179. The predicted image stored in the image memory 179 is converted into a two-dimensional DCT coefficient by the DCT conversion unit 180 and supplied to the frequency domain motion compensation addition unit 181. The frequency domain motion compensation adding unit 181 includes a two-dimensional DCT coefficient of a P picture residual image supplied from the DCT coefficient extraction / inverse quantization unit 173 and a two-dimensional DCT coefficient of a prediction image supplied from the DCT transform unit 180. And add.
[0605]
That is, the motion compensation unit 178, the image memory 179, the DCT conversion unit 180, and the frequency domain motion compensation addition unit 181 are the motion compensation unit 4, the image memory 5, the DCT conversion unit 21, and the frequency domain motion compensation addition unit 22 shown in FIG. Therefore, in the frequency domain motion compensation adding unit 181, the two-dimensional DCT coefficient of the residual picture of the P picture from the DCT coefficient extracting / inverse quantizing unit 173 and the DCT converting unit 180 are used. By adding the two-dimensional DCT coefficients of the predicted image, a two-dimensional DCT coefficient obtained by two-dimensional DCT-transforming the original image of the P picture (not the original image as described above) is obtained.
[0606]
The two-dimensional DCT coefficient of the original image of the P picture obtained by the frequency domain motion compensation adding unit 181 is supplied to and stored in the student data storage 143 as student data.
[0607]
Thereafter, the same processing as in the learning apparatus of FIG. 48 is performed, and thereby, tap coefficients for P pictures (more precisely, for predictive-encoded blocks of P pictures) are obtained.
[0608]
Next, FIG. 51 shows a configuration example of an embodiment of a learning apparatus when learning tap coefficients for B pictures. Note that the learning device that learns the tap coefficient for the B picture is similar to the learning device that learns the tap coefficient for the P picture in FIG. FIG. 51 shows only the student data generation unit of the learning device that learns the tap coefficient for the B picture.
[0609]
Similarly to the P picture, the B picture is also predictively encoded (non-intra-encoded) using the I or P picture decoded in advance in time as a reference image, that is, the predicted image is subtracted from the original image. Since the residual image is subjected to the two-dimensional DCT transform, in the image processing apparatus of FIG. 2, the pre-processing unit 11 performs motion compensation on the previously decoded I or P picture, and the two-dimensional prediction image obtained as a result After adding the DCT coefficient and the two-dimensional DCT coefficient of the residual image, the adaptive processing unit 51 performs an adaptive process.
[0610]
Therefore, in learning of tap coefficients for B pictures, it is necessary to use, as student data, a result obtained by adding a two-dimensional DCT coefficient of a predicted image to a two-dimensional DCT coefficient of a residual image.
[0611]
Therefore, in the learning device of FIG. 51, such student data is generated and learning is performed.
[0612]
That is, learning image data (here, equal to teacher data) is supplied to the MPEG encoder 191. The MPEG encoder 191 encodes the learning image data by MPEG, and the result is as a result. The obtained encoded data is supplied to the separation unit 192. The separation unit 192 and the DCT coefficient extraction / inverse quantization unit 193 are configured in the same manner as the separation unit 1 and the DCT coefficient extraction / inverse quantization unit 2 in FIG. 2, respectively, and the quantized DCT coefficient is obtained from the encoded data. Separate, extract, dequantize and output.
[0613]
The two-dimensional DCT coefficient of the I picture output from the DCT coefficient extraction / inverse quantization unit 193 is supplied to the class classification unit 194 and the adaptive processing unit 196. Further, the two-dimensional DCT coefficient of the P picture output from the DCT coefficient extraction / inverse quantization unit 193 is supplied to the frequency domain motion compensation addition unit 201. Further, the two-dimensional DCT coefficient of the B picture output from the DCT coefficient extraction / inverse quantization unit 193 is supplied to the frequency domain motion compensation addition unit 209.
[0614]
Here, the separation unit 192 separates side information such as a quantization scale, a DCT type, and a moving vector from the encoded data in addition to the quantized DCT coefficient as necessary, and extracts the DCT coefficient extraction / inverse quantization unit. The necessary blocks are supplied via 193. As for the side information, in the embodiment of FIG. 51, the supply of the P-picture motion vector from the DCT coefficient extraction / inverse quantization unit 193 to the motion compensation unit 198 and the DCT coefficient extraction / inverse quantization unit 193 Only the supply of the motion vector of the B picture to the motion compensation unit 206 is shown.
[0615]
Also, the DCT coefficient extraction / inverse quantization unit 193 supplies only the two-dimensional DCT coefficient of the B picture predictively encoded block, that is, the two-dimensional DCT coefficient of the residual image, to the frequency domain motion compensation adding unit 209. To do.
[0616]
Further, the DCT coefficient extraction / inverse quantization unit 193 supplies only the two-dimensional DCT coefficient of the predictively encoded block to the frequency domain motion compensation addition unit 201 for the P picture. Also, in the DCT coefficient extraction / inverse quantization unit 193, the two-dimensional DCT coefficients of the intra-coded block of the P picture are supplied to the class classification unit 194 and the adaptive processing unit 196, and hereinafter, the intra-coded I It is processed in the same way as a picture.
[0617]
That is, the class classifying unit 194 sequentially uses the pixels of the intra-coded blocks of the I picture and the P picture supplied from the DCT coefficient extraction / inverse quantization unit 193 as the target pixel, with respect to the target pixel. The class classification is performed in the same manner as in the class classification unit 13, and the resulting class code is supplied to the tap coefficient storage unit 195. The tap coefficient storage unit 195 stores the tap coefficients for the I picture obtained by the learning device of FIG. 48, and the class code supplied from the class classification unit 194 is the same as the tap coefficient storage unit 14 of FIG. The tap coefficient corresponding to is acquired and supplied to the adaptive processing unit 196.
[0618]
Similar to the adaptive processing unit 51 in FIG. 2, the adaptive processing unit 196 uses all the two-dimensional DCT coefficients of the block including the pixel of interest and the necessary two-dimensional DCT coefficients as prediction taps, the prediction taps, and the tap coefficient storage unit. The linear primary prediction calculation using the tap coefficient supplied from 195, that is, adaptive processing is performed.
[0619]
The decoded picture of the I picture obtained by performing the adaptive process in the adaptive processing unit 196 is supplied to the I picture storage 197 and stored therein. Note that the adaptive processing unit 196 also obtains a decoded image of an intra-coded P picture block. The decoded image of the P picture is supplied from the adaptive processing unit 196 to the P picture storage 205 and stored therein.
[0620]
Thereafter, the motion compensation unit 198 reads an I picture as a reference image to be subjected to motion compensation using the motion vector supplied from the DCT coefficient extraction / inverse quantization unit 193 from the I picture storage 197, and performs motion compensation on the I picture. To generate a predicted picture of a P picture. The predicted image of the P picture is supplied to and stored in the image memory 199. The predicted image stored in the image memory 199 is converted into a two-dimensional DCT coefficient by the DCT conversion unit 200 and supplied to the frequency domain motion compensation addition unit 201. The frequency domain motion compensation addition unit 201 includes a two-dimensional DCT coefficient of a P picture residual image supplied from the DCT coefficient extraction / inverse quantization unit 193 and a two-dimensional DCT coefficient of a prediction image supplied from the DCT transform unit 200. And add.
[0621]
That is, the motion compensation unit 198, the image memory 199, the DCT conversion unit 200, and the frequency domain motion compensation addition unit 201 are the motion compensation unit 4, the image memory 5, the DCT conversion unit 21, and the frequency domain motion compensation addition unit 22 shown in FIG. Therefore, in the frequency domain motion compensation addition unit 201, the two-dimensional DCT coefficient of the residual picture of the P picture from the DCT coefficient extraction / inverse quantization unit 193 and the DCT conversion unit 200 By adding the two-dimensional DCT coefficients of the predicted image, a two-dimensional DCT coefficient obtained by two-dimensional DCT-transforming the original image of the P picture (not the original image as described above) is obtained.
[0622]
The two-dimensional DCT coefficient of the original image of the P picture obtained by the frequency domain motion compensation addition unit 201 is supplied to the class classification unit 202 and the adaptive processing unit 204.
[0623]
In the case of the class classification unit 13 of FIG. 2, the class classification unit 202 sequentially uses the pixels of the P-picture predictively encoded block supplied from the frequency domain motion compensation addition unit 201 as the target pixel. Class classification is performed in the same manner as described above, and the class code obtained as a result is supplied to the tap coefficient storage unit 203. The tap coefficient storage unit 203 stores the P coefficient tap coefficients obtained by the learning device of FIG. 50, and the class code supplied from the class classification unit 202 is the same as the tap coefficient storage unit 14 of FIG. The tap coefficient corresponding to is acquired and supplied to the adaptive processing unit 204.
[0624]
Similar to the adaptive processing unit 51 in FIG. 2, the adaptive processing unit 204 uses all the two-dimensional DCT coefficients of the block including the target pixel as prediction taps, the prediction taps, and the tap coefficients supplied from the tap coefficient storage unit 203. Is used to perform linear primary prediction calculation, that is, adaptive processing.
[0625]
The decoded image of the P-coded block of the P picture obtained by performing the adaptive process in the adaptive processing unit 204 is supplied to the P picture storage 205 and stored therein. As described above, the P picture storage 205 also stores a decoded image of an intra-coded P picture block supplied from the adaptive processing unit 196.
[0626]
After that, the motion compensation unit 206 converts the I or P picture as a reference image to be subjected to motion compensation by the motion vector of the B picture supplied from the DCT coefficient extraction / inverse quantization unit 193 into the I picture storage 197 or the P picture storage. A prediction image of a B picture is generated by reading out from 205 and applying motion compensation to the I or P picture. The predicted image of the B picture is supplied to and stored in the image memory 207. The predicted image stored in the image memory 207 is converted into a two-dimensional DCT coefficient by the DCT conversion unit 208 and supplied to the frequency domain motion compensation addition unit 209. The frequency domain motion compensation addition unit 209 includes a two-dimensional DCT coefficient of the B picture residual image supplied from the DCT coefficient extraction / inverse quantization unit 193 and a two-dimensional DCT coefficient of the prediction image supplied from the DCT transform unit 208. And add.
[0627]
That is, the motion compensation unit 206, the image memory 207, the DCT conversion unit 208, and the frequency domain motion compensation addition unit 209 are the motion compensation unit 4, the image memory 5, the DCT conversion unit 21, and the frequency domain motion compensation addition unit 22 shown in FIG. Therefore, in the frequency domain motion compensation addition unit 209, the two-dimensional DCT coefficient of the residual image of the B picture from the DCT coefficient extraction / inverse quantization unit 193 and the DCT conversion unit 208 By adding the two-dimensional DCT coefficients of the predicted image, a two-dimensional DCT coefficient obtained by two-dimensional DCT-transforming the original image of the B picture (not the original image as described above) is obtained.
[0628]
The two-dimensional DCT coefficient of the original image of the B picture obtained by the frequency domain motion compensation adding unit 209 is output as student data. Thereafter, the same processing as in the learning apparatus of FIG. 48 is performed, and thereby, tap coefficients for B pictures (more precisely, for blocks obtained by predictive coding of B pictures) are obtained.
[0629]
The coefficient memories 43 and 44 in FIG. 2 store tap coefficients for I, P, and B pictures for each of the 64 pixel position modes obtained for each class by learning as described above.
[0630]
Accordingly, the tap coefficients stored in the coefficient memories 43 and 44 have a statistically minimized prediction error (square error in this case) of the predicted value of the original pixel value obtained by performing the linear primary prediction calculation. As a result, according to the adaptive processing unit 51 of FIG. 2, the MPEG encoded image is converted into an image that is as close as possible to the original image, that is, block distortion. Can be decoded into an image with good image quality in which various distortions such as noise and mosquito noise are sufficiently reduced.
[0631]
Here, in the learning device, a normal equation is separately established for the luminance signal and the color difference signal, and the tap coefficient obtained by solving the normal equation established from the luminance signal is stored in the coefficient memory 43, and the color difference is obtained. Tap coefficients obtained by solving a normal equation established from the signal are stored in the coefficient memory 44.
[0632]
As described above, in MPEG encoding, 128 (= 2) from the pixel value of the original image.⁷) Is subtracted to encode the pixel value. For this reason, the addition unit 146 (FIGS. 48 and 50) uses a value obtained by subtracting 128 from the pixel value as the teacher data stored in the teacher data storage 141 in the addition.
[0633]
In the image processing apparatus of FIG. 2, adaptive processing is performed on the I picture block using the tap coefficient for I picture. In addition, for a P picture or B picture block, if the block is predictively encoded (non-intra encoded), adaptive processing is performed using tap coefficients for the P picture or B picture. If the block is intra-coded, adaptive processing is performed using tap coefficients for I pictures.
[0634]
In the above-described case, the tap coefficient for each of the I, P, and B pictures is learned. However, for example, the learning of the tap coefficient for the B picture can be omitted. In this case, in the image processing apparatus of FIG. 2, for example, both of the P-picture and B-picture predictively coded blocks are subjected to adaptive processing using a P-picture tap coefficient. Further, in the image processing apparatus of FIG. 2, all the adaptive processing for I, P, and B pictures can be performed using tap coefficients for I pictures.
[0635]
Next, FIGS. 52 and 53 show simulation results obtained by performing a simulation of decoding an MPEG encoded image with the image processing apparatus of FIG.
[0636]
In the simulation, encoded data obtained by encoding an image in 4: 2: 2 format at the data rate of about 3.3 Mbps by the MPEG2 method was used. Further, in the simulation, an image sequence is used in which the I picture and the P picture are changed into even frames and odd frames, respectively, for each frame. Further, in the simulation, 700, 700, 350, 120, and 120 were used as the above-described threshold values A, B, C, D, and E, respectively. However, 80 was used as the threshold A for the color difference signal.
[0637]
FIG. 52 shows S / N (Signal to Noise ratio) for the luminance signal of the decoded image obtained by the simulation.
[0638]
In FIG. 52, S / N indicated by a solid line indicates a decoded image by the image processing apparatus of FIG. 2, and S / N indicated by a dotted line indicates a decoded image by a conventional MPEG software decoder compliant with the MPEG standard. Shows things. From FIG. 52, it can be seen that the S / N of the decoded image by the image processing apparatus of FIG. 2 is improved by about 1 dB as compared with the decoded image by the conventional MPEG software decoder.
[0639]
FIG. 53 shows a decoded image obtained by simulation.
[0640]
53A shows an original image, FIG. 53B shows a decoded image by a conventional MPEG software decoder, and FIG. 53C shows a decoded image by the image processing apparatus of FIG. In FIGS. 53A to 53C, about 1/3 of the right side shows the entire image showing the entire bottle, and about 2/3 of the left side shows the label of the bottle. The image which expanded the part of is shown. The image shown in FIG. 53 is an I picture image.
[0641]
Comparing the original image of FIG. 53A and the decoded image by the conventional MPEG software decoder of FIG. 53B, the decoded image of FIG. 53B has a block distortion in which the block boundary is noticeable. The mosquito noise appears prominently in the part of the character “”.
[0642]
On the other hand, in the decoded image by the image processing apparatus of FIG. 2 in FIG. 53C, the block distortion is sufficiently reduced, and mosquito noise is also reduced.
[0643]
Next, FIG. 54 illustrates a second configuration example of the prediction tap generation unit 131 of FIG. In the figure, portions corresponding to those in FIG. 43 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, the embodiment of FIG. 54 is basically configured in the same manner as in FIG. 43 except that an inverse DCT conversion unit 221 and a selection unit 222 are newly provided.
[0644]
Here, in the following, only the prediction tap configured by the prediction tap generation unit 131 will be described. However, when the prediction tap generation unit 131 configures a prediction tap described below, the prediction tap generation unit 131 is illustrated in FIGS. 48 and 50. The prediction tap generation unit 144 of the learning device also includes prediction taps having the same tap structure. Further, the adaptive processing unit 176 in FIG. 50 and the adaptive processing units 196 and 204 in FIG. 51 perform the same processing as the adaptive processing unit 51 in FIG. A prediction tap having the same tap structure as that to be configured is formed (generated).
[0645]
The inverse DCT transform unit 221 performs inverse DCT transform on the four adjacent blocks that are supplied from the reading unit 136 and are adjacent to the top, bottom, left, and right of the block of interest. That is, in the embodiment shown in FIG. 54, the reading unit 136 reads from the buffer memory 12 (FIG. 2) two 2D DCT coefficients of the block of interest and four adjacent blocks adjacent to the top, bottom, left and right of the block of interest. A dimensional DCT coefficient is also read out. Then, the reading unit 136 supplies the two-dimensional DCT coefficients of the block of interest to the arrangement unit 137 and supplies the two-dimensional DCT coefficients of the four adjacent blocks to the inverse DCT conversion unit 221. In this way, the inverse DCT transform unit 221 performs two-dimensional inverse DCT transform on the four adjacent blocks that are supplied from the reading unit 136 and are adjacent to each of the upper, lower, left, and right sides of the target block. The pixel value is decoded and supplied to the selection unit 222.
[0646]
The selection unit 222 selects a pixel value of a predetermined pixel from the pixel values of 8 × 8 pixels of the four adjacent blocks supplied from the inverse DCT conversion unit 221 and supplies the selected pixel value to the arrangement unit 137. In this case, the arrangement unit 137 arranges the pixel values of the pixels supplied from the selection unit 222 in addition to the two-dimensional DCT coefficients of the block of interest supplied from the reading unit 136 in a predetermined order, thereby predicting taps. And is supplied to the product-sum operation unit 133 (FIG. 42).
[0647]
That is, for example, as illustrated in FIG. 55A, the selection unit 222 is a pixel adjacent to the target block (block adjacent pixel) among the pixels of the adjacent block, and two pixels on the left and right of the same row as the target pixel. The pixel value of each pixel (hereinafter referred to as the left adjacent identical row pixel and the right adjacent identical row pixel, respectively) and two pixels above and below the same column as the pixel of interest (hereinafter appropriately referred to as the upper adjacent identical column, respectively) A pixel value of a pixel and a lower adjacent same column pixel) is selected and supplied to the array unit 137. In this case, in the array unit 137, the total of the 8 × 8 two-dimensional DCT coefficients of the target block supplied from the reading unit 136 and the pixel values of the four pixels supplied from the selection unit 222 is 68 (= 8 A prediction tap composed of (× 8 + 4) taps is configured.
[0648]
Further, for example, as illustrated in FIG. 55B, the selection unit 222 may include the left adjacent identical row pixel, the right adjacent identical row pixel, the upper adjacent identical column pixel, and the lower adjacent identical column pixel. The pixel adjacent to the left, the pixel adjacent to the right of the right adjacent pixel, the pixel adjacent above the upper adjacent column pixel, and the pixel adjacent below the lower adjacent column pixel are selected, and the array unit 137 is selected. Supply. In this case, the array unit 137 has a total of 72 (= 8) of the 8 × 8 two-dimensional DCT coefficient of the target block supplied from the reading unit 136 and the pixel values of the eight pixels supplied from the selection unit 222. A prediction tap composed of (× 8 + 8) taps is configured.
[0649]
Alternatively, for example, as illustrated in FIG. 55C, the selection unit 222 selects a pixel closer to the target pixel among the left adjacent identical row pixel and the right adjacent identical row pixel, and the upper adjacent identical column pixel and the lower adjacent row pixel. One of the adjacent pixels in the same column that is closer to the target pixel is selected and supplied to the array unit 137. In this case, in the array unit 137, the total of the 8 × 8 two-dimensional DCT coefficient of the target block supplied from the reading unit 136 and the pixel values of the two pixels supplied from the selection unit 222 is 66 (= 8 A prediction tap consisting of x8 + 2) taps is configured.
[0650]
Further, for example, as illustrated in FIG. 55D, the selection unit 222 selects four sets of eight pixels (block adjacent pixels) adjacent to the target block in each of the four adjacent blocks adjacent to the target block in the vertical and horizontal directions. , Supplied to the array unit 137. In this case, the array unit 137 adds 96 (total of 96 × 8 × 8 two-dimensional DCT coefficients of the target block supplied from the reading unit 136 and 8 × 4 pixel values supplied from the selection unit 222. = 8 × 8 + 8 × 4) A prediction tap composed of taps is configured.
[0651]
Here, in the selection unit 222, for example, it is possible to select all the pixels of four adjacent blocks adjacent to each of the upper, lower, left, and right sides of the target block. However, in this case, as in the case of FIG. 44, the number of taps of the prediction tap configured by the array unit 137 becomes large, and the amount of calculation of the product-sum calculation unit 133 (FIG. 42) and the coefficient for storing the tap coefficient The memory capacity of the memories 43 and 44 (FIG. 2) is also increased.
[0652]
Therefore, for example, as shown in FIG. 46, all the two-dimensional DCT coefficients of the block of interest and eight adjacent blocks adjacent to the block of interest, above, below, left, right, upper left, lower left, upper right, and lower right, respectively. By forming a prediction tap from the direct current component of the two-dimensional DCT coefficients, a prediction tap with a small number of taps can be formed in a form including information on adjacent blocks correlated with the pixel of interest. .
[0653]
By the way, the correlation between the target pixel and each 8 × 8 pixel of the adjacent block is generally not uniform. That is, the correlation between the pixels of the adjacent block and the target pixel is generally higher as the pixel is closer to the target pixel and lower as the pixel is farther away. In addition, for example, when there is an edge between the pixel of the adjacent block and the target pixel, or for a complex image, there is no correlation between the pixel of the adjacent block and the target pixel (almost no). Sometimes.
[0654]
On the other hand, the direct current component of the two-dimensional DCT coefficient of the adjacent block represents an average value of 8 × 8 pixels (average value of pixel values) of the adjacent block, and information of all the 8 × 8 pixels is reflected. Accordingly, the DC component of the two-dimensional DCT coefficient of the adjacent block includes information on a pixel having a high correlation with the target pixel, but conversely, may include information on a pixel having no correlation with the target pixel. In this way, when the prediction tap is configured to include information on a pixel that has no correlation with the target pixel (there is almost no correlation), the decoded value of the target pixel obtained by the product-sum operation unit 133 (FIG. 42) Adversely affects the decoding accuracy.
[0655]
Therefore, as shown in FIG. 55, the prediction tap can be configured by selecting not only all the pixels of the adjacent block but only the pixels close to (or adjacent to) the target block. In this case, decoding accuracy can be improved by a prediction tap with a small number of taps.
[0656]
55A and 55B, the left adjacent identical row pixel, the right adjacent identical row pixel, the upper adjacent identical column pixel, the lower adjacent identical column pixel, the pixel adjacent to the left of the left adjacent identical row pixel, the right adjacent The pixel adjacent to the right of the same row pixel, the pixel adjacent above the upper adjacent same column pixel, and the pixel adjacent below the lower adjacent same column pixel often have a high correlation with the target pixel. Is included in order to improve the decoding accuracy of the pixel of interest, that is, to decode a high-quality image that is closer to the original image and has various distortions sufficiently reduced. It is effective for.
[0657]
For example, when a pixel near the block boundary such as the left end of the target block is the target pixel, the target pixel at the left end of the target block has a large correlation with the pixel of the adjacent block adjacent to the left. In some cases, there is almost no correlation with the pixel of the adjacent block on the right. Therefore, as shown in FIG. 55C, the closer one of the left adjacent identical row pixels and the right adjacent identical row pixels to the target pixel is selected, and the upper adjacent identical column pixel and the lower adjacent identical column pixel are selected. It is effective to improve the decoding accuracy of the pixels at the block boundary of the block of interest by selecting the one closer to the pixel of interest and configuring the prediction tap. In addition, for example, when the vicinity of the target block has a complicated image pattern or has an edge, the left adjacent same row pixel or the right adjacent same row pixel or the upper adjacent same column pixel far from the target pixel And the lower adjacent column pixel may have little correlation with the target pixel. Therefore, even in such a case, configuring the prediction tap as shown in FIG. 55C improves the decoding accuracy of the target pixel. It is effective to make it.
[0658]
On the other hand, when the class of the target pixel is appropriately classified, decoding accuracy is improved when the amount of information constituting the prediction tap is large. Therefore, in such a case, the prediction tap shown in FIG. 55D is effective.
[0659]
Here, the prediction tap can be fixed to any one of the tap structures shown in FIGS. 55A to 55D, but the four tap structures shown in FIGS. 55A to 55D are selected. It is also possible to adopt it. That is, the prediction tap has four tap structures shown in FIGS. 55A to 55D based on the pixel position mode of the target pixel, the presence / absence of an edge near the target pixel, and the complexity of the image near the target pixel. Can be selectively employed.
[0660]
Next, processing performed by the prediction tap generation unit 131 in FIG. 54 in step S101 in FIG. 47 will be described with reference to the flowchart in FIG.
[0661]
In the prediction tap generation unit 131, first, in step S131, the reading unit 136 obtains, from the buffer memory 12 (FIG. 2), two-dimensional DCT coefficients of the block of interest and four adjacent blocks adjacent to each of the upper, lower, left, and right sides. read out. Further, in step S131, the reading unit 136 supplies the two-dimensional DCT coefficients of the block of interest to the arrangement unit 137 and supplies the two-dimensional DCT coefficients of the four adjacent blocks to the inverse DCT conversion unit 221. Proceed to S132.
[0662]
In step S <b> 132, the inverse DCT transform unit 221 performs inverse DCT transform on the four adjacent blocks supplied from the reading unit 136, thereby decoding the pixel values of the four adjacent blocks and supplying the decoded pixel values to the selection unit 222. The process proceeds to step S133.
[0663]
In step S133, the selection unit 222 sequentially uses the 8 × 8 pixels of the target block as the target pixels, and the pixels of the 8 × 8 pixels of the four adjacent blocks supplied from the inverse DCT conversion unit 221 for each target pixel. As described with reference to FIG. 55, the pixel value of a predetermined pixel is selected from the value, supplied to the arrangement unit 137, and the process proceeds to step S134.
[0664]
In step S134, the array unit 137 determines, for each of 8 × 8 pixels of the target block, the two-dimensional DCT coefficient of the target block supplied from the reading unit 136 and the pixel value of the pixel supplied from the selection unit 222. Thus, the prediction taps shown in FIG. 55 are configured, supplied to the product-sum operation unit 133 (FIG. 42), and the process ends.
[0665]
Next, in the prediction tap generation unit 131 in FIG. 54, a prediction tap including a pixel value of a pixel adjacent to the target block (block adjacent pixel) in the adjacent block is generated. Must be spatially adjacent.
[0666]
However, in MPEG2, as described above, the frame structure and field structure can be selected in units of macroblocks. Therefore, the structure of the target macroblock including the target block and the adjacent macroblock adjacent to the target macroblock can be selected. Depending on the structure, the pixel adjacent to the target block in the adjacent block adjacent to the target block may not be a pixel adjacent to the boundary of the target block (block adjacent pixel) in the spatial region.
[0667]
Therefore, the reading unit 136 (FIG. 4) recognizes the structure of the target block and adjacent blocks by referring to the DCT type stored in the buffer memory 12, and uses the structure of the target block as a reference in the spatial domain. A two-dimensional DCT coefficient of a block having block adjacent pixels adjacent to the boundary of the target block is read from the buffer memory 12. Therefore, in the above-described case, in order to simplify the description, it has been described that the reading unit 136 in FIG. 54 reads the two-dimensional DCT coefficients of four blocks adjacent to each of the upper, lower, left, and right sides of the target block. The reading unit 136 reads out two-dimensional DCT coefficients of blocks other than the above-described four blocks as necessary in order to obtain pixels adjacent to the target block (block adjacent pixels) in the spatial domain. Yes.
[0668]
Here, with reference to FIGS. 57 to 72, block adjacent pixels adjacent to the boundary of the target block in the spatial region when the structure of the target block is used as a reference will be described.
[0669]
In FIG. 57 to FIG. 72, the target macroblock is changed to MB as in the case of FIG._NAnd attention macroblock MB_NMacro blocks adjacent to the top, bottom, left, right_U, MB_D, MB_L, MB_RIt expresses. Furthermore, attention macroblock MB_NThe upper left, lower left, upper right, and lower right blocks of B_NUL, B_NDL, B_NUR, B_NDRAnd the upper adjacent macroblock MB_UThe upper left, lower left, upper right, and lower right blocks of B_UUL, B_UDL, B_UUR, B_UDRIt expresses. Also, lower adjacent macroblock MB_DThe upper left, lower left, upper right, and lower right blocks of B_DUL, B_DDL, B_DUR, B_DDRLeft adjacent macroblock MB_LThe upper left, lower left, upper right, and lower right blocks of B_LUL, B_LDL, B_LUR, B_LDRIt expresses. Furthermore, right adjacent macroblock MB_RThe upper left, lower left, upper right, and lower right blocks of B_RUL, B_RDL, B_RUR, B_RDRIt expresses.
[0670]
In FIGS. 57 to 72, hatched lines represent block adjacent pixels, and black blocks represent the target block.
[0671]
When the structure of the target block is used as a reference, the block adjacent pixels adjacent to the boundary of the target block in the spatial domain are the same as those in FIGS.
[0672]
That is, FIG. 57 shows the target macroblock MB._NBlock B in the upper left of_NULIs a block of interest, the block of interest B in the spatial domain_NULThe block adjacent pixels adjacent to the upper boundary of FIG.
[0673]
Attention macroblock MB_NAnd upper adjacent macroblock MB_UIf both of the DCT types are frame DCT, the target block B of the frame structure_NULAs shown in FIG. 57A, the block adjacent pixels adjacent to the upper boundary of the upper boundary macroblock MB of the frame structure_UBlock B at the lower left of_UDLThe bottom row of 8 pixels (hatched portion).
[0674]
Attention macroblock MB_NThe DCT type of the frame is the frame DCT, and the upper adjacent macroblock MB_UIf the DCT type is field DCT, the target block B of the frame structure_NULAs shown in FIG. 57B, the block adjacent pixels adjacent to the upper boundary of the upper boundary macroblock MB of the field structure_UBlock B at the lower left of_UDLThe bottom row of 8 pixels (hatched portion).
[0675]
Attention macroblock MB_NDCT type is field DCT, and upper adjacent macroblock MB_UIf the DCT type is frame DCT, the target block B of the field structure_NULAs shown in FIG. 57C, block adjacent pixels adjacent to the upper boundary of the upper boundary macroblock MB of the frame structure_ULower left block B_UDL8 pixels in the seventh row (the seventh row from the top).
[0676]
Attention macroblock MB_NDCT type is field DCT, and upper adjacent macroblock MB_UIn the case of the DCT type of the field DCT, the target block B of the field structure_NULAs shown in FIG. 57D, the block adjacent pixels adjacent to the upper boundary of the_UBlock B in the upper left of_UULThe bottom row of 8 pixels (hatched portion).
[0677]
Next, FIG. 58 shows the attention macroblock MB._NBlock B in the upper left of_NULIs a block of interest, the block of interest B in the spatial domain_NULThe block adjacent pixel adjacent to the lower boundary is shown.
[0678]
Attention macroblock MB_NIf the DCT type is frame DCT, the target block B of the frame structure_NULAs shown in FIG. 58A, block adjacent pixels adjacent to the lower boundary of the target macroblock MB of the frame structure_NBlock B at the lower left of_NDLThe uppermost row of 8 pixels (hatched portion).
[0679]
Attention macroblock MB_NIf the DCT type is field DCT, the target block B of the field structure_NULAs shown in FIG. 58B, block adjacent pixels adjacent to the lower boundary of the target macroblock MB of the field structure_NLower adjacent macroblock MB adjacent below_DBlock B in the upper left of_DULThe uppermost row of 8 pixels (hatched portion).
[0680]
Next, FIG. 59 shows the attention macroblock MB._NBlock B in the upper left of_NULIs a block of interest, the block of interest B in the spatial domain_NULThe block adjacent pixels adjacent to the left boundary of FIG.
[0681]
Attention macroblock MB_NAnd left adjacent macroblock MB_UIf both of the DCT types are frame DCT, the target block B of the frame structure_NULAs shown in FIG. 59A, block adjacent pixels adjacent to the left boundary of the left boundary macroblock MB of the frame structure_LBlock B in the upper right of_LURThe rightmost column of 8 pixels (the hatched portion).
[0682]
Attention macroblock MB_NThe DCT type of the frame is a frame DCT, and the left adjacent macroblock MB_LIf the DCT type is field DCT, the target block B of the frame structure_NULAs shown in FIG. 59B, the block adjacent pixels adjacent to the left boundary of the left boundary macroblock MB of the field structure_LBlock B in the upper right of_LURThe upper four pixels in the rightmost column and the lower right block B_LDRThe upper four pixels in the rightmost column (the hatched portion). That is, attention block B_NULThe block adjacent pixels on the left side adjacent to the first row to the eighth row of_LURPixels in the first to fourth rows in the rightmost column of block B, block B_LDRThe pixels in the first to fourth rows of the rightmost column of
[0683]
Attention macroblock MB_NDCT type is field DCT, and left adjacent macroblock MB_LIf the DCT type is frame DCT, the target block B of the field structure_NULAs shown in FIG. 59C, the block adjacent pixels adjacent to the left boundary of the left boundary macroblock MB of the frame structure_LBlock B in the upper right of_LUR4 pixels in the odd-numbered row in the rightmost column and the lower right block B_LDRThe four pixels in the odd-numbered row in FIG. That is, attention block B_NULThe block adjacent pixels on the left side adjacent to the first row to the eighth row of_LUR, Pixels in the first, third, fifth and seventh rows of the rightmost column, block B_LDRAre the pixels in the first, third, fifth, and seventh rows of the rightmost column.
[0684]
Attention macroblock MB_NDCT type is field DCT, and left adjacent macroblock MB_LIn the case of the DCT type of the field DCT, the target block B of the field structure_NULAs shown in FIG. 59D, the block adjacent pixels adjacent to the left boundary of the left boundary macroblock MB of the field structure_LBlock B in the upper right of_LURThe rightmost column of 8 pixels (the hatched portion).
[0685]
Next, FIG. 60 shows an attention macroblock MB._NBlock B in the upper left of_NULIs a block of interest, the block of interest B in the spatial domain_NULThe block adjacent pixels adjacent to the right boundary of FIG.
[0686]
Attention macroblock MB_NBlock B in the upper left of_NULIs a target block, the target block B_NULAs shown in FIG. 60, a block adjacent pixel adjacent to the right boundary of the block B_NURThe leftmost column of 8 pixels (hatched portion).
[0687]
Next, FIG. 61 shows a macro block MB of interest._NBlock B at the lower left of_NDLIs a block of interest, the block of interest B in the spatial domain_NDLThe block adjacent pixels adjacent to the upper boundary of FIG.
[0688]
Attention macroblock MB_NIf the DCT type is frame DCT, the target block B_NDLAs shown in FIG. 61A, the block adjacent pixels adjacent to the upper boundary of the target macroblock MB_NUpper left block B_NULThe bottom row of 8 pixels (hatched portion).
[0689]
Attention macroblock MB_NIf the DCT type is field DCT, the target block B_NDLAs shown in FIG. 61B, the block adjacent pixels adjacent to the upper boundary of the target macroblock MB_NUpper adjacent macroblock MB adjacent above_UBlock B at the lower left of_UDLThe bottom row of 8 pixels (hatched portion).
[0690]
Next, FIG. 62 shows a macro block MB of interest._NBlock B at the lower left of_NDLIs a block of interest, the block of interest B in the spatial domain_NDLThe block adjacent pixel adjacent to the lower boundary is shown.
[0691]
Attention macroblock MB_NAnd lower adjacent macroblock MB_DIf both of the DCT types are frame DCT, the target block B_NDLAs shown in FIG. 62A, block adjacent pixels adjacent to the lower boundary of the lower boundary macroblock MB_DBlock B in the upper left of_DULThe uppermost row of 8 pixels (hatched portion).
[0692]
Attention macroblock MB_NThe DCT type of the frame is a frame DCT, and the lower adjacent macroblock MB_DIf the DCT type is field DCT, the target block B_NDLAs shown in FIG. 62B, the block adjacent pixels adjacent to the lower boundary of the lower boundary macroblock MB_DBlock B in the upper left of_DULThe uppermost row of 8 pixels (hatched portion).
[0693]
Attention macroblock MB_NDCT type is field DCT and lower adjacent macroblock MB_DIf the DCT type is frame DCT, the target block B_NDLAs shown in FIG. 62C, the block adjacent pixels adjacent to the lower boundary of the lower boundary macroblock MB_DBlock B in the upper left of_DULThe second row of 8 pixels (hatched portion).
[0694]
Attention macroblock MB_NDCT type is field DCT and lower adjacent macroblock MB_DIf the DCT type is also a field DCT, the target block B_NDLThe block adjacent pixels adjacent to the lower boundary of the lower boundary macroblock MB_DBlock B at the lower left of_DDLThe uppermost row of 8 pixels (hatched portion).
[0695]
Next, FIG. 63 shows an attention macroblock MB._NBlock B at the lower left of_NDLIs a block of interest, the block of interest B in the spatial domain_NDLThe block adjacent pixels adjacent to the left boundary of FIG.
[0696]
Attention macroblock MB_NAnd left adjacent macroblock MB_LIf both of the DCT types are frame DCT, the target block B_NDLAs shown in FIG. 63A, a block adjacent pixel adjacent to the left boundary of the left adjacent macroblock MB_LBlock B on the lower right of_LDRThe rightmost column of 8 pixels (the hatched portion).
[0697]
Attention macroblock MB_NThe DCT type of the frame is a frame DCT, and the left adjacent macroblock MB_LIf the DCT type is field DCT, the target block B_NDLAs shown in FIG. 63B, the block adjacent pixels adjacent to the left boundary of the left adjacent macroblock MB_LBlock B in the upper right of_LURLower 4 pixels in the rightmost column and block B in the lower right_LDRThe lower four pixels in the rightmost column (the hatched portion). That is, attention block B_NDLThe block adjacent pixels on the left side adjacent to the first row to the eighth row of_LURPixels in the 5th to 8th rows in the rightmost column, block B_LDRThe pixels in the fifth to eighth rows in the rightmost column of FIG.
[0698]
Attention macroblock MB_NDCT type is field DCT, and left adjacent macroblock MB_LIf the DCT type is frame DCT, the target block B_NDLAs shown in FIG. 63C, a block adjacent pixel adjacent to the left boundary of the left adjacent macroblock MB_LBlock B in the upper right of_LUR4 pixels in the even-numbered row in the rightmost column and the lower right block B_LDR4 pixels (even hatched portions) in even rows. That is, attention block B_NDLThe block adjacent pixels on the left side adjacent to the first row to the eighth row of_LUR, Pixels in the second, fourth, sixth, and eighth rows of the rightmost column, block B_LDRAre the pixels in the second, fourth, sixth, and eighth rows of the rightmost column.
[0699]
Attention macroblock MB_NDCT type is field DCT, and left adjacent macroblock MB_LIf the DCT type is also a field DCT, the target block B_NDLAs shown in FIG. 63D, a block adjacent pixel adjacent to the left boundary of the left adjacent macroblock MB_LBlock B on the lower right of_LDRThe rightmost column of 8 pixels (the hatched portion).
[0700]
Next, FIG. 64 shows the attention macroblock MB._NBlock B at the lower left of_NDLIs a block of interest, the block of interest B in the spatial domain_NDLThe block adjacent pixels adjacent to the right boundary of FIG.
[0701]
Attention macroblock MB_NBlock B at the lower left of_NDLIs block of interest when is a block of interest_NDRAs shown in FIG. 64, block adjacent pixels adjacent to the right boundary of the target block B_NDLBlock B to the right of_NDRThe leftmost column of 8 pixels (hatched portion).
[0702]
FIG. 65 shows a macro block MB of interest_NBlock B in the upper right of_NURIs a block of interest, the block of interest B in the spatial domain_NURThe block adjacent pixels adjacent to the upper boundary of FIG.
[0703]
Attention macroblock MB_NAnd upper adjacent macroblock MB_UIf both of the DCT types are frame DCT, the target block B_NURAs shown in FIG. 65A, the block adjacent pixels adjacent to the upper boundary of the upper boundary macroblock MB_UBlock B on the lower right of_UDRThe bottom row of 8 pixels (hatched portion).
[0704]
Attention macroblock MB_NThe DCT type of the frame is the frame DCT, and the upper adjacent macroblock MB_UIf the DCT type is field DCT, the target block B_NURAs shown in FIG. 65B, the block adjacent pixels adjacent to the upper boundary of the upper boundary macroblock MB_ULower right block B_UDRThe bottom row of 8 pixels (hatched portion).
[0705]
Attention macroblock MB_NDCT type is field DCT, and upper adjacent macroblock MB_UIf the DCT type is frame DCT, the target block B_NURAs shown in FIG. 65C, block adjacent pixels adjacent to the upper boundary of the upper boundary macroblock MB_UBlock B on the lower right of_UDRThe 8th pixel in the seventh row (the hatched portion).
[0706]
Attention macroblock MB_NDCT type is field DCT, and upper adjacent macroblock MB_UIf the DCT type is also a field DCT, the target block B_NURAs shown in FIG. 65D, block adjacent pixels adjacent to the upper boundary of the upper boundary macroblock MB_UBlock B in the upper right of_UURThe bottom row of 8 pixels (hatched portion).
[0707]
Next, FIG. 66 shows an attention macroblock MB._NBlock B in the upper right of_NURIs a block of interest, the block of interest B in the spatial domain_NURThe block adjacent pixel adjacent to the lower boundary is shown.
[0708]
Attention macroblock MB_NIf the DCT type is frame DCT, the target block B_NURAs shown in FIG. 66A, the block adjacent pixels adjacent to the lower boundary of the target macroblock MB_NBlock B on the lower right of_NDRThe uppermost row of 8 pixels (hatched portion).
[0709]
Attention macroblock MB_NIf the DCT type is field DCT, the target block B_NURAs shown in FIG. 66B, the block adjacent pixels adjacent to the lower boundary of the lower boundary macroblock MB_DBlock B in the upper right of_DURThe uppermost row of 8 pixels (hatched portion).
[0710]
Next, FIG. 67 shows a macro block MB of interest._NBlock B in the upper right of_NURIs a block of interest, the block of interest B in the spatial domain_NURThe block adjacent pixels adjacent to the left boundary of FIG.
[0711]
Attention macroblock MB_NBlock B in the upper right of_NURIs a target block, the target block B_NURAs shown in FIG. 67, block adjacent pixels adjacent to the left boundary of the target block B_NURBlock B next to the left_NULThe rightmost column of 8 pixels (the hatched portion).
[0712]
Next, FIG. 68 shows an attention macroblock MB._NBlock B in the upper right of_NURIs a block of interest, the block of interest B in the spatial domain_NURThe block adjacent pixels adjacent to the right boundary of FIG.
[0713]
Attention macroblock MB_NAnd right adjacent macroblock MB_RIf both of the DCT types are frame DCT, the target block B_NURAs shown in FIG. 68A, the block adjacent pixels adjacent to the right boundary of the right adjacent macroblock MB_RBlock B in the upper left of_RULThe leftmost column of 8 pixels (hatched portion).
[0714]
Attention macroblock MB_NThe DCT type of the frame is the frame DCT, and the right adjacent macroblock MB_RIf the DCT type is field DCT, the target block B_NURAs shown in FIG. 68B, the block adjacent pixels adjacent to the right boundary of the right adjacent macroblock MB_LBlock B in the upper left of_RULThe top four pixels in the leftmost column and the lower left block B_RDLAre the upper four pixels (the hatched portion).
[0715]
Attention macroblock MB_NThe DCT type is field DCT and the right adjacent macroblock MB_RIf the DCT type is frame DCT, the target block B_NURAs shown in FIG. 68C, the block adjacent pixels adjacent to the right boundary of the right adjacent macroblock MB_RBlock B in the upper left of_RUL4 pixels in the odd-numbered row in the leftmost column and the lower left block B_RDLThe four pixels in the odd-numbered row in FIG.
[0716]
Attention macroblock MB_NThe DCT type is field DCT and the right adjacent macroblock MB_RIf the DCT type is also a field DCT, the target block B_NURAs shown in FIG. 68D, the block adjacent pixels adjacent to the right boundary of the right adjacent macroblock MB_RBlock B in the upper left of_RULThe leftmost column of 8 pixels (hatched portion).
[0717]
Next, FIG. 69 shows a macro block MB of interest._NBlock B on the lower right of_NDRIs a block of interest, the block of interest B in the spatial domain_NDRThe block adjacent pixels adjacent to the upper boundary of FIG.
[0718]
Attention macroblock MB_NIf the DCT type is frame DCT, the target block B_NDRAs shown in FIG. 69A, the block adjacent pixels adjacent to the upper boundary of the target macroblock MB_NBlock B on the lower right of_NDRThe uppermost row of 8 pixels (hatched portion).
[0719]
Attention macroblock MB_NIf the DCT type is field DCT, the target block B_NDRAs shown in FIG. 69B, the block adjacent pixels adjacent to the upper boundary of the target macroblock MB_NUpper adjacent macroblock MB adjacent above_UBlock B on the lower right of_UDR8 pixels in the lowermost row (the portion with hatching).
[0720]
Next, FIG. 70 shows the attention macroblock MB._NBlock B on the lower right of_NDRIs a block of interest, the block of interest B in the spatial domain_NDRThe block adjacent pixel adjacent to the lower boundary is shown.
[0721]
Attention macroblock MB_NAnd lower adjacent macroblock MB_DIf both of the DCT types are frame DCT, the target block B_NDRAs shown in FIG. 70A, the block adjacent pixels adjacent to the lower boundary of the lower boundary macroblock MB_DBlock B in the upper right of_DURThe uppermost row of 8 pixels (hatched portion).
[0722]
Attention macroblock MB_NThe DCT type of the frame is a frame DCT, and the lower adjacent macroblock MB_DIf the DCT type is field DCT, the target block B_NDRAs shown in FIG. 70B, the block adjacent pixels adjacent to the lower boundary of the lower boundary macroblock MB_DBlock B in the upper right of_DURThe uppermost row of 8 pixels (hatched portion).
[0723]
Attention macroblock MB_NDCT type is field DCT and lower adjacent macroblock MB_DIf the DCT type is frame DCT, the target block B_NDRAs shown in FIG. 70C, the block adjacent pixels adjacent to the lower boundary of the lower boundary macroblock MB_DBlock B in the upper right of_DURThe second row of 8 pixels (hatched portion).
[0724]
Attention macroblock MB_NDCT type is field DCT and lower adjacent macroblock MB_DIf the DCT type is also a field DCT, the target block B_NDRAs shown in FIG. 70D, a block adjacent pixel adjacent to the lower side is a lower adjacent macroblock MB._DBlock B on the lower right of_DDRThe uppermost row of 8 pixels (hatched portion).
[0725]
Next, FIG. 71 shows an attention macroblock MB._NBlock B on the lower right of_NDRIs a block of interest, the block of interest B in the spatial domain_NDRThe block adjacent pixels adjacent to the left boundary of FIG.
[0726]
Attention macroblock MB_NBlock B on the lower right of_NDRIs a target block, the target block B_NDRAs shown in FIG. 71, block adjacent pixels adjacent to the left boundary of the target block B_NDRBlock B next to the left_NDLThe rightmost column of 8 pixels (the hatched portion).
[0727]
Next, FIG. 72 shows the target macroblock MB._NBlock B on the lower right of_NDRIs a block of interest, the block of interest B in the spatial domain_NDRThe block adjacent pixels adjacent to the right boundary of FIG.
[0728]
Attention macroblock MB_NAnd right adjacent macroblock MB_RIf both of the DCT types are frame DCT, the target block B_NDRAs shown in FIG. 72A, the block adjacent pixels adjacent to the right boundary of the right adjacent macroblock MB_RBlock B at the lower left of_RDLThe leftmost column of 8 pixels (hatched portion).
[0729]
Attention macroblock MB_NThe DCT type of the frame is the frame DCT, and the right adjacent macroblock MB_RIf the DCT type is field DCT, the target block B_NDRAs shown in FIG. 72B, the block adjacent pixels adjacent to the right boundary of the right adjacent macroblock MB_RBlock B in the upper left of_RULThe lower 4 pixels in the leftmost column and the lower left block B_RDLIn the leftmost column in FIG. 4, the lower four pixels (hatched portion).
[0730]
Attention macroblock MB_NThe DCT type is field DCT and the right adjacent macroblock MB_RIf the DCT type is frame DCT, the target block B_NDRAs shown in FIG. 72C, the block adjacent pixels adjacent to the right boundary of the right adjacent macroblock MB_RBlock B in the upper left of_RUL4 pixels in the even-numbered row in the leftmost column and the lower left block B_RDLIn the leftmost column, there are four pixels in the even-numbered row (the hatched portion).
[0731]
Attention macroblock MB_NIf the DCT type of the current adjacent macroblock MBR is the field DCT and the DCT type of the right adjacent macroblock MBR is also the field DCT, the target block B_NDRAs shown in FIG. 72D, the block adjacent pixels adjacent to the right boundary of the right adjacent macroblock MB_RBlock B at the lower left of_RDLThe leftmost column of 8 pixels (hatched portion).
[0732]
Next, FIG. 73 illustrates a third configuration example of the prediction tap generation unit 131 of FIG. In the figure, portions corresponding to those in FIG. 54 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, the embodiment of FIG. 73 is basically configured in the same manner as in FIG. 54 except that an MPEG decoder 231 and a buffer memory 232 are provided instead of the inverse DCT conversion unit 221.
[0733]
The MPEG decoder 231 is configured similarly to the MPEG decoder shown in FIG. 1, for example. In the embodiment of FIG. 73, the video stream supplied to the image processing apparatus of FIG. 2 is also supplied to the MPEG decoder 231. The MPEG decoder 231 receives the video stream supplied thereto. As described with reference to FIG. 1, MPEG decoding is performed, and a decoded image obtained as a result is supplied to the buffer memory 232.
[0734]
The buffer memory 232 temporarily stores the decoded image supplied from the MPEG decoder 231. Note that the buffer memory 232 has at least a storage capacity capable of storing a decoded image including the pixels constituting the prediction tap described with reference to FIG. 55 for the target pixel.
[0735]
In the prediction tap generator 131 configured as described above, the MPEG decoder 231 performs MPEG decoding on the video stream supplied thereto, and the decoded image obtained as a result is supplied to the buffer memory 232 and stored therein.
[0736]
Then, the selection unit 222 selects a pixel constituting the prediction tap described in FIG. 55 from the pixels constituting the decoded image stored in the buffer memory 232, and reads the pixel value of the pixel from the buffer memory 232. To the array unit 137.
[0737]
Therefore, also in the embodiment of FIG. 73, a prediction tap similar to that in the case of FIG. 54 is generated.
[0738]
Note that the decoding order in the MPEG decoder 231 does not necessarily match the display order. That is, the decoding order in the MPEG decoder 231 changes depending on, for example, a GOP (Group Of Picture) structure. Therefore, the MPEG decoder 231 needs to perform MPEG decoding so that the pixels that can be selected by the selection unit 222 are stored in the buffer memory 232.
[0739]
Next, FIG. 74 illustrates a fourth configuration example of the prediction tap generation unit 131 of FIG. In the figure, portions corresponding to those in FIG. 73 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, the embodiment of FIG. 74 is basically configured in the same manner as in FIG. 73 except that an image processing device 240 is provided instead of the MPEG decoder 231.
[0740]
The image processing apparatus 240 includes a preprocessing unit 241, a buffer memory 242, and a preprocessing unit 241, a buffer memory 12, a class classification unit 13, a tap coefficient storage unit 14, and an image reconstruction unit 15 that are configured in the same manner as in FIG. A class classification unit 243, a tap coefficient storage unit 244, and an image reconstruction unit 245 are included. In the embodiment of FIG. 74, the video stream supplied to the image processing apparatus of FIG. 2 is also supplied to the image processing apparatus 240 as in the case of FIG. 73. 240 decodes the video stream supplied thereto in the same manner as in the image processing apparatus of FIG. 2, and supplies the decoded image obtained as a result to the buffer memory 232.
[0741]
That is, in the embodiment of FIG. 73, the video stream is MPEG-decoded by the MPEG decoder 231. However, in the embodiment of FIG. 74, the video stream is decoded by the image processing device 240. It has become.
[0741]
Therefore, also in the embodiment of FIG. 74, a prediction tap similar to that in the case of FIG. 54 is generated.
[0743]
Here, the image reconstruction unit 245 in the image processing apparatus 240 includes an adaptive processing unit 251 that performs the same processing as the adaptive processing unit 51 included in the image reconstruction unit 15 in FIG. Then, for example, a prediction tap is generated in the same manner as in the prediction tap generation unit 131 of FIG. 43 (or FIG. 54 or FIG. 73) described above.
[0744]
When the video stream is decoded in the image processing apparatus 240, the non-intra coded block is subjected to the two-dimensional DCT transform of the difference value (residual image) between the image of the block and the predicted image as described above. Since the two-dimensional DCT coefficients (hereinafter referred to as residual DCT coefficients as appropriate) obtained as described above are obtained, the image processing apparatus 240 is configured to perform non-intra coded blocks as in the image processing apparatus of FIG. 75A, the residual DCT coefficient and the two-dimensional DCT coefficient obtained by DCT transform of the prediction image are added, and the prediction tap is formed from the two-dimensional DCT coefficient obtained as a result of the addition. . And an image is decoded by performing an adaptive process using the prediction tap.
[0745]
However, in the image processing apparatus 240, for the non-intra coded block, as shown in FIG. 75B, for example, a residual image obtained by two-dimensional inverse DCT transform and a predicted image are obtained. It is possible to decode the image by constructing a prediction tap from the image obtained as a result of the addition and performing adaptive processing. Further, in the image processing apparatus 240, for non-intra coded blocks, for example, as shown in FIG. 75C, a prediction tap is configured from a residual DCT coefficient and a predicted image, and adaptive processing is performed. It is also possible to decode the image.
[0746]
When decoding the image by configuring the prediction tap of FIG. 75A, it is necessary to configure the prediction tap having the same structure as in FIG. 75A and obtain the tap coefficient in learning. Even when the prediction tap of FIG. 75B or 75C is configured and the image is decoded, similarly, it is necessary to configure the prediction tap having the same structure as in FIG. 75B or 75C and obtain the tap coefficient. is there.
[0747]
Next, FIG. 76 illustrates a fifth configuration example of the prediction tap generation unit 131 in FIG. 42. In the figure, portions corresponding to those in FIG. 43 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, the embodiment of FIG. 76 basically has the same configuration as that in FIG. 43 except that a one-dimensional inverse DCT transform unit 261 and an adjacent one-dimensional DCT coefficient selection / transform unit 262 are newly provided. Has been.
[0748]
The one-dimensional inverse DCT transform unit 261 is configured in the same manner as the one-dimensional inverse DCT transform unit 31 in FIG. 2, and performs one-dimensional inverse DCT transform on the two-dimensional DCT coefficient of the block supplied from the reading unit 136. A two-dimensional DCT coefficient (a horizontal one-dimensional DCT coefficient and a vertical one-dimensional DCT coefficient) is obtained and supplied to the adjacent one-dimensional DCT coefficient selection / conversion unit 262.
[0749]
The adjacent one-dimensional DCT coefficient selection / conversion unit 262 is configured in the same manner as the adjacent one-dimensional DCT coefficient selection / conversion unit 32 in FIG. 2, and is based on the DCT type of the block (macroblock) supplied from the reading unit 136. A one-dimensional DCT coefficient (adjacent one-dimensional DCT coefficient) of a pixel column adjacent to the block is acquired from the one-dimensional DCT coefficient supplied from the one-dimensional inverse DCT transform unit 261 and supplied to the arrangement unit 137.
[0750]
Next, processing performed by the prediction tap generation unit 131 in FIG. 76 in step S101 in FIG. 47 will be described with reference to the flowchart in FIG.
[0751]
In the prediction tap generation unit 131, first, in step S141, the reading unit 136 calculates the two-dimensional DCT coefficients of four adjacent macroblocks adjacent to the target block and the top, bottom, left, and right of the target macroblock including the target block. In addition to reading from the buffer memory 12 (FIG. 2), the DCT type of each macroblock is read from the buffer memory 12. Further, in step S141, the reading unit 136 supplies the two-dimensional DCT coefficients of the block of interest to the arrangement unit 137 and supplies the two-dimensional DCT coefficients of four adjacent macroblocks to the one-dimensional inverse DCT conversion unit 261. . In step S141, the reading unit 136 supplies the DCT type read from the buffer memory 12 to the adjacent one-dimensional DCT coefficient selection / conversion unit 262, and the process proceeds to step S142.
[0752]
In step S142, the one-dimensional inverse DCT transform unit 261 performs one-dimensional inverse DCT transform on the blocks constituting the four adjacent macroblocks supplied from the reading unit 136, and the resulting one-dimensional DCT coefficient is converted into the adjacent one-dimensional DCT coefficient. The data is supplied to the DCT coefficient selection / conversion unit 262, and the process proceeds to step S143.
[0753]
In step S143, the adjacent one-dimensional DCT coefficient selection / conversion unit 262, based on the DCT type supplied from the reading unit 136, similarly to the adjacent one-dimensional DCT coefficient selection / conversion unit 32 in FIG. The one-dimensional DCT coefficient (adjacent one-dimensional DCT coefficient) of the pixel column adjacent to the block of interest described in (1) is acquired from the one-dimensional DCT coefficient supplied from the one-dimensional inverse DCT transform unit 261 and supplied to the array unit 137. .
[0754]
In step S144, the arrangement unit 137 uses the two-dimensional DCT coefficient of the target block supplied from the reading unit 136 and the adjacent one-dimensional DCT coefficient selection / conversion unit as prediction taps for each 8 × 8 pixel of the target block. The adjacent one-dimensional DCT coefficients supplied from 262 are arranged in a predetermined order, thereby forming a prediction tap, which is supplied to the product-sum operation unit 133 (FIG. 42), and the process ends.
[0755]
Therefore, according to the prediction tap generation unit 131 of FIG. 76, as shown in FIG. 78, the 8 × 8 two-dimensional DCT coefficient of the block of interest and the adjacent one-dimensional DCT coefficient ( A prediction tap composed of a total of 96 (= 8 × 8 + 8 × 4) taps is formed of the upper adjacent one-dimensional DCT coefficient, the lower adjacent one-dimensional DCT coefficient, the left adjacent one-dimensional DCT coefficient, and the right adjacent one-dimensional DCT coefficient). Is done.
[0756]
In the prediction tap having the tap structure of FIG. 78, the upper adjacent one-dimensional DCT coefficient, the lower adjacent one-dimensional DCT coefficient, the left adjacent one-dimensional DCT coefficient, and the right adjacent one-dimensional DCT coefficient are located above, below, left, and right of the block of interest. 76 represents the spatial frequency component in the horizontal direction or the vertical direction of the adjacent pixels of each of the eight adjacent blocks, that is, represents the spatial frequency at a position close to the target pixel. Therefore, the prediction tap generation unit 131 in FIG. For example, as compared with the cases in FIGS. 44 and 45, prediction taps with a small number of taps are generated that include information having a large correlation with the target pixel.
[0757]
The one-dimensional inverse DCT conversion unit 261 and the adjacent one-dimensional DCT coefficient selection / conversion unit 262 are used by the one-dimensional inverse DCT conversion unit 31 and the adjacent one-dimensional DCT coefficient selection / conversion unit 32 shown in FIG. It is possible.
[0758]
In the above case, the one-dimensional inverse DCT transform is performed on the two-dimensional DCT coefficient to obtain a one-dimensional DCT coefficient as a prediction tap. It is also possible to decode the decoded image into a decoded image by MPEG decoding or the like, and obtain the decoded image by performing one-dimensional DCT conversion.
[0759]
Next, FIG. 79 illustrates a sixth configuration example of the prediction tap generation unit 131 of FIG. In the figure, portions corresponding to those in FIG. 73 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, in the embodiment of FIG. 79, the expected tap generation unit 131 is basically configured in the same manner as in FIG.
[0760]
However, as shown in FIG. 80, the selection unit 222 sets the decoded image stored in the buffer memory 232 at the same position as the target pixel in each frame before and after the target pixel frame. A certain pixel (hereinafter referred to as the same position pixel as appropriate) is selected, and the pixel value of the same position pixel is read from the buffer memory 232 and supplied to the array unit 137.
[0761]
Next, processing performed by the prediction tap generation unit 131 in FIG. 79 in step S101 in FIG. 47 will be described with reference to the flowchart in FIG.
[0762]
In the prediction tap generation unit 131, first, in step S151, the reading unit 136 reads the two-dimensional DCT coefficient of the block of interest from the buffer memory 12 (FIG. 2), supplies it to the arrangement unit 137, and proceeds to step S152. move on.
[0763]
In step S152, the selection unit 222 selects a pixel (same position pixel) that is in the same position as each pixel of the target block in each of the previous and subsequent frames of the target pixel frame, and the pixel value of the same position pixel Are read from the buffer memory 232 and supplied to the array unit 137.
[0764]
Then, in step S153, the array unit 137 sequentially sets the 8 × 8 pixels of the target block as the target pixels, and the two-dimensional DCT coefficient of the target block supplied from the reading unit 136 and the selection unit for each target pixel. The two pixels at the same position with respect to the pixel of interest supplied from 222 are arranged in a predetermined order, thereby forming a prediction tap and supplying it to the product-sum operation unit 133 (FIG. 42), and the process is terminated. To do.
[0765]
Therefore, according to the prediction tap generation unit 131 in FIG. 79, for the target pixel, a total of 66 (= 8 × 8 × 8 × 8 two-dimensional DCT coefficients of the target block and two pixels at the same position with respect to the target pixel. A prediction tap composed of 8 + 2) taps is configured.
[0766]
Since the pixels at the same position in the frame before and after the target pixel frame generally have a large correlation with the target pixel, the prediction tap generation unit 131 in FIG. 79 has information with a large correlation with such a target pixel. That is, a prediction tap having a shape including a small number of taps is generated.
[0767]
79 includes pixels at the same position in two or more frames before and after the target pixel frame, in addition to the same position pixels in the previous and subsequent frames of the target pixel frame. It is also possible to generate a shape prediction tap.
[0768]
In addition, the tap generation unit 131 in FIG. 79 includes a prediction including a pixel adjacent to the same position pixel (in terms of space) in addition to the same position pixel in the previous and subsequent frames of the target pixel frame. It is also possible to generate a tap.
[0769]
Next, FIG. 82 illustrates a seventh configuration example of the prediction tap generation unit 131 of FIG. In the figure, portions corresponding to those in FIG. 79 are denoted by the same reference numerals, and description thereof will be omitted below as appropriate. That is, in the embodiment of FIG. 82, the expected tap generation unit 131 is basically configured in the same manner as in FIG.
[0770]
However, the MPEG decoder 231 supplies a motion vector used for the MPEG decoding to the buffer memory 232 in addition to the decoded image obtained by MPEG decoding. The buffer memory 232 temporarily stores the decoded image and motion vector output from the MPEG decoder 231.
[0771]
Further, the selection unit 222 starts from the position corresponding to the target pixel in the frame before or after the frame of the target block as shown in FIG. 83 from the pixels constituting the decoded image stored in the buffer memory 232. A pixel at a position moved by an amount corresponding to the motion vector of the block (hereinafter referred to as a motion corresponding pixel as appropriate) is selected, and the pixel value of the motion corresponding pixel is read from the buffer memory 232 and supplied to the arrangement unit 137. To do.
[0772]
If the block of interest is a B-picture image predicted in both directions, as shown in FIG. 83A, forward prediction is performed for the block of interest using the frame before the block of the block of interest as a reference image. And a motion vector for performing backward prediction using a frame after the frame of the target block as a reference image.
[0773]
Here, in the embodiment of FIG. 83A, the nth frame is the frame of the block of interest and is a B picture. The target block is a motion vector v for performing forward prediction using the (n-2) th frame that is an I picture as a reference image.₁And a motion vector v for performing backward prediction using the (n + 1) th frame as a P picture as a reference image₂have.
[0774]
In this case, the selection unit 222 starts the motion vector v from the position corresponding to the target pixel in the (n-2) th frame.₁Motion vector v from the pixel at the position moved by the position corresponding to the target pixel in the (n + 2) th frame.₂A pixel at a position that has been moved by a distance corresponding to the selected pixel is selected as a motion corresponding pixel.
[0775]
On the other hand, when the block of interest is an I picture that is not predictively encoded or a P picture that is forward-predicted, there is no motion vector for prediction or even if there is a motion vector for the frame of the block of interest. There is only a motion vector for performing forward prediction using the previous frame as a reference image.
[0776]
Here, in the embodiment of FIG. 83B, the nth frame is the frame of the block of interest and is a P picture. The target block is a motion vector v for performing forward prediction using the (n-2) th frame that is an I picture as a reference image._ThreeI have only.
[0777]
By the way, an I picture or a P picture can be a reference picture when predicting a predicted picture of a P picture or a B picture. In the embodiment of FIG. 83B, the motion vector v for performing the forward prediction in the block of the (n + 1) th frame that is the B picture using the image including the target pixel in the frame of the target pixel as a reference image._Fourhave.
[0778]
In this case, the selection unit 222 receives the motion vector v from the position corresponding to the target pixel in the (n-2) th frame._ThreeMotion vector v from the pixel at the position moved by the position corresponding to the target pixel in the (n + 1) th frame._FourIt is possible to select a pixel at a position that has been moved only as a motion corresponding pixel.
[0779]
Here, hereinafter, a frame of an image predicted by a predicted image obtained by performing motion compensation on a reference image based on a motion vector will be referred to as a non-reference frame. In addition, hereinafter, an image frame referred to when predicting an image of a non-reference frame is referred to as a reference frame as appropriate. Furthermore, both the motion vector of the target block and the motion vector used for motion compensation using the image including the target pixel of other blocks as the reference image are collectively referred to as a motion vector related to the target block as appropriate.
[0780]
Note that there may be a plurality of blocks of other frames (non-reference frames) having a motion vector for performing forward prediction using the image including the target pixel of the frame of the target pixel as a reference image. Based on any one or more of the plurality of motion vectors, it is possible to select a motion corresponding pixel corresponding to each of the one or more motion vectors.
[0781]
In the above-described case, one motion-corresponding pixel is selected from the reference frame (or non-reference frame). As the motion-corresponding pixel, attention is paid from the position corresponding to the target pixel in the reference frame. It is also possible to select a total of two or more pixels, that is, a pixel at a position moved by an amount corresponding to the motion vector of the block and one or more neighboring pixels as motion corresponding pixels. Further, in the case where the motion corresponding pixel for the pixel of interest is a temporary pixel of interest, the selection unit 222 also selects the pixel that is the motion corresponding pixel for the temporary pixel of interest as the motion corresponding pixel for the pixel of interest. It is possible to do so.
[0782]
Next, processing performed by the prediction tap generation unit 131 in FIG. 82 in step S101 in FIG. 47 will be described with reference to the flowchart in FIG.
[0783]
In the prediction tap generation unit 131, first, in step S161, the reading unit 136 reads the two-dimensional DCT coefficient of the block of interest from the buffer memory 12 (FIG. 2), supplies it to the arrangement unit 137, and proceeds to step S162. move on.
[0784]
In step S162, the selection unit 222 reads the motion vector related to the block of interest from the buffer memory 232, and the process proceeds to step S163.
[0785]
In step S163, the selection unit 222 selects, as a motion-corresponding pixel, a pixel that is moved by an amount corresponding to the motion vector related to the target block from the position of each pixel of the target block in the reference frame or the non-reference frame. The pixel value of the motion corresponding pixel is read from the buffer memory 232 and supplied to the array unit 137.
[0786]
Then, in step S164, the array unit 137 sequentially sets the 8 × 8 pixels of the target block as the target pixels, and for each target pixel, the two-dimensional DCT coefficient of the target block supplied from the reading unit 136 and the selection unit The motion corresponding pixels supplied from 222 are arranged in a predetermined order, thereby forming a prediction tap, which is supplied to the product-sum operation unit 133 (FIG. 42), and the process is terminated.
[0787]
Since the motion-corresponding pixel generally has a large correlation with the pixel of interest, the prediction tap generation unit 131 in FIG. 82 is a prediction tap including information having such a large correlation with the pixel of interest, and the number of taps. The one with less is generated.
[0788]
Here, configuring a prediction tap including a motion-corresponding pixel is effective in improving the decoding accuracy of an image on which a moving object is displayed.
[0789]
In the embodiment of FIGS. 79 and 82, the pixel value of the same position pixel or motion corresponding pixel is included in the prediction tap. However, the prediction tap includes the pixel value of the same position pixel or motion corresponding pixel. Instead, it is possible to include the one-dimensional DCT coefficient. In addition, the prediction tap may include a one-dimensional DCT coefficient of a predetermined number of pixel columns arranged in the vertical or horizontal direction, including pixels at the same position and motion corresponding pixels.
[0790]
Next, the series of processes described above can be performed by hardware or software. When a series of processing is performed by software, a program constituting the software is installed in a general-purpose computer or the like.
[0791]
Therefore, FIG. 85 shows a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
[0792]
The program can be recorded in advance on a hard disk 405 or a ROM 403 as a recording medium built in the computer.
[0793]
Alternatively, the program is stored temporarily on a removable recording medium 411 such as a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, or a semiconductor memory. It can be stored permanently (recorded). Such a removable recording medium 411 can be provided as so-called package software.
[0794]
The program is installed on the computer from the removable recording medium 411 as described above, or transferred from the download site to the computer wirelessly via a digital satellite broadcasting artificial satellite, LAN (Local Area Network), The program can be transferred to a computer via a network such as the Internet, and the computer can receive the program transferred in this way by the communication unit 408 and install it in the built-in hard disk 405.
[0795]
The computer includes a CPU (Central Processing Unit) 402. An input / output interface 410 is connected to the CPU 402 via the bus 401, and the CPU 402 operates the input unit 407 including a keyboard, a mouse, a microphone, and the like by the user via the input / output interface 410. When a command is input by the equalization, a program stored in a ROM (Read Only Memory) 403 is executed accordingly. Alternatively, the CPU 402 may be a program stored in the hard disk 405, a program transferred from a satellite or a network, received by the communication unit 408, installed in the hard disk 405, or a removable recording medium 411 installed in the drive 409. The program read and installed in the hard disk 405 is loaded into a RAM (Random Access Memory) 404 and executed. Thereby, the CPU 402 performs processing according to the above-described flowchart or processing performed by the configuration of the above-described block diagram. Then, the CPU 402 outputs the processing result from the output unit 406 configured with an LCD (Liquid Crystal Display), a speaker, or the like via the input / output interface 410, or from the communication unit 408 as necessary. Transmission and further recording on the hard disk 405 are performed.
[0796]
Here, in the present specification, the processing steps for describing a program for causing the computer to perform various processes do not necessarily have to be processed in time series in the order described in the flowcharts, but in parallel or individually. This includes processing to be executed (for example, parallel processing or processing by an object).
[0797]
Further, the program may be processed by a single computer, or may be processed in a distributed manner by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
[0798]
As described above, in addition to the two-dimensional DCT coefficient of the block of interest, the pixel value and the one-dimensional DCT obtained from the two-dimensional DCT coefficient of the block of the frame spatially or temporally adjacent to the frame of the block of interest. Since the prediction tap is configured by the coefficient, it is possible to obtain a high-quality decoded image in which distortion such as block distortion and mosquito noise is sufficiently reduced by the prediction tap having a small number of taps.
[0799]
In the present embodiment, the predicted value of the teacher data is obtained by the linear primary prediction calculation of Expression (1). However, the predicted value of the teacher data is other than, for example, a second or higher order higher order. It is possible to use an expression.
[0800]
In this embodiment, the class classification is performed using the one-dimensional DCT coefficients of the block of interest and the blocks adjacent to the block of interest. However, the class classification is a block that is spatially or temporally close to the block of interest. The one-dimensional DCT coefficient can also be used. Furthermore, classification can be performed using a two-dimensional DCT coefficient in addition to a one-dimensional DCT coefficient. Further, the classification can be performed using the one-dimensional DCT coefficients of the blocks adjacent to the target block in the time direction.
[0801]
Furthermore, the class classification, for example, obtains the power (square sum) of 63 two-dimensional DCT coefficients excluding the direct current component of the 8 × 8 two-dimensional DCT coefficients of the block of interest and adjacent blocks, and the power and a predetermined value. It is also possible to perform the determination based on the magnitude relationship with the threshold value of, and the magnitude relationship between the power obtained from the target block and the power obtained from the adjacent block. In addition, for example, the class classification is the magnitude relationship between the direct current component of the two-dimensional DCT coefficients of the eight adjacent blocks adjacent to the target block shown in FIG. 46 and a predetermined threshold, or the two-dimensional of the eight adjacent blocks. It is also possible to perform this based on the magnitude relationship between each DC component of the DCT coefficients and the DC component of the two-dimensional DCT coefficients of the block of interest.
[0802]
The class classification can also be performed, for example, by configuring a class tap that includes a plurality of pixels of the block of interest or an adjacent block, and subjecting the class tap to ADRC (Adaptive Dynamic Range Coding) processing.
[0803]
Here, according to the K-bit ADRC processing, for example, the maximum value MAX and the minimum value MIN of the pixel values constituting the class tap are detected, and DR = MAX-MIN is set as the local dynamic range of the set, Based on the dynamic range DR, the pixel values constituting the class tap are requantized to K bits. That is, the minimum value MIN is subtracted from the pixel value of each pixel constituting the class tap, and the subtracted value is DR / 2.^KDivide by (quantize). A bit string obtained by arranging the pixel values of the K-bit pixels constituting the class tap in a predetermined order is output as an ADRC code. Therefore, when a class tap is subjected to, for example, 1-bit ADRC processing, the pixel value of each pixel constituting the class tap is an average of the maximum value MAX and the minimum value MIN after the minimum value MIN is subtracted. Divided by the value (rounded down after the decimal point), the pixel value of each pixel is made 1 bit (binarized). Then, the class of the pixel of interest is determined based on the ADRC code that is a bit string in which the 1-bit pixel values are arranged in a predetermined order.
[0804]
Furthermore, the classification can be performed using, for example, side information included in the video stream. That is, classification can be performed based on a quantization step which is one of side information, for example. The class classification is based on the DCT type, which is one of side information, for example, and recognizes the combination of the structure of the block of interest and the adjacent block (whether it is a field structure or a frame structure), and the recognition result It is also possible to perform based on the above. Furthermore, the classification can be performed based on, for example, the presence or absence of motion compensation recognized from side information such as a motion compensation type or CBP, and the presence or absence of a two-dimensional DCT coefficient.
[0805]
The class classification can also be performed based on the above-described pixel position mode, for example.
[0806]
Furthermore, in the present embodiment, only the two-dimensional DCT coefficient of the target block is included in the prediction tap. However, for example, the pixel value of the target block and the one-dimensional DCT coefficient are included in the prediction tap. It can be included.
[0807]
Furthermore, in the present embodiment, MPEG-encoded moving images are targeted. However, the present invention is not limited to moving images encoded by an encoding method other than MPEG using two-dimensional DCT transform, or JPEG encoding. The present invention can also be applied when decoding a still image or the like.
[0808]
【The invention's effect】
As described above, according to the present invention, it is possible to decode high-quality images from encoded data including two-dimensional DCT coefficients obtained by converting at least two-dimensional DCT (Discrete Cosine Transform) image data. Become.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an MPEG decoder.
FIG. 2 is a block diagram illustrating a configuration example of a first embodiment of an image processing apparatus to which the present invention has been applied.
3 is a block diagram illustrating a configuration example of a DCT conversion unit 21 and a frequency domain motion compensation addition unit 22. FIG.
FIG. 4 is a diagram for explaining processing of a sampling unit 61;
FIG. 5 is a diagram for explaining processing of a sampling unit 61;
FIG. 6 is a diagram for explaining a two-dimensional DCT transformation and a two-dimensional inverse DCT transformation, and a one-dimensional DCT transformation and a one-dimensional inverse DCT transformation.
FIG. 7 is a half-tone photo displayed on a display showing an original image, a horizontal one-dimensional DCT coefficient, a vertical one-dimensional DCT coefficient, and a two-dimensional DCT coefficient.
FIG. 8 is a diagram for explaining a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a block of interest.
FIG. 9 is a diagram for explaining a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
FIG. 10 is a diagram for explaining a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
FIG. 11 is a diagram for describing a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
FIG. 12 is a diagram for describing a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
FIG. 13 is a diagram for describing a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
FIG. 14 is a diagram for describing a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
FIG. 15 is a diagram for explaining a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
FIG. 16 is a diagram for explaining a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
FIG. 17 is a diagram for explaining a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
FIG. 18 is a diagram for explaining a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
FIG. 19 is a diagram for explaining a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
FIG. 20 is a diagram for explaining a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
FIG. 21 is a diagram for explaining a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
FIG. 22 is a diagram for describing a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
FIG. 23 is a diagram for explaining a pixel column of an adjacent block spatially adjacent to a pixel column at a boundary of a target block.
24 is a block diagram illustrating a configuration example of an adjacent one-dimensional DCT coefficient selection / conversion unit 32. FIG.
FIG. 25 is a flowchart for explaining processing of an adjacent one-dimensional DCT coefficient selection / conversion unit 32;
FIG. 26 is a flowchart illustrating details of an upper left block process.
FIG. 27 is a flowchart illustrating details of a lower left block process.
FIG. 28 is a flowchart illustrating details of an upper right block process.
FIG. 29 is a flowchart illustrating details of a lower right block process.
FIG. 30 is a diagram for explaining AC power;
31 is a block diagram illustrating a configuration example of an AC power calculation unit 33. FIG.
FIG. 32 is a diagram for explaining an AC inner product.
33 is a block diagram illustrating a configuration example of an AC inner product calculation unit 34. FIG.
34 is a block diagram illustrating a configuration example of a class code generation unit 36. FIG.
FIG. 35 is a diagram illustrating a format of a class code.
FIG. 36 is a flowchart for describing processing of a class code generation unit.
37 is a block diagram illustrating a configuration example of a class code generation unit 37. FIG.
FIG. 38 is a diagram illustrating a correspondence relationship between luminance blocks and color difference blocks in 4: 2: 2 format.
FIG. 39 is a diagram illustrating generation of a color difference class code using a luminance class code.
FIG. 40 is a diagram illustrating a correspondence relationship between a luminance block and a color difference block in a 4: 2: 0 format.
FIG. 41 is a diagram illustrating generation of a color difference class code using a luminance class code.
42 is a block diagram illustrating a configuration example of an adaptive processing unit 51. FIG.
43 is a block diagram illustrating a first configuration example of a prediction tap generation unit 131. FIG.
44 is a diagram illustrating a tap structure of a prediction tap generated by the prediction tap generation unit 131. FIG.
45 is a diagram illustrating a tap structure of a prediction tap generated by the prediction tap generation unit 131. FIG.
FIG. 46 is a diagram illustrating a tap structure of a prediction tap generated by the prediction tap generation unit 131.
47 is a flowchart for explaining processing of an adaptive processing unit 51. FIG.
FIG. 48 is a block diagram illustrating a configuration example of a first embodiment of a learning device that learns tap coefficients.
FIG. 49 is a flowchart for describing learning processing by the learning device.
FIG. 50 is a block diagram illustrating a configuration example of a second embodiment of a learning device that learns tap coefficients.
FIG. 51 is a block diagram illustrating a configuration example of a third embodiment of a learning device that learns tap coefficients;
FIG. 52 is a diagram illustrating S / N of a decoded image obtained by simulation.
FIG. 53 is a half-tone photo displayed on a display showing a decoded image obtained by simulation.
54 is a block diagram illustrating a second configuration example of the prediction tap generator 131. FIG.
FIG. 55 is a diagram illustrating a tap structure of a prediction tap generated by the prediction tap generation unit 131.
FIG. 56 is a flowchart for describing processing of the prediction tap generation unit 131;
FIG. 57 is a diagram for describing block adjacent pixels spatially adjacent to the boundary of the block of interest.
FIG. 58 is a diagram for describing block adjacent pixels spatially adjacent to the boundary of the block of interest.
FIG. 59 is a diagram for describing block adjacent pixels spatially adjacent to the boundary of the target block.
FIG. 60 is a diagram for describing block adjacent pixels spatially adjacent to a boundary of a target block.
FIG. 61 is a diagram for describing block adjacent pixels spatially adjacent to the boundary of the block of interest.
FIG. 62 is a diagram for describing block adjacent pixels spatially adjacent to the boundary of the block of interest.
FIG. 63 is a diagram for describing block adjacent pixels spatially adjacent to the boundary of the block of interest.
FIG. 64 is a diagram for describing block adjacent pixels spatially adjacent to the boundary of the block of interest.
FIG. 65 is a diagram for explaining block adjacent pixels spatially adjacent to the boundary of the block of interest.
FIG. 66 is a diagram for explaining block adjacent pixels spatially adjacent to the boundary of the block of interest.
FIG. 67 is a diagram for describing block adjacent pixels spatially adjacent to the boundary of the block of interest.
FIG. 68 is a diagram for describing block adjacent pixels spatially adjacent to the boundary of the block of interest.
FIG. 69 is a diagram for describing block adjacent pixels spatially adjacent to a boundary of a target block.
FIG. 70 is a diagram for describing block adjacent pixels spatially adjacent to a boundary of a target block.
FIG. 71 is a diagram for describing block adjacent pixels spatially adjacent to the boundary of the block of interest.
FIG. 72 is a diagram for describing block adjacent pixels spatially adjacent to the boundary of the block of interest.
73 is a block diagram illustrating a third configuration example of the prediction tap generation unit 131. FIG.
74 is a block diagram illustrating a fourth configuration example of the prediction tap generation unit 131. FIG.
75 is a diagram for explaining processing of the image processing device 240. FIG.
76 is a block diagram illustrating a fifth configuration example of the prediction tap generation unit 131. FIG.
FIG. 77 is a flowchart for describing processing of a prediction tap generation unit 131;
78 is a diagram illustrating a tap structure of a prediction tap generated by the prediction tap generation unit 131. FIG.
79 is a block diagram illustrating a sixth configuration example of the prediction tap generation unit 131. FIG.
80 is a diagram illustrating a tap structure of a prediction tap generated by a prediction tap generation unit 131. FIG.
FIG. 81 is a flowchart for describing processing of a prediction tap generation unit 131;
82 is a block diagram illustrating a seventh configuration example of the prediction tap generation unit 131. FIG.
83 is a diagram illustrating a tap structure of a prediction tap generated by the prediction tap generation unit 131. FIG.
84 is a flowchart for describing processing of a prediction tap generation unit 131. FIG.
Fig. 85 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present invention has been applied.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Separation part, 2 DCT coefficient extraction / inverse quantization part, 4 Motion compensation part, 5 Image memory, 11 Preprocessing part, 12 Buffer memory, 13 Class classification part, 14 Tap coefficient memory | storage part, 15 Image reconstruction part, 21 DCT conversion unit, 22 frequency domain motion compensation addition unit, 31 one-dimensional inverse DCT conversion unit, 32 adjacent one-dimensional DCT coefficient selection / conversion unit, 33 AC power calculation unit, 34 AC inner product calculation unit, 36, 37 class code generation unit , 41, 42 Tap coefficient selection section, 43, 44 coefficient memory, 51 adaptive processing section, 52 inverse DCT conversion section, 61 sampling section, 62 DCT section, 71 DCT coefficient selection section, 72 addition section, 73 selection section, 80 control Section, 81 memory, 82 vertical one-dimensional inverse DCT transform section, 83 sampling section, 84 1-dimensional DCT conversion unit, 85 selection unit, 91 horizontal 1-dimensional DCT coefficient extraction unit, 92 vertical 1-dimensional DCT coefficient extraction unit, 93 horizontal AC power calculation unit, 94 vertical AC power calculation unit, 101 1-dimensional DCT coefficient for upper inner product Extraction unit, 102 One-dimensional DCT coefficient extraction unit for lower inner product, 103 One-dimensional DCT coefficient extraction unit for left inner product, 104 One-dimensional DCT coefficient extraction unit for right inner product, 105 Upper inner product calculation unit, 106 Lower inner product calculation unit, 107 Left Inner product calculation unit, 108 right inner product calculation unit, 111, 112 comparison unit, 113 flatness condition determination unit, 114 continuity condition determination unit, 115 boundary portion edge condition determination unit, 116 class code creation unit, 121, 122 comparison unit, 123 class code creation unit, 131 prediction tap generation unit, 132 tap coefficient buffer, 1 3 product-sum operation unit, 136 reading unit, 137 array unit, 141 teacher data storage, 142 student data generation unit, 143 student data storage, 144 prediction tap generation unit, 145 class classification unit, 146 addition unit, 147 tap coefficient calculation , 151 MPEG encoder, 152 separation unit, 153 DCT coefficient extraction / inverse quantization unit, 171 MPEG encoder, 172 separation unit, 173 DCT coefficient extraction / inverse quantization unit, 174 class classification unit, 175 tap coefficient storage unit, 176 Adaptive processing unit, 177 I picture storage, 178 motion compensation unit, 179 image memory, 180 DCT conversion unit, 181 frequency domain motion compensation addition unit, 191 MPEG encoder, 192 separation unit, 193 DCT coefficient Out / Inverse quantization unit, 194 class classification unit, 195 tap coefficient storage unit, 196 adaptive processing unit, 197 I picture storage, 198 motion compensation unit, 199 image memory, 200 DCT transform unit, 201 frequency domain motion compensation addition unit, 202 class classification unit, 203 tap coefficient storage unit, 204 adaptive processing unit, 205 P picture storage, 206 motion compensation unit, 207 image memory, 208 DCT conversion unit, 209 frequency domain motion compensation addition unit, 221 inverse DCT conversion unit, 222 Selection unit, 231 MPEG decoder, 232 buffer memory, 240 image processing device, 241 preprocessing unit, 242 buffer memory, 243 class classification unit, 244 tap coefficient storage unit, 245 image reconstruction unit, 251 adaptive processing unit, 2 61 one-dimensional inverse DCT conversion unit, 262 adjacent one-dimensional DCT coefficient selection / conversion unit, 401 bus, 402 CPU, 403 ROM, 404 RAM, 405 hard disk, 406 output unit, 407 input unit, 408 communication unit, 409 drive, 410 I / O interface, 411 removable recording media

Claims (29)

An image processing apparatus that decodes encoded image data including a two-dimensional DCT coefficient obtained by performing two-dimensional DCT (Discrete Cosine Transform) conversion at least in a predetermined block unit ,
Class classification means for classifying a pixel constituting the image data into a class of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel When,
Teacher data, which is image data to be a learning teacher, is encoded by at least two-dimensional DCT transform, and encoded data including a two-dimensional DCT coefficient is obtained as student data to be the learning student by a predetermined learning process. An acquisition unit that acquires a calculation coefficient for each class, which corresponds to a class of a target pixel that is a prediction target pixel, in advance ,
Pixel value information obtained by inverse two-dimensional DCT transformation of the two-dimensional DCT coefficient of the target block that is a block including the target pixel and the two-dimensional DCT coefficient of a peripheral block that is a block around the target block, or A specific frequency component of the DCT coefficient of the peripheral block or peripheral information which is a one-dimensional DCT coefficient obtained from the two-dimensional DCT coefficient of the peripheral block is used for a product-sum operation with the arithmetic coefficient acquired by the acquisition means. Generating means for generating a set of several values ;
Prediction calculation means for decoding the encoded image data by obtaining a pixel value of the pixel of interest by performing a product-sum operation on the coefficient of interest corresponding to the class of the pixel of interest and the set of values. It equipped with a door,
The predetermined learning process includes
The pixels constituting the teacher data are classified into one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel,
Of the pixels constituting the teacher data, the two-dimensional DCT coefficient of a target block that is a block including target teacher data that is a prediction target pixel, and the two-dimensional DCT of a peripheral block that is a block around the target block. Pixel value information obtained by inverse two-dimensional DCT conversion of coefficients, specific frequency components of DCT coefficients of the peripheral blocks, or peripheral information that is one-dimensional DCT coefficients obtained from the two-dimensional DCT coefficients of the peripheral blocks, Generate as a set of several values used in the product-sum operation with the operation coefficient,
The calculation coefficient that statistically minimizes the prediction error of the predicted value of the attention teacher data obtained by performing the product-sum operation of the set of values and the calculation coefficient is obtained for each class.
The image processing apparatus, characterized in that the processing. The calculation coefficient is obtained by performing learning so that a prediction error of a predicted value of a pixel value of the target pixel obtained by performing a product-sum operation of the set of values and the calculation coefficient is statistically minimized. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus. The image processing apparatus according to claim 2 , wherein the peripheral block is a block spatially or temporally adjacent to the block of interest. The image processing apparatus according to claim 3 , wherein the pixel value obtained as the peripheral information is a pixel value of a pixel of a block adjacent to the target block. The image processing apparatus according to claim 3 , wherein the pixel value obtained as the peripheral information is a pixel value of a block adjacent pixel that is a pixel adjacent to the target block in a block adjacent to the target block. . The pixel values obtained as the peripheral information are the pixel values of two pixels on the left and right of the same row as the target pixel in the block adjacent pixels, and the pixel values of two pixels above and below the same column as the target pixel. The image processing apparatus according to claim 5 , wherein: The pixel values obtained as the peripheral information are the pixel values closer to the target pixel of the two pixels on the left and right in the same row as the target pixel in the block adjacent pixels, and the same column as the target pixel. of one of the two pixels above and below, the image processing apparatus according to claim 5, characterized in that the pixel value closer to the target pixel. The image processing apparatus according to claim 1 , wherein the frequency component obtained as the peripheral information is a one-dimensional DCT coefficient obtained from the two-dimensional DCT coefficient. The image processing device according to claim 8 , wherein the frequency component obtained as the peripheral information is the one-dimensional DCT coefficient corresponding to a position adjacent to the target block in a block adjacent to the target block. . The image processing according to claim 1 , wherein the peripheral information is pixel value information of one or more pixels in a frame before or after the frame of the block of interest, or DCT coefficients of the one or more pixels. apparatus. The peripheral information is pixel value information of one or more pixels including a pixel at the same position as the pixel of interest in a frame before or after the frame of the block of interest, or a DCT coefficient of the one or more pixels. The image processing apparatus according to claim 10 . The encoded data includes a motion vector representing the motion of the image data,
The peripheral information is pixel value information of one or more pixels including a pixel at a position moved by an amount corresponding to the motion vector from a position corresponding to the target pixel in a frame before or after the frame of the target block. The image processing apparatus according to claim 10 , or a DCT coefficient of one or more of the pixels. An image processing method for decoding encoded image data including a two-dimensional DCT coefficient obtained by two-dimensional DCT (Discrete Cosine Transform) conversion at least in a predetermined block unit ,
A class classification step for classifying the pixels constituting the image data into one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel When,
Teacher data, which is image data to be a learning teacher, is encoded by at least two-dimensional DCT transform, and encoded data including a two-dimensional DCT coefficient is used as student data to be the learning student by a predetermined learning process. An acquisition step of acquiring a calculation coefficient for each class, which corresponds to a class of a target pixel that is a prediction target pixel, in advance ,
Pixel value information obtained by inverse two-dimensional DCT transformation of the two-dimensional DCT coefficient of the target block that is a block including the target pixel and the two-dimensional DCT coefficient of a peripheral block that is a block around the target block, or The specific frequency component of the DCT coefficient of the peripheral block or the peripheral information that is the one-dimensional DCT coefficient obtained from the two-dimensional DCT coefficient of the peripheral block is used for the product-sum operation with the calculation coefficient acquired in the acquisition step. A generation step for generating a set of several values ;
Prediction calculation step of decoding the encoded image data by obtaining a pixel value of the pixel of interest by performing a product-sum operation with the coefficient of operation corresponding to the class of the pixel of interest and the set of values. It equipped with a door,
The predetermined learning process includes
The pixels forming the supervisor data, based on the code including the feature quantity is prompted from the DCT coefficients of the block including the pixel, and classified into any class of a plurality of classes,
Of the pixels constituting the teacher data, the two-dimensional DCT coefficient of a target block that is a block including target teacher data that is a prediction target pixel, and the two-dimensional DCT of a peripheral block that is a block around the target block. Pixel value information obtained by inverse two-dimensional DCT conversion of coefficients, specific frequency components of DCT coefficients of the peripheral blocks, or peripheral information that is one-dimensional DCT coefficients obtained from the two-dimensional DCT coefficients of the peripheral blocks, Generate as a set of several values used in the product-sum operation with the operation coefficient,
The calculation coefficient that statistically minimizes the prediction error of the predicted value of the attention teacher data obtained by performing the product-sum operation of the set of values and the calculation coefficient is obtained for each class.
An image processing method which is a process. A program for causing a computer to perform image processing for decoding encoded image data including two-dimensional DCT coefficients obtained by performing two-dimensional DCT (Discrete Cosine Transform) conversion at least in a predetermined block unit ,
A class classification step for classifying the pixels constituting the image data into one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel When,
Teacher data, which is image data to be a learning teacher, is encoded by at least two-dimensional DCT transform, and encoded data including a two-dimensional DCT coefficient is obtained as student data to be the learning student by a predetermined learning process. An acquisition step of acquiring a coefficient corresponding to a class of a pixel of interest that is a prediction target pixel among calculation coefficients for each class obtained in advance ;
Pixel value information obtained by inverse two-dimensional DCT transformation of the two-dimensional DCT coefficient of the target block that is a block including the target pixel and the two-dimensional DCT coefficient of a peripheral block that is a block around the target block, or The specific frequency component of the DCT coefficient of the peripheral block or the peripheral information that is the one-dimensional DCT coefficient obtained from the two-dimensional DCT coefficient of the peripheral block is used for the product-sum operation with the calculation coefficient acquired in the acquisition step. A generation step for generating a set of several values ;
Prediction calculation step of decoding the encoded image data by obtaining a pixel value of the pixel of interest by performing a product-sum operation with the coefficient of operation corresponding to the class of the pixel of interest and the set of values. It equipped with a door,
The predetermined learning process includes
The pixels constituting the teacher data are classified into one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel,
Of the pixels constituting the teacher data, the two-dimensional DCT coefficient of a target block that is a block including target teacher data that is a prediction target pixel, and the two-dimensional DCT of a peripheral block that is a block around the target block. Pixel value information obtained by inverse two-dimensional DCT conversion of coefficients, specific frequency components of DCT coefficients of the peripheral blocks, or peripheral information that is one-dimensional DCT coefficients obtained from the two-dimensional DCT coefficients of the peripheral blocks, Generate as a set of several values used in the product-sum operation with the operation coefficient,
The calculation coefficient that statistically minimizes the prediction error of the predicted value of the attention teacher data obtained by performing the product-sum operation of the set of values and the calculation coefficient is obtained for each class.
A program characterized by being a process . Recording medium on which a program for causing a computer to perform image processing for decoding encoded image data including two-dimensional DCT coefficients obtained by performing two-dimensional DCT (Discrete Cosine Transform) conversion at least in a predetermined block unit is recorded Because
Wherein the pixels constituting the image data, on the basis of the code including a feature amount that is calculated from the DCT coefficients of the block including the pixel, the classification of performing class classification to classify into any class of a plurality of classes Steps,
Teacher data, which is image data to be a learning teacher, is encoded by at least two-dimensional DCT transform, and encoded data including a two-dimensional DCT coefficient is obtained as student data to be the learning student by a predetermined learning process. An acquisition step of acquiring a coefficient corresponding to a class of a pixel of interest that is a prediction target pixel among calculation coefficients for each class obtained in advance;
Pixel value information obtained by inverse two-dimensional DCT transformation of the two-dimensional DCT coefficient of the target block that is a block including the target pixel and the two-dimensional DCT coefficient of a peripheral block that is a block around the target block, or The specific frequency component of the DCT coefficient of the peripheral block or the peripheral information that is the one-dimensional DCT coefficient obtained from the two-dimensional DCT coefficient of the peripheral block is used for the product-sum operation with the calculation coefficient acquired in the acquisition step. A generation step for generating a set of several values ;
Prediction calculation step of decoding the encoded image data by obtaining a pixel value of the pixel of interest by performing a product-sum operation with the coefficient of operation corresponding to the class of the pixel of interest and the set of values. Record the program that causes the computer to execute and
The predetermined learning process includes
The pixels constituting the teacher data are classified into one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel,
Of the pixels constituting the teacher data, the two-dimensional DCT coefficient of a target block that is a block including target teacher data that is a prediction target pixel, and the two-dimensional DCT of a peripheral block that is a block around the target block. Pixel value information obtained by inverse two-dimensional DCT conversion of coefficients, specific frequency components of DCT coefficients of the peripheral blocks, or peripheral information that is one-dimensional DCT coefficients obtained from the two-dimensional DCT coefficients of the peripheral blocks, Generate as a set of several values used in the product-sum operation with the operation coefficient,
The calculation coefficient that statistically minimizes the prediction error of the predicted value of the attention teacher data obtained by performing the product-sum operation of the set of values and the calculation coefficient is obtained for each class.
A computer-readable recording medium that is a process . Learning arithmetic coefficients, which are coefficients used for product-sum operations used to decode encoded image data including two-dimensional DCT coefficients obtained by performing two-dimensional DCT (Discrete Cosine Transform) conversion at least in a predetermined block unit An image processing apparatus that
Student data generation means for encoding teacher data, which is image data serving as a learning teacher, by performing at least two-dimensional DCT conversion, and outputting encoded data including a two-dimensional DCT coefficient as student data serving as the learning student When,
Class classification means for performing class classification for classifying the pixels constituting the teacher data into any one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel When,
Of the pixels constituting the teacher data , the two-dimensional DCT coefficient of a target block that is a block including target teacher data that is a prediction target pixel, and the two-dimensional DCT of a peripheral block that is a block around the target block. Pixel value information obtained by inverse two-dimensional DCT conversion of coefficients, specific frequency components of DCT coefficients of the peripheral blocks, or peripheral information that is one-dimensional DCT coefficients obtained from the two-dimensional DCT coefficients of the peripheral blocks, Generating means for generating a set of several values used for the product-sum operation with the operation coefficient ;
Learning means for performing learning for each class to calculate the calculation coefficient that statistically minimizes the prediction error of the predicted value of the attention teacher data obtained by performing a product-sum operation of the set of values and the calculation coefficient An image processing apparatus comprising: The image processing apparatus according to claim 16 , wherein the peripheral block is a block spatially or temporally adjacent to the block of interest. The image processing apparatus according to claim 16 , wherein the pixel value obtained as the peripheral information is a pixel value of a pixel of a block adjacent to the block of interest. The image processing apparatus according to claim 16 , wherein the pixel value obtained as the peripheral information is a pixel value of a block adjacent pixel that is a pixel adjacent to the target block in a block adjacent to the target block. . The pixel values obtained as the peripheral information are pixel values of two pixels on the left and right of the same row as the attention teacher data and two pixels above and below the same column as the attention teacher data in the block adjacent pixels. The image processing apparatus according to claim 17 , wherein the image processing apparatus is a pixel value. The pixel value obtained as the peripheral information includes a pixel value closer to the attention teacher data among the two pixels on the left and right of the same row as the attention teacher data in the block adjacent pixels, and the attention teacher data. The image processing apparatus according to claim 19 , wherein the pixel value is a pixel value closer to the attention teacher data of two pixels located above and below the same column. The image processing apparatus according to claim 16 , wherein the frequency component obtained as the peripheral information is a one-dimensional DCT coefficient obtained from the two-dimensional DCT coefficient. The image processing apparatus according to claim 22 , wherein the frequency component obtained as the peripheral information is the one-dimensional DCT coefficient corresponding to a position adjacent to the target block in a block adjacent to the target block. . The image processing according to claim 16 , wherein the peripheral information is pixel value information of one or more pixels in a frame before or after the frame of the block of interest, or DCT coefficients of the one or more pixels. apparatus. The peripheral information is pixel value information of one or more pixels including a pixel at the same position as the attention teacher data in a frame before or after the frame of the target block, or DCT coefficients of the one or more pixels. 25. The image processing apparatus according to claim 24 . The encoded data includes a motion vector representing the motion of the image data,
The peripheral information is a pixel value of one or more pixels including a pixel at a position moved by an amount corresponding to the motion vector from a position corresponding to the attention teacher data in a frame before or after the frame of the target block. The image processing apparatus according to claim 24 , or a DCT coefficient of one or more of the pixels. Learning arithmetic coefficients, which are coefficients used for product-sum operations used to decode encoded image data including two-dimensional DCT coefficients obtained by performing two-dimensional DCT (Discrete Cosine Transform) conversion at least in a predetermined block unit An image processing method for
Student data generation step of encoding teacher data, which is image data serving as a learning teacher, by performing at least two-dimensional DCT transformation, and outputting encoded data including a two-dimensional DCT coefficient as student data serving as the learning student When,
A class classification step for classifying the pixels constituting the teacher data into one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel When,
Of the pixels constituting the teacher data , the two-dimensional DCT coefficient of a target block that is a block including target teacher data that is a prediction target pixel, and the two-dimensional DCT of a peripheral block that is a block around the target block. Pixel value information obtained by inverse two-dimensional DCT conversion of coefficients, specific frequency components of DCT coefficients of the peripheral blocks, or peripheral information that is one-dimensional DCT coefficients obtained from the two-dimensional DCT coefficients of the peripheral blocks, A generation step of generating as a set of several values used for the product-sum operation with the operation coefficient ;
Learning to learn for each class the calculation coefficient that statistically minimizes the prediction error of the predicted value of the attention teacher data obtained by performing a product-sum operation of the set of values and the calculation coefficient An image processing method comprising the steps of: Learning arithmetic coefficients, which are coefficients used for product-sum operations used to decode encoded image data including two-dimensional DCT coefficients obtained by performing two-dimensional DCT (Discrete Cosine Transform) conversion at least in a predetermined block unit A program for causing a computer to perform image processing,
Student data generation step of encoding teacher data, which is image data serving as a learning teacher, by performing at least two-dimensional DCT transformation, and outputting encoded data including a two-dimensional DCT coefficient as student data serving as the learning student When,
A class classification step for classifying the pixels constituting the teacher data into one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel When,
Of the pixels constituting the teacher data , the two-dimensional DCT coefficient of a target block that is a block including target teacher data that is a prediction target pixel, and the two-dimensional DCT of a peripheral block that is a block around the target block. Pixel value information obtained by inverse two-dimensional DCT conversion of coefficients, specific frequency components of DCT coefficients of the peripheral blocks, or peripheral information that is one-dimensional DCT coefficients obtained from the two-dimensional DCT coefficients of the peripheral blocks, A generation step of generating as a set of several values used for the product-sum operation with the operation coefficient ;
Learning to learn for each class the calculation coefficient that statistically minimizes the prediction error of the predicted value of the attention teacher data obtained by performing a product-sum operation of the set of values and the calculation coefficient A program comprising the steps. An operation which is a coefficient used for a predetermined product-sum operation used to decode encoded image data including a two-dimensional DCT coefficient obtained by performing two-dimensional DCT (Discrete Cosine Transform) conversion at least in a predetermined block unit A recording medium on which a program for causing a computer to perform image processing for learning a coefficient is recorded,
Student data generation step of encoding teacher data, which is image data serving as a learning teacher, by performing at least two-dimensional DCT transformation, and outputting encoded data including a two-dimensional DCT coefficient as student data serving as the learning student When,
A class classification step for classifying the pixels constituting the teacher data into one of a plurality of classes based on a code including a feature amount obtained from a DCT coefficient of a block including the pixel When,
Of the pixels constituting the teacher data , the two-dimensional DCT coefficient of a target block that is a block including target teacher data that is a prediction target pixel, and the two-dimensional DCT of a peripheral block that is a block around the target block. Pixel value information obtained by inverse two-dimensional DCT conversion of coefficients, specific frequency components of DCT coefficients of the peripheral blocks, or peripheral information that is one-dimensional DCT coefficients obtained from the two-dimensional DCT coefficients of the peripheral blocks, A generation step of generating as a set of several values used for the product-sum operation with the operation coefficient ;
Learning to learn for each class the calculation coefficient that statistically minimizes the prediction error of the predicted value of the attention teacher data obtained by performing a product-sum operation of the set of values and the calculation coefficient A computer-readable recording medium having recorded thereon a program for causing a computer to execute the steps.

Images