JP4147789B2 - 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、並びにプログラムおよび記録媒体に関し、特に、例えば、画像を、少なくとも２次元ＤＣＴ(Discrete Cosine Transform)変換することにより符号化した符号化データを、効率的に、高画質の画像に復号することができるようにする画像処理装置および画像処理方法、並びにプログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
例えば、ディジタル画像データは、そのデータ量が多いため、そのまま記録や伝送を行うには、大容量の記録媒体や伝送媒体が必要となる。そこで、一般には、画像データを圧縮符号化することにより、そのデータ量を削減してから、記録や伝送が行われる。
【０００３】
画像データを圧縮符号化する方式としては、例えば、画像データを、水平および垂直の２方向についてＤＣＴ変換する２次元ＤＣＴ変換を利用したものがあり、その代表的なものとしては、例えば、静止画の圧縮符号化方式であるＪＰＥＧ(Joint Photographic Experts Group)方式や、動画の圧縮符号化方式であるＭＰＥＧ(Moving Picture Experts Group)方式等がある。
【０００４】
例えば、ＪＰＥＧ方式による画像データの符号化／復号は、図１に示すように行われる。
【０００５】
即ち、図１（Ａ）は、従来のＪＰＥＧ符号化装置の一例の構成を示している。
【０００６】
符号化対象の画像データは、ブロック化回路１に入力され、ブロック化回路１は、そこに入力される画像データを、横×縦が８×８画素の６４画素でなるブロックに分割する。ブロック化回路１で得られる各ブロックは、ＤＣＴ回路２に供給される。ＤＣＴ回路２は、ブロック化回路１からのブロックに対して、ＤＣＴ処理を施し（２次元ＤＣＴ変換し）、１個のＤＣ(Direct Current)成分（直流成分）と、水平方向および垂直方向についての６３個のＡＣ(Alternating Current)成分（交流成分）の、合計６４個のＤＣＴ係数に変換する。各ブロックごとの６４個のＤＣＴ係数は、ＤＣＴ回路２から量子化回路３に供給される。
【０００７】
量子化回路３は、所定の量子化テーブルにしたがって、ＤＣＴ回路２からのＤＣＴ係数を量子化し、その量子化結果（以下、適宜、量子化ＤＣＴ係数という）を、量子化に用いた量子化テーブルとともに、エントロピー符号化回路４に供給する。
【０００８】
ここで、図１（Ｂ）は、量子化回路３において用いられる量子化テーブルの例を示している。量子化テーブルには、一般に、人間の視覚特性を考慮して、重要性の高い低周波数のＤＣＴ係数は細かく量子化し、重要性の低い高周波数のＤＣＴ係数は粗く量子化するような量子化ステップが設定されており、これにより、画像の画質の劣化を抑えて、効率の良い圧縮が行われるようになっている。
【０００９】
エントロピー符号化回路４は、量子化回路３からの量子化ＤＣＴ係数に対して、例えば、ハフマン符号化等のエントロピー符号化処理を施して、量子化回路３からの量子化テーブルを付加し、その結果得られる符号化データを、ＪＰＥＧ符号化結果として出力する。
【００１０】
次に、図１（Ｃ）は、図１（Ａ）のＪＰＥＧ符号化装置が出力する符号化データを復号する、従来のＪＰＥＧ復号装置の一例の構成を示している。
【００１１】
符号化データは、エントロピー復号回路１１に入力され、エントロピー復号回路１１は、符号化データを、エントロピー符号化された量子化ＤＣＴ係数と、量子化テーブルとに分離する。さらに、エントロピー復号回路１１は、エントロピー符号化された量子化ＤＣＴ係数をエントロピー復号し、その結果得られる量子化ＤＣＴ係数を、量子化テーブルとともに、逆量子化回路１２に供給する。逆量子化回路１２は、エントロピー復号回路１１からの量子化ＤＣＴ係数を、同じくエントロピー復号回路１１からの量子化テーブルにしたがって逆量子化し、その結果得られるＤＣＴ係数を、逆ＤＣＴ回路１３に供給する。逆ＤＣＴ回路１３は、逆量子化回路１２からのＤＣＴ係数に、逆ＤＣＴ処理を施し（２次元逆ＤＣＴ変換し）、その結果得られる８×８画素の復号ブロックを、ブロック分解回路１４に供給する。ブロック分解回路１４は、逆ＤＣＴ回路１３からの復号ブロックのブロック化を解くことで、復号画像を得て出力する。
【００１２】
【発明が解決しようとする課題】
図１（Ａ）のＪＰＥＧ符号化装置では、その量子化回路３において、ブロックの量子化に用いる量子化テーブルの量子化ステップを大きくすることにより、符号化データのデータ量を削減することができる。即ち、高圧縮を実現することができる。
【００１３】
しかしながら、量子化ステップを大きくすると、いわゆる量子化誤差も大きくなることから、図１（Ｃ）のＪＰＥＧ復号装置で得られる復号画像の画質が劣化する。即ち、復号画像には、ぼけや、ブロック歪み、モスキートノイズ等が顕著に現れる。
【００１４】
従って、符号化データのデータ量を削減しながら、復号画像の画質を劣化させないようにするには、あるいは、符号化データのデータ量を維持して、復号画像の画質を向上させるには、一般には、ＪＰＥＧ復号した後に、何らかの画質向上のための処理を行う必要がある。
【００１５】
しかしながら、ＪＰＥＧ復号した後に、画質向上のための処理を行うことは、処理が煩雑になり、最終的に復号画像が得られるまでの時間も長くなる。
【００１６】
ＭＰＥＧ方式においても、ＪＰＥＧ方式と同様に、画像データ（動画像データ）が２次元ＤＣＴ変換され、量子化されるため、ＪＰＥＧ方式における場合と同様に、復号画像の画質が劣化する。
【００１７】
本発明は、このような状況に鑑みてなされたものであり、画像データをＪＰＥＧ符号化やＭＰＥＧ符号化等した符号化データを、効率的に、画質の良い復号画像に復号することができるようにするものである。
【００１８】
【課題を解決するための手段】
本発明の第１の画像処理装置は、画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、符号化データから取得する２次元ＤＣＴ係数取得手段と、復号対象として注目している画素である注目画素を含むブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、右下の４つの領域のうちのいずれの領域に、注目画素が位置するかを判定する領域判定手段と、少なくとも、注目ブロックの２次元ＤＣＴ係数すべてを抽出するＤＣＴ係数抽出手段と、注目画素が、注目ブロックの左上の領域に位置する場合、注目ブロックにおける注目画素の位置を表す情報を、縮退画素位置情報として出力し、注目画素が、注目ブロックの右上の領域に位置する場合、注目ブロックを左右に２等分する線について、注目画素と線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目画素が、注目ブロックの左下の領域に位置する場合、注目ブロックを上下に２等分する線について、注目画素と線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目画素が、注目ブロックの右下の領域に位置する場合、注目ブロックを左右に２等分する線と上下に２等分する線との交点について、注目画素と点対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力する画素位置情報縮退手段と、注目画素が、注目ブロックの左上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、注目画素が、注目ブロックの右上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転し、注目画素が、注目ブロックの左下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数行に位置するものの符号を反転し、注目画素が、注目ブロックの右下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転するとともに、注目ブロックの偶数行に位置するものの符号を反転する符号操作手段と、学習用の画像データを、少なくとも、所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、学習用の画像データを符号化した符号化データから取得して学習の生徒となる生徒データとし、学習用の画像データを構成する各画素を学習の教師となる教師データとし、教師データのうちの注目している注目教師データに対して、ＤＣＴ係数抽出手段と同様に抽出した生徒データとしての２次元ＤＣＴ係数と学習係数との積和演算で得られる注目教師データの予測値の予測誤差が統計的に最小になるように縮退画素位置情報ごとに求めた学習係数のなかから、注目画素の縮退画素位置情報に対応する学習係数を取得し、その学習係数と、ＤＣＴ係数抽出手段により抽出されたＤＣＴ係数との積和演算を行うことにより、注目画素の画素値を予測する予測手段とを備えることを特徴とする。
【００１９】
本発明の第１の画像処理方法は、画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、符号化データから取得する２次元ＤＣＴ係数取得ステップと、復号対象として注目している画素である注目画素を含むブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、右下の４つの領域のうちのいずれの領域に、注目画素が位置するかを判定する領域判定ステップと、少なくとも、注目ブロックの２次元ＤＣＴ係数すべてを抽出するＤＣＴ係数抽出ステップと、注目画素が、注目ブロックの左上の領域に位置する場合、注目ブロックにおける注目画素の位置を表す情報を、縮退画素位置情報として出力し、注目画素が、注目ブロックの右上の領域に位置する場合、注目ブロックを左右に２等分する線について、注目画素と線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目画素が、注目ブロックの左下の領域に位置する場合、注目ブロックを上下に２等分する線について、注目画素と線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目画素が、注目ブロックの右下の領域に位置する場合、注目ブロックを左右に２等分する線と上下に２等分する線との交点について、注目画素と点対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力する画素位置情報縮退ステップと、注目画素が、注目ブロックの左上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、注目画素が、注目ブロックの右上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転し、注目画素が、注目ブロックの左下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数行に位置するものの符号を反転し、注目画素が、注目ブロックの右下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転するとともに、注目ブロックの偶数行に位置するものの符号を反転する符号操作ステップと、学習用の画像データを、少なくとも、所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、学習用の画像データを符号化した符号化データから取得して学習の生徒となる生徒データとし、学習用の画像データを構成する各画素を学習の教師となる教師データとし、教師データのうちの注目している注目教師データに対して、ＤＣＴ係数抽出手段と同様に抽出した生徒データとしての２次元ＤＣＴ係数と学習係数との積和演算で得られる注目教師データの予測値の予測誤差が統計的に最小になるように縮退画素位置情報ごとに求めた学習係数のなかから、注目画素の縮退画素位置情報に対応する学習係数を取得し、その学習係数と、ＤＣＴ係数抽出ステップの処理により抽出されたＤＣＴ係数との積和演算を行うことにより、注目画素の画素値を予測する予測ステップとを備えることを特徴とする。
【００２０】
本発明の第１のプログラムは、画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、符号化データから取得する２次元ＤＣＴ係数取得ステップと、復号対象として注目している画素である注目画素を含むブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、右下の４つの領域のうちのいずれの領域に、注目画素が位置するかを判定する領域判定ステップと、少なくとも、注目ブロックの２次元ＤＣＴ係数すべてを抽出するＤＣＴ係数抽出ステップと、注目画素が、注目ブロックの左上の領域に位置する場合、注目ブロックにおける注目画素の位置を表す情報を、縮退画素位置情報として出力し、注目画素が、注目ブロックの右上の領域に位置する場合、注目ブロックを左右に２等分する線について、注目画素と線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目画素が、注目ブロックの左下の領域に位置する場合、注目ブロックを上下に２等分する線について、注目画素と線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目画素が、注目ブロックの右下の領域に位置する場合、注目ブロックを左右に２等分する線と上下に２等分する線との交点について、注目画素と点対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力する画素位置情報縮退ステップと、注目画素が、注目ブロックの左上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、注目画素が、注目ブロックの右上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転し、注目画素が、注目ブロックの左下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数行に位置するものの符号を反転し、注目画素が、注目ブロックの右下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転するとともに、注目ブロックの偶数行に位置するものの符号を反転する符号操作ステップと、学習用の画像データを、少なくとも、所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、学習用の画像データを符号化した符号化データから取得して学習の生徒となる生徒データとし、学習用の画像データを構成する各画素を学習の教師となる教師データとし、教師データのうちの注目している注目教師データに対して、ＤＣＴ係数抽出手段と同様に抽出した生徒データとしての２次元ＤＣＴ係数と学習係数との積和演算で得られる注目教師データの予測値の予測誤差が統計的に最小になるように縮退画素位置情報ごとに求めた学習係数のなかから、注目画素の縮退画素位置情報に対応する学習係数を取得し、その学習係数と、ＤＣＴ係数抽出ステップの処理により抽出されたＤＣＴ係数との積和演算を行うことにより、注目画素の画素値を予測する予測ステップとをコンピュータに行わせることを特徴とする。
【００２１】
本発明の第１の記録媒体は、画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、符号化データから取得する２次元ＤＣＴ係数取得ステップと、復号対象として注目している画素である注目画素を含むブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、右下の４つの領域のうちのいずれの領域に、注目画素が位置するかを判定する領域判定ステップと、少なくとも、注目ブロックの２次元ＤＣＴ係数すべてを抽出するＤＣＴ係数抽出ステップと、注目画素が、注目ブロックの左上の領域に位置する場合、注目ブロックにおける注目画素の位置を表す情報を、縮退画素位置情報として出力し、注目画素が、注目ブロックの右上の領域に位置する場合、注目ブロックを左右に２等分する線について、注目画素と線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目画素が、注目ブロックの左下の領域に位置する場合、注目ブロックを上下に２等分する線について、注目画素と線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目画素が、注目ブロックの右下の領域に位置する場合、注目ブロックを左右に２等分する線と上下に２等分する線との交点について、注目画素と点対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力する画素位置情報縮退ステップと、注目画素が、注目ブロックの左上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、注目画素が、注目ブロックの右上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転し、注目画素が、注目ブロックの左下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数行に位置するものの符号を反転し、注目画素が、注目ブロックの右下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転するとともに、注目ブロックの偶数行に位置するものの符号を反転する符号操作ステップと、学習用の画像データを、少なくとも、所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、学習用の画像データを符号化した符号化データから取得して学習の生徒となる生徒データとし、学習用の画像データを構成する各画素を学習の教師となる教師データとし、教師データのうちの注目している注目教師データに対して、ＤＣＴ係数抽出手段と同様に抽出した生徒データとしての２次元ＤＣＴ係数と学習係数との積和演算で得られる注目教師データの予測値の予測誤差が統計的に最小になるように縮退画素位置情報ごとに求めた学習係数のなかから、注目画素の縮退画素位置情報に対応する学習係数を取得し、その学習係数と、ＤＣＴ係数抽出ステップの処理により抽出されたＤＣＴ係数との積和演算を行うことにより、注目画素の画素値を予測する予測ステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００２２】
本発明の第２の画像処理装置は、学習用の画像データを符号化し、その結果得られる符号化データから、少なくとも、画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、学習の生徒となる生徒データとして取得する生徒データ取得手段と、学習用の画像データを構成する各画素を、学習の教師となる教師データとして、教師データのうちの、注目している教師データである注目教師データを予測するのに用いる２次元ＤＣＴ係数を抽出するＤＣＴ係数抽出手段と、注目教師データを含むブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、および右下の４つの領域のうちのいずれの領域に、注目教師データが位置するかを判定する領域判定手段と、注目教師データが、注目ブロックの左上の領域に位置する場合、注目ブロックにおける注目教師データの位置を表す情報を、縮退画素位置情報として出力し、注目教師データが、注目ブロックの右上の領域に位置する場合、注目ブロックを左右に２等分する線について、注目教師データと線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目教師データが、注目ブロックの左下の領域に位置する場合、注目ブロックを上下に２等分する線について、注目教師データと線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目教師データが、注目ブロックの右下の領域に位置する場合、注目ブロックを左右に２等分する線と上下に２等分する線との交点について、注目教師データと点対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力する画素位置情報縮退手段と、注目教師データが、注目ブロックの左上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、注目教師データが、注目ブロックの右上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転し、注目教師データが、注目ブロックの左下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数行に位置するものの符号を反転し、注目教師データが、注目ブロックの右下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転するとともに、注目ブロックの偶数行に位置するものの符号を反転する符号操作手段と、学習係数とＤＣＴ係数抽出手段により抽出された２次元ＤＣＴ係数との積和演算を行うことにより得られる注目教師データの予測値の予測誤差が統計的に最小になるように縮退画素位置情報ごとに学習を行うことにより、縮退画素位置情報ごとの学習係数を求める学習手段とを備えることを特徴とする。
【００２３】
本発明の第２の画像処理方法は、学習用の画像データを符号化し、その結果得られる符号化データから、少なくとも、画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、学習の生徒となる生徒データとして取得する生徒データ取得ステップと、学習用の画像データを構成する各画素を、学習の教師となる教師データとして、教師データのうちの、注目している教師データである注目教師データを予測するのに用いる２次元ＤＣＴ係数を抽出するＤＣＴ係数抽出ステップと、注目教師データを含むブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、および右下の４つの領域のうちのいずれの領域に、注目教師データが位置するかを判定する領域判定ステップと、注目教師データが、注目ブロックの左上の領域に位置する場合、注目ブロックにおける注目教師データの位置を表す情報を、縮退画素位置情報として出力し、注目教師データが、注目ブロックの右上の領域に位置する場合、注目ブロックを左右に２等分する線について、注目教師データと線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目教師データが、注目ブロックの左下の領域に位置する場合、注目ブロックを上下に２等分する線について、注目教師データと線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目教師データが、注目ブロックの右下の領域に位置する場合、注目ブロックを左右に２等分する線と上下に２等分する線との交点について、注目教師データと点対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力する画素位置情報縮退ステップと、注目教師データが、注目ブロックの左上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、注目教師データが、注目ブロックの右上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転し、注目教師データが、注目ブロックの左下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数行に位置するものの符号を反転し、注目教師データが、注目ブロックの右下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転するとともに、注目ブロックの偶数行に位置するものの符号を反転する符号操作ステップと、学習係数とＤＣＴ係数抽出ステップの処理により抽出された２次元ＤＣＴ係数との積和演算を行うことにより得られる注目教師データの予測値の予測誤差が統計的に最小になるように縮退画素位置情報ごとに学習を行うことにより、縮退画素位置情報ごとの学習係数を求める学習ステップとを備えることを特徴とする。
【００２４】
本発明の第２のプログラムは、学習用の画像データを符号化し、その結果得られる符号化データから、少なくとも、画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、学習の生徒となる生徒データとして取得する生徒データ取得ステップと、学習用の画像データを構成する各画素を、学習の教師となる教師データとして、教師データのうちの、注目している教師データである注目教師データを予測するのに用いる２次元ＤＣＴ係数を抽出するＤＣＴ係数抽出ステップと、注目教師データを含むブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、および右下の４つの領域のうちのいずれの領域に、注目教師データが位置するかを判定する領域判定ステップと、注目教師データが、注目ブロックの左上の領域に位置する場合、注目ブロックにおける注目教師データの位置を表す情報を、縮退画素位置情報として出力し、注目教師データが、注目ブロックの右上の領域に位置する場合、注目ブロックを左右に２等分する線について、注目教師データと線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目教師データが、注目ブロックの左下の領域に位置する場合、注目ブロックを上下に２等分する線について、注目教師データと線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目教師データが、注目ブロックの右下の領域に位置する場合、注目ブロックを左右に２等分する線と上下に２等分する線との交点について、注目教師データと点対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力する画素位置情報縮退ステップと、注目教師データが、注目ブロックの左上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、注目教師データが、注目ブロックの右上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転し、注目教師データが、注目ブロックの左下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数行に位置するものの符号を反転し、注目教師データが、注目ブロックの右下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転するとともに、注目ブロックの偶数行に位置するものの符号を反転する符号操作ステップと、学習係数とＤＣＴ係数抽出ステップの処理により抽出された２次元ＤＣＴ係数との積和演算を行うことにより得られる注目教師データの予測値の予測誤差が統計的に最小になるように縮退画素位置情報ごとに学習を行うことにより、縮退画素位置情報ごとの学習係数を求める学習ステップとをコンピュータに行わせることを特徴とする。
【００２５】
本発明の第２の記録媒体は、学習用の画像データを符号化し、その結果得られる符号化データから、少なくとも、画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、学習の生徒となる生徒データとして取得する生徒データ取得ステップと、学習用の画像データを構成する各画素を、学習の教師となる教師データとして、教師データのうちの、注目している教師データである注目教師データを予測するのに用いる２次元ＤＣＴ係数を抽出するＤＣＴ係数抽出ステップと、注目教師データを含むブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、および右下の４つの領域のうちのいずれの領域に、注目教師データが位置するかを判定する領域判定ステップと、注目教師データが、注目ブロックの左上の領域に位置する場合、注目ブロックにおける注目教師データの位置を表す情報を、縮退画素位置情報として出力し、注目教師データが、注目ブロックの右上の領域に位置する場合、注目ブロックを左右に２等分する線について、注目教師データと線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目教師データが、注目ブロックの左下の領域に位置する場合、注目ブロックを上下に２等分する線について、注目教師データと線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力し、注目教師データが、注目ブロックの右下の領域に位置する場合、注目ブロックを左右に２等分する線と上下に２等分する線との交点について、注目教師データと点対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報を、縮退画素位置情報として出力する画素位置情報縮退ステップと、注目教師データが、注目ブロックの左上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、注目教師データが、注目ブロックの右上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転し、注目教師データが、注目ブロックの左下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数行に位置するものの符号を反転し、注目教師データが、注目ブロックの右下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号を反転するとともに、注目ブロックの偶数行に位置するものの符号を反転する符号操作ステップと、学習係数とＤＣＴ係数抽出ステップの処理により抽出された２次元ＤＣＴ係数との積和演算を行うことにより得られる注目教師データの予測値の予測誤差が統計的に最小になるように縮退画素位置情報ごとに学習を行うことにより、縮退画素位置情報ごとの学習係数を求める学習ステップとをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴とする。
【００２６】
本発明の第１の画像処理装置および画像処理方法、並びにプログラムにおいては、画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数が、符号化データから取得され、復号対象として注目している画素である注目画素を含むブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、右下の４つの領域のうちのいずれの領域に、注目画素が位置するかが判定され、少なくとも、注目ブロックの２次元ＤＣＴ係数すべてが抽出され、注目画素が、注目ブロックの左上の領域に位置する場合、注目ブロックにおける注目画素の位置を表す情報が、縮退画素位置情報として出力され、注目画素が、注目ブロックの右上の領域に位置する場合、注目ブロックを左右に２等分する線について、注目画素と線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報が、縮退画素位置情報として出力され、注目画素が、注目ブロックの左下の領域に位置する場合、注目ブロックを上下に２等分する線について、注目画素と線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報が、縮退画素位置情報として出力され、注目画素が、注目ブロックの右下の領域に位置する場合、注目ブロックを左右に２等分する線と上下に２等分する線との交点について、注目画素と点対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報が、縮退画素位置情報として出力される。また、注目画素が、注目ブロックの左上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数の符号が、そのままとされ、注目画素が、注目ブロックの右上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号が反転され、注目画素が、注目ブロックの左下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数行に位置するものの符号が反転され、注目画素が、注目ブロックの右下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号が反転されるとともに、注目ブロックの偶数行に位置するものの符号が反転される。学習用の画像データを符号化した符号化データから、少なくとも、学習用の画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、学習の生徒となる生徒データとし、学習用の画像データを構成する各画素を、学習の教師となる教師データとし、教師データのうちの注目している注目教師データに対して、ＤＣＴ係数抽出手段と同様に抽出した生徒データとしての２次元ＤＣＴ係数と学習係数との積和演算で得られる注目教師データの予測値の予測誤差が統計的に最小になるように縮退画素位置情報ごとに求めた学習係数のなかから、注目画素の縮退画素位置情報に対応する学習係数が取得され、その取得された学習係数と、抽出されたＤＣＴ係数との積和演算が行われることにより、注目画素の画素値が予測される。
【００２７】
本発明の第２の画像処理装置および画像処理方法、並びにプログラムにおいては、学習用の画像データが符号化され、その結果得られる符号化データから、少なくとも、画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数が、学習の生徒となる生徒データとして取得される。さらに、学習用の画像データを構成する各画素を、学習の教師となる教師データとして、教師データのうちの、注目している教師データである注目教師データを予測するのに用いる２次元ＤＣＴ係数が抽出され、注目教師データを含むブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、および右下の４つの領域のうちのいずれの領域に、注目教師データが位置するかが判定される。注目教師データが、注目ブロックの左上の領域に位置する場合、注目ブロックにおける注目教師データの位置を表す情報が、縮退画素位置情報として出力され、注目教師データが、注目ブロックの右上の領域に位置する場合、注目ブロックを左右に２等分する線について、注目教師データと線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報が、縮退画素位置情報として出力され、注目教師データが、注目ブロックの左下の領域に位置する場合、注目ブロックを上下に２等分する線について、注目教師データと線対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報が、縮退画素位置情報として出力され、注目教師データが、注目ブロックの右下の領域に位置する場合、注目ブロックを左右に２等分する線と上下に２等分する線との交点について、注目教師データと点対称の位置にある注目ブロックの左上の領域における画素の位置を表す情報が、縮退画素位置情報として出力される。また、注目教師データが、注目ブロックの左上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数の符号が、そのままとされ、注目教師データが、注目ブロックの右上の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号が反転され、注目教師データが、注目ブロックの左下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数行に位置するものの符号が反転され、注目教師データが、注目ブロックの右下の領域に位置する場合、抽出された注目ブロックの２次元ＤＣＴ係数のうち、注目ブロックの偶数列に位置するものの符号が反転されるとともに、注目ブロックの偶数行に位置するものの符号が反転される。そして、学習係数と、抽出された２次元ＤＣＴ係数との積和演算を行うことにより得られる注目教師データの予測値の予測誤差が統計的に最小になるように縮退画素位置情報ごとに学習が行われることにより、縮退画素位置情報ごとの学習係数が求められる。
【００２８】
【発明の実施の形態】
図２は、本発明を適用した画像伝送システムの一実施の形態の構成例を示している。
【００２９】
伝送すべき画像データは、エンコーダ２１に供給されるようになっており、エンコーダ２１は、そこに供給される画像データを、少なくとも、所定のブロックごとに２次元ＤＣＴ変換することにより符号化する。即ち、エンコーダ２１では、そこに供給される画像データが、静止画または動画の画像データである場合には、その静止画または動画の画像データが、例えば、それぞれＪＰＥＧ符号化またはＭＰＥＧ符号化される。
【００３０】
エンコーダ２１が画像データを符号化することにより得られる符号化データは、例えば、半導体メモリ、光磁気ディスク、磁気ディスク、光ディスク、磁気テープ、相変化ディスクなどでなる記録媒体２３に記録され、あるいは、また、例えば、地上波、衛星回線、ＣＡＴＶ（Cable Television）網、インターネット、公衆回線などでなる伝送媒体２４を介して伝送される。
【００３１】
デコーダ２２は、記録媒体２３または伝送媒体２４を介して提供される符号化データを受信して、画像データに復号する。この復号された画像データ（復号画像データ）は、例えば、図示せぬモニタに供給されて表示等される。
【００３２】
次に、図２のエンコーダ２１に供給される画像データが静止画である場合には、エンコーダ２１は、その画像データを、例えばＪＰＥＧ符号化する。この場合、エンコーダ２１は、例えば、前述の図１（Ａ）に示したＪＰＥＧ符号化装置と同様に構成され、画像データをＪＰＥＧ符号化し、符号化データとして出力する。
【００３３】
図３は、図２のエンコーダ２１において静止画の画像データがＪＰＥＧ符号化される場合の、図２のデコーダ２２の構成例を示している。
【００３４】
符号化データは、エントロピー復号回路３１に供給されるようになっており、エントロピー復号回路３１は、符号化データを、エントロピー復号して、その結果得られるブロックごとの量子化ＤＣＴ係数Ｑを、係数変換回路３２に供給する。
【００３５】
係数変換回路３２は、エントロピー復号回路３１からの量子化ＤＣＴ係数Ｑを逆量子化して、８×８のブロックごとのＤＣＴ係数とし、そのＤＣＴ係数と、後述する学習を行うことにより求められるタップ係数を用いて、所定の予測演算を行うことにより、ブロックごとのＤＣＴ係数を、８×８画素の元のブロックに復号する。
【００３６】
ブロック分解回路３３は、係数変換回路３２において得られる、復号されたブロック（復号ブロック）のブロック化を解くことで、復号画像を得て出力する。
【００３７】
次に、図４のフローチャートを参照して、図３のデコーダ２２の処理について説明する。
【００３８】
符号化データは、エントロピー復号回路３１に順次供給され、ステップＳ１において、エントロピー復号回路３１は、符号化データをエントロピー復号し、ブロックごとの量子化ＤＣＴ係数Ｑを、係数変換回路３２に供給する。係数変換回路３２は、ステップＳ２において、エントロピー復号回路３１からのブロックごとの量子化ＤＣＴ係数Ｑを逆量子化し、その結果得られるＤＣＴ係数と、学習を行うことによりあらかじめ得られているタップ係数とを用いた予測演算を行うことにより、ブロックごとの画素値を復号して、ブロック分解回路３３に供給する。ブロック分解回路３３は、ステップＳ３において、係数変換回路３２からの画素値のブロック（復号ブロック）のブロック化を解くブロック分解を行い、その結果得られる復号画像を出力して、処理を終了する。
【００３９】
次に、図３の係数変換回路３２では、例えば、本件出願人が先に提案しているクラス分類適応処理を利用して、量子化ＤＣＴ係数を、画素値に復号することができる。
【００４０】
クラス分類適応処理は、クラス分類処理と適応処理とからなり、クラス分類処理によって、データを、その性質に基づいてクラス分けし、各クラスごとに適応処理を施すものであり、適応処理は、以下のような手法のものである。
【００４１】
即ち、適応処理では、例えば、ＤＣＴ係数と、所定のタップ係数との線形結合により、元の画素の予測値を求めることで、ＤＣＴ係数が、元の画素値に復号される。
【００４２】
具体的には、例えば、いま、ある画像を教師データとするとともに、その画像を、ブロック単位でＤＣＴ処理し、さらに量子化して得られるＤＣＴ係数（あるいは、そのＤＣＴ係数をさらに逆量子化して得られるＤＣＴ係数）を生徒データとして、教師データである画素の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＤＣＴ係数ｘ₁，ｘ₂，・・・の集合と、所定のタップ係数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【００４３】

【００４４】
式（１）を一般化するために、タップ係数ｗ_jの集合でなる行列Ｗ、生徒データｘ_ijの集合でなる行列Ｘ、および予測値Ｅ［ｙ_j］の集合でなる行列Ｙ’を、
【数１】

で定義すると、次のような観測方程式が成立する。
【００４５】
ＸＷ＝Ｙ’・・・（２）
ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙ_iの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗ_jは、生徒データの集合の中のｊ番目の生徒データとの積が演算されるタップ係数を表す。また、ｙ_iは、ｉ件目の教師データを表し、従って、Ｅ［ｙ_i］は、ｉ件目の教師データの予測値を表す。なお、式（１）の左辺におけるｙは、行列Ｙの成分ｙ_iのサフィックスｉを省略したものであり、また、式（１）の右辺におけるｘ₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ijのサフィックスｉを省略したものである。
【００４６】
そして、この観測方程式に最小自乗法を適用して、元の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる真の画素値ｙの集合でなる行列Ｙ、および画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】

で定義すると、式（２）から、次のような残差方程式が成立する。
【００４７】
ＸＷ＝Ｙ＋Ｅ・・・（３）
【００４８】
この場合、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるためのタップ係数ｗ_jは、自乗誤差
【数３】

を最小にすることで求めることができる。
【００４９】
従って、上述の自乗誤差をタップ係数ｗ_jで微分したものが０になる場合、即ち、次式を満たすタップ係数ｗ_jが、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００５０】
【数４】

・・・（４）
【００５１】
そこで、まず、式（３）を、タップ係数ｗ_jで微分することにより、次式が成立する。
【００５２】
【数５】

・・・（５）
【００５３】
式（４）および（５）より、式（６）が得られる。
【００５４】
【数６】

・・・（６）
【００５５】
さらに、式（３）の残差方程式における生徒データｘ_ij、タップ係数ｗ_j、教師データｙ_i、および残差ｅ_iの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００５６】
【数７】

・・・（７）
【００５７】
なお、式（７）に示した正規方程式は、行列（共分散行列）Ａおよびベクトルｖを、
【数８】

で定義するとともに、ベクトルＷを、数１で示したように定義すると、式
ＡＷ＝ｖ・・・（８）
で表すことができる。
【００５８】
式（７）における各正規方程式は、生徒データｘ_ijおよび教師データｙ_iのセットを、ある程度の数だけ用意することで、求めるべきタップ係数ｗ_jの数Ｊと同じ数だけたてることができ、従って、式（８）を、ベクトルＷについて解くことで（但し、式（８）を解くには、式（８）における行列Ａが正則である必要がある）、最適なタップ係数（ここでは、自乗誤差を最小にするタップ係数）ｗ_jを求めることができる。なお、式（８）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００５９】
以上のようにして、最適なタップ係数ｗ_jを求めておき、さらに、そのタップ係数ｗ_jを用い、式（１）により、元の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００６０】
なお、例えば、教師データとして、ＪＰＥＧ符号化する画像と同一画質の画像を用いるとともに、生徒データとして、その教師データをＤＣＴおよび量子化して得られるＤＣＴ係数を用いた場合、タップ係数としては、ＪＰＥＧ符号化された画像データを、元の画像データに復号するのに、予測誤差が、統計的に最小となるものが得られることになる。
【００６１】
従って、ＪＰＥＧ符号化を行う際の圧縮率を高くしても、即ち、量子化に用いる量子化ステップを粗くしても、適応処理によれば、予測誤差が、統計的に最小となる復号処理が施されることになり、実質的に、ＪＰＥＧ符号化された画像の復号処理と、その画質を向上させるための処理とが、同時に施されることになる。その結果、圧縮率を高くしても、復号画像の画質を維持することができる。
【００６２】
また、例えば、教師データとして、ＪＰＥＧ符号化する画像よりも高画質の画像を用いるとともに、生徒データとして、その教師データの画質を、ＪＰＥＧ符号化する画像と同一画質に劣化させ、さらに、ＤＣＴ変換および量子化して得られるＤＣＴ係数を用いた場合、タップ係数としては、ＪＰＥＧ符号化された画像データを、高画質の画像データに復号するのに、予測誤差が、統計的に最小となるものが得られることになる。
【００６３】
従って、この場合、適応処理によれば、ＪＰＥＧ符号化された画像の復号処理と、その画質をより向上させるための処理とが、同時に施されることになる。なお、上述したことから、教師データまたは生徒データとなる画像の画質を変えることで、復号画像の画質を任意のレベルとするタップ係数を得ることができる。
【００６４】
なお、上述のことは、ＪＰＥＧ符号化された画像の他、例えば、ＭＰＥＧ符号化された画像についても、同様である。
【００６５】
図５は、以上のようなクラス分類適応処理により、量子化ＤＣＴ係数を画素値に復号する、図３の係数変換回路３２の構成例を示している。
【００６６】
エントロピー復号回路３１（図３）が出力するブロックごとの量子化ＤＣＴ係数は、逆量子化回路４０に供給されるようになっている。
【００６７】
逆量子化回路４０は、ブロックごとの量子化ＤＣＴ係数を逆量子化し、これによりＤＣＴ係数のブロックを取得して、予測タップ抽出回路４１およびクラスタップ抽出回路４２に供給する。
【００６８】
予測タップ抽出回路４１は、そこに供給されるＤＣＴ係数のブロックの画素を、例えば、いわゆるラスタスキャン順に、順次、注目画素とする。さらに、予測タップ抽出回路４１は、注目画素の画素値を予測するのに用いるＤＣＴ係数を、逆量子化回路４０の出力から抽出し、予測タップとする。
【００６９】
即ち、予測タップ抽出回路４１は、例えば、図６に示すように、注目画素を含むブロックのすべてのＤＣＴ係数、つまり、８×８の６４個のＤＣＴ係数を、予測タップとして抽出する。従って、ここでは、あるブロックのすべての画素について、同一の予測タップが構成される。但し、予測タップは、注目画素ごとに、異なるＤＣＴ係数で構成することが可能である。
【００７０】
予測タップ抽出回路４１において得られる注目画素についての予測タップは、積和演算回路４５に供給される。
【００７１】
クラスタップ抽出回路４２は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするためのクラス分類に用いるＤＣＴ係数を、逆量子化回路４０の出力から抽出して、クラスタップとする。
【００７２】
即ち、クラスタップ抽出回路４２は、例えば、図６に示したように、注目画素を含むブロックのすべてのＤＣＴ係数、つまり、８×８の６４個のＤＣＴ係数を、クラスタップとして抽出する。従って、ここでは、あるブロックのすべての画素について、同一のクラスタップが構成される。但し、クラスタップは、注目画素ごとに、異なるＤＣＴ係数で構成することが可能である。
【００７３】
なお、予測タップやクラスタップは、上述したタップ構造のものに限定されるものではない。
【００７４】
クラスタップ抽出回路４２において得られる、注目画素のクラスタップは、クラス分類回路４３に供給されるようになっており、クラス分類回路４３は、クラスタップ抽出回路４２からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを出力する。
【００７５】
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
【００７６】
ADRCを用いる方法では、クラスタップを構成するＤＣＴ係数が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
【００７７】
なお、KビットADRCにおいては、例えば、クラスタップを構成するＤＣＴ係数の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成するＤＣＴ係数がKビットに再量子化される。即ち、クラスタップを構成するＤＣＴ係数の中から、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各ＤＣＴ係数を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各ＤＣＴ係数は、最小値MINが減算された後に、最大値MAXと最小値MINとの平均値で除算され、これにより、各ＤＣＴ係数が１ビットとされる（２値化される）。そして、その１ビットのＤＣＴ係数を所定の順番で並べたビット列が、ADRCコードとされ、このＡＤＲＣコードがクラスコードとして出力される。
【００７８】
なお、クラス分類回路４３には、例えば、クラスタップを構成するＤＣＴ係数のレベル分布のパターンを、そのままクラスコードとして出力させることも可能であるが、この場合、クラスタップが、Ｎ個のＤＣＴ係数で構成され、各ＤＣＴ係数に、Ｋビットが割り当てられているとすると、クラス分類回路４３が出力するクラスコードの場合の数は、（２^N）^K通りとなり、ＤＣＴ係数のビット数Ｋに指数的に比例した膨大な数となる。
【００７９】
従って、クラス分類回路４３においては、クラスタップの情報量を、上述のADRC処理や、ベクトル量子化、その他の手法によって圧縮することにより、クラス分類を行うのが好ましい。
【００８０】
クラス分類回路４３は、例えば、上述のように、クラスタップをADRC処理することにより得られるADRCコードを、注目画素のクラスを表すクラスコードとして出力し、このクラスコードは、係数テーブル記憶部４４に、アドレスとして与えられる。
【００８１】
係数テーブル記憶部４４は、後述するような学習処理が行われることにより得られるタップ係数が登録された係数テーブルを記憶しており、クラス分類回路４３が出力するクラスコードに対応するアドレスに記憶されているタップ係数を積和演算回路４５に出力する。
【００８２】
ここで、ブロックをＤＣＴ変換／逆ＤＣＴ変換する場合は、そのブロックにおける各画素の空間上の位置を表す位置情報が、ＤＣＴ変換／逆ＤＣＴ変換に用いられるコサイン(cosine)関数の位相という形で考慮される。
【００８３】
一方、適応処理では、予測タップを構成するＤＣＴ係数と、タップ係数とを用いた式（１）の線形１次予測演算が行われるが、この線形１次予測演算では、復号しようとしている画素（注目画素）の位置情報が考慮されない（式（１）には、位置情報を考慮するような関数が存在しない）。そこで、注目画素の位置情報を考慮した線形１次予測演算を行うために、積和演算回路４５では、注目画素の位置によって異なるタップ係数が用いられるようになっている。即ち、同一のクラスに分類される画素であっても、ブロックにおける位置が異なる場合には、異なるタップ係数を用いて、線形１次予測演算が行われるようになっている。この場合、線形１次予測演算に用いるタップ係数が、ブロックにおける注目画素の位置によって切り替えられることとなるが、この注目画素の位置を表す情報を、以下、適宜、画素位置モードという。
【００８４】
いまの場合、ブロックは８×８画素で構成されるから、６４カ所の位置が存在し、ここでは、例えば、ラスタスキャン順で、ｎ番目の位置を、画素位置モード＃ｎ−１と表すこととする。従って、ここでは、図６に示した８×８のブロックのマス目に付した数字が、画素位置モードを表す。
【００８５】
以上から、ここでは、画素位置モードが、０乃至６３の６４モード存在し、各クラスについて、６４の画素位置モードそれぞれに対応するタップ係数のセット、即ち、６４セットのタップ係数が用意されており、係数テーブル記憶部４４には、１つのクラスコードに対応するアドレスに対して、６４セットのタップ係数が記憶されている。
【００８６】
積和演算回路４５は、予測タップ抽出回路４１が出力する予測タップと、係数テーブル記憶部４４が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、式（１）に示した線形予測演算（積和演算）を行うことにより、注目画素を復号する。そして、積和演算回路４５は、注目画素を含むブロック（以下、適宜、注目ブロックという）の８×８画素の画素値の復号結果を得ると、その注目ブロックの画素値を、ブロック分解回路３３（図３）に出力する。
【００８７】
ここで、予測タップ抽出回路４１においては、上述したように、注目ブロックの各画素が、順次、注目画素とされるが、積和演算回路４５は、注目ブロックの、注目画素となっている画素の位置、つまり、画素位置モードに対応した動作モードとなって、処理を行う。
【００８８】
即ち、例えば、注目ブロックの画素のうち、ラスタスキャン順で、ｎ番目の画素を、ｐ_n-1と表し、画素ｐ_n-1が、注目画素となっている場合、積和演算回路４５は、画素位置モード＃ｎ−１の処理を行う。
【００８９】
具体的には、上述したように、係数テーブル記憶部４４は、注目画素のクラスについて、６４セットのタップ係数を出力するが、そのうちの画素ｐ_n-1を復号するためのタップ係数のセットをＷ_n-1と表すと、積和演算回路４５は、動作モードが、画素位置モード＃ｎ−１のときには、予測タップと、注目画素のクラスに対応する６４セットのタップ係数のうちのセットＷ_n-1とを用いて、式（１）の積和演算を行い、その積和演算結果を、画素ｐ_n-1の復号結果とする。
【００９０】
なお、積和演算回路４５は、注目画素の画素位置モードを、モード制御部４６の出力に基づいて認識する。即ち、予測タップ抽出回路４１は、いま注目画素となっている画素の位置情報（例えば、注目ブロックにおける注目画素の座標など）を、モード制御部４６に供給するようになっており、モード制御部４６は、予測タップ抽出回路４１から供給される注目画素の位置情報に基づき、その注目画素の画素位置モードを判定する。そして、モード制御部４６は、注目画素の画素位置モードを、積和演算回路４５に供給する。
【００９１】
次に、図７のフローチャートを参照して、図５の係数変換回路３２の処理について説明する。
【００９２】
エントロピー復号回路３１（図３）が出力するブロックごとの量子化ＤＣＴ係数は、逆量子化回路４０に供給され、逆量子化回路４０は、ステップＳ１１において、そこに供給されるブロックごとの量子化ＤＣＴ係数の逆量子化を開始する。逆量子化回路４０が逆量子化を行うことにより得られるブロックごとのＤＣＴ係数は、順次、予測タップ抽出回路４１およびクラスタップ抽出回路４２に供給される。
【００９３】
予測タップ抽出回路４１は、逆量子化回路４０から供給されるＤＣＴ係数のブロックを、順次、注目ブロックとする。そして、予測タップ抽出回路４１は、ステップＳ１２において、注目ブロックの画素のうち、ラスタスキャン順で、まだ注目画素としていないものを注目画素として選択し、その注目画素の位置情報を、モード制御部４６に出力して、ステップＳ１３に進む。
【００９４】
ステップＳ１３では、モード制御部４６が、予測タップ抽出回路４１からの位置情報に基づいて、注目画素の画素位置モード＃ｎを判定し、その画素位置モード＃ｎを、積和演算回路４５に供給して、ステップＳ１４に進む。
【００９５】
ステップＳ１４では、クラスタップ抽出回路４２は、逆量子化回路４０から供給されるＤＣＴ係数の中から、注目画素をクラス分類するのに用いるものを抽出して、クラスタップを構成する。即ち、ここでは、クラスタップ抽出回路４２は、注目画素を含むブロックの６４個のＤＣＴ係数を、例えば、ラスタスキャン順に抽出し、その６４個のＤＣＴ係数のシーケンスを、注目画素のクラスタップとする。この注目画素のクラスタップは、クラスタップ抽出回路４２からクラス分類回路４３に供給される。
【００９６】
クラス分類回路４３は、ステップＳ１５において、クラスタップ抽出回路４２からのクラスタップを用いて、注目画素をクラス分類し、その結果得られるクラスコードを、係数テーブル記憶部４４に出力する。
【００９７】
係数テーブル記憶部４４は、クラス分類回路４３からのクラスコードを受信すると、ステップＳ１６において、そのクラスコードに対応するアドレスに記憶されている６４セットのタップ係数を読み出し、積和演算回路４５に出力する。
【００９８】
そして、ステップＳ１７に進み、予測タップ抽出回路４１は、注目画素の画素値を予測するのに用いるＤＣＴ係数を抽出し、予測タップを構成する。即ち、予測タップ抽出回路４１は、注目画素を含むブロックの６４個のＤＣＴ係数を、例えば、ラスタスキャン順に抽出し、その６４個のＤＣＴ係数のシーケンスを、注目画素の予測タップとする。この予測タップは、予測タップ抽出回路４１から積和演算回路４５に供給される。
【００９９】
ここで、図５の係数変換回路３２では、各ブロックごとに、そのブロックのすべての画素について、同一の予測タップが構成されることになるので、実際には、ステップＳ１７の予測タップを構成する処理は、注目ブロックについて、最初に注目画素とされる画素に対してだけ行えば、残りの６３画素に対しては、行う必要がない。このことは、ステップＳ１４のクラスタップを構成する処理、およびステップＳ１５のクラス分類処理についても、同様である。
【０１００】
積和演算回路４５は、ステップＳ１８において、ステップＳ１６で係数テーブル記憶部４４が出力する６４セットのタップ係数のうち、注目画素の画素位置モードに対応するタップ係数のセットを取得して、ステップＳ１９に進み、そのタップ係数のセットと、ステップＳ１７で予測タップ抽出回路４１から供給される予測タップとを用いて、式（１）に示した積和演算を行い、注目画素の画素値の復号値を得る。
【０１０１】
そして、ステップＳ２０に進み、予測タップ抽出回路４１は、注目ブロックのすべての画素を、注目画素として処理を行ったかどうかを判定する。ステップＳ１６において、注目ブロックのすべての画素を、注目画素として、まだ処理を行っていないと判定された場合、ステップＳ１２に戻り、予測タップ抽出回路４１は、注目ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素として、以下、同様の処理を繰り返す。
【０１０２】
また、ステップＳ２０において、注目ブロックのすべての画素を、注目画素として処理を行ったと判定された場合、即ち、注目ブロックのすべての画素の復号値が得られた場合、積和演算回路４５は、その復号値で構成されるブロック（復号ブロック）を、ブロック分解回路３３（図３）に出力し、ステップＳ２１に進む。
【０１０３】
ステップＳ２１では、予測タップ抽出回路４１が、逆量子化回路４０が出力するＤＣＴ係数のブロックすべてを、注目ブロックとして処理したかどうかを判定する。ステップＳ２１において、逆量子化回路４０が出力するＤＣＴ係数のブロックすべてが、まだ、注目ブロックとされていないと判定された場合、予測タップ抽出回路４１は、逆量子化回路４０が出力するＤＣＴ係数のブロックのうち、まだ、注目ブロックとしていないブロックを、新たに注目ブロックとして、ステップＳ１２に戻り、以下、同様の処理が繰り返される。
【０１０４】
また、ステップＳ２１において、逆量子化回路４０が出力するＤＣＴ係数のブロックすべてが、注目ブロックとして処理されたと判定された場合、処理を終了する。
【０１０５】
次に、図８は、図５の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の構成例を示している。
【０１０６】
ブロック化回路６１には、１枚以上の学習用の画像データ（ここでは、静止画の画像データ）が供給されるようになっており、このブロック化回路６１、さらには、その後段のＤＣＴ回路６２、量子化回路６３、および逆量子化回路６４では、学習用の画像データがＪＰＥＧ符号化における場合と同様にして符号化され、その結果得られる符号化データから、ＤＣＴ係数が、タップ係数の学習の生徒となる生徒データとして取得される。
【０１０７】
即ち、ブロック化回路６１は、学習用の画像データを、ＪＰＥＧ符号化における場合と同様に、８×８画素のブロックにブロック化する。このブロックごとの画像データは、ＤＣＴ回路６２によって読み出されるとともに、タップ係数の学習の教師となる教師データとして、正規方程式加算回路６８によって読み出される。
【０１０８】
ＤＣＴ回路６２は、ブロック化回路６１がブロック化した画像データのブロックを、順次読み出し、そのブロックをＤＣＴ変換することで、ＤＣＴ係数のブロックを求める。このＤＣＴ係数のブロックは、量子化回路６３に供給される。
【０１０９】
量子化回路６３は、ＤＣＴ回路６２からのＤＣＴ係数のブロックを、ＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化し、その結果得られるブロックごとの量子化ＤＣＴ係数を、逆量子化回路６４に供給する。逆量子化回路６４は、量子化回路６４から供給されるブロックごとの量子化ＤＣＴ係数を逆量子化し、これにより、ブロックごとのＤＣＴ係数を、生徒データとして求める。
【０１１０】
予測タップ抽出回路６５は、ブロック化回路６１でブロック化された学習用の画像データのブロックを、順次、注目ブロックとし、さらに、その注目ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、注目画素として、その注目画素について、図５の予測タップ抽出回路４１が構成するのと同一の予測タップを、逆量子化回路６４から、必要なＤＣＴ係数（生徒データ）を抽出する（読み出す）ことで構成する。この予測タップは、予測タップ抽出回路６５から正規方程式加算回路６８に供給される。
【０１１１】
また、予測タップ抽出回路６５は、図５の予測タップ抽出回路４１と同様に、注目画素の位置情報を、モード制御部７１に供給する。
【０１１２】
クラスタップ抽出回路６６は、注目ブロックについて、図５のクラスタップ抽出回路４２が構成するのと同一のクラスタップを、逆量子化回路６４から、必要なＤＣＴ係数を抽出する（読み出す）ことで構成する。このクラスタップは、クラスタップ抽出回路６６からクラス分類回路６７に供給される。
【０１１３】
クラス分類回路６７は、クラスタップ抽出回路６６からのクラスタップを用いて、図５のクラス分類回路４３と同一の処理を行うことで、注目画素をクラス分類し、その結果得られるクラスコードを、正規方程式加算回路６８に供給する。
【０１１４】
正規方程式加算回路６８は、ブロック化回路６１から、教師データとしての注目画素（の画素値）を読み出し、その教師データと、予測タップ抽出回路６５からの生徒データとしての予測タップ（を構成するＤＣＴ係数）とを対象とした足し込みを、クラスごとに、かつ画素位置モードごとに行う。
【０１１５】
即ち、正規方程式加算回路６８は、クラス分類回路６７から供給されるクラスコードに対応するクラスごとに、かつモード制御部７１が出力する画素位置モードごとに、予測タップ（生徒データ）を用い、式（８）の行列Ａにおける各コンポーネントとなっている、生徒データどうしの乗算（ｘ_inｘ_im）と、サメーション（Σ）に相当する演算を行う。
【０１１６】
さらに、正規方程式加算回路６８は、やはり、クラス分類回路６７から供給されるクラスコードに対応するクラスごとに、かつモード制御部７１が出力する画素位置モードごとに、予測タップ（生徒データ）および注目画素（教師データ）を用い、式（８）のベクトルｖにおける各コンポーネントとなっている、生徒データと教師データの乗算（ｘ_inｙ_i）と、サメーション（Σ）に相当する演算を行う。
【０１１７】
正規方程式加算回路６８は、以上の足し込みを、教師データとしての学習用の画像データのすべての画素を注目画素として行い、これにより、各クラスについて、画素位置モードごとに、式（８）に示した正規方程式をたてる。
【０１１８】
タップ係数決定回路６９は、正規方程式加算回路６８においてクラスごとに、かつ、画素位置モードごとに求められた正規方程式を解くことにより、クラスごとに、６４の画素位置モードに対応する６４セットのタップ係数を求め、係数テーブル記憶部７０の、各クラスに対応するアドレスに供給する。
【０１１９】
なお、学習用の画像として用意する画像の枚数や、その画像の内容等によっては、正規方程式加算回路６８において、タップ係数を求めるのに必要な数の正規方程式が得られないクラスや画素位置モードが生じる場合があり得るが、タップ係数決定回路６９は、そのようなクラスや画素位置モードについては、例えば、デフォルトのタップ係数を出力する。
【０１２０】
係数テーブル記憶部７０は、タップ係数決定回路６９から供給されるクラスごとの６４セットのタップ係数を記憶する。
【０１２１】
モード制御部７１は、予測タップ抽出回路６５から供給される注目画素の位置情報に基づき、その注目画素の画素位置モードを判定する。そして、モード制御部７１は、注目画素の画素位置モードを、正規方程式加算回路６８に供給する。
【０１２２】
次に、図９のフローチャートを参照して、図８の学習装置の処理（学習処理）について説明する。
【０１２３】
学習処理では、まず最初に、ステップＳ３１において、ブロック化回路６１、ＤＣＴ回路６２、量子化回路６３、および逆量子化回路６４が、学習用の画像データをＪＰＥＧ符号化し、さらに、その符号化データから、生徒データとなるＤＣＴ係数を取得する。
【０１２４】
即ち、ブロック化回路６１は、学習用の画像データを、ＪＰＥＧ符号化における場合と同様に、８×８画素のブロックにブロック化する。ＤＣＴ回路６２は、ブロック化回路６１がブロック化した画像データのブロックを、順次読み出し、ＤＣＴ変換することで、ＤＣＴ係数のブロックとする。量子化回路６３は、ＤＣＴ回路６２において得られたＤＣＴ係数のブロックを順次読み出し、ＪＰＥＧ符号化に用いられるのと同一の量子化テーブルにしたがって量子化して、量子化ＤＣＴ係数で構成されるブロックとする。そして、逆量子化回路６４は、量子化回路６３から、量子化ＤＣＴ係数のブロックを順次読み出して逆量子化し、生徒データとしてのブロックごとのＤＣＴ係数を求める。
【０１２５】
その後、予測タップ抽出回路６５は、ブロック化回路６１でブロック化された画像データのブロックを、順次、注目ブロックとする。そして、予測タップ抽出回路６５は、ステップＳ３２において、注目ブロックの画素のうち、ラスタスキャン順で、まだ注目画素としていないものを注目画素として選択し、その注目画素の位置情報を、モード制御部７１に出力して、ステップＳ３３に進む。
【０１２６】
ステップＳ３３では、モード制御部７１が、予測タップ抽出回路６５からの位置情報に基づいて、注目画素の画素位置モード＃ｎを判定し、その画素位置モード＃ｎを、正規方程式加算回路６８に供給して、ステップＳ３４に進む。
【０１２７】
ステップＳ３４では、クラスタップ抽出回路６６は、逆量子化回路６４から、注目画素をクラス分類するのに用いるＤＣＴ係数を読み出して、クラスタップを構成する。即ち、ここでは、クラスタップ抽出回路６４は、図５のクラスタップ抽出回路４２と同様に、注目画素を含むブロックの６４個のＤＣＴ係数を、ラスタスキャン順に抽出し、その６４個のＤＣＴ係数のシーケンスを、注目画素のクラスタップとする。この注目画素のクラスタップは、クラスタップ抽出回路６６からクラス分類回路６７に供給される。
【０１２８】
クラス分類回路６７は、ステップＳ３５において、クラスタップ抽出回路６６からのクラスタップを用いて、注目画素をクラス分類し、その結果得られるクラスコードを、正規方程式加算回路６８に出力する。
【０１２９】
一方、予測タップ抽出回路６５は、ステップＳ３６において、逆量子化回路６４から、注目画素の画素値を予測するのに用いるＤＣＴ係数を読み出し、予測タップとして構成する。即ち、予測タップ抽出回路６５は、注目画素を含むブロックの６４個のＤＣＴ係数を、例えば、ラスタスキャン順に抽出し、その６４個のＤＣＴ係数のシーケンスを、注目画素の予測タップとする。この予測タップは、予測タップ抽出回路６５から正規方程式加算回路６８に供給される。
【０１３０】
ここで、図８の学習装置では、図５の係数変換回路３２における場合と同様に、各ブロックごとに、そのブロックのすべての画素について、同一の予測タップが構成されるので、実際には、ステップＳ３６の予測タップを構成する処理は、注目ブロックについて、最初に注目画素とされる画素に対してだけ行えば、残りの６３画素に対しては、行う必要がない。このことは、ステップＳ３４のクラスタップを構成する処理、およびステップＳ３５のクラス分類処理についても、同様である。
【０１３１】
その後、ステップＳ３７において、正規方程式加算回路６８が、ブロック化回路６１から、教師データ（注目教師データ）としての注目画素を読み出し、予測タップ抽出回路６５からの生徒データとしての予測タップ（を構成するＤＣＴ係数）、および教師データとしての注目画素を対象として、式（８）の行列Ａとベクトルｖの、上述したような足し込みを、クラス分類回路６７からの注目画素のクラスコードごとに、かつモード制御部７１からの注目画素の画素位置モードごとに行う。
【０１３２】
そして、ステップＳ３８に進み、予測タップ抽出回路６５は、注目ブロックのすべての画素を、注目画素として、足し込みを行ったかどうかを判定する。ステップＳ３８において、注目ブロックのすべての画素を、注目画素として、まだ足し込みを行っていないと判定された場合、ステップＳ３２に戻り、予測タップ抽出回路６５は、注目ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素として、以下、同様の処理を繰り返す。
【０１３３】
また、ステップＳ３８において、注目ブロックのすべての画素を、注目画素として、足し込みを行ったと判定された場合、ステップＳ３９に進み、予測タップ抽出回路６５は、ブロック化回路６１でブロック化された学習用の画像データのブロックすべてを、注目ブロックとして処理を行ったかどうかを判定する。ステップＳ３９において、学習用の画像データのブロックすべてを、注目ブロックとして、まだ処理を行っていないと判定された場合、予測タップ抽出回路６５は、学習用の画像データのブロックのうち、まだ、注目ブロックとされていないものが、新たに注目ブロックとされ、ステップＳ３２に戻り、以下、同様の処理が繰り返される。
【０１３４】
一方、ステップＳ３９において、学習用の画像データのブロックすべてを、注目ブロックとして処理を行ったと判定された場合、正規方程式加算回路６８は、各クラスについての画素位置モードごとの正規方程式を、タップ係数決定回路６９に供給し、ステップＳ４０に進む。
【０１３５】
ステップＳ４０では、タップ係数決定回路６９が、各クラスの画素位置モードごとの正規方程式を解くことにより、各クラスごとに、そのクラスの６４の画素位置モードそれぞれに対応する６４セットのタップ係数を求め、係数テーブル記憶部７０の、各クラスに対応するアドレスに供給して記憶させ、処理を終了する。
【０１３６】
以上のようにして、係数テーブル記憶部７０に記憶された各クラスごとのタップ係数が、図５の係数テーブル記憶部４４に記憶されている。
【０１３７】
従って、係数テーブル記憶部４４に記憶されたタップ係数は、ＤＣＴ係数を用いた線形予測演算を行うことにより得られる元の画素値の予測値の予測誤差（ここでは、自乗誤差）が、統計的に最小になるように学習を行うことにより求められたものであり、その結果、図５の係数変換回路３２によれば、ＪＰＥＧ符号化された画像を、元の画像に限りなく近い画像に復号することができる。
【０１３８】
また、上述したように、ＪＰＥＧ符号化された画像の復号処理と、その画質を向上させるための処理とが、同時に施されることとなるので、ＪＰＥＧ符号化された画像から、効率的に、画質の良い復号画像を得ることができる。
【０１３９】
ところで、図５の係数変換回路３２では、図１０（Ａ）に示すように、各ブロックについて、０乃至６３の６４モードの画素位置モードが存在し、積和演算回路４５において、画素位置モードごとのタップ係数を用いて、式（１）の線形予測演算が行われるから、注目画素についてクラス分類を行わないとしても、つまり、クラスの総数が１クラスであるとしても、タップ係数は、６４セット必要になる。
【０１４０】
また、図５の係数変換回路３２では、図１０（Ｂ）に示すように、予測タップ抽出回路４１において、注目画素を含むブロック（注目ブロック）の６４個のＤＣＴ係数すべてが、ラスタスキャン順に抽出され、その６４個のＤＣＴ係数のシーケンスが予測タップとされることから、その予測タップを構成するＤＣＴ係数（以下、適宜、ＤＣＴ係数タップという）を用いて、式（１）の線形予測演算を行うには、６４個のタップ係数が必要となる。
【０１４１】
即ち、いま、ブロックにおけるある画素の画素位置モードを＃ｎとすると、図５の積和演算回路４５において、その画素の画素値の予測値Ｌ_nは、式（１）に対応する次式にしたがって求められる。
【０１４２】
Ｌ_n＝Ｆ_n,0×ｆ₀＋Ｆ_n,1×ｆ₁＋・・・＋Ｆ_n,63×ｆ₆₃・・・（９）
【０１４３】
但し、ｆ_i-1は、予測タップとしての６４個のＤＣＴ係数のシーケンスのうちの、先頭からｉ番目のＤＣＴ係数を表す。また、Ｆ_n,i-1は、画素位置モード＃ｎのタップ係数のセットのうちの、予測タップとしての６４個のＤＣＴ係数のシーケンスの先頭からｉ番目のＤＣＴ係数ｆ_i-1と乗算されるタップ係数を表す。
【０１４４】
式（９）において、画素位置モード＃ｎは、０乃至６３の６４個の値を取り得るから、クラスの総数が１クラスであったとしても、タップ係数の個数は、６４×６４＝４０９６個必要となる。さらに、注目画素についてクラス分類が行われる場合には、そのクラスの総数をＣとすると、４０９６×Ｃ個のタップ係数が必要となる。従って、図５の係数テーブル記憶部４４としては、少なくとも、そのような数のタップ係数を記憶することのできる記憶容量のものが必要となる。
【０１４５】
また、学習装置では、各クラスについて、６４個の画素位置モードごとに、正規方程式がたてられる。従って、ブロックにおける各画素の位置を考慮しない場合、つまり、画素位置モードを１つのモードだけとする場合に比較して、教師データと生徒データの組が、６４個の画素位置モードごとの正規方程式に分散されることとなり、このため、学習効率が１／６４に低下する。
【０１４６】
そこで、図１１は、本発明を適用した係数変換回路３２の第１実施の形態の構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１１の係数変換回路３２は、モード制御部４６に代えてモード制御部８１が設けられているとともに、符号制御部８２が新たに設けられている他は、図５における場合と基本的に同様に構成されている。
【０１４７】
モード制御部８１は、図５のモード制御部４６における場合と同様に、予測タップ抽出回路４１から供給される注目画素の位置情報に基づいて、その画素位置モードを判定する。さらに、モード制御部８１は、注目画素の画素位置モードを、例えば、１／４に縮退し、ブロックにおける画素の数よりも総数が少ない（総数が１／４の）画素位置モードである縮退画素位置モードを得て、積和演算回路４５に供給する。また、モード制御部８１は、後述するような注目画素の領域情報を得て、その領域情報に基づき、符号制御部８２を制御する。
【０１４８】
符号制御部８２には、予測タップ抽出回路４１が出力する注目画素についての予測タップが供給されるようになっており、符号制御部８２は、モード制御部８１の制御にしたがい、予測タップ抽出回路４１からの予測タップを構成するＤＣＴ係数の符号を操作し、積和演算回路４５に出力する。
【０１４９】
ここで、図１１の実施の形態では、モード制御部８１において、画素位置モードが１／４に縮退され（減らされ）、縮退画素位置モードとされる。そして、モード制御部８１から積和演算回路４５に対しては、縮退画素位置モードが供給され、積和演算回路４５では、注目画素の縮退画素位置モードに対応するタップ係数のセットを用いて、式（１）の線形予測演算が行われる。
【０１５０】
従って、図１１の実施の形態では、タップ係数は、各クラスについて、縮退画素位置モードごとに存在すれば足り、縮退画素位置モードは、ここでは、画素位置モードの総数の１／４、つまり１６モード（＝６４モード／４）であるから、タップ係数の総数を少なくすることができる。
【０１５１】
即ち、図１１の係数テーブル記憶部４４においては、各クラスについて、１６の縮退画素位置モードごとのタップ係数のセット、つまり１６セットのタップ係数が記憶されている。従って、各クラスについて、６４の画素位置モードごとのタップ係数のセット（６４セットのタップ係数）を記憶する図５における場合に比較して、係数テーブル記憶部４４として、記憶容量の小さいものを採用することが可能となる。
【０１５２】
次に、図１２を参照して、モード制御部８１による画素位置モードの縮退（画素位置モードの縮退画素位置モードへの変換）と、符号制御部８２による予測タップの符号の操作について説明する。
【０１５３】
モード制御部８１は、注目画素が、注目ブロックにおける複数の領域のうちのいずれに位置するかによって、その注目画素の画素位置モードを縮退画素位置モードに変換する。
【０１５４】
即ち、モード制御部８１は、注目ブロックを、垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、右下の４つの４×４の領域のうちのいずれの領域に、注目画素が位置するかを判定する。
【０１５５】
注目画素が位置する領域（以下、適宜、注目領域という）が、注目ブロックの左上の領域（左上領域）である場合、モード制御部８１は、注目ブロックにおける注目画素の位置を表す情報を、縮退画素位置モードとして出力する。即ち、この場合、モード制御部８１は、例えば、図１２（Ａ−１）に示すように、注目ブロックの４×４の左上領域のいずれに、注目画素が位置するかによって、０乃至１５の１６モードの縮退画素位置モードのうちのいずれかを、注目画素の縮退画素位置モードとして出力する。ここで、図１２（Ａ−１）の実施の形態では、４×４の左上領域のラスタスキャン順に、０から１５までの縮退画素位置モードが割り当てられている。即ち、例えば、いま、注目ブロックの左からｘ番目で、上からｙ番目の画素を、ｐ（ｘ，ｙ）と表すこととすると、左上領域に位置する画素ｐ（１，１），ｐ（２，１），ｐ（３，１），ｐ（４，１），ｐ（１，２），ｐ（２，２），ｐ（３，２），ｐ（４，２），ｐ（１，３），ｐ（２，３），ｐ（３，３），ｐ（４，３），ｐ（１，４），ｐ（２，４），ｐ（３，４），ｐ（４，４）については、縮退画素位置モード＃０，＃１，＃２，＃３，＃４，＃５，＃６，＃７，＃８，＃９，＃１０，＃１１，＃１２，＃１３，＃１４，＃１５が、それぞれ出力される。
【０１５６】
さらに、注目領域が左上領域である場合には、モード制御部８１は、予測タップを構成するＤＣＴ係数の符号を、そのままとするように、符号制御部８２を制御する。従って、この場合、符号制御部８２は、予測タップ抽出回路４１が出力する注目画素についての予測タップとしてのＤＣＴ係数を、図１２（Ａ−２）に示すように、そのまま積和演算回路４５に供給する。
【０１５７】
積和演算回路４５は、動作モードが縮退画素位置モード＃ｎ’のときには、予測タップと、注目画素のクラスに対応する１６セットのタップ係数のうちのセットＷ_n'とを用いて、式（１）の積和演算を行い、その積和演算結果を、注目画素の復号結果とする。
【０１５８】
従って、左上領域に位置する注目画素の縮退画素位置モードを＃ｎ’とすると、図１１の積和演算回路４５において、その画素の画素値の予測値Ｌ_nは、式（１）に対応する次式にしたがって求められる。
【０１５９】
Ｌ_n'＝Ｆ_n',0×ｆ₀＋Ｆ_n',1×ｆ₁＋・・・＋Ｆ_n',63×ｆ₆₃・・・（１０）
【０１６０】
但し、Ｆ_n',i-1は、縮退画素位置モード＃ｎ’のタップ係数のセットのうちの、予測タップとしての６４個のＤＣＴ係数のシーケンスの先頭からｉ番目のＤＣＴ係数ｆ_i-1と乗算されるタップ係数を表す。
【０１６１】
次に、注目領域が、注目ブロックの右上の領域（右上領域）である場合、モード制御部８１は、注目ブロックを左右に２等分する線（以下、適宜、垂直分割線という）について、注目画素と線対称の位置にある注目ブロックの左上領域における画素の位置を表す情報としての縮退画素位置モードを、注目画素の縮退画素位置モードとして出力する。即ち、モード制御部８１は、例えば、図１２（Ｂ−１）に示すように、注目ブロックの４×４の右上領域のいずれに、注目画素が位置するかによって、０乃至１５の１６モードの縮退画素位置モードのうちのいずれかを、注目画素の縮退画素位置モードとして出力する。従って、右上領域に位置する画素ｐ（８，１），ｐ（７，１），ｐ（６，１），ｐ（５，１），ｐ（８，２），ｐ（７，２），ｐ（６，２），ｐ（５，２），ｐ（８，３），ｐ（７，３），ｐ（６，３），ｐ（５，３），ｐ（８，４），ｐ（７，４），ｐ（６，４），ｐ（５，４）については、左上領域に位置する画素ｐ（１，１）乃至ｐ（４，４）における場合と同様に、縮退画素位置モード＃０乃至＃１５が、それぞれ出力される。
【０１６２】
さらに、注目領域が右上領域である場合には、モード制御部８１は、予測タップを構成するＤＣＴ係数のうち、注目ブロックの偶数列（最左列を第１列とする）に位置するものの符号を反転するように、符号制御部８２を制御する。従って、この場合、符号制御部８２は、予測タップ抽出回路４１が出力する注目画素についての予測タップを構成するＤＣＴ係数のうち、図１２（Ｂ−２）に影を付して示す注目ブロックの偶数列に位置するものの符号を反転し、積和演算回路４５に供給する。
【０１６３】
積和演算回路４５は、動作モードが縮退画素位置モード＃ｎ’のときには、予測タップと、注目画素のクラスに対応する１６セットのタップ係数のうちのセットＷ_n'とを用いて、式（１）の積和演算を行い、その積和演算結果を、注目画素の復号結果とする。
【０１６４】
従って、右上領域に位置する注目画素の縮退画素位置モードを＃ｎ’とすると、図１１の積和演算回路４５において、その画素の画素値の予測値Ｌ_nは、式（１）に対応する次式にしたがって求められる。
【０１６５】
Ｌ_n'＝Ｆ_n',0×ｆ₀＋Ｆ_n',1×（−ｆ₁）＋・・・＋Ｆ_n',63×（−ｆ₆₃）・・・（１１）
【０１６６】
なお、式（１１）においては、予測タップを構成する注目ブロックの６４個のＤＣＴ係数のうち、偶数列に位置するもの（以下、適宜、偶数列ＤＣＴ係数という）に対して、（−１）が乗算されることにより、その偶数列ＤＣＴ係数の符号が反転されている（＋から−、または−から＋にされている）。
【０１６７】
ここで、注目領域が、右上領域である場合、モード制御部８１は、上述のように、垂直分割線について、注目画素と線対称の位置にある左上領域における画素（以下、適宜、垂直線対称画素という）の縮退画素位置モードを、注目画素の縮退画素位置モードとして採用することにより、画素位置モードを縮退する。
【０１６８】
このように、右上領域の画素の縮退画素位置モードを、その垂直線対称画素の縮退画素位置モードと兼用する場合、仮に、クラス分類を行わないとすれば、右上領域の画素と、その垂直線対称画素とは、同一のタップ係数のセットを用いて予測されることになる。
【０１６９】
即ち、右上領域の画素と、その垂直線対称画素とは、垂直分割線に対して左右対称となる位置関係を有し、右上領域の画素の画素値は、その位置関係が左右対称になっている垂直線対称画素と同一の縮退画素位置モードに対応するタップ係数のセットを用いて予測される。従って、右上領域の画素の位置におけるＤＣＴ係数の基底となるコサイン波形には、その垂直線対称画素の位置におけるＤＣＴ係数の基底となるコサイン波形の左右を反転したコサイン波形が割り当てられることになる。このため、右上領域の画素の画素値を予測する場合には、式（１１）に示したように、偶数列ＤＣＴ係数の符号を反転することとしている。
【０１７０】
即ち、図１３は、偶数列ＤＣＴ係数となっているＤＣＴ係数の１つであるｆ₁の基底となっているコサイン波形（図１３（Ａ））と、偶数列ＤＣＴ係数ではないＤＣＴ係数の１つであるｆ₂の基底となっているコサイン波形（図１３（Ｂ））とを示している。
【０１７１】
図１３（Ａ）に実線で示す偶数列ＤＣＴ係数ｆ₁の基底のコサイン波形は、その左右を反転すると、図１３（Ａ）に点線で示す波形となり、この左右反転波形（点線の波形）は、元のコサイン波形（実線の波形）の符号を反転したもの（−１倍したもの）となる。
【０１７２】
一方、図１３（Ｂ）に実線で示す、偶数列ＤＣＴ係数でないＤＣＴ係数ｆ₂の基底のコサイン波形は、その左右を反転すると、やはり、図１３（Ｂ）に実線で示す波形に一致する。
【０１７３】
従って、空間領域において、右上領域の画素を、その垂直線対称画素と対応させることは、周波数領域において、偶数列ＤＣＴ係数の基底のコサイン波形の符号を反転させることと等価である。
【０１７４】
このため、右上領域の画素の縮退画素位置モードを、垂直線対称画素の縮退画素位置モードと兼用して、右上領域の画素の画素値を予測する場合には、式（１１）に示したように、偶数列ＤＣＴ係数の符号が反転される。
【０１７５】
なお、上述のように、偶数列ＤＣＴ係数でないＤＣＴ係数の基底のコサイン波形は、その左右を反転しても、元のコサイン波形に一致するので、偶数列ＤＣＴ係数でないＤＣＴ係数については、符号を反転する必要はない。
【０１７６】
次に、注目領域が、注目ブロックの左下の領域（左下領域）である場合、モード制御部８１は、注目ブロックを上下に２等分する線（以下、適宜、水平分割線という）について、注目画素と線対称の位置にある注目ブロックの左上領域における画素の位置を表す情報としての縮退画素位置モードを、注目画素の縮退画素位置モードとして出力する。即ち、モード制御部８１は、例えば、図１２（Ｃ−１）に示すように、注目ブロックの４×４の左下領域のいずれに、注目画素が位置するかによって、０乃至１５の１６モードの縮退画素位置モードのうちのいずれかを、注目画素の縮退画素位置モードとして出力する。従って、左下領域に位置する画素ｐ（１，８），ｐ（２，８），ｐ（３，８），ｐ（４，８），ｐ（１，７），ｐ（２，７），ｐ（３，７），ｐ（４，７），ｐ（１，６），ｐ（２，６），ｐ（３，６），ｐ（４，６），ｐ（１，５），ｐ（２，５），ｐ（３，５），ｐ（４，５）については、左上領域に位置する画素ｐ（１，１）乃至ｐ（４，４）における場合と同様に、縮退画素位置モード＃０乃至＃１５が、それぞれ出力される。
【０１７７】
さらに、注目領域が左下領域である場合には、モード制御部８１は、予測タップを構成するＤＣＴ係数のうち、注目ブロックの偶数行（最上行を第１行とする）に位置するものの符号を反転するように、符号制御部８２を制御する。従って、この場合、符号制御部８２は、予測タップ抽出回路４１が出力する注目画素についての予測タップを構成するＤＣＴ係数のうち、図１２（Ｃ−２）に影を付して示す注目ブロックの偶数行に位置するものの符号を反転し、積和演算回路４５に供給する。
【０１７８】
積和演算回路４５は、動作モードが縮退画素位置モード＃ｎ’のときには、予測タップと、注目画素のクラスに対応する１６セットのタップ係数のうちのセットＷ_n'とを用いて、式（１）の積和演算を行い、その積和演算結果を、注目画素の復号結果とする。
【０１７９】
従って、左下領域に位置する注目画素の縮退画素位置モードを＃ｎ’とすると、図１１の積和演算回路４５において、その画素の画素値の予測値Ｌ_nは、式（１）に対応する次式にしたがって求められる。
【０１８０】
Ｌ_n'＝Ｆ_n',0×ｆ₀＋Ｆ_n',1×ｆ₁＋・・・＋Ｆ_n',63×（−ｆ₆₃）・・・（１２）
【０１８１】
なお、式（１２）においては、予測タップを構成する注目ブロックの６４個のＤＣＴ係数のうち、偶数行に位置するもの（以下、適宜、偶数行ＤＣＴ係数という）に対して、（−１）が乗算されることにより、その偶数行ＤＣＴ係数の符号が反転されている。
【０１８２】
ここで、注目領域が、左下領域である場合、モード制御部８１は、上述のように、水平分割線について、注目画素と線対称の位置にある左上領域における画素（以下、適宜、水平線対称画素という）の縮退画素位置モードを、注目画素の縮退画素位置モードとして採用することにより、画素位置モードを縮退する。
【０１８３】
このように、左下領域の画素の縮退画素位置モードを、その水平線対称画素の縮退画素位置モードと兼用する場合、仮に、クラス分類を行わないとすれば、左下領域の画素と、その水平線対称画素とは、同一のタップ係数のセットを用いて予測されることになる。
【０１８４】
即ち、左下領域の画素と、その水平線対称画素とは、水平分割線に対して上下対称となる位置関係を有し、左下領域の画素の画素値は、その位置関係が上下対称になっている水平線対称画素と同一の縮退画素位置モードに対応するタップ係数のセットを用いて予測される。従って、左下領域の画素の位置におけるＤＣＴ係数の基底となるコサイン波形には、その水平線対称画素の位置におけるＤＣＴ係数の基底となるコサイン波形の上下を反転したコサイン波形が割り当てられることになる。このため、左下領域の画素の画素値を予測する場合には、式（１２）に示したように、偶数行ＤＣＴ係数の符号を反転することとしている。
【０１８５】
即ち、偶数行ＤＣＴ係数の基底のコサイン波形は、その上下を反転すると、図１３（Ａ）に示した偶数列ＤＣＴ係数における場合と同様に、元のコサイン波形の符号を反転したもの（−１倍したもの）となる。
【０１８６】
一方、偶数行ＤＣＴ係数でないＤＣＴ係数の基底のコサイン波形は、その上下を反転すると、図１３（Ｂ）に示した偶数列ＤＣＴ係数でないＤＣＴ係数における場合と同様に、元の波形に一致する。
【０１８７】
従って、空間領域において、左下領域の画素を、その水平線対称画素と対応させることは、周波数領域において、偶数行ＤＣＴ係数の基底のコサイン波形の符号を反転させることと等価である。
【０１８８】
このため、左下領域の画素の縮退画素位置モードを、水平線対称画素の縮退画素位置モードと兼用して、左下領域の画素の画素値を予測する場合には、式（１２）に示したように、偶数行ＤＣＴ係数の符号が反転される。
【０１８９】
なお、上述のように、偶数行ＤＣＴ係数でないＤＣＴ係数の基底のコサイン波形は、その上下を反転しても、元のコサイン波形に一致するので、偶数行ＤＣＴ係数でないＤＣＴ係数については、符号を反転する必要はない。
【０１９０】
次に、注目領域が、注目ブロックの右下の領域（右下領域）である場合、モード制御部８１は、注目ブロックの垂直分割線と水平分割線との交点（以下、適宜、ブロック中心点という）について、注目画素と点対称の位置にある注目ブロックの左上領域における画素の位置を表す情報としての縮退画素位置モードを、注目画素の縮退画素位置モードとして出力する。即ち、モード制御部８１は、例えば、図１２（Ｄ−１）に示すように、注目ブロックの４×４の右下領域のいずれに、注目画素が位置するかによって、０乃至１５の１６モードの縮退画素位置モードのうちのいずれかを、注目画素の縮退画素位置モードとして出力する。従って、右下領域に位置する画素ｐ（８，８），ｐ（７，８），ｐ（６，８），ｐ（５，８），ｐ（８，７），ｐ（７，７），ｐ（６，７），ｐ（５，７），ｐ（８，６），ｐ（７，６），ｐ（６，６），ｐ（５，６），ｐ（８，５），ｐ（７，５），ｐ（６，５），ｐ（５，５）については、左上領域に位置する画素ｐ（１，１）乃至ｐ（４，４）における場合と同様に、縮退画素位置モード＃０乃至＃１５が、それぞれ出力される。
【０１９１】
さらに、注目領域が右下領域である場合には、モード制御部８１は、予測タップを構成するＤＣＴ係数のうち、偶数列ＤＣＴ係数の符号を反転するとともに、偶数行ＤＣＴ係数の符号を反転するように、符号制御部８２を制御する。従って、この場合、符号制御部８２は、予測タップ抽出回路４１が出力する注目画素についての予測タップを構成するＤＣＴ係数のうち、図１２（Ｄ−２）に影を付して示す注目ブロックの偶数列ＤＣＴ係数にのみなっているものと、偶数行ＤＣＴ係数にのみなっているものの符号を反転し、積和演算回路４５に供給する。なお、この場合、予測タップを構成するＤＣＴ係数のうち、偶数列ＤＣＴ係数にもなっており、偶数行ＤＣＴ係数にもなっているものは、符号が２回反転されるため、結局、元の符号に戻される。
【０１９２】
積和演算回路４５は、動作モードが縮退画素位置モード＃ｎ’のときには、予測タップと、注目画素のクラスに対応する１６セットのタップ係数のうちのセットＷ_n'とを用いて、式（１）の積和演算を行い、その積和演算結果を、注目画素の復号結果とする。
【０１９３】
従って、右下領域に位置する注目画素の縮退画素位置モードを＃ｎ’とすると、図１１の積和演算回路４５において、その画素の画素値の予測値Ｌ_nは、式（１）に対応する次式にしたがって求められる。
【０１９４】
Ｌ_n'＝Ｆ_n',0×ｆ₀＋Ｆ_n',1×（−ｆ₁）＋・・・＋Ｆ_n',63×ｆ₆₃・・・（１３）
【０１９５】
なお、式（１３）においては、予測タップを構成する注目ブロックの６４個のＤＣＴ係数のうち、偶数列ＤＣＴ係数と偶数行ＤＣＴ係数の両方に対して、（−１）が乗算されることにより、偶数列ＤＣＴ係数または偶数行ＤＣＴ係数のうちのいずれか一方のみになっているＤＣＴ係数の符号が反転されている。
【０１９６】
ここで、注目領域が、右下領域である場合、モード制御部８１は、上述のように、ブロック中心点について、注目画素と点対称の位置にある左上領域における画素（以下、適宜、点対称画素という）の縮退画素位置モードを、注目画素の縮退画素位置モードとして採用することにより、画素位置モードを縮退する。
【０１９７】
このように、右下領域の画素の縮退画素位置モードを、その点対称画素の縮退画素位置モードと兼用する場合、仮に、クラス分類を行わないとすれば、右下領域の画素と、その点対称画素とは、同一のタップ係数のセットを用いて予測されることになる。
【０１９８】
即ち、右下領域の画素と、その点対称画素とは、ブロック中心点に対して点対称となる位置関係を有し、つまり、垂直分割線に対して線対称に移動し、さらに、水平分割線に対して線対称に移動した位置関係を有し、右下領域の画素の画素値は、その位置関係が点対称になっている点対称画素と同一の縮退画素位置モードに対応するタップ係数のセットを用いて予測される。従って、右下領域の画素の位置におけるＤＣＴ係数の基底となるコサイン波形には、その点対称画素の位置におけるＤＣＴ係数の基底となるコサイン波形の左右を反転し、さらに、上下を反転したコサイン波形が割り当てられることになる。このため、右下領域の画素の画素値を予測する場合には、式（１３）に示したように、偶数列ＤＣＴ係数の符号を反転し、さらに偶数行ＤＣＴ係数の符号を反転することとしている。
【０１９９】
即ち、上述したように、偶数列ＤＣＴ係数の基底のコサイン波形は、その左右を反転すると、元のコサイン波形の符号を反転したものとなり、偶数行ＤＣＴ係数の基底のコサイン波形は、その上下を反転すると、元のコサイン波形の符号を反転したものとなる。
【０２００】
従って、空間領域において、右下領域の画素を、その点対称画素と対応させることは、周波数領域において、偶数行ＤＣＴ係数の基底のコサイン波形の符号を反転させるとともに、偶数行ＤＣＴ係数の基底のコサイン波形の符号を反転させることと等価である。
【０２０１】
このため、左下領域の画素の画素値を予測する場合には、式（１３）に示したように、偶数列ＤＣＴ係数にのみなっているＤＣＴ係数と、偶数行ＤＣＴ係数にのみなっているＤＣＴ係数の符号が反転される。
【０２０２】
なお、偶数列ＤＣＴ係数でもあり、偶数行ＤＣＴ係数でもあるＤＣＴ係数については、符号の反転が２度行われることにより、結局、元の符号に戻るため、符号の反転を行う必要はない。
【０２０３】
式（１０）乃至（１３）において、縮退画素位置モード＃ｎ’は、０乃至１５の１６個の値を取り得るから、クラスの総数が１クラスであるとすると、必要なタップ係数の総数は、６４×１６＝１０２４個となる。従って、画素位置モードを縮退しない場合（上述したように、必要なタップ係数の総数は４０９６個）に比較して、係数テーブル記憶部４４としては、記憶容量の小さいもの（単純には、図５における場合の１／４の記憶容量のもの）を採用することが可能となる。
【０２０４】
なお、上述の場合には、符号制御部８２において、予測タップ抽出回路４１が出力する予測タップを構成するＤＣＴ係数の符号を操作するようにしたが、符号制御部８２では、積和演算回路４５が用いるタップ係数の符号を操作するようにし、積和演算回路４５において、実質的に、式（１０）乃至式（１３）の予測式が計算されるようにすることも可能である。
【０２０５】
次に、図１４は、図１１のモード制御部８１の構成例を示している。
【０２０６】
領域判定部９１には、予測タップ抽出回路４１（図１１）が出力する注目画素の位置情報が供給されるようになっており、領域判定部９１は、その位置情報に基づき、注目領域を判定する。即ち、領域判定部９１は、注目画素が、注目ブロックの左上領域、右上領域、左下領域、右下領域のうちのいずれに位置するかを判定する。そして、領域判定部９１は、注目領域の判定結果を、領域情報（注目領域が、注目ブロックの左上領域、右上領域、左下領域、右下領域のうちのいずれであるかを表す情報）を出力する。この領域情報は、モード縮退部９３に供給されるとともに、符号制御部８２（図１１）にも供給される。そして、符号制御部８２では、この領域情報に基づき、図１２で説明したような予測タップの符号の操作（制御）が行われる。
【０２０７】
画素位置モード判定部９２には、予測タップ抽出回路４１（図１１）が出力する注目画素の位置情報が供給されるようになっており、画素位置モード判定部９２は、その位置情報に基づき、注目画素の画素位置モードが、図６に示した６４個の画素位置モードのうちのいずれであるかを判定し、モード縮退部９３に供給する。
【０２０８】
モード縮退部９３は、領域判定部９１から供給される注目画素についての領域情報に基づき、画素位置モード判定部９２から供給される注目画素の画素位置モードを縮退し、縮退画素位置モードを出力する。
【０２０９】
即ち、モード縮退部９３は、注目領域が左上領域である場合、画素位置モード判定部９２が出力する画素位置モードが表す注目画素の位置に対応して、図１２（Ａ−１）に示した０乃至１５のうちのいずれかの値を、縮退画素位置モードとして出力する。
【０２１０】
また、モード縮退部９３は、注目領域が右上領域である場合、画素位置モード判定部９２が出力する画素位置モードが表す注目画素の位置に対応して、図１２（Ｂ−１）に示した０乃至１５のうちのいずれかの値を、縮退画素位置モードとして出力する。さらに、モード縮退部９３は、注目領域が左下領域である場合、画素位置モード判定部９２が出力する画素位置モードが表す注目画素の位置に対応して、図１２（Ｃ−１）に示した０乃至１５のうちのいずれかの値を、縮退画素位置モードとして出力し、注目領域が右下領域である場合、画素位置モード判定部９２が出力する画素位置モードが表す注目画素の位置に対応して、図１２（Ｄ−１）に示した０乃至１５のうちのいずれかの値を、縮退画素位置モードとして出力する。
【０２１１】
モード縮退部９３が出力する注目画素の縮退画素位置モードは、積和演算回路４５（図１１）に供給され、積和演算回路４５では、その縮退画素位置モードに対応するタップ係数を用いて、式（１）の線形予測演算が行われる。
【０２１２】
次に、図１５のフローチャートを参照して、図１１の係数変換回路３２の処理について説明する。
【０２１３】
エントロピー復号回路３１（図３）が出力するブロックごとの量子化ＤＣＴ係数は、逆量子化回路４０に供給され、逆量子化回路４０は、ステップＳ５１において、そこに供給されるブロックごとの量子化ＤＣＴ係数の逆量子化を開始する。逆量子化回路４０が逆量子化を行うことにより得られるブロックごとのＤＣＴ係数は、順次、予測タップ抽出回路４１およびクラスタップ抽出回路４２に供給される。
【０２１４】
予測タップ抽出回路４１は、逆量子化回路４０から供給されるＤＣＴ係数のブロックを、順次、注目ブロックとする。そして、予測タップ抽出回路４１は、ステップＳ５２において、注目ブロックの画素のうち、ラスタスキャン順で、まだ注目画素としていないものを注目画素として選択し、その注目画素の位置情報を、モード制御部８１に出力して、ステップＳ５３に進む。
【０２１５】
ステップＳ５３では、モード制御部８１（図１４）の領域判定部９１と画素位置モード判定部９２が、予測タップ抽出回路４１からの位置情報に基づいて、注目画素の領域情報と画素位置モード＃ｎをそれぞれ判定し、ステップＳ５４に進む。ステップＳ５４では、モード制御部８１のモード縮退部９３が、注目画素の画素位置モード＃ｎを、その領域情報に基づいて縮退し、縮退画素位置モード＃ｎ’を求める。そして、注目画素の領域情報は、領域判定部９１から符号制御部８２に供給され、注目画素の縮退画素位置モード＃ｎ’は、モード縮退部９３から積和演算回路４５に供給される。
【０２１６】
その後、ステップＳ５５において、クラスタップ抽出回路４２は、逆量子化回路４０から供給されるＤＣＴ係数の中から、注目画素をクラス分類するのに用いるものを抽出して、クラスタップを構成する。即ち、ここでは、クラスタップ抽出回路４２は、例えば、図７のステップＳ１４における場合と同様にして、注目画素のクラスタップを構成し、クラス分類回路４３に供給する。
【０２１７】
クラス分類回路４３は、ステップＳ５６において、クラスタップ抽出回路４２からのクラスタップを用いて、注目画素をクラス分類し、その結果得られるクラスコードを、係数テーブル記憶部４４に出力する。
【０２１８】
係数テーブル記憶部４４は、クラス分類回路４３からのクラスコードを受信すると、ステップＳ５７において、そのクラスコードに対応するアドレスに記憶されている１６セットのタップ係数を読み出し、積和演算回路４５に出力する。
【０２１９】
即ち、図１１の係数テーブル記憶部４４は、上述したように、各クラスについて、縮退画素位置モードの総数である１６セットのタップ係数を記憶しており、その中から、注目画素のクラスコードに対応するアドレスに記憶されている１６セットのタップ係数を読み出し、積和演算回路４５に出力する。
【０２２０】
そして、ステップＳ５８に進み、予測タップ抽出回路４１は、注目画素の画素値を予測するのに用いるＤＣＴ係数を抽出し、予測タップとして構成する。即ち、予測タップ抽出回路４１は、例えば、図７のステップＳ１７における場合と同様にして、注目画素の予測タップを構成し、符号制御部８２に供給する。
【０２２１】
さらに、ステップＳ５８では、符号制御部８２は、予測タップ抽出回路４１からの予測タップの符号を、モード制御部８１からの注目画素についての領域情報に基づいて操作する。
【０２２２】
即ち、符号制御部８２は、領域情報において、注目領域が左上領域であることが示されている場合、図１２（Ａ−２）で説明したように、予測タップ抽出回路４１からの予測タップを、そのまま積和演算回路４５に供給する。
【０２２３】
また、符号制御部８２は、領域情報において、注目領域が左上領域であることが示されている場合、図１２（Ｂ−２）で説明したように、予測タップ抽出回路４１からの予測タップを構成するＤＣＴ係数のうち、偶数列ＤＣＴ係数の符号を反転し、積和演算回路４５に供給する。
【０２２４】
さらに、符号制御部８２は、領域情報において、注目領域が左上領域であることが示されている場合、図１２（Ｃ−２）で説明したように、予測タップ抽出回路４１からの予測タップを構成するＤＣＴ係数のうち、偶数行ＤＣＴ係数の符号を反転し、積和演算回路４５に供給する。
【０２２５】
また、符号制御部８２は、領域情報において、注目領域が左上領域であることが示されている場合、図１２（Ｄ−２）で説明したように、予測タップ抽出回路４１からの予測タップを構成するＤＣＴ係数のうち、偶数列ＤＣＴ係数または偶数行ＤＣＴ係数にのみなっているＤＣＴ係数の符号を反転し、積和演算回路４５に供給する。
【０２２６】
積和演算回路４５は、ステップＳ５９において、ステップＳ５７で係数テーブル記憶部４４が出力する１６セットのタップ係数のうち、注目画素の縮退画素位置モード＃ｎ’に対応するタップ係数のセットを取得して、ステップＳ６０に進み、そのタップ係数のセットと、ステップＳ５８で符号制御部８２から供給される予測タップとを用いて、式（１）に示した積和演算を行い、注目画素の画素値の復号値を得る。
【０２２７】
そして、ステップＳ６１に進み、予測タップ抽出回路４１は、注目ブロックのすべての画素を、注目画素として処理を行ったかどうかを判定する。ステップＳ６１において、注目ブロックのすべての画素を、注目画素として、まだ処理を行っていないと判定された場合、ステップＳ５２に戻り、予測タップ抽出回路４１は、注目ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素として、以下、同様の処理を繰り返す。
【０２２８】
また、ステップＳ６１において、注目ブロックのすべての画素を、注目画素として処理を行ったと判定された場合、即ち、注目ブロックのすべての画素の復号値が得られた場合、積和演算回路４５は、その復号値で構成されるブロック（復号ブロック）を、ブロック分解回路３３（図３）に出力し、ステップＳ６２に進む。
【０２２９】
ステップＳ６２では、予測タップ抽出回路４１が、逆量子化回路４０が出力するＤＣＴ係数のブロックすべてを、注目ブロックとして処理したかどうかを判定する。ステップＳ６２において、逆量子化回路４０が出力するＤＣＴ係数のブロックすべてが、まだ、注目ブロックとされていないと判定された場合、予測タップ抽出回路４１は、逆量子化回路４０が出力するＤＣＴ係数のブロックのうち、まだ、注目ブロックとしていないブロックを、新たに注目ブロックとして、ステップＳ５２に戻り、以下、同様の処理が繰り返される。
【０２３０】
また、ステップＳ６２において、逆量子化回路４０が出力するＤＣＴ係数のブロックすべてが、注目ブロックとして処理されたと判定された場合、処理を終了する。
【０２３１】
以上のように、図１１の係数変換回路３２では、画素位置モードが縮退されるので、タップ係数の総数が少なくて済み、係数テーブル記憶部４４として、記憶容量の小さいものを採用して、効率的に、高画質の画像を復号することが可能となる。
【０２３２】
次に、図１６は、図１１の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の構成例を示している。なお、図中、図８における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１６の学習装置は、モード制御部７１に代えて、モード制御部１０１が設けられているとともに、符号制御部１０２が新たに設けられている他は、図８における場合と基本的に同様に構成されている。
【０２３３】
モード制御部１０１は、図１１のモード制御部８１（図１４）と同様に構成され、予測タップ抽出回路６５から供給される注目画素の位置情報に基づいて、その画素位置モードを判定し、さらに、その画素位置モードを縮退することにより、縮退画素位置モードを得て、正規方程式加算回路６８に供給する。また、モード制御部１０１は、やはり、図１１のモード制御部８１と同様に、注目画素の領域情報を判定し、その領域情報に基づき、符号制御部１０２を制御する。
【０２３４】
符号制御部１０２には、予測タップ抽出回路６５が出力する注目画素についての予測タップが供給されるようになっており、符号制御部１０２は、図１１の符号制御部８２と同様に、モード制御部１０１の制御にしたがい、予測タップ抽出回路６５からの予測タップを構成するＤＣＴ係数の符号を操作し、正規方程式加算回路６８に出力する。
【０２３５】
次に、図１７のフローチャートを参照して、図１６の学習装置の処理（学習処理）について説明する。
【０２３６】
学習処理では、まず最初に、ステップＳ７１において、図９のステップＳ３１における場合と同様に、ブロック化回路６１、ＤＣＴ回路６２、量子化回路６３、および逆量子化回路６４が、学習用の画像データをＪＰＥＧ符号化し、さらに、その符号化データから、生徒データとなるＤＣＴ係数を取得する。
【０２３７】
その後、予測タップ抽出回路６５は、ブロック化回路６１でブロック化された画像データのブロックを、順次、注目ブロックとする。そして、予測タップ抽出回路６５は、ステップＳ７２において、注目ブロックの画素のうち、ラスタスキャン順で、まだ注目画素としていないものを注目画素として選択し、その注目画素の位置情報を、モード制御部１０１に出力して、ステップＳ７３に進む。
【０２３８】
ステップＳ７３では、モード制御部１０１が、予測タップ抽出回路６５からの位置情報に基づいて、注目画素の画素位置モード＃ｎと領域情報を判定し、ステップＳ７４に進む。ステップＳ７４では、モード制御部１０１が、注目画素の画素位置モード＃ｎを、その領域情報に基づいて縮退し、縮退画素位置モード＃ｎ’を求める。そして、モード制御部１０１は、注目画素の縮退画素位置モード＃ｎ’を、正規方程式加算回路６８に供給するとともに、領域情報を、符号制御部１０２に供給して、ステップＳ７５に進む。
【０２３９】
ステップＳ７５では、クラスタップ抽出回路６６は、逆量子化回路６４から、注目画素をクラス分類するのに用いるＤＣＴ係数を読み出し、例えば、図９のステップＳ３４における場合と同様にして、クラスタップを構成して、クラス分類回路６７に供給する。
【０２４０】
クラス分類回路６７は、ステップＳ７６において、クラスタップ抽出回路６６からのクラスタップを用い、図９のステップＳ３５における場合と同様にして、注目画素をクラス分類し、その結果得られるクラスコードを、正規方程式加算回路６８に出力する。
【０２４１】
一方、予測タップ抽出回路６５は、ステップＳ７７において、逆量子化回路６４から、注目画素の画素値を予測するのに用いるＤＣＴ係数を読み出し、図９のステップＳ３６における場合と同様にして、予測タップを構成する。この予測タップは、予測タップ抽出回路６５から符号制御部１０２に供給される。
【０２４２】
さらに、ステップＳ７７では、符号制御部１０２が、符号制御部８２が図１５のステップＳ５８で行うのと同様にして、予測タップ抽出回路６５からの予測タップの符号を、モード制御部１０１からの注目画素についての領域情報に基づいて操作し、正規方程式加算回路６８に供給して、ステップＳ７８に進む。
【０２４３】
ステップＳ７８では、正規方程式加算回路６８が、ブロック化回路６１から、教師データとしての注目画素を読み出し、予測タップ抽出回路６５からの生徒データとしての予測タップ（を構成するＤＣＴ係数）、および教師データとしての注目画素を対象として、式（８）の行列Ａとベクトルｖの、上述したような足し込みを、クラス分類回路６７からの注目画素のクラスコードごとに、かつモード制御部１０１からの注目画素の縮退画素位置モードごとに行う。
【０２４４】
そして、ステップＳ７９に進み、予測タップ抽出回路６５は、注目ブロックのすべての画素を、注目画素として、足し込みを行ったかどうかを判定する。ステップＳ７９において、注目ブロックのすべての画素を、注目画素として、まだ足し込みを行っていないと判定された場合、ステップＳ７２に戻り、予測タップ抽出回路６５は、注目ブロックの画素のうち、ラスタスキャン順で、まだ、注目画素とされていない画素を、新たに注目画素として、以下、同様の処理を繰り返す。
【０２４５】
また、ステップＳ７９において、注目ブロックのすべての画素を、注目画素として、足し込みを行ったと判定された場合、ステップＳ８０に進み、予測タップ抽出回路６５は、ブロック化回路６１でブロック化された学習用の画像データのブロックすべてを、注目ブロックとして処理を行ったかどうかを判定する。ステップＳ８０において、学習用の画像データのブロックすべてを、注目ブロックとして、まだ処理を行っていないと判定された場合、予測タップ抽出回路６５は、学習用の画像データのブロックのうち、まだ、注目ブロックとされていないものを、新たに注目ブロックとし、ステップＳ７２に戻り、以下、同様の処理が繰り返される。
【０２４６】
一方、ステップＳ８０において、学習用の画像データのブロックすべてを、注目ブロックとして処理を行ったと判定された場合、正規方程式加算回路６８は、各クラスについての画素位置モードごとの正規方程式を、タップ係数決定回路６９に供給し、ステップＳ８１に進む。
【０２４７】
ステップＳ８１では、タップ係数決定回路６９が、各クラスの縮退画素位置モードごとの正規方程式を解くことにより、各クラスごとに、そのクラスの１６の縮退画素位置モードそれぞれに対応する１６セットのタップ係数を求め、係数テーブル記憶部７０の、各クラスに対応するアドレスに供給して記憶させ、処理を終了する。
【０２４８】
以上のように、図１６の学習装置では、各クラスについて、１６個の縮退画素位置モードごとに、正規方程式がたてられる。従って、図８の学習装置のように、６４個の画素位置モードごとに正規方程式がたてられる場合に比較して、学習効率を４倍（＝（１／１６）／（１／６４））に向上させることができる。
【０２４９】
次に、図５の係数変換回路３２では、図１０（Ａ）と同一の図１８（Ａ）に示すように、各ブロックについて、０乃至６３の６４個の画素位置モードが存在するから、上述のように、注目画素についてクラス分類を行わないとしても（クラスの総数が１クラスであるとしても）、６４セットのタップ係数が必要になる。
【０２５０】
また、図５の係数変換回路３２では、図１０（Ｂ）と同一の図１８（Ｂ）に示すように、注目画素を含むブロック（注目ブロック）の６４個のＤＣＴ係数すべてが予測タップとされることから、上述したように、式（１）の線形予測演算を行うには、６４個のタップ係数が必要となる。
【０２５１】
ところで、予測タップは、注目ブロックの６４個のＤＣＴ係数すべての他だけでなく、他の情報、即ち、例えば、図１８（Ｃ）に示すように、注目ブロックの上、左、右、下にそれぞれ隣接する４画素ａ，ｂ，ｃ，ｄをも用いて構成される場合がある。
【０２５２】
ここで、画素ａは、注目ブロックの上に隣接する８画素のうちの、注目画素と同一の列に位置する画素であり、画素ｂは、注目ブロックの左に隣接する８画素のうちの、注目画素と同一の行に位置する画素である。また、画素ｃは、注目ブロックの右に隣接する８画素のうちの、注目画素と同一の行に位置する画素であり、画素ｄは、注目ブロックの下に隣接する８画素のうちの、注目画素と同一の列に位置する画素である。
【０２５３】
なお、以下、適宜、画素ａ，ｂ，ｃ，ｄを、それぞれ、上隣接ブロック画素、左隣接ブロック画素、右隣接ブロック画素、下隣接ブロック画素という。また、以下、適宜、画素ａ乃至ｄを、まとめて、隣接ブロック画素という。
【０２５４】
このように、予測タップが、注目ブロックの６４個のＤＣＴ係数すべての他、注目ブロックに隣接する４画素で構成される場合、式（１）の線形予測演算を行うには、６８（＝６４＋４）個のタップ係数が必要となる。
【０２５５】
即ち、この場合、ブロックにおけるある画素の画素位置モードを＃ｎとすると、図５の積和演算回路４５において、その画素の画素値の予測値Ｌ_nは、式（１）に対応する次式にしたがって求められる。
【０２５６】
Ｌ_n＝Ａ_n×ａ＋Ｂ_n×ｂ＋Ｃ_n×ｃ＋Ｄ_n×ｄ
＋Ｆ_n,0×ｆ₀＋Ｆ_n,1×ｆ₁＋・・・＋Ｆ_n,63×ｆ₆₃・・・（１４）
【０２５７】
但し、ｆ_i-1は、予測タップとしての６４個のＤＣＴ係数のシーケンスのうちの、先頭からｉ番目のＤＣＴ係数を表す。また、Ｆ_n,i-1は、画素位置モード＃ｎのタップ係数のセットのうちの、予測タップとしての６４個のＤＣＴ係数のシーケンスの先頭からｉ番目のＤＣＴ係数ｆ_i-1と乗算されるタップ係数を表す。また、Ａ_n，Ｂ_n，Ｃ_n，Ｄ_nは、画素位置モード＃ｎのタップ係数のセットのうちの、予測タップとしての画素（の画素値）ａ，ｂ，ｃ，ｄと乗算されるタップ係数をそれぞれ表す。
【０２５８】
式（１４）において、画素位置モード＃ｎは、０乃至６３の６４個の値を取り得るから、クラスの総数が１クラスであったとしても、タップ係数の個数は、６４×６８＝４３５２個必要となる。さらに、注目画素についてクラス分類が行われる場合には、そのクラスの総数をＣとすると、４３５２×Ｃ個のタップ係数が必要となる。従って、図５の係数テーブル記憶部４４としては、少なくとも、そのような数のタップ係数を記憶することのできる記憶容量のものが必要となる。
【０２５９】
即ち、予測タップを、注目ブロックの６４個のＤＣＴ係数すべてだけでなく、他の情報も用いて構成すると、図５の係数テーブル記憶部４４としては、予測タップを、注目ブロックの６４個のＤＣＴ係数だけで構成する場合に比較して、より大容量のものが必要となる。
【０２６０】
さらに、この場合も、画素位置モード＃ｎは、０乃至６３の６４個の値を取り得るから、やはり、ブロックにおける各画素の位置を考慮しない場合（画素位置モードを１つのモードだけとする場合）に比較して、学習装置における学習効率は１／６４に低下する。
【０２６１】
そこで、図１９は、本発明を適用した係数変換回路３２の第２実施の形態の構成例を示している。なお、図中、図１１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１９の係数変換回路３２は、タップ構造記憶部１１１および逆ＤＣＴ回路１１２が新たに設けられている他は、図１１における場合と基本的に同様に構成されている。
【０２６２】
タップ構造記憶部１１１には、モード制御部８１から、領域情報が供給されるようになっており、タップ構造記憶部１１１は、予測タップ抽出回路４１が構成する予測タップのタップ構造を制御する。即ち、タップ構造記憶部１１１は、注目領域と、予測タップのタップ構造を表すタップ構造情報とを対応付けて記憶しており、モード制御部８１から供給される領域情報が表す注目領域と対応付けられているタップ構造情報を読み出し、予測タップ抽出回路４１に供給する。
【０２６３】
逆ＤＣＴ回路１１２には、逆量子化回路４０が出力するブロックごとのＤＣＴ係数が供給されるようになっており、逆ＤＣＴ回路１１２は、そのブロックごとのＤＣＴ係数を逆ＤＣＴ変換し、ブロックごとの画素値を求めて、予測タップ抽出回路４１に供給する。
【０２６４】
なお、図１９の実施の形態では、予測タップ抽出回路４１は、タップ構造記憶部１１１から供給されるタップ構造情報が表すタップ構造の予測タップを構成する。さらに、予測タップ抽出回路４１は、逆量子化回路４０から供給されるＤＣＴ係数から、注目ブロックのＤＣＴ係数を抽出する他、逆ＤＣＴ回路１１２から供給される画素から、注目画素についての隣接ブロック画素ａ乃至ｄを抽出し、その隣接ブロック画素ａ乃至ｄをも用いて、タップ構造記憶部１１１から供給されるタップ構造情報が表すタップ構造の予測タップを構成する。
【０２６５】
次に、図２０を参照して、タップ構造情報記憶部１１１による予測タップのタップ構造の制御について説明する。
【０２６６】
注目領域が左上領域である場合、モード制御部８１は、図１２（Ａ−１）と同一の図２０（Ａ−１）に示すように、注目ブロックの４×４の左上領域のいずれに、注目画素が位置するかによって、０乃至１５の１６モードの縮退画素位置モードのうちのいずれかを、注目画素の縮退画素位置モードとして出力する。
【０２６７】
一方、タップ構造記憶部１１１は、上隣接ブロック画素ａ、左隣接ブロック画素ｂ、右隣接ブロック画素ｃ、下隣接ブロック画素ｄの（画素値の）シーケンスに、注目ブロックの６４個のＤＣＴ係数のシーケンスを接続した並びを表すタップ構造情報を、注目領域が左上領域である旨の領域情報に対応付けて記憶している。なお、ここでは、注目領域が左上領域である旨の領域情報に対応付けられているタップ構造情報が表すタップ構造が、例えば、デフォルトのタップ構造とされているものとする。
【０２６８】
注目領域が左上領域である場合には、予測タップ抽出回路４１は、上述のようなデフォルトのタップ構造を表すタップ構造情報にしたがい、逆量子化回路４０の出力からＤＣＴ係数を抽出するとともに、逆ＤＣＴ回路１１２の出力から画素を抽出することによって、デフォルトのタップ構造の予測タップを構成する。
【０２６９】
即ち、予測タップ抽出回路４１は、逆ＤＣＴ回路４０の出力から、図２０（Ａ−３）に示すように、上隣接ブロック画素ａ、左隣接ブロック画素ｂ、右隣接ブロック画素ｃ、下隣接ブロック画素ｄを抽出し、その順番の並びのタップ（ａ，ｂ，ｃ，ｄ）を構成する。さらに、予測タップ抽出回路４１は、逆量子化回路４０の出力から、注目ブロックの６４個のＤＣＴ係数すべてを抽出し、ラインスキャン順の並びのタップを構成する。そして、予測タップ抽出回路４１は、隣接ブロック画素のタップの後に、ＤＣＴ係数のタップを接続（配置）することで、予測タップを構成し、符号制御部８２に供給する。
【０２７０】
注目領域が左上領域である場合、モード制御部８１は、上述したように、予測タップを構成するＤＣＴ係数の符号を、そのままとするように、符号制御部８２を制御する。従って、この場合、符号制御部８２は、予測タップ抽出回路４１が出力する注目画素についての予測タップを、図１２（Ａ−２）と同一の図２０（Ａ−２）に示すように、そのまま積和演算回路４５に供給する。
【０２７１】
積和演算回路４５は、動作モードが、縮退画素位置モード＃ｎ’のときには、予測タップと、注目画素のクラスに対応する１６セットのタップ係数のうちのセットＷ_nとを用いて、式（１）の積和演算を行い、その積和演算結果を、注目画素の復号結果とする。
【０２７２】
従って、左上領域に位置する注目画素の縮退画素位置モードを＃ｎ’とすると、図１９の積和演算回路４５において、その画素の画素値の予測値Ｌ_nは、式（１）に対応する次式にしたがって求められる。
【０２７３】
Ｌ_n'＝Ａ_n'×ａ＋Ｂ_n'×ｂ＋Ｃ_n'×ｃ＋Ｄ_n'×ｄ
＋Ｆ_n',0×ｆ₀＋Ｆ_n',1×ｆ₁＋・・・＋Ｆ_n',63×ｆ₆₃・・・（１５）
【０２７４】
但し、Ａ_n'，Ｂ_n'，Ｃ_n'，Ｄ_n'は、縮退画素位置モード＃ｎ’のタップ係数のセットのうちの、デフォルトのタップ構造の予測タップを構成する隣接ブロック画素（の画素値）ａ，ｂ，ｃ，ｄと乗算されるタップ係数を表す。
【０２７５】
なお、式（１５）は、上述した式（１０）の右辺に、予測タップを構成する隣接ブロック画素ａ乃至ｄに関する項Ａ_n'×ａ＋Ｂ_n'×ｂ＋Ｃ_n'×ｃ＋Ｄ_n'×ｄが付加されたものとなっている。
【０２７６】
次に、注目領域が右上領域である場合、モード制御部８１は、図１２（Ｂ−１）と同一の図２０（Ｂ−１）に示すように、注目ブロックの４×４の右上領域のいずれに、注目画素が位置するかによって、０乃至１５の１６モードの縮退画素位置モードのうちのいずれかを、注目画素の縮退画素位置モードとして出力する。
【０２７７】
一方、タップ構造記憶部１１１は、上隣接ブロック画素ａ、右隣接ブロック画素ｃ、左隣接ブロック画素ｂ、下隣接ブロック画素ｄのシーケンスに、注目ブロックの６４個のＤＣＴ係数のシーケンスを接続した並びを表すタップ構造情報を、注目領域が右上領域である旨の領域情報に対応付けて記憶している。即ち、タップ構造記憶部１１１は、デフォルトのタップ構造における左隣接ブロック画素ｂと右隣接ブロック画素ｃとを入れ替えたタップ構造を表すタップ構造情報を、注目領域が右上領域である旨の領域情報に対応付けて記憶している。
【０２７８】
注目領域が右上領域である場合には、予測タップ抽出回路４１は、上述のようなタップ構造を表すタップ構造情報にしたがい、逆量子化回路４０の出力からＤＣＴ係数を抽出するとともに、逆ＤＣＴ回路１１２の出力から画素を抽出することによって、予測タップを構成する。
【０２７９】
即ち、予測タップ抽出回路４１は、逆ＤＣＴ回路４０の出力から、図２０（Ｂ−３）に示すように、上隣接ブロック画素ａ、左隣接ブロック画素ｂ、右隣接ブロック画素ｃ、下隣接ブロック画素ｄを抽出し、左隣接ブロック画素ｂと右隣接ブロック画素ｃの順番を入れ替えたタップ（ａ，ｃ，ｂ，ｄ）を構成する。さらに、予測タップ抽出回路４１は、逆量子化回路４０の出力から、注目ブロックの６４個のＤＣＴ係数すべてを抽出し、ラインスキャン順の並びのタップを構成する。そして、予測タップ抽出回路４１は、隣接ブロック画素のタップの後に、ＤＣＴ係数のタップを接続することで、予測タップを構成し、符号制御部８２に供給する。
【０２８０】
注目領域が右上領域である場合、モード制御部８１は、上述したように、予測タップを構成するＤＣＴ係数のうち、偶数列ＤＣＴ係数の符号を反転するように、符号制御部８２を制御する。従って、この場合、符号制御部８２は、予測タップ抽出回路４１が出力する注目画素についての予測タップを構成するＤＣＴ係数のうち、図１２（Ｂ−２）と同一の図２０（Ｂ−２）に影を付して示す偶数列ＤＣＴ係数の符号を反転し、積和演算回路４５に供給する。
【０２８１】
積和演算回路４５は、動作モードが、縮退画素位置モード＃ｎ’のときには、予測タップと、注目画素のクラスに対応する１６セットのタップ係数のうちのセットＷ_n'とを用いて、式（１）の積和演算を行い、その積和演算結果を、注目画素の復号結果とする。
【０２８２】
従って、右上領域に位置する注目画素の縮退画素位置モードを＃ｎ’とすると、図１９の積和演算回路４５において、その画素の画素値の予測値Ｌ_nは、式（１）に対応する次式にしたがって求められる。
【０２８３】
Ｌ_n'＝Ａ_n'×ａ＋Ｂ_n'×ｃ＋Ｃ_n'×ｂ＋Ｄ_n'×ｄ
＋Ｆ_n',0×ｆ₀＋Ｆ_n',1×（−ｆ₁）＋・・・＋Ｆ_n',63×（−ｆ₆₃）・・・（１６）
【０２８４】
なお、式（１６）は、上述した式（１１）の右辺に、予測タップを構成する隣接ブロック画素ａ乃至ｄに関する項Ａ_n'×ａ＋Ｂ_n'×ｃ＋Ｃ_n'×ｂ＋Ｄ_n'×ｄが付加されたものとなっている。
【０２８５】
ここで、注目領域が、右上領域である場合、モード制御部８１は、上述のように、垂直線対称画素の縮退画素位置モードを、注目画素の縮退画素位置モードとして採用することにより、画素位置モードを縮退する。
【０２８６】
このように、右上領域の画素の縮退画素位置モードを、その垂直線対称画素の縮退画素位置モードと兼用する場合、仮に、クラス分類を行わないとすれば、右上領域の画素と、その垂直線対称画素とは、同一のタップ係数のセットを用いて予測されることになる。
【０２８７】
即ち、右上領域の画素と、その垂直線対称画素とは、垂直分割線に対して左右対称となる位置関係を有し、右上領域の画素の画素値は、その位置関係が、垂直分割線に対して左右反対になっている垂直線対称画素と同一の縮退画素位置モードに対応するタップ係数のセットを用いて予測される。従って、右上領域の画素の画素値を予測するにあたっては、予測タップを構成する隣接ブロック画素の位置関係も、デフォルトのタップ構造における場合の左右の位置関係を反対にしたものとする必要がある。
【０２８８】
このため、式（１６）では、式（１５）における左隣接ブロック画素ｂと右隣接ブロック画素ｃの位置関係が入れ替えられている。
【０２８９】
なお、式（１６）では、式（１１）における場合と同様に、偶数列ＤＣＴ係数の符号も反転されている。
【０２９０】
次に、注目領域が左下領域である場合、モード制御部８１は、図１２（Ｃ−１）と同一の図２０（Ｃ−１）に示すように、注目ブロックの４×４の左下領域のいずれに、注目画素が位置するかによって、０乃至１５の１６モードの縮退画素位置モードのうちのいずれかを、注目画素の縮退画素位置モードとして出力する。
【０２９１】
一方、タップ構造記憶部１１１は、下隣接ブロック画素ｄ、左隣接ブロック画素ｂ、右隣接ブロック画素ｃ、上隣接ブロック画素ａのシーケンスに、注目ブロックの６４個のＤＣＴ係数のシーケンスを接続した並びを表すタップ構造情報を、注目領域が左下領域である旨の領域情報に対応付けて記憶している。即ち、タップ構造記憶部１１１は、デフォルトのタップ構造における上隣接ブロック画素ａと下隣接ブロック画素ｄとを入れ替えたタップ構造を表すタップ構造情報を、注目領域が左下領域である旨の領域情報に対応付けて記憶している。
【０２９２】
注目領域が左下領域である場合には、予測タップ抽出回路４１は、上述のようなタップ構造を表すタップ構造情報にしたがい、逆量子化回路４０の出力からＤＣＴ係数を抽出するとともに、逆ＤＣＴ回路１１２の出力から画素を抽出することによって、予測タップを構成する。
【０２９３】
即ち、予測タップ抽出回路４１は、逆ＤＣＴ回路４０の出力から、図２０（Ｃ−３）に示すように、上隣接ブロック画素ａ、左隣接ブロック画素ｂ、右隣接ブロック画素ｃ、下隣接ブロック画素ｄを抽出し、上隣接ブロック画素ａと下隣接ブロック画素ｄの順番を入れ替えたタップ（ｄ，ｂ，ｃ，ａ）を構成する。さらに、予測タップ抽出回路４１は、逆量子化回路４０の出力から、注目ブロックの６４個のＤＣＴ係数すべてを抽出し、ラインスキャン順の並びのタップを構成する。そして、予測タップ抽出回路４１は、隣接ブロック画素のタップの後に、ＤＣＴ係数のタップを接続することで、予測タップを構成し、符号制御部８２に供給する。
【０２９４】
注目領域が左下領域である場合、モード制御部８１は、上述したように、予測タップを構成するＤＣＴ係数のうち、偶数行ＤＣＴ係数の符号を反転するように、符号制御部８２を制御する。従って、この場合、符号制御部８２は、予測タップ抽出回路４１が出力する注目画素についての予測タップを構成するＤＣＴ係数のうち、図１２（Ｃ−２）と同一の図２０（Ｃ−２）に影を付して示す偶数行ＤＣＴ係数の符号を反転し、積和演算回路４５に供給する。
【０２９５】
積和演算回路４５は、動作モードが、縮退画素位置モード＃ｎ’のときには、予測タップと、注目画素のクラスに対応する１６セットのタップ係数のうちのセットＷ_n'とを用いて、式（１）の積和演算を行い、その積和演算結果を、注目画素の復号結果とする。
【０２９６】
従って、左下領域に位置する注目画素の縮退画素位置モードを＃ｎ’とすると、図１９の積和演算回路４５において、その画素の画素値の予測値Ｌ_nは、式（１）に対応する次式にしたがって求められる。
【０２９７】
Ｌ_n'＝Ａ_n'×ｄ＋Ｂ_n'×ｂ＋Ｃ_n'×ｃ＋Ｄ_n'×ａ
＋Ｆ_n',0×ｆ₀＋Ｆ_n',1×ｆ₁＋・・・＋Ｆ_n',63×（−ｆ₆₃）・・・（１７）
【０２９８】
なお、式（１７）は、上述した式（１２）の右辺に、予測タップを構成する隣接ブロック画素ａ乃至ｄに関する項Ａ_n'×ｄ＋Ｂ_n'×ｂ＋Ｃ_n'×ｃ＋Ｄ_n'×ａが付加されたものとなっている。
【０２９９】
ここで、注目領域が、左下領域である場合、モード制御部８１は、上述のように、水平線対称画素の縮退画素位置モードを、注目画素の縮退画素位置モードとして採用することにより、画素位置モードを縮退する。
【０３００】
このように、左下領域の画素の縮退画素位置モードを、その水平線対称画素の縮退画素位置モードと兼用する場合、仮に、クラス分類を行わないとすれば、左下領域の画素と、その水平線対称画素とは、同一のタップ係数のセットを用いて予測されることになる。
【０３０１】
即ち、左下領域の画素と、その水平線対称画素とは、水平分割線に対して上下対称となる位置関係を有し、左下領域の画素の画素値は、その位置関係が、水平分割線に対して上下反対になっている水平線対称画素と同一の縮退画素位置モードに対応するタップ係数のセットを用いて予測される。従って、左下領域の画素の画素値を予測するにあたっては、予測タップを構成する隣接ブロック画素の位置関係も、デフォルトのタップ構造における場合の上下の位置関係を反対にしたものとする必要がある。
【０３０２】
このため、式（１７）では、式（１５）における上隣接ブロック画素ａと下隣接ブロック画素ｄの位置関係が入れ替えられている。
【０３０３】
なお、式（１７）では、式（１２）における場合と同様に、偶数行ＤＣＴ係数の符号も反転されている。
【０３０４】
次に、注目領域が右下領域である場合、モード制御部８１は、図１２（Ｄ−１）と同一の図２０（Ｄ−１）に示すように、注目ブロックの４×４の右下領域のいずれに、注目画素が位置するかによって、０乃至１５の１６モードの縮退画素位置モードのうちのいずれかを、注目画素の縮退画素位置モードとして出力する。
【０３０５】
一方、タップ構造記憶部１１１は、下隣接ブロック画素ｄ、右隣接ブロック画素ｃ、左隣接ブロック画素ｂ、上隣接ブロック画素ａのシーケンスに、注目ブロックの６４個のＤＣＴ係数のシーケンスを接続した並びを表すタップ構造情報を、注目領域が右下領域である旨の領域情報に対応付けて記憶している。即ち、タップ構造記憶部１１１は、デフォルトのタップ構造における左隣接ブロック画素ｂと右隣接ブロック画素ｃとを入れ替えるとともに、上隣接ブロック画素ａと下隣接ブロック画素ｄとを入れ替えたタップ構造を表すタップ構造情報を、注目領域が右下領域である旨の領域情報に対応付けて記憶している。
【０３０６】
注目領域が右下領域である場合には、予測タップ抽出回路４１は、上述のようなタップ構造を表すタップ構造情報にしたがい、逆量子化回路４０の出力からＤＣＴ係数を抽出するとともに、逆ＤＣＴ回路１１２の出力から画素を抽出することによって、予測タップを構成する。
【０３０７】
即ち、予測タップ抽出回路４１は、逆ＤＣＴ回路４０の出力から、図２０（Ｄ−３）に示すように、上隣接ブロック画素ａ、左隣接ブロック画素ｂ、右隣接ブロック画素ｃ、下隣接ブロック画素ｄを抽出し、左隣接ブロック画素ｂと右隣接ブロック画素ｃの順番を入れ替えるとともに、上隣接ブロック画素ａと下隣接ブロック画素ｄの順番を入れ替えたタップ（ｄ，ｃ，ｂ，ａ）を構成する。さらに、予測タップ抽出回路４１は、逆量子化回路４０の出力から、注目ブロックの６４個のＤＣＴ係数すべてを抽出し、ラインスキャン順の並びのタップを構成する。そして、予測タップ抽出回路４１は、隣接ブロック画素のタップの後に、ＤＣＴ係数のタップを接続することで、予測タップを構成し、符号制御部８２に供給する。
【０３０８】
注目領域が右下領域である場合、モード制御部８１は、上述したように、予測タップを構成するＤＣＴ係数のうち、偶数列ＤＣＴ係数の符号を反転するとともに、偶数行ＤＣＴ係数の符号を反転するように、符号制御部８２を制御する。従って、この場合、符号制御部８２は、予測タップ抽出回路４１が出力する注目画素についての予測タップを構成するＤＣＴ係数のうち、図１２（Ｄ−２）と同一の図２０（Ｄ−２）に影を付して示す偶数列ＤＣＴ係数または偶数行ＤＣＴ係数にのみなっているＤＣＴ係数の符号を反転し、積和演算回路４５に供給する。
【０３０９】
積和演算回路４５は、動作モードが、縮退画素位置モード＃ｎ’のときには、予測タップと、注目画素のクラスに対応する１６セットのタップ係数のうちのセットＷ_n'とを用いて、式（１）の積和演算を行い、その積和演算結果を、注目画素の復号結果とする。
【０３１０】
従って、右下領域に位置する注目画素の縮退画素位置モードを＃ｎ’とすると、図１９の積和演算回路４５において、その画素の画素値の予測値Ｌ_nは、式（１）に対応する次式にしたがって求められる。
【０３１１】
Ｌ_n'＝Ａ_n'×ｄ＋Ｂ_n'×ｃ＋Ｃ_n'×ｄ＋Ｄ_n'×ａ
＋Ｆ_n',0×ｆ₀＋Ｆ_n',1×（−ｆ₁）＋・・・＋Ｆ_n',63×ｆ₆₃・・・（１８）
【０３１２】
なお、式（１８）は、上述した式（１３）の右辺に、予測タップを構成する隣接ブロック画素ａ乃至ｄに関する項Ａ_n'×ｄ＋Ｂ_n'×ｃ＋Ｃ_n'×ｂ＋Ｄ_n'×ａが付加されたものとなっている。
【０３１３】
ここで、注目領域が、右下領域である場合、モード制御部８１は、上述のように、点対称画素の縮退画素位置モードを、注目画素の縮退画素位置モードとして採用することにより、画素位置モードを縮退する。
【０３１４】
このように、右下領域の画素の縮退画素位置モードを、その点対称画素の縮退画素位置モードと兼用する場合、仮に、クラス分類を行わないとすれば、右下領域の画素と、その点線対称画素とは、同一のタップ係数のセットを用いて予測されることになる。
【０３１５】
即ち、右下領域の画素と、その点対称画素とは、垂直分割線に対して左右対称となり、かつ水平分割線に対して上下対称となる位置関係を有し、右下領域の画素の画素値は、その位置関係が、垂直分割線に対して左右反対になっており、かつ水平分割線に対して上下反対になっている点対称画素と同一の縮退画素位置モードに対応するタップ係数のセットを用いて予測される。従って、右下領域の画素の画素値を予測するにあたっては、予測タップを構成する隣接ブロック画素の位置関係も、デフォルトのタップ構造における場合の左右の位置関係と上下の位置関係を反対にしたものとする必要がある。
【０３１６】
このため、式（１８）では、式（１５）における左隣接ブロック画素ｂと右隣接ブロック画素ｃの位置関係が入れ替えられているとともに、上隣接ブロック画素ａと下隣接ブロック画素ｄの位置関係が入れ替えられている。
【０３１７】
なお、式（１８）では、式（１３）における場合と同様に、偶数列ＤＣＴ係数または偶数行ＤＣＴ係数にのみなっているＤＣＴ係数の符号も反転されている。
【０３１８】
式（１５）乃至（１８）においても、式（１０）乃至（１３）における場合と同様に、縮退画素位置モード＃ｎ’は、０乃至１５の１６個の値を取り得るから、クラスの総数が１クラスであるとすると、必要なタップ係数の総数は、６８×１６＝１０８８個となる。従って、画素位置モードを縮退しない場合（上述したように、必要なタップ係数の総数は４３５２個）に比較して、係数テーブル記憶部４４としては、記憶容量の小さいものを採用することが可能となる。
【０３１９】
次に、図２１のフローチャートを参照して、図１９の係数変換回路３２の処理について説明する。
【０３２０】
エントロピー復号回路３１（図３）が出力するブロックごとの量子化ＤＣＴ係数は、逆量子化回路４０に供給され、ステップＳ９１において、逆量子化回路４０は、そこに供給されるブロックごとの量子化ＤＣＴ係数の逆量子化を開始する。逆量子化回路４０が逆量子化を行うことにより得られるブロックごとのＤＣＴ係数は、順次、予測タップ抽出回路４１、クラスタップ抽出回路４２、および逆ＤＣＴ回路１１２に供給される。さらに、ステップＳ９１では、逆ＤＣＴ回路１１２が、逆量子化回路４０が出力するブロックごとのＤＣＴ係数の逆ＤＣＴ変換を開始し、その逆ＤＣＴ変換により得られるブロックごとの画素（画素値）は、順次、予測タップ抽出回路４１に供給される。
【０３２１】
予測タップ抽出回路４１は、逆量子化回路４０から供給されるＤＣＴ係数のブロックを、順次、注目ブロックとする。そして、以下、ステップＳ９２乃至Ｓ９７において、図１５のステップＳ５２乃至Ｓ５７における場合とそれぞれ同様の処理が行われる。
【０３２２】
そして、ステップＳ９７において、係数テーブル記憶部４４から積和演算回路４５に対して、注目画素のクラスに対応する１６セットのタップ係数が供給されると、ステップＳ９８に進み、タップ構造記憶部１１１は、モード制御部８１がステップＳ９３で出力する領域情報に対応付けられているタップ構造情報を読み出し、予測タップ抽出回路４１に供給して、ステップＳ９９に進む。
【０３２３】
ステップＳ９９では、予測タップ抽出回路４１が、逆量子化回路４０と逆ＤＣＴ回路１１２の出力から、注目画素の画素値を予測するのに用いるＤＣＴ係数と隣接ブロック画素をそれぞれ抽出し、ステップＳ９８でタップ構造記憶部１１１から供給されるタップ構造情報が表すタップ構造の予測タップを構成する。この予測タップは、予測タップ抽出回路４１から符号制御部８２に供給される。
【０３２４】
さらに、ステップＳ９９では、符号制御部８２が、予測タップ抽出回路４１からの注目画素の予測タップの符号を、モード制御部８１から供給される注目画素についての領域情報に基づき、図１５のステップＳ５８における場合と同様に操作し、積和演算回路４５に供給する。
【０３２５】
そして、ステップＳ１００に進み、以下、ステップＳ１００乃至Ｓ１０３において、図１５のステップＳ５９乃至Ｓ６２における場合とそれぞれ同様の処理が行われ、ステップＳ１０３において、逆量子化回路４０が出力するＤＣＴ係数のブロックすべてが、注目ブロックとして処理されたと判定されると、処理を終了する。
【０３２６】
以上のように、予測タップを、注目ブロックのＤＣＴ係数の他、隣接ブロック画素をも用いて構成する場合には、より高画質の復号画像を得ることが可能となる。
【０３２７】
なお、上述の場合には、注目ブロックのＤＣＴ係数の他、隣接ブロック画素を用いて、予測タップを構成するようにしたが、予測タップは、隣接ブロック画素以外の、注目ブロックの上側、下側、左側、または右側にそれぞれ位置する画素に関する情報である上側画素情報、下側画素情報、左側画素情報、または右側画素情報を用いて構成することが可能である。ここで、隣接ブロック画素以外の上側画素情報、下側画素情報、左側画素情報、または右側画素情報としては、例えば、注目ブロックの上、下、左、または右に隣接ブロックのＤＣＴ係数等を採用することが可能である。但し、上側画素情報、下側画素情報、左側画素情報、および右側画素情報として、どのような情報を用いる場合でも、上述の隣接ブロック画素における場合と同様に、予測タップの左右または上下の位置関係を反転させる必要がある。
【０３２８】
次に、図２２は、図１９の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の構成例を示している。なお、図中、図１６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２２の学習装置は、タップ構造記憶部１２１と逆ＤＣＴ回路１２２が新たに設けられている他は、図１６における場合と基本的に同様に構成されている。
【０３２９】
タップ構造記憶部１２１は、図１９のタップ構造記憶部１１１と同様に、予測タップ抽出回路６５が構成する予測タップのタップ構造を制御する。即ち、タップ構造記憶部１２１には、モード制御部１０１から、領域情報が供給されるようになっている。そして、タップ構造記憶部１２１は、注目領域と、予測タップのタップ構造を表すタップ構造情報とを対応付けて記憶しており、モード制御部１０１から供給される領域情報が表す注目領域と対応付けられているタップ構造情報を読み出し、予測タップ抽出回路６５に供給する。
【０３３０】
逆ＤＣＴ回路１２２には、逆量子化回路６４が出力するブロックごとのＤＣＴ係数が供給されるようになっており、逆ＤＣＴ回路１２２は、図１９の逆ＤＣＴ回路１１２と同様に、逆量子化回路６４が出力するブロックごとのＤＣＴ係数を逆ＤＣＴ変換し、ブロックごとの画素値を求めて、予測タップ抽出回路６５に供給する。
【０３３１】
なお、図２２の実施の形態では、予測タップ抽出回路６５は、図１９の予測タップ抽出回路４１と同様に、タップ構造記憶部１２１から供給されるタップ構造情報が表すタップ構造の予測タップを構成する。さらに、予測タップ抽出回路６５は、やはり、図１９の予測タップ抽出回路４１と同様に、逆量子化回路６４から供給されるＤＣＴ係数から、注目ブロックのＤＣＴ係数を抽出する他、逆ＤＣＴ回路１２２から供給される画素から、注目画素についての隣接ブロック画素ａ乃至ｄを抽出し、その隣接ブロック画素ａ乃至ｄをも用いて、タップ構造情報が表すタップ構造の予測タップを構成する。
【０３３２】
次に、図２３のフローチャートを参照して、図２２の学習装置の処理（学習処理）について説明する。
【０３３３】
学習処理では、まず最初に、ステップＳ１１１において、図１７のステップＳ７１における場合と同様に、ブロック化回路６１、ＤＣＴ回路６２、量子化回路６３、および逆量子化回路６４が、学習用の画像データをＪＰＥＧ符号化し、さらに、その符号化データから、生徒データとなるＤＣＴ係数を取得する。さらに、ステップＳ１１１では、逆ＤＣＴ回路１２２が、逆量子化回路６４で得られたブロックごとのＤＣＴ係数を逆ＤＣＴ変換し、これにより、ブロックごとの画素（画素値）を取得する。
【０３３４】
そして、予測タップ抽出回路６５は、ブロック化回路６１でブロック化された画像データのブロックを、順次、注目ブロックとし、その後、ステップＳ１１２乃至Ｓ１１６において、図１７のステップＳ７２乃至Ｓ７６における場合とそれぞれ同様の処理が行われる。
【０３３５】
そして、ステップＳ１１６において、クラス分類回路６７から正規方程式加算回路６８に対して、注目画素のクラスコードが出力されると、ステップＳ１１７に進み、タップ構造記憶部１２１は、モード制御部１０１がステップＳ１１３で出力する領域情報に対応付けられているタップ構造情報を読み出し、予測タップ抽出回路６に供給して、ステップＳ１１８に進む。
【０３３６】
ステップＳ１１８では、予測タップ抽出回路６５が、逆量子化回路６４と逆ＤＣＴ回路１２２の出力から、注目画素の画素値を予測するのに用いるＤＣＴ係数と隣接ブロック画素をそれぞれ抽出し、ステップＳ１１７でタップ構造記憶部１２１から供給されるタップ構造情報が表すタップ構造の予測タップを構成する。この予測タップは、予測タップ抽出回路６５から符号制御部１０２に供給される。
【０３３７】
さらに、ステップＳ１１８では、符号制御部１０２が、予測タップ抽出回路６５からの注目画素の予測タップの符号を、モード制御部１０１から供給される注目画素についての領域情報に基づき、図１７のステップＳ７７における場合と同様に操作し、正規方程式加算回路６８に供給する。
【０３３８】
そして、ステップＳ１１９に進み、以下、ステップＳ１１９乃至Ｓ１２２において、図１７のステップＳ７８乃至Ｓ８１における場合とそれぞれ同様の処理が行われ、これにより、タップ係数決定回路６９において、各クラスごとに、そのクラスの１６の縮退画素位置モードそれぞれに対応する１６セットのタップ係数が求められ、係数テーブル記憶部７０の、各クラスに対応するアドレスに供給されて記憶され、処理を終了する。
【０３３９】
以上のように、予測タップを、注目ブロックのＤＣＴ係数以外の情報を用いて構成する場合においても、画素位置モードを縮退することにより、図１６の実施の形態における場合と同様に、学習効率を向上させることができる。
【０３４０】
次に、画素位置モードの縮退は、上述のように、注目画素が右上領域、左下領域、または右下領域の画素である場合に、その注目画素の画素位置モードを、垂直分割線に対して注目画素と線対称の位置にある画素（垂直線対称画素）、水平分割線に対して注目画素と線対称の位置にある左上領域の画素（水平線対称画素）、またはブロック中心点に対して注目画素と点対称の位置にある左上領域の画素（点対称画素）の画素位置モードと兼用することで行うようにしているため、予測タップについては、図１２や図２０で説明したように、ＤＣＴ係数の基底となっているコサイン波形や、隣接ブロック画素の位置の左右、上下、または左右と上下の両方の位置関係を反対にする（位置関係を反転する）必要がある。
【０３４１】
一方、上述の場合には、係数変換回路３２のクラス分類回路４３や、学習装置のクラス分類回路６７において、注目ブロックのＤＣＴ係数すべてをクラスタップとして、そのクラスタップをADRC処理することにより、クラス分類を行うようにしたため、即ち、クラス分類を、上述のような画素位置モードの兼用による画素位置モードの縮退の影響を受けない方法で行うようにしていたため、クラス分類については、予測タップについて行う必要があるような位置関係の反転は、行う必要がなかった。
【０３４２】
しかしながら、クラス分類を、例えば、注目ブロックと、その上下左右に隣接するブロックそれぞれとの間の関係に基づいて行うような場合には、予測タップについて行う位置関係の反転と同様の操作を、クラスコードについて行う必要がある。
【０３４３】
そこで、図２４は、本発明を適用した係数変換回路３２の第３実施の形態の構成例を示している。なお、図中、図１９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２４の係数変換回路３２は、クラスコード操作部１３１が新たに設けられている他は、図１１における場合と基本的に同様に構成されている。
【０３４４】
但し、図２４の実施の形態では、クラスタップ抽出回路４２において、注目ブロックと、その上下左右に隣接するブロックそれぞれとの間において、エッジが繋がっている等の、何らかの連続性があるかどうかを表す情報を含むクラスタップが、逆量子化回路４０の出力から抽出され、クラス分類回路４３では、そのようなクラスタップに基づいて、クラス分類が行われるようになっている。
【０３４５】
クラスコード操作部１３１には、クラス分類回路４３が出力する注目画素のクラスコードと、モード制御部８１が出力する注目画素の領域情報が供給されるようになっている。そして、クラスコード操作部１３１は、注目画素のクラスコードを、注目画素の領域情報に基づいて操作し、係数テーブル記憶部４４に供給する。
【０３４６】
次に、図２５は、図２４のクラスタップ抽出回路４２の構成例を示している。
【０３４７】
１次元逆ＤＣＴ変換部１４１には、逆量子化回路４０（図２４）が出力するブロックごとのＤＣＴ係数が供給されるようになっている。そして、１次元逆ＤＣＴ変換部１４１は、逆量子化回路４０から供給されるブロックごとのＤＣＴ係数を、１次元逆ＤＣＴ変換することにより、水平方向の空間周波数成分を表す水平１次元ＤＣＴ係数と、垂直方向の空間周波数成分を表す垂直１次元ＤＣＴ係数とを求める。
【０３４８】
ここで、図２６および図２７を参照して、図２５の１次元逆ＤＣＴ変換部１４１が行う１次元逆ＤＣＴ変換について説明する。
【０３４９】
ＭＰＥＧやＪＰＥＧ等のＤＣＴ変換を利用した画像の符号化方式では、画像データが、横×縦が８×８のブロック単位で、水平方向および垂直方向の２次元のＤＣＴ変換（２次元ＤＣＴ変換）／逆ＤＣＴ変換（２次元逆ＤＣＴ変換）が行われる。
【０３５０】
ここで、ＭＰＥＧやＪＰＥＧ符号化された符号化データに含まれるＤＣＴ係数は、水平方向と垂直方向の２方向の空間周波数成分を表すものであり、１次元ＤＣＴ係数と区別するために、以下、適宜、２次元ＤＣＴ係数という。
【０３５１】
さらに、以下、適宜、画素値から２次元ＤＣＴ係数への変換を、２次元ＤＣＴ変換と、２次元ＤＣＴ係数から画素値への変換を、２次元逆ＤＣＴ変換と、それぞれいう。前述の図１におけるＤＣＴ回路２で行われるＤＣＴ変換は、２次元ＤＣＴ変換であり、また、上述の逆ＤＣＴ回路１１２（図１９等）や逆ＤＣＴ回路１２２（図２２等）で行われる逆ＤＣＴ変換は、２次元逆ＤＣＴ変換である。
【０３５２】
いま、図２６（Ａ）に示す８×８のブロックにおける画素値を、８行×８列の行列Ｘで表すとともに、図２６（Ｂ）に示す８×８のブロックにおけるＤＣＴ係数を、８行×８列の行列Ｆで表すこととすると、２次元ＤＣＴ変換／２次元逆ＤＣＴ変換は、次式で表すことができる。
【０３５３】
ＣＸＣ^T＝Ｆ・・・（１９）
Ｃ^TＦＣ＝Ｘ・・・（２０）
【０３５４】
ここで、上付のＴは、転置を表す。また、Ｃは、８行×８列のＤＣＴ変換行列で、その第ｉ＋１行第ｊ＋１列のコンポーネントｃ_ijは、次式で表される。
【０３５５】
ｃ_ij＝Ａ_i×ｃｏｓ（（２ｊ＋１）×ｉ×π／１６）・・・（２１）
【０３５６】
但し、式（２１）において、ｉ＝０のときは、Ａ_i＝１／（２√２）であり、ｉ≠０のときは、Ａ_i＝１／２である。また、ｉとｊは、０乃至７の範囲の整数値である。
【０３５７】
式（１９）は、画素値Ｘを、２次元ＤＣＴ係数Ｆに変換する２次元ＤＣＴ変換を表し、式（２０）は、２次元ＤＣＴ係数Ｆを、画素値Ｘに変換する２次元逆ＤＣＴ変換を表す。
【０３５８】
従って、式（２０）によれば、２次元ＤＣＴ係数Ｆは、その左側から行列Ｃ^Tをかけるとともに、その右側から行列Ｃをかけることにより、画素値Ｘに変換されるが、１次元逆ＤＣＴ変換部１４１は、２次元ＤＣＴ係数Ｆに対して、その左側から行列Ｃ^Tをかけるだけか、または、その右側から行列Ｃをかけるだけかすることにより、１次元ＤＣＴ係数を求める。
【０３５９】
即ち、１次元逆ＤＣＴ変換部１４１は、２次元ＤＣＴ係数Ｆに対して、その左側から行列Ｃ^Tだけをかける。この場合、図２６（Ｃ）に示すように、２次元ＤＣＴ係数Ｆにおける垂直方向が空間領域に変換され、水平方向が周波数領域のままとされる垂直１次元逆ＤＣＴ変換が行われることとなり、その結果、水平方向の空間周波数成分を表す水平１次元ＤＣＴ係数ｖＸｈＦを得ることができる。
【０３６０】
また、１次元逆ＤＣＴ変換部１４１は、２次元ＤＣＴ係数Ｆに対して、その右側から行列Ｃだけをかける。この場合、図２６（Ｄ）に示すように、２次元ＤＣＴ係数Ｆにおける水平方向が空間領域に変換され、垂直方向が周波数領域のままとされる水平１次元逆ＤＣＴ変換が行われることとなり、その結果、垂直方向の空間周波数成分を表す垂直１次元ＤＣＴ係数ｈＸｖＦを得ることができる。
【０３６１】
なお、横×縦が８×８の２次元ＤＣＴ係数Ｆを、垂直１次元逆ＤＣＴ変換した場合には、８×１の水平１次元ＤＣＴ係数が、８セット（８行分）得られることになる（図２６（Ｃ））。また、２次元ＤＣＴ係数Ｆを、水平１次元逆ＤＣＴ変換した場合には、１×８の垂直１次元ＤＣＴ係数が、８セット（８列分）得られることになる（図２６（Ｄ））。
【０３６２】
そして、ある行における８×１の水平１次元ＤＣＴ係数については、その左端のＤＣＴ係数が、その行の８画素の画素値の直流成分（ＤＣ成分）（８画素の画素値の平均値）を表し、他の７つのＤＣＴ係数が、その行の水平方向の交流成分（ＡＣ成分）を表す。また、ある列における１×８の垂直１次元ＤＣＴ係数については、その最上行のＤＣＴ係数が、その列の８画素の画素値の直流成分を表し、他の７つのＤＣＴ係数が、その列の垂直方向の交流成分を表す。
【０３６３】
ここで、式（１９）によれば、水平１次元ＤＣＴ係数は、２次元ＤＣＴ係数Ｆに対応する画素値Ｘに対して、その右側から行列Ｃ^Tをかける水平１次元ＤＣＴ変換を行うことによっても求めることができる。また、垂直１次元ＤＣＴ係数は、２次元ＤＣＴ係数Ｆに対応する画素値Ｘに対して、その左側から行列Ｃをかける垂直１次元ＤＣＴ変換を行うことによっても求めることができる。
【０３６４】
図２７は、実際の画像と、その画像についての２次元ＤＣＴ係数、水平１次元ＤＣＴ係数、および垂直１次元ＤＣＴ係数を示している。
【０３６５】
なお、図２７は、８×８ブロックの画像と、その画像についての２次元ＤＣＴ係数、水平１次元ＤＣＴ係数、および垂直１次元ＤＣＴ係数を示している。また、図２７（Ａ）が、実際の画像を、図２７（Ｂ）が、２次元ＤＣＴ係数を、図２７（Ｃ）が、水平１次元ＤＣＴ係数を、図２７（Ｄ）が、垂直１次元ＤＣＴ係数を、それぞれ示している。
【０３６６】
ここで、図２７（Ａ）の画像は、８ビットの画素値を有するものであり、そのような画素値から求められるＤＣＴ係数は、負の値も取り得る。但し、図２７（Ｂ）乃至図２７（Ｄ）の実施の形態では、求められたＤＣＴ係数に対して、１２８（＝２⁷）を加算し、その加算値が０未満となるものは０にクリップするとともに、加算値が２５６以上となるものは２５５にクリップすることにより、０乃至２５５の範囲のＤＣＴ係数を、図示してある。
【０３６７】
２次元ＤＣＴ係数には、８×８画素のブロック全体の情報が反映されているため、２次元ＤＣＴ係数からでは、ブロック内の特定の画素の情報等の局所的な情報を把握するのは困難である。これに対して、水平１次元ＤＣＴ係数または垂直１次元ＤＣＴ係数には、ブロックのある１行または１列だけの情報が、それぞれ反映されているため、２次元ＤＣＴ係数に比較して、ブロック内の局所的な情報を容易に把握することができる。
【０３６８】
即ち、ブロックのある行の特徴は、その行の８×１の水平１次元ＤＣＴ係数から把握することができ、ある列の特徴は、その列の１×８の垂直１次元ＤＣＴ係数から把握することができる。さらに、ブロックのある画素の特徴は、その画素が位置する行の８×１の水平１次元ＤＣＴ係数と、その画素が位置する列の１×８の垂直１次元ＤＣＴ係数とから把握することができる。
【０３６９】
また、左右に隣接するブロックどうしの境界の状態は、ブロック全体の情報が反映された２次元ＤＣＴ係数よりも、ブロックの境界部分の垂直方向の空間周波数成分を表す垂直１次元ＤＣＴ係数を用いた方が、より正確に把握することができる。さらに、上下に隣接するブロックどうしの境界の状態も、ブロック全体の情報が反映された２次元ＤＣＴ係数よりも、ブロックの境界部分の水平方向の空間周波数成分を表す水平１次元ＤＣＴ係数を用いた方が、より正確に把握することができる。
【０３７０】
なお、以下、適宜、垂直１次元ＤＣＴ係数と水平１次元ＤＣＴ係数とをまとめて、１次元ＤＣＴ係数という。
【０３７１】
図２５に戻り、１次元逆ＤＣＴ変換部１４１は、注目ブロックの１次元ＤＣＴ係数と、注目ブロックの上下左右に隣接するブロックそれぞれの１次元ＤＣＴ係数を求めると、それらの１次元ＤＣＴ係数を、境界１次元ＤＣＴ係数抽出部１４４、および隣接１次元ＤＣＴ係数抽出部１４５に供給する。
【０３７２】
境界１次元ＤＣＴ係数抽出部１４４は、１次元逆ＤＣＴ変換部１４１の出力から、注目ブロックの上側の境界（１行目の）の水平１次元ＤＣＴ係数（以下、適宜、上境界１次元ＤＣＴ係数という）、下側の境界の（８行目の）垂直１次元ＤＣＴ係数（以下、適宜、下境界１次元ＤＣＴ係数という）、左側の境界の（１列目の）垂直１次元ＤＣＴ係数（以下、適宜、左境界１次元ＤＣＴ係数という）、および右側の境界の（８列目の）垂直１次元ＤＣＴ係数（以下、適宜、右境界１次元ＤＣＴ係数という）を抽出して出力する。
【０３７３】
ここで、以下、適宜、上境界１次元ＤＣＴ係数、下境界１次元ＤＣＴ係数、左境界１次元ＤＣＴ係数、および右境界１次元ＤＣＴ係数を、まとめて、境界１次元ＤＣＴ係数という。
【０３７４】
隣接１次元ＤＣＴ係数抽出部１４５は、１次元逆ＤＣＴ変換部１４１の出力から、注目ブロックの上に隣接するブロックにおける、注目ブロックと隣接する水平１次元ＤＣＴ係数（以下、適宜、上隣接１次元ＤＣＴ係数という）、注目ブロックの下に隣接するブロックにおける、注目ブロックと隣接する水平１次元ＤＣＴ係数（以下、適宜、下隣接１次元ＤＣＴ係数という）、注目ブロックの左に隣接するブロックにおける、注目ブロックと隣接する垂直１次元ＤＣＴ係数（以下、適宜、左隣接１次元ＤＣＴ係数という）、および注目ブロックの右に隣接するブロックにおける、注目ブロックと隣接する垂直１次元ＤＣＴ係数（以下、適宜、右隣接１次元ＤＣＴ係数という）を抽出して出力する。
【０３７５】
ここで、以下、適宜、上隣接１次元ＤＣＴ係数、下隣接１次元ＤＣＴ係数、左隣接１次元ＤＣＴ係数、および右隣接１次元ＤＣＴ係数を、まとめて、隣接１次元ＤＣＴ係数という。
【０３７６】
クラスタップ抽出回路４２は、逆量子化回路４０の出力から、上述したようにして、境界１次元ＤＣＴ係数、および隣接１次元ＤＣＴ係数をクラスタップとして抽出し、クラス分類回路４３（図２４）に供給する。
【０３７７】
次に、図２８は、図２４のクラス分類回路４３の構成例を示している。
【０３７８】
ＡＣパワー算出部１５１は、クラスタップ抽出回路４２が出力するクラスタップとしての境界１次元ＤＣＴ係数と、隣接１次元ＤＣＴ係数を受信し、それぞれの交流成分のパワー（以下、適宜、ＡＣパワーという）を求め、連続性判定部１５４に供給する。
【０３７９】
即ち、ＡＣパワー算出部１５１は、図２９に示すように、境界１次元ＤＣＴ係数から、水平１次元ＤＣＴ係数である上境界１次元ＤＣＴ係数と下境界１次元ＤＣＴ係数を抽出するとともに、隣接１次元ＤＣＴ係数から、水平１次元ＤＣＴ係数である上隣接１次元ＤＣＴ係数と下隣接１次元ＤＣＴ係数を抽出し、水平方向のＡＣパワーを求める。さらに、ＡＣパワー算出部１５１は、図２９に示すように、境界１次元ＤＣＴ係数から、垂直１次元ＤＣＴ係数である左境界１次元ＤＣＴ係数と右境界１次元ＤＣＴ係数を抽出するとともに、隣接１次元ＤＣＴ係数から、垂直１次元ＤＣＴ係数である左隣接１次元ＤＣＴ係数と右隣接１次元ＤＣＴ係数を抽出し、垂直方向のＡＣパワーを求める。
【０３８０】
ここで、１次元ＤＣＴ係数の７つの交流成分をＡＣ_nと表すこととすると（ｎ＝１，２，・・・，７）、ＡＣパワーＰ_ACは、例えば、次式によって計算される。
【０３８１】
Ｐ_AC＝ΣＡＣ_n ²・・・（２２）
【０３８２】
但し、式（２２）において、Σは、変数ｎを１から７に変えてのサメーションを表す。
【０３８３】
なお、以上のようにして、１次元ＤＣＴ係数から求められるＡＣパワーは、その１次元ＤＣＴ係数に対応する８画素の交流成分の電力と捉えることができ、従って、画像のアクティビティを表すということができる。
【０３８４】
図２８に戻り、ＤＣ成分抽出部１５２は、クラスタップ抽出回路４２（図２４）が出力するクラスタップとしての境界１次元ＤＣＴ係数と、隣接１次元ＤＣＴ係数を受信し、それぞれの直流成分（ＤＣ成分）を抽出して、連続性判定部１５４に供給する。
【０３８５】
即ち、ＤＣ成分抽出部１５２は、境界１次元ＤＣＴ係数と、隣接１次元ＤＣＴ係数における８×１の水平１次元ＤＣＴ係数（上境界１次元ＤＣＴ係数、下境界１次元ＤＣＴ係数、上隣接１次元ＤＣＴ係数、下隣接１次元ＤＣＴ係数）については、その最も左側に位置する直流成分を抽出し、連続性判定部１５４に供給する。また、ＤＣ成分抽出部１５２は、境界１次元ＤＣＴ係数と、隣接１次元ＤＣＴ係数における１×８の垂直１次元ＤＣＴ係数（左境界１次元ＤＣＴ係数、右境界１次元ＤＣＴ係数、左隣接１次元ＤＣＴ係数、右隣接１次元ＤＣＴ係数）については、その最も上側に位置する直流成分を抽出し、連続性判定部１５４に供給する。
【０３８６】
ＡＣ内積算出部１５３は、クラスタップ抽出回路４２（図２４）から供給されるクラスタップとしての境界１次元ＤＣＴ係数の交流成分と、隣接１次元ＤＣＴ係数の交流成分とを、それぞれベクトルのコンポーネントとみなして、その２つのベクトルの内積（ＡＣ内積）を求め、連続性判定部１５４に供給する。
【０３８７】
即ち、図３０に示すように、ＡＣ内積算出部１５３は、上境界１次元ＤＣＴ係数の交流成分と、上境界１次元ＤＣＴ係数に隣接する上隣接１次元ＤＣＴ係数の交流成分とを、それぞれベクトルのコンポーネントとみなして、その２つのベクトルのＡＣ内積（以下、上内積という）を、次式にしたがって求める。
【０３８８】
Ｉ＝Σ（ＡＣ_n×ＡＣ_n’）・・・（２３）
【０３８９】
但し、式（２３）において、Ｉは、ＡＣ内積を表す。さらに、ＡＣ_nは、注目ブロックについての上境界１次元ＤＣＴ係数のｎ番目の交流成分を表し、ＡＣ_n’は、注目ブロックについての上隣接１次元ＤＣＴ係数のｎ番目の交流成分を表す。また、Σは、ｎを１から７に変えてのサメーションを表す。
【０３９０】
ＡＣ内積算出部１５３は、下境界１次元ＤＣＴ係数と下隣接１次元ＤＣＴ係数、左境界１次元ＤＣＴ係数と左隣接１次元ＤＣＴ係数、または右境界１次元ＤＣＴ係数と右隣接１次元ＤＣＴ係数それぞれについても、式（２３）にしたがい、ＡＣ内積を求める。
【０３９１】
ここで、以下、適宜、注目ブロックについての下境界１次元ＤＣＴ係数と下隣接１次元ＤＣＴ係数とから求められるＡＣ内積を、下内積と、左境界１次元ＤＣＴ係数と左隣接１次元ＤＣＴ係数とから求められるＡＣ内積を、左内積と、右境界１次元ＤＣＴ係数と右隣接１次元ＤＣＴ係数とから求められるＡＣ内積を、右内積と、それぞれいう。
【０３９２】
ＡＣ内積は、注目ブロックの境界を挟む境界１次元ＤＣＴ係数と隣接１次元ＤＣＴ係数の交流成分が類似する場合、即ち、境界１次元ＤＣＴ係数の交流成分をコンポーネントとするベクトルと、隣接１次元ＤＣＴ係数の交流成分をコンポーネントとするベクトルとがつくる角度が９０度未満（以上）である場合に正の値（０以上の値）となる。従って、ＡＣ内積が正の値であることは、注目ブロックの境界を挟む境界１次元ＤＣＴ係数に対応する８画素と、隣接１次元ＤＣＴ係数に対応する８画素の波形パターンが似ていることを表しており、例えば、注目ブロックとそれに隣接するブロックの境界において、その境界を横切る形で連続しているエッジが存在することを表す。
【０３９３】
再び図２８に戻り、連続性判定部１５４は、ＡＣパワー算出部１５１から供給される境界１次元ＤＣＴ係数から求められたＡＣパワー、および隣接１次元ＤＣＴ係数から求められたＡＣパワー、ＤＣ成分抽出部１５２から供給される境界１次元ＤＣＴ係数の直流成分、および隣接１次元ＤＣＴ係数の直流成分、並びにＡＣ内積算出部１５３から供給される上内積、下内積、左内積、および右内積に基づき、注目ブロックの上下左右それぞれの境界部分における画像の連続性を、注目ブロックとその上下左右に隣接するブロックとの間に関する上側ブロック間情報、下側ブロック間情報、左側ブロック間情報、右側ブロック間情報として判定する。さらに、連続性判定部１５４は、注目ブロックの上下左右それぞれの境界部分における画像の連続性の判定結果である上側ブロック間情報、下側ブロック間情報、左側ブロック間情報、および右側ブロック間情報に基づいて、注目画素をクラス分類し、そのクラスを表すクラスコードを出力する。
【０３９４】
即ち、連続性判定部１５４は、注目ブロックと、その上下左右に隣接するブロックそれぞれとの間の画像のつながり具合を表す画像の連続性を判定する。そして、連続性判定部１５４は、注目ブロックの上下左右の各境界部分について、画像の連続性の有無を表す４ビットを、クラスコードとして出力する。従って、ここでは、注目画素は、１６（＝２⁴）クラスのうちのいずれかにクラス分類されることになる。
【０３９５】
ここで、連続性判定部１５４が出力する４ビットのクラスコードを、その最上位ビットから順に、（Ｂ₄，Ｂ₃，Ｂ₂，Ｂ₁）と表すこととすると、ビットＢ₄，Ｂ₃，Ｂ₂，Ｂ₁は、それぞれ、注目ブロックの上側、下側、左側、右側の境界部分における連続性を表す。また、例えば、１になっているビットは、画像が連続していること（連続性があること）を表し、０になっているビットは、画像が不連続であること（連続性がないこと）を表す。
【０３９６】
なお、連続性判定部１５４において、連続性の判定は、例えば、次のようにして行われる。
【０３９７】
即ち、連続性判定部１５４は、例えば、注目ブロックについての上境界１次元ＤＣＴ係数の直流成分ＤＣと、その上境界１次元ＤＣＴ係数と対応する（隣接する）上隣接１次ＤＣＴ係数の直流成分ＤＣ’との差分絶対値｜ＤＣ−ＤＣ’｜が、所定の閾値ＴＨ１よりも大きい（または以上である）という条件を、境界部エッジ条件として、そのような境界部エッジ条件が満たされるかどうかを判定する。
【０３９８】
境界部エッジ条件が満たされる場合、即ち、注目ブロックについての上境界１次ＤＣＴ係数の直流成分ＤＣと、上隣接１次ＤＣＴ係数の直流成分ＤＣ’との差が非常に大きく、従って、注目ブロックの上側の境界部分にエッジが存在し、注目ブロックとその上側に隣接するブロックの画像パターンにつながりがないと考えられる場合、連続性判定部１５４は、４ビットのクラスコードのうち、上側の連続性を表す第４ビット（最下位ビットを第１ビットとする）Ｂ₄に、連続性がないことを表す０をセットする。
【０３９９】
また、境界部エッジ条件が満たされない場合、連続性判定部１５４は、注目ブロックについて、上境界１次元ＤＣＴ係数から求められたＡＣパワー、上隣接１次元ＤＣＴ係数から求められたＡＣパワー、さらには、上境界１次元ＤＣＴ係数の直流成分、上隣接１次元ＤＣＴ係数の直流成分に基づき、注目ブロックの上側の境界部分が平坦であるという平坦性条件が満たされるかどうかを判定する。
【０４００】
即ち、連続性判定部１５４は、例えば、次式で表される条件を、平坦性条件として、そのような平坦性条件が満たされるかどうかを判定する。
【０４０１】
（Ｐ_AC≦ＴＨ２）∩（Ｐ_AC’≦ＴＨ２）∩（｜ＤＣ−ＤＣ’｜≦ＴＨ３）・・・（２４）
【０４０２】
Ｐ_AC’≦ＴＨ４・・・（２５）
【０４０３】
但し、式（２４）および（２５）において、ＴＨ２，ＴＨ３，ＴＨ４は、所定の閾値であり、閾値ＴＨ４は、閾値ＴＨ２よりも十分小さいものとする。また、式（２４）および（２５）において、Ｐ_ACは、注目ブロックについての上境界１次元ＤＣＴ係数から求められたＡＣパワーを表し、Ｐ_AC’は、注目ブロックについての上隣接１次元ＤＣＴ係数から求められたＡＣパワーを表す。さらに、式（２４）において、ＤＣは、注目ブロックについての上境界１次元ＤＣＴ係数の直流成分を表し、ＤＣ’は、注目ブロックについての上隣接１次元ＤＣＴ係数の直流成分を表す。また、∩は、論理積を表す。
【０４０４】
式（２４）は、注目ブロックについての上境界１次元ＤＣＴ係数と上隣接１次元ＤＣＴ係数からそれぞれ求められるＡＣパワーＰ_ACとＰ_AC’が、いずれも閾値ＴＨ２以下で（または未満で）、かつ、それぞれの直流成分ＤＣとＤＣ’の差分絶対値｜ＤＣ−ＤＣ’｜が、閾値ＴＨ３以下（または未満）の場合に、真となる。また、式（２５）は、注目ブロックについての上隣接１次元ＤＣＴ係数から求められたＡＣパワーＰ_AC’が、閾値ＴＨ４以下（または未満）の場合に、真となる。
【０４０５】
ここで、閾値ＴＨ４は、上述したように、閾値ＴＨ２よりも十分小さい、例えば、０に近い値であり、従って、式（２５）は、注目ブロックについての上隣接１次元ＤＣＴ係数から求められたＡＣパワーＰ_AC’が０に近い場合に、真となる。
【０４０６】
なお、ここでは、平坦性条件は、例えば、式（２４）および（２５）のうちのいずれか一方が真であれば満たされるものとする。
【０４０７】
平坦性条件が満たされる場合、連続性判定部１５４は、４ビットのクラスコードのうち、上側の連続性を表す第４ビットＢ₄に、連続性があることを表す１をセットする。
【０４０８】
また、平坦性条件が満たされない場合、連続性判定部１５４は、注目ブロックについて求められたＡＣ内積に基づき、注目ブロックの境界部分が連続しているという連続性条件が満たされるかどうかを判定する。
【０４０９】
即ち、連続性判定部１５４は、例えば、注目ブロックについての上内積が、正の値（または０以上）であるという条件を、連続性条件として、そのような連続性条件が満たされるかどうかを判定する。
【０４１０】
連続性条件が満たされる場合、連続性判定部１５４は、４ビットのクラスコードのうち、上側の連続性を表す第４ビットＢ₄に、連続性があることを表す１をセットする。
【０４１１】
また、連続性条件が満たされない場合、即ち、境界部エッジ条件が満たされず、さらに、平坦性条件および連続性条件も満たされたない場合、連続性判定部１５４は、４ビットのクラスコードのうち、上側の連続性を表す第４ビットＢ₄に、連続性がないことを表す０をセットする。
【０４１２】
連続性判定部１５４は、上側の境界部分についての他、下側、左側、および右側の境界部分についても、上側の境界部分に対するのと同様の処理を行い、これにより、４ビットのクラスコードの第４ビットＢ₄、第３ビットＢ₃、第２ビットＢ₂、第１ビットＢ₁に、注目ブロックの上側、下側、左側、右側それぞれの境界部分における画像の連続性を表す値をセットして出力する。
【０４１３】
なお、ここでは、説明を簡単にするために、注目画素を、注目ブロックの上下左右それぞれの境界部分における連続性の有無にしたがってクラス分類するようにしたが、注目画素のクラス分類は、注目ブロックの境界部分における連続性の有無の他、平坦性その他にも基づいて行うことが可能である。
【０４１４】
また、以下、適宜、上述したようにして、図２４のクラス分類回路４３（の連続性判定部１５４（図２８）が出力する４ビットのクラスコードの第４ビットＢ₄、第３ビットＢ₃、第２ビットＢ₂、または第１ビットＢ₁を、それぞれ、上側ブロック間コード、下側ブロック間コード、左側ブロック間コード、または右側ブロック間コードという。
【０４１５】
次に、図３１を参照して、図２４のクラスコード操作部１３１によるクラスコードの操作について説明する。
【０４１６】
クラスコード操作部１３１は、上述したように、モード制御部８１から供給される注目画素の領域情報に基づき、クラス分類回路４３が出力するクラスコードを操作する。
【０４１７】
即ち、注目領域が左上領域である場合、クラスコード操作部１３１は、図３１（Ａ）に示すように、クラス分類回路４３が出力する４ビットのクラスコード（Ｂ₄，Ｂ₃，Ｂ₂，Ｂ₁）を、そのまま、注目画素のクラスコードとして出力する。
【０４１８】
即ち、注目領域が左上領域であり、注目画素が、左上領域の１６カ所のうちのいずれかに位置する場合には、注目画素の、左上領域における位置を表す値０乃至１５のうちのいずれかが、そのまま、注目画素の縮退画素位置モードとして採用されることから、クラスコード操作部１３１は、クラス分類回路４３が出力するクラスコード（Ｂ₄，Ｂ₃，Ｂ₂，Ｂ₁）を、そのまま、注目画素のクラスコードとして出力する。
【０４１９】
次に、注目領域が右上領域である場合、クラスコード操作部１３１は、図３１（Ｂ）に示すように、クラス分類回路４３が出力する４ビットのクラスコード（Ｂ₄，Ｂ₃，Ｂ₂，Ｂ₁）における左側ブロック間コードＢ₂と右側ブロック間コードＢ₁とを入れ替え、新たなクラスコード（Ｂ₄，Ｂ₃，Ｂ₁，Ｂ₂）を生成し、これを、注目画素のクラスコードとして出力する。
【０４２０】
即ち、注目領域が右上領域である場合、右上領域の画素である注目画素の縮退画素位置モードは、上述したように、垂直分割線に対して線対称の位置にある左上領域の垂直線対称画素の縮退画素位置モードと兼用されるが（同一とされるが）、この場合、注目画素と、垂直線対称画素とは、空間領域において、左右の位置関係が反対になっている。このため、クラスコード操作部１３１は、クラス分類回路４３が出力するクラスコード（Ｂ₄，Ｂ₃，Ｂ₂，Ｂ₁）についても、注目ブロックの左右の境界部分の連続性を表す左側ブロック間コードＢ₂と右側ブロック間コードＢ₁とを入れ替える操作を行い、その結果得られる新たなクラスコード（Ｂ₄，Ｂ₃，Ｂ₁，Ｂ₂）を、注目画素のクラスコードとして出力する。
【０４２１】
従って、この場合、クラス分類回路４３が出力するクラスコードが、例えば、（０，０，０，１）であるとすると、クラスコード操作部１３１は、その第２ビットと第１ビットとを入れ替え、（０，０，１，０）を、注目画素のクラスコードとして出力する。
【０４２２】
次に、注目領域が左下領域である場合、クラスコード操作部１３１は、図３１（Ｃ）に示すように、クラス分類回路４３が出力する４ビットのクラスコード（Ｂ₄，Ｂ₃，Ｂ₂，Ｂ₁）における上側ブロック間コードＢ₄と下側ブロック間コードＢ₃とを入れ替え、新たなクラスコード（Ｂ₃，Ｂ₄，Ｂ₂，Ｂ₁）を生成し、これを、注目画素のクラスコードとして出力する。
【０４２３】
即ち、注目領域が左下領域である場合、左下領域の画素である注目画素の縮退画素位置モードは、上述したように、水平分割線に対して線対称の位置にある左上領域の水平線対称画素の縮退画素位置モードと兼用されるが（同一とされるが）、この場合、注目画素と、水平線対称画素とは、空間領域において、上下の位置関係が反対になっている。このため、クラスコード操作部１３１は、クラス分類回路４３が出力するクラスコード（Ｂ₄，Ｂ₃，Ｂ₂，Ｂ₁）についても、注目ブロックの上下の境界部分の連続性を表す上側ブロック間コードＢ₄と下側ブロック間コードＢ₃とを入れ替える操作を行い、その結果得られる新たなクラスコード（Ｂ₄，Ｂ₃，Ｂ₂，Ｂ₁）を、注目画素のクラスコードとして出力する。
【０４２４】
次に、注目領域が右下領域である場合、クラスコード操作部１３１は、図３１（Ｄ）に示すように、クラス分類回路４３が出力する４ビットのクラスコード（Ｂ₄，Ｂ₃，Ｂ₂，Ｂ₁）における左側ブロック間コードＢ₂と右側ブロック間コードＢ₁とを入れ替えるとともに、上側ブロック間コードＢ₄と下側ブロック間コードＢ₃とを入れ替え、新たなクラスコード（Ｂ₃，Ｂ₄，Ｂ₁，Ｂ₂）を生成し、これを、注目画素のクラスコードとして出力する。
【０４２５】
即ち、注目領域が右下領域である場合、右下領域の画素である注目画素の縮退画素位置モードは、上述したように、ブロック中心点に対して点対称の位置にある左上領域の点対称画素の縮退画素位置モードと兼用されるが（同一とされるが）、この場合、注目画素と、点対称画素とは、空間領域において、左右の位置関係と上下の位置関係が反対になっている。このため、クラスコード操作部１３１は、クラス分類回路４３が出力するクラスコード（Ｂ₄，Ｂ₃，Ｂ₂，Ｂ₁）についても、その左側ブロック間コードＢ₂と右側ブロック間コードＢ₁とを入れ替える操作を行うとともに、上側ブロック間コードＢ₄と下側ブロック間コードＢ₃とを入れ替える操作を行い、その結果得られる新たなクラスコード（Ｂ₃，Ｂ₄，Ｂ₁，Ｂ₂）を、注目画素のクラスコードとして出力する。
【０４２６】
次に、図３２のフローチャートを参照して、図２４の係数変換回路３２の処理について説明する。
【０４２７】
図２４の係数変換回路３２では、ステップＳ１３７で、クラスコード操作部１３１が、クラス分類回路４３が出力するクラスコードを操作することを除き、図２１における場合と同様の処理が行われる。
【０４２８】
即ち、ステップＳ１３１乃至Ｓ１３６では、図２１のステップＳ９１乃至Ｓ９６における場合とそれぞれ同様の処理が行われる。
【０４２９】
但し、ステップＳ１３５では、クラスタップ抽出回路４２において、図２５乃至図２７で説明したクラスタップが抽出され、ステップＳ１３６では、クラス分類回路４３において、図２８乃至図３０で説明したクラス分類が行われる。
【０４３０】
そして、ステップＳ１３６において、クラス分類回路４３が注目画素のクラスコードを出力すると、ステップＳ１３７に進み、クラスコード操作部１３１は、モード制御部８１が出力する注目画素の領域情報に基づき、クラス分類回路４３が出力するクラスコードを、図３１で説明したようにして操作し、係数テーブル記憶部４４に供給する。
【０４３１】
係数テーブル記憶部４４は、クラスコード操作部１３１から、注目画素のクラスコードを受信すると、ステップＳ１３８に進み、図２１のステップＳ９７における場合と同様に、注目画素のクラスコードに対応するアドレスに記憶されている１６セットのタップ係数を読み出し、積和演算回路４５に出力する。
【０４３２】
以下、ステップＳ１３９乃至Ｓ１４４に順次進み、図２１のステップＳ９８乃至Ｓ１０３における場合とそれぞれ同様の処理が行われ、ステップＳ１４４において、逆量子化回路４０が出力するＤＣＴ係数のブロックすべてが、注目ブロックとして処理されたと判定されると、処理を終了する。
【０４３３】
次に、図３３は、図２４の係数テーブル記憶部４４に記憶させるタップ係数の学習処理を行う学習装置の構成例を示している。なお、図中、図２２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図３３の学習装置は、クラスコード操作部１６１が新たに設けられている他は、図２４における場合と基本的に同様に構成されている。
【０４３４】
但し、図３３の実施の形態においては、クラスタップ抽出回路６６とクラス分類回路６７は、図２４のクラスタップ抽出回路４２とクラス分類回路４３における場合とそれぞれ同様の処理を行うようになっている。
【０４３５】
クラスコード操作部１３１は、モード制御部１０１が出力する領域情報に基づき、クラス分類回路６７が出力するクラスコードについて、図２４のクラスコード操作部１３１における場合と同一の操作を行い、正規方程式加算回路６８に供給する。
【０４３６】
次に、図３４のフローチャートを参照して、図３３の学習装置の処理（学習処理）について説明する。
【０４３７】
図３３の学習装置では、ステップＳ１５７で、クラスコード操作部１６１が、クラス分類回路６７が出力するクラスコードを操作することを除き、図２３における場合と同様の処理が行われる。
【０４３８】
即ち、ステップＳ１５１乃至Ｓ１５６では、図２３のステップＳ１１１乃至Ｓ１１６における場合とそれぞれ同様の処理が行われる。
【０４３９】
但し、ステップＳ１５５では、クラスタップ抽出回路６６において、図２５乃至図２７で説明したクラスタップが抽出され、ステップＳ１５６では、クラス分類回路６７において、図２８乃至図３０で説明したクラス分類が行われる。
【０４４０】
そして、ステップＳ１５６において、クラス分類回路６７が注目画素のクラスコードを出力すると、ステップＳ１５７に進み、クラスコード操作部１６１は、モード制御部１０１が出力する注目画素の領域情報に基づき、クラス分類回路６７が出力するクラスコードを、図３１で説明したようにして操作し、正規方程式加算回路６８に供給する。
【０４４１】
その後は、ステップＳ１５８に進み、以下、ステップＳ１５８乃至Ｓ１６３において、図２３のステップＳ１１７乃至Ｓ１２２における場合とそれぞれ同様の処理が行われる。これにより、タップ係数決定回路６９において、各クラスごとに、１６の縮退画素位置モードそれぞれに対応する１６セットのタップ係数が求められ、係数テーブル記憶部７０の、各クラスに対応するアドレスに供給されて記憶され、処理を終了する。
【０４４２】
なお、上述の図５、図１１、図１９、および図２４の実施の形態においては、逆量子化回路４０を設けて、係数変換回路３２を構成するようにしたが、係数変換回路３２は、逆量子化回路４０を設けずに構成することが可能である。但し、係数変換回路３２を、逆量子化回路４０を設けずに構成する場合には、その係数変換回路３２で用いるタップ係数を学習する学習装置（図８、図１６、図２２、図３３）も、逆量子化回路６４を設けずに構成する必要がある。
【０４４３】
次に、上述の実施の形態では、図２のエンコーダ２１に供給される画像データが静止画であり、エンコーダ２１において、その画像データがＪＰＥＧ符号化される場合について説明したが、図２の画像伝送システムは、動画の画像データを符号化する場合にも適用可能である。
【０４４４】
そこで、図３５は、動画の画像データを符号化する図２のエンコーダ２１の構成例を示している。
【０４４５】
なお、図３５の実施の形態では、画像データが、例えば、ＭＰＥＧ符号化されるようになっている。
【０４４６】
即ち、ＭＰＥＧ符号化の対象である動画の画像データを構成するフレーム（またはフィールド）は、順次、動き検出回路２０１と演算器２０２に供給される。
【０４４７】
動き検出回路２０１は、そこに供給されるフレームについて、マクロブロック単位で、動きベクトルを検出し、エントロピー符号化回路２０６および動き補償回路２１０に供給する。
【０４４８】
演算器２０２は、そこに供給される画像が、Ｉ(Intra)ピクチャであれば、そのままブロック化回路２０３に供給し、Ｐ(Predictive)またはＢ(Bidirectionally predictive)ピクチャであれば、動き補償回路１００から供給される予測画像との差分を演算して、その差分値を、ブロック化回路２０３に供給する。
【０４４９】
ブロック化回路２０３は、演算器２０２の出力を、８×８画素のブロックにブロック化し、ＤＣＴ回路２０４に供給する。ＤＣＴ回路２０４は、ブロック化回路２０３からのブロックを２次元ＤＣＴ変換し、その結果得られる２次元ＤＣＴ係数を、量子化回路２０５に供給する。量子化回路２０５は、ＤＣＴ回路２０３からのブロック単位の２次元ＤＣＴ係数を所定の量子化ステップで量子化し、その結果得られる量子化ＤＣＴ係数をエントロピー符号化回路２０６に供給する。エントロピー符号化回路２０６は、量子化回路２０５からの量子化ＤＣＴ係数を可変長符号化等することによりエントロピー符号化し、動き検出回路２０１からの動きベクトルや、その他の必要な情報を付加する。そして、エントロピー符号化回路２０６は、その結果得られる符号化データを、ＭＰＥＧ符号化結果として出力する。
【０４５０】
量子化回路２０５が出力する量子化ＤＣＴ係数のうち、ＩピクチャおよびＰピクチャは、後で符号化されるＰピクチャやＢピクチャの参照画像として用いるのにローカルデコードする必要があるため、エントロピー符号化回路２０６の他、逆量子化回路２０７にも供給される。
【０４５１】
逆量子化回路２０７は、量子化回路２０５からの量子化ＤＣＴ係数を逆量子化することにより、２次元ＤＣＴ係数とし、逆ＤＣＴ回路２０８に供給する。逆ＤＣＴ回路２０８は、逆量子化回路２０７からの２次元ＤＣＴ係数を２次元逆ＤＣＴ変換し、演算器２０９に出力する。演算器２０９には、逆ＤＣＴ回路２０８の出力の他、動き補償回路２１０が出力する予測画像も供給されるようになっており、演算器２０９は、逆ＤＣＴ回路２０８の出力が、Ｐピクチャのものである場合には、その出力と、動き補償回路２１０の出力とを加算することで、元の画像を復号し、動き補償回路２１０に供給する。また、演算器２０９は、逆ＤＣＴ回路２０８の出力が、Ｉピクチャのものである場合には、その出力は、Ｉピクチャの復号画像となっているので、そのまま、動き補償回路２１０に供給する。
【０４５２】
動き補償回路２１０は、演算器２０９から供給される、ローカルデコードされた画像を参照画像として、その参照画像に対し、動き検出回路２０１からの動きベクトルにしたがった動き補償を施すことにより、予測画像を生成し、演算器２０２および２０９に供給する。
【０４５３】
次に、図３６は、エンコーダ２１において画像データがＭＰＥＧ符号化される場合の、図２のデコーダ２２の構成例を示している。
【０４５４】
エンコーダ２１（図３５）が出力する符号化データ（ビデオストリーム）は、分離部２２１に供給される。分離部２２１は、符号化データから、コーデッドブロックパターン(Coded Block Pattern)（以下、適宜、ＣＢＰという）、ＤＣＴタイプ、量子化ＤＣＴ係数のＶＬＣ（可変長符号化）コード、量子化スケール、動きベクトル、動き補償タイプ（frame motion type, field motion type）等を分離して出力する。
【０４５５】
ＤＣＴ係数抽出／逆量子化部２２２は、分離部２２１が出力する量子化ＤＣＴ係数のＶＬＣコード、量子化スケール、およびＤＣＴタイプを受信し、２次元ＤＣＴ係数を復号する。即ち、ＤＣＴ係数抽出／逆量子化部２は、分離部２２１が出力する量子化ＤＣＴ係数のＶＬＣコードを可変長復号し、８×８画素のブロックごとの量子化ＤＣＴ係数を求める。さらに、ＤＣＴ係数抽出／逆量子化部２は、ブロックごとの量子化ＤＣＴ係数を、分離部２２１が出力する量子化スケールによって逆量子化し、ブロックごとの２次元ＤＣＴ係数を求める。ＤＣＴ係数抽出／逆量子化部２で得られたブロックごとの２次元ＤＣＴ係数は、周波数領域動き補償加算部２２３に供給される。
【０４５６】
一方、動き補償部２２４は、分離部２２１が出力する動きベクトルや動き補償タイプを受信し、その動き補償タイプに基づいて、参照画像となるフレーム（またはフィールド）を、後述する画像メモリ２２９から読み出す。さらに、動き補償部２２４は、画像メモリ２２９から読み出した参照画像に対して、分離部２２１が出力する動きベクトルにしたがった動き補償を施し、その結果得られる予測画像を、画像メモリ２２５に供給して記憶させる。
【０４５７】
ここで、いま、復号の対象となっているブロックを、以下、適宜、注目ブロックという。
【０４５８】
ＤＣＴ変換部２２６は、分離部２２１が出力するＤＣＴタイプに基づき、ＤＣＴ係数抽出／逆量子化部２が出力する注目ブロックのＤＣＴタイプを認識する。さらに、ＤＣＴ変換部２２６は、注目ブロックのＤＣＴタイプに基づいて、画像メモリ２２５に記憶された予測画像から、ブロックと同一の大きさの８×８画素を選択し、２次元ＤＣＴ変換することで、２次元ＤＣＴ係数に変換する。この予測画像から得られた２次元ＤＣＴ係数（以下、適宜、予測ＤＣＴ係数という）は、ＤＣＴ変換部２２６から周波数領域動き補償加算部２２３に供給される。
【０４５９】
周波数領域動き補償加算部２２３には、ＤＣＴ変換部２２６から、８×８の予測ＤＣＴ係数が供給される他、分離部２２１から、注目ブロックを含むマクロブロック（以下、適宜、注目マクロブロックという）のＣＢＰが供給されるとともに、ＤＣＴ係数抽出／逆量子化部２２２から、注目ブロックが供給される。
【０４６０】
周波数領域動き補償加算部２２３は、注目マクロブロックのＣＢＰに基づき、必要に応じて、注目ブロックの各２次元ＤＣＴ係数と、対応する予測ＤＣＴ係数とを加算することで、注目ブロックの画素値を２次元ＤＣＴ変換した注目ＤＣＴブロックを求める。
【０４６１】
即ち、注目ブロックがイントラ符号化されているものである場合、その注目ブロックの２次元ＤＣＴ係数は、画素値のブロック（画素ブロック）を２次元ＤＣＴ変換したものとなっているから、周波数領域動き補償加算部２２３は、その注目ブロックを、そのまま、注目ＤＣＴブロックとする。
【０４６２】
また、注目ブロックがノンイントラ符号化されているものである場合、その注目ブロックは、画素値のブロック（画素ブロック）と、予測画像との差分値（残差画像）を２次元ＤＣＴ変換したものとなっているから、周波数領域動き補償加算部２２３は、その注目ブロックの各２次元ＤＣＴ係数と、ＤＣＴ変換部２２６において８×８画素の予測画像を２次元ＤＣＴ変換して得られる８×８の予測ＤＣＴ係数のうちの対応するものとを加算することにより、注目ＤＣＴブロックを求める。
【０４６３】
周波数領域動き補償加算部２２３において求められた注目ＤＣＴブロックは、バッファメモリ２２７に供給されて一時記憶される。
【０４６４】
ここで、バッファメモリ２２７に記憶されるブロックの２次元ＤＣＴ係数は、ブロックのピクチャタイプによらず、また、ブロックがイントラ符号化またはノンイントラ符号化されたかによらず、元の画像の画素値（残差画像ではなく、元の画像）をＤＣＴ変換したものとなっている。
【０４６５】
なお、ここでいう元の画像は、残差画像と予測画像とを加算して得られるものを意味し、ＭＰＥＧ符号化の対象となった原画像そのものではない。
【０４６６】
係数変換回路２２８は、バッファメモリ２２７に記憶された２次元ＤＣＴ係数を用いて、上述したクラス分類適応処理を行うことにより、２次元ＤＣＴ係数のブロックを、画素値のブロックに復号し、画像メモリ２２９とピクチャ選択部２３０に供給する。
【０４６７】
画像メモリ２２９は、係数変換回路２２８から供給される復号画像データのうち、ＩピクチャとＰピクチャの復号画像データを、その後に復号される符号化データの参照画像として一時記憶する。なお、ＭＰＥＧでは、Ｂピクチャは参照画像とされないことから、係数変換回路２２８が出力する復号画像が、Ｂピクチャの画像である場合には、その復号画像は、画像メモリ２２９に記憶されない。
【０４６８】
ピクチャ選択部２３０は、係数変換回路２２８が出力する復号画像、または画像メモリ２２９に記憶された復号画像のフレーム（またはフィールド）を、表示順に選択して出力する。即ち、ＭＰＥＧでは、画像のフレーム（またはフィールド）の表示順と復号順（符号化順）とが一致していないため、ピクチャ選択部２３０は、復号順に並んでいる復号画像のフレーム（またはフィールド）を表示順に並べ替えて出力する。
【０４６９】
次に、図３７は、図３６の周波数領域動き補償加算部２２３およびＤＣＴ変換部２２６の構成例を示している。
【０４７０】
ＤＣＴ変換部２２６は、（８×８画素）サンプリング部２４１とＤＣＴ部２４２から構成され、画像メモリ２２５に記憶された予測画像を２次元ＤＣＴ変換した予測ＤＣＴ係数を生成するようになっている。
【０４７１】
即ち、サンプリング部２４１には、画像メモリ２２５に記憶された予測画像と、分離部２２１（図３６）が出力する注目ブロック（を含むマクロブロック）のＤＣＴタイプが供給されるようになっている。
【０４７２】
ここで、画像メモリ２２５には、動き補償部２２４（図３６）から、マクロブロックと同一の大きさである１６×１６画素の予測画像が供給されるようになっており、画像メモリ２２５は、注目ブロックに対応する１６×１６画素の予測画像を記憶する。従って、画像メモリ２２５は、少なくとも１６×１６画素の画像を記憶することのできる記憶容量を有している。
【０４７３】
サンプリング部２４１は、画像メモリ２２５に記憶された１６×１６画素の予測画像を、注目ブロックのＤＣＴタイプにしたがってサンプリングし、ブロックと同一の大きさの８×８画素の予測画像を生成する。
【０４７４】
即ち、例えば、いま、エンコーダ２１が画像データをＭＰＥＧ２方式で符号化するものとすると、ＭＰＥＧ２では、ＤＣＴタイプとして、フレームＤＣＴとフィールドＤＣＴを選択することができる。一方、画像メモリ２２５に記憶された１６×１６画素の予測画像は、フレーム構造になっており、注目ブロックの構造と一致する場合と、一致しない場合とがある。
【０４７５】
具体的には、注目ブロックがフレーム構造である場合には、注目ブロックがフレーム構造で、画像メモリ２２５に記憶された１６×１６画素の予測画像もフレーム構造であるから、両者は一致した構造（フレーム構造）のものとなる。
【０４７６】
従って、注目ブロックが、図３８（Ａ）に示すように、マクロブロック（注目マクロブロック）の左上、左下、右上、または右下のブロックである場合、サンプリング部２４１は、図３８（Ｂ）に示すように、画像メモリ２２５に記憶された１６×１６画素の予測画像のうち、左上、左下、右上、または右下の８×８画素を、それぞれサンプリングし、これにより、注目ブロックの各画素と空間的に対応する位置にある８×８画素の予測画像を得て、ＤＣＴ部２４２に供給する。
【０４７７】
ここで、図３８において（後述する図３９においても同様）、影を付してあるラインは、奇数ライン（トップフィールド）を表し、影を付していないラインは、偶数ライン（ボトムフィールド）を表す。
【０４７８】
一方、注目ブロックがフィールド構造である場合は、注目ブロックがフィールド構造で、画像メモリ２２５に記憶された１６×１６画素の予測画像がフレーム構造であるから、両者は、異なる構造のものとなる。
【０４７９】
即ち、この場合、注目ブロックを含むマクロブロック（注目マクロブロック）は、図３９（Ａ）に示すように、上側の８ラインが奇数ライン（トップフィールド）で構成され、下側の８ラインが偶数ライン（ボトムフィールド）で構成される。
【０４８０】
従って、注目ブロックが、注目マクロブロックの左上のブロックである場合、その注目ブロックの８×８画素は、図３９（Ｂ）に示すように、画像メモリ２２５に記憶された１６×１６画素の予測画像のうちの、８つの奇数ライン（影を付してあるライン）の左側の８画素に対応する。また、注目ブロックが、注目マクロブロックの左下のブロックである場合、その注目ブロックの８×８画素は、図３９（Ｂ）に示すように、画像メモリ２２５に記憶された１６×１６画素の予測画像のうちの、８つの偶数ライン（影を付してないライン）の左側の８画素に対応する。さらに、注目ブロックが、注目マクロブロックの右上のブロックである場合には、その注目ブロックの８×８画素は、図３９（Ｂ）に示すように、画像メモリ２２５に記憶された１６×１６画素の予測画像のうちの、８つの奇数ライン（影を付してあるライン）の右側の８画素に対応し、また、注目ブロックが、注目マクロブロックの右下のブロックである場合には、その注目ブロックの８×８画素は、図３９（Ｂ）に示すように、画像メモリ２２５に記憶された１６×１６画素の予測画像のうちの、８つの偶数ライン（影を付してないライン）の右側の８画素に対応する。
【０４８１】
そこで、サンプリング部２４１は、注目ブロックが、フィールド構造である場合には、画像メモリ２２５に記憶された１６×１６画素の予測画像のうち、注目マクロブロックにおける注目ブロックの位置に対応する、上述のような８×８画素をサンプリングし、これにより、注目ブロックの各画素と空間的に対応する位置にある８×８画素の予測画像を得て、ＤＣＴ部２４２に供給する。
【０４８２】
ＤＣＴ部２４２は、サンプリング部２４１から供給される、注目ブロックの各画素と空間的に対応する位置にある８×８画素の予測画像を２次元ＤＣＴ変換し、これにより、８×８の予測ＤＣＴ係数を得て、周波数領域動き補償加算部２２３に供給する。
【０４８３】
なお、サンプリング部２４１において、注目ブロックの構造は、分離部２２１（図３６）が出力する注目ブロック（を含む注目マクロブロック）のＤＣＴタイプに基づいて認識される。
【０４８４】
周波数領域動き補償加算部２２３は、ＤＣＴ係数選択部２５１、加算部２５２、および選択部２５３から構成され、ＤＣＴ係数抽出／逆量子化部２２２（図３６）から供給される注目ブロックの２次元ＤＣＴ係数と、ＤＣＴ変換部２２６から供給される予測ＤＣＴ係数とを、必要に応じて加算することにより、注目ブロックの元の画像の２次元ＤＣＴ係数を求める。
【０４８５】
即ち、ＤＣＴ係数選択部２５１には、ＤＣＴ係数抽出／逆量子化部２２２（図３６）が出力する注目ブロックの２次元ＤＣＴ係数と、分離部２２１（図３６）が出力する注目ブロック（を含む注目マクロブロック）のＣＢＰが供給されるようになっている。
【０４８６】
注目ブロックがイントラ符号化されたものである場合、ＤＣＴ係数選択部２５１は、注目ブロックを、そのまま出力する。ＤＣＴ係数選択部２５１の出力は、加算部２５２と選択部２５３に供給される。
【０４８７】
加算部２５２は、注目ブロックがイントラ符号化されたものである場合、特に処理を行わず、また、選択部２５３は、ＤＣＴ係数選択部２５１の出力を選択し、後段のバッファメモリ２２７（図３６）に供給する。
【０４８８】
従って、注目ブロックがイントラ符号化されたものである場合、即ち、ＤＣＴ係数抽出／逆量子化部２２２（図３６）が出力する注目ブロックの２次元ＤＣＴ係数が、注目ブロックの元の画像を２次元ＤＣＴ変換したものである場合には、ＤＣＴ係数抽出／逆量子化部２２２（図３６）が出力する注目ブロックの２次元ＤＣＴ係数が、そのまま、バッファメモリ２２７（図３６）に供給される。
【０４８９】
一方、ＤＣＴ係数選択部２５１は、注目ブロックがノンイントラ符号化されたものである場合、その注目ブロックのＣＢＰを参照し、残差画像の２次元ＤＣＴ係数の有無を認識する。即ち、注目ブロックがノンイントラ符号化されたものである場合には、その注目ブロックには、原則として、残差画像の２次元ＤＣＴ係数が配置されるが、残差画像の２次元ＤＣＴ係数（量子化された２次元ＤＣＴ係数）がすべて０となるときには、ＣＢＰが０とされ、２次元ＤＣＴ係数は配置されない。そして、この場合、注目ブロックの画像は、予測画像に一致する。
【０４９０】
そこで、ＤＣＴ係数選択部２５１は、注目ブロックがノンイントラ符号化されたものであり、そのＣＢＰが０である場合には、残差画像の２次元ＤＣＴ係数として０を出力する。
【０４９１】
また、ＤＣＴ係数選択部２５１は、注目ブロックがノンイントラ符号化されたものであり、そのＣＢＰが１である場合、ＤＣＴ係数抽出／逆量子化部２２２（図３６）が出力する注目ブロックには、残差画像の２次元ＤＣＴ係数が配置されているから、その２次元ＤＣＴ係数を選択して出力する。
【０４９２】
ＤＣＴ係数選択部２５１の出力は、上述したように、加算部２５２と選択部２５３に供給される。
【０４９３】
加算部２５２は、注目ブロックがノンイントラ符号化されたものである場合、ＤＣＴ係数選択部２５１の出力と、ＤＣＴ変換部２２６（のＤＣＴ部２４２）が出力する予測画像の２次元ＤＣＴ係数とを加算し、これにより、注目ブロックについて、元の画像の２次元ＤＣＴ係数を得て、選択部２５３に供給する。
【０４９４】
選択部２５３は、注目ブロックがノンイントラ符号化されたものである場合、演算部７２の出力を選択し、後段のバッファメモリ２２７（図３６）に供給する。
【０４９５】
従って、注目ブロックがノンイントラ符号化されたものである場合において、注目ブロックのＣＢＰが０であるときには、注目ブロックの画像が、予測画像に一致するため、加算部２５２において、ＤＣＴ係数選択部２５１が出力する０と、ＤＣＴ部２４２が出力する予測画像のＤＣＴ係数（予測ＤＣＴ係数）とが加算されることにより、注目ブロックの元の画像の２次元ＤＣＴ係数が求められる。
【０４９６】
また、注目ブロックのＣＢＰが１であるときには、加算部２５２において、ＤＣＴ係数選択部２５１が出力する注目ブロックの残差画像のＤＣＴ係数と、ＤＣＴ部２４２が出力する予測画像のＤＣＴ係数（予測ＤＣＴ係数）とが加算されることにより、やはり、注目ブロックの元の画像の２次元ＤＣＴ係数が求められる。
【０４９７】
そして、選択部２５３では、加算部２５２において上述したようにして得られる、注目ブロックの元の画像の２次元ＤＣＴ係数が選択されて出力される。
【０４９８】
なお、図３６のデコーダ２２では、周波数領域において、残差画像と予測画像とを加算して、元の画像の２次元ＤＣＴ係数を求めるようにしたが、即ち、残差画像の２次元ＤＣＴ係数と、予測画像の２次元ＤＣＴ係数とを加算して、元の画像の２次元ＤＣＴ係数を求めるようにしたが、元の画像の２次元ＤＣＴ係数は、その他、例えば、符号化データを、ＭＰＥＧ復号し、これにより得られる復号画像データをブロック単位で２次元ＤＣＴ変換することにより求めるようにすることも可能である。
【０４９９】
また、元の画像の２次元ＤＣＴ係数は、ＤＣＴ係数抽出／逆量子化部２２２の出力を２次元逆ＤＣＴ変換することにより得られる残差画像と、係数変換回路２２８の出力を参照画像として動き補償を行うことにより得られる予測画像とを、時間領域において加算し、その加算結果を、２次元ＤＣＴ変換することによって求めても良い。
【０５００】
次に、図４０は、図３６の係数変換回路２２８の構成例を示している。なお、図中、図１１の係数変換回路３２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図４０の係数変換回路２２８は、逆量子化回路４０が設けられていない他は、図１１の係数変換回路３２と基本的に同様に構成されている。
【０５０１】
従って、図４０の係数変換回路２２８では、バッファメモリ２２７（図３６）に記憶された２次元ＤＣＴ係数が、図１１の係数変換回路３２における場合と基本的に同様に処理されることにより、画素値に復号される。
【０５０２】
但し、ＭＰＥＧでは、予測方式の違いにより、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３つのピクチャタイプがあるので、図４０の係数テーブル記憶部４４には、その３つのピクチャタイプごとに、タップ係数が記憶されており、各ピクチャタイプの画像の復号は、そのピクチャタイプ用のタップ係数を用いて行われるようになっている。
【０５０３】
このため、図４０の係数変換回路２２８で用いられるタップ係数の学習は、ピクチャタイプごとに行われるようになっている。
【０５０４】
即ち、図４１は、図４０の係数変換回路２２８で用いられるＩピクチャ用のタップ係数を学習する場合の学習装置の一実施の形態の構成例を示している。なお、図中、図１６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０５０５】
生徒データ生成部２６１には、学習用の画像データ（ここでは、動画の画像データ）が供給されるようになっており、生徒データ生成部２６１は、学習用の画像データから、生徒データを生成する。
【０５０６】
即ち、生徒データ生成部２６１は、ＭＰＥＧエンコーダ２６２、分離部２６３、およびＤＣＴ係数抽出／逆量子化部２６４から構成されている。
【０５０７】
ＭＰＥＧエンコーダ２６２は、図３５のエンコーダ２１と同様に構成されており、学習用の画像データとしての動画の画像データを、順次、ＭＰＥＧ符号化し（例えば、ＭＰＥＧ２方式で符号化し）、その結果得られる符号化データを、分離部２６３に供給する。分離部２６３とＤＣＴ係数抽出／逆量子化部２６４は、図３６の分離部２２１とＤＣＴ係数抽出／逆量子化部２２２とそれぞれ同様に構成されており、符号化データから、量子化ＤＣＴ係数を分離、抽出し、逆量子化して出力する。
【０５０８】
なお、分離部２６３およびＤＣＴ係数抽出／逆量子化部２６４は、Ｉピクチャのみを対象に処理を行う。
【０５０９】
従って、ＤＣＴ係数抽出／逆量子化部２６４からは、Ｉピクチャについての２次元ＤＣＴ係数が出力され、ＰピクチャやＢピクチャのデータは出力されない。
【０５１０】
ＤＣＴ係数抽出／逆量子化部２６４が出力するＩピクチャについての２次元ＤＣＴ係数は、生徒データとして、予測タップ抽出回路６５およびクラスタップ抽出回路６６に供給される。
【０５１１】
一方、学習用の画像データは、教師データとして、正規方程式加算回路６８に供給され、以下、予測タップ抽出回路６５、クラスタップ抽出回路６６、クラス分類回路６７、正規方程式加算回路６８、タップ係数決定回路６９、係数テーブル記憶部７０、モード制御部１０１、および符号制御部１０２において、上述の生徒データおよび教師データを用いて、図１６における場合と同様の処理が行われることにより、Ｉピクチャ用のタップ係数が、各クラスごとに、かつ各縮退画素位置モードごとに求められる。
【０５１２】
次に、図４２は、図４０の係数変換回路２２８で用いられるＰピクチャ用のタップ係数を学習する場合の学習装置の一実施の形態の構成例を示している。なお、図中、図１６または図４１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図４２の学習装置は、生徒データ生成部２６１に代えて、生徒データ生成部２７１が設けられている他は、図４１における場合と基本的に同様に構成されている。
【０５１３】
ここで、Ｐピクチャは、時間的に先行して復号（符号化）されるＩまたはＰピクチャを参照画像として予測符号化（ノンイントラ符号化）されるため、即ち、原画像から予測画像を減算した残差画像が２次元ＤＣＴ変換されるため、図３６のデコーダ２２では、先に復号されたＩまたはＰピクチャに動き補償を施し、その結果得られる予測画像の２次元ＤＣＴ係数と、Ｐピクチャの残差画像の２次元ＤＣＴ係数とを加算した後に、係数変換回路２２８において、クラス分類適応処理を施すようになっている。
【０５１４】
従って、Ｐピクチャ用のタップ係数の学習においては、Ｐピクチャの残差画像の２次元ＤＣＴ係数に、予測画像の２次元ＤＣＴ係数を加算したものを、生徒データとして用いる必要がある。
【０５１５】
ところで、Ｐピクチャの予測画像は、先に復号されたＩまたはＰピクチャを参照画像として、その参照画像に、動き補償を施すことで得ることができるが、いまの場合、Ｐピクチャのタップ係数を学習しようとしているので、Ｐピクチャ用のタップ係数は存在しない。
【０５１６】
一方、Ｉピクチャ用のタップ係数は、図４１の学習装置において、あらかじめ求めておくことができる。
【０５１７】
そこで、図４２の学習装置では、生徒データ生成部２７１において、Ｉピクチャを参照画像として予測符号化されるＰピクチャのブロックから、生徒データが生成されるようになっている。
【０５１８】
即ち、生徒データ生成部２７１において、ＭＰＥＧエンコーダ２７２は、図３５のエンコーダ２１と同様に構成され、学習用の画像データをＭＰＥＧ符号化し、その結果得られる符号化データを、分離部２７３に供給する。分離部２７３とＤＣＴ係数抽出／逆量子化部２７４は、図３６の分離部２２１とＤＣＴ係数抽出／逆量子化部２２２とそれぞれ同様に構成されており、符号化データから、量子化ＤＣＴ係数を分離、抽出し、逆量子化する。
【０５１９】
なお、分離部２７３およびＤＣＴ係数抽出／逆量子化部２７４は、Ｉピクチャと、Ｐピクチャの予測符号化されたブロックのみを対象に処理を行う。また、分離部２７３は、符号化データから、量子化ＤＣＴ係数の他、量子化スケールやＤＣＴタイプや動きベクトル等のサイドインフォメーションも、必要に応じて分離する。
【０５２０】
ＤＣＴ係数抽出／逆量子化部２７４は、Ｉピクチャの２次元ＤＣＴ係数を得た場合、そのＩピクチャの２次元ＤＣＴ係数を、係数変換回路２７６に供給する。
【０５２１】
また、ＤＣＴ係数抽出／逆量子化部２７４は、Ｐピクチャの予測符号化されたブロックの２次元ＤＣＴ係数、即ち、Ｐピクチャの残差画像の２次元ＤＣＴ係数を得た場合、その残差画像の２次元ＤＣＴ係数を、周波数領域動き補償加算部２７５に供給する。
【０５２２】
さらに、ＤＣＴ係数抽出／逆量子化部２７４は、Ｐピクチャの予測符号化されたブロックの動きベクトルを得た場合、その動きベクトルを、動き補償部２７８に供給する。
【０５２３】
係数変換回路２７６は、図４１の学習装置で得られたＩピクチャ用のタップ係数を記憶しており、そのタップ係数と、ＤＣＴ係数抽出／逆量子化部２７４から供給されるＩピクチャの２次元ＤＣＴ係数とを用いて、図４０の係数変換回路２２８における場合と同様の処理を行うことにより、Ｉピクチャの復号画像を得る。このＩピクチャの復号画像は、参照画像として、Ｉピクチャストレージ２７７に供給されて記憶される。
【０５２４】
その後、動き補償部２７８は、ＤＣＴ係数抽出／逆量子化部２７４から供給される動きベクトルによって動き補償を施すべき参照画像としてのＩピクチャを、Ｉピクチャストレージ２７７から読み出し、そのＩピクチャに動き補償を施すことで、予測画像を生成する。この予測画像は、画像メモリ２７９に供給されて記憶される。画像メモリ２７９に記憶された予測画像は、ＤＣＴ変換部２８０において２次元ＤＣＴ係数に変換され、周波数領域動き補償加算部２７５に供給される。周波数領域動き補償加算部２７５は、ＤＣＴ係数抽出／逆量子化部２７４から供給されるＰピクチャの残差画像の２次元ＤＣＴ係数と、ＤＣＴ変換部２８０から供給される予測画像の２次元ＤＣＴ係数とを加算する。
【０５２５】
即ち、動き補償部２７８、画像メモリ２７９、ＤＣＴ変換部２８０、および周波数領域動き補償加算部２７５は、図３６の動き補償部２２４、画像メモリ２２５、ＤＣＴ変換部２２６、周波数領域動き補償加算部２２３と同様に構成されるものであり、従って、周波数領域動き補償加算部２７５において、ＤＣＴ係数抽出／逆量子化部２７４からのＰピクチャの残差画像の２次元ＤＣＴ係数と、ＤＣＴ変換部２８０からの予測画像の２次元ＤＣＴ係数とが加算されることにより、Ｐピクチャの元の画像（上述したように、原画像ではない）を２次元ＤＣＴ変換した２次元ＤＣＴ係数が得られる。
【０５２６】
周波数領域動き補償加算部２７５で得られたＰピクチャの元の画像の２次元ＤＣＴ係数は、生徒データとして、予測タップ抽出回路６５およびクラスタップ抽出回路６６に供給される。
【０５２７】
一方、学習用の画像データは、教師データとして、正規方程式加算回路６８に供給され、以下、予測タップ抽出回路６５乃至係数テーブル記憶部７０、モード制御部１０１、および符号制御部１０２において、上述の生徒データおよび教師データを用いて、図１６における場合と同様の処理が行われることにより、Ｐピクチャ用（正確には、Ｐピクチャの予測符号化されたブロック用）のタップ係数が、各クラスごとに、かつ各縮退画素位置モードごとに求められる。
【０５２８】
次に、図４３は、図４０の係数変換回路２２８で用いられるＢピクチャ用のタップ係数を学習する場合の学習装置の一実施の形態の構成例を示している。なお、Ｂピクチャ用のタップ係数を学習する学習装置も、図４２のＰピクチャ用のタップ係数を学習する学習装置と同様に、生徒データ生成部だけが、図４１のＩピクチャ用のタップ係数を学習する学習装置と異なるだけであるため、図４３においては、Ｂピクチャ用のタップ係数を学習する学習装置の生徒データ生成部だけを図示してある。
【０５２９】
Ｂピクチャも、Ｐピクチャと同様に、時間的に先行して復号されるＩまたはＰピクチャを参照画像として予測符号化（ノンイントラ符号化）されるため、即ち、原画像から予測画像を減算した残差画像が２次元ＤＣＴ変換されるため、図３６のデコーダ２２では、先に復号されたＩまたはＰピクチャに動き補償を施し、その結果得られる予測画像の２次元ＤＣＴ係数と、Ｂピクチャの残差画像の２次元ＤＣＴ係数とを加算した後に、係数変換回路２２８において、クラス分類適応処理を施すようになっている。
【０５３０】
従って、Ｂピクチャ用のタップ係数の学習においては、Ｂピクチャの残差画像の２次元ＤＣＴ係数に、予測画像の２次元ＤＣＴ係数を加算したものを、生徒データとして用いる必要がある。
【０５３１】
そこで、図４３の学習装置では、そのような生徒データを生成して、学習を行うようになっている。
【０５３２】
即ち、ＭＰＥＧエンコーダ２９１には、学習用の画像データが供給されるようになっている。ＭＰＥＧエンコーダ２９１は、図３５のエンコーダ２１と同様に構成されており、学習用の画像データをＭＰＥＧ符号化し、その結果得られる符号化データを、分離部２９２に供給する。分離部２９２とＤＣＴ係数抽出／逆量子化部２９３は、図３６の分離部２２１とＤＣＴ係数抽出／逆量子化部２２２とそれぞれ同様に構成されており、符号化データから、量子化ＤＣＴ係数を分離、抽出し、逆量子化して出力する。
【０５３３】
ＤＣＴ係数抽出／逆量子化部２９３が出力するＩピクチャの２次元ＤＣＴ係数は、係数変換回路２９５に供給される。また、ＤＣＴ係数抽出／逆量子化部２９３が出力するＰピクチャの２次元ＤＣＴ係数は、周波数領域動き補償加算部２９４に供給される。さらに、ＤＣＴ係数抽出／逆量子化部２９３が出力するＢピクチャの２次元ＤＣＴ係数は、周波数領域動き補償加算部３０５に供給される。
【０５３４】
ここで、分離部２９２は、符号化データから、量子化ＤＣＴ係数の他、量子化スケールやＤＣＴタイプや動くベクトル等のサイドインフォメーションも、必要に応じて分離し、ＤＣＴ係数抽出／逆量子化部２９３を介して、必要なブロックに供給する。なお、サイドインフォメーションについては、図４３の実施の形態では、ＤＣＴ係数抽出／逆量子化部２９３から動き補償部２９７へのＰピクチャの動きベクトルの供給と、ＤＣＴ係数抽出／逆量子化部２９３から動き補償部３０２へのＢピクチャの動きベクトルの供給だけを、図示してある。
【０５３５】
また、ＤＣＴ係数抽出／逆量子化部２９３は、Ｂピクチャの予測符号化されたブロックの２次元ＤＣＴ係数、即ち、残差画像の２次元ＤＣＴ係数だけを、周波数領域動き補償加算部３０５に供給する。
【０５３６】
さらに、ＤＣＴ係数抽出／逆量子化部２９３は、Ｐピクチャについては、予測符号化されたブロックの２次元ＤＣＴ係数だけを、周波数領域動き補償加算部２９４に供給する。なお、ＤＣＴ係数抽出／逆量子化部２９３では、ＰおよびＢピクチャのイントラ符号化されたブロックの２次元ＤＣＴ係数は、係数変換回路２９５に供給され、以下、イントラ符号化されたＩピクチャと同様に処理される。
【０５３７】
係数変換回路２９５は、図４１の学習装置で得られたＩピクチャ用のタップ係数を記憶しており、そのタップ係数と、ＤＣＴ係数抽出／逆量子化部２７４から供給されるＩピクチャのブロックの２次元ＤＣＴ係数、またはイントラ符号化されたＰピクチャのブロックの２次元ＤＣＴ係数とを用いて、図４０の係数変換回路２２８における場合と同様の処理を行うことにより、Ｉピクチャの復号画像、またはイントラ符号化されたＰピクチャの復号画像を得る。Ｉピクチャの復号画像は、参照画像として、Ｉピクチャストレージ２９６に供給されて記憶され、Ｐピクチャの復号画像は、Ｐピクチャストレージ３０１に供給されて記憶される。
【０５３８】
その後、動き補償部２９７は、ＤＣＴ係数抽出／逆量子化部２９３から供給される動きベクトルによって動き補償を施すべき参照画像としてのＩピクチャを、Ｉピクチャストレージ２９６から読み出し、そのＩピクチャに動き補償を施すことで、Ｐピクチャの予測画像を生成する。このＰピクチャの予測画像は、画像メモリ２９８に供給されて記憶される。画像メモリ２９８に記憶された予測画像は、ＤＣＴ変換部２９９において２次元ＤＣＴ係数に変換され、周波数領域動き補償加算部２９４に供給される。周波数領域動き補償加算部２９４は、ＤＣＴ係数抽出／逆量子化部２９３から供給されるＰピクチャの残差画像の２次元ＤＣＴ係数と、ＤＣＴ変換部２９９から供給される予測画像の２次元ＤＣＴ係数とを加算する。
【０５３９】
即ち、動き補償部２９７、画像メモリ２９８、ＤＣＴ変換部２９９、および周波数領域動き補償加算部２９４は、図３６の動き補償部２２４、画像メモリ２２５、ＤＣＴ変換部２２６、周波数領域動き補償加算部２２３と同様に構成されるものであり、従って、周波数領域動き補償加算部２９４において、ＤＣＴ係数抽出／逆量子化部２９３からのＰピクチャの残差画像の２次元ＤＣＴ係数と、ＤＣＴ変換部２９９からの予測画像の２次元ＤＣＴ係数とが加算されることにより、Ｐピクチャの元の画像（上述したように、原画像ではない）を２次元ＤＣＴ変換した２次元ＤＣＴ係数が得られる。
【０５４０】
周波数領域動き補償加算部２９４で得られたＰピクチャの元の画像の２次元ＤＣＴ係数は、係数変換回路３００に供給される。
【０５４１】
係数変換回路３００は、図４２の学習装置で得られたＰピクチャ用のタップ係数を記憶しており、そのタップ係数と、ＤＣＴ係数抽出／逆量子化部２９４から供給されるノンイントラ符号化されたＰピクチャのブロックの２次元ＤＣＴ係数とを用いて、図４０の係数変換回路２２８における場合と同様の処理を行うことにより、ノンイントラ符号化されたＰピクチャの復号画像を得る。このノンイントラ符号化されたＰピクチャの復号画像は、Ｐピクチャストレージ３０１に供給されて記憶される。なお、上述したように、Ｐピクチャストレージ３０１は、係数変換回路２９５から供給される、イントラ符号化されたＰピクチャのブロックの復号画像も記憶する。
【０５４２】
その後、動き補償部３０２は、ＤＣＴ係数抽出／逆量子化部２９３から供給されるＢピクチャの動きベクトルによって動き補償を施すべき参照画像としてのＩまたはＰピクチャを、Ｉピクチャストレージ２９６またはＰピクチャストレージ３０１から読み出し、そのＩまたはＰピクチャに動き補償を施すことで、Ｂピクチャの予測画像を生成する。このＢピクチャの予測画像は、画像メモリ３０３に供給されて記憶される。画像メモリ３０３に記憶された予測画像は、ＤＣＴ変換部３０４において２次元ＤＣＴ係数に変換され、周波数領域動き補償加算部３０５に供給される。周波数領域動き補償加算部３０５は、ＤＣＴ係数抽出／逆量子化部２９３から供給されるＢピクチャの残差画像の２次元ＤＣＴ係数と、ＤＣＴ変換部３０４から供給される予測画像の２次元ＤＣＴ係数とを加算する。
【０５４３】
即ち、動き補償部３０２、画像メモリ３０３、ＤＣＴ変換部３０４、および周波数領域動き補償加算部３０５は、図３６の動き補償部２２４、画像メモリ２２５、ＤＣＴ変換部２２６、周波数領域動き補償加算部２２３と同様に構成されるものであり、従って、周波数領域動き補償加算部３０５において、ＤＣＴ係数抽出／逆量子化部２９３からのＢピクチャの残差画像の２次元ＤＣＴ係数と、ＤＣＴ変換部３０４からの予測画像の２次元ＤＣＴ係数とが加算されることにより、Ｂピクチャの元の画像（上述したように、原画像ではない）を２次元ＤＣＴ変換した２次元ＤＣＴ係数が得られる。
【０５４４】
周波数領域動き補償加算部３０５で得られたＢピクチャの元の画像の２次元ＤＣＴ係数は、生徒データとして出力される。そして、以降は、図４１の学習装置における場合と同様の処理が行われ、これにより、Ｂピクチャ用（正確には、Ｂピクチャの予測符号化されたブロック用）のタップ係数が、各クラスごとに、かつ各縮退画素位置モードごとに求められる。
【０５４５】
図４０の係数テーブル記憶部４４には、以上のような学習によって、各クラスごとに求められた１６の縮退画素位置モードそれぞれごとの、Ｉ，Ｐ，Ｂピクチャ用のタップ係数が記憶されている。
【０５４６】
なお、図４０の係数変換回路２２８では、Ｉピクチャのブロックについては、Ｉピクチャ用のタップ係数を用いてクラス分類適応処理が行われる。また、ＰピクチャまたはＢピクチャのブロックについては、そのブロックが予測符号化（ノンイントラ符号化）されている場合には、ＰピクチャまたはＢピクチャ用のタップ係数を用いてクラス分類適応処理がそれぞれ行われるが、ブロックがイントラ符号化されている場合には、Ｉピクチャ用のタップ係数を用いてクラス分類適応処理が行われる。
【０５４７】
また、上述の場合には、Ｉ，Ｐ，Ｂピクチャそれぞれ用のタップ係数を学習するようにしたが、Ｂピクチャ用のタップ係数の学習は省略することが可能である。この場合、図４０の係数変換回路２２８では、ＰピクチャとＢピクチャの予測符号化されたブロックについて、例えば、いずれも、Ｐピクチャ用のタップ係数を用いてクラス分類適応処理が行われる。
【０５４８】
さらに、上述の場合には、ピクチャタイプ別に、タップ係数の学習を行うようにしたが、タップ係数の学習は、ピクチャタイプに関係なく行うようにすることも可能である。
【０５４９】
次に、図４４は、図３６の係数変換回路２２８の第２の構成例を示している。なお、図中、図１９の係数変換回路３２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図４４の係数変換回路２２８は、逆量子化回路４０が設けられていない他は、図１９の係数変換回路３２と基本的に同様に構成されている。
【０５５０】
従って、図４４の係数変換回路２２８では、バッファメモリ２２７（図３６）に記憶された２次元ＤＣＴ係数が、図１９の係数変換回路３２における場合と基本的に同様に処理されることにより、画素値に復号される。
【０５５１】
但し、図４４の実施の形態でも、図４０における場合と同様に、係数テーブル記憶部４４には、その３つのピクチャタイプごとに、タップ係数が記憶されており、各ピクチャタイプの画像の復号は、そのピクチャタイプ用のタップ係数を用いて行われるようになっている。
【０５５２】
次に、図４５は、図４４の係数変換回路２２８で用いられるＩピクチャ用のタップ係数を学習する場合の学習装置の一実施の形態の構成例を示している。なお、図中、図２２または図４１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０５５３】
図４５の実施の形態では、生徒データ生成部２６１において、図４１における場合と同様にして、生徒データが生成される。
【０５５４】
そして、学習用の画像データが、教師データとして、正規方程式加算回路６８に供給され、以下、予測タップ抽出回路６５、クラスタップ抽出回路６６、クラス分類回路６７、正規方程式加算回路６８、タップ係数決定回路６９、係数テーブル記憶部７０、モード制御部１０１、符号制御部１０２、タップ構造記憶部１２１、および逆ＤＣＴ回路１２２において、上述の生徒データおよび教師データを用いて、図２２における場合と同様の処理が行われることにより、Ｉピクチャ用のタップ係数が、各クラスごとに、かつ各縮退画素位置モードごとに求められる。
【０５５５】
次に、図４６は、図４４の係数変換回路２２８で用いられるＰピクチャ用のタップ係数を学習する場合の学習装置の一実施の形態の構成例を示している。なお、図中、図２２、図４２、または図４５における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図４６の学習装置は、生徒データ生成部２６１に代えて、生徒データ生成部２７１が設けられている他は、図４５における場合と基本的に同様に構成されている。
【０５５６】
図４６の実施の形態では、生徒データ生成部２７１において、図４２における場合と同様にして、生徒データが生成される。
【０５５７】
そして、学習用の画像データが、教師データとして、正規方程式加算回路６８に供給され、以下、予測タップ抽出回路６５、クラスタップ抽出回路６６、クラス分類回路６７、正規方程式加算回路６８、タップ係数決定回路６９、係数テーブル記憶部７０、モード制御部１０１、符号制御部１０２、タップ構造記憶部１２１、および逆ＤＣＴ回路１２２において、上述の生徒データおよび教師データを用いて、図２２における場合と同様の処理が行われることにより、Ｐピクチャ用のタップ係数が、各クラスごとに、かつ各縮退画素位置モードごとに求められる。
【０５５８】
次に、図４７は、図４４の係数変換回路２２８で用いられるＢピクチャ用のタップ係数を学習する場合の学習装置の一実施の形態の構成例を示している。なお、Ｂピクチャ用のタップ係数を学習する学習装置も、図４６のＰピクチャ用のタップ係数を学習する学習装置と同様に、生徒データ生成部だけが、図４５のＩピクチャ用のタップ係数を学習する学習装置と異なるだけであるため、図４７においては、Ｂピクチャ用のタップ係数を学習する学習装置の生徒データ生成部だけを図示してある。
【０５５９】
図４７の実施の形態では、図４３における場合と同様にして、生徒データが生成される。
【０５６０】
そして、以降は、図４５の学習装置における場合と同様の処理が行われ、これにより、Ｂピクチャ用のタップ係数が、各クラスごとに、かつ各縮退画素位置モードごとに求められる。
【０５６１】
図４４の係数テーブル記憶部４４には、以上のような学習によって、各クラスごとに求められた１６の縮退画素位置モードそれぞれごとの、Ｉ，Ｐ，Ｂピクチャ用のタップ係数が記憶されている。
【０５６２】
なお、図４４の係数変換回路２２８では、Ｉピクチャのブロックについては、Ｉピクチャ用のタップ係数を用いてクラス分類適応処理が行われる。また、ＰピクチャまたはＢピクチャのブロックについては、そのブロックが予測符号化されている場合には、ＰピクチャまたはＢピクチャ用のタップ係数を用いてクラス分類適応処理がそれぞれ行われるが、ブロックがイントラ符号化されている場合には、Ｉピクチャ用のタップ係数を用いてクラス分類適応処理が行われる。
【０５６３】
また、上述の場合には、Ｉ，Ｐ，Ｂピクチャそれぞれ用のタップ係数を学習するようにしたが、Ｂピクチャ用のタップ係数の学習は省略することが可能である。この場合、図４４の係数変換回路２２８では、ＰピクチャとＢピクチャの予測符号化されたブロックについて、例えば、いずれも、Ｐピクチャ用のタップ係数を用いてクラス分類適応処理が行われる。
【０５６４】
さらに、上述の場合には、ピクチャタイプ別に、タップ係数の学習を行うようにしたが、タップ係数の学習は、ピクチャタイプに関係なく行うようにすることも可能である。
【０５６５】
次に、図４８は、図３６の係数変換回路２２８の第３の構成例を示している。なお、図中、図２４の係数変換回路３２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図４８の係数変換回路２２８は、逆量子化回路４０が設けられていない他は、図２４の係数変換回路３２と基本的に同様に構成されている。
【０５６６】
従って、図４８の係数変換回路２２８では、バッファメモリ２２７（図３６）に記憶された２次元ＤＣＴ係数が、図２４の係数変換回路３２における場合と基本的に同様に処理されることにより、画素値に復号される。
【０５６７】
但し、図４８の実施の形態でも、図４０における場合と同様に、係数テーブル記憶部４４には、その３つのピクチャタイプごとに、タップ係数が記憶されており、各ピクチャタイプの画像の復号は、そのピクチャタイプ用のタップ係数を用いて行われるようになっている。
【０５６８】
次に、図４９は、図４８の係数変換回路２２８で用いられるＩピクチャ用のタップ係数を学習する場合の学習装置の一実施の形態の構成例を示している。なお、図中、図３３または図４１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０５６９】
図４９の実施の形態では、生徒データ生成部２６１において、図４１における場合と同様にして、生徒データが生成される。
【０５７０】
そして、学習用の画像データが、教師データとして、正規方程式加算回路６８に供給され、以下、予測タップ抽出回路６５、クラスタップ抽出回路６６、クラス分類回路６７、正規方程式加算回路６８、タップ係数決定回路６９、係数テーブル記憶部７０、モード制御部１０１、符号制御部１０２、タップ構造記憶部１２１、逆ＤＣＴ回路１２２、およびクラスコード操作部１６１において、上述の生徒データおよび教師データを用いて、図３３における場合と同様の処理が行われることにより、Ｉピクチャ用のタップ係数が、各クラスごとに、かつ各縮退画素位置モードごとに求められる。
【０５７１】
次に、図５０は、図４８の係数変換回路２２８で用いられるＰピクチャ用のタップ係数を学習する場合の学習装置の一実施の形態の構成例を示している。なお、図中、図３３、図４２、または図４９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図５０の学習装置は、生徒データ生成部２６１に代えて、生徒データ生成部２７１が設けられている他は、図４９における場合と基本的に同様に構成されている。
【０５７２】
図５０の実施の形態では、生徒データ生成部２７１において、図４２における場合と同様にして、生徒データが生成される。
【０５７３】
そして、学習用の画像データが、教師データとして、正規方程式加算回路６８に供給され、以下、予測タップ抽出回路６５、クラスタップ抽出回路６６、クラス分類回路６７、正規方程式加算回路６８、タップ係数決定回路６９、係数テーブル記憶部７０、モード制御部１０１、符号制御部１０２、タップ構造記憶部１２１、逆ＤＣＴ回路１２２、およびクラスコード操作部１６１において、上述の生徒データおよび教師データを用いて、図３３における場合と同様の処理が行われることにより、Ｐピクチャ用のタップ係数が、各クラスごとに、かつ各縮退画素位置モードごとに求められる。
【０５７４】
次に、図５１は、図４８の係数変換回路２２８で用いられるＢピクチャ用のタップ係数を学習する場合の学習装置の一実施の形態の構成例を示している。なお、Ｂピクチャ用のタップ係数を学習する学習装置も、図５０のＰピクチャ用のタップ係数を学習する学習装置と同様に、生徒データ生成部だけが、図４９のＩピクチャ用のタップ係数を学習する学習装置と異なるだけであるため、図５１においては、Ｂピクチャ用のタップ係数を学習する学習装置の生徒データ生成部だけを図示してある。
【０５７５】
図５１の実施の形態では、図４３における場合と同様にして、生徒データが生成される。
【０５７６】
そして、以降は、図４９の学習装置における場合と同様の処理が行われ、これにより、Ｂピクチャ用のタップ係数が、各クラスごとに、かつ各縮退画素位置モードごとに求められる。
【０５７７】
図４８の係数テーブル記憶部４４には、以上のような学習によって、各クラスごとに求められた１６の縮退画素位置モードそれぞれごとの、Ｉ，Ｐ，Ｂピクチャ用のタップ係数が記憶されている。
【０５７８】
なお、図４８の係数変換回路２２８では、Ｉピクチャのブロックについては、Ｉピクチャ用のタップ係数を用いてクラス分類適応処理が行われる。また、ＰピクチャまたはＢピクチャのブロックについては、そのブロックが予測符号化されている場合には、ＰピクチャまたはＢピクチャ用のタップ係数を用いてクラス分類適応処理がそれぞれ行われるが、ブロックがイントラ符号化されている場合には、Ｉピクチャ用のタップ係数を用いてクラス分類適応処理が行われる。
【０５７９】
また、上述の場合には、Ｉ，Ｐ，Ｂピクチャそれぞれ用のタップ係数を学習するようにしたが、Ｂピクチャ用のタップ係数の学習は省略することが可能である。この場合、図４８の係数変換回路２２８では、ＰピクチャとＢピクチャの予測符号化されたブロックについて、例えば、いずれも、Ｐピクチャ用のタップ係数を用いてクラス分類適応処理が行われる。
【０５８０】
さらに、上述の場合には、ピクチャタイプ別に、タップ係数の学習を行うようにしたが、タップ係数の学習は、ピクチャタイプに関係なく行うようにすることも可能である。
【０５８１】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０５８２】
そこで、図５２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０５８３】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やＲＯＭ４０３に予め記録しておくことができる。
【０５８４】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０５８５】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。
【０５８６】
コンピュータは、CPU(Central Processing Unit)４０２を内蔵している。CPU４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、CPU４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)４０３に格納されているプログラムを実行する。あるいは、また、CPU４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、RAM(Random Access Memory)４０４にロードして実行する。これにより、CPU４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０５８７】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０５８８】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０５８９】
なお、本実施の形態では、教師データの予測値を、式（１）の線形１次予測演算によって求めるようにしたが、教師データの予測値は、その他、例えば、２次以上の高次の式を用いて求めるようにすることが可能である。
【０５９０】
また、例えば、図２４または図３３の実施の形態のように、クラスコード操作部１３１または１６１を設ける場合には、タップ構造記憶部１１１と逆ＤＣＴ回路１１２、またはタップ構造記憶部１２１と逆ＤＣＴ回路１２２を設けずに、装置を構成することが可能である。
【０５９１】
さらに、本実施の形態では、予測タップの符号とクラスコードの操作、予測タップのタップ構造の制御を、注目領域に基づいて行うようにしたが、注目領域は、注目画素の画素位置モードから認識することができるので、予測タップの符号の操作等は、注目画素の画素位置モードに基づいて行うことも可能である。
【０５９２】
また、本実施の形態では、注目ブロックの左上領域を基準として、予測タップの符号の操作、クラスコードの操作、タップ構造の制御について説明したが、予測タップの符号の操作等は、左上領域以外の右上領域や、左下領域、右下領域を基準として行うことが可能である。即ち、右上領域、左下領域、または右下領域を基準とした予測タップの符号の操作等は、注目ブロックを右に９０度、左に９０度、または１８０度だけそれぞれ回転した状態を考えることにより、左上領域を基準とした場合と同様に行うことができる。
【０５９３】
なお、本発明は、MPEG１，２，４、JPEG方式その他の２次元DCT変換を用いる符号化方式で符号化された画像データを復号する場合に適用可能である。
【０５９４】
【発明の効果】
本発明の第１の画像処理装置および画像処理方法、並びにプログラムによれば、符号化データを、効率的に、画質の良い復号画像に復号することが可能となる。
【０５９５】
本発明の第２の画像処理装置および画像処理方法、並びにプログラムによれば、タップ係数を学習する学習効率を向上させることが可能となる。
【図面の簡単な説明】
【図１】従来のＪＰＥＧ符号化とＪＰＥＧ復号を説明するための図である。
【図２】本発明を適用した画像伝送システムの一実施の形態の構成例を示すブロック図である。
【図３】デコーダ２２の第１の構成例を示すブロック図である。
【図４】デコーダ２２の処理を説明するフローチャートである。
【図５】係数変換回路３２の第１の構成例を示すブロック図である。
【図６】予測タップを説明するための図である。
【図７】係数変換回路３２の処理を説明するフローチャートである。
【図８】タップ係数を学習する学習装置の第１の構成例を示すブロック図である。
【図９】学習装置の処理を説明するフローチャートである。
【図１０】画素位置モードの総数と、タップ係数の総数を説明するための図である。
【図１１】係数変換回路３２の第２の構成例を示すブロック図である。
【図１２】縮退画素位置モードと、予測タップの符号の制御を説明するための図である。
【図１３】ＤＣＴ係数の基底となっているコサイン波形の左右の反転を説明するための図である。
【図１４】モード制御部８１の構成例を示すブロック図である。
【図１５】係数変換回路３２の処理を説明するフローチャートである。
【図１６】タップ係数を学習する学習装置の第２の構成例を示すブロック図である。
【図１７】学習装置の処理を説明するフローチャートである。
【図１８】注目ブロックのＤＣＴ係数と、隣接ブロック画素とを用いて構成される予測タップを説明するための図である。
【図１９】係数変換回路３２の第３の構成例を示すブロック図である。
【図２０】隣接ブロック画素の位置の反転を説明するための図である。
【図２１】係数変換回路３２の処理を説明するフローチャートである。
【図２２】タップ係数を学習する学習装置の第３の構成例を示すブロック図である。
【図２３】学習装置の処理を説明するフローチャートである。
【図２４】係数変換回路３２の第４の構成例を示すブロック図である。
【図２５】クラスタップ抽出回路４２の構成例を示すブロック図である。
【図２６】１次元ＤＣＴ係数を説明するための図である。
【図２７】１次元ＤＣＴ係数を説明するためのディスプレイ上に表示された中間階調の写真である。
【図２８】クラス分類回路４３の構成例を示すブロック図である。
【図２９】ＡＣパワー算出部１５１の処理を説明するための図である。
【図３０】ＡＣ内積算出部１５３の処理を説明するための図である。
【図３１】クラスコード操作部１３１の処理を説明するための図である。
【図３２】係数変換回路３２の処理を説明するフローチャートである。
【図３３】タップ係数を学習する学習装置の第４の構成例を示すブロック図である。
【図３４】学習装置の処理を説明するフローチャートである。
【図３５】エンコーダ２１の構成例を示すブロック図である。
【図３６】デコーダ２２の第２の構成例を示すブロック図である。
【図３７】周波数領域動き補償加算部２２３とＤＣＴ変換部２２６の構成例を示すブロック図である。
【図３８】サンプリング部２４１の処理を説明するための図である。
【図３９】サンプリング部２４１の処理を説明するための図である。
【図４０】係数変換回路２２８の第１の構成例を示すブロック図である。
【図４１】Ｉピクチャ用のタップ係数を学習する学習装置の第１の構成例を示すブロック図である。
【図４２】Ｐピクチャ用のタップ係数を学習する学習装置の第１の構成例を示すブロック図である。
【図４３】Ｂピクチャ用のタップ係数を学習する学習装置の第１の構成例を示すブロック図である。
【図４４】係数変換回路２２８の第２の構成例を示すブロック図である。
【図４５】Ｉピクチャ用のタップ係数を学習する学習装置の第２の構成例を示すブロック図である。
【図４６】Ｐピクチャ用のタップ係数を学習する学習装置の第２の構成例を示すブロック図である。
【図４７】Ｂピクチャ用のタップ係数を学習する学習装置の第２の構成例を示すブロック図である。
【図４８】係数変換回路２２８の第３の構成例を示すブロック図である。
【図４９】Ｉピクチャ用のタップ係数を学習する学習装置の第３の構成例を示すブロック図である。
【図５０】Ｐピクチャ用のタップ係数を学習する学習装置の第３の構成例を示すブロック図である。
【図５１】Ｂピクチャ用のタップ係数を学習する学習装置の第３の構成例を示すブロック図である。
【図５２】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
２１ エンコーダ， ２２ デコーダ， ２３ 記録媒体， ２４ 伝送媒体， ３１ エントロピー復号回路， ３２ 係数変換回路， ３３ ブロック分解回路， ４０ 逆量子化回路， ４１ 予測タップ抽出回路， ４２ クラスタップ抽出回路， ４３ クラス分類回路， ４４ 係数テーブル記憶部， ４５ 積和演算回路， ４６ モード制御部， ６１ ブロック化回路， ６２ ＤＣＴ回路， ６３ 量子化回路， ６４ 逆量子化回路， ６５ 予測タップ抽出回路， ６６ クラスタップ抽出回路， ６７ クラス分類回路， ６８ 正規方程式加算回路， ６９ タップ係数決定回路， ７０ 係数テーブル記憶部， ７１，８１ モード制御部， ８２ 符号制御部， ９１ 領域判定部，９２ 画素位置モード判定部， ９３ モード縮退部， １０１ モード制御部， １０２ 符号制御部， １１１ タップ構造記憶部， １１２ 逆ＤＣＴ回路， １２１ タップ構造記憶部， １２２ 逆ＤＣＴ回路， １３１ クラスコード操作部， １４１ １次元逆ＤＣＴ変換部， １４４ 境界１次元ＤＣＴ係数抽出部， １４５ 隣接１次元ＤＣＴ係数抽出部， １５１ ＡＣパワー算出部， １５２ ＤＣ成分抽出部， １５３ ＡＣ内積算出部， １５４ 連続性判定部， １６１ クラスコード操作部， ２０１ 動き検出回路， ２０２ 演算器， ２０３ ブロック化回路， ２０４ ＤＣＴ回路， ２０５ 量子化回路， ２０６ エントロピー符号化回路， ２０７ 逆量子化回路， ２０８ 逆ＤＣＴ回路， ２０９ 演算器， ２１０ 動き補償回路， ２２１ 分離部， ２２２ ＤＣＴ係数抽出／逆量子化部， ２２３ 周波数領域動き補償加算部， ２２４ 動き補償部， ２２５ 画像メモリ， ２２６ ＤＣＴ変換部， ２２７ バッファメモリ， ２２８ 係数変換回路， ２２９ 画像メモリ， ２３０ ピクチャ選択部， ２４１ サンプリング部， ２４２ ＤＣＴ部， ２５１ ＤＣＴ係数選択部， ２５２ 加算部， ２５３ 選択部， ２６１ 生徒データ生成部， ２６２ ＭＰＥＧエンコーダ， ２６３ 分離部， ２６４ ＤＣＴ係数抽出／逆量子化部， ２７１ 生徒データ生成部， ２７２ ＭＰＥＧエンコーダ， ２７３ 分離部， ２７４ ＤＣＴ係数抽出／逆量子化部， ２７５ 周波数領域動き補償加算部， ２７６ 係数変換回路， ２７７ Ｉピクチャストレージ， ２７８ 動き補償部， ２７９ 画像メモリ， ２８０ ＤＣＴ変換部， ２９１ ＭＰＥＧエンコーダ， ２９２ 分離部， ２９３ ＤＣＴ係数抽出／逆量子化部， ２９４ 周波数領域動き補償加算部， ２９５ 係数変換回路， ２９６ Ｉピクチャストレージ， ２９７ 動き補償部， ２９８ 画像メモリ， ２９９ ＤＣＴ変換部， ３００ 係数変換回路， ３０１ Ｐピクチャストレージ， ３０２ 動き補償部， ３０３ 画像メモリ， ３０４ ＤＣＴ変換部， ３０５ 周波数領域動き補償加算部，４０１ バス， ４０２ CPU， ４０３ ROM， ４０４ RAM， ４０５ ハードディスク， ４０６ 出力部， ４０７ 入力部， ４０８ 通信部， ４０９ ドライブ， ４１０ 入出力インタフェース， ４１１ リムーバブル記録媒体

Claims (20)

1. 画像データを、少なくとも、所定のブロックごとに２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる符号化データを復号する画像処理装置であって、
   前記画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、前記符号化データから取得する２次元ＤＣＴ係数取得手段と、
   復号対象として注目している画素である注目画素を含む前記ブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、右下の４つの領域のうちのいずれの領域に、前記注目画素が位置するかを判定する領域判定手段と、
   少なくとも、前記注目ブロックの２次元ＤＣＴ係数すべてを抽出するＤＣＴ係数抽出手段と、
   前記注目画素が、前記注目ブロックの左上の領域に位置する場合、前記注目ブロックにおける注目画素の位置を表す情報を、前記縮退画素位置情報として出力し、
   前記注目画素が、前記注目ブロックの右上の領域に位置する場合、前記注目ブロックを左右に２等分する線について、前記注目画素と線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
   前記注目画素が、前記注目ブロックの左下の領域に位置する場合、前記注目ブロックを上下に２等分する線について、前記注目画素と線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
   前記注目画素が、前記注目ブロックの右下の領域に位置する場合、前記注目ブロックを左右に２等分する線と上下に２等分する線との交点について、前記注目画素と点対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力する画素位置情報縮退手段と、
   前記注目画素が、前記注目ブロックの左上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、
   前記注目画素が、前記注目ブロックの右上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転し、
   前記注目画素が、前記注目ブロックの左下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数行に位置するものの符号を反転し、
   前記注目画素が、前記注目ブロックの右下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転するとともに、前記注目ブロックの偶数行に位置するものの符号を反転する符号操作手段と、
   学習用の画像データを、少なくとも、前記所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、前記学習用の画像データを符号化した符号化データから取得して学習の生徒となる生徒データとし、前記学習用の画像データを構成する各画素を前記学習の教師となる教師データとし、前記教師データのうちの注目している注目教師データに対して、前記ＤＣＴ係数抽出手段と同様に抽出した前記生徒データとしての２次元ＤＣＴ係数と学習係数との積和演算で得られる前記注目教師データの予測値の予測誤差が統計的に最小になるように前記縮退画素位置情報ごとに求めた前記学習係数のなかから、前記注目画素の縮退画素位置情報に対応する学習係数を取得し、その学習係数と、前記ＤＣＴ係数抽出手段により抽出されたＤＣＴ係数との積和演算を行うことにより、前記注目画素の画素値を予測する予測手段と
   を備えることを特徴とする画像処理装置。
2. 前記ＤＣＴ係数抽出手段は、少なくとも、前記注目ブロックの２次元ＤＣＴ係数すべてと、前記注目ブロックの上側、下側、左側、または右側にそれぞれ位置する画素に関する情報である上側画素情報、下側画素情報、左側画素情報、または右側画素情報とを抽出し、
   前記予測手段は、
   前記注目画素が、前記注目ブロックの左上の領域に位置する場合、前記上側画素情報、前記下側画素情報、前記左側画素情報、および前記右側画素情報と前記ＤＣＴ係数抽出手段により抽出されたＤＣＴ係数を所定の順序で、前記縮退画素位置情報に対応する学習係数と積和演算し、
   前記注目画素が、前記注目ブロックの右上の領域に位置する場合、前記所定の順序の前記左側画素情報と右側画素情報とを入れ替えた順序で、前記縮退画素位置情報に対応する学習係数と積和演算し、
   前記注目画素が、前記注目ブロックの左下の領域に位置する場合、前記所定の順序の前記上側画素情報と下側画素情報とを入れ替えた順序で、前記縮退画素位置情報に対応する学習係数と積和演算し、
   前記注目画素が、前記注目ブロックの右下の領域に位置する場合、前記所定の順序の前記左側画素情報と右側画素情報とを入れ替えた順序で、前記縮退画素位置情報に対応する学習係数と積和演算する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記上側画素情報、下側画素情報、左側画素情報、または右側画素情報は、前記注目ブロックの上側、下側、左側、または右側にそれぞれ位置する画素の２次元ＤＣＴ係数である
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記上側画素情報、下側画素情報、左側画素情報、または右側画素情報は、前記注目ブロックの上側、下側、左側、または右側に隣接する前記ブロックの画素の２次元ＤＣＴ係数である
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記注目画素とその周辺の画素の２次元ＤＣＴ係数を用いた ADRC 処理結果を、前記注目画素のクラスに対応するクラスコードとして出力するクラス分類手段をさらに備え、
   前記予測手段は、前記クラスごとに、かつ、前記縮退画素位置情報ごとに、前記注目教師データの予測値の予測誤差が統計的に最小になるように求めた前記学習係数のなかから、前記注目画素のクラスコードが表すクラスで、かつ、縮退画素位置情報に対応する学習係数を取得し、その学習係数と、前記ＤＣＴ係数抽出手段により抽出されたＤＣＴ係数との積和演算を行うことにより、前記注目画素の画素値を予測する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記ＤＣＴ係数抽出手段は、前記注目ブロックの上側、下側、左側、および右側の境界の画素の１次元ＤＣＴ係数である上側境界１次元ＤＣＴ係数、下側境界１次元ＤＣＴ係数、左側境界１次元ＤＣＴ係数、および右側境界１次元ＤＣＴ係数と、前記注目ブロックの上側、下側、左側、および右側に隣接するブロックの前記注目ブロックと隣接する画素の１次元ＤＣＴ係数である上側隣接１次元ＤＣＴ係数、下側隣接１次元ＤＣＴ係数、左側隣接１次元ＤＣＴ係数、および右側隣接１次元ＤＣＴ係数を抽出し、
   １次元ＤＣＴ係数のｎ個の交流成分をＡＣ_nと表すとき、Ｐ_AC＝ΣＡＣ_n ²により、上側、下側、左側、および右側のＡＣパワーＰ_ACを求め、
   境界１次元ＤＣＴ係数の直流成分ＤＣと、隣接１次元ＤＣＴ係数の直流成分ＤＣ’を上側、下側、左側、および右側のそれぞれについて求め、
   境界１次元ＤＣＴ係数の交流成分ＡＣ_nと、隣接１次元ＤＣＴ係数の交流成分ＡＣ_n’との内積であるＡＣ内積を、上側、下側、左側、および右側のそれぞれについて求め、
   前記注目ブロックと、それに隣接するブロックとが連続するか否かを判定する連続性判定処理を、前記注目ブロックの上側、下側、左側、および右側の境界のそれぞれについて行い、その結果を上側ブロック間コード、下側ブロック間コード、左側ブロック間コード、および右側ブロック間コードのセットを前記注目画素のクラスに対応するクラスコードとして出力するクラス分類手段と、
   前記注目画素が、前記注目ブロックの左上の領域に位置する場合、前記クラス分類手段が出力するクラスコードを、そのまま、前記注目画素のクラスコードとして出力し、
   前記注目画素が、前記注目ブロックの右上の領域に位置する場合、前記クラス分類手段が出力するクラスコードにおける前記左側ブロック間コードと右側ブロック間コードとを入れ替え、前記注目画素のクラスコードとして出力し、
   前記注目画素が、前記注目ブロックの左下の領域に位置する場合、前記クラス分類手段が出力するクラスコードにおける前記上側ブロック間コードと下側ブロック間コードとを入れ替え、前記注目画素のクラスコードとして出力し、
   前記注目画素が、前記注目ブロックの右下の領域に位置する場合、前記クラス分類手段が出力するクラスコードにおける前記左側ブロック間コードと右側ブロック間コードとを入れ替えるとともに、前記上側ブロック間コードと下側ブロック間コードとを入れ替え、前記注目画素のクラスコードとして出力するクラスコード操作手段とをさらに備え、
   前記予測手段は、前記クラスごとに、かつ、前記縮退画素位置情報ごとに、前記注目教師データの予測値の予測誤差が統計的に最小になるように求めた前記学習係数のなかから、前記注目画素のクラスコードが表すクラスで、かつ、縮退画素位置情報に対応する学習係数を取得し、その学習係数と、前記ＤＣＴ係数抽出手段により抽出されたＤＣＴ係数との積和演算を行うことにより、前記注目画素の画素値を予測し、
   前記連続性判定処理は、
   境界１次元ＤＣＴ係数の直流成分ＤＣと、隣接１次元ＤＣＴ係数の直流成分ＤＣ’との差分絶対値｜ＤＣ−ＤＣ’｜が所定の閾値ＴＨ１より大きいかまたは閾値ＴＨ１以上という境界部エッジ条件を満たすかどうかを判定し、前記境界部エッジ条件が満たされる場合、ブロック間コードとして連続性がないことを表す０をセットし、
   前記境界部エッジ条件が満たされない場合、所定の閾値ＴＨ２乃至ＴＨ４（ＴＨ２＞ＴＨ４）に対して、（Ｐ_AC≦ＴＨ２）∩（Ｐ_AC’≦ＴＨ２）∩（｜ＤＣ−ＤＣ’｜≦ＴＨ３）か、または、Ｐ_AC’≦ＴＨ４ のいずれか一方が満たされるか否かを平坦性条件として判定し、いずれか一方が満たされる場合に、前記平坦性条件が満たされるとしてブロック間コードとして連続性があることを表す１をセットし、
   前記平坦性条件が満たされない場合、注目ブロックについての内積が正の値かまたは０以上であるかどうかを連続性条件として判定し、前記連続性条件が満たされる場合にブロック間コードとして連続性があることを表す１をセットし、前記連続性条件が満たされない場合にブロック間コードとして連続性がないことを表す０をセットする処理である
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記符号化データは、前記画像データを、ＪＰＥＧ(Joint Photographic Experts Group)またはＭＰＥＧ(Moving Picture Experts Group)の規格に準拠して符号化したものである
   ことを特徴とする請求項１に記載の画像処理装置。
8. 画像データを、少なくとも、所定のブロックごとに２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる符号化データを復号する画像処理方法であって、
   前記画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、前記符号化データから取得する２次元ＤＣＴ係数取得ステップと、
   復号対象として注目している画素である注目画素を含む前記ブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、右下の４つの領域のうちのいずれの領域に、前記注目画素が位置するかを判定する領域判定ステップと、
   少なくとも、前記注目ブロックの２次元ＤＣＴ係数すべてを抽出するＤＣＴ係数抽出ステップと、
   前記注目画素が、前記注目ブロックの左上の領域に位置する場合、前記注目ブロックにおける注目画素の位置を表す情報を、前記縮退画素位置情報として出力し、
   前記注目画素が、前記注目ブロックの右上の領域に位置する場合、前記注目ブロックを左右に２等分する線について、前記注目画素と線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
   前記注目画素が、前記注目ブロックの左下の領域に位置する場合、前記注目ブロックを上下に２等分する線について、前記注目画素と線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
   前記注目画素が、前記注目ブロックの右下の領域に位置する場合、前記注目ブロックを左右に２等分する線と上下に２等分する線との交点について、前記注目画素と点対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力する画素位置情報縮退ステップと、
   前記注目画素が、前記注目ブロックの左上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、
   前記注目画素が、前記注目ブロックの右上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転し、
   前記注目画素が、前記注目ブロックの左下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数行に位置するものの符号を反転し、
   前記注目画素が、前記注目ブロックの右下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転するとともに、前記注目ブロックの偶数行に位置するものの符号を反転する符号操作ステップと、
   学習用の画像データを、少なくとも、前記所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、前記学習用の画像データを符号化した符号化データから取得して学習の生徒となる生徒データとし、前記学習用の画像データを構成する各画素を前記学習の教師となる教師データとし、前記教師データのうちの注目している注目教師データに対して、前記ＤＣＴ係数抽出手段と同様に抽出した前記生徒データとしての２次元ＤＣＴ係数と学習係数との積和演算で得られる前記注目教師データの予測値の予測誤差が統計的に最小になるように前記縮退画素位置情報ごとに求めた前記学習係数のなかから、前記注目画素の縮退画素位置情報に対応する学習係数を取得し、その学習係数と、前記ＤＣＴ係数抽出ステップの処理により抽出されたＤＣＴ係数との積和演算を行うことにより、前記注目画素の画素値を予測する予測ステップと
   を備えることを特徴とする画像処理方法。
9. 画像データを、少なくとも、所定のブロックごとに２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる符号化データを復号する画像処理を、コンピュータに行わせるプログラムであって、
   前記画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、前記符号化データから取得する２次元ＤＣＴ係数取得ステップと、
   復号対象として注目している画素である注目画素を含む前記ブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、右下の４つの領域のうちのいずれの領域に、前記注目画素が位置するかを判定する領域判定ステップと、
   少なくとも、前記注目ブロックの２次元ＤＣＴ係数すべてを抽出するＤＣＴ係数抽出ステップと、
   前記注目画素が、前記注目ブロックの左上の領域に位置する場合、前記注目ブロックにおける注目画素の位置を表す情報を、前記縮退画素位置情報として出力し、
   前記注目画素が、前記注目ブロックの右上の領域に位置する場合、前記注目ブロックを左右に２等分する線について、前記注目画素と線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
   前記注目画素が、前記注目ブロックの左下の領域に位置する場合、前記注目ブロックを上下に２等分する線について、前記注目画素と線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
   前記注目画素が、前記注目ブロックの右下の領域に位置する場合、前記注目ブロックを左右に２等分する線と上下に２等分する線との交点について、前記注目画素と点対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力する画素位置情報縮退ステップと、
   前記注目画素が、前記注目ブロックの左上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、
   前記注目画素が、前記注目ブロックの右上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転し、
   前記注目画素が、前記注目ブロックの左下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数行に位置するものの符号を反転し、
   前記注目画素が、前記注目ブロックの右下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転するとともに、前記注目ブロックの偶数行に位置するものの符号を反転する符号操作ステップと、
   学習用の画像データを、少なくとも、前記所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、前記学習用の画像データを符号化した符号化データから取得して学習の生徒となる生徒データとし、前記学習用の画像データを構成する各画素を前記学習の教師となる教師データとし、前記教師データのうちの注目している注目教師データに対して、前記ＤＣＴ係数抽出手段と同様に抽出した前記生徒データとしての２次元ＤＣＴ係数と学習係数との積和演算で得られる前記注目教師データの予測値の予測誤差が統計的に最小になるように前記縮退画素位置情報ごとに求めた前記学習係数のなかから、前記注目画素の縮退画素位置情報に対応する学習係数を取得し、その学習係数と、前記ＤＣＴ係数抽出ステップの処理により抽出されたＤＣＴ係数との積和演算を行うことにより、前記注目画素の画素値を予測する予測ステップと
   を備えることを特徴とするプログラム。
10. 画像データを、少なくとも、所定のブロックごとに２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる符号化データを復号する画像処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    前記画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、前記符号化データから取得する２次元ＤＣＴ係数取得ステップと、
    復号対象として注目している画素である注目画素を含む前記ブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、右下の４つの領域のうちのいずれの領域に、前記注目画素が位置するかを判定する領域判定ステップと、
    少なくとも、前記注目ブロックの２次元ＤＣＴ係数すべてを抽出するＤＣＴ係数抽出ステップと、
    前記注目画素が、前記注目ブロックの左上の領域に位置する場合、前記注目ブロックにおける注目画素の位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目画素が、前記注目ブロックの右上の領域に位置する場合、前記注目ブロックを左右に２等分する線について、前記注目画素と線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目画素が、前記注目ブロックの左下の領域に位置する場合、前記注目ブロックを上下に２等分する線について、前記注目画素と線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目画素が、前記注目ブロックの右下の領域に位置する場合、前記注目ブロックを左右に２等分する線と上下に２等分する線との交点について、前記注目画素と点対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力する画素位置情報縮退ステップと、
    前記注目画素が、前記注目ブロックの左上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、
    前記注目画素が、前記注目ブロックの右上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転し、
    前記注目画素が、前記注目ブロックの左下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数行に位置するものの符号を反転し、
    前記注目画素が、前記注目ブロックの右下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転するとともに、前記注目ブロックの偶数行に位置するものの符号を反転する符号操作ステップと、
    学習用の画像データを、少なくとも、前記所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、前記学習用の画像データを符号化した符号化データから取得して学習の生徒となる生徒データとし、前記学習用の画像データを構成する各画素を前記学習の教師となる教師データとし、前記教師データのうちの注目している注目教師データに対して、前記ＤＣＴ係数抽出手段と同様に抽出した前記生徒データとしての２次元ＤＣＴ係数と学習係数との積和演算で得られる前記注目教師データの予測値の予測誤差が統計的に最小になるように前記縮退画素位置情報ごとに求めた前記学習係数のなかから、前記注目画素の縮退画素位置情報に対応する学習係数を取得し、その学習係数と、前記ＤＣＴ係数抽出ステップの処理により抽出されたＤＣＴ係数との積和演算を行うことにより、前記注目画素の画素値を予測する予測ステップと
    をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
11. 画像データを、少なくとも、所定のブロックごとに２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる符号化データを復号するのに用いる学習係数を学習する画像処理装置であって、
    学習用の画像データを符号化し、その結果得られる符号化データから、少なくとも、前記画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、学習の生徒となる生徒データとして取得する生徒データ取得手段と、
    前記学習用の画像データを構成する各画素を、学習の教師となる教師データとして、前記教師データのうちの、注目している教師データである注目教師データを予測するのに用いる前記２次元ＤＣＴ係数を抽出するＤＣＴ係数抽出手段と、
    前記注目教師データを含む前記ブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、および右下の４つの領域のうちのいずれの領域に、前記注目教師データが位置するかを判定する領域判定手段と、
    前記注目教師データが、前記注目ブロックの左上の領域に位置する場合、前記注目ブロックにおける注目教師データの位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目教師データが、前記注目ブロックの右上の領域に位置する場合、前記注目ブロックを左右に２等分する線について、前記注目教師データと線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目教師データが、前記注目ブロックの左下の領域に位置する場合、前記注目ブロックを上下に２等分する線について、前記注目教師データと線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目教師データが、前記注目ブロックの右下の領域に位置する場合、前記注目ブロックを左右に２等分する線と上下に２等分する線との交点について、前記注目教師データと点対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力する画素位置情報縮退手段と、
    前記注目教師データが、前記注目ブロックの左上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、
    前記注目教師データが、前記注目ブロックの右上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転し、
    前記注目教師データが、前記注目ブロックの左下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数行に位置するものの符号を反転し、
    前記注目教師データが、前記注目ブロックの右下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転するとともに、前記注目ブロックの偶数行に位置するものの符号を反転する符号操作手段と、
    前記学習係数と前記ＤＣＴ係数抽出手段により抽出された前記２次元ＤＣＴ係数との積和演算を行うことにより得られる前記注目教師データの予測値の予測誤差が統計的に最小になるように前記縮退画素位置情報ごとに学習を行うことにより、前記縮退画素位置情報ごとの前記学習係数を求める学習手段と
    を備えることを特徴とする画像処理装置。
12. 前記ＤＣＴ係数抽出手段は、少なくとも、前記注目ブロックの２次元ＤＣＴ係数すべてと、前記注目ブロックの上側、下側、左側、または右側にそれぞれ位置する画素に関する情報である上側画素情報、下側画素情報、左側画素情報、または右側画素情報とを抽出し、
    前記学習手段は、
    前記注目教師データが、前記注目ブロックの左上の領域に位置する場合、前記上側画素情報、前記下側画素情報、前記左側画素情報、および前記右側画素情報と前記ＤＣＴ係数抽出手段により抽出されたＤＣＴ係数を所定の順序で、前記縮退画素位置情報に対応する学習係数と積和演算を行うことにより得られる前記注目教師データの予測値の予測誤差が統計的に最小になるように前記縮退画素位置情報ごとに学習を行い、
    前記注目教師データが、前記注目ブロックの右上の領域に位置する場合、前記所定の順序の前記左側画素情報と右側画素情報とを入れ替えた順序で、前記縮退画素位置情報に対応する学習係数と積和演算を行うことにより得られる前記注目教師データの予測値の予測誤差が統計的に最小になるように前記縮退画素位置情報ごとに学習を行い、
    前記注目教師データが、前記注目ブロックの左下の領域に位置する場合、前記所定の順序の前記上側画素情報と下側画素情報とを入れ替えた順序で、前記縮退画素位置情報に対応する学習係数と積和演算を行うことにより得られる前記注目教師データの予測値の予測誤差が統計的に最小になるように前記縮退画素位置情報ごとに学習を行い、
    前記注目教師データが、前記注目ブロックの右下の領域に位置する場合、前記所定の順序の前記左側画素情報と右側画素情報とを入れ替えた順序で、前記縮退画素位置情報に対応する学習係数と積和演算を行うことにより得られる前記注目教師データの予測値の予測誤差が統計的に最小になるように前記縮退画素位置情報ごとに学習を行う
    ことを特徴とする請求項１２に記載の画像処理装置。
13. 前記上側画素情報、下側画素情報、左側画素情報、または右側画素情報は、前記注目ブロックの上側、下側、左側、または右側にそれぞれ位置する画素の２次元ＤＣＴ係数である
    ことを特徴とする請求項１２に記載の画像処理装置。
14. 前記上側画素情報、下側画素情報、左側画素情報、または右側画素情報は、前記注目ブロックの上側、下側、左側、または右側に隣接する前記ブロックの画素の２次元ＤＣＴ係数である
    ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記注目教師データとその周辺の画素の２次元ＤＣＴ係数を用いた ADRC 処理結果を、前記注目教師データのクラスを表すクラスコードとして出力するクラス分類手段をさらに備え、
    前記学習手段は、前記学習係数と前記ＤＣＴ係数抽出手段により抽出された前記２次元ＤＣＴ係数との積和演算を行うことにより得られる前記注目教師データの予測値の予測誤差が統計的に最小になるように前記学習係数を求める学習を、前記クラスごとに、かつ前記縮退画素位置情報ごとに行うことにより、前記クラスごとに、前記縮退画素位置情報ごとの前記学習係数を求める
    ことを特徴とする請求項１１に記載の画像処理装置。
16. 前記ＤＣＴ係数抽出手段は、前記注目ブロックの上側、下側、左側、および右側の境界の画素の１次元ＤＣＴ係数である上側境界１次元ＤＣＴ係数、下側境界１次元ＤＣＴ係数、左側境界１次元ＤＣＴ係数、および右側境界１次元ＤＣＴ係数と、前記注目ブロックの上側、下側、左側、および右側に隣接するブロックの前記注目ブロックと隣接する画素の１次元ＤＣＴ係数である上側隣接１次元ＤＣＴ係数、下側隣接１次元ＤＣＴ係数、左側隣接１次元ＤＣＴ係数、および右側隣接１次元ＤＣＴ係数を抽出し、
    １次元ＤＣＴ係数のｎ個の交流成分をＡＣ_nと表すとき、Ｐ_AC＝ΣＡＣ_n ²により、上側、下側、左側、および右側のＡＣパワーＰ_ACを求め、
    境界１次元ＤＣＴ係数の直流成分ＤＣと、隣接１次元ＤＣＴ係数の直流成分ＤＣ’を上側、下側、左側、および右側のそれぞれについて求め、
    境界１次元ＤＣＴ係数の交流成分ＡＣ_nと、隣接１次元ＤＣＴ係数の交流成分ＡＣ_n’との内積であるＡＣ内積を、上側、下側、左側、および右側のそれぞれについて求め、
    前記注目ブロックと、それに隣接するブロックとが連続するか否かを判定する連続性判定処理を、前記注目ブロックの上側、下側、左側、および右側の境界のそれぞれについて行い、その結果を上側ブロック間コード、下側ブロック間コード、左側ブロック間コード、および右側ブロック間コードのセットを前記注目教師データのクラスを表すクラスコードとして出力するクラス分類手段と、
    前記注目教師データが、前記注目ブロックの左上の領域に位置する場合、前記クラス分類手段が出力するクラスコードを、そのまま、前記注目教師データのクラスコードとして出力し、
    前記注目教師データが、前記注目ブロックの右上の領域に位置する場合、前記クラス分類手段が出力するクラスコードにおける前記左側ブロック間コードと右側ブロック間コードとを入れ替え、前記注目教師データのクラスコードとして出力し、
    前記注目教師データが、前記注目ブロックの左下の領域に位置する場合、前記クラス分類手段が出力するクラスコードにおける前記上側ブロック間コードと下側ブロック間コードとを入れ替え、前記注目教師データのクラスコードとして出力し、
    前記注目教師データが、前記注目ブロックの右下の領域に位置する場合、前記クラス分類手段が出力するクラスコードにおける前記左側ブロック間コードと右側ブロック間コードとを入れ替えるとともに、前記上側ブロック間コードと下側ブロック間コードとを入れ替え、前記注目教師データのクラスコードとして出力するクラスコード操作手段をさらに備え、
    前記学習手段は、前記学習係数と前記ＤＣＴ係数抽出手段により抽出された前記２次元ＤＣＴ係数との積和演算を行うことにより得られる前記注目教師データの予測値の予測誤差が統計的に最小になるように前記学習係数を求める学習を、前記クラスごとに、かつ、前記縮退画素位置情報ごとに学習を行うことにより、前記クラスごとに、前記縮退画素位置情報ごとの前記学習係数を求め、
    前記連続性判定処理は、
    境界１次元ＤＣＴ係数の直流成分ＤＣと、隣接１次元ＤＣＴ係数の直流成分ＤＣ’との差分絶対値｜ＤＣ−ＤＣ’｜が所定の閾値ＴＨ１より大きいかまたは閾値ＴＨ１以上という境界部エッジ条件を満たすかどうかを判定し、前記境界部エッジ条件が満たされる場合、ブロック間コードとして連続性がないことを表す０をセットし、
    前記境界部エッジ条件が満たされない場合、所定の閾値ＴＨ２乃至ＴＨ４（ＴＨ２＞ＴＨ４）に対して、（Ｐ_AC≦ＴＨ２）∩（Ｐ_AC’≦ＴＨ２）∩（｜ＤＣ−ＤＣ’｜≦ＴＨ３）か、または、Ｐ_AC’≦ＴＨ４ のいずれか一方が満たされるか否かを平坦性条件として判定し、いずれか一方が満たされる場合に、前記平坦性条件が満たされるとしてブロック間コードとして連続性があることを表す１をセットし、
    前記平坦性条件が満たされない場合、注目ブロックについての内積が正の値かまたは０以上であるかどうかを連続性条件として判定し、前記連続性条件が満たされる場合にブロック間コードとして連続性があることを表す１をセットし、前記連続性条件が満たされない場合にブロック間コードとして連続性がないことを表す０をセットする処理である
    ことを特徴とする請求項１１に記載の画像処理装置。
17. 前記生徒データ取得手段は、前記学習用の画像データを、ＪＰＥＧ(Joint Photographic Experts Group)またはＭＰＥＧ(Moving Picture Experts Group)の規格に準拠して符号化し、前記符号化データを得る
    ことを特徴とする請求項１１に記載の画像処理装置。
18. 画像データを、少なくとも、所定のブロックごとに２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる符号化データを復号するのに用いる学習係数を学習する画像処理方法であって、
    学習用の画像データを符号化し、その結果得られる符号化データから、少なくとも、前記画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、学習の生徒となる生徒データとして取得する生徒データ取得ステップと、
    前記学習用の画像データを構成する各画素を、学習の教師となる教師データとして、前記教師データのうちの、注目している教師データである注目教師データを予測するのに用いる前記２次元ＤＣＴ係数を抽出するＤＣＴ係数抽出ステップと、
    前記注目教師データを含む前記ブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、および右下の４つの領域のうちのいずれの領域に、前記注目教師データが位置するかを判定する領域判定ステップと、
    前記注目教師データが、前記注目ブロックの左上の領域に位置する場合、前記注目ブロックにおける注目教師データの位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目教師データが、前記注目ブロックの右上の領域に位置する場合、前記注目ブロックを左右に２等分する線について、前記注目教師データと線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目教師データが、前記注目ブロックの左下の領域に位置する場合、前記注目ブロックを上下に２等分する線について、前記注目教師データと線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目教師データが、前記注目ブロックの右下の領域に位置する場合、前記注目ブロックを左右に２等分する線と上下に２等分する線との交点について、前記注目教師データと点対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力する画素位置情報縮退ステップと、
    前記注目教師データが、前記注目ブロックの左上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、
    前記注目教師データが、前記注目ブロックの右上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転し、
    前記注目教師データが、前記注目ブロックの左下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数行に位置するものの符号を反転し、
    前記注目教師データが、前記注目ブロックの右下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転するとともに、前記注目ブロックの偶数行に位置するものの符号を反転する符号操作ステップと、
    前記学習係数と前記ＤＣＴ係数抽出ステップの処理により抽出された前記２次元ＤＣＴ係数との積和演算を行うことにより得られる前記注目教師データの予測値の予測誤差が統計的に最小になるように前記縮退画素位置情報ごとに学習を行うことにより、前記縮退画素位置情報ごとの前記学習係数を求める学習ステップと
    を備えることを特徴とする画像処理方法。
19. 画像データを、少なくとも、所定のブロックごとに２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる符号化データを復号するのに用いる学習係数を学習する画像処理を、コンピュータに行わせるプログラムであって、
    学習用の画像データを符号化し、その結果得られる符号化データから、少なくとも、前記画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、学習の生徒となる生徒データとして取得する生徒データ取得ステップと、
    前記学習用の画像データを構成する各画素を、学習の教師となる教師データとして、前記教師データのうちの、注目している教師データである注目教師データを予測するのに用いる前記２次元ＤＣＴ係数を抽出するＤＣＴ係数抽出ステップと、
    前記注目教師データを含む前記ブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、および右下の４つの領域のうちのいずれの領域に、前記注目教師データが位置するかを判定する領域判定ステップと、
    前記注目教師データが、前記注目ブロックの左上の領域に位置する場合、前記注目ブロックにおける注目教師データの位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目教師データが、前記注目ブロックの右上の領域に位置する場合、前記注目ブロックを左右に２等分する線について、前記注目教師データと線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目教師データが、前記注目ブロックの左下の領域に位置する場合、前記注目ブロックを上下に２等分する線について、前記注目教師データと線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目教師データが、前記注目ブロックの右下の領域に位置する場合、前記注目ブロックを左右に２等分する線と上下に２等分する線との交点について、前記注目教師データと点対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力する画素位置情報縮退ステップと、
    前記注目教師データが、前記注目ブロックの左上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、
    前記注目教師データが、前記注目ブロックの右上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転し、
    前記注目教師データが、前記注目ブロックの左下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数行に位置するものの符号を反転し、
    前記注目教師データが、前記注目ブロックの右下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転するとともに、前記注目ブロックの偶数行に位置するものの符号を反転する符号操作ステップと、
    前記学習係数と前記ＤＣＴ係数抽出ステップの処理により抽出された前記２次元ＤＣＴ係数との積和演算を行うことにより得られる前記注目教師データの予測値の予測誤差が統計的に最小になるように前記縮退画素位置情報ごとに学習を行うことにより、前記縮退画素位置情報ごとの前記学習係数を求める学習ステップと
    を備えることを特徴とするプログラム。
20. 画像データを、少なくとも、所定のブロックごとに２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる符号化データを復号するのに用いる学習係数を学習する画像処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    学習用の画像データを符号化し、その結果得られる符号化データから、少なくとも、前記画像データを所定のブロックごとに２次元ＤＣＴ変換して得られる２次元ＤＣＴ係数を、学習の生徒となる生徒データとして取得する生徒データ取得ステップと、
    前記学習用の画像データを構成する各画素を、学習の教師となる教師データとして、前記教師データのうちの、注目している教師データである注目教師データを予測するのに用いる前記２次元ＤＣＴ係数を抽出するＤＣＴ係数抽出ステップと、
    前記注目教師データを含む前記ブロックである注目ブロックを垂直方向と水平方向にそれぞれ２等分して得られる左上、右上、左下、および右下の４つの領域のうちのいずれの領域に、前記注目教師データが位置するかを判定する領域判定ステップと、
    前記注目教師データが、前記注目ブロックの左上の領域に位置する場合、前記注目ブロックにおける注目教師データの位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目教師データが、前記注目ブロックの右上の領域に位置する場合、前記注目ブロックを左右に２等分する線について、前記注目教師データと線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目教師データが、前記注目ブロックの左下の領域に位置する場合、前記注目ブロックを上下に２等分する線について、前記注目教師データと線対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力し、
    前記注目教師データが、前記注目ブロックの右下の領域に位置する場合、前記注目ブロックを左右に２等分する線と上下に２等分する線との交点について、前記注目教師データと点対称の位置にある前記注目ブロックの左上の領域における画素の位置を表す情報を、前記縮退画素位置情報として出力する画素位置情報縮退ステップと、
    前記注目教師データが、前記注目ブロックの左上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数の符号を、そのままとし、
    前記注目教師データが、前記注目ブロックの右上の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転し、
    前記注目教師データが、前記注目ブロックの左下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数行に位置するものの符号を反転し、
    前記注目教師データが、前記注目ブロックの右下の領域に位置する場合、抽出された前記注目ブロックの２次元ＤＣＴ係数のうち、前記注目ブロックの偶数列に位置するものの符号を反転するとともに、前記注目ブロックの偶数行に位置するものの符号を反転する符号操作ステップと、
    前記学習係数と前記ＤＣＴ係数抽出ステップの処理により抽出された前記２次元ＤＣＴ係数との積和演算を行うことにより得られる前記注目教師データの予測値の予測誤差が統計的に最小になるように前記縮退画素位置情報ごとに学習を行うことにより、前記縮退画素位置情報ごとの前記学習係数を求める学習ステップと
    をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images