JP4135045B2 - Data processing apparatus, data processing method, and medium - Google Patents

Description

式（１）を一般化するために、予測係数ｗの集合でなる行列Ｗ、生徒データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【０００７】
【数１】

で定義すると、次のような観測方程式が成立する。
【０００８】

ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集合（ｉ件目の教師データｙ_iの予測に用いる生徒データの集合）の中のｊ番目の生徒データを意味し、行列Ｗの成分ｗ_jは、生徒データの集合の中のｊ番目の生徒データとの積が演算される予測係数を表す。また、ｙ_jは、ｊ件目の教師データを表し、従って、Ｅ［ｙ_j］は、ｊ件目の教師データの予測値を表す。
【０００９】
そして、この観測方程式に最小自乗法を適用して、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなる原画素の真の画素値ｙの集合でなる行列Ｙ、および原画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【００１０】
【数２】

で定義すると、式（２）から、次のような残差方程式が成立する。
【００１１】

この場合、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差
【００１２】
【数３】

を最小にすることで求めることができる。
【００１３】
従って、上述の自乗誤差を予測係数ｗ_iで微分したものが０になる場合、即ち、次式を満たす予測係数ｗ_iが、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１４】
【数４】

そこで、まず、式（３）を、予測係数ｗ_iで微分することにより、次式が成立する。
【００１５】
【数５】

式（４）および（５）より、式（６）が得られる。
【００１６】
【数６】

さらに、式（３）の残差方程式における生徒データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００１７】
【数７】

式（７）の正規方程式を構成する各式は、生徒データｘおよび教師データｙを、ある程度の数だけ用意することで、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることが可能である。
【００１８】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、原画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００１９】
なお、適応処理は、入力画像には含まれていないが、原画像に含まれる成分が再現される点で、例えば、単なる補間処理等とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、原画像に含まれる成分を再現することができる。即ち、容易に、高S/Nの画像を得ることができる。このことから、適応処理は、いわば画像の創造（解像度想像）作用がある処理ということができ、従って、入力画像からノイズやぼけを除去した原画像の予測値を求める他、例えば、低解像度または標準解像度の画像を、高解像度の画像に変換するような場合にも用いることができる。
【００２０】
【発明が解決しようとする課題】
上述したように、クラス分類適応処理では、各クラスごとに適応処理が施されるが、その前段で行われるクラス分類では、予測値を求めようとする原画素（以下、適宜、注目原画素という）の位置の周辺にある複数の入力画素が抽出され、その性質（例えば、その複数の入力画素の画素値のパターンや、画素値の傾斜等）に基づいて、注目原画素がクラス分けされる。そして、このクラス分類に用いられる複数の入力画素としては、注目原画素から見て、固定の位置にある入力画素が抽出される。
【００２１】
しかしながら、クラス分類適応処理によって、例えば、ぼけのある入力画像を、そのぼけを改善した画像に変換する場合等において、その入力画像のぼけの度合いに関係なく、注目原画素から見て、固定の位置にある入力画素を、注目原画素のクラス分類に用いたのでは、その注目原画素の性質を十分に反映したクラス分けが困難となることがある。
【００２２】
即ち、例えば、ぼけ度（ぼけの度合い）の小さい入力画像を対象にクラス分類適応処理を行う場合においては、画像の相関性の観点から、注目原画素から見て、比較的近い位置にある入力画素を用いてクラス分類を行う方が、注目原画素の性質を反映したクラス分けを行うことができる。また、ぼけ度の大きい入力画像を対象にクラス分類適応処理を行う場合においては、そのぼけの影響の観点から、注目原画素から見て、比較的遠い位置にある入力画素を用いてクラス分類を行う方が、その性質を反映したクラス分けを行うことができる。
【００２３】
従って、注目原画素から見て、固定の位置にある入力画素を、注目原画素のクラス分類に用いたのでは、その注目原画素の性質を反映したクラス分けができないことがあり、その結果、クラス分類適応処理の処理性能が劣化すること、即ち、クラス分類処理によって、入力画像を十分に改善した画像（ここでは、ぼけを十分に改善した画像）が得られないことがある。
【００２４】
本発明は、このような状況に鑑みてなされたものであり、例えば、クラス分類適応処理等の処理性能を向上させることができるようにするものである。
【００２５】
【課題を解決するための手段】
本発明のデータ処理装置は、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定手段と、予測値を求めようとする出力データである注目出力データについて、決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出する抽出手段と、抽出手段において抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出手段において抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求める予測手段とを備え、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、予測値を求めようとする教師データである注目教師データについて、決定された抽出距離に対応する複数のデータを、生徒データから抽出し、抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めることにより、予測係数は予め学習されていることを特徴とする。
【００２７】
決定手段には、それぞれの距離に応じた複数のデータの値の標準偏差を統計量として求め、所定の基準値に最も近い標準偏差が得られる距離に基づいて、入力データより複数のデータを抽出する抽出距離を決定させることができる。また、決定手段には、前記出力データを、それぞれに複数の注目出力データを有するブロック単位とし、所定のブロック内にある前記複数の注目出力データそれぞれについて得られる前記複数のデータの前記標準偏差の平均を前記統計量とし、当該統計量と前記所定の基準値とを比較することにより、そのブロック内の注目出力データについて前記入力データより前記複数のデータを抽出する抽出距離を決定させることができる。また、所定の基準値は、複数種類の距離に対応する複数のデータのそれぞれについて、生徒データと教師データとの間でクラスコードに対応する所定の予測係数を学習し、学習された予測係数で教師データを予測した結果、最適に予測できる距離に対応する複数のデータより求められる統計量とすることができる。
【００２８】
本発明のデータ処理装置には、所定の基準値を記憶している基準値記憶手段をさらに設けることができる。
【００３０】
本発明のデータ処理装置には、クラスコードごとに、予測係数を記憶している予測係数記憶手段をさらに設けることができる。
【００３１】
入力データおよび出力データは、画像データとすることができる。さらに、この場合、抽出手段には、入力データとしての画像データから、注目出力データとしての画素に対して、空間的または時間的に周辺にある画素を抽出させることができる。
【００３２】
本発明のデータ処理方法は、データ処理装置が、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定手段と、予測値を求めようとする出力データである注目出力データについて、決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出する抽出手段と、抽出手段において抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出手段において抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求める予測手段とを備え、決定手段は、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、抽出手段は、予測値を求めようとする出力データである注目出力データについて、決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出し、クラス分類手段は、抽出手段において抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、予測手段は、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出手段において抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求めるステップを含み、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、予測値を求めようとする教師データである注目教師データについて、決定された抽出距離に対応する複数のデータを、生徒データから抽出し、抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めることにより、予測係 数は予め学習されていることを特徴とする。
【００３３】
本発明の媒体がコンピュータに実行させるプログラムは、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定ステップと、予測値を求めようとする出力データである注目出力データについて、決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出する抽出ステップと、抽出ステップにおいて抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出ステップにおいて抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求める予測ステップとを含み、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、予測値を求めようとする教師データである注目教師データについて、決定された抽出距離に対応する複数のデータを、生徒データから抽出し、抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めることにより、予測係数は予め学習されていることを特徴とする。
【００３４】
本発明の他のデータ処理装置は、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成手段と、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定手段と、予測値を求めようとする教師データである注目教師データについて、決定手段により決定された抽出距離に対応する複数のデータを、生徒データから抽出する抽出手段と、抽出手段において抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、抽出手段において抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求める演算手段とを含むことを特徴とする。
【００３６】
決定手段には、それぞれの距離に応じた複数のデータの値の標準偏差を統計量として求め、所定の基準値に最も近い標準偏差が得られる距離に基づいて、入力データより複数のデータを抽出する抽出距離を決定させることができる。また、決定手段には、出力データを、それぞれに複数の注目教師データを有するブロック単位とし、所定のブロック内にある複数の注目教師データそれぞれについて得られる複数のデータの標準偏差の平均を統計量とし、当該統計量と所定の基準値とを比較することにより、そのブロック内の注目教師データについて生徒データより複数のデータを抽出する抽出距離を決定させることができる。
【００３７】
本発明の他のデータ処理装置には、所定の基準値を求める基準値算出手段をさらに設けることができる。この場合、基準値算出手段には、複数種類の距離に対応する複数のデータに対応するクラスコードについて得られる予測係数で教師データを予測した結果、最適に予測できる距離に対応する複数のデータより求められる統計量を、所定の基準値として求めさせることができる。
【００３９】
教師データおよび生徒データは、画像データとすることができる。この場合、抽出手段には、生徒データとしての画像データから、注目教師データとしての画素に対して、空間的または時間的に周辺にある画素を抽出させることができる。
【００４０】
本発明の他のデータ処理方法は、データ処理装置が、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成手段と、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定手段と、予測値を求めようとする教師データである注目教師データについて、決定手段により決定された抽出距離に対応する複数のデータを、生徒データから抽出する抽出手段と、抽出手段において抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類手段と、抽出手段において抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求める演算手段とを含み、生成手段は、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、決定手段は、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、抽出手段は、予測値を求めようとする教師データである注目教師データについて、決定手段により決定された抽出距離に対応する複数のデータを、生徒データから抽出し、クラス分類手段は、抽出手段において抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、演算手段は、抽出手段において抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めるステップを含むことを特徴とする。
【００４１】
本発明の他の媒体がコンピュータに実行させるプログラムは、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成ステップと、入力データから、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する決定ステップと、予測値を求めようとする教師データである注目教師データについて、決定ステップにより決定された抽出距離に対応する複数のデータを、生徒データから抽出する抽出ステップと、抽出ステップにおいて抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力するクラス分類ステップと、抽出ステップにおいて抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求める演算ステップとを含むことを特徴とする。
【００４２】
本発明の、さらに他のデータ処理装置は、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する第１の決定手段と、予測値を求めようとする出力データである注目出力データについて、第１の決定手段により決定された抽出距離に対応する複数のデータを、入力データから抽出する第１の抽出手段と、第１の抽出手段において抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力する第１のクラス分類手段と、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、第１の抽出手段において抽出された第１の複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値を求める予測手段と、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成する生成手段と、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定する第２の決定手段と、予測値を求めようとする教師データである注目教師データについて、第２の決定手段により決定された抽出距離に対応する第２の複数のデータを、生徒データから抽出する第２の抽出手段と、第２の抽出手段において抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力する第２のクラス分類手段と、第２の抽出手段において抽出された第２の複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求める演算手段とを備え、注目出力データの予測値を求めるのに用いられる予測係数は、予め学習されていることを特徴とする。
【００４３】
本発明のデータ処理装置およびデータ処理方法、並びに媒体においては、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離が、入力データより複数のデータを抽出する抽出距離として決定される。また、予測値を求めようとする出力データである注目出力データについて、抽出距離に対応する複数のデータが、入力データから抽出される。そして、その抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードが出力され、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出ステップにおいて抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値が求められる。また、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データを生成し、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離を、入力データより複数のデータを抽出する抽出距離として決定し、予測値を求めようとする教師データである注目教師データについて、決定された抽出距離に対応する複数のデータを、生徒データから抽出し、抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力し、抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数を、距離に対応する複数のデータに基づくクラスコード毎に求めることにより、予測係数が予め学習されている。
【００４４】
本発明の他のデータ処理装置およびデータ処理方法、並びに媒体においては、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データが生成され、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離が、入力データより複数のデータを抽出する抽出距離として決定される。そして、予測値を求めようとする前記教師データである注目教師データについて、前記決定ステップにより決定された抽出距離に対応する複数のデータが、前記生徒データから抽出され、その抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力され、その抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に求められる。
【００４５】
本発明の、さらに他のデータ処理装置においては、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離が、入力データより複数のデータを抽出する抽出距離として決定される。また、予測値を求めようとする出力データである注目出力データについて、抽出距離に対応する複数のデータが、入力データから抽出される。そして、その抽出された複数のデータの値のパターンに基づき、注目出力データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードが出力され、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に予め学習されており、抽出ステップにおいて抽出された複数のデータとクラスコードに対応する予測係数との線形一次結合により、注目出力データの予測値が求められる。一方、予測係数の学習のための教師となる教師データに対して、入力データに応じた特定の処理を施し、生徒となる生徒データが生成され、入力データから、予測値を求めようとする出力データである注目出力データに対応する中心データと、当該中心データから空間方向または時間方向において予め設定される複数種類の距離のうちの一の距離に対応する複数の周辺データとを有する複数のデータを、距離を変えながらそれぞれ読み出し、複数種類の距離のそれぞれに対応する複数のデータの値の平均値に対するそれぞれの値のばらつき、又は、複数のデータの値同士の差分に基づく統計量と所定の基準値とを比較することにより、所定の基準値に最も近い統計量が得られる距離が、入力データより複数のデータを抽出する抽出距離として決定される。そして、予測値を求めようとする前記教師データである注目教師データについて、前記決定ステップにより決定された抽出距離に対応する複数のデータが、前記生徒データから抽出され、その抽出された複数のデータの値のパターンに基づき、注目教師データを、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、対応するクラスコードを出力され、その抽出された複数のデータを用いて、所定の基準値に最も近い統計量が得られる距離に対応する複数のデータとしての、入力データに相当する生徒データとの線形一次結合により当該生徒データよりも高質な教師データを予測する予測係数が、距離に対応する複数のデータに基づくクラスコード毎に求められる。このようにして求められた予測係数が、注目出力データの予測値を求めるのに用いられる。
【００４６】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００４７】
この画像処理装置においては、例えば、ぼけた画像が、入力画像として入力されると、その入力画像に対して、クラス分類適応処理が施されることにより、図２に示すように、入力画像のぼけ度にかかわらず、そのぼけが十分に改善された画像（ぼけ改善画像）が出力されるようになっている。
【００４８】
即ち、この画像処理装置は、フレームメモリ１、クラスタップ生成回路２、予測タップ生成回路３、クラス分類回路４、係数RAM(Random Access Memory)５、予測演算回路６、およびタップ決定回路７から構成され、そこには、ぼけの改善を行う対象となる入力画像が入力されるようになっている。
【００４９】
フレームメモリ１は、画像処理装置に入力される入力画像を、例えば、フレーム単位で一時記憶するようになされている。なお、本実施の形態では、フレームメモリ１は、複数フレームの入力画像を、バンク切換によって記憶することができるようになっており、これにより、画像処理装置に入力される入力画像が動画であっても、その処理をリアルタイムで行うことができるようになっている。
【００５０】
クラスタップ生成回路２は、クラス分類適応処理により、予測値を求めようとする原画素（ここでは、入力画素からぼけを完全に排除した、ぼけのない理想的な画素）を、注目原画素として、その注目原画素についてのクラス分類に用いる入力画素を、タップ決定回路７からのタップ情報にしたがい、フレームメモリ１に記憶された入力画像から抽出し、これを、クラスタップとして、クラス分類回路４に出力するようになっている。
【００５１】
予測タップ生成回路３は、予測演算回路６において注目原画素の予測値を求めるのに用いる入力画素を、タップ決定回路７からのタップ情報にしたがい、フレームメモリ１に記憶された入力画像から抽出し、これを予測タップとして、予測演算回路６に供給するようになされている。
【００５２】
クラス分類回路４は、クラスタップ生成回路２からのクラスタップに基づいて、注目原画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数RAM５に対して、アドレスとして与えるようになされている。即ち、クラス分類回路４は、クラスタップ生成回路２からクラスタップを、例えば、１ビットADRC(Adaptive Dynamic Range Coding)処理し、その結果得られるADRCコードを、クラスコードとして、係数RAM５に出力するようになっている。
【００５３】
ここで、KビットADRC処理においては、クラスタップを構成する入力画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する入力画素がKビットに再量子化される。即ち、クラスタップを構成する画素の画素値の中から、最小値MINが減算され、その減算値がDR/2^Kで除算（量子化）される。従って、クラスタップが、１ビットADRC処理された場合には、そのクラスタップを構成する各入力画素の画素値は１ビットとされることになる。そして、この場合、以上のようにして得られる、クラスタップを構成する各画素についての１ビットの画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。
【００５４】
係数RAM５は、後述する学習装置において学習が行われることにより得られるクラスごとの予測係数を記憶しており、クラス分類回路４からクラスコードが供給されると、そのクラスコードに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路６に供給するようになっている。
【００５５】
予測演算回路６は、係数RAM５から供給される、注目原画素のクラスについての予測係数ｗ，ｗ₂，・・・と、予測タップ生成回路３からの予測タップ（を構成する各画素の画素値）ｘ₁，ｘ₂，・・・とを用いて、式（１）に示した演算を行うことにより、注目原画素ｙの予測値Ｅ［ｙ］を求め、これを、ぼけを改善した画素の画素値として出力するようになっている。
【００５６】
タップ決定回路７は、フレームメモリ１に記憶された入力画像の統計量に基づいて、クラスタップおよび予測タップを構成させる複数の入力画素を決定し、そのクラスタップおよび予測タップを構成させる複数の入力画素に関する情報（以下、適宜、タップ情報という）を、クラスタップ生成回路２および予測タップ生成回路３に供給するようになっている。
【００５７】
即ち、タップ決定回路７は、基本的に、例えば、注目原画素の位置にある入力画素を中心画素として、例えば、横×縦が３×３画素でなる正方形状のクラスタップおよび予測タップ（以下、適宜、両者をまとめて、単に、タップという）を、クラスタップ生成回路２および予測タップ生成回路３に構成させるようなタップ情報を出力するようになっている。但し、そのタップ情報は、タップを構成する画素どうしの間隔（以下、適宜、タップ幅という）が、入力画像の統計量によって、異なるものとなるようになっている。
【００５８】
具体的には、例えば、入力画像の統計量が、ある値である場合には、タップ決定回路７は、図３（Ａ）に示すように、中心画素を中心とする３×３画素でなる、タップ幅が０（タップを構成する画素どうしの間隔が０）のタップを構成するためのタップ情報を出力する。また、例えば、入力画像の統計量が、他の値である場合には、タップ決定回路７は、図３（Ｂ）に示すように、中心画素を中心とする３×３画素でなる、タップ幅が１（タップを構成する画素どうしの間隔が１画素または１フレーム）のタップを構成するためのタップ情報を出力する。
【００５９】
次に、図４のフローチャートを参照して、図１の画像処理装置において行われる、入力画像のぼけを改善するぼけ改善処理について説明する。
【００６０】
フレームメモリ１には、ぼけ改善処理の対象としての入力画像（動画像）が、フレーム単位で順次供給され、フレームメモリ１では、そのようにフレーム単位で供給される入力画像が順次記憶されていく。
【００６１】
そして、ステップＳ１において、タップ決定回路７は、フレームメモリ１に記憶された入力画像の統計量に基づいて、タップを構成させる複数の入力画素を決定し、その複数の入力画素に関するタップ情報を、クラスタップ生成回路２および予測タップ生成回路３に出力する。
【００６２】
クラスタップ生成回路２または予測タップ生成回路３は、タップ決定回路７からタップ情報を受信すると、ステップＳ２において、そのタップ情報にしたがい、予測値を求めようとする注目原画素についてのクラスタップまたは予測タップを構成させる複数の入力画素を、フレームメモリ１から読み出し、クラスタップまたは予測タップをそれぞれ構成する。このクラスタップまたは予測タップは、クラス分類回路４または予測演算回路６にそれぞれ供給される。
【００６３】
クラス分類回路４は、クラスタップ生成回路２からクラスタップを受信すると、ステップＳ３において、そのクラスタップに基づき、注目原画素についてクラス分類を行い、その結果得られるクラスコードを、係数RAM５に対して、アドレスとして出力する。係数RAM５は、ステップＳ４において、クラス分類回路４からのクラスコードに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路６に供給する。
【００６４】
予測演算回路６では、ステップＳ５において、予測タップ生成回路３からの予測タップと、係数RAM５からの予測係数とを用いて、式（１）に示した演算が行われることにより、注目原画素ｙの予測値Ｅ［ｙ］、即ち、ここでは、ぼけを改善した画素が求められ、ステップＳ６に進む。ステップＳ６では、予測演算回路６が、ステップＳ５で求めた注目原画素ｙの予測値Ｅ［ｙ］を、その注目原画素と同一位置にある入力画素におけるぼけを改善した画素値として出力し、ステップＳ７に進む。
【００６５】
ステップＳ７では、後述する所定のブロック内にある原画素すべてを、注目原画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ２に戻り、ブロック内の原画素のうち、まだ注目原画素としていない原画素を、新たに注目原画素として、以下、同様の処理が繰り返される。従って、本実施の形態では、同一ブロック内にある原画素については、同一のタップ情報に基づいてタップが構成される。即ち、同一ブロック内の原画素については、各原画素から見て同一の位置にある入力画素からタップが構成される。
【００６６】
また、ステップＳ７において、所定のブロック内にある原画素すべてを、注目原画素として処理を行ったと判定された場合、ステップＳ８に進み、次に処理すべきブロックがあるか否か、即ち、フレームメモリ１に、次に処理すべきブロックに対応する入力画像が記憶されているかどうかが判定される。ステップＳ８において、フレームメモリ１に、次に処理すべきブロックに対応する入力画像が記憶されていると判定された場合、ステップＳ１に戻り、以下、同様の処理が繰り返される。従って、次に処理すべきブロックには、新たに、タップ情報が決定され、そのタップ情報に従ってタップが構成される。
【００６７】
一方、ステップＳ８において、フレームメモリ１に、次に処理すべきブロックに対応する入力画素が記憶されていないと判定された場合、ぼけ改善処理を終了する。
【００６８】
次に、図５は、図１のタップ決定回路７の構成例を示している。
【００６９】
読み出し部１１は、所定のブロック内にある原画素が注目原画素とされたときに、その注目原画素についてのタップとなる入力画素を、フレームメモリ１（図１）から読み出し、標準偏差算出部１２に供給するようになっている。
【００７０】
即ち、ここでは、例えば、原画像の１フレームや、その１フレームを幾つかの領域に分割したもの、あるいは、数フレーム（例えば、シーンチェンジ直後のフレームから、次のシーンチェンジの直前のフレームまで）を１ブロックとして、そのブロック単位で、タップ情報を決定するようになっており、読み出し部１１は、あるブロック内にある各原画素が注目原画素とされたときに、その各原画素について、判定部１３の制御にしたがったタップ幅のタップを構成する入力画素を、フレームメモリ１から読み出し、標準偏差算出部１２に供給するようになっている。
【００７１】
標準偏差算出部１２は、読み出し部１１からのタップの統計量として、そのタップを構成する入力画素の画素値の標準偏差を算出するようになっている。さらに、標準偏差算出部１２は、ブロックごとに、タップ幅が同一のタップについての標準偏差の平均値scoreを演算し、その平均値scoreを、各ブロックについての各タップ幅の評価値として、判定部１３に供給するようになっている。即ち、ブロックをiで、タップ幅をjで、それぞれ表すとすると、標準偏差算出部１２は、ブロック#i内にある各原画素について構成されるタップ幅jのタップの評価値として、次式で表されるscore(i,j)を計算し、判定部１３に供給するようになっている。
【００７２】
【数８】

ここで、式（８）において、Ｍは、ブロック#i内にある原画素の個数を表し、Ｋは、タップを構成する入力画素の個数を表す。さらに、Ｖ_m,j,kは、ブロック#i内にあるｍ番目の原画素について構成される、タップ幅jのタップの中のｋ番目の入力画素の画素値を表す。また、mean_m,jは、ブロック#i内にあるｍ番目の原画素について構成される、タップ幅jのタップの平均値（タップを構成する入力画素の画素値の平均値）を表す。従って、mean_m,jは、（Ｖ_m,j,1＋Ｖ_m,j,2＋・・・＋Ｖ_m,j,K）／Ｋを演算することで求めることができる。
【００７３】
判定部１３は、標準偏差算出部１２からの評価値score(i,j)と、基準値設定部１４に設定されている所定の基準値とを比較し、その比較結果に基づいて、読み出し部１１を制御するようになっている。さらに、判定部１３は、その比較結果に基づいて、注目原画素を含むブロック（以下、適宜、注目ブロックという）内の原画素についてタップを構成するときのタップ幅を決定し、そのタップ幅を、タップ情報として出力するようになっている。
【００７４】
基準値設定部１４は、入力画像のぼけが最も改善される場合（入力画素のクラス分類処理結果が、その入力画素に対応する原画素に最も近づく場合）の、タップを構成する入力画素（生徒データ）の画素値の標準偏差が、標準偏差算出部１２の出力と比較する基準値として設定されている。なお、この基準値の求め方については、後述する。
【００７５】
次に、図６のフローチャートを参照して、図５のタップ決定回路７において行われる、タップの構造を決定するタップ決定処理について説明する。
【００７６】
タップ決定処理では、注目ブロック内の原画素のいずれかが、初めて注目原画素とされると、ステップＳ１１において、読み出し部１１は、その注目ブロックの注目原画素とされた原画素について、例えば、タップ幅０のタップを構成するための入力画素を、フレームメモリ１（図１）から読み出し、標準偏差算出部１２に供給する。
【００７７】
そして、ステップＳ１２に進み、標準偏差算出部１２において、読み出し部１１からの入力画素で構成されるタップの標準偏差が求められ、ステップＳ１３に進む。ステップＳ１３では、注目ブロック内のすべての原画素を注目原画素として処理を行ったかどうかが判定され、行っていないと判定された場合、ステップＳ１１に戻り、注目ブロック内の原画素のうち、まだ注目原画素とされていないものを、新たに注目原画素として、以下、同様の処理が繰り返される。
【００７８】
また、ステップＳ１３において、注目ブロック内のすべての原画素を注目原画素として処理を行ったと判定された場合、ステップＳ１４に進み、標準偏差算出部１２は、注目ブロックの各原画素について得られたタップの標準偏差の平均値を算出する。
【００７９】
即ち、いま、注目ブロックが、ブロック#iで表され、その注目ブロック#iの各原画素について構成されたタップのタップ幅がjで表されるとすると、ステップＳ１４では、式（８）で示されるscore(i,j)が算出される。このscore(i,j)は、判定部１３に供給される。
【００８０】
判定部１３では、ステップＳ１５において、標準偏差算出部１２からのscore(i,j)が、基準値設定部１４に設定された基準値に近いかどうかが判定され、近くないと判定された場合、即ち、注目ブロック#iの各原画素について構成されたタップ幅jのタップの標準偏差の平均値が、基準値に近くない場合、ステップＳ１６に進み、判定部１３は、タップ幅jを変更するように、読み出し部１１を制御し、ステップＳ１１に戻る。
【００８１】
この場合、ステップＳ１１では、読み出し部１１において、注目ブロックのある原画素を注目原画素として、その注目原画素について、タップ幅j+1のタップを構成するための入力画素が、フレームメモリ１から読み出され、以下、同様の処理が繰り返される。
【００８２】
一方、ステップＳ１５において、標準偏差算出部１２からのscore(i,j)が、基準値設定部１４に設定された基準値に近いと判定された場合、即ち、注目ブロック#iの各原画素について構成されたタップ幅jのタップの標準偏差の平均値が、基準値に近い場合、ステップＳ１７に進み、判定部１３は、そのタップ幅jを、タップ情報として出力し、リターンする。
【００８３】
上述したように、図１のクラスタップ生成回路２および予測タップ生成回路３では、タップ決定回路７がブロックごとに出力するタップ情報にしたがって、そのブロックの原画素が注目原画素とされた場合のタップが構成されるから、タップ幅jのタップ情報が出力された場合には、注目ブロックを構成する原画素については、そのようなタップ幅jのタップが構成されることになる。
【００８４】
次に、図７は、図１の係数RAM５に記憶させるクラスごとの予測係数を求めるとともに、図５の基準値設定部１４に設定する所定の基準値を求める学習装置の一実施の形態の構成例を示している。
【００８５】
フレームメモリ６１には、教師データｙとなる原画像（ここでは、ぼけのない画像）が、例えば、フレーム単位で供給されるようになっており、フレームメモリ６１は、その原画像を、一時記憶するようになっている。ぼけ付加回路６２は、フレームメモリ６１に記憶された、予測係数の学習において教師データｙとなる原画像を読み出し、その原画像を構成する原画素に対してぼかしを付加し（例えば、ローパスフィルタでフィルタリングし）、生徒データとしての、ぼけのある画像（以下、適宜、ぼけ画像という）を生成するようになっている。このぼけ画像は、フレームメモリ６３に供給されるようになっている。
【００８６】
フレームメモリ６３は、ぼけ付加回路６２からのぼけ画像を一時記憶するようになっている。
【００８７】
なお、フレームメモリ６１および６３は、図１のフレームメモリ１と同様に構成されている。
【００８８】
クラスタップ生成回路６４または予測タップ生成回路６５は、フレームメモリ６３に記憶されたぼけ画像を構成する画素（以下、適宜、ぼけ画素という）を用い、図１のクラスタップ生成回路２または予測タップ生成回路３と同様に、タップ決定回路７２からのタップ情報にしたがって、注目原画素について、クラスタップまたは予測タップを構成し、クラス分類回路６６または加算回路６７にそれぞれ供給するようになっている。
【００８９】
クラス分類回路６６は、図１のクラス分類回路４と同様に構成され、クラスタップ生成回路６４からのクラスタップに基づいて、注目原画素をクラス分類し、対応するクラスコードを、予測タップメモリ６８および教師データメモリ７０に対して、アドレスとして与えるようになっている。
【００９０】
加算回路６７は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を、予測タップメモリ６８から読み出し、その記憶値と、予測タップ生成回路６５からの予測タップを構成するぼけ画素（の画素値）とを加算することで、式（７）の正規方程式の左辺における、予測係数ｗの乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路６７は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、予測タップメモリ６８のアドレスに、上書きする形で記憶させるようになっている。
【００９１】
予測タップメモリ６８は、クラス分類回路６６が出力するクラスに対応するアドレスの記憶値を読み出し、加算回路６７に供給するとともに、そのアドレスに、加算回路６７の出力値を記憶するようになっている。
【００９２】
加算回路６９は、フレームメモリ６１に記憶された原画像を構成する原画素のうちの、注目原画素を、教師データｙとして読み出すとともに、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を、教師データメモリ７０から読み出し、その記憶値と、フレームメモリ６１から読み出した教師データ（原画素）ｙとを加算することで、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路６９は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、教師データメモリ７０のアドレスに、上書きする形で記憶させるようになっている。
【００９３】
なお、加算回路６７および６９では、式（７）における乗算も行われる。即ち、加算器６７では、予測タップを構成するぼけ画素ｘどうしの乗算も行われ、また、加算器６９では、予測タップを構成するぼけ画素ｘと、教師データｙとの乗算も行われる。従って、加算器６９では、ぼけ画素ｘが必要となるが、これは、フレームメモリ６３から読み出されるようになっている。
【００９４】
教師データメモリ７０は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６９に供給するとともに、そのアドレスに、加算回路６９の出力値を記憶するようになっている。
【００９５】
演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求めるようになっている。即ち、演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれの、各クラスコードに対応するアドレスに記憶されている記憶値から、式（７）の正規方程式をたて、これを解くことにより、クラスごとの予測係数を求めるようになっている。
【００９６】
タップ決定回路７２は、図１のタップ決定回路７と同様のタップ決定処理を行うことで、クラスタップ生成回路６４および予測タップ生成回路６５に生成させるタップに関するタップ情報を決定し、クラスタップ生成回路６４および予測タップ生成回路６５に供給するようになっている。さらに、タップ決定回路７２は、タップ決定処理において用いる所定の基準値の算出も行うようになっている。
【００９７】
次に、図８のフローチャートを参照して、図７の学習装置において行われる、クラスごとの予測係数および所定の基準値を求める学習処理について説明する。
【００９８】
学習装置には、教師データとしての原画像（動画像）が、フレーム単位で供給されるようになっており、その原画像は、フレームメモリ６１において順次記憶されていく。また、フレームメモリ６１に記憶された原画像は、ぼけ付加回路６２に供給され、そこで、ぼけ画像とされる。なお、ぼけ付加回路６２では、例えば、フレームごと等に、ぼけ度の異なるぼけ画像が生成されるようになっている。
【００９９】
ぼけ付加回路６２で得られたぼけ画像は、生徒データとして、フレームメモリ６３に順次供給されて記憶される。
【０１００】
以上のようにして、学習処理のために用意されたすべての原画像に対応するぼけ画像が、フレームメモリ６３に記憶されると、タップ決定回路７２は、ステップＳ２１において、タップ決定処理に用いる基準値を、後述するようにして求め、ステップＳ２２に進む。
【０１０１】
ステップＳ２２では、タップ決定回路７２において、図１のタップ決定回路７における場合と同様にして、タップを構成させるぼけ画素が決定され、そのぼけ画素に関するタップ情報が、クラスタップ生成回路６４および予測タップ生成回路６５に出力される。
【０１０２】
クラスタップ生成回路６４または予測タップ生成回路６５では、ステップＳ２３において、タップ決定回路７２からのタップ情報にしたがい、予測値を求めようとする注目原画素についてのクラスタップまたは予測タップを構成させるぼけ画素が、フレームメモリ６３から読み出され、クラスタップまたは予測タップがそれぞれ構成される。このクラスタップまたは予測タップは、クラス分類回路６６または加算回路６７にそれぞれ供給される。
【０１０３】
クラス分類回路６６では、ステップＳ２４において、図１のクラス分類回路４における場合と同様にして、クラスタップ生成回路６４からのクラスタップを用いて、注目原画素がクラス分類され、そのクラス分類結果としてのクラスコードが、予測タップメモリ６８および教師データメモリ７０に対して、アドレスとして与えられる。
【０１０４】
そして、ステップＳ２５に進み、予測タップ（生徒データ）または教師データそれぞれの足し込みが行われる。
【０１０５】
即ち、ステップＳ２５において、予測タップメモリ６８は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６７に供給する。加算回路６７は、予測タップメモリ６８から供給される記憶値と、予測タップ生成回路６５から供給されるの予測タップを構成するぼけ画素とを用いて、式（７）の正規方程式の左辺における、予測係数の乗数となっているサメーション（Σ）に相当する演算を行う。そして、加算回路６７は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、予測タップメモリ６８のアドレスに、上書きする形で記憶させる。
【０１０６】
さらに、ステップＳ２５では、教師データメモリ７０は、クラス分類回路６６が出力するクラスコードに対応するアドレスの記憶値を読み出し、加算回路６９に供給する。加算回路６９は、フレームメモリ６１から、注目原画素を読み出すとともに、フレームメモリ６３から、必要なぼけ画素を読み出し、その読み出した画素と、教師データメモリ７０から供給された記憶値とを用いて、式（７）の正規方程式の右辺におけるサメーション（Σ）に相当する演算を行う。そして、加算回路６９は、その演算結果を、クラス分類回路６６が出力するクラスコードに対応する、教師データメモリ７０のアドレスに、上書きする形で記憶させる。
【０１０７】
その後、ステップＳ２６に進み、いま注目している注目ブロック内にある原画素すべてを、注目原画素として処理を行ったか否かが判定され、まだ行っていないと判定された場合、ステップＳ２３に戻り、注目ブロック内の原画素のうち、まだ注目原画素とされていない原画素を、新たに注目原画素として、以下、同様の処理が繰り返される。
【０１０８】
また、ステップＳ２６において、注目ブロック内にある原画素すべてを、注目原画素として処理を行ったと判定された場合、ステップＳ２７に進み、次に処理すべきブロックがあるか否か、即ち、フレームメモリ６３に、次に処理すべきブロックに対応するぼけ画像が記憶されているかどうかが判定される。ステップＳ２７において、フレームメモリ６３に、次に処理すべきブロックに対応するぼけ画像が記憶されていると判定された場合、ステップＳ２２に戻り、そのブロックを新たに注目ブロックとし、さらに、その注目ブロック内の原画素のうちの１つを、新たに注目原画素として、以下、同様の処理が繰り返される。
【０１０９】
一方、ステップＳ２７において、フレームメモリ６３に、次に処理すべきブロックに対応するぼけ画素が記憶されていないと判定された場合、即ち、あらかじめ学習用に用意しておいたすべての原画像を用いて処理を行った場合、ステップＳ２８に進み、演算回路７１は、予測タップメモリ６８または教師データメモリ７０それぞれから、各クラスコードに対応するアドレスに記憶されている記憶値を順次読み出し、式（７）に示した正規方程式をたてて、これを解くことにより、クラスごとの予測係数を求める。さらに、演算回路７１は、ステップＳ２９において、その求めたクラスごとの予測係数を出力して、学習処理を終了する。
【０１１０】
なお、以上のような予測係数の学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があり得るが、そのようなクラスについては、例えば、デフォルトの予測係数を出力するようにすること等が可能である。
【０１１１】
次に、図９は、図８のタップ決定回路７２の構成例を示している。
【０１１２】
同図に示すように、タップ決定回路７２は、読み出し部８１、標準偏差算出部８２、判定部８３、および基準値作成部８４で構成されており、このうち、読み出し部８１、標準偏差算出部８２、または判定部８３は、図５の読み出し部１１、標準偏差算出部１２、または判定部１３とそれぞれ同様に構成されている。従って、タップ決定回路７２は、基準値設定部１４に替えて、基準値作成部８４が設けられている他は、図５のタップ決定回路７と同様に構成されている。
【０１１３】
基準値作成部８４は、図８のステップＳ２１において、タップ決定処理に用いる基準値を求め、判定部８３に供給するようになっている。
【０１１４】
以上のように構成されるタップ決定回路７２では、図１０のフローチャートに示すように、ステップＳ３１乃至Ｓ３７において、図６のステップＳ１１乃至Ｓ１７における場合とそれぞれ同様の処理が行われることで、各ブロックごとに、タップ情報が決定される。
【０１１５】
次に、図１１および図１２を参照して、図９の基準値作成部８４において行われる基準値の算出の方法について説明する。
【０１１６】
基準値作成部８４では、学習処理のために用意されたすべての原画像（教師データ）が、フレームメモリ６１から読み出されるとともに、その原画像に、ぼけが付加されたぼけ画像（生徒データ）が、フレームメモリ６３から読み出される。さらに、基準値作成部８４は、ぼけ画像に対する原画像を、上述したようなブロックに分割し、各ブロックの原画素それぞれについて、タップ幅の異なるタップを構成し、タップ幅と、タップを構成するぼけ画素の標準偏差の平均値との関係を求める。
【０１１７】
即ち、あるブロックに注目した場合に、基準値作成部８４は、そのブロックの各原画素を、順次、注目原画素として、タップ幅がjのタップを構成する。さらに、基準値作成部８４は、各原画素について構成されたタップの標準偏差を求め、その標準偏差の、ブロックにおける平均値を演算する。具体的には、ブロック#iの原画素の総数をＭで、タップを構成するぼけ画素の総数をＫで、ブロック#iにおけるｍ番目の原画素について構成される、タップ幅jのタップの中のｋ番目のぼけ画素の画素値をＶ_m,j,kで、ブロック#iにおけるｍ番目の原画素について構成される、タップ幅jのタップの平均値（タップを構成するぼけ画素の平均値）をmean_m,jで、それぞれ表すとすると、基準値作成部８４では、上述した式（８）にしたがって、score(i,j)が演算される。
【０１１８】
基準値作成部８４は、タップ幅jを、幾つかの値に変えて、ブロック#iにおける各原画素についてタップを構成し、順次、各タップ幅jのタップの標準偏差の平均値score(i,j)を計算していく。
【０１１９】
さらに、基準値作成部８４は、その他のブロック#iについても、同様に、各タップ幅jのタップの標準偏差の平均値score(i,j)を計算していく。
【０１２０】
以上のようにして、基準値作成部８４では、図１１に示すような、各ブロック#iについて、タップ幅jと、そのタップ幅jのタップの標準偏差の平均値score(i,j)との関係が求められる。
【０１２１】
なお、図１１は、４つブロック#1乃至#4それぞれについての、タップ幅jと、タップの標準偏差の平均値score(i,j)との関係を示しており、○印がブロック#1についてのものを、×印がブロック#2についてのものを、△印がブロック#3についてのものを、□印がブロック#4についてのものを、それぞれ表している。
【０１２２】
また、図１１は、タップ幅jを、０乃至１０それぞれとしたときのタップの標準偏差の平均値score(i,j)を示している。
【０１２３】
ブロック#iの各原画素について構成されるタップの標準偏差の平均値score(i,j)は、そのブロック#iに対するぼけ画像の画素値の変化のし具合、即ち、ぼけの程度を表しており、従って、score(i,j)が大きいほど（小さいほど）、ぼけ度は小さい（大きい）ことを表す。
【０１２４】
基準値作成部８４は、上述のようにして、タップの標準偏差の平均値score(i,j)を求めるのと同時に、各タップ幅jのタップを用いて、クラス分類適応処理により、原画素の予測値を求める。
【０１２５】
即ち、基準値作成部８４は、ブロック#iにおける原画素と、ぼけ画像とを用い、タップ幅jをある値に固定して、式（７）の正規方程式を生成し、それを解くことで、クラスごとの予測係数を求める。さらに、基準値作成部８４は、そのクラスごとの予測係数を用い、タップ幅jを、上述のある値に固定して、式（１）の線形予測式を計算することで、ブロック#iにおける各原画像の予測値を求める。
【０１２６】
基準値作成部８４は、タップ幅jを、順次変えて同様の処理を行い、さらに、他のブロックについても、同様の処理を行う。これにより、各ブロック#iの原画素について、各タップ幅jのタップを用いたときの、その予測値e(i,j)が求められる。即ち、各ブロック#iの原画素について、その原画素の予測に用いるタップのタップ幅jと、原画素の予測値e(i,j)との関係が求められる。
【０１２７】
そして、基準値作成部８４は、以上のようにして求められた予測値e(i,j)が、原画像にどの程度近いかを判定する。即ち、基準値作成部８４は、例えば、ブロック#iについて、原画素と、タップ幅jのタップを用いて求めた予測値e(i,j)との絶対値差分和の逆数等を、予測値e(i,j)のS/N(Signal to Noise Ratio)として求める。ここで、図１１に示した４つのブロック#iについて得られた予測値e(i,j)のS/Nを、図１２に示す。
【０１２８】
図１２においては、ブロック#1について、タップ幅jが０のタップを用いて得られた予測値e(1,0)のS/Nが最も良くなっており、即ち、その予測値e(1,0)が、原画像に最も近くなっており、基準値作成部８４では、そのように、原画像に最も近くなっている予測値e(i,j)が得られたブロック#iと、タップ幅jとが検出される。ここで、以上のようにして検出されたブロック#iまたはタップ幅jを、以下、適宜、それぞれ、最適ブロックまたは最適タップ幅という。
【０１２９】
最適ブロックについて、タップ幅jが最適タップ幅のタップを構成して得られたときの予測値e(i,j)が原画像に最も近くなっているということは、最適ブロックについて、最適タップ幅のタップを構成したときの、そのタップの標準偏差（以下、適宜、最適標準偏差という）が、他のブロックについて構成されるタップの標準偏差としても、最も適した値であると考えられる。
【０１３０】
即ち、統計的な観点から、他のブロックについても、その標準偏差が、最適標準偏差となるようなタップ幅のタップを構成した場合に、原画像に最も近い予測値が得られると考えられる。
【０１３１】
そこで、基準値作成部８４では、最適標準偏差が求められ、これが、所定の基準値として、判定部８３に供給される。
【０１３２】
ここで、図１２では、ブロック#1について、タップ幅jが０のタップを用いて得られた予測値e(1,0)のS/Nが最も良くなっているから、基準値作成部８４では、図１１において、ブロック#1について得られたscore(1,j)（図１１で○印で示す）のうち、タップ幅jが０のときの値である２０が、最適標準偏差として求められる。
【０１３３】
さらに、この場合、他のブロックについては、図１１において、太線の矢印で示す値が、最適標準偏差に一致する標準偏差が得られるタップ幅jであり、従って、図６や図１０のタップ決定処理では、そのような値がタップ幅jとして決定されることになる。
【０１３４】
なお、タップ幅jは整数値をとるものであるが、最適標準偏差に一致する標準偏差が得られるタップ幅（図１１において太線の矢印で示す値）は、図１１から明らかなように、整数値をとるとは限らない（むしろ、整数値とならない場合が多い）。そこで、図６や図１０のタップ決定処理では、最適標準偏差に一致する標準偏差が得られるタップ幅が整数値とならない場合には、例えば、その整数値でないタップ幅に最も近い整数値が、最終的なタップ幅として決定されるようになっている。
【０１３５】
即ち、図６のタップ決定処理では（図１０においても同様）、上述したように、標準偏差算出部１２からのscore(i,j)が、基準値設定部１４に設定された基準値に近いかどうかが判定され（ステップＳ１５）、近いと判定された場合、そのときのタップ幅jが、タップ情報として出力される（ステップＳ１７）ようになっているが、ここで言っている「score(i,j)が基準値に近い」というのは、整数値をとるタップ幅jのタップを構成したときの、そのタップの標準偏差（本実施の形態では、ブロックについて得られる標準偏差の平均値）score(i,j)が、基準値に最も近いことを意味している。
【０１３６】
なお、図６や図１０のタップ決定処理では、最適標準偏差に一致する標準偏差が得られるタップ幅を求め、そのタップ幅が整数値でない場合には、タップ幅の平均値が、その整数値でないタップ幅となるタップを構成するようにすることも可能である。即ち、最適標準偏差に一致する標準偏差が得られるタップ幅が、例えば、１．５である場合には、ある画素どうしのタップ幅を１とするとともに、他の画素どうしのタップ幅を２としてタップを構成し、そのタップにおけるタップ幅の平均が１．５となるようにすることが可能である。
【０１３７】
以上のように、最適標準偏差を求め、その最適標準偏差に一致するような標準偏差が得られるタップ幅のタップを構成して、学習処理およびぼけ改善処理を行うようにしたので、それらの処理性能を向上させることができる。
【０１３８】
即ち、学習処理においては、画像のぼけ度に適したクラス分けが行われ、さらに、そのぼけ度に適した予測タップが構成される。その結果、画像のぼけ度に適したクラスごとの予測係数を得ることができる。また、ぼけ改善処理においても、画像のぼけ度に適したクラス分けが行われるとともに、そのぼけ度に適した予測タップが構成され、さらに、ぼけ度に適したクラスごとの予測係数を用いて、原画素の予測値が求められる。その結果、画像のぼけ度にかかわらず、鮮明な画像（ぼけが、より改善された画像）を得ることができる。
【０１３９】
具体的には、例えば、前述したように、ぼけ度の小さい入力画像を対象にクラス分類適応処理を行う場合においては、注目原画素から見て、比較的近い位置にある入力画素を用いてクラス分類を行う方が、注目原画素の性質を反映したクラス分けを行うことができ、また、ぼけ度の大きい入力画像を対象にクラス分類適応処理を行う場合においては、注目原画素から見て、比較的遠い位置にある入力画素を用いてクラス分類を行う方が、その性質を反映したクラス分けを行うことができるが、図１１に示した場合には、そのようなクラス分類が行われる。
【０１４０】
即ち、図１１に示した場合においては、上述したように、score(i,j)が大きいブロックほど、ぼけ度は小さいから、ブロック#1,#2,#3,#4の順で、ぼけ度は大きくなっている。そして、図１１に示した場合には、上述したことから、ブロック#1,#2,#3,#4それぞれについては、タップ幅が０，１，３，８のタップが構成される。
【０１４１】
従って、本願手法によれば、ぼけ度が大きくなるほど、注目原画素から見て遠い位置にある入力画素を用いてクラスタップが構成されるので、画像の性質を十分に反映したクラス分けが行われることになる。
【０１４２】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアとしての画像処理装置や学習装置に組み込まれているコンピュータ、または各種のプログラムをインストールすることで各種の処理を行う汎用のコンピュータ等にインストールされる。
【０１４３】
そこで、図１３を参照して、上述した一連の処理を実行するプログラムをコンピュータにインストールし、コンピュータによって実行可能な状態とするために用いられる媒体について説明する。
【０１４４】
プログラムは、図１３（Ａ）に示すように、コンピュータ１０１に内蔵されている記録媒体としてのハードディスク１０２に予めインストールした状態でユーザに提供することができる。
【０１４５】
あるいはまた、プログラムは、図１３（Ｂ）に示すように、フロッピーディスク１１１、CD-ROM(Compact Disc Read Only Memory)１１２，MO(Magneto optical)ディスク１１３，DVD(Digital Versatile Disc)１１４、磁気ディスク１１５、半導体メモリ１１６などの記録媒体に、一時的あるいは永続的に格納し、パッケージソフトウエアとして提供することができる。
【０１４６】
さらに、プログラムは、図１３（Ｃ）に示すように、ダウンロードサイト１２１から、ディジタル衛星放送用の人工衛星１２２を介して、コンピュータ１２３に無線で転送したり、LAN(Local Area Network)、インターネットといったネットワーク１１１を介して、コンピュータ１２３に有線で転送し、コンピュータ１２３において、内蔵するハードディスクなどに格納させるようにすることができる。
【０１４７】
本明細書における媒体とは、これら全ての媒体を含む広義の概念を意味するものである。
【０１４８】
また、本明細書において、媒体により提供されるプログラムを記述するステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１４９】
なお、クラス分類適用処理は、教師データと生徒データとを用いて、クラスごとに予測係数を求める学習を行い、その予測係数と入力データとを用いた線形一次予測により、入力データから、教師データの予測値を求めるものであるから、学習に用いる教師データおよび生徒データによって、所望の予測値を求めるための予測係数を得ることが可能となる。即ち、例えば、教師データとして、高解像度の画像を用いるとともに、生徒データとして、その画像の解像度を落とした画像を用いることで、解像度を向上させる予測係数を得ることができる。また、例えば、教師データとして、ノイズを含まない画像を用いるとともに、生徒データとして、その画像にノイズを付加した画像を用いることで、ノイズの除去を行う予測係数を得ることができる。従って、本発明は、上述したようなぼけを改善する場合の他、ノイズを除去する場合や、解像度を向上させる場合、その他、例えば波形等化を行う場合等に適用可能である。
【０１５０】
また、本実施の形態では、動画像を、クラス分類適用処理の対象としたが、動画像の他、静止画、さらには、音声や、記録媒体から再生された信号（RF(Radio
Frequency)信号）等を対象とすることも可能である。
【０１５１】
さらに、本実施の形態では、クラスタップおよび予測タップは、同一のタップ情報にしたがって構成されることから、同一の画素で構成されることになるが、クラスタップと予測タップとは、異なる構成とすること、即ち、異なるタップ情報にしたがって構成することも可能である。
【０１５２】
また、本実施の形態では、クラスタップおよび予測タップのいずれもタップ情報にしたがって構成することにより、タップ幅を可変とするようにしたが、クラスタップまたは予測タップのうちのいずれか一方は、固定のタップ幅とすることが可能である。
【０１５３】
さらに、本実施の形態では、タップの標準偏差に基づいて、タップ情報を決定するようにしたが、タップ情報は、タップの標準偏差以外の統計量に基づいて決定することも可能である。即ち、タップ情報は、例えば、タップを構成する画素の分散や、その画素どうしの差分絶対値和、２次差分絶対値和（画素どうしの差分値どうしの差分の絶対値和）等に基づいて決定することが可能である。
【０１５４】
また、本実施の形態では、複数の画素でなるブロックごとに、タップ幅を変更するようにしたが、タップ幅は、例えば、画素単位で変更するようにすることも可能である。
【０１５５】
さらに、本実施の形態では、画像処理装置と、その画像処理装置で用いるクラスごとの予測係数および基準値を学習する学習装置とを、別々の装置として構成するようにしたが、画像処理装置と学習装置とは一体的に構成することも可能である。そして、この場合、学習装置には、リアルタイムで学習を行わせ、画像処理装置で用いる予測係数を、リアルタイムで更新させるようにすることが可能である。
【０１５６】
また、本実施の形態では、係数RAM５に、あらかじめクラスごとの予測係数を記憶させておくようにしたが、この予測係数は、例えば、入力画像とともに、画像処理装置に供給するようにすることも可能である。同様に、基準値についても、基準値設定部１４（図５）に設定しておくのではなく、入力画像とともに、画像処理装置に供給するようにすることが可能である。
【０１５７】
さらに、クラスタップおよび予測タップは、空間方向および時間方向のいずれの方向にある画素を用いて構成しても良い。
【０１５８】
また、本実施の形態では、入力画像の統計量に基づいて、タップ幅を変えることで、タップの構成（タップを構成する画素）を変更するようにしたが、タップの構成は、その他、例えば、タップを構成させる画素の位置等を変えることで変更することが可能である。
【０１５９】
さらに、本実施の形態では、一次式によって、原画素の予測値を求めるようにしたが、予測値は、二次以上の式によって、求めるようにすることも可能である。
【０１６０】
なお、学習処理では、上述したように、予測タップを用いて、式（７）のサメーション（Σ）に相当する足し込みが行われるが、タップ幅の異なる予測タップを用いた足し込みは、それらの予測タップの、対応する画素どうしを対象に行われる。
【０１６１】
即ち、図３に示したように、予測タップを、中心画素を中心とする３×３画素の９画素で構成するとすると、本実施の形態では、タップ幅が０の予測タップ（図３（Ａ））が構成されたり、タップ幅が１の予測タップ（図３（Ｂ））が構成されたりする。この場合、タップ幅が０の予測タップの、例えば、最も左上の画素については、タップ幅が１の予測タップの最も左上の画素との足し込みが行われる。
【０１６２】
また、タップ幅の異なるクラスタップのクラス分類も、同様の手法で行われる。従って、例えば、図３（Ａ）に示したタップ幅が０の予測タップを構成する各画素の画素値が、図３（Ｂ）に示したタップ幅が１の予測タップを構成する、対応する画素の画素値とそれぞれ等しい場合には、図３（Ａ）および図３（Ｂ）のクラスタップを用いたクラス分類結果は、同一になる（同一のクラスに分類される）。
【０１６３】
【発明の効果】
本発明のデータ処理装置およびデータ処理方法、並びに媒体によれば、注目出力データに近い予測値を求めることが可能となる。
【０１６４】
本発明の他のデータ処理装置およびデータ処理方法、並びに媒体によれば、教師データに近い予測値を求めることが可能な予測係数を得ることが可能となる。
【０１６５】
本発明の、さらに他のデータ処理装置によれば、注目出力データに近い予測値を求めることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】図１の画像処理装置の処理の概要を示す図である。
【図３】図１のタップ決定回路７の処理を説明するための図である。
【図４】図１の画像処理装置によるぼけ改善処理を説明するためのフローチャートである。
【図５】図１のタップ決定回路７の構成例を示すブロック図である。
【図６】図５のタップ決定回路７によるタップ決定処理を説明するためのフローチャートである。
【図７】本発明を適用した学習装置の一実施の形態の構成例を示すブロック図である。
【図８】図７の学習装置による学習処理を説明するためのフローチャートである。
【図９】図７のタップ決定回路７２の構成例を示すブロック図である。
【図１０】図９のタップ決定回路７２によるタップ決定処理を説明するためのフローチャートである。
【図１１】図９の基準値作成部８４の処理を説明するための図である。
【図１２】図９の基準値作成部８４の処理を説明するための図である。
【図１３】本発明を適用した媒体を説明するための図である。
【符号の説明】
１ フレームメモリ， ２ クラスタップ生成回路， ３ 予測タップ生成回路， ４ クラス分類回路， ５ 係数RAM， ６ 予測演算回路， ７ タップ決定回路， １１ 読み出し部， １２ 標準偏差算出部， １３ 判定部，１４ 基準値設定部， ６１ フレームメモリ， ６２ ぼけ付加回路， ６３ フレームメモリ， ６４ クラスタップ生成回路， ６５ 予測タップ生成回路， ６６ クラス分類回路， ６７ 加算回路， ６８ 予測タップメモリ， ６９ 加算回路， ７０ 教師データメモリ， ７１ 演算回路， ７２ タップ決定回路， ８１ 読み出し部， ８２ 標準偏差算出部， ８３ 判定部， ８４ 基準値作成部， １０１ コンピュータ， １０２ ハードディスク， １０３ 半導体メモリ， １１１ フロッピーディスク， １１２ CD-ROM， １１３ MOディスク， １１４ DVD， １１５ 磁気ディスク， １１６ 半導体メモリ， １２１ ダウンロードサイト， １２２ 衛星， １２３コンピュータ， １３１ ネットワーク[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a data processing device, a data processing method, and a medium. For example, a data processing device, a data processing method, and a data processing method capable of improving the processing performance when data processing such as image data is performed, and It relates to the medium.
[0002]
[Prior art]
For example, the applicant of the present application has previously proposed a class classification adaptive process as a process for improving the image quality and the like of other images.
[0003]
Class classification adaptive processing consists of class classification processing and adaptive processing. Data is classified by class classification processing based on its properties, and adaptive processing is performed for each class. The process is as follows.
[0004]
That is, in the adaptive processing, for example, an original image (for example, a linear combination of pixels (hereinafter, appropriately referred to as input pixels) constituting an input image (an image to be processed in the class classification adaptive processing) and a predetermined prediction coefficient is used. By obtaining the predicted value of the pixel of the input image by obtaining the predicted value of the pixel of the image that does not include noise, the image that is not blurred, or the like, there are images that have improved the blur that has occurred in the input image, etc. It has come to be obtained.
[0005]
Therefore, for example, the original image is used as teacher data, and pixels constituting the original image (hereinafter, referred to as original pixels as appropriate) are obtained by using an image in which noise is superimposed or blurred on the original image as student data. ) For the predicted value E [y] of the pixel value y of some student data (pixel value) x₁, X₂, ... and a predetermined prediction coefficient w₁, W₂Consider a linear primary combination model defined by the linear combination of. In this case, the predicted value E [y] can be expressed by the following equation.
[0006]

In order to generalize Equation (1), a matrix W composed of a set of prediction coefficients w, a matrix X composed of a set of student data, and a matrix Y ′ composed of a set of predicted values E [y]
[0007]
[Expression 1]

Then, the following observation equation holds.
[0008]

Here, the component x of the matrix X_ijIs a set of i-th student data (i-th teacher data y_iThe j-th student data in the set of student data used for the prediction of_jRepresents a prediction coefficient by which the product of the j-th student data in the student data set is calculated. Y_jRepresents the jth teacher data, and thus E [y_j] Represents the predicted value of the j-th teacher data.
[0009]
Then, it is considered that the least square method is applied to this observation equation to obtain a predicted value E [y] close to the pixel value y of the original pixel. In this case, a matrix Y composed of a set of true pixel values y of original pixels serving as teacher data and a matrix E composed of a set of residuals e of predicted values E [y] with respect to the pixel values y of the original pixels,
[0010]
[Expression 2]

From the equation (2), the following residual equation is established.
[0011]

In this case, the prediction coefficient w for obtaining the predicted value E [y] close to the pixel value y of the original pixel_iIs the square error
[0012]
[Equation 3]

Can be obtained by minimizing.
[0013]
Therefore, the above square error is converted into the prediction coefficient w_iWhen the value differentiated by 0 is 0, that is, the prediction coefficient w satisfying the following equation:_iHowever, this is the optimum value for obtaining the predicted value E [y] close to the pixel value y of the original pixel.
[0014]
[Expression 4]

Therefore, first, Equation (3) is converted into the prediction coefficient w._iIs differentiated by the following equation.
[0015]
[Equation 5]

From equations (4) and (5), equation (6) is obtained.
[0016]
[Formula 6]

Further, considering the relationship among the student data x, the prediction coefficient w, the teacher data y, and the residual e in the residual equation of Equation (3), the following normal equation can be obtained from Equation (6). .
[0017]
[Expression 7]

Each equation constituting the normal equation of equation (7) can be prepared by the same number as the number of prediction coefficients w to be obtained by preparing a certain number of student data x and teacher data y. By solving the equation (7) (however, in order to solve the equation (7), the matrix composed of the coefficients related to the prediction coefficient w needs to be regular in the equation (7)), the optimal prediction The coefficient w can be obtained. In solving the equation (7), for example, a sweeping method (Gauss-Jordan elimination method) or the like can be used.
[0018]
As described above, the optimum prediction coefficient w is obtained, and further, using the prediction coefficient w, it is adaptive to obtain the prediction value E [y] close to the pixel value y of the original pixel by the equation (1). It is processing.
[0019]
The adaptive process is not included in the input image, but is different from, for example, a simple interpolation process in that a component included in the original image is reproduced. In other words, the adaptive process is the same as the interpolation process using a so-called interpolation filter as long as only Expression (1) is seen, but the prediction coefficient w corresponding to the tap coefficient of the interpolation filter uses the teacher data y. In other words, since it is obtained by learning, the components included in the original image can be reproduced. That is, a high S / N image can be easily obtained. From this, the adaptive processing can be said to be processing that has an image creation (resolution imagination) function, so that in addition to obtaining the predicted value of the original image from which noise and blur are removed from the input image, for example, low resolution or It can also be used when a standard resolution image is converted to a high resolution image.
[0020]
[Problems to be solved by the invention]
As described above, in the class classification adaptive process, an adaptive process is performed for each class. In the class classification performed in the preceding stage, an original pixel for which a predicted value is to be obtained (hereinafter, referred to as a target original pixel as appropriate). ) Is extracted, and the original pixel of interest is classified based on its properties (for example, the pattern of pixel values of the plurality of input pixels, the gradient of the pixel value, etc.). . As the plurality of input pixels used for this class classification, input pixels at fixed positions as viewed from the original pixel of interest are extracted.
[0021]
However, for example, when an input image with blur is converted into an image with improved blur by class classification adaptive processing, the fixed image is viewed from the original pixel of interest regardless of the degree of blur of the input image. If the input pixel at the position is used for classifying the target original pixel, it may be difficult to classify the target pixel sufficiently reflecting the characteristics of the target original pixel.
[0022]
That is, for example, when performing class classification adaptation processing on an input image with a small degree of blur (degree of blur), the input is located relatively close to the target original pixel from the viewpoint of image correlation. If the classification is performed using pixels, the classification that reflects the characteristics of the original pixel of interest can be performed. In addition, when performing class classification adaptive processing for an input image with a large degree of blur, from the viewpoint of the influence of blur, class classification is performed using input pixels that are relatively far from the original pixel of interest. If you do it, you can make a classification that reflects its nature.
[0023]
Therefore, when the input pixel at a fixed position as viewed from the target original pixel is used for class classification of the target original pixel, classification that reflects the property of the target original pixel may not be performed. The processing performance of the class classification adaptive processing deteriorates, that is, an image in which the input image is sufficiently improved (here, an image in which blur is sufficiently improved) may not be obtained by the class classification processing.
[0024]
The present invention has been made in view of such a situation, and is intended to improve processing performance such as class classification adaptive processing, for example.
[0025]
[Means for Solving the Problems]
  The data processing apparatus according to the present invention includes center data corresponding to target output data that is output data for which a predicted value is to be obtained from input data, and a plurality of types that are preset in the spatial direction or the time direction from the center data. A plurality of data having a plurality of peripheral data corresponding to one of the distances are read out while changing the distance, and each value with respect to an average value of a plurality of data corresponding to each of a plurality of types of distances By comparing the statistic based on the difference between multiple data values or the difference between the values of a plurality of data with a predetermined reference value, the distance at which the statistic closest to the predetermined reference value can be obtained is obtained from the input data Deciding means for determining the extraction distance for extracting and the attention output data that is the output data for which the predicted value is to be obtained is decided by the deciding means Extraction means for extracting a plurality of data corresponding to the extracted distance from the input data, and based on the value pattern of the plurality of data extracted by the extraction means, the attention output data is selected from any of a plurality of classes Classifying means for classifying into two classes and outputting a corresponding class code, and corresponding to input data as a plurality of data corresponding to a distance at which a statistic closest to a predetermined reference value is obtained A prediction coefficient for predicting higher quality teacher data than the student data by linear linear combination with the student data is learned in advance for each class code based on a plurality of data corresponding to the distance, and extracted by the extraction unit A prediction means for obtaining a predicted value of the output data of interest by linear linear combination of a plurality of data and a prediction coefficient corresponding to the class code;Prepares the teacher data to be the teacher for learning the prediction coefficient, performs specific processing according to the input data, generates the student data to be the student, and outputs the input to obtain the predicted value from the input data A plurality of pieces of data having center data corresponding to attention output data, which is data, and a plurality of peripheral data corresponding to one of a plurality of distances set in advance in the spatial direction or the time direction from the center data Are read out while changing the distance, and a statistical amount based on a variation of each value with respect to an average value of a plurality of data values corresponding to each of a plurality of types of distances, or a difference between a plurality of data values and a predetermined value. The distance at which the statistic closest to the predetermined reference value is obtained by comparing with the reference value is determined as the extraction distance for extracting multiple data from the input data. Then, for attention teacher data that is teacher data for which a predicted value is to be obtained, a plurality of data corresponding to the determined extraction distance is extracted from the student data, and based on the value patterns of the extracted plurality of data, Classify attention teacher data into one of multiple classes, output the corresponding class code, and use the extracted data to make statistics closest to a given reference value As a plurality of data corresponding to the distance from which the quantity is obtained, a prediction coefficient for predicting higher-quality teacher data than the student data is obtained by linear linear combination with the student data corresponding to the input data. Prediction coefficients are learned in advance by obtaining each class code based on data.It is characterized by that.
[0027]
  The decision means includesAccording to each distanceMultiple dataValuestandard deviationIs the distance at which the standard deviation closest to the given reference value is obtained.To extract multiple data from input data based ondistanceCan be determined. Also, the decision means includesThe output data is a block unit each having a plurality of attention output data,Said in a given blockMultiple attentionAverage of the standard deviation of the plurality of data obtained for each output dataIs the statistic, and by comparing the statistic with the predetermined reference valueIn that blockAttentionExtraction that extracts the plurality of data from the input data for output datadistanceCan be determined.The predetermined reference value isMultiple typesCorresponds to the distanceFor each of a plurality of data, a predetermined prediction coefficient corresponding to the class code is learned between the student data and the teacher data, and the teacher data is predicted with the learned prediction coefficient, so that the prediction can be made optimally.Corresponds to the distanceStatistics obtained from multiple dataIt can be.
[0028]
The data processing apparatus of the present invention can further include reference value storage means for storing a predetermined reference value.
[0030]
The data processing apparatus of the present invention can further include a prediction coefficient storage unit that stores a prediction coefficient for each class code.
[0031]
The input data and output data can be image data. Further, in this case, the extraction means can extract pixels that are spatially or temporally peripheral from the pixel as the target output data from the image data as the input data.
[0032]
  According to the data processing method of the present invention, the data processing apparatus sets in advance the center data corresponding to the output data of interest, which is the output data for which a predicted value is to be obtained from the input data, and the space data or the time direction from the center data. A plurality of data having a plurality of peripheral data corresponding to one distance among a plurality of types of distances is read while changing the distance, and an average of a plurality of data values corresponding to each of the plurality of types of distances Enter the distance at which the statistic closest to the predetermined reference value is obtained by comparing the statistic based on the variation of each value with respect to the value or the difference between multiple data values and the predetermined reference value About the determination means to determine the extraction distance to extract a plurality of data from the data and the attention output data that is the output data for which the predicted value is to be obtained, Based on the extraction means for extracting a plurality of data corresponding to the extraction distance determined by the determination means from the input data and the pattern of the values of the plurality of data extracted by the extraction means, the attention output data is converted into a plurality of classes. Class classification means to classify into any of these classes, output the corresponding class code, and input as a plurality of data corresponding to the distance that can obtain the statistic closest to the predetermined reference value A prediction coefficient for predicting high-quality teacher data higher than the student data by linear linear combination with the student data corresponding to the data is learned in advance for each class code based on a plurality of data corresponding to the distance. The predicted value of the output data of interest is obtained by linear linear combination of multiple data extracted in step 1 and the prediction coefficient corresponding to the class code. And the prediction meansPreparationThe determining means includes, among input data, center data corresponding to attention output data that is output data for which a predicted value is to be obtained, and a plurality of types of distances set in advance in the spatial direction or the time direction from the center data. A plurality of data having a plurality of peripheral data corresponding to one distance are read while changing the distance, and variation of each value with respect to an average value of a plurality of data corresponding to each of a plurality of types of distances, Or, by comparing a statistic based on a difference between a plurality of data values and a predetermined reference value, a plurality of data are extracted from the input data for a distance at which a statistic closest to the predetermined reference value is obtained. The extraction means determines the extraction distance determined by the determination means for the output data of interest that is the output data for which a predicted value is to be obtained. A plurality of data corresponding to the input data is extracted from the input data, and the class classification unit converts the attention output data to any one of the plurality of classes based on the value patterns of the plurality of data extracted by the extraction unit. Classifying the data into classes, outputting the corresponding class codes, and the predicting means is the student data corresponding to the input data as a plurality of data corresponding to the distance at which the statistic closest to the predetermined reference value is obtained A prediction coefficient for predicting higher-quality teacher data than the student data by linear linear combination is learned in advance for each class code based on a plurality of data corresponding to the distance, and a plurality of data extracted by the extraction unit are extracted. Including a step of obtaining a predicted value of the output data of interest by linear linear combination of the data and a prediction coefficient corresponding to the class code.In addition, the teacher data that becomes the teacher for learning the prediction coefficient is subjected to a specific process according to the input data, the student data that becomes the student is generated, and the output that tries to obtain the predicted value from the input data A plurality of pieces of data having center data corresponding to attention output data, which is data, and a plurality of peripheral data corresponding to one of a plurality of distances set in advance in the spatial direction or the time direction from the center data Are read out while changing the distance, and a statistical amount based on a variation of each value with respect to an average value of a plurality of data values corresponding to each of a plurality of types of distances, or a difference between a plurality of data values and a predetermined value. By comparing with the reference value, the distance that provides the statistic closest to the specified reference value is determined as the extraction distance for extracting multiple data from the input data For the attention teacher data, which is the teacher data for which the predicted value is to be obtained, a plurality of data corresponding to the determined extraction distance is extracted from the student data, and the attention data is extracted based on the value patterns of the extracted plurality of data. Classify the teacher data into one of multiple classes, output the corresponding class code, and use the extracted multiple data to find the statistic closest to the specified reference value As a plurality of data corresponding to the distance obtained, a plurality of pieces of data corresponding to the distance are used as prediction coefficients for predicting higher quality teacher data than the student data by linear linear combination with the student data corresponding to the input data. For each class code based on Numbers are learned in advanceIt is characterized by that.
[0033]
  The program that the medium of the present invention causes the computer to execute is set in advance in the spatial direction or the time direction from the center data corresponding to the target output data that is the output data for which a predicted value is to be obtained from the input data. The average value of the multiple data values corresponding to each of the multiple types of distances is read while changing the distances, and the plurality of data having the multiple peripheral data corresponding to one of the multiple types of distances The distance at which the statistic closest to the predetermined reference value is obtained by comparing the statistic based on the variation of each value with respect to or the difference between the values of a plurality of data with the predetermined reference value A determination step for determining an extraction distance for extracting a plurality of data, and output data for which the predicted value is to be obtained. A plurality of data corresponding to the extraction distance determined by the determining means is extracted from the input data, and based on the value pattern of the plurality of data extracted in the extraction step, A class classification step for classifying into any one of the classes and outputting the corresponding class code, and a plurality of data corresponding to the distance at which the statistic closest to the predetermined reference value is obtained The prediction coefficient for predicting higher-quality teacher data than the student data by linear linear combination with the student data corresponding to the input data is learned in advance for each class code based on a plurality of data corresponding to the distance, By linear linear combination of the plurality of data extracted in the extraction step and the prediction coefficient corresponding to the class code, Including a prediction step of obtaining a predicted value of the eye output dataIn addition, the teacher data that becomes the teacher for learning the prediction coefficient is subjected to a specific process according to the input data, the student data that becomes the student is generated, and the output that tries to obtain the predicted value from the input data A plurality of pieces of data having center data corresponding to attention output data, which is data, and a plurality of peripheral data corresponding to one of a plurality of distances set in advance in the spatial direction or the time direction from the center data Are read out while changing the distance, and a statistical amount based on a variation of each value with respect to an average value of a plurality of data values corresponding to each of a plurality of types of distances, or a difference between a plurality of data values and a predetermined value. By comparing with the reference value, the distance that provides the statistic closest to the specified reference value is determined as the extraction distance for extracting multiple data from the input data For the attention teacher data, which is the teacher data for which the predicted value is to be obtained, a plurality of data corresponding to the determined extraction distance is extracted from the student data, and the attention data is extracted based on the value patterns of the extracted plurality of data. Classify the teacher data into one of multiple classes, output the corresponding class code, and use the extracted multiple data to find the statistic closest to the specified reference value As a plurality of data corresponding to the distance obtained, a plurality of pieces of data corresponding to the distance are used as prediction coefficients for predicting higher quality teacher data than the student data by linear linear combination with the student data corresponding to the input data. Prediction coefficients are learned in advance by finding each class code based onIt is characterized by that.
[0034]
  Another data processing apparatus according to the present invention includes a generation unit that performs specific processing according to input data on teacher data serving as a teacher for learning prediction coefficients, and generates student data serving as students. Corresponds to attention output data that is output data for which a predicted value is to be obtained from dataCentral data and,From the central dataIn spatial or temporal directionPresetMultiple typesA plurality of peripheral data corresponding to one of the distancesMultiple data, While changing the distanceRead out, multiple typesdistanceEach ofCorresponding toMultiple data valuesBased on the variation of each value with respect to the average value of or the difference between the values of multiple dataBy comparing the statistic with a predetermined reference value, the statistic closest to the predetermined reference value can be obtained.distanceExtract multiple data from input datadistanceExtraction means determined by the deciding means and deciding means for deciding as to the target teacher data that is the teacher data for which a predicted value is to be obtainedCorresponds to the distanceExtraction means for extracting a plurality of data from student data;Class classification means for classifying target teacher data into any one of a plurality of classes based on a pattern of values of a plurality of data extracted by the extraction means, and outputting a corresponding class code When,Using multiple data extracted by the extraction meansThus, higher quality teacher data than the student data is predicted by linear linear combination with the student data corresponding to the input data as a plurality of data corresponding to the distance at which the statistic closest to the predetermined reference value is obtained.The prediction factorFor each class code based on multiple data corresponding to the distanceAnd a calculating means to be obtained.
[0036]
  The decision means includesAccording to each distanceMultiple dataValuestandard deviationIs the distance at which the standard deviation closest to the given reference value is obtained.To extract multiple data from input data based ondistanceCan be determined. Also, the decision means includesThe output data is a block unit each having a plurality of attention teacher data,In a given blockMultiple attentionAverage of standard deviation of multiple data obtained for each teacher dataAs a statistic, and by comparing the statistic with a predetermined reference valueIn that blockAttentionExtracting multiple data from student data for teacher datadistanceCan be determined.
[0037]
  In another data processing apparatus of the present invention, reference value calculation means for obtaining a predetermined reference value can be further provided. In this case, the reference value calculation means includes a plurality of types.Corresponds to the distanceAs a result of predicting teacher data with prediction coefficients obtained for class codes corresponding to multiple data, it is possible to predict optimallyCorresponds to the distanceA statistical quantity obtained from a plurality of data can be obtained as a predetermined reference value.
[0039]
The teacher data and student data can be image data. In this case, the extraction unit can extract pixels located spatially or temporally from the image data as the student data with respect to the pixels as the attention teacher data.
[0040]
  In another data processing method of the present invention, a data processing device performs specific processing according to input data on teacher data serving as a teacher for learning a prediction coefficient, and generates student data serving as a student. Corresponding to the output data for which the predicted value is to be obtained from the generation means and the input data.Central data and,From the central dataIn spatial or temporal directionPresetMultiple typesA plurality of peripheral data corresponding to one of the distancesMultiple data, While changing the distanceRead out, multiple typesdistanceEach ofCorresponding toMultiple data valuesBased on the variation of each value with respect to the average value of or the difference between the values of multiple dataBy comparing the statistic with a predetermined reference value, the statistic closest to the predetermined reference value can be obtained.distanceExtract multiple data from input datadistanceExtraction means determined by the deciding means and deciding means for deciding as to the target teacher data that is the teacher data for which a predicted value is to be obtainedCorresponds to the distanceExtraction means for extracting a plurality of data from student data;Class classification means for classifying target teacher data into any one of a plurality of classes based on a pattern of values of a plurality of data extracted by the extraction means, and outputting a corresponding class code When,Using multiple data extracted by the extraction meansThus, higher quality teacher data than the student data is predicted by linear linear combination with the student data corresponding to the input data as a plurality of data corresponding to the distance at which the statistic closest to the predetermined reference value is obtained.The prediction factorFor each class code based on multiple data corresponding to the distanceA calculating unit that performs a specific process according to the input data on the teacher data serving as a teacher for learning the prediction coefficient to generate student data serving as a student, and the determining unit includes , Corresponding to attention output data that is output data for which a predicted value is to be obtained from input dataCentral data and,From the central dataIn spatial or temporal directionPresetMultiple typesA plurality of peripheral data corresponding to one of the distancesMultiple data, While changing the distanceRead out, multiple typesdistanceEach ofCorresponding toMultiple data valuesBased on the variation of each value with respect to the average value of or the difference between the values of multiple dataBy comparing the statistic with a predetermined reference value, the statistic closest to the predetermined reference value can be obtained.distanceExtract multiple data from input datadistanceThe extraction means determines the extraction of the attention teacher data, which is the teacher data for which a predicted value is to be obtained, determined by the determination means.Corresponds to the distanceExtract multiple data from student data,The class classification means classifies the teacher data of interest into one of a plurality of classes based on the value patterns of the plurality of data extracted by the extraction means, and sets the corresponding class code Output,The calculation means uses a plurality of data extracted by the extraction means.Thus, higher quality teacher data than the student data is predicted by linear linear combination with the student data corresponding to the input data as a plurality of data corresponding to the distance at which the statistic closest to the predetermined reference value is obtained.The prediction factorFor each class code based on multiple data corresponding to the distanceThe method includes the step of obtaining.
[0041]
  A program to be executed by a computer according to another medium of the present invention generates a student data to be a student by performing a specific process according to input data on the teacher data to be a teacher for learning a prediction coefficient Corresponding to the output data of interest that is the output data for which the predicted value is to be obtained from the input data from the step and the input dataCentral data and,From the central dataIn spatial or temporal directionPresetMultiple typesA plurality of peripheral data corresponding to one of the distancesMultiple data, While changing the distanceRead out, multiple typesdistanceEach ofCorresponding toMultiple data valuesBased on the variation of each value with respect to the average value of or the difference between the values of multiple dataBy comparing the statistic with a predetermined reference value, the statistic closest to the predetermined reference value can be obtained.distanceExtract multiple data from input datadistanceAnd the extraction step determined by the determination step for the determination teacher step and the attention teacher data which is the teacher data for which a predicted value is to be obtainedCorresponds to the distanceAn extraction step of extracting a plurality of data from student data;Class classification step for classifying the teacher data of interest into one of a plurality of classes based on the value patterns of the plurality of data extracted in the extraction step, and outputting the corresponding class code When,Using multiple data extracted in the extraction stepThus, higher quality teacher data than the student data is predicted by linear linear combination with the student data corresponding to the input data as a plurality of data corresponding to the distance at which the statistic closest to the predetermined reference value is obtained.The prediction factorFor each class code based on multiple data corresponding to the distanceAnd a calculation step to be obtained.
[0042]
  Still another data processing apparatus of the present invention is preset in advance in the spatial direction or the time direction from the center data corresponding to the target output data that is the output data for which the predicted value is to be obtained from the input data. The average value of the multiple data values corresponding to each of the multiple types of distances is read while changing the distances, and the plurality of data having the multiple peripheral data corresponding to one of the multiple types of distances The distance at which the statistic closest to the predetermined reference value is obtained by comparing the statistic based on the variation of each value with respect to or the difference between the values of a plurality of data with the predetermined reference value For first output means for determining the extraction distance for extracting a plurality of data and attention output data that is output data for which a predicted value is to be obtained, Based on the first extraction means for extracting a plurality of data corresponding to the extraction distance determined by one determination means from the input data and the pattern of the values of the plurality of data extracted by the first extraction means Classifying output data into one of a plurality of classes, first class classification means for outputting a corresponding class code, and a statistic closest to a predetermined reference value can be obtained A class based on a plurality of data corresponding to the distance, with a prediction coefficient that predicts higher quality teacher data than the student data by linear linear combination with the student data corresponding to the input data as a plurality of data corresponding to the distance Linear linear combination of the first plurality of data extracted in the first extraction means and the prediction coefficient corresponding to the class code, which is learned in advance for each code In addition, the prediction means for obtaining the predicted value of the output data of interest and the generation of the student data to be the student by performing specific processing according to the input data on the teacher data to be the teacher for learning the prediction coefficient Means, center data corresponding to the target output data, which is output data for which a predicted value is to be obtained from the input data, and one of a plurality of distances preset in the spatial direction or time direction from the central data. A plurality of pieces of data having a plurality of peripheral data corresponding to the distances of the respective data are read while changing the distances, and variations in the respective values with respect to the average values of the plurality of data corresponding to the respective types of distances, or By comparing the statistic based on the difference between the values of multiple data with a predetermined reference value, the distance at which the statistic closest to the predetermined reference value is obtained The second determination means for determining the extraction distance for extracting a plurality of data from the input data and the attention teacher data that is the teacher data for which a predicted value is to be obtained are set to the extraction distance determined by the second determination means. Based on the second extraction means for extracting the corresponding second plurality of data from the student data, and the value patterns of the plurality of data extracted by the second extraction means, the attention teacher data of the plurality of classes A second class classification unit that performs classification into one of the classes and outputs a corresponding class code; and a second plurality of data extracted by the second extraction unit, Compared to the student data by linear linear combination with the student data corresponding to the input data as a plurality of data corresponding to the distance at which the statistic closest to the reference value is obtained Calculating means for a prediction coefficient for predicting the quality teacher data obtained for each class code based on the plurality of data corresponding to the distanceAnd the prediction coefficient used to obtain the predicted value of the output data of interest is learned in advance.It is characterized by that.
[0043]
  In the data processing device, the data processing method, and the medium of the present invention, center data corresponding to target output data that is output data for which a predicted value is to be obtained from input data, and a spatial direction or a time direction from the center data And reading a plurality of data having a plurality of peripheral data corresponding to one distance among a plurality of types of distances set in advance, while changing the distance, and reading a plurality of data corresponding to each of the plurality of types of distances The distance at which the statistic closest to the predetermined reference value is obtained by comparing the statistic based on the variation of each value with respect to the average value of the values or the difference between the values of a plurality of data with the predetermined reference value Is determined as an extraction distance for extracting a plurality of data from the input data. In addition, for attention output data that is output data for which a predicted value is to be obtained, a plurality of data corresponding to the extraction distance is extracted from the input data. Then, based on the extracted value pattern of the plurality of data, classifying the target output data into any one of the plurality of classes is performed, and a corresponding class code is output. As a plurality of data corresponding to the distance at which the statistic closest to the reference value is obtained, a prediction coefficient that predicts higher-quality teacher data than the student data by linear linear combination with the student data corresponding to the input data, The predicted value of the output data of interest is obtained by a linear first combination of a plurality of data extracted in the extraction step and a prediction coefficient corresponding to the class code, which is previously learned for each class code based on a plurality of data corresponding to the distance. Desired.In addition, the teacher data serving as a teacher for learning the prediction coefficient is subjected to specific processing according to the input data to generate student data serving as the student, and an output for obtaining a predicted value from the input data. A plurality of pieces of data having center data corresponding to attention output data, which is data, and a plurality of peripheral data corresponding to one of a plurality of distances set in advance in the spatial direction or the time direction from the center data Are read out while changing the distance, and a statistical amount based on a variation of each value with respect to an average value of a plurality of data values corresponding to each of a plurality of types of distances, or a difference between a plurality of data values and a predetermined value. The distance at which the statistic closest to the predetermined reference value is obtained by comparing with the reference value is determined as the extraction distance for extracting multiple data from the input data. Then, for attention teacher data that is teacher data for which a predicted value is to be obtained, a plurality of data corresponding to the determined extraction distance is extracted from the student data, and based on the value patterns of the extracted plurality of data, Classify attention teacher data into one of multiple classes, output the corresponding class code, and use the extracted data to make statistics closest to a given reference value As a plurality of data corresponding to the distance from which the quantity is obtained, a prediction coefficient for predicting higher-quality teacher data than the student data is obtained by linear linear combination with the student data corresponding to the input data. By obtaining each class code based on the data, the prediction coefficient is learned in advance.
[0044]
  In another data processing apparatus, data processing method, and medium of the present invention, student data to be students is obtained by performing specific processing according to input data on teacher data to be a teacher for learning prediction coefficients. Corresponding to the target output data that is the output data for which the predicted value is to be obtained from the input data.Central data and,From the central dataIn spatial or temporal directionPresetMultiple typesA plurality of peripheral data corresponding to one of the distancesMultiple data, While changing the distanceRead out, multiple typesdistanceEach ofCorresponding toMultiple data valuesBased on the variation of each value with respect to the average value of or the difference between the values of multiple dataBy comparing the statistic with a predetermined reference value, the statistic closest to the predetermined reference value can be obtained.distanceExtract multiple data from input datadistanceAs determined. Then, for the attention teacher data which is the teacher data for which a predicted value is to be obtained, the extraction determined by the determination stepCorresponds to the distanceA plurality of data is extracted from the student data,Based on the value patterns of the extracted data, classify the target teacher data into one of a plurality of classes, and the corresponding class code is output.Using the extracted dataThus, higher quality teacher data than the student data is predicted by linear linear combination with the student data corresponding to the input data as a plurality of data corresponding to the distance at which the statistic closest to the predetermined reference value is obtained.Prediction coefficient isFor each class code based on multiple data corresponding to the distanceDesired.
[0045]
  In still another data processing device of the present invention, center data corresponding to target output data that is output data for which a predicted value is to be obtained from input data, and preset in the spatial direction or the time direction from the center data. A plurality of data having a plurality of peripheral data corresponding to one distance among a plurality of types of distances is read while changing the distance, and an average of a plurality of data values corresponding to each of the plurality of types of distances The distance at which the statistic closest to the predetermined reference value is obtained by comparing the statistic based on the variation of each value with respect to the value or the difference between the values of a plurality of data and the predetermined reference value is input. It is determined as an extraction distance for extracting a plurality of data from the data. In addition, for attention output data that is output data for which a predicted value is to be obtained, a plurality of data corresponding to the extraction distance is extracted from the input data. Then, based on the extracted value pattern of the plurality of data, classifying the target output data into any one of the plurality of classes is performed, and a corresponding class code is output. As a plurality of data corresponding to the distance at which the statistic closest to the reference value is obtained, a prediction coefficient that predicts higher-quality teacher data than the student data by linear linear combination with the student data corresponding to the input data, The predicted value of the output data of interest is obtained by a linear first combination of a plurality of data extracted in the extraction step and a prediction coefficient corresponding to the class code, which is previously learned for each class code based on a plurality of data corresponding to the distance. Desired. On the other hand, specific processing corresponding to the input data is performed on the teacher data serving as a teacher for learning the prediction coefficient, and student data serving as a student is generated, and an output for obtaining a predicted value from the input data A plurality of pieces of data having center data corresponding to attention output data, which is data, and a plurality of peripheral data corresponding to one of a plurality of distances set in advance in the spatial direction or the time direction from the center data Are read out while changing the distance, and a statistical amount based on a variation of each value with respect to an average value of a plurality of data values corresponding to each of a plurality of types of distances, or a difference between a plurality of data values and a predetermined value. The distance at which the statistic closest to the predetermined reference value is obtained by comparing with the reference value is the extraction distance for extracting multiple data from the input data It is constant. A plurality of data corresponding to the extraction distance determined by the determination step is extracted from the student data for the attention teacher data that is the teacher data for which a predicted value is to be obtained, and the extracted plurality of data Based on the pattern of the value, classify attention teacher data into any one of a plurality of classes, classify the corresponding class code, using the extracted plurality of data, Prediction coefficient that predicts higher quality teacher data than the student data by linear linear combination with the student data corresponding to the input data as a plurality of data corresponding to the distance at which the statistic closest to the predetermined reference value is obtained Is obtained for each class code based on a plurality of data corresponding to the distance.The prediction coefficient obtained in this way is used to obtain the predicted value of the target output data.
[0046]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a configuration example of an embodiment of an image processing apparatus to which the present invention is applied.
[0047]
In this image processing apparatus, for example, when a blurred image is input as an input image, the input image is subjected to class classification adaptation processing, as shown in FIG. Regardless of the degree of blur, an image in which the blur is sufficiently improved (blurred improvement image) is output.
[0048]
That is, the image processing apparatus includes a frame memory 1, a class tap generation circuit 2, a prediction tap generation circuit 3, a class classification circuit 4, a coefficient RAM (Random Access Memory) 5, a prediction calculation circuit 6, and a tap determination circuit 7. An input image to be subjected to blur improvement is input there.
[0049]
The frame memory 1 is configured to temporarily store an input image input to the image processing apparatus, for example, in units of frames. In the present embodiment, the frame memory 1 can store an input image of a plurality of frames by bank switching, whereby the input image input to the image processing apparatus is a moving image. However, the process can be performed in real time.
[0050]
The class tap generation circuit 2 uses, as a target original pixel, an original pixel for which a predicted value is to be obtained by class classification adaptive processing (here, an ideal pixel without blur, in which blur is completely eliminated from the input pixel). The input pixel used for class classification of the target original pixel is extracted from the input image stored in the frame memory 1 according to the tap information from the tap determination circuit 7, and this is used as a class tap to be classified into the class classification circuit 4 To output.
[0051]
The prediction tap generation circuit 3 extracts an input pixel used for obtaining a predicted value of the target original pixel in the prediction calculation circuit 6 from the input image stored in the frame memory 1 according to the tap information from the tap determination circuit 7. This is supplied to the prediction calculation circuit 6 as a prediction tap.
[0052]
The class classification circuit 4 classifies the original pixel of interest based on the class tap from the class tap generation circuit 2, and gives a class code corresponding to the class obtained as a result to the coefficient RAM 5 as an address. Has been made. That is, the class classification circuit 4 processes the class tap from the class tap generation circuit 2, for example, 1-bit ADRC (Adaptive Dynamic Range Coding), and outputs the resulting ADRC code to the coefficient RAM 5 as a class code. It has become.
[0053]
Here, in the K-bit ADRC processing, the maximum value MAX and the minimum value MIN of the input pixels constituting the class tap are detected, and DR = MAX−MIN is set as the local dynamic range of the set, and this dynamic Based on the range DR, the input pixels constituting the class tap are requantized to K bits. That is, the minimum value MIN is subtracted from the pixel values of the pixels constituting the class tap, and the subtracted value is DR / 2.^KDivide by (quantize). Therefore, when a class tap is subjected to 1-bit ADRC processing, the pixel value of each input pixel constituting the class tap is 1 bit. In this case, a bit string obtained by arranging the pixel values of 1 bit for each pixel constituting the class tap in a predetermined order, which is obtained as described above, is output as an ADRC code.
[0054]
The coefficient RAM 5 stores a prediction coefficient for each class obtained by performing learning in a learning device to be described later. When a class code is supplied from the class classification circuit 4, the coefficient RAM 5 stores it in an address corresponding to the class code. The prediction coefficient thus read is read out and supplied to the prediction calculation circuit 6.
[0055]
The prediction arithmetic circuit 6 supplies the prediction coefficients w and w for the class of the original pixel of interest supplied from the coefficient RAM 5.₂,..., Prediction tap from the prediction tap generation circuit 3 (pixel value of each pixel constituting) x₁, X₂,... Are used to obtain the predicted value E [y] of the original pixel y of interest by performing the calculation shown in Equation (1), and this is output as the pixel value of the pixel with improved blurring. It is like that.
[0056]
The tap determination circuit 7 determines a plurality of input pixels that constitute the class tap and the prediction tap based on the statistic of the input image stored in the frame memory 1, and a plurality of inputs that constitute the class tap and the prediction tap. Information relating to the pixels (hereinafter referred to as tap information as appropriate) is supplied to the class tap generation circuit 2 and the prediction tap generation circuit 3.
[0057]
That is, the tap determination circuit 7 basically has, for example, a square class tap and a prediction tap (hereinafter referred to as “3 × 3 pixels”) with the input pixel at the position of the original pixel of interest as the central pixel. The tap information is configured so that the class tap generation circuit 2 and the prediction tap generation circuit 3 configure the class tap generation circuit 2 and the prediction tap generation circuit 3 as appropriate. However, the tap information is such that the interval between the pixels constituting the tap (hereinafter referred to as tap width as appropriate) differs depending on the statistic of the input image.
[0058]
Specifically, for example, when the statistic of the input image is a certain value, the tap determination circuit 7 is composed of 3 × 3 pixels centered on the center pixel as shown in FIG. Tap information for configuring a tap having a tap width of 0 (interval between pixels constituting the tap is 0) is output. Further, for example, when the statistic of the input image is another value, the tap determination circuit 7 is a tap composed of 3 × 3 pixels with the center pixel as the center, as shown in FIG. Tap information for constituting a tap having a width of 1 (the interval between pixels constituting the tap is one pixel or one frame) is output.
[0059]
Next, with reference to the flowchart of FIG. 4, the blur improvement process for improving the blur of the input image performed in the image processing apparatus of FIG. 1 will be described.
[0060]
In the frame memory 1, input images (moving images) that are subject to blurring improvement processing are sequentially supplied in units of frames. In the frame memory 1, input images supplied in such units of frames are sequentially stored. .
[0061]
In step S1, the tap determination circuit 7 determines a plurality of input pixels constituting the tap based on the statistic of the input image stored in the frame memory 1, and tap information regarding the plurality of input pixels is determined. The data is output to the class tap generation circuit 2 and the prediction tap generation circuit 3.
[0062]
When the class tap generation circuit 2 or the prediction tap generation circuit 3 receives the tap information from the tap determination circuit 7, the class tap or prediction for the original pixel of interest for which a prediction value is to be obtained according to the tap information in step S2. A plurality of input pixels making up the tap are read from the frame memory 1 to form a class tap or a prediction tap. This class tap or prediction tap is supplied to the class classification circuit 4 or the prediction calculation circuit 6, respectively.
[0063]
When the class classification circuit 4 receives the class tap from the class tap generation circuit 2, in step S 3, the class classification circuit 4 classifies the target pixel of interest based on the class tap, and obtains the resulting class code for the coefficient RAM 5. And output as an address. In step S4, the coefficient RAM 5 reads the prediction coefficient stored in the address corresponding to the class code from the class classification circuit 4 and supplies it to the prediction calculation circuit 6.
[0064]
In the prediction arithmetic circuit 6, in step S5, the calculation shown in the equation (1) is performed using the prediction tap from the prediction tap generation circuit 3 and the prediction coefficient from the coefficient RAM 5, whereby the target original pixel y Predicted value E [y], that is, here, a pixel with improved blur is obtained, and the process proceeds to step S6. In step S6, the prediction calculation circuit 6 outputs the predicted value E [y] of the target original pixel y obtained in step S5 as a pixel value with improved blur in the input pixel located at the same position as the target original pixel. Proceed to step S7.
[0065]
In step S7, it is determined whether or not all original pixels in a predetermined block described later have been processed as target original pixels. If it is determined that processing has not yet been performed, the process returns to step S2 to return to the original pixel in the block. The same processing is repeated thereafter, with the original pixel that has not yet been set as the target original pixel among the pixels newly set as the target original pixel. Accordingly, in the present embodiment, taps are configured based on the same tap information for the original pixels in the same block. That is, for the original pixels in the same block, a tap is formed from the input pixels at the same position as viewed from each original pixel.
[0066]
If it is determined in step S7 that all the original pixels in the predetermined block have been processed as the target original pixel, the process proceeds to step S8 to determine whether there is a block to be processed next, that is, the frame. It is determined whether or not an input image corresponding to a block to be processed next is stored in the memory 1. If it is determined in step S8 that an input image corresponding to the block to be processed next is stored in the frame memory 1, the process returns to step S1, and the same processing is repeated thereafter. Accordingly, tap information is newly determined for the block to be processed next, and a tap is configured according to the tap information.
[0067]
On the other hand, when it is determined in step S8 that the input pixel corresponding to the block to be processed next is not stored in the frame memory 1, the blur improvement process is terminated.
[0068]
Next, FIG. 5 shows a configuration example of the tap determination circuit 7 of FIG.
[0069]
When the original pixel in the predetermined block is set as the target original pixel, the reading unit 11 reads out the input pixel serving as a tap for the target original pixel from the frame memory 1 (FIG. 1), and the standard deviation calculating unit 12 is supplied.
[0070]
That is, here, for example, one frame of the original image, one frame divided into several areas, or several frames (for example, from the frame immediately after the scene change to the frame immediately before the next scene change) ) As one block, tap information is determined for each block, and when the original pixel in a block is set as a target original pixel, the reading unit 11 The input pixels constituting the tap having the tap width according to the control of the determination unit 13 are read from the frame memory 1 and supplied to the standard deviation calculation unit 12.
[0071]
The standard deviation calculation unit 12 calculates the standard deviation of the pixel values of the input pixels constituting the tap as the tap statistic from the reading unit 11. Further, the standard deviation calculation unit 12 calculates an average score of standard deviation for taps having the same tap width for each block, and determines the average score as an evaluation value of each tap width for each block. This is supplied to the unit 13. That is, if the block is represented by i and the tap width is represented by j, the standard deviation calculation unit 12 uses the following formula as an evaluation value of the tap having the tap width j configured for each original pixel in the block #i. Is calculated and supplied to the determination unit 13.
[0072]
[Equation 8]

Here, in Expression (8), M represents the number of original pixels in the block #i, and K represents the number of input pixels constituting the tap. In addition, V_{m, j, k}Represents the pixel value of the kth input pixel in the tap with tap width j, which is configured for the mth original pixel in block #i. Mean_{m, j}Represents an average value of taps with a tap width j (average value of pixel values of input pixels constituting the tap) configured for the mth original pixel in the block #i. Therefore, mean_{m, j}Is (V_{m, j, 1}+ V_{m, j, 2}+ ... + V_{m, j, K}) / K.
[0073]
The determination unit 13 compares the evaluation value score (i, j) from the standard deviation calculation unit 12 with a predetermined reference value set in the reference value setting unit 14, and based on the comparison result, the reading unit 11 is controlled. Furthermore, the determination unit 13 determines a tap width when a tap is configured for an original pixel in a block including the target original pixel (hereinafter, referred to as a target block as appropriate) based on the comparison result, and determines the tap width. , Is output as tap information.
[0074]
The reference value setting unit 14 is configured to input pixels (students) constituting a tap when the blur of the input image is most improved (when the input pixel classification processing result is closest to the original pixel corresponding to the input pixel). The standard deviation of the pixel value of (data) is set as a reference value to be compared with the output of the standard deviation calculation unit 12. Note that how to obtain the reference value will be described later.
[0075]
Next, with reference to the flowchart of FIG. 6, a tap determination process for determining the tap structure performed in the tap determination circuit 7 of FIG. 5 will be described.
[0076]
In the tap determination process, when any of the original pixels in the target block is set as the target original pixel for the first time, in step S11, the reading unit 11 performs, for example, the original pixel set as the target original pixel of the target block. Input pixels for configuring a tap having a tap width of 0 are read from the frame memory 1 (FIG. 1) and supplied to the standard deviation calculation unit 12.
[0077]
Then, the process proceeds to step S12, and the standard deviation calculation unit 12 obtains the standard deviation of the tap formed by the input pixels from the reading unit 11, and the process proceeds to step S13. In step S13, it is determined whether or not all original pixels in the target block have been processed as target original pixels. If it is determined that processing has not been performed, the process returns to step S11, and among the original pixels in the target block, Hereinafter, the same processing is repeated with a pixel that is not regarded as a target pixel being a new target pixel.
[0078]
If it is determined in step S13 that all original pixels in the target block have been processed as target original pixels, the process proceeds to step S14, and the standard deviation calculation unit 12 is obtained for each original pixel in the target block. Calculate the average value of the standard deviation of taps.
[0079]
That is, if the block of interest is represented by block #i and the tap width of the tap configured for each original pixel of the block of interest #i is represented by j, in step S14, expression (8) is used. The indicated score (i, j) is calculated. The score (i, j) is supplied to the determination unit 13.
[0080]
When the determination unit 13 determines in step S15 whether the score (i, j) from the standard deviation calculation unit 12 is close to the reference value set in the reference value setting unit 14, it is determined that it is not close That is, if the average value of the standard deviation of taps with tap width j configured for each original pixel of the target block #i is not close to the reference value, the process proceeds to step S16, and the determination unit 13 changes the tap width j. Thus, the reading unit 11 is controlled, and the process returns to step S11.
[0081]
In this case, in step S11, in the readout unit 11, an original pixel having a target block is set as a target original pixel, and an input pixel for configuring a tap having a tap width j + 1 is received from the frame memory 1 for the target original pixel. Thereafter, the same processing is repeated.
[0082]
On the other hand, if it is determined in step S15 that score (i, j) from the standard deviation calculation unit 12 is close to the reference value set in the reference value setting unit 14, that is, each original pixel of the target block #i. If the average value of the standard deviations of the taps with the tap width j configured for is close to the reference value, the process proceeds to step S17, and the determination unit 13 outputs the tap width j as tap information and returns.
[0083]
As described above, in the class tap generation circuit 2 and the prediction tap generation circuit 3 in FIG. 1, when the original pixel of the block is set as the original pixel of interest according to the tap information output for each block by the tap determination circuit 7. Since taps are configured, when tap information with a tap width j is output, taps with such a tap width j are configured for the original pixels that form the block of interest.
[0084]
Next, FIG. 7 shows a configuration of an embodiment of a learning apparatus that obtains a prediction coefficient for each class to be stored in the coefficient RAM 5 in FIG. 1 and obtains a predetermined reference value set in the reference value setting unit 14 in FIG. An example is shown.
[0085]
The frame memory 61 is supplied with an original image (in this case, an image without blur) serving as the teacher data y, for example, in units of frames. The frame memory 61 temporarily stores the original image. It is supposed to be. The blur adding circuit 62 reads the original image that is stored in the frame memory 61 and becomes the teacher data y in learning of the prediction coefficient, and adds blur to the original pixels constituting the original image (for example, using a low-pass filter). Filtering) to generate a blurred image (hereinafter referred to as a blurred image as appropriate) as student data. This blurred image is supplied to the frame memory 63.
[0086]
The frame memory 63 temporarily stores the blurred image from the blur adding circuit 62.
[0087]
The frame memories 61 and 63 are configured similarly to the frame memory 1 of FIG.
[0088]
The class tap generation circuit 64 or the prediction tap generation circuit 65 uses the pixels constituting the blurred image stored in the frame memory 63 (hereinafter referred to as “blurred pixels” as appropriate), and generates the class tap generation circuit 2 or the prediction tap generation in FIG. Similar to the circuit 3, according to the tap information from the tap determination circuit 72, a class tap or a prediction tap is configured for the original pixel of interest and supplied to the class classification circuit 66 or the addition circuit 67, respectively.
[0089]
The class classification circuit 66 is configured in the same manner as the class classification circuit 4 of FIG. 1, classifies the original pixel of interest based on the class tap from the class tap generation circuit 64, and assigns the corresponding class code to the prediction tap memory 68. The address is given to the teacher data memory 70 as an address.
[0090]
The adder circuit 67 reads the stored value of the address corresponding to the class code output from the class classification circuit 66 from the prediction tap memory 68, and the stored value and a blurred pixel ( Is added to the summation (Σ), which is a multiplier of the prediction coefficient w, on the left side of the normal equation of Equation (7). Then, the adder circuit 67 stores the calculation result in an overwritten form in the address of the prediction tap memory 68 corresponding to the class code output from the class classification circuit 66.
[0091]
The prediction tap memory 68 reads the stored value of the address corresponding to the class output from the class classification circuit 66, supplies it to the adder circuit 67, and stores the output value of the adder circuit 67 at the address. .
[0092]
The adder circuit 69 reads the target original pixel among the original pixels constituting the original image stored in the frame memory 61 as the teacher data y, and stores an address corresponding to the class code output from the class classification circuit 66. The value is read from the teacher data memory 70, and the stored value is added to the teacher data (original pixel) y read from the frame memory 61, so that the summation (Σ) on the right side of the normal equation of Equation (7) The operation corresponding to is performed. Then, the adder circuit 69 stores the calculation result in an overwritten form in the address of the teacher data memory 70 corresponding to the class code output from the class classification circuit 66.
[0093]
In addition, addition circuits 67 and 69 also perform multiplication in equation (7). That is, the adder 67 multiplies the blurred pixels x constituting the prediction tap, and the adder 69 also multiplies the blurred pixels x constituting the prediction tap and the teacher data y. Accordingly, the adder 69 requires the blurred pixel x, which is read from the frame memory 63.
[0094]
The teacher data memory 70 reads the stored value of the address corresponding to the class code output from the class classification circuit 66, supplies it to the adder circuit 69, and stores the output value of the adder circuit 69 at that address. Yes.
[0095]
The arithmetic circuit 71 sequentially reads out the stored value stored in the address corresponding to each class code from each of the prediction tap memory 68 or the teacher data memory 70, and establishes the normal equation shown in the equation (7). By solving the above, a prediction coefficient for each class is obtained. That is, the arithmetic circuit 71 builds a normal equation of Expression (7) from the stored value stored in the address corresponding to each class code in each of the prediction tap memory 68 or the teacher data memory 70 and solves it. Thus, the prediction coefficient for each class is obtained.
[0096]
The tap determination circuit 72 performs tap determination processing similar to that of the tap determination circuit 7 in FIG. 1 to determine tap information related to taps to be generated by the class tap generation circuit 64 and the prediction tap generation circuit 65, and the class tap generation circuit 64 and the prediction tap generation circuit 65. Further, the tap determination circuit 72 is configured to calculate a predetermined reference value used in the tap determination process.
[0097]
Next, a learning process for obtaining a prediction coefficient and a predetermined reference value for each class performed in the learning apparatus of FIG. 7 will be described with reference to the flowchart of FIG.
[0098]
An original image (moving image) as teacher data is supplied to the learning device in units of frames, and the original images are sequentially stored in the frame memory 61. The original image stored in the frame memory 61 is supplied to the blur adding circuit 62, where it is made a blurred image. Note that the blur adding circuit 62 generates blur images having different degrees of blur for each frame, for example.
[0099]
The blurred image obtained by the blur adding circuit 62 is sequentially supplied to and stored in the frame memory 63 as student data.
[0100]
As described above, when the blurred images corresponding to all the original images prepared for the learning process are stored in the frame memory 63, the tap determination circuit 72 uses the reference used for the tap determination process in step S21. The value is obtained as described later, and the process proceeds to step S22.
[0101]
In step S22, in the tap determination circuit 72, the blur pixel constituting the tap is determined in the same manner as in the tap determination circuit 7 of FIG. 1, and the tap information related to the blur pixel is stored in the class tap generation circuit 64 and the prediction tap. It is output to the generation circuit 65.
[0102]
In step S23, the class tap generation circuit 64 or the prediction tap generation circuit 65 forms a class tap or a prediction tap for the original pixel of interest for which a prediction value is to be obtained according to the tap information from the tap determination circuit 72. Are read from the frame memory 63, and class taps or prediction taps are respectively configured. This class tap or prediction tap is supplied to the class classification circuit 66 or the addition circuit 67, respectively.
[0103]
In the class classification circuit 66, in step S24, the original pixel of interest is classified using the class tap from the class tap generation circuit 64 in the same manner as in the class classification circuit 4 of FIG. Are given as addresses to the prediction tap memory 68 and the teacher data memory 70.
[0104]
In step S25, the prediction tap (student data) or teacher data is added.
[0105]
That is, in step S 25, the prediction tap memory 68 reads out the stored value of the address corresponding to the class code output from the class classification circuit 66 and supplies it to the adder circuit 67. The adder circuit 67 uses the stored value supplied from the prediction tap memory 68 and the blurred pixels constituting the prediction tap supplied from the prediction tap generation circuit 65, on the left side of the normal equation of Expression (7). An operation corresponding to the summation (Σ) that is a multiplier of the prediction coefficient is performed. Then, the adder circuit 67 stores the calculation result in the form of overwriting the address of the prediction tap memory 68 corresponding to the class code output from the class classification circuit 66.
[0106]
Further, in step S 25, the teacher data memory 70 reads the stored value of the address corresponding to the class code output from the class classification circuit 66 and supplies it to the addition circuit 69. The adder circuit 69 reads out the original pixel of interest from the frame memory 61, reads out the necessary blurred pixel from the frame memory 63, and uses the read out pixel and the stored value supplied from the teacher data memory 70, An operation corresponding to the summation (Σ) on the right side of the normal equation of Expression (7) is performed. Then, the adder circuit 69 stores the calculation result in an overwritten form at the address of the teacher data memory 70 corresponding to the class code output from the class classification circuit 66.
[0107]
Thereafter, the process proceeds to step S26, where it is determined whether all the original pixels in the target block of interest are processed as target original pixels. If it is determined that the original pixels are not yet processed, the process returns to step S23. The same processing is repeated thereafter, with the original pixel that has not yet been set as the target original pixel among the original pixels in the target block as a new target pixel.
[0108]
If it is determined in step S26 that all the original pixels in the target block have been processed as the target original pixel, the process proceeds to step S27, whether there is a block to be processed next, that is, the frame memory. In 63, it is determined whether the blurred image corresponding to the block to be processed next is stored. If it is determined in step S27 that the blurred image corresponding to the block to be processed next is stored in the frame memory 63, the process returns to step S22, and the block is newly set as the target block. One of the original pixels is newly set as the original pixel of interest, and the same processing is repeated thereafter.
[0109]
On the other hand, if it is determined in step S27 that no blurred pixel corresponding to the block to be processed next is stored in the frame memory 63, that is, all original images prepared for learning are used in advance. When the processing is performed, the process proceeds to step S28, and the arithmetic circuit 71 sequentially reads out the stored value stored in the address corresponding to each class code from each of the prediction tap memory 68 or the teacher data memory 70, and the expression (7 The prediction equation for each class is obtained by building and solving the normal equation shown in FIG. Further, in step S29, the arithmetic circuit 71 outputs the obtained prediction coefficient for each class, and ends the learning process.
[0110]
In the prediction coefficient learning process as described above, there may occur a class in which the number of normal equations necessary for obtaining the prediction coefficient cannot be obtained. For such a class, for example, the default prediction It is possible to output a coefficient.
[0111]
Next, FIG. 9 shows a configuration example of the tap determination circuit 72 of FIG.
[0112]
As shown in the figure, the tap determination circuit 72 includes a reading unit 81, a standard deviation calculating unit 82, a determining unit 83, and a reference value creating unit 84. Among these, the reading unit 81, the standard deviation calculating unit 84 82 or the determination unit 83 is configured in the same manner as the reading unit 11, the standard deviation calculation unit 12, or the determination unit 13 of FIG. Therefore, the tap determination circuit 72 is configured in the same manner as the tap determination circuit 7 of FIG. 5 except that a reference value creation unit 84 is provided instead of the reference value setting unit 14.
[0113]
The reference value creating unit 84 obtains a reference value used for the tap determination process in step S21 of FIG.
[0114]
In the tap determination circuit 72 configured as described above, as shown in the flowchart of FIG. 10, in steps S31 to S37, the same processing as in steps S11 to S17 of FIG. For each, tap information is determined.
[0115]
Next, a reference value calculation method performed in the reference value creation unit 84 of FIG. 9 will be described with reference to FIGS. 11 and 12.
[0116]
In the reference value creation unit 84, all original images (teacher data) prepared for the learning process are read from the frame memory 61, and a blurred image (student data) obtained by adding blur to the original image is read. , Read from the frame memory 63. Furthermore, the reference value creation unit 84 divides the original image for the blurred image into blocks as described above, configures taps with different tap widths for each of the original pixels of each block, and configures the tap width and taps. The relationship with the average value of the standard deviation of blurred pixels is obtained.
[0117]
That is, when attention is paid to a certain block, the reference value creation unit 84 configures taps having a tap width j, with each original pixel of the block being sequentially set as the original pixel of interest. Furthermore, the reference value creation unit 84 calculates the standard deviation of the tap configured for each original pixel, and calculates the average value of the standard deviation in the block. Specifically, the total number of original pixels in the block #i is M, the total number of blurred pixels constituting the tap is K, and the tap width j is configured for the mth original pixel in the block #i. The pixel value of the kth blur pixel of V_{m, j, k}Then, mean the average value of taps with tap width j (average value of blurred pixels constituting the tap) configured for the mth original pixel in block #i._{m, j}If each is expressed, the reference value creating unit 84 calculates score (i, j) according to the above-described equation (8).
[0118]
The reference value creating unit 84 changes the tap width j to several values, configures the tap for each original pixel in the block #i, and sequentially calculates the average value score (i , j).
[0119]
Further, the reference value creating unit 84 similarly calculates the average value score (i, j) of the standard deviations of the taps having the respective tap widths j for the other blocks #i.
[0120]
As described above, in the reference value creating unit 84, for each block #i, as shown in FIG. 11, the tap width j and the average value score (i, j) of the standard deviation of taps of the tap width j are calculated. Is required.
[0121]
FIG. 11 shows the relationship between the tap width j and the average value score (i, j) of the standard deviation of taps for each of the four blocks # 1 to # 4. , X indicates that of block # 2, Δ indicates that of block # 3, and □ indicates that of block # 4.
[0122]
FIG. 11 shows the average value score (i, j) of the standard deviation of taps when the tap width j is 0 to 10, respectively.
[0123]
The average value score (i, j) of the standard deviation of taps configured for each original pixel of block #i represents the degree of change in the pixel value of the blurred image for that block #i, that is, the degree of blur. Therefore, the larger the score (i, j) (the smaller), the smaller the blur degree (the larger).
[0124]
The reference value creation unit 84 obtains the average value score (i, j) of the standard deviation of taps as described above, and at the same time, by using the tap of each tap width j, the original pixel is subjected to the class classification adaptation process. Find the predicted value of.
[0125]
That is, the reference value creating unit 84 uses the original pixel in the block #i and the blurred image, fixes the tap width j to a certain value, generates a normal equation of Equation (7), and solves it. Find the prediction coefficient for each class. Further, the reference value creating unit 84 uses the prediction coefficient for each class, fixes the tap width j to the above-described certain value, and calculates the linear prediction expression of Expression (1), so that the block #i A predicted value of each original image is obtained.
[0126]
The reference value creation unit 84 performs similar processing by sequentially changing the tap width j, and also performs similar processing for other blocks. As a result, the predicted value e (i, j) when the tap of each tap width j is used for the original pixel of each block #i is obtained. That is, for the original pixel of each block #i, the relationship between the tap width j of the tap used for the prediction of the original pixel and the predicted value e (i, j) of the original pixel is obtained.
[0127]
Then, the reference value creation unit 84 determines how close the predicted value e (i, j) obtained as described above is to the original image. That is, the reference value creating unit 84 predicts, for example, the reciprocal of the absolute value difference sum between the original pixel and the predicted value e (i, j) obtained using the tap with the tap width j for the block #i. The S / N (Signal to Noise Ratio) of the value e (i, j) is obtained. Here, S / N of the predicted value e (i, j) obtained for the four blocks #i shown in FIG. 11 is shown in FIG.
[0128]
In FIG. 12, the S / N of the predicted value e (1,0) obtained using the tap with the tap width j being 0 is the best for the block # 1, that is, the predicted value e (1 , 0) is closest to the original image, and the reference value creating unit 84 thus obtains the block #i from which the predicted value e (i, j) closest to the original image is obtained, The tap width j is detected. Here, the block #i or the tap width j detected as described above is hereinafter referred to as the optimum block or the optimum tap width, respectively.
[0129]
For the optimal block, the predicted value e (i, j) when the tap width j is obtained by configuring the tap having the optimal tap width is closest to the original image. It is considered that the standard deviation of the tap (hereinafter referred to as the optimal standard deviation as appropriate) when the tap is configured is the most suitable value as the standard deviation of the tap configured for other blocks.
[0130]
That is, from a statistical point of view, it is considered that a predicted value closest to the original image can be obtained when a tap having a tap width such that the standard deviation is the optimum standard deviation is formed for other blocks.
[0131]
Therefore, the reference value creation unit 84 obtains the optimum standard deviation and supplies this to the determination unit 83 as a predetermined reference value.
[0132]
Here, in FIG. 12, since the S / N of the predicted value e (1,0) obtained using the tap having the tap width j of 0 is the best for the block # 1, the reference value creating unit 84 Then, in score (1, j) (indicated by a circle in FIG. 11) obtained for block # 1 in FIG. 11, 20 which is a value when tap width j is 0 is obtained as the optimum standard deviation. It is done.
[0133]
Furthermore, in this case, for the other blocks, the value indicated by the thick arrow in FIG. 11 is the tap width j that provides the standard deviation that matches the optimal standard deviation. Therefore, the tap determination in FIG. 6 and FIG. In the processing, such a value is determined as the tap width j.
[0134]
Note that the tap width j takes an integer value, but the tap width (value indicated by the thick arrow in FIG. 11) that provides a standard deviation that matches the optimal standard deviation is an integer as apparent from FIG. It does not always take numbers (rather, it is often not an integer value). Therefore, in the tap determination process of FIG. 6 and FIG. 10, when the tap width from which the standard deviation matching the optimal standard deviation is not an integer value, for example, the integer value closest to the tap width that is not the integer value is The final tap width is determined.
[0135]
That is, in the tap determination process of FIG. 6 (same in FIG. 10), as described above, the score (i, j) from the standard deviation calculation unit 12 is close to the reference value set in the reference value setting unit 14. (Step S15). If it is determined that the tap width j is near, the tap width j at that time is output as tap information (step S17). “i, j) is close to the reference value” means that when a tap having a tap width j that takes an integer value is configured, the standard deviation of the tap (in this embodiment, the average value of the standard deviations obtained for the block) ) Score (i, j) means closest to the reference value.
[0136]
In the tap determination process of FIG. 6 or FIG. 10, the tap width from which the standard deviation that matches the optimal standard deviation is obtained. If the tap width is not an integer value, the average value of the tap width is the integer value. It is also possible to configure a tap having a different tap width. That is, when the tap width for obtaining a standard deviation that matches the optimum standard deviation is 1.5, for example, the tap width between certain pixels is set to 1, and the tap width between other pixels is set to 2. It is possible to configure a tap so that the average tap width of the tap is 1.5.
[0137]
As described above, the optimum standard deviation is obtained, and the tap width tap that can obtain the standard deviation that matches the optimum standard deviation is configured to perform the learning process and the blur improvement process. Performance can be improved.
[0138]
That is, in the learning process, classification suitable for the degree of blur of the image is performed, and furthermore, prediction taps suitable for the degree of blur are configured. As a result, a prediction coefficient for each class suitable for the degree of image blur can be obtained. Also, in the blur improvement process, classification suitable for the degree of blur of the image is performed, a prediction tap suitable for the degree of blur is configured, and further, using a prediction coefficient for each class suitable for the degree of blur, A predicted value of the original pixel is obtained. As a result, a clear image (an image with more improved blur) can be obtained regardless of the degree of blur of the image.
[0139]
Specifically, for example, as described above, in the case of performing class classification adaptation processing for an input image with a small degree of blur, the class is determined using input pixels that are relatively close to each other when viewed from the target original pixel. If classification is performed, the classification that reflects the nature of the original pixel of interest can be performed, and when performing classification adaptation processing for an input image with a large degree of blur, The class classification using the input pixel located at a relatively far position can perform the classification that reflects the property. In the case shown in FIG. 11, such a class classification is performed.
[0140]
That is, in the case shown in FIG. 11, as described above, the larger the score (i, j), the smaller the degree of blur. Therefore, the blur is in the order of blocks # 1, # 2, # 3, and # 4. The degree is growing. In the case shown in FIG. 11, from the above, taps with tap widths 0, 1, 3, and 8 are configured for blocks # 1, # 2, # 3, and # 4, respectively.
[0141]
Therefore, according to the method of the present application, as the degree of blur increases, the class tap is configured using input pixels that are farther from the original pixel of interest, so that classification that sufficiently reflects the properties of the image is performed. It will be.
[0142]
Next, the series of processes described above can be performed by hardware or software. When a series of processing is performed by software, various programs can be installed by installing a computer that is included in the image processing apparatus or learning apparatus as dedicated hardware, or various programs. Installed on a general-purpose computer or the like.
[0143]
Therefore, with reference to FIG. 13, a medium used for installing a program for executing the above-described series of processes in a computer and making it executable by the computer will be described.
[0144]
As shown in FIG. 13A, the program can be provided to the user in a state where it is installed in advance on a hard disk 102 as a recording medium built in the computer 101.
[0145]
Alternatively, as shown in FIG. 13B, the program includes a floppy disk 111, a CD-ROM (Compact Disc Read Only Memory) 112, a MO (Magneto optical) disk 113, a DVD (Digital Versatile Disc) 114, a magnetic disk. 115, stored in a recording medium such as the semiconductor memory 116 temporarily or permanently, and provided as package software.
[0146]
Further, as shown in FIG. 13C, the program is wirelessly transferred from a download site 121 to a computer 123 via a digital satellite broadcasting artificial satellite 122, or a LAN (Local Area Network) or the Internet. It can be transferred to the computer 123 via the network 111 by wire and stored in a built-in hard disk or the like.
[0147]
The medium in this specification means a broad concept including all these media.
[0148]
Further, in the present specification, the steps describing the program provided by the medium do not necessarily have to be processed in time series in the order described in the flowchart, but are executed in parallel or individually (for example, Parallel processing or object processing).
[0149]
In addition, the class classification application process performs learning for obtaining a prediction coefficient for each class using the teacher data and the student data, and performs linear primary prediction using the prediction coefficient and the input data, thereby changing the teacher data from the input data. Therefore, it is possible to obtain a prediction coefficient for obtaining a desired prediction value based on teacher data and student data used for learning. That is, for example, by using a high-resolution image as the teacher data and using an image with a reduced resolution as the student data, a prediction coefficient that improves the resolution can be obtained. Further, for example, by using an image not including noise as the teacher data and using an image obtained by adding noise to the image as the student data, a prediction coefficient for removing noise can be obtained. Therefore, the present invention can be applied to the case of removing noise, the case of improving the resolution, and the case of performing waveform equalization, for example, in addition to the case of improving the blur as described above.
[0150]
In this embodiment, the moving image is the target of the classification application processing. However, in addition to the moving image, a still image, audio, or a signal reproduced from a recording medium (RF (Radio)
(Frequency) signal) can also be targeted.
[0151]
Further, in the present embodiment, the class tap and the prediction tap are configured according to the same tap information, and thus are configured with the same pixel. However, the class tap and the prediction tap have different configurations. It is also possible to configure according to different tap information.
[0152]
In this embodiment, both the class tap and the prediction tap are configured according to the tap information so that the tap width is variable. However, either the class tap or the prediction tap is fixed. It is possible to make it the tap width.
[0153]
Furthermore, in this embodiment, tap information is determined based on the standard deviation of taps, but tap information can also be determined based on statistics other than the standard deviation of taps. That is, the tap information is based on, for example, the dispersion of pixels constituting the tap, the sum of absolute differences between the pixels, the second sum of absolute differences (the sum of the absolute values of the differences between the pixels), and the like. It is possible to determine.
[0154]
In this embodiment, the tap width is changed for each block including a plurality of pixels. However, the tap width may be changed in units of pixels, for example.
[0155]
Furthermore, in the present embodiment, the image processing device and the learning device that learns the prediction coefficient and the reference value for each class used in the image processing device are configured as separate devices. The learning device can also be configured integrally. In this case, the learning device can perform learning in real time, and the prediction coefficient used in the image processing device can be updated in real time.
[0156]
In this embodiment, the coefficient RAM 5 stores the prediction coefficient for each class in advance. However, the prediction coefficient may be supplied to the image processing apparatus together with the input image, for example. Is possible. Similarly, the reference value can be supplied to the image processing apparatus together with the input image instead of being set in the reference value setting unit 14 (FIG. 5).
[0157]
Furthermore, the class tap and the prediction tap may be configured using pixels in either the spatial direction or the temporal direction.
[0158]
In the present embodiment, the tap configuration (pixels constituting the tap) is changed by changing the tap width based on the statistic of the input image. It can be changed by changing the position of the pixels constituting the tap.
[0159]
Furthermore, in the present embodiment, the predicted value of the original pixel is obtained by a linear expression, but the predicted value can also be obtained by a quadratic or higher order expression.
[0160]
In the learning process, as described above, an addition corresponding to the summation (Σ) of Expression (7) is performed using the prediction tap, but the addition using the prediction tap having a different tap width is performed as follows. These prediction taps are performed on the corresponding pixels.
[0161]
That is, as shown in FIG. 3, if the prediction tap is composed of 9 pixels of 3 × 3 pixels centered on the central pixel, in this embodiment, the prediction tap with a tap width of 0 (FIG. 3A )) Or a prediction tap with a tap width of 1 (FIG. 3B) is configured. In this case, for the prediction tap with the tap width of 0, for example, the upper left pixel is added to the upper left pixel of the prediction tap with the tap width of 1.
[0162]
Further, class classification of class taps having different tap widths is performed in the same manner. Therefore, for example, the pixel values of the pixels constituting the prediction tap having the tap width 0 shown in FIG. 3A correspond to the prediction tap having the tap width 1 shown in FIG. When the pixel values are equal to each other, the classification results using the class taps in FIGS. 3A and 3B are the same (classified into the same class).
[0163]
【The invention's effect】
  According to the data processing device, the data processing method, and the medium of the present invention,,A predicted value close to the output data of interest can be obtained.
[0164]
  According to another data processing apparatus, data processing method, and medium of the present invention,It is possible to obtain a prediction coefficient capable of obtaining a prediction value close to the teacher data.
[0165]
  According to yet another data processing apparatus of the present invention.,A predicted value close to the output data of interest can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration example of an embodiment of an image processing apparatus to which the present invention is applied.
FIG. 2 is a diagram showing an outline of processing of the image processing apparatus of FIG. 1;
FIG. 3 is a diagram for explaining processing of a tap determination circuit 7 in FIG. 1;
4 is a flowchart for explaining blur improvement processing by the image processing apparatus in FIG. 1; FIG.
5 is a block diagram illustrating a configuration example of a tap determination circuit 7 in FIG. 1. FIG.
6 is a flowchart for explaining tap determination processing by the tap determination circuit 7 of FIG. 5; FIG.
FIG. 7 is a block diagram illustrating a configuration example of an embodiment of a learning device to which the present invention has been applied.
8 is a flowchart for explaining learning processing by the learning apparatus in FIG. 7;
9 is a block diagram illustrating a configuration example of a tap determination circuit 72 in FIG. 7;
10 is a flowchart for explaining tap determination processing by the tap determination circuit 72 of FIG. 9; FIG.
11 is a diagram for explaining processing of a reference value creation unit 84 in FIG. 9;
12 is a diagram for explaining processing of a reference value creating unit 84 in FIG. 9;
FIG. 13 is a diagram for explaining a medium to which the present invention is applied;
[Explanation of symbols]
1 frame memory, 2 class tap generation circuit, 3 prediction tap generation circuit, 4 class classification circuit, 5 coefficient RAM, 6 prediction arithmetic circuit, 7 tap determination circuit, 11 reading unit, 12 standard deviation calculation unit, 13 determination unit, 14 Reference value setting unit, 61 frame memory, 62 blur addition circuit, 63 frame memory, 64 class tap generation circuit, 65 prediction tap generation circuit, 66 class classification circuit, 67 addition circuit, 68 prediction tap memory, 69 addition circuit, 70 teacher Data memory, 71 arithmetic circuit, 72 tap determining circuit, 81 reading unit, 82 standard deviation calculating unit, 83 determining unit, 84 reference value creating unit, 101 computer, 102 hard disk, 103 semiconductor memory, 111 floppy disk, 11 CD-ROM, 113 MO disk, 114 DVD, 115 magnetic disk, 116 a semiconductor memory, 121 a download site 122 satellite, 123 computer, 131 network

Claims (20)

A data processing device that processes input data and predicts output data for the input data,
One of the center data corresponding to the target output data that is the output data for which a predicted value is to be obtained from the input data, and one of a plurality of distances preset in the spatial direction or the time direction from the center data A plurality of data having a plurality of peripheral data corresponding to the distances are read out while changing the distances, and variation of each value with respect to an average value of a plurality of data values corresponding to each of the plurality of types of distances, or By comparing the statistic based on the difference between the values of the plurality of data and a predetermined reference value, the distance at which the statistic closest to the predetermined reference value is obtained is determined by comparing the input data with a plurality of data Determining means for determining as an extraction distance for extracting
Extracting means for extracting a plurality of data corresponding to the extraction distance determined by the determining means for the attention output data that is the output data for which a predicted value is to be obtained;
A class that classifies the output data of interest into one of a plurality of classes based on a pattern of values of a plurality of data extracted by the extracting means, and outputs a corresponding class code Classification means;
Higher quality teacher data than the student data is predicted by linear linear combination with student data corresponding to the input data as a plurality of data corresponding to the distance at which a statistic closest to the predetermined reference value is obtained. The prediction coefficient is learned in advance for each class code based on a plurality of data corresponding to the distance, and by linear linear combination of the plurality of data extracted by the extraction unit and the prediction coefficient corresponding to the class code And a predicting means for obtaining a predicted value of the attention output data ,
The teacher data to be a teacher for learning the prediction coefficient is subjected to specific processing according to the input data, and student data to be students is generated,
One of the center data corresponding to the target output data that is the output data for which a predicted value is to be obtained from the input data, and one of a plurality of distances preset in the spatial direction or the time direction from the center data A plurality of data having a plurality of peripheral data corresponding to the distances are read out while changing the distances, and variation of each value with respect to an average value of a plurality of data values corresponding to each of the plurality of types of distances, or By comparing the statistic based on the difference between the values of the plurality of data and a predetermined reference value, the distance at which the statistic closest to the predetermined reference value is obtained is determined by comparing the input data with a plurality of data Is determined as the extraction distance to extract,
A plurality of data corresponding to the determined extraction distance is extracted from the student data for the attention teacher data that is the teacher data for which a predicted value is to be obtained,
Based on the extracted value patterns of the plurality of data, classify the attention teacher data into any one of a plurality of classes, and outputs a corresponding class code,
Using the extracted plurality of data, the student is obtained by linear linear combination with the student data corresponding to the input data as the plurality of data corresponding to the distance from which the statistic closest to the predetermined reference value is obtained. A prediction coefficient for predicting higher quality teacher data than data is obtained for each class code based on a plurality of data corresponding to the distance.
Accordingly , the data processing apparatus is characterized in that the prediction coefficient is learned in advance . The determining means obtains a standard deviation of the values of the plurality of data corresponding to each of the distances as the statistic, and based on the distance at which the standard deviation closest to the predetermined reference value is obtained, the input data The data processing apparatus according to claim 1, wherein an extraction distance for extracting a plurality of data is determined. The determining means sets the output data as block units each having a plurality of attention output data, and calculates an average of the standard deviations of the plurality of data obtained for each of the plurality of attention output data in a predetermined block. The extraction amount for extracting the plurality of data from the input data for the output data of interest in the block is determined by comparing the statistical amount with the predetermined reference value. The data processing apparatus according to claim 2. The predetermined reference value is obtained by learning a predetermined prediction coefficient corresponding to the class code between student data and teacher data for each of a plurality of data corresponding to the plurality of types of distances. The data processing apparatus according to claim 1, wherein the statistical amount is obtained from a plurality of data corresponding to the distance that can be optimally predicted as a result of predicting the teacher data. The data processing apparatus according to claim 1, further comprising a reference value storage unit that stores the predetermined reference value. The data processing apparatus according to claim 1, further comprising a prediction coefficient storage unit that stores the prediction coefficient for each class code. The data processing apparatus according to claim 1, wherein the input data and output data are image data. The data according to claim 7, wherein the extraction unit extracts, from the image data as the input data, pixels that are spatially or temporally adjacent to the pixel as the target output data. Processing equipment. A data processing method for a data processing apparatus that processes input data and predicts output data for the input data,
The data processing device includes:
One of the center data corresponding to the target output data that is the output data for which a predicted value is to be obtained from the input data, and one of a plurality of distances preset in the spatial direction or the time direction from the center data A plurality of data having a plurality of peripheral data corresponding to the distances are read out while changing the distances, and variation of each value with respect to an average value of a plurality of data values corresponding to each of the plurality of types of distances, or By comparing the statistic based on the difference between the values of the plurality of data and a predetermined reference value, the distance at which the statistic closest to the predetermined reference value is obtained is determined by comparing the input data with a plurality of data Determining means for determining as an extraction distance for extracting
Extracting means for extracting a plurality of data corresponding to the extraction distance determined by the determining means for the attention output data that is the output data for which a predicted value is to be obtained;
A class that classifies the output data of interest into one of a plurality of classes based on a pattern of values of a plurality of data extracted by the extracting means, and outputs a corresponding class code Classification means;
Higher quality teacher data than the student data is predicted by linear linear combination with student data corresponding to the input data as a plurality of data corresponding to the distance at which a statistic closest to the predetermined reference value is obtained. The prediction coefficient is learned in advance for each class code based on a plurality of data corresponding to the distance, and by linear linear combination of the plurality of data extracted by the extraction unit and the prediction coefficient corresponding to the class code , and a prediction means for finding the prediction value of the target output data,
The determining means includes, from the input data, center data corresponding to the output data of interest which is the output data for which a predicted value is to be obtained, and a plurality of types of distances set in advance in the spatial direction or the time direction from the center data. A plurality of pieces of data having a plurality of peripheral data corresponding to one of the distances, respectively, while changing the distance, and each of the average values of a plurality of data corresponding to each of the plurality of types of distances The distance at which a statistic closest to the predetermined reference value is obtained by comparing a statistic based on a variation in values or a difference between the values of the plurality of data with a predetermined reference value is input to the distance. Determine the extraction distance to extract multiple data from the data,
The extraction means extracts a plurality of data corresponding to the extraction distance determined by the determination means from the input data for attention output data that is the output data for which a predicted value is to be obtained,
The class classification unit performs class classification to classify the output data of interest into any one of a plurality of classes based on a pattern of a plurality of data values extracted by the extraction unit, and correspondingly Output class code
The predicting means has a higher quality than the student data by linear linear combination with student data corresponding to the input data as a plurality of data corresponding to the distance at which a statistic closest to the predetermined reference value is obtained. A prediction coefficient for predicting simple teacher data is learned in advance for each class code based on a plurality of data corresponding to the distance, and a plurality of data extracted by the extraction unit and a prediction coefficient corresponding to the class code; by linear one linear coupling, seen including a step of obtaining a prediction value of the target output data,
The teacher data to be a teacher for learning the prediction coefficient is subjected to specific processing according to the input data, and student data to be students is generated,
One of the center data corresponding to the target output data that is the output data for which a predicted value is to be obtained from the input data, and one of a plurality of distances preset in the spatial direction or the time direction from the center data A plurality of data having a plurality of peripheral data corresponding to the distances are read out while changing the distances, and variation of each value with respect to an average value of a plurality of data values corresponding to each of the plurality of types of distances, or By comparing the statistic based on the difference between the values of the plurality of data and a predetermined reference value, the distance at which the statistic closest to the predetermined reference value is obtained is determined by comparing the input data with a plurality of data Is determined as the extraction distance to extract,
A plurality of data corresponding to the determined extraction distance is extracted from the student data for the attention teacher data that is the teacher data for which a predicted value is to be obtained,
Based on the extracted value patterns of the plurality of data, classify the attention teacher data into any one of a plurality of classes, and outputs a corresponding class code,
Using the extracted plurality of data, the student is obtained by linear linear combination with the student data corresponding to the input data as the plurality of data corresponding to the distance from which the statistic closest to the predetermined reference value is obtained. A prediction coefficient for predicting higher quality teacher data than data is obtained for each class code based on a plurality of data corresponding to the distance.
Thus , the data processing method is characterized in that the prediction coefficient is learned in advance . A medium for causing a computer to execute a program for processing input data and performing data processing for predicting output data for the input data,
One of the center data corresponding to the target output data that is the output data for which a predicted value is to be obtained from the input data, and one of a plurality of distances preset in the spatial direction or the time direction from the center data A plurality of data having a plurality of peripheral data corresponding to distances are read while changing the distance, and variation of each value with respect to an average value of a plurality of data values corresponding to each of the plurality of types of distances, or By comparing a statistic based on a difference between the values of the plurality of data and a predetermined reference value, the distance at which the statistic closest to the predetermined reference value is obtained is determined by comparing the input data with a plurality of data Determining step for determining as an extraction distance for extracting;
An extraction step of extracting a plurality of data corresponding to the extraction distance determined by the determination means from the input data for the attention output data that is the output data for which a predicted value is to be obtained;
A class that classifies the output data of interest into one of a plurality of classes based on a pattern of values of a plurality of data extracted in the extraction step, and outputs a corresponding class code A classification step;
Predicting higher quality teacher data than the student data by linear linear combination with student data corresponding to the input data as a plurality of data corresponding to the distance at which a statistic closest to the predetermined reference value is obtained The prediction coefficient is learned in advance for each class code based on a plurality of data corresponding to the distance, and by linear linear combination of the plurality of data extracted in the extraction step and the prediction coefficient corresponding to the class code , it looks including a prediction step of obtaining a prediction value of the target output data,
The teacher data to be a teacher for learning the prediction coefficient is subjected to specific processing according to the input data, and student data to be students is generated,
One of the center data corresponding to the target output data that is the output data for which a predicted value is to be obtained from the input data, and one of a plurality of distances preset in the spatial direction or the time direction from the center data A plurality of data having a plurality of peripheral data corresponding to the distances are read out while changing the distances, and variation of each value with respect to an average value of a plurality of data values corresponding to each of the plurality of types of distances, or By comparing the statistic based on the difference between the values of the plurality of data and a predetermined reference value, the distance at which the statistic closest to the predetermined reference value is obtained is determined by comparing the input data with a plurality of data Is determined as the extraction distance to extract,
A plurality of data corresponding to the determined extraction distance is extracted from the student data for the attention teacher data that is the teacher data for which a predicted value is to be obtained,
Based on the extracted value patterns of the plurality of data, classify the attention teacher data into any one of a plurality of classes, and outputs a corresponding class code,
Using the extracted plurality of data, the student is obtained by linear linear combination with the student data corresponding to the input data as the plurality of data corresponding to the distance from which the statistic closest to the predetermined reference value is obtained. A prediction coefficient for predicting higher quality teacher data than data is obtained for each class code based on a plurality of data corresponding to the distance.
Accordingly, a medium that causes the computer to execute a program in which the prediction coefficient is learned in advance . A data processing device that processes input data and learns prediction coefficients used to predict output data for the input data,
A generating unit that performs specific processing according to the input data on teacher data serving as a teacher for learning the prediction coefficient, and generates student data serving as students;
One of the center data corresponding to the target output data that is the output data for which a predicted value is to be obtained from the input data, and one of a plurality of distances preset in the spatial direction or the time direction from the center data A plurality of data having a plurality of peripheral data corresponding to the distances are read out while changing the distances, and variation of each value with respect to an average value of a plurality of data values corresponding to each of the plurality of types of distances, or By comparing the statistic based on the difference between the values of the plurality of data and a predetermined reference value, the distance at which the statistic closest to the predetermined reference value is obtained is determined by comparing the input data with a plurality of data Determining means for determining as an extraction distance for extracting
An extraction unit that extracts a plurality of data corresponding to the extraction distance determined by the determination unit from the student data for the attention teacher data that is the teacher data for which a predicted value is to be obtained;
A class that classifies the teacher data of interest into one of a plurality of classes based on a pattern of values of a plurality of data extracted by the extraction unit, and outputs a corresponding class code Classification means;
Using a plurality of data extracted by the extraction means, linear primary with student data corresponding to the input data as a plurality of data corresponding to the distance at which a statistic closest to the predetermined reference value is obtained A data processing apparatus comprising: a calculation unit that obtains a prediction coefficient for predicting teacher data of higher quality than the student data by combining for each class code based on a plurality of data corresponding to the distance. The determining means obtains a standard deviation of the values of the plurality of data corresponding to each of the distances as the statistic, and based on the distance at which the standard deviation closest to the predetermined reference value is obtained, the input data The data processing apparatus according to claim 11, wherein an extraction distance for extracting a plurality of data is determined. The determining means sets the output data as a block unit each having a plurality of attention teacher data, and calculates an average of the standard deviations of the plurality of data obtained for each of the plurality of attention teacher data in a predetermined block. The extraction distance for extracting the plurality of data from the student data for the teacher data of interest in the block is determined by comparing the statistics and the predetermined reference value as the statistics. The data processing apparatus according to claim 12. The data processing apparatus according to claim 11, further comprising reference value calculation means for obtaining the predetermined reference value. The reference value calculation means predicts the teacher data with the prediction coefficient obtained for the class code corresponding to the plurality of data corresponding to the plurality of types of distances, and as a result, a plurality of distances corresponding to the distances that can be optimally predicted. The data processing apparatus according to claim 14, wherein a statistic obtained from data is obtained as the predetermined reference value. The data processing apparatus according to claim 11, wherein the teacher data and student data are image data. The data according to claim 11, wherein the extraction unit extracts, from the image data as the student data, pixels that are spatially or temporally adjacent to the pixel as the attention teacher data. Processing equipment. A data processing method for a data processing apparatus that processes input data and learns a prediction coefficient used to predict output data for the input data,
The data processing device includes:
A generating unit that performs specific processing according to the input data on teacher data serving as a teacher for learning the prediction coefficient, and generates student data serving as students;
One of the center data corresponding to the target output data that is the output data for which a predicted value is to be obtained from the input data, and one of a plurality of distances preset in the spatial direction or the time direction from the center data A plurality of data having a plurality of peripheral data corresponding to the distances are read out while changing the distances, and variation of each value with respect to an average value of a plurality of data values corresponding to each of the plurality of types of distances, or By comparing the statistic based on the difference between the values of the plurality of data and a predetermined reference value, the distance at which the statistic closest to the predetermined reference value is obtained is determined by comparing the input data with a plurality of data Determining means for determining as an extraction distance for extracting
An extraction unit that extracts a plurality of data corresponding to the extraction distance determined by the determination unit from the student data for the attention teacher data that is the teacher data for which a predicted value is to be obtained;
A class that classifies the teacher data of interest into one of a plurality of classes based on a pattern of values of a plurality of data extracted by the extraction unit, and outputs a corresponding class code Classification means;
Using a plurality of data extracted by the extraction means, linear primary with student data corresponding to the input data as a plurality of data corresponding to the distance at which a statistic closest to the predetermined reference value is obtained Computing means for obtaining a prediction coefficient for predicting teacher data of higher quality than the student data by combination for each class code based on a plurality of data corresponding to the distance,
The generation unit performs specific processing according to the input data on teacher data serving as a teacher for learning the prediction coefficient, and generates student data serving as students.
The determining means includes, from the input data, center data corresponding to the output data of interest which is the output data for which a predicted value is to be obtained, and a plurality of types of distances set in advance in the spatial direction or the time direction from the center data. A plurality of pieces of data having a plurality of peripheral data corresponding to one of the distances, respectively, while changing the distance, and each of the average values of a plurality of data corresponding to each of the plurality of types of distances The distance at which a statistic closest to the predetermined reference value is obtained by comparing a statistic based on a variation in values or a difference between the values of the plurality of data with a predetermined reference value is input to the distance. Determine the extraction distance to extract multiple data from the data,
The extraction means extracts a plurality of data corresponding to the extraction distance determined by the determination means from the student data for attention teacher data that is the teacher data for which a predicted value is to be obtained,
The class classification unit performs class classification for classifying the attention teacher data into one of a plurality of classes based on a plurality of data value patterns extracted by the extraction unit, and correspondingly Output class code
The calculation means uses a plurality of data extracted by the extraction means, and a student corresponding to the input data as a plurality of data corresponding to the distance from which a statistic closest to the predetermined reference value is obtained A data processing method comprising: a step of obtaining a prediction coefficient for predicting higher quality teacher data than the student data for each class code based on a plurality of data corresponding to the distance by linear linear combination with data . A medium for causing a computer to execute a program for performing data processing for processing input data and learning a prediction coefficient used to predict output data for the input data,
A generation step of generating specific student data as a student by applying a specific process according to the input data to the teacher data as a teacher for learning the prediction coefficient;
One of the center data corresponding to the target output data that is the output data for which a predicted value is to be obtained from the input data, and one of a plurality of distances preset in the spatial direction or the time direction from the center data A plurality of data having a plurality of peripheral data corresponding to distances are read while changing the distance, and variation of each value with respect to an average value of a plurality of data values corresponding to each of the plurality of types of distances, or By comparing a statistic based on a difference between the values of the plurality of data and a predetermined reference value, the distance at which the statistic closest to the predetermined reference value is obtained is determined by comparing the input data with a plurality of data Determining step for determining as an extraction distance for extracting;
An extraction step of extracting a plurality of data corresponding to the extraction distance determined by the determination step from the student data for the attention teacher data that is the teacher data for which a predicted value is to be obtained;
A class that classifies the teacher data of interest into one of a plurality of classes based on a pattern of values of a plurality of data extracted in the extraction step, and outputs a corresponding class code A classification step;
Using a plurality of data extracted in the extraction step, linear primary with student data corresponding to the input data as a plurality of data corresponding to the distance at which a statistic closest to the predetermined reference value is obtained A calculation step for calculating a prediction coefficient for predicting higher-quality teacher data than the student data for each class code based on a plurality of data corresponding to the distance. Medium to be executed. A first device that processes input data and predicts output data for the input data;
A data processing device comprising: a second device that learns a prediction coefficient used to predict the output data;
The first device includes:
One of the center data corresponding to the output data of interest that is the output data for which the predicted value is to be obtained from the input data, and one of a plurality of distances preset in the spatial direction or the time direction from the center data A plurality of data having a plurality of peripheral data corresponding to the distances are read out while changing the distances, and variation of each value with respect to an average value of a plurality of data values corresponding to each of the plurality of types of distances, or By comparing the statistic based on the difference between the values of the plurality of data and a predetermined reference value, the distance at which the statistic closest to the predetermined reference value is obtained is determined by comparing the input data with a plurality of data First determining means for determining as an extraction distance for extracting
A first extraction means for extracting a plurality of data corresponding to the extraction distance determined by the first determination means for the attention output data that is the output data for which a predicted value is to be obtained;
Based on a value pattern of a plurality of data extracted by the first extracting means, classifying the target output data into any one of a plurality of classes, and classifying the corresponding class code First class classification means for outputting;
Higher quality teacher data than the student data is predicted by linear linear combination with student data corresponding to the input data as a plurality of data corresponding to the distance at which a statistic closest to the predetermined reference value is obtained. The prediction coefficient corresponding to the class code and the first plurality of data extracted in the first extracting means is previously learned for each class code based on the plurality of data corresponding to the distance. A prediction means for obtaining a predicted value of the output data of interest by linear linear combination with :
The second device includes:
A generating unit that performs specific processing according to the input data on teacher data serving as a teacher for learning the prediction coefficient, and generates student data serving as students;
One of the center data corresponding to the output data of interest that is the output data for which the predicted value is to be obtained from the input data, and one of a plurality of distances preset in the spatial direction or the time direction from the center data A plurality of data having a plurality of peripheral data corresponding to the distances are read out while changing the distances, and variation of each value with respect to an average value of a plurality of data values corresponding to each of the plurality of types of distances, or By comparing the statistic based on the difference between the values of the plurality of data and a predetermined reference value, the distance at which the statistic closest to the predetermined reference value is obtained is determined by comparing the input data with a plurality of data Second determining means for determining as an extraction distance for extracting
A second extraction for extracting second plurality of data corresponding to the extraction distance determined by the second determination means from the student data for the attention teacher data that is the teacher data for which a predicted value is to be obtained. Means,
Based on the value patterns of the plurality of data extracted by the second extraction means, classifying the attention teacher data into any one of a plurality of classes, and classifying the corresponding class code Second class classification means for outputting;
The second plurality of data extracted by the second extraction means corresponds to the input data as a plurality of data corresponding to the distance at which a statistic closest to the predetermined reference value is obtained. A calculation means for obtaining a prediction coefficient for predicting higher-quality teacher data than the student data by linear linear combination with the student data for each class code based on a plurality of data corresponding to the distance ;
A data processing apparatus , wherein a prediction coefficient used to obtain a predicted value of the target output data in the first apparatus is learned in advance by the second apparatus.

Images