JP3890638B2 - Image information conversion apparatus and method - Google Patents

Description

ただし、この実施例では、ｎ＝５である。
【００３４】
上述の手法で算出したＳＤデータの差分の絶対値の平均値param を、例えばＳＤデータの差分の絶対値のヒストグラムをｎ等分するように予め設定したしきい値により、このＳＤデータの差分の絶対値の平均値param を用いて動きクラスmv-classを算出する。例えば、ここでは動きクラスを４つ設けることとして、ＳＤデータの差分の絶対値の平均値param ≦２の場合、動きクラスmv-classを０と決定し、平均値param ≦４の場合、動きクラスmv-classを１と決定し、平均値param ≦８の場合、動きクラスmv-classを２と決定し、平均値param ＞８の場合、動きクラスmv-classを４と決定する。このように設定された動きクラスmv-classが、クラスコード発生回路６に供給される。
【００３５】
クラスコード発生回路６は、ＡＤＲＣ回路３から供給されるパターン圧縮データ（空間クラス）および動きクラス決定回路５から供給される動きクラスmv-classに基づいて以下の式（４）の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードclass をタップ縮退ＲＯＭ７およびＲＯＭテーブル８に供給する。このクラスコードclass は、タップ縮退ＲＯＭ７およびＲＯＭテーブル８からの読み出しアドレスを示すものとなっている。
【００３６】
【数２】

この実施例では、ｎは５、ｐは２である。
【００３７】
さて、既に説明した通り、従来のクラス分類画像情報変換装置においては、領域切り出し回路９から供給された画素データｘ₁ 〜ｘ_n をクラスコード発生回路６で決定されたクラスコードclass を読み出しアドレスとして、ＲＯＭテーブル８から所定の係数データｗ₁ 〜ｗ_n を読み出し、それを上述した式（１）で推定演算回路１１において、掛け合わせることで、ＳＤ画像データからＨＤ画像データへの変換を行っていた。ここで、変換性能を重視してｎの値を大きく取ると、ＲＯＭテーブル８および推定演算回路１１がともに大きなものとなってしまい、小規模なハードウェアで高性能の変換を実現しようとする際の大きな障害となっていた。
【００３８】
ところで、式（１）でｎを大きくとった場合、つまり一般的な言葉で言うと大きなタップを使用した場合の係数データの実際の例を見てみると、例えば以下に示すような値をとる。
【００３９】
−０．０４８４、−０．０７４８、＋０．１２９７、＋０．０５３２、−０．０８１０、＋０．１８７５、−０．３６７９、＋１．５５７１、＋０．２３９０、−０．０４００、＋０．０１２５、−０．００７６、−０．３３１０、−０．１５５４、＋０．０３４４、−０．２６８３、＋０．０３８４、＋０．２３３３、−０．０５７６、−０．００８４
【００４０】
これらの値を見ると、絶対値的に小さく、また似通った値を持つ係数データが多いことが判る。そこで、この発明においては、後述するように、絶対値の似通った係数データが統合され、統合された係数データに含まれる元の係数データに対応するＳＤ画素データを統合するように、タップ縮退がなされる。このタップ縮退で得られた統合画素データを推定演算で使用する。また、この統合画素データを用いて学習を行うことにより得られた統合係数データを使用し、以下のような推定演算を行う。
【００４１】
ｙ＝ｗｎ₁ ×（ｘ₁ ＋ｘ₇ −ｘ₁₁）＋ｗｎ₂ ×（−ｘ₂ ＋ｘ₂₃）＋ｗｎ₃ ×（ｘ₄ −ｘ₈ ）＋・・・＋ｗｎ_nn×（ｘ₃ −ｘ₁₈） （５）
ここで、ｎｎはｎより小さな自然数であり、ｗｎは統合係数データである。
【００４２】
なお、この統合係数データの生成方法については、後述する。このように、統合係数データを使用することで、ほとんど性能低下を引き起こさずに、タップ数を大幅に削減することが出来、高性能で小規模なハードウェアの実現が可能になる。
【００４３】
クラスコード発生回路６の出力信号が供給されるタップ縮退ＲＯＭ７には、統合画素データ（式（５）中の（ｘ₁ ＋ｘ₇ −ｘ₁₁）など）を作成するための情報が付加コードデータとして格納されている。具体的には、もともとの画素データをどの統合係数データ（式（５）中のｗｎ₁ など）に掛け合わせるかということを示す情報と、その際のプラス／マイナスの符号が付加コードデータとして、格納されている。また、この付加コードデータは、クラス毎に設定されている。タップ縮退ＲＯＭ７からは、クラスコードclass で示されるアドレスから、そのクラスの統合画素データ生成のための付加コードデータが読み出され、この付加コードデータは、タップ縮退回路１０へ供給される。
【００４４】
一方、入力ＳＤデータは、領域切り出し回路９にも供給される。領域切り出し回路９は、図６に示すような位置にある、推定演算に使用する２５個のＳＤデータｘ₁ 〜ｘ₂₅を切り出す。領域切り出し回路９の出力信号は、タップ縮退回路１０に供給される。タップ縮退回路１０は、既に説明したような方法／主旨により、供給された２５個のＳＤデータをタップ縮退ＲＯＭ７から供給された付加コードデータに従い、例えば８個の統合画素データに変換する。
【００４５】
クラスコード発生回路６の出力信号が供給されるもうひとつのＲＯＭテーブル８には、統合係数データ（式（５）中のｗｎ₁ など）が格納されている。これは従来のクラス分類画像情報変換装置のＲＯＭテーブルと同様に統合画素データのパターンとＨＤデータの関係を学習することにより、線形推定式を用いて、統合画素データに対応するＨＤデータを算出するための統合係数データがクラス毎に記憶される。これは、線形推定式によりＳＤデータ（統合画素データ）をこの画像情報よりも高い解像度の画像情報である、いわゆるハイビジョンの規格に合致したＨＤデータに変換するための情報である。この実施例において、統合係数データは、モード１とモード２で独立に用意される。なお、ＲＯＭテーブル８に記憶されている統合係数データの作成方法については後述する。ＲＯＭテーブル８からは、クラスコードclass で示されるアドレスから、そのクラスの統合係数データであるｗｎ_i （class ）が読み出される。この統合係数データは、推定演算回路１１に供給される。
【００４６】
推定演算回路１１は、タップ縮退回路１０から供給される８個の統合画素データと、ＲＯＭデータテーブル８から供給される統合係数データに基づいて、入力されたＳＤデータに対応するＨＤデータを算出する。
【００４７】
統合画素データをｘｎ₁ 〜ｘｎ₈ 、統合係数データをｗｎ₁ 〜ｗｎ₈ とすることにより、具体的には、推定演算回路１１は、タップ縮退回路１０から供給される統合画素データであるｘｎ₁ 〜ｘｎ₈ とＲＯＭテーブル８より供給された統合係数データであるｗｎ₁ 〜ｗｎ₈ により、モード１に関してはブロック１用の係数を用いて、モード２に関してはブロック２用の係数を用いて、それぞれ式（６）に示す演算を行うことにより、入力されたＳＤデータに対応するＨＤデータｈｄ´を算出する。作成されたＨＤデータｈｄ´は、出力端子１２から出力される。この出力端子１２を介して出力されるＨＤデータは、例えばＨＤテレビジョン受像器やＨＤビデオテープレコーダ装置等に供給される。
【００４８】
ｈｄ´＝ｗｎ₁ ｘｎ₁ ＋ｗｎ₂ ｘｎ₂ ＋・・・＋ｗｎ₈ ｘｎ₈ （６）
【００４９】
この発明の方式では、絶対値的に似通った値を持つ係数データを統合し、またＳＤ画素データを統合して統合画素データとして扱い、その統合画素データを用いて学習により統合係数データを得ることで、ＲＯＭテーブルに格納する係数データの大きさや、推定演算回路の大きさを非常にコンパクトにすることができる。一方、新たにタップ縮退ＲＯＭとタップ縮退回路を持つ必要があるが、一般的にこの増大分は、係数データや推定演算回路の減少分に比して充分に小さい。
【００５０】
続いて、タップ縮退ＲＯＭ７に格納される付加コードデータおよびＲＯＭテーブル８に格納される統合係数データの学習方法について、図７、図８および図９を用いて説明する。ちなみに、図７において説明する範囲においては、従来の方式との差異はなく、図８および図９において説明を行う部分において、この発明の独自性がある。
【００５１】
図７に示すように、係数データを学習によって得るためには、まず、既に知られているＨＤ画像に対応したＨＤ画像の１／４の画素数のＳＤ画像を形成する。まず、入力端子２１を介してＨＤデータが供給される。供給されたＨＤデータの垂直方向の画素を垂直間引きフィルタ２２によりフィールド内の垂直方向の周波数が１／２になるように間引き処理され、さらに水平間引きフィルタ２３により、ＨＤデータの水平方向の画素が間引き処理される。
【００５２】
このように、作成されたＳＤデータは、領域切り出し回路２４、２６および２９に供給される。一方、入力端子２１に供給されたＨＤデータは、正規方程式加算回路３０に供給される。領域切り出し回路２４では、空間クラス分類を行うために、供給されたＳＤ画像信号から必要な画素を切り出す。具体的には、領域切り出し回路２４は、先に説明した領域切り出し回路２と同一の働きをする。切り出されたＳＤデータは、ＡＤＲＣ回路２５に供給される。
【００５３】
ＡＤＲＣ回路２５は、領域毎に供給されるＳＤデータの１次元的、あるいは２次元的なレベル分布のパターンを検出するとともに、上述のように各領域の全てのデータ、あるいは一部のデータを、例えば８ビットのＳＤデータから２ビットのＳＤデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路２８に供給する。ＡＤＲＣ回路２５は、先に説明したＡＤＲＣ回路３と同一のものである。
【００５４】
一方、領域切り出し回路２６に供給されたＳＤ画像信号は、動きクラス分類のために必要なデータ切り出しが行われる。具体的には、領域切り出し回路２６は、先に説明した領域切り出し回路４と同一の働きをするものである。領域切り出し回路２６により切り出されたＳＤデータは、動きクラス決定回路２７に供給される。動きクラス決定回路２７は、具体的には、先に説明した動きクラス決定回路５と同一の働きをするものである。動きクラス決定回路２７で決定された動きクラスはクラスコード発生回路２８に供給される。
【００５５】
クラスコード発生回路２８は、先に説明したクラスコード発生回路６と同一のものであり、ＡＤＲＣ回路２５から供給されるパターン圧縮データ（空間クラス）および動きクラス決定回路２８から供給された動きクラスmv-classに基づいて式（４）の演算を行うことにより、そのブロックが属するクラスを検出し、そのクラスを示すクラスコードを出力するものである。クラスコード発生回路２８は、クラスコードを正規方程式加算回路３０に出力する。
【００５６】
一方、領域切り出し回路２９に供給されたＳＤ信号は、推定演算に使用するＳＤ画素データが切り出される。領域切り出し回路２９は、具体的には、先に説明した領域切り出し回路９と同一のものであり、動きクラスmv-classに応じて、線形推定式に必要なＳＤ画素を切り出す働きをする。領域切り出し回路２９の出力は、正規方程式加算回路３０に供給される。このとき、図示しないが領域切り出し回路２９の前段に遅延回路を配置することによって、領域切り出し回路２９から正規方程式加算回路３０へ供給するデータのタイミング合わせが行われる。
【００５７】
ここで、正規方程式加算回路３０の説明のために、複数個のＳＤ画素からＨＤ画素への変換式の学習とその予測式を用いた信号変換について述べる。以下では、説明のために画素をより一般化してｎ画素による予測を行う場合について説明する。ＳＤ画素レベルをそれぞれ、ｘ₁ 、ｘ₂ 、・・・、ｘ_n として、それぞれにｐビットＡＤＲＣを行った結果の再量子化データをｑ₁ 、ｑ₂ 、・・・、ｑ_n とする。このとき、この領域のクラスコードclass を式（４）で定義する。
【００５８】
上述のようにＳＤ画素レベルをそれぞれｘ₁ 、ｘ₂ 、・・・、ｘ_n とし、ＨＤ画素レベルをｙとしたとき、クラス毎に係数ｗ₁ 、ｗ₂ 、・・・、ｗ_n によるｎタップの線形推定式を設定する。これを上述した式（１）に示す。学習前は、ｗ_i が未定係数である。
【００５９】
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（１）にしたがって、式（７）が設定される。
【００６０】
ｙ_k ＝ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋・・・＋ｗ_n ｘ_kn （７）
（ｋ＝１、２、・・・ｍ）
【００６１】
ｍ＞ｎの場合は、ｗ₁ 、ｗ₂ 、・・・ｗ_n は一意に決まらないので、誤差ベクトルｅの要素を式（８）で定義して、式（９）を最小にする係数を求める。いわゆる、最小自乗法による解法である。
【００６２】
ｅ_k ＝ｙ_k −｛ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋・・・＋ｗ_n ｘ_kn｝ （８）
（ｋ＝１、２、・・・ｍ）
【００６３】
【数３】

【００６４】
ここで、式（９）のｗ_i による偏微分係数を求める。それは以下の式（１０）を０にするように、各ｗ_i を求めればよい。
【００６５】
【数４】

【００６６】
以下、式（１１）および式（１２）のように、Ｘ_jiＹ_i を定義すると、式（１０）は、行列を用いて式（１３）に書き換えられる。
【００６７】
【数５】

【００６８】
【数６】

【００６９】
【数７】

【００７０】
この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路３０は、クラスコード発生回路２８から供給されたクラスコードclass 、領域切り出し回路３０より供給されたＳＤデータｘ₁ 、ｘ₂ 、・・・、ｘ_n 、入力端子２１より供給されたＳＤデータに対応するＨＤ画素レベルｙを用いて、この正規方程式の加算を行う。
【００７１】
全てのトレーニングデータの入力が終了した後、正規方程式加算回路３０は、予測係数決定回路３１に正規方程式データを出力する。予測係数決定回路３１は、正規方程式を掃き出し法などの一般的な行列解法を用いて、ｗ_i について解き、予測係数を算出する。予測係数決定回路３１は、算出された予測係数をメモリ３２に書き込む。
【００７２】
以上のようにトレーニングを行った結果、メモリ３２には、クラス毎に注目ＨＤデータｙを推定するための、統計的にもっとも真値に近い推定ができる予測係数が格納される。しかしながら、変換性能を重視すると、タップ数が大きくなり、係数データを格納するＲＯＭと推定演算回路の規模が大きくなるのは既に説明した通りである。
【００７３】
そこで、この発明の画像情報変換装置では、上述した手法により得られたメモリ３２内の予測係数（係数データ）を用いて、まずタップ縮退ＲＯＭ７に格納される付加コードデータの生成を行う。既に説明を行った通り、メモリ３２には、各クラス毎に予測係数が格納されているが、上述したように、その中には各クラス毎に見た場合でも、絶対値的に多くの似通った係数データが存在する。これら、絶対値的に似通った係数データに対して縮退を施し、縮退された係数データに基づいてＳＤ画素データを統合して統合画素データとして扱い、その統合画素データを用いて学習することによって、より少数の統合係数データを生成する。
【００７４】
まず、付加コードデータを生成するにあたって、例えば係数データをｗ₁ 〜ｗ₁₇とし、仮の統合係数データをｗｎ₁ 〜ｗｎ₇ とした場合、係数データと仮の統合係数データの差分絶対値和が最小となるような仮の統合係数データを採用する。この仮の統合係数データと係数データから係数データに対応するＳＤ画素データがどの仮の統合係数データと掛け合わされるかという情報と、その係数データのプラス／マイナスの符号からなる付加コードデータが生成され、クラス毎にタップ縮退ＲＯＭに記憶される。以下、図８を用いて、このタップ縮退ＲＯＭに格納される付加コードデータを生成する一例を説明する。
【００７５】
図８のフローチャートは、ステップＳ１から始まり、このステップＳ１では、供給されるｎ個の係数データの絶対値化が施される。ステップＳ２では、絶対値化が施されたｎ個の係数データの平均値が算出される。また、ステップＳ３では、絶対値化が施されたｎ個の係数データの最大値が算出される。ステップＳ４では、ステップＳ２で算出された平均値、ステップＳ３で算出された最大値および０．０の３つが仮の代表値Ａとして設定される。
【００７６】
ステップＳ５では、絶対値化されたｎ個の係数データが３つの仮の代表値Ａのどれに一番近い値かを判断し、仮の代表値Ａ毎に３つのグループが生成される。そして、生成されたグループ毎に平均値が求められる。求められた３つの平均値は、新たな仮の代表値Ｂとして設定される。このとき、仮の代表値Ａの０．０は、常に０．０とする。ステップＳ６では、仮の代表値Ｂの数がｎｎ＋１個あるか否かが判断される。仮の代表値Ｂの数は、ｎｎ＋１個であると判断された場合、制御はステップＳ７へ移り、仮の代表値Ｂの数は、ｎｎ＋１個ないと判断された場合、制御はステップＳ８へ移る。
【００７７】
ステップＳ８では、絶対値化されたｎ個の係数データが、ステップＳ５で設定された仮の代表値Ｂのどれに一番近い値かを判断し、仮の代表値Ｂ毎にグループが生成される。このとき、各グループに含まれた各係数データとそのグループの仮の代表値Ｂに対する最大誤差をグループ毎に算出する。グループ毎に算出された最大誤差の最も大きかったグループの仮の代表値Ｂの値は、±０．０００１を加算し、２つに分けられ、この２つを新たに仮の代表値Ａとして再設定する。すなわち、仮の代表値の数が１つ増えることになる。ステップＳ７では、ｎｎ＋１個の仮の代表値Ｂから０．０が取り除かれ、ｎｎ個の仮の代表値Ｂが最終的な代表値として決定される。
【００７８】
以下、上述したフローチャートを実際に数値を挙げて具体的に説明する。ここでは、一例としてｎ個の係数データを１７個とし、最終的なｎｎ個の仮の代表値を７個とする。まず、１７個の係数データとその対応する番号を以下に示す。
【００７９】
〔０〕 ０．０７８８５５００８
〔１〕 −０．０１４８２９５２０
〔２〕 −０．２０１６７９６９２
〔３〕 −０．００６２４３９１０
〔４〕 ０．１８９７３７２４６
〔５〕 −０．０４８７６６８５１
〔６〕 ０．１２１０５６１９２
〔７〕 −０．２３７４９４６３３
〔８〕 １．２９１１００１４４
〔９〕 ０．２６０７０７７０６
〔10〕 −０．０６３１４４０８８
〔11〕 ０．０１６８２８７４０
〔12〕 −０．４７５４９９４２１
〔13〕 ０．０３１００４１７０
〔14〕 ０．０５４７９４０２１
〔15〕 −０．０２６７１４５７１
〔16〕 ０．０３４３１２０６９
【００８０】
ステップＳ１では、この１７個の係数データに対して絶対値化が施され、ステップＳ２では、絶対値化された係数データから平均値が算出される。その平均値は、０．１８５４５６９である。さらに、ステップＳ３では、絶対値化された係数データから最大値が算出される。その最大値は、１．２９１１００１である。ステップＳ４では、この平均値および最大値に加えて０．０を仮の代表値Ａとして設定する。以下、説明を容易とするため、仮の代表値ＡおよびＢに数字を付する。この３つからなる仮の代表値Ａ１を以下に示す。
（仮の代表値Ａ１）：０．０、０．１８５４５６９、１．２９１１００１
【００８１】
ステップＳ５では、絶対値化された係数データとこの仮の代表値Ａ１の差分を求め、最も近い仮の代表値にグループ分けがなされる。さらに、グループ毎に平均値が算出され、仮の代表値Ｂ１が設定される。この３つからなる仮の代表値Ｂ１を以下に示す。
（仮の代表値Ｂ１）：０．０、０．２４７６９５８、１．２９１１００１
【００８２】
ステップＳ６では、仮の代表値Ｂがｎｎ＋１個あるか否かが判断される。ここで、仮の代表値Ｂ１の数は、８個ではないので、ステップＳ６からステップＳ８へ制御が移る。ステップＳ８では、絶対値化された係数データと仮の代表値Ｂ１の差分を求め、最も近い仮の代表値にグループ分けがなされる。さらに、グループ内の絶対値化された係数データと仮の代表値Ｂ１との誤差が最も大きくなる仮の代表値Ｂ１に対して±０．０００１を加算する。この例では、０．０が最も大きな誤差を含む仮の代表値となるため、０．０に±０．０００１を加算する。これらを加えて、仮の代表値Ａ２が設定される。４つからなる仮の代表値Ａ２を以下に示す。
（仮の代表値Ａ２）：−０．０００１０００、０．０００１０００、０．２４７６９５８、１．２９１１００１
【００８３】
ステップＳ５では、上述と同様の処理が施され、仮の代表値Ｂ２が設定される。４つからなる仮の代表値Ｂ２を以下に示す。
（仮の代表値Ｂ２）：０．０、０．０４５１４０８、０．２７３２３７、１．２９１１００１
【００８４】
ステップＳ６を介してステップＳ８へ制御が移り、ステップＳ８では、上述と同様の処理が施され、仮の代表値Ａ３が設定される。５つからなる仮の代表値Ａ３を以下に示す。
（仮の代表値Ａ３）：０．０、０．０４５１４０８、０．２７２９２３７、０．２７３１２３７、１．２９１１００１
【００８５】
ステップＳ５では、上述と同様の処理が施され、仮の代表値Ｂ３が設定される。５つからなる仮の代表値Ｂ３を以下に示す。
（仮の代表値Ｂ３）：０．０、０．０５７３３０９、０．２２２４０４８、０．４７５４９９４、１．２９１１００１
【００８６】
ステップＳ６を介してステップＳ８へ制御が移り、ステップＳ８では、上述と同様の処理が施され、仮の代表値Ａ４が設定される。６つからなる仮の代表値Ａ４を以下に示す。
（仮の代表値Ａ４）：０．０、０．０５７２３０９、０．０５７４３０９、０．２２２４０４８、０．４７５４９９４、１．２９１１００１
【００８７】
ステップＳ５では、上述と同様の処理が施され、仮の代表値Ｂ４が設定される。６つからなる仮の代表値Ｂ４を以下に示す。
（仮の代表値Ｂ４）：０．０、０．０４２２１９３、０．０８７６８５１、０．２２２４０４８、０．４７５４９９４、１．２９１１００１
【００８８】
ステップＳ６を介してステップＳ８へ制御が移り、ステップＳ８では、上述と同様の処理が施され、仮の代表値Ａ５が設定される。７つからなる仮の代表値Ａ５を以下に示す。
（仮の代表値Ａ５）：０．０、０．０４２２１９３、０．０８７６８５１、０．２２２３０４８、０．２２２５０４８、０．４７５４９９４、１．２９１１００１
【００８９】
ステップＳ５では、上述と同様の処理が施され、仮の代表値Ｂ５が設定される。７つからなる仮の代表値Ｂ５を以下に示す。
（仮の代表値Ｂ５）：０．０、０．０４３１２２６、０．０９９９５５６、０．１９５７０８５、０．２４９１０１２、０．４７５４９９４、１．２９１１００１
【００９０】
ステップＳ６を介してステップＳ８へ制御が移り、ステップＳ８では、上述と同様の処理が施され、仮の代表値Ａ６が設定される。８つからなる仮の代表値Ａ６を以下に示す。
（仮の代表値Ａ６）：０．０、０．０４３０２２６、０．０４３２２２６、０．０９９９５５６、０．１９５７０８５、０．２４９１０１２、０．４７５４９９４、１．２９１１００１
【００９１】
ステップＳ５では、上述と同様の処理が施され、仮の代表値Ｂ６が設定される。８つからなる仮の代表値Ｂ６を以下に示す。
（仮の代表値Ｂ６）：０．０、０．０３０６７６９、０．０５５５６８３、０．０９９９５５６、０．１９５７０８５、０．２４９１０１２、０．４７５４９９４、１．２９１１００１
【００９２】
ステップＳ６では、仮の代表値Ｂ６の数が８つ有るか否かが判断されるため、ステップＳ７へ制御が移る。以下に８つからなる仮の代表値Ｂ６とそのグループに含まれる１７個の係数データの番号を示す。
【００９３】
『０』 １．２９１１００１・・・〔８〕
『１』 ０．４７５４９９４・・・〔12〕
『２』 ０．２４９１０１２・・・〔７〕〔９〕
『３』 ０．１９５７０８５・・・〔２〕〔４〕
『４』 ０．０９９９５５６・・・〔０〕〔６〕
『５』 ０．０５５５６８３・・・〔５〕〔10〕〔14〕
『６』 ０．０３０６７６９・・・〔11〕〔13〕〔15〕〔16〕
『７』 ０．０００００００・・・〔１〕〔３〕
【００９４】
ステップＳ７では、仮の代表値Ｂ６から０．０が取り除かれ最終的な代表値として決定される。
【００９５】
これによって、１７個の係数データが７個の仮の代表値Ｂ６（仮の統合係数データ）のどのグループに含まれているかが判断される。そのグループに含まれる係数データは、係数データ同士まとめることができるので、係数データに対応するＳＤ画素データもまとめることができ、統合画素データを作成することができる。どのグループに含まれるか、言い換えればどの仮の代表値Ｂと掛け合わされるかの情報および係数データのプラス／マイナスの符号からなる付加コードデータが生成される。
【００９６】
この付加コードデータが記憶されたタップ縮退ＲＯＭが、既に説明した図１中のタップ縮退ＲＯＭ７およびこれから説明を行う図９中のタップ縮退ＲＯＭ４９に相当する。
【００９７】
さて、上述のように作成されたメモリ３２に格納されたデータは、係数データであり、統合係数データでなはい。図８のフローチャートにより最終的に求められた仮の統合係数データを統合係数データとして、使用することも可能だが、ここでは、より最適な統合係数データを生成するためのプロセスに入る。
【００９８】
図９に示すように、まず入力端子４１を介してＨＤデータが供給される。供給されるＨＤデータの垂直方向の画素を垂直方向間引きフィルタ４２によりフィールド内の垂直方向の周波数が１／２になるように間引き処理され、さらに水平間引きフィルタ４３により、ＨＤデータの水平方向の画素が間引き処理される。垂直間引きフィルタ４２は、垂直間引きフィルタ２２と、水平間引きフィルタ４３は、水平間引きフィルタ２３と同じものである。
【００９９】
このように作成されたＳＤ画素データは、領域切り出し回路４４、４６および５０に供給される。これら図９中の回路のほとんどは、図８中の相当する部分と全く同じ働きをするので、その部分に関しては説明を省略する。
【０１００】
さて、クラスコード発生回路４８は、クラスコードclass をタップ縮退ＲＯＭ４９と正規方程式加算回路５２に出力する。タップ縮退ＲＯＭ４９は、タップ縮退ＲＯＭ７と全く同じものであり、上述した図８により作成される。タップ縮退ＲＯＭ４９からは、供給されたクラスコードclass に応じて付加コードデータが読み出される。この付加コードデータは、上述したようにＳＤ画素データを統合するための情報およびプラス／マイナスの符号からなり、タップ縮退ＲＯＭ４９からタップ縮退回路５１へ供給される。
【０１０１】
一方、領域切り出し回路５０に供給されたＳＤ信号は、推定演算に使用するＳＤ画素データが切り出される。領域切り出し回路５０は、具体的には、先に説明した領域切り出し回路９と同一のものであり、動きクラスmv-classに応じて、線形推定式に必要なＳＤ画素データを切り出す働きをする。領域切り出し回路５０の出力は、タップ縮退回路５１へ供給される。
【０１０２】
タップ縮退回路５１では、供給された付加コードデータに応じて切り出されたＳＤ画素データが統合画素データに統合される。具体的には、上述したようにまとめることが可能なＳＤ画素データに対して符号を付加し、加算することによって、統合画素データが生成される。生成された統合画素データは、正規方程式加算回路５２に供給される。
【０１０３】
正規方程式加算回路５２、予測係数決定回路５３およびメモリ５４の働きについては既に詳しく述べた正規方程式加算回路３０、予測係数決定回路３１およびメモリ３２と全く同様なので説明は省略する。
【０１０４】
以上のようにトレーニングを行った結果、メモリ５４には、クラス毎に注目ＨＤデータｙを推定するための、統計的にもっとも真値に近い推定値ができる予測係数（統合係数データ）が格納される。以上の処理により、線形推定式により、ＳＤ画素データからＨＤデータを作成するための統合係数データの学習が終了する。このメモリ５４が図１で使用されるＲＯＭテーブル８である。
【０１０５】
上述した一実施例における推定演算回路１１の周辺のタップ縮退を適用しない既存の場合の構成を図１０に示す。被乗数レジスタ６１から被乗数として、例えばＳＤデータが積和器６４へ供給される。このＳＤデータに基づいたアドレスがアドレスコントロール回路６２から乗数メモリ６３へ供給される。乗数メモリ６３では、供給されたアドレスに応答する、例えば係数データが読み出され、その係数データは、積和器６４へ供給される。積和器６４では、上述した式（１）に示されるように積和演算が実行され、その演算結果は、出力端子６５から出力される。
【０１０６】
次に、上述した一実施例におけるタップ縮退を含む具体的構成の他の例を図１１に示す。この図１１に示す各ブロックは、図１に示すブロックと以下に示すように対応している。アドレスコントロール回路７２はクラスコード発生回路６に対応し、コントロールメモリ７３はタップ縮退ＲＯＭ７に対応し、タップ縮退演算回路７４はタップ縮退回路１０に対応し、乗数メモリ７５はＲＯＭテーブル８に対応し、積和器７６は推定演算回路１１に対応している。
【０１０７】
被乗数レジスタ７１から被乗数として、例えばＳＤデータがタップ縮退演算回路７４へ供給される。このＳＤデータに基づいてアドレスコントロール回路７２からアドレスがコントロールメモリ７３および乗数メモリ７５へ供給される。コントロールメモリ７３では、供給されたアドレスに応答して蓄えられたデータがタップ縮退演算回路７４へ供給される。
【０１０８】
タップ縮退演算回路７４は、このデータによって制御される。そのタップ縮退演算回路７４では、供給されたＳＤデータを、例えば２５個のＳＤデータから９個のＳＤデータへ縮退され、積和器７６へ供給される。乗数メモリ７５では、アドレスコントロール回路７２からのアドレスによって選択された係数データが積和器７６へ供給される。積和器７６では、上述した式（１）に示されるように積和演算が実行され、その演算結果は、出力端子７７から出力される。
【０１０９】
ここで、タップ縮退演算回路７４に用いられた具体的な回路図を図１２に示す。被乗数レジスタ７１からタップ縮退演算回路７４に供給されたＮ個のＳＤデータＤ_i （１≦ｉ≦Ｎ）は、入力端子８１₁ 〜８１_N を介してレジスタ８２₁ 〜８２_N へ供給される。Ｎ個のＳＤデータＤ_i は、レジスタ８２₁ 〜８２_N を介して出力され、Ｋ組のセレクタ８３₁ 〜８３_K （Ｋ＜Ｎ）へ供給される。セレクタ８３₁ 〜８３_K では、予め最適化された結果に応じてＳＤデータＤ_i が選択される。例えば、図に示すようにセレクタ８３₁ 〜８３_K では、４入力の何れかのパスが選択される。選択されたＳＤデータＤ_i は、スルー／２の補数回路８４₁ 〜８４_K へ供給される。
【０１１０】
スルー／２の補数回路８４₁ 〜８４_K では、供給される制御信号に応じてＳＤデータＤ_i に対して何も処理をすることなく通過させるか、または２の補数に変換する処理が実行される。２の補数への変換は、ＳＤデータＤ_i のビットの１／０を反転させ、ＬＳＢに `１' を付加する処理である。このとき、２の補数に変換するか否かを選択する必要がない場合、セレクタ８３₁ 〜８３_K からの出力をレジスタ８５₁ 〜８５_K に直結する場合もあり得る。スルー／２の補数回路８４₁ 〜８４_K の出力は、レジスタ８５₁ 〜８５_K を介して演算部へ供給される。
【０１１１】
レジスタ８５₁ からのデータＳ₁ は、レジスタ８６、８７および８８からなる演算部を介して出力端子８９から縮退データＲ₁ として出力される。この演算部では、タイミングを合わせのレジスタから構成され、供給されたデータＳ₁ は、何も処理が施されることなく出力される。レジスタ８５₂ および８５₃ からのデータＳ₂ およびＳ₃ は、加算器９０において、加算される。その加算結果は、レジスタ９１、９２および９３を介して出力端子９４から縮退データＲ₂ として出力される。この演算部では、２つのデータＳ₂ およびＳ₃ の加算がなされる。
【０１１２】
加算器９５では、２つのデータＳが加算され、レジスタ９６を介して加算器９９へ供給される。加算器９７では、１つまたは２つのデータＳが加算され、レジスタ９８を介して加算器９９へ供給される。加算器９９では、既に加算された２つのデータが加算され、その加算結果は、レジスタ１００および１０１を介して出力端子１０２から縮退データＲ₃ として出力される。この演算部では、３つまたは４つのデータＳの加算がなされる。
【０１１３】
加算器１０３では、２つのデータＳが加算され、レジスタ１０４を介して加算器１０７へ供給される。加算器１０５では、２つのデータＳが加算され、レジスタ１０６を介して加算器１０７へ供給される。加算器１０７では、既に加算された２つのデータが加算され、その加算結果は、レジスタ１０８を介して加算器１１５へ供給される。
【０１１４】
加算器１０９では、１つまたは２つのデータＳが加算され、レジスタ１１０を介して加算器１１３へ供給される。加算器１１１では、１つまたは２つのデータＳが加算され、レジスタ１１２を介して加算器１１３へ供給される。この加算器１１１では、データが供給されず加算結果の出力がない場合もある。加算器１１３では、既に加算された２つのデータが加算され、その加算結果は、レジスタ１１４を介して加算器１１５へ供給される。
【０１１５】
加算器１１５では、レジスタ１０８および１１４から供給される２つのデータが加算され、その加算結果は、レジスタ１１６を介して出力端子１１７から縮退データＲ_M として出力される。この演算部では、５つ以上、８つ以下のデータＳの加算がなされる。
【０１１６】
このように、データＤ₁ 〜Ｄ_N は、セレクタ８３₁ 〜８３_K によって選択され、データＳ₁ 〜Ｓ_K として、何種類かの入力数を持った加算器（演算部）に供給される。この演算部の入力数は、Ｋ個あり、セレクタと演算部の接続も、どのタップを接続して何個の加算演算をしたらよいか最適化された結果接続されている。そして、最終的にＮタップのフィルタとほぼ等価となる縮退データＲ₁ 〜Ｒ_M を得ることができる。ただし、タップ数の関係は、Ｍ＜Ｋ＜Ｎとする。
【０１１７】
図１３および図１４は、乗算器を備えた積和器７６の構成例であり、ここでは、４タップの場合を例にしている。大きく分けて、図１３に示すように、被乗数を順次供給することによってパイプラインで積和演算を行う場合と、図１４に示すように、被乗数を同時に供給し、パラレルで加算を行う場合とに大別される。この発明は、図１４に示す構成からなる。
【０１１８】
まず、図１３の積和演算回路から説明する。入力端子１２１から供給される被乗数（画素データ）は、レジスタ１２２を介して乗算器１２５₁ 〜１２５₄ へ供給される。入力端子１２３₁ 〜１２３₄ から供給される乗数（係数）は、それぞれレジスタ１２４₁ 〜１２４₄ を介して乗算器１２５₁ 〜１２５₄ へ供給される。乗算器１２５₁ 〜１２５₄ では、被乗数と乗数の乗算が実行され、その乗算結果は、レジスタ１２６₁ 〜１２６₄ へ供給される。レジスタ１２６₁ からのデータは、レジスタ１２７₁ を介して加算器１２８₁ へ供給される。加算器１２８₁ では、レジスタ１２７₁ からのデータとレジスタ１２６₂ からの１サンプリング後のデータとが加算される。
【０１１９】
加算器１２８₁ からの加算出力は、レジスタ１２７₂ を介して加算器１２８₂ へ供給される。加算器１２８₂ では、レジスタ１２７₂ からのデータとレジスタ１２６₃ からの１サンプリング後のデータとが加算される。加算器１２８₂ からの加算出力は、レジスタ１２７₃ を介して加算器１２８₃ へ供給される。加算器１２８₃ では、レジスタ１２７₃ からのデータとレジスタ１２６₄ からの１サンプリング後のデータとが加算される。加算器１２８₃ からの加算出力は、レジスタ１２７₄ を介して出力端子１２９から出力される。
【０１２０】
次に、この実施例において積和器７６に適用可能な構成例を図１４に示す。入力端子１３１₁ 〜１３１₄ から被乗数（画素データ）が供給され、その被乗数は、レジスタ１３２₁ 〜１３２₄ を介して乗算器１３５₁ 〜１３５₄ へ供給される。入力端子１３３₁ 〜１３３₄ から乗数（係数）が供給され、その被乗数は、レジスタ１３４₁ 〜１３４₄ を介して乗算器１３５₁ 〜１３５₄ へ供給される。乗算器１３５₁ 〜１３５₄ では、被乗数と乗数の乗算が行われ、その乗算結果は、それぞれレジスタ１３６₁ 〜１３６₄ を介して加算器１３７₁ および１３７₂ へ供給される。
【０１２１】
加算器１３７₁ では、レジスタ１３６₁ および１３６₂ からのデータが加算され、その加算結果は、レジスタ１３８₁ を介して加算器１３９へ供給される。加算器１３７₂ では、レジスタ１３６₃ および１３６₄ からのデータが加算され、その加算結果は、レジスタ１３８₂ を介して加算器１３９へ供給される。加算器１３９では、レジスタ１３８₁ および１３８₂ からのデータが加算され、その加算結果は、レジスタ１４０を介して出力端子１４１から出力される。
【０１２２】
なお、この実施例の説明では、空間波形を少ないビット数でパターン化する情報圧縮手段として、ＡＤＲＣを設けることにしたが、これはほんの一例であり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えばＤＰＣＭ（Differential Pulse Code Modulation）やＶＱ（Vector Quantization ）等の圧縮手段を用いても良い。
【０１２３】
【発明の効果】
この発明に依れば、もともとの類似の係数データを持つ、ＳＤ画像データを予め統合することで、見かけ上の画素数を減らすことで、変換性能を保ったままコンパクトな推定演算回路および係数ＲＯＭを実現することができる。
【０１２４】
さらに、この発明に依れば、乗数メモリと積和器のハード規模をかなり大きく削減することができるため、大幅にハード規模を削減できる。また、タップ縮退は、本来Ｎタップのフィルタ演算をＭタップ（Ｍ＜Ｎ）のフィルタ演算にほぼ等価的に置き換え、入力が画像データであるため、乗数が画像の特性を反映した数値になっており、タップ縮退を行っても等価な演算が行えるようタップ縮退回路を構成できることによって、本来の性能とほぼ等価的なデータが得ることができる。
【図面の簡単な説明】
【図１】この発明に係る画像情報変換装置の一実施例のブロック図である。
【図２】ＳＤデータとＨＤデータの位置関係を説明するための略線図である。
【図３】ＳＤデータとＨＤデータの位置関係を説明するための略線図である。
【図４】空間クラス分類に使用するデータを説明するための略線図である。
【図５】動きクラス分類に使用するデータを説明するための略線図である。
【図６】推定演算に使用する画素を説明するための略線図である。
【図７】補正データテーブルを作成する時の説明のための略線図である。
【図８】この発明に係るタップ縮退の一例のフローチャートである。
【図９】補正データテーブルを作成する時の説明のための略線図である。
【図１０】積和演算回路の一例である。
【図１１】この発明に係る積和演算回路の一実施例である。
【図１２】この発明に係るタップ縮退演算回路の一例の回路図である。
【図１３】この発明に係る積和演算回路の一例の回路図である。
【図１４】この発明に係る積和演算回路の一例の回路図である。
【図１５】従来の画像情報変換装置の回路図である。
【図１６】従来の画像情報変換装置の要部の回路図である。
【図１７】従来の画像変換装置における画像情報変換装置の例のブロック図である。
【符号の説明】
２、４、９・・・領域切り出し回路、３・・・ＡＤＲＣ回路、５・・・動きクラス決定回路、６・・・クラスコード発生回路、７・・・タップ縮退ＲＯＭ、８・・・ＲＯＭテーブル、１０・・・タップ縮退回路、１１・・・推定演算回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image information conversion apparatus and method suitable for use in, for example, a television receiver, a video tape recorder apparatus, and the like, and in particular, converts normal resolution image information supplied from the outside into high resolution image information. The present invention relates to an image information conversion apparatus and method that can output the output.
[0002]
[Prior art]
Nowadays, development of a television receiver capable of obtaining a higher resolution image is desired due to the increase in audio / visual orientation. In response to this demand, so-called high vision has been developed. In this high-definition, the number of scanning lines stipulated in the so-called NTSC system is 525, whereas it is 1125, which is more than twice, and the aspect ratio of the display screen is 16: 9 and a wide-angle screen. For this reason, a high-resolution and realistic screen can be obtained.
[0003]
Here, although it is a high vision having such excellent characteristics, even if an NTSC video signal is supplied as it is, an image cannot be displayed. This is because the standards differ between the NTSC system and the high vision system as described above. For this reason, when an image according to the NTSC video signal is to be displayed by the high vision system, conventionally, for example, the video signal rate conversion is performed using an image information converter as shown in FIG.
[0004]
In FIG. 15, the conventional image information conversion apparatus described above includes a horizontal interpolation filter 152 that performs horizontal interpolation processing of an NTSC video signal (SD data) supplied via an input terminal 151, and horizontal interpolation. It comprises a vertical interpolation filter 153 that performs vertical interpolation processing of the processed video signal.
[0005]
Specifically, the horizontal interpolation filter 152 has a configuration as shown in FIG. In the example of FIG. 16, the horizontal interpolation filter 152 is configured by, for example, a cascade connection type FIR filter. In FIG. 16, reference numeral 161 denotes an input terminal to which SD data is supplied. ₀ ~ 162 _m Are the filter coefficients α ₀ ~ Α _m Is a multiplier for multiplying the SD data. 163 ₀ ~ 163 _m-1 Are adders, 164 ₁ ~ 164 _m Is a delay element of time T (T: 1 sampling period). Output data obtained by horizontal interpolation is obtained at the output terminal 165. This output data is supplied to the vertical interpolation filter 153.
[0006]
The vertical interpolation filter 153 has the same configuration as that of the horizontal interpolation filter 152, and performs vertical pixel interpolation on the video signal subjected to the horizontal interpolation processing. Thus, vertical pixel interpolation is performed on the NTSC video signal. The high-definition video signal (HD data) subjected to such conversion is supplied to a high-definition receiver. As a result, an image corresponding to the NTSC video signal can be displayed on the high-vision receiver.
[0007]
However, since the above-described conventional image information conversion apparatus merely performs horizontal and vertical interpolation based on the NTSC video signal, the resolution is the same as that of the NTSC video signal. There was no change. In particular, when converting a normal moving image, it is common to perform vertical interpolation by intra-field processing. In that case, however, the inter-field correlation of the image is not used. Due to the conversion loss, there is a drawback that the resolution is deteriorated rather than the NTSC video signal.
[0008]
On the other hand, the applicant performs class division according to the three-dimensional (spatio-temporal) distribution of the image signal level as the input signal in the image signal conversion apparatus of Japanese Patent Application No. 6-205934, and learns in advance for each class. Has proposed a storage means for storing a prediction coefficient value obtained by the above-described method and outputting an optimum estimated value by a calculation based on a prediction formula.
[0009]
In this method, when creating HD (High Definition) pixels, class division is performed using SD (Standered Definition) pixel data in the vicinity of the created HD pixels, and a prediction coefficient value is obtained by learning for each class. As a result, it is possible to obtain an HD pixel value closer to the true value by using intra-frame correlation in the still image portion and intra-field correlation in the motion portion.
[0010]
For example, the HD pixel y as shown in FIGS. ₁ ~ Y _Four SD pixel m shown in FIG. ₁ ~ M _Five And SD pixel n ₁ ~ N _Five The average value of the inter-frame differences between the pixels at the same spatial position is obtained, and is subjected to threshold processing to classify it, so that the degree of motion is mainly performed by class classification.
[0011]
At the same time, the SD pixel k as shown in FIG. ₁ ~ K _Five By performing ADRC (Adaptive Dynamic Range Coding) processing, the classification is performed with a small number of bits mainly for the purpose of expressing the waveform in the space.
[0012]
For each class determined by the above two types of class classification, the SD pixel x as shown in FIG. ₁ ~ X _{twenty five} Is used to build a linear linear expression and obtain a prediction coefficient value by learning. In this method, class classification that mainly represents the degree of motion and class classification that mainly represents the waveform in the space are performed separately in a suitable manner, so high conversion performance can be obtained with a relatively small number of classes. There is a feature that is. The estimation calculation of the HD pixel y is performed using the prediction coefficient value w obtained by the above procedure _n The following equation (1) is used.
[0013]
y = w ₁ x ₁ + W ₂ x ₂ + ... + w _n x _n (1)
In this example, n = 25.
[0014]
In this manner, coefficient data for estimating HD data corresponding to SD data is obtained by learning in advance for each class, stored in the ROM table, and read from the input SD data and the ROM table. By outputting the coefficient data, unlike the case where the input SD data is simply interpolated, it is possible to output data closer to the actual HD data.
[0015]
This will be specifically described with reference to FIG. SD pixel data is supplied from the input terminal 171, and the SD pixel data is supplied to the region cutout circuits 172, 174 and 178. In the area cutout circuit 172, since the NTSC circuit 173 at the subsequent stage performs class classification for the purpose of waveform expression in the space, the SD pixel k as shown in FIG. ₁ ~ K _Five The ADRC circuit 173 performs ADRC processing. In the region cutout circuit 174, the subsequent motion class determination circuit 175 performs class classification for the purpose of motion, so that the SD pixel m as shown in FIG. ₁ ~ M _Five And SD pixel n ₁ ~ N _Five In the motion class determination circuit 175, an average value of inter-frame differences between pixels at the same spatial position is obtained, and is subjected to threshold processing to be classified into classes.
[0016]
In the class code generation circuit 176, a class is generated from the class classification from the ADRC circuit 173 and the class classification from the motion class determination circuit 175. In the ROM table 177, the prediction coefficient responding to the generated class is read out. In the region cutout circuit 178, the estimation calculation circuit 179 in the subsequent stage performs a prediction calculation using a linear linear expression. Therefore, the SD pixel x as shown in FIG. ₁ ~ X _{twenty five} In the estimation calculation circuit 179, the HD data is extracted via the output terminal 180 by the linear linear expression as shown in the above-described expression (1).
[0017]
[Problems to be solved by the invention]
By the way, in general, in this classification image information conversion process, the conversion performance improves as the number of pixels used in the estimation calculation increases. That is, the conversion performance improves as the value of n in Equation (1) increases. This means that the conversion performance improves as the filter with a large tap, which is generally called, is used.
[0018]
However, in the equation (1), if an attempt is made to create a conversion device having a large value of n, the scale of the ROM table for storing the coefficients and the circuit for performing the estimation operation becomes very large, which is small and inexpensive. There is a drawback that it is very difficult to construct a circuit.
[0019]
Accordingly, an object of the present invention is made in view of the above-mentioned problems, and the NTSC system is used while maintaining the same conversion performance as when a large tap is used even if a small and inexpensive circuit is used. It is an object of the present invention to provide an image information conversion apparatus and method which can convert a video signal of the above into a video signal for high vision.
[0020]
Furthermore, another object of the present invention is to provide an image information conversion apparatus and method capable of obtaining a result substantially equivalent to the original performance even if the hardware scale is greatly reduced.
[0021]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided an image information conversion apparatus for converting a first digital image signal into a second digital image signal having a larger number of pixels. , Around the pixel to be estimated included in the second digital image signal A pixel cutout unit that cuts out a plurality of pixels, and a class to which a second digital image signal to be estimated belongs based on a level distribution pattern of the plurality of pixels cut out by the pixel cutout unit belongs and outputs class information Class decision means; The coefficient data is degenerated with respect to a plurality of coefficient data for estimating pixels included in the second digital image signal from a plurality of pixels cut out from the first digital image signal obtained for each class information by learning in advance. Reduced coefficient data storage means for storing the reduced coefficient data for each class information; For each class information, by adding the data of a plurality of pixels of the first digital image signal corresponding to similar coefficient data, the number of pixels is reduced to integrate the first digital image signal into the data of a plurality of pixels. According to means, integrated first digital image signal and class information Degeneration A second digital image signal using an estimation formula based on coefficient data Pixels contained in And an image information conversion device characterized by comprising: an estimation means for estimating.
[0022]
According to a third aspect of the present invention, there is provided an image information conversion method for converting a first digital image signal into a second digital image signal having a larger number of pixels. , Around the pixel to be estimated included in the second digital image signal Cutting out a plurality of pixels, determining a class to which a second digital image signal to be estimated based on a level distribution pattern of the cut out plurality of pixels belongs, and outputting class information; With respect to a plurality of coefficient data for estimating pixels included in the second digital image signal from a plurality of pixels cut out from the first digital image signal obtained for each class information in advance by learning, An integration step of integrating the first digital image signal into the data of a plurality of pixels by calculating the data of the plurality of pixels of the first digital image signal corresponding to similar coefficient data; Reduced coefficient data Corresponding to class information from coefficient storage means in which coefficient data is stored for each class information Degeneration A step of reading coefficient data, and reading the integrated first digital image signal; Degeneration A second digital image signal using an estimation formula based on coefficient data Pixels contained in And an image information conversion method characterized by comprising the steps of:
[0023]
As described above, the image information conversion apparatus according to the present invention detects a level distribution pattern of SD pixels located in the vicinity of an HD pixel to be created from an input SD signal, and based on the detected pattern, The class to which the image information of the region belongs is determined and class detection information is output. On the other hand, the supplied SD pixel data is converted as integrated pixel data by a tap degeneration circuit having an action of integrating SD pixel data having similar coefficient data, and the number of pixels used for the apparent estimation calculation is deleted. Done. This integration is performed in the coefficient data storage means based on the additional code data, and the coefficient of the linear estimation formula, which is information for converting image information supplied from the outside into image information having a higher resolution than the image information. Stored for each data class, the coefficient data is output according to the class detection information. Then, according to the coefficient data supplied from the coefficient data storage means, the image information conversion means converts the image information supplied from the outside into image information having a higher resolution than the image information supplied from the outside.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment to which the present invention is applied will be described with reference to the drawings. The configuration of one embodiment of the present invention is shown in FIG. For example, a so-called NTSC video signal is digitized and supplied as SD data as image information supplied from the outside via an input terminal 1.
[0025]
In this embodiment, the positional relationship between SD pixels and HD pixels to be created is as shown in FIGS. FIG. 2 shows the SD pixel of the current field, the SD pixel of the previous field, the HD pixel of the current field, and the HD pixel of the previous field in the horizontal direction and the vertical direction. FIG. 3 shows SD pixels and HD pixels in the time direction and the vertical direction. As described above, the HD pixel to be created includes the HD pixel y that is present at a position close to the SD pixel when viewed in the same field. ₁ , Y ₂ HD pixels that are far from SD pixels _Three , Y _Four There are two types. Hereinafter, a mode for estimating an HD pixel existing at a position close to an SD pixel is referred to as mode 1, and a mode for estimating an HD pixel existing at a position far from the SD pixel is referred to as mode 2.
[0026]
The area cutout circuit 2 cuts out pixels necessary for class classification (hereinafter referred to as a space class) mainly for waveform representation in space from the SD image signal supplied from the input terminal 1. In this embodiment, for example, an HD pixel y to be created as shown in FIG. ₁ ~ Y ₂ SD pixels k located in the vicinity of ₁ ~ K _Five Cut out. The SD data extracted by the area cutout circuit 2 is supplied to the ADRC circuit 3.
[0027]
For the purpose of patterning the level distribution of the SD data in the area, the ADRC circuit 3 performs an operation for compressing the data in each area, for example, from 8-bit SD data to 2-bit SD data. As a result, the formed pattern compression data is supplied to the class code generation circuit 6.
[0028]
ADRC is originally an adaptive requantization method developed for high-performance coding for VTRs. However, since a local pattern of a signal level can be efficiently expressed with a short word length, in the embodiment of the present invention, It is used for signal pattern classification code generation. The ADRC circuit calculates the maximum value MAX and the minimum value MIN in the region according to the following equation (2), where the dynamic range DR in the region, bit allocation is n, the data level of the pixel in the region is L, and the requantization code is Q. Are re-quantized by equally dividing the interval between and with a specified bit length.
[0029]
DR = MAX-MIN + 1
Q = [(L-MIN + 0.5) .2 ⁿ / DR] (2)
However, [] means a truncation process.
[0030]
In this embodiment, it is assumed that each 5 pixel SD data separated by the area cutout circuit 2 is compressed to 2 bits. Each compressed SD data is q ₁ ~ Q _Five And
[0031]
On the other hand, the SD image signal supplied from the input terminal 1 is also supplied to the region cutout circuit 4. The area cutout circuit 4 functions to cut out pixels necessary for class classification (motion class) mainly for representing the degree of movement. In this embodiment, for example, the HD pixel y to be created from the supplied SD image signal ₁ ~ Y ₂ 10 SD pixels m present at the position shown in FIG. ₁ ~ M _Five And n ₁ ~ N _Five To extract.
[0032]
The data cut out by the area cutout circuit 4 is supplied to the motion class determination circuit 5. The motion class determination circuit 5 calculates a difference between frames of the supplied SD data, and calculates a motion parameter which is a motion index by performing threshold processing on an average value of the absolute values. Specifically, the motion class determination circuit 5 calculates the average value param of the absolute value of the difference of the supplied SD data by the following equation (3).
[0033]
[Expression 1]

However, in this embodiment, n = 5.
[0034]
The average value param of the absolute value of the difference of the SD data calculated by the above-described method is set to the difference of the SD data by a threshold value set in advance so as to divide the histogram of the absolute value of the SD data difference into n equal parts, for example. The motion class mv-class is calculated using the average value param of the absolute values. For example, here, assuming that four motion classes are provided, if the average value param ≦ 2 of the SD data difference is determined, the motion class mv-class is determined to be 0, and if the average value param ≦ 4, the motion class When mv-class is determined as 1, and the average value param ≦ 8, the motion class mv-class is determined as 2, and when the average value param> 8, the motion class mv-class is determined as 4. The motion class mv-class set in this way is supplied to the class code generation circuit 6.
[0035]
The class code generation circuit 6 performs the following expression (4) based on the pattern compression data (space class) supplied from the ADRC circuit 3 and the motion class mv-class supplied from the motion class determination circuit 5. Thus, the class to which the block belongs is detected, and the class code class indicating the class is supplied to the tap degeneration ROM 7 and the ROM table 8. The class code class indicates a read address from the tap degeneration ROM 7 and the ROM table 8.
[0036]
[Expression 2]

In this embodiment, n is 5 and p is 2.
[0037]
As described above, in the conventional classification image information conversion device, the pixel data x supplied from the region extraction circuit 9 is used. ₁ ~ X _n To the predetermined coefficient data w from the ROM table 8 using the class code class determined by the class code generation circuit 6 as a read address. ₁ ~ W _n Is converted by the estimation arithmetic circuit 11 by the above equation (1) to convert the SD image data into HD image data. Here, if the value of n is increased with emphasis on conversion performance, both the ROM table 8 and the estimation arithmetic circuit 11 become large, and when high-performance conversion is to be realized with small-scale hardware. Was a major obstacle.
[0038]
By the way, when n is increased in Equation (1), that is, in a general word, when a large tap is used, an actual example of coefficient data takes the following values, for example. .
[0039]
-0.0484, -0.0748, +0.1297, +0.0532, -0.0810, +0.1875, -0.3679, +1.5571, +0.2390, -0.0400, +0.0125,- 0.0076, -0.3310, -0.1554, +0.0344, -0.2683, +0.0384, +0.2333, -0.0576, -0.0084
[0040]
Looking at these values, it can be seen that there are many coefficient data that are small in absolute value and have similar values. Therefore, in the present invention, as will be described later, tap degeneration is performed so that coefficient data having similar absolute values are integrated and SD pixel data corresponding to original coefficient data included in the integrated coefficient data is integrated. Made. The integrated pixel data obtained by this tap degeneration is used in the estimation calculation. Further, the following estimation calculation is performed using the integrated coefficient data obtained by performing learning using the integrated pixel data.
[0041]
y = wn ₁ X (x ₁ + X ₇ -X ₁₁ ) + Wn ₂ × (−x ₂ + X _{twenty three} ) + Wn _Three X (x _Four -X ₈ ) + ... + wn _nn X (x _Three -X ₁₈ (5)
Here, nn is a natural number smaller than n, and wn is integration coefficient data.
[0042]
A method for generating the integration coefficient data will be described later. As described above, by using the integration coefficient data, the number of taps can be significantly reduced with almost no performance degradation, and high-performance and small-scale hardware can be realized.
[0043]
The tap degeneration ROM 7 to which the output signal of the class code generation circuit 6 is supplied is stored in the integrated pixel data ((x ₁ + X ₇ -X ₁₁ ) Etc.) is stored as additional code data. Specifically, the original pixel data is converted into which integration coefficient data (wn in equation (5)). ₁ Etc.) and the plus / minus sign at that time are stored as additional code data. The additional code data is set for each class. From the tap degeneration ROM 7, additional code data for generating integrated pixel data of the class is read from the address indicated by the class code class, and this additional code data is supplied to the tap degeneration circuit 10.
[0044]
On the other hand, the input SD data is also supplied to the area cutout circuit 9. The area cutout circuit 9 is located at a position as shown in FIG. ₁ ~ X _{twenty five} Cut out. The output signal of the area cutout circuit 9 is supplied to the tap degeneration circuit 10. The tap degeneration circuit 10 converts the supplied 25 SD data into, for example, 8 integrated pixel data according to the additional code data supplied from the tap degeneration ROM 7 according to the method / purpose described above.
[0045]
Another ROM table 8 to which the output signal of the class code generation circuit 6 is supplied is stored in the integrated coefficient data (wn in equation (5)). ₁ Etc.) are stored. This is to calculate the HD data corresponding to the integrated pixel data by using a linear estimation equation by learning the relationship between the pattern of the integrated pixel data and the HD data in the same manner as the ROM table of the conventional classification image information conversion apparatus. Integration coefficient data is stored for each class. This is information for converting SD data (integrated pixel data) into HD data conforming to a so-called high-definition standard, which is image information having a resolution higher than that of the image information by a linear estimation formula. In this embodiment, the integration coefficient data is prepared independently in mode 1 and mode 2. A method for creating the integrated coefficient data stored in the ROM table 8 will be described later. From the ROM table 8, from the address indicated by the class code class, wn which is the integrated coefficient data of the class. _i (Class) is read. This integrated coefficient data is supplied to the estimation arithmetic circuit 11.
[0046]
The estimation calculation circuit 11 calculates HD data corresponding to the input SD data based on the eight integrated pixel data supplied from the tap degeneration circuit 10 and the integration coefficient data supplied from the ROM data table 8. .
[0047]
Xn integrated pixel data ₁ ~ Xn ₈ , Integration coefficient data wn ₁ ~ Wn ₈ Thus, specifically, the estimation calculation circuit 11 is the integrated pixel data xn supplied from the tap degeneration circuit 10. ₁ ~ Xn ₈ And wn which is the integrated coefficient data supplied from the ROM table 8 ₁ ~ Wn ₈ By using the coefficient for block 1 for mode 1 and using the coefficient for block 2 for mode 2, the calculation shown in equation (6) is performed, so that the HD corresponding to the input SD data is obtained. Data hd ′ is calculated. The created HD data hd ′ is output from the output terminal 12. The HD data output via the output terminal 12 is supplied to, for example, an HD television receiver or an HD video tape recorder device.
[0048]
hd '= wn ₁ xn ₁ + Wn ₂ xn ₂ + ... + wn ₈ xn ₈ (6)
[0049]
In the method of the present invention, coefficient data having similar values in absolute value are integrated, SD pixel data is integrated and treated as integrated pixel data, and integrated coefficient data is obtained by learning using the integrated pixel data. Thus, the size of the coefficient data stored in the ROM table and the size of the estimation arithmetic circuit can be made very compact. On the other hand, it is necessary to newly have a tap degeneration ROM and a tap degeneration circuit. Generally, the increase is sufficiently smaller than the decrease of the coefficient data and the estimation arithmetic circuit.
[0050]
Next, a method for learning the additional code data stored in the tap degeneration ROM 7 and the integration coefficient data stored in the ROM table 8 will be described with reference to FIGS. 7, 8, and 9. Incidentally, in the range described in FIG. 7, there is no difference from the conventional method, and the portions described in FIGS. 8 and 9 are unique to the present invention.
[0051]
As shown in FIG. 7, in order to obtain coefficient data by learning, first, an SD image having a 1/4 pixel number of an HD image corresponding to an already known HD image is formed. First, HD data is supplied via the input terminal 21. The vertical pixels of the supplied HD data are thinned by the vertical thinning filter 22 so that the vertical frequency in the field is halved, and further, the horizontal thinning filter 23 converts the horizontal pixels of the HD data into the horizontal direction. Thinned out.
[0052]
Thus, the created SD data is supplied to the area cutout circuits 24, 26 and 29. On the other hand, the HD data supplied to the input terminal 21 is supplied to the normal equation adding circuit 30. The region cutout circuit 24 cuts out necessary pixels from the supplied SD image signal in order to perform space classification. Specifically, the area cutout circuit 24 has the same function as the area cutout circuit 2 described above. The extracted SD data is supplied to the ADRC circuit 25.
[0053]
The ADRC circuit 25 detects a one-dimensional or two-dimensional level distribution pattern of the SD data supplied for each region, and, as described above, all the data or a part of the data in each region. For example, pattern compression data is formed by performing an operation such as compression from 8-bit SD data to 2-bit SD data, and the pattern compression data is supplied to the class code generation circuit 28. The ADRC circuit 25 is the same as the ADRC circuit 3 described above.
[0054]
On the other hand, the SD image signal supplied to the region cutout circuit 26 is subjected to data cutout necessary for motion class classification. Specifically, the area cutout circuit 26 has the same function as the area cutout circuit 4 described above. The SD data cut out by the area cutout circuit 26 is supplied to the motion class determination circuit 27. Specifically, the motion class determination circuit 27 has the same function as the motion class determination circuit 5 described above. The motion class determined by the motion class determination circuit 27 is supplied to the class code generation circuit 28.
[0055]
The class code generation circuit 28 is the same as the class code generation circuit 6 described above, and the pattern compression data (space class) supplied from the ADRC circuit 25 and the motion class mv supplied from the motion class determination circuit 28. By performing the calculation of Expression (4) based on -class, the class to which the block belongs is detected, and a class code indicating the class is output. The class code generation circuit 28 outputs the class code to the normal equation addition circuit 30.
[0056]
On the other hand, SD pixel data used for estimation calculation is cut out from the SD signal supplied to the region cutout circuit 29. Specifically, the region cut-out circuit 29 is the same as the region cut-out circuit 9 described above, and functions to cut out SD pixels necessary for the linear estimation equation according to the motion class mv-class. The output of the area cutout circuit 29 is supplied to the normal equation adding circuit 30. At this time, although not shown, a delay circuit is arranged in front of the region cutout circuit 29, so that timing of data supplied from the region cutout circuit 29 to the normal equation adding circuit 30 is adjusted.
[0057]
Here, in order to explain the normal equation adding circuit 30, learning of a conversion formula from a plurality of SD pixels to HD pixels and signal conversion using the prediction formula will be described. In the following, for the sake of explanation, a case will be described in which the pixels are more generalized and prediction is performed with n pixels. Set the SD pixel level to x ₁ , X ₂ , ..., x _n The re-quantized data resulting from p-bit ADRC is q ₁ , Q ₂ , ..., q _n And At this time, the class code class of this area is defined by equation (4).
[0058]
As described above, each SD pixel level is set to x. ₁ , X ₂ , ..., x _n And when the HD pixel level is y, the coefficient w for each class ₁ , W ₂ ... w _n Set an n-tap linear estimation formula. This is shown in equation (1) above. Before learning, w _i Is an undetermined coefficient.
[0059]
Learning is performed on a plurality of signal data for each class. When the number of data is m, Expression (7) is set according to Expression (1).
[0060]
y _k = W ₁ x _k1 + W ₂ x _k2 + ... + w _n x _kn (7)
(K = 1, 2, ... m)
[0061]
If m> n, w ₁ , W ₂ ... w _n Is not uniquely determined, the element of the error vector e is defined by equation (8), and a coefficient that minimizes equation (9) is obtained. This is a so-called least square method.
[0062]
e _k = Y _k -{W ₁ x _k1 + W ₂ x _k2 + ... + w _n x _kn } (8)
(K = 1, 2, ... m)
[0063]
[Equation 3]

[0064]
Where w in equation (9) _i Obtain the partial differential coefficient by. Each w so that the following equation (10) is zero: _i You can ask for.
[0065]
[Expression 4]

[0066]
Hereinafter, as in the formulas (11) and (12), X _ji Y _i Is defined, Equation (10) can be rewritten as Equation (13) using a matrix.
[0067]
[Equation 5]

[0068]
[Formula 6]

[0069]
[Expression 7]

[0070]
This equation is generally called a normal equation. The normal equation adding circuit 30 is configured such that the class code class supplied from the class code generating circuit 28 and the SD data x supplied from the area extracting circuit 30 ₁ , X ₂ , ..., x _n The normal equation is added using the HD pixel level y corresponding to the SD data supplied from the input terminal 21.
[0071]
After completing the input of all training data, the normal equation adding circuit 30 outputs the normal equation data to the prediction coefficient determining circuit 31. The prediction coefficient determination circuit 31 uses a general matrix solving method such as sweeping out normal equations to _i And calculate the prediction coefficient. The prediction coefficient determination circuit 31 writes the calculated prediction coefficient in the memory 32.
[0072]
As a result of training as described above, the memory 32 stores a prediction coefficient that can be estimated statistically closest to the true value for estimating the target HD data y for each class. However, if the conversion performance is emphasized, the number of taps increases, and the scale of the ROM for storing coefficient data and the estimation arithmetic circuit increases as already described.
[0073]
Therefore, in the image information conversion apparatus according to the present invention, first, additional code data stored in the tap degeneration ROM 7 is generated using the prediction coefficient (coefficient data) in the memory 32 obtained by the above-described method. As described above, the memory 32 stores prediction coefficients for each class, but as described above, there are many similarities in absolute values even when viewed for each class. Coefficient data exists. By performing degeneration on the coefficient data similar in absolute value, integrating the SD pixel data based on the degenerated coefficient data and treating it as integrated pixel data, and learning using the integrated pixel data, Generate fewer integration coefficient data.
[0074]
First, when generating additional code data, for example, coefficient data is w ₁ ~ W ₁₇ And provisional integration coefficient data as wn ₁ ~ Wn ₇ In this case, provisional integration coefficient data that minimizes the sum of absolute differences between the coefficient data and provisional integration coefficient data is employed. From this temporary integration coefficient data and coefficient data, information about which temporary integration coefficient data is multiplied by the SD pixel data corresponding to the coefficient data and additional code data consisting of plus / minus signs of the coefficient data are generated. And stored in the tap degeneration ROM for each class. Hereinafter, an example of generating additional code data stored in the tap degeneration ROM will be described with reference to FIG.
[0075]
The flowchart of FIG. 8 starts from step S1, and in this step S1, the n coefficient data to be supplied are converted into absolute values. In step S2, an average value of n coefficient data subjected to absolute value calculation is calculated. In step S3, the maximum value of the n coefficient data subjected to absolute value calculation is calculated. In step S4, the average value calculated in step S2, the maximum value calculated in step S3, and 0.0 are set as the temporary representative value A.
[0076]
In step S5, it is determined which of the three temporary representative values A the n coefficient data converted into absolute values is closest to, and three groups are generated for each temporary representative value A. And an average value is calculated | required for every produced | generated group. The obtained three average values are set as a new temporary representative value B. At this time, the temporary representative value A of 0.0 is always set to 0.0. In step S6, it is determined whether or not there are nn + 1 provisional representative values B. If it is determined that the number of temporary representative values B is nn + 1, the control proceeds to step S7, and if it is determined that the number of temporary representative values B is not nn + 1, the control proceeds to step S8. .
[0077]
In step S8, it is determined which of the n coefficient data converted into absolute values is closest to the temporary representative value B set in step S5, and a group is generated for each temporary representative value B. The At this time, the maximum error with respect to each coefficient data included in each group and the provisional representative value B of the group is calculated for each group. The value of the provisional representative value B of the group with the largest maximum error calculated for each group is divided into two by adding ± 0.0001, and these two are newly re-established as a provisional representative value A. Set. That is, the number of temporary representative values increases by one. In step S7, 0.0 is removed from nn + 1 provisional representative values B, and nn provisional representative values B are determined as final representative values.
[0078]
Hereinafter, the above-described flowchart will be specifically described by actually giving numerical values. Here, as an example, it is assumed that n coefficient data is 17 and the final nn temporary representative values are 7. First, 17 coefficient data and the corresponding numbers are shown below.
[0079]
[0] 0.078885008
[1] -0.014829520
[2] -0.201667992
[3] -0.0062443910
[4] 0.189737246
[5] -0.048776851
[6] 0.121056192
[7] -0.2374494633
[8] 1.291100144
[9] 0.2607707706
[10] -0.063144088
[11] 0.016828740
[12] -0.475499421
[13] 0.0310041170
[14] 0.054794021
[15] -0.026771471
[16] 0.034312069
[0080]
In step S1, the 17 coefficient data are converted into absolute values. In step S2, an average value is calculated from the converted coefficient data. The average value is 0.185454569. Further, in step S3, the maximum value is calculated from the coefficient data converted into absolute values. The maximum value is 1.2911001. In step S4, 0.0 is set as a temporary representative value A in addition to the average value and the maximum value. Hereinafter, for ease of explanation, numerals are assigned to the temporary representative values A and B. The three temporary representative values A1 are shown below.
(Temporary representative value A1): 0.0, 0.1854545, 1.2911001
[0081]
In step S5, the difference between the coefficient data converted into the absolute value and the provisional representative value A1 is obtained, and grouping is performed on the nearest provisional representative value. Further, an average value is calculated for each group, and a temporary representative value B1 is set. The three temporary representative values B1 are shown below.
(Temporary representative value B1): 0.0, 0.2476958, 1.2911001
[0082]
In step S6, it is determined whether or not there are nn + 1 provisional representative values B. Here, since the number of temporary representative values B1 is not eight, the control shifts from step S6 to step S8. In step S8, the difference between the coefficient data converted into the absolute value and the temporary representative value B1 is obtained, and the nearest temporary representative value is grouped. Further, ± 0.0001 is added to the tentative representative value B1 in which the error between the absolute value coefficient data in the group and the tentative representative value B1 is the largest. In this example, 0.0 is a provisional representative value including the largest error, so ± 0.0001 is added to 0.0. In addition to these, a temporary representative value A2 is set. A temporary representative value A2 composed of four is shown below.
(Temporary representative value A2): -0.0001000, 0.0001000, 0.2476958, 1.2911001
[0083]
In step S5, processing similar to that described above is performed, and a temporary representative value B2 is set. A temporary representative value B2 consisting of four is shown below.
(Temporary representative value B2): 0.0, 0.0451408, 0.273237, 1.2911001
[0084]
Control is transferred to step S8 via step S6, and in step S8, the same processing as described above is performed, and a temporary representative value A3 is set. The five temporary representative values A3 are shown below.
(Temporary representative value A3): 0.0, 0.0451408, 0.2729237, 0.2731237, 1.2911001
[0085]
In step S5, processing similar to that described above is performed, and a temporary representative value B3 is set. The five temporary representative values B3 are shown below.
(Temporary representative value B3): 0.0, 0.0573309, 0.2224048, 0.4754994, 1.2911001
[0086]
Control is transferred to step S8 via step S6. In step S8, the same processing as described above is performed, and a temporary representative value A4 is set. Six temporary representative values A4 are shown below.
(Temporary representative value A4): 0.0, 0.0572309, 0.0574309, 0.2224048, 0.4754994, 1.2911001
[0087]
In step S5, the same processing as described above is performed, and a temporary representative value B4 is set. Six temporary representative values B4 are shown below.
(Temporary representative value B4): 0.0, 0.0422193, 0.08776851, 0.2224048, 0.4754994, 1.2911001
[0088]
Control is transferred to step S8 via step S6, and in step S8, processing similar to that described above is performed, and a temporary representative value A5 is set. A temporary representative value A5 consisting of seven is shown below.
(Temporary representative value A5): 0.0, 0.0422193, 0.08776851, 0.2223048, 0.2225048, 0.4754994, 1.2911001
[0089]
In step S5, the same processing as described above is performed, and a temporary representative value B5 is set. A temporary representative value B5 consisting of seven is shown below.
(Temporary representative value B5): 0.0, 0.0431226, 0.0999556, 0.1957085, 0.2491012, 0.4754994, 1.2911001
[0090]
Control is transferred to step S8 via step S6, and in step S8, the same processing as described above is performed to set a temporary representative value A6. The temporary representative value A6 consisting of 8 is shown below.
(Temporary representative value A6): 0.0, 0.0430226, 0.0432226, 0.0999556, 0.1957085, 0.2491012, 0.4754994, 1.2911001
[0091]
In step S5, processing similar to that described above is performed, and a temporary representative value B6 is set. Eight temporary representative values B6 are shown below.
(Temporary representative value B6): 0.0, 0.0306769, 0.0555683, 0.0999556, 0.1957085, 0.2491012, 0.4754994, 1.2911001
[0092]
In step S6, since it is determined whether or not there are eight provisional representative values B6, the control moves to step S7. The following are the eight representative representative values B6 and the numbers of the 17 coefficient data included in the group.
[0093]
"0" 1.291001 ... [8]
"1" 0.4754994 ... [12]
"2" 0.2491012 ... [7] [9]
"3" 0.1957085 ... [2] [4]
"4" 0.0999556 ... [0] [6]
"5" 0.0555683 ... [5] [10] [14]
"6" 0.0306769 ... [11] [13] [15] [16]
"7" 0.0000000 ... [1] [3]
[0094]
In step S7, 0.0 is removed from the temporary representative value B6, and the final representative value is determined.
[0095]
Thus, it is determined in which group of the seven temporary representative values B6 (temporary integrated coefficient data) the 17 coefficient data are included. Since the coefficient data included in the group can be grouped together, the SD pixel data corresponding to the coefficient data can also be grouped, and integrated pixel data can be created. Additional code data including information on which group is included, in other words, which temporary representative value B is multiplied, and the plus / minus sign of the coefficient data is generated.
[0096]
The tap degeneration ROM in which the additional code data is stored corresponds to the tap degeneration ROM 7 already described in FIG. 1 and the tap degeneration ROM 49 in FIG.
[0097]
Now, the data stored in the memory 32 created as described above is coefficient data, not integrated coefficient data. The provisional integration coefficient data finally obtained by the flowchart of FIG. 8 can be used as the integration coefficient data, but here, a process for generating more optimal integration coefficient data is entered.
[0098]
As shown in FIG. 9, first, HD data is supplied via the input terminal 41. The pixels in the vertical direction of the supplied HD data are thinned out by the vertical thinning filter 42 so that the vertical frequency in the field is halved, and further, the pixels in the horizontal direction of the HD data by the horizontal thinning filter 43. Is thinned out. The vertical thinning filter 42, the vertical thinning filter 22, and the horizontal thinning filter 4 3 Is the same as the horizontal thinning filter 23.
[0099]
The SD pixel data created in this way is supplied to the area cutout circuits 44, 46 and 50. Since most of the circuits in FIG. 9 function exactly the same as the corresponding parts in FIG. 8, the description thereof is omitted.
[0100]
The class code generation circuit 48 outputs the class code class to the tap degeneration ROM 49 and the normal equation addition circuit 52. The tap degeneration ROM 49 is exactly the same as the tap degeneration ROM 7, and is created according to FIG. Additional code data is read from the tap degeneration ROM 49 in accordance with the supplied class code class. The additional code data includes information for integrating the SD pixel data and a plus / minus sign as described above, and is supplied from the tap degeneration ROM 49 to the tap degeneration circuit 51.
[0101]
On the other hand, SD pixel data used for estimation calculation is cut out from the SD signal supplied to the region cutout circuit 50. Specifically, the region cut-out circuit 50 is the same as the region cut-out circuit 9 described above, and functions to cut out SD pixel data necessary for the linear estimation equation according to the motion class mv-class. The output of the area cutout circuit 50 is supplied to the tap degeneration circuit 51.
[0102]
In the tap degeneration circuit 51, the SD pixel data cut out according to the supplied additional code data is integrated into the integrated pixel data. Specifically, the integrated pixel data is generated by adding a code to the SD pixel data that can be collected as described above and adding the codes. The generated integrated pixel data is supplied to the normal equation adding circuit 52.
[0103]
Since the functions of the normal equation addition circuit 52, the prediction coefficient determination circuit 53, and the memory 54 are exactly the same as those of the normal equation addition circuit 30, the prediction coefficient determination circuit 31, and the memory 32 that have already been described in detail, description thereof is omitted.
[0104]
As a result of the training as described above, the memory 54 stores prediction coefficients (integrated coefficient data) that can be estimated statistically closest to the true value for estimating the attention HD data y for each class. The With the above processing, learning of the integration coefficient data for creating HD data from the SD pixel data is completed by the linear estimation formula. This memory 54 is the ROM table 8 used in FIG.
[0105]
FIG. 10 shows a configuration in an existing case where tap degeneration around the estimation arithmetic circuit 11 in the above-described embodiment is not applied. For example, SD data is supplied as a multiplicand from the multiplicand register 61 to the product-sum unit 64. An address based on the SD data is supplied from the address control circuit 62 to the multiplier memory 63. In the multiplier memory 63, for example, coefficient data is read in response to the supplied address, and the coefficient data is supplied to the product-sum unit 64. The product-sum unit 64 performs a product-sum operation as shown in the above-described equation (1), and the operation result is output from the output terminal 65.
[0106]
Next, another example of a specific configuration including tap degeneration in the above-described embodiment is shown in FIG. Each block shown in FIG. 11 corresponds to the block shown in FIG. 1 as shown below. The address control circuit 72 corresponds to the class code generation circuit 6, the control memory 73 corresponds to the tap degeneration ROM 7, the tap degeneration operation circuit 74 corresponds to the tap degeneration circuit 10, and the multiplier memory 75 corresponds to the ROM table 8. The accumulator 76 corresponds to the estimation arithmetic circuit 11.
[0107]
For example, SD data is supplied from the multiplicand register 71 to the tap degeneration arithmetic circuit 74 as a multiplicand. An address is supplied from the address control circuit 72 to the control memory 73 and the multiplier memory 75 based on the SD data. In the control memory 73, data stored in response to the supplied address is supplied to the tap degeneration arithmetic circuit 74.
[0108]
The tap degeneration operation circuit 74 is controlled by this data. In the tap reduction operation circuit 74, the supplied SD data is reduced from, for example, 25 SD data to 9 SD data, and supplied to the product-sum unit 76. In the multiplier memory 75, the coefficient data selected by the address from the address control circuit 72 is supplied to the product-sum multiplier 76. The product-sum unit 76 performs a product-sum operation as shown in the above-described equation (1), and the operation result is output from the output terminal 77.
[0109]
Here, a specific circuit diagram used in the tap degeneration arithmetic circuit 74 is shown in FIG. N pieces of SD data D supplied from the multiplicand register 71 to the tap degeneration arithmetic circuit 74 _i (1 ≦ i ≦ N) is the input terminal 81 ₁ ~ 81 _N Through the register 82 ₁ ~ 82 _N Supplied to. N pieces of SD data D _i Register 82 ₁ ~ 82 _N And K sets of selectors 83 are output. ₁ ~ 83 _K (K <N). Selector 83 ₁ ~ 83 _K In the SD data D according to the result optimized beforehand _i Is selected. For example, as shown in FIG. ₁ ~ 83 _K Then, one of the four input paths is selected. Selected SD data D _i Is a through / 2 complement circuit 84. ₁ ~ 84 _K Supplied to.
[0110]
Through / 2's complement circuit 84 ₁ ~ 84 _K In the SD data D according to the supplied control signal _i Is passed through without processing, or is converted to two's complement. Conversion to 2's complement is based on SD data D _i Is a process of inverting 1/0 of the bit and adding `1 'to the LSB. At this time, if it is not necessary to select whether or not to convert to 2's complement, the selector 83 ₁ ~ 83 _K Output from register 85 ₁ ~ 85 _K It may be directly connected to. Through / 2's complement circuit 84 ₁ ~ 84 _K Output of register 85 ₁ ~ 85 _K To be supplied to the arithmetic unit.
[0111]
Register 85 ₁ Data S from ₁ Is output from the output terminal 89 via an arithmetic unit including registers 86, 87 and 88. ₁ Is output as This arithmetic unit is composed of a register for adjusting the timing, and the supplied data S ₁ Is output without any processing. Register 85 ₂ And 85 _Three Data S from ₂ And S _Three Are added in the adder 90. The addition result is output from the output terminal 94 via the registers 91, 92 and 93 as the degenerate data R. ₂ Is output as In this calculation unit, two data S ₂ And S _Three Is added.
[0112]
In the adder 95, the two data S are added and supplied to the adder 99 via the register 96. In the adder 97, one or two pieces of data S are added and supplied to the adder 99 via the register 98. In the adder 99, the two already added data are added, and the addition result is output from the output terminal 102 via the registers 100 and 101 as the degenerate data R. _Three Is output as In this arithmetic unit, three or four data S are added.
[0113]
In the adder 103, the two data S are added and supplied to the adder 107 via the register 104. In the adder 105, the two data S are added and supplied to the adder 107 via the register 106. The adder 107 adds the two already added data, and the addition result is supplied to the adder 115 via the register 108.
[0114]
In the adder 109, one or two pieces of data S are added and supplied to the adder 113 via the register 110. In the adder 111, one or two pieces of data S are added and supplied to the adder 113 via the register 112. In this adder 111, there is a case where no data is supplied and no addition result is output. In the adder 113, the two already added data are added, and the addition result is supplied to the adder 115 via the register 114.
[0115]
In the adder 115, the two data supplied from the registers 108 and 114 are added, and the addition result is sent from the output terminal 117 via the register 116 as degenerate data R. _M Is output as In this calculation unit, 5 or more and 8 or less data S are added.
[0116]
Thus, data D ₁ ~ D _N Is selector 83 ₁ ~ 83 _K Selected by the data S ₁ ~ S _K Are supplied to an adder (arithmetic unit) having several types of inputs. There are K inputs to the calculation unit, and the connection between the selector and the calculation unit is connected as a result of optimizing which tap is connected and how many addition calculations are performed. Finally, the degenerate data R that is almost equivalent to an N-tap filter ₁ ~ R _M Can be obtained. However, the relationship of the number of taps is M <K <N.
[0117]
FIGS. 13 and 14 are configuration examples of the product-sum multiplier 76 including a multiplier. Here, the case of 4 taps is taken as an example. Broadly speaking, as shown in FIG. 13, the product-sum operation is performed in the pipeline by sequentially supplying the multiplicand, and the case where the multiplicand is supplied simultaneously and the addition is performed in parallel as shown in FIG. Broadly divided. The present invention has the configuration shown in FIG.
[0118]
First, the product-sum operation circuit of FIG. 13 will be described. The multiplicand (pixel data) supplied from the input terminal 121 is supplied to the multiplier 125 via the register 122. ₁ ~ 125 _Four Supplied to. Input terminal 123 ₁ ~ 123 _Four The multipliers (coefficients) supplied from the ₁ ~ 124 _Four Through multiplier 125 ₁ ~ 125 _Four Supplied to. Multiplier 125 ₁ ~ 125 _Four Then, multiplication of the multiplicand and the multiplier is executed, and the multiplication result is stored in the register 126. ₁ ~ 126 _Four Supplied to. Register 126 ₁ Data from the register 127 ₁ Via adder 128 ₁ Supplied to. Adder 128 ₁ Then, register 127 ₁ Data from register 126 ₂ The data after one sampling from are added.
[0119]
Adder 128 ₁ The added output from is the register 127 ₂ Via adder 128 ₂ Supplied to. Adder 128 ₂ Then, register 127 ₂ Data from register 126 _Three The data after one sampling from are added. Adder 128 ₂ The added output from is the register 127 _Three Via adder 128 _Three Supplied to. Adder 128 _Three Then, register 127 _Three Data from register 126 _Four The data after one sampling from are added. Adder 128 _Three The added output from is the register 127 _Four From the output terminal 129.
[0120]
Next, FIG. 14 shows a configuration example applicable to the sum of products 76 in this embodiment. Input terminal 131 ₁ ~ 131 _Four The multiplicand (pixel data) is supplied from the register 132, and the multiplicand is stored in the register 132. ₁ ~ 132 _Four Through the multiplier 135 ₁ ~ 135 _Four Supplied to. Input terminal 133 ₁ ~ 133 _Four Is supplied with a multiplier (coefficient), and its multiplicand is stored in the register 134. ₁ ~ 134 _Four Through the multiplier 135 ₁ ~ 135 _Four Supplied to. Multiplier 135 ₁ ~ 135 _Four , Multiplication of the multiplicand and multiplier is performed, and the multiplication results are respectively stored in the registers 136. ₁ ~ 136 _Four Adder 137 via ₁ And 137 ₂ Supplied to.
[0121]
Adder 137 ₁ Then, register 136 ₁ And 136 ₂ Are added to each other, and the addition result is stored in the register 138. ₁ Is supplied to the adder 139. Adder 137 ₂ Then, register 136 _Three And 136 _Four Are added to each other, and the addition result is stored in the register 138. ₂ Is supplied to the adder 139. In the adder 139, the register 138 ₁ And 138 ₂ Are added, and the addition result is output from the output terminal 141 via the register 140.
[0122]
In the description of this embodiment, ADRC is provided as an information compression means for patterning a spatial waveform with a small number of bits. However, this is only an example, and it can be expressed by a class having a small pattern of signal waveforms. Any information compression means may be provided, and for example, a compression means such as DPCM (Differential Pulse Code Modulation) or VQ (Vector Quantization) may be used.
[0123]
【The invention's effect】
According to the present invention, by integrating SD image data having original similar coefficient data in advance, the apparent number of pixels is reduced, so that a compact estimation operation circuit and coefficient ROM can be maintained while maintaining conversion performance. Can be realized.
[0124]
Furthermore, according to the present invention, the hardware scale of the multiplier memory and the multiplier / summer can be considerably reduced, so that the hardware scale can be greatly reduced. Also, tap degeneration is essentially equivalent to replacing the N-tap filter operation with an M-tap (M <N) filter operation, and the input is image data, so the multiplier is a numerical value reflecting the characteristics of the image. In addition, since the tap degeneration circuit can be configured so that an equivalent operation can be performed even if tap degeneration is performed, data substantially equivalent to the original performance can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram of an embodiment of an image information conversion apparatus according to the present invention.
FIG. 2 is a schematic diagram for explaining the positional relationship between SD data and HD data.
FIG. 3 is a schematic diagram for explaining the positional relationship between SD data and HD data;
FIG. 4 is a schematic diagram for explaining data used for space class classification.
FIG. 5 is a schematic diagram for explaining data used for motion class classification;
FIG. 6 is a schematic diagram for explaining pixels used for estimation calculation;
FIG. 7 is a schematic diagram for explanation when a correction data table is created.
FIG. 8 is a flowchart of an example of tap degeneration according to the present invention.
FIG. 9 is a schematic diagram for explanation when a correction data table is created.
FIG. 10 is an example of a product-sum operation circuit.
FIG. 11 shows an embodiment of a product-sum operation circuit according to the present invention.
FIG. 12 is a circuit diagram of an example of a tap degeneration arithmetic circuit according to the present invention.
FIG. 13 is a circuit diagram of an example of a product-sum operation circuit according to the present invention.
FIG. 14 is a circuit diagram of an example of a product-sum operation circuit according to the present invention.
FIG. 15 is a circuit diagram of a conventional image information conversion apparatus.
FIG. 16 is a circuit diagram of a main part of a conventional image information conversion apparatus.
FIG. 17 is a block diagram of an example of an image information conversion apparatus in a conventional image conversion apparatus.
[Explanation of symbols]
2, 4, 9... Area extraction circuit, 3... ADRC circuit, 5... Motion class determination circuit, 6... Class code generation circuit, 7. Table, 10 ... tap degeneration circuit, 11 ... estimation operation circuit

Claims (7)

In an image information conversion apparatus configured to convert a first digital image signal into a second digital image signal having a larger number of pixels,
Pixel cutout means for cutting out a plurality of pixels around the pixel to be estimated included in the second digital image signal from the first digital image signal;
Class determining means for determining a class to which the second digital image signal to be estimated belongs based on a level distribution pattern of the plurality of pixels cut out by the pixel cutting out means and outputting class information;
With respect to a plurality of coefficient data for estimating pixels included in the second digital image signal from a plurality of pixels cut out from the first digital image signal obtained in advance for each class information by learning, the coefficient Degeneration coefficient data storage means for storing degeneration coefficient data obtained by degenerating data for each class information;
For each of the class information integration, by adding the data of a plurality of pixels of the first digital image signal corresponding to the coefficient data similar, the first digital image signal to a lesser plurality of pixel data Means for reducing the number of pixels,
Estimating means for estimating a pixel included in the second digital image signal by using an estimation formula based on the integrated first digital image signal and the degeneration coefficient data corresponding to the class information;
An image information conversion apparatus comprising: The image information conversion device according to claim 1,
And N pixel registers for outputting N pixel data from the first digital image signal,
In the pixel number reduction means controlled by the class determination means, the N pixels are integrated into L pixels shorter than the N pixels,
An image information conversion apparatus according to claim 1, wherein the estimation means performs a product-sum operation using the degeneration coefficient data and the data of the L pixels. In an image information conversion method for converting a first digital image signal into a second digital image signal having a larger number of pixels,
Cutting out a plurality of pixels around the pixel to be estimated included in the second digital image signal from the first digital image signal;
Determining a class to which the second digital image signal to be estimated belongs based on a level distribution pattern of the plurality of extracted pixels, and outputting class information;
Similar to a plurality of coefficient data for estimating pixels included in the second digital image signal from a plurality of pixels cut out from the first digital image signal obtained in advance for each class information by learning. An integration step of integrating the first digital image signal into data of a plurality of pixels by calculating data of a plurality of pixels of the first digital image signal corresponding to coefficient data;
Reading the degenerate coefficient data corresponding to the class information from coefficient storage means in which degenerate coefficient data obtained by degenerating the coefficient data is stored for each class information;
Estimating a pixel included in the second digital image signal using the estimation equation according to the first digital image signal and read the degenerate coefficient data above integration,
An image information conversion method comprising: The image information conversion method according to claim 3,
The integration step is configured to add data of a plurality of pixels of the first digital image signal in accordance with additional code data composed of plus / minus signs of the coefficient data. Method. The image information conversion method according to claim 4,
The additional code data is
Converting n (n is a natural number) coefficient data corresponding to each of the plurality of pixels into absolute values;
Calculating an average value of the n coefficient data;
Calculating a maximum value of the n coefficient data;
Setting a plurality of values consisting of the average value, the maximum value and the reference value in a first group;
Each of the n coefficient data converted into absolute values is classified into values having a minimum difference value from the plurality of values set in the first group, and the value set in the first group. Calculating an average value of the coefficient data classified for each of a plurality of values, and setting a plurality of values including the calculated average values to a second group;
Determining whether the number of the plurality of values set in the second group is nn + 1 obtained by adding 1 to nn which is a natural number smaller than the n;
When it is determined that the number of the plurality of values set in the second group is not the nn + 1, each of the n coefficient data converted into absolute values is set in the second group. The difference value with the plurality of values is classified into a minimum value, the average value of the coefficient data classified for each of the plurality of values set in the second group is calculated, and the calculated average A constant is added to or subtracted from the average value calculated from the value set in the second group that maximizes the difference value between the value and the value set in the second group from which the average value is calculated, and the addition or subtraction is performed. A plurality of values composed of the average value of the second group excluding the value set in the second group, which is obtained by calculating the average value obtained by adding and subtracting the two values obtained by the above-mentioned constant, and the first group. Step to reset to
When it is determined that the number of the plurality of values set in the second group is the nn + 1, nn that is obtained by removing the reference value from the plurality of values set in the second group A plurality of values is generated based on a process comprising a step of outputting as a plurality of degenerate coefficient data. The image information conversion method according to claim 5,
The reference value is set from the plurality of values set in the first group to the plurality of values set in the second group, and the plurality of values set in the second group. An image information conversion method characterized by not changing even when resetting from a value to the plurality of values set in the first group. The image information conversion method according to claim 5,
The reference value is 0,
The 0 is not changed when the average value is calculated and / or when a constant is added or subtracted.

Images