JP3735876B2

JP3735876B2 - Image coding apparatus and image decoding apparatus

Info

Publication number: JP3735876B2
Application number: JP28798594A
Authority: JP
Inventors: 雅博藤田; ソムサツク・サグアンコツトチヤコーン
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-11-22
Filing date: 1994-11-22
Publication date: 2006-01-18
Anticipated expiration: 2021-01-18
Also published as: JPH08149477A

Description

【０００１】
【産業上の利用分野】
本発明は、たとえば複数の解像度（多重解像度）における画像の輝度信号の特徴抽出処理、符号化処理および復号化処理を行う画像信号処理装置に関する。
【０００２】
【従来の技術】
一般に、多重解像度における画像圧縮において画像の輝度信号を扱う場合、全スケールの異なる解像度スケールを持つ複数のフィルタにより出力された信号の特徴点の位置およびその位置における分析値を用いて、符号化および復号化を行う。
一方、本願出願人は、特願平５−２４５３８７号の出願明細書（以下、文献１という）において、異なる解像度スケールを持つ複数のフィルタで画像を分析合成する符号化処理においては、個々の解像度スケールのフィルタの分析値の相関が大きいことを見出した。そこで、各解像度スケールの相関を積極的に利用して、画像圧縮を効率的に行うために、異なる解像度スケールを持つ複数のフィルタのうちの一つの特徴点の位置を用いて、他のスケールの特徴点の位置の予測を行う装置を提案した。
符号化装置では、全スケールの異なる解像度スケールの特徴点の位置における分析値および上述した複数のフィルタのうちの一つの特徴点の位置を用いて符号化する。復号化装置ではこの逆操作を行う。
【０００３】
【発明が解決しようとする課題】
しかし、特徴点の位置だけの予測は、画像データの圧縮があまり効率的に行えず、さらに、予測誤差により、視覚的に画像の輝度信号の劣化が生じる。
その結果として、従来の異なる解像度スケールを持つ複数のフィルタで画像を分析合成する符号化処理においては、依然として改良すべき点が存在する。また、このようにして符号化した信号を復号する場合も、改良すべき点がある。
【０００４】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、画像データの符号化の精度を向上させることができる画像符号化装置を提供することにある。
また、本発明の他の目的は、画像データの復号化の精度を向上させることができる画像復号化装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像符号化装置は、入力信号を複数の解像度スケールに分離し、１つの解像度スケールの信号から他の解像度スケールの信号の予測をおこなう画像符号化装置において、入力された画像の輝度信号を、それぞれ異なる解像度スケールで規定されたスムーシング関数の１次微分型の複数のフィルタで分析し、複数の分析値を得る分析手段と、前記分析手段における第１のフィルタの分析値について極大値を与える２次元座標の位置を特徴点として検出する特徴点検出手段と、前記特徴点の位置を連結して線情報を生成し、前記分析手段における第１のフィルタで分析された第１の解像度スケールの分析値から、前記特徴点の位置における分析値を抽出し、前記線情報と、前記第１の解像度スケールの特徴点の位置における分析値から前記第１の解像度スケールと相関をもつ前記他の解像度スケールの特徴点の位置における分析値を予測して前記第２のフィルタの予測分析値を求める予測手段と、前記分析手段における前記第２のフィルタの分析値の最大値と、前記予測手段により求められた前記第２のフィルタの予測分析値の最大値との比率を算出し、前記分析手段における第２のフィルタの予測分析値を補正するための補正係数とする補正係数演算手段と、前記特徴点検出手段により検出された特徴点の位置およびその位置における分析値を符号化する特徴点符号化手段と、前記補正係数を符号化する補正係数符号化手段とを有する。
また、本発明の画像復号化装置は、入力された画像の輝度信号がそれぞれ異なる解像度スケールで規定されたスムーシング関数の１次微分型の複数のフィルタで分析され、第１のフィルタの分析値について極大値を与える２次元座標の位置が特徴点として検出され、前記特徴点の位置を連結して線情報を生成し、前記第１のフィルタで分析された第１の解像度スケールの分析値から、前記特徴点の位置における分析値を抽出し、前記線情報と、前記第１の解像度スケールの特徴点の位置における分析値から前記第１の解像度スケールと相関をもつ前記他の解像度スケールの特徴点の位置における分析値が予測されて前記第２のフィルタの予測分析値が求められ、前記分析手段における前記第２のフィルタの分析値の最大値と、前記予測手段により求められた前記第２のフィルタの予測分析値の最大値との比率が算出されて、前記分析手段における第２のフィルタの予測分析値を補正するための補正係数が求められ、符号化された前記特徴点の位置およびその位置における分析値と、符号化された前記補正係数を含む信号を入力して、分析元の信号を復号する画像復号化装置であって、符号化された前記第１のフィルタから得られる特徴点の位置およびその位置における分析値と、符号化された前記補正係数を復号する復号手段と、前記特徴点の位置を連結して線情報を生成し、前記分析手段における第１のフィルタで分析された第１の解像度スケールの分析値から、前記特徴点の位置における分析値を抽出し、前記線情報と、前記第１の解像度スケールの特徴点の位置における分析値から前記第１の解像度スケールと相関をもつ前記他の解像度スケールの特徴点の位置における分析値を予測して前記第２のフィルタの予測分析値を求める予測手段と、前記復号手段により復号された前記補正係数で前記第２のフィルタの予測分析値の補正を行う補正手段と、補正を行った後の各解像度スケールの情報に基づいて、再合成フィルタにより画像の輝度信号を復元する復元手段とを有する。
【０００６】
【作用】
本発明の画像符号化装置においては、入力された画像の輝度信号を、異なる解像度スケールを持つ複数のフィルタで分析し、異なる解像度スケールを持つ複数のフィルタのうち１つのスケールの分析値について特徴点を検出し、特徴点の位置、その位置における分析値および他の解像度スケールの分析値を用いて予測された他の解像度スケールの分析値の補正を行うための補正係数を計算する。そして、１つのフィルタの特徴点の位置、１つのフィルタの特徴点の位置における分析値および補正係数を符号化する。
その結果、画像信号を効率よく符号化できる。
好適には、入力輝度信号の低周波成分を検出し、検出された低周波成分を入力された画像の輝度信号から減じた低周波成分除去輝度信号について上記分析を行う。
【０００７】
また、本発明の画像復号化装置においては、符号化された入力画像の輝度信号を用いて、複数のフィルタのうちの１つの解像度スケールのフィルタの分析値の特徴点およびその位置における分析値も求め、凸射影法でもとの輝度信号に対応する２次元信号を復元する。この２次元信号を用いて、他の解像度スケールの特徴点の位置およびその位置における分析値を同時に予測し、送られてきた補正係数で特徴点の位置における分析値の補正を行う。補正を行なった後の各解像度スケールの情報に基づいて、再合成フィルタにより、画像の輝度信号を復元する。その結果、効率的に画像信号を復号できる。
好適には、この画像復号化装置は、上記画像符号化装置と協働する。
【０００８】
【実施例】
本発明の多重解像度を用いた画像信号分析合成装置としての画像符号化装置および画像復号化装置の実施例を図面を参照して述べる。
図１は本発明の多重解像度を用いた画像信号分析合成装置、換言すれば、画像符号化装置の全体構成図である。
この符号化装置は、本実施例においては、輝度信号Ｙを入力して、多重解像度を用いた画像信号分析処理をする。さらに、復号化するのに他の必要な解像度スケールの情報を予測するための補正係数を求め、これらのデータを変調データCData として記録媒体、伝送媒体などに送出する。
なお、好適には、図７を参照して後述するように、この画像符号化装置と協働する画像復号化装置が設けられて、画像処理系を構成する。
【０００９】
図１に示した符号化装置は、符号化部１０１、局所復号化部１０２および圧縮変調部１０３を有し、これらが、図示の如く接続されて構成されている。
この符号化装置（多重解像度を用いた画像信号分析合成装置）への入力信号は画像の輝度信号Ｙである。
輝度信号Ｙを２次元の座標位置(x,y) に対する輝度レベルを与える関数として、輝度信号Ｙ(x,y) と表す。
【００１０】
以下、図１に示した符号化装置の各部分の詳細について述べる。
図２は、図１に示した符号化装置の符号化部１０１の回路構成図である。
図２に示すように、符号化部１０１は、第１の輝度信号分析部２０１、第２の輝度信号分析部２０２、第３の輝度信号分析部２０３、低周波成分検出部２０４、線情報圧縮部２０５、圧縮処理部２０６、および低周波成分圧縮部２０７を有し、これらが、図示のごとく接続されて構成されている。
【００１１】
先ず、輝度信号Ｙ(x,y) は、図１の符号部１０１に印加される。つまり、図２の低周波成分検出部２０４に印加される。
低周波成分検出部２０４は、入力された輝度信号Ｙ(x,y) の低周波成分を検出して、低周波輝度信号ＹL(x,y)を低周波成分圧縮部２０７に印加する。
元の入力輝度信号Ｙ(x,y) から、低周波成分検出部２０４で検出した低周波輝度信号ＹL(x,y)を引いた輝度信号を、低周波成分除去輝度信号Ｙ0(x,y)と表す。この輝度信号Ｙ0(x,y)については、式７を用いて後述する。
低周波成分圧縮部２０７は、印加された低周波輝度信号ＹL(x,y)について間引きなどを行い、さらにＤＣＴ(Discrete Cosine Transformation:離散コサイン変換) やウェーブレット変換などの変換符号化処理を行って、低周波輝度信号ＹL(x,y)を圧縮した低周波成分圧縮信号CLOWを生成し、この低周波成分圧縮信号CLOWを変調部１０３に印加する。
【００１２】
低周波成分検出部２０４からの低周波成分除去輝度信号Ｙ0(x,y)が、第１の輝度信号分析部２０１、第２の輝度信号分析部２０２、第３の輝度信号分析部２０３に印加される。
第１の輝度信号分析部２０１は、輝度信号Ｙ0(x,y)を第１の解像度スケールs0を持つフィルタで分析し、分析結果から特徴点を検出してその位置を連結して線情報LY(k;s0)とする。記号k は線情報につけた番号を示す。また、第１の輝度信号分析部２０１は、その線情報LY(k;s0)が与える位置における第１分析結果としての振幅情報A1Y(x,y;s0) およびA2Y(x,y; s0)を算出する。ここで、簡単のため、振幅情報A1Y(x,y;s0) およびA2Y(x,y;s0) をAmY(k;s0) と呼ぶ。線情報LY(k;s0)が、線情報圧縮部２０５に印加され、振幅情報AmY(k;s0) が圧縮処理部２０６に印加される。
【００１３】
次に、第２の輝度信号分析部２０２は、輝度信号Ｙ0(x,y)を第２の解像度スケールs1を持つフィルタで分析を行う。分析結果はW1Y(x,y;s1) およびW2Y(x,y; s1)とする。簡単のため、分析結果W1Y(x,y;s1) およびW2Y(x,y; s1)をAmY(k;s1) と呼ぶ。
同様に、第３の輝度信号分析部２０３は、輝度信号Ｙ0(x,y)を第３の解像度スケールs2を持つフィルタで分析し、分析結果はW1Y(x,y;s2) およびW2Y(x,y;s2) とする。簡単のため、分析結果W1Y(x,y;s2) およびW2Y(x,y;s2) をAmY(k;s2) と呼ぶ。
【００１４】
線情報圧縮部２０５は、線情報LY(k;s0)を、たとえば、チェイン符号化、ハフマン符号化、ランレングス符号化などの符号化方式で圧縮した圧縮線情報CLY(k;s0) を生成し、この圧縮線情報CLY(k;s0) を変調部１０３に出力すると同時に、局所復号化部１０２にも出力する。
圧縮処理部２０６は、振幅情報AmY(k;s0) を予測符号化、ＤＰＣＭなどを用いて圧縮した振幅圧縮信号CAmY(k; s0) として変調部１０３および局所復号化部１０２に出力する。
第２の輝度信号分析部２０２と第３の輝度信号分析部２０３の分析結果AmY(k;s1) およびAmY(k; s2)は局所復号化部１０２だけに出力する。
【００１５】
図３は、図１に示した符号化装置の局所復号化部１０２の回路構成図である。図３に示すように、局所復号化部１０２は、線情報伸長部３０１、分析結果伸長部３０２、信号成分算出部３０３、第１の補間部３０４、第２の補間部３０５、解像度スケールs0の情報（特徴点の位置および特徴点の位置における分析値）から解像度スケールs1の情報を予測するための第１の予測フィルタ３０６、第２の予測フィルタ３０７、解像度スケールs0の情報から解像度スケールs2の情報を予測するための第３の予測フィルタ３０８、第４の予測フィルタ３０９、第１の補正係数演算部３１０、および、第２の補正係数演算部３１１を有し、これらが、図示のごとく接続されて構成されている。
【００１６】
局所復号化部１０２の働きに関する詳細は後述する。ここでは概念的な部分だけを紹介する。
局所復号化部１０２の線情報伸長部３０１は、図２の線情報圧縮部２０５から出力されたCLY(k;s0) を用いて線情報 LY(k;s0) を求める。分析結果伸長部３０２は、図２の圧縮処理部２０６から出力された振幅情報 CAmY(k;s0) を用いて輝度信号 AmY(x,y; s0) を求める。次に、信号成分算出部３０３は、線情報 LY(k;s0) 内の連結した点の座標系列(x,y) からx 方向とy 方向の接線方向を独立に求め、輝度信号 AmY(k;s0)とを用いて、信号 W1YP(x,y;s0) および W2YP(x,y;s0) を求める。
信号 W1YP(x,y;s0),W2YP(x,y;s0)は特徴点のみで値を持ち、その他の場所では０である信号であるので、第１の補間部３０４および第２の補間部３０５において凸射影法を用いて分結結果W1Y'(x,y;s0)およびW2Y'(x,y;s0)を出力する。
【００１７】
このとき、分析結果W1Y'(x,y;s0)およびW2Y'(x,y;s0)を用いて、第１の予測フィルタ３０６および第２の予測フィルタ３０７において解像度スケールs1の分析結果W1Y"(x,y;s1)およびW2Y"(x,y;s1)を求め、第１の補正係数演算部３１０に出力する。同時に図２の第２の輝度信号分析部２０２から出力された分析結果 W1Y(x,y;s1)および W2Y(x,y;s1)も第１の補正係数演算部３１０に印加する。第１の補正係数演算部３１０において、分析値W1Y(x,y;s1) 、W2Y(x,y;s1) 、W1Y"(x,y;s1)およびW2Y"(x,y;s1)を用いて第１の補正係数Cp(x,y;s01) を求める。
同様に、第２の補正係数Cp(x,y;s02) も求めることができる。
【００１８】
線情報圧縮部２０５から出力された圧縮線情報CLY(k; s0)、圧縮処理部２０６から出力された振幅圧縮信号CAmY(k;s0)、低周波成分圧縮部２０７から出力された低周波成分圧縮信号CLOW、および、局所復号化部１０２の第１および第２の補正係数演算部３１０，３１１から出力された第１の補正係数Cp(x,y; s01), 第２の補正係数Cp(x,y;s02) を入力して、これらの信号に、誤り訂正符号などを付加し、必要に応じて適切な変調をかけて、変調データ CDataとして、図５に示した信号復号化装置、あるいは、記録媒体あるいは伝送媒体に出力する。
【００１９】
次に、図２に示した各部の輝度信号分析部の詳細について述べる。
図４は、第１の輝度信号分析部２０１、第２の輝度信号分析部２０２、第３の輝度信号分析部２０３の回路構成図である。
まず、線情報および第１の輝度信号分析部（第１の輝度信号分析部）２０１について述べる。
第１の輝度信号分析部２０１は、第１の分析フィルタ４０１、第２の分析フィルタ４０２、スレッショルド演算部４０３、第１の特徴点検出部４０４、第２の特徴点検出部４０５、第１の線情報連結部４０６、第２の線情報連結部４０７、第１の線情報選択部４０８、および、第２の線情報選択部４０９を有する。
第１の分析フィルタ４０１および第２の分析フィルタ４０２はそれぞれ、輝度信号Ｙ0(x,y)に対する第１の解像度スケールs0のフィルタである。この例では、第１の分析フィルタ４０１および第２の分析フィルタ４０２はそれぞれ、スムーシング関数の１次微分型の分析フィルタを用いる。ただし、第１の分析フィルタ４０１のインパルス応答を下記式で表すW1(x,y;s0)とし、第２の分析フィルタ４０２のインパルス応答を下記式で表すW2(x,y;s0)とする。
【００２０】
【数１】

【００２１】
【数２】

【００２２】
ここで、関数θ1(x,y;s0) およびθ2(x,y;s0) は適切なスムーシング関数を示しており、この例ではＢスプライン（B-spline）関数を用いる。第１のインパルス応答W1(x,y;s0)および第２のインパルス応答W2(x,y;s0)は周波数領域では次のように表すことができる。
【００２３】
【数３】

【００２４】
【数４】

【００２５】
インパルス応答を式１および式２で与えられるフィルタは低周波成分が含まれていないので、予めローパスフィルタで輝度信号Ｙの低周波成分だけを別系統で圧縮する必要がある。
本実施例において、低周波成分検出部２０４においてそれを行う。低周波成分検出部２０４におけるフィルタのインパルス応答 W0(x,y)は周波数領域で下記式で定義される。
【００２６】
【数５】

【００２７】
記号Ｓは大きなスケールとする。
低周波成分検出部２０４は、輝度信号Ｙ(x,y) にこのインパルス応答W0(x,y) を畳み込み、その出力を低周波輝度信号ＹL(x,y)として出力し、元の入力輝度信号Ｙ(x,y) から低周波輝度信号ＹL(x,y)を引いた低周波成分除去輝度信号Ｙ0(x,y)を出力する。この低周波成分除去輝度信号Ｙ0(x,y)が、第１の分析フィルタ４０１および第２の分析フィルタ４０２に入力される。
【００２８】
【数６】

【００２９】
【数７】

【００３０】
記号**は座標位置(x,y) に関する２次元の畳み込み積分あるいは離散信号の畳み込み累積加算を示す。
低周波成分除去輝度信号Ｙ0(x,y)は、インパルス応答が式１および式２で与えられる第１の分析フィルタ４０１および第２の分析フィルタ４０２でそれぞれフィルタリングされて、下記式で表されるフィルタリング処理結果W1Y(x,y;s0),W2Y(x,y;s0) となる。
【００３１】
【数８】

【００３２】
【数９】

【００３３】
これらフィルタリング処理結果W1Y(x,y;s0) およびW2Y(x,y;s0) は、スレッショルド演算部４０３において、適当な振幅のスレッショルドで、下記式で定義される輝度信号A1Y(x,y;s0) とA2Y(x,y;s0) となる。
【００３４】
【数１０】

【００３５】
【数１１】

【００３６】
スレッショルド演算部４０３で算出された輝度信号 A1Y(x,y;s0)とA2Y(x,y;s0)は、特徴点検出部４０４、４０５にそれぞれ入力され、そこで特徴点が検出される。この実施例では特徴点は、極大値を与える点として定義される。
輝度信号A1Y(x,y;s0) およびA2Y(x,y;s0) の極大値を与える点を求める方法はいくつか考えられるが、この例では簡単に輝度信号A1Y(x,y;s0) をx 方向に差分をとり、その符号がプラスからマイナスに変わった点を極大値を与える点とする。また、輝度信号A2Y(x,y;s0) のy 方向にも同じ処理を行い、これも極大値を与える点とする。
このようにして、第１および第２の特徴点検出部４０４、４０５で求められた特徴点の位置を、下記式で表されるP1Y(x,y;s0) およびP2Y(x,y;s0) で表す。
【００３７】
【数１２】

【００３８】
【数１３】

【００３９】
この特徴点の位置P1Y(x,y;s0) とP2Y(x,y;s0) は、第１の線情報連結部４０６、および第２の線情報連結部４０７において連結され線情報L1Y(k;s0) およびL2Y(k;s0) となる。また、該線情報L1Y(k;s0) およびL2Y(k;s0) は、第１および第２の線情報選択部４０８、４０９において、重要な線情報が選択され、線情報LY(k；s0) として出力される。
【００４０】
図５は第１の線情報連結部４０６および第２の線情報連結部４０７において線情報L1Y(k;s0) およびL2Y(k;s0) を生成する動作を示すフローチャートである。以下、図５に示したフローチャートの流れに沿って、第１の線情報連結部４０６の処理を述べる。但し、第２の線情報連結部４０７も同じ動作であるので、ここでは省略する。
【００４１】
最初に、特徴点の位置P1Y(x,y;s0) の左上位置(x,y)=(0,0) から右へ特徴点の位置P1Y(x,y;s0)=1 となる点を探し、その点が端点かどうかをチェックする。
端点は、図６に示したように、特徴点の位置P1Y(x0,y0;s0)=1 のような位置(x0,y0) を中心にその近傍に８つの画素を考え、そのうち１つ以下の近傍にしか特徴点の位置P(x,y;s0)=１の点がない場合で定義する。なお、画面の端においては外側を特徴点の位置P(x,y;s0)=0 として判断する。
【００４２】
この座標(x,y) を line[k][l].x とline[k][l].yという記憶領域に記憶する。この端点(x,y) における特徴点の位置PY(x,y;s0)を０にセットすることで、その後のサーチにおいて連結候補から外す。ここで、k は線の番号に相当する数であり、l は連結していった点に順番に１、２、３、・・とつけられた自然数である。
なお、後述するようにline[k][0].xにはk 番目の線として連結した点の数が記憶される。
端点を見つけた後、同じく８近傍(x',y') を考え最初に見つかった特徴点の位置P(x',y';s0)=1 の点を連結する。このとき連結した点において特徴点の位置PY(x',y';s0)=0とすることにより、その後のサーチにおいて連結候補から外す。
また、l=l+1 としてline[k][l].x =x',line[k][l].y=y'として、この特徴点をk 番目の線情報のl 番目の点として登録する。
以下、このことを８近傍に特徴点がなくなるまで続ける。最後に、連結した点の数をline[k][0].xに記憶する。
また、このスケールにおいて線の数が何本あったかをline[0][0].xに記憶する。
【００４３】
このline[k][l].x,line[k][l].y を
line[0][0].x, （線の数=K(s))
line[1][0].x （１番目の線を構成する点の数）
line[1][1].x,line[1][1].y （一番目の線の一番目の点の(x,y) 座標）
line[1][2].x,line[1][2].y （一番目の線の二番目の点の(x,y) 座標）
・
line[2][0].x （２番目の線を構成するための点の数）
line[2][1].x,line[2][1].y （二番目の線の一番目の点の(x,y) 座標）
・
のように出力しこの系列を線情報L1Y(k;s0) とする。
【００４４】
以上、第１の輝度信号分析部２０１の解像度スケールs0を持ったフィルタの輝度信号分析部について述べたが、第２の輝度信号分析部２０２の解像度スケールs1を持ったフィルタの輝度信号分析部も第１の輝度信号分析部２０１とほとんど同じである。
つまり、第２の輝度信号分析部２０２は、第１の輝度信号分析部２０１における第１の分析フィルタ４０１および第１の分析フィルタ４０２に対応する第２のフィルタバンク４１１および第２のフィルタバンク４１２を有する。
第２の輝度信号分析部２０２が第１の輝度信号分析部２０１と異なる点は、第２の輝度信号分析部２０２には、第１の輝度信号分析部２０１における第１のフィルタバンク４０１および第２のフィルタバンク４０２に対応する第１のフィルタバンク４１１および第２のフィルタバンク４１２しかないことである。
【００４５】
以下、第２の輝度信号分析部２０２の詳細を述べる。
第１のフィルタバンク４１１、第２のフィルタバンク４１２はそれぞれ、インパルス応答、フィルタリング処理結果がそれぞれ下記式で表される解像度スケールs1を持つフィルタバンクである。
【００４６】
【数１４】

【００４７】
【数１５】

【００４８】
【数１６】

【００４９】
【数１７】

【００５０】
解像度スケールs2を持ったフィルタの第３の輝度信号分析部２０３は、上述した第２の輝度信号分析部２０２と同じ構成をしており、第２の輝度信号分析部２０２と同様の処理を行う。つまり、第３の輝度信号分析部２０３は、第２の輝度信号分析部２０２の第１のフィルタバンク４１１および第２のフィルタバンク４１２と対応する第１のフィルタバンク４２１および第２のフィルタバンク４２２を有する。
第１のフィルタバンク４２１および第２のフィルタバンク４２２のインパルス応答、フィルタリング処理結果は下記式で定義される。
【００５１】
【数１８】

【００５２】
【数１９】

【００５３】
【数２０】

【００５４】
【数２１】

【００５５】
線情報圧縮部２０５において線情報LY(k;s0)を適当な方法で圧縮する。この例では、チェイン符号化を用いて一点あたり３ビットの情報にする。その手続きは以下のとおりである。
まず、line[k][l].x,line[k][l].y は始点情報としてそのまま情報を持つ。たとえば256x256 の画像を想定した場合、それぞれ８ビット必要である。始点以外の位置は８近傍のうちどの方向に連結したかを指定すればよいので３ビット必要である。したがって、CLY(k;s)は次のようなデータ列となる。
（１）はじめに、スケールs0における線の本数K(s0) を送り、
（２）次に、線の長さ、始点の座標(x,y) 、と送り、
（３）以下、３ビットずつ８近傍のうちの一つを指定する。
これが線情報圧縮部２０５の出力CLY(k;s0) として出力される。
【００５６】
一方、圧縮処理部２０６において、特徴点における分析情報の圧縮が行なわれる。ここでは、予測符号化の一つとしてＤＰＣＭを用いるものとする。すなわち、各線において前の特徴点における分析値との差をとってその差を適当に量子化する。ここで、簡単のため、解像度スケールs1の振幅情報W1Y(x,y;s1) および W2Y(x,y;s1)を振幅情報AmY(k;s1) といい、解像度スケールs2の振幅情報W1Y(x,y;s2) およびW2Y(x,y;s2) を振幅情報AmY(k;s2) という。
ＤＰＣＭ処理された振幅情報AmY(k;s0) を振幅圧縮信号CAmY(k;s0)とする。
低周波成分輝度信号YL(x,y) は、低周波成分圧縮部２０７において圧縮される。この輝度信号YL(x,y) はいわゆるローパスフィルタの出力であるので、間引いてサンプリングを落すことができる。
この実施例では、式５で定義されるローパスフィルタの特性を考えて、もとのサンプル列の2 s サンプルごとのデータがあれば十分と考えられる。したがって、(i, j)を画面の座標を表すパラメータとして、下記式に表すように間引いた画像データYL'(i,j),UL'(i,j),VL'(i,j)を考える。
【００５７】
【数２２】

【００５８】
ここで、i,j は i・(2^S) <X,j・(2^S) <Yとなるi,j=0,1,2,,,, である。
この画像データYL'(i,j),UL'(i,j),VL' (i,j) をＤＣＴなど通常の２次元の圧縮技術を用いて低周波成分圧縮信号CLOWにして低周波成分圧縮部２０７から出力する。
変調部１０３は、これらの入力されたデータ列に適当な誤り訂正符号を付加して変調データCData として出力する。
【００５９】
次に、上述した変調データCData を復号する復号化装置について述べる。
図７は復号化装置の全体構成図であり、図８はその一部の詳細構成図である。この復号化装置は、波形復元処理部５０１、二次元信号復元処理部５０２、線情報伸長部５０３、分析結果伸長部５０４、低周波成分伸長部５０５、および圧縮変調信号受信部５０６を有している。
信号の中身は伝送、記録媒体での誤り、量子化の影響を考えなければ、また、二次元信号復元処理部５０２での逆変換や予測での誤差を考えなければ符号化装置と全く同じになる。
【００６０】
通信媒体を介して送られてきた変調データCData に対応する情報CData2は、圧縮変調信号受信部５０６において、変調部１０３でかけられた変調、誤り符号などの処理を行い、信号CLY2(k;s0),CAmY2(k;s0)、および、第１の補正係数Cp2(k;s01)、第２の補正係数Cp2(k;s02)が得られる。これらの信号は、図１における圧縮線情報CLY(k;s0) 、振幅圧縮信号CAmY(k;s0)、第１の補正係数 Cp(x,y;s01)、第２の補正係数Cp(x,y;s02) に対応する。
低周波成分伸長部５０５においては低周波成分圧縮部２０７で行なわれた２次元信号の圧縮の逆変換を行う。また、低周波成分伸長部５０５は、低周波成分圧縮部２０７で行われた間引きの逆である補間を行う。たとえば、次式で定義される作用は間引きの逆に相当する。
【００６１】
【数２３】

【００６２】
【数２４】

【００６３】
ただし、x=0,...,X-1,y=0,...,Y-1 であり、[x/(2 ^S)]は、x/(2^S) で小数点部を切捨てた整数である。また、L0(x,y) は適切なローパスフィルタのインパルス応答である。
これが低周波成分伸長部５０５の出力として、波形復元処理部５０１に送られる。
線情報伸長部５０３では圧縮された線情報CLY2(k;s) の入力として図１の線情報LY(k;s) に相当する特徴点の線情報LY2(k;s)を求める。これは線情報圧縮部２０５の逆変換に相当する。すなわち、線情報圧縮部２０５においては始点の座標と図６で示される８近傍のうちの一つを指定する３ビットの情報系列にされていたので、始点の座標(x,y) を読んだ後３ビットずつを用いて、図６で示された方向に座標を進めて線情報を座標系列LY2(k;s)として復元する。
【００６４】
分析結果伸長部５０４では、信号符号化装置における圧縮処理部２０６の逆変換を行う。すなわち、ＤＰＣＭの逆変換である。これは、一つ前の系列の値に累積加算していくことで実現される。得られた系列を、振幅情報AmY2(k;s) として二次元信号復元処理部５０２へ送る。
二次元信号復元処理部５０２は、特徴点の位置に関する情報LY2(k;s)とその位置における振幅情報AmY2( k;s)を用いて凸射影法を用いてもとの輝度信号に対応する２次元信号Y2(x,y) を復元する。二次元信号復元処理部５０２の内部に関してさらに詳細な説明を図８を参照して行う。
波形復元処理部５０１は、各スケールからの復元値と低周波の値をもとに、もとの波形Y(x,y)の復元値Y'(x,y) を出力する。
【００６５】
図８は二次元信号復元処理部５０２の内部のブロック図である。
二次元信号復元処理部５０２は、信号成分算出部６０１、第１の補間部６０２、第２の補間部６０３、解像度スケールs1の第１の予測フィルタ６０４、第２の予測フィルタ６０５、解像度スケールs2の第３の予測フィルタ６０６、第４の予測フィルタ６０７、解像度スケールs1の補正部６０８、解像度スケールs2の補正部６０９、解像度スケールs0の第１の逆フィルタバンク６１０、第２の逆フィルタバンク６１１、解像度スケールs1の第３の逆フィルタバンク６１２、第４の逆フィルタバンク６１３、解像度スケールs2の第５の逆フィルタバンク６１４、および、第６の逆フィルタバンク６１５を有する。
解像度スケールs1とs2に対しては同じ処理を施すので、解像度スケールs0とs1を代表させて、説明を行う。
【００６６】
信号成分算出部６０１において振幅情報AmY2(k;s0)は特徴点の位置に関する情報である線情報LY2 (k;s0)で指定される座標に対応する振幅情報AmY2(k;s0)をおき、２次元情報AY2P(x,y;s0)に変換される。２次元情報AY2P(x,y;s0)は、線情報LY2(k ;s0)が指定した座標においてのみ値を持ち、それ以外では０の２次元情報である。
信号成分算出部６０１は、線情報LY2(k;s0) 内の連結した点の座標系列(x,y) からx 方向とy 方向の接線方向を独立に求めてから決定する。前述の輝度信号AmY2(k;s0)とを用いて、信号W1YP(x,y;s0)およびW2YP(x,y;s0)を求める。
信号W1YP(x,y;s0),W2YP(x,y;s0) は特徴点のみで値を持ち、その他の場所では０である信号であるので、第１の補間部６０２および第２の補間部６０３において補間がかけられる。ここで述べている信号成分算出部６０１および第１の補間部６０２、第２の補間部６０３はそれぞれ前述した図３に示した信号成分算出部３０３および第１の補間部３０４、第２の補間部３０５と同じものである。補間の方法は種々考えられるが、ここでは振動が少ないという条件から導かれた関数による補間をかける。
【００６７】
はじめに、信号W1YP(x,y;s0)はx 方向への偏微分の極大点が極小点だったので、y を固定して、x 方向に補間をかける。いま、x ＿i,x ＿(i+1) がx 方向にスキャンして求められた連続する特徴点とする。その間を
【００６８】
【数２５】

【００６９】
【数２６】

【００７０】
で定義される補間も同様にして行う。
y 方向の補間も同様にして行う。その補間関数をe2(y) とする。
これらを解像度スケールs0の第１の逆フィルタバンク６１０および第２の逆フィルタバンク６１１へ印加する。
第１の逆フィルタバンク６１０および第２の逆フィルタバンク６１１は、式１および式２で与えられるフィルタバンクの逆フィルタである。
第１の逆フィルタバンク６１０および第２の逆フィルタバンク６１１の出力を逆インパルス応答 IW1(x,y;s0),IW2(x,y;s0)とし、位置（x,y ）に関する２次元のフーリエ変換結果をFIW1( ωx,ωy;s0) およびFIW2( ωx,ωy;s0) とすると、逆フィルタはフーリエ空間で次のように与えられる。
【００７１】
【数２７】

【００７２】
【数２８】

【００７３】
このようにして定義されたフィルタを通ってYY1(x,y;s0),YY2(x,y;s0) を出力する。
【００７４】
【数２９】

【００７５】
【数３０】

【００７６】
次に、解像度スケールs0の第１の補間部６０２、および、第２の補間部６０３の出力W1Y'(x,y;s0)およびW2Y'(x,y;s0)を解像度スケールs1の第１の予測フィルタ６０４および第２の予測フィルタ６０５に印加する。第１の予測フィルタ６０４および第２の予測フィルタ６０５の周波数領域でのインパルズ応答をPW1(ωx,ωy;s01),PW2( ωx,ωy;s01)とすると、次のように与えられる。
【００７７】
【数３１】

【００７８】
【数３２】

【００７９】
第１の予測フィルタ６０４および第２の予測フィルタ６０５の出力をそれぞれW1Y"(x,y; s1),W2Y"(x,y;s1)とし、これらを解像度スケールs1の補正部６０８に印加する。第１の予測フィルタ６０４および第２の予測フィルタ６０５はそれぞれ前述した図３に示した第１の予測フィルタ３０６および第２の予測フィルタ３０７と同じものである。
【００８０】
解像度スケールs1の補正部６０８では、先ず、予測された信号W1Y"(x,y;s1)およびW2Y"(x,y;s1)の特徴点を求める。次に、特徴点において、予測された信号W1Y"(x,y;s1)およびW2Y"(x,y;s1)との２乗和をとられ、さらに、その平方根をとられて、最大値を求める。つまり、最大値をMp"(x,y; s1)とすると、次のように表すことができる。
【００８１】
【数３３】

【００８２】
但し、ここで、MAX[ ]は[ ] の最大値を表す意味をする。
また、同様に、図２の第２の輝度信号分析部２０２の分析結果W1Y(x,y;s1) およびW2Y(x,y; s1)の２乗和をとり、その平方根を取って、最大値を求める。すなわち、この場合の最大値をMp(x,y;s1)とすると、次のように表すことができる。
【００８３】
【数３４】

【００８４】
そして、両方の最大値の比率（補正係数）を計算する。たとえば、上述した場合の補正係数はCp(x,y;s01) とすると、次のようになる。
【００８５】
【数３５】

【００８６】
このとき、特徴点の位置における予測された信号W1Y"(x,y;s1)およびW2Y"(x,y;s1)に補正係数Cp(x,y; s01)で補正を行う。補正後の出力はW1Y'(x,y;s1)およびW2Y'(x,y,s1)として、次のように表すことができる。
【００８７】
【数３６】

【００８８】
【数３７】

【００８９】
これらを解像度スケールs1の第３の逆フィルタバンク６１２および第４の逆フィルタバンク６１３へ印加する。
第３の逆フィルタバンク６１２および第４の逆フィルタバンク６１３は、式１および式２で与えられるフィルタバンクの解像度スケールs1の逆フィルタである。
第３の逆フィルタバンク６１２および第４の逆フィルタバンク６１３の出力を逆インパルス応答IW1(x,y;s1),IW2(x,y;s1) とし、位置（x,y ）に関する２次元のフーリエ変換結果をFIW1( ωx,ωy;s1),FIW2( ωx,ωy;s1) とすると、逆フィルタはフーリエ空間で次のように与えられる。
【００９０】
【数３８】

【００９１】
【数３９】

【００９２】
このようにして定義されたフィルタを通ってYY1(x,y;s1),YY2(x,y;s1) を出力する。
【００９３】
【数４０】

【００９４】
【数４１】

【００９５】
解像度スケールs2の予測および補正も解像度スケールs1の予測および補正と同様に行うので、ここでは省略する。
最後に、すべての解像度スケールに関して足し合わされ、Y2(x,y) が得られる。
【００９６】
【数４２】

【００９７】
以上で予測および補正を含む復号化が完成したことになる。
最後に求められたY2(x,y) に低周波成分YL2(x,y)を加えて、最終的な輝度信号Y'(x,y) を得る。
【００９８】
本発明の上記実施例の変形態様を述べる。
入力がカラー画像の場合でも、異なる解像度スケールを持つフィルタの分析値間の相関が大きいので、この方法が適用できる。たとえば、YUV 信号を扱う場合でも、Y,U,V を独立に処理し個々の成分に対してスケール間の相関を利用できる。
さらに、Y,U,V 信号間の相関を利用すれば、さらなる圧縮が期待できる。カラー画像信号としてR,G,B を使用した場合も同様である。
【００９９】
また、本発明においては、第１の分析フィルタ２０１および第２の分析フィルタ２０２の分析フィルタとしてスムージング関数としての３次のＢスプライン以外の方法も適用できる。たとえば、本発明においては、ガウス関数の一回微分などを用いることもできる。
また、上記実施例では、補正係数を求める時や補正を行うときなどは、特徴点における分析値しか使わないが、本発明においては、補正係数を求めるときや補正を行うときなどは画像のピクセル全体における分析値を用いてもよい。
【０１００】
【発明の効果】
本発明によれば、一つの解像度スケールによる特徴点の位置およびその位置における分析値から他のスケールの特徴点の位置およびその位置における分析値を同時に予測することにより、画像情報を効率的に、一層少なく符号化、復号化できる。
【図面の簡単な説明】
【図１】図１は本発明の多重解像度を用いた画像信号分析合成装置（画像符号化装置）の全体構成図である。
【図２】図２は、図１に示した符号化部１０１の回路構成図である。
【図３】図３は、図１に示した局所復号化部１０２の回路構成図である。
【図４】図４は、図２に示した第１の輝度信号分析部２０１、第２の輝度信号分析部２０２および第３の輝度信号分析部２０３の詳細な構成を示す図である。
【図５】図５は、図４に示した線情報連結部４０６の処理を示すフローチャートである。
【図６】図６は、図４に示した線情報連結部４０６の動作を説明するためのグラフである。
【図７】図７は復号化装置の全体構成図である。
【図８】図８は、図７に示した復号化装置の二次元信号復元処理部５０２の構成図である。
【符号の説明】
１０１・・符号化部
１０２・・局所復号化部
１０３・・圧縮変調部
２０１〜２０３・・輝度信号分析部
２０４・・低周波数成分検出部
２０５・・線情報圧縮部
２０６・・圧縮処理部
２０７・・低周波数成分圧縮部
３０１・・線情報伸長部
３０２・・分析結果伸長部
３０３・・信号成分算出部
３０４、３０５・・補間部
３０６〜３０９・・予測フィルタ
３１０、３１１・・補正係数演算部
４０１、４０２・・分析フィルタ
４０３・・スレッショルド演算部
４０４、４０５・・特徴点検出部
４０６、４０７・・線情報連結部
４０８、４０９・・線情報選択部
４１１〜４２２・・フィルタバンク
５０１・・波形復元処理部
５０２・・二次元信号復元処理部
５０３・・線情報伸長部
５０４・・分析結果伸長部
５０５・・低周波成分伸長部
５０６・・圧縮変調信号受信部
６０１・・信号成分算出部
６０２、６０３・・補間部
６０４〜６０７・・予測フィルタ
６０８、６０９・・補正部
６１０〜６１５・・逆フィルタバンク[0001]
[Industrial application fields]
The present invention relates to an image signal processing apparatus that performs, for example, feature extraction processing, encoding processing, and decoding processing of a luminance signal of an image at a plurality of resolutions (multiple resolutions).
[0002]
[Prior art]
In general, when dealing with the luminance signal of an image in image compression at multiple resolutions, encoding and encoding are performed using the positions of feature points of signals output by a plurality of filters having different resolution scales of all scales and analysis values at the positions. Decrypt.
On the other hand, in the encoding process for analyzing and synthesizing images with a plurality of filters having different resolution scales in the application specification of Japanese Patent Application No. 5-245387 (hereinafter referred to as Reference 1), It was found that the correlation of the analysis value of the filter of the scale is large. Therefore, in order to efficiently use the correlation of each resolution scale and perform image compression efficiently, the position of one feature point of a plurality of filters having different resolution scales is used to A device for predicting the position of feature points was proposed.
In the encoding device, encoding is performed using the analysis value at the position of the feature point of the resolution scale having different scales and the position of one of the plurality of filters described above. The reverse operation is performed in the decoding apparatus.
[0003]
[Problems to be solved by the invention]
However, the prediction of only the position of the feature point cannot compress the image data very efficiently, and further, the luminance signal of the image is visually deteriorated due to the prediction error.
As a result, there is still a point to be improved in the conventional encoding process in which an image is analyzed and synthesized by a plurality of filters having different resolution scales. Also, there is a point to be improved when the signal encoded in this way is decoded.
[0004]
The present invention has been made in view of such circumstances, and an object thereof is to provide an image encoding apparatus capable of improving the accuracy of encoding image data.
Another object of the present invention is to provide an image decoding apparatus capable of improving the accuracy of decoding image data.
[0005]
[Means for Solving the Problems]
In order to achieve the above object, an image encoding apparatus of the present invention is an image encoding apparatus that separates an input signal into a plurality of resolution scales and predicts a signal of another resolution scale from a signal of one resolution scale. Analyzing means for obtaining a plurality of analysis values by analyzing the luminance signal of the input image with a plurality of first-derivative filters of smoothing functions defined at different resolution scales, and a first filter in the analyzing means Feature point detecting means for detecting, as a feature point, the position of a two-dimensional coordinate that gives a maximum value for the analysis value of the line, and connecting the position of the feature point to line information Produces Above In analytical means First filter First resolution scale analyzed in Analysis value of To extract the analysis value at the feature point position. , The line information; and Of the first resolution scale At the position of the feature point From analysis values Said Of the other resolution scale correlated with the first resolution scale. At the position of the feature point Prediction means for predicting an analysis value to obtain a prediction analysis value of the second filter, a maximum value of the analysis value of the second filter in the analysis means, and the second filter obtained by the prediction means A correction coefficient calculation unit that calculates a ratio of the predicted analysis value to the maximum value and corrects the predicted analysis value of the second filter in the analysis unit, and is detected by the feature point detection unit Feature point encoding means for encoding the position of the feature point and the analysis value at that position, and correction coefficient encoding means for encoding the correction coefficient.
In the image decoding apparatus of the present invention, the luminance signal of the input image is analyzed by a plurality of first-derivative filters of smoothing functions defined by different resolution scales, and the analysis value of the first filter is analyzed. The position of the two-dimensional coordinate giving the maximum value is detected as a feature point, and the line information is obtained by connecting the positions of the feature points. Produces Said first filter First resolution scale analyzed in Analysis value of To extract the analysis value at the feature point position. , The line information; and Of the first resolution scale At the position of the feature point From analysis values At the position of the feature point of the other resolution scale correlated with the first resolution scale The analysis value is predicted to obtain the prediction analysis value of the second filter, the maximum value of the analysis value of the second filter in the analysis means, and the prediction of the second filter obtained by the prediction means A ratio of the analysis value to the maximum value is calculated, a correction coefficient for correcting the prediction analysis value of the second filter in the analysis means is obtained, and the encoded position of the feature point and the analysis at that position An image decoding apparatus that inputs a value and a signal including the encoded correction coefficient and decodes an analysis source signal, the position of a feature point obtained from the encoded first filter, and Line information by connecting the analysis value at the position, decoding means for decoding the encoded correction coefficient, and the position of the feature point Produces Above In analytical means First filter First resolution scale analyzed in Analysis value of To extract the analysis value at the feature point position. , The line information; and Of the first resolution scale At the position of the feature point From analysis values Said Of the other resolution scale correlated with the first resolution scale. At the position of the feature point A prediction unit that predicts an analysis value to obtain a prediction analysis value of the second filter; a correction unit that corrects the prediction analysis value of the second filter with the correction coefficient decoded by the decoding unit; And restoring means for restoring the luminance signal of the image by the re-synthesis filter based on the information of each resolution scale after performing the above.
[0006]
[Action]
In the image coding apparatus according to the present invention, the luminance signal of the input image is analyzed by a plurality of filters having different resolution scales, and the characteristic points of the analysis value of one scale among the plurality of filters having different resolution scales And a correction coefficient for correcting the analysis value of the other resolution scale predicted using the position of the feature point, the analysis value at the position, and the analysis value of the other resolution scale is calculated. Then, the analysis value and the correction coefficient at the position of the feature point of one filter and the position of the feature point of one filter are encoded.
As a result, the image signal can be encoded efficiently.
Preferably, the low frequency component of the input luminance signal is detected, and the above analysis is performed on the low frequency component removed luminance signal obtained by subtracting the detected low frequency component from the luminance signal of the input image.
[0007]
In the image decoding apparatus according to the present invention, the feature value of the analysis value of the filter of one resolution scale among the plurality of filters and the analysis value at the position are also used by using the luminance signal of the encoded input image. The two-dimensional signal corresponding to the original luminance signal is restored by the convex projection method. Using this two-dimensional signal, the position of the feature point on the other resolution scale and the analysis value at that position are predicted at the same time, and the analysis value at the position of the feature point is corrected using the sent correction coefficient. Based on the information of each resolution scale after the correction, the luminance signal of the image is restored by the resynthesis filter. As a result, the image signal can be efficiently decoded.
Preferably, the image decoding device cooperates with the image encoding device.
[0008]
【Example】
Embodiments of an image encoding apparatus and an image decoding apparatus as an image signal analysis / synthesis apparatus using multi-resolution according to the present invention will be described with reference to the drawings.
FIG. 1 is an overall configuration diagram of an image signal analysis / synthesis apparatus using multiple resolutions according to the present invention, in other words, an image encoding apparatus.
In this embodiment, the encoding device receives the luminance signal Y and performs image signal analysis processing using multiple resolutions. Further, a correction coefficient for predicting other resolution scale information necessary for decoding is obtained, and these data are sent as modulation data CData to a recording medium, a transmission medium, or the like.
Preferably, as will be described later with reference to FIG. 7, an image decoding device that cooperates with the image encoding device is provided to constitute an image processing system.
[0009]
The encoding apparatus shown in FIG. 1 includes an encoding unit 101, a local decoding unit 102, and a compression modulation unit 103, which are connected as illustrated.
An input signal to the encoding device (image signal analysis / synthesis device using multiple resolutions) is an image luminance signal Y.
The luminance signal Y is expressed as a luminance signal Y (x, y) as a function for giving a luminance level with respect to the two-dimensional coordinate position (x, y).
[0010]
Details of each part of the encoding device shown in FIG. 1 will be described below.
FIG. 2 is a circuit configuration diagram of the encoding unit 101 of the encoding apparatus shown in FIG.
As shown in FIG. 2, the encoding unit 101 includes a first luminance signal analysis unit 201, a second luminance signal analysis unit 202, a third luminance signal analysis unit 203, a low frequency component detection unit 204, and line information compression. Unit 205, compression processing unit 206, and low-frequency component compression unit 207, which are connected as shown in the figure.
[0011]
First, the luminance signal Y (x, y) is applied to the encoding unit 101 in FIG. That is, it is applied to the low frequency component detection unit 204 in FIG.
The low frequency component detection unit 204 detects a low frequency component of the input luminance signal Y (x, y) and applies the low frequency luminance signal YL (x, y) to the low frequency component compression unit 207.
A luminance signal obtained by subtracting the low frequency luminance signal YL (x, y) detected by the low frequency component detection unit 204 from the original input luminance signal Y (x, y) is used as a low frequency component removal luminance signal Y0 (x, y). ). The luminance signal Y0 (x, y) will be described later using Expression 7.
The low frequency component compression unit 207 performs thinning and the like on the applied low frequency luminance signal YL (x, y), and further performs transform coding processing such as DCT (Discrete Cosine Transformation) and wavelet transform. Then, a low frequency component compressed signal CLOW is generated by compressing the low frequency luminance signal YL (x, y), and this low frequency component compressed signal CLOW is applied to the modulator 103.
[0012]
The low frequency component removal luminance signal Y0 (x, y) from the low frequency component detection unit 204 is applied to the first luminance signal analysis unit 201, the second luminance signal analysis unit 202, and the third luminance signal analysis unit 203. Is done.
The first luminance signal analysis unit 201 analyzes the luminance signal Y0 (x, y) with a filter having the first resolution scale s0, detects feature points from the analysis result, and connects the positions thereof to obtain line information LY. (k; s0). The symbol k indicates the number assigned to the line information. The first luminance signal analysis unit 201 also uses the amplitude information A1Y (x, y; s0) and A2Y (x, y; s0) as the first analysis results at the position given by the line information LY (k; s0). Is calculated. Here, for simplicity, the amplitude information A1Y (x, y; s0) and A2Y (x, y; s0) are referred to as AmY (k; s0). Line information LY (k; s0) is applied to the line information compression unit 205, and amplitude information AmY (k; s0) is applied to the compression processing unit 206.
[0013]
Next, the second luminance signal analysis unit 202 analyzes the luminance signal Y0 (x, y) with a filter having the second resolution scale s1. The analysis results are W1Y (x, y; s1) and W2Y (x, y; s1). For simplicity, the analysis results W1Y (x, y; s1) and W2Y (x, y; s1) are called AmY (k; s1).
Similarly, the third luminance signal analysis unit 203 analyzes the luminance signal Y0 (x, y) with a filter having the third resolution scale s2, and the analysis results are W1Y (x, y; s2) and W2Y (x , y; s2). For simplicity, the analysis results W1Y (x, y; s2) and W2Y (x, y; s2) are referred to as AmY (k; s2).
[0014]
The line information compression unit 205 generates compressed line information CLY (k; s0) obtained by compressing the line information LY (k; s0) by an encoding method such as chain coding, Huffman coding, or run length coding. The compressed line information CLY (k; s0) is output to the modulation unit 103 and simultaneously to the local decoding unit 102.
The compression processing unit 206 outputs the amplitude information AmY (k; s0) to the modulation unit 103 and the local decoding unit 102 as a compressed amplitude signal CAmY (k; s0) obtained by predictive encoding and compressing using DPCM or the like.
The analysis results AmY (k; s1) and AmY (k; s2) of the second luminance signal analysis unit 202 and the third luminance signal analysis unit 203 are output only to the local decoding unit 102.
[0015]
FIG. 3 is a circuit configuration diagram of local decoding section 102 of the encoding apparatus shown in FIG. As shown in FIG. 3, the local decoding unit 102 includes a line information expansion unit 301, an analysis result expansion unit 302, a signal component calculation unit 303, a first interpolation unit 304, a second interpolation unit 305, and a resolution scale s0. The first prediction filter 306, the second prediction filter 307 for predicting the information of the resolution scale s1 from the information (the feature point position and the analysis value at the feature point position), and the resolution scale s2 from the information of the resolution scale s0. A third prediction filter 308, a fourth prediction filter 309, a first correction coefficient calculation unit 310, and a second correction coefficient calculation unit 311 for predicting information are connected as shown in the figure. Has been configured.
[0016]
Details regarding the operation of the local decoding unit 102 will be described later. Here, only the conceptual part is introduced.
The line information decompression unit 301 of the local decoding unit 102 obtains line information LY (k; s0) using CLY (k; s0) output from the line information compression unit 205 of FIG. The analysis result expansion unit 302 obtains the luminance signal AmY (x, y; s0) using the amplitude information CAmY (k; s0) output from the compression processing unit 206 in FIG. Next, the signal component calculation unit 303 obtains the tangential directions in the x direction and the y direction independently from the coordinate series (x, y) of the connected points in the line information LY (k; s0), and the luminance signal AmY (k ; s0) to obtain signals W1YP (x, y; s0) and W2YP (x, y; s0).
Since the signals W1YP (x, y; s0) and W2YP (x, y; s0) have values only at the feature points and are 0 at other places, the first interpolation unit 304 and the second interpolation are performed. The unit 305 outputs the segmentation results W1Y ′ (x, y; s0) and W2Y ′ (x, y; s0) using the convex projection method.
[0017]
At this time, using the analysis results W1Y ′ (x, y; s0) and W2Y ′ (x, y; s0), the first prediction filter 306 and the second prediction filter 307 have the analysis result W1Y ”of the resolution scale s1. (x, y; s1) and W2Y ″ (x, y; s1) are obtained and output to the first correction coefficient calculation unit 310. At the same time, the analysis results W1Y (x, y; s1) and W2Y (x, y; s1) output from the second luminance signal analysis unit 202 in FIG. 2 are also applied to the first correction coefficient calculation unit 310. In the first correction coefficient calculation unit 310, the analysis values W1Y (x, y; s1), W2Y (x, y; s1), W1Y "(x, y; s1) and W2Y" (x, y; s1) are obtained. The first correction coefficient Cp (x, y; s01) is obtained using this.
Similarly, the second correction coefficient Cp (x, y; s02) can also be obtained.
[0018]
The compressed line information CLY (k; s0) output from the line information compression unit 205, the amplitude compression signal CAmY (k; s0) output from the compression processing unit 206, and the low frequency component output from the low frequency component compression unit 207 The compressed signal CLOW, the first correction coefficient Cp (x, y; s01) output from the first and second correction

coefficient calculation units

310 and 311 of the local decoding unit 102, the second correction coefficient Cp ( x, y; s02) is input, an error correction code or the like is added to these signals, appropriate modulation is performed as necessary, and the signal decoding apparatus shown in FIG. Alternatively, the data is output to a recording medium or a transmission medium.
[0019]
Next, details of the luminance signal analysis unit of each unit shown in FIG. 2 will be described.
FIG. 4 is a circuit configuration diagram of the first luminance signal analysis unit 201, the second luminance signal analysis unit 202, and the third luminance signal analysis unit 203.
First, the line information and first luminance signal analysis unit (first luminance signal analysis unit) 201 will be described.
The first luminance signal analysis unit 201 includes a first analysis filter 401, a second analysis filter 402, a threshold calculation unit 403, a first feature point detection unit 404, a second feature point detection unit 405, and a first A line information connecting unit 406, a second line information connecting unit 407, a first line information selecting unit 408, and a second line information selecting unit 409 are included.
Each of the first analysis filter 401 and the second analysis filter 402 is a filter of the first resolution scale s0 for the luminance signal Y0 (x, y). In this example, each of the first analysis filter 401 and the second analysis filter 402 uses a first-order differential type analysis filter of a smoothing function. However, the impulse response of the first analysis filter 401 is W1 (x, y; s0) expressed by the following equation, and the impulse response of the second analysis filter 402 is W2 (x, y; s0) expressed by the following equation. .
[0020]
[Expression 1]

[0021]
[Expression 2]

[0022]
Here, functions θ1 (x, y; s0) and θ2 (x, y; s0) indicate appropriate smoothing functions, and in this example, a B-spline function is used. The first impulse response W1 (x, y; s0) and the second impulse response W2 (x, y; s0) can be expressed as follows in the frequency domain.
[0023]
[Equation 3]

[0024]
[Expression 4]

[0025]
Since the filter whose impulse response is given by Equation 1 and Equation 2 does not contain a low frequency component, it is necessary to compress only the low frequency component of the luminance signal Y in a separate system using a low pass filter in advance.
In the present embodiment, the low frequency component detection unit 204 performs this. The impulse response W0 (x, y) of the filter in the low frequency component detection unit 204 is defined by the following expression in the frequency domain.
[0026]
[Equation 5]

[0027]
The symbol S is a large scale.
The low frequency component detection unit 204 convolves the impulse response W0 (x, y) with the luminance signal Y (x, y), and outputs the output as the low frequency luminance signal YL (x, y). A low frequency component removal luminance signal Y0 (x, y) obtained by subtracting the low frequency luminance signal YL (x, y) from the signal Y (x, y) is output. This low frequency component removal luminance signal Y 0 (x, y) is input to the first analysis filter 401 and the second analysis filter 402.
[0028]
[Formula 6]

[0029]
[Expression 7]

[0030]
The symbol ** indicates a two-dimensional convolution integral or a cumulative addition of discrete signals with respect to the coordinate position (x, y).
The low-frequency component removal luminance signal Y0 (x, y) is filtered by the first analysis filter 401 and the second analysis filter 402 whose impulse responses are given by the

equations

1 and 2, respectively, and is expressed by the following equations. The filtering processing results are W1Y (x, y; s0) and W2Y (x, y; s0).
[0031]
[Equation 8]

[0032]
[Equation 9]

[0033]
These filtering processing results W1Y (x, y; s0) and W2Y (x, y; s0) are threshold signals having appropriate amplitudes in the threshold calculation unit 403, and luminance signals A1Y (x, y; s0) and A2Y (x, y; s0).
[0034]
[Expression 10]

[0035]
## EQU11 ##

[0036]
The luminance signals A1Y (x, y; s0) and A2Y (x, y; s0) calculated by the threshold calculation unit 403 are input to the feature

point detection units

404 and 405, respectively, where feature points are detected. In this embodiment, the feature point is defined as a point giving a maximum value.
There are several ways to find the points that give the maximum values of the luminance signals A1Y (x, y; s0) and A2Y (x, y; s0), but in this example the luminance signal A1Y (x, y; s0) Is the difference in the x direction, and the point where the sign changes from positive to negative is the point where the maximum value is given. Further, the same processing is performed in the y direction of the luminance signal A2Y (x, y; s0), and this is also a point giving a maximum value.
In this way, the positions of the feature points obtained by the first and second feature

point detection units

404 and 405 are expressed by the following equations: P1Y (x, y; s0) and P2Y (x, y; s0) )
[0037]
[Expression 12]

[0038]
[Formula 13]

[0039]
The positions P1Y (x, y; s0) and P2Y (x, y; s0) of the feature points are connected by the first line information connecting unit 406 and the second line information connecting unit 407, and line information L1Y (k ; s0) and L2Y (k; s0). The line information L1Y (k; s0) and L2Y (k; s0) are selected by the first and second line

information selection units

408 and 409, and the line information LY (k; s0) is selected. ) Is output.
[0040]
FIG. 5 is a flowchart showing an operation of generating line information L1Y (k; s0) and L2Y (k; s0) in the first line information connecting unit 406 and the second line information connecting unit 407. Hereinafter, the processing of the first line information connecting unit 406 will be described along the flow of the flowchart shown in FIG. However, since the second line information connecting unit 407 also operates in the same manner, it is omitted here.
[0041]
First, from the upper left position (x, y) = (0,0) of the feature point position P1Y (x, y; s0) to the right, the point where the feature point position P1Y (x, y; s0) = 1 Find and check if the point is an endpoint.
As shown in FIG. 6, the end points are assumed to be eight pixels in the vicinity of the position (x0, y0) such as the position P1Y (x0, y0; s0) = 1 of the feature point, and no more than one of them. This is defined when there is a point having a feature point position P (x, y; s0) = 1 only in the vicinity of. Note that the outside of the screen is determined as the feature point position P (x, y; s0) = 0.
[0042]
The coordinates (x, y) are stored in the storage areas line [k] [l] .x and line [k] [l] .y. By setting the position PY (x, y; s0) of the feature point at this end point (x, y) to 0, it is excluded from the connection candidates in the subsequent search. Here, k is a number corresponding to the number of the line, and l is a natural number in which 1, 2, 3,.
As described later, line [k] [0] .x stores the number of points connected as the kth line.
After finding the end points, the points of the feature point position P (x ′, y ′; s0) = 1 that are found first are also considered considering the 8 neighborhoods (x ′, y ′). At this time, by setting the feature point position PY (x ′, y ′; s0) = 0 at the connected point, it is excluded from the connection candidates in the subsequent search.
Also, l = l + 1 and line [k] [l] .x = x ', line [k] [l] .y = y', and this feature point is the lth point of the kth line information sign up.
This is continued until there are no feature points in the vicinity of 8. Finally, the number of connected points is stored in line [k] [0] .x.
In addition, the number of lines in this scale is stored in line [0] [0] .x.
[0043]
This line [k] [l] .x, line [k] [l] .y
line [0] [0] .x, (number of lines = K (s))
line [1] [0] .x (number of points composing the first line)
line [1] [1] .x, line [1] [1] .y ((x, y) coordinates of the first point of the first line)
line [1] [2] .x, line [1] [2] .y ((x, y) coordinates of the second point of the first line)
・
line [2] [0] .x (number of points to form the second line)
line [2] [1] .x, line [2] [1] .y ((x, y) coordinates of the first point of the second line)
・
This series is output as line information L1Y (k; s0).
[0044]
In the above, the luminance signal analysis unit of the filter having the resolution scale s0 of the first luminance signal analysis unit 201 has been described, but the luminance signal analysis unit of the filter having the resolution scale s1 of the second luminance signal analysis unit 202 is also included. This is almost the same as the first luminance signal analysis unit 201.
That is, the second luminance signal analysis unit 202 includes the second filter bank 411 and the second filter bank 412 corresponding to the first analysis filter 401 and the first analysis filter 402 in the first luminance signal analysis unit 201. Have
The second luminance signal analyzer 202 is different from the first luminance signal analyzer 201 in that the second luminance signal analyzer 202 includes the first filter bank 401 and the first filter bank 401 in the first luminance signal analyzer 201. There are only the first filter bank 411 and the second filter bank 412 corresponding to the second filter bank 402.
[0045]
Hereinafter, details of the second luminance signal analysis unit 202 will be described.
The first filter bank 411 and the second filter bank 412 are filter banks each having a resolution scale s1 in which the impulse response and the filtering processing result are respectively expressed by the following equations.
[0046]
[Expression 14]

[0047]
[Expression 15]

[0048]
[Expression 16]

[0049]
[Expression 17]

[0050]
The third luminance signal analysis unit 203 of the filter having the resolution scale s2 has the same configuration as the second luminance signal analysis unit 202 described above, and performs the same processing as the second luminance signal analysis unit 202. . That is, the third luminance signal analysis unit 203 includes the first filter bank 421 and the second filter bank 422 corresponding to the first filter bank 411 and the second filter bank 412 of the second luminance signal analysis unit 202. Have
The impulse responses and filtering processing results of the first filter bank 421 and the second filter bank 422 are defined by the following equations.
[0051]
[Formula 18]

[0052]
[Equation 19]

[0053]
[Expression 20]

[0054]
[Expression 21]

[0055]
The line information compression unit 205 compresses the line information LY (k; s0) by an appropriate method. In this example, information of 3 bits per point is obtained by using chain coding. The procedure is as follows.
First, line [k] [l] .x and line [k] [l] .y have information as starting point information. For example, assuming a 256x256 image, each requires 8 bits. Positions other than the start point only need to specify which direction of the 8 neighbors is connected, so 3 bits are required. Therefore, CLY (k; s) is the following data string.
(1) First, send the number of lines K (s0) at scale s0,
(2) Next, send the length of the line, the coordinates of the start point (x, y),
(3) In the following, one of 8 neighbors is designated by 3 bits.
This is output as the output CLY (k; s0) of the line information compression unit 205.
[0056]
On the other hand, the compression processing unit 206 compresses analysis information at feature points. Here, DPCM is used as one of predictive encoding. That is, the difference from the analysis value at the previous feature point is taken for each line, and the difference is appropriately quantized. Here, for simplicity, the amplitude information W1Y (x, y; s1) and W2Y (x, y; s1) of the resolution scale s1 is referred to as amplitude information AmY (k; s1), and the amplitude information W1Y ( x, y; s2) and W2Y (x, y; s2) are referred to as amplitude information AmY (k; s2).
The amplitude information AmY (k; s0) subjected to DPCM processing is assumed to be an amplitude compressed signal CAmY (k; s0).
The low frequency component luminance signal YL (x, y) is compressed by the low frequency component compression unit 207. Since this luminance signal YL (x, y) is the output of a so-called low-pass filter, sampling can be reduced by thinning out.
In this embodiment, considering the characteristics of the low-pass filter defined by Equation 5, it is considered sufficient to have data for every 2 s samples in the original sample sequence. Therefore, using (i, j) as a parameter representing the coordinates of the screen, the image data YL ′ (i, j), UL ′ (i, j), VL ′ (i, j) thinned out as shown in the following equation is used. Think.
[0057]
[Expression 22]

[0058]
Where i, j is i ・ (2 ^S ) <X, j ・ (2 ^S ) I, j = 0,1,2 ,,, where <Y.
This image data YL '(i, j), UL' (i, j), VL '(i, j) is converted into a low-frequency component compressed signal CLOW using a normal two-dimensional compression technique such as DCT. Output from the compression unit 207.
The modulation unit 103 adds an appropriate error correction code to these input data strings and outputs the data as modulation data CData.
[0059]
Next, a decoding device for decoding the above-described modulation data CData will be described.
FIG. 7 is an overall configuration diagram of the decoding apparatus, and FIG. 8 is a detailed configuration diagram of a part thereof. This decoding apparatus includes a waveform restoration processing unit 501, a two-dimensional signal restoration processing unit 502, a line information decompression unit 503, an analysis result decompression unit 504, a low frequency component decompression unit 505, and a compression modulation signal reception unit 506. Yes.
The contents of the signal are exactly the same as those of the encoding device unless the influence of transmission, errors in the recording medium and quantization are considered, and if the error in the inverse transformation and prediction in the two-dimensional signal restoration processing unit 502 is not considered. Become.
[0060]
Information CData2 corresponding to the modulation data CData sent via the communication medium is subjected to processing such as modulation and error code applied by the modulation unit 103 in the compression modulation signal receiving unit 506, and the signal CLY2 (k; s0) , CAmY2 (k; s0), the first correction coefficient Cp2 (k; s01), and the second correction coefficient Cp2 (k; s02). These signals are the compression line information CLY (k; s0), the amplitude compression signal CAmY (k; s0) in FIG. 1, the first correction coefficient Cp (x, y; s01), and the second correction coefficient Cp (x , y; s02).
The low frequency component decompression unit 505 performs inverse transformation of the two-dimensional signal compression performed by the low frequency component compression unit 207. Further, the low frequency component expansion unit 505 performs interpolation that is the reverse of the thinning performed by the low frequency component compression unit 207. For example, the action defined by the following equation corresponds to the reverse of thinning.
[0061]
[Expression 23]

[0062]
[Expression 24]

[0063]
Where x = 0, ..., X-1, y = 0, ..., Y-1 and [x / (2 ^S )] Is x / (2 ^S ) Is an integer with the decimal part truncated. L0 (x, y) is an appropriate low-pass filter impulse response.
This is sent to the waveform restoration processing unit 501 as the output of the low frequency component expansion unit 505.
The line information decompression unit 503 obtains feature point line information LY2 (k; s) corresponding to the line information LY (k; s) in FIG. 1 as input of the compressed line information CLY2 (k; s). This corresponds to the inverse transformation of the line information compression unit 205. That is, in the line information compression unit 205, the coordinates of the start point and the 3-bit information series designating one of the eight neighbors shown in FIG. 6 are used, so the coordinates (x, y) of the start point are read. Using the subsequent 3 bits, the coordinates are advanced in the direction shown in FIG. 6 to restore the line information as a coordinate series LY2 (k; s).
[0064]
The analysis result expansion unit 504 performs inverse transformation of the compression processing unit 206 in the signal encoding device. That is, it is the inverse conversion of DPCM. This is realized by accumulatively adding the previous series value. The obtained sequence is sent to the two-dimensional signal restoration processing unit 502 as amplitude information AmY2 (k; s).
The two-dimensional signal restoration processing unit 502 corresponds to the original luminance signal using the convex projection method using the information LY2 (k; s) regarding the position of the feature point and the amplitude information AmY2 (k; s) at the position. The two-dimensional signal Y2 (x, y) is restored. A more detailed description of the inside of the two-dimensional signal restoration processing unit 502 will be given with reference to FIG.
The waveform restoration processing unit 501 outputs the restored value Y ′ (x, y) of the original waveform Y (x, y) based on the restored value from each scale and the low frequency value.
[0065]
FIG. 8 is a block diagram of the inside of the two-dimensional signal restoration processing unit 502.
The two-dimensional signal restoration processing unit 502 includes a signal component calculation unit 601, a first interpolation unit 602, a second interpolation unit 603, a first prediction filter 604 with a resolution scale s1, a second prediction filter 605, and a resolution scale s2. The third prediction filter 606, the fourth prediction filter 607, the resolution scale s1 correction unit 608, the resolution scale s2 correction unit 609, the resolution scale s0 first inverse filter bank 610, and the second inverse filter bank 611. , A third inverse filter bank 612 having a resolution scale s1, a fourth inverse filter bank 613, a fifth inverse filter bank 614 having a resolution scale s2, and a sixth inverse filter bank 615.
Since the same processing is applied to the resolution scales s1 and s2, the resolution scales s0 and s1 will be representatively described.
[0066]
In the signal component calculation unit 601, the amplitude information AmY2 (k; s0) is the amplitude information AmY2 (k; s0) corresponding to the coordinates specified by the line information LY2 (k; s0), which is information relating to the position of the feature point. It is converted into two-dimensional information AY2P (x, y; s0). The two-dimensional information AY2P (x, y; s0) is a two-dimensional information having a value only at the coordinates specified by the line information LY2 (k; s0), and 0 otherwise.
The signal component calculation unit 601 determines the tangent directions in the x direction and the y direction independently from the coordinate series (x, y) of the connected points in the line information LY2 (k; s0) and determines them. Signals W1YP (x, y; s0) and W2YP (x, y; s0) are obtained using the luminance signal AmY2 (k; s0).
Since the signals W1YP (x, y; s0) and W2YP (x, y; s0) have values only at the feature points and are 0 at other places, the first interpolation unit 602 and the second interpolation are performed. Interpolation is applied in part 603. The signal component calculation unit 601 and the first interpolation unit 602 and the second interpolation unit 603 described here are respectively the signal component calculation unit 303, the first interpolation unit 304, and the second interpolation shown in FIG. This is the same as the unit 305. Various interpolation methods are conceivable. Here, interpolation is performed using a function derived from the condition that vibration is small.
[0067]
First, since the signal W1YP (x, y; s0) has a local maximum point of partial differentiation in the x direction, y is fixed and interpolation is performed in the x direction. Now, let x_i, x_ (i + 1) be consecutive feature points obtained by scanning in the x direction. In the meantime
[0068]
[Expression 25]

[0069]
[Equation 26]

[0070]
The interpolation defined by is performed in the same way.
The y-direction interpolation is performed in the same way. Let the interpolation function be e2 (y).
These are applied to the first inverse filter bank 610 and the second inverse filter bank 611 of the resolution scale s0.
The first inverse filter bank 610 and the second inverse filter bank 611 are inverse filters of the filter bank given by Equation 1 and Equation 2.
The outputs of the first inverse filter bank 610 and the second inverse filter bank 611 are assumed to be inverse impulse responses IW1 (x, y; s0), IW2 (x, y; s0), and two-dimensional about the position (x, y). When the Fourier transform results are FIW1 (ωx, ωy; s0) and FIW2 (ωx, ωy; s0), the inverse filter is given as follows in Fourier space.
[0071]
[Expression 27]

[0072]
[Expression 28]

[0073]
YY1 (x, y; s0) and YY2 (x, y; s0) are output through the filter thus defined.
[0074]
[Expression 29]

[0075]
[30]

[0076]
Next, the outputs W1Y ′ (x, y; s0) and W2Y ′ (x, y; s0) of the first interpolation unit 602 and the second interpolation unit 603 of the resolution scale s0 are used as the first of the resolution scale s1. Applied to the second prediction filter 604 and the second prediction filter 605. If the impulse responses in the frequency domain of the first prediction filter 604 and the second prediction filter 605 are PW1 (ωx, ωy; s01) and PW2 (ωx, ωy; s01), they are given as follows.
[0077]
[31]

[0078]
[Expression 32]

[0079]
The outputs of the first prediction filter 604 and the second prediction filter 605 are W1Y "(x, y; s1) and W2Y" (x, y; s1), respectively, and these are applied to the correction unit 608 of the resolution scale s1. . The first prediction filter 604 and the second prediction filter 605 are respectively the same as the first prediction filter 306 and the second prediction filter 307 shown in FIG. 3 described above.
[0080]
First, the correction unit 608 of the resolution scale s1 obtains feature points of the predicted signals W1Y ″ (x, y; s1) and W2Y ″ (x, y; s1). Next, at the feature point, the sum of squares of the predicted signals W1Y "(x, y; s1) and W2Y" (x, y; s1) is taken, and the square root thereof is taken to obtain the maximum value. Ask for. That is, when the maximum value is Mp ″ (x, y; s1), it can be expressed as follows.
[0081]
[Expression 33]

[0082]
Here, MAX [] means the maximum value of [].
Similarly, the sum of squares of the analysis results W1Y (x, y; s1) and W2Y (x, y; s1) of the second luminance signal analysis unit 202 in FIG. Find the value. That is, when the maximum value in this case is Mp (x, y; s1), it can be expressed as follows.
[0083]
[Expression 34]

[0084]
Then, the ratio (correction coefficient) of both maximum values is calculated. For example, when the correction coefficient in the above case is Cp (x, y; s01), the following is obtained.
[0085]
[Expression 35]

[0086]
At this time, the predicted signals W1Y "(x, y; s1) and W2Y" (x, y; s1) at the feature point positions are corrected by the correction coefficient Cp (x, y; s01). The corrected output can be expressed as W1Y ′ (x, y; s1) and W2Y ′ (x, y, s1) as follows.
[0087]
[Expression 36]

[0088]
[Expression 37]

[0089]
These are applied to the third inverse filter bank 612 and the fourth inverse filter bank 613 of the resolution scale s1.
The third inverse filter bank 612 and the fourth inverse filter bank 613 are inverse filters of the resolution scale s1 of the filter bank given by Equation 1 and Equation 2.
The outputs of the third inverse filter bank 612 and the fourth inverse filter bank 613 are inverse impulse responses IW1 (x, y; s1), IW2 (x, y; s1), and the two-dimensional position (x, y) If the Fourier transform results are FIW1 (ωx, ωy; s1) and FIW2 (ωx, ωy; s1), the inverse filter is given in Fourier space as follows.
[0090]
[Formula 38]

[0091]
[39]

[0092]
YY1 (x, y; s1) and YY2 (x, y; s1) are output through the filter thus defined.
[0093]
[Formula 40]

[0094]
[Expression 41]

[0095]
Since the prediction and correction of the resolution scale s2 are performed in the same manner as the prediction and correction of the resolution scale s1, they are omitted here.
Finally, all the resolution scales are added together to obtain Y2 (x, y).
[0096]
[Expression 42]

[0097]
This completes decoding including prediction and correction.
The final luminance signal Y ′ (x, y) is obtained by adding the low frequency component YL2 (x, y) to the finally obtained Y2 (x, y).
[0098]
A modification of the above embodiment of the present invention will be described.
Even when the input is a color image, this method can be applied because the correlation between analysis values of filters having different resolution scales is large. For example, even when dealing with YUV signals, Y, U, V can be processed independently and correlation between scales can be used for each component.
Furthermore, if the correlation between Y, U and V signals is used, further compression can be expected. The same applies when R, G, B are used as color image signals.
[0099]
In the present invention, a method other than the cubic B-spline as a smoothing function can be applied as the analysis filter of the first analysis filter 201 and the second analysis filter 202. For example, in the present invention, one-time differentiation of a Gaussian function or the like can be used.
In the above-described embodiment, when the correction coefficient is obtained or corrected, only the analysis value at the feature point is used. However, in the present invention, the pixel of the image is used when the correction coefficient is obtained or corrected. You may use the analysis value in the whole.
[0100]
【The invention's effect】
According to the present invention, by simultaneously predicting the position of a feature point on another scale and the analysis value at that position from the position of the feature point on one resolution scale and the analysis value at that position, the image information can be efficiently Less encoding and decoding can be performed.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram of an image signal analyzing and synthesizing apparatus (image encoding apparatus) using multi-resolution according to the present invention.
FIG. 2 is a circuit configuration diagram of an encoding unit 101 shown in FIG. 1;
FIG. 3 is a circuit configuration diagram of local decoding section 102 shown in FIG. 1;
4 is a diagram illustrating a detailed configuration of the first luminance signal analysis unit 201, the second luminance signal analysis unit 202, and the third luminance signal analysis unit 203 illustrated in FIG. 2. FIG.
FIG. 5 is a flowchart showing processing of the line information connecting unit 406 shown in FIG. 4;
FIG. 6 is a graph for explaining the operation of the line information connecting unit 406 shown in FIG. 4;
FIG. 7 is an overall configuration diagram of a decoding device.
8 is a configuration diagram of a two-dimensional signal restoration processing unit 502 of the decoding device shown in FIG. 7. FIG.
[Explanation of symbols]
101 .. Encoding section
102 .. Local decoding unit
103 .. Compression modulation section
201-203 .. luminance signal analysis part
204 .. Low frequency component detector
205 .. Line information compression unit
206 .. Compression processing section
207 .. Low frequency component compression unit
301 .. Line information decompression section
302 .. Analysis result expansion part
303 .. Signal component calculation unit
304, 305 .. Interpolator
306 to 309 .. Prediction filter
310, 311 .. Correction coefficient calculation unit
401, 402 .. Analysis filter
403 .. Threshold calculation unit
404, 405 .. Feature point detector
406, 407 .. Line information connection part
408, 409 .. Line information selection section
411 to 422 .. filter bank
501 ... Waveform restoration processing part
502 .. Two-dimensional signal restoration processing unit
503 .. Line information expansion part
504 ・・ Analysis result extension part
505 ・・ Low frequency component expansion part
506 .. Compression modulation signal receiver
601 .. Signal component calculation unit
602, 603 .. Interpolation section
604 to 607 ... Prediction filter
608, 609 .. correction unit
610 to 615 .. Inverse filter bank

Claims

In an image encoding apparatus that separates an input signal into a plurality of resolution scales and predicts a signal of another resolution scale from a signal of one resolution scale,
Analyzing means for obtaining a plurality of analysis values by analyzing the luminance signal of the input image with a plurality of first-derivative filters of smoothing functions defined at different resolution scales;
Feature point detection means for detecting, as a feature point, a position of a two-dimensional coordinate that gives a maximum value for an analysis value of the first filter in the analysis means;
Wherein by connecting positions of the feature points to generate the line data, from the analysis value of the first resolution scales analyzed in the first filter in the analyzing means extracts an analysis value at the position of the feature point, wherein and line information, the first resolution scale from the analysis value at the position of the feature point of the first of said other resolutions scale with a resolution scaling and correlation to predict the analyzed value at the position of the feature point and the second A prediction means for obtaining a predictive analysis value of the filter;
A ratio between the maximum value of the analysis value of the second filter in the analysis means and the maximum value of the prediction analysis value of the second filter obtained by the prediction means is calculated, and a second value in the analysis means is calculated. Correction coefficient calculation means as a correction coefficient for correcting the predicted analysis value of the filter;
Feature point encoding means for encoding the position of the feature point detected by the feature point detection means and the analysis value at the position;
An image encoding apparatus comprising: correction coefficient encoding means for encoding the correction coefficient.

Low frequency component detection means for detecting a low frequency component of the input image signal;
Low frequency component encoding means for encoding the detected low frequency component signal,
2. The image code according to claim 1, wherein the analysis unit analyzes a low frequency component removal signal obtained by subtracting a low frequency component detected by the low frequency component detection unit from a luminance signal of an input image. Device.

The luminance signal of the input image is analyzed by a plurality of first-order differential type filters of smoothing functions defined by different resolution scales,
The position of the two-dimensional coordinate that gives the maximum value for the analysis value of the first filter is detected as a feature point,
The line information is generated by connecting the positions of the feature points, the analysis value at the position of the feature points is extracted from the analysis value of the first resolution scale analyzed by the first filter , and the line information and , predicted from analysis of the first resolution scale and the second filter analysis value is predicted at the position of the feature point of the other resolutions scales with correlation at the position of the characteristic point of the first resolution scale Analytical value is obtained,
A ratio between the maximum value of the analysis value of the second filter in the analysis means and the maximum value of the prediction analysis value of the second filter obtained by the prediction means is calculated, and the second value in the analysis means is calculated. Correction factor to correct the predicted analysis value of the filter of
An image decoding device that inputs a signal including a position of the encoded feature point and an analysis value at the position and the encoded correction coefficient, and decodes an analysis source signal,
A position of the feature point obtained from the encoded first filter and an analysis value at the position; a decoding means for decoding the encoded correction coefficient;
Wherein by connecting positions of the feature points to generate the line data, from the analysis value of the first resolution scales analyzed in the first filter in the analyzing means extracts an analysis value at the position of the feature point, wherein and line information, the first resolution scale from the analysis value at the position of the feature point of the first of said other resolutions scale with a resolution scaling and correlation to predict the analyzed value at the position of the feature point and the second A prediction means for obtaining a predictive analysis value of the filter;
Correction means for correcting the prediction analysis value of the second filter with the correction coefficient decoded by the decoding means;
An image decoding apparatus comprising: a restoration unit that restores a luminance signal of an image by a recombination filter based on information on each resolution scale after correction.