JP3797502B2 - Image signal encoding method, image signal encoding apparatus, and image signal transmission method - Google Patents

Description

による平均値演算を行い、図２（Ｂ）で示す第２階層の１画素（例えばＹ₁₁）を生成する。なお、画素Ｙ₁₃、Ｙ₃₁、……も第１階層の４画素平均により、同様に生成される。
【００１８】
同様に、平均化回路３４６は、図２（Ｂ）に示すような第２階層のブロツク内の４画素（例えばＹ₁₁、Ｙ₁₃、Ｙ₃₁、Ｙ₃₃）を用いて、次式、
【数２】

による平均値演算を行い、図２（Ｃ）で示す第３階層の１画素（例えばＺ₁₁）を生成する。なお、画素Ｚ₁₅、Ｚ₅₁、……も第２階層の４画素平均により、同様に生成される。
【００１９】
間引き回路３４２、３４５は、ブロツク化回路３４１からのブロツク化データＤ３３２及びブロツク化回路３４４からのブロツク化データＤ３３４をそれぞれ受信し、４画素で構成されるブロツク化データＤ３３２、Ｄ３３４のうち１画素を取り除き、各ブロツクにつき取り除かれた１画素を除く残り３画素で構成される間引きデータＤ３３６、Ｄ３３７を形成し、この間引きデータＤ３３６、Ｄ３３７を量子化回路３４７、３４８にそれぞれ送出する。すなわち、間引き回路３４２は、図２（Ｃ）の点線で示すような画素Ｘ₁₁、Ｘ₁₃、……を間引きにより削除し、間引き回路３４５は、図２（Ｂ）の点線で示すような画素Ｙ₁₁、Ｙ₁₅、……を間引きにより削除する。
【００２０】
従つて、第１階層の量子化回路３４７及び第２階層の量子化回路３４８の量子化対象となる画素は、図２（Ｃ）及び図２（Ｂ）の実線で示される画素Ｘ₁₂、Ｘ₂₁、Ｘ₂₂、……やＹ₁₃、Ｙ₃₁、Ｙ₃₃……であり、第１階層について見れば、第１階層の全ての画素を量子化して伝送する場合と比較して、伝送画素数を3/4 に低減できる。また、第２階層について見れば、平均演算により生成された第２階層の全ての画素を量子化して伝送する場合と比較して、伝送画素数を3/4 に低減する。
【００２１】
また、全体的に見れば、画像信号符号化装置３４０においては、第１階層画像データＤ３３１のみを圧縮して伝送する場合と比較して、等しい伝送画素数で、複数階層の画像データを伝送することができるようになされている。この結果、画像信号符号化装置３４０は、伝送情報量を増加させずに、複数階層の画像データを伝送することができる。なお、間引き回路３４２、３４５において間引かれた画素は、後述する復号側（受信側）で簡単な算術式を用いて復元することができる。
【００２２】
量子化回路３４７、３４８及び３４９は、それぞれ間引きデータＤ３３６、Ｄ３３７及び第３階層画像データＤ３３５の各画素（８ビツト）に対して、歪み最小規範に従つた量子化を施す。例えば、各入力画素を２ビツトで再量子化して情報量を圧縮し、再量子化データＤ３３８、Ｄ３３９及びＤ３４０を形成する。すなわち図３に示すように、１画素当り０〜２５５のレベルをとる８ビツトの入力画素データを、そのレベルが０〜６３の場合には、量子化値「０」を出力し、６４〜１２７の場合には量子化値「１」を出力し、１２８〜１９１の場合には量子化値「２」を出力し、１９２〜２５５の場合には量子化値「３」を出力する。従つて、例えば、画素レベルがＬ１の入力画素に対しては、量子化値「３」を出力し、画素レベルがＬ２の入力画素に対しては、量子化値「１」を出力する。
【００２３】
量子化回路３４７、３４８及び３４９は、このようにして得られた再量子化データＤ３３８、Ｄ３３９、Ｄ３４０を逆量子化回路３５０、３５１、３５２にそれぞれ送出する。逆量子化回路３５０、３５１、３５２は、再量子化データＤ３３８、Ｄ３３９、Ｄ３４０を元の８ビツトのデータに戻すために逆量子化を行い、復号データＤ３４１、Ｄ３４２、Ｄ３４３を形成し、これら復号データＤ３４１、Ｄ３４２、Ｄ３４３を量子化制御回路３５３に送出する。すなわち、量子化回路３４７〜３４９で得られた再量子化データＤ３３８〜Ｄ３４０が、逆量子化回路３５０、３５１、３５２においてそれぞれローカルデコードされて量子化制御回路３５３に入力される。
【００２４】
また、量子化制御回路３５３には、第１階層、第２階層及び第３階層の画像データＤ３３２、Ｄ３３４及びＤ３３５も供給されている。量子化制御回路３５３は、以下に示すように、逆量子化回路３５０〜３５２から得られた復号データＤ３４１〜Ｄ３４３と階層画像データＤ３３２、Ｄ３３４及びＤ３３５の値をそれぞれ比較し、量子化前の画像データと量子化された画像データの復号データとの差、すなわち量子化誤差の値を求める。そして、量子化制御回路３５３は、この量子化誤差の値に応じて、第１階層の量子化回路３４７及び第２階層の量子化回路３４８の量子化特性を制御するための量子化制御信号Ｓ３０１及びＳ３０２を出力する。
【００２５】
この第１実施例の場合、量子化制御回路３５３は、図４に示すような量子化制御処理手順を実行することにより、量子化回路３４７及び３４８を制御する。なお、この量子化制御処理は、各階層毎に空間的に対応するブロツク毎に行われる。すなわち、量子化制御回路３５３は、ステツプＳＰ０で処理手順に基づいて処理を開始すると、続くステツプＳＰ１において、逆量子化回路３５２から入力した第３階層の復号データＤ３４３と平均化回路３４６から入力した第３階層の画像データ（すなわち真値）Ｄ３３５との差分を演算し、第３階層の量子化誤差値を求める。なお、図４では、第３階層画素Ｚ₁₁の量子化誤差値を例えばＥ（Ｚ₁₁）として示している。
【００２６】
次に、量子化制御回路３５３は、ステツプＳＰ２において、逆量子化回路３５１から入力された第２階層の復号データＤ３４２とブロツク化回路３４４から入力した第２階層の画像データ（真値）Ｄ３３４との差分を演算し、第２階層の量子化誤差値を求める。ここでは、第３階層の画素Ｚ₁₁に空間的に対応する画素Ｙ₁₃、Ｙ₃₁、Ｙ₃₃の量子化誤差値Ｅ（Ｙ₁₃）、Ｅ（Ｙ₃₁）、Ｅ（Ｙ₃₃）を示している。そして、さらに、ステツプＳＰ２において、これら量子化誤差値Ｅ（Ｙ₁₃）、Ｅ（Ｙ₃₁）、Ｅ（Ｙ₃₃）の絶対値の大きい順に並べる。
【００２７】
次に、量子化制御回路３５３は、ステツプＳＰ３において、第３階層の量子化誤差値Ｅ（Ｚ₁₁）と、それに空間的に対応する第２階層の量子化誤差値Ｅ（Ｙ₁₃）、Ｅ（Ｙ₃₁）、Ｅ（Ｙ₃₃）のうちの絶対値の最大のものとの差分を演算する。この場合、後述する理由により、第３階層の量子化誤差が４倍として下位階層に影響する。そのため、例えば、Ｅ（Ｙ₁₃）の絶対値が最大である場合には、Ａ＝４×Ｅ（Ｚ₁₁）−Ｅ（Ｙ₁₃）の演算を行う。ステツプＳＰ４では、差分値Ａの極性及び大きさの判定を行う。この結果、量子化制御回路３５３は、ステツプＳＰ５において、その判定結果に応じた量子化制御信号Ｓ３０２を量子化回路３４８に送出する。そして、量子化制御回路３５３は、差分値Ａが小さくなるように量子化回路３４８を制御し、量子化回路３４８に対して入力画素Ｙ₁₃の量子化を行わせる。つまり、量子化値において第２階層に対して第３階層の量子化誤差の影響が少なくなるよう量子化値を出力させるように制御する。
【００２８】
つまり、量子化回路３４８の量子化値として最終的に出力される値は、上述した歪み最小規範に従つて量子化された値（すなわち、入力画素との量子化誤差が最小となるように量子化された値）ではなく、差分値Ａが小さくなる（すなわち、第２階層に対して第３階層の量子化誤差の影響が少なくなる）ように、画素Ｙ₁₃が量子化された値となる。例えば、画素Ｙ₁₃の画素レベルが、図３のＬ１であつたとき、歪み最小規範によれば量子化値「３」を出力するが、この第１実施例では、量子化制御回路３４８の制御により、量子化値「３」以外の値、例えば、量子化値「２」を出力することもあり得る。
【００２９】
次に、量子化制御回路３５３は、ステツプＳＰ６において、ステツプＳＰ３において求めた差分値Ａと、量子化誤差値Ｅ（Ｙ₁₃）、Ｅ（Ｙ₃₁）、Ｅ（Ｙ₃₃）のうちの絶対値の２番目に大きいものとの差分を演算する。例えば、Ｅ（Ｙ₃₁）がそれに相当する場合には、Ｂ＝Ａ−Ｅ（Ｙ₃₁）の演算を行う。
【００３０】
そして、続くステツプＳＰ７では、差分値Ｂの極性及び大きさの判定を行う。この結果、量子化制御回路３５３は、ステツプＳＰ８において、その判定結果に応じた量子化制御信号Ｓ３０２を量子化回路３４８に送出する。そして、量子化制御回路３５３は、差分値Ｂが小さくなるように量子化回路３４８を制御し、量子化回路３４８に対して入力画素Ｙ₃₁の量子化を行わせる。つまり、量子化値において第２階層に対して第３階層の量子化誤差の影響が少なくなるよう量子化値を出力させるように制御する。つまり、この場合も同様に、量子化回路３４８の量子化値として最終的に出力される値は、上述した歪み最小規範に従つて量子化された値（すなわち、入力画素との量子化誤差が最小となるように量子化された値）ではなく、差分値Ｂが小さくなる（すなわち、第２階層に対して第３階層の量子化誤差の影響が少なくなる）ように、画素Ｙ₃₁が量子化された値となる。
【００３１】
次に、量子化制御回路３５３は、ステツプＳＰ９において、ステツプＳＰ６において求めた差分値Ｂと、量子化誤差値Ｅ（Ｙ₁₃）、Ｅ（Ｙ₃₁）、Ｅ（Ｙ₃₃）のうちの絶対値の最小のものとの差分を演算する。例えば、Ｅ（Ｙ₃₃）がそれに相当する場合には、Ｃ＝Ｂ−Ｅ（Ｙ₃₃）の演算を行う。
【００３２】
そして、続くステツプＳＰ１０では、差分値Ｃの極性及び大きさの判定を行い、この結果、量子化制御回路３５３は、ステツプＳＰ１１において、その判定結果に応じた量子化制御信号Ｓ３０２を量子化回路３４８に送出する。そして、量子化制御回路３５３は、差分値Ｂが小さくなるように量子化回路３４８を制御し、量子化回路３４８に対して入力画素Ｙ₃₁の量子化を行わせる。つまり、量子化値において第２階層に対して第３階層の量子化誤差の影響が少なくなるよう量子化値を出力させるように制御する。つまり、この場合も同様に、量子化回路３４８の量子化値として最終的に出力される値は、上述した歪み最小規範に従つて量子化された値（すなわち、入力画素との量子化誤差が最小となるように量子化された値）ではなく、差分値Ｃが小さくなる（すなわち、第２階層に対して第３階層の量子化誤差の影響が少なくなる）ように、画素Ｙ₃₃が量子化された値となる。
【００３３】
この結果、ステツプＳＰ３、ステツプＳＰ６、ステツプＳＰ９の順で得られる差分値Ａ、Ｂ、Ｃの値は、理想的には次第に小さな値となる。このように、理想的に順次小さくなる差分値Ａ、Ｂ、Ｃのうち、最も大きな差分値Ａに対しては、もともと量子化誤差が最も大きな画素Ｙ₁₃を、当該差分値Ａが相殺されるように量子化し、２番目に大きな差分値Ｂに対しては、もともと量子化誤差が２番目に大きな画素Ｙ₃₁を、当該差分値Ｂが相殺されるように量子化し、さらに最も小さな差分値Ｃに対しては、もともと量子化誤差が最も小さな（すなわち真値に近い）画素Ｙ₃₃を、当該差分値Ｃが相殺されるように量子化する。これにより、もともと量子化誤差が大きな画素Ｙ₁₃は量子化制御によつて大きく異なる値に変わることがあつても、もともと量子化誤差が小さく、真値に近い画素Ｙ₃₃は量子化制御によつてその値が大きく変化しないように制御される。
【００３４】
従つて、もともと量子化誤差が小さな画素に対しては、不用意に値を変化させることのない量子化が実行される。そして、量子化制御回路３５３はステツプＳＰ１２において、第３階層画素Ｚ₁₁に空間的に対応する第２階層画素Ｙ₁₃、Ｙ₃₁、Ｙ₃₃についての量子化制御処理手順を終了する。
【００３５】
量子化制御回路３５３は、上述した量子化制御処理手順に従つて、このような処理を第３階層の全ての画素Ｚ₁₁、Ｚ₁₅、……のそれぞれに空間的に対応する第２階層画素について行う。そして、この結果、量子化回路３４８は、量子化制御回路３５３の制御により得られた再量子化データを量子化出力値Ｄ３４４として出力すると共に、その再量子化データＤ３４４が、新たな再量子化データＤ３３９として逆量子化回路３５１にも供給される。そして、逆量子化回路３５１は、その新たな量子化データＤ３３９を復号し、新たな復号データＤ３４５として量子化制御回路３５３に供給する。量子化制御回路３５３は、逆量子化回路３５１から入力した第２階層の新たな復号データＤ３４５とブロツク化回路３４４から入力された第２階層の画像データ（真値）Ｄ３３４との差分を演算し、第２階層の新たな量子化誤差値を求める。
【００３６】
そして、量子化制御回路３５３は、この第２階層の新たな量子化誤差値と、復号データＤ３４１及び第１階層画像データＤ３３２から得られる第１階層の量子化誤差値とを用いて、図４に示された量子化制御手順と同様に量子化手順に基づいて第２階層と第１階層との間で量子化制御を行い、第１階層の量子化回路３４７の量子化特性を各入力画素毎に制御する。そして、量子化回路３４７は、量子化制御回路３５３の制御により得られた新たな再量子化データを再量子化データＤ３４６として出力する。
【００３７】
量子化回路３４７、３４８、３４９から出力された再量子化データＤ３４６、Ｄ３４４、Ｄ３４０は、それぞれ可変長符号化回路（ＶＬＣ）３５４、３５５、３５６に供給される。可変長符号化回路３５４〜３５６のそれぞれは、再量子化データＤ３４６、Ｄ３４４、Ｄ３４０に対して発生度数の大きい量子化コードほど短いハフマンコードを割り当て、各再量子化データＤ３４６、Ｄ３４４、Ｄ３４０を可能な限り少ない符号量で表現した第１階層符号化データＤ３４７、第２階層符号化データＤ３４８及び第３階層符号化データＤ３４９をそれぞれ形成し、これら第１階層符号化データＤ３４７、第２階層符号化データＤ３４８及び第３階層符号化データＤ３４９を伝送フオーマツト変換回路３５７に送出する。
【００３８】
伝送フオーマツト変換回路３５７は、第１階層符号化データＤ３４７、第２階層符号化データＤ３４８及び第３階層符号化データＤ３４９を所定の順序で配列したり、各階層符号化データの階層を識別するための識別コードを付加することにより、伝送画像データＤ３５０を形成して、この伝送画像データＤ３５０を出力する。この出力された伝送画像データＤ３５０は、その後、通信路３５８を介して受信側に供給されるか、もしくは記録伝送路を介してディスク、テープ又は半導体メモリなどの記録媒体３５９に記録される。
【００３９】
このようにして形成された伝送画像データＤ３５０を復号する画像信号復号化装置３６０は、例えば、図５に示すように構成することができる。
この画像信号復号化装置３６０は、通信路３５８を介して供給されるか、もしくは再生伝送路を介して記録媒体３５９から再生される伝送画像データＤ３５０をデータ分流回路３６１に入力する。データ分流回路６１は、図示しないスイツチング回路を有し、伝送画像データＤ３５０に含まれる各階層の識別コードを参照して伝送画像データＤ３５０を第１階層符号化データＤ３５１、第２階層符号化データＤ３５２及び第３階層符号化データＤ３５３に分流し、これら第１階層符号化データＤ３５１、第２階層符号化データＤ３５２及び第３階層符号化データＤ３５３をそれぞれ可変長復号化回路（ＩＶＬＣ）３６２、３６３、３６４に送出する。
【００４０】
可変長復号化回路３６２、３６３、３６４は、それぞれ上述した図１に示された可変長符号化回路３５４、３５５、３５６と逆の処理を行し、ハフマン符号によつて表現されている第１階層符号化データＤ３５１、第２階層符号化データＤ３５２及び第３階層符号化データＤ３５３を再量子化コードで表現された再量子化データＤ３５４、Ｄ３５５、Ｄ３５６にそれぞれ変換する。そして、これらの再量子化データＤ３５４、Ｄ３５５、Ｄ３５６をそれぞれ逆量子化回路３６５、３６６、３６７に送出する。
【００４１】
逆量子化回路３６５は、上述した図１に示された量子化回路３４７によつて１画素当り２ビツトとされた再量子化データＤ３５４を例えば８ビツトのデータに逆量子化し、第１階層間引き復号データＤ３５７を生成する。そして、この第１階層間引き復号データＤ３５７を合成回路３６８及び画素生成回路３６９に送出する。逆量子化回路３６６は、上述した図１に示された量子化回路３４８によつて１画素当り２ビツトとされた再量子化データＤ３５５を例えば８ビツトのデータに逆量子化し、第２階層間引き復号データＤ３５８を生成する。そして、この第２階層間引き復号データＤ３５８を合成回路３７０及び画素生成回路３７１に送出する。
【００４２】
逆量子化回路３６７は、上述した図１に示された量子化回路３４９によつて１画素当り２ビツトとされた再量子化データＤ３５６を例えば８ビツトのデータに逆量子化し、第３階層復号画像データＤ３５９として出力する。そして、この第３階層復号画像データＤ３５９を例えば出力端子を介して表示画素数の少ない低解像度のテレビジヨンモニタに送出すると共に画素生成回路３７１に送出する。
【００４３】
画素生成回路３７１は、第３階層復号画像データＤ３５９と第２階層間引き復号データＤ３５８を用いて、上述した図１に示された画像信号符号化装置３４０の間引き回路３４５で間引かれた第２階層画素（すなわち図２（Ｂ）の点線で示す画素）を復元する。例えば間引きにより削除された第２階層の画素Ｙ₁₁は、次式、
【数３】

のような演算を行うことにより復元する。同様に、平均化によつて生成した上位階層画素と、上位階層画素の生成のために用いられ、かつ間引かれなかつた画素とを用いて全ての間引かれた画素を復元する。
【００４４】
合成回路３７０は、このようにして生成された第２階層の復元画素データＤ３６０を第２階層間引き復号データＤ３５８中の所定の位置に挿入して合成することにより、第２階層復号画像データＤ３６１を形成する。そして、この第２階層復号画像データＤ３６１を例えば出力端子を介して表示画素数が中程度のテレビジヨンモニタに送出すると共に画素生成回路３６９に送出する。
【００４５】
画素生成回路３６９は、第２階層復号画像データＤ３６１と第１階層間引き復号データＤ３５７を用いて、上述した図１に示された画像信号符号化装置３４０の間引き回路３４２で間引かれた第１階層画素（すなわち図２（Ｃ）の点線で示す画素）を復元する。例えば間引きにより削除された第１階層画素Ｘ₁₁は、次式、
【数４】

のような演算を行うことにより復元する。同様に、平均化によつて生成した上位階層画素と、上位階層画素の生成のために用いられ、かつ間引かれなかつた画素とを用いて全ての間引かれた画素を復元する。
【００４６】
合成回路３６８は、このようにして生成された第１階層の復元画素データＤ３６２を第１階層間引き復号データＤ３５７中の所定の位置に挿入して合成することにより、第１階層復号画像データＤ３６３を形成する。そして、この第１階層復号画像データＤ３６３を出力端子を介して例えば表示画素数が多いハイビジヨンテレビモニタに送出する。
【００４７】
以上、上述したように、本発明の第１実施例の画像信号符号化装置３４０は、下位階層の複数画素の平均値によつて上位階層画素を生成することにより、複数階層の画像データＤ３３１、Ｄ３３３、Ｄ３３５を生成する。
【００４８】
これに加えて、画像信号符号化装置３４０は、最上位階層すなわち第３階層を除いた階層画像データについて、同じ平均演算に用いた画素のうちの１画素は復号側で簡単な算術演算によつて復元できるので伝送画素から除外する。この結果、画像信号符号化装置３４０においては、階層構造に起因する伝送画素数の増加を伴わない階層符号化処理を実現することができる。
【００４９】
さらに、ここで、本発明の第１実施例における量子化回路の構成の一例について詳細に説明する。
実際上、例えば、一実施例として、量子化回路３４８は、図６に示すように構成されている。ここで、量子化回路３４７は、図６に示された点線の経路を除けば、量子化回路３４８と同様の構成であるため、以下量子化回路３４８について説明し、量子化回路３４７についての説明は省略する。量子化回路３４８は、間引きデータＤ３３７を量子化部３４８Ａに入力し、当該量子化部３４８Ａによつて１画素当り８ビツトの間引きデータＤ３３７を量子化する。
【００５０】
このとき、量子化部３４８Ａは、例えば、図３のＬ１に示すようなレベルの間引きデータＤ３３７が入力された場合には、真値に対して正極性に片寄つた量子化値「３」と真値に対して負極性に片寄つた量子化値「２」をそれぞれ量子化出力Ｄ３４４Ａ及びＤ３４４Ｂとして出力する。
【００５１】
この２つの量子化出力Ｄ３４４Ａ及びＤ３４４Ｂは、それぞれセレクタ３４８Ｃ及び比較部３４８Ｂに供給される。比較部３４８Ｂにおいて、供給された２つの量子化出力Ｄ３４４Ａ及びＤ３４４Ｂがそれぞれ逆量子化され、その２つの逆量子化データのそれぞれが真値（間引きデータＤ３３７）と比較される。そして、その誤差（量子化誤差）の小さい量子化出力Ｄ３４４Ａ又はＤ３４４Ｂが再量子化データＤ３３９として、逆量子化回路３５１（図１）に供給される。つまり、この量子化部３４８Ａ及び比較部３４８Ｂによる処理は、歪み最小規範に従つた量子化を行つているものと等価である。この結果、得られた量子化結果（再量子化データＤ３３９）が逆量子化回路３５１を介して量子化制御回路３５３に送られる。
【００５２】
また、２つの量子化出力Ｄ３４４Ａ及びＤ３４４Ｂは、セレクタ３４８Ｃに供給される。セレクタ３４８Ｃには、量子化制御信号Ｓ３０２が切換え信号として与えられている。この量子化制御信号Ｓ３０２は、階層間の量子化誤差（この場合、第２階層に対して第３階層の量子化誤差）の影響が少なくなるような量子化値を出力させるように、量子化出力Ｄ３４４Ａ又は量子化出力Ｄ３４４Ｂのいずれかを選択するために信号である。したがつて、その量子化制御信号Ｓ３０２に基づいて量子化出力Ｄ３４４Ａ又はＤ３４４Ｂのいずれかが選択的に再量子化データＤ３４４として出力される。
【００５３】
また、量子化制御信号Ｓ３０２は、さらに比較部３４８Ｂにも供給される。比較部３４８Ｂもまた、セレクタ３４８Ｃによつて選択された量子化値と同一のものを量子化データＤ３３９として出力する。これは、上述したように、第１階層の再量子化データＤ３４６を生成するために使用されるためである。したがつて、この構成は、量子化器３４７にはない構成である。
【００５４】
また、この実施例については、２つの量子化値を用意して、量子化制御回路３５３からの量子化制御信号に基づいて２つの量子化値の１つを選択するようにしているが、本発明はこれに限らず、２つ以上の量子化値を使用することも可能である。その場合、セレクタを使用せずに、直接量子化部を制御するようにしてもよい。
【００５５】
さらに、ここで、本発明の第１実施例における量子化制御回路の構成である判定ステツプの一例について詳細に説明する。量子化制御回路３５３における量子化回路３４８及び量子化回路３４７の制御は、同一であるため、量子化回路３４８における制御について説明し、量子化回路３４７の制御については省略する。量子化制御回路３５３は、基本的には各量子化回路の量子化状態を知つていると仮定する。判定ステツプは、差分値の極性及び大きさによつて判定されている。
【００５６】
つまり、判定ステツプＳＰ４において、差分値Ａの極性及び大きさとＥ（Ｚ_１１）の極性及び大きさを比較して、差分値Ａの大きさが４×Ｅ（Ｚ_１１）の大きさより小さく、かつ０に近づくような量子化器３４８で用意された量子化値を量子化値３４８の出力Ｄ３４４として出力するように量子化制御信号Ｓ３０２を生成する。また、判定ステツプＳＰ７において、差分値Ｂの極性及び大きさと差分値Ａの極性及び大きさを比較して、差分値Ｂの大きさが差分値Ａの大きさより小さく、かつ０に近づくような量子化器３４８で用意された量子化値を量子化器３４８の出力Ｄ３４４として出力するように量子化制御信号Ｓ３０２を生成する。
【００５７】
ただし、この実施例の場合、量子化値を２つのみ用意しているため、判定ステツプＳＰ４の判定結果次第では、差分値Ｂの大きさが差分値Ａより小さくならない場合がある。この場合は、歪み最小規範に従つた量子化値を選択するような量子化制御信号Ｓ３０２を出力する。
【００５８】
さらに、判定ステツプＳＰ７において、差分値Ｃの極性及び大きさと差分値Ｂの極性及び大きさを比較して、差分値Ｃの大きさが差分値Ｂの大きさより小さく、かつ０に近づくような量子化器３４８で用意された量子化値を量子化回路３４８の出力Ｄ３４４として出力するように量子化制御信号Ｓ３０２を生成する。ただし、この実施例の場合、量子化値を２つのみ用意しているため、判定ステツプＳＰ４及び／又はＳＰ７の判定結果次第では、差分値Ｃの大きさが差分値Ｂより小さくならない場合がある。この場合は、歪み最小規範に従つた量子化値を選択するような量子化制御信号Ｓ３０２を出力する。
【００５９】
なお、上述した量子化制御回路３５３の動作は一例であり、つまり、入力画素との量子化誤差が大きい順に量子化値を修正していき、最終的に上位階層との量子化誤差を０に値に近づけるように各階層の量子化値を決定するような方法であれば、どのような構成を取つてもよい。また、この実施例の場合、入力画素との量子化誤差が大きい順に量子化誤差を修正していく方法であるが、上位階層と下位階層の３画素との量子化誤差を始めに求め、その結果に応じて総合的に各階層の量子化値を決定してもよい。
【００６０】
ところで、すでに上述した実施例と同様に、画像信号符号化装置３４０においても、量子化回路３４７〜３４９によつて各階層画像データを再量子化することで各階層におけるデータ量を圧縮する。この結果、各再量子化データＤ３４６、Ｄ３４４、Ｄ３４０は必然的に再量子化時の量子化誤差を含む値となる。そしてこの量子化誤差が大きくなるほど復号画像データＤ３６３、Ｄ３６１、Ｄ３５９の真値からの誤差が大きくなり、画質が劣化する。
【００６１】
そこで、画像信号符号化装置３４０及び画像信号復号化装置３６０における各階層での量子化誤差の影響について考える。ここで、各画素Ｚ₁₁、Ｙ₁₁、……の復号値をＺ₁₁′、Ｙ₁₁′、……とし、真値をＺ₁₁、Ｙ₁₁、……とし、量子化誤差をＥ（Ｚ₁₁）、Ｅ（Ｙ₁₁）……とすると、例えば逆量子化回路３６７によつて得られる第３階層の画素Ｚ₁₁の復号値Ｚ₁₁′は、次式、
【数５】

となる。また、逆量子化回路３６６によつて得られる第２階層の画素Ｙ₁₃、Ｙ₃₁、Ｙ₃₃の復号値Ｙ₁₃′、Ｙ₃₁′、Ｙ₃₃′は、次式、
【数６】

となる。
【００６２】
ところが、画素生成回路３７１によつて復元される第２階層画素Ｙ₁₁は、（３）式に基づいて生成されるので、その復号値Ｙ₁₁′は、次式、
【数７】

となり、Ｚ₁₁についての量子化誤差が４倍となつて影響する。
【００６３】
また、逆量子化回路３６５によつて得られる第１階層画素Ｘ₁₂、Ｘ₂₁、Ｘ₂₂、Ｘ₁₄、Ｘ₂₃、Ｘ₂₄の復号値Ｘ₁₂′、Ｘ₂₁′、Ｘ₂₂′、Ｘ₁₄′、Ｘ₂₃′、Ｘ₂₄′は、次式、
【数８】

となるが、画素生成回路３６９によつて復元される第１階層画素Ｘ₁₃、Ｘ₃₁、Ｘ₃₃は、（４）式に基づいて生成されるので、その復号値Ｘ₁₃′、Ｘ₃₁′、Ｘ₃₃′は、次式、
【数９】

となり、それぞれの復号値Ｘ₁₃′、Ｘ₃₁′、Ｘ₃₃′に、空間的に対応する第２階層画素Ｙ₁₃、Ｙ₃₁、Ｙ₃₃、すなわち対応する上位階層画素についての量子化誤差が４倍となつて影響する。
【００６４】
さらに、画素生成回路３７１を経て画素生成回路３６９によつて復元される第１階層画素Ｘ₁₁においては、その復号値Ｘ₁₁′は、次式、
【数１０】

で示すように、復号値Ｘ₁₁′に、第２階層画素Ｙ₁₃、Ｙ₃₁、Ｙ₃₃についての量子化誤差が４倍となつて影響するのに加えて、第３階層画素Ｚ₁₁についての量子化誤差が１６倍となつて影響する。
【００６５】
図７は、この各復号画素値Ｚ₁₁′、Ｙ₁₁′、Ｙ₁₃′、……に対する各量子化誤差Ｅ（Ｚ₁₁）、Ｅ（Ｙ₁₃）、Ｅ（Ｙ₃₁）、……の影響の大きさの様子を示している。図７を見れば明らかなように、上位階層での量子化誤差は下位階層での復号値に大きな影響を及ぼす。
【００６６】
このため、この第１実施例においては、復号時における上位階層から下位階層への量子化誤差の伝播を考慮して、下位階層での量子化特性を制御することにより上位階層での量子化誤差を相殺し、これにより復号時の画質劣化を防止するようになされている。例えば、上述した（７）式について見ると、画素Ｙ₁₁の復号値Ｙ₁₁′は、４×Ｅ（Ｚ₁₁）−Ｅ（Ｙ₁₃）−Ｅ（Ｙ₃₁）−Ｅ（Ｙ₃₃）分の誤差をもつことになるが、図４で説明した量子化制御処理手順を行うことにより、この誤差を最小とするような量子化を行うことができる。
【００６７】
この結果、第２階層の復元画像におけるインパルス状のノイズ（画素生成回路３７１によつて生成した画素値がこれに相当する）を無くすことができ、視覚特性上画質劣化の目立たない良好な復元画像を得ることができる。
【００６８】
同様に、上述した（１０）式について見ると、画素Ｘ₁₁の復号値Ｘ₁₁′は、４×Ｅ（Ｙ₁₁）−Ｅ（Ｘ₁₂）−Ｅ（Ｘ₂₁）−Ｅ（Ｘ₂₂）分の誤差をもつことになるが、図４で説明した量子化制御処理手順と同様の量子化制御を第２階層と第１階層との間で行うようにしたことにより、その誤差を最小とすることができる。この結果、第１階層の復元画像においてもインパルス状のノイズ成分を無くすことができ、良好な復元画像を得ることができる。
【００６９】
以上の構成によれば、上位階層の１画素を生成するために同じ平均値演算に用いた複数の下位階層画素のうちの１画素分の画素データＹ₁₁、Ｙ₁₅、……、Ｘ₁₁、Ｘ₁₃、……を伝送しないようにすると共に、上位階層画素に空間的に対応する下位階層画素を量子化する際の量子化特性を、復号時の上位階層画素の量子化誤差伝播を考慮して当該量子化誤差を相殺するように制御するようにしたことにより、伝送画素情報を少なくできるため圧縮効率を向上し得、伝送しなかつた画素値を復元した際の真値からの誤差を小さくできるため画質劣化を低減し得る。
【００７０】
（２）第２実施例
図８は、全体として第２実施例の画像信号符号化装置３８０を示している。第１の実施例と比較して、最上位階層を除いて階層間データの残差（差分）圧縮符号化する点を除いて、図１の画像信号符号化装置３４０と同一の構成を有する。したがつて、図１と対応する部分については同一符号を付す。
【００７１】
すなわち、第１実施例の画像信号符号化装置３４０が各画素をＰＣＭ（Pulse Code Modulation ）の形式で伝送するようになされているのに対して、この第２実施例の画像信号符号化装置３８０は、各画素をＤＰＣＭ（Differential Pulse Code Modulation）の形式で伝送するようになされている。したがつて、画像信号符号化装置３８０は、一段と伝送情報量を低減させることができる。
【００７２】
具体的に説明すると、画像信号符号化装置３８０は、第３階層画像データＤ３３５及び第２階層ブロツク化データＤ３３４を差分回路３８１に供給する。そして、差分回路３８１によつて第３階層画像データＤ３３５と第２階層ブロツク化データＤ３３４との間で空間的に対応する画素同士の差分を演算して第２階層差分データＤ３７０を形成し、この第２階層差分データＤ３７０を間引き回路３８２に送出する。このとき、差分回路３８１は、第２階層画素Ｙ₁₃、Ｙ₃₁、Ｙ₃₃の差分値ΔＹ₁₃、ΔＹ₃₁、ΔＹ₃₃を、これらの画素に対応する上位階層画素Ｚ₁₁を用いて、次式、
【数１１】

のようにして求める。
【００７３】
画像信号符号化装置３８０は、同様にして、第２階層ブロツク化データＤ３３４及び第１階層ブロツク化データＤ３３２を差分回路３８３に供給する。差分回路３８３によつて第２階層ブロツク化データＤ３３４と第１階層ブロツク化データＤ３３２との間で空間的に対応する画素同士の差分を演算して第１階層差分データＤ３７１を形成し、この第１階層差分データＤ３７１を間引き回路３８４に送出する。このとき、差分回路３８３は、第１階層画素Ｘ₁₂、Ｘ₂₁、Ｘ₂₂の差分値ΔＸ₁₂、ΔＸ₂₁、ΔＸ₂₂を、これらの画素に対応する上位階層画素Ｙ₁₁を用いて、次式、
【数１２】

のようにして求める。
【００７４】
間引き回路３８４、３８２は、上述した図１に示される間引き回路３４２、３４５と同様に、ブロツク化回路３４１からのブロツク化データＤ３３２及びブロツク化回路３４４からのブロツク化データＤ３３４をそれぞれ受信する。そして、４画素で構成されるブロツク化データＤ３３２、Ｄ３３４に対応して各ブロツクにつき４画素で構成されている第１階層及び第２階層差分データＤ３７１、Ｄ３７０の中からそれぞれ１画素を間引き、各ブロツクにつき取り除かれた１画素を除く残り３画素によつて構成される階層差分間引きデータＤ３７２、Ｄ３７３を形成し、この階層差分間引きデータＤ３７２、Ｄ３７３を量子化回路３８５、３８６に送出する。
【００７５】
量子化回路３８５、３８６及び３８７は、それぞれ第１階層差分間引きデータＤ３７２、第２階層差分間引きデータＤ３７３及び第３階層画像データＤ３３５の各画素データ（８ビツト）に対して歪み最小規範に従つた量子化を施し、これらを２ビツトに量子化した再量子化データＤ３７４、Ｄ３７５及びＤ３７６を生成する。これら再量子化データＤ３７４、Ｄ３７５及びＤ３７６をそれぞれ逆量子化回路３８８、３８９及び３９０に送出する。逆量子化回路３８８、３８９及び３９０は、再量子化データＤ３７４、Ｄ３７５及びＤ３７６を元の８ビツトのデータに戻すために逆量子化を行い、復号データＤ３７７、Ｄ３７８及びＤ３７９を生成し、これら復号データＤ３７７、Ｄ３７８及びＤ３７９を量子化制御回路３９１に送出する。
【００７６】
また、量子化制御回路３９１には、第１階層差分データＤ３７１、第２階層差分データＤ３７０及び第３階層画像データＤ３３５も供給される。量子化制御回路３９１は、上述の第１実施例と同様にして、逆量子化回路３８８〜３９０から得られた復号データＤ３７７〜Ｄ３７９と、第１、第２階層の階層差分データＤ３７１、Ｄ３７０及び第３階層画像データ３３５との値を比較することより量子化誤差の値を求める。そして、量子化制御回路３９１は、この量子化誤差の値に応じて第１階層の量子化回路３８５及び第２階層の量子化回路３８６の量子化を制御するための量子化制御信号Ｓ３０３及びＳ３０４を出力する。
【００７７】
このときの量子化制御も第１実施例と同様に、先ず、第３階層画素の量子化誤差値を求めると共に、第３階層画素に空間的に対応する第２階層画素の量子化誤差値を求める。そして、第２階層で求めた量子化誤差値をその絶対値の大きい順に並べ、その順で順次空間的に対応する第３階層画素の量子化誤差値との差分を演算する。このときに、その減算の都度に、その減算結果が小さくなるように第２階層の量子化回路３８６での各画素の量子化を制御する。
【００７８】
次に、上述したような量子化制御によつて第２階層の量子化回路３８６から出力される新たな再量子化データＤ３８０が逆量子化回路３８９によつて復号され、復号データＤ３８１とされて量子化制御回路３９１に供給される。量子化制御回路３９１は、この逆量子化回路３８９から入力した新たな第２階層差分復号データＤ３８１と、この第２階層差分復号データＤ３８１及び第２階層差分データＤ３７０から得られる第２階層差分データについての量子化誤差値とを用いて、上述した第３階層と第２階層との間の量子化制御と同様の量子化制御を第２階層と第１階層との間で行い、第１階層の量子化回路３８５の量子化特性を各入力画素毎に制御する。
【００７９】
また、このとき量子化制御回路３９１は、量子化回路３８５、３８６を零付近ほど量子化ステツプ幅が小さくなるように制御し、零付近にデータが集中する階層差分間引きデータＤ３７２、Ｄ３７３に対して量子化誤差の小さな再量子化を施すようになされている。
【００８０】
このようにして、量子化回路３８５、３８６、３８７により得られた再量子化データＤ３８２、Ｄ３８０、Ｄ３７６は、可変長符号化回路（ＶＬＣ）３５４、３５５、３５６によつて可変長符号化され、第１階層、第２階層及び第３階層符号化データＤ３８３、Ｄ３８４、Ｄ３８５として出力される。そして、これらの第１階層、第２階層及び第３階層符号化データＤ３８３、Ｄ３８４、Ｄ３８５が続く伝送フオーマツト変換回路３５７に入力され、伝送フオーマツト変換回路３５７は、伝送画像データＤ３８６を形成して、その伝送画像データＤ３８６を出力する。この出力された伝送画像データＤ３８６は、その後、通信路３５８を介して受信側に供給されるか、もしくは記録伝送路を介してデイスク、テープや半導体メモリなどの記録媒体３５９に記録される。
【００８１】
このようにして形成された伝送画像データＤ３８６を復号する画像信号復号装置６００は、例えば、図９に示すように構成することができる。
画像信号復号装置６００において、図５に示された画像信号復号装置３６０との対応部分に同一符号を付している。画像信号復号化装置６００は、通信路３５８を介して供給されるか、もしくは再生伝送路を介して記録媒体３５９から再生される伝送画像データＤ３８６をデータ分流回路３６１に入力する。データ分流回路３６１は、伝送画像データＤ３８６を第１階層、第２階層及び第３階層符号化データＤ３９１、Ｄ３９２及びＤ３９３に分流し、これらの第１階層、第２階層及び第３階層符号化データＤ３９１、Ｄ３９２及びＤ３９３は、可変長復号化回路（ＩＶＬＣ）３６２、３６３及び３６４にそれぞれ供給される。
【００８２】
可変長復号化回路（ＩＶＬＣ）３６２、３６３及び３６４のそれぞれは、第１階層、第２階層及び第３階層符号化データＤ３９１、Ｄ３９２及びＤ３９３をそれぞれ可変長復号し、再量子化データＤ３９４、Ｄ３９５、Ｄ３９６を形成し、これらの再量子化データＤ３９４、Ｄ３９５、Ｄ３９６を逆量子化回路６０１、６０２及び６０３にそれぞれ送出する。なお、可変長復号化回路（ＩＶＬＣ）３６２、３６３及び３６４は、図８で示された可変長符号化回路（ＶＬＣ）３５４、３５５及び３５６にそれぞれ対応する逆処理を実行する。
【００８３】
逆量子化回路６０１、６０２及び６０３は、１画素当り２ビツトに再量子化されてなる再量子化データＤ３９４、Ｄ３９５及びＤ３９６を１画素当り８ビツトでなるデータにそれぞれ逆量子化し、第１階層及び第２階層の階層差分間引きデータＤ３９７及びＤ３９８並びに第３階層復号画像データＤ３９９をそれぞれ生成する。なお、逆量子化回路６０１、６０２及び６０３は、図８で示された量子化回路３８５、３８６及び３８７にそれぞれ対応する逆処理を実行する。
【００８４】
第３階層復号画像データＤ３９９は、そのまま低解像度のテレビジヨンモニタ等に出力されると共に、加算回路６０４及び画素生成回路６０５に送出される。加算回路６０４は、次式、
【数１３】

のような加算演算を行い、第２階層間引き復号データＤ６００を算出する。
【００８５】
画素生成回路６０５は、第２階層差分間引きデータＤ３９８と第３階層復号画像データＤ３９９とを用いて、図８で示された間引き回路３８２で間引かれた第２階層画素Ｙ₁₁を、次式、
【数１４】

により求める。この（１４）式は、上述した（３）式と比較すると、第３階層画素Ｚ₁₁の乗算係数が（３）式では「４」であつたのに対して、この式では「１」となつていることが分かる。このことは（１４）式において、第２階層の画素値に対する第３階層の画素値の影響が（３）式と比べて小さいことを意味する。
【００８６】
合成回路６０６は、第２階層間引き復号データＤ６００と第２階層復元画素データＤ６０１とを合成して第２階層復号画像データＤ６０２を形成し、この第２階層復号画像データＤ６０２を出力端子を介してテレビジヨンモニタ等に出力すると共に、加算回路６０７及び画素生成回路６０８に送出する。加算回路６０７は、次式、
【数１５】

のような加算演算を行い、第１階層間引き復号データＤ６０３を算出する。
【００８７】
画素生成回路６０８は、第１階層差分間引きデータＤ３９７と第２階層復号画像データＤ６０２とを用いて、図８に示された間引き回路３８４で間引かれた第１階層画素Ｘ₁₄、Ｘ₃₁、Ｘ₃₃を、次式、
【数１６】

により求める。また、画素生成回路６０８は、間引かれた第１階層画素Ｘ₁₁を、次式、
【数１７】

により求める。
【００８８】
合成回路６０９は、第１階層間引き復号データＤ６０３と第１階層復元画素データＤ６０４とを合成して、第１階層復号画像データＤ６０５を形成する。そして、この第１階層復号画像データＤ６０５を出力端子を介して、例えば高解像度のテレビジヨンモニタ等に出力する。
【００８９】
次に、第１実施例と同様に、この第２の実施例の画像信号符号化装置３８０及び画像信号復号化装置６００における各階層での量子化誤差の影響について考える。
逆量子化回路６０３によつて得られる第３階層の画素Ｚ₁₁の復号値Ｚ₁₁′は、（５）式と同じとなる。また加算回路６０４によつて得られる第２階層の画素Ｙ₁₃、Ｙ₃₁、Ｙ₃₃の復号値Ｙ₁₃′、Ｙ₃₁′、Ｙ₃₃′は、次式、
【数１８】

で示す値となる。
【００９０】
また、画素生成回路６０５によつて復元される第２階層画素Ｙ₁₁は、（１４）式に基づいて生成されるので、その復号値Ｙ₁₁′は、次式、
【数１９】

で示す値となる。このように、第２実施例の画像信号符号化装置３８０は、最上位階層データと除いて、各階層間の差分データを伝送データとして伝送しており、（１９）式を上述した（７）式と比較すると、第３階層画素Ｚ₁₁の量子化誤差Ｅ（Ｚ₁₁）の乗算係数が（７）式では「４」であつたのに対して、「２」となつていることが分かる。このことは、この第２実施例の符号化復号化によれば、第３階層画素の量子化誤差が第２階層画素の復号に与える影響を半分程度に低減させることができることを意味する。つまり、第１の実施例では、（１９）式から明らかなように、階層間の差分を演算しているために、第３階層の画素Ｚ₁₁の量子化誤差は、第２階層の復号画素値Ｙ₁₁′、Ｙ₁₃′、Ｙ₃₁′、Ｙ₃₃′のすべてに反映されることになる。したがつて、第３階層画素の量子化誤差が第２階層画素の復号に与える影響を低減させることができる。
【００９１】
また加算回路６０７によつて得られる第１階層画素Ｘ₁₂、Ｘ₂₁、Ｘ₂₂、Ｘ₃₂、Ｘ₄₁、Ｘ₄₂の復号値Ｘ₁₂′、Ｘ₂₁′、Ｘ₂₂′、Ｘ₃₂′、Ｘ₄₁′、Ｘ₄₂′は、次式、
【数２０】

で示される値となり、画素生成回路６０８によつて復元される第１階層画素Ｘ₃₁の復号値Ｘ₃₁′は、次式、
【数２１】

で示される値となる。
【００９２】
さらに画素生成回路６０５を経て画素生成回路６０８によつて復元される第１階層画素Ｘ₁₁の復号値Ｘ₁₁′は、次式、
【数２２】

で示される値となり、Ｚ₁₁についての量子化誤差が４倍となつて影響し、Ｙ₁₃、Ｙ₃₁、Ｙ₃₃についての量子化誤差が２倍となつて影響する。しかしながらこの（２２）式と（１０）式を比較すれば明らかなように、Ｚ₁₁、Ｙ₁₃、Ｙ₃₁、Ｙ₃₃の量子化誤差が復号値Ｘ₁₁′に与える影響は第１実施例の場合よりも格段に低減されている。
【００９３】
つまり、第１の実施例では、例えば（１０）式から明らかなように、第３階層の画素Ｚ₁₁量子化誤差及び第２階層の画素Ｙ₁₃、Ｙ₃₁、Ｙ₃₃の量子化誤差は、第１階層の復号画素値Ｘ₁₁′のみに反映されており、第１階層の復号画素Ｘ₁₂′、Ｘ₂₁′、Ｘ₂₂′には反映されていない。
【００９４】
しかしながら、第２の実施例では、（２２）式から明らかなように、階層間の差分を演算しているために、第３階層の画素Ｚ₁₁の量子化誤差及び第２階層の画素Ｙ₁₃、Ｙ₃₁、Ｙ₃₃の量子化誤差は、第１階層の復号画素Ｘ₁₁′、Ｘ₁₂′、Ｘ₂₁′に反映されることになる。したがつて、第３階層画素の量子化誤差及び第２階層画素の量子化誤差が第１階層画素の復号に与える影響を低減させることができる。
【００９５】
かくして第１実施例と比較して、画像信号符号化装置３８０側で間引かれた画素を、画像信号復号化装置６００側で真値に近いかたちで復元できるため、インパルス状のノイズの少ない良好な復元画像を得ることができる。
【００９６】
したがつて、以上の第２実施例の構成によれば、入力画像データＤ３３１から平均値演算により得された複数の階層画像データの各階層データと隣接上位階層データとの階層差分データを生成し、最上位階層データＤ３３５と複数の階層差分データＤ３７２、Ｄ３７３をそれぞれ量子化して複数の階層符号化データを生成する画像信号符号化装置３８０において、最上位階層を除く各階層の画素のうち隣接下位階層の画素及び自分の階層の画素を用いた算術演算によつて復元できる差分画素データΔＹ₁₁、ΔＹ₁₅、……、ΔＸ₁₁、ΔＸ₁₃、……を伝送しないようにすると共に、上位階層画素に空間的に対応する下位階層画素を量子化する際の量子化特性を、復号時の上位階層画素の量子化誤差が下位階層の復号値に与える影響を考慮して当該量子化誤差を相殺するするように制御したことにより、第１実施例の効果に加えて、一段と圧縮符号化効率を向上し得ると共に、一段と画質劣化を向上し得る。
【００９７】
（３）第３実施例
図１０は、全体として第３実施例の画像信号符号化装置６２０を示している。この画像信号符号化装置６２０は、第２実施例と比較して、適応予測回路６２１及び６２２を設けたことを除いて第２実施例の画像信号符号化装置３８０と同様の構成を有する。したがつて、図８と対応部分に同一符号を付して示してしている。
【００９８】
適応予測回路６２１は、第３階層画像データＤ３３５に基づいて所定の予測処理を行い、第２階層画像データＤ３３４に対応する第２階層予測データＤ６１０を生成する。そして、この第２階層予測データを差分回路３８１に送出する。同様に、適応予測回路６２２は、第２階層画像データＤ３３４に基づいて所定の予測処理を行、第１階層画像データＤ３３２に対応する第１階層予測データＤ６２１を生成する。そして、この第１階層予測データを差分回路３８３に送出する。
【００９９】
実際上、適応予測回路６２１及び６２２は、クラス分類適応処理を適用して、複数の上位階層画素から下位階層の１画素を予測する。具体的には、予測しようとする下位階層の画素をその空間的に近傍の複数の上位階層画素のレベル分布に基づいてクラス分類する。また、適応予測回路６２１及び６２２は、予め学習によつて獲得された、クラス毎に複数の予測係数あるいは１個の予測値を格納したメモリ（図示せず）を有し、上記クラス分類で決定されたクラスに対応した複数の予測係数あるいは１個の予測値をメモリから読み出す。予測値の場合は、その予測値がそのまま予測画素として使用され、予測係数の場合は、複数の予測係数と複数の画素との線形一次結合により予測値を生成する。また、予測値は正規化されている場合は、この予測値に所定の処理を施して予測画素を生成する。
【０１００】
このようなクラス分類適応処理の詳細は、例えば特願平4-155719号に開示されている。また、このようなクラス分類適応処理のアルゴリズムは、すでに知られている。また、第３実施例の適応予測回路において、クラス分類適応処理のアルゴリズムが使用されているが、本発明はこれに限らず、他の予測方法を使用するうようにしてもよい。
【０１０１】
画像信号符号化装置６２０により圧縮符号化された伝送画像データＤ３８６′を復号する画像信号復号化装置６００′の構成を図１１に示す。この画像信号復号化装置は、第２実施例の画像信号復号化装置６００と比較して、適応予測回路６２１′及び６２２′を設けたことを除いて第２実施例の画像信号復号化装置６００と同様の構成を有する。したがつて図９との対応部分に同一符号を付して示している。
【０１０２】
この第３実施例による画像信号復号化装置６００′において、第３階層復号データＤ３９９′を入力する第１の適応予測回路６２１′は、図１０に示した適応予測回路６２１に対応するクラス分類適応処理を第３階層復号データＤ３９９′に基づいて実行し、この結果得られる第２階層予測データＤ６１０′を画素生成回路６０５に送出する。
【０１０３】
画素生成回路６０５は、第２階層の逆量子化回路６０２から出力される第２階層差分間引きデータＤ３９８′と第２階層予測データＤ６１０′とを用いて、図１０で示された間引き回路３８２で間引かれた第２階層画素を生成する。また、第３階層復号データＤ３９９′に基づいて第１の適応予測回路６２１′によつて得られた第２階層予測データＤ６１０′は、第２階層の逆量子化回路６０２から出力される第２階層差分間引きデータＤ３９８′に加算される。この加算により得られる第２階層間引き復号データＤ６００′は、画素生成回路６０５によつて生成された第２階層画素Ｄ６０１′と合成され、第２階層復号画像データＤ６０２′となる。
【０１０４】
また、第２階層復号データＤ６０２′を入力する第２の適応予測回路６２２′は、図１０に示した適用予測回路６２２に対応するクラス分類適応処理を第２階層復号データＤ６０２′に基づいて実行し、この結果得られる第１階層予測データＤ６２１′を画素生成回路６０８に送出する。画素生成回路６０８は、第１階層の逆量子化回路６０１から出力される第１階層差分間引きデータＤ３９７′と第１階層予測データＤ６２１′とを用いて、図１０で示された間引き回路３８４で間引かれた第１階層画素を生成する。
【０１０５】
また、第２階層復号データＤ６０２′に基づいて第２の適応予測回路６２２′によつて得られた第１階層予測データＤ６２１′は、第１階層の逆量子化回路６０１から出力される第１階層差分間引きデータＤ３９７′に加算される。この加算により得られる第１階層間引き復号データＤ６０３′は、画素生成回路６０８によつて生成された第１階層画素Ｄ６０４′と合成され、第１階層復号画像データＤ６０５′となる。
【０１０６】
以上、上述した第３実施例の構成によれば、第２実施例の効果に加えて、差分回路３８３及び３８１から得られる第１階層差分データＤ３７１′及び第２階層差分データＤ３７０′の残差を一段と小さくできることにより圧縮符号化効率を一段と向上し得、かくして伝送情報量を一段と低減し得る画像信号符号化装置６２０を実現できる。
【０１０７】
（４）他の実施例
なお、上述の第１、２、３実施例においては、上位階層の画像データを量子化したときの量子化誤差を相殺するように順次下位階層の画像データを量子化するときの量子化特性を制御する場合について述べたが、本発明はこれに限らず、これとは逆に下位階層の画像データを量子化したときの量子化誤差を相殺するように順次上位階層の画像データを量子化するときの量子化特性を制御するようにしても良い。
【０１０８】
さらには、全ての階層の画像データを一旦量子化し、これらを全てローカルデコードすることにより、全ての階層のローカルデコード値と真値との差から復元時の量子化誤差の伝播が最小となるように一気に全ての量子化回路の量子化特性を決めるようにしても良い。つまり、間引きにより取り除かれた画素データを復元するときに生じる量子化誤差の伝播の影響を考慮して、当該伝播する量子化誤差の影響が総合的に最小となるように各画素データに対する量子化特性を制御するようにすれば良い。
【０１０９】
また、上述の第１〜第３実施例において、隣接する画素データの量子化誤差の極性が交互に反転するような量子化を行う場合について述べたが、これに加えて、上位階層の量子化回路ほど量子化ビツト数を大きく（量子化幅を小さくして）細かい量子化を行うようにしてもよい。この際、上位階層の量子化誤差の下位階層への影響度を考慮して、量子化ビツト数を決定するとよい。これにより、さらに一段と復号時の画質劣化を低減することができる。これは、上述したように、復号時に上位階層の量子化誤差が下位階層に影響するためである。
また、上位階層の量子化誤差の下位階層に対する影響度は、最下位階層からの階層段数及び上位階層画素を生成するために使用される画素数に関係してくる。したがつて、これらに応じて量子化ビツト数もしくは量子化幅を決定してもよい。
【０１１０】
また、上述の実施例においては、３階層分の階層画像データＤ３１、Ｄ３４、Ｄ３３５を生成し、これを圧縮符号化して伝送する場合について述べたが、本発明はこれに限らず、順次平均値演算を繰り返すことにより４階層や５階層分の階層画像データを生成し、これを量子化によつて圧縮符号化して伝送する場合にも適用し得る。
【０１１１】
また、上述の実施例においては、下位階層の４画素を用いた平均値演算によつて上位階層の１画素を生成する場合について述べたが、本発明はこれに限らず、例えば下位階層の６画素もしくはそれ以上の画素を用いた平均値演算によつて上位階層の１画素を生成するようにして階層画像データを生成するようにしても良い。
【０１１２】
また、上述した実施例においては、量子化器をすべて線形量子化器として記載したが、本発明はこれに限らず、非線型量子化や適応量子化、さらには、ダイナミツクレンジに応じた適用量子化などを適用してもよい。
【０１１３】
さらに、本発明の実施例は、ブロツク図を用いて示したハードウエアによつて実現しているが、本発明はこれに限らず、ＣＰＵやメモリなどを用いてソフトウエアで実現することも可能である。
【０１１４】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考え得る。従つて、本発明の要旨は、実施例に限定されるものではない。
【０１１５】
【発明の効果】
上述のように本発明によれば、解像度の最も低い最上位階層を除く各階層画像データについて、隣接上位階層の画素データ及び自分の階層の画素データを用いた算術演算によつて復元可能な画素を伝送対象から除外すると共に、復号時に間引きにより取り除かれた画素データを復元するときに生じる量子化誤差の影響が最小となるように各画素データに対する量子化値を変化させることによつて、圧縮効率が向上しかつ画質劣化が低減した階層符号化を実現することができる。
【図面の簡単な説明】
【図１】第１実施例による画像信号符号化装置の構成を示すブロツク図である。
【図２】階層化及び伝送画素の説明に供する略線図である。
【図３】量子化特性の制御の説明に供する略線図である。
【図４】第１実施例による量子化制御処理手順の説明に供するフローチヤートである。
【図５】第１実施例による画像信号復号化装置の構成を示すブロツク図である。
【図６】量子化回路の構成を示すブロツク図である。
【図７】各階層における量子化誤差が各階層の復元画素に与える影響を表わす略線図である。
【図８】第２実施例による画像信号符号化装置の構成を示すブロツク図である。
【図９】第２実施例による画像信号復号化装置の構成を示すブロツク図である。
【図１０】第３実施例による画像信号符号化装置の構成を示すブロツク図である。
【図１１】第３実施例による画像信号復号化装置の構成を示すブロツク図である。
【図１２】従来の階層符号化を実現する画像信号符号化装置の構成を示すブロツク図である。
【図１３】従来の階層符号化データを復号する画像信号復号化装置の構成を示すブロツク図である。
【符号の説明】
３４０、３８０、６２０……画像信号符号化装置、３４３、３４６……平均化回路、３４２、３４５、３８２、３８４……間引き回路、３４７〜３４９、３８５〜３８７……量子化回路、３５３、３９１……量子化制御回路、３６０、６００、６００′……画像信号復号化装置、６２１、６２２、６２１′、６２２′……適応予測回路、Ｄ３３１……入力画像データ、Ｄ３３３……第２階層画像データ、Ｄ３３５……第３階層画像データ、Ｄ３４７、Ｄ３８３……第１階層符号化データ、Ｄ３４８、Ｄ３８４、Ｄ３８４′……第２階層符号化データ、Ｄ３４９、Ｄ３８５、Ｄ３８５′……第３階層符号化データ、Ｄ３５０、Ｄ３８６、Ｄ３８６′……伝送画像データ、Ｚ……第３階層画素、Ｙ……第２階層画素、Ｘ……第１階層画素。[0001]
【table of contents】
The present invention will be described in the following order.
TECHNICAL FIELD OF THE INVENTION
Conventional technology (FIGS. 12 and 13)
Problems to be solved by the invention
Means for solving the problem
BEST MODE FOR CARRYING OUT THE INVENTION
(1) 1st Example (FIGS. 1-7)
(2) Second embodiment (FIGS. 8 and 9)
(3) Third embodiment (FIGS. 10 and 11)
(4) Other embodiments
The invention's effect
[0002]
BACKGROUND OF THE INVENTION
The present invention records an image signal encoding method, an image signal encoding device, an image signal transmission method, and encoded data generated by an image signal encoding method or device that can be decoded by the image signal decoding device. In particular, predetermined image data is divided into multiple layers of image data having different resolutions, and the image data of each layer is encoded to generate encoded data (that is, the image data is hierarchically encoded). It is suitable to be applied to the case.
[0003]
[Prior art]
Conventionally, in this type of image signal encoding apparatus, high resolution input image data is used as first layer image data, second layer data having a resolution lower than that of the first layer data, and second layer data. Third layer data having a resolution lower than that of data is sequentially formed, and the plurality of layer data is compressed and encoded. Thereby, hierarchically encoded data for a plurality of hierarchies in which the amount of information is sequentially reduced is formed, and the plurality of hierarchically encoded data can be transmitted via a communication path or a recording / reproducing path.
[0004]
The image signal decoding apparatus that decodes the plurality of hierarchically encoded data can also decode all of the plurality of hierarchically encoded data, and any one of the hierarchical codes depending on the resolution of the television monitor corresponding to each It is also possible to select and decode a desired one of the digitized data. Thus, if only desired layer data is decoded from a plurality of layered layer data, desired image data can be obtained with a minimum necessary amount of transmission data.
[0005]
Here, as shown in FIG. 12, as this hierarchical encoding, for example, the image signal encoding device 1 that realizes encoding of four layers includes thinning filters 2, 3, and 4 and an interpolation filter 5 for three stages, The reduced image data D2, D3, and D4 having low resolution are sequentially formed for the input image data D1 by the thinning filters 2, 3, and 4 for the input image data D1, and the interpolation filters 5, 6, and 7 are formed. Thus, the reduced image data D2, D3, and D4 are returned to the resolution data D5, D6, and D7 before reduction, respectively.
[0006]
Outputs D2 to D4 of the thinning filters 2 to 4 and outputs D5 to D7 of the interpolation filters 5 to 7 are input to the difference circuits 8, 9, and 10, respectively, and difference data D8, D9, and D10 are generated by the difference circuits. Is done. Since the frequency distribution of the difference data D8 to D10 is concentrated in the vicinity of 0, the image encoding device 1 can reduce the data amount of the hierarchical data and reduce the signal power. In addition, the amount of data can be further reduced by using run-length encoding, Huffman encoding, or the like in a variable-length encoding circuit arranged in the subsequent stage. Here, each of the difference data D8 to D10 and the reduced image data D4 has a size of 1, 1/4, 1/16, 1/64 with respect to the input image data D1.
[0007]
The difference data D8 to D10 obtained from the respective difference circuits 8 to 10 and the reduced image data D4 obtained from the thinning filter are encoded by the encoders 11, 12, 13, and 14, respectively, and subjected to compression processing. The As a result, the first, second, third and fourth hierarchical data D11, D12, D13 and D14 having different resolutions are sent from the encoders 11, 12, 13, and 14 to the communication path in a predetermined order. It is recorded on the recording medium via the transmission path.
[0008]
The first to fourth layer data D11 to D14 transmitted in this way are decoded by the image signal decoding device 20 shown in FIG. That is, the first to fourth hierarchical data D11 to D14 supplied from the communication path or the recording medium via the input terminals are respectively decoded by the decoders 21, 22, 23, and 24. As a result, The decoded fourth layer data D24 is output from the decoder 24.
[0009]
The output of the decoder 23 is added to the interpolation data of the fourth hierarchical data D24 obtained from the interpolation filter 26 in the adding circuit 29, whereby the third hierarchical data D23 is restored. Similarly, the output of the decoder 22 is added to the interpolation data of the third hierarchy data D23 obtained from the interpolation filter 27 in the adder circuit 30, whereby the second hierarchy data D22 is restored. Further, the output of the decoder 21 is added to the interpolation data of the second hierarchical data D22 obtained from the interpolation filter 28 in the adding circuit 31, whereby the first hierarchical data D21 is restored.
[0010]
[Problems to be solved by the invention]
However, in the image signal encoding apparatus 1 that realizes such hierarchical encoding, the input image data D1 is divided into a plurality of hierarchical data, and each hierarchical data is encoded. The amount increases. Therefore, there is a problem that the compression efficiency is reduced as compared with a high efficiency coding method that does not use hierarchical coding.
[0011]
Further, in the image signal decoding apparatus 20, the hierarchical data D24 and D23 are sequentially moved from the upper hierarchical data to the lower hierarchical data so that the lower hierarchical data is restored based on the hierarchical data restored in the upper hierarchy. , D22, D21 are restored. Accordingly, when the encoded upper layer data D14 and D13 are decoded and an error due to compression encoding is included in the decoded data, the lower layer restored layer data D21 or the lower layer where high resolution is originally desired. A compression coding error is propagated to D22, and there is a problem that image quality deterioration based on the error appears very conspicuously in the decompression layer data of the lower layer.
[0012]
The present invention has been made in consideration of the above points. An image signal encoding method and an image signal encoding apparatus that can improve compression efficiency and reduce image quality degradation when hierarchically encoding image data. An image signal transmission method and a recording medium on which encoded data encoded by an image signal encoding method or apparatus decodable by an image signal decoding apparatus is recorded are proposed.
[0013]
[Means for Solving the Problems]
In order to solve such a problem, in the present invention, after each layer image data is generated by an average operation, pixel data that can be restored by an arithmetic operation using the pixel data of the adjacent upper layer and the pixel data of the own layer is thinned out. At the same time, the quantization value for each pixel data is changed so that the influence of the quantization error generated when restoring the pixel data removed by the thinning out at the time of decoding is minimized.
Specifically, the largest quantization error among the lower layer pixels corresponding to the pixels in the upper layer And For lower layer pixels A value obtained by multiplying a quantization error of a pixel in the upper layer by a multiplication coefficient corresponding to the number of pixels corresponding to the lower layer pixel in the upper layer. Difference Small The quantization value is changed so that the second pixel in each lower layer pixel Ocular size of Quantization error And For lower layer pixels The difference and the second magnitude quantization error Difference Small The quantization value is changed as follows.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[0015]
(1) First embodiment
FIG. 1 shows an image signal encoding device 340 according to the first embodiment as a whole. In the first embodiment, a case is shown in which layer data for three layers is formed, and the data for these three layers are respectively compressed and encoded. The image signal encoding device 340 divides the high-resolution input image data D331 (hereinafter referred to as first layer image data) into small blocks of 2 lines × 2 pixels in the block circuit 341, Block data D332 of the hierarchy is formed, and the block data D332 of the first hierarchy is sent to the thinning circuit 342 and the averaging circuit 343.
[0016]
The averaging circuit 343 averages the pixel values in each block of the block data D332 to generate second layer image data D333 reduced to 1/4 of the input image data D331, and this second layer image. Data D333 is sent to the blocking circuit 344. Similar to the blocking circuit 341, the blocking circuit 344 divides the second hierarchical image data D333 into small blocks of 2 lines × 2 pixels to form the second hierarchical blocking data D334. Blocking data D334 of the hierarchy is sent to the thinning circuit 345 and the averaging circuit 346.
[0017]
Similar to the averaging circuit 343, the averaging circuit 346 averages the pixel values in each block of the block data D334 and reduces it to 1/4 of the second layer image data D333, that is, the first layer. Third layer image data D335 reduced to 1/16 of the image data D331 is generated. That is, as shown by the dotted line in FIG. 2C, the averaging circuit 343 has four pixels (for example, X ₁₁ , X ₁₂ , X _{twenty one} , X _{twenty two} )
[Expression 1]

Is used to calculate the average value, and one pixel in the second hierarchy shown in FIG. ₁₁ ) Is generated. Pixel Y ₁₃ , Y ₃₁ ,... Are also generated in the same manner by averaging four pixels in the first layer.
[0018]
Similarly, the averaging circuit 346 has four pixels (for example, Y) in the block of the second hierarchy as shown in FIG. ₁₁ , Y ₁₃ , Y ₃₁ , Y ₃₃ )
[Expression 2]

Is used to calculate the average value, and one pixel (for example, Z) in the third hierarchy shown in FIG. ₁₁ ) Is generated. Pixel Z ₁₅ , Z ₅₁ ,... Are also generated in the same manner by averaging the four pixels in the second layer.
[0019]
The decimation circuits 342 and 345 receive the block data D332 from the block circuit 341 and the block data D334 from the block circuit 344, respectively. The thinned data D336 and D337 are formed by the remaining three pixels excluding the removed one pixel for each block, and the thinned data D336 and D337 are sent to the quantization circuits 347 and 348, respectively. That is, the thinning-out circuit 342 includes the pixel X as indicated by the dotted line in FIG. ₁₁ , X ₁₃ ,... Are deleted by thinning-out, and the thinning-out circuit 345 displays the pixel Y as shown by the dotted line in FIG. ₁₁ , Y ₁₅ , ... are deleted by thinning out.
[0020]
Accordingly, the pixels to be quantized by the first-level quantization circuit 347 and the second-level quantization circuit 348 are the pixels X indicated by the solid lines in FIGS. 2C and 2B. ₁₂ , X _{twenty one} , X _{twenty two} ............ Y ₁₃ , Y ₃₁ , Y ₃₃ In the first layer, the number of transmission pixels can be reduced to 3/4 compared to the case where all the pixels in the first layer are quantized and transmitted. Further, regarding the second layer, the number of transmission pixels is reduced to 3/4 compared to the case where all the pixels of the second layer generated by the average calculation are quantized and transmitted.
[0021]
In general, the image signal encoding device 340 transmits image data of a plurality of layers with the same number of transmission pixels as compared with a case where only the first layer image data D331 is compressed and transmitted. It has been made so that it can. As a result, the image signal encoding device 340 can transmit image data of a plurality of layers without increasing the amount of transmission information. Note that the pixels thinned out by the thinning circuits 342 and 345 can be restored using a simple arithmetic expression on the decoding side (receiving side) described later.
[0022]
The quantization circuits 347, 348, and 349 perform quantization according to the minimum distortion criterion on each pixel (8 bits) of the thinned data D336, D337, and the third layer image data D335, respectively. For example, each input pixel is requantized by 2 bits to compress the amount of information, and requantized data D338, D339, and D340 are formed. That is, as shown in FIG. 3, 8-bit input pixel data having a level of 0 to 255 per pixel is output. When the level is 0 to 63, a quantized value “0” is output, and 64-127 In the case of, the quantization value “1” is output, in the case of 128 to 191, the quantization value “2” is output, and in the case of 192 to 255, the quantization value “3” is output. Accordingly, for example, a quantized value “3” is output for an input pixel with a pixel level L1, and a quantized value “1” is output for an input pixel with a pixel level L2.
[0023]
The quantization circuits 347, 348, and 349 send the requantized data D338, D339, and D340 thus obtained to the inverse quantization circuits 350, 351, and 352, respectively. The inverse quantization circuits 350, 351, and 352 perform inverse quantization to return the requantized data D338, D339, and D340 back to the original 8-bit data, and form the decoded data D341, D342, and D343. Data D341, D342, and D343 are sent to the quantization control circuit 353. That is, the re-quantized data D338 to D340 obtained by the quantization circuits 347 to 349 are locally decoded by the inverse quantization circuits 350, 351, and 352, respectively, and input to the quantization control circuit 353.
[0024]
The quantization control circuit 353 is also supplied with image data D332, D334, and D335 of the first layer, the second layer, and the third layer. As shown below, the quantization control circuit 353 compares the decoded data D341 to D343 obtained from the inverse quantization circuits 350 to 352 with the values of the hierarchical image data D332, D334, and D335, respectively, and the image before quantization. A difference between the data and the decoded data of the quantized image data, that is, a quantization error value is obtained. The quantization control circuit 353 controls the quantization control signal S301 for controlling the quantization characteristics of the first hierarchy quantization circuit 347 and the second hierarchy quantization circuit 348 in accordance with the quantization error value. And S302 are output.
[0025]
In the case of the first embodiment, the quantization control circuit 353 controls the quantization circuits 347 and 348 by executing a quantization control processing procedure as shown in FIG. This quantization control process is performed for each block spatially corresponding to each layer. That is, when the quantization control circuit 353 starts processing based on the processing procedure at step SP0, the decoded data D343 of the third hierarchy input from the inverse quantization circuit 352 and the averaging circuit 346 are input at the subsequent step SP1. The difference from the third layer image data (ie, true value) D335 is calculated to obtain the third layer quantization error value. In FIG. 4, the third layer pixel Z ₁₁ For example, the quantization error value of E (Z ₁₁ ).
[0026]
Next, in step SP2, the quantization control circuit 353 outputs the decoded data D342 of the second layer input from the inverse quantization circuit 351 and the image data (true value) D334 of the second layer input from the block circuit 344. To calculate the second layer quantization error value. Here, pixel Z in the third hierarchy ₁₁ Pixel Y corresponding spatially to ₁₃ , Y ₃₁ , Y ₃₃ Quantization error value E (Y ₁₃ ), E (Y ₃₁ ), E (Y ₃₃ ). Further, in step SP2, these quantization error values E (Y ₁₃ ), E (Y ₃₁ ), E (Y ₃₃ ) Are arranged in descending order of absolute value.
[0027]
Next, in step SP3, the quantization control circuit 353 determines the quantization error value E (Z ₁₁ ) And the second-level quantization error value E (Y ₁₃ ), E (Y ₃₁ ), E (Y ₃₃ ) To calculate the difference from the largest absolute value. In this case, for the reason described later, the quantization error of the third layer is four times and affects the lower layer. Therefore, for example, E (Y ₁₃ ) Is the maximum, A = 4 × E (Z ₁₁ ) -E (Y ₁₃ ). In step SP4, the polarity and magnitude of the difference value A are determined. As a result, the quantization control circuit 353 sends a quantization control signal S302 corresponding to the determination result to the quantization circuit 348 in step SP5. Then, the quantization control circuit 353 controls the quantization circuit 348 so that the difference value A becomes small, and the input pixel Y is input to the quantization circuit 348. ₁₃ Let's quantize. In other words, the quantization value is controlled so that the quantization value is less affected by the quantization error of the third layer with respect to the second layer.
[0028]
That is, the value finally output as the quantized value of the quantizing circuit 348 is a value quantized according to the above-described distortion minimum criterion (that is, the quantizing value is minimized so that the quantization error with the input pixel is minimized). Pixel Y) so that the difference value A is smaller (that is, the influence of the quantization error of the third layer is smaller than the second layer). ₁₃ Becomes a quantized value. For example, pixel Y ₁₃ When the pixel level is L1 in FIG. 3, the quantization value “3” is output according to the minimum distortion criterion. In this first embodiment, the quantization value is controlled by the quantization control circuit 348. A value other than “3”, for example, a quantized value “2” may be output.
[0029]
Next, in step SP6, the quantization control circuit 353 generates the difference value A obtained in step SP3 and the quantization error value E (Y ₁₃ ), E (Y ₃₁ ), E (Y ₃₃ The difference between the absolute value and the second largest absolute value is calculated. For example, E (Y ₃₁ ) Corresponds to that, B = AE (Y ₃₁ ).
[0030]
In the subsequent step SP7, the polarity and size of the difference value B are determined. As a result, the quantization control circuit 353 sends the quantization control signal S302 corresponding to the determination result to the quantization circuit 348 in step SP8. Then, the quantization control circuit 353 controls the quantization circuit 348 so that the difference value B becomes small, and the input pixel Y is input to the quantization circuit 348. ₃₁ Let's quantize. In other words, the quantization value is controlled so that the quantization value is less affected by the quantization error of the third layer with respect to the second layer. That is, in this case as well, the value finally output as the quantized value of the quantizing circuit 348 is a value quantized according to the above-mentioned minimum distortion criterion (that is, the quantization error with the input pixel is Pixel Y so that the difference value B is smaller (that is, the influence of the quantization error of the third layer is smaller than the second layer) instead of the minimum value). ₃₁ Becomes a quantized value.
[0031]
Next, in step SP9, the quantization control circuit 353 calculates the difference value B obtained in step SP6 and the quantization error value E (Y ₁₃ ), E (Y ₃₁ ), E (Y ₃₃ ) To calculate the difference from the smallest absolute value. For example, E (Y ₃₃ ) Is equivalent to C = B−E (Y ₃₃ ).
[0032]
In the subsequent step SP10, the polarity and magnitude of the difference value C are determined. As a result, the quantization control circuit 353 in step SP11 outputs the quantization control signal S302 corresponding to the determination result to the quantization circuit 348. To send. Then, the quantization control circuit 353 controls the quantization circuit 348 so that the difference value B becomes small, and the input pixel Y is input to the quantization circuit 348. ₃₁ Let's quantize. In other words, the quantization value is controlled so that the quantization value is less affected by the quantization error of the third layer with respect to the second layer. That is, in this case as well, the value finally output as the quantized value of the quantizing circuit 348 is a value quantized according to the above-mentioned minimum distortion criterion (that is, the quantization error with the input pixel is Pixel Y, so that the difference value C is smaller (that is, the influence of the quantization error of the third layer is smaller than the second layer). ₃₃ Becomes a quantized value.
[0033]
As a result, the difference values A, B, and C obtained in the order of step SP3, step SP6, and step SP9 are ideally smaller values. Thus, among the difference values A, B, and C that are ideally sequentially reduced, the pixel Y having the largest quantization error is originally applied to the largest difference value A. ₁₃ Is quantized so that the difference value A is canceled out, and for the second largest difference value B, the pixel Y having the second largest quantization error originally. ₃₁ Is quantized so that the difference value B is canceled out, and for the smallest difference value C, the pixel Y that originally has the smallest quantization error (ie, close to the true value) ₃₃ Is quantized so that the difference value C is canceled out. As a result, the pixel Y that originally has a large quantization error. ₁₃ The pixel Y has a small quantization error and is close to the true value even though the value may vary greatly depending on the quantization control. ₃₃ Is controlled so that its value does not change greatly by quantization control.
[0034]
Therefore, the quantization that does not change the value inadvertently is performed on a pixel that originally has a small quantization error. In step SP12, the quantization control circuit 353 outputs the third layer pixel Z. ₁₁ Second-layer pixel Y spatially corresponding to ₁₃ , Y ₃₁ , Y ₃₃ The quantization control processing procedure for is finished.
[0035]
The quantization control circuit 353 performs such processing according to the above-described quantization control processing procedure for all the pixels Z in the third hierarchy. ₁₁ , Z ₁₅ ,... Are performed on the second layer pixels spatially corresponding to each of. As a result, the quantization circuit 348 outputs the requantized data obtained by the control of the quantization control circuit 353 as the quantized output value D344, and the requantized data D344 is output as a new requantized data. The data D339 is also supplied to the inverse quantization circuit 351. Then, the inverse quantization circuit 351 decodes the new quantized data D339 and supplies the new quantized data D339 to the quantization control circuit 353 as new decoded data D345. The quantization control circuit 353 calculates a difference between the new decoded data D345 in the second layer input from the inverse quantization circuit 351 and the image data (true value) D334 in the second layer input from the block circuit 344. Then, a new quantization error value of the second hierarchy is obtained.
[0036]
Then, the quantization control circuit 353 uses the new quantization error value of the second layer and the quantization error value of the first layer obtained from the decoded data D341 and the first layer image data D332, as shown in FIG. The quantization control is performed between the second layer and the first layer based on the quantization procedure in the same manner as the quantization control procedure shown in FIG. 4, and the quantization characteristic of the quantization circuit 347 in the first layer is set for each input pixel. Control every time. Then, the quantization circuit 347 outputs new requantized data obtained by the control of the quantization control circuit 353 as requantized data D346.
[0037]
Re-quantized data D346, D344, and D340 output from the quantization circuits 347, 348, and 349 are supplied to variable length coding circuits (VLC) 354, 355, and 356, respectively. Each of the variable length coding circuits 354 to 356 assigns a shorter Huffman code to the requantized data D346, D344, and D340 as the quantized code having a higher occurrence frequency, and enables each of the requantized data D346, D344, and D340. First-layer encoded data D347, second-layer encoded data D348, and third-layer encoded data D349 expressed with as little code amount as possible are formed, respectively, and these first-layer encoded data D347 and second-layer encoded data are formed. Data D348 and third layer encoded data D349 are sent to transmission format conversion circuit 357.
[0038]
The transmission format conversion circuit 357 arranges the first layer encoded data D347, the second layer encoded data D348, and the third layer encoded data D349 in a predetermined order, and identifies the layer of each layer encoded data. Is added to form transmission image data D350, and this transmission image data D350 is output. The output transmission image data D350 is then supplied to the receiving side via the communication path 358, or is recorded on a recording medium 359 such as a disk, tape, or semiconductor memory via the recording transmission path.
[0039]
The image signal decoding device 360 that decodes the transmission image data D350 formed in this way can be configured as shown in FIG. 5, for example.
The image signal decoding device 360 inputs the transmission image data D350 supplied from the communication path 358 or reproduced from the recording medium 359 via the reproduction transmission path to the data diversion circuit 361. The data diversion circuit 61 has a switching circuit (not shown), and refers to the identification code of each layer included in the transmission image data D350, and the transmission image data D350 is converted into the first layer encoded data D351 and the second layer encoded data D352. And the third layer encoded data D353, and the first layer encoded data D351, the second layer encoded data D352, and the third layer encoded data D353 are respectively variable length decoding circuits (IVLC) 362, 363, 364.
[0040]
The variable-length decoding circuits 362, 363, and 364 perform processing reverse to that of the variable-length encoding circuits 354, 355, and 356 shown in FIG. 1 described above, and are expressed by Huffman codes. The hierarchically encoded data D351, the second hierarchically encoded data D352, and the third hierarchically encoded data D353 are respectively converted into requantized data D354, D355, and D356 expressed by a requantized code. Then, these requantized data D354, D355, and D356 are sent to the inverse quantization circuits 365, 366, and 367, respectively.
[0041]
The inverse quantization circuit 365 dequantizes the requantized data D354, which has been converted to 2 bits per pixel by the quantization circuit 347 shown in FIG. Decoded data D357 is generated. Then, the first hierarchical thinned-out decoded data D357 is sent to the synthesis circuit 368 and the pixel generation circuit 369. The inverse quantization circuit 366 dequantizes the re-quantized data D355, which has been converted to 2 bits per pixel by the quantization circuit 348 shown in FIG. Decoded data D358 is generated. Then, the second hierarchical decimation data D358 is sent to the synthesis circuit 370 and the pixel generation circuit 371.
[0042]
The inverse quantization circuit 367 inversely quantizes the requantized data D356, which has been converted to 2 bits per pixel by the quantization circuit 349 shown in FIG. Output as image data D359. Then, this third layer decoded image data D359 is sent to a low-resolution television monitor with a small number of display pixels via an output terminal, for example, and also sent to the pixel generation circuit 371.
[0043]
The pixel generation circuit 371 uses the third-layer decoded image data D359 and the second-layer thinned-out decoded data D358, and the second thinned out by the thinning-out circuit 345 in the image signal encoding device 340 shown in FIG. 1 described above. A hierarchical pixel (that is, a pixel indicated by a dotted line in FIG. 2B) is restored. For example, the pixel Y of the second hierarchy deleted by thinning ₁₁ Is:
[Equation 3]

It is restored by performing an operation such as Similarly, all the thinned out pixels are restored using the upper layer pixels generated by the averaging and the pixels used for the generation of the upper layer pixels and not thinned out.
[0044]
The synthesizing circuit 370 inserts the second-layer restored pixel data D360 generated in this way into a predetermined position in the second-layer thinned-out decoded data D358 and synthesizes the second-layer decoded image data D361. Form. Then, the second layer decoded image data D361 is sent to a television monitor having a medium number of display pixels through an output terminal, for example, and sent to the pixel generation circuit 369.
[0045]
The pixel generation circuit 369 uses the second layer decoded image data D361 and the first layer thinned decoded data D357 to perform the first thinning performed by the thinning circuit 342 illustrated in FIG. 1 described above. A hierarchical pixel (that is, a pixel indicated by a dotted line in FIG. 2C) is restored. For example, the first layer pixel X deleted by thinning ₁₁ Is:
[Expression 4]

It is restored by performing an operation such as Similarly, all the thinned out pixels are restored using the upper layer pixels generated by the averaging and the pixels used for the generation of the upper layer pixels and not thinned out.
[0046]
The synthesizing circuit 368 inserts the first-layer restored pixel data D362 generated in this way into a predetermined position in the first-layer thinned-out decoded data D357, and synthesizes the first-layer decoded image data D363. Form. Then, the first layer decoded image data D363 is sent to the high-vision television monitor having a large number of display pixels, for example, via the output terminal.
[0047]
As described above, the image signal encoding device 340 according to the first embodiment of the present invention generates the upper layer pixel based on the average value of the plurality of pixels in the lower layer, thereby generating the image data D331 in the plurality of layers. D333 and D335 are generated.
[0048]
In addition to this, the image signal encoding device 340 uses a simple arithmetic operation on the decoding side for one of the pixels used for the same averaging operation for the hierarchical image data excluding the highest layer, that is, the third layer. Therefore, it is excluded from the transmission pixels. As a result, in the image signal encoding device 340, it is possible to realize a hierarchical encoding process that does not involve an increase in the number of transmission pixels due to the hierarchical structure.
[0049]
Furthermore, an example of the configuration of the quantization circuit in the first embodiment of the present invention will be described in detail.
In practice, for example, as an example, the quantization circuit 348 is configured as shown in FIG. Here, the quantization circuit 347 has the same configuration as that of the quantization circuit 348 except for the dotted line path shown in FIG. 6. Therefore, the quantization circuit 348 will be described below, and the quantization circuit 347 will be described. Is omitted. The quantization circuit 348 inputs the thinned data D337 to the quantizing unit 348A, and the quantizing unit 348A quantizes the thinned data D337 of 8 bits per pixel.
[0050]
At this time, for example, when the level thinning data D337 as indicated by L1 in FIG. 3 is input, the quantizing unit 348A determines that the quantized value “3” that is biased toward the positive polarity with respect to the true value is true. Quantized values “2” that are negatively biased with respect to the values are output as quantized outputs D344A and D344B, respectively.
[0051]
The two quantized outputs D344A and D344B are supplied to the selector 348C and the comparison unit 348B, respectively. In the comparison unit 348B, the supplied two quantized outputs D344A and D344B are inversely quantized, and each of the two inversely quantized data is compared with a true value (decimated data D337). Then, the quantized output D344A or D344B with a small error (quantization error) is supplied to the inverse quantization circuit 351 (FIG. 1) as requantized data D339. That is, the processing by the quantizing unit 348A and the comparing unit 348B is equivalent to performing the quantization in accordance with the minimum distortion criterion. As a result, the obtained quantization result (requantized data D339) is sent to the quantization control circuit 353 via the inverse quantization circuit 351.
[0052]
The two quantized outputs D344A and D344B are supplied to the selector 348C. The selector 348C is given a quantization control signal S302 as a switching signal. The quantization control signal S302 is quantized so as to output a quantization value that is less affected by the quantization error between layers (in this case, the quantization error of the third layer relative to the second layer). A signal for selecting either the output D344A or the quantized output D344B. Therefore, either the quantized output D344A or D344B is selectively output as the requantized data D344 based on the quantization control signal S302.
[0053]
Further, the quantization control signal S302 is further supplied to the comparison unit 348B. The comparison unit 348B also outputs the same quantized value selected by the selector 348C as quantized data D339. This is because it is used to generate the re-quantized data D346 of the first layer as described above. Therefore, this configuration is not present in the quantizer 347.
[0054]
In this embodiment, two quantization values are prepared and one of the two quantization values is selected based on the quantization control signal from the quantization control circuit 353. The invention is not limited to this, and it is possible to use two or more quantized values. In that case, the quantization unit may be directly controlled without using the selector.
[0055]
Furthermore, an example of a determination step which is a configuration of the quantization control circuit in the first embodiment of the present invention will be described in detail. Since the control of the quantization circuit 348 and the quantization circuit 347 in the quantization control circuit 353 is the same, the control in the quantization circuit 348 will be described, and the control of the quantization circuit 347 will be omitted. It is assumed that the quantization control circuit 353 basically knows the quantization state of each quantization circuit. The determination step is determined by the polarity and magnitude of the difference value.
[0056]
That is, in the determination step SP4, the polarity and magnitude of the difference value A and E (Z ₁₁ ) And the magnitude of the difference value A is 4 × E (Z ₁₁ The quantization control signal S302 is generated so that the quantization value prepared by the quantizer 348 that is smaller than 0) and close to 0 is output as the output D344 of the quantization value 348. Further, in the determination step SP7, the polarity and magnitude of the difference value B are compared with the polarity and magnitude of the difference value A, and the quantum such that the magnitude of the difference value B is smaller than the magnitude of the difference value A and approaches zero. The quantization control signal S302 is generated so that the quantization value prepared by the quantizer 348 is output as the output D344 of the quantizer 348.
[0057]
However, in this embodiment, since only two quantized values are prepared, the magnitude of the difference value B may not be smaller than the difference value A depending on the judgment result of the judgment step SP4. In this case, a quantization control signal S302 that selects a quantization value according to the minimum distortion criterion is output.
[0058]
Further, in the decision step SP7, the polarity and magnitude of the difference value C and the polarity and magnitude of the difference value B are compared, and the quantum such that the magnitude of the difference value C is smaller than the magnitude of the difference value B and approaches zero. The quantization control signal S302 is generated so that the quantization value prepared by the quantizer 348 is output as the output D344 of the quantization circuit 348. However, in this embodiment, since only two quantized values are prepared, the magnitude of the difference value C may not be smaller than the difference value B depending on the determination result of the determination steps SP4 and / or SP7. . In this case, a quantization control signal S302 that selects a quantization value according to the minimum distortion criterion is output.
[0059]
The above-described operation of the quantization control circuit 353 is an example. That is, the quantization values are corrected in descending order of the quantization error with the input pixel, and finally the quantization error with the upper layer is set to zero. Any configuration may be used as long as the quantization value of each layer is determined so as to approach the value. In this embodiment, the quantization error is corrected in descending order of the quantization error with the input pixel. First, the quantization error between the upper layer and the lower layer is determined. Depending on the result, the quantization value of each layer may be determined comprehensively.
[0060]
In the meantime, in the image signal encoding device 340, as in the above-described embodiment, the amount of data in each layer is compressed by requantizing each layer image data by the quantization circuits 347 to 349. As a result, each of the requantized data D346, D344, and D340 necessarily has a value including a quantization error at the time of requantization. As the quantization error increases, the error from the true value of the decoded image data D363, D361, D359 increases, and the image quality deteriorates.
[0061]
Therefore, the influence of the quantization error in each layer in the image signal encoding device 340 and the image signal decoding device 360 will be considered. Where each pixel Z ₁₁ , Y ₁₁ , ... ₁₁ ', Y ₁₁ ′,… And set the true value to Z ₁₁ , Y ₁₁ , ..., and the quantization error is E (Z ₁₁ ), E (Y ₁₁ )..., For example, the third-layer pixel Z obtained by the inverse quantization circuit 367 ₁₁ Decryption value Z of ₁₁ ′ Is the following formula:
[Equation 5]

It becomes. Further, the second-layer pixel Y obtained by the inverse quantization circuit 366 ₁₃ , Y ₃₁ , Y ₃₃ Decrypted value Y of ₁₃ ', Y ₃₁ ', Y ₃₃ ′ Is the following formula:
[Formula 6]

It becomes.
[0062]
However, the second layer pixel Y restored by the pixel generation circuit 371. ₁₁ Is generated based on the equation (3), so the decoded value Y ₁₁ ′ Is the following formula:
[Expression 7]

Z ₁₁ The quantization error with respect to increases by a factor of four.
[0063]
Further, the first layer pixel X obtained by the inverse quantization circuit 365 is used. ₁₂ , X _{twenty one} , X _{twenty two} , X ₁₄ , X _{twenty three} , X _{twenty four} Decrypted value X of ₁₂ ', X _{twenty one} ', X _{twenty two} ', X ₁₄ ', X _{twenty three} ', X _{twenty four} ′ Is the following formula:
[Equation 8]

The first layer pixel X restored by the pixel generation circuit 369 ₁₃ , X ₃₁ , X ₃₃ Is generated based on the equation (4), the decoded value X ₁₃ ', X ₃₁ ', X ₃₃ ′ Is the following formula:
[Equation 9]

And each decoded value X ₁₃ ', X ₃₁ ', X ₃₃ ′, Spatially corresponding second layer pixel Y ₁₃ , Y ₃₁ , Y ₃₃ That is, the quantization error for the corresponding upper layer pixel is affected by a factor of four.
[0064]
Further, the first layer pixel X restored by the pixel generation circuit 369 via the pixel generation circuit 371. ₁₁ The decoded value X ₁₁ ′ Is the following formula:
[Expression 10]

As shown in FIG. ₁₁ ′, The second layer pixel Y ₁₃ , Y ₃₁ , Y ₃₃ In addition to the fact that the quantization error with respect to increases by a factor of 4, the third layer pixel Z ₁₁ As a result, the quantization error with respect to increases by 16 times.
[0065]
FIG. 7 shows each decoded pixel value Z ₁₁ ', Y ₁₁ ', Y ₁₃ Each quantization error E (Z ₁₁ ), E (Y ₁₃ ), E (Y ₃₁ ), ... shows the magnitude of the influence. As is apparent from FIG. 7, the quantization error in the upper layer greatly affects the decoded value in the lower layer.
[0066]
For this reason, in the first embodiment, the quantization error in the upper layer is controlled by controlling the quantization characteristic in the lower layer in consideration of the propagation of the quantization error from the upper layer to the lower layer at the time of decoding. Thus, image quality deterioration at the time of decoding is prevented. For example, looking at the above equation (7), pixel Y ₁₁ Decrypted value Y of ₁₁ ′ Is 4 × E (Z ₁₁ ) -E (Y ₁₃ ) -E (Y ₃₁ ) -E (Y ₃₃ However, by performing the quantization control processing procedure described with reference to FIG. 4, it is possible to perform quantization so as to minimize this error.
[0067]
As a result, it is possible to eliminate impulse-like noise (the pixel value generated by the pixel generation circuit 371 corresponds to this) in the restored image of the second hierarchy, and a good restored image in which the image quality deterioration is not conspicuous in terms of visual characteristics. Can be obtained.
[0068]
Similarly, looking at the above equation (10), pixel X ₁₁ Decrypted value X of ₁₁ ′ Is 4 × E (Y ₁₁ ) -E (X ₁₂ ) -E (X _{twenty one} ) -E (X _{twenty two} ), But the quantization control similar to the quantization control processing procedure described in FIG. 4 is performed between the second layer and the first layer, so that the error is minimized. It can be. As a result, impulse-like noise components can be eliminated even in the restored image of the first hierarchy, and a good restored image can be obtained.
[0069]
According to the above configuration, pixel data Y for one pixel among a plurality of lower layer pixels used for the same average value calculation to generate one pixel of the upper layer. ₁₁ , Y ₁₅ , ..., X ₁₁ , X ₁₃ ,... Are not transmitted, and the quantization characteristics when quantizing the lower layer pixels spatially corresponding to the upper layer pixels are determined in consideration of the quantization error propagation of the upper layer pixels during decoding. By controlling to cancel the quantization error, the transmission pixel information can be reduced, so that the compression efficiency can be improved, and the error from the true value when the pixel value that has not been transmitted can be restored can be reduced. Image quality deterioration can be reduced.
[0070]
(2) Second embodiment
FIG. 8 shows an image signal encoding device 380 of the second embodiment as a whole. Compared with the first embodiment, it has the same configuration as the image signal encoding device 340 of FIG. 1 except that the residual (difference) compression encoding of inter-layer data is performed except for the highest layer. Accordingly, parts corresponding to those in FIG.
[0071]
That is, the image signal encoding device 340 of the first embodiment transmits each pixel in the form of PCM (Pulse Code Modulation), whereas the image signal encoding device 380 of the second embodiment. Each pixel is transmitted in a DPCM (Differential Pulse Code Modulation) format. Therefore, the image signal encoding device 380 can further reduce the amount of transmission information.
[0072]
More specifically, the image signal encoding device 380 supplies the third hierarchy image data D335 and the second hierarchy block data D334 to the difference circuit 381. Then, the difference circuit 381 calculates the difference between the spatially corresponding pixels between the third layer image data D335 and the second layer blocking data D334 to form second layer difference data D370. The second hierarchy difference data D370 is sent to the thinning circuit 382. At this time, the difference circuit 381 generates the second layer pixel Y ₁₃ , Y ₃₁ , Y ₃₃ Difference value ΔY ₁₃ , ΔY ₃₁ , ΔY ₃₃ , The upper layer pixel Z corresponding to these pixels ₁₁ Using the following formula,
[Expression 11]

It asks like this.
[0073]
Similarly, the image signal encoding device 380 supplies the second hierarchy block data D334 and the first hierarchy block data D332 to the difference circuit 383. The difference circuit 383 calculates the difference between the spatially corresponding pixels between the second hierarchy block data D334 and the first hierarchy block data D332 to form the first hierarchy difference data D371. The one-layer difference data D371 is sent to the thinning circuit 384. At this time, the difference circuit 383 generates the first layer pixel X ₁₂ , X _{twenty one} , X _{twenty two} Difference value ΔX ₁₂ , ΔX _{twenty one} , ΔX _{twenty two} , The upper layer pixel Y corresponding to these pixels ₁₁ Using the following formula,
[Expression 12]

It asks like this.
[0074]
Similarly to the thinning circuits 342 and 345 shown in FIG. 1 described above, the thinning circuits 384 and 382 receive the blocked data D332 from the blocking circuit 341 and the blocked data D334 from the blocking circuit 344, respectively. Then, corresponding to the block data D332 and D334 composed of 4 pixels, one pixel is thinned out from the first layer and second layer difference data D371 and D370 composed of 4 pixels for each block, Hierarchical difference subtraction data D372 and D373 constituted by the remaining three pixels excluding one pixel removed per block are formed, and the hierarchical subtraction data D372 and D373 are sent to the quantization circuits 385 and 386.
[0075]
The quantization circuits 385, 386, and 387 follow the minimum distortion criterion for each pixel data (8 bits) of the first layer difference subtraction data D372, the second layer difference subtraction data D373, and the third layer image data D335, respectively. Quantization is performed, and requantized data D374, D375, and D376 are generated by quantizing them into 2 bits. These requantized data D374, D375, and D376 are sent to inverse quantization circuits 388, 389, and 390, respectively. Inverse quantization circuits 388, 389, and 390 perform inverse quantization to return the requantized data D374, D375, and D376 to the original 8-bit data, and generate decoded data D377, D378, and D379. Data D377, D378, and D379 are sent to the quantization control circuit 391.
[0076]
The quantization control circuit 391 is also supplied with first layer difference data D371, second layer difference data D370, and third layer image data D335. In the same manner as in the first embodiment described above, the quantization control circuit 391 includes the decoded data D377 to D379 obtained from the inverse quantization circuits 388 to 390, the hierarchical difference data D371 and D370 of the first and second hierarchies, and The quantization error value is obtained by comparing the value with the third layer image data 335. Then, the quantization control circuit 391 controls the quantization control signals S303 and S304 for controlling the quantization of the first layer quantization circuit 385 and the second layer quantization circuit 386 according to the value of the quantization error. Is output.
[0077]
In the quantization control at this time, similarly to the first embodiment, first, the quantization error value of the third layer pixel is obtained, and the quantization error value of the second layer pixel spatially corresponding to the third layer pixel is obtained. Ask. Then, the quantization error values obtained in the second hierarchy are arranged in descending order of their absolute values, and a difference from the quantization error value of the third hierarchy pixel corresponding spatially in that order is calculated. At this time, the quantization of each pixel in the quantization circuit 386 in the second hierarchy is controlled so that the subtraction result becomes smaller every time the subtraction is performed.
[0078]
Next, the new re-quantized data D380 output from the second-level quantization circuit 386 by the quantization control as described above is decoded by the inverse quantization circuit 389 to be decoded data D381. This is supplied to the quantization control circuit 391. The quantization control circuit 391 includes the new second layer difference decoded data D381 input from the inverse quantization circuit 389, and the second layer difference data obtained from the second layer difference decoded data D381 and the second layer difference data D370. The same quantization control as that between the third hierarchy and the second hierarchy described above is performed between the second hierarchy and the first hierarchy using the quantization error value for the first hierarchy. The quantization characteristic of the quantization circuit 385 is controlled for each input pixel.
[0079]
Further, at this time, the quantization control circuit 391 controls the quantization circuits 385 and 386 so that the quantization step width becomes smaller near zero, and for the hierarchical difference subtraction data D372 and D373 where data concentrates near zero. Requantization with a small quantization error is performed.
[0080]
In this way, the requantized data D382, D380, and D376 obtained by the quantization circuits 385, 386, and 387 are variable-length encoded by the variable-length encoding circuits (VLC) 354, 355, and 356, The first layer, second layer, and third layer encoded data D383, D384, and D385 are output. Then, these first layer, second layer, and third layer encoded data D383, D384, and D385 are input to the transmission format conversion circuit 357, and the transmission format conversion circuit 357 forms transmission image data D386, The transmission image data D386 is output. The output transmission image data D386 is then supplied to the receiving side via the communication path 358 or is recorded on a recording medium 359 such as a disk, tape, or semiconductor memory via the recording transmission path.
[0081]
An image signal decoding apparatus 600 that decodes the transmission image data D386 formed in this way can be configured as shown in FIG. 9, for example.
In the image signal decoding device 600, the same reference numerals are given to the corresponding parts to the image signal decoding device 360 shown in FIG. 5. The image signal decoding apparatus 600 inputs the transmission image data D386 supplied from the recording medium 359 via the communication channel 358 or reproduced from the recording medium 359 to the data diversion circuit 361. The data diversion circuit 361 divides the transmission image data D386 into first layer, second layer, and third layer encoded data D391, D392, and D393, and these first layer, second layer, and third layer encoded data. D391, D392, and D393 are supplied to variable length decoding circuits (IVLC) 362, 363, and 364, respectively.
[0082]
Each of the variable length decoding circuits (IVLC) 362, 363, and 364 performs variable length decoding on the first layer, second layer, and third layer encoded data D391, D392, and D393, respectively, and re-quantized data D394, D395. , D396, and these requantized data D394, D395, and D396 are sent to the inverse quantization circuits 601, 602, and 603, respectively. Note that the variable length decoding circuits (IVLC) 362, 363, and 364 perform inverse processing corresponding to the variable length coding circuits (VLC) 354, 355, and 356 shown in FIG.
[0083]
The inverse quantization circuits 601, 602, and 603 dequantize the requantized data D394, D395, and D396, which are requantized to 2 bits per pixel, into data of 8 bits per pixel, respectively. And hierarchical difference difference data D397 and D398 of the second hierarchy and third hierarchy decoded image data D399 are generated, respectively. Note that the inverse quantization circuits 601, 602, and 603 execute inverse processing corresponding to the quantization circuits 385, 386, and 387 shown in FIG.
[0084]
Third-layer decoded image data D399 is output as it is to a low-resolution television monitor or the like, and is also transmitted to addition circuit 604 and pixel generation circuit 605. The adder circuit 604 has the following formula:
[Formula 13]

The second layer decimation data D600 is calculated by performing the addition operation as described above.
[0085]
The pixel generation circuit 605 uses the second layer difference subtraction data D398 and the third layer decoded image data D399, and uses the second layer pixel Y thinned out by the thinning circuit 382 shown in FIG. ₁₁ With the following formula:
[Expression 14]

Ask for. Compared with the above-described equation (3), this equation (14) is the third layer pixel Z ₁₁ It can be seen that the multiplication coefficient of (4) is “4” in the equation (3), whereas it is “1” in this equation. This means that the influence of the pixel value of the third layer on the pixel value of the second layer is smaller in the equation (14) than the equation (3).
[0086]
The synthesizing circuit 606 synthesizes the second hierarchy thinned decoded data D600 and the second hierarchy restored pixel data D601 to form second hierarchy decoded image data D602, and this second hierarchy decoded image data D602 is output via the output terminal. In addition to outputting to a television monitor or the like, the data is sent to an addition circuit 607 and a pixel generation circuit 608. The adder circuit 607 has the following formula:
[Expression 15]

The first layer decimation data D603 is calculated by performing the addition operation as described above.
[0087]
The pixel generation circuit 608 uses the first layer difference subtraction data D397 and the second layer decoded image data D602, and uses the first layer pixel X thinned out by the thinning circuit 384 shown in FIG. ₁₄ , X ₃₁ , X ₃₃ With the following formula:
[Expression 16]

Ask for. In addition, the pixel generation circuit 608 uses the thinned first layer pixel X ₁₁ With the following formula:
[Expression 17]

Ask for.
[0088]
The synthesizing circuit 609 synthesizes the first layer deciphered decoded data D603 and the first layer restored pixel data D604 to form first layer decoded image data D605. Then, the first layer decoded image data D605 is output to, for example, a high-resolution television monitor via an output terminal.
[0089]
Next, as in the first embodiment, the influence of the quantization error in each layer in the image signal encoding device 380 and the image signal decoding device 600 of the second embodiment will be considered.
Third-layer pixel Z obtained by inverse quantization circuit 603 ₁₁ Decryption value Z of ₁₁ ′ Is the same as the equation (5). The second-layer pixel Y obtained by the adder circuit 604 ₁₃ , Y ₃₁ , Y ₃₃ Decrypted value Y of ₁₃ ', Y ₃₁ ', Y ₃₃ ′ Is the following formula:
[Formula 18]

It becomes the value shown by.
[0090]
In addition, the second layer pixel Y restored by the pixel generation circuit 605 ₁₁ Is generated based on the equation (14), so the decoded value Y ₁₁ ′ Is the following formula:
[Equation 19]

It becomes the value shown by. As described above, the image signal encoding device 380 according to the second embodiment transmits the difference data between the layers as the transmission data except for the highest layer data, and the equation (19) is described above as (7). Compared with the equation, the third-layer pixel Z ₁₁ Quantization error E (Z ₁₁ It can be seen that the multiplication coefficient of) is “2” in contrast to “4” in the equation (7). This means that according to the encoding / decoding of the second embodiment, the influence of the quantization error of the third layer pixel on the decoding of the second layer pixel can be reduced to about half. That is, in the first embodiment, as apparent from the equation (19), the difference between the hierarchies is calculated. ₁₁ The quantization error of is the decoded pixel value Y of the second layer ₁₁ ', Y ₁₃ ', Y ₃₁ ', Y ₃₃ It will be reflected in all of '. Therefore, the influence of the quantization error of the third layer pixel on the decoding of the second layer pixel can be reduced.
[0091]
The first layer pixel X obtained by the adder circuit 607 is also shown. ₁₂ , X _{twenty one} , X _{twenty two} , X ₃₂ , X ₄₁ , X ₄₂ Decrypted value X of ₁₂ ', X _{twenty one} ', X _{twenty two} ', X ₃₂ ', X ₄₁ ', X ₄₂ ′ Is the following formula:
[Expression 20]

And the first layer pixel X restored by the pixel generation circuit 608. ₃₁ Decrypted value X of ₃₁ ′ Is the following formula:
[Expression 21]

The value indicated by.
[0092]
Further, the first layer pixel X restored by the pixel generation circuit 608 via the pixel generation circuit 605. ₁₁ Decrypted value X of ₁₁ ′ Is the following formula:
[Expression 22]

The value indicated by ₁₁ As the quantization error for increases by a factor of 4, Y ₁₃ , Y ₃₁ , Y ₃₃ The quantization error with respect to will be doubled. However, as is clear from a comparison of the equations (22) and (10), Z ₁₁ , Y ₁₃ , Y ₃₁ , Y ₃₃ Is the decoded value X ₁₁ The influence on ′ is significantly reduced as compared with the case of the first embodiment.
[0093]
That is, in the first embodiment, for example, as is clear from the equation (10), the pixel Z in the third hierarchy is used. ₁₁ Quantization error and second layer pixel Y ₁₃ , Y ₃₁ , Y ₃₃ The quantization error of is the decoded pixel value X of the first layer ₁₁ ′ Only, and the decoded pixel X of the first layer ₁₂ ', X _{twenty one} ', X _{twenty two} It is not reflected in ′.
[0094]
However, in the second embodiment, as apparent from the equation (22), the difference between the hierarchies is calculated. ₁₁ Quantization error and second layer pixel Y ₁₃ , Y ₃₁ , Y ₃₃ The quantization error of the first-level decoded pixel X ₁₁ ', X ₁₂ ', X _{twenty one} It will be reflected in ′. Therefore, the influence of the quantization error of the third layer pixel and the quantization error of the second layer pixel on the decoding of the first layer pixel can be reduced.
[0095]
Thus, compared with the first embodiment, since the pixels thinned out on the image signal encoding device 380 side can be restored in a form close to the true value on the image signal decoding device 600 side, the impulse noise is good with less noise. Can be obtained.
[0096]
Therefore, according to the configuration of the second embodiment described above, hierarchical difference data between each hierarchical data of a plurality of hierarchical image data obtained by average value calculation from the input image data D331 and adjacent higher hierarchical data is generated. In the image signal encoding device 380 that quantizes the highest hierarchy data D335 and the plurality of hierarchy difference data D372 and D373, respectively, and generates a plurality of hierarchy encoded data, the adjacent lower layer among the pixels of each hierarchy except the highest hierarchy Differential pixel data ΔY that can be restored by an arithmetic operation using the pixels of the hierarchy and the pixels of the own hierarchy ₁₁ , ΔY ₁₅ , ..., ΔX ₁₁ , ΔX ₁₃ ,... Are not transmitted, and the quantization characteristics when quantizing the lower layer pixels spatially corresponding to the upper layer pixels are expressed as follows. In addition to the effects of the first embodiment, the compression encoding efficiency can be further improved and the image quality deterioration can be further improved by controlling to cancel the quantization error in consideration of the influence on the image quality. .
[0097]
(3) Third embodiment
FIG. 10 shows an image signal encoding device 620 of the third embodiment as a whole. This image signal encoding device 620 has a configuration similar to that of the image signal encoding device 380 of the second embodiment, except that adaptive prediction circuits 621 and 622 are provided, compared to the second embodiment. Therefore, the same reference numerals are given to the corresponding parts in FIG.
[0098]
The adaptive prediction circuit 621 performs a predetermined prediction process based on the third hierarchy image data D335, and generates second hierarchy prediction data D610 corresponding to the second hierarchy image data D334. Then, the second layer prediction data is sent to the difference circuit 381. Similarly, the adaptive prediction circuit 622 performs a predetermined prediction process based on the second layer image data D334 and generates first layer prediction data D621 corresponding to the first layer image data D332. Then, the first layer prediction data is sent to the difference circuit 383.
[0099]
In practice, the adaptive prediction circuits 621 and 622 apply a class classification adaptive process to predict one pixel in the lower layer from a plurality of upper layer pixels. Specifically, the lower layer pixels to be predicted are classified based on the level distribution of a plurality of upper layer pixels spatially nearby. The adaptive prediction circuits 621 and 622 have a memory (not shown) storing a plurality of prediction coefficients or one prediction value for each class, which is obtained by learning in advance, and is determined based on the class classification. A plurality of prediction coefficients or one prediction value corresponding to the determined class is read from the memory. In the case of a prediction value, the prediction value is used as it is as a prediction pixel. In the case of a prediction coefficient, a prediction value is generated by linear linear combination of a plurality of prediction coefficients and a plurality of pixels. Further, when the predicted value is normalized, the predicted value is generated by performing a predetermined process on the predicted value.
[0100]
Details of such class classification adaptation processing are disclosed, for example, in Japanese Patent Application No. 4-155719. Such an algorithm for adaptive classification processing is already known. In the adaptive prediction circuit of the third embodiment, an algorithm for class classification adaptive processing is used. However, the present invention is not limited to this, and other prediction methods may be used.
[0101]
FIG. 11 shows the configuration of an image signal decoding apparatus 600 ′ that decodes transmission image data D386 ′ that has been compression-encoded by the image signal encoding apparatus 620. The image signal decoding apparatus according to the second embodiment is different from the image signal decoding apparatus 600 according to the second embodiment except that adaptive prediction circuits 621 ′ and 622 ′ are provided. It has the same configuration as. Therefore, the same reference numerals are given to the corresponding parts to FIG.
[0102]
In the image signal decoding apparatus 600 ′ according to the third embodiment, the first adaptive prediction circuit 621 ′ to which the third layer decoded data D399 ′ is input is the class classification adaptive corresponding to the adaptive prediction circuit 621 shown in FIG. The process is executed based on the third layer decoded data D399 ′, and the second layer prediction data D610 ′ obtained as a result is sent to the pixel generation circuit 605.
[0103]
The pixel generation circuit 605 uses the second hierarchy difference subtraction data D398 ′ and the second hierarchy prediction data D610 ′ output from the second hierarchy inverse quantization circuit 602, and performs the decimation circuit 382 shown in FIG. A thinned second layer pixel is generated. Also, the second layer prediction data D610 ′ obtained by the first adaptive prediction circuit 621 ′ based on the third layer decoded data D399 ′ is output from the second layer inverse quantization circuit 602. It is added to the subtraction data D398 'for the hierarchical difference. The second layer deciphered decoded data D600 ′ obtained by this addition is combined with the second layer pixel D601 ′ generated by the pixel generation circuit 605 to become second layer decoded image data D602 ′.
[0104]
Also, the second adaptive prediction circuit 622 ′ that receives the second layer decoded data D602 ′ executes the class classification adaptive process corresponding to the applied prediction circuit 622 shown in FIG. 10 based on the second layer decoded data D602 ′. Then, the first layer prediction data D621 ′ obtained as a result is sent to the pixel generation circuit 608. The pixel generation circuit 608 uses the first hierarchy difference subtraction data D397 ′ and the first hierarchy prediction data D621 ′ output from the first hierarchy inverse quantization circuit 601 and the decimation circuit 384 shown in FIG. A thinned first layer pixel is generated.
[0105]
Also, the first layer prediction data D621 ′ obtained by the second adaptive prediction circuit 622 ′ based on the second layer decoded data D602 ′ is output from the first layer inverse quantization circuit 601. It is added to the subtraction data D397 'for the hierarchy difference. The first layer deciphered decoded data D603 ′ obtained by this addition is combined with the first layer pixel D604 ′ generated by the pixel generation circuit 608 to become the first layer decoded image data D605 ′.
[0106]
As described above, according to the configuration of the third embodiment described above, in addition to the effects of the second embodiment, the residual of the first layer difference data D371 ′ and the second layer difference data D370 ′ obtained from the difference circuits 383 and 381. Therefore, the compression coding efficiency can be further improved, and thus the image signal encoding device 620 that can further reduce the transmission information amount can be realized.
[0107]
(4) Other embodiments
In the first, second, and third embodiments described above, the quantization characteristics when sequentially quantizing the lower layer image data so as to cancel the quantization error when the upper layer image data is quantized are set. Although the case of controlling has been described, the present invention is not limited to this, and conversely, the upper layer image data is sequentially quantized so as to cancel the quantization error when the lower layer image data is quantized. You may make it control the quantization characteristic at the time.
[0108]
Furthermore, once the image data of all layers is quantized once and all of them are locally decoded, the propagation of quantization error at the time of restoration is minimized from the difference between the local decode value and the true value of all layers. Alternatively, the quantization characteristics of all the quantization circuits may be determined at once. In other words, considering the influence of the propagation of quantization error that occurs when restoring pixel data removed by decimation, the quantization for each pixel data is minimized so that the influence of the propagation quantization error is minimized. What is necessary is just to control a characteristic.
[0109]
Further, in the first to third embodiments described above, the case where the quantization is performed so that the polarity of the quantization error of the adjacent pixel data is alternately reversed has been described. Finer quantization may be performed with a larger number of quantization bits (a smaller quantization width) for circuits. At this time, the number of quantization bits may be determined in consideration of the degree of influence of the quantization error of the upper layer on the lower layer. As a result, image quality degradation during decoding can be further reduced. This is because, as described above, the quantization error of the upper layer affects the lower layer during decoding.
Also, the degree of influence of the upper layer quantization error on the lower layer is related to the number of layers from the lowest layer and the number of pixels used to generate the upper layer pixels. Therefore, the number of quantization bits or the quantization width may be determined according to these.
[0110]
In the above-described embodiment, the case has been described where hierarchical image data D31, D34, and D335 for three layers are generated and compressed and transmitted. However, the present invention is not limited to this, and the average value is sequentially calculated. The present invention can also be applied to the case where layer image data for four layers or five layers is generated by repeating the operation, and this is compressed and encoded by quantization and transmitted.
[0111]
Further, in the above-described embodiment, the case where one pixel of the upper layer is generated by the average value calculation using the four pixels of the lower layer has been described. However, the present invention is not limited to this. Hierarchical image data may be generated by generating one pixel in the upper hierarchy by an average value calculation using pixels or more pixels.
[0112]
In the above-described embodiments, all quantizers are described as linear quantizers. However, the present invention is not limited to this, and is applicable to nonlinear quantization, adaptive quantization, and dynamic range. Quantization or the like may be applied.
[0113]
Furthermore, although the embodiments of the present invention are realized by the hardware shown using the block diagram, the present invention is not limited to this, and can also be realized by software using a CPU or a memory. It is.
[0114]
Various modifications and application examples can be considered without departing from the gist of the present invention. Therefore, the gist of the present invention is not limited to the examples.
[0115]
【The invention's effect】
As described above, according to the present invention, for each layer image data excluding the highest layer having the lowest resolution, pixels that can be restored by arithmetic operation using the pixel data of the adjacent upper layer and the pixel data of the own layer. And changing the quantization value for each pixel data so that the influence of the quantization error that occurs when restoring the pixel data removed by decimation at the time of decoding is minimized. Ruko Therefore, it is possible to realize hierarchical encoding with improved compression efficiency and reduced image quality degradation.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image signal encoding apparatus according to a first embodiment.
FIG. 2 is a schematic diagram for explaining hierarchization and transmission pixels;
FIG. 3 is a schematic diagram for explaining control of quantization characteristics;
FIG. 4 is a flowchart for explaining a quantization control processing procedure according to the first embodiment;
FIG. 5 is a block diagram showing a configuration of an image signal decoding apparatus according to the first embodiment.
FIG. 6 is a block diagram showing a configuration of a quantization circuit.
FIG. 7 is a schematic diagram illustrating an influence of a quantization error in each layer on a restored pixel in each layer.
FIG. 8 is a block diagram showing a configuration of an image signal encoding apparatus according to a second embodiment.
FIG. 9 is a block diagram showing a configuration of an image signal decoding apparatus according to a second embodiment.
FIG. 10 is a block diagram showing a configuration of an image signal encoding device according to a third embodiment.
FIG. 11 is a block diagram showing a configuration of an image signal decoding apparatus according to a third embodiment.
FIG. 12 is a block diagram showing a configuration of a conventional image signal encoding apparatus that realizes hierarchical encoding.
FIG. 13 is a block diagram showing a configuration of a conventional image signal decoding apparatus that decodes hierarchically encoded data.
[Explanation of symbols]
340, 380, 620 ... Image signal encoding device, 343, 346 ... Averaging circuit, 342, 345, 382, 384 ... Decimation circuit, 347-349, 385-387 ... Quantization circuit, 353, 391 …… Quantization control circuit, 360, 600, 600 ′ …… Image signal decoding device, 621, 622, 621 ′, 622 ′ …… Adaptive prediction circuit, D331 …… Input image data, D333 …… Second layer image Data, D335 ... Third layer image data, D347, D383 ... First layer encoded data, D348, D384, D384 '... Second layer encoded data, D349, D385, D385' ... Third layer code Data, D350, D386, D386 ′... Transmission image data, Z... Third layer pixel, Y... Second layer pixel, X.

Claims (9)

An image signal encoding method for generating a plurality of hierarchical image data having different resolutions from input image data and encoding each hierarchical image data,
A first step of averaging a plurality of pixel values of each hierarchical image data to generate higher hierarchical image data;
For each layer image data except the highest layer having the lowest resolution, pixel data for one pixel among a plurality of lower layer pixels used for the same average value calculation to generate one pixel of the upper layer is thinned out, and the rest A second step of forming decimation data formed by the pixels;
A third step of compressing and encoding the thinned data of each layer excluding the highest layer image data and the highest layer by quantization, and generating a plurality of layer encoded data,
In the third step,
Among the above lower layer pixel corresponding to the pixel in the upper layer, for the maximum quantization error and ing lower layer pixel, to the lower layer pixel in the upper layer with respect to the quantization error of the pixel in the upper layer the difference between the value obtained by multiplying the multiplication coefficient corresponding to a corresponding number of pixels by changing the quantized values so that a small,
Among the above lower layer pixel, for second magnitude lower hierarchy pixel quantization error and ing of said difference and, in so that the difference is small and the quantization error of the second magnitude above An image signal encoding method characterized by changing a quantized value. An image signal encoding method for generating a plurality of hierarchical image data having different resolutions from input image data and encoding each hierarchical image data,
A first step of averaging a plurality of pixel values of each hierarchical image data to generate higher hierarchical image data;
For each layer image data excluding the highest layer data with the lowest resolution, a second step of calculating the difference between each layer image data and the adjacent upper layer image data to form layer difference data;
With respect to the hierarchical difference data of each layer, the difference pixel data that can be restored by the arithmetic operation using the difference data of the adjacent upper layer and the difference data of the own layer is thinned, and the thinned data formed by the remaining pixels is formed. A third step;
A fourth step of compressing and encoding the thinned data of each layer excluding the top layer image data and the top layer by quantization, and generating a plurality of layer encoded data,
In the fourth step,
Among the above lower layer pixel corresponding to the pixel in the upper layer, for the maximum quantization error and ing lower layer pixel, to the lower layer pixel in the upper layer with respect to the quantization error of the pixel in the upper layer the difference between the value obtained by multiplying the multiplication coefficient corresponding to a corresponding number of pixels by changing the quantized values so that a small,
Among the above lower layer pixel, for second magnitude lower hierarchy pixel quantization error and ing of said difference and, in so that the difference is small and the quantization error of the second magnitude above An image signal encoding method characterized by changing a quantized value. In the second step,
Calculating the hierarchical difference data by taking a difference between each hierarchical image data and the adjacent lower hierarchical image data predicted and generated by a predetermined prediction calculation process using the adjacent upper hierarchical image data. The image signal encoding method according to claim 2. An image signal encoding device for generating a plurality of hierarchical image data with different resolutions from input image data and encoding each hierarchical image data,
A first unit that averages a plurality of pixel values of each hierarchical image data and generates upper hierarchical image data;
For each layer image data except the highest layer having the lowest resolution, pixel data for one pixel among a plurality of lower layer pixels used for the same average value calculation to generate one pixel of the upper layer is thinned out, and the rest A second unit for forming thinned data formed by the pixels of
A third unit for compressing and encoding the thinned data except the top layer image data and the top layer by quantization and generating a plurality of layer encoded data,
In the third unit,
Among the above lower layer pixel corresponding to the pixel in the upper layer, for the maximum quantization error and ing lower layer pixel, to the lower layer pixel in the upper layer with respect to the quantization error of the pixel in the upper layer the difference between the value obtained by multiplying the multiplication coefficient corresponding to a corresponding number of pixels by changing the quantized values so that a small,
Among the above lower layer pixel, for second magnitude lower hierarchy pixel quantization error and ing of said difference and, in so that the difference is small and the quantization error of the second magnitude above An image signal encoding apparatus characterized by changing a quantized value. An image signal encoding device for generating a plurality of hierarchical image data with different resolutions from input image data and encoding each hierarchical image data,
A first unit that averages a plurality of pixel values of each hierarchical image data and generates upper hierarchical image data;
A second unit that calculates a difference between each layer image data and adjacent upper layer image data for each layer image data excluding the highest layer data having the lowest resolution, and forms layer difference data;
With respect to the hierarchical difference data of each layer, the difference pixel data that can be restored by the arithmetic operation using the difference data of the adjacent upper layer and the difference data of the own layer is thinned, and the thinned data formed by the remaining pixels is formed. A third unit,
A fourth unit that compresses and encodes the thinned data of each layer excluding the highest layer image data and the highest layer by quantization, and generates a plurality of layered encoded data,
In the fourth unit,
Among the above lower layer pixel corresponding to the pixel in the upper layer, for the maximum quantization error and ing lower layer pixel, to the lower layer pixel in the upper layer with respect to the quantization error of the pixel in the upper layer the difference between the value obtained by multiplying the multiplication coefficient corresponding to a corresponding number of pixels by changing the quantized values so that a small,
Among the above lower layer pixel, for second magnitude lower hierarchy pixel quantization error and ing of said difference and, in so that the difference is small and the quantization error of the second magnitude above An image signal encoding apparatus characterized by changing a quantized value. In the second unit,
Calculating the hierarchical difference data by taking a difference between each hierarchical image data and the adjacent lower hierarchical image data predicted and generated by a predetermined prediction calculation process using the adjacent upper hierarchical image data. The image signal encoding device according to claim 5. An image signal transmission method for generating a plurality of hierarchical image data having different resolutions from input image data, encoding each hierarchical image data, and transmitting the encoded data,
A first step of averaging a plurality of pixel values of each hierarchical image data to generate higher hierarchical image data;
For each layer image data except the highest layer having the lowest resolution, pixel data for one pixel among a plurality of lower layer pixels used for the same average value calculation to generate one pixel of the upper layer is thinned out, and the rest A second step of forming decimation data formed by the pixels;
A third step of compressing and encoding the thinned data except the top layer image data and the top layer by quantization and generating a plurality of layer encoded data as transmission image data;
A fourth step of transmitting the transmission image data,
In the third step,
Among the above lower layer pixel corresponding to the pixel in the upper layer, for the maximum quantization error and ing lower layer pixel, to the lower layer pixel in the upper layer with respect to the quantization error of the pixel in the upper layer the difference between the value obtained by multiplying the multiplication coefficient corresponding to a corresponding number of pixels by changing the quantized values so that a small,
Among the above lower layer pixel, for second magnitude lower hierarchy pixel quantization error and ing of said difference and, in so that the difference is small and the quantization error of the second magnitude above An image signal transmission method characterized by changing a quantization value. An image signal transmission method for generating a plurality of hierarchical image data having different resolutions from input image data, encoding each hierarchical image data, and transmitting the encoded data,
A first step of averaging a plurality of pixel values of each hierarchical image data to generate higher hierarchical image data;
For each layer image data excluding the highest layer data with the lowest resolution, a second step of calculating the difference between each layer image data and the adjacent upper layer image data to form layer difference data;
With respect to the hierarchical difference data of each layer, the difference pixel data that can be restored by the arithmetic operation using the difference data of the adjacent upper layer and the difference data of the own layer is thinned, and the thinned data formed by the remaining pixels is formed. A third step;
A fourth step of compressing and encoding the thinned data excluding the highest hierarchy image data and each hierarchy excluding the highest hierarchy by quantization to generate a plurality of hierarchy encoded data as transmission image data;
A fifth step of transmitting the transmission image data,
In the fourth step,
Among the above lower layer pixel corresponding to the pixel in the upper layer, for the maximum quantization error and ing lower layer pixel, to the lower layer pixel in the upper layer with respect to the quantization error of the pixel in the upper layer the difference between the value obtained by multiplying the multiplication coefficient corresponding to a corresponding number of pixels by changing the quantized values so that a small,
Among the above lower layer pixel, for second magnitude lower hierarchy pixel quantization error and ing of said difference and, in so that the difference is small and the quantization error of the second magnitude above An image signal transmission method characterized by changing a quantization value. In the second step,
Calculating the hierarchical difference data by taking a difference between each hierarchical image data and the adjacent lower hierarchical image data predicted and generated by a predetermined prediction calculation process using the adjacent upper hierarchical image data. The image signal transmission method according to claim 8.

Images