JP3717573B2

JP3717573B2 - Hierarchical encoding method and hierarchical encoding apparatus

Info

Publication number: JP3717573B2
Application number: JP33506195A
Authority: JP
Inventors: 智子小林; 天浦野; 秀雄児玉; 安八濱本; 悦子杉本
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1995-12-22
Filing date: 1995-12-22
Publication date: 2005-11-16
Anticipated expiration: 2015-12-22
Also published as: JPH09182065A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の階層符号化に関する。
【０００２】
【従来の技術】
画像の階層符号化は、復号器側の要求に応じて異なる解像度や画質の画像を得る場合や、グレースフル・デグラデーション(graceful degradation:伝送時に妨害があっても画質の劣化が段階的になるようにする手法)を実現する場合に有効であり、放送・通信分野では重要な符号化方法である。
【０００３】
周知の如く、動画像圧縮の国際的規格MPEG2においても、階層符号化が盛り込まれている。
画質の階層符号化には、SNRスケーラビリティ採用されている。又、解像度の階層符号化には、空間スケーラビリティが、採用されている(監修：藤原洋、株式会社アスキ−1994年8月1日発行の「最新MPEG教科書」の148〜151頁参照)。
【０００４】
このSNRスケーラビリティとは、同じ画像の画質を段階的に変える手法で下位階層では低画質が得られ、上位階層では高画質が得られる。この上位階層の符号化時には、下位階層の画像を上位階層の予測画像として用い、上位階層と下位階層との誤差を符号化する。
又、空間スケーラビリティとは、階層により扱う画像サイズが違う。この上位階層では、低位階層のアップサンプリングした画像を上位階層の予測画像として用いるものであり、上位階層では予測画像との誤差を符号化する。
【０００５】
図１を参照しつつ、従来の一例の概略を説明する。
この従来例は、空間スケーラビリティに適応した階層符号化である。ここでの、階層は下位階層・上位階層の2階層とし、下位階層は上位階層の1/4の画像サイズとする。
図１において、(10)は、下位階層画像の入力端子である。
【０００６】
(12)は、上位階層画像の入力端子である。
(14)は、下位階層画像の符号化回路である。この符号化回路(14)は、下位階層の画像をブロックに分割し、DCT回路(16)でDCT処理を行い、量子化回路(18)で量子化し、VLC回路(20)で可変長符号化する。符号化回路(14)は、下位階層の画像信号を符号化されたビットストリ−ムとして出力する。
【０００７】
(22)は、下位階層画像の復号化回路である。この復号化回路(22)は、符号化された下位階層の画像を復号する。VLD回路(24)で可変長復号し、逆量子化回路(26)で逆量子化し、IDCT回路(28)で逆DCT処理を行い元の下位階層画像に復号する。
(30)は、アップサンプリング回路である。このアップサンプリング回路(30)は、下位階層の画像サイズを、上位階層の画像サイズに変換する。このアップサンプリング回路(30)の出力画像は、予測画像として用いられる。
【０００８】
(32)は、減算回路である。この減算回路(32)は、上位階層画像から予測画像を減算して、誤差画像を出力する。
(34)は、この誤差画像用の符号化回路である。この符号化回路(34)は、誤差画像をブロックに分割し、DCT回路(36)でDCT処理を行い、量子化回路(38)で量子化し、VLC回路(40)で可変長符号化する。符号化回路(34)は、誤差画像を符号化したビットストリ−ムを出力する。
【０００９】
尚、この回路図は、概略のみを示している。例えば、実際のMPEG２の空間スケーラビリティであれば、入力画像は動画像である。また、ビットレートを一定に保つために、発生符号量に応じて、量子化回路(18)(38)の量子化ステップ幅を変更する符号量制御も行われる。更に、動き補償予測フレーム間圧縮も行われる。ところで、この階層符号化された符号データには、階層符号化独自の付加情報が必要となる。このために発生ビットの冗長度が増すことになる。このため、画質の劣化が発生するという問題がある。
【００１０】
この画質の劣化は、１画面あたりの割り当て符号量が、少ないほど明らかになる傾向がある。
例えば、MPEG2の空間スケーラビリティの4Mbpsのビットレートで符号化の場合復号画像は、MPEG2のメインプロファイルの4Mbpsのビットレートで符号化の場合復号画像に比べて、非常に見にくいものになっている。
【００１１】
【発明が解決しようとする課題】
この低ビットレートで階層符号化する場合、SNR(SNR:Signal to Noise Ration)は、色差信号より輝度信号で悪くなる傾向がある。
輝度信号の品質が悪いとモスキートノイズが目だったり、あるいはブロック歪みが現れるという問題が発生する。
【００１２】
本発明は、階層符号化において、画質を向上させることを目的とする。
つまり、同じ符号量又はビットレートで、より自然に見える画像を提供すること目的とする。
【００１３】
【課題を解決するための手段】
ところで、人間の視覚特生として「輝度信号には敏感であるが、色信号には鈍感である」という特性があり、この特性を利用して、色差信号のみを間引いたりしている。例えば、MPEG2では、色差信号のみを1/4に間引いた4:2:0フォーマットと呼ばれる画像を符号化・復号化処理に用いる方法が広く用いられている。
【００１４】
そこで、本願では、低位階層の色差信号が必要な品質を得ている場合、上位階層では色差信号の符号化を打ち切る。つまり、色差信号のデータを破棄し、色差信号の符号化を禁止する。これにより、色差信号を符号化した場合に発生する符号量を、輝度信号に振り分けることが可能となり、画質が向上する。
尚、輝度信号も同様に処理しても良い。つまり、下位階層の輝度信号が必要な画質を得ている場合、上位階層では輝度信号の符号化を打ち切るようにしてもよい。
【００１５】
また、この色差信号の符号化を行うか？打ち切りか？の判定として、低位階層の色差信号の品質を求め、この品質が予め設定しているレベルより高い値であれば上位階層では色差信号の符号化を行わない。つまり、本願では、上位階層で色差信号の符号化を行うか否かを、低位階層の色差信号の品質が、設定レベルを既に満足するものであるかどうかにより判定している。
【００１６】
また、この判定基準となるレベルは、任意に設定変更してもよい。
また、この判定のタイミングは画面毎、複数の画面に一度、あるいは画面内の一定領域毎に行うなどでもよい。
【００１７】
【発明の実施の形態】
図２、図３を参照しつつ、本発明の第１実施例を説明する。
この第１実施例は、従来例と同様に、空間スケーラビリティに適応した階層符号化である。また、階層は下位階層・上位階層の2階層とし、下位階層は上位階層の1/4の画像サイズとする。
【００１８】
なお、第１実施例において、従来例と同一部分には同一符号を付した。
図２は、第１実施例の概略を示す構成図である。
(42)は、色差SNR検出回路である。
(44)は、基準SNR設定回路である。
(46)は、色差信号符号化判定回路である。色差信号を符号化するか否かを判定する。
【００１９】
(48)は、色差信号符号化制御回路である。この色差信号符号化制御回路(48)は、色差信号符号化判定回路(46)が色差信号を符号化しないと判定すると色差信号を破棄する。
この第１実施例では、輝度信号については、従来と同様に処理される。
この第１実施例の特徴は、画面毎に色差信号符号化判定を行い、色差信号を符号化するか否かを制御することである。
【００２０】
この第１実施例では、下位階層画像の輝度信号及び色差信号は、従来と同様に符号化処理を行い、ビットストリームを作成する。
上位階層画像の処理においては、下位階層の符号化された色差信号を基に色差信号符号化判定を行い、上位階層で色差信号を符号化するかを判定する。この実施例では、符号化された色差信号の品質を求めるために、一旦、符号化された画像を再度復号して、品質を求めている。
【００２１】
本実施例では、画面毎に色差信号符号化判定を行い、色差信号を符号化するか否かを制御する。
色差SNR検出回路(42)は、下位階層をアップサンプリングした画像の色差信号と、上位階層の画像の色差信号とを比較して、全画面の色差信号のSNRを求める。
【００２２】
また、基準SNR設定回路(44)において、使用者により基準SNRのレベルが設定される。
色差信号符号化判定回路(46)では、色差SNR検出回路(42)からの検出したSNR( 以下、色差SNR)と、基準SNR設定回路(44)からのSNR(以下、基準SNR)を比較する。
【００２３】
これにより、色差SNRが基準SNRより大きければ、下位階層の色差信号だけで、上位階層の求める色の品質を満足すると判定する。そして、上位階層の色差信号の符号化を行わない。
逆に、色差SNRが基準SNRより小さければ、下位階層の色差信号だけでは満足する品質が得られていないと判定して上位階層で色差信号の符号化を行う。
【００２４】
図３を参照しつつ、このSNRの比較を説明する。
ここでは、使用者により、基準SNR設定回路(44)において設定された基準SNRの値を30dBとする。
そして、色差SNR検出回路(42)により、下位階層の画面n〜画面n+5から検出した色差信号のSNRが、図３の検出SNR値に示す値であるとする。
【００２５】
色差信号符号化判定回路(46)は、検出SNR(色差SNR)と基準SNRとを比較する。そして、色差SNRの値が30dBより小さい画面n、画面n+1、画面n+4については、下位階層の色差信号が満足いく品質ではないと判定して、上位階層処理において従来通り色差信号の符号化を行う。
また、色差SNRの値が30dBより大きい画面n+2、画面n+3、画面n+5については、上位階層処理において、色差信号の符号化を行わない。
【００２６】
この第１実施例では、色差信号符号化判定回路(46)における判定は、画面毎に行っている。
しかし、本願は、これに限定されるものではなく、画面内の一定領域毎に行ってもよい。尚、この場合は、当然、色差SNRもこの一定領域毎に検出する。
又、動画像の場合は、例えば、以下のように設定しても良い。
【００２７】
(a1).シーンチェンジを検出し、このシーンチェンジ時に行う。
(a2).一定の画面毎に行う
(a3).最初の一画面について行う
また、この第１実施例では、色差SNRは、画面の色差信号の全画面のSNRから求めている。
【００２８】
しかし、本願は、これに限定されるものではなく、以下のようにしてもよい。
(b1).色差信号の全画面のSNR(第１実施例で適用)。
(b2).幾つかのサンプルブロックのSNRの平均値。
(b3).幾つかのサンプルブロックのSNRの最大値、或は最小値、或は中間値。
(b4).画面内の所定領域毎のSNR。
【００２９】
また、この第１実施例では、色差SNRは、符号・復号・アップサンプリング処理された画像と、上位階層画像とを、比較して求めている。
しかし、本願は、これに限定されるものではなく、色差SNRを、符号・復号処理された画像と、下位階層画像とを、比較して求めても良い。
また、基準SNRの設定方法も、この第１実施例に限定されるものではなく、以下のようにしてもよい。
【００３０】
(c1).人間の視覚に自然に感じられるように、人が調整した値(本実施例で適用)。
(c2).事前に処理した複数画面の色差信号のSNRを参考にした値。
(c3).輝度信号が得ている品質(SNR)を基準にした値。
また、基準SNRの値も固定値である必要はなく、適応的に値を可変することも可能である。
【００３１】
(d1).つまり、色差信号が重要な画面又は画面部分においては、基準SNRを大きくする。
(d2).また、色差信号が重要でない画面又は画面部分においては、基準SNRを小さくする。
このように、本実施例によれば、既に一定以上の品質が得られている色差信号については上位階層での符号化を行わないので、発生符号量を削減できる。また、符号量制御を行うものであれば、この削減量だけ、輝度信号の符号量を増加出来、画質の向上が図れる。
【００３２】
又、色差信号符号化判定のための基準SNRは、任意に設定可能であるから、人間に不自然な印象を与えない範囲で色差信号の符号化を打ち切るように制御が可能である。
また、基準SNRに非常に大きな値を設定すれば、必ず色差信号を符号化すれこととなり、従来と同様の階層符号化データを得ることもできる。
【００３３】
図４を参照しつつ、本発明の第２実施例を説明する。
この第２実施例は、色差信号が輝度信号よりも良い品質が得られている場合は、色差信号の符号化を打ち切るものである。
(42)は、色差SNR検出回路である。この色差SNR検出回路(42) は、色差SNRを、復号化回路(22)からの画像(色差信号成分)と下位階層画像(色差信号成分)とを、比較して求めている。
【００３４】
(50)は、輝度信号のSNRを求める基準SNR設定回路である。この基準SNR設定回路(50)は、基準SNRを、復号化回路(22)からの画像(輝度信号成分)と上位階層画像(輝度信号成分)とを、比較して求めている。
この第２実施例では、色差SNR検出回路(42)が、下位階層のアップサンプリング後の画像の色差信号により、全画面のSNRの平均値を検出する。
【００３５】
そして、基準SNR設定回路(50)は、輝度信号の全画面のSNR平均値を検出し、このSNR値から基準SNRを設定している。
尚、この第２実施例では、色差SNR及び基準SNRは、画面毎に検出したが、これに限定されるものでは無く、画面内の所定領域毎に設定してもよい。
図５を参照しつつ、本発明の第３実施例を説明する。
【００３６】
この第３実施例では、動画像が入力される。
そして、第３実施例は、この動画像の種類により、基準SNRを変更するものである。
(54)は、画像種別判定回路である。この画像種別判定回路(54)は、動きを検出して、動きの激しい動画像か？静止している動画像か？、及び、周波数成分は高いか否か？等を判定する。
【００３７】
(52)は、基準SNR設定回路である。この基準SNR設定回路(52)は、画像種別判定回路(54)により、基準SNRを変更する。
この第３実施例では、画像の種類により基準SNRを変化させるものである。
例えば、画像種別判定回路(54)により、画像の動きがかなり少なく平坦であれば、基準SNR設定回路(52)は基準SNRを大きくして、色差信号を符号化する。また、動きがかなり早い場合や高周波成分の多い場合は、基準SNR設定回路(52)は基準SNRを小さくして色差信号を符号化しない。
【００３８】
図６を参照しつつ、本発明の第４実施例を説明する。
この第４実施例は、上位階層の色差信号の符号化時の品質を、下位階層の色差信号の符号化時の品質(色差SNR)にある程度追随させるものである。
(56)は、色差SNR平均回路である。この色差SNR平均回路(56)は、色差SNRを平均化する。
【００３９】
(58)は、基準SNR設定回路である。この基準SNR設定回路(58)は、色差SNR平均回路(56)の出力に+3dBした値を基準SNRとして、出力する。
尚、この基準SNR設定回路(58)は、この+3dBした値が、予かじめ設定された下限値より小さい場合は、この下限値を換わって出力する。同様に、この+3dBした値が、予かじめ設定された上限値より大きな場合は、この上限値を換わって出力する。尚、このような置換出力は、ほとんど発生しないと考えられるが、一応設けた。
【００４０】
尚、上記実施例では、記述しなかったが、当然、色差信号を伝送する場合と、伝送しない場合を、復号側で容易に判断できるように、モード識別コードを挿入するようにしてもよい。
又、本願の実施例では、空間的な階層符号化である空間スケーラビリティについて説明したが、本願は、当然、画質の階層符号化を実現するSNRスケーラビリティやその他の階層符号化にも適応できる。
【００４１】
また、本実施例では、回路ブロック図により説明したが、近年のマイクロコンピュ−タの高速化高機能化により、このような、符号化処理をソフトウエアで行うことも可能である。
また、本実施例では、階層符号化として、２階層のものを説明したぐ、本願はこれに限定されるものではない。
【００４２】
また、本願の基準SNRを求める時、この階層符号化がMPEG２等の符号量制御を行う動画像の階層符号化であれば、出力ビットレートに応じて、基準SNRを変更する様にしてもよい。
【００４３】
【発明の効果】
このように、本願によれば、低位階層で既に一定以上の品質が得られている画像については上位階層での符号化を行わないので、発生符号量を削減できる。また、符号量制御を行うものであれば、この削減分だけ、他の部分に振り分けることができるため、品質を上げることができる。
【００４４】
また、本願によれば、低位階層で既に一定以上の品質が得られている色差信号については上位階層での符号化を行わないので、発生符号量を削減できる。また、符号量制御を行うものであれば、この削減量だけ、輝度信号の符号量を増加出来、画質の向上が図れる。
【図面の簡単な説明】
【図１】従来の空間スケーラビリティの階層符号化の概略を示す図である。
【図２】本発明の第１実施例の概略を示す図である。
【図３】本発明の色差信号符号化判定を説明するための図である。
【図４】本発明の第２実施例の概略を示す図である。
【図５】本発明の第３実施例の概略を示す図である。
【図６】本発明の第４実施例の概略を示す図である。
【符号の説明】
(14)・・・・・・・・・符号化回路(第１の符号化回路)、
(22)・・・・・・・・・復号化回路、
(32)・・・・・・・・・減算回路、
(34)・・・・・・・・・符号化回路(第２の符号化回路)、
(40)・・・・・・・・・VLC回路(可変長符号化回路)、
(42)・・・・・・・・・色差SNR検出回路、
(46)・・・・・・・・・色差信号符号化判定回路、
(48)・・・・・・・・・色差信号符号化制御回路。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to hierarchical encoding of images.
[0002]
[Prior art]
Hierarchical coding of images can be used to obtain images with different resolutions and image quality according to the requirements of the decoder, or graceful degradation (gradual degradation of image quality even if there is interference during transmission) This is an effective encoding method and is an important encoding method in the broadcasting / communication field.
[0003]
As is well known, hierarchical encoding is also incorporated in the MPEG2 international standard for moving image compression.
SNR scalability is used for hierarchical coding of image quality. Spatial scalability is also used for resolution hierarchical coding (supervised by Hiroshi Fujiwara, Aski Co., Ltd., see pages 148 to 151 of the latest MPEG textbook issued on August 1, 1994).
[0004]
This SNR scalability is a technique that changes the image quality of the same image step by step. Low image quality is obtained in the lower layer, and high image quality is obtained in the upper layer. At the time of encoding the upper layer, an image of the lower layer is used as a predicted image of the upper layer, and an error between the upper layer and the lower layer is encoded.
Also, spatial scalability is different from the image size handled by the hierarchy. In this upper layer, an up-sampled image in the lower layer is used as a predicted image in the upper layer, and an error from the predicted image is encoded in the upper layer.
[0005]
An outline of a conventional example will be described with reference to FIG.
This conventional example is hierarchical coding adapted to spatial scalability. Here, the hierarchies are two hierarchies, a lower hierarchy and an upper hierarchy, and the lower hierarchy has an image size that is 1/4 of the upper hierarchy.
In FIG. 1, (10) is an input terminal for a lower layer image.
[0006]
(12) is an input terminal for an upper layer image.
(14) is a lower-layer image encoding circuit. This encoding circuit (14) divides the lower layer image into blocks, performs DCT processing in the DCT circuit (16), quantizes in the quantization circuit (18), and variable length encoding in the VLC circuit (20) To do. The encoding circuit (14) outputs the lower layer image signal as an encoded bitstream.
[0007]
(22) is a lower layer image decoding circuit. The decoding circuit (22) decodes the encoded lower layer image. The VLD circuit (24) performs variable length decoding, the inverse quantization circuit (26) performs inverse quantization, and the IDCT circuit (28) performs inverse DCT processing to decode the original lower layer image.
(30) is an upsampling circuit. The upsampling circuit (30) converts the image size of the lower layer to the image size of the upper layer. The output image of the upsampling circuit (30) is used as a predicted image.
[0008]
(32) is a subtraction circuit. The subtraction circuit (32) subtracts the predicted image from the upper layer image and outputs an error image.
(34) is an encoding circuit for this error image. The encoding circuit (34) divides the error image into blocks, performs DCT processing by the DCT circuit (36), quantizes by the quantization circuit (38), and performs variable length encoding by the VLC circuit (40). The encoding circuit (34) outputs a bit stream obtained by encoding the error image.
[0009]
This circuit diagram shows only an outline. For example, in the case of actual MPEG2 spatial scalability, the input image is a moving image. Further, in order to keep the bit rate constant, code amount control is performed to change the quantization step width of the quantization circuits (18) and (38) according to the generated code amount. Further, motion compensation prediction interframe compression is also performed. By the way, this hierarchically encoded code data requires additional information unique to hierarchical encoding. This increases the redundancy of generated bits. For this reason, there is a problem that image quality is deteriorated.
[0010]
This deterioration in image quality tends to become apparent as the allocated code amount per screen decreases.
For example, in the case of encoding at a 4 Mbps bit rate of MPEG2 spatial scalability, a decoded image is very difficult to see compared to a decoded image in the case of encoding at a 4 Mbps bit rate of the MPEG2 main profile.
[0011]
[Problems to be solved by the invention]
When hierarchical coding is performed at this low bit rate, SNR (Signal to Noise Ration) tends to be worse for luminance signals than for color difference signals.
If the quality of the luminance signal is poor, there is a problem that mosquito noise is noticeable or block distortion appears.
[0012]
An object of the present invention is to improve image quality in hierarchical coding.
That is, an object is to provide an image that looks more natural with the same code amount or bit rate.
[0013]
[Means for Solving the Problems]
By the way, as a human visual feature, there is a characteristic that “it is sensitive to a luminance signal but insensitive to a color signal”, and using this characteristic, only a color difference signal is thinned out. For example, in MPEG2, a method of using an image called 4: 2: 0 format obtained by thinning only a color difference signal to 1/4 for encoding / decoding processing is widely used.
[0014]
Therefore, in the present application, when the color difference signal in the lower layer has a required quality, the encoding of the color difference signal is terminated in the upper layer. That is, the data of the color difference signal is discarded and the encoding of the color difference signal is prohibited. As a result, the amount of code generated when the color difference signal is encoded can be distributed to the luminance signal, and the image quality is improved.
The luminance signal may be processed similarly. That is, when the luminance signal of the lower layer obtains the required image quality, the encoding of the luminance signal may be terminated at the upper layer.
[0015]
Also, is this color difference signal encoded? Is it censored? In this determination, the quality of the color difference signal in the lower hierarchy is obtained, and if the quality is higher than a preset level, the color difference signal is not encoded in the upper hierarchy. That is, in the present application, whether or not the color difference signal is encoded in the upper layer is determined based on whether or not the quality of the color difference signal in the lower layer already satisfies the set level.
[0016]
Further, the level serving as the determination criterion may be arbitrarily changed.
Further, the timing of this determination may be performed for each screen, once for a plurality of screens, or for each predetermined area in the screen.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
A first embodiment of the present invention will be described with reference to FIGS.
The first embodiment is a hierarchical coding adapted to the spatial scalability as in the conventional example. In addition, the hierarchies are two layers, a lower layer and an upper layer, and the lower layer has an image size that is 1/4 of the upper layer.
[0018]
In the first embodiment, the same parts as those in the conventional example are denoted by the same reference numerals.
FIG. 2 is a block diagram showing an outline of the first embodiment.
(42) is a color difference SNR detection circuit.
(44) is a reference SNR setting circuit.
(46) is a color difference signal encoding determination circuit. It is determined whether or not to encode the color difference signal.
[0019]
(48) is a color difference signal encoding control circuit. The color difference signal encoding control circuit (48) discards the color difference signal when the color difference signal encoding determination circuit (46) determines not to encode the color difference signal.
In the first embodiment, the luminance signal is processed in the same manner as in the prior art.
The feature of the first embodiment is that color difference signal encoding determination is performed for each screen and whether or not the color difference signal is encoded is controlled.
[0020]
In the first embodiment, the luminance signal and color difference signal of the lower layer image are encoded in the same manner as in the prior art to create a bit stream.
In the processing of the upper layer image, the color difference signal encoding determination is performed based on the encoded color difference signal of the lower layer, and it is determined whether the color difference signal is encoded in the upper layer. In this embodiment, in order to obtain the quality of the encoded color difference signal, the encoded image is once decoded again to obtain the quality.
[0021]
In this embodiment, color difference signal encoding determination is performed for each screen, and whether or not the color difference signal is encoded is controlled.
The color difference SNR detection circuit (42) compares the color difference signal of the image obtained by upsampling the lower layer with the color difference signal of the image of the upper layer, and obtains the SNR of the color difference signal of the entire screen.
[0022]
In the reference SNR setting circuit (44), the level of the reference SNR is set by the user.
The color difference signal encoding determination circuit (46) compares the SNR detected from the color difference SNR detection circuit (42) (hereinafter referred to as color difference SNR) with the SNR from the reference SNR setting circuit (44) (hereinafter referred to as reference SNR). .
[0023]
Thus, if the color difference SNR is larger than the reference SNR, it is determined that only the color difference signal in the lower layer satisfies the color quality required by the upper layer. Then, the color difference signal in the upper layer is not encoded.
On the other hand, if the color difference SNR is smaller than the reference SNR, it is determined that satisfactory quality is not obtained with only the lower layer color difference signal, and the color difference signal is encoded in the upper layer.
[0024]
The comparison of SNR will be described with reference to FIG.
Here, the value of the reference SNR set by the user in the reference SNR setting circuit (44) is 30 dB.
Then, it is assumed that the SNR of the color difference signal detected from the lower layer screen n to the screen n + 5 by the color difference SNR detection circuit (42) is a value shown in the detected SNR value of FIG.
[0025]
The color difference signal encoding determination circuit (46) compares the detected SNR (color difference SNR) with the reference SNR. Then, for screen n, screen n + 1, and screen n + 4 where the color difference SNR value is less than 30 dB, it is determined that the color difference signal of the lower layer is not satisfactory quality, and the color difference signal of the color difference signal is conventionally used in the upper layer processing. Encoding is performed.
In addition, for the screen n + 2, the screen n + 3, and the screen n + 5 having a color difference SNR value larger than 30 dB, the color difference signal is not encoded in the upper layer processing.
[0026]
In the first embodiment, the determination in the color difference signal encoding determination circuit (46) is performed for each screen.
However, the present application is not limited to this, and may be performed for each predetermined area in the screen. In this case, as a matter of course, the color difference SNR is also detected for each fixed region.
In the case of a moving image, for example, it may be set as follows.
[0027]
(a1). A scene change is detected and performed at this scene change.
(a2). Perform every fixed screen
(a3). Performed for the first screen Further, in the first embodiment, the color difference SNR is obtained from the SNR of the entire screen of the color difference signal of the screen.
[0028]
However, the present application is not limited to this, and may be as follows.
(b1). SNR of the entire color difference signal screen (applied in the first embodiment).
(b2). Average value of SNR of several sample blocks.
(b3) The maximum value, minimum value, or intermediate value of SNR of several sample blocks.
(b4). SNR for each predetermined area in the screen.
[0029]
In the first embodiment, the color difference SNR is obtained by comparing the image that has been subjected to the coding / decoding / upsampling processing with the upper layer image.
However, the present application is not limited to this, and the color difference SNR may be obtained by comparing the encoded / decoded image with the lower layer image.
The method for setting the reference SNR is not limited to the first embodiment, and may be as follows.
[0030]
(c1) A value adjusted by a person so that it can be felt naturally by human vision (applied in this embodiment).
(c2) A value based on the SNR of color difference signals of multiple screens processed in advance.
(c3) A value based on the quality (SNR) obtained by the luminance signal.
Further, the value of the reference SNR does not need to be a fixed value, and the value can be adaptively varied.
[0031]
(d1) That is, the reference SNR is increased in a screen or a screen portion where the color difference signal is important.
(d2). Also, in a screen or a screen portion where the color difference signal is not important, the reference SNR is reduced.
Thus, according to the present embodiment, since the color difference signal that has already obtained a certain quality or higher is not encoded in the upper layer, the generated code amount can be reduced. Further, if code amount control is performed, the code amount of the luminance signal can be increased by this reduction amount, and the image quality can be improved.
[0032]
Further, since the reference SNR for determining the color difference signal encoding can be arbitrarily set, it is possible to control the color difference signal encoding to be terminated within a range that does not give an unnatural impression to humans.
Also, if a very large value is set for the reference SNR, the color difference signal is always encoded, and the same hierarchically encoded data as in the prior art can be obtained.
[0033]
A second embodiment of the present invention will be described with reference to FIG.
In the second embodiment, when the color difference signal has better quality than the luminance signal, the encoding of the color difference signal is terminated.
(42) is a color difference SNR detection circuit. The color difference SNR detection circuit (42) obtains the color difference SNR by comparing the image (color difference signal component) from the decoding circuit (22) with the lower layer image (color difference signal component).
[0034]
(50) is a reference SNR setting circuit for obtaining the SNR of the luminance signal. The reference SNR setting circuit (50) obtains the reference SNR by comparing the image (luminance signal component) from the decoding circuit (22) with the upper layer image (luminance signal component).
In this second embodiment, the color difference SNR detection circuit (42) detects the average value of the SNR of the entire screen from the color difference signal of the image after the upsampling of the lower layer.
[0035]
The reference SNR setting circuit (50) detects the SNR average value of the entire screen of the luminance signal, and sets the reference SNR from this SNR value.
In the second embodiment, the color difference SNR and the reference SNR are detected for each screen. However, the present invention is not limited to this, and may be set for each predetermined area in the screen.
A third embodiment of the present invention will be described with reference to FIG.
[0036]
In the third embodiment, a moving image is input.
In the third embodiment, the reference SNR is changed according to the type of moving image.
(54) is an image type determination circuit. The image type determination circuit (54) detects a motion, and is it a moving image with intense motion? Is it a still video? And is the frequency component high? Etc. are determined.
[0037]
(52) is a reference SNR setting circuit. The reference SNR setting circuit (52) changes the reference SNR by the image type determination circuit (54).
In the third embodiment, the reference SNR is changed depending on the type of image.
For example, if the image type determination circuit (54) determines that the image motion is considerably small and flat, the reference SNR setting circuit (52) increases the reference SNR and encodes the color difference signal. Further, when the movement is very fast or when there are many high-frequency components, the reference SNR setting circuit (52) decreases the reference SNR and does not encode the color difference signal.
[0038]
A fourth embodiment of the present invention will be described with reference to FIG.
In the fourth embodiment, the quality at the time of encoding the color difference signal in the upper layer is made to follow the quality at the time of encoding the color difference signal in the lower layer (color difference SNR) to some extent.
(56) is a color difference SNR averaging circuit. The color difference SNR averaging circuit (56) averages the color difference SNR.
[0039]
(58) is a reference SNR setting circuit. The reference SNR setting circuit (58) outputs a value obtained by adding +3 dB to the output of the color difference SNR averaging circuit (56) as the reference SNR.
The reference SNR setting circuit (58) changes the lower limit value when the +3 dB value is smaller than the preset lower limit value, and outputs it. Similarly, if the value obtained by +3 dB is larger than the preset upper limit value, the upper limit value is changed and output. Although such substitution output is considered to hardly occur, it is provided for the time being.
[0040]
Although not described in the above embodiment, a mode identification code may be inserted so that the decoding side can easily determine whether the color difference signal is transmitted or not transmitted.
In the embodiment of the present application, spatial scalability, which is spatial hierarchical coding, has been described. However, the present application can naturally be applied to SNR scalability that realizes hierarchical coding of image quality and other hierarchical coding.
[0041]
Further, in this embodiment, the circuit block diagram has been described, but such encoding processing can also be performed by software due to recent high-speed and high-performance microcomputers.
Further, in this embodiment, the hierarchical encoding is described as the hierarchical encoding, but the present application is not limited to this.
[0042]
Further, when determining the reference SNR of the present application, if the hierarchical encoding is hierarchical encoding of a moving image that performs code amount control such as MPEG2, the reference SNR may be changed according to the output bit rate. .
[0043]
【The invention's effect】
As described above, according to the present application, since the encoding in the upper layer is not performed on the image that has already obtained a certain quality or higher in the lower layer, the generated code amount can be reduced. In addition, if code amount control is performed, the amount can be allocated to other portions by this reduction, so that the quality can be improved.
[0044]
Further, according to the present application, since the color difference signal that has already obtained a certain quality or higher in the lower layer is not encoded in the upper layer, the generated code amount can be reduced. Further, if code amount control is performed, the code amount of the luminance signal can be increased by this reduction amount, and the image quality can be improved.
[Brief description of the drawings]
FIG. 1 is a diagram showing an outline of conventional hierarchical scalability hierarchical coding.
FIG. 2 is a diagram schematically showing a first embodiment of the present invention.
FIG. 3 is a diagram for explaining color difference signal encoding determination according to the present invention.
FIG. 4 is a schematic diagram showing a second embodiment of the present invention.
FIG. 5 is a diagram showing an outline of a third embodiment of the present invention.
FIG. 6 is a diagram schematically showing a fourth embodiment of the present invention.
[Explanation of symbols]
(14) ..... Coding circuit (first coding circuit),
(22) ... Decoding circuit,
(32) ... Subtractor circuit,
(34) ..... Coding circuit (second coding circuit),
(40) ... VLC circuit (variable length coding circuit),
(42) ... Color difference SNR detection circuit,
(46) ... Color difference signal encoding determination circuit,
(48) ..... Color difference signal encoding control circuit.

Claims

In a hierarchical encoding method that encodes a video signal composed of at least a luminance signal and a color difference signal in a plurality of hierarchies, if the quality of the color difference signal encoding in the lower hierarchy exceeds a set value, the upper hierarchy Hierarchical encoding method that does not perform color difference signal encoding.

2. The hierarchical encoding method according to claim 1, wherein the video signal is a moving image signal.

3. The hierarchical encoding method according to claim 1, wherein the set value is arbitrarily set.

3. The hierarchical encoding method according to claim 2, wherein the set value is changed according to a motion of the moving image signal.

3. The hierarchical encoding method according to claim 2, wherein the set value is changed according to a generated code amount of the hierarchically encoded video signal.