JP3933749B2 - 画像符号化装置および画像復号化装置 - Google Patents
画像符号化装置および画像復号化装置 Download PDFInfo
- Publication number
- JP3933749B2 JP3933749B2 JP13971297A JP13971297A JP3933749B2 JP 3933749 B2 JP3933749 B2 JP 3933749B2 JP 13971297 A JP13971297 A JP 13971297A JP 13971297 A JP13971297 A JP 13971297A JP 3933749 B2 JP3933749 B2 JP 3933749B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- block
- vector
- pixels
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像符号化装置および復号化装置に関し、特に、テレビジョン信号等の画像信号を画像構成要素単位で処理することで高能率符号化を行う画像符号化装置およびメディアを介してこの画像符号化装置からの符号化データを復号する画像復号化装置に関するものである。
【０００２】
【従来の技術】
従来行われている画像信号の高能率符号化は、画像信号の水平または垂直方向の相関を利用した直交変換により特定の変換係数に信号電力を集中させて、必要ビット数の削減を図るものが多い。この直交変換を用いた高能率符号化では１枚の画像を一定数の画素からなる一定形状の複数の単位ブロックに分け、このブロック毎に変換を行い、このブロック内の画素を基本となる基底ベクトルの重み付き線形和として表し、この重みを量子化してこの対応番号をメディアを介して伝送している。
【０００３】
ＭＰＥＧの標準化に代表される従来の画像符号化においては、１枚の画像は画像内容とは関係なく連続したデータ列としてのみ扱われ、より少ないビット数でより高忠実に画像の波形（パターン）の再現を行うことが目標とされている。そして、このような従来の符号化では、通常はＤＣＴ(Discrete Cosine Transform) 等の基本的に定常性を前提とした処理が用いられるため、前景と背景といった画像信号に本質的に内在する非定常性が符号化効率や復号画質の低下につながることになる。また、従来、画像の信号処理やハンドリングは、１枚の画像毎、動画像の場合には、ひと続きのフレーム毎に一括して扱われている。従って、画像構成要素単位等、より小さな単位で信号処理やハンドリングを行うことは考慮されていなかった。
【０００４】
そこで、近年、画像信号を各画像構成要素に対応する複数の領域に分割した上で処理・符号化を行う符号化の研究が活発になってきている。この符号化では、上述のような非定常性を回避した上で、領域毎に最適な処理手法を選択して施すことができるため、より高性能な符号化が可能となる。また、画像構成要素単位の処理が可能となり、よりハンドリング性の良好な映像記述を実現できる。
【０００５】
また、従来の画像信号の波形符号化では、ＤＣＴ符号化に代表されるように画像を一定サイズの矩形ブロックに分割して処理を行っていた。
【０００６】
しかし、複数の領域に分割して領域毎に処理する場合、領域形状は一般に矩形にはならないので、画像を一定サイズの矩形ブロックに分割して処理する従来の手法をそのまま用いることはできない。そこで、従来のブロックベースの符号化手法を基本に、任意形状の画素群の処理を行う拡張手法がいくつか提案されている。
【０００７】
このような手法の一つとして、ＤＣＴ変換基底に対して符号化対象画像の画像領域によってマスキングし、かつスカラー倍して、画像領域毎に新たな変換基底ベクトルを導出し、これを用いて変換係数を求めるという領域サポートＤＣＴ（ＲＳ−ＤＣＴ：Region Support DCT）が本出願人らによって提案されている（鹿喰善明「領域サポートＤＣＴを用いた任意形状符号化の検討」信学技報ＩＥ９５−１０９（Ｄｅｃ．１９９５）、特願平７−３２５９７１号）。これにより導出される変換係数は、周知の２次元逆ＤＣＴにより復号することができる。
【０００８】
このＲＳ−ＤＣＴに類似の手法として、矩形形状の２次元ＤＣＴを用いるために、矩形内で符号化対象領域に属さない画素については領域内画素のレベルの平均等で外挿を行う手法であるＲＦ−ＤＣＴ（Region Filling DCT）も提案されている（木村淳一：「ブロック内領域分割による画像符号化の検討」Ｐｒｏｃ．ＰＣＳＪ，’９５，３−７，ｐｐ．３９−４０（Ｏｃｔ．１９９５），伊藤典男、堅田裕之、草尾寛：「任意形状領域に対するＤＣＴ実現手法の検討」，Ｐｒｏｃ．ＰＣＳＪ，’９５，５‐２，ｐｐ．７７−７８（Ｏｃｔ．１９９５））。
【０００９】
ＲＳ−ＤＣＴ、ＲＦ−ＤＣＴでは、単位ブロック内にたとえば２つの画像領域が混在するときには、両方の画像領域についてそれぞれブロックＤＣＴを行う。このため、変換係数はそれぞれ画像領域毎にブロックの大きさの分だけ（即ち、２つの画像領域を含んだブロックの画素数だけ）導出される。従って、両方の画像領域についての変換係数を合わせると、１ブロックに対し２ブロック分の数の係数が導出され、これら２ブロック分の変換係数を伝送する必要がある。このように、ＲＳ−ＤＣＴ、ＲＦ−ＤＣＴでは、ブロック内に２つの画像領域が混在するときには、見かけ上画素数の２倍の変換係数を伝送する必要がある。しかし、ＤＣＴを用いた通常の高能率符号化においては、視覚的に重要で、かつ信号電力の大半を占める低周波成分に相当する変換係数のみを伝送するので、伝送する変換係数が見かけ上増えることは、伝送情報量の実効的な増加につながるものではない。
【００１０】
これらの手法では、ブロック内に含まれる符号化対象画素により変換係数が導出されるが、復号側においては２次元逆ＤＣＴによってブロック形状の画像が見かけ上復元され、別途伝送した符号化対象領域を示すマスクパターンにより、該当領域の画素だけが選択され、復号画像に用いられる。
【００１１】
上記の手法は簡易であるが、低周波領域内とその近傍での連続性はある程度保証されるものの、中・高周波領域については不連続となり、挿入画素レベル、ひいては領域内画素記述法としての最適性の保証がない。
【００１２】
【発明が解決しようとする課題】
ＲＳ−ＤＣＴ、ＲＦ−ＤＣＴともに、変換基底の数は、符号化対象画素数（以下Ｍとする）に係わらずブロック内の画素数（以下、Ｎ×Ｎとする）と一致する。従って、見かけ上（Ｎ×Ｎ）個の変換係数が得られる。ただし、変換はＭ個（Ｍ≦Ｎ×Ｎ）の符号化対象画素の値に対して行われるので、得られた変換係数のうちで実際に有意な（０でない）ものは、高々Ｍ個にすぎない。
【００１３】
ＤＣＴを用いた高能率符号化では、変換係数に対し量子化が行われて情報量が低減されると同時に、量子化時の量子化誤差による符号化歪みが発生する。ただし、変換係数の値が０の画素については量子化雑音は０になる。従って、Ｍ個の符号化対象画素を含むブロック全体では、量子化雑音はＭ個分となる。即ち、符号化対象画素１画素についての量子化雑音電力をＰｅとすると、Ｍ個の画素に対してＭ個の有意な変換係数が求められ、その結果、ブロックに対しＭ×Ｐｅの符号化歪みをもたらす。
【００１４】
このようなＤＣＴにより得られた符号化データから、２次元逆ＤＣＴによって一旦（Ｎ×Ｎ）個の画素のブロック状の復号画像が得られた後、これらの画素のうちＭ個のみがマスクパターンを用いて選択されて残される。この処理に伴い、選択された画素以外に分配された量子化雑音による歪みも除去される。
【００１５】
すなわち、ブロックに残される量子化雑音による歪みは
【００１６】
【数１】
【００１７】
となり、画素単位では
【００１８】
【数２】
【００１９】
となる。
【００２０】
この式から、復号側で選択された画素単位の歪み量は、その画素が属するブロック内の符号化対象画素数Ｍに比例することになる。
【００２１】
伝送する情報量一定の条件で復号画像の総歪み量が最小になるよう最適化するには、すなわち、伝送情報と歪みに関して最も効率的な符号化を実現するには、画素単位の歪み量を均一にする必要がある。従って、上記のように符号化された場合、画素単位の歪み量がＭに依存してブロック毎、画像毎に異なり、最適化されないことになる。
【００２２】
そこで、本発明は上述の点に鑑みて成されたもので、上記の課題を解決した画像符号化装置および画像復号化装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る画像符号化装置の一態様は、複数の構成要素からなる画像を所定数の画素で構成される所定寸法の複数のブロックに分割し、該ブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルの重み付け線形和として変換出力する変換手段と、前記変換手段からの信号を量子化する量子化手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像符号化装置であって、前記変換手段からの重み付け変換係数を、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根を前記ブロックの画素数で除した値でスカラー倍して前記量子化手段の入力とすることを特徴とする。
【００２４】
本発明に係る画像符号化装置の別の態様は、複数の構成要素からなる画像を所定数の画素で構成される所定寸法の複数のブロックに分割し、該ブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルの重み付け線形和として変換出力する変換手段と、前記変換手段からの信号を量子化する量子化手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像符号化装置であって、前記画素信号ベクトルの信号レベルを、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根を前記ブロックの画素数で除した値でスカラー倍して前記変換手段の入力とすることを特徴とする。
【００２５】
本発明に係る画像符号化装置のさらに別の態様は、複数の構成要素からなる画像を所定数の画素で構成される所定寸法の複数のブロックに分割し、該ブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルの重み付け線形和として変換出力する変換手段と、前記変換手段からの信号を量子化する量子化手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像符号化装置であって、前記量子化手段は、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根で前記ブロックの画素数を除した値で量子化ステップ幅をスカラー倍することを特徴とする。
【００２７】
上記目的を達成するために、本発明に係る画像復号化装置の一態様は、上記一態様の画像符号化装置から出力される、所定数の画素で構成され所定寸法で分割されたブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを符号化した符号化データを、逆量子化して重み付け係数を求める逆量子化手段と、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルを重み付け線形加算して、前記少なくとも一つの画像領域に対応した画素信号ベクトルを復号する逆変換手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像復号化装置であって、前記逆量子化して求めた重み付け係数を、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根で前記ブロックの画素数を除した値でスカラーして前記直交変換基底ベクトルを重み付け線形加算することを特徴とする。
【００２８】
本発明に係る画像復号化装置の別の態様は、上記別の態様の画像符号化装置から出力される、所定数の画素で構成され所定寸法で分割されたブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを符号化した符号化データを、逆量子化して重み付け係数を求める逆量子化手段と、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルを重み付け線形加算して、前記少なくとも一つの画像領域に対応した画素信号ベクトルを復号する逆変換手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像復号化装置であって、前記逆変換手段出力を、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根で前記ブロックの画素数を除した値でスカラー倍して前記少なくとも一つの画像領域に対応した画素信号ベクトルを復号することを特徴とする。
【００２９】
本発明に係る画像復号化装置のさらに別の態様は、上記さらに別の態様の画像符号化装置から出力される、所定数の画素で構成され所定寸法で分割されたブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを符号化した符号化データを、逆量子化して重み付け係数を求める逆量子化手段と、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルを重み付け線形加算して、前記少なくとも一つの画像領域に対応した画素信号ベクトルを復号する逆変換手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像復号化装置であって、前記逆量子化手段は、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根を前記ブロックの画素数で除した値で量子化ステップ幅をスカラー倍することを特徴とする。
【００３１】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態を詳細に説明する。
【００３２】
（第１の実施の形態）
図１は本発明を適用した画像符号化装置の第１の実施の形態の構成を示すブロック図である。
【００３３】
本実施の形態では、処理対象画像の画像構成要素数は２であり、分割された各単位ブロック（以下、ブロックと記す）内の画像領域は最大で２（最小は１）とする。また、各画像構成要素が画面内で占める領域を表す領域情報（境界情報）は既知であるものとする。
【００３４】
図１に示す画像符号化装置は、領域サポートＤＣＴ部１０と乗算器１２と量子化器１４と可変長符号化器１６を備えている。
【００３５】
領域サポートＤＣＴ部１０は、領域情報が入力されるブロック化回路１，処理対象の画像信号が入力されるブロック化回路２，ＤＣＴ(Discrete Cosine Transform；離散コサイン変換）基底供給回路３，サポート領域修正回路４および５，係数導出回路６ａおよび６ｂおよび６ｃ，組合せ回路９，判定回路７，並びに切替え回路８により構成されている。サポート領域修正回路は、一つの処理対象画像の画像構成要素数だけ必要である。
【００３６】
画像信号はブロック化回路２に、その領域情報はブロック化回路１に供給され、Ｎ×Ｎの一定の寸法の複数のブロックに対するブロック信号およびブロック領域情報に分割される。画素数Ｎの値は、一般的には８または１６である。
【００３７】
入力画像がたとえば人と背景の画像構成要素からなるとすると、ブロック化回路１から出力されるブロック領域情報は、各ブロックが人のみ、または背景のみを画像構成要素とすること、或いは人の一部と背景の一部を画像構成要素とすることを表す。換言すれば、これらのブロック領域情報は、ブロック内に画像構成要素の境界がなく画像が矩形で構成されること、或いはブロック内に画像構成要素の境界があり各画像が非矩形で構成されることを表す。
【００３８】
このようにブロック化回路１によってブロック化されたブロック領域情報は、サポート領域修正回路４および５，係数導出回路６ａ，並びに判定回路７に供給される。サポート領域修正回路４および５では、ＤＣＴ基底供給回路３から供給されたＤＣＴ基底のサポート領域をブロック毎に画像領域形状に応じて修正する。サポート領域修正回路４では２つの画像領域のうち１つの画像領域（たとえば人とする）の領域形状に、サポート領域修正回路５ではもう一方の画像領域（背景とする）の領域形状に対応して修正が行われる。サポート領域修正回路４および５によるサポート領域修正方法については後述する。
【００３９】
また、ブロック化回路２によってブロック化された画像信号は、係数導出回路６ａおよび６ｂおよび６ｃに供給される。人のみで構成されるブロックおよび背景のみで構成されるブロックの画像信号に対しては、係数導出回路６ａによりＤＣＴ基底供給回路３から供給された２次元ＤＣＴ基底を修正せずに用いて、ＤＣＴ係数の導出およびその符号化を行う。係数導出回路６ａからの符号化データは、切替え回路８に供給される。
【００４０】
２つの画像構成要素のそれぞれの一部が混在するブロックの画像信号に対しては、係数導出回路６ｂおよび６ｃにより各々サポート領域修正回路４および５から供給される修正されたＤＣＴ基底を用いてＤＣＴ係数の導出およびその符号化を行う。このＤＣＴ係数の導出およびその符号化については後述する。
【００４１】
係数導出回路６ｂおよび６ｃからの符号化データは、それぞれ組み合わせ回路９に供給される。そして、１つのブロックを構成する２つの画像領域を記述する符号化データが多重された符号化データとされて、組み合わせ回路９から切替え回路８に供給される。組み合わせ回路９による符号化データの多重は、切替え回路８によりブロック単位の切替えを行なうために１つのブロック内の２つの画像領域の符号化データをまとめるための処理であり、係数導出回路６ｂおよび６ｃからの２つの符号化データ列を単に直列に並べるものである。
【００４２】
一方、判定回路７では、ブロック化回路１から供給された各ブロックのブロック領域情報に基づいて、各ブロック毎に１つの画像領域（人または背景）のみが存在するか２つの画像領域（人および背景）が混在するかを判定する。この判定回路７からの判定信号は、切替え回路８に供給される。
【００４３】
切替え回路８は判定回路７からの判定信号に基づき、１つの画像領域のみが存在するブロックに対しては係数導出回路６ａからの符号化データを、２つの画像領域が混在するブロックに対しては組み合わせ回路９からの符号化データを選択的に切替えて圧縮された直列データとして出力する。すなわち、２つの画像領域が混在するブロックに対しては組み合わせ回路９からの直列に多重された符号化データを出力し、その他の１つの画像領域から構成されるブロックに対しては係数導出回路６ａからの重み付け線形和で表される符号化データを出力する。
【００４４】
ここで、サポート領域修正回路４および５によるサポート領域修正の方法と、係数導出回路６ｂおよび６ｃにおける係数導出方法について簡単に説明する。
【００４５】
サポート領域修正では、ＤＣＴ基底供給回路３から供給される予め定められた大きさＮ×Ｎの
【００４６】
【外１】
【００４７】
が供給される。
【００４８】
上記ＤＣＴ直交変換基底ベクトルのＮ×Ｎ個の各々の成分のうち、符号化対象（サポート）画像領域に対応するＭ個の成分を保持し、その他の成分が０となるように
【００４９】
【外２】
【００５０】
を設定し、符号化対象画像領域で修正する。そして、以下に示す式（１）の演算を行って
【００５１】
【外３】
【００５２】
を求め、マスキングされたベクトルをノルムの自乗で除算することで符号化対象画像構成要素の形状に修正された新たな変換基底ベクトルを算出し、ノルム補正を行う。すなわち、
【００５３】
【数３】
【００５４】
により
【００５５】
【外４】
【００５６】
が求められる。ノルム補正後の画像構成要素の形状に修正された新たな変換基底ベクトルは、マスキングされたベクトルの符号化対象画素に対応する各成分をスカラー倍したものとなっている。
【００５７】
次に、係数導出回路７および８における係数導出法について説明する。
【００５８】
ここで、
【００５９】
【外５】
【００６０】
を示すブロック化回路２からの画像信号ベクトル（要素数Ｎ×Ｎ）とする。
【００６１】
まず、第１の段階では、上記画像信号ベクトルとノルム補正後の修正された
【００６２】
【外６】
【００６３】
との内積を計算してスカラー関数
【００６４】
【数４】
【００６５】
に変換して修正された
【００６６】
【外７】
【００６７】
を求め、これらの係数の中から次式により絶対値が最大の係数ｃk を選択する。
【００６８】
【数５】
【００６９】
次に、第２の段階では、絶対値最大の係数ｃk に対応する
【００７０】
【外８】
【００７１】
次式のとおり絶対値が最大の係数ｃk と絶対値が最大の係数ｃk に対応する上記ＤＣＴ直交変換基底ベクトルとの積の成分を上記画像信号ベクトルから減じて除去することで残差信号ベクトルを求め、これを画像信号ベクトルと置き換える。
【００７２】
【数６】
【００７３】
次に、第３の段階では、第２の段階において求めた上記の残差信号ベクトルで置き換えられた画像信号ベクトルと前記したノルム補正後の修正された新たな変換基底ベクトルとの内積を第１の段階と同様に再び計算してスカラー関数に変換して、この関数の係数のうちから第１の段階と同様に新たな絶対値最大の係数を選択する。
【００７４】
次に、第４の段階では、第３の段階において選択された絶対値が最大の係数ｃk とこの係数に対応するＤＣＴ直交変換基底ベクトルとの積の成分を画像信号ベクトルから減じて除去することで第２の段階と同様に再び新たな残差信号ベクトルを求め、画像信号ベクトルと置き換える。
【００７５】
次に、第５の段階では、第４の段階において求められた残差信号ベクトル、すなわち画像信号ベクトルに基づいて、残差信号ベクトルによる残差信号電力が予め十分小さな値に定められた閾値以下であるかを評価し、閾値以下であればこのときの修正された新たな変換基底ベクトルの係数を採用し、重み付け線形和として符号化して変換出力する。ここで残差信号電力の評価は符号化対象画像構成要素分だけとする。すなわち、第２の段階での処理はＮ×Ｎの要素に対して施されるが、目的は符号化対象のＭ個の画素のレベルを表現することにあるので、誤差の評価は残差信号ベクトルの要素のうち、このＭ個に対応する要素の自乗和で行なう。
【００７６】
一方、残差信号電力が十分小さな閾値以下になっていないと判定されたときは再び第３の段階に戻って処理を続行し、第５の段階において残差信号電力が予め十分小さな値に定められた閾値以下であると評価されるまで、第３の段階と第４の段階と第５の段階の処理を繰り返し実行する。
【００７７】
なお、各変換基底ベクトルは直交していないので、一度除かれた成分が他の成分の除去に伴って再び現れることもある。この場合、同一変換基底の係数を累積し、その結果を最終的に採用する。
【００７８】
このように、ＲＳ−ＤＣＴ部１０によれば、比較的小さなハードウェア規模で、高能率かつ画像構成要素単位で画像信号のハンドリングを行うことができる。
【００７９】
ＲＳ−ＤＣＴ部１０により導出された（Ｎ×Ｎ）個の変換係数は、乗算器１２に供給され、
【００８０】
【外９】
【００８１】
量子化器１４に供給され、量子化インデックス信号が出力される。出力されたインデックス信号は可変長符号化器１６に供給されて２値の符号化データ列に変換され、通信メディアや記録メディア等の伝送メディアを介して伝送される。
【００８２】
このように符号化すると、１個の符号化対象画素の量子化雑音電力は量子化前のスカラー倍の係数にかかわらずＰｅで表され、量子化雑音電力によるブロック全体の符号化歪みはＭ×Ｐｅで表される。
【００８３】
伝送メディアからの符号化データ列は、図２に示す画像復号化装置により復号される。
【００８４】
この復号処理において、符号化データ列が可変長復号化器２０に供給され、復号量子化インデックスが出力される。出力された復号量子化インデックスは逆量子化器２２に供給され、逆量子化変換係数が出力される。この逆量子化変換係数は
【００８５】
【外１０】
【００８６】
つまり、符号化画素数Ｍの平方根に逆比例した値でスカラー倍される。
【００８７】
ここで、各画像構成要素（オブジェクト）が画面内で占める領域を表す領域情報（境界情報）は既知であり、各ブロック内の符号化対象画素数ＭはＤＣＴ係数を導出する際に既に求められているものを用いる。
【００８８】
スカラー倍された逆量子化変換係数はＮ×Ｎの２次元逆ＤＣＴ部２６に供給され、（Ｎ×Ｎ）個の画素信号レベルが復元される。このように、
【００８９】
【外１１】
【００９０】
復元された画素信号のブロック全体での量子化雑音電力による歪みは、
【００９１】
【数７】
【００９２】
となる。
【００９３】
復元された（Ｎ×Ｎ）個の画素信号は選択器２８に供給される。選択器２８においては、別途伝送された当該ブロックにおける画像領域を示すマスクパターン２９を用いて、（Ｎ×Ｎ）個のブロック内全画素からブロックの画像領域内に対応するＭ個の画素を選択し、出力する。この結果、ブロック全体での最終的な歪み量は
【００９４】
【数８】
【００９５】
となる。
【００９６】
従って、画素単位での量子化雑音による符号化歪みの量は符号化対象画素数Ｍに逆比例するので、画素単位での最終的な歪み量は、ＲＳ−ＤＣＴにおける符号化対象画素数Ｍとの比例性を相殺し、Ｍに依存することなく一律にＰｅとなり、画素単位の歪み量を均一に最適化することができる。
【００９７】
このように、画像符号化装置において量子化器の前に乗算器１２を設けて
【００９８】
【外１２】
【００９９】
復号した画素単位の歪み量が均一となるように情報量割り当てを最適化して、伝送する情報量を一定とした場合の復号画像の総歪み量を最小とすることができ、より高能率な符号化データの伝送を実現できる効果がある。
【０１００】
（他の実施の形態）
上記実施の形態における各乗算器１２，２４による処理はスカラー倍であり、これは線形変換に対して不変である。従って、乗算器によるこのスカラー倍を、画素信号レベルに対して行っても、上記実施の形態において変換係数に対して行ったのと等価になる。
【０１０１】
そこで、符号化装置においてブロック化回路２の入力または出力に乗算器を設け、ここでの画素信号レベルに対して図１の乗算器１２と同様のスカラー倍を行い、復号化装置では２次元逆ＤＣＴ部２６の出力に乗算器を設け、ここでの画素信号レベルに対して図２の乗算器２４と同様のスカラー倍を行っても第１の実施の形態と同様の効果を得ることができる。
【０１０２】
また、乗算器を設けることなく、量子化雑音電力が量子化ステップ幅の二乗に比例して増加することを利用して画素単位の歪み量を均一に最適化し、第１の実施の形態と同様の効果を得るように構成することもできる。
【０１０３】
すなわち、符号化装置において量子化器１４の量子化ステップ幅をＲＳ−ＤＣＴ部１０における符号化対象画素数Ｍの平方根に逆比例した値でスカラー倍して修正し、さらに、復号化装置では逆量子化器２２の量子化ステップ幅を符号化対象画素数Ｍの平方根に比例した値でスカラー倍して修正することによっても等価な効果が得られる。
【０１０４】
ただし、量子化処理は乗算とは逆の除算なので、符号化装置における量子化ステップ幅は、第１の実施の形態において
【０１０５】
【外１３】
【０１０６】
を用いてスカラー倍する必要がある。
【０１０７】
【発明の効果】
以上説明してきたように、本発明によれば、複数の構成要素からなる画像の境界情報であるブロック領域情報に基づく符号化処理を施した符号化装置から出力される符号化データを復号化装置により復号化するときに、復号画像の総歪み量を最小とするように復号化処理を施すことができる効果が得られる。
【図面の簡単な説明】
【図１】本発明を適用した画像符号化装置の第１の実施の形態の構成を示すブロック図である。
【図２】本発明を適用した画像復号化装置の第１の実施の形態の構成を示すブロック図である。
【符号の説明】
１，２ ブロック化回路
３ ＤＣＴ基底供給回路
４，５ サポート領域修正回路
６ａ，６ｂ，６ｃ 係数導出回路
７ 判定回路
８ 切替え回路
９ 組み合わせ回路
１０ ＲＳ−ＤＣＴ部
１２，２４ 乗算器
１４ 量子化器
１６ 可変長符号化器
２０ 可変長復号化器
２２ 逆量子化器
２６ ２次元逆ＤＣＴ部
２８ 選択器
２９ マスクパターン
【発明の属する技術分野】
本発明は画像符号化装置および復号化装置に関し、特に、テレビジョン信号等の画像信号を画像構成要素単位で処理することで高能率符号化を行う画像符号化装置およびメディアを介してこの画像符号化装置からの符号化データを復号する画像復号化装置に関するものである。
【０００２】
【従来の技術】
従来行われている画像信号の高能率符号化は、画像信号の水平または垂直方向の相関を利用した直交変換により特定の変換係数に信号電力を集中させて、必要ビット数の削減を図るものが多い。この直交変換を用いた高能率符号化では１枚の画像を一定数の画素からなる一定形状の複数の単位ブロックに分け、このブロック毎に変換を行い、このブロック内の画素を基本となる基底ベクトルの重み付き線形和として表し、この重みを量子化してこの対応番号をメディアを介して伝送している。
【０００３】
ＭＰＥＧの標準化に代表される従来の画像符号化においては、１枚の画像は画像内容とは関係なく連続したデータ列としてのみ扱われ、より少ないビット数でより高忠実に画像の波形（パターン）の再現を行うことが目標とされている。そして、このような従来の符号化では、通常はＤＣＴ(Discrete Cosine Transform) 等の基本的に定常性を前提とした処理が用いられるため、前景と背景といった画像信号に本質的に内在する非定常性が符号化効率や復号画質の低下につながることになる。また、従来、画像の信号処理やハンドリングは、１枚の画像毎、動画像の場合には、ひと続きのフレーム毎に一括して扱われている。従って、画像構成要素単位等、より小さな単位で信号処理やハンドリングを行うことは考慮されていなかった。
【０００４】
そこで、近年、画像信号を各画像構成要素に対応する複数の領域に分割した上で処理・符号化を行う符号化の研究が活発になってきている。この符号化では、上述のような非定常性を回避した上で、領域毎に最適な処理手法を選択して施すことができるため、より高性能な符号化が可能となる。また、画像構成要素単位の処理が可能となり、よりハンドリング性の良好な映像記述を実現できる。
【０００５】
また、従来の画像信号の波形符号化では、ＤＣＴ符号化に代表されるように画像を一定サイズの矩形ブロックに分割して処理を行っていた。
【０００６】
しかし、複数の領域に分割して領域毎に処理する場合、領域形状は一般に矩形にはならないので、画像を一定サイズの矩形ブロックに分割して処理する従来の手法をそのまま用いることはできない。そこで、従来のブロックベースの符号化手法を基本に、任意形状の画素群の処理を行う拡張手法がいくつか提案されている。
【０００７】
このような手法の一つとして、ＤＣＴ変換基底に対して符号化対象画像の画像領域によってマスキングし、かつスカラー倍して、画像領域毎に新たな変換基底ベクトルを導出し、これを用いて変換係数を求めるという領域サポートＤＣＴ（ＲＳ−ＤＣＴ：Region Support DCT）が本出願人らによって提案されている（鹿喰善明「領域サポートＤＣＴを用いた任意形状符号化の検討」信学技報ＩＥ９５−１０９（Ｄｅｃ．１９９５）、特願平７−３２５９７１号）。これにより導出される変換係数は、周知の２次元逆ＤＣＴにより復号することができる。
【０００８】
このＲＳ−ＤＣＴに類似の手法として、矩形形状の２次元ＤＣＴを用いるために、矩形内で符号化対象領域に属さない画素については領域内画素のレベルの平均等で外挿を行う手法であるＲＦ−ＤＣＴ（Region Filling DCT）も提案されている（木村淳一：「ブロック内領域分割による画像符号化の検討」Ｐｒｏｃ．ＰＣＳＪ，’９５，３−７，ｐｐ．３９−４０（Ｏｃｔ．１９９５），伊藤典男、堅田裕之、草尾寛：「任意形状領域に対するＤＣＴ実現手法の検討」，Ｐｒｏｃ．ＰＣＳＪ，’９５，５‐２，ｐｐ．７７−７８（Ｏｃｔ．１９９５））。
【０００９】
ＲＳ−ＤＣＴ、ＲＦ−ＤＣＴでは、単位ブロック内にたとえば２つの画像領域が混在するときには、両方の画像領域についてそれぞれブロックＤＣＴを行う。このため、変換係数はそれぞれ画像領域毎にブロックの大きさの分だけ（即ち、２つの画像領域を含んだブロックの画素数だけ）導出される。従って、両方の画像領域についての変換係数を合わせると、１ブロックに対し２ブロック分の数の係数が導出され、これら２ブロック分の変換係数を伝送する必要がある。このように、ＲＳ−ＤＣＴ、ＲＦ−ＤＣＴでは、ブロック内に２つの画像領域が混在するときには、見かけ上画素数の２倍の変換係数を伝送する必要がある。しかし、ＤＣＴを用いた通常の高能率符号化においては、視覚的に重要で、かつ信号電力の大半を占める低周波成分に相当する変換係数のみを伝送するので、伝送する変換係数が見かけ上増えることは、伝送情報量の実効的な増加につながるものではない。
【００１０】
これらの手法では、ブロック内に含まれる符号化対象画素により変換係数が導出されるが、復号側においては２次元逆ＤＣＴによってブロック形状の画像が見かけ上復元され、別途伝送した符号化対象領域を示すマスクパターンにより、該当領域の画素だけが選択され、復号画像に用いられる。
【００１１】
上記の手法は簡易であるが、低周波領域内とその近傍での連続性はある程度保証されるものの、中・高周波領域については不連続となり、挿入画素レベル、ひいては領域内画素記述法としての最適性の保証がない。
【００１２】
【発明が解決しようとする課題】
ＲＳ−ＤＣＴ、ＲＦ−ＤＣＴともに、変換基底の数は、符号化対象画素数（以下Ｍとする）に係わらずブロック内の画素数（以下、Ｎ×Ｎとする）と一致する。従って、見かけ上（Ｎ×Ｎ）個の変換係数が得られる。ただし、変換はＭ個（Ｍ≦Ｎ×Ｎ）の符号化対象画素の値に対して行われるので、得られた変換係数のうちで実際に有意な（０でない）ものは、高々Ｍ個にすぎない。
【００１３】
ＤＣＴを用いた高能率符号化では、変換係数に対し量子化が行われて情報量が低減されると同時に、量子化時の量子化誤差による符号化歪みが発生する。ただし、変換係数の値が０の画素については量子化雑音は０になる。従って、Ｍ個の符号化対象画素を含むブロック全体では、量子化雑音はＭ個分となる。即ち、符号化対象画素１画素についての量子化雑音電力をＰｅとすると、Ｍ個の画素に対してＭ個の有意な変換係数が求められ、その結果、ブロックに対しＭ×Ｐｅの符号化歪みをもたらす。
【００１４】
このようなＤＣＴにより得られた符号化データから、２次元逆ＤＣＴによって一旦（Ｎ×Ｎ）個の画素のブロック状の復号画像が得られた後、これらの画素のうちＭ個のみがマスクパターンを用いて選択されて残される。この処理に伴い、選択された画素以外に分配された量子化雑音による歪みも除去される。
【００１５】
すなわち、ブロックに残される量子化雑音による歪みは
【００１６】
【数１】
となり、画素単位では
【００１８】
【数２】
となる。
【００２０】
この式から、復号側で選択された画素単位の歪み量は、その画素が属するブロック内の符号化対象画素数Ｍに比例することになる。
【００２１】
伝送する情報量一定の条件で復号画像の総歪み量が最小になるよう最適化するには、すなわち、伝送情報と歪みに関して最も効率的な符号化を実現するには、画素単位の歪み量を均一にする必要がある。従って、上記のように符号化された場合、画素単位の歪み量がＭに依存してブロック毎、画像毎に異なり、最適化されないことになる。
【００２２】
そこで、本発明は上述の点に鑑みて成されたもので、上記の課題を解決した画像符号化装置および画像復号化装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る画像符号化装置の一態様は、複数の構成要素からなる画像を所定数の画素で構成される所定寸法の複数のブロックに分割し、該ブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルの重み付け線形和として変換出力する変換手段と、前記変換手段からの信号を量子化する量子化手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像符号化装置であって、前記変換手段からの重み付け変換係数を、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根を前記ブロックの画素数で除した値でスカラー倍して前記量子化手段の入力とすることを特徴とする。
【００２４】
本発明に係る画像符号化装置の別の態様は、複数の構成要素からなる画像を所定数の画素で構成される所定寸法の複数のブロックに分割し、該ブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルの重み付け線形和として変換出力する変換手段と、前記変換手段からの信号を量子化する量子化手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像符号化装置であって、前記画素信号ベクトルの信号レベルを、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根を前記ブロックの画素数で除した値でスカラー倍して前記変換手段の入力とすることを特徴とする。
【００２５】
本発明に係る画像符号化装置のさらに別の態様は、複数の構成要素からなる画像を所定数の画素で構成される所定寸法の複数のブロックに分割し、該ブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルの重み付け線形和として変換出力する変換手段と、前記変換手段からの信号を量子化する量子化手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像符号化装置であって、前記量子化手段は、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根で前記ブロックの画素数を除した値で量子化ステップ幅をスカラー倍することを特徴とする。
【００２７】
上記目的を達成するために、本発明に係る画像復号化装置の一態様は、上記一態様の画像符号化装置から出力される、所定数の画素で構成され所定寸法で分割されたブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを符号化した符号化データを、逆量子化して重み付け係数を求める逆量子化手段と、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルを重み付け線形加算して、前記少なくとも一つの画像領域に対応した画素信号ベクトルを復号する逆変換手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像復号化装置であって、前記逆量子化して求めた重み付け係数を、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根で前記ブロックの画素数を除した値でスカラーして前記直交変換基底ベクトルを重み付け線形加算することを特徴とする。
【００２８】
本発明に係る画像復号化装置の別の態様は、上記別の態様の画像符号化装置から出力される、所定数の画素で構成され所定寸法で分割されたブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを符号化した符号化データを、逆量子化して重み付け係数を求める逆量子化手段と、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルを重み付け線形加算して、前記少なくとも一つの画像領域に対応した画素信号ベクトルを復号する逆変換手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像復号化装置であって、前記逆変換手段出力を、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根で前記ブロックの画素数を除した値でスカラー倍して前記少なくとも一つの画像領域に対応した画素信号ベクトルを復号することを特徴とする。
【００２９】
本発明に係る画像復号化装置のさらに別の態様は、上記さらに別の態様の画像符号化装置から出力される、所定数の画素で構成され所定寸法で分割されたブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを符号化した符号化データを、逆量子化して重み付け係数を求める逆量子化手段と、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルを重み付け線形加算して、前記少なくとも一つの画像領域に対応した画素信号ベクトルを復号する逆変換手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像復号化装置であって、前記逆量子化手段は、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根を前記ブロックの画素数で除した値で量子化ステップ幅をスカラー倍することを特徴とする。
【００３１】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態を詳細に説明する。
【００３２】
（第１の実施の形態）
図１は本発明を適用した画像符号化装置の第１の実施の形態の構成を示すブロック図である。
【００３３】
本実施の形態では、処理対象画像の画像構成要素数は２であり、分割された各単位ブロック（以下、ブロックと記す）内の画像領域は最大で２（最小は１）とする。また、各画像構成要素が画面内で占める領域を表す領域情報（境界情報）は既知であるものとする。
【００３４】
図１に示す画像符号化装置は、領域サポートＤＣＴ部１０と乗算器１２と量子化器１４と可変長符号化器１６を備えている。
【００３５】
領域サポートＤＣＴ部１０は、領域情報が入力されるブロック化回路１，処理対象の画像信号が入力されるブロック化回路２，ＤＣＴ(Discrete Cosine Transform；離散コサイン変換）基底供給回路３，サポート領域修正回路４および５，係数導出回路６ａおよび６ｂおよび６ｃ，組合せ回路９，判定回路７，並びに切替え回路８により構成されている。サポート領域修正回路は、一つの処理対象画像の画像構成要素数だけ必要である。
【００３６】
画像信号はブロック化回路２に、その領域情報はブロック化回路１に供給され、Ｎ×Ｎの一定の寸法の複数のブロックに対するブロック信号およびブロック領域情報に分割される。画素数Ｎの値は、一般的には８または１６である。
【００３７】
入力画像がたとえば人と背景の画像構成要素からなるとすると、ブロック化回路１から出力されるブロック領域情報は、各ブロックが人のみ、または背景のみを画像構成要素とすること、或いは人の一部と背景の一部を画像構成要素とすることを表す。換言すれば、これらのブロック領域情報は、ブロック内に画像構成要素の境界がなく画像が矩形で構成されること、或いはブロック内に画像構成要素の境界があり各画像が非矩形で構成されることを表す。
【００３８】
このようにブロック化回路１によってブロック化されたブロック領域情報は、サポート領域修正回路４および５，係数導出回路６ａ，並びに判定回路７に供給される。サポート領域修正回路４および５では、ＤＣＴ基底供給回路３から供給されたＤＣＴ基底のサポート領域をブロック毎に画像領域形状に応じて修正する。サポート領域修正回路４では２つの画像領域のうち１つの画像領域（たとえば人とする）の領域形状に、サポート領域修正回路５ではもう一方の画像領域（背景とする）の領域形状に対応して修正が行われる。サポート領域修正回路４および５によるサポート領域修正方法については後述する。
【００３９】
また、ブロック化回路２によってブロック化された画像信号は、係数導出回路６ａおよび６ｂおよび６ｃに供給される。人のみで構成されるブロックおよび背景のみで構成されるブロックの画像信号に対しては、係数導出回路６ａによりＤＣＴ基底供給回路３から供給された２次元ＤＣＴ基底を修正せずに用いて、ＤＣＴ係数の導出およびその符号化を行う。係数導出回路６ａからの符号化データは、切替え回路８に供給される。
【００４０】
２つの画像構成要素のそれぞれの一部が混在するブロックの画像信号に対しては、係数導出回路６ｂおよび６ｃにより各々サポート領域修正回路４および５から供給される修正されたＤＣＴ基底を用いてＤＣＴ係数の導出およびその符号化を行う。このＤＣＴ係数の導出およびその符号化については後述する。
【００４１】
係数導出回路６ｂおよび６ｃからの符号化データは、それぞれ組み合わせ回路９に供給される。そして、１つのブロックを構成する２つの画像領域を記述する符号化データが多重された符号化データとされて、組み合わせ回路９から切替え回路８に供給される。組み合わせ回路９による符号化データの多重は、切替え回路８によりブロック単位の切替えを行なうために１つのブロック内の２つの画像領域の符号化データをまとめるための処理であり、係数導出回路６ｂおよび６ｃからの２つの符号化データ列を単に直列に並べるものである。
【００４２】
一方、判定回路７では、ブロック化回路１から供給された各ブロックのブロック領域情報に基づいて、各ブロック毎に１つの画像領域（人または背景）のみが存在するか２つの画像領域（人および背景）が混在するかを判定する。この判定回路７からの判定信号は、切替え回路８に供給される。
【００４３】
切替え回路８は判定回路７からの判定信号に基づき、１つの画像領域のみが存在するブロックに対しては係数導出回路６ａからの符号化データを、２つの画像領域が混在するブロックに対しては組み合わせ回路９からの符号化データを選択的に切替えて圧縮された直列データとして出力する。すなわち、２つの画像領域が混在するブロックに対しては組み合わせ回路９からの直列に多重された符号化データを出力し、その他の１つの画像領域から構成されるブロックに対しては係数導出回路６ａからの重み付け線形和で表される符号化データを出力する。
【００４４】
ここで、サポート領域修正回路４および５によるサポート領域修正の方法と、係数導出回路６ｂおよび６ｃにおける係数導出方法について簡単に説明する。
【００４５】
サポート領域修正では、ＤＣＴ基底供給回路３から供給される予め定められた大きさＮ×Ｎの
【００４６】
【外１】
が供給される。
【００４８】
上記ＤＣＴ直交変換基底ベクトルのＮ×Ｎ個の各々の成分のうち、符号化対象（サポート）画像領域に対応するＭ個の成分を保持し、その他の成分が０となるように
【００４９】
【外２】
を設定し、符号化対象画像領域で修正する。そして、以下に示す式（１）の演算を行って
【００５１】
【外３】
を求め、マスキングされたベクトルをノルムの自乗で除算することで符号化対象画像構成要素の形状に修正された新たな変換基底ベクトルを算出し、ノルム補正を行う。すなわち、
【００５３】
【数３】
により
【００５５】
【外４】
が求められる。ノルム補正後の画像構成要素の形状に修正された新たな変換基底ベクトルは、マスキングされたベクトルの符号化対象画素に対応する各成分をスカラー倍したものとなっている。
【００５７】
次に、係数導出回路７および８における係数導出法について説明する。
【００５８】
ここで、
【００５９】
【外５】
を示すブロック化回路２からの画像信号ベクトル（要素数Ｎ×Ｎ）とする。
【００６１】
まず、第１の段階では、上記画像信号ベクトルとノルム補正後の修正された
【００６２】
【外６】
との内積を計算してスカラー関数
【００６４】
【数４】
に変換して修正された
【００６６】
【外７】
を求め、これらの係数の中から次式により絶対値が最大の係数ｃk を選択する。
【００６８】
【数５】
次に、第２の段階では、絶対値最大の係数ｃk に対応する
【００７０】
【外８】
次式のとおり絶対値が最大の係数ｃk と絶対値が最大の係数ｃk に対応する上記ＤＣＴ直交変換基底ベクトルとの積の成分を上記画像信号ベクトルから減じて除去することで残差信号ベクトルを求め、これを画像信号ベクトルと置き換える。
【００７２】
【数６】
次に、第３の段階では、第２の段階において求めた上記の残差信号ベクトルで置き換えられた画像信号ベクトルと前記したノルム補正後の修正された新たな変換基底ベクトルとの内積を第１の段階と同様に再び計算してスカラー関数に変換して、この関数の係数のうちから第１の段階と同様に新たな絶対値最大の係数を選択する。
【００７４】
次に、第４の段階では、第３の段階において選択された絶対値が最大の係数ｃk とこの係数に対応するＤＣＴ直交変換基底ベクトルとの積の成分を画像信号ベクトルから減じて除去することで第２の段階と同様に再び新たな残差信号ベクトルを求め、画像信号ベクトルと置き換える。
【００７５】
次に、第５の段階では、第４の段階において求められた残差信号ベクトル、すなわち画像信号ベクトルに基づいて、残差信号ベクトルによる残差信号電力が予め十分小さな値に定められた閾値以下であるかを評価し、閾値以下であればこのときの修正された新たな変換基底ベクトルの係数を採用し、重み付け線形和として符号化して変換出力する。ここで残差信号電力の評価は符号化対象画像構成要素分だけとする。すなわち、第２の段階での処理はＮ×Ｎの要素に対して施されるが、目的は符号化対象のＭ個の画素のレベルを表現することにあるので、誤差の評価は残差信号ベクトルの要素のうち、このＭ個に対応する要素の自乗和で行なう。
【００７６】
一方、残差信号電力が十分小さな閾値以下になっていないと判定されたときは再び第３の段階に戻って処理を続行し、第５の段階において残差信号電力が予め十分小さな値に定められた閾値以下であると評価されるまで、第３の段階と第４の段階と第５の段階の処理を繰り返し実行する。
【００７７】
なお、各変換基底ベクトルは直交していないので、一度除かれた成分が他の成分の除去に伴って再び現れることもある。この場合、同一変換基底の係数を累積し、その結果を最終的に採用する。
【００７８】
このように、ＲＳ−ＤＣＴ部１０によれば、比較的小さなハードウェア規模で、高能率かつ画像構成要素単位で画像信号のハンドリングを行うことができる。
【００７９】
ＲＳ−ＤＣＴ部１０により導出された（Ｎ×Ｎ）個の変換係数は、乗算器１２に供給され、
【００８０】
【外９】
量子化器１４に供給され、量子化インデックス信号が出力される。出力されたインデックス信号は可変長符号化器１６に供給されて２値の符号化データ列に変換され、通信メディアや記録メディア等の伝送メディアを介して伝送される。
【００８２】
このように符号化すると、１個の符号化対象画素の量子化雑音電力は量子化前のスカラー倍の係数にかかわらずＰｅで表され、量子化雑音電力によるブロック全体の符号化歪みはＭ×Ｐｅで表される。
【００８３】
伝送メディアからの符号化データ列は、図２に示す画像復号化装置により復号される。
【００８４】
この復号処理において、符号化データ列が可変長復号化器２０に供給され、復号量子化インデックスが出力される。出力された復号量子化インデックスは逆量子化器２２に供給され、逆量子化変換係数が出力される。この逆量子化変換係数は
【００８５】
【外１０】
つまり、符号化画素数Ｍの平方根に逆比例した値でスカラー倍される。
【００８７】
ここで、各画像構成要素（オブジェクト）が画面内で占める領域を表す領域情報（境界情報）は既知であり、各ブロック内の符号化対象画素数ＭはＤＣＴ係数を導出する際に既に求められているものを用いる。
【００８８】
スカラー倍された逆量子化変換係数はＮ×Ｎの２次元逆ＤＣＴ部２６に供給され、（Ｎ×Ｎ）個の画素信号レベルが復元される。このように、
【００８９】
【外１１】
復元された画素信号のブロック全体での量子化雑音電力による歪みは、
【００９１】
【数７】
となる。
【００９３】
復元された（Ｎ×Ｎ）個の画素信号は選択器２８に供給される。選択器２８においては、別途伝送された当該ブロックにおける画像領域を示すマスクパターン２９を用いて、（Ｎ×Ｎ）個のブロック内全画素からブロックの画像領域内に対応するＭ個の画素を選択し、出力する。この結果、ブロック全体での最終的な歪み量は
【００９４】
【数８】
となる。
【００９６】
従って、画素単位での量子化雑音による符号化歪みの量は符号化対象画素数Ｍに逆比例するので、画素単位での最終的な歪み量は、ＲＳ−ＤＣＴにおける符号化対象画素数Ｍとの比例性を相殺し、Ｍに依存することなく一律にＰｅとなり、画素単位の歪み量を均一に最適化することができる。
【００９７】
このように、画像符号化装置において量子化器の前に乗算器１２を設けて
【００９８】
【外１２】
復号した画素単位の歪み量が均一となるように情報量割り当てを最適化して、伝送する情報量を一定とした場合の復号画像の総歪み量を最小とすることができ、より高能率な符号化データの伝送を実現できる効果がある。
【０１００】
（他の実施の形態）
上記実施の形態における各乗算器１２，２４による処理はスカラー倍であり、これは線形変換に対して不変である。従って、乗算器によるこのスカラー倍を、画素信号レベルに対して行っても、上記実施の形態において変換係数に対して行ったのと等価になる。
【０１０１】
そこで、符号化装置においてブロック化回路２の入力または出力に乗算器を設け、ここでの画素信号レベルに対して図１の乗算器１２と同様のスカラー倍を行い、復号化装置では２次元逆ＤＣＴ部２６の出力に乗算器を設け、ここでの画素信号レベルに対して図２の乗算器２４と同様のスカラー倍を行っても第１の実施の形態と同様の効果を得ることができる。
【０１０２】
また、乗算器を設けることなく、量子化雑音電力が量子化ステップ幅の二乗に比例して増加することを利用して画素単位の歪み量を均一に最適化し、第１の実施の形態と同様の効果を得るように構成することもできる。
【０１０３】
すなわち、符号化装置において量子化器１４の量子化ステップ幅をＲＳ−ＤＣＴ部１０における符号化対象画素数Ｍの平方根に逆比例した値でスカラー倍して修正し、さらに、復号化装置では逆量子化器２２の量子化ステップ幅を符号化対象画素数Ｍの平方根に比例した値でスカラー倍して修正することによっても等価な効果が得られる。
【０１０４】
ただし、量子化処理は乗算とは逆の除算なので、符号化装置における量子化ステップ幅は、第１の実施の形態において
【０１０５】
【外１３】
を用いてスカラー倍する必要がある。
【０１０７】
【発明の効果】
以上説明してきたように、本発明によれば、複数の構成要素からなる画像の境界情報であるブロック領域情報に基づく符号化処理を施した符号化装置から出力される符号化データを復号化装置により復号化するときに、復号画像の総歪み量を最小とするように復号化処理を施すことができる効果が得られる。
【図面の簡単な説明】
【図１】本発明を適用した画像符号化装置の第１の実施の形態の構成を示すブロック図である。
【図２】本発明を適用した画像復号化装置の第１の実施の形態の構成を示すブロック図である。
【符号の説明】
１，２ ブロック化回路
３ ＤＣＴ基底供給回路
４，５ サポート領域修正回路
６ａ，６ｂ，６ｃ 係数導出回路
７ 判定回路
８ 切替え回路
９ 組み合わせ回路
１０ ＲＳ−ＤＣＴ部
１２，２４ 乗算器
１４ 量子化器
１６ 可変長符号化器
２０ 可変長復号化器
２２ 逆量子化器
２６ ２次元逆ＤＣＴ部
２８ 選択器
２９ マスクパターン
Claims (6)
- 複数の構成要素からなる画像を所定数の画素で構成される所定寸法の複数のブロックに分割し、該ブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルの重み付け線形和として変換出力する変換手段と、前記変換手段からの信号を量子化する量子化手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像符号化装置であって、
前記変換手段からの重み付け変換係数を、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根を前記ブロックの画素数で除した値でスカラー倍して前記量子化手段の入力とすることを特徴とする画像符号化装置。 - 複数の構成要素からなる画像を所定数の画素で構成される所定寸法の複数のブロックに分割し、該ブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルの重み付け線形和として変換出力する変換手段と、前記変換手段からの信号を量子化する量子化手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像符号化装置であって、
前記画素信号ベクトルの信号レベルを、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根を前記ブロックの画素数で除した値でスカラー倍して前記変換手段の入力とすることを特徴とする画像符号化装置。 - 複数の構成要素からなる画像を所定数の画素で構成される所定寸法の複数のブロックに分割し、該ブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルの重み付け線形和として変換出力する変換手段と、前記変換手段からの信号を量子化する量子化手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像符号化装置であって、
前記量子化手段は、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根で前記ブロックの画素数を除した値で量子化ステップ幅をスカラー倍することを特徴とする画像符号化装置。 - 請求項１に記載の画像符号化装置から出力される、所定数の画素で構成され所定寸法で分割されたブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを符号化した符号化データを、逆量子化して重み付け係数を求める逆量子化手段と、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルを重み付け線形加算して、前記少なくとも一つの画像領域に対応した画素信号ベクトルを復号する逆変換手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像復号化装置であって、
前記逆量子化して求めた重み付け係数を、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根で前記ブロックの画素数を除した値でスカラーして前記直交変換基底ベクトルを重み付け線形加算することを特徴とする画像復号化装置。 - 請求項２に記載の画像符号化装置から出力される、所定数の画素で構成され所定寸法で分割されたブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを符号化した符号化データを、逆量子化して重み付け係数を求める逆量子化手段と、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルを重み付け線形加算して、前記少なくとも一つの画像領域に対応した画素信号ベクトルを復号する逆変換手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像復号化装置であって、
前記逆変換手段出力を、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根で前記ブロックの画素数を除した値でスカラー倍して前記少なくとも一つの画像領域に対応した画素信号ベクトルを復号することを特徴とする画像復号化装置。 - 請求項３に記載の画像符号化装置から出力される、所定数の画素で構成され所定寸法で分割されたブロックに含まれる単一の構成要素からなる少なくとも一つの画像領域に対応した画素信号ベクトルを符号化した符号化データを、逆量子化して重み付け係数を求める逆量子化手段と、前記構成要素の境界情報であるブロック領域情報に基づいて前記少なくとも一つの画像領域毎に導出された直交変換基底ベクトルを重み付け線形加算して、前記少なくとも一つの画像領域に対応した画素信号ベクトルを復号する逆変換手段とを備え、前記直交変換基底ベクトルが、離散コサイン変換基底ベクトルの符号化対象画像領域に対応する所定成分を前記ブロック領域情報に基づいて特定した前記符号化対象画像領域毎に保持し前記所定成分以外の成分を０とするマスキング処理を施し、かつマスキングされたベクトルのノルムの自乗で除することによりスカラー倍して前記少なくとも一つの画像領域毎に新たに導出した直交変換基底ベクトルである画像復号化装置であって、
前記逆量子化手段は、前記ブロックに含まれる前記符号化対象画像領域毎にその画素数の平方根を前記ブロックの画素数で除した値で量子化ステップ幅をスカラー倍することを特徴とする画像復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13971297A JP3933749B2 (ja) | 1997-05-29 | 1997-05-29 | 画像符号化装置および画像復号化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13971297A JP3933749B2 (ja) | 1997-05-29 | 1997-05-29 | 画像符号化装置および画像復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10336653A JPH10336653A (ja) | 1998-12-18 |
| JP3933749B2 true JP3933749B2 (ja) | 2007-06-20 |
Family
ID=15251671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13971297A Expired - Fee Related JP3933749B2 (ja) | 1997-05-29 | 1997-05-29 | 画像符号化装置および画像復号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3933749B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101436297B (zh) | 2007-11-14 | 2012-05-30 | 比亚迪股份有限公司 | 图像缩放方法 |
| JP5194039B2 (ja) * | 2010-02-22 | 2013-05-08 | 日本放送協会 | イントラ予測装置、符号化器、復号器、及びプログラム |
-
1997
- 1997-05-29 JP JP13971297A patent/JP3933749B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10336653A (ja) | 1998-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4004089B2 (ja) | ビデオ信号復号化システムおよびノイズ抑圧方法 | |
| KR100303054B1 (ko) | 정지영상과동영상부호화를위한양자화매트릭스 | |
| JP3678481B2 (ja) | 映像データ後処理方法 | |
| KR100281099B1 (ko) | 동영상의부호화에따른블록화현상제거방법 | |
| RU2127962C1 (ru) | Способ и устройство для кодирования изображения | |
| EP1230804B1 (en) | Variance based adaptive block size dct image compression | |
| KR0141082B1 (ko) | 적응에지부 강화필터를 지닌 영상신호 부호화 및 복호화장치 | |
| ZA200205897B (en) | Quality based image compression. | |
| EP0680219B1 (en) | Improved post-processing method for use in an image signal decoding system | |
| JPH08265762A (ja) | 映像データ後処理方法 | |
| AU2004223358A1 (en) | Overcomplete basis transform-based motion residual frame coding method and apparatus for video compression | |
| US7003170B1 (en) | Methods and apparatus for improving quality of block-transform coded images | |
| JP2004528791A (ja) | インターフレーム符号化方法および装置 | |
| CN1258169A (zh) | 流水线离散余弦变换设备 | |
| US20030081848A1 (en) | Image encoder, image encoding method and image-encoding program | |
| JP3933749B2 (ja) | 画像符号化装置および画像復号化装置 | |
| CN101095137A (zh) | 8×8变换和量化 | |
| Crouse et al. | Nonlinear constrained least squares estimation to reduce artifacts in block transform-coded images | |
| WO2000046741A1 (en) | Improving compressed image appearance using stochastic resonance and energy replacement | |
| JPH08274996A (ja) | 画像処理装置 | |
| JP2006509401A (ja) | ブロッキングアーチファクトを測定する方法 | |
| JP3907724B2 (ja) | 画像符号化装置 | |
| Nakachi et al. | Lossless and near-lossless compression of still color images | |
| KR20010101882A (ko) | Ｄｃｔ 도메인에서의 블로킹 아티팩트 감소 | |
| JPH1023261A (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060317 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060516 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060516 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070302 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070314 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110330 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120330 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130330 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140330 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |