JP5796899B2

JP5796899B2 - 画像符号化装置及び画像復号装置

Info

Publication number: JP5796899B2
Application number: JP2012069240A
Authority: JP
Inventors: 加藤　晴久; 晴久加藤; 米山　暁夫; 暁夫米山
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2012-03-26
Filing date: 2012-03-26
Publication date: 2015-10-21
Anticipated expiration: 2032-03-26
Also published as: US9088798B2; WO2013146405A1; JP2013201639A; US20150049956A1

Description

本発明は，画像符号化装置および画像復号装置に関し，特に，符号化済みの画素から信号間相関を低減させる写像係数を算出して、符号化対象画素に適用した上で符号化する画像符号化装置及び画像復号装置に関するものである．

従来の画像符号化において符号化効率を向上させる方式としては、時間冗長性を削減する方法と空間冗長性を削減する方法と信号冗長性を削減する方法とがある。

時間冗長性を削減する方法としては、フレーム差分方式や動き補償方式がある。フレーム差分方式は連続する2枚の画像を単純に減算し差分を符号化する。動き補償方式は、参照フレームに対して動きベクトルを適用することで符号対象フレームの近似画像を生成し、符号対象フレームとの差分を符号化する。画像間の相違を小さくした上で符号化するため、動き補償方式はフレーム差分方式より符号化効率の面で優れる。動き補償方式で用いる動きベクトルの推定方法は様々な方式が提案されており、動き推定に関する主要な従来技術は非特許文献１にて紹介されている。

一方、空間冗長性を削減する方法としては、直交変換係数を量子化する方式がある。直交変換は画素信号を周波数領域に写像し、エネルギーを低域に集中させる。人間の視覚特性が高域に敏感でないことを利用して、高域成分を量子化で除去することで符号化効率を上げることが可能となる。また、直交変換係数乃至画素の予測による空間冗長性削減手法がある。直交変換に関する主要な従来技術は非特許文献２にて紹介されている。

信号冗長性を削減する方法としては、主成分分析で信号間の相関を削減する方法がある。特許文献１では、無相関化した信号に対して符号化処理を施して符号化信号を生成する。同文献の別の実施例では、符号化側で主成分分析法で求めた無相関化変換行列に対して最も近いものを有限個数の無相関化変換行列から選択することにより決定された、無相関化変換行列の固有番号を示す補助情報に従って無相関化変換行列を特定し、無相関化逆変換を実行する方法も記載されている。

特開2011-188368号公報

http://www.jpo.go.jp/shiryou/s_sonota/map/denki14/2/2-1-2-1.htm http://www.jpo.go.jp/shiryou/s_sonota/map/denki14/2/2-1-3.htm

動き補償は時間冗長度を削減するが、静止画には利用できない。一方、直交変換と量子化の組み合わせや空間予測方法は空間冗長性を削減するが、いずれも色信号を独立して処理するため色信号の冗長性まで削減することはできない。

信号冗長性を削減する特許文献１は、無相関化変換に用いた無相関化行列の情報を無相関化パラメータとして保持するため、大幅な符号化効率改善は難しい。近似行列を利用する実施例では、伝送する情報量を大幅に削減することができたとしても、無相関化による冗長性削減は十分ではない。

本発明の目的は上記の従来技術の問題点を解消し、符号化効率の高い画像符号化装置を提供することにある。本発明の目的はまた、上記符号化効率の高い画像符号化装置に対応する画像復号装置を提供することにある。

上記目的を達成するため、本発明は、所定の色空間で構成された符号化対象画素の画素信号を、信号間の相関を低減させる空間に写像した写像画素信号の形で単位ブロック毎に符号化する画像符号化装置であって、符号化対象の画素信号に対して、その信号間の相関を低減させる写像係数を符号化済みの画素信号より算出して適用し、写像画素信号となす写像手段と、符号化済み画素信号の写像画素信号より、符号化対象の写像画素信号を予測する予測情報を決定する予測手段と、当該予測情報に基づいて符号化対象の写像画素信号の予測信号を生成する補償手段と、当該符号化対象の写像画素信号とその予測信号との間で差分処理を行って予測残差信号となす差分手段と、当該予測残差信号を直交変換して変換係数となす変換手段と、当該変換係数を前記写像係数に応じて量子化して量子化値となす量子化手段と、当該量子化値及び前記予測情報を符号化する符号化手段と、当該量子化値を逆量子化して変換係数となす逆量子化手段と、当該変換係数を逆直交変換して予測残差信号となす逆変換手段と、当該予測残差信号と前記予測信号とを加算して符号化済みの写像画素信号となす加算手段と、当該符号化済みの写像画素信号に前記写像係数を逆写像として適用して符号化済みの画素信号となす逆写像手段と、を備え、前記写像手段は前記予測情報が参照する領域を含む所定領域における符号化済み画素信号より前記写像係数を算出すると共に、該写像係数を前記符号化対象の画素信号に対して適用する際に併せて当該参照する所定領域の符号化済み画素信号に適用し、前記予測手段は当該適用された写像係数による前記所定領域の符号化済みの写像画素信号より、符号化対象の写像画素信号を予測することを特徴とする。

また上記目的を達成するため、本発明は、前記画像符号化装置により符号化された情報を前記所定の色空間で構成された画素信号へと単位ブロック毎に復号する画像復号装置であって、前記符号化された量子化値及び予測情報を復号する復号手段と、当該量子化値を逆量子化して変換係数となす復号側逆量子化手段と、当該変換係数を逆直交変換して予測残差信号となす復号側逆変換手段と、復号済みの画素信号より得られる写像画素信号と、前記予測情報と、から復号対象の画素信号に対する写像画素信号の予測信号を生成する復号側補償手段と、当該予測信号と前記予測残差信号とを加算して復号済みの写像画素信号となす復号側加算手段と、前記予測情報が参照する領域を含む所定領域における復号済みの画素信号より前記写像係数を算出する復号側写像手段と、当該算出された写像係数を前記復号済みの写像画素信号に対して逆写像として適用し、復号済みの画素信号となす復号側逆写像手段と、を備え、前記復号側写像手段は前記写像係数を前記所定領域の復号済みの画素信号に適用することで、前記復号側補償手段が前記予測信号を生成する際に前記予測情報と併せて利用する、前記復号済みの画素信号より得られる写像画素信号となすことを特徴とする。

本発明によれば、所定の色空間で構成された符号化対象及び復号対象の画素信号を信号間の冗長性を低減させる写像画素信号へと写像する際の写像係数を、符号化済みの画素信号から算出することで、写像係数の符号化を不要とすると共に、符号化・復号対象ブロックの類似画素とみなせる予測情報の参照領域を含む所定領域から写像係数を算出するので、冗長性が大きく低減され、符号化効率が向上する。また、写像を、対象ブロックの画素信号及び予測情報が参照する画素の領域に適用することで、写像画素信号にさらに予測の適用を可能とすることにより、符号化効率が向上する。

一実施形態に係る符号化装置の機能ブロック図である。一実施形態に係る復号装置の機能ブロック図である。写像手段等の適用の具体例を説明するための図である。

図1は、本発明の一実施形態に係る(画像)符号化装置の機能ブロック図である。符号化装置1は、変換手段101、量子化手段102、符号化手段103、(符号化側)逆量子化手段104、(符号化側)逆変換手段105、(符号化側)加算手段106、差分手段107、予測手段108、(符号化側)補償手段109、(符号化側)メモリ110、(符号化側)写像手段150及び(符号化側)逆写像手段160を備え、符号化の単位ブロック毎に画素信号を符号化する。

図2は、図1の符号化装置に対応する本発明の一実施形態に係る(画像)復号装置の機能ブロック図である。復号装置2は、復号手段203、(復号側)逆量子化手段204、(復号側)逆変換手段205、(復号側)加算手段206、(復号側)補償手段209、(復号側)メモリ210、(復号側)写像手段250及び(復号側)逆写像手段260を備え、単位ブロック毎に画素信号を復号する。

なお、符号化及び復号の単位ブロックのサイズは任意に設定できる。単位ブロックを定めた上でさらに、当該単位ブロックを細分化した所定の小領域毎に符号化及び復号を行うようにしてもよい。

以下、図1及び図2の各機能ブロックについて説明する。なお、図1及び図2で各機能ブロックの処理が同一である、ないし対応している場合は、説明の簡素化のために適宜「写像手段150(写像手段250)」のように、一方を括弧でくくって併記して説明する場合がある。なおまた、図1及び図2において処理が同一ないし対応している機能ブロックには共通の名称を付与すると共に、参照番号として下２桁が共通のものを付与している。

なお、図1(及び図2)においてそれぞれ、メモリ110(及びメモリ210)は符号化装置1(及び復号装置2)の各機能ブロックが必要とする符号化済み画素信号(復号済み画素信号)及び符号化済み写像画素信号(復号済み写像画素信号)を必要な期間に渡って保持し、各機能ブロックが処理をする必要に応じて当該信号を提供するが、その際のデータ授受の流れを表す矢印については、図の簡略化のために図示を省略してある。当該データ保持及び授受については適宜説明する。

本発明の特徴的構成である写像手段150は、(1)入力された符号化対象の画素信号を符号化の単位ブロック毎に、入力された当初の所定の色空間における信号を、信号間の相関を低減させて冗長性が低減されるような特定の空間における信号(写像画素信号と呼ぶ)へと写像し、変換手段101、補償手段109及び予測手段108に渡す。写像手段150はまた、当該(1)の写像を施すために、(2)当該写像を表す写像係数を求める。当該(2)にて求める写像係数はメモリ110に保持されている符号化済み画素信号を用いることで、(1)の実際に変換する符号化対象の単位ブロック自体を利用せずに求めることができるため、写像係数の情報を符号化する必要はない。

例えば当初の入力される画素信号がRGB信号であったとすると、これが(2)にて求める特定の空間αβγにおける写像画素信号に変換される。当該αβγ空間は一般に、(1)にて変換する符号化対象の単位ブロック毎に異なるものが求められる。

写像手段250は、逆写像手段260から送られメモリ210に保持されている復号済みの画素信号に対して写像手段150の上記(2)と同様の処理を行うことで、同様の写像係数を求める。写像手段250はまた、当該写像係数をメモリ210に保持されている復号済み画素信号のうち、復号手段230から送られる予測情報が指定する領域における復号済み画素信号に適用して、その写像画素信号を求める。当該求められた写像画素信号は、補償手段209が予測情報より予測信号を生成するために利用する。

逆写像手段160(逆写像手段260)は、加算手段106(加算手段206)から送られた写像画素信号に対して写像手段150(写像手段250)の逆の処理を行って画素信号を求め、メモリ110(メモリ210)に記録することで、以降の処理において必要に応じて写像手段150(写像手段250)が参照可能なようにする。

なお、写像手段150(写像手段250)が所定の画素信号に基づいて求めた写像係数は、不図示のデータ授受の流れにより、ただちに逆写像手段160(逆写像手段260)においても利用可能となり、当該写像係数を用いて逆写像を施すことが可能な状態となる。なおまた、写像手段150(写像手段250)及び逆写像手段160(逆写像手段260)の詳細については後述する。

変換手段101は、後述する差分手段107から送られる写像画素信号における予測残差信号又は写像手段150から送られた写像画素信号を直交変換によって周波数領域の変換係数に変換する。直交変換によって得られた変換係数は量子化手段102に送られる。直交変換としてはDCT(離散コサイン変換)乃至DCTの近似変換またはDWT(離散ウェーブレット変換)などを利用可能である。

なお、変換手段101が予測残差信号ではなく写像手段150から送られた写像画素信号を対象として変換を行うのは、画面内予測利用時で且つフレーム内の最初のブロックであり予測が適用できないような場合である。

量子化手段102は、変換手段101から送られた変換係数を量子化する。量子化によって得られた量子化値は逆量子化手段104及び符号化手段103に送られる。量子化処理に用いられる量子化パラメータは定数値の組み合わせとして設定することが可能である。または、変換係数の情報量に応じて制御することで符号化効率を向上させることも可能である。

当該量子化パラメータはあるいは詳細を後述するように、写像された各空間軸における変換係数に対して、当該空間軸の情報量を表している対角行列の要素(固有値)に応じて非均等な量子化パラメータを設定する(情報量が多い軸ほど大きい量子化パラメータを設定する)と共に符号化させるようにすることもできる。

符号化手段103は、量子化手段102から送られた量子化値(及び量子化パラメータ)を符号化し、符号情報として出力する。符号化は符号間の冗長性を取り除く可変長符号乃至算術符号などを利用可能である。

復号手段203は、符号化処理の逆の手順を踏むことで、入力された符号情報(符号化装置1の符号化手段103からの出力)を復号する。復号された量子化値(及び量子化パラメータ)並びに予測情報はそれぞれ、逆量子化手段204及び補償手段209に送られる。

逆量子化手段104(逆量子化手段204)は、量子化処理の逆の手順を踏むことで、量子化手段102(復号手段203)から送られた量子化値を逆量子化する。逆量子化によって得られた量子化誤差を含む変換係数は逆変換手段105(逆変換手段205)に送られる。

逆変換手段105(逆変換手段205)は、直交変換の逆の手順を踏むことで，逆量子化手段104(逆量子化手段204)から送られた量子化誤差を含む変換係数を逆直交変換する。逆変換によって得られた量子化誤差を含む予測残差信号又は写像画素信号は後述する加算手段106(加算手段206)に送られる。

加算手段106(加算手段206)は、逆変換手段105(逆変換手段205)から送られる予測残差信号と、後述する補償手段109(補償手段209)から送られる予測信号との合計を計算する。なお、予測残差信号ではなく写像画素信号がそのまま送られた場合(画面内予測を利用する際のフレーム内の最初のブロックなどの場合)は、加算処理は省略される。加算して得られた(又は加算処理が省略されそのまま得られた)写像画素信号は、後述する逆写像手段160(逆写像手段260)に送られる。

差分手段107は、当該符号化対象の単位ブロックにおいて、詳細を後述する写像手段150で信号冗長性を低減された写像画素信号と後述する補償手段109から送られる予測信号との差分を計算する。減算して得られた写像画素信号に対する予測残差信号は変換手段101に送られる。

予測手段108は、メモリ110に保持された符号化済み画素信号のうちの所定領域(予測情報における参照元に対応する領域)のものを写像手段150にて写像画素信号へと写像したものによって、符号化対象の入力画素信号(符号化対象ブロックの画素信号)を写像手段150によって写像した符号化対象の写像画素信号を近似するための予測情報を決定する。決定された予測情報は補償手段109及び符号化手段103に送られる。なお、予測情報が符号化手段103に送られる部分のデータの流れに関しては不図示である。

一例として、H.264のIntra予測(画面内予測)を利用する場合は、各Intra予測モードで個別に符号化し符号量と歪み量から算出されるコストを最小化するIntra予測モードを選択し、予測情報とする。動き予測を利用する場合は、参照するフレーム及び座標を探索し、予測情報とする。なお、写像画素に対して当該画面内予測や動き予測を適用することについては、写像手段150等の詳細の説明の際に併せて説明する。

補償手段109(補償手段209)は、予測手段108(復号手段203)から送られる予測情報と、当該予測情報における参照元の領域の符号化済み画素信号を写像手段150(写像手段250)によって写像画素信号へ写像したものと、によって当該符号化対象の領域(当該復号対象の領域)の予測信号を生成する。予測信号は、符号化装置1においては差分手段107及び加算手段106に、復号装置2においては加算手段206に送られる。

以下、写像手段150(写像手段250)における写像係数の算出等の詳細を説明する。当該算出においては符号化対象ブロック(復号対象ブロック)における画素に対する類似画素を、符号化済み領域(復号済み領域)より選んで用いることで、符号化装置1及び復号装置2のいずれでも同一の写像係数を算出できるため、特段の追加情報を符号化して符号化装置1より復号装置2へと伝送する必要がない。ここで、写像係数を求める際に類似画素を選んで利用することから、符号化対象ブロック(復号対象ブロック)における画素信号に当該写像係数を適用した際も冗長性の低減が達成され、写像係数の符号化が不要であることから符号量低減が達成される。

類似画素には、符号化対象ブロック(復号対象ブロック)に対する符号化済み(復号済み)の隣接ブロックの画素を利用することができる。これは、対象ブロックとその隣接ブロックとはその色特徴が類似している場合が多いことに基づく。また、当該処理対象ブロックに対する隣接ブロックは、予測手段108で用いる予測情報の各々に応じて変化させてもよい。

例えば、予測手段108がIntra予測を利用する場合は、予測情報は予測モードとして表現されることとなる。この場合、予測モードが予測の参照元として示す領域に関連する所定の領域を利用することができる。具体的には、画面内予測において予測モードがDC、PLANE、4、5、6のいずれかである場合は、類似画素として左と上とのブロックの画素を利用し、Intra予測モードが1または8である場合は、左のブロックの画素を利用し、Intra 予測モードが0、3、7のいずれかである場合は上のブロックの画素を利用する。

予測手段108が動き予測を利用する場合も、予測情報が示す領域に関連する領域を利用することができる。なおまた、画面内予測と動き予測とのフレーム毎の使い分けは、周知の手法に従って予め所定のパターンを定めておけばよい。

写像係数算出に用いる単位は、符号化(復号化)の処理単位ブロックであっても良いし、処理単位ブロックの一部であっても良い。あるいは、watershed等の各種の公知手法を用いた領域分割によって、符号化対象ブロック(復号対象ブロック)の隣接画素又は隣接ブロックと同一領域を抽出し該当する画素を用いることもできる。

具体的には、予測情報が示す領域に含まれる画素数が少ない場合は、ノイズの影響が相対的に大きくなりやすいため、予め定めた画素数に達するまで該領域を中心として領域を拡大しても良い。逆に、該領域に含まれる画素数が多い場合は、チャネル間の相関関係が異なる画素が含まれる可能性が増すため、符号化対象ブロックに近い画素の相関関係と一致する画素だけで領域を構成しても良い。

よって、領域分割で同一領域とみなせる領域を抽出する際に、当該抽出される領域のサイズの所定の候補を何通りか定めておいて、各候補で実際に写像係数算出ないし符号化を試みて、符号化コストを最小とするようなサイズで実際に符号化する(当該サイズ情報を含めて符号化する)ようにしてもよい。サイズ情報の符号化が不要なように、予め実験等によって所定の１つのサイズを定めておいてもよい。当該サイズ候補または1つの所定サイズは、画面内予測と画面間予測とでそれぞれ定めるようにしてもよい。

また、写像係数算出の適用の是非を領域ごとに設定しても良い。例えば、類似画素が平坦な値で構成されている場合、(1)予め設定された写像係数を適用する、又は、(2)当該類似画素に対する処理対象ブロックの隣接ブロックで既に算出された写像係数を適用することで、計算負荷を低下させるとともに、(隣接ブロックの変換係数との差を小さくすることで符号化効率の向上を図ることもできる。

なお、(1)の場合、写像を施す処理を省略して、変換手段101以降も写像画素信号ではなく画素信号として処理されるようにしてもよい。あるいは全く同様に、適用すべき写像係数として恒等写像に対応する写像係数を予め設定しておいてもよい。また、(2)の場合は前提として隣接ブロックも平坦であると判定されているものとし、隣接画素が平坦であると判定されるような対象ブロックが連続する場合に、最初に平坦であると判定された対象ブロックの隣接画素より算出された写像係数を、以降続けて平坦であると判定されている対象ブロックでの写像係数として流用することとなる。なおまた、平坦であるか否かは、類似画素のヒストグラムにおいて所定範囲に所定割合以上の画素が集中すること等によって判定すればよい。

算出された写像係数は、符号化装置1においては符号化対象である入力された画素信号並びに符号化済みでメモリ110に保持され予測手段108及び補償手段109が参照する箇所に位置する画素信号に適用され、当該適用された範囲において写像画素信号が求められ、そのうち、当該符号化対象ブロックにおける写像画素信号が差分手段107、補償手段109及び予測手段108に送られる。

なお、当該写像係数の算出及び当該係数のもとでの写像画素信号の算出は、予測手段108で適用する予測情報の候補毎に行われ(なお、復号装置1側では、定められた予測情報に関してのみ算出が行われる)、それら候補の中から符号化手段103で符号化する際の符号量と歪み量から算出されるコストを最小化する予測情報に対応するものが、実際に符号化装置1の出力となすべく符号化されると共に、逆写像手段160によって符号化済み画素信号に逆写像され、以降の符号化対象ブロックの処理の際に写像手段150が参照可能なようにメモリ110に保存される。

復号装置2においては算出された写像係数はまず、予測情報によって定められる補償手段209が予測信号を生成する元となる領域における既に復号済みの画素信号に対して、写像手段250によって適用され、当該生成元の領域の写像画素信号が求められる。補償手段209は当該領域の写像画素信号に予測情報を適用して予測信号を得、当該予測信号が加算手段206によって予測残差信号と加算されることで、復号対象ブロックの写像画素信号が得られる。

復号装置2においては当該算出された写像係数がさらに、逆写像手段260によって逆写像として、復号対象ブロックの写像画素信号に適用されることで、復号対象ブロックの画素信号が求まって復号装置2の出力となると共に、以降の復号対象ブロックの処理の際に写像手段250で参照するためにメモリ210に保存される。

前述のとおり、写像が適用された対象ブロックにおける写像画素信号は、符号化装置1においては写像手段150から差分手段107、補償手段109及び予測手段108に、復号装置2においては写像手段250から補償手段209に送られる。また、当該送られるデータの流れとは別途に、当該対象ブロックに予測情報を適用する際に必要となる予測元の領域における写像画素信号は、写像手段150(写像手段250)が個別に算出して予測手段108及び補償手段109(補償手段209)に提供する。

また前述の通り、逆写像が適用された画素信号は、以降の対象ブロックの処理で利用すべく、符号化装置1においては逆写像手段160からメモリ110に保持された後に写像手段150に、復号装置2においては逆写像手段260からメモリ210に保持された後に写像手段250に送られるとともに画素信号として出力される。

図3は、写像手段150等の適用の具体例を説明するための図である。当該説明においては、(1)に示すように符号化対象ブロック(復号対象ブロック)をB0とし、当該ブロックを符号化(復号)しようとする際に画素信号が参照可能な、既に符号化済み(復号済み)のブロックをB0の左上隣のブロックA1、B0の上隣のブロックA2、B0の右上隣のブロックA3及びB0の左隣のブロックA4とする。当該例では、当該ブロックA1〜A4のブロックB0に対する配置は、符号化(復号)を画像内にてラスタスキャン順に行う場合を想定しているが、その他の順であってもよい。また、当該ブロックA1〜A4の一部分に参照可能でないものがあってもよい。

予測手段108が画面内予測の予測モード0(垂直方向予測)を適用する場合が(2)であり、処理済みブロックA2のうちの最下段の一列の画素B2が、処理対象ブロックB0に隣接する参照用の画素として、B0の予測に用いられる。

(2)の場合、写像手段150(写像手段250)はブロックA2の全画素より写像係数を求める。当該写像係数を用いて、符号化装置1側にて写像手段150は予測元領域(予測のため参照する領域)B2及び符号化対象ブロックB0の画素信号を写像画素信号へと変換する。また当該写像係数を用いて、復号装置2側にて写像手段250は予測元領域B2の画素信号を写像画素信号へと変換する。

(2)の場合さらに、補償手段109(補償手段209)は当該画面内予測モード0の予測情報に従って、予測元領域B2の写像画素信号より対象ブロックB0の写像画素信号に対する予測信号を生成する。ここで符号化装置1側において特に、予測元領域B2及び予測対象領域B0の写像画素信号はブロックA2により求めた共通の写像係数にて同じ空間に写像された写像画素信号である。よって、本来はRGB等の固定された色空間で利用されることを想定していた予測を、本発明においてブロック毎に異なる写像関係にて定められる空間で利用しても、符号化効率向上のために有効に機能することとなる。

予測信号生成の後、符号化装置1では差分手段107において対象ブロックB0の写像画素信号とその予測信号との差分として対象ブロックB0の写像画素信号に対する予測残差信号が算出され、変換手段101以降へと渡される。その後、符号化手段103にて符号化されると共に、もう一方では加算手段106にて再構成された写像画素信号となり、逆写像手段160にて写像手段150が既にブロックA2より求めた写像係数によって逆写像を施されてブロックB0の再構成された画素信号となり、以降の処理対象ブロックについて写像手段150で参照すべくメモリ110に保存される。

また、予測信号生成の後、復号装置2では、加算手段206において対象ブロックB0の写像画素信号の予測残差信号とその予測信号との和として対象ブロックB0の写像画素信号が得られ、さらに、既に写像手段250で求められているブロックA2で算出した写像係数を用いて、逆写像手段260にて逆写像を施すことで、対象ブロックB0の再構成された画素信号が得られて復号装置2の出力となると共に、以降の処理対象ブロックについて写像手段250で参照すべくメモリ210に保持される。

以上、予測モード0の場合を示した(2)におけるB0の符号化及び復号の際の信号の流れの主要部分をまとめると次のようになる。
＜B0を符号化する際の主要な流れ＞
[10]A2より写像係数を算出
[11]当該A2の写像係数にてB2及びB0の画素信号を写像画素信号へと写像
[12]B2の写像画素信号よりB0の予測信号を生成して、差分を取ることでB0の写像画素信号に対する予測残差信号を算出
[13]B0の予測残差信号を変換・量子化して(予測情報と共に)符号化

＜B0を復号する際の主要な流れ＞
[20]A2より写像係数を算出
[21]当該A2の写像係数にてB2の画素信号を写像画素信号へと写像
[22]B2の写像画素信号よりB0の予測信号を生成して、B0の予測残差信号と加算することでB0の写像画素信号を算出
[23]当該A2の写像係数にてB0の写像画素信号に逆写像を施してB0の画素信号を再構成

このように、本発明においては予測に利用する参照画素の領域B2を含む、対象ブロックB0の符号化済みの隣接ブロックA2より写像係数を求める。隣接ブロックA2は対象ブロックB0に接しているので一般に色分布が類似している可能性が高く、従ってA2から求めた写像係数はB0の冗長性を削減する可能性が高い。

なお前述のように、写像係数を求めるのはブロックA2の全画素ではなく、その一部分のみから求めるようにしてもよいが、当該一部分はB2を含むことが好ましい。また、当該求める時点において参照可能な符号化済み(復号済み)の領域内において、写像手段150(写像手段250)が追加処理として領域分割を適用するなどして、ブロックA2又は領域B2と所定基準で特徴が同一であると判定される領域(に当該ブロックA2又は領域B2自身を加えた領域)を用いて写像係数を算出するようにしてもよい。

(3)は、予測手段108にて画面内予測の予測モード1(水平方向予測)を適用する場合の例であり、(2)の場合のA2の最下段の一列B2に代えてA4の最右段の一列B3すなわち当該予測モード1に対応する参照画素領域を、ブロックA2(B0の上隣)に代えてブロックA4(B0の左隣)すなわち当該参照画素を含む隣接ブロックを、それぞれ利用することで、(2)の場合と全く同様に(3)の場合も予測を適用しての符号化及び復号が可能である。

(4)は、予測手段108にて画面内予測の予測モード2(DC予測)を適用する場合の例であり、(2)の場合のA2の最下段の一列B2に代えてA2の最下段の一列、A4の最右段の一列及びそれらの交差部分からなるB4すなわち当該予測モード2に対応する参照画素領域を、ブロックA2(B0の上隣)に代えてブロックA1、A2及びA4(B0の左上隣、上隣及び左隣)すなわち当該参照画素を含む隣接ブロックをそれぞれ利用することで、(2)の場合と全く同様に(4)の場合も予測を適用しての符号化及び復号が可能である。

なお、図3には示していないが、その他の画面内予測の予測モードを利用する場合も全く同様に適用が可能である。すなわち、予測モード4、5又は6の場合であれば(4)と同様の参照画素及び隣接ブロックを利用し、予測モード8の場合であれば(3)と同様の参照画素及び隣接ブロックを利用し、予測モード3又は7の場合であれば(2)と同様の参照画素及び隣接ブロックを利用すればよい。

また、予測手段108が動き予測(画面間予測)を利用する場合も同様に(5)に示すように動き予測による予測情報が示す領域を参照画素かつ(隣接ブロックに代えて)参照ブロックとして利用すればよい。例えばフレームF0における対象ブロックB0を別フレームF1におけるブロックB1で予測する場合、当該参照フレーム及び参照ブロックの情報を予測情報として符号化すると共に、当該ブロックB1を(2)の場合のA2(写像係数算出対象)且つB2(予測元領域として写像画素を算出する対象)として扱うことで、予測及び符号化・復号が適用可能となる。

なお、動き予測を利用する場合には、(5)における上記ブロックB1は参照されるブロック自体ではなく、参照されるブロックを内部に含むより大きな所定のブロックとして設定することで、ノイズに対する耐性を持たせるようにしてもよい。

なおまた、予測手段108は例えば画面内予測のような所定の画面内予測を適用するに際して、各予測モードの中から実際にどれを適用するかについては、前述の通り全てで実際に個別に符号化して、符号量と歪み量から算出されるコストを最小化するものを選ぶものとする。動き予測を利用する場合も、所定範囲内で全て実際に個別に符号化して同様にコストを最小にするものを選ぶものとする。

また4×4画面内予測(予測モード0〜8)を利用する場合であっても、符号化の単位ブロックのサイズは必ずしも4×4でなくともよいし、その他の画面内予測を別サイズで利用するようにしてもよい。また前述のように、画面内予測利用時で且つフレーム内の最初のブロックであり予測が適用できないような場合、当該ブロックについては写像・逆写像及び予測等を施すことなく画素信号として直接に変換・量子化・符号化を行い、あるいは写像・逆写像を適用し予測を適用せず且つ写像係数(恒等写像の係数であってもよい)を符号化して写像画素信号として変換・量子化・符号化を行い、復号側でも同様とし、以降のブロックについて上述のような処理が行われる。

また、写像手段150等は主成分変換により所定の色空間における信号間の相関を低減させる写像係数を求めて写像・逆写像として適用するが、適用の具体的な手順は次の通りである。まず、写像係数の算出には入力された画素信号をm 個の信号に分離する。信号を分離する種類や数は問わないが、一例としてRGB 信号やYUV 信号乃至Y CbCr 信号など色空間の信号を利用することが可能である。入力された画素信号が予め所定の色空間で構成されていれば、当該色空間をそのまま利用すればよい。

次に、N 個の画素を列とし、分離されたm 個の信号を各行とした行列の形式で表現する。具体例として、RGB 信号のN 個の各画素をR _i 、G _i 、B _i (i＝1,2,...,N)で表した場合（m = 3）、行列P は次式(式1)で表される。

なお、当該各画素R _i 、G _i 、B _iは当該N個の平均の値がゼロとなるよう、あらかじめ平均を減算する処理を施したものとする。すなわち、当初のRGB 信号のN 個の入力画素をr_i,g_i,b_i(i＝1,2,...,N)すると、(式2)の関係がある。

続いて、行列Pは転置行列P^tとの積を行列Aとして算出する(式3)。tは転置操作を表す。

このとき、行列A は行と列の数がいずれも分離された信号の要素数m である対称行列となる。よって、行列A を次式(式4)のように行列の積に分解することができる。

ただし、U およびVはmxmの直交行列、Σは行列Aの特異値σ_i(1 ≦ i ≦ rankA) を降順に並べたmxm の対角行列を表す。特異値σ_iは、A^t Aの固有値λ_iの平方である。具体的な手順は、まずA^t Aの固有値を求め、特異値を算出する。次に、直交行列U 及びV はその定義からU^t U = IおよびV^t V = I であることを利用して（I は単位行列）、(式5)が得られる。

よって、次式(式6)で示すようにV の列ベクトルv_i はA^t A の固有値σ_i ²に対応する固有ベクトルとして求められる。なお、前述の量子化手段102における量子化パラメータを、当該空間軸における情報量に対応している当該固有値σ_i ²に応じて定めるようにしてもよい。

最後に、直交行列V^t は写像係数として符号化対象画素Qに適用し、写像画素信号Q'を算出する(式7)。

また、逆写像手段160,260で用いる写像係数は直交行列Uで与えられ、次式(式8)で写像画素信号Q'から画素信号Qを算出する。この際さらに、(式2)の逆の操作で平均がゼロではないようにすることで、最終的な画素信号を求める。すなわち、写像係数においては(式2)の平均をシフトさせる情報も含ませておくものとする。

例えば、図3の(2)の例であれば行列PをブロックA2の画素信号より求め、符号化対象画素Qの存在するブロックB0に適用することでその写像画素信号Q'が得られることとなる。

1…画像符号化装置、101…変換手段、102…量子化手段、103…符号化手段、104…(符号化側)逆量子化手段、105…(符号化側)逆変換手段、106…(符号化側)加算手段、107…差分手段、108…予測手段、109…(符号化側)補償手段、110…(符号化側)メモリ、150…(符号化側)写像手段、160…(符号化側)逆写像手段、2…画像復号装置、203…復号手段、204…(復号側)逆量子化手段、205…(復号側)逆変換手段、206…(復号側)加算手段、209…(復号側)補償手段、210…(復号側)メモリ、250…(復号側)写像手段、260…(復号側)逆写像手段

Claims

所定の色空間で構成された符号化対象画素の画素信号を、信号間の相関を低減させる空間に写像した写像画素信号の形で単位ブロック毎に符号化する画像符号化装置であって、
符号化対象の画素信号に対して、その信号間の相関を低減させる写像係数を符号化済みの画素信号より算出して適用し、写像画素信号となす写像手段と、
符号化済み画素信号の写像画素信号より、符号化対象の写像画素信号を予測する予測情報を決定する予測手段と、
当該予測情報に基づいて符号化対象の写像画素信号の予測信号を生成する補償手段と、
当該符号化対象の写像画素信号とその予測信号との間で差分処理を行って予測残差信号となす差分手段と、
当該予測残差信号を直交変換して変換係数となす変換手段と、当該変換係数を前記写像係数に応じて量子化して量子化値となす量子化手段と、
当該量子化値及び前記予測情報を符号化する符号化手段と、
当該量子化値を逆量子化して変換係数となす逆量子化手段と、当該変換係数を逆直交変換して予測残差信号となす逆変換手段と、
当該予測残差信号と前記予測信号とを加算して符号化済みの写像画素信号となす加算手段と、
当該符号化済みの写像画素信号に前記写像係数を逆写像として適用して符号化済みの画素信号となす逆写像手段と、を備え、
前記写像手段は前記予測情報が参照する領域を含む所定領域における符号化済み画素信号より前記写像係数を算出すると共に、該写像係数を前記符号化対象の画素信号に対して適用する際に併せて当該参照する所定領域の符号化済み画素信号に適用し、
前記予測手段は当該適用された写像係数による前記所定領域の符号化済みの写像画素信号より、符号化対象の写像画素信号を予測することを特徴とする画像符号化装置。
前記写像手段が、主成分分析に基づいて前記写像係数を算出することを特徴とする請求項１に記載の画像符号化装置。
前記量子化手段が、写像画素信号の各空間の量子化パラメータを、各空間の主成分分析における固有値に基づいて定めることを特徴とする請求項２に記載の画像符号化装置。
前記予測手段は、所定の画面内予測方式における予測モードを決定することで予測情報を決定し、
前記写像手段は、前記所定の画面内予測方式における各予測モードに対して、当該予測モードが参照画素として定める領域を含んだ符号化済みの単位ブロックより写像係数を算出し、当該写像係数を前記符号化対象の画素信号及び当該参照画素の領域に適用し、
前記予測手段は、前記適用された写像係数による当該参照画素の領域の写像画素信号より、符号化対象の写像画素信号を予測する予測情報を決定することを特徴とする請求項１ないし３のいずれかに記載の画像符号化装置。
前記写像手段は、前記所定の画面内予測方式における各予測モードに対して、当該予測モードが参照画素として定める領域を含んだ符号化済みの単位ブロックと所定基準で画素分布が同一である符号化済み画素の領域と、当該単位ブロックと、から写像係数を算出し、当該写像係数を符号化対象の画素信号及び当該参照画素の領域に適用することを特徴とする請求項４に記載の画像符号化装置。
前記写像手段は、領域分割によって前記所定基準で画素分布が同一である符号化済み画素の領域を定めることを特徴とする請求項５に記載の画像符号化装置。
前記予測手段は、前記所定の画面内予測方式における各予測モードの中から、符号化コストを最小にする予測モードを前記予測情報として決定することを特徴とする請求項４ないし６のいずれかに記載の画像符号化装置。
前記予測手段が、画面間予測によって参照フレーム及び該参照フレームにおける参照ブロックを決定することで予測情報を決定し、
前記写像手段は、前記参照フレームにおいて前記参照ブロックを内部に含む所定のブロックより写像係数を算出することを特徴とする請求項１ないし３のいずれかに記載の画像符号化装置。
前記写像手段が、前記写像係数を算出するのに用いる領域が平坦な場合に当該算出を省略して所定の写像係数を利用する、又は、前記写像係数を算出するのに用いる領域が平坦な場合が符号化対象のブロック単位で連続する場合に最初のブロックにつき算出した写像係数を以降のブロックに対する写像係数に流用することを特徴とする請求項１ないし８のいずれかに記載の画像符号化装置。
請求項１ないし９のいずれかに記載の画像符号化装置により符号化された情報を前記所定の色空間で構成された画素信号へと単位ブロック毎に復号する画像復号装置であって、
前記符号化された量子化値及び予測情報を復号する復号手段と、
当該量子化値を逆量子化して変換係数となす復号側逆量子化手段と、当該変換係数を逆直交変換して予測残差信号となす復号側逆変換手段と、
復号済みの画素信号より得られる写像画素信号と、前記予測情報と、から復号対象の画素信号に対する写像画素信号の予測信号を生成する復号側補償手段と、
当該予測信号と前記予測残差信号とを加算して復号済みの写像画素信号となす復号側加算手段と、
前記予測情報が参照する領域を含む所定領域における復号済みの画素信号より前記写像係数を算出する復号側写像手段と、
当該算出された写像係数を前記復号済みの写像画素信号に対して逆写像として適用し、復号済みの画素信号となす復号側逆写像手段と、を備え、
前記復号側写像手段は前記写像係数を前記所定領域の復号済みの画素信号に適用することで、前記復号側補償手段が前記予測信号を生成する際に前記予測情報と併せて利用する、前記復号済みの画素信号より得られる写像画素信号となすことを特徴とする画像復号装置。