JP4844456B2

JP4844456B2 - 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム

Info

Publication number: JP4844456B2
Application number: JP2007108016A
Authority: JP
Inventors: 和博嶋内; 智坂爪; 徹熊倉; 基晴上田
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-06-15
Filing date: 2007-04-17
Publication date: 2011-12-28
Anticipated expiration: 2027-04-17
Also published as: JP2008022531A

Description

本発明は、映像信号の階層符号化を行う映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラムに関する。

従来、映像符号化において空間解像度、時間解像度およびSNRそれぞれのスケーラビリティを実現する符号化方式が数多く提案されており、さまざまな分野でこれらの実用化がなされている。なかでも、空間解像度のスケーラビリティに関しては、静止画像の符号化を含め、その適用範囲が広い。

映像の空間解像度スケーラビリティを実現する従来技術として、例えば、ベースレイヤとエンハンスメントレイヤの２層の階層符号化装置において、エンハンスメントレイヤと同じ空間解像度の入力映像信号をベースレイヤの空間解像度に縮小（デジメーション）処理した後、ベースレイヤにて符号化し、そのベースレイヤ符号化の際のデコード信号を空間的にインターポレーション（補間）してエンハンスメントレイヤと同じ空間解像度にした信号とエンハンスメントレイヤと同じ空間解像度の入力映像信号との間で相関を利用した予測を行い、その予測誤差信号を符号化して、そこで得た符号化ビットストリームとベースレイヤ符号化で得られたビットストリームを多重化したものを復号装置へ伝送し、復号装置ではその多重化された符号化ビットストリームをその逆に復号するものがある（例えば、特許文献１参照。）。
特開平7-162870号公報

ところで、上述の特許文献１に記載の背景技術では、ベースレイヤのデコード信号をインターポレーションし、それをエンハンスメントレイヤ符号化における予測信号として用いる。これは、エンハンスメントレイヤに入力されるオリジナルの映像信号とベースレイヤの信号との間にある程度の相関がある、すなわち、オリジナルの映像信号の一部の周波数成分をベースレイヤの信号がもっていることを利用したものである。したがって、ベースレイヤのデコード信号とエンハンスメントレイヤに入力されるオリジナルの映像信号との間の相関がより高ければ、符号化効率は高くなる。

しかし、ベースレイヤのデコード信号は、入力映像信号を縮小（デジメーション）処理した劣化した信号であり、本来の高い周波数成分をもたず、また、量子化の程度が荒い場合には、オリジナルの映像信号との相関が低くなった信号となる場合があるため、より効率的な符号化を実現する為には、ベースレイヤのデコード信号を単純にインターポレーションして予測信号を得るのではなく、よりオリジナルの映像信号に近づけるような推定処理（高解像度化処理）をおこなって予測信号を得ることが必要であると考えられる。

そこで、本発明は、予測信号の適確な高解像度化処理を行って、より効率的な映像階層符号化を実現することを目的とする。

そこで、上記課題を解決するために本発明は、以下の装置、方法、及びプログラムを提供するものである。
（１）入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化すると共に、前記解像度の低い映像信号から予測信号を生成し、その予測信号を用いて解像度の高い側の前記入力映像信号を空間解像度間予測により符号化し、異なる解像度の映像信号の各符号化データを得る映像信号階層符号化装置であって、
入力映像信号に対して空間的縮小を行って前記入力映像信号よりも解像度の低い第１の映像信号を得る空間的縮小手段と、
前記第１の映像信号を、復号化処理を含む符号処理を用いて符号化した第１の符号化データを得る第１の符号化手段と、
前記復号化処理で得られた復号信号から、前記復号信号の空間解像度以上の空間解像度で表現できる高周波数成分を推定し、高周波数成分推定信号を生成する高周波数推定手段と、
前記高周波数成分推定信号を生成する過程において、前記高周波数成分推定信号の過強調を抑制するための過強調抑制手段と、
前記高周波数推定手段における高周波数成分推定量の程度、及び前記過強調抑制手段における過強調を抑制する程度の内の少なくとも一方の程度を、前記第１の符号化手段で用いた量子化パラメータに応じて制御する高解像度化処理を行って、前記高周波数成分推定信号に基づき前記復号信号を空間的に拡大した高解像度化拡大映像信号である第２の映像信号を得る空間的拡大手段と、
予測信号を用いて前記入力映像信号を空間解像度間予測により符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データを得る第２の符号化手段と、
前記第２の符号化手段において用いる前記予測信号として、前記第２の符号化手段で符号化対象となっている空間解像度をもつ階層において得られた所定の予測信号と、解像度の低い側の階層から前記高周波数成分推定信号に基づき得た予測信号である前記第２の映像信号との内の、いずれか一つを選択する予測信号選択手段と、
前記第１及び第２の各符号化データと前記量子化パラメータのデータとを多重化する多重化手段と、
を備えることを特徴とする映像信号階層符号化装置。
（２）入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化すると共に、前記解像度の低い映像信号から予測信号を生成し、その予測信号を用いて解像度の高い側の前記入力映像信号を空間解像度間予測により符号化し、異なる解像度の映像信号の各符号化データを得る映像信号階層符号化方法であって、
入力映像信号に対して空間的縮小を行って前記入力映像信号よりも解像度の低い第１の映像信号を得る空間的縮小ステップと、
前記第１の映像信号を、復号化処理を含む符号処理を用いて符号化した第１の符号化データを得る第１の符号化ステップと、
前記復号化処理で得られた復号信号から、前記復号信号の空間解像度以上の空間解像度で表現できる高周波数成分を推定し、高周波数成分推定信号を生成する高周波数推定ステップと、
前記高周波数成分推定信号を生成する過程において、前記高周波数成分推定信号の過強調を抑制するための過強調抑制ステップと、
前記高周波数推定ステップにおける高周波数成分推定量の程度、及び前記過強調抑制ステップにおける過強調を抑制する程度の内の少なくとも一方の程度を、前記第１の符号化ステップで用いた量子化パラメータに応じて制御する高解像度化処理を行って、前記高周波数成分推定信号に基づき前記復号信号を空間的に拡大した高解像度化拡大映像信号である第２の映像信号を得る空間的拡大ステップと、
予測信号を用いて前記入力映像信号を空間解像度間予測により符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データを得る第２の符号化ステップと、
前記第２の符号化ステップにおいて用いる前記予測信号として、前記第２の符号化ステップで符号化対象となっている空間解像度をもつ階層において得られた所定の予測信号と、解像度の低い側の階層から前記高周波数成分推定信号に基づき得た予測信号である前記第２の映像信号との内の、いずれか一つを選択する予測信号選択ステップと、
前記第１及び第２の各符号化データと前記量子化パラメータのデータとを多重化する多重化ステップと、
を備えることを特徴とする映像信号階層符号化方法。
（３）入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化すると共に、前記解像度の低い映像信号から予測信号を生成し、その予測信号を用いて解像度の高い側の前記入力映像信号を空間解像度間予測により符号化し、異なる解像度の映像信号の各符号化データを得る動作をコンピュータに実行させるための映像信号階層符号化プログラムであって、
入力映像信号に対して空間的縮小を行って前記入力映像信号よりも解像度の低い第１の映像信号を得る空間的縮小手段と、
前記第１の映像信号を、復号化処理を含む符号処理を用いて符号化した第１の符号化データを得る第１の符号化手段と、
前記復号化処理で得られた復号信号から、前記復号信号の空間解像度以上の空間解像度で表現できる高周波数成分を推定し、高周波数成分推定信号を生成する高周波数推定手段と、
前記高周波数成分推定信号を生成する過程において、前記高周波数成分推定信号の過強調を抑制するための過強調抑制手段と、
前記高周波数推定手段における高周波数成分推定量の程度、及び前記過強調抑制手段における過強調を抑制する程度の内の少なくとも一方の程度を、前記第１の符号化手段で用いた量子化パラメータに応じて制御する高解像度化処理を行って、前記高周波数成分推定信号に基づき前記復号信号を空間的に拡大した高解像度化拡大映像信号である第２の映像信号を得る空間的拡大手段と、
予測信号を用いて前記入力映像信号を空間解像度間予測により符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データを得る第２の符号化手段と、
前記第２の符号化手段において用いる前記予測信号として、前記第２の符号化手段で符号化対象となっている空間解像度をもつ階層において得られた所定の予測信号と、解像度の低い側の階層から前記高周波数成分推定信号に基づき得た予測信号である前記第２の映像信号との内の、いずれか一つを選択する予測信号選択手段と、
前記第１及び第２の各符号化データと前記量子化パラメータのデータとを多重化する多重化手段と、
してコンピュータを機能させるための映像信号階層符号化プログラム。

本発明によれば、低解像度である第１の符号化の復号信号を空間的に拡大する際、その第１の符号化の際の量子化パラメータに応じて高周波数成分推定の程度を制御した高解像度化処理を行って第２の映像信号を得て、その第２の映像信号を予測信号として用い入力映像信号を空間解像度間予測により符号化するようにしたので、従来の映像階層符号化における階層間予測の為の単純なインターポレーション（空間的拡大）とは異なり、第１の符号化の際の量子化パラメータに応じた適確な高解像度化処理を行うことができ、階層間予測誤差をより小さくすることができるので、効率的でより高品位な映像信号階層符号化を実現することが可能となる。

さらに、映像信号階層符号化装置内で低解像度信号の符号化特性を考慮して、低解像度信号から入力映像信号（高解像度信号）により近い予測信号を生成する構成がとれる為、予測信号の高解像度化理をより強化した効率的な映像階層符号化を実現することが可能となる。

また、本発明では、低解像度信号の符号化特性を量子化パラメータから判断することで、高解像度化処理の制御を少ない計算量で実現し、伝送時に新たなパラメータを追加する必要もないため、回路規模及び符号化効率の両方の観点から有用な効果を得ることが可能となる。

本発明は、従来の階層符号化に階層間の予測効率を上げるための推定処理を導入することがまずひとつの新しい概念であり、それに加えて、入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化する過程で得られる復号化信号（ベースレイヤデコード信号）を、ベースレイヤデコード信号の符号化特性に基づいて入力映像信号に近づけることがもうひとつの新しい概念である。これらを実現するための構成、方法及びプログラムの実施の形態を以下に示す。なお、以下に示す実施の形態は、説明を簡単にするためにベースレイヤとエンハンスメントレイヤの二階層の階層符号化・復号化を例に挙げているが、これを三階層以上の多階層で実現しても良い。

［実施の形態１］
図1に、本発明の実施の形態１を適用した空間解像度スケーラビリティを実現する映像信号階層符号化・復号化装置の構成例を示す。

図１において、映像信号階層符号化装置101にはオリジナルの映像信号が入力され、映像信号階層符号化装置101で生成されたビットストリームが電話回線や通信回線等のネットワーク102を介して映像信号階層復号化装置103に伝送されるように接続されている。映像信号階層復号化装置103では供給されたビットストリームから必要な情報を取り出して、ディスプレイ等の性能に合った空間解像度のデコード映像信号を出力する。なお、ネットワーク102は、有線でも、無線でも良く、さらには、ネットワーク102の代わりにＤＶＤやメモリ等の記録媒体を介して映像信号階層符号化装置101と映像信号階層復号化装置103とがビットストリームをやり取りするようにしても勿論よい。

映像信号階層符号化装置101は、空間デシメーション部（空間的縮小手段）104、ベースレイヤエンコード部（第１の符号化手段）105、高解像度推定信号生成部（空間的拡大手段、第３の符号化手段）106、エンハンスメントレイヤ符号化部（第２の符号化手段）107および多重化部108を少なくとも有している。

空間デシメーション部104は、オリジナルの映像信号を入力として受け付け、入力された信号を所望の空間解像度に空間デシメーションする機能（解像度を低くする機能）を有する。ここで、空間デシメーションの方法はいくつか考えられるが、ラプラシアンピラミッドと同様の関係を利用するために後述する高解像度推定信号生成部106で扱うフィルタに対応した方法を用いることが望ましい。そして、任意縮小率にも対応していることが望ましい。また、空間デシメーション部104は、所望の空間解像度に空間解像度デシメーションされた信号をベースレイヤエンコード部105に出力する機能を有する。

ベースレイヤエンコード部105は、空間デシメーション部104の出力を入力として受け付け、入力された信号を符号化してビットストリームを生成し、多重化部108へ出力する機能を有する。ここで、エンコードの方法は、いくつか考えられるが、例えば、MPEG-2やH.264などのクローズドループのエンコーダなどが用いられる。時間方向のスケーラビリティやSN比スケーラビリティなどの機能を含んでいても良い。オープンループのエンコーダを用いた場合、そのエンコーダにはデコード(リコンストラクト)機能を含むものとする。また、ベースレイヤエンコード部105内においてデコード（復号）をおこなった信号及び符号化に用いた量子化パラメータを空間インターポレーション（空間的拡大部）機能を有する高解像度推定信号生成部106へ出力する機能を有する。なお、ベースレイヤエンコード部105の詳細な構成図は示していないが、例えば、クローズドループのエンコーダにより構成した場合、図４に詳細に構成を示すエンハンスメントレイヤエンコード部107とほぼ同様に構成されるが、ベースレイヤエンコード部105のフレームメモリには空間デシメーション部104にて入力映像信号をデシメーションしたベースレイヤの映像信号が入力される一方、ベースレイヤエンコード部105の予測信号選択部には高解像度推定信号生成部からの高解像度推定信号が入力せず、ベースレイヤエンコード部105の予測信号選択部は、イントラ予測部からの予測信号と動き補償部からの予測信号とのいずれか一方を選択することになる。

高解像度推定信号生成部106は、ベースレイヤエンコード部105から出力されるデコード信号及び量子化パラメータを入力として受け付け、ベースレイヤのデコード信号からオリジナルの解像度の映像信号を推定する機能を有する。詳細については後述する。また、ベースレイヤのデコード信号からオリジナルの高解像度映像信号を推定した信号をエンハンスメントレイヤエンコード部107へ出力する機能を有する。

エンハンスメントレイヤエンコード部107は、オリジナルの映像信号と高解像度推定信号生成部106より出力される信号を入力として受け付ける機能を有する。入力されるそれぞれの信号を用いて、空間解像度間および時間の相関を利用した予測をおこない、それに伴って生じる予測誤差信号を符号化する機能を有する。詳細については後述する。また、符号化されて生成されるビットストリームを多重化部108に出力する機能を有する。

多重化部108は、ベースレイヤエンコード部105およびエンハンスメントレイヤエンコード部107より出力されるベースレイヤおよびエンハンスメントレイヤのビットストリームを入力として受け付け多重化し、例えば、後述する図11に示すような構造のひとつの多重化ビットストリームを生成し、映像信号階層符号化装置101の外部、例えば通信回線やメディアなどのネットワーク102へ出力する機能を有する。

映像信号階層復号化装置103は、エクストラクト部（分離手段）109、ベースレイヤデコード部（第１の復号化手段）110、高解像度推定信号復元部（復元手段）111およびエンハンスメントレイヤデコード部（第２の復号化手段）112を少なくとも有している。

エクストラクト部109は、映像信号階層符号化装置101等に階層符号化され多重化された例えば、後述する図11に示すような構造の多重化ビットストリームを入力として受け付ける機能を有する。映像信号階層復号化装置103またはディスプレイ等の性能にあわせて、ビットストリーム全体から復号に必要なものを切り出し、分割してそれぞれをベースレイヤデコード部110、高解像度推定信号復元部111及びエンハンスメントレイヤデコード部112に出力する機能を有する。

ベースレイヤデコード部110は、エクストラクト部109で切り出されたベースレイヤのビットストリームを入力として受け付ける機能を有する。入力されたビットストリームを復号し、デコード映像信号を高解像度推定信号復元部111と必要に応じてディスプレイ等への出力を行う機能を有する。また、復号に用いた量子化パラメータを高解像度推定信号復元部111へ出力する機能を有する。ここで、復号には、例えばMPEG-2やH.264などを用いる。また、時間方向のスケーラビリティやSN比スケーラビリティなどの機能を含んでいても良い。

高解像度推定信号復元部111は、ベースレイヤデコード部110から出力されるベースレイヤデコード信号及び量子化パラメータを入力として受け付ける機能を有する。また、量子化パラメータを用いて、ベースレイヤデコード信号から高解像度推定信号を復元し、その信号をエンハンスメントレイヤデコード部112へ出力する機能を有する。詳細については後述する。

エンハンスメントレイヤデコード部112は、エクストラクト部109から得られるビットストリーム及び高解像度推定信号復元部111から出力される高解像度推定信号を入力として受け付ける機能を有する。ビットストリームを復号し、そこで得られる信号と、高解像度推定信号を用いて、オリジナル映像信号の空間解像度の信号を復号する機能を有する。復号された映像信号は、ディスプレイ等へ出力される。

図1に示した映像信号階層符号化装置101の構成例を用いて映像信号を空間スケーラブル符号化する手順を図2に示す。

オリジナルの映像信号を、まず、空間デシメーション部104において空間解像度のデシメーションを行う[ステップS201]。空間解像度をデシメーションした信号を、ベースレイヤエンコード部105を用いて符号化し、ベースレイヤのビットストリームを生成する[ステップS202]。生成されたビットストリームを多重化部108へ送り、ベースレイヤのデコード信号及び量子化パラメータを高解像度推定信号生成部106へ送る。高解像度推定信号生成部106は、ベースレイヤのデコード信号及び量子化パラメータを用いて高解像度映像信号を推定する[ステップS203]。詳細については後述する。そして、ここで生成した高解像度推定信号をエンハンスメントレイヤエンコード部107へ送る。エンハンスメントレイヤエンコード部107では、オリジナルの映像信号と高解像度推定信号生成部106からの高解像度推定信号とを用いて空間解像度間および時間の相関を利用した予測を行い、それに伴って生じる予測誤差信号を符号化する[ステップS204]。そして、符号化により生成されたエンハンスメントレイヤのビットストリームを、多重化部108へ送る。多重化部108は、ベースレイヤエンコード部105及びエンハンスメントレイヤエンコード部107より得られたそれぞれのレイヤのビットストリームを多重化しひとつのビットストリームを生成する[ステップS205]。

図1に示した映像信号階層復号化装置103の構成例を用いて空間スケーラブル構成のビットストリームを復号してデコード映像信号を得る手順を図3に示す。

通信回線やメディア等を含むネットワーク102からビットストリームをエクストラクト部109を用いて受信する。ビットストリームを解析し、映像信号階層復号化装置103およびディスプレイ等の性能に合わせて必要な符号データを抽出する。そして、ベースレイヤデコード部110及びエンハンスメントレイヤデコード部112それぞれのレイヤに対応したデータに分割して出力する[ステップS301]。

エクストラクト部109で分割したベースレイヤに対応するデータをベースレイヤデコード部110で復号する[ステップS302]。復号したベースレイヤデコード映像信号及び量子化パラメータを高解像度推定信号復元部111に出力し、必要があればベースレイヤデコード映像信号をディスプレイ等にも出力する。高解像度推定信号復元部111では、ベースレイヤデコード部110より得られるベースレイヤのデコード映像信号と量子化パラメータを用いて高解像度推定信号を復元する[ステップS303]。そして、復元した高解像度推定信号をエンハンスメントレイヤデコード部112に送る。エンハンスメントレイヤデコード部112では、エクストラクト部109から得られるエンハンスメントレイヤに対応するデータを復号し、そこで得られる信号と高解像度推定信号復元部111からの高解像度推定信号とを用いてオリジナルの映像信号の解像度の再生映像をデコードする[ステップS304]。そして、復号したデコード映像信号をディスプレイ等へ出力する。

高解像度推定信号生成部106及びエンハンスメントレイヤエンコード部107の詳細な構成例を示したものが、図4である。

高解像度推定信号生成部106は、第1のハイパスフィルタリング部403、第1のインターポレーション部404、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、第2のインターポレーション部407、加算器408、推定度判断部409を少なくとも有している。

第1のハイパスフィルタリング部403は、ベースレイヤのデコード信号を入力として受け付け、入力信号から高周波数成分としてラプラシアン成分を抽出する機能を有する。高周波数成分は次の式(1)、(2)によって求める。なお、下記に説明する式(1)〜(8)を利用した高周波数成分推定を伴う画像拡大処理は、例えば、「高周波成分推定を伴う任意倍率可能な画像拡大法」（信学論(A), vol. J84-A, no. 9, pp1192-1201, Sep. 2001.；高橋靖正, 田口亮著）を参考にしている。

入力信号のラプラシアン成分の抽出は次のように行う。ここで、説明を簡単にするために、1次元の信号モデルを例にして、入力信号をG₀(x)、入力信号から抽出されるラプラシアン成分をL₀(x)とする。

ここで、ρは、ガウシアンフィルタの帯域を調整するためのパラメータである。

つまり、式(1)、(2)では、入力信号からガウシアン関数を用いて高周波数成分としてラプラシアン成分の信号を抽出しているが、これを他の方法に置き換えても良い。ただし、ここで用いるフィルタや補間関数等と、空間デシメーション部104、第1のインターポレーション部404、第2のハイパスフィルタリング部406及び第2のインターポレーション部407に用いるフィルタや補間関数等の関係は、ピラミッド構成を満たすものとなっていることが望ましい。例えば、空間デシメーション部にsinc関数を用いた場合、第1のインターポレーション部404、第2のハイパスフィルタリング部406及び第2のインターポレーション部407にもsinc関数を用いることでsinc関数によるピラミッド構成の関係が構築できる。また、第1のハイパスフィルタリング部403は、ここで得た高周波数成分を第1のインターポレーション部404へ出力する。

第1のインターポレーション部404は、第1のハイパスフィルタリング部403より出力される高周波数成分であるラプラシアン成分の信号を入力として受け付け、その信号をエンハンスメントレイヤに入力されるオリジナルの映像信号の解像度となるように、空間デシメーション部１０４における縮小率の逆数となる拡大率r、すなわち（エンハンスメントレイヤの解像度／ベースレイヤの解像度）にインターポレーションを行う。インターポレーションは、次の式(3)、(4)、(5)で実現可能である。

つまり、拡大率rにインターポレーションされた信号(EXPAND)_rL₀(x)は、入力ラプラシアン成分信号をL₀(x)とすると、

で与えられる。ここでint(・)は整数部分を取り出す操作を示す。

なお、ここでも、インターポレーションの方法(用いるフィルタ係数や補間関数など)は、式(3)、(4)、(5)以外のものを用いても良い。

そして、第1のインターポレーション部404は、インターポレーションした信号を振幅制限・定数倍処理部405へ出力する。

振幅制限・定数倍処理部405は、パラメータ及び第1のインターポレーション部404より出力される信号入力として受け付け、未知の高周波数成分を推定するための第1工程を実施する。未知の高周波数成分を推定するための第1工程は式(6)で与えられる。

つまり、入力される信号に対して、振幅制限と定数倍処理を行うことで実現される。生成される信号Ｌ_rバー(x)は、入力される信号を(EXPAND)_rL₀(x)とすると、

で与えられる。

ここで、振幅制限のためのパラメータT及び定数倍処理のためのパラメータα_rは、拡大率rだけではなくベースレイヤの量子化の程度にも推定精度が影響を受けるため、本実施の形態では、適切なパラメータT，α_rが得られるように、そのパラメータT，α_rの決定を行う推定度判定部409に接続されている。

そのため、本実施の形態１の振幅制限・定数倍処理部405は、推定度判定部409より出力されるパラメータを用いて未知の高周波数成分を推定するための第1工程を実施する。また、振幅制限・定数倍処理部405は、振幅制限・定数倍処理した信号を第2のハイパスフィルタリング部406へ出力する。

第2のハイパスフィルタリング部406は、振幅制限・定数倍処理部405より出力される信号を入力として受け付け、未知の高周波数成分を推定するための第2工程を実施する。未知の高周波数成分を推定するための第2工程は、次の式(7)で与えられる。

つまり、未知の高周波数成分を推定するための第2工程は、振幅制限・定数倍処理部405によって振幅制限・定数倍処理された信号から低域成分を取り除き、本来求めようとしている高周波数成分のみを得るものである。これは、入力される信号に対してハイパスフィルタリングを行うことで実現される。ハイパスフィルタリングされた信号、すなわち、推定された未知の高周波数成分Ｌ_rハット(x)は、入力される信号をＬ_rバー(x)とすると、

で与えられる。ここで、W(i)は式(2)に示したものである。

なお、ここでも、高周波数成分の抽出方法は式(7)以外のものを用いても良い。また、第2のハイパスフィルタリング部406は、推定された高周波数成分を加算器408へ出力する。

第2のインターポレーション部407は、ベースレイヤのデコード信号を入力として受け付け、その信号をエンハンスメントレイヤに入力されるオリジナルの映像信号の解像度となるように、拡大率r（エンハンスメントレイヤの解像度／ベースレイヤの解像度）にてインターポレーションを行う。インターポレーションは、次の式(8)で実現可能である。

つまり、拡大率rにインターポレーションされた信号(EXPAND)_rG₀(x)は、入力信号をG₀(x)とすると、

で与えられる。ここで、W_r(i)は式(4)と式(5)で示したものである。なお、ここでも、インターポレーションの方法(用いるフィルタ係数や補間関数など)は、式(8)以外のものを用いても良い。

また、第2のインターポレーション部907は、インターポレーションした信号を加算器408へ出力する。

加算器408は、第2のハイパスフィルタリング部406より出力される信号と、第2のインターポレーション部407より出力される信号を入力として受け付け、それぞれの信号を足し合わせて出力する。

推定度判断部409は、ベースレイヤエンコード部105から出力されるベースレイヤにおける量子化ステップまたは量子化の幅を制御する量子化パラメータを入力として受け付ける。そして、入力された量子化パラメータから適切な高周波数成分推定のためのパラメータα_rとTを決定する。前述のように、本発明による高周波数成分の推定は、ベースレイヤエンコード部105における量子化の程度によってその精度が異なる。つまり、量子化パラメータが大きくなると、それに伴ってベースレイヤデコード信号の劣化が大きくなるため、高周波数成分の推定精度が悪くなり、かえって符号化効率の低下を招くことになる。そこで、量子化パラメータと、推定のためのパラメータ、すなわち定数倍処理のためのパラメータα_rおよび振幅制限のためのパラメータTとの適切な関係をあらかじめ推定度判定部409に与えておき、これをもとにして、入力された量子化パラメータを適切な推定のためのパラメータα_rとTに変換する。

例えば、本実施の形態１では、ベースレイヤエンコード部105における量子化パラメータと、定数倍処理のためのパラメータα_rと振幅制限のためのパラメータTの関係を図10（ａ）〜（ｄ）に示すように定義しておく。図10（ａ）〜（ｄ）に示すように、基本的にはベースレイヤエンコード部105における量子化パラメータが大きくなるにつれ、パラメータα_rとTの値を小さくなるようにする。パラメータα_rとTの値を小さくすることにより、振幅制限・定数倍処理部405において、符号化劣化を含んだ高周波数成分信号が増幅されるのを防ぎ、符号化劣化による誤推定が引き起こす符号化効率低下を防ぐことができる。量子化パラメータと、パラメータα_rとTの関係は、図10（ａ）〜（ｄ）の例のように、図10（ａ），（ｂ）に示すように2次曲線であったり、図10（ｃ）に示すように線形であったり、または、図10（ｄ）に示すようにステップ的な関係でもよく、要は、量子化パラメータが大きくなるにつれパラメータα_rとTの値が小さなっていれば良い。なお、パラメータTは振幅制限のための閾値のパラメータであるため、量子化パラメータによらず一定値にしても良い。

以上のようにして、推定度判断部409は、ベースレイヤエンコード部105からの量子化パラメータに基づいて大きさを変えた定数倍処理のためのパラメータα_rと振幅制限のためのパラメータTとを振幅制限・定数倍処理部405へ出力する。なお、推定度判断部409は、映像信号階層符号化装置101と映像信号階層復号化装置103とで同一の量子化パラメータとパラメータα_rとTの関係を保つため、映像信号階層符号化装置101と映像信号階層復号化装置103との間で図10（ａ）〜（ｄ）に示すどの対応関係を使用するか決めておくか、あるいは図10（ａ）〜（ｄ）に示す対応関係自体や、さらには図10（ａ）〜（ｄ）に示す複数の対応関係を両装置が記憶していてどの対応関係を使用したかを示す情報をベースレイヤの量子化パラメータと共に映像信号階層符号化装置101から映像信号階層復号化装置103へ送信するようにしても良い。

一方、エンハンスメントレイヤエンコード部107は、フレームメモリ1・411、フレームメモリ2・412、動き推定部413、動き補償部414、イントラ予測部415、予測信号選択部416、予測誤差信号生成部417、直交変換・量子化部418、エントロピー符号化部419、逆量子化・逆直交変換部420、加算器421及びデブロッキングフィルタ部422を少なくとも有している。この構成例は、H.264エンコーダの一部を変更したものであり、各部分は従来技術でほぼ実現可能であり、この点ではベースレイヤエンコード部105も図示しないが同様である。

フレームメモリ1・411は、オリジナルの映像信号を入力として受け付け、信号を格納できる機能を有する。また、格納した信号を予測信号生成部417、動き推定部413へ、エンハンスメントレイヤエンコード部107と高解像度推定信号生成部106の処理の同期が取れるように対応するフレームの信号を出力する。

フレームメモリ2・412は、デブロッキングフィルタ部422より出力される信号を入力として受け付け、格納する機能を有する。そして、動き推定に必要なフレームの信号を動き推定部413へ、動き補償に必要なフレームの信号を動き補償部414へ出力する。

動き推定部413は、フレームメモリ1・411及びフレームメモリ2・412より出力される信号を入力として受け付け、例えばH.264のような動き推定を行う。動き推定によって得られた動き情報を動き補償部414及びエントロピー符号化部419へ出力する。

動き補償部414は、フレームメモリ2・412より出力される信号及び動き情報を入力として受け付け、例えばH.264のような動き補償を行う。また、動き補償によって得られた信号を予測信号選択部416へ出力する。

イントラ予測部415は、加算器421より出力される信号を入力として受け付け、例えばH.264のようなイントラ予測を行う。また、イントラ予測して得られた信号を予測信号選択部416へ出力する。

予測信号選択部416は、動き補償部414、イントラ予測部415よりそれぞれから出力される信号及び高解像度推定信号を受け付け、入力される信号のうち、いずれかひとつを選択する、または、それぞれの信号に重みを与えて合成する。信号の選択、合成の判断基準は任意である。例えば、符号化効率を重視する場合は、予測誤差信号の二乗平均が小さくなるように、信号を選択、合成する。また、予測信号選択部416は、選択または合成した信号を予測誤差信号生成部417及び加算器421へ出力する。

予測誤差信号生成部417は、フレームメモリ1・411より出力される信号及び予測信号選択部416より出力される予測信号を入力として受け付ける機能を有する。また、フレームメモリ1・411より出力される信号から予測信号を差し引いて予測誤差信号を生成し、それを直交変換・量子化部418へ出力する。

直交変換・量子化部418は、予測誤差信号生成部417より出力される信号を入力として受け付け、その信号を直交変換及び量子化する。直交変換には、DCTやアダマール変換、ウェーブレットなどが用いられる。H.264のように、直交変換と量子化を合成した手段を採用しても良い。また、直交変換及び量子化した信号をエントロピー符号化部419及び逆量子化・逆直交変換部420へ出力する。また、直交変換・量子化部418は、量子化の際の量子化ステップまたは量子化幅を制御する量子化パラメータをエントロピー符号化部419へ出力する。

エントロピー符号化部419は、直交変換・量子化部418から出力されるエンハンスメントレイヤの符号化信号と、動き推定部913より出力される動き情報や、直交変換・量子化部418からのエンハンスメントレイヤの量子化パラメータ、予測信号選択部416がどの信号を予測信号として選択したかを示す予測信号選択情報等の符号化パラメータを入力として受け付け、それらをエントロピー符号化してエンハンスメントレイヤの符号化ビットストリームとして出力する。また、エントロピー符号化の結果生成されるビットストリームをエンハンスメントレイヤエンコード部107の外部へ出力する。なお、図示はしていないが、ベースレイヤエンコード部105のエントロピー符号化部でも、エンハンスメントレイヤエンコード部107のエントロピー符号化部419と同様に、ベースレイヤの符号化信号と、ベースレイヤの動き情報、ベースレイヤの量子化パラメータ、ベースレイヤの予測信号選択情報等の符号化パラメータを入力として受け付け、それらをエントロピー符号化してベースレイヤの符号化ビットストリームとして出力している。なお、エンハンスメントレイヤとベースレイヤとで符号化パラメータが等しい場合は、一方のレイヤの符号化パラメータは省略しても良い。

そして、多重化部108は、エンハンスメントレイヤエンコード部107からのエンハンスメントレイヤの符号化ビットストリームと、ベースレイヤエンコード部105からのベースレイヤの符号化ビットストリームとを多重化して多重化ビットストリームとして、ネットワーク102を介し映像信号階層復号化装置103へ出力する。

図11は、本実施の形態１による映像信号階層符号化装置、映像信号階層符号化方法から出力される多重化ビットストリームの構成例を示している。ベースレイヤエンコード部105及びエンハンスメントレイヤエンコード部107で生成された映像情報のビットストリームはそれぞれ、図11(a)中のベースレイヤビットストリームとエンハンスメントレイヤビットストリームに相当する。映像情報以外の符号化に必要なベースレイヤエンコード部105で用いたパラメータ、すなわちベースレイヤエンコードの際の動き情報や、量子化パラメータ、予測信号選択情報等はベースレイヤ用ヘッダ部に格納され、エンハンスメントレイヤエンコード部107で用いたパラメータ、すなわちエンハンスメントレイヤエンコードの際の動き情報や、量子化パラメータ、予測信号選択情報等は、エンハンスメントレイヤ用ヘッダ部に格納される。なお、それらをまとめて先頭のヘッダ部に格納しても良い。また、ビットストリームの構成順序は、図11(b)のようにしてもよい。先頭のヘッダ部にまとめてパラメータを格納した場合は、図11(c)のようにしてもよい。さらに、図示はしていないが、パラメータの格納場所については、ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリーム内のフレーム(ピクチャ)ごとのヘッダ、スライスやマクロブロック等のヘッダに格納しても良い。なお、多重化ビットストリームの構成例は、後述する他の実施の形態２,３でも同様である。

一方、逆量子化・逆直交変換部420は、直交変換・量子化された状態の信号を入力として受け付け、その信号を逆量子化・逆直交変換する。また、逆量子化・逆直交変換した信号を加算器421へ出力する。

加算器421は、予測信号選択部416より出力される信号及び逆量子化・逆直交変換部420より出力される信号を入力として受け付け、2つの信号を合成する。また、合成した信号をイントラ予測部415及びデブロッキングフィルタ部422へ出力する。

デブロッキングフィルタ部422は、加算器421より出力される信号を入力として受け付け、入力された信号に対してデブロッキングフィルタ処理を行う機能を有する。ここで、デブロッキングフィルタは、例えばH.264で用いられているものなどがある。また、デブロッキングフィルタ処理した信号をフレームメモリ2・412へ出力する。

図4に示した高解像度推定信号生成部106の構成例を用いて高解像度推定信号を生成する手順を図5に示す。

まず、第2のインターポレーション部407は、入力信号をインターポレーションする[ステップS501]。

次に、推定度判定部409は、量子化パラメータを推定パラメータα_rとTに変換する[ステップS507]。

一方、第1のハイパスフィルタリング部403は、ベースレイヤデコード信号から高周波数成分信号を抽出する[ステップS502]。そして、抽出した高周波数成分信号を第1のインターポレーション部404がインターポレーションする[ステップS503]。インターポレーションされた信号に対して振幅制限・定数倍処理部405が振幅制限及び定数倍処理を行う[ステップS504]。ここで、振幅制限及び定数倍処理に伴うパラメータは、推定度判断部409から与えられたものを用いる。次に、第2のハイパスフィルタリング部406は、振幅制限及び定数倍処理した信号から推定した高周波数成分を抽出する[ステップS505]。そして、加算器408は、第2のインターポレーション部407によってインターポレーションされた信号と、第2のハイパスフィルタリング部406を介した推定された高周波数成分とを足し合わせ、高解像度推定信号を得る[ステップS506]。

図4に示したエンハンスメントレイヤエンコード部107の構成例を用いてオリジナルの映像信号の解像度の信号(エンハンスメントレイヤ)を符号化する手順を図6に示す。

イントラ予測部415は、加算器421に復元された信号をイントラ予測を行う[ステップS601]。イントラ予測した信号を予測信号選択部416へ送る。

一方、動き推定部413及び動き補償部414は、フレームメモリ1・411からの入力信号と、フレームメモリ2・412からの参照信号とを基に動き推定及び動き補償(動き補償予測)を行う[ステップS602]。動き補償予測した信号を予測信号選択部416へ送る。

また、高解像度推定信号生成部106は、図５に示すような手順で高解像度推定信号を生成する[ステップS603]。生成した高解像度推定信号を予測信号選択部416へ送る。

予測信号選択部416は、イントラ予測した信号と、動き補償予測された信号と、高解像度推定信号とのうちからひとつを選択、または、それぞれの信号に重みを与えて合成する[ステップS604]。ここで、この３つの信号の選択または合成は、例えば、符号化効率が高くなるように選択または合成する。これには従来技術を用いても良い。例えば、予測誤差信号生成部417より出力される予測誤差信号の絶対値のブロック内総和が最も小さくなるいずれかの信号を選択したり、あるいは予測誤差信号生成部417より出力される予測誤差信号の絶対値のブロック内総和が小さくなるような信号が生成されるような比率で、動き補償部414、イントラ予測部415よりそれぞれから出力される信号及び高解像度推定信号生成部106からの高解像度推定信号を合成するように判断する。もしくは、予測誤差信号を直交変換したのちの信号(直交変換係数)のブロック内絶対値総和が小さくなるように判断しても良いし、エントロピー符号化部419より出力される符号量が小さくなるように判断しても良い。

予測誤差信号生成部417は、予測信号選択部416にて選択、または、合成された予測信号をフレームメモリ1・411から出力される信号から差し引いて予測誤差信号を生成する[ステップS605]。直交変換・量子化部418は、予測誤差信号を直交変換及び量子化する[ステップS606]。エントロピー符号化部419は、直交変換及び量子化された信号、及び動き推定部413からのエンハンスメントレイヤの動き情報や、直交変換・量子化部418からのエンハンスメントレイヤの量子化パラメータ、予測信号選択部416がどの信号を予測信号として選択したかを示す予測信号選択情報等の符号化パラメータをエントロピー符号化してエンハンスメントレイヤの符号化ビットストリームとして出力する[ステップS607]。なお、上述したように、ベースレイヤエンコード部105のエントロピー符号化部でも、エンハンスメントレイヤエンコード部107のエントロピー符号化部419と同様に、ベースレイヤの符号化信号と、ベースレイヤの動き情報、ベースレイヤの量子化パラメータ、ベースレイヤの予測信号選択情報等の符号化パラメータをエントロピー符号化してベースレイヤの符号化ビットストリームとして出力する。

エンハンスメントレイヤエンコード部107は、符号化対象の信号を全て符号化した場合、ここで処理を終了する。そうでない場合は、現在符号化している信号が他の信号の符号化時に参照されることが可能となるように、次に示す手順によってデコード及びデブロッキング処理する[ステップS608]。

つまり、逆量子化・逆直交変換部420は、ステップS606にて直交変換及び量子化した信号を逆量子化及び逆直交変換する[ステップS609]。加算器421は、逆量子化及び逆直交変換された信号と、予測信号選択部416にて選択された予測信号とを加算し、デコード信号を得て[ステップS610]、イントラ予測部415及びデブロッキングフィルタ部422へ送る。そして、デブロッキングフィルタ部422は、そのデコード信号をデブロッキングフィルタ処理し[ステップS611]、デブロッキングフィルタ処理した信号をフレームメモリ2・412に格納する[ステップS612]。

このように本実施の形態１の映像信号階層符号化装置101によれば、低解像度であるベースレイヤエンコード部105の復号信号を空間的に拡大する際、そのベースレイヤエンコード部105の量子化パラメータに応じて高周波数成分推定の程度を制御した高解像度化処理を行い高解像度推定信号を得て、その高解像度推定信号を予測信号として用い入力映像信号を空間解像度間予測により符号化するようにしたので、従来の映像階層符号化における階層間予測の為の単純なインターポレーション（空間的拡大）とは異なり、ベースレイヤエンコード部105の量子化パラメータに応じた適確な高解像度化処理を行うことができ、階層間予測誤差をより小さくすることができるのでるので、効率的でより高品位な映像信号階層符号化を実現することが可能となる。

特に、本実施の形態１の映像信号階層符号化装置101内では、ベースレイヤの低解像度信号の符号化特性を考慮して、低解像度信号から入力映像信号（高解像度信号）により近い予測信号を生成する構成がとれる為、予測信号の高解像度化理をより強化した効率的な映像階層符号化を実現することが可能となる。

また、本実施の形態１の映像信号階層符号化装置101では、ベースレイヤの低解像度信号の符号化特性を量子化パラメータのみから判断することで、高解像度化処理の制御を少ない計算量で実現し、伝送時に新たなパラメータを追加する必要もないため、回路規模及び符号化効率の両方の観点から有用な効果を得ることが可能となる。

次に、映像信号階層復号化装置103側について説明する。

映像信号階層復号化装置103の高解像度推定信号復元部111及びエンハンスメントレイヤデコード部112の詳細な構成例を示したものが、図7である。

高解像度推定信号復元部111は、第1のハイパスフィルタリング部403、第1のインターポレーション部404、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、第2のインターポレーション部407、加算器408、推定度判断部409を少なくとも有している。すなわち、高解像度推定信号復元部111は、符号化側の高解像度推定信号生成部106と同じもので実現できる。このため、図7の高解像度推定信号復元部111の各部分には、図4と同じ番号で示してある。なお、図7の高解像度推定信号復元部111の構成例を用いて高解像度推定信号を復元する手順を図9示したが、これについても符号化側における高解像度推定信号を生成する手順(図5)と同じである。

エンハンスメントレイヤデコード部112は、エントロピー復号化部710、フレームメモリ2・412、動き補償部414、イントラ予測部415、予測信号選択部416’、逆量子化・逆直交変換部420、加算器420、加算器421及びデブロッキングフィルタ部422を少なくとも有している。ここで、エントロピー復号化部710以外の各部分が備える機能は、図4におけるものと同じもので実現できるため、同じ番号で示してある。

エントロピー復号化部710は、エクストラクト部109にて分離されたエンハンスメントレイヤの符号化ビットストリームを入力として受け付け復号し、復号したエンハンスメントレイヤの信号と、映像信号階層符号化装置101の直交変換・量子化部418からのエンハンスメントレイヤの量子化パラメータを逆量子化・逆直交変換部420へ出力する。また、復号したエンハンスメントレイヤの動き情報を動き補償部414へ出力し、予測信号選択部416がどの信号を予測信号として選択したかを示す予測信号選択情報を予測信号選択部416’へ出力する。なお、図示はしていないが、ベースレイヤデコード部110のエントロピー復号化部でも、エンハンスメントレイヤデコード部112のエントロピー復号化部710と同様に、エクストラクト部109にて分離されたベースレイヤの符号化ビットストリームから、ベースレイヤの符号化信号と、ベースレイヤの動き情報や、ベースレイヤの量子化パラメータ、ベースレイヤの予測信号選択情報等の符号化パラメータをエントロピー復号化して、それぞれ、ベースレイヤデコード部110内の動き補償部や、逆量子化・逆直交変換部、予測信号選択部等へ出力する。なお、ベースレイヤの量子化パラメータは、逆量子化・逆直交変換部を介して、あるいは逆量子化・逆直交変換部を介さずに、高解像度推定信号復元部111へも出力される。

図7に示したエンハンスメントレイヤデコード部702の構成例を用いてオリジナルの映像信号の解像度の信号(エンハンスメントレイヤ)を復号化する手順を図8に示す。

エクストラクト部109より得られるエンハンスメントレイヤに相当するビットストリームをエントロピー復号化部710で復号化し[ステップS801]、復号化された信号を逆量子化・逆直交変換部420が逆量子化及び逆直交変換して予測誤差信号を復元して加算器421へ出力する[ステップS802]。

一方、予測信号選択部416’は、注目するブロックが、映像信号階層符号化装置101におけるエンハンスメントレイヤの符号化の際、イントラ予測、動き補償予測及び高解像度推定信号による予測のいずれが選択されていたか、または合成されていたかを、映像信号階層符号化装置101から送られてきた符号化ビットストリームに符号化パラメータとして含まれる予測信号選択情報から解読して、それに対応する処理を行う[ステップS803]。つまり、このエンハンスメントレイヤデコード部112内の予測信号選択部416’は、エンハンスメントレイヤの符号化ビットストリームに含まれる予測信号選択情報に基づいて、映像信号階層符号化装置101側のエンハンスメントレイヤエンコード部107内の予測信号選択部416と同様に、これら３つの信号を選択、または合成する。

そして、予測信号選択情報に基づいてエンハンスメントレイヤエンコード部107においてイントラ予測が選択されていたと判断した場合、予測信号選択部416’は、イントラ予測部415に接続して、イントラ予測部415を用いてイントラ予測を行う[ステップS804]。一方、予測信号選択情報に基づいてエンハンスメントレイヤエンコード部107において動き補償予測が選択されていたと判断した場合、予測信号選択部416’は、動き補償部414に接続して、動き補償部414を用いて動き補償を行う[ステップS805]。また、予測信号選択情報に基づいてエンハンスメントレイヤエンコード部107において高解像度推定信号による予測が選択されていたと判断した場合、予測信号選択部416’は、高解像度推定信号復元部111に接続して、高解像度推定信号復元部111を用いて高解像度推定信号を復元する[ステップS806]。なお、予測信号選択情報に基づいてエンハンスメントレイヤエンコード部107においてそれぞれの信号が合成されていたと判断した場合、予測信号選択部416’は、順次接続先を切り換えて、ステップS804、ステップS805及びステップS806をすべて実行し、予測信号選択情報に基づいてエンハンスメントレイヤエンコード部107における重み付けと同様に重みをつけて合成する。

そして、加算器421は、ステップS804、ステップS805及びステップS806のいずれか、またはそれらの合成によって得られた信号と、予測誤差信号とを加算し[ステップS807]、デブロッキングフィルタ部422は、加算器421にて加算された信号をデブロッキングフィルタ処理する[ステップS808]。デブロッキングフィルタ処理した信号は復号映像信号としてディスプレイ等へ出力される。復号化対象ビットストリームが残されている場合、復号映像信号を参照フレームとしてフレームメモリ2・412に蓄積する[ステップS810]。そして、ステップS801からステップS810の処理を繰り返す[ステップS809]。

このように、本実施の形態１の映像信号階層復号化装置103によれば、映像信号階層符号化装置101が多重化した多重化ストリームをエクスラクト部109がエンハンスメントレイヤの符号化ビットストリームと、ベースレイヤの符号化ビットストリームとに分離し、ベースレイヤデコード部110ではベースレイヤの符号化ビットストリームからベースレイヤの復号信号と量子化パラメータを復元し、高解像度推定信号復元部111ではベースレイヤデコード部110からの復号信号と量子化パラメータに応じて高周波数成分推定の程度を制御して入力信号を推定した高解像度推定信号を復元し、エンハンスメントレイヤデコード部112ではエンハンスメントレイヤの符号化ビットストリーム中の差分符号化信号を、高解像度推定信号復元部111からの高解像度推定信号を予測信号として復号するようにしたので、ベースレイエンコードの際の量子化パラメータに応じた適確な高解像度化処理を行って階層間予測誤差をより小さくしたエンハンスメントレイヤにて符号化した符号化差分信号でも、正しく復号することができる。

［実施の形態２］
本発明の実施の形態２を適用した空間解像度スケーラビリティを実現する階層符号化・復号化装置について説明する。この実施の形態２適用した装置は、上述の実施の形態１を適用した高解像度推定信号生成部106(図4)および高解像度推定信号復元部111(図7)を一部変更したものである。実施の形態1におけるインターポレーションと高周波数成分抽出の処理の順序を変えることで、実施の形態1と同様の効果を得るとともに、さらにメモリ等の資源および処理量の幾分かの削減を実現する。

つまり、実施の形態1の高解像度推定信号生成部106では、図４に示すように、ベースレイヤハイパスフィルタリング部403がベースレイヤデコード信号に対して高周波数成分の抽出をおこない、続いて第1のインターポレーション部404が抽出された高周波数成分にインターポレーションを実施する一方、第2のインターポレーション部40７がベースレイヤデコード信号にインターポレーションを実施していた。これに対して実施の形態2では、図１１に示すように、最初にベースレイヤデコード信号に対してインターポレーションをおこない、インターポレーションした信号の高周波数成分の抽出を行うことで、処理量やメモリ等の資源の幾分かの削減を実現する。なお、インターポレーションおよび高周波数成分の抽出をそれぞれ線形とすることで、それらの順序を変えても結果は同じとなる。ただし、実施の形態2では、インターポレーションした後に高周波数成分抽出を行う、すなわち、サンプリング周波数が変化した信号に対してのフィルタ処理を行うことになるため、ここで用いるフィルタは、それに対応したものを用いることが望ましい。以下に実施の形態2の詳細を示す。

図12に、実施の形態２における高解像度推定信号生成部1601の構成例を示す。高解像度推定信号生成部1601は、第1のインターポレーション部1602、第1のハイパスフィルタリング部1603、振幅制限・定数倍処理部405、第2のハイパスフィルタリング部406、加算器408、推定度判断部409を少なくとも有している。ここで、第1のインターポレーション部1602及び第1のハイパスフィルタリング部1603以外の各部分が備える機能は、図4におけるものと同じもので実現できるため、同じ番号で示してある。

第1のインターポレーション部1602は、ベースレイヤのデコード信号を入力として受け付け、その信号をエンハンスメントレイヤに入力されるオリジナルの映像信号の解像度となるように、インターポレーションを行う。インターポレーションは、前述の式(8)で実現可能である。ここでも、インターポレーションの方法(用いるフィルタ係数や補間関数など)は、式(8)以外のものを用いても良い。また、第1のインターポレーション部1602は、インターポレーションした信号を第1のハイパスフィルタリング部1603及び加算器408へ出力する。

第1のハイパスフィルタリング部1603は、第1のインターポレーション部1602より出力された信号を入力として受け付け、入力信号から高周波数成分を抽出する。高周波数成分は前述の式(1)、(2)によって求める。ここで、実施の形態2の第1のハイパスフィルタリング部1603に入力される信号は、インターポレーションによってサンプリング周波数(解像度)が高くなっているため、式(2)の帯域をそれに応じたものに設定することが望ましい。例えば、拡大率r（エンハンスメントレイヤの解像度／ベースレイヤの解像度）が2倍の場合には、式(2)の帯域を実施の形態1の場合の半分に設定する。また、式(1)、(2)をそれ以外の方法に置き換えても良い。ただし、ここで用いるフィルタや補間関数等と、空間デシメーション部104、第1のインターポレーション部1602、第2のハイパスフィルタリング部406及び第2のインターポレーション部407に用いるフィルタや補間関数等の関係は、ピラミッド構成を満たすものとなっていることが望ましい。また、第1のハイパスフィルタリング部1603は、ここで得た高周波数成分を振幅制限・定数倍処理部405へ出力する。

図12に示した高解像度推定信号生成部1601の構成例を用いて高解像度推定信号を生成する手順を図13に示す。ここで、ステップS504からステップS507の各ステップは図5(実施の形態1)と同じである為、同じ番号で示してある。

まず、第1のインターポレーション部1602を用いて入力信号をインターポレーションする[ステップS1701]。そして、インターポレーションの結果得られた信号を、インターポレーションした信号を第1のハイパスフィルタリング部1603及び加算器408へ送る。

次に、第1のハイパスフィルタリング部1603を用いてインターポレーションした信号から高周波数成分信号を抽出する[ステップS1702]。抽出した高周波数成分信号に対して振幅制限・定数倍処理部405を用いて振幅制限及び定数倍処理を行う[ステップS504]。それ以降は、実施の形態1の[ステップS505〜S507]と同様の手順で高解像度推定信号を生成する。
なお、実施の形態2における復号側の高解像度推定信号復元部は、図12に示す実施の形態2の高解像度推定信号生成部1601と同様の構成で実現でき、高解像度推定信号を復元する手順も図13と同様である。

従って、本実施の形態２による映像信号階層符号化装置および映像信号階層復号化装置によれば、上記実施の形態１と同様に、従来の映像階層符号化における階層間予測の為の単純なインターポレーション（空間的拡大）とは異なり、ベースレイヤエンコードの際の量子化パラメータに応じた適確な高解像度化処理を行うことができ、階層間予測誤差をより小さくすることができるので、効率的でより高品位な映像信号階層符号化を実現することが可能となると共に、ベースレイヤエンコードの際の量子化パラメータに応じた適確な高解像度化処理を行って階層間予測誤差をより小さくしたエンハンスメントレイヤにて符号化した符号化差分信号でも、正しく復号することができる。

特に、本実施の形態２の図12に示す高解像度推定信号生成部1601は、図４に示す実施の形態１の高解像度推定信号生成部106とは異なり、第１のハイパスフィルタリング部1603の前段に第１のインターポレーション部1602を設け、その出力を第１のハイパスフィルタリング部1603に入力するものと、入力しないものとを分岐してようにしたので、図４に示す実施の形態１の高解像度推定信号生成部106では必要であった第2のインター歩レーション部407を省略することが可能となり、部品点数を削減することできる。

［実施の形態３］
図14に、以上説明した本発明の実施の形態１,２の映像信号階層符号化装置101および映像信号階層復号化装置103の符号化機能および復号化機能を備えた情報処理装置1001の一例のブロック図を示す。情報処理装置1001は、外部記憶装置1002、一時記憶装置1003、通信装置1004、入力装置1005、中央処理制御装置1006および出力装置1007で構成されており、コンピュータである中央処理制御装置1006により、上述の実施の形態１の符号化および復号化装置の機能をプログラムにより実現させるものである。ここで、上記のプログラムは記録媒体から読み取られて中央処理制御装置1006に取り込まれても良いし、ネットワークを介して通信装置1004により受信されて中央処理制御装置1006に取り込まれても良い。

中央処理制御装置1006は、上記プログラムの実行により、図14の中央処理制御装置内に示すそれぞれの手段をソフトウェア処理にて実現して、実施の形態１,２の映像信号階層符号化装置101および映像信号階層復号化装置103の符号化機能および復号化機能を達成する。なお、図14に示す一例では、実施の形態１の映像信号階層符号化装置101および映像信号階層復号化装置103の符号化機能および復号化機能を備えた符号化手段と復号化手段とを一つの情報処理装置1001に設けて説明したが、本発明では、これに限らず、符号化手段と復号化手段とを別々の情報処理装置に設け、ネットワークを介して接続するように構成しても勿論よい。

従って、上記実施の形態１,２の機能をプログラムの実行によりソフトウエア的に達成する本実施の形態３による映像信号階層符号化装置および映像信号階層復号化装置によっても、上記実施の形態１,２と同様に、従来の映像階層符号化における階層間予測の為の単純なインターポレーション（空間的拡大）とは異なり、ベースレイヤエンコードの際の量子化パラメータに応じた適確な高解像度化処理を行うことができ、階層間予測誤差をより小さくすることができるので、効率的でより高品位な映像信号階層符号化を実現することが可能となると共に、ベースレイヤエンコードの際の量子化パラメータに応じた適確な高解像度化処理を行って階層間予測誤差をより小さくしたエンハンスメントレイヤにて符号化した符号化差分信号でも、正しく復号することができる。

本発明の実施の形態１を適用した映像信号階層符号化・復号化装置の一例を示す構成図である。図１に示す装置の映像信号階層符号化装置の動作を示すフローチャートである。図１に示す装置の映像信号階層復号化装置の動作を示すフローチャートである。図１に示す装置の映像信号階層符号化装置における高解像度推定信号生成部及びエンハンスメントレイヤエンコード部を示す構成図である。図４に示す高解像度推定信号生成部の動作を示すフローチャートである。図４に示すエンハンスメントレイヤエンコード部の動作を示すフローチャートである。図１に示す装置の映像信号階層復号化装置における高解像度推定信号復元部及びエンハンスメントレイヤデコード部を示す構成図である。図７に示すエンハンスメントレイヤデコード部の動作を示すフローチャートである。図７に示す高解像度推定信号復元部の動作を示すフローチャートである。（a）〜（d）それぞれ本発明の実施の形態1及び実施の形態２を適用した階層符号化・復号化装置における高解像度推定信号生成・復元部内の推定度判定部で用いる量子化パラメータと推定用パラメータとの関係の一例を示す図である。実施の形態１による映像信号階層符号化装置、映像信号階層符号化方法から出力される多重化ビットストリームの構成例を示す図である。本発明の実施の形態２を適用した映像信号階層符号化・復号化装置における高解像度推定信号生成部を示す構成図である。図12に示す高解像度推定信号生成部の動作を示すフローチャートである。本発明の実施の形態１，２を適用した符号化および復号化プログラムを実行する情報処理装置の一例を示すブロック図である。

符号の説明

101 映像信号階層符号化装置
102 ネットワーク
103 映像信号階層復号化装置
104 空間デシメーション部
105 ベースレイヤエンコード部
106 高解像度推定信号生成部
107 エンハンスメントレイヤエンコード部
108 多重化部
109 エクストラクト部
110 ベースレイヤデコード部
111 高解像度推定信号復元部
112 エンハンスメントレイヤデコード部
403 第1のハイパスフィルタリング部
404 第1のインターポレーション部
405 振幅制限・定数倍処理部
406 第2のハイパスフィルタリング部
407 第2のインターポレーション部
408 加算器
409 推定度判断部
411 フレームメモリ1
412 フレームメモリ2
413 動き推定部
414 動き補償部
415 イントラ予測部
416 予測信号選択部
417 予測誤差信号生成部
418 直交変換・量子化部
419 エントロピー符号化部
420 逆量子化・逆直交変換部
421 加算器
422 デブロッキングフィルタ部
701 高解像度推定信号復元部
702 エンハンスメントレイヤデコード部
710 エントロピー復号化部
1001 情報処理装置
1002 外部記憶装置
1003 一時記憶装置
1004 通信装置
1005 入力装置
1006 中央処理制御装置
1007 出力装置
1601 高解像度推定信号生成部
1602 第1のインターポレーション部
1603 第1のハイパスフィルタリング部

Claims

入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化すると共に、前記解像度の低い映像信号から予測信号を生成し、その予測信号を用いて解像度の高い側の前記入力映像信号を空間解像度間予測により符号化し、異なる解像度の映像信号の各符号化データを得る映像信号階層符号化装置であって、
入力映像信号に対して空間的縮小を行って前記入力映像信号よりも解像度の低い第１の映像信号を得る空間的縮小手段と、
前記第１の映像信号を、復号化処理を含む符号処理を用いて符号化した第１の符号化データを得る第１の符号化手段と、
前記復号化処理で得られた復号信号から、前記復号信号の空間解像度以上の空間解像度で表現できる高周波数成分を推定し、高周波数成分推定信号を生成する高周波数推定手段と、
前記高周波数成分推定信号を生成する過程において、前記高周波数成分推定信号の過強調を抑制するための過強調抑制手段と、
前記高周波数推定手段における高周波数成分推定量の程度、及び前記過強調抑制手段における過強調を抑制する程度の内の少なくとも一方の程度を、前記第１の符号化手段で用いた量子化パラメータに応じて制御する高解像度化処理を行って、前記高周波数成分推定信号に基づき前記復号信号を空間的に拡大した高解像度化拡大映像信号である第２の映像信号を得る空間的拡大手段と、
予測信号を用いて前記入力映像信号を空間解像度間予測により符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データを得る第２の符号化手段と、
前記第２の符号化手段において用いる前記予測信号として、前記第２の符号化手段で符号化対象となっている空間解像度をもつ階層において得られた所定の予測信号と、解像度の低い側の階層から前記高周波数成分推定信号に基づき得た予測信号である前記第２の映像信号との内の、いずれか一つを選択する予測信号選択手段と、
前記第１及び第２の各符号化データと前記量子化パラメータのデータとを多重化する多重化手段と、
を備えることを特徴とする映像信号階層符号化装置。
入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化すると共に、前記解像度の低い映像信号から予測信号を生成し、その予測信号を用いて解像度の高い側の前記入力映像信号を空間解像度間予測により符号化し、異なる解像度の映像信号の各符号化データを得る映像信号階層符号化方法であって、
入力映像信号に対して空間的縮小を行って前記入力映像信号よりも解像度の低い第１の映像信号を得る空間的縮小ステップと、
前記第１の映像信号を、復号化処理を含む符号処理を用いて符号化した第１の符号化データを得る第１の符号化ステップと、
前記復号化処理で得られた復号信号から、前記復号信号の空間解像度以上の空間解像度で表現できる高周波数成分を推定し、高周波数成分推定信号を生成する高周波数推定ステップと、
前記高周波数成分推定信号を生成する過程において、前記高周波数成分推定信号の過強調を抑制するための過強調抑制ステップと、
前記高周波数推定ステップにおける高周波数成分推定量の程度、及び前記過強調抑制ステップにおける過強調を抑制する程度の内の少なくとも一方の程度を、前記第１の符号化ステップで用いた量子化パラメータに応じて制御する高解像度化処理を行って、前記高周波数成分推定信号に基づき前記復号信号を空間的に拡大した高解像度化拡大映像信号である第２の映像信号を得る空間的拡大ステップと、
予測信号を用いて前記入力映像信号を空間解像度間予測により符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データを得る第２の符号化ステップと、
前記第２の符号化ステップにおいて用いる前記予測信号として、前記第２の符号化ステップで符号化対象となっている空間解像度をもつ階層において得られた所定の予測信号と、解像度の低い側の階層から前記高周波数成分推定信号に基づき得た予測信号である前記第２の映像信号との内の、いずれか一つを選択する予測信号選択ステップと、
前記第１及び第２の各符号化データと前記量子化パラメータのデータとを多重化する多重化ステップと、
を備えることを特徴とする映像信号階層符号化方法。
入力映像信号を解像度の異なる階層に分解して得た前記入力映像信号よりも解像度の低い映像信号を符号化すると共に、前記解像度の低い映像信号から予測信号を生成し、その予測信号を用いて解像度の高い側の前記入力映像信号を空間解像度間予測により符号化し、異なる解像度の映像信号の各符号化データを得る動作をコンピュータに実行させるための映像信号階層符号化プログラムであって、
入力映像信号に対して空間的縮小を行って前記入力映像信号よりも解像度の低い第１の映像信号を得る空間的縮小手段と、
前記第１の映像信号を、復号化処理を含む符号処理を用いて符号化した第１の符号化データを得る第１の符号化手段と、
前記復号化処理で得られた復号信号から、前記復号信号の空間解像度以上の空間解像度で表現できる高周波数成分を推定し、高周波数成分推定信号を生成する高周波数推定手段と、
前記高周波数成分推定信号を生成する過程において、前記高周波数成分推定信号の過強調を抑制するための過強調抑制手段と、
前記高周波数推定手段における高周波数成分推定量の程度、及び前記過強調抑制手段における過強調を抑制する程度の内の少なくとも一方の程度を、前記第１の符号化手段で用いた量子化パラメータに応じて制御する高解像度化処理を行って、前記高周波数成分推定信号に基づき前記復号信号を空間的に拡大した高解像度化拡大映像信号である第２の映像信号を得る空間的拡大手段と、
予測信号を用いて前記入力映像信号を空間解像度間予測により符号化した、解像度の高い側の映像信号の符号化データである第２の符号化データを得る第２の符号化手段と、
前記第２の符号化手段において用いる前記予測信号として、前記第２の符号化手段で符号化対象となっている空間解像度をもつ階層において得られた所定の予測信号と、解像度の低い側の階層から前記高周波数成分推定信号に基づき得た予測信号である前記第２の映像信号との内の、いずれか一つを選択する予測信号選択手段と、
前記第１及び第２の各符号化データと前記量子化パラメータのデータとを多重化する多重化手段と、
してコンピュータを機能させるための映像信号階層符号化プログラム。