JP5192424B2

JP5192424B2 - オーディオ信号のエンコードまたはデコード

Info

Publication number: JP5192424B2
Application number: JP2009059145A
Authority: JP
Inventors: エフビレモエス，ラルス; エクストランド，ペル; プルンハーゲン，ヘイコ; ヘーペースハイエルス，エリク; ボント，フランシスキュスエムイェーデ
Original assignee: Dolby International AB
Current assignee: Dolby International AB
Priority date: 2003-10-30
Filing date: 2009-03-12
Publication date: 2013-05-08
Anticipated expiration: 2024-10-28
Also published as: BRPI0415951B1; BR122018007834B1; CN101540171A; DE602004004818T2; JP2011128649A; US7519538B2; BRPI0415951A8; ATE354160T1; RU2374703C2; JP5335015B2; KR20110113765A; CN1875402B; PL1683133T3; EP1683133B1; US20090216544A1; US20070067162A1; CN1875402A; US20110178810A1; US8260607B2; BRPI0415951A

Description

本発明は、オーディオ信号のエンコードまたはエンコードされたオーディオ信号のデコードに関する。

エリック・スハイエルス（Erik Schuijers）、ウェルナー・オーメン（Werner Oomen）、ベルト・デン・ブリンカー（Bert den Brinker）およびイェルーン・ブレーバールト（Jeroen Breebaart）の“Advances in Parametric Coding for High-Quality Audio”, Preprint 5852, 114th AES Convention, Amsterdam, The Netherlands, 220-25 March 2003はステレオ音像のための効率的なパラメトリック表現を使ったパラメトリック符号化方式を開示している。二つの入力信号は一つのモノ・オーディオ信号にマージされる。知覚的に意味のある空間的手がかりは図１に示したように明示的にモデル化される。マージされた信号はモノ・パラメトリック・エンコーダを使ってエンコードされる。ステレオ・パラメータのチャネル間強度差（IID: Interchannel Intensity Difference）、チャネル間時間差（ITD: Interchannel Time Difference）およびチャネル間相互相関（ICC: Interchannel Cross Correlation）は量子化され、エンコードされ、前記の量子化されてエンコードされたモノ・オーディオ信号と一緒にビットストリームに多重化される。デコーダ側では、ビットストリームは多重化解除されてエンコードされたモノ信号とステレオ・パラメータになる。エンコードされたモノ・オーディオ信号はデコードされ、デコードされたモノ・オーディオ信号ｍ′が得られる（図２参照）。このモノ時間領域信号から、知覚的な脱相関を与えるフィルタDを使って脱相関された信号が計算される。モノ時間領域信号ｍ′および脱相関信号ｄはいずれも周波数領域に変換される。次いでその周波数領域ステレオ信号はパラメータ処理ユニットにおいてIDD、ITD、ICCを用いてそれぞれスケール変換、位相修正および混合によって処理され、デコードされたステレオ対ｌ′およびｒ′が得られる。結果として得られる周波数領域表現は時間領域に逆変換されている。

本発明の目的の一つは、空間的パラメータを使って有利なオーディオ・エンコードまたはデコードを提供することである。この目的のため、本発明は、エンコード方法、オーディオ・エンコーダ、送信もしくは保存のための装置、デコード方法、オーディオ・デコーダ、再生装置およびコンピュータプログラムプロダクトを独立請求項において定義されるように提供する。有利な実施形態は従属請求項において定義される。

本発明の第一の側面によれば、第一のオーディオ・チャネルと第二のオーディオ・チャネルとを含むオーディオ信号がエンコードされる。該エンコードは、前記第一のオーディオ・チャネルと前記第二のオーディオ・チャネルとのそれぞれを複素変調フィルタバンクにおいてサブバンドフィルタ処理して前記第一のオーディオ・チャネルについての第一の複数のサブバンド信号と、前記第二のオーディオ・チャネルについての第二の複数のサブバンド信号とを提供し、該サブバンド信号のそれぞれをダウンサンプリングして第一の複数のダウンサンプリングされたサブバンド信号と、第二の複数のダウンサンプリングされたサブバンド信号を提供し、前記ダウンサンプリングされたサブバンド信号のうちの少なくとも一つをさらなるフィルタバンクにおいてさらにサブバンドフィルタ処理して複数のサブ・サブバンド信号を提供し、前記サブ・サブバンド信号から、およびさらなるサブバンドフィルタ処理をされていないダウンサンプリングされたサブバンド信号から空間的パラメータを導出し、前記第一の複数のダウンサンプリングされたサブバンド信号と前記第二の複数のダウンサンプリングされたサブバンド信号とから導かれる誘導サブバンド信号を有する単一チャネル・オーディオ信号を導出する、ことを有する。サブバンドにおいてさらなるサブバンドフィルタ処理を設けることによって、前記サブバンドの周波数解像度が増す。そのような増加した周波数解像度には、より高いオーディオ品質を（単一サブバンド信号のバンド幅は典型的には人間の聴覚系の臨界帯域よりもずっと高い）効率的な実装によって（変換される必要があるのは少数のバンドだけであるため）実現することが可能になるという利点がある。パラメトリック空間的符号化器は両耳的手がかりをモデル化しようとする。両耳的手がかりは、等価矩形帯域（ERB: Equivalent Rectangular Bands）に似た非一様な周波数スケール上で知覚される。前記単一チャネル・オーディオ信号は、前記第一の複数のダウンサンプリングされたサブバンド信号および前記第二の複数のダウンサンプリングされたサブバンド信号から直接導出することができる。しかし、前記単一チャネル・オーディオ信号の導出は有利には、さらなるサブバンドフィルタ処理を受けたダウンサンプリングされたサブバンドについてのサブ・サブバンド信号から（この場合、各サブバンドの前記サブ・サブバンド信号は足し合わされて新しいサブバンド信号を形成し、前記単一チャネル・オーディオ信号はこれらの新しいサブバンド信号から導出される）、ならびに、前記第一および第二の複数のサブバンドのうちさらなるフィルタ処理をされていないサブバンドからである。

本発明のもう一つの主たる側面によれば、エンコードされた単一チャネル・オーディオ信号と空間的パラメータの組とを有するエンコードされたオーディオ信号のオーディオ・デコードが提供される。該オーディオ・デコードは、前記エンコードされた単一チャネル・オーディオ信号をデコードして複数のダウンサンプリングされたサブバンド信号を得、前記ダウンサンプリングされたサブバンド信号の少なくとも一つをさらなるフィルタバンクにおいてさらにサブバンドフィルタ処理して複数のサブ・サブバンド信号を提供し、前記空間的パラメータと、前記サブ・サブバンド信号と、さらなるサブバンドフィルタ処理をされていないサブバンドについての前記ダウンサンプリングされたサブバンド信号とから二つのオーディオ・チャネルを導出することを有する。サブバンドにおけるさらなるサブバンドフィルタ処理を設けることによって、前記サブバンドの周波数解像度は増加し、その結果、より高品質のオーディオ・デコードが達成できる。

本発明のこれらの側面の主たる効果の一つは、パラメトリック空間的符号化はスペクトル帯域複製（SBR: Spectral Band Replication）技法と容易に組み合わせることができるということである。SBRそのものはMartin Dietz、Lars Liljeryd、Kristofer Kj¨orling and Oliver Kunz, “Spectral Band Replication, a novel approach in audio coding”, Preprint 5553, 112th AES Convention, Munich, Germany, 10-13 May 2002から、そしてPer Ekstrand, “Bandwidth extension of audio signals by spectral band replication”, Prc. 1st IEEE Benelux Workshop on Model based Processing and Coding of Audio (MPCA-2002), pp. 53-58, Leuven, Belgium, November 15, 2002から知られている。さらに、MPEG-4規格ISO/IEC14496-3: 2001/FDAM1, JTC1/SC29/WG11, Coding of Moving Pictures and Audio, Bandwidth Extensionが参照される。これはSBRを使ったオーディオ・コーデックを記載している。

SBRは、オーディオ信号における低周波と高周波との間には典型的には大きな相関があるという知見に基づいている。そのため、SBRプロセスはスペクトルの低域部分を高域部分にコピーし、その後スペクトルの高域部分について当該ビットストリーム中にエンコードされた小さな情報を使ってスペクトル包絡線が調整される。そのようなSBR拡張されたデコーダの簡略化したブロック図が図３に示されている。ビットストリームは多重化解除され、デコードされてコアデータ（たとえばMPEG-2/4の高度オーディオ符号化（AAC: Advanced Audio Coding））とSBRデータとになる。コアデータを使って信号は完全バンド幅信号のサンプリング周波数の半分でデコードされる。コア・デコーダの出力は、３２バンドの複素（擬似）直交ミラーフィルタ（QMF: Quadrature Mirror Filter）バンクによって分解される。これらの３２のバンドは次いで、低域の一部をコピーすることによって高周波（HF: High Frequency）内容が生成される形で完全バンド幅、すなわち６４バンドに拡張される。HF内容が生成された帯域の包絡線はSBRデータに従って調整される。最後に、６４バンドの複素QMF合成バンクによって、PCM出力信号が再構成される。

図３に示されるSBRデコーダはいわゆるデュアルレートデコーダである。これは、コア・デコーダはサンプリング周波数の半分で走り、したがって３２バンド分解QMFバンクしか使われないということを意味する。コア・デコーダが完全なサンプリング周波数で走り、分解QMFバンクが６４のバンドからなるシングルレートデコーダも可能である。実際上は、再構成は（擬似）複素QMFバンクによってなされる。複素QMFフィルタバンクは臨界サンプリングされないので、エイリアシングを考慮に入れるために追加的な対策を講じる必要はない。Ekstrandによって開示されているようなSBRデコーダにおいては、分解QMFバンクは３２バンドしか有さない一方、合成QMFバンクは６４バンドからなり、コア・デコーダは全オーディオ・デコーダに比べてサンプリング周波数の半分で走ることを注意しておく。しかし、対応するエンコーダでは、６４バンドの分解QMFバンクが使われて全周波数領域がカバーされる。

本発明はステレオ・オーディオ符号化のために特に有益であるが、本発明は二つよりも多くのオーディオ・チャネルをもつ信号の符号化にも有益である。

これらのことを含む本発明のさまざまな側面は、以下に記載する実施形態から明らかであり、これを参照することによって明快になるであろう。

図面は本発明を理解するために必要な要素のみを示す。

パラメトリック・ステレオ（PS: Parametric Stereo）エンコーダにおいて使われるステレオ・パラメータ抽出のためのユニットのブロック図である。 PSデコーダにおいて使われるステレオ信号の再構成のためのユニットのブロック図である。スペクトル帯域複製（SBR）デコーダのブロック図である。本発明のある実施形態に基づく、複合PSおよびSBR拡張されたエンコーダのブロック図である。本発明のある実施形態に基づく、複合PSおよびSBR拡張されたデコーダのブロック図である。 Mバンドでダウンサンプリングされた複素QMFの分解バンク（左）および合成バンク（右）を示す図である。プロトタイプフィルタの絶対値応答をdBで示す図である。６４のダウンサンプリングしていない複素変調分解フィルタのうちの最初の４つの絶対値応答をdBで示す図である。自明な合成をもつQバンドのフィルタバンクのブロック図である。第一のダウンサンプリングされていない変調QMFフィルタおよび８バンドの複素変調フィルタバンクの合成絶対値応答をdBで示す図である。本発明のある実施形態に基づく、４バンドの偶積層のフィルタバンク（上）と奇積層のフィルタバンク（下）の定型化された絶対値応答を示す図である。本発明のある実施形態に基づく、６４バンドの複素分解QMFに基づく、７７バンドの非一様ハイブリッド分解フィルタバンクを示す図である。オーディオ・デコーダでの使用のための、６４バンドの複素分解QMFに基づく、７１バンドの非一様ハイブリッド分解フィルタバンクを示す図である。複素変調分解フィルタバンクの効率的な実装のブロック図である。

SBRとPS（Parametric Stereo）との組み合わせはきわめて強力なコーデックを与える可能性を秘めている。SBRとPSとはいずれも、何らかの形の時間‐周波数変換、処理および最終的な周波数‐時間変換というかなり似通った構造からなるデコーダにおける後処理アルゴリズムである。両アルゴリズムを複合する場合は、両アルゴリズムがたとえばDSPアプリケーションの上で同時的に走れることが要求される。よって、一方のコーデックの計算された中間結果のうちできるだけ多くを他方のために再利用することが有益である。PSとSBRとの複合の場合には、これは複素（擬似）QMFサブバンド信号をPS処理のために再利用することにつながる。複合エンコーダ（図４参照）では、ステレオ入力信号は二つの６４バンドの分解フィルタバンクによって分解される。複素サブバンド領域表現を使って、PS計算ユニットはステレオ・パラメータを推定し、モノ（サブバンド）ダウンミックスが生成される。このモノ・ダウンミックスは次いでSBRパラメータ推定ユニットに与えられる。最終的に、モノ・ダウンミックスは３２バンドの合成フィルタバンクによって時間領域に逆変換され、コア・デコーダによって符号化されうるようになる（コア・デコーダは帯域幅の半分しか必要としない）。

図５に示したような複合デコーダでは、デュアルレートシステムまたはシングルレートシステムが使われているか否かに関わりなく、包絡線調整後の完全バンド幅（６４バンド）のサブバンド領域信号は、ステレオ・パラメータに従ってサブバンド領域信号の複数のステレオ組に変換される。サブバンド信号のこれら二つの組は最終的に６４バンドの合成QMFバンクによって時間領域に変換される。単にPSをSBRと組み合わせるだけの場合、QMFフィルタの低域周波数の諸バンドの帯域幅は高品質ステレオ表現のために必要とされるよりも大きい。よって、ステレオ音像の高品質表現を与えることができるために、本発明の有利な諸実施形態によれば、低域サブバンド信号のさらなる細分が実行される。

本発明の諸側面のよりよい理解のために、まず複素QMFサブバンドフィルタの背後の理論を説明する。

QMFサブバンドフィルタ
QMF分解サブバンドフィルタは次のように説明できる。実数値の線形位相プロトタイプフィルタp(v)が与えられているとき、Mバンドの複素変調分解フィルタバンクは、k＝0,1,...,M−1についての分解フィルタ

によって定義することができる。位相パラメータθは以下の分析には重要ではないが、典型的な選択はプロトタイプフィルタの次数をNとして(N＋M)/2である。実数値の離散的な時間信号x(v)を与えられたとき、サブバンド信号v_k(n)はx(v)をh_k(v)でフィルタ処理（畳み込み）し、次いでその結果をM分の1にダウンサンプリングすることによって得られる（図６の左側参照）。

合成処理は、まずQMFサブバンド信号をM倍にアップサンプリングし、次いで（１）の型の複素変調フィルタを用いてフィルタ処理し、結果を足し合わせ、最終的に実部の２倍をとる（図６の右側参照）。すると、実数値の線形位相プロトタイプフィルタp(v)を好適に設計することによって完璧に近い実数値信号の再構成が得られる。６４バンドの場合のMPEG-4規格（上述）のSBRシステムにおいて使われるプロトタイプフィルタの絶対値応答が図７に示されている。６４の複素変調分解フィルタの絶対値応答は、プロトタイプフィルタp(v)の絶対値応答を(π/M)(k+1/2)だけシフトさせることによって得られる。これらの応答の一部が図８に示されている。フィルタ処理されるのはk＝0とk＝M−1の場合を除けば正の周波数だけであることを注意しておく。結果として、ダウンサンプリング前のサブバンド信号は解析的に近く、実数値の正弦曲線の簡単な振幅および位相修正を容易にする。位相修正は、最初と最後のバンドについても、これらのバンド内にある正弦曲線の周波数がそれぞれπ/2Mより大きいかπ−π/2Mより小さければ、可能である。この領域の外側にある周波数については、位相修正のパフォーマンスは、負の周波数の干渉のために急速に悪化する。

上記したQMF分解フィルタから出発して、本発明の諸実施形態では、ダウンサンプリングされた各サブバンド信号v_k(n)をQ_k個のサブバンドにさらにフィルタ処理することによってより細かな周波数解像度が得られる。以下においてこのさらなるサブバンドフィルタ処理の性質を導く。

複素QMFサブバンド領域における信号修正
以下では、Z(ω)＝Σz(n)exp(−inω)〔和はn＝−∞から∞まで〕を離散時間信号z(n)の離散時間フーリエ変換であるとする。上述したような完璧に近い再構成属性を想定し、また前記したプロトタイプフィルタp(v)の場合のようにP(ω)すなわちp(v)のフーリエ変換が特に周波数区間[−π/M,π/M]の外側では実質的に０になるという設計を想定すると、ここでの次のステップは、サブバンド信号v_k(n)が合成前に修正されるシステムを考えることである。ここで、各サブバンドkがフィルタB_k(ω)を用いたフィルタ処理によって修正されるとする。アステリスクで複素共役を表すことにし、
k＜0についてはB_k(ω)＝B_-1-k(−ω)^* （２）
という拡張定義を用いると、（全体としての遅延を無視し、実数値の入力およびシングルレートシステムを想定して）フィルタバンク合成を含む結果として得られるシステムはフィルタ

を用いたフィルタ処理に対応することを示すことができる。

P(ω)の属性に関する仮定によれば、式（３）ですべてのkについてB_k(ω)＝1を代入すればB (ω)＝1となり、シフトされたプロトタイプフィルタ応答についての平方和が1であることが得られる。実数値の定数B_k(ω)＝b_k≧0を選ぶことによって、当該システムは周波数π(k＋1/2)/Mにおいて利得値b_kを補間する等化器としてはたらく。魅力的な特徴は、全体としてのシステムが時間不変である、すなわち、ダウンサンプリングおよびアップサンプリングの使用にもかかわらずエイリアシングがないということである。このことが成り立つのはもちろん、前述されたプロトタイプフィルタ仮定に対する逸脱の量次第である。

モノ・オーディオ信号を導出するためには、前記複素サブバンド信号の追加的なサブフィルタ処理はこれらの属性を保存すべきであるのみならず、これらの属性をフィルタ処理されたサブバンド信号の操作にも拡張するべきである。これらの属性を保存するサブフィルタ処理は、いわゆる第Mバンドフィルタ（Mth band filter）の修正版を使って実行することができる。これ自身はP.P. Vaidyanathan, “Multirate systems and filter banks”, Prentice Hall Signal Processing Series, 1993, sections 4.6.1.-6.6.2から知られている。

自明な合成をもつ変調フィルタバンク
離散時間信号v(n)は、インパルス応答がg_q(n) （q＝0, 1, ..., Q−1）であるフィルタのバンクによってQ個の異なる信号に分割することができる。このことは図９で図解されている。対応する分解出力をy_q(n)とし、自明な合成演算

を考える。このとき、フィルタを

となるように選ぶことによって完璧な再構成y(n)＝v(n)が得られる。ここで、n＝0ならδ(n)＝1、n≠0ならδ(n)＝0である。因果的フィルタについては、式（５）の右辺はdを正の遅延としてδ(n−d)で置き換える必要があるが、このストレートな修正は呈示の明確さのため省略する。

フィルタg_q(n)は、プロトタイプフィルタg(n)の

を通じた複素変調として選ぶことができる。本発明のこの好ましい実施形態では、フィルタは奇積層（oddly stacked）である（因子q＋1/2）。この好ましい実施形態の利点はのちに述べることになる。完璧な再構成（５）が得られるのは、
g(Qn)＝δ(n)/Q （７）
であるとき、かつそのときに限られる。この一つの変形が、

という実数値の余弦変調で、実数値のプロトタイプフィルタg(m)が
g(2Qn)＝δ(n)/Q （９）
を満たすものである。（これは式（６）においてg_q(n)＋g_Q-1-q(n)を考えることにより容易に得られる。）
複素指数関数変調されたフィルタバンクのサブフィルタ処理
上記したQMF分解フィルタから出発して、ダウンサンプリングされた各サブバンド信号v_k(n)をQ_k個のサブ・サブバンドに、上記の変調構造（６）または（８）の一つを使ってさらにフィルタ処理することによってより細かな周波数解像度が得られる。結果として得られる出力信号をy_q ^k(n)と書き、g_q ^k(n)がサブバンドk内で適用されるフィルタバンクを記述するものとする。Q_k＝1であれば、フィルタ処理はなく、g₀ ^k(n)＝δ(n)である。典型的な適用例は、M＝64で、Q₀＝8、k＝1, 2についてQ_k＝4、k＞2についてQ_k＝1というものである。

x(v)からy_q ^k(n)への二つのフィルタバンクの組み合わされた効果は、フィルタF_q ^k(ω)を用いたフィルタ処理とそれに続く因子Mによるダウンサンプリングとして記述できる。ここで、
F_q ^k(ω)＝H_k (ω) G_q ^k(Mω) （１０）
である。もしプロトタイプフィルタ応答P(ω)がSBR分解フィルタの場合のように（図７参照）区間[−π/M,π/M]の外で本質的に0であれば、フィルタF_q ^k(ω)は、
ω_k,q＝2π（q＋Q_ks＋1/2）／(MQ_k) （１１）
によって定義される複素変調された場合において定義される単一の名目的な中心周波数をもつ。ここでsはQ_k(k−1/2)≦2(q＋Q_ks)＋1≦Q_k(k＋3/2)となるように選ばれる整数である。たとえば、図１０において図示されるように、k＝0でQ₀＝8であれば、ω_0,0, ω_0,1,... ,ω_0,7の値は
（π/8M）×（1, 3, 5, 7, 9, 11, −3, −1）
である。

非一様な周波数解像度を用いた信号修正
上記したサブバンドフィルタバンクの挿入はさらなるダウンサンプリングを導入しはしないので、上に複素QMFだけの場合について示された、エイリアスのない信号修正パフォーマンスが保存される。Mサブバンド分解と、サブバンドk内でQ_k個のサブ・サブバンドを使ったさらなるサブバンドフィルタ処理と、各サブ・サブバンド信号y_q ^k(n)のフィルタA_k,q (ω)によるフィルタ処理と、各サブバンドk内での総和による合成と、Mバンドの合成バンクを通じた最終的な合成との一般的な組み合わされた動作を考える。そのような系の全体としての伝達関数は式（３）でk≧0について

としたもので与えられる。ω＞π/(2M)については、これは、

となり、よって、サブバンド(k,q)の通しての応答は、

となる。|ω|≦π/(2M)については、（２）のため若干注意を払う必要がある。この周波数範囲では、

が成り立ち、実数のサブ・サブバンド・プロトタイプフィルタ係数を想定すると、

が成り立ち、よって修正フィルタを

となるように選べば、B₀(−Mω)^*＝B₀(Mω)であり、（３）との関連で言及した平方和が1であることにより、|ω|≦π/(2M)について

となる。これはサブ・サブバンド(0,q)についての通しての応答G_q ⁰(Mω)に対応する。

式（１５）から（１７）までは正と負の周波数を区別することが望ましいことを示している。偶積層の（複素）フィルタではなく奇積層の（複素）フィルタが使用される（図１１参照）のはこの理由による。偶積層のフィルタについては、正と負の周波数の区別をしようがないので、中心フィルタ、すなわち中心周波数が0であるフィルタの中にある正弦波の位相修正を適用することは可能ではない。Qを帯域の数とし、 [−2π/Q,2π/Q]に帯域限定された応答G(ω)をもつプロトタイプフィルタを想定すると、偶積層の場合、位相修正が近似的に適用できる下限は2π/Qであるのに対し、奇積層の場合、位相修正が近似的に適用できる下限はπ/Qである。

導入部で述べたように、PS合成にとって、上記したことの重要な特別な場合が等化と位相修正である。等化については、A_k,q (ω)＝a_k,q≧0であり、条件（１６）は

に帰着する。位相修正の場合はA_k,q (ω)＝exp(iα_k,q)に対応し、この場合、条件（１６）は

であれば満足される。

ステレオ・パラメータ推定
非一様な複素フィルタバンク、すなわち上記したようなQMFバンクとそれに続くさらなるサブバンドフィルタ処理は、以下に示すようにステレオ・パラメータのチャネル間強度差（IID）、チャネル間位相差（IPD: Inter-channel Phase Differences）およびチャネル間相互相関（ICC）を推定するために適用できる。この実際的な実施形態においては、Schuijers et al.の論文で使われているITDに対する実際上等価な代替としてIPDが用いられていることを注意しておく。複合PSエンコーダ（図４参照）では、最初の３つの複素QMFチャネルはサブフィルタ処理されて合計で７７の複素数値の信号が得られる（図１２参照）。

以後、この７７個の複素数値の時間整列した左および右のサブ・サブバンド信号はy_q ^k(n)の添え字割り当てに従ってそれぞれl_q ^k(n)およびr_q ^k (n)と書くことにする。

あるサブバンドのサンプル位置n′におけるステレオ・パラメータを推定するために、左、右および規格化していない相互チャネル励起は、すべてのステレオ・ビンbについて、次式によって計算される。

h(n)は長さLをもつサブバンド領域窓、εは0による除算を防ぐためのごく小さな値（たとえばε＝10^-10）で、l_q ^k(n)およびr_q ^k (n)は左および右のサブ・サブバンド領域信号である。２０個のステレオ・ビンの場合、k_l以上k_h以下のkおよびq_l以上q_h以下のqにわたっての総和は表に示したように進行する。「負の」周波数（たとえばq＝4...7の場合のk＝0）は式（２０）のパラメータ推定には含められないことを注意しておく。

表１：kおよびqについての総和の開始および終了添え字

e_l(b)、e_r(b)、e_R(b)を計算するための総和は、これらの信号の総和における中点がパラメータ位置と一致するよう整列されている。−(L/2)+1のシフトはそのためである。表１から明らかなように、中心周波数が正のサブ・サブバンド信号およびサブバンド信号のみがステレオ・パラメータの推定に使われている。

各ステレオ・ビンbについて、IIDをI(b)と書き、ICCをC(b)と書き、IPDをP(b)と書くと、これらは次のように計算される。

式中の角P(b)＝∠e_R(b)は、−πとπの間の値を与える４象限逆正接関数を使って計算される。目標ビットレートと用途に依存して、これらのパラメータまたはこれらのパラメータの部分集合は量子化され、ビットストリームのPS部分に符号化される。

ステレオ信号合成
デコーダにおける計算コスト（メモリ使用量の意味での）をできるだけ低く保つため、同様の分解構造が使われる。しかし、第一の帯域は部分的に複素であるだけである（図１３参照）。これは、中程の帯域の対G₂ ⁰(ω)とG₅ ⁰(ω)、G₃ ⁰(ω)とG₄ ⁰(ω)の和によって得られる。さらに、第二の帯域と第三の帯域は二帯域実数値フィルタバンクであり、G₀ ^k(ω)とG₃ ^k(ω)の出力の和ならびにG₁ ^k(ω)とG₂ ^k(ω)の出力の和によって得られる（変調フィルタバンクについての上記のセクションにおける議論も参照）。デコーダフィルタバンク構造のこの単純化を使っても、正と負の周波数を区別する特性は前記第一のサブバンドフィルタの細分によって維持される。デコーダ分解フィルタバンクが図１３に示されている。第一のQMFフィルタ処理された（サブ・）サブバンド信号の添え字割り当てが周波数に従って分別されていることを注意しておく。

単一フレームのステレオ（サブ・）サブバンド信号は次のように構築される。

ここでs_k(n)はモノ（サブ・）サブバンド信号、d_k(n)はICCパラメータの合成を考慮に入れるために前記モノ（サブ・）サブバンド信号s_k(n)から導出されるモノ脱相関（サブ・）サブバンド信号、k＝0,...,K−1はサブバンドの添え字（Kがサブバンドの総数、すなわちK＝71）、n＝0,...,N−1はQMFサブバンド標本値の添え字でNはフレームのサブバンド標本値の数、Λ₁₁, Λ₁₂, Λ₁₃, Λ₁₄はスケール因子操作行列、P_rtは位相回転操作行列である。前記操作行列は時間と周波数の関数として定義され、MPEG-4規格ISO/IEC14496-3:2001/FDAM1, JTC1/SC29/WG11, Coding of Moving Pictures and Audio, Extension 2において記載されている操作ベクトルからストレートに導出できる。

s_k(n)は図１２に従って図１３を導くよう次のように定義される。

ステレオ・パラメータの合成は表２の添え字割り当てに従って行われる。

表２：パラメータ添え字割り当て表

よって合成の式は次のような具合になる。

表中でアステリスクが出てきたら上式でP_rtの符号が変化することを注意しておく。これは式（１９）に従っている。すなわち、負の周波数については逆の位相回転を適用しなければならないのである。

自明な合成をもつ変調フィルタバンクの効率的な実装
長さLのプロトタイプフィルタを用いた変調フィルタバンクが与えられたとき、直接的な形の実装は入力標本値あたりQL回の演算を要求するものであろうが、（６）における変調が周期Qに関して反周期的であるという事実を使うと、フィルタ処理を、各入力標本値についてL回の演算の多相窓処理（windowing）とそれに続くサイズQの変換とに分割できる。そのような多相表現はP.P. Vaidyanathan, “Multirate systems and filterbanks”, Prentice Hall Signal Processing Series, 1993, section 4.3から知られていることを注意されたい。以下は、本発明の好ましい実施形態に基づくそのような多相表現の有利な適用を提供する。

変換はDFTに位相のひねりを続けたものである。これはQが2の冪であるときQlog₂Qのオーダーである。よって、Lがlog₂Qよりずっと大きい典型的な場合においては大幅な節約が得られる。実数で変調された場合（８）では、周期2Qの反周期性とn＝0およびn＝Qのまわりの偶／奇対称性とを組み合わせて利用して、やはり多相窓処理ができ、変換核はIII型のDCTとなる。複素変調の場合についての詳細な説明を以下に与える。

FFTコア処理を使ったサブ・サブフィルタ処理の効率的な実装は、プロトタイプフィルタの多相分解とそれに続く変調とを使って実現しうる。次数Nのプロトタイプフィルタg(n)を想定し、N＝mQとし、mは正の整数とする。この条件は制限的ではない。任意の次数のプロトタイプフィルタに0をパディングして制約条件を満たすことができるからである。複素変調系（６）において使うために設計されたプロトタイプフィルタのZ変換は

である。これは多相記法では

と表しうる。ここで、

である。フィルタバンクのすべてのフィルタはプロトタイプフィルタを周波数変調したバージョンである。フィルタg_q(n)のZ変換は

によって与えられる。ここで、

である。一つのフィルタからの出力の表式は次のようになる。

最後の和の成分を識別することによって、多相成分プロセスが処理するのは入力信号の遅延バージョンであり、それはその後複素数の指数関数を乗じられることが見て取れる。最後にすべての出力信号Y_q(z) （q＝0,...,Q−1）は逆FFT（スケーリング因子なし）を適用することによって見出される。図１４は、この分解フィルタバンクの構成を示している。式（２９）の多相フィルタは非因果的であるため、適正な量の遅延がすべての多相成分に加えられる必要がある。

上述した実施形態が本発明を解説するものであって限定するものではないこと、そして当業者には付属の特許請求の範囲から外れることなく数多くの代替的な実施形態を考案することができるであろうことを注意しておく。請求項においては、括弧内に置かれた参照符号があったとしても、それが請求項を限定するものと解釈してはならない。「有する」の語は請求項において挙げられている以外の要素またはステップの存在を排除しない。本発明はいくつかの異なる要素を有するハードウェアによって、および好適にプログラムされたコンピュータによって実装することができる。いくつかの手段を列挙している装置請求項においては、これらの手段のいくつかは同一のハードウェア項目によって具現されることができる。ある施策が互いに異なる従属請求項において述べられているというだけの事実がこれらの施策の組み合わせが有利に用いられないということを示すことはない。

Claims

複合型のパラメトリック・ステレオおよびスペクトル帯域複製拡張されたオーディオ・エンコーダであって：
時間領域ステレオ入力信号をサブバンド領域に変換する分解フィルタバンクと、
前記サブバンド領域のステレオ入力信号についてパラメトリック・ステレオ・パラメータを計算してパラメトリック・ステレオ・ビットストリームを得て、前記サブバンド領域におけるモノ・ダウンミックスを生成するパラメトリック・ステレオ計算ユニットと、
前記サブバンド領域における前記モノ・ダウンミックスのスペクトル帯域複製パラメータを推定してスペクトル帯域複製ビットストリームを得るスペクトル帯域複製パラメータ推定ユニットと、
前記モノ・ダウンミックスを前記サブバンド領域から時間領域に変換する周波数‐時間変換器と、
時間領域のモノ・ダウンミックスをエンコードしてコア・ビットストリームを得るコア・エンコーダとを有する、
エンコーダ。
複合型のパラメトリック・ステレオおよびスペクトル帯域複製拡張オーディオ・エンコードの方法であって：
時間領域ステレオ入力信号をサブバンド領域に変換する段階と、
前記サブバンド領域のステレオ入力信号についてパラメトリック・ステレオ・パラメータを計算してパラメトリック・ステレオ・ビットストリームを得る段階と、
前記サブバンド領域におけるモノ・ダウンミックスを生成する段階と、
前記サブバンド領域における前記モノ・ダウンミックスのスペクトル帯域複製パラメータを推定してスペクトル帯域複製ビットストリームを得る段階と、
前記モノ・ダウンミックスを前記サブバンド領域から時間領域に変換する段階と、
時間領域のモノ・ダウンミックスをコア・エンコードしてコア・ビットストリームを得る段階とを有する、
方法。
コア・エンコードされたオーディオ信号、スペクトル帯域複製パラメータおよびパラメトリック・ステレオ・パラメータを含むエンコードされた入力信号をデコードする、複合型のパラメトリック・ステレオおよびスペクトル帯域複製拡張されたオーディオ・デコーダであって：
エンコードされたオーディオ信号をデコードしてデコードされたオーディオ信号を得るコア・デコーダと、
前記のデコードされたオーディオ信号をサブバンド領域に時間‐周波数変換する分解フィルタバンクと、
前記サブバンド領域において前記スペクトル帯域複製パラメータを使って完全バンド幅オーディオ信号を生成するための高周波発生器および包絡線調整器と、
前記パラメトリック・ステレオ・パラメータを使って前記完全バンド幅オーディオ信号を前記サブバンド領域のステレオ・オーディオ信号に変換するパラメトリック・ステレオ合成ユニットと、
前記完全バンド幅オーディオ信号を前記サブバンド領域から時間領域に変換する合成フィルタバンクとを有する、
デコーダ。
コア・エンコードされたオーディオ信号、スペクトル帯域複製パラメータおよびパラメトリック・ステレオ・パラメータを含むエンコードされた入力信号をデコードする、複合型のパラメトリック・ステレオおよびスペクトル帯域複製拡張オーディオ・デコードの方法であって：
エンコードされたオーディオ信号をコア・デコードしてデコードされたオーディオ信号を得る段階と、
前記のデコードされたオーディオ信号をサブバンド領域に時間‐周波数変換する段階と、
前記サブバンド領域において前記スペクトル帯域複製パラメータを使って完全バンド幅オーディオ信号を生成する段階と、
前記パラメトリック・ステレオ・パラメータを使って前記完全バンド幅オーディオ信号を前記サブバンド領域のステレオ・オーディオ信号に変換する段階と、
前記完全バンド幅オーディオ信号を前記サブバンド領域から時間領域に変換する段階とを有する、
方法。
複合型のパラメトリック・ステレオおよびスペクトル帯域複製拡張オーディオ・エンコードの方法を実行するようコンピュータに命令するコードを含むコンピュータ・プログラムであって、前記方法は：時間領域ステレオ入力信号をサブバンド領域に変換する段階と；前記サブバンド領域のステレオ入力信号についてパラメトリック・ステレオ・パラメータを計算してパラメトリック・ステレオ・ビットストリームを得る段階と；前記サブバンド領域におけるモノ・ダウンミックスを生成する段階と；前記サブバンド領域における前記モノ・ダウンミックスのスペクトル帯域複製パラメータを推定してスペクトル帯域複製ビットストリームを得る段階と；前記モノ・ダウンミックスを前記サブバンド領域から時間領域に変換する段階と；時間領域のモノ・ダウンミックスをコア・エンコードしてコア・ビットストリームを得る段階とを有するものである、
コンピュータ・プログラム。
コア・エンコードされたオーディオ信号、スペクトル帯域複製パラメータおよびパラメトリック・ステレオ・パラメータを含むエンコードされた入力信号をデコードする、複合型のパラメトリック・ステレオおよびスペクトル帯域複製拡張オーディオ・デコードの方法を実行するようコンピュータに命令するコードを含むコンピュータ・プログラムであって、前記方法は：エンコードされたオーディオ信号をコア・デコードしてデコードされたオーディオ信号を得る段階と；前記のデコードされたオーディオ信号をサブバンド領域に時間‐周波数変換する段階と；前記サブバンド領域において前記スペクトル帯域複製パラメータを使って完全バンド幅オーディオ信号を生成する段階と；前記パラメトリック・ステレオ・パラメータを使って前記完全バンド幅オーディオ信号を前記サブバンド領域のステレオ・オーディオ信号に変換する段階と；前記完全バンド幅オーディオ信号を前記サブバンド領域から時間領域に変換する段階とを有するものである、
コンピュータ・プログラム。