JP5698189B2 - オーディオ符号化 - Google Patents

Description

本発明は、オーディオ符号化に関する。更に詳細には、本発明は、オーディオ入力信号を両耳出力信号へと変換する装置及び方法であって、前記入力信号は少なくとも１つのオーディオチャネルと付加的なチャネルを表すパラメータとを有する装置及び方法に関する。

両耳（binaural）オーディオ信号、即ち、人間の耳が敏感な特定の方向情報を含むオーディオ信号を、録音及び再生することは良く知られている。両耳録音は一般に、ダミーの人間頭部に装着された２つのマイクロフォンを利用して、録音される音声が、人間の耳により捕捉される音声に対応し且つ頭部及び耳の形状によるいずれの影響をも含むように為される。両耳録音の再生はヘッドセットを必要とするが、それに対してステレオ録音はラウドスピーカによる再生のために為される点において、両耳録音はステレオ（stereophonic）録音とは異なる。両耳録音は２つのチャネルのみを利用して全ての空間情報の再生を可能とするが、ステレオ録音は同一の空間的な知覚を提供しない。

通常の２チャネル（stereophonic）又は多チャネル（例えば５．１チャネル）録音は、各通常の信号を、知覚伝達関数のセットにより畳み込むことにより、両耳録音に変換され得る。斯かる知覚伝達関数は、信号における人間の頭部及びことによると他のオブジェクトの影響をモデル化する。良く知られたタイプの知覚伝達関数は、所謂頭部伝達関数（Head-Related Transfer Function、ＨＲＴＦ）である。部屋の壁、天井及び床により引き起こされる反射をも考慮に入れた、代替のタイプの知覚伝達関数は、両耳室内インパルス応答（Binaural Room Impulse Response、ＢＲＩＲ）である。

多チャネル信号の場合において、知覚関数のセットにより信号を両耳録音信号に変換することは一般に、全てのチャネルの信号による知覚関数の畳み込みを意味する。典型的な畳み込みは計算的に要求が厳しいため、信号及びＨＲＴＦは一般に周波数（フーリエ）ドメインへと変換され、ここでは計算的に要求がはるかに少ない乗算に畳み込みが置き換えられる。

元の数のチャネルを、より少ない数のチャネルと、元のチャネル間の関係を示すパラメータとにより表現することにより、送信又は保存されるべきオーディオチャネルの数を低減することも、良く知られている。ステレオ信号のセットはかくして、単一の（モノラルの）チャネルと幾つかの関連する空間パラメータとにより表現され得る。一方、５．１信号のセットは、２つのチャネルと関連する空間パラメータのセットとによって、又は単一のチャネルと関連する空間パラメータとによって、表現され得る。空間エンコーダにおける多オーディオチャネルの斯かる「ダウンミックス」、及び空間デコーダにおけるオーディオ信号の対応する「アップミックス」は一般に、例えば直交ミラーフィルタ（Quadrature Mirror Filter、ＱＭＦ）ドメインのような、変換ドメイン又はサブバンドドメインにおいて実行される。

ダウンミックスされた入力チャネルが両耳出力チャネルへと変換されるべき場合、先行技術の手法は、最初に空間デコーダを利用して該入力チャネルをアップミックスしてアップミックスされた中間チャネルを生成し、次いでこれらのアップミックスされた中間チャネルを両耳チャネルへと変換することであった。この手順は典型的に、５又は６個の中間チャネルを生成し、これらは次いで２つの両耳チャネルへと減少させされる必要がある。チャネルの数を最初に増大させ次いで減少させることは明らかに効率的ではなく、計算の複雑さを増大させる。加えて、多チャネルのラウドスピーカ再生のための５又は６個の中間チャネルを、両耳再生のための２つのみのチャネルへと減少させることは、不可避的にアーティファクトを引き起こし、それ故音質を低下させる。

上述のＱＭＦドメインは、周波数（フーリエ変換）ドメインと類似するが、同一ではない。空間デコーダが両耳出力信号を生成すべき場合、ダウンミックスされたオーディオ信号は、最初にアップミックスのためＱＭＦドメインへと変換され、次いで逆ＱＭＦ変換されて時間ドメインの中間信号を生成し、続いて（フーリエ変換された）ＨＲＴＦを用いた乗算のために周波数ドメインへと変換され、最後に逆変換されて時間ドメインの出力信号を生成する必要がある。この手順は、幾つかの変換が連続して実行される必要があるため、効率的ではないことは明らかである。

該先行技術の手法に含まれる計算の数は、ダウンミックスされたオーディオ信号から両耳出力信号を生成することが可能な、携帯型ＭＰ３プレイヤのようなハンドヘルド型消費者向け装置を設計することを、非常に困難にする。斯かる装置が実装され得るとしても、必要とされる計算負荷のため、その電池寿命は非常に短くなる。

本発明の目的は、先行技術のこれらの及び他の問題を克服し、１以上のオーディオ入力チャネルにより表現されるダウンミックスされたオーディオチャネルのセットと、関連する空間パラメータのセットとから、両耳出力チャネルの対を生成することが可能であり、且つ増大された効率を持つ空間デコーダユニットを提供することにある。

従って、本発明は、空間パラメータ及び１以上のオーディオ入力チャネルを利用して両耳出力チャネルの対を生成するための空間デコーダユニットであって、パラメータ化された知覚伝達関数を利用して、前記空間パラメータを両耳パラメータへと変換するためのパラメータ変換ユニットと、前記両耳パラメータ及びオーディオチャネルを利用して、両耳チャネルの対を合成するための空間合成ユニットと、を有する空間デコーダユニットを提供する。

空間パラメータを両耳パラメータに変換することにより、空間合成ユニットは、付加的な両耳合成ユニットを必要とすることなく、両耳チャネルの対を直接に合成することができる。余分な中間信号が生成されないため、計算的な要件は低減され、一方でアーティファクトの生成は略除去される。

本発明の空間デコーダユニットにおいては、両耳チャネルの合成は、周波数ドメインへの変換及び次いで時間ドメインへの逆変換といった付加的なステップを必要とすることなく、例えばＱＭＦドメインのような変換ドメインにおいて実行されることができる。２つの変換ステップが省略されることができるので、計算の数及びメモリ要件が共に著しく低減される。本発明の空間デコーダユニットはそれ故、携帯型消費者向け装置において比較的容易に実装されることができる。

更に、本発明の空間デコーダユニットにおいては、両耳チャネルがダウンミックスされたチャネルから直接に生成され、各両耳チャネルが、ヘッドセット又は同様の装置を用いた両耳再生のための両耳信号を有する。パラメータ変換ユニットは、空間（即ちアップミックス）パラメータから、両耳チャネルを生成するために利用される両耳パラメータを導出する。両耳パラメータの該導出は、ＨＲＴＦ（頭部伝達関数）及び／又は両耳室内インパルス応答のような、パラメータ化された知覚伝達関数を含む。それ故本発明によれば、知覚伝達関数の処理はパラメータドメインで実行される。先行技術においては、該処理は時間ドメイン又は周波数ドメインで実行されていた。パラメータドメインにおける解像度は一般に時間ドメイン又は周波数ドメインにおける解像度よりも低いため、このことは計算の複雑さの更なる低減に帰着し得る。

前記パラメータ変換ユニットは、前記両耳パラメータを決定するために、パラメータドメインで、前記入力（ダウンミックス）オーディオチャネルが与える全ての知覚伝達関数の寄与を前記両耳チャネルへと結合するように構成されることが好適である。換言すれば、空間パラメータとパラメータ化された知覚伝達関数とは、組み合わせられたパラメータが、アップミックスされた中間信号を含む先行技術の方法において得られるものと同様の統計的な特性を持つ両耳出力信号に帰着するような態様で、組み合わせられる。

好適な実施例においては、本発明の空間デコーダユニットは更に、前記オーディオ入力チャネルを変換されたオーディオ入力チャネルに変換するための１以上の変換ユニットと、合成された両耳チャネルを前記両耳出力チャネルへと逆変換するための一対の逆変換ユニットと、を更に有し、前記空間合成ユニットは、好ましくは直交ミラーフィルタドメインのような変換ドメイン又はサブバンドドメインにおいて動作するように構成される。

本発明の空間デコーダユニットは２つの変換ユニットを有しても良く、パラメータ変換ユニットが３つのチャネルのみを含む知覚伝達関数パラメータを利用するように構成され、ここでこれら３つのチャネルのうち２つが、合成前及び後チャネルの寄与を含んでも良い。斯かる実施例においては、パラメータ変換ユニットは、チャネルレベル（例えばＣＬＤ）、チャネルコヒーレンス（例えばＩＣＣ）、チャネル予測（例えばＣＰＣ）及び／又は位相（例えばＩＰＤ）パラメータを処理するように構成されても良い。

代替実施例においては、本発明の空間デコーダユニットは、単一の変換ユニットのみを有し、前記単一の変換ユニットにより出力される変換された単一のチャネルを非相関化するための非相関ユニットを更に有しても良い。斯かる実施例においては、前記パラメータ変換ユニットは、チャネルレベル（例えばＣＬＤ）、チャネルコヒーレンス（例えばＩＣＣ）及び／又は位相パラメータ（例えばＩＰＤ）を処理するように構成されても良い。

本発明の空間デコーダユニットは更に、ステレオ反響ユニットを有しても良い。斯かるステレオ反響ユニットは、時間ドメイン又は変換ドメイン若しくはサブバンドドメイン（例えばＱＭＦ）ドメインで動作するように構成されても良い。

本発明はまた、入力ビットストリームから両耳出力チャネルの対を生成するための空間デコーダ装置であって、前記入力ビットストリームを少なくとも１つのダウンミックスチャネルと信号パラメータとに多重分離するための多重分離ユニットと、前記少なくとも１つのダウンミックスチャネルをデコードするためのダウンミックスデコーダユニットと、空間パラメータ及び前記少なくとも１つのダウンミックスチャネルを利用して、両耳出力チャネルの対を生成するための空間デコーダユニットと、を有し、前記空間デコーダユニットは、パラメータ化された知覚伝達関数を利用して、前記空間パラメータを両耳パラメータへと変換するためのパラメータ変換ユニットと、前記両耳パラメータ及び前記少なくとも１つのダウンミックスチャネルを利用して、両耳チャネルの対を合成するための空間合成ユニットと、を有する装置を提供する。

加えて本発明は、上述したような空間デコーダユニット及び／又は空間デコーダ装置を有する、消費者向け装置及びオーディオシステムを提供する。本発明は更に、空間パラメータ及び１以上のオーディオ入力チャネルを利用して両耳出力チャネルの対を生成する方法であって、パラメータ化された知覚伝達関数を利用して、前記空間パラメータを両耳パラメータへと変換するステップと、前記両耳パラメータ及びオーディオチャネルを利用して、両耳チャネルの対を合成するステップと、を有する方法を提供する。本発明による方法の更なる態様は、以下の説明から明らかとなるであろう。

本発明は更に、以上に定義された方法を実行するためのコンピュータプログラムを提供する。コンピュータプログラムは、ＣＤ又はＤＶＤのようなデータ担体に保存された、コンピュータ実行可能な命令のセットを有しても良い。プログラム可能なコンピュータが以上に定義された方法を実行することを可能とする該コンピュータ実行可能な命令のセットは、例えばインターネットを介してのように、リモートのサーバからのダウンロードのために利用可能であっても良い。

先行技術による頭部伝達関数の適用を模式的に示す。 先行技術による空間オーディオエンコーダ装置を模式的に示す。 両耳合成装置に結合された、先行技術による空間オーディオデコーダ装置を模式的に示す。 先行技術による空間オーディオデコーダユニットを模式的に示す。 本発明による空間オーディオデコーダユニットを模式的に示す。 本発明による空間オーディオデコーダ装置を模式的に示す。 変換ドメイン反響ユニットを備えた、図５の空間オーディオデコーダユニットを模式的に示す。 時間ドメイン反響ユニットを備えた、図５の空間オーディオデコーダユニットを模式的に示す。 本発明による空間オーディオデコーダ装置を備えた消費者向け装置を模式的に示す。

本発明は、添付図面に示された実施例を参照しながら、以下に更に説明される。

先行技術による頭部伝達関数（ＨＲＴＦ）のような知覚伝達関数の適用が、図１に模式的に示される。両耳合成装置３は、それぞれが入力チャネルと出力チャネルとの特定の組み合わせのための伝達関数を含む、６つのＨＲＴＦユニット３１を有するように示されている。図示された本例においては、チャネルｌ（左）、ｃ（中央）及びｒ（右）に対応し得る、３つのオーディオ入力チャネルｃｈ１、ｃｈ２及びｃｈ３がある。第１のチャネルｃｈ１は、それぞれＨＲＴＦ（１，Ｌ）及びＨＲＴＦ（１，Ｒ）を含む２つのＨＲＴＦユニット３１に供給される。本例においては、ＨＲＴＦ（１，Ｌ）は、左両耳信号に対する第１のチャネルの寄与を決定する頭部伝達関数である。

当業者は、ＨＲＴＦは、通常の（ステレオ）録音及び両耳録音の両方を作成し、通常の録音に対する両耳録音の整形を表す伝達関数を導出することにより決定され得ることを知っているであろう。両耳録音は、ダミーの人間頭部に装着された２つのマイクロフォンを利用して、録音される音声が、人間の耳により捕捉される音声に対応し且つ頭部及び耳の形状、更には髪及び肩の存在によるいずれの影響をも含むように為される。

ＨＲＴＦ処理が時間ドメインで実行される場合には、ＨＲＴＦは、チャネルの（時間ドメイン）オーディオ信号により畳み込まれる。しかしながら一般に、ＨＲＴＦは周波数ドメインへと変換され、結果の伝達関数及びオーディオ信号の周波数スペクトルが、次いで乗算される（フーリエ変換ユニット及び逆フーリエ変換ユニットは図１には示されていない）。時間フレームのオーバラップを含む適切なオーバラップ加算（Overlap-and-add、ＯＬＡ）手法が、高速フーリエ変換（ＦＦＴ）フレームよりも長い長さを持つＨＲＴＦに対応するために利用されても良い。

適切なＨＲＴＦユニット３１によるＨＲＴＦ処理の後、結果の左及び右信号はそれぞれの加算器３２により加算され、（時間ドメイン）左両耳信号ｌｂ及び右両耳信号ｒｂを導出する。

図１の先行技術の両耳合成装置の例３は、３つの入力チャネルを持つ。今日のオーディオシステムはしばしば、所謂５．１システムの場合におけるように、５又は６個のチャネルを持つ。しかしながら、伝送及び／又は保存されるべきデータの量を低減するために、複数のオーディオは一般に１又は２個のチャネルへと減少させられる（「ダウンミックスされる」）。元のチャネルの特性及び相互の関係を示す幾つかの信号パラメータが、該１又は２個のチャネルの、元の数のチャネルへの伸張（「アップミックス」）を可能とする。先行技術による空間エンコーダ装置の例１が、図２に模式的に示される。

空間エンコーダ装置１は、空間エンコード（ＳＥ）ユニット１１、ダウンミックスエンコード（ＤＥ）ユニット１２及び多重化器（Ｍｕｘ）１３を有する。空間エンコードユニット１１は、５つの入力チャネルｌｆ（左前）、ｌｒ（左後）、ｒｆ（右前）、ｒｒ（右後）及びｃ（中央）を受信する。空間エンコードユニット１１は、該５つの入力チャネルをダウンミックスして２つのチャネルｌ（左）及びｒ（右）、並びに信号パラメータｓｐを生成する（空間エンコードユニット１１は２つのチャネルｌ及びｒの代わりに単一のチャネルを生成しても良いことに留意されたい）。５つのチャネルが２つのチャネルにダウンミックスされる（所謂５−２−５構成）図示された本実施例においては、信号パラメータｓｐは例えば、以下を有する：

「ｌｆｅ」は、任意の低周波（サブウーファ）チャネルであり、「後（rear）」チャネルは「サランウド」チャネルとしても知られることは留意されたい。

空間エンコードユニット１１により生成された２つのダウンミックスチャネルｌ及びｒは、ダウンミックスエンコード（ＤＥ）ユニット１２に供給され、ダウンミックスエンコード（ＤＥ）ユニット１２は典型的に、データの量を低減させることを目的としたタイプの符号化を利用する。かくしてエンコードされたダウンミックスチャネルｌ及びｒ並びにパラメータｓｐは、多重化ユニット１３により多重化され、出力ビットストリームｂｓが生成される。

代替の実施例（図示されていない）においては、５（又は６）個のチャネルが単一の（モノラル）チャネルへとダウンミックスされ（所謂５−１−５構成）、信号パラメータｓｐは例えば以下を有する：

該代替実施例においても、エンコードされたダウンミックスチャネルｓ及び信号パラメータｓｐは、多重化ユニット１３により多重化され、出力ビットストリームｂｓが生成される。

該ビットストリームｂｓが両耳チャネルの対を生成するために利用されるべきであれば、先行技術の手法は、最初に２つのダウンミックスチャネルｌ及びｒ（又は代替としては単一のダウンミックスチャネル）をアップミックスして５又は６個の元のチャネルを生成し、次いでこれら５又は６個のチャネルを２つの両耳チャネルに変換する。該先行技術の手法の例は、図３に示されている。

先行技術による空間デコーダ装置２'は、多重分離（Ｄｅｍｕｘ）ユニット２１'、ダウンミックスデコードユニット２２'及び空間デコーダユニット２３'を有する。両耳合成装置３は、空間デコーダ装置２'の空間デコーダユニット２３'に結合される。

多重分離ユニット２１'は、図２のビットストリームｂｓと同一であっても良いビットストリームｂｓを受信し、信号パラメータｓｐ及び２つのエンコードされたダウンミックスチャネルを出力する。信号パラメータｓｐは空間デコーダユニット２３'に送信され、一方エンコードされたダウンミックスチャネルは最初に、ダウンミックスデコードユニット２２'によりデコードされ、デコードされたダウンミックスチャネルｌ及びｒが生成される。空間デコーダユニット２３'は基本的に、図２における空間エンコードユニット１１の逆演算を実行し、５個のオーディオチャネルを出力する。これら５個のオーディオチャネルは、両耳合成装置３に供給される。両耳合成装置３は図１の装置３と類似の構成を持っても良いが、５個のチャネル全てに対応するため付加的なＨＲＴＦユニット３１を備える。図１の例におけるように、両耳合成装置３は、２つの両耳チャネルｌｂ（左両耳）及びｒｂ（右両耳）を出力する。

先行技術の空間デコーダユニット２３'の構造の例が、図４に示される。図４のユニット２３'は、２から３への（２−３）アップミックスユニット２３０'、３つの空間合成（ＳＳ）ユニット２３２'及び３つの非相関（Ｄ）ユニット２３９'を有する。２−３アップミックスユニット２３０'は、ダウンミックスチャネルｌ及びｒ並びに信号パラメータｓｐを受信し、３つのチャネルｌ、ｒ及びｃｅを生成する。これらチャネルの各々は、それぞれのチャネルの非相関化されたバージョンを生成する非相関ユニット２３９'に供給される。各チャネルｌ、ｒ及びｃｅ、それぞれの非相関化されたバージョン、並びに関連する信号パラメータｓｐは、それぞれの空間合成（又はアップミックス）ユニット２３２'へと供給される。例えばチャネルｌを受信する空間合成ユニット２３２'は、出力チャネルｌｆ（左前）及びｌｒ（左後）を出力する。空間合成ユニット２３２'は典型的に行列乗算を実行し、該行列のパラメータは信号パラメータｓｐにより決定される。

図４の例において、６つの出力チャネルが生成されることに留意されたい。幾つかの実施例においては、第３の非相関ユニット２３９'及び第３の空間合成ユニット２３２'が省略されても良く、従って５つの出力チャネルのみを生成しても良い。しかしながら全ての実施例において、先行技術の空間合成ユニット２３'は、２つよりも多い出力チャネルを生成する。単に説明の明確さのため、いずれの（ＱＭＦ）変換ユニット及び逆（ＱＭＦ）変換ユニットもが、図４の例から省略されていることにも留意されたい。実際の実施例においては、空間デコードは、ＱＭＦドメインのような変換ドメインにおいて実行され得る。

図３の構成は、効率的ではない。空間デコーダ装置２'は２個のダウンミックスチャネル（ｌ及びｒ）を５個のアップミックスされた（中間）チャネルへと変換し、両耳合成装置３が次いで該５個のアップミックスされたチャネルを２個の両耳チャネルへと減少させる。加えて、空間デコーダユニット２３'におけるアップミックスは典型的に、ＱＭＦ（Quadrature Mirror Filter）ドメインのようなサブバンドドメインにおいて実行される。しかしながら、両耳合成装置３は典型的に、周波数（即ちフーリエ変換）ドメインで信号を処理する。これら２つのドメインは同一ではないため、空間デコーダ装置２'は、最初にダウンミックスチャネルの信号をＱＭＦドメインに変換し、該変換された信号を処理し、次いでアップミックスされた信号を時間ドメインへと戻す変換をする。続いて、両耳合成装置３が、全ての（本例においては５個）これらアップミックスされた信号を周波数ドメインへと変換し、該変換された信号を処理し、次いで両耳信号を時間ドメインへと戻す変換をする。含まれる計算の労力は著しく、特に該処理がハンドヘルド型装置において実行されるべき場合には、より効率的な信号処理が望ましいことは明らかであろう。

本発明は、空間デコーダ装置における両耳合成装置を統合し、パラメータにおける両耳処理を効果的に実行することにより、はるかに効率的な処理を提供する。本発明による空間デコーダユニットの単なる実施例が、図５に模式的に示される。本発明による結合された空間及び両耳デコーダ装置（簡潔さのため空間デコーダ装置と呼ぶ）が、図６に示される。

図５において単に限定的でない例として示される本発明の空間デコーダユニット２３は、変換ユニット２３１、空間合成（ＳＳ）ユニット２３２、逆変換ユニット２３３、パラメータ変換（ＰＣ）ユニット２３４及びメモリ（Ｍｅｍ）ユニット２３５を有する。図５の実施例においては、空間デコーダユニット２３は、２つの変換ユニット２３１を有するが、代替実施例においては、ダウンミックスチャネルの数に依存して、単一の変換ユニット２３１のみが（図６に示されるように）、又は２つよりも多い変換ユニット２３１が存在しても良い。

変換ユニット２３１はそれぞれ、ダウンミックスチャネルｌ及びｒを受信する（図３も参照されたい）。各変換ユニット２３１は、それぞれのチャネル（の信号）を適切な変換又はサブバンドドメイン（本例においてはＱＭＦドメイン）へと変換するように構成される。ＱＭＦ変換されたチャネルＬ及びＲは、空間合成ユニット２３２へと供給される。空間合成ユニット２３２は好ましくは、チャネルＬ及びＲの信号に対して行列演算を実行し、変換ドメイン両耳チャネルＬｂ及びＲｂを生成する。逆変換ユニット２３３は逆変換（本例においては逆ＱＭＦ変換）を実行し、両耳時間ドメインチャネルｌｂ及びｒｂを生成する。

空間合成ユニット２３２は、図４の先行技術の空間合成ユニット２３２'に類似していても良いし、又は同一であっても良い。しかしながら、該ユニットにおいて利用されるパラメータは、先行技術において利用されるパラメータとは異なる。更に詳細には、パラメータ変換ユニット２３４は、メモリユニット２３５に保存されたＨＲＴＦパラメータｈｐを利用して、従来の空間パラメータｓｐを両耳パラメータｂｐに変換する。これらＨＲＴＦパラメータｈｐは、以下を有しても良い：
−方位角（水平面における角度）、仰角（垂直面における角度）及び距離の関数としての、左伝達関数についての周波数帯域毎の平均レベル、
−方位角、仰角及び距離の関数としての、右伝達関数についての周波数帯域毎の平均レベル、及び
−方位角、仰角及び距離の関数としての、周波数帯域毎の平均位相又は時間差。

加えて、以下のパラメータが含まれても良い：
−方位角、仰角及び距離の関数としての、ＨＲＴＦ周波数帯域毎の左及び右伝達関数のコヒーレンス度、及び／又は
−方位角、仰角及び距離の関数としての、左及び右伝達関数についての、絶対位相及び／又は時間パラメータ。

利用される実際のＨＲＴＦパラメータは、個々の実施例に依存しても良い。

空間合成ユニット２３２は、以下の式を利用して、両耳チャネルＬｂ及びＲｂを決定しても良い：

ここで添え字ｋはＱＭＦハイブリッド（周波数）帯域インデクスを示し、添え字ｍはＱＭＦスロット（時間）インデクスを示す。行列Ｈ_ｋのパラメータｈ_ｉｊは、両耳パラメータ（図５におけるｂｐ）により決定される。添え字ｋにより示されるように、行列Ｈ_ｋはＱＭＦハイブリッド帯域に依存し得る。第１の実施例においては、パラメータ変換ユニット（図５における２３４）が両耳パラメータを生成し、該両耳パラメータが次いで空間合成ユニット２３２により行列パラメータｈ_ｉｊへと変換される。第２の実施例においては、行列パラメータｈ_ｉｊは、パラメータ変換ユニット（図５における２３４）により生成される両耳パラメータと同一であり、変換されることなく、空間合成ユニット２３２により直接に利用されることができる。

２個のダウンミックスチャネル（５−２−５構成）の場合、行列Ｈ_ｋのパラメータｈ_ｉｊは、以下の方法により決定されても良い。図４の先行技術の空間デコーダユニットにおいては、２−３デコーダユニット２３０'が２個の（入力）ダウンミックスチャネルｌ及びｒを３個の（出力）チャネルｌ、ｒ及びｃｅに変換する（出力チャネルｌ及びｒは一般に入力チャネルｌ及びｒとは同一ではなく、この理由のため以下の議論では入力チャネルはｌ_０及びｒ_０と呼ばれることは理解されるであろう）。

本発明の更なる態様によれば、パラメータ変換ユニット（図５及び６における２３４）は、知覚伝達関数を利用するように構成される。ここでは、３個のチャネル（例えばｌ、ｒ及びｃ）の寄与のみが考慮され、これら３個のチャネルのうち２個（例えばｌ及びｒ）が、それぞれの合成の前（ｌｆ、ｒｆ）及び後（ｌｒ、ｒｒ）チャネルを有する。即ち、それぞれの前及び後チャネルは、効率を改善するためにグループ化される。

２−３アップミックスユニット２３０'の演算は、以下の行列演算により記述されることができる：

ここで行列のエントリｍ_ｉｊは、空間パラメータに依存する。空間パラメータと行列エントリとの関係は、５．１ＭＰＥＧサラウンドデコーダのものと同一である。３個の結果信号ｌ、ｒ及びｃのそれぞれについて、これら音源の所望の（知覚される）位置に対応する、知覚伝達関数（本例においてはＨＲＴＦ）パラメータの効果が決定される。中央チャネル（ｃ）については、音源位置の空間パラメータは直接に適用されることができ、中央についての２個の出力信号ｌ_Ｂ（ｃ）及びｒ_Ｂ（ｃ）に帰着する：

式（３）から分かるように、ＨＲＴＦパラメータ処理は、中央チャネルの音源位置に対応する平均パワーレベルＰ_ｌ及びＰ_ｒによる信号の乗算から成り、ここで位相差は対称的に分散される。該処理は、一方ではＨＲＴＦパラメータからＱＭＦフィルタバンクへのマッピングを利用して、また他方では空間パラメータからＱＭＦ帯域へのマッピングを利用して、各ＱＭＦ帯域について独立に実行される。

左（ｌ）チャネルについては、左前及び左後チャネルからのＨＲＴＦパラメータが、重みｗ_ｌｆ及びｗ_ｆｒを用いて、単一の寄与へと結合される。結果の合成パラメータは、統計的な意味において、前チャネル及び後チャネルの両方の効果をシミュレートする。以下の式は、左チャネルについて両耳出力対（ｌ_ｂ，ｒ_ｂ）を生成するために利用される：

ここで、

である。

重みｗ_ｌｆ及びｗ_ｒｆは、ｌｆ及びｌｒについての、１から２への（１−２）ユニットのＣＬＤパラメータに依存する：

同様に、右チャネルについての両耳出力は、以下に従って得られる：

ここで、

両方の場合において、位相修正項が反対側の耳に適用されることに留意されたい。更に、人間の聴覚システムは約２ｋＨｚを超える周波数についての両耳位相に対しては極めて鈍感であるため、位相修正項は、より低い周波数領域において適用される必要があるのみである。それ故、残りの周波数範囲については、実数の処理で十分である（実数ｍ_ｉｊを仮定する）。

更に、上述の式は、ｌｆ及びｌｒの（ＨＲＴＦ）フィルタリングされた信号のインコヒーレントな加算を仮定することに留意されたい。とり得る拡張の１つは、前／後相関を考慮するため、ｌｆ及びｌｒの（並びにｒｆ及びｒｒの）、送信されるチャネル間コヒーレンス（ＩＣＣ）パラメータをも、式に含めることである。

上述した全ての処理ステップはパラメータドメインにおいて組み合わせられ、単一の信号ドメインの２ｘ２行列：

に帰着しても良い。ここで

以上から明らかであるように、本発明は基本的に、先行技術におけるように周波数又は時間ドメインにおいてではなく、パラメータドメインにおいて両耳（即ちＨＲＴＦ）情報を処理する。このようにして、かなりの計算的な節約が得られる。

図６において単に限定的でない例として示された本発明による空間デコーダ装置２は、多重分離（Ｄｅｍｕｘ）ユニット２１、ダウンミックスデコードユニット２２及び空間／両耳デコーダユニット２３を有する。多重分離ユニット２１及びダウンミックスデコードユニット２２は、図３に示された先行技術の多重分離ユニット２１'及びダウンミックスデコードユニット２２'に類似するものであっても良い。図６の空間デコーダユニット２３は、ダウンミックスチャネル及び関連する変換ユニットの数を除いて、図５の空間デコーダユニット２３と同一である。図６の空間デコーダ装置は単一のダウンミックスチャネルｓのために構成されるため、単一の変換ユニット２３１のみが備えられる一方、（変換ドメインの）ダウンミックス信号Ｓの非相関化されたバージョンＤを生成するための非相関（Ｄ）ユニット２３９が追加されている。パラメータ変換ユニット２３４により生成される両耳パラメータｂｐは典型的に、図５の実施例におけるものとは異なる。なぜなら、単一のダウンミックスチャネルｓに関連する信号パラメータｓｐは典型的に、２つのダウンミックスチャネルと関連するものとは異なるからである。

図６の構成においては、両耳デコーダの入力は、空間パラメータｓｐにより付随されるモノラルの入力信号ｓを有する。両耳合成ユニットは、元の５．１入力のＨＲＴＦ処理から得られるであろう特性を近似する統計的な特性を持つステレオ出力信号を生成する。該信号は、以下により記述され得る：

チャネルｌｆ、ｒｆ、ｌｒ、ｒｒ及びｃの統計的特性及び相互関係を記述する空間パラメータと、ＨＲＴＦインパルス応答のパラメータとが与えられると、両耳出力対ｌ_ｂ及びｒ_ｂの統計的特性（即ち両耳パラメータの近似）を推定することも可能である。より具体的には、平均エネルギー（各チャネルについての）、平均位相差及びコヒーレンスが推定され、続いてモノラル入力信号の非相関化及びマトリクシングにより再配置されることができる。

両耳パラメータは、２個の両耳出力チャネルのそれぞれについての（相対的な）レベル変化（それ故チャネルレベル差パラメータを定義する）、（平均）位相差、及び（変換ドメインの時間／周波数タイル毎の）コヒーレンス度を有する。

最初のステップとして、送信されたＣＬＤパラメータを利用して、５（又は６）個のチャネル（５．１）信号の相対的なパワー（モノラル入力信号のパワーに対する）が計算される。左前チャネルの相対パワーは、以下により与えられる：

ここで、

同様に、他のチャネルの相対パワーは、以下により与えられる：

左両耳出力チャネルの（モノラル入力チャネルに対する）相対パワーσ_Ｌ ^２の期待値、右両耳出力チャネルの相対パワーσ_Ｒ ^２の期待値、及び外積Ｌ_ＢＲ_Ｂ ^＊の期待値が、対で算出される。両耳出力（ＩＣＣ_Ｂ）のコヒーレンスは、

により与えられ、平均位相角（ＩＰＤ_Ｂ）は、

により与えられる。

両耳出力のチャネルレベル差（ＣＬＤ_Ｂ）は、

により与えられる。

最後に、モノラル入力に比較した両耳出力の全体の（線形の）利得ｇ_Ｂは、

により与えられる。

両耳行列においてＩＰＤ_Ｂ、ＣＬＤ_Ｂ、ＩＣＣ_Ｂ及びｇ_Ｂを再配置するために必要とされる行列係数は、全体の利得ｇ_Ｂにより拡張された従来のパラメトリックステレオデコーダから単純に得られる：

ここで、

本発明の空間デコーダユニットの更なる実施例は、反響ユニットを含んでも良い。反響を追加することが、両耳音声が再生されるときに知覚される距離を改善することが分かっている。この目的のため、図７の空間デコーダユニット２３は、空間合成ユニット２３２と並列に接続されたステレオ反響ユニット２３７を備えられる。図７のステレオ反響ユニット２３７は、ＱＭＦ変換ドメインの単一のダウンミックス信号Ｓを受信し、加算ユニット２３８により変換ドメイン両耳信号（図６におけるチャネルＬｂ及びＬｒ）に加算される２つの反響信号を出力する。結合された信号は次いで、出力される前に逆変換ユニット２３３により逆変換される。

図８の実施例においては、ステレオ反響ユニット２３７は、時間ドメインで反響を生成するように構成され、時間ドメインの単一のダウンミックス信号ｓを受信する。ステレオ反響ユニット２３７は、加算ユニット２３８により両耳チャネルｌｂ及びｒｂの時間ドメイン信号に加算される、時間ドメイン反響信号を出力する。いずれの実施例も、適切な反響を提供する。

本発明は更に、以上に定義されたような空間デコーダユニット又は空間デコーダ装置を有する、ハンドヘルド型消費者向け装置のような消費者向け装置及びオーディオシステムを提供する。ハンドヘルド型消費者向け装置は、ＭＰ３プレイヤ又は同様の装置によって構成されても良い。消費者向け装置が、図９に模式的に示される。消費者向け装置５０は、本発明による空間デコーダ装置２（図６を参照）を有するものとして示されている。

本発明は、結合された空間デコーダ装置及び両耳合成装置の計算的な複雑さが、両耳情報に従って空間パラメータを変更することにより、かなり減少させられ得るという洞察に基づく。このことは、いずれのアーティファクトの生成をも回避しつつ、同一の信号処理演算において、空間デコード及び知覚伝達関数の処理を空間デコーダ装置が効率的に実行することを可能とする。

本明細書において使用されたいずれの用語も、本発明の範囲を限定するものとして解釈されるべきでないことに留意されたい。特に、「有する（comprise）」なる語は、明確に言及されていない要素を除外することを意味するものではない。単一の（回路）要素は、複数の（回路）要素又はその同等物により代用されても良い。

本発明は以上に説明された実施例に限定されるものではなく、添付された請求項において定義された本発明の範囲から逸脱することなく、多くの変更及び追加が為され得ることは、当業者により理解されるであろう。

Claims (9)

1. 入力される、２以上のオーディオチャネルの１以上のダウンミックスオーディオ入力チャネルと前記１以上のダウンミックスオーディオ入力チャネルのアップミックスのための空間パラメータとを利用して、両耳出力チャネルの対を生成するための空間デコーダユニットであって、
   パラメータ化された知覚伝達関数を利用して、パラメータドメインで前記空間パラメータを両耳パラメータへと変換するためのパラメータ変換ユニットであって、前記両耳パラメータは、前記パラメータ化された知覚伝達関数及び前記空間パラメータの双方に依存する、パラメータ変換ユニットと、
   前記１以上のダウンミックスオーディオ入力チャネルを、ＱＭＦドメインのオーディオ信号の対に変換する変換手段と、
   ＱＭＦドメインの両耳チャネルＬｂ及びＲｂの対を、
   

   

   の式により合成するための空間合成ユニットであって、ここで、添え字ｋはＱＭＦハイブリッド周波数帯域インデクスを示し、添え字ｍはＱＭＦスロット時間インデクスを示し、行列Ｈ_ｋのパラメータｈ_ｉｊは、前記両耳パラメータにより決定され、Ｌ［ｋ，ｍ］及びＲ［ｋ，ｍ］は、前記ＱＭＦドメインのオーディオ信号の対である、空間合成ユニットと、
   前記ＱＭＦドメインの両耳チャネルの対を、前記両耳出力チャネルの対へと逆変換するための逆変換手段と、
   を有し、
   前記両耳パラメータは、
   

   

   により与えられる、前記両耳チャネルのチャネルレベル差ＣＬＤ_Ｂを有し、ここで、σ_Ｌ ^２は、左耳出力チャネルの相対パワーの期待値であり、σ_Ｒ ^２は、右耳出力チャネルの相対パワーの期待値である、空間デコーダユニット。
2. 前記パラメータ変換ユニットは、チャネルレベル、チャネルコヒーレンス、チャネル予測及び／又は位相パラメータを処理するように構成された、請求項１に記載の空間デコーダユニット。
3. 前記変換手段が、該１つのダウンミックスオーディオ入力チャネルをＱＭＦドメインの１つのオーディオ信号に変換する変換ユニットと、該１つのオーディオ信号の非相関化されたバージョンを生成するための非相関ユニットとを含み、該１つのオーディオ信号及び該非相関化されたバージョンが、前記ＱＭＦドメインのオーディオ信号の対を構成する、請求項１又は２に記載の空間デコーダユニット。
4. 時間ドメインで動作するように構成されたステレオ反響ユニットを更に有する、請求項１から３いずれか１項に記載の空間デコーダユニット。
5. ＱＭＦドメインにおいて動作するように構成されたステレオ反響ユニットを更に有する、請求項１から３いずれか１項に記載の空間デコーダユニット。
6. 請求項１から５いずれか１項に記載の空間デコーダユニットを有する、オーディオシステム。
7. 請求項１から５いずれか１項に記載の空間デコーダユニットを有する、消費者向け装置。
8. 入力される、２以上のオーディオチャネルの１以上のダウンミックスオーディオ入力チャネルと前記１以上のダウンミックスオーディオ入力チャネルのアップミックスのための空間パラメータとを利用して、両耳出力チャネルの対を生成する方法であって、
   パラメータ化された知覚伝達関数を利用して、パラメータドメインで前記空間パラメータを両耳パラメータへと変換するステップであって、前記両耳パラメータは、前記パラメータ化された知覚伝達関数及び前記空間パラメータの双方に依存する、ステップと、
   前記１以上のダウンミックスオーディオ入力チャネルを、ＱＭＦドメインのオーディオ信号の対に変換するステップと、
   ＱＭＦドメインの両耳チャネルＬｂ及びＲｂの対を、
   

   

   の式により合成するステップであって、ここで、添え字ｋはＱＭＦハイブリッド周波数帯域インデクスを示し、添え字ｍはＱＭＦスロット時間インデクスを示し、行列Ｈ_ｋのパラメータｈ_ｉｊは、前記両耳パラメータにより決定され、Ｌ［ｋ，ｍ］及びＲ［ｋ，ｍ］は、前記ＱＭＦドメインのオーディオ信号の対である、ステップと、
   前記ＱＭＦドメインの両耳チャネルの対を、前記両耳出力チャネルの対へと逆変換するステップと、
   を有し、
   前記両耳パラメータは、
   

   

   により与えられる、前記両耳チャネルのチャネルレベル差ＣＬＤ_Ｂを有し、ここで、σ_Ｌ ^２は、左耳出力チャネルの相対パワーの期待値であり、σ_Ｒ ^２は、右耳出力チャネルの相対パワーの期待値である、方法。
9. 請求項８に記載の方法を実行するためのコンピュータプログラム。

Images