JP6374882B2 - 音場の高次アンビソニクス表現における無相関な音源の方向を決定する方法及び装置 - Google Patents

Description

発明は、音場の高次アンビソニクス表現における無相関な音源の方向を決定する方法及び装置に関する。

高次アンビソニクス（Higher Order Ambisonics）（ＨＯＡ）は、波面合成法（Wave Field Synthesis）（ＷＦＳ）、及び２２．２のようなチャネルベースのアプローチのような技術の中で特に、３次元サウンドを表現するための１つの可能性を提供する。チャネルベースの方法と対照的に、また一方で、ＨＯＡ表現は、固有のラウドスピーカ配置に依存しないという利点を提供する。しかし、このような柔軟性は、特定のラウドスピーカ配置でのＨＯＡ表現の再生に必要とされる復号化プロセスを代償にする。必要とされるラウドスピーカの数が通常は非常に多いＷＦＳアプローチと比較して、ＨＯＡは、ほんの少数のラウドスピーカから成る配置にもレンダリングされ得る。ＨＯＡの更なる利点は、同じ表現が、ヘッドホンへのバイノーラル・レンダリングのためにも、如何なる変更なしで用いられ得ることである。

ＨＯＡは、切り捨てられた球面調和関数（Spherical Harmonics）（ＳＨ）展開による複素高調平面波振幅の空間密度の表現に基づく。夫々の展開係数は、時間領域の関数によって等価に表現され得る角周波数の関数である。よって、一般性を損なうことなしに、完全なＨＯＡ音場表現は、実際上、Ｏ個の時間領域関数から成ると推測され得る。このとき、Ｏは、展開係数の数を表す。以下で、それらの時間領域関数は、ＨＯＡ係数シーケンスと、又はＨＯＡチャネルと呼ばれる。

ＨＯＡは、高い空間分解能を提供する可能性を備える。空間分解能は、最大展開次数Ｎを増やすことにより改善する。それは、ドミナント音源に対して音場を解析する可能性を提供する。

応用は、音場を構成する独立したドミナント音源を所与のＨＯＡ表現から如何にして特定するのか、及びそれらの時間軌跡を如何にして追跡するのかであってよい。そのような動作は、例えば、欧州特許出願第１２３０５５３７．８号において記載されるような、ドミナント指向性信号及び残りの周囲成分への音場の分解によるＨＯＡ表現の圧縮のために、必要とされる。そのような方向追跡方法のための更なる応用は、粗い予備的な源分離でありうる。特定の音源の信号を増幅又は減衰させる手段として、推定される方向軌跡をＨＯＡ音場レコーディングのポストプロダクションのために使用することも可能でありうる。

上記の欧州特許出願では、次の３つの動作を逐次実行することが提案されている：
・時間フレーム内の目下存在しているドミナント音源の数が特定され、対応する方向が探索される。ドミナント音源の数は、ＨＯＡチャネル相互相関行列の固有値から決定される。ドミナント音源方向の探索のために、固定された多数の予め定義された試験方向についてのＨＯＡ係数のフレームに対応する指向性電力分布が評価される。最初の方向推定は、指向性電力分布において極大を探すことによって得られる。次いで、残りの特定された方向は、次の２つの動作を連続して繰り返すことによって見つけられる：空間近傍における試験方向は、残りの試験方向の組から削除され、結果として得られる組は、指向性電力分布の極大の探索のために考慮される。
・推定された方向は、最後の時間フレームにおいてアクティブであると見なされる音源に割り当てられる。
・割り当てに続いて、方向推定の適切な平滑化が、時間的に滑らかな方向軌跡を得るために実行される。

しかし、そのような処理によれば、方向推定の時間平滑化は、指数関数的に重み付けされた移動平均を計算することによって、原理上は達成されるが、この技術は、急な方向の変化又は新しいドミナント音の開始を正確に捕捉でないという欠点を持つ。

この問題を解決するよう、欧州特許出願第１２３０６４８５．９号では、ベイズ学習規則によって実施される統計的に動機付けされた平滑化のために用いられる簡単な統計的な源移動予測モデルを導入することが提案された。しかし、この特許出願及び先の欧州特許出願第１２３０５５３７．８号は、指向性電力分布からしか音源方向についての尤度関数を計算しない。この分布は、単位球面上のほぼ一様に分布したサンプリング点によって特定される方向からの多数の一般平面波の電力を表す。それは、異なる方向からの一般平面波の間の相互相関に関する如何なる情報も提供しない。実際に、ＨＯＡ表現の次数Ｎは、通常は有限であり、空間的に帯域制限された音場を生じさせる。特に、このことは、指向性電力分布への指向性音源の寄与が、近傍にある方向へと真の入射方向の周囲で不鮮明化されることを意味する。このような不鮮明化効果は‘分散関数’によって数学的に記述される。以下の「高次アンビソニクスの空間分解」の項を参照されたい。その範囲は、ＨＯＡ表現の次数が減るにつれて増大する。欧州特許出願第１２３０６４８５．９号及び欧州特許出願第１２３０５５３７．８号の方向追跡方法は、前に見つけられた方向の近傍の外にある領域に方向の探索を制限することによって、この効果をある程度まで考慮している。しかし、近傍の指定は、全ての音源がＨＯＡ表現の全次数Ｎにより符号化されると仮定する。このような仮定は、Ｎよりも小さい次数で符号化された一般平面波を含む次数ＮのＨＯＡ表現について破られる。Ｎよりも小さい次数のそのような一般平面波は、音源をより幅広く現れさせるために、芸術的創作の結果であってよい。しかし、それらは、球形マイクロホンによるＨＯＡ音場表現のレコーディングによっても起こる。

欧州特許出願第１２３０６４８５．９号及び欧州特許出願第１２３０５５３７．８号の方向追跡方法は、音場がＮよりも小さい次数の単一の一般平面波から成る場合に、１よりも多い音源を特定しうる。このことは、好ましくない性質である。

発明によって解決されるべき課題は、ＨＯＡ音場におけるドミナント音源の決定を改善して、それらの時間軌跡が追跡され得るようにすることである。この課題は、請求項１、２及び６において開示される方法によって解決される。請求項６の方法を用いる装置は、請求項１１において開示される。

発明は、欧州特許出願第１２３０６４８５．９号の処理を改善する。発明の処理は、独立したドミナント音源を探し、それらの方向を時間にわたって追跡する。‘独立したドミナント音源’との表現は、夫々の音源の信号が無相関であることを意味する。欧州特許出願第１２３０５５３７．８号及び欧州特許出願第１２３０６４８５．９号における最先端の方法は、原のＨＯＡ表現の指向性電力分布のみを調べることによって、ドミナント音源方向についての全ての潜在的な候補を探しており、一方、以下で記載される発明の処理は、原のＨＯＡ表現からの夫々の方向候補の探索について、前に見つけられた音源の信号と相関する全ての成分を除外する。そのような動作によって、ただ１つの正確な音源ではなく多くを誤って検出する問題は、音場へのその寄与が極めて方向的に分散される場合に回避され得る。上述されたように、そのような効果は、Ｎよりも小さい次数において符号化された一般平面波を含む次数ＮのＨＯＡ表現について起こり得る。

欧州特許出願第１２３０６４８５．９号と同様に、ドミナント音源方向について見つけられた候補は、次いで、前に見つけられたドミナント音源に割り当てられ、最後に、統計的な源移動モデルに従って平滑化される。よって、欧州特許出願第１２３０６４８５．９号と同様に、発明の処理は、時間的に平滑化された方向推定を提供し、急な方向の変化及び新しいドミナント音の開始を捕捉することが可能である。

発明の処理は、２つの連続した処理において、ＨＯＡ表現の連続したフレームについてドミナント音源方向の推定を決定する：
ＨＯＡ表現の減算時間フレームｋから、ドミナント音源方向についての候補又は推定が逐次探索され、夫々の音源によって生成されると考えられるＨＯＡ表現の成分が決定される。この探索プロセスの夫々の繰り返しにおいて、夫々の更なる方向候補は、前に見つけられた音源の信号と相関する全ての成分が除外された原のＨＯＡ表現を表す残留ＨＯＡ表現から計算される。現在の方向候補は、複数の予め定義された試験方向の中から選択され、聴取者位置で前記選択された方向から作用する残余ＨＯＡ表現の関連する一般平面波の電力が、全ての他の試験方向の電力と比較して最大であるようにする。

次に、現在時間フレームについての選択された方向候補は、ＨＯＡ係数の前の時間フレームｋ−１において見つけられたドミナント音源へ割り当てられる。その後に、結果として得られる時間軌跡に対して平滑化される最終の方向推定は、ベイズ推定プロセスを実行することによって計算される。このベイズ推定プロセスは、一方では、統計に基づく先験的な音源移動モデルを、そして、他方では、原のＨＯＡ表現のドミナント音源成分の指向性電力分布を利用する。その先験的な音源移動モデルは、個々の音源の現在の動きを、前の時間フレームｋ−１におけるそれらの方向と、前の時間フレームｋ−１と最後から２番目の時間フレームｋ−２との間での動きとから統計的に予測する。

ＨＯＡ係数の前の時間フレーム（ｋ−１）において見つけられたドミナント音源への方向推定の割り当ては、方向推定及び前に見つけられた音源の方向の組の間の角度の連帯的な最小化と、方向推定に及び前の時間フレームにおいて見つけられたドミナント音源に関連した指向性信号の組の間の相関係数の絶対値の最大化とによって達成される。

原理上、発明の方法は、音場のＨＯＡと称される高次アンビソニクス表現における無相関な音源の方向を決定するのに適しており、当該方法は、
ＨＯＡ係数の現在時間フレームにおいて、ドミナント音源の一応の方向推定を逐次探索し、対応するドミナント音源によって生成されるＨＯＡ音場成分を計算し、対応する指向性信号を計算するステップと、
前記現在時間フレームの前記一応の方向推定と前記ＨＯＡ係数の前の時間フレームにおいてアクティブな音源の平滑化された方向とを比較することによって、且つ、前記現在時間フレームの前記指向性信号と前記前の時間フレームにおいてアクティブな音源の指向性信号とを相関させることによって、前記計算されたドミナント音源を、前記前の時間フレームにおいてアクティブな対応する音源に割り当てて、割り当て関数を得るステップと、
前記割り当て関数、前記前の時間フレームにおける平滑化された方向の組、前記前の時間フレームにおけるアクティブなドミナント音源のインデックスの組、最後から２番目の時間フレームと前記前の時間フレームとの間での夫々の源移動角度の組、及び前記対応するドミナント音源によって生成される前記ＨＯＡ音場成分を用いて、平滑化されたドミナント源方向を計算するステップと、
前記平滑化されたドミナント源方向、前記前の時間フレームの前記アクティブなドミナント音源の方向のフレーム遅延されたバージョン、及び前記前の時間フレームにおける前記アクティブなドミナント音源のインデックスのフレーム遅延されたバージョンを用いて、前記現在時間フレームの前記アクティブなドミナント音源のインデックス及び方向を決定するステップと
を有し、
前記前の時間フレームにおいてアクティブな音源の前記指向性信号は、前記前の時間フレームの前記アクティブなドミナント音源の方向の前記フレーム遅延されたバージョン及び前記前の時間フレームのＨＯＡ係数からモードマッチングを用いて計算され、
前記最後から２番目の時間フレームと前記前の時間フレームとの間での前記源移動角度の組は、前記前の時間フレームの前記アクティブなドミナント音源の方向の前記フレーム遅延されたバージョン及びその更にフレーム遅延されたバージョンから計算される。

原理上、発明の装置は、音場のＨＯＡと称される高次アンビソニクス表現における無相関な音源の方向を決定することに適しており、当該装置は、
ＨＯＡ係数の現在時間フレームにおいて、ドミナント音源の一応の方向推定を逐次探索し、対応するドミナント音源によって生成されるＨＯＡ音場成分を計算し、対応する指向性信号を計算するよう構成される手段と、
前記現在時間フレームの前記一応の方向推定と前記ＨＯＡ係数の前の時間フレームにおいてアクティブな音源の平滑化された方向とを比較することによって、且つ、前記現在時間フレームの前記指向性信号と前記前の時間フレームにおいてアクティブな音源の指向性信号とを相関させることによって、前記計算されたドミナント音源を、前記前の時間フレームにおいてアクティブな対応する音源に割り当てて、割り当て関数を得るよう構成される手段と、
前記割り当て関数、前記前の時間フレームにおける平滑化された方向の組、前記前の時間フレームにおけるアクティブなドミナント音源のインデックスの組、最後から２番目の時間フレームと前記前の時間フレームとの間での夫々の源移動角度の組、及び前記対応するドミナント音源によって生成される前記ＨＯＡ音場成分を用いて、平滑化されたドミナント源方向を計算するよう構成される手段と、
前記平滑化されたドミナント源方向、前記前の時間フレームの前記アクティブなドミナント音源の方向のフレーム遅延されたバージョン、及び前記前の時間フレームにおける前記アクティブなドミナント音源のインデックスのフレーム遅延されたバージョンを用いて、前記現在時間フレームの前記アクティブなドミナント音源のインデックス及び方向を決定するよう構成される手段と
を有し、
前記前の時間フレームにおいてアクティブな音源の前記指向性信号は、前記前の時間フレームの前記アクティブなドミナント音源の方向の前記フレーム遅延されたバージョン及び前記前の時間フレームのＨＯＡ係数からモードマッチングを用いて計算され、
前記最後から２番目の時間フレームと前記前の時間フレームとの間での前記源移動角度の組は、前記前の時間フレームの前記アクティブなドミナント音源の方向の前記フレーム遅延されたバージョン及びその更にフレーム遅延されたバージョンから計算される。

発明の有利な更なる実施形態は、夫々の従属請求項において開示される。

高次アンビソニクス信号のドミナント及び無相関な指向性信号の方向の推定のための発明の処理のブロック図を示す。 一応の方向推定の詳細を示す。 ドミナント音源によって生成される音場のＨＯＡ表現及びドミナント指向性信号の計算を示す。 平滑化されたドミナント音源方向のモデルベースの計算を示す。 球座標系を示す。 異なるアンビソニクス次数Ｎについての且つ角度θ∈［０，π］についての正規化された分散関数ν_Ｎ（Θ）を示す。

発明の例となる実施形態は、添付の図面を参照して記載される。

発明の方向追跡処理の原理は、図１において表されており、以下で説明される。方向追跡は、ｋがフレームインデックスであるとして、長さＬのＨＯＡ係数シーケンスの入力フレームＣ（ｋ）の連続した処理に基づくと考えられる。フレームは、次の式（１）として、「高次アンビソニクスの基本」の項において式（４５）で特定されるＨＯＡ係数シーケンスに対して定義される：

このとき、Ｔ_Ｓは、サンプリング周期を表し、Ｂ≦Ｌは、フレームシフトを示す。連続したフレームは重なり合っている、すなわち、Ｂ＜Ｌであると考えることが妥当であるが、必須ではない。

第１のステップ又は段階１１において、ＨＯＡ表現のｋ番目のフレームＣ（ｋ）は、ドミナント音源について予備的解析をなされる。この処理の詳細な説明は、以下の「予備的な方向探索」の項で与えられる。特に、検出されたドミナント指向性信号の数
［外１］

は、
対応する
［外２］

とともに決定される。加えて、対応する個々のドミナント音源及び対応する瞬時指向性信号
［外３］

（すなわち、一般平面波関数）によって生成される（と考えられる）ＨＯＡ音場成分
［外４］

が計算される。

個々の一応の方向推定及び関連する量は、順次に、すなわち、最初にｄ＝１について、次いでｄ＝２について、そして以降同様に、計算される。第１のステップで、原のＨＯＡ表現Ｃ（ｋ）の指向性電力分布は、欧州特許出願第１２３０５５３７．８号で提案されているように計算され、引き続いてドミナント音源の存在について解析される。ドミナント音源が検出される場合に、夫々の一応の方向推定
［外５］

が計算される。加えて、対応する指向性信号ｘ_ＩＮＳＴ ^（１）（ｋ）は、この音源によって生成されると考えられる現在フレームＣ（ｋ）のその成分Ｃ_{ＤＯＭ，ＣＯＲＲ} ^（１）（ｋ）とともに、推定される。Ｃ_{ＤＯＭ，ＣＯＲＲ} ^（１）（ｋ）は、指向性信号ｘ_ＩＮＳＴ ^（１）（ｋ）と相関するＣ（ｋ）のその成分を表すと考えられる。最後に、ＨＯＡ成分Ｃ_{ＤＯＭ，ＣＯＲＲ} ^（１）（ｋ）は、残余ＨＯＡ表現Ｃ_ＲＥＭ ^（２）（ｋ）を得るために、Ｃ（ｋ）から減じられる。ｄ番目（ｄ≧２）の一応の方向の推定は、Ｃ（ｋ）の代わりに残余ＨＯＡ表現Ｃ_ＲＥＭ ^（ｄ）（ｋ）を用いる点のみを除いて、最初の一応の方向推定と全く同じように行われる。それによって、明らかに当然ながら、見つけられたｄ番目の音源によって生成される音場成分は、更なる方向探索について除外される。

方向割り当てステップ又は段階１３において、ｋ番目のフレームにおいてステップ／段階１１で見つけられたドミナント音源は、（ｋ−１）番目のフレームにおいてアクティブな（そうであると考えられる）対応する音源へ割り当てられる。一方で、割り当ては、現在のフレーム（ｋ）についての一応の方向推定
［外６］

と、（ｋ−１）番目のフレームにおいてアクティブな（そうであると考えられる）音源の平滑化された方向とを比較することによって、達成される。この平滑化された方向は組Ｇ_{Ω，ＤＯＭ，ＡＣＴ}（ｋ−１）に含まれており、それらのインデックスはＪ_{ＤＯＭ，ＡＣＴ}（ｋ−１）に含まれている。他方で、割り当てのために、フレームｋでの検出されたドミナント音源の瞬時指向性信号
［外７］

と、（ｋ−１）番目のフレームにおいてアクティブな（そうであると考えられる）音源の指向性信号Ｘ_ＡＣＴ（ｋ−１）との間の相関が利用される。割り当ての結果は、Ｄが、追跡されるべき期待される音源の最大数を表すとして、割り当て関数
［外８］

によって定式化される。このことは、ｄ番目の新たに見つけられた音源が、インデックスｆＡ，ｋ（ｄ）を持った以前にアクティブであった音源へ割り当てられることを意味する。

平滑化されたドミナント音源方向のモデルベースの計算ステップ又は段階１４で、平滑化されたドミナント源方向
［外９］

は、フレーム（ｋ−１）でのアクティブなドミナント音源のインデックスの組Ｊ_{ＤＯＭ，ＡＣＴ}（ｋ−１）と、フレーム（ｋ−１）での対応するドミナント源方向推定の組Ｇ_{Ω，ＤＯＭ，ＡＣＴ}（ｋ−１）と、フレーム（ｋ−２）及び（ｋ−１）の間の夫々の源移動角度の組
［外１０］

と、見つけられたドミナント音源によって生成されると考えられるＨＯＡ音場成分
［外１１］

と、割り当て関数ｆ_Ａ，Ｋとを用いることによって、欧州特許出願第１２３０６４８５．９号で提案されている統計的な音源移動モデルに基づき計算される。このモデルベースの平滑化プロシージャの詳細な説明は、以下の「平滑化されたドミナント音源方向のモデルベースの計算」の項で与えられる。

最後のステップ又は段階１５で、組Ｊ_{ＤＯＭ，ＡＣＴ}（ｋ）及びＧ_{Ω，ＤＯＭ，ＡＣＴ}（ｋ）に夫々含まれると考えられる目下アクティブなドミナント音源のインデックス及び方向は、ステップ／段階１４からの平滑化されたドミナント源方向
［外１２］

と、（ｋ−１）番目のフレームにおいてアクティブであると考えられる音源の平滑化された方向及び夫々のインデックスを含む組Ｇ_{Ω、ＤＯＭ，ＡＣＴ}（ｋ−１）及びＪ_{ＤＯＭ，ＡＣＴ}（ｋ−１）とを用いて、決定される。この動作は、少数の連続したフレームについて検出されなかった音源を擬似的に非アクティブにしない目的を持つ。

ステップ又は段階１２は、フレームｋ−１のＨＯＡ表現Ｃ（ｋ−１）と、（ｋ−１）番目のフレームにおいてアクティブであると考えられる音源の平滑化された方向の組Ｇ_{Ω、ＤＯＭ，ＡＣＴ}（ｋ−１）とを用いて、（ｋ−１）番目のフレームにおいてアクティブであると考えられる音源の指向性信号の計算を実行する。計算は、M. A. Poletti，“Three-Dimensional Surround Sound Systems Based on Spherical Harmonics”，J. Audio Eng. Soc.，Vo.53(11)，pp.1004-1025，２００５年において記載されるモードマッチングの原理に基づく。

源移動角度推定ステップ又は段階１６で、フレームｋ−１でのドミナントのアクティブな音源の移動角度の組
［外１３］

は、（ｋ−１）番目及び（ｋ−２）番目のフレームにおいて夫々アクティブであると考えられる音源の平滑化された方向推定の２つの組Ｇ_{Ω，ＤＯＭ，ＡＣＴ}（ｋ−１）及びＧ_{Ω，ＤＯＭ，ＡＣＴ}（ｋ−２）から計算される。移動は、フレームｋ−２及びｋ−１の間で起こると理解される。アクティブなドミナント音源の移動角度は、フレームｋ−２でのその平滑化された方向推定と、フレームｋ−１でのその平滑化された方向推定との間の円弧である。

備考：フレームｋ−２についての方向推定が、フレームｋ−１においてアクティブであると考えられるドミナント音源について利用可能でない場合は、夫々の移動角度は、‘π’の最大値に設定され得る。一般に、第１のフレームｋ及びフレームｋ−１について処理を開始するときに値は未だ利用可能でなく、図１のステップ又は段階において入力される対応する設定又は値は、夫々、空であるか、又はゼロに設定される。

この動作は、この音源の次の方向についての事前確率を、全ての可能な方向にわたってほぼ一様にならしめる。以下の「目下アクティブなドミナント音源のインデックス及び方向の決定」の項を参照されたい。

フレーム遅延１７１乃至１７４は、夫々の信号を１フレームずつ遅延させている。

以下で、上記のステップ及び段階は、より詳細に説明される。

［予備的な方向探索］
予備的な方法探索のステップ／段階１１で、（フレームｋにおいて）存在するドミナント音源の現在数
［外１４］

及び夫々の方向
［外１５］

は推定される。加えて、個々の音源によって生成されると考えられるＨＯＡ音場成分
［外１６］

は、対応する指向性信号
［外１７］

（すなわち、一般平面波関数）とともに、計算される。全ての先に列挙された量は、最初に方向インデックスｄ＝１について、次いでｄ＝２について、そして以降同様に、
［外１８］

になるまで、計算される。

単一の方向ｄインデックスについての計算プロシージャは、図２に表されている。（ｄ−１）番目の方向の推定後に生成される残りのＨＯＡ表現Ｃ_ＲＥＭ ^（ｄ）（ｋ）（ｋ番目の時間フレームについてのｄ番目の方向の推定に関連する。）は、この段階へ入力される。それによって、ループの開始時にＣ_ＲＥＭ ^（１）（ｋ）は原のＨＯＡフレームＣ（ｋ）に対応すると理解される。第１のステップ又は段階２１で、残りのＨＯＡ表現Ｃ_ＲＥＭ ^（ｄ）（ｋ）の指向性電力分布ｐ^（ｄ）（ｋ）は、単位球面上でほぼ一様に分布する所定の数Ｑ個の離散的な試験方向Ω_ｑ，ｑ＝１，．．．，Ｑについて計算される。具体的には、夫々の試験信号Ω_ｑは、次の式（２）に従って、傾斜角θ_ｑ∈［０，π］及びアジマス角φｑ∈［０，２π］を含むベクトルとして定義される：

このとき、（・）^Ｔは、転置を表す。指向性電力分布は、次のベクトル式（３）によって表される：

その成分ｐ_ｑ ^（ｄ）（ｋ）は、ｋ番目の時間フレームについての方向Ω_ｑに関連した表現Ｃ_ＲＥＭ ^（ｄ）（ｋ）に残っている全てのドミナント音源の結合電力を表す。Ｃ_ＲＥＭ ^（ｄ）（ｋ）からの指向性電力分布ｐ^（ｄ）（ｋ）の実際の計算は、欧州特許出願第１２３０５５３７．８号で提案されているように実行されてよい。

ステップ又は段階２２で、指向性電力分布ｐ^（ｄ）（ｋ）は、ドミナント音源の存在について解析される。ドミナント源を検出する１つの方法は、以下の「ドミナント音源の存在についての解析」の項で記載される。ドミナント音源の不在が検出される場合は、方向探索は停止され、見つけられたドミナント方向の総数は
［外１９］

に設定される。そうではなく、ドミナント音源が検出される場合は、座標原点に対するその方向
［外２０］

の一応の推定がステップ又は段階２３で計算される。詳細については、以下の「ドミナント音源方向の探索」の項を参照されたい。

引き続いて、ｄ番目のドミナント音源によって生成されると考えられる音場成分の夫々の指向性信号ｘ_ＩＮＳＴ ^（ｄ）（ｋ）及びＨＯＡ表現Ｃ_{ＤＯＭ，ＣＯＲＲ} ^（ｄ）（ｋ）は、以下の「ドミナント音源によって生成される音場のドミナント指向性信号及びＨＯＡ表現の計算」の項においてより詳細に記載されるように、ステップ又は段階２４で計算される。

最後に、ステップ又は段階２５で、ＨＯＡ成分Ｃ_{ＤＯＭ，ＣＯＲＲ} ^（ｄ）（ｋ）は、次（すなわち、（ｄ＋１）番目）の指向性音源の探索のために使用される残余ＨＯＡ表現Ｃ_ＲＥＭ ^{（ｄ＋１）}（ｋ）を得るために、Ｃ_ＲＥＭ ^（ｄ）（ｋ）から減じられる。それによって、明らかに当然ながら、見つけられたｄ番目の音源によって生成される音場成分は、更なる方向探索については除外される。

●ドミナント音源の存在の解析
Ｃ_ＲＥＭ ^（ｄ）（ｋ）によって表される音場内でドミナント音源の存在を検出するために、残りのＨＯＡ表現Ｃ_ＲＥＭ ^（１）（ｋ），．．．，Ｃ_ＲＥＭ ^（ｄ）（ｋ）の指向性電力分布ｐ^（１）（ｋ），．．．，ｐ^（ｄ）（ｋ）が考慮される。一方で、次の式（４）で表される分散比をモニタすることが妥当であることが実験的に分かっている：

この分散比は、最初のＨＯＡ表現Ｃ（ｋ）によって表される音場と比べられる、残りのＨＯＡ表現Ｃ_ＲＥＭ ^（ｄ）（ｋ）によって表される音場の重要性の指標と見なされ得る。小さい比δ_ｐ ^（ｄ）（ｋ）は、ＨＯＡ表現Ｃ_ＲＥＭ ^（ｄ）（ｋ）によって表される音源のいずれもがドミナントであると見なされるべきでないことを示す。他方で、次の式（５）によって表される、正規化された指向性電力分布ｐ_ＮＯＲＭ ^（ｄ）（ｋ）及びｐ_ＮＯＲＭ ^{（ｄ−１）}（ｋ）の分散の比を見ることも妥当である：

次の式（６）によって表される正規化された電力分布の要素ｐ_{ｑ、ＮＯＲＭ} ^（ｄ）（ｋ），ｑ＝１，．．．，Ｑは、次の式（７）によって、ｐ^（ｄ）（ｋ）の要素に応じて定義される：

分散ｖａｒ（ｐ_ＮＯＲＭ ^（ｄ）（ｋ））は、指向性電力分布ｐ^（ｄ）（ｋ）の一様性の指標として見なされ得る。特に、分散は、全ての入力方向にわたって電力がより一様に分布するほどますます小さくなる。空間に広がったノイズの極端な場合において、分散ｖａｒ（ｐ_ＮＯＲＭ ^（ｄ）（ｋ））は、ゼロの値に近づくべきである。そのような検討に基づき、分散比δ_{ｐ，ＮＯＲＭ} ^（ｄ）（ｋ）は、ＨＯＡ表現Ｃ_ＲＥＭ ^（ｄ）（ｋ）の指向性電力がＣ_ＲＥＭ ^{（ｄ−１）}（ｋ）の指向性電力よりも一様に分布しているかどうかを示す。

上記の検討を要約するよう、Ｃ（ｋ）によって表される音場には少なくとも単一のドミナント音源が常に存在していると考えられ得る。すなわち、
［外２１］

である。更なるドミナント音源は、変数比δ_ｐ ^（ｄ）（ｋ）の値がある所定の閾値ε_ｐ＜１を上回ったままであり、且つ、変数比の値は１よりも小さい場合に、（ｄ≧２について）検出される。すなわち、ドミナント音源は、次の関係式（８）が成立する場合に、（ｄ≧２について）検出される：

ε_ｐの値は、何が‘ドミナント’を意味するのかの解釈に対して設定されるべきである。発明者は、妥当な選択がε_ｐ＝１０^−３によって与えられることに気付いた。

●ドミナント音源方向の探索
ｄ番目の音源が検出された後、その方向
［外２２］

の一応の推定は、指向性電力分布ｐ^（ｄ）（ｋ）を用いることによって探索される。探索は、指向性電力が最大であるところの試験方向Ω_ｑを採ることによって、達成される。すなわち：

●ドミナント音源によって生成される音場のドミナント指向性信号及びＨＯＡ表現の計算
その後に、ドミナント源方向の一応の推定
［外２３］

を決定した後、夫々の指向性信号ｘ_ＩＮＴ ^（ｄ）（ｋ）は、同じ音源によって生成されると考えられる音場成分のＨＯＡ表現Ｃ_{ＤＯＭ，ＣＯＲＲ} ^（ｄ）（ｋ）とともに、図３に従って計算される。ステップ又は段階３１で、単位球面上にほぼ一様に分布すると考えられるＯ個のサンプリング位置Ω_{ＩＮＩＴ，ｏ}，ｏ＝１，．．．，Ｏから成る固定の予め定義された球面グリッドＧ_{Ω，ＩＮＩＴ}は回転されて、回転されたサンプリング位置Ω_{ＲＯＴ，ｏ} ^（ｄ）（ｋ），ｏ＝１，．．．，Ｏから成るグリッドＧ_{Ω，ＲＯＴ} ^（ｄ）（ｋ）を与える。回転は、第１の回転されたサンプリング位置Ω_{ＲＯＴ，１} ^（ｄ）（ｋ）が一応の方向推定
［外２４］

に対応するように実行される。

ステップ又は段階３２で、ＨＯＡ表現Ｃ_ＲＥＭ ^（ｄ）（ｋ）は、いわゆる空間領域に変形される。このとき、それは、回転されたグリッド方向Ω_{ＲＯＴ，ｏ} ^（ｄ）（ｋ），ｏ＝１，．．．，Ｏから観測者位置（すなわち、座標原点）に作用すると考えられるＯ個の平面波関数（グリッド指向性信号とも呼ばれる。）ｘ_{ｏ，ＩＮＳＴ} ^（ｄ）（ｋ），ｏ＝１，．．．，Ｏによって等価に表される。平面波関数ｘ_{ｏ，ＩＮＳＴ} ^（ｄ）（ｋ），ｏ＝１，．．．，Ｏを計算するよう、回転されたグリッド方向に対するモード行列
［外２５］

は、次のように、式（１１）を用いて式（１０）の通りに計算される：

次の式（１２）の通りに、夫々のグリッド指向性信号ｘ_{ｏ，ＩＮＳＴ} ^（ｄ）（ｋ）を、ｋ番目の時間フレームの個々のサンプルから成る行ベクトルであるとする：

このとき、Ｌは、解析されるＨＯＡ表現の長さ（サンプルにおける）を表し、全てのグリッド指向性信号の計算は、次の式（１３）の通りに、球面調和関数変換（説明のために、以下の「球面調和関数変換」を参照されたい。）によって達成される：

ドミナント音源方向の一応の推定
［外２６］

は、回転されたサンプリング位置Ω_{ＲＯＴ，１} ^（ｄ）（ｋ）に対応するので、一般平面波関数ｘ_{１，ＩＮＳＴ} ^（ｄ）（ｋ）は、所望のドミナント方向信号ｘ_ＩＮＳＴ ^（ｄ）（ｋ）と見なされ得る。すなわち：

ｄ番目の音源によって生成されるＣ_ＲＥＭ ^（ｄ）（ｋ）のその成分を決定するよう、ステップ又は段階３３で、この成分は、ｘ_ＩＮＳＴ ^（ｄ）（ｋ）から予測され得る平面波関数によって等価に表現されると仮定される。よって、グリッド指向性信号ｘ_{ｏ，ＩＮＳＴ} ^（ｄ）（ｋ），ｏ＝２，．．．，Ｏは、ｘ_ＩＮＳＴ ^（ｄ）（ｋ）から予測されるよう試みられる。予測された信号は、
［外２７］

によって表される。

そのような予測を達成する１つの方法は、予測される信号
［外２８］

を、フィルタが予測誤差を最小限するように決定される線形フィルタリングによってｘ_ＩＮＳＴ ^（ｄ）（ｋ）から生成されると考えることである。フィルタが（解析フレームの存続期間と比較して）ごく短い存続期間の有限インパルス応答（ＦＩＲ）フィルタであると考えられる場合は、予測誤差の最小化は、最先端の最小二乗技術を用いることによって達成され得る。

最後に、ドミナント音源信号ｘ_ＩＮＳＴ ^（ｄ）（ｋ）及び全ての予測された相関成分のＨＯＡ表現は、次の式（１５）の通りに、逆球面調和関数変換（説明のために、以下の「球面調和関数」の項を参照されたい。）によって、ステップ又は段階３４で求められる：

［以前にアクティブであったドミナント音源の指向性信号の計算］
（ｋ−１）番目のフレームにおいてアクティブであると考えられる音源の指向性信号
［外２９］

は、式（２０）に従って行列Ｘ_ＡＣＴ（ｋ−１）内に含まれる。この行列は、次の式（１６）によってモードマッチング（上記のPolettiの文献を参照されたい。）を用いて計算される：

このとき、Ｃ（ｋ−１）は、原のＨＯＡ音場表現の（ｋ−１）番目のフレームを表し、
［外３０］

は、（ｋ−１）番目のフレームにおいてアクティブであると考えられる音源の方向
［外３１］

に対するモード行列を表す。モード行列
［外３２］

は、次のように、式（１８）を用いて式（１７）によって計算される：

［方向割り当て］
上述されたように、一方で、図１のステップ／段階１３での割り当ては、一応の方向推定
［外３３］

と、（ｋ−１）番目のフレームにおいてアクティブであると考えられる音源の平滑化された方向とを比較することによって、達成される。この平滑化された方向は、次の式（１９）によって表される組に含まれる：

このとき、ｉ_{ＡＣＴ，ｋ−１}（ｄ′）は、（ｋ−１）番目のフレームにおいてアクティブであると考えられるｄ′番目の音源のインデックスを表す。特に、
［外３４］

の組の間の角度
［外３５］

が小さければ小さいほど、ｄ番目の新たに見つけられたドミナント音源方向は、インデックスｉ_{ＡＣＴ，ｋ−１}（ｄ′）を持った以前にアクティブであった音源に対応する可能性がますます高くなると考えられる。

他方で、割り当てのために、フレームｋでの検出されたドミナント音源の瞬時指向性信号
［外３６］

と、（ｋ−１）番目のフレームにおいてアクティブであると考えられる音源の指向性信号Ｘ_ＡＣＴ（ｋ−１）との間の相関が利用される。ここで、フレームＸ_ＡＣＴ（ｋ−１）は、次の式（２０）の通りに、（ｋ−１）番目のフレームにおいてアクティブであると考えられる音源の個々の指向性信号
［外３７］

から成ると考えられる：

この定義を用いると、２つの信号
［外３８］

の間の相関係数
［外３９］

の絶対値が高ければ高いほど、ｄ番目の新たに見つけられたドミナント音源方向は、インデックスｉ_{ＡＣＴ，ｋ−１}（ｄ′）を持った以前にアクティブであった音源に対応する可能性がますます高くなると仮定される。そのような仮定は、相関係数が２つの信号の間の線形依存性のための指標を与えると事実によって正当化される。

これらの検討に基づき、割り当てを特定する割り当て関数
［外４０］

は、次の費用関数（２１）を最小化するように計算される：

（ｋ−１）番目のフレーム内のいずれのアクティブな音源にも属さない方向インデックス
［外４１］

について、角度
［外４２］

は、Θ_ＭＩＮの最小角度に事実上設定されると暗に考えられる。このとき、例えば、Θ_ＭＩＮ＝２π／Ｎ。更に、方向インデックス
［外４３］

についての相関係数
［外４４］

は、事実上ゼロに設定される。最初の動作は、ｄ番目の新たに見つけられた方向
［外４５］

と以前にアクティブであったドミナント音源の方向との間の角度がΘ_ＭＩＮよりも大きい場合に、この新たに見つけられた方向が新しい音源に属する傾向を有するとの効果を有する。

割り当ての問題は、H. W. Kuhn，“The Hungarian method for the assignment problem”，Naval research logistics quarterly，vol.2(1-2)，pp.83-97，１９９５年において記載されている周知のハンガリアン法を用いるよって解かれ得る。

［平滑化されたドミナント音源方向のモデルベースの計算］
この項は、統計的な音源移動モデルに従って図１のステップ／段階１４における平滑化されたドミナント音源方向の計算に対処する。この計算のための個々のステップは図４に表されており、以下で詳細に説明される。

●ドミナント音源方向についての方向の事前確率関数の計算
新たに見つけられたドミナント音源方向についての方向の事前確率関数
［外４６］

は：
・フレーム（ｋ−１）でのアクティブなドミナント音源のインデックスｉ_{ＡＣＴ，ｋ−１}（ｄ′），ｄ′＝１，．．．，Ｄ_ＡＣＴ（ｋ−１）の組Ｊ_{ＤＯＭ，ＡＣＴ}（ｋ−１）と、
・フレーム（ｋ−１）での対応するドミナント音源方向推定
［外４７］

の組Ｇ_{Ω，ＤＯＭ，ＡＣＴ}（ｋ−１）と、
・フレーム（ｋ−２）及び（ｋ−１）の間の夫々の源移動角度
［外４８］

の組
［外４９］

と、
・割り当て関数ｆ_Ａ，ｋと
を用いて、ステップ又は段階４２で計算される。計算は、欧州特許出願第１２３０６４８５．９号において紹介されている単純な音源移動予測モデルに基づく。特に、ｄ番目の新たに見つけられたドミナント音源についての方向の事前確率関数
［外５０］

は、３次元空間における単位球面上のフォンミーゼス−フィッシャー分布の離散バージョンであると考えられる。

以下で、方向の事前確率関数
［外５１］

は、次の式（２２）として、個々の試験方向Ω_ｑ，ｑ＝１，．．．，Ｑについての確率
［外５２］

から成るベクトルによって与えられると考えられる：

個々の試験方向Ω_ｑについての事前確率を計算するよう、２つの場合が区別される：
ａ）ｄ番目の新たに見つけられたドミナント音源に割り当てられる源インデックスｆ_Ａ，ｋ（ｄ）が組Ｊ_{ＤＯＭ，ＡＣＴ}（ｋ−１）に含まれる場合は、事前確率は、次の式（２３）に従って計算される：

このとき、Θ_ｑ，ｄ（ｋ）は、推定される方向
［外５３］

と試験方向Ω_ｑとの間の角度を表す。すなわち：

更に、ｋ_ｄ（ｋ）は、次の式（２５）に従って源移動角度推定
［外５４］

を用いて計算される濃度パラメータを表す：

このとき。Ｃ_Ｄは、次の関係（２６）に設定されてよい：

ｋ_ＭＡＸ及びＣ_Ｒのための妥当な値は、次の関係（２７）であることが分かっている（欧州特許出願第１２３０６４８５．９号を参照）：

この計算の背後にある原理は、以前に音源が移動していなければいないほど、事前確率関数の濃度を増大させることである。音源が以前にたくさん動いている場合は、その一連の方向に関する不確かさは高く、よって、濃度パラメータは小さい値に達するべきである。

ｂ）ｄ番目に新たに見つけられたドミナント音源に割り当てられた源インデックスｆ_Ａ，ｋ（ｄ）が組Ｊ_{ＤＯＭ，ＡＣＴ}（ｋ−１）に含まれない場合は、夫々の音源は、以前にアクティブでなかったと考えられる。結果として、この源の方向に関する演繹的知識は実際には利用可能でない。よって、事前確率関数
［外５５］

は、単位球面において一様であると考えられる。このとき、個々の確率は、全ての試験方向Ω_ｑに関して等しい。すなわち：

●ドミナント音源方向についての方向の尤度関数の計算
方向の尤度関数
［外５６］

は、割り当て関数ｆ_Ａ，ｋに加えて、個々の新たに検出されたドミナント音源によって生成されると考えられるＨＯＡ音場成分
［外５７］

を用いて、ステップ又は段階４１で計算される。方向の尤度関数
［外５８］

は、次の式（２９）のように、個々の試験方向Ω_ｑ，ｑ＝１，．．．，Ｑについての尤度
［外５９］

から成るベクトルあると考えられる：

個々の尤度
［外６０］

は、欧州特許出願第１２３０５５３７．８号で記載されるように、試験方向Ω_ｑから作用する一般平面波の電力の近似であるよう計算される。特に：

このとき、次の式（３１）で表されるものは、試験方向に対するモードベクトルを表し（なお、Ｓ_ｎ ^ｍ（・）は、以下の「実数値の球面調和関数の定義」の項において記載される実数値の球面調和関数を表す。）、このとき、次の式（３２）で表されるものは、ＨＯＡ表現Ｃ_{ＤＯＭ，ＣＯＲＲ} ^（ｄ）（ｋ）に対するＨＯＡ係数間相関行列を示す：

●ドミナント音源方向についての方向の事後確率関数の計算
方向の事後確率関数
［外６１］

は、方向の事前確率関数
［外６２］

及び方向の尤度関数
［外６３］

を用いて、ステップ又は段階４３で計算される。ここで、もう一度、方向の事後確率関数
［外６４］

は、次の式（３３）のように、個々の試験方向Ω_ｑ，ｑ＝１，．．．，Ｑについての事後確率
［外６５］

から成るベクトルあると考えられる：

個々の事後確率
［外６６］

は、次の式（３４）ベのように、ベイズの規則に従って計算される（欧州特許出願第１２３０６４８５．９号を参照）：

固定の方向インデックスｄを考えると、式（３４）の分母は夫々の試験方向Ω_ｑについて一定である。続く方向探索のために、事後確率関数の最大値のみが重要である場合に、そのような大域的なスケーリングは不適切である。よって、式（３４）の分母の計算は、計算出力を節約するよう完全に断念され得ることが知られる。

●平滑化されたドミナント音源方向の計算
平滑化されたドミナント音源方向
［外６７］

は、事後確率関数
［外６８］

を用いて、ステップ又は段階４４で計算される。特に、フレームｋについて見つけられたｄ番目の音源の平滑化された方向
［外６９］

は、次の事後確率関数において最大値を探すことによって求められる：

［目下アクティブなドミナント音源のインデックス及び方向の決定］
フレームｋでの全てのＤ_ＡＣＴ（ｋ）個のアクティブなドミナント音源のインデックスｉ_{ａｃｔ，ｋ}（ｄ′），ｄ′＝１，．．．，Ｄ_ＡＣＴ（ｋ）の組Ｊ_{ＤＯＭ，ＡＣＴ}（ｋ）、及びフレームｋでの対応するドミナント源方向の推定
［外７０］

の組Ｇ_{Ω，ＤＯＭ，ＡＣＴ}（ｋ）は、フレーム（ｋ−１）での全てのアクティブなドミナント音源方向の平滑化された推定
［外７１］

の組Ｇ_{Ω，ＤＯＭ，ＡＣＴ}（ｋ−１）と、対応するインデックスｉ_{ａｃｔ，ｋ−１}（ｄ），ｄ′＝１，．．．，Ｄ_ＡＣＴ（ｋ−１）と、フレームｋについて求められた平滑化されたドミナント音源方向の推定
［外７２］

とを用いて、図１のステップ又は段階１５で計算される。この演算は、少数の連続したフレームについて検出されていない音源を見かけ上非アクティブにしない目的を持ち、このようなことは、例えば、個々のインパルスの間に短い中断を伴ってインパルス様の音響を生成するカスタネットのような、源について起こり得る。このように、最後（すなわち、（ｋ−１）番目）のふれーむにおいてアクティブであると考えられた音源を、それらが所定数Ｋ_{ＩＮＡＣＴ}の連続するフレームについて検出されなかった場合にのみ非アクティブにすることが妥当である。

先の検討に従って、第１のステップで、フレーム（ｋ−１）での全てのＤ_ＡＣＴ（ｋ−１）個のアクティブなドミナント音源のインデックスｉ_{ＡＣＴ，ｋ−１}（ｄ′），ｄ′＝１，．．．，ＤＡＣＴ（ｋ−１）の組Ｊ_{ＤＯＭ，ＡＣＴ}（ｋ−１）と、次の式（３６）で表される全ての新たに検出された音源のインデックスの組との結合された組Ｊ_{ＪＯＩＮＥＤ}（ｋ）は、計算される：

すなわち：

この組から、所望の組Ｊ_{ＤＯＭ，ＡＣＴ}（ｋ）は、多数のＫ_{ＩＮＡＣＴ}個の前の連続したフレームについて検出されなかった源のインデックスをＪ_{ＪＯＩＮＥＤ}（ｋ）から除外することによって求められる。フレームｋでのアクティブなドミナント音源の数Ｄ_ＡＣＴ（ｋ）は、Ｊ_{ＤＯＭ，ＡＣＴ}（ｋ）の要素の数に設定される。

最後に、ｉ_{ａｃｔ，ｋ}（ｄ′）がＪ_{ＤＯＭ，ＡＣＴ}（ｋ）の要素を示すとして、ドミナント源方向推定
［外７３］

は、次の式（３８）によって決定される：

これは、夫々の音源がフレームｋで新たに検出されない場合に、以前にアクティブであったドミナント音源の方向が一定に保たれることを意味する。

［高次アンビソニクスの基本］
高次アンビソニクス（ＨＯＡ）は、音源がないと考えられる関心のあるコンパクトな領域内での音場の記述に基づく。その場合に、関心のある領域内での時間ｔ及び位置ｘでの音圧ｐ（ｔ，ｘ）の時空間的な挙動は、同次波動方程式によって物理的に十分に決定される。以下で、図５に示される球座標系が考えられる。使用される座標系では、ｘ軸は正面位置を指し示し、ｙ軸は左を指し示し、ｚ軸は上を指し示す。空間ｘ（ｒ，θ，φ）^Ｔでの位置は、半径ｒ＞０（すなわち、座標原点までの距離）、極軸ｚから測定される傾斜角度θ∈［０，π］、及びｘ軸からｘ−ｙ平面において反時計回りで測定されるアジマス角φ∈［０，２π］によって表される。（・）^Ｔは転置を表す。

次いで、ωが角周波数を表し且つｉが虚数単位を示すとして、Ｆ_ｔ（・）、すなわち、次の式（３９）によって表される、時間に対する音圧のフーリエ変換は、式（４０）に従って、一連の球面調和関数に展開され得ることが示され得る（E. G. Williams，“Fourier Acoustics”，vol.93 of Applied Mathematical Sciences，Academic Press，１９９９年を参照）：

式（４０）で、ｃ_ｓは音響の速度を表し、ｋは、ｋ＝ω／ｃ_ｓによって角周波数ωに関連付けられる角波数を表し、ｊ_ｎ（・）は、第１種の球ベッセル関数を表し、Ｓ_ｎ ^ｍ（θ，φ）は、以下の「実数値の球面調和関数の定義」の項で定義される次数ｎ及び角度ｍの実数値の球面調和関数を表す。展開係数Ａ_ｎ ^ｍ（ｋ）は、角波数ｋにのみ依存している。音圧は空間的に帯域制限されると暗に考えられる。よって、級数は、ＨＯＡ表現の次数と呼ばれる上限値Ｎで次数インデックスｎに対して切り捨てられる。

音場が、角度タプル（θ，φ）によって特定される全ての可能な方向から到来する異なる角周波数ωの無限数の調和平面波の重ね合わせによって表される場合に、夫々の平面波複素振幅関数Ｃ（ω，θ，φ）は、次の球面調和関数展開（４１）によって表現され得ることが示され得る（B. Rafaely，“Plane-wave Decomposition of the Sound Field on a Sphere by Spherical Convolution”，J. Acoust. Soc. Am.，vol.4(116)，pp.2149-2157，２００４年を参照）：

このとき、展開係数Ｃ_ｎ ^ｍ（ｋ）は、次の式（４２）によって、展開係数Ａ_ｎ ^ｍ（ｋ）に関連付けられる：

個々の係数Ｃ_ｎ ^ｍ（ｋ＝ω／ｃ_ｓ）が角周波数ωの関数であるとする場合に、逆フーリエ変換（Ｆ_−１（・）によって表される）の適用は、夫々の次数及び角度ｍについて、時間領域の関数（４３）を与える：

これは、次の式（４４）によって、単一ベクトルｃ（ｔ）において収集され得る：

ベクトルｃ（ｔ）内の時間領域関数ｃ_ｎ ^ｍ（ｔ）の位置インデックスは、ｎ（ｎ＋１）＋１＋ｍによって与えられる。ベクトルｃ（ｔ）における要素の全体数はＯ＝（Ｎ＋１）^２によって与えられる。

最終のアンビソニクス様式は、次の式（４５）のように、サンプリング周波数ｆ_Ｓを用いたｃ（ｔ）のサンプリングされたバージョンを提供する：

このとき、Ｔ_Ｓ＝１／ｆ_Ｓはサンプリング周期を表す。ｃ（ｌＴ_Ｓ）の要素はアンビソニクス係数と呼ばれる。時間領域信号ｃ_ｎ ^ｍ（ｔ）、ひいてはアンビソニクス係数は、実数値である。

●実数値の球面調和関数の定義
実数値の球面調和関数Ｓ_ｎ ^ｍ（θ，φ）は、次の式（４６）及び（４７）によって表される：

関連するルジャンドル関数Ｐ_ｎ，ｍ（ｘ）は、ルジャンドル多項式Ｐ_ｎ（ｘ）を用いて、上記のE. G. Williamsのテキストとは異なって、コンドン−ショートレイ位相項（−１）^ｍによらずに、次の式（４８）のように定義される：

●高次アンビソニクスの空間分解能
方向Ω_０＝（θ_０，φ_０）^Ｔから到来する一般平面波関数ｘ（ｔ）は、次の式（４９）によって、ＨＯＡにおいて表される：

平面波振幅の対応する空間密度
［外７４］

は、次の式（５０）及び（５１）によって与えられる：

式（５１）から、それは一般平面波関数ｘ（ｔ）と空間分散関数ν_Ｎ（Θ）との積であることが分かる。このことは、次の式（５２）によって表される性質をもって、ΩとΩ_０との間の角度Θののみ依存しているものとして示され得る：

期待されるように、無限次数、すなわち、Ｎ→∞の制限において、空間分散関数は、デラック・デルタδ（・）になる。すなわち：

しかし、有限次数Ｎの場合に、方向Ω_０からの一般平面波の寄与は、近傍方向に不鮮明化される。このとき、不鮮明の程度は、次数の増大に伴って小さくなる。Ｎの異なる値についての正規化された関数ν_Ｎ（Θ）のプロットは図６で与えられている。

あらゆる方向Ωについて、平面波振幅の空間密度の時間領域の挙動は、あらゆる他の方向でのその挙動の倍数である。特に、幾つかの固定方向Ω_１及びΩ_２についての関数ｃ（ｔ，Ω_１）及びｃ（ｔ，Ω_２）は、時間ｔに関して互いに大いに相関される。

●球面調和関数変換
平面波振幅の空間密度が、単位球面上でほぼ一様に分布している多数のＯ個の空間方向Ω_ｏ，１≦ｏ≦Ｏで離散化される場合に、Ｏ個の指向性信号ｃ（ｔ，Ω_ｏ）が得られる。それらの信号を次の式（５４）のようにベクトルにまとめることを考える：

このベクトルは、次の式（５５）のように単純マトリクス乗算によって、式（４４）において定義される連続アンビソニクス表現ｄ（ｔ）から計算されることが、式（５０）を用いることによって立証され得る：

このとき、（・）^Ｈは、共役転置を示し、Ψは、次の式（５６）によって定義されるモード行列を表す：

Ωｏは、単位球面においてほぼ一様に分布しているので、モード行列は、一般に反転可能である。よって、連続アンビソニクス表現は、次の式（５８）によって、指向性信号ｃ（ｔ，Ω_ｏ）から計算され得る：

双方の式は、アンビソニクス表現と‘空間領域’との間の変換及び逆変換を構成する。それらの変換は、夫々、球面調和関数変換及び逆球面調和関数変換と称される。方向Ω_ｏは、単位球面においてほぼ一様に分布しているので、式（５５）においてΨ^Ｈの代わりにΨ^−１の使用を正当化する近似が存在する：

上記の全ての関係は、離散時間領域についても有効である。

発明の処理は、単一のプロセッサ又は電子回路によって、あるいは、並行して動作する及び／又は発明処理の異なる部分において動作する複数のプロセッサ若しくは電子回路によって、実行され得る。
いくつかの態様を記載しておく。
〔態様１〕
音場のＨＯＡと称される高次アンビソニクス表現における無相関な音源の方向を決定する方法であって、
ＨＯＡ係数の現在時間フレームにおいて、ドミナント音源の一応の方向推定を逐次探索し、対応するドミナント音源によって生成されるＨＯＡ音場成分を計算するステップを有し、
前記探索の夫々の繰り返しにおいて、夫々の更なる方向推定は、前に見つけられた音源の信号と相関する全ての成分が取り除かれている原のＨＯＡ表現を表す残余ＨＯＡ表現から計算され、
現在の方向推定は、複数の予め定義された試験方向の中から選択され、聴取者位置で前記選択された方向から作用する前記残余ＨＯＡ表現の関連する一般平面波の電力が、全ての他の試験方向の電力と比較して最大であるようにする、方法。
〔態様２〕
前記ＨＯＡ係数の現在時間フレームについての前記選択された方向推定は、ＨＯＡ係数の前の時間フレームにおいて見つけられたドミナント音源へ割り当てられ、最終の方向推定は、結果として得られる時間軌跡に対して平滑化される、
態様１に記載の方法。
〔態様３〕
前記平滑化は、ベイズ推定プロセスを実行することによって実行され、該ベイズ推定プロセスは、前記原のＨＯＡ表現のドミナント音源成分の指向性電力分布と、統計に基づく先験的な音源移動モデルとを利用する、
態様２に記載の方法。
〔態様４〕
前記統計に基づく先験的な音源移動モデルは、個々の音源の動きを、前記前の時間フレームにおけるそれらの方向の知識と、前記前の時間フレームと最後から２番目の時間フレームとの間での動きの知識とから統計的に予測する、
態様３に記載の方法。
〔態様５〕
前記ＨＯＡ係数の前の時間フレームにおいて見つけられたドミナント音源への方向推定の前記割り当ては、方向推定及び前に見つけられた音源の方向の組の間の角度の連帯的な最小化と、方向推定に及び前記ＨＯＡ係数の前の時間フレームにおいて見つけられたドミナント音源に関連した指向性信号の組の間の相関係数の絶対値の最大化とによって達成される、
態様３又は４に記載の方法。
〔態様６〕
音場のＨＯＡと称される高次アンビソニクス表現における無相関な音源の方向を決定する方法であって、
ＨＯＡ係数の現在時間フレームにおいて、ドミナント音源の一応の方向推定を逐次探索し、対応するドミナント音源によって生成されるＨＯＡ音場成分を計算し、対応する指向性信号を計算するステップと、
前記現在時間フレームの前記一応の方向推定と前記ＨＯＡ係数の前の時間フレームにおいてアクティブな音源の平滑化された方向とを比較することによって、且つ、前記現在時間フレームの前記指向性信号と前記前の時間フレームにおいてアクティブな音源の指向性信号とを相関させることによって、前記計算されたドミナント音源を、前記前の時間フレームにおいてアクティブな対応する音源に割り当てて、割り当て関数を得るステップと、
前記割り当て関数、前記前の時間フレームにおける平滑化された方向の組、前記前の時間フレームにおけるアクティブなドミナント音源のインデックスの組、最後から２番目の時間フレームと前記前の時間フレームとの間での夫々の源移動角度の組、及び前記対応するドミナント音源によって生成される前記ＨＯＡ音場成分を用いて、平滑化されたドミナント源方向を計算するステップと、
前記平滑化されたドミナント源方向、前記前の時間フレームの前記アクティブなドミナント音源の方向のフレーム遅延されたバージョン、及び前記前の時間フレームにおける前記アクティブなドミナント音源のインデックスのフレーム遅延されたバージョンを用いて、前記現在時間フレームの前記アクティブなドミナント音源のインデックス及び方向を決定するステップと
を有し、
前記前の時間フレームにおいてアクティブな音源の前記指向性信号は、前記前の時間フレームの前記アクティブなドミナント音源の方向の前記フレーム遅延されたバージョン及び前記前の時間フレームのＨＯＡ係数からモードマッチングを用いて計算され、
前記最後から２番目の時間フレームと前記前の時間フレームとの間での前記源移動角度の組は、前記前の時間フレームの前記アクティブなドミナント音源の方向の前記フレーム遅延されたバージョン及びその更にフレーム遅延されたバージョンから計算される、方法。
〔態様７〕
音場のＨＯＡと称される高次アンビソニクス表現における無相関な音源の方向を決定する装置であって、
ＨＯＡ係数の現在時間フレームにおいて、ドミナント音源の一応の方向推定を逐次探索し、対応するドミナント音源によって生成されるＨＯＡ音場成分を計算し、対応する指向性信号を計算するよう構成される手段と、
前記現在時間フレームの前記一応の方向推定と前記ＨＯＡ係数の前の時間フレームにおいてアクティブな音源の平滑化された方向とを比較することによって、且つ、前記現在時間フレームの前記指向性信号と前記前の時間フレームにおいてアクティブな音源の指向性信号とを相関させることによって、前記計算されたドミナント音源を、前記前の時間フレームにおいてアクティブな対応する音源に割り当てて、割り当て関数を得るよう構成される手段と、
前記割り当て関数、前記前の時間フレームにおける平滑化された方向の組、前記前の時間フレームにおけるアクティブなドミナント音源のインデックスの組、最後から２番目の時間フレームと前記前の時間フレームとの間での夫々の源移動角度の組、及び前記対応するドミナント音源によって生成される前記ＨＯＡ音場成分を用いて、平滑化されたドミナント源方向を計算するよう構成される手段と、
前記平滑化されたドミナント源方向、前記前の時間フレームの前記アクティブなドミナント音源の方向のフレーム遅延されたバージョン、及び前記前の時間フレームにおける前記アクティブなドミナント音源のインデックスのフレーム遅延されたバージョンを用いて、前記現在時間フレームの前記アクティブなドミナント音源のインデックス及び方向を決定するよう構成される手段と
を有し、
前記前の時間フレームにおいてアクティブな音源の前記指向性信号は、前記前の時間フレームの前記アクティブなドミナント音源の方向の前記フレーム遅延されたバージョン及び前記前の時間フレームのＨＯＡ係数からモードマッチングを用いて計算され、
前記最後から２番目の時間フレームと前記前の時間フレームとの間での前記源移動角度の組は、前記前の時間フレームの前記アクティブなドミナント音源の方向の前記フレーム遅延されたバージョン及びその更にフレーム遅延されたバージョンから計算される、装置。
〔態様８〕
検出されたドミナント指向性信号の数及び対応する一応の方向推定の決定において、前記対応するドミナント音源によって生成されるＨＯＡ音場成分は、対応する残余ＨＯＡ表現を得るために、前記ＨＯＡ係数の現在時間フレームから減算され、該減算の処理は、見つけられた音場成分が更なる方向探索について除外されるように、更なるそのような音場成分についてその都度の残りの残余ＨＯＡ表現に基づき繰り返し実行される、
態様６に記載の方法、又は態様７に記載の装置。
〔態様９〕
単一の方向インデックについて、前記残りの残余ＨＯＡ表現の指向性電力分布は、単位球面においてほぼ一様に分布する所定の数の離散的な試験方向について計算され、前記指向性電力分布は、ドミナント音源の存在について解析され、ドミナント音源の不在が検出される場合は、前記方向探索は停止され、ドミナント音源が検出される場合は、座標原点に対するその方向の一応の推定が計算される、
態様８に記載の方法、又は態様８に記載の装置。
〔態様１０〕
ドミナント音源の一応の推定を決定した後、同じ音源によって生成されると推測される音場成分のＨＯＡ表現及び夫々の指向性信号は、
単位球面に一様に分布することを目標とされるサンプリング位置から成る固定の予め定義された球面グリッドを回転させて、回転されたサンプリング位置のグリッドを提供し、前記回転が、第１の回転されたサンプリング位置が前記一応の方向推定に対応するように実行されることと、
前記残りの残余ＨＯＡ表現を、前記回転されたグリッド方向から座標原点に作用すると推測される対応する平面波関数によって等価に表現される空間領域へと変換し、ドミナント音源信号及びグリッド指向性信号を計算することと、
ドミナント音源信号からの前記グリッド指向性信号の予測を実行することと、
前記残りの残余ＨＯＡ表現によって表される音場に対する前記ドミナント音源の寄与を表す、前記予測されたグリッド指向性信号のＨＯＡ表現を、逆球面調和関数変換によって計算することと
によって計算される、
態様８若しくは９に記載の方法、又は態様８若しくは９に記載の装置。
〔態様１１〕
前記平滑化されたドミナント源方向の計算は、
前記割り当て関数、前記前の時間フレームにおける平滑化された方向の組、前記前の時間フレームにおけるアクティブなドミナント音源のインデックスの組、及び源移動角度の組を用いて、ドミナント音源方向について方向の事前確率関数を計算することと、
前記割り当て関数を用いて、且つ、ドミナント音源によって生成される前記ＨＯＡ音場成分を用いて、ドミナント音源方向について方向の尤度関数を計算することと、
前記方向の尤度関数を用いて、且つ、前記方向の事前確率関数を用いて、ドミナント音源方向について方向の事後確率関数を計算することと、
ドミナント音源方向についての前記方向の事後確率関数を用いて、平滑化されたドミナント音源方向を決定することと
によって実行される、
態様６及び８乃至１０のうちいずれか一項に記載の方法、又は態様７乃至１０のうちいずれか一項に記載の装置。

Claims (10)

1. 音場の高次アンビニソニクス（ＨＯＡ）表現における無相関な音源の方向を決定する方法であって、
   ＨＯＡ係数の現在時間フレームにおいて、ドミナント音源の予備的な方向推定を探索するステップと、
   対応するドミナント音源に基づきＨＯＡ音場成分を決定するステップと
   を有し、
   現在の方向推定は、前に見つけられた音源の信号と相関する全ての成分が取り除かれている原のＨＯＡ表現を表す残余ＨＯＡ表現に基づき決定され、
   前記現在の方向推定は、前記残余ＨＯＡ表現の関連する一般平面波の電力が、全ての他の試験方向の夫々の電力と比較して、聴取者位置に対してある方向から作用することに基づき、複数の予め定義された試験方向の中から選択され、
   前記ＨＯＡ係数の現在時間フレームについての前記現在の方向推定は、ＨＯＡ係数の前の時間フレームの少なくとも１つのドミナント音源へ割り当てられ、時間軌跡に対して平滑化される、方法。
2. 前記平滑化は、ベイズ推定プロセスに基づき、該ベイズ推定プロセスは、前記原のＨＯＡ表現のドミナント音源成分の指向性電力分布と、統計に基づく先験的な音源移動モデルとを利用する、
   請求項１に記載の方法。
3. 前記統計に基づく先験的な音源移動モデルは、個々の音源の動きを、前記前の時間フレームにおけるそれらの方向と、前記前の時間フレームと最後から２番目の時間フレームとの間での動きとに基づき、統計的に予測する、
   請求項２に記載の方法。
4. 方向推定は、方向推定及び前に見つけられた音源の方向の組の間の角度の連帯的な最小化と、方向推定に及び前記ＨＯＡ係数の前の時間フレームにおいて見つけられたドミナント音源に関連した指向性信号の組の間の相関係数の絶対値の最大化とに基づき、前記ＨＯＡ係数の前の時間フレームのドミナント音源に割り当てられる、
   請求項２に記載の方法。
5. 音場の高次アンビニソニクス（ＨＯＡ）表現における無相関な音源の方向を決定する方法であって、
   ＨＯＡ係数の現在時間フレームにおいて、ドミナント音源の予備的な方向推定を探索するステップと、
   対応するドミナント音源に基づきＨＯＡ音場成分を決定し、対応する指向性信号を決定するステップと、
   前記現在時間フレームの前記予備的な方向推定と前記ＨＯＡ係数の前の時間フレームにおいてアクティブな音源の平滑化された方向とを比較することに基づき、前記ドミナント音源を、前記前の時間フレームにおいてアクティブな対応する音源に割り当てるステップであり、該割り当ては、前記現在時間フレームの前記指向性信号と前記前の時間フレームにおいてアクティブな音源の指向性信号との相関に更に基づき、割り当て関数を得るステップと、
   前記割り当て関数、前記前の時間フレームにおける平滑化されたドミナント源方向、前記前の時間フレームにおけるアクティブなドミナント音源のインデックス、最後から２番目の時間フレームと前記前の時間フレームとの間での夫々の源移動角度、及び前記対応するドミナント音源に基づく前記ＨＯＡ音場成分に基づき、平滑化されたドミナント源方向を決定するステップと、
   前記平滑化されたドミナント源方向、前記前の時間フレームの前記アクティブなドミナント音源の方向のフレーム遅延されたバージョン、及び前記前の時間フレームの前記アクティブなドミナント音源のインデックスのフレーム遅延されたバージョンに基づき、前記現在時間フレームの前記アクティブなドミナント音源のインデックス及び方向を決定するステップと
   を有し、
   前記前の時間フレームにおいてアクティブな音源の前記指向性信号は、前記前の時間フレームの前記アクティブなドミナント音源の方向の前記フレーム遅延されたバージョン及び前記前の時間フレームのＨＯＡ係数に基づくモードマッチングに基づき決定され、
   前記最後から２番目の時間フレームと前記前の時間フレームとの間での前記源移動角度は、前記前の時間フレームの前記アクティブなドミナント音源の方向の前記フレーム遅延されたバージョン及びその更にフレーム遅延されたバージョンに基づき決定される、方法。
6. 音場の高次アンビニソニクス（ＨＯＡ）表現における無相関な音源の方向を決定する装置であって、
   ＨＯＡ係数の現在時間フレームにおいて、ドミナント音源の予備的な方向推定を探索し、対応するドミナント音源に基づきＨＯＡ音場成分を決定するよう構成され、更には、対応する指向性信号を決定するよう構成されるプロセッサを有し、
   前記プロセッサは、前記現在時間フレームの前記予備的な方向推定と前記ＨＯＡ係数の前の時間フレームにおいてアクティブな音源の平滑化された方向との比較に基づき、前記ドミナント音源を、前記前の時間フレームにおいてアクティブな対応する音源に割り当てるよう更に構成され、該割り当ては、前記現在時間フレームの前記指向性信号と前記前の時間フレームにおいてアクティブな音源の指向性信号との相関に更に基づいて、割り当て関数を得、
   前記プロセッサは、前記割り当て関数、前記前の時間フレームにおける平滑化されたドミナント源方向、前記前の時間フレームにおけるアクティブなドミナント音源のインデックス、最後から２番目の時間フレームと前記前の時間フレームとの間での夫々の源移動角度、及び前記対応するドミナント音源に基づく前記ＨＯＡ音場成分に基づき、平滑化されたドミナント源方向を決定するよう更に構成され、
   前記プロセッサは、前記平滑化されたドミナント源方向、前記前の時間フレームの前記アクティブなドミナント音源の方向のフレーム遅延されたバージョン、及び前記前の時間フレームにおける前記アクティブなドミナント音源のインデックスのフレーム遅延されたバージョンに基づき、前記現在時間フレームの前記アクティブなドミナント音源のインデックス及び方向を決定するよう更に構成され、
   前記前の時間フレームにおいてアクティブな音源の前記指向性信号は、前記前の時間フレームの前記アクティブなドミナント音源の方向の前記フレーム遅延されたバージョン及び前記前の時間フレームのＨＯＡ係数に基づくモードマッチングに基づき決定され、
   前記最後から２番目の時間フレームと前記前の時間フレームとの間での前記源移動角度は、前記前の時間フレームの前記アクティブなドミナント音源の方向の前記フレーム遅延されたバージョン及びその更にフレーム遅延されたバージョンに基づき決定される、装置。
7. 検出されたドミナント指向性信号及び対応する予備的な方向推定の決定は、対応する残余ＨＯＡ表現を得るために、前記ＨＯＡ係数の現在時間フレームからの前記対応するドミナント音源の減算に基づき、ＨＯＡ音場成分を決定することを更に含み、該減算の処理は、更なる音場成分についてのその都度の残りの残余ＨＯＡ表現について繰り返し実行され、前記音場成分が更なる方向探索について除外されるようにする、
   請求項５に記載の方法。
8. 単位球面においてほぼ一様に分布する所定の数の離散的な試験方向について表現を決定するステップを更に有し、
   指向性電力分布は、ドミナント音源の存在について解析され、ドミナント音源の不在の決定に基づき、前記方向探索は停止され、ドミナント音源の検出の決定に基づき、座標原点に対するその方向の予備的な推定は決定される、
   請求項７に記載の方法。
9. 同じ音源に基づく音場成分のＨＯＡ表現及び夫々の指向性信号は、
   単位球面に一様に分布することを目標とされるサンプリング位置から成る固定の予め定義された球面グリッドを回転させて、回転されたサンプリング位置のグリッドを決定し、前記回転が、第１の回転されたサンプリング位置が前記予備的な方向推定に対応するように実行されることと、
   前記残りの残余ＨＯＡ表現を空間領域へと変換し、ドミナント音源信号及びグリッド指向性信号を決定することと、
   ドミナント音源信号からの前記グリッド指向性信号の予測を実行することと、
   前記残りの残余ＨＯＡ表現によって表される音場に対する前記ドミナント音源の寄与を表す、前記予測されたグリッド指向性信号のＨＯＡ表現を、逆球面調和関数変換に基づき決定することと
   に基づき決定される、
   請求項８に記載の方法。
10. 前記平滑化されたドミナント源方向は、
    前記割り当て関数、前記前の時間フレームにおける平滑化されたドミナント源方向、前記前の時間フレームにおけるアクティブなドミナント音源のインデックス、及び前記源移動角度に基づき、ドミナント音源方向についての方向の事前確率関数を決定することと、
    前記割り当て関数と、ドミナント音源によって生成される前記ＨＯＡ音場成分とに基づき、ドミナント音源方向についての方向の尤度関数を決定することと、
    前記方向の尤度関数及び前記方向の事前確率関数に基づき、ドミナント音源方向についての方向の事後確率関数を決定することと、
    ドミナント音源方向についての前記方向の事後確率関数に基づき、平滑化されたドミナント音源方向を決定することと
    に基づき決定される、
    請求項５に記載の方法。

Images