JP4810109B2 - 別個の信号の成分を分離する方法およびシステム - Google Patents

Description

本発明は、包括的に、信号処理の分野に関し、特に、単一チャネルを介して、複数の信号源から取得された時系列信号の成分を検出し分離することに関する。

非負行列因子分解（ＮＭＦ）が、正行列因子分解として述べられてきた。Paatero著「頑強な非負因子分析の最小２乗法による定式化(Least Squares Formulation of Robust Non-Negative Factor Analysis)」Chemometrics and Intelligent Laboratory Systems 37、pp．23-35、1997を参照願いたい。ＮＭＦは、当初から、統計的な基礎が厳密でないにもかかわらず、種々の応用に首尾よく適用されてきた。

Lee等は、「非負行列因子分解による対象物の部分の学習(Learning the parts of objects by non-negative matrix factorization)」Nature、Volume 401、pp．788-791、1999において、次元を削減するための代替の技法としてＮＭＦを記載している。そこでは、単一画像から人の顔の部分を求めるために、非負値性の制約が行列を構成している間、実施される。

しかしながら、そのシステムは、単一画像の空間領域内に制限される。すなわち、信号は、狭義に定常的である。ＮＭＦを時系列データストリームに拡張することが望ましい。その結果、ＮＭＦを、単一チャネル入力についての信号源分離の問題に適用することが可能になるであろう。

非負行列因子分解
従来のＮＭＦの定式化は、以下の通り規定される。複雑な非負Ｍ×Ｎ行列Ｖ∈Ｒ^{≧０、Ｍ×Ｎ}で始められ、目標は、２つの簡単な非負行列Ｗ∈Ｒ^{≧０、Ｍ×Ｒ}およびＨ∈Ｒ^{≧０、Ｒ×Ｎ}の積として行列Ｖを近似することであり、ここで、Ｒ≦Ｍであり、行列ＶがＷ・Ｈによってほぼ再構成される時に誤差が最少化される。

再構成の誤差を、種々のコスト関数を用いて測定することができる。Lee等は、次のコスト関数を使用する。

ここで、‖．‖_Ｆは、フロベニウスのノルムであり、×を○で囲った記号は、アダマール積、すなわち、要素ごとの乗算である。割り算もまた要素ごとである。

Lee等は、「非負行列因子分解のためのアルゴリズム(Algorithms for Non-Negative Matrix Factorization)」Neural Information Processing Systems 2000、pp．556-562、2000において、非負値性を実施する制約の必要なしで、コスト関数を最適化する、下式のような、効率的な乗法的更新プロセスを記載している。

ここで、１は、要素が全て１にセットされたＭ×Ｎ行列であり、割り算は、ここでも要素ごとである。変数Ｒは、抽出されるべき基底関数の数に対応する。変数Ｒは、通常、ＮＭＦが階数の低い近似をもたらすように小さい数にセットされる。

音対象物を抽出するためのＮＭＦ
マグニチュード短期間スペクトルに対して主成分分析（ＰＣＡ）と独立成分分析（ＩＣＡ）を順次適用することによって、単一チャネル入力から複数の音を抽出することを可能にする分解がもたらされることが示されてきた。Casey等著「独立した部分空間分析による混合音源の分離(Separation of Mixed Audio Sources by Independent Subspace Analysis)」Proceedings of the International Computer Music Conference、August、2000およびSmaragdis「計算的な聴覚の冗長性の削減、統合的手法(Redundency Reduction for Computational Audition、a Unifying Approach)」Doctoral Dissertation、MAS Dept．、Massachusetts Institute of Technology、Cambridge MA、USA、2001を参照願いたい。

ＮＭＦを用いた同様な定式化を提供することが望ましい。

音シーンｓ（ｔ）、および、下式のように、Ｍ×Ｎ行列に配列されたその短期間フーリエ変換を考える。

ここで、Ｍは、離散フーリエ変換（ＤＦＴ）のサイズであり、Ｎは、処理されるフレームの総数である。理想的には、ある窓関数が、入力音信号に適用されて、スペクトル推定が改善される。しかしながら、窓関数が不可欠な追加ではないため、表記上の簡単さのために、窓関数は省略される。

行列Ｆ∈Ｒ^Ｍ×Ｒから、変換のマグニチュードＶ＝｜Ｆ｜、すなわち、Ｖ∈Ｒ^{≧０、Ｍ×Ｒ}を抽出することができ、その結果、ＮＭＦを適用することができる。

この操作をよりよく理解するために、図１で、スペクトログラム１０１、スペクトル基底１０２および対応する時間重み１０３のプロット１００を考える。右下のプロット１０１は、入力マグニチュードスペクトログラムである。プロット１０１は、ランダムにゲート制御された振幅を有する２つの正弦波信号を表す。信号は、単一信号源、すなわち、モノラルな信号から生ずることに留意願いたい。

スペクトル基底として解釈される、行列Ｗ１０２の２つの列が、左下に示される。上部に示すＨ１０３の行は、行列Ｗの２つのスペクトル基底に対応する時間重みである。基底の各列について、１つの重み行が存在する。

このスペクトログラムは、あるランダムな方法で、「ビープ」イン／アウトする２つの周波数の正弦波からなる音響シーンを規定することを見てとることができる。この信号に２成分ＮＭＦを適用することによって、２つの因子ＷおよびＨを、図１に示すように得ることができる。

左下のプロット１０２に示す、Ｗの２つの列は、入力スペクトログラム１０１に存在する２つの周波数のエネルギーを有するだけである。これらの２つの列を、スペクトログラムに含まれるスペクトルのための基底関数として解釈することができる。

同様に、上部のプロット１０３に示す、Ｈの行は、２つの正弦波がエネルギーを有する時点においてエネルギーを有するだけである。Ｈの行を、それぞれの時間インスタンスにおけるスペクトル基底の重みとして解釈することができる。基底および重みは、１対１に対応する。第１基底は、正弦波の一方のスペクトルを記述し、第１重みベクトルは、スペクトルの時間包絡線を記述する。同様に、第２正弦波は、時間と周波数の両方において、第２基底および第２重みベクトルによって記述される。

実際に、図１のスペクトログラムは、入力音シーンの基本記述を提供する。図１の例は、極端に単純化しているが、一般的な方法は、複雑なピアノ音楽の一部さえも、演奏される各音符およびその音符についての時間的な位置を記述する重みとスペクトル基底のセットに分解するのに十分に強力であり、音写を効果的に実施する。Smaragdis等著「多声の音写のための非負行列因子分解(Non-Negative Matrix Factorization for Polyphonic Music Transcription)」IEEE Workshop on Applications of Signal Processing to Audio and Acoustics、October 2003、および参照により本明細書に援用される「非定常的な信号の成分を検出し時間的に関連付ける方法およびシステム(Method and System for Detecting and Temporally Relating Components in Non-Stationary Signals)」という名称の、２００３年７月２３日に出願された米国特許出願第１０／６２６、４５６号を参照願いたい。

先に述べた方法は、多くのオーディオタスクにとってうまく働く。しかしながら、その方法は、各スペクトルの相対的な位置を考慮しないため、時間的な情報を廃棄してしまう。

したがって、単一チャネル入力信号から信号源分離が可能であるよう、複数の時系列データストリームに適用できるように、従来のＮＭＦを拡張することが望ましい。

本発明は、時間的構造を有する信号成分を識別することができる非負行列因子デコンボリューション（ＮＭＦＤ）を提供する。本発明による方法およびシステムは、マグニチュードスペクトルドメインに適用されて、単一チャネル聴覚シーンから複数の音対象物を抽出することができる。

方法およびシステムは、時系列データストリームなどの別個の信号の成分を分離する。

単一センサは、複数の別個の信号を同時に取得する。それぞれの別個の信号は、異なる信号源によって生成される。

別個の信号を表す入力非負行列が構成される。入力非負行列の列は、異なる時間インスタンスにおける別個の信号の特徴を表す。

入力非負行列を、非負基底行列のセットと非負重み行列に因子分解する。基底行列のセットおよび重み行列は、異なる時間インスタンスにおける複数の別個の信号を表す。

本発明は、時間的パターンを分析する時に、従来のＮＭＦに伴う問題を解決する、コンボリューション的な非負行列因子分解バージョンのＮＭＦを提供する。この拡張によって、より表現に富む基底関数の抽出がもたらされる。これらの基底関数を、スペクトログラムに対して使用して、単一チャネル、たとえば、１つのマイクロフォンによって取得された音シーンから別々の音源を抽出することができる。

本発明を述べるのに使用される例の用途は、音響信号を使用するが、本発明は、任意の時系列データストリーム、すなわち、複数の信号源によって生成され、単一入力チャネル、たとえば、ソナー、超音波、地震、生理的、無線、レーダ、光、ならびに他の電気的および電磁的信号を介して取得された別個の信号に適用されることができることが理解されるべきである。

非負行列因子デコンボリューション
本発明は、非負行列因子デコンボリューション（ＮＭＦＤ）を使用する方法およびシステムを提供する。ここで、デコンボリューションするということは、時系列データストリームの複雑な混合信号を別々の要素に「展開すること」を意味する。本発明は、単一チャネルからの複雑な入力信号内の各スペクトルの相対的な位置を考慮する。こうして、時系列データストリームの複数の信号源を、単一入力チャネルから分離することができる。

従来技術において、使用されるモデルは、Ｖ≒Ｗ・Ｈである。本発明は、このモデルを下式に拡張する。

ここで、入力行列Ｖ∈Ｒ^{≧０、Ｍ×Ｎ}は、連続時間間隔ｔにわたって、非負基底行列のセットＷ_ｔ∈Ｒ^{≧０、Ｍ×Ｒ}および非負重み行列Ｈ∈Ｒ^{≧０、Ｒ×Ｎ}に分解される。次の作用素は、行列Ｈの列をｔ回の増分だけ右にシフトさせる。

例示すると、次のようになる。

入力行列の元のサイズを維持するように、行列Ｈの最も左の列は、適切にゼロにセットされる。同様に、以下のような逆の操作は、重み行列Ｈの列をｔ回の増分だけ左にシフトさせる。

目的は、入力信号を表す入力行列Ｖを、できる限り一番適切に近似するために、基底行列のセットＷ_ｔおよび重み行列Ｈを求めることである。

再構成の誤差を測定するコスト関数
値Λは、下式のようにセットされる。

そして、再構成の誤差を測定するコスト関数は、下式として規定される。

Λ＝Ｗ・Ｈである従来技術と対照的に、同様な記号を使用して、本発明は、コスト関数を最適化するために、複数の時間間隔にわたって、３つ以上の行列を最適化しなければならない。

ｔの各反復についてコスト関数を更新するために、列をシフトさせて、下式に従って引数が適切に並べられる。

各時間間隔ｔについての全ての反復において、行列Ｈおよび各行列Ｗ_ｔが更新される。こうして、因子は、並列に更新され、その相互作用を反映することができる。複雑な場合、全ての時間間隔ｔにわたって、行列Ｈの更新を平均することが有用であることが多い。乗法的ルールの迅速な収束特性により、行列Ｈが、全体の行列のセットＷ_ｔではなく、その更新に使用された直前の行列Ｗ_ｔによって影響を受ける危険が存在する。

デコンボリューション例
因子Ｗ_ｔおよびＨの形態に対する何らかの直感を得るために、抽出されたＮＭＦＤの基底および重みを示す図２のプロットを考える。右下のプロット２０１は、本発明によるＮＭＦＤ法への入力として使用されるマグニチュードスペクトログラムである。信号は、徐々に変わり、複数の信号源によって生成され、単一チャネルを介して取得されることに留意願いたい。

２つの左下のプロット２０２は、因子Ｗ_ｔから誘導され、時間−スペクトル基底として解釈される。上部プロット２０３に示す、因子Ｈの行は、２つの時間−スペクトル基底に対応する時間重みである。左下のプロット２０２は、入力プロットと同じスケールで現れるように、左右からゼロで埋められていることに留意願いたい。

図１に示すシーンについて示す例のように、スペクトログラムは、２つのランダムに繰り返す要素を含むが、しかし、この場合、要素は、従来技術の場合のような、単一時間間隔にわたるスペクトル基底では表現されることができない、時間的構造を示す。

Ｔ＝１０で、２成分ＮＭＦＤが適用される。これによって、因子ＨおよびサイズＭ×２のＴ×Ｗ_ｔ行列がもたらされる。ｔ番目のＷ_ｔ行列のｎ番目の列は、左から右への次元（この場合は時間）でｔの増分だけオフセットされた、ｎ番目の基底である。換言すれば、Ｗ_ｔ行列は、入力の両方の次元で拡張する基底を含む。従来のＮＭＦのように、因子Ｈは、これらの関数の重みを保持する。図２を調べると、因子のセットＷ_ｔの基底は、音パターンにおいて細かい時間情報を含み、一方、因子Ｈは、時間上でパターンの位置を特定することを見てとることができる。

音対象物抽出のためのＮＭＦＤ
ＮＭＦＤの上記式を使用して、ドラム音のセットを含む、音セグメントを分析することができる。この例では、ドラム音は、時間と周波数の両方である程度の重なりを示す。入力は、１１．０２５Ｈｚでサンプリングされ、１２８ポイントの重なりのある状態で、２５６ポイントＤＦＴによって分析される。スペクトル推定を向上させるために、ハミング窓が入力に適用される。３つの基底関数について、ＮＭＦＤが実施され、基底関数は、それぞれ、１０個のＤＦＴフレームの時間拡張を有する。すなわち、Ｒ＝３でＴ＝１０である。

図３は、前と同様に、スペクトログラムプロット３０１、ならびに、そのシーンの対応する基底および重み因子プロット３０２〜３０３を示す。低周波数のバスドラム音の４つの例、２つの音量の大きな広帯域バーストを有するスネアドラム音の２つの例、および高い帯域の繰り返しバーストを有する「ハイハット」ドラム音を含む、３つのタイプのドラム音がシーンの中に存在する。

右下のプロット３０１は、入力信号についてのマグニチュードスペクトログラムである。左下の３つのプロット３０２は、因子Ｗ_ｔについての時間−スペクトル基底である。その対応する重み（因子Ｈの行である）は、上部プロット３０３に示される。抽出された基底が、スペクトログラム３０１の３つのドラム音の時間／スペクトル構造をどのようにカプセル化しているかに留意願いたい。

分析すると、スペクトル／時間基底関数のセットがＷ_ｔから抽出される。因子Ｈからの重みは、これらの基底が時間上で配置される時を示す。基底は、それぞれの異なるタイプのドラム音の短期間スペクトルの進展をカプセル化した。たとえば、２番目の基底（２）は、バスドラム音構造に適合する。どのようにして、この基底の主周波数が、徐々に減少し、ちょうどバスドラム音のような広帯域要素が主周波数の前に起こるかに留意願いたい。同様に、スネアドラム基底（３）は、中間周波数で密なエネルギーを有する広帯域であり、ハイハットドラム基底（１）は最も高い帯域の音である。

信号源分離を実施するために、３つの入力音の任意の１つについて、全スペクトログラムまたは部分スペクトログラムを回復する再構成を実施することができる。入力スペクトログラムの部分再構成は、一度に１つの基底関数を使用して実施される。たとえば、ｊ番目の基底にマッピングされたバスドラムを抽出するために、下式が実施される。

ここで、次の作用素は、引数のｊ番目の列を選択する。

これによって、入力信号のたった１つの成分のマグニチュードスペクトログラムを表す出力非負行列が得られる。これを、スペクトログラムの元の位相に適用することができる。結果を反転することによって、まさに、たとえば、基底ドラム音の時系列が得られる。

主観的に、抽出された要素は、一貫して、入力音シーンの対応する要素とほぼ同じに聞こえる。すなわち、再構成された基底ドラム音は、入力混合信号の基底ドラム音と同じである。しかしながら、種々の非線形歪および情報の喪失、ミキシングおよび分析プロセスに固有の問題のために、分離の品質をその他の方法で記述する、有益でかつ直感的な定量的尺度を提供することは、非常に難しい。

システム構造および方法
図４に示すように、本発明は、単一チャネルを介して取得された、複数の信号源からの非定常の別個の信号の成分を検出し、信号の成分の間の時間的関係を求めるシステムおよび方法を提供する。

システム４００は、互いに直列に接続された、センサ４１０、たとえば、マイクロフォン、アナログ−デジタル（Ａ／Ｄ）変換器４２０、サンプルバッファ４３０、変換４４０、行列バッファ４５０、およびデコンボリューション因子分解器５００を含む。

複数の音響信号４０１は、複数の信号源４０２、たとえば、３つの異なるタイプのドラムによって同時に生成される。センサは、信号を同時に取得する。アナログ信号４１１は、信号センサ４１０によって供給され、サンプルバッファ４３０のためにデジタルサンプル４２１に変換される（４２０）。サンプルは、ウィンドウ処理されて、変換４４０のためのフレーム４３１が生成され、変換４４０は、特徴４４１、たとえば、マグニチュードスペクトルを行列バッファ４５０に出力する。マグニチュードスペクトルを表す入力非負行列Ｖ４５１は、本発明に従って、デコンボリューション的に因子分解される（５００）。因子Ｗ_ｔ５１０およびＨ５２０は、それぞれ、複数の音響信号４０１の分離を表す基底および重みである。３つの入力音の任意の１つについて、全スペクトログラム４５１または部分スペクトログラム５３１〜５３３、すなわち、それぞれ、出力非負行列を回復するために、再構成５３０を実施することができる。出力行列５３１〜５３３を使用して、信号源分離５４０を実施することができる。

本発明を、好ましい実施の形態の例によって述べたが、本発明の精神および範囲内で、種々の他の適応および変更を行ってもよいことが理解されるべきである。したがって、本発明の真の精神および範囲に入る全ての変形および変更を包含することが、添付特許請求の範囲の目的である。

従来技術による音シーンの非負行列因子分解の、スペクトログラム、基底および重みのプロットである。 本発明による音シーンの非負行列因子デコンボリューションの、スペクトログラム、基底および重みのプロットである。 本発明による音シーンの非負行列因子デコンボリューションの、スペクトログラム、基底および重みのプロットである。 本発明によるシステムおよび方法のブロック図である。

Claims (13)

1. 複数の信号源からの別個の信号の成分を検出し、信号の成分の間の時間的関係を求めるシステムに用いられる別個の信号の成分を分離する方法であって、
   複数の信号源によって生成された複数の別個の信号を、単一センサによって同時に取得することと、
   前記複数の別個の信号を表し、異なる時間インスタンスにおける前記複数の別個の信号の特徴を表す列を含む入力非負行列を構成することと、
   前記異なる時間インスタンスにおいて、前記入力非負行列を、前記複数の別個の信号を表す非負基底行列のセットおよび非負重み行列に因子分解することと
   を含み、
   前記入力非負行列は、Ｖであり、前記非負基底行列のセットは、Ｗ _ｔ であり、前記非負重み行列は、Ｈであり、
   

   

   であるようになっており、ここで、Ｖ∈Ｒ ^{≧０、Ｍ×Ｎ} は、因子分解される前記入力非負行列であり、連続時間間隔ｔにわたって、前記非負基底行列のセットは、Ｗ _ｔ ∈Ｒ ^{≧０、Ｍ×Ｒ} であり、前記非負重み行列は、Ｈ∈Ｒ ^{≧０、Ｒ×Ｎ} であり、作用素
   

   

   は、対応する行列の列をｔ回の増分だけ右にシフトさせる
   別個の信号の成分を分離する方法。
2. 複数の信号源からの別個の信号の成分を検出し、信号の成分の間の時間的関係を求めるシステムに用いられる別個の信号の成分を分離する方法であって、
   複数の信号源によって生成された複数の別個の信号を、単一センサによって同時に取得することと、
   前記複数の別個の信号を表し、異なる時間インスタンスにおける前記複数の別個の信号の特徴を表す列を含む入力非負行列を構成することと、
   前記異なる時間インスタンスにおいて、前記入力非負行列を、前記複数の別個の信号を表す非負基底行列のセットおよび非負重み行列に因子分解することと
   前記非負基底行列のセットおよび前記非負重み行列から前記入力非負行列を再構成することと
   を含み、
   前記再構成することは、
   

   

   に従う
   別個の信号の成分を分離する方法。
3. それぞれの別個の信号について１つの非負基底行列が存在する請求項１または２に記載の方法。
4. 前記作用素
   

   

   が適用される時に、前記行列Ｈの元のサイズを維持するように、前記行列Ｈの最も左の対応する列をシフトさせてゼロにすることをさらに含む請求項１に記載の方法。
5. コスト関数
   

   

   によって前記再構成の誤差を測定することをさらに含む請求項２に記載の方法。
6. 

   に従って、ｔの各反復について前記コスト関数を更新することをさらに含み、ここで、逆の操作
   

   

   は、対応する行列の列をｉ回の増分だけ左にシフトさせることである請求項５に記載の方法。
7. 前記再構成することは、信号源分離を実施するように、前記複数の別個の信号のうちの選択された１つの信号を表す出力非負行列を生成することに特に適する請求項２に記載の方法。
8. 前記入力非負行列は、複数の音響信号を表し、それぞれの音響信号は、異なる信号源によって生成される請求項１または２に記載の方法。
9. 前記非負基底行列のセットの列は、前記複数の音響信号のスペクトル特徴を表し、前記非負重み行列の行は、前記スペクトル特徴が起こる時間インスタンスを表す請求項８に記載の方法。
10. 前記入力非負行列は、複数の時系列データストリームを表す請求項１または２に記載の方法。
11. 前記複数の時系列データストリームについて信号源分離を実施することをさらに含む請求項１または２に記載の方法。
12. 別個の信号の成分を分離するシステムであって、
    複数の信号源によって生成された複数の別個の信号を同時に取得するように構成された単一センサと、
    前記複数の別個の信号を表し、異なる時間インスタンスにおける前記複数の別個の信号の特徴を表す列を含む入力非負行列を記憶するように構成されたバッファと、
    前記異なる時間インスタンスにおいて、前記バッファに記憶された前記入力非負行列を、前記複数の別個の信号の特徴を表す非負基底行列のセットおよび非負重み行列に因子分解する手段と
    を備え、
    前記入力非負行列は、Ｖであり、前記非負基底行列のセットは、Ｗ _ｔ であり、前記非負重み行列は、Ｈであり、
    

    

    であるようになっており、ここで、Ｖ∈Ｒ ^{≧０、Ｍ×Ｎ} は、因子分解される前記入力非負行列であり、連続時間間隔ｔにわたって、前記非負基底行列のセットは、Ｗ _ｔ ∈Ｒ ^{≧０、Ｍ×Ｒ} であり、前記非負重み行列は、Ｈ∈Ｒ ^{≧０、Ｒ×Ｎ} であり、作用素
    

    

    は、対応する行列の列をｔ回の増分だけ右にシフトさせる
    別個の信号の成分を分離するシステム。
13. 別個の信号の成分を分離するシステムであって、
    複数の信号源によって生成された複数の別個の信号を同時に取得するように構成された単一センサと、
    前記複数の別個の信号を表し、異なる時間インスタンスにおける前記複数の別個の信号の特徴を表す列を含む入力非負行列を記憶するように構成されたバッファと、
    前記異なる時間インスタンスにおいて、前記バッファに記憶された前記入力非負行列を、前記複数の別個の信号の特徴を表す非負基底行列のセットおよび非負重み行列に因子分解する手段と
    を備え、
    前記因数分解する手段は、下式
    

    

    に従って、前記非負基底行列のセットおよび前記非負重み行列から前記入力非負行列を再構成する
    別個の信号の成分を分離するシステム。

Images