JP4376902B2 - 音声入力システム - Google Patents

Description

本発明は、概して音声処理に関し、より詳細には、本発明は特定の音源からの音声信号を追跡しつつ、競合または干渉するほかの音源からの信号を除去するマイクロフォンアレイシステムに関する。

音声入力システムは、典型的には、話者の口の近くに着用される、ヘッドセットにつながれてマイクロフォンとして設計されている。このことから、ユーザは、ヘッドセットを着用しなければならないというように物理的な制約を受ける。従って、ユーザは、ヘッドセットの着用を避けるため、実質的に口述のためにのみヘッドセットを使用し、比較的短い入力を行ったりコンピュータにコマンドを出すのにキーボードによるタイプ入力に頼ることが通常となっている。

ビデオゲーム機が家庭内に普及してきており、ビデオゲームメーカは、ユーザがより現実に近い体験をでき、オンラインアプリケーションなどのゲームの制限を広げるべく絶えず努力を続けている。例えば、多くのノイズが発生している部屋にいる別のプレーヤと通信する機能、または、プレーヤ間でオンラインゲームをプレイ中に、バックグラウンドノイズとゲーム自体から出るノイズがこの通信に干渉する場合にユーザが音声信号を送受信する機能が、これまで、リアルタイムのクリアかつ効果的なプレーヤ間通信を阻んできた。この同じ障壁により、プレーヤが、ビデオゲームコンソールに音声命令を出す機能が妨げられてきた。この場合も、バックグラウンドノイズ、ゲームのノイズおよび部屋の残響の全てが、プレーヤが発する音声信号に干渉する。

ユーザがヘッドセットを着用しない傾向にあることから、音をキャプチャするために、ヘッドセットの代わりにマイクロフォンアレイを使用する方法がある。しかし、現在市場に出回っているマイクロフォンアレイには、移動中の音源からの音を追跡できない、および／または監視対象の一般の領域からの残響および環境音から音源音を分離できないという欠点がある。更に、ビデオゲームのアプリケーションに関しては、固定位置にあるゲームコンソールおよび表示用モニタに対してユーザが移動する。ユーザが移動しないのであれば、特定の位置または領域から出る音声信号に焦点を合わせるように、マイクロフォンアレイを「出荷時設定」することができるであろう。例えば、自動車内で、携帯電話のアプリケーションのため、マイクロフォンアレイを運転席領域の周辺に焦点を合わせるように構成できる。しかし、この種のマイクロフォンアレイは、ビデオゲームのアプリケーションには適していない。すなわち、ユーザがビデオゲーム中に移動する（すなわち静止していない）ため、モニタまたはゲームコンソールに搭載したマイクロフォンアレイが移動するユーザを追跡できなくなる。更に、ビデオゲームのアプリケーションでは、ゲームコントローラに搭載されたマイクロフォンアレイも、ユーザに対して移動する。その結果、ゲームコントローラに取り付けられているなどのポータブルマイクロフォンアレイでは、音源位置の特定が、選択的な空間体積（spatial volume）においてより忠実度の高い音（higher fedelity）をキャプチャするうえで大きな難題となる。

マイクロフォンアレイおよび関連するシステムにまつわる別の問題に、高ノイズ環境に適応できないことがある。例えば、複数の音源が音声信号に寄与している場合、コンシューマデバイスに利用可能な現行のシステムでは、特定の音源からの信号を能率的にフィルタリングできない。高ノイズ環境の信号を能率的にフィルタリングできないことは、前述の音源位置の特定の問題をただ悪化させるという点を理解すべきである。マイクロフォンアレイシステムの更に別の欠点に、プロセッサが、アレイの各マイクロフォンから入って来る入力信号を処理して、移動中のユーザを追跡するだけの帯域幅を有さない点がある。

この結果、ユーザおよび／またはアレイが取り付けられている装置が位置を変えることができる場合に、ユーザからの音声信号をキャプチャ可能なマイクロフォンアレイを提供するために、従来技術の課題を解決することが求められている。また、入力信号を送る複数のマイクロフォンを処理するための帯域幅を提供するように構成されたシステムを、高ノイズ環境において堅固とするように設計することも求められている。

概して、本発明は、マイクロフォンアレイの移動またはソース信号の発生源を問わず、ソース信号を識別可能なマイクロフォンアレイフレームワークを規定する方法および装置を提供することによって、このようなニーズを満たす。本発明は、方法、システム、計算機可読媒体またはデバイスなどの多くの方法で実施できる点を理解すべきである。以下に本発明のいくつかの発明の実施形態を記載する。

一実施形態では、マイクロフォンアレイによって受信された音声信号を処理する方法が提供される。この方法は、信号の受信により開始される。次に、前記信号の増強ソース成分を得るために前記信号に適応ビーム形成が適用される。また、前記信号の増強ノイズ成分を得るために前記信号に逆ビーム形成も適用される。次に、ノイズ低減信号を生成するために前記増強ソース成分と前記増強ノイズ成分とが結合される。

別の実施形態では、マイクロフォンセンサアレイによって受信される音声信号に関連するノイズを低減させる方法が提供される。この方法は、第１のフィルタによって音声信号の目的信号成分を増強することにより開始する。同時に、第２のフィルタによって前記目的信号成分がブロックされる。次に、前記目的信号を変形させずにノイズを低減させるように、前記第１のフィルタの出力と前記第２のフィルタの出力とが結合される。次に、前記音声信号に関連する音響構成が定期的に監視される。次に、前記音響構成に基づいて前記第１のフィルタの値と前記第２のフィルタの値の両方が較正される。

更に別の実施形態では、マイクロフォンアレイによって受信された音声信号を処理するプログラム命令を有する計算機可読媒体が提供される。この計算機可読媒体は、信号を受信するプログラム命令と、前記信号の増強ソース成分を得るために前記信号に適応ビーム形成を適用するプログラム命令と、を有する。前記信号の増強ノイズ成分を得るために前記信号に逆ビーム形成を適用するプログラム命令が含まれる。ノイズ低減信号を生成するために前記増強ソース成分と前記増強ノイズ成分とを結合する前記プログラム命令が提供される。

更に別の実施形態では、音声信号に関連するノイズを低減させるプログラム命令を有する計算機可読媒体が提供される。この計算機可読媒体は、聴取方向に関連する目的信号を第１のフィルタによって増強するプログラム命令と、第２のフィルタによって前記目的信号をブロックするプログラム命令と、を有する。前記目的信号を変形させずにノイズを低減させるように、前記第１のフィルタの出力と前記第２のフィルタの出力とを結合するプログラム命令が提供される。前記音声信号に関連する音響構成を定期的に監視するプログラム命令が含まれる。前記音響構成に基づいて前記第１のフィルタと前記第２のフィルタの両方を較正するプログラム命令が提供される。

別の実施形態では、複数のノイズ源から目的音声信号を分離可能なシステムが提供される。このシステムは、ユーザとは独立して移動するように構成されているポータブルコンシューマデバイスを有する。コンピューティングデバイスも含まれる。このコンピューティングデバイスは、前記ポータブルコンシューマデバイスの移動を制限することなく前記目的音声信号を増強するように構成された論理回路を有する。前記ポータブルコンシューマデバイスに取り付けられたマイクロフォンアレイが提供される。前記マイクロフォンアレイは音声信号をキャプチャするように構成されており、前記マイクロフォンアレイに関連する聴取方向が、前記目的音声信号を増強するように構成された前記論理回路によって制御される。

更に別の実施形態では、ビデオゲームコントローラが提供される。このビデオゲームコントローラは、前記ビデオゲームコントローラに取り付けられたマイクロフォンアレイを有する。前記マイクロフォンアレイは、目的音声信号およびノイズを含む音声信号を検出するように構成されている。前記ビデオゲームコントローラは、音声信号を処理するように構成された回路を有する。前記ビデオゲームコントローラの位置および前記目的音声信号の発生源の位置の変化に伴い、ノイズをフィルタして、前記目的音声信号を増強するように構成されたフィルタリングおよび増強論理回路が提供される。ここで、前記ノイズの前記フィルタは、複数のフィルタアンドサム操作によって行われる。

また、集積回路も提供される。この集積回路は、複数のノイズ源が存在する環境においてマイクロフォンアレイから音声信号を受信するように構成された回路を有する。聴取方向信号を増強するように構成された回路が提供される。前記聴取方向信号をブロックする、すなわち非聴取方向信号を増強するように構成された回路と、ノイズ低減信号を得るために、前記増強された聴取方向信号と前記増強された非聴取方向信号とを結合するように構成された回路とが提供される。アダプティブアレイ較正法によって計算されたフィルタに従って聴取方向を調整するように構成された回路とを有する集積回路が含まれる。

本発明の他の態様および利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。

本発明は添付の図面と併せて以下の詳細な説明を読めば容易に理解できるであろう。図面において、同じ構造要素には同じ参照符号が使用されている。

以下、経済的かつ効率的な方法で、ノイズ環境からソース音声信号をリアルタイムに分離するように構成された音声入力システムのためのシステム、装置および方法に関して発明を記載する。

しかし、本発明を、詳細な内容の一部または全てを用いなくても実施し得ることは当業者にとって自明である。場合によっては、本発明を不必要にあいまいにすることのないよう、公知の処理操作は詳述していない。

本発明の各種実施形態は、マイクロフォンアレイによる、ポータブルコンシューマデバイスに関連付けられた音声入力システムのためのシステムおよび方法を提供する。この音声入力システムは、複数のノイズ信号から目的音声信号を分離可能である。さらに、マイクロフォンアレイが取り付けられているポータブルコンシューマデバイスに移動上の制限はない。本発明の一実施形態では、マイクロフォンアレイフレームワークは、４つの主要モジュールを有する。第１のモジュールは、音響エコー消去（acoustic echo cancellation：ＡＥＣ）モジュールである。ＡＥＣモジュールは、ポータブルコンシューマデバイスが発生させるノイズを除去するように構成されている。例えば、ポータブルコンシューマデバイスがビデオゲームコントローラの場合、ビデオゲームのプレイに関連したノイズ、すなわち音楽、爆発音、声などは全てわかっている。このため、マイクロフォンアレイの各マイクロフォンセンサから入って来る信号に適用するフィルタは、デバイスが発生させるこれらの既知のノイズを除去しうる。別の実施形態では、ＡＥＣモジュールは、任意選択であり、後述するモジュールと一緒に含まれていなくてもよい。

周波数領域適応フィルタの基礎をなす基本操作は、適応処理の前に、入力信号をより望ましい形に変換することである点を理解すべきである。これは、入力信号を周波数領域に変換する１回以上の離散的フーリエ変換（discrete Fourier transform：ＤＦＴ）またはフィルタバンクによって行う。この変換は、非適応であり、データに依存しない単純な処理ステップに対応している。２つの代表的な手法として、例えば、
（ａ）時間領域において誤差ｅ（ｎ）を計算して、次にこれを変換する、
（ｂ）最初に所望の応答ｄ（ｎ）を変換して、周波数領域において誤差を直接計算する、
という手法が挙げられる。誤差がデータの線形関数である適応アルゴリズム（最小二乗平均（least-mean-square：ＬＭＳ）アルゴリズムなど）では、上記の２手法から同じような結果が得られることがある。しかし、非線形誤差関数を有するアルゴリズム（定包絡線アルゴリズム（constant modulus algorithm：ＣＭＡ）など）では、上記２つの構造から大きく異なる結果が得られ、そのうち１つのみが許容可能な性能を提供することがある。最も高い性能を発揮する構成は、フィルタバンク（または変換）の種類と提唱されているアプリケーションによって決まる。

いくつかの周波数領域のための共通のフレームワークとサブバンド適応フィルタが現在利用可能であるという点に留意されたい。２種類の実装を使用することができる。第１の実装は、高速フーリエ変換（ＦＦＴ）フィルタリング技術を使用して、ブロック時間領域適応アルゴリズムを直接的かつ効果的に実現するものである。この方法では、データサンプルの編成の仕方に応じて、線形畳込みか巡回畳込みのいずれかが得られる。第２の実装は、フィルタバンク技術およびサブバンドフィルタリングに基づいており、これにより、内部信号が適応処理の前にダウンサンプル（デシメート）される。フィルタバンクを適切に選択すれば、エイリアシングの歪み効果を十分に制御することができる。これらの実装は、いずれも、必ずしもＤＦＴを使用しない場合でも、周波数領域適応フィルタ（frequency-domain adaptive filter：ＦＤＡＤ）と呼ばれることがある。

通常、ＦＤＡＤに関連するアルゴリズムは、周波数領域変換の種類に応じて、２つのクラスに分けることができる。一方のクラスは、ＤＦＴと、巡回畳込みまたは線形畳込みの一方を生成する能力（データを分割するために用いる方式によって決まる）に基づいている。もう一方のクラスは、フィルタバンクの組によって信号が処理されるサブバンドフィルタリング技術に基づいている。これらのアプローチは、到着データよりも低いサンプリングレートで適応処理を実行して、計算量を減らしているため、マルチレート適応フィルタであると考えられる。これらの互いに類似する構成は、多くの場合、時間領域を使用する構成よりも収束速度が早く、ハードウェア実装に対する順応性が高い。一方、これらの類似する構成は、情報通信などのアプリケーションで問題となりかねない終端間遅延を生じさせる可能性もある。加えて、データブロックの蓄積中は重みが固定されたままになるが、このことは、データが非定常的な可能性が高い場合には、ラッキング（racking）用途にとって望ましくない。にもかかわらず、周波数領域適応フィルタの計算面および収束速度面での利点は大きく、多くの信号処理アプリケーションでより広く用いられるようになると予想される。音響エコー消去に関する更に詳しい説明はジョン・Ｊ・シャンク（John J. Shynk）、“Frequency-Domain and Multirate Adaptive Filtering”、IEEE Signal Processing Magazine、１４〜３７ページ、１９９２年１月に記載されている。

第２のモジュールは、分離フィルタを含む。一実施形態では、この分離フィルタは、信号パスフィルタと信号ブロッキングフィルタを有する。このモジュールでは、識別された聴取方向以外から入って来る信号を抑制するために、アレイビーム形成が実行される。信号パスフィルタとブロッキングフィルタは、いずれも、アダプティブアレイ較正モジュールによって生成される有限インパルス応答（finite impulse response：ＦＩＲ）フィルタである。アダプティブアレイ較正モジュールは第３のモジュールであり、バックグラウンドで実行するように構成されている。アダプティブアレイ較正モジュールは、センサアレイのマイクロフォンセンサによってノイズとソース信号がキャプチャされた場合に、ソース信号から干渉またはノイズを分離するようにも構成されている。以下に詳細に後述するように、アダプティブアレイ較正モジュールによって、ユーザは、音声の記録中に６自由度で三次元空間を自由に移動できる。更に、ビデオゲームのアプリケーションに関して、ここに記載するマイクロフォンアレイフレームワークは、テレビの音声信号、忠実度の高い音楽、ほかのプレーヤの声、周囲雑音などのバックグラウンドノイズが含まれうる騒がしいゲーム環境において使用することができる。後述するように、信号パスフィルタは、ソース信号を増強するためにフィルタアンドサム（filter-and-sum）ビームフォーマによって使用される。信号ブロッキングフィルタは、ソース信号を効果的にブロックして、干渉またはノイズを生成し、これが、ノイズ低減信号を生成するために、後に信号パスフィルタの出力と共に使用される。

第４のモジュールである適応ノイズ消去モジュールは、ビーム形成出力、すなわち信号パスフィルタの出力から減じるために、信号ブロッキングフィルタからの干渉を取る。適応ノイズ消去（adaptive noise cancellation：ＡＮＣ）は、ＡＥＣとの類似で説明できるが、その例外は、ＡＮＣのノイズテンプレートは、ビデオゲームコンソールの出力ではなく、マイクロフォンセンサアレイの信号ブロッキングフィルタから生成されるという点を理解すべきである。一実施形態にでは、目的信号の変形をできるだけ押さえつつ、ノイズを最大限に消去するため、ノイズテンプレートとして用いる干渉は、信号ブロッキングフィルタがカバーするソース信号のリークを防ぐものではなければならない。更に、ここに記載されているようにＡＮＣを使用することによって、比較的少ない数のマイクロフォンを小領域（compact region）に配置して、高い干渉除去性能を実現できる。

図１Ａ，１Ｂは、本発明の一実施形態による、ビデオゲームコントローラへのマイクロフォンセンサアレイの配置の例である。図１Ａは、ビデオゲームコントローラ１１０に、直線アレイ形状に等間隔で配置されたマイクロフォンセンサ１１２−１，１１２−２，１１２−３，１１２−４を示す。一実施形態では、マイクロフォンセンサ１１２−１〜１１２−４同士は、約２．５ｃｍ離れている。しかし、マイクロフォンセンサ１１２−１〜１１２−４は、適切な間隔であれば、どのような間隔を置いてビデオゲームコントローラ１１０に配置されてもよい点を理解すべきである。更に、ビデオゲームコントローラ１１０は、ＳＯＮＹ ＰＬＡＹＳＴＡＴＩＯＮ２ビデオゲームコントローラとして示されているが、ビデオゲームコントローラ１１０は、適切なビデオゲームコントローラであれば、どのようなものであってもよい。

図１Ｂは、ビデオゲームコントローラ１１０に設けた８つのセンサであるマイクロフォンセンサ１１２−１〜１１２−８の、等間隔の長方形のアレイ形状を示す。ビデオゲームコントローラ１１０に使用するセンサの個数は、適切であればいかなる数でもよいことが、当業者に明らかであろう。更に、音声サンプリングレートとゲームコントローラの取付可能な領域によって、マイクロフォンセンサアレイの構成が制約されることがある。一実施形態では、アレイ形状には、４〜１２のセンサが含まれ、凸状形状（長方形など）を形成している。凸状形状では、直線アレイのように、音源方向（二次元）の追跡が可能となるのみならず、三次元空間における音の位置の正確な検出が可能となる。下記に更に詳述するように、次元が増えたことで、ノイズリダクションソフトウェアが、三次元の空間体積ベースのアレイ構成のビーム形成を行うことができるようになる。本明細書に記載の実施形態は、通常は直線アレイシステムを指すが、ここに記載の実施形態は、適切であれば、任意の個数のセンサ、どのようなアレイ形状の構成にも拡張可能であることが、当業者に明らかであろう。更に、ここに記載の実施形態は、マイクロフォンアレイが取り付けられているビデオゲームコントローラを指している。しかし、後述する実施形態は、音声入力システムを使用する適切なポータブルコンシューマデバイスであれば、どのようなものにも拡張可能である。

一実施形態では、４個のセンサを使用した代表的なマイクロフォンアレイは、以下の特徴を備えるように構成されうる。
１．音声サンプリングレート１６ｋＨｚ。
２．等間隔に配置された直線アレイ形状。各マイクロフォンセンサ間の間隔は、対象とする最大周波数における波長の半分（例えば２．０ｃｍ）に設定。周波数範囲は約１２０Ｈｚ〜約８ｋＨｚ。
３．４個のセンサを使用したマイクロフォンアレイ用のハードウェアは、サンプリングレート６４ｋＨｚのシーケンシャルＡ／Ｄコンバータも備えうる。
４．マイクロフォンセンサは、汎用の全方向センサでありうる。

ビデオゲームコントローラに取り付けられたマイクロフォンセンサアレイは、音声の記録中に、三次元空間内を６自由度で自由に移動しうるという点を理解すべきである。更に、前述のように、マイクロフォンセンサアレイは、例えばテレビの音声信号、高忠実度の音楽信号、ほかのプレーヤの声、周囲雑音などの、複数のバックグラウンドノイズが存在する極めて騒がしいゲーム環境で使用されうる。このため、ビデオゲームコントローラと通信中のビデオゲームコンソールによって利用可能なメモリ帯域幅と演算パワーにより、ビデオゲームコンソールは、最も高度なリアルタイム信号処理アプリケーションにも応対する汎用プロセッサとして使用できるようになる。更に、上記の構成は代表例であり、限定を意図したものではなく、適切な形状、サンプリングレート、マイクロフォンの個数、センサの種類などは任意に設定できることを理解されたい。

図２は、本発明の一実施形態による堅固な音声入力システムを示す簡略高レベル模式図である。ビデオゲームコントローラ１１０は、マイクロフォンセンサ１１２−１〜１１２−４を有する。ここで、ビデオゲームコントローラ１１０は、高ノイズ環境１１６に存在しうる。高ノイズ環境１１６には、バックグラウンドノイズ１１８、残響ノイズ１２０、話者１２２ａ，１２２ｂから発せられる音響エコー１２６およびソース信号１２８ａが含まれる。一実施形態では、ソース信号１２８ａは、ビデオゲームをプレイ中のユーザの声でありえる。このため、ソース信号１２８ａには、ゲームコンソールまたはビデオゲームアプリケーションが発生させる音楽、爆発、自動車レースなどの音が混入することがある。更に、音楽、ステレオ、テレビ、高忠実度のサラウンドサウンドなどのバックグラウンドノイズがソース信号１２８ａに混入することもある。また、他のゲームプレーヤの声と室内の室内の音響残響のほかにも、例えば、空調、ファン、移動する人、ドアの開閉、屋外での活動、ビデオゲームコントローラへの入力時のノイズなどの環境周囲雑音もソース信号１２８ａに混入する。

ソース信号を分離して、出力ソース信号１２８ｂを供給するために、マイクロフォンセンサ１１２−１〜１１２−４の出力がモジュール１２４によって処理され、この出力ソース信号１２８ｂは、コンピューティングデバイスへの音声コマンドとして、あるいはユーザ間の通信のために使用されうる。モジュール１２４は、音響エコー消去モジュール、適応ビーム形成モジュールおよび適応ノイズ消去モジュールを有する。更に、後述するように、アレイ較正モジュールがバックグラウンドで実行している。図に示すように、モジュール１２４はビデオゲームコンソール１３０に含まれる。以下に詳細に後述するように、モジュール１２４の各種構成要素は、コントローラの位置、向き、移動などを一切制限することなく、ノイズ環境において音声信号を増強するため、ポータブルコンシューマデバイスに合わせて調整されている。前述のように、音響エコー消去がコンソールの音響出力から発生するノイズを低減させつつ、適応ビーム形成が、聴取方向以外から入って来る信号を抑制し、この聴取方向がアダプティブアレイ較正法によって更新される。適応ノイズ消去モジュールは、マイクロフォンセンサアレイと関連付けられている信号フィルタおよびブロッキングフィルタが生成するテンプレートによって、ビーム形成出力から干渉を減じるように構成されている。

図３は、本発明の一実施形態による音響エコー消去法を示す簡略模式図である。前述のように、ＡＥＣは、ビデオゲームコンソール（すなわちユーザがプレイ中のゲーム）が発生させるノイズを除去する。コンソールで再生中の音声信号は、アナログ形式、デジタル形式のいずれで取得されてもよいという点を理解すべきである。取得された信号はノイズテンプレートであり、ビデオゲームコントローラ１１０のマイクロフォンセンサアレイによって取り込まれた信号からこのノイズテンプレートが減算されうる。ここで、音響ソース信号１２８と音響エコー１２６がマイクロフォンセンサアレイによってキャプチャされる。音響エコー１２６は、ビデオゲームコンソールまたはビデオゲームのアプリケーションが発生させる音声信号から発生するという点を理解すべきである。フィルタ１３４は、効果的に音響エコー１２６を消去するテンプレートを生成し、これにより、音響ソース信号１２８を実質的に表している信号が得られる。ＡＥＣは、前処理と呼ばれることがあるという点を理解すべきである。本質的に、ビデオゲームコンソール、あるいは固有の可聴信号を発生させているほかの任意の適切なコンシューマデバイスが発生させる音響エコーがノイズに含まれるノイズ環境では、音響エコー消去法は、ソース信号に影響を与えることなく、これらの音声信号を効果的に除去する。

図４は、本発明の一実施形態による、聴音方向以外の信号を抑制するように構成されたアレイビーム形成モジュールを示す簡略模式図である。一実施形態では、このビーム形成は、フィルタアンドサムビーム形成に基づいている。信号パスフィルタとも呼ばれる有限インパルス応答（finite impulse response：ＦＩＲ）フィルタが、適応可能であるアレイ較正処理によって生成される。このため、ビーム形成は、基本的に、センサアレイを物理的に移動させることなく、ビーム（すなわち聴取方向）をトラッキングして、ビームをソース信号１２８に向けさせるビームフォーマである。焦点方向（focal direction）からの信号を増強させる方法を指すビーム形成は、マイクロフォンセンサ１１２−１〜１１２−ｍを、（物理的にではなく）アルゴリズムによって所望の目的信号に向けさせる処理とも考えられることは、当業者に明らかであろう。センサ１１２−１〜１１２−ｍが対象とする方向は、ビーム形成方向または聴取方向と呼ばれることがあり、実行時に固定されていても、適応可能であってもよい。

ビーム形成の背後にある基本的な概念は、所望の音源から出る音声信号が複数のマイクロフォンセンサのアレイに到達するまでの時間遅延が異なることにある。アレイの形状の配置は予め較正されているため、音源とセンサアレイ間の経路長の差は、既知のパラメータである。このため、相互相関と呼ばれる方法を使用して、異なるセンサからの信号を時間により整合（time-align）する。各センサからの、時間により整合させた信号を、ビーム形成方向に従って重み付けする。次に、重み付けした信号を、センサ固有のノイズ消去構成（noise-cancellation setup）（すなわち、各センサが、信号パスフィルタ１６０に含まれるフィルタである整合フィルタＦ_１〜Ｆ_Ｍ１４２−１〜１４２−Ｍに関連付けられている）によってフィルタする。各センサからのフィルタされた信号をモジュール１７２によって合算して、出力Ｚ（ω，θ）を生成する。上記の方法は、自己相関と呼ばれることがあるという点を理解すべきである。更に、信号がビーム形成方向に存在しないとき、これらの信号は時間軸に沿って整合されていない状態に留まるため、このような信号は、平均化によって減衰される。アレイベースのキャプチャシステムに一般的なように、所望の空間方向（直線形状の配置を使用する）または空間体積（凸形状のアレイ配置を使用する）から音をキャプチャするマイクロフォンアレイの全体的な性能は、音源の位置を特定して、これを追跡できる能力によって決まる。しかし、ビデオゲーム環境などの、複雑な残響ノイズが存在する環境では、環境固有のパラメータを統合せずに、一般の音位置追跡システムを構築することは、ほぼ不可能である。

図４を続けて参照すると、別の実施形態では、適応ビーム形成は、２部構成の処理として説明することもできる。第１の処理では、ブロードサイドノイズ（broadside noise）がファーフィールドに存在すると仮定する。すなわち、音源１２８からマイクロフォンの中心１１２−１〜１１２−Ｍまでの距離は、初期には音源１２８が各マイクロフォンセンサに対して垂直の位置に存在するとみなすことができる程に十分に大きいとする。例えば、マイクロフォンセンサ１１２−ｍについては、音源が線１３６に沿って存在しているとする。このため、ブロードサイドノイズは、ここでＦ１と呼ぶフィルタを適用することで増強される。次に、定期的に較正される信号パスフィルタは、マイクロフォンセンサアレイを移動に適応可能にするＦ２と呼ばれる因子を決定するように構成される。Ｆ２の決定については、アダプティブアレイ較正モジュールに関して後述する。一実施形態では、信号パスフィルタは１００ミリ秒毎に較正される。このため、１００ミリ秒毎に、信号パスフィルタが固定ビーム形成に適用される。一実施形態では、整合フィルタ１４２−１〜１４２−Ｍが各マイクロフォンのステアリング因子（Ｆ２）を供給し、これにより、線１３８−１〜１３８−Ｍに示すように聴取方向が調整される。図４に示すθの入射角で、センサに向かって伝搬するサイン波ファーフィールド平面波を考慮すると、この波が２つの隣接するセンサ間の距離ｄを進む際の時間遅延は、ｄ_ｍｃｏｓθによって与えられる。

一実施形態では、ビームフォーマは、センサのアレイと共に使用され、多様な形態（versatile form）の空間フィルタリングを提供するプロセッサである。センサアレイは伝搬波フィールドの空間サンプルを収集し、このサンプルがビームフォーマによって処理される。その目的は、ノイズおよび干渉信号の存在下で、所望の方向から到着する信号を推定することにある。ビームフォーマは、重なり合う周波数成分を有するが、別の空間位置から発せされた信号を分離するために、空間フィルタリングを実行する。固定ビーム形成に関する更に詳しい説明は、バリー・Ｄ・ヴァンフェーン（Barry D. Van Veen）およびケビン・Ｍ・バックリー（M. Buckley）、“Beamforming: A Versatile Approach to Spatial Filtering”、IEEE ASSP MAGAZINE、１９８８年４月の文献に記載されている。

図５は、本発明の一実施形態による、音声信号のノイズ成分とソース信号成分とを分離するためのブラインド音源分離法を示す高レベル模式図である。音声信号中のソース信号およびノイズに関しては明示的な情報が得られないという点を理解すべきである。しかし、ソース信号とノイズの特徴が異なっていることはわかっている。例えば、第１の話者の音声信号と第２の話者の音声信号は、２人の話者の声が異なり、ノイズの種類が異なるため区別できる。このため、入って来る音声信号（ノイズとソース信号を含む）を表すデータ１５０は、データマイニング操作により、ノイズ成分１５２とソース信号１５４に分離される。次に、分離フィルタ１６０によって、ソース信号１５０がノイズ信号１５２から分離される。

本発明の一実施形態によれば、データマイニングを実行する１つの方法として、データを解析して、二次統計（second ordar statistic）によって独立成分を見つける独立成分分析（independent component analysis：ＩＣＡ）による方法がある点を当業者は理解するであろう。このため、さまざまな音を区別する音指紋をキャプチャするために、二次統計を計算して、データの特徴を記述または定義する。次に、ソース信号をノイズ信号から分離するために、分離フィルタが有効化される。図７Ａ〜７Ｃを参照して示すように、音指紋の計算は定期的に実行されるという点を理解すべきである。このため、ブラインドソース分離を使用するこのアダプティブアレイ較正処理によって、聴取方向が各期間において調整されうる。ひとたび分離フィルタ１６０によって信号が分離されると、トラッキングの問題が解決されることは、当業者にとって明らかである。すなわち、センサアレイの複数のマイクロフォンに基づいて、ソース信号１５４のトラッキングに使用する時間到着遅延が決定されうる。上で言及した二次統計は、自動相関法または相互相関法と呼ばれることがあることを当業者は理解するであろう。一実施形態では、相関された定常雑音が原因で生じるバイアス効果を回避するために、データ中の非定常的な特徴を利用するクロススペクトル法の１つの変更例を自動自己相関法として用いることができる。この方法は、音声または画像など、所望の信号が、その性質上非定常である場合に、多重チャンネル信号増強およびノイズ消去の問題にとって特に魅力あるものである。二次統計を使用したブラインドソース分離に関する更に詳しい説明は、Ｏ．シェルビ（O. Shalvi）およびＥ．ウェインスタイン（E. Weinstein）、“System Identification Using Non-Stationary Signals”、IEEE Transactions on Signal Processing、第４４巻、第８号、２０５５〜２０６３ページ、１９９６年８月の文献に記載されている。

図６は、本発明の一実施形態による適応ノイズ消去を採用したマイクロフォンアレイフレームワークを示す模式図である。ノイズとソース信号を含む音声信号１６６が、ビデオゲームコントローラなどのポータブルコンシューマデバイス１１０に取り付けられうるマイクロフォンセンサアレイによって受信される。次に、ポータブルコンシューマデバイス１１０によって受信された音声信号が、ＡＥＣモジュール１６８によって前処理される。ここで、図３に関して記載したように、音響エコー消去が実行される。マイクロフォンアレイ内のマイクロフォンセンサの個数に対応している信号Ｚ_１〜Ｚ_ｎが生成され、チャネル１７０−１〜１７０−ｎを介して分配される。チャネル１７０−１は基準チャネルであるという点を理解すべきである。次に、対応する信号が、フィルタアンドサムモジュール１６２に伝えられる。フィルタアンドサムモジュール１６２が図４を参照して記載した適応ビーム形成を実行するという点を理解すべきである。同時に、チャネル１７０−１〜１７０−ｍからの信号がブロッキングフィルタ１６４に伝えられる。

ブロッキングフィルタ１６４は、目的信号がノイズとしてとらえられる場合に、逆ビーム形成を実行するように構成されている。このため、ブロッキングフィルタ１６４は、ソース信号を減衰させ、ノイズを増強する。すなわち、ブロッキングフィルタ１６４は、較正係数Ｆ３を決定するように構成されており、この係数は、適応ビーム成形処理で決定された較正係数Ｆ２の逆数と考えることができる。図５を参照して記載したアダプティブアレイ較正が、ここに記載した処理のバックグラウンドで行われていることを当業者は理解するであろう。フィルタアンドサムモジュール１６２とブロッキングフィルタモジュール１６４は、分離フィルタ１６０を構成している。次に、ノイズ増強信号Ｕ_２〜Ｕ_ｍが、それぞれ対応する適応フィルタ１７５−２〜１７５−ｍに送られる。適応フィルタ１７５−２〜１７５−ｍは、適応フィルタモジュール１７４に含まれる。ここで、適応フィルタ１７５−２〜１７５−ｍは、モジュール１７６での加算演算のために、対応する信号を整合させるように構成されている。ノイズは定常ではなく、このため、加算演算の前に信号を整合させる必要があることを当業者は理解するであろう。図６を続けて参照すると、次に、加算演算モジュール１７８によってノイズ低減信号を供給するために、モジュール１７６による加算演算で得られた信号が、モジュール１７２による加算演算からの信号出力と結合される。すなわち、所望のソース信号を増強するように、モジュール１７２の増強信号出力が、モジュール１７６からのノイズ増強信号と結合される。ブロック１８０は適応ノイズ消去操作を表す点を理解すべきである。更に、一実施形態では、検出された信号対雑音比が０デシベルを超えている限り、バックグラウンドに存在するアレイ較正が１００ミリ秒毎に行われうる。前述のように、アレイ較正により、フィルタアンドサムビームフォーマ１６２で使用される信号パスフィルタと、信号対雑音比が−１００デシベル未満の純粋な干渉（pure interference）を生成する信号ブロッキングフィルタ１６４が更新される。

一実施形態では、マイクロフォンセンサアレイの出力信号が後処理モジュールに送られ、ベイジアン統計モデリングによって、人物固有の音声スペクトルフィルタリングに基づいて処理され、音声品質が更に向上される。例えば、ここでは、高品質の増強音声を作成する一方で、演算要件の少ないスペクトル領域アルゴリズムを使用することができる。このアルゴリズムは、音声信号のモデル化に混合ガウス分布を使用するというという点で、隠れマルコフモデル（hidden Markov model：ＨＭＭ）をベースとした最小二乗平均誤差推定（minimum mean square error：ＭＭＳＥ）フィルタリングアルゴリズムと似ている。しかし、ＨＭＭ／ＭＭＳＥアルゴリズムが時間領域の自己回帰モデルとの混合を使用している一方、スペクトル領域アルゴリズムは対角共分散ガウス分布（diagonal covariance Gaussian）の混合によって対数スペクトルをモデル化している。一実施形態では、ＭＩＸＭＡＸ（Mixture-Maximum）近似に従って新しい音声増強アルゴリズムが提唱される。この目的のため、このアルゴリズムを高品質の、複雑さの少ない音声増強アルゴリズムとするために、各種の変形例、適応および改良がこのアルゴリズムに対してなされてきた。ノイズに適応し、離散密度のＨＭＭベースの音声認識アルゴリズムを設計するために、ＭＩＸＭＡＸモデルが使用されうるという点を理解すべきである。別の実施形態では、ノイズに適応し、連続密度のＨＭＭベースの各種音声認識システムを設計するために、ＭＩＸＭＡＸモデルが使用される。

スペクトル領域アルゴリズムは、再現された音声の品質を改善するために有効であることが実証されている新しい音声増強アルゴリズムである。その導出は、元来ノイズ適応音声認識アルゴリズムを設計するために提唱されたＭＩＸＭＡＸモデルをベースとしている。これもタイドバリアンス（tied variance）を採用した二重コードブック法を使用するなどのいくつかの変更および単純化より、基本的に性能を犠牲にすることなく、モデルパラメータの数を大幅に減らす（このため、アルゴリズムのメモリおよび演算の要件をできるだけ低減する）ことが可能となる。音声スペクトルフィルタリングに関する詳細な情報は、デイビッド・バーシュテイン（David Burshtein）、“Speech Enhancement Using a Mixture-Maximum Model”、IEEE Transactions on Speech and Audio Processing、第１０巻、第６号、２００２年９月、の文献に記載されている。ここで言及した信号処理アルゴリズムは周波数領域で実行されるという点を理解すべきである。さらに、リアルタイムの信号応答を得るために、高速かつ高効率な高速フーリエ変換（Fast Fourier transform：ＦＦＴ）が適用される。一実施形態では、実装されたソフトウェアは、各信号入力の塊（サンプリングレート１６ｋＨｚにおいて５１２の信号サンプル）について、ウィンドウ長１０２４のＦＦＴ操作を２５回必要とする。直線形状に等間隔で配置された４個のセンサを有するマイクロフォンアレイの代表的な例では、音響エコー消去およびベイジアンモデルをベースとした音声スペクトルフィルタリングを適用しない場合に、必要な全演算は約２５０メガの浮動小数点演算（２５０ＭＦＬＯＰＳ：mega floating point operations）となる。

図６を続けて参照すると、分離フィルタ１６０は、ＱＲ直交化手順によって、この範囲および零空間にある２つの直角成分に分解される。すなわち、零空間から信号ブロッキングフィルタ係数（Ｆ３）が得られ、順位空間（rank space）から信号パスフィルタ係数（Ｆ２）が得られる。この処理は、一般化サイドローブキャンセラ（Generalized Sidelobe Canceler：ＧＳＣ）手法として特徴づけられうる。

線形制約最小分散（linearly constrained minimum variance：ＬＣＭＶ）ビーム形成の背後にある基本的な概念は、対象の方向から来る信号が指定されたゲインおよび位相で通過するように、ビームフォーマの応答を制約することにあるという点を理解すべきである。応答制約を受ける出力の差異またはパワーを最小化するため、重みが選択される。これは、対象の方向以外の方向から到着する干渉信号およびノイズによる、出力への影響をできるだけ低減しつつ、所望の信号を保存するという効果を有する。類似するＦＩＲフィルタは、周波数ω_０の信号に対するフィルタ応答を１とする制約を受けるフィルタ出力パワーを最小化するように重みが選ばれる。

一般化サイドローブキャンセラ（generalized sidelobe canceller：ＧＳＣ）はＬＣＭＶ問題の別の手法であり、洞察を与え、解析に有用であり、ＬＣＭＶビームフォーマの実装を単純化することができる。また、これは、マルチサイドローブキャンセラ（multiple sidelobe canceller：ＭＳＣ）とＬＣＭＶビーム形成の関係を示している。本質的に、ＧＳＣは、制約付きの最小化問題を制約のない形に変えるメカニズムである。一実施形態では、ビームフォーマは、センサのアレイで受信されたデータの重み付けされた組み合わせとして、スカラー出力信号を形成する。この実施形態において、重みは、ビームフォーマの空間フィルタリング特性を決定し、周波数成分が重複する信号が別の場所から発せされた場合に、これらの信号を分離できるようにする。受信データに依存しない固定の応答を与えるために、データに依存しないビームフォーマにおける重みが選択される。統計学的に最適なビームフォーマは、データの統計に基づいてビームフォーマ応答を最適化する重みを選択する。データの統計は多くの場合未知であり、経時変化する可能性があるため、適応アルゴリズムを使用して、統計学的に最適な解に収束する重みを得る。演算上の考慮事項のため、多数のセンサから構成されるアレイでは、部分的に適応可能なビームフォーマの使用をしなければならない。ＧＳＣ手法に関する更に詳しい説明は、前述の文献“Beamforming: A Versatile Approach to Spatial Filtering”に記載されている。

図７Ａ〜７Ｃは、本発明の一実施形態による、図６のフレームワークによる処理方式をグラフによって示す図である。図７Ａの線１９０で示すノイズとソース信号のレベルは、音響エコー消去によって除去されるゲームからの音声信号を含んでおり、図７Ｂは、図７Ａのノイズとソース信号のレベル１９０の音響エコー消去部分１９４を表している。上で言及したアダプティブアレイ較正処理が、異なる時間（例えばｔ_１〜ｔ_４）において定期的に行われる。このため、領域１９２ａ〜１９２ｃで表す一定数のブロックの後、対応する較正係数Ｆ２およびＦ３が、対応するフィルタアンドサムモジュールおよびブロッキングフィルタモジュールのために利用可能となる。

一実施形態では、較正係数を決定するために、初期化時に約３０のブロックがサンプリングレート１６ｋＨｚで使用される。このため、較正係数は、演算開始から約２秒で利用可能となる。較正係数が利用可能となるまでは、Ｆ２およびＦ３にデフォルト値が使用される。一実施形態では、Ｆ２のデフォルトフィルタベクトルは線形位相オールパスＦＩＲ（Linear-Phase All-Pass FIR）であり、Ｆ３のデフォルト値はＦ２である。図７Ｃは、線１９２で示すクリーンなソース信号を生成するため、音響エコー消去、適応ビーム形成および適応ノイズ消去が適用されたソース信号を示している。

図８は、本発明の一実施形態による、ノイズ環境においてソース信号をトラッキングするように構成されたポータブルコンシューマデバイスを示す簡略模式図である。ここで、ソース信号１２８は、ノイズ２００と共にマイクロフォンセンサアレイ１１２によって検出されている。ポータブルコンシューマデバイス１１０は、マイクロプロセッサ、すなわち中央演算処理装置（ＣＰＵ）２０６、メモリ２０４、ならびにフィルタおよび増強モジュール２０２を有する。中央演算処理装置２０６、メモリ２０４、フィルタおよび増強モジュール２０２、ならびにマイクロフォンセンサアレイ１１２は、バス２０８を介して相互に通信している。フィルタリングおよび増強モジュール２０２は、ソフトウェアをベースとしたモジュールであっても、ハードウェアをベースとしたモジュールであってもよいという点を理解すべきである。すなわち、フィルタおよび増強モジュール２０２は、ノイズ環境からクリーンな信号を得るために、処理命令を有してもよい。別の実施形態では、フィルタおよび増強モジュール２０２は、処理命令と同じ結果を実現するように構成された回路であってもよい。ＣＰＵ２０６、メモリ２０４、ならびにフィルタおよび増強モジュール２０２はビデオゲームコントローラ１１０に一体化されているように示されているが、この例は代表例である点を理解すべきである。図２を参照して示したように、各構成要素は、ビデオゲームコントローラと通信中のビデオゲームコンソールに含まれてもよい。

図９は、本発明の一実施形態による、音声信号に関連するノイズを低減させるための方法操作を示すフローチャート図である。この方法は、操作２１０で開始し、聴取方向に関連する目的信号が第１のフィルタによって増強される。ここで、前述のように、フィルタアンドサムモジュールによって実行される適応ビーム形成が適用されうる。図６を参照して前述したように、音響エコー消去に関連する前処理が、演算２１０の前に適用されてもよいという点を理解すべきである。次に、方法は演算２１２に進み、目的信号が第２のフィルタによってブロックされる。ここで、図６を参照したブロッキングフィルタが、目的信号をブロックして、ノイズを増強するために使用されうる。前述のように、第１のフィルタおよび第２のフィルタに関連する値が、バックグラウンドで実行しているアダプティブアレイ較正法によって計算されうる。前述のように、アダプティブアレイ較正法は、ブラインドソース分離および独立成分分析を使用しうる。一実施形態では、アダプティブアレイ較正法のために二次統計が使用される。

次に、方法は演算２１４に進み、第１のフィルタの出力と第２のフィルタの出力が、目的信号を変形させずにノイズを低減させるように結合される。上記のように、第１のフィルタと第２のフィルタの結合は、適応ノイズ消去によって実現される。一実施形態では、第２のフィルタの出力は、第１のフィルタの出力と結合される前に整列される。次に、方法は演算２１６に進み、音声信号に関連する音響構成が定期的に監視される。ここで、前述したアダプティブアレイ較正が実行されうる。音響構成とは、上で述べたように、マイクロフォンセンサアレイを有するポータブルコンシューマデバイスの位置の変化と、ユーザに対する相対位置とを指す。次に、方法は演算２１８に進み、この音響構成に基づいて第１のフィルタと第２のフィルタが較正される。ここで、所望の結果を実現するために、対応するフィルタリング演算のため前述したフィルタＦ２およびＦ３が決定されて、信号に適用される。すなわち、Ｆ２は、聴取方向に関連する信号を増強するように構成され、Ｆ３は、聴取方向以外から発せられる信号を増強するように構成されている。

以上まとめると、上記に記載した発明は、高ノイズ環境において音声入力を提供するための方法および装置について記載している。この音声入力システムは、ＳＯＮＹ ＰＬＡＹＳＴＡＴＩＯＮ２（登録商標）用のビデオゲームコントローラやその他の任意の適切なビデオゲームコントローラなどのビデオゲームコントローラに取り付けられうるマイクロフォンアレイを有する。マイクロフォンアレイは、ビデオゲームコントローラの移動に一切の制限を課さないように構成されている。マイクロフォンアレイのマイクロフォンセンサによって受信された信号には、フォアグラウンドの話者または音声信号、および部屋の残響を含む各種バックグラウンドノイズが含まれると仮定される。異なるセンサからのバックグラウンドおよびフォアグラウンドの時間遅延が異なるため、周波数スペクトル領域におけるこれらの二次統計は互いとは独立しており、このため、周波数成分に基づいて信号を分離することができる。次に、分離した信号周波数成分が再び結合されて、フォアグラウンドの所望の音声信号が再現される。ここに記載した実施形態は、ノイズ環境においてビデオゲーム用のコマンドを発行するか、または他のプレーヤと通信するためのリアルタイム音声入力システムを規定しているという点を更に理解すべきである。

ここに記載されている実施形態は、オンラインゲームアプリケーションにも適用しうるという点を理解すべきである。すなわち、前述の実施形態は、インターネットなどの分散ネットワークを介してビデオ信号を複数のユーザに送信するサーバで行われ、ノイズのある遠隔地点でプレーヤが相互に通信できるようにする。ここに記載した実施形態は、ハードウェア実装、ソフトウェア実装のいずれによって実装されてもよいという点を更に理解すべきである。すなわち、上で述べた機能の説明を組み合わせて、マイクロフォンアレイフレームワークに関連する各モジュールの機能タスクを実行するように構成されたマイクロチップを定義してもよい。

上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。これらの操作には、物理量の物理的な操作を必要とする操作が含まれる。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、識別、決定または比較などと呼ばれることが多い。

上記した発明は、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースのプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成によって実施されてもよい。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、通信ネットワークを介してリンクされる遠隔処理デバイスによってタスクが実行される。

本発明は、また、計算機可読媒体上の計算機可読コードとして実施されてもよい。計算機可読媒体は、コンピュータシステムによって後から読取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものであってもよい。計算機可読媒体の例には、ハードディスク、ネットワーク接続記憶装置（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、計算機可読媒体は、計算機可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。

以上、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。

特許請求の範囲において、各種構成要素および／またはステップの順序は、請求項に明示的に記載されていない限り、特定の操作の順序を示すものではない。

本発明の一実施形態による、ビデオゲームコントローラへのマイクロフォンセンサアレイの配置の例である。 本発明の一実施形態による、ビデオゲームコントローラへのマイクロフォンセンサアレイの配置の例である。 本発明の一実施形態による堅固な音声入力システムを示す簡略高レベル模式図である。 本発明の一実施形態による音響エコー消去法を示す簡略模式図である。 本発明の一実施形態による、聴音方向以外の信号を抑制するように構成されたアレイビーム形成モジュールを示す簡略模式図である。 本発明の一実施形態による、音声信号のノイズ成分とソース信号成分とを分離するためのブラインド音源分離法を示す高レベル模式図である。 本発明の一実施形態による適応ノイズ消去を採用したマイクロフォンアレイフレームワークを示す模式図である。 本発明の一実施形態による、図６のフレームワークによる処理法をグラフによって示す図である。 本発明の一実施形態による、図６のフレームワークによる処理法をグラフによって示す図である。 本発明の一実施形態による、図６のフレームワークによる処理法をグラフによって示す図である。 本発明の一実施形態による、ノイズ環境においてソース信号をトラッキングするように構成されたポータブルコンシューマデバイスを示す簡略模式図である。 本発明の一実施形態による、音声信号に関連するノイズを低減させるための方法操作を示すフローチャート図である。

Claims (24)

1. その使用中にマイクロフォンアレイによって受信された音声信号を処理する方法であって、
   信号を受信するステップと、
   前記信号の増強ソース成分を得るために第１のフィルタにより実行されるビーム形成処理を用いて前記信号に適応ビーム形成処理を行うするステップと、
   前記信号の増強ノイズ成分を得るために第２のフィルタにより実行される前記信号に逆ビーム形成処理を行うステップと、
   ノイズ低減信号を生成するために前記増強ソース成分と前記増強ノイズ成分とを結合するステップと、を有し、前記ノイズ低減信号を生成するために前記増強ソース成分と前記増強ノイズ成分とを結合するステップには、適応フィルタによって前記信号の前記増強ノイズ成分を整合させるステップが含まれ、
   前記音声信号の位置をトラッキングするために前記第１のフィルタの前記ビーム形成処理及び前記第２のフィルタの逆ビーム形成処理を用いてバックグラウンドでの処理として音響構成を監視し、かつ、その使用中に目的信号成分の方向に前記第１のフィルタ及び前記第２のフィルタを向けるように前記監視された音響構成に基づいて前記第１のフィルタと前記第２のフィルタの両方を定期的に較正し、
   前記マイクロフォンアレイの聴取方向が、その使用中に、前記音声信号を増強するように制御され、
   前記信号の増強ソース成分を得るために前記信号に適応ビーム形成処理を行う方法操作は、
   前記信号を解析するステップと、
   前記信号をノイズ成分信号とソース信号とに分離するステップと、を有し、
   前記信号をノイズ成分信号とソース信号とに分離する方法操作は、
   前記信号に関連する二次統計を計算するステップを有する、方法。
2. 前記信号から音響エコーを消去するステップを更に有する請求項１に記載の方法。
3. 前記信号の増強ソース成分を得るために前記信号に適応ビーム形成処理を行う方法操作は、
   ブロードサイドノイズ信号を増強するステップと、
   較正係数を計算するステップと、
   前記増強されたブロードサイドノイズ信号に前記較正係数を適用するステップと、
   前記較正係数に基づいて聴取方向を調整するステップと、を有する請求項１に記載の方法。
4. ゲーム中にゲームコントローラのマイクロフォンセンサアレイによって受信される音声信号に関連するノイズを低減させる方法であって、
   前記ゲームコントローラに設けられた少なくとも２つのマイクロフォンから目的信号成分及びノイズ信号成分とを検出し、
   第１のフィルタによってビーム形成処理を行うことで前記音声信号の前記目的信号成分を増強するステップと、
   第２のフィルタによって逆ビーム形成処理を行うことで前記目的信号成分をブロックするステップと、
   適合フィルタによって前記第２のフィルタの出力を整合させるステップと、
   前記目的信号を変形させずにノイズ信号成分を低減させるように、前記第１のフィルタの出力と前記適合フィルタの出力とを結合するステップと、
   前記目的信号成分をトラッキングするために前記第１のフィルタの前記ビーム形成処理及び前記第２のフィルタの逆ビーム形成処理バックグラウンドでの処理として前記音声信号に関連する音響構成を監視するステップと、
   ゲーム中に目的信号成分の方向に前記第１のフィルタ及び前記第２のフィルタを向けるように、前記監視された音響構成に基づいて前記第１のフィルタの値と前記第２のフィルタの値の両方を定期的に較正するステップと、
   二次統計によって前記目的信号成分とノイズ信号成分とを定義するステップを有し、
   前記逆ビーム形成処理では、前記目的信号成分をトラッキングするとともに前記目的信号成分の方向に向けるために、前記音声信号に関連する二次統計を使用してブラインド音源分離法を適用するステップを有する、方法。
5. 前記目的信号成分と前記ノイズ信号成分とを分離するステップと、
   前記マイクロフォンセンサアレイの各マイクロフォンセンサに関連する時間遅延を求めるステップと、を更に有する請求項４に記載の方法。
6. 前記音響構成はユーザと前記マイクロフォンセンサアレイとの相対位置を指す請求項４に記載の方法。
7. 前記較正は１００ミリ秒毎に行われる請求項４に記載の方法。
8. その使用中にマイクロフォンアレイによって受信された音声信号を処理するプログラム命令を有する計算機可読媒体であって、
   信号を受信するプログラム命令と、
   前記信号の増強ソース成分を得るために第１のフィルタにより実行されるビーム形成処理を用いて前記信号に適応ビーム形成処理を行うプログラム命令と、
   前記信号の増強ノイズ成分を得るために第２のフィルタにより実行される前記信号に逆ビーム形成処理を行うプログラム命令と、を有し、前記ノイズ低減信号を生成するために前記増強ソース成分と前記増強ノイズ成分とを結合するプログラム命令には、適応フィルタによって前記信号の前記増強ノイズ成分を整合させるプログラム命令が含まれ、
   前記音声信号の位置をトラッキングするために前記第１のフィルタの前記ビーム形成処理及び前記第２のフィルタの逆ビーム形成処理を用いてバックグラウンドでの処理として音響構成を監視し、かつ、その使用中に目的信号成分の方向に前記第１のフィルタ及び前記第２のフィルタを向けるように前記監視された音響構成に基づいて前記第１のフィルタと前記第２のフィルタの両方を定期的に較正するプログラム命令を有し、
   前記マイクロフォンアレイの聴取方向を、その使用中に、前記音声信号を増強するように制御するためのプログラム命令を有し、
   前記信号の増強ソース成分を得るために前記信号に適応ビーム形成処理を行う前記プログラム命令は、
   前記信号を解析するプログラム命令と、
   前記信号をノイズ成分信号とソース信号とに分離するプログラム命令とを有し、
   前記信号をノイズ成分信号とソース信号とに分離する前記プログラム命令は、
   前記信号に関連する二次統計を算出するプログラム命令を有する計算機可読媒体。
9. ノイズ低減信号を生成するために前記増強ソース成分と前記増強ノイズ成分とを結合する前記プログラム命令は、
   適応フィルタによって前記信号の前記増強ノイズ成分を整合させるプログラム命令を有する請求項８に記載の計算機可読媒体。
10. 前記信号から音響エコーを消去するプログラム命令を更に有する請求項８に記載の計算機可読媒体。
11. 前記信号の増強ソース成分を得るために前記信号に適応ビーム形成処理を行う前記プログラム命令は、
    ブロードサイドノイズ信号を増強するプログラム命令と、
    較正係数を計算するプログラム命令と、
    前記増強されたブロードサイドノイズ信号に前記較正係数を適用するプログラム命令と、
    前記較正係数に基づいて聴取方向を調整するプログラム命令と、を有する請求項８に記載の計算機可読媒体。
12. ゲーム中にゲームコントローラのマイクロフォンセンサアレイによって受信される音声信号に関連するノイズを低減させるプログラム命令を有する計算機可読媒体であって、
    前記ゲームコントローラに設けられた少なくとも２つのマイクロフォンから目的信号成分及びノイズ信号成分とを検出するプログラム命令と、
    聴取方向に関連する目的信号を第１のフィルタによってビーム形成処理を行うことで増強するプログラム命令と、
    第２のフィルタによって逆ビーム形成処理を行うことで前記目的信号をブロックするプログラム命令と、
    適合フィルタによって前記第２のフィルタの出力を整合させるプログラム命令と、
    前記目的信号を変形させずにノイズ信号成分を低減させるように、前記第１のフィルタの出力と前記適合フィルタの出力とを結合するプログラム命令と、
    前記目的信号成分をトラッキングするために前記第１のフィルタの前記ビーム形成処理及び前記第２のフィルタの逆ビーム形成処理バックグラウンドでの処理として前記音声信号に関連する音響構成を監視するプログラム命令と、
    ゲーム中に目的信号成分の方向に前記第１のフィルタ及び前記第２のフィルタを向けるように、前記監視された音響構成に基づいて前記第１のフィルタの値と前記第２のフィルタの値の両方を定期的に較正するプログラム命令と、を有し、
    前記音響構成に基づいて前記第１のフィルタの値と前記第２のフィルタの値の両方を較正するプログラム命令は、
    前記音声信号に関連する二次統計を使用してブラインド音源分離法を適用するプログラム命令を有する計算機可読媒体。
13. 二次統計によって前記音声信号の前記目的信号成分とノイズ信号成分とを定義するプログラム命令を更に有する請求項１２に記載の計算機可読媒体。
14. 前記目的信号成分と前記ノイズ信号成分とを分離するプログラム命令と、
    前記マイクロフォンセンサアレイの各マイクロフォンセンサに関連する時間遅延を求めるプログラム命令と、を更に有する請求項１２に記載の計算機可読媒体。
15. その使用中に複数のノイズ源から目的音声信号を分離可能なシステムであって、
    使用中のユーザの位置とは独立して移動するように構成されたポータブルコンシューマデバイスを有し、
    前記ポータブルコンシューマデバイスの移動を制限することなく前記目的音声信号を増強するように構成された論理回路を有するコンピューティングデバイスを有し、前記論理回路は、第１のフィルタにより実行されるビーム形成処理を用いて前記目的音声信号を増強し、第２のフィルタにより実行される逆ビーム形成処理を通じて前記目的音声信号をブロックし、適合フィルタによって前記第２のフィルタの出力を整合させ、前記目的音声信号の位置をトラッキングするために前記第１のフィルタの前記ビーム形成処理及び前記第２のフィルタの逆ビーム形成処理を用いてバックグラウンドでの処理として音響構成を監視し、かつ、ゲーム中に目的信号成分の方向に前記第１のフィルタ及び前記第２のフィルタを向けるように前記監視された音響構成に基づいて前記第１のフィルタと前記第２のフィルタの両方を定期的に較正するものであり、
    前記ポータブルコンシューマデバイスに取り付けられ、音声信号をキャプチャするように構成されたマイクロフォンアレイを有し、前記マイクロフォンアレイに関連する聴取方向が、その使用中に、前記目的音声信号を増強するように構成された前記論理回路によって制御され、
    前記音響構成に基づいて前記第１のフィルタの値と前記第２のフィルタの値の両方を較正するプログラム命令は、
    前記音声信号に関連する二次統計を使用してブラインド音源分離法を適用するプログラム命令を有するシステム。
16. 前記コンピューティングデバイスは前記ポータブルコンシューマデバイスと通信可能である請求項１５に記載のシステム。
17. 前記コンピューティングデバイスは、
    前記目的信号を変形させずにノイズを低減させるように、第１のフィルタの出力と前記第２のフィルタの出力とを結合する論理回路と、
    を有する請求項１５に記載のシステム。
18. 前記マイクロフォンアレイは、凸形状および直線状の形状のうちの一方に構成されている請求項１５に記載のシステム。
19. 前記マイクロフォンアレイのマイクロフォン間の間隔が約２．５センチメートルである請求項１５に記載のシステム。
20. 前記ポータブルコンシューマデバイスはビデオゲームコントローラであり、前記コンピューティングデバイスはビデオゲームコンソールである請求項１５に記載のシステム。
21. 目的音声信号を増強するためのシステムであって、
    ビデオゲームコントローラに取り付けられ、前記目的音声信号およびノイズを含む音声信号を検出するように構成されたマイクロフォンアレイと、
    前記音声信号が前記ゲームコントローラの前記マイクロフォンアレイにより受信されたときに前記音声信号を処理するように構成された回路と、を備えたコンピュータシステムと、を有し、
    前記コンピュータシステムは、
    逆ビーム形成処理を用いて前記ノイズをフィルタするとともにビーム形成処理を用いて前記目的音声信号を増強するフィルタリング及び増強回路と、
    ゲーム中における前記目的信号の発生源位置に対する前記ビデオゲームコントローラの位置の変化を監視するためにバックグラウンドでの処理として前記ビーム形成処理及び前記逆ビーム形成処理を用いる監視論理回路と、を有し、
    前記ノイズの前記フィルタ及び前記目的音声信号の増強では、前記フィルタリング及び増強回路を前記目的音声信号の発生源の位置に向けるために周期的に較正が行われ、
    前記フィルタリングおよび増強論理回路は、
    ブラインド音源分離法によって前記ノイズから前記目的音声信号を分離するように構成された分離フィルタ論理回路を有し、
    前記ブラインド音源分離法は、前記音声信号に対応するデータから導出された二次統計に関連するシステム。
22. 前記分離フィルタ論理回路は、
    監視及び較正を定期的に行うために分離フィルタ値を定期的に計算するように構成されたアダプティブアレイ較正論理回路を有し、
    前記分離フィルタ値は前記マイクロフォンアレイに関連する聴取方向を調整可能である請求項２１に記載のシステム。
23. 集積回路であって、
    複数のノイズ源が存在する環境においてマイクロフォンアレイからその使用中において音声信号を受信するように構成された回路と、
    前記ゲームコントローラに設けられた少なくとも２つのマイクロフォンから目的信号成分及びノイズ信号成分とを検出するように構成された回路と、
    第１のフィルタによってビーム形成処理を行うことで聴取方向信号を増強するように構成された回路と、
    第２のフィルタによって逆ビーム形成処理を行うことで前記聴取方向信号をブロックするように構成された回路と、
    適合フィルタによって前記第２のフィルタの出力を整合させるように構成された回路と、
    前記目的信号を変形させずにノイズ低減信号を得るために、前記第１のフィルタの出力と前記適合フィルタの出力とを結合するように構成された回路と、
    前記目的信号成分をトラッキングするために前記第１のフィルタの前記ビーム形成処理及び前記第２のフィルタの逆ビーム形成処理バックグラウンドでの処理として前記音声信号に関連する音響構成を監視するように構成された回路と、
    ゲーム中に目的信号成分の方向に前記第１のフィルタ及び前記第２のフィルタを向けるように、前記監視された音響構成に基づいて前記第１のフィルタの値と前記第２のフィルタの値の両方を定期的に較正する回路と、を有し、
    信号パスフィルタおよびブロッキングフィルタのうちの一方を導出するために前記音声信号に関連するデータに二次統計を適用する集積回路。
24. 前記集積回路は、ビデオゲームコントローラおよびビデオゲームコンソールのうちの一方に含まれる請求項２３に記載の集積回路。

Images