JP4455614B2 - 音響信号処理方法及び装置 - Google Patents

Description

本発明は、入力音響信号中の目的音声信号を強調して出力する音響信号処理方法及び装置に関する。

音声認識技術を実環境で利用する場合、周囲の雑音は認識率に大きな影響を及ぼす。自動車の車内を例にとると、車のエンジン音、風切り音、対向車や追い越し車両の音、及びカーオーディオの音など、音声以外の多くの雑音が存在する。これらの雑音は、発声者の声に混ざって音声認識装置へ入力され、認識率を大きく低下させる原因となる。

このような雑音の問題を解決する方法の一つとして、雑音抑圧技術の一つであるマイクロホンアレーの利用があげられる。マイクロホンアレーは、複数のマイクロホンから入力された音響信号に対して信号処理を行い、目的音声を強調して出力するシステムである。マイクロホンアレーによる雑音抑圧技術は、ハンズフリー通話においても有効である。

音響環境における雑音の性質の一つとして、方向性の有無があげられる。方向性雑音としては、例えば妨害話者の声などが挙げられ、雑音の到来方向が知覚できる特徴がある。一方、非方向性雑音（拡散性雑音と呼ばれる）は、例えば自動車の走行雑音のように到来方向が特定の方向に定まらない雑音である。実環境での雑音は、方向性雑音と拡散性雑音との中間の性質を持っている場合が多い。例えば、自動車の車内においてエンジン音は全体的には前の方から聞こえるが、一方向に特定できるほど方向性は強くない。

マイクロホンアレーでは複数チャネルの音響信号の到来時間差等を利用して雑音抑圧を行うため、方向性雑音に関しては少数のマイクロホンでも大きな抑圧効果が期待できる。一方、拡散性雑音に対しては雑音抑圧の効果は大きくはない。例えば、同期加算を用いれば拡散性雑音を抑圧できるが、十分な雑音抑圧効果を得るためには多数のマイクロホンが必要となり、現実的でない。

さらに、実環境では残響の問題がある。閉じられた空間の中で発せられた音は、残響により壁面等で何回も反射して観測されるため、マイクロホンに直接波の到来方向とは異なる方向からも目的信号が到来することになり、音源の方向が不安定になる。その結果、方向性雑音についてもマイクロホンアレーによる抑圧は困難になるばかりでなく、抑圧してはならないはずの目的音声の信号までもが方向性雑音と勘違いされて部分的に除去されてしまう「目的音声除去」という問題が発生する。

このような残響下でのマイクロホンアレー技術として、特許文献１には予め想定される音響環境で残響の影響も含めたアレーのフィルタ係数を学習しておき、実際の使用時には入力信号から得られた特徴量に基づきフィルタ係数を選択する、いわゆる学習型アレーの手法が開示されている。この方法を用いることで、残響下においても方向性雑音を十分に抑圧することが可能であり、「目的音声除去」の問題も回避することが可能である。
特開２００７−１０８９７号公報

従来の技術では、拡散性雑音に関しては方向性を利用した抑圧ができない。従って、特許文献１記載の手法を用いても雑音抑圧効果が十分ではない。

本発明は、拡散性雑音の抑圧を行いつつマイクロホンアレーによる目的音声信号の強調を可能とすることを目的とする。

本発明の一観点による音響信号処理方法は、複数チャネルの入力音響信号のチャネル間の差異を表す少なくとも一つの特徴量を算出するステップと、前記特徴量に従って少なくとも一つの重み係数辞書から複数の重み係数を選択するステップと、前記複数チャネルの入力音響信号に対して雑音抑圧及び前記重み係数を用いた重み付け加算を含む信号処理を行って出力音響信号を生成するステップとを有する。

本発明の他の観点による音響信号処理方法は、複数チャネルの入力音響信号のチャネル間相関を算出するステップと、前記チャネル相関に基づいて指向性を形成するための重み係数を算出するステップと、前記複数チャネルの入力音響信号に対して雑音抑圧及び前記重み係数を用いた重み付け加算を含む信号処理を行って出力音響信号を生成するステップとを有する。

本発明によれば、拡散性雑音の除去を行いつつ目的音声の強調を行うことができる。さらに、入力音響信号のチャネル間の差異を表す特徴量あるいはチャネル間相関の算出を雑音除去前の入力音響信号について行うことにより、雑音除去の処理がチャネル毎に独立に動作しても、チャネル間の特徴量あるいはチャネル間相関が保存されるため、学習型マイクロホンアレーによる目的音声強調動作が保証される。

以下、本発明の実施形態について説明する。
（第１の実施形態）
図１に示されるように、本発明の第１の実施形態に従う音響信号処理装置では、複数（Ｎ）のマイクロホン１０１−１〜ＮからのＮチャネルの入力音響信号がチャネル間特徴量算出部１０２及び雑音抑圧部１０５−１〜１０５−Ｎに入力される。チャネル間特徴量算出部１０２では、入力音響信号のチャネル間の差異を表す特徴量（本明細書では、これをチャネル間特徴量と呼ぶ）が算出され、選択部１０４に渡される。選択部１０４では、多数の重み係数（アレー重み係数とも呼ばれる）を格納した重み係数辞書１０３から、チャネル間特徴量に対応付けられた一つの重み係数が選択される。

一方、雑音抑圧部１０５−１〜１０５−Ｎでは、Ｎチャネルの入力音響信号に対して雑音抑圧処理、特に拡散性雑音を抑圧する処理が行われる。雑音抑圧部１０５−１〜１０５−Ｎからの雑音抑圧が行われたＮチャネルの音響信号は、重み付け部１０６−１〜１０６−Ｎによって、選択部１０４により選択された重み係数で重み付けが行われる。重み付け部１０６−１〜１０６−Ｎからの重み付け後のＮチャネルの音響信号は加算部１０７によって加算され、目的音声信号が強調された出力音響信号１０８が生成される。

次に、図２のフローチャートに従って本実施形態の処理手順を説明する。マイクロホン１０１−１〜１０１−Ｎから出力される入力音響信号（ｘ１〜ｘＮとする）は、チャネル間特徴量算出部１０２によってチャネル間特徴量が算出される（ステップＳ１１）。ディジタル信号処理技術を用いる場合、入力音響信号ｘ１〜ｘＮは図示しないアナログ−ディジタル変換器により時間方向に離散化されたディジタル信号であり、例えば時間インデックスｔを用いてｘ(t)と表される。入力音響信号ｘ１〜ｘＮが離散化されていれば、チャネル間特徴量も離散化される。チャネル間特徴量の具体例としては、後述するように入力音響信号ｘ１〜ｘＮの到来時間差、パワー比、複素コヒーレンスあるいは一般化相関関数を用いることができる。

次に、ステップＳ１１で算出されたチャネル間特徴量に基づいて、選択部１０４により重み係数辞書１０３からチャネル間特徴量と対応付けられている重み係数が選択される（ステップＳ１２）。すなわち、重み係数辞書１０３から選択された重み係数が取り出される。チャネル間特徴量と重み係数との対応付けは事前に決定されており、最も簡便には離散化されたチャネル間特徴量と重み係数を１対１に対応させておく方法がある。より効率的な対応付けの方法としては、ＬＢＧなどのクラスタリング手法を用いてチャネル間特徴量をグループ分けしておき、各グループに対して対応する重み係数を割り当てる方法もある。ＧＭＭ(Gaussian mixture model)のような統計的な分布を利用して、分布の重みと重み係数ｗ１〜ｗＮを対応付ける方法も考えられる。このように対応付けに関しては様々な方法が考えられ、計算量やメモリ量などを考慮して決定される。こうして選択部１０４により選択された重み係数ｗ１〜ｗＮは、重み付け部１０６−１〜１０６−Ｎにセットされる。

一方、入力音響信号ｘ１〜ｘＮは雑音抑圧部１０５−１〜１０５−Ｎにも送られ、ここで拡散性雑音が抑圧される（ステップＳ１３）。次に、雑音抑圧後のＮチャネルの音響信号に対して、重み付け部１０６−１〜１０６−Ｎにより重み係数ｗ１〜ｗＮに従って重み付けがなされた後、加算部１０７で加算が行われることによって、目的音声信号が強調された出力音響信号１０８が得られる（ステップＳ１４）。

次に、チャネル間特徴量算出部１０２について詳しく述べる。
チャネル間特徴量は、前述のようにＮ個のマイクロホン１０１−１〜ＮからのＮチャネルの入力音響信号ｘ１〜ｘＮのチャネル間の差異を表す量であり、特許文献1にも記載されているように以下のように様々なものが考えられる。

今、入力音響信号ｘ１〜ｘＮの到来時間差τをＮ＝２の場合について考える。入力音響信号ｘ１〜ｘＮがマイクロホン１０１−１〜Ｎのアレーに対して正面から到来する場合、τ＝０である。入力音響信号ｘ１〜ｘＮが正面から角度θだけずれた側方から到来する場合は、τ＝ｄｓｉｎθ／ｃの遅延を生じる。ここで、ｃは音速、ｄはマイクロホン１０１〜Ｎの間隔である。

ここで、到来時間差τを検出できるとすると、τ＝０に対して相対的に大きな重み係数、例えば（０．５，０．５）を対応付け、τ＝０以外の値に対して相対的に小さな重み係数、例えば（０，０）を対応付けることにより、正面からの入力音響信号のみを強調することができる。τを離散化して考える場合は、マイクロホン１０１−１〜Ｎのアレーが検出できる最小の角度に対応する時間単位としてもよいし、１度刻みなど一定の角度単位に対応する時間としてもよく、あるいは角度とは無関係に一定の時間間隔を用いるなど、様々な方法がある。

従来からよく用いられているマイクロホンアレーの多くは、一般化すると各マイクロホンからの入力音響信号を重み付けして加算することで出力信号を得るというものである。マイクロホンアレーの方式は種々あるが、各方式の違いは基本的に重み係数ｗの決定法である。適応型マイクロホンアレーは、入力音響信号を基に重み係数ｗを解析的に求めるものが多い。このような適応型マイクロホンアレーの一つとしてＤＣＭＰ（Directionally Constrained Minimization of Power：方向拘束付き電力最小化法）が知られている。

ＤＣＭＰではマイクロホンからの入力音響信号に基づいて適応的に重み係数を求めるため、遅延和アレーなどの固定型アレーに比べて少ないマイクロホン数で高い雑音抑圧能力を実現することができる。しかし、残響下では音波の干渉により事前に定めた方向ベクトルｃと実際に目的音が到来する方向が必ずしも一致しないため、目的音信号が雑音とみなされ抑圧されてしまう「目的音除去」の問題が起こる。このように入力音響信号に基づいて適応的に指向特性を形成する適応型アレーは残響の影響が顕著であり、「目的音除去」の問題は避けられない。

これに対し、本実施形態に従ってチャネル間特徴量に基づき重み係数を設定する方式は、重み係数を学習することで目的音除去を抑止することができる。例えば、正面から発せられた音響信号が反射により到来時間差τにτ０だけの遅延を生じたとすると、τ０に対応する重み係数を（０．５，０．５）のように相対的に大きくし、τ０以外のτに対応する重み係数を（０，０）のように相対的に小さくすることで、目的音除去の問題を避けることができる。重み係数の学習、すなわち重み係数辞書１０３を作成するときのチャネル間特徴量と重み係数の対応付けは、後述の方法により事前に行われる。
到来時間差τを求める方法として例えば、ＣＳＰ(cross-power-spectrum phase)法があげられる。ＣＳＰ法ではＮ＝２の場合、ＣＳＰ係数を

と求める。ＣＳＰ（ｔ）はＣＳＰ係数、Ｘｎ（ｆ）はｘｎ（ｔ）のフーリエ変換、ＩＦＴ｛ ｝はフーリエ逆変換、ｃｏｎｊ（ ）は共役複素数、｜ ｜は絶対値を表す。ＣＳＰ係数は白色化クロススペクトルのフーリエ逆変換であるので、到来時間差τに相当する時刻ｔにパルス状のピークをもつ。従って、ＣＳＰ係数の最大値探索により到来時間差τを知ることができる。

到来時間差に基づくチャネル間特徴量としては、到来時間差そのものほかに複素コヒーレンスを用いることも可能である。Ｘ１（ｆ），Ｘ２（ｆ）の複素コヒーレンスは、

で表される。Ｃｏｈ（ｆ）は複素コヒーレンス、Ｅ｛ ｝は時間方向の期待値（より厳密には集合平均）である。コヒーレンスは、信号処理の分野では２つの信号の関係を表す量として用いられる。拡散性雑音のようにチャネル間に相関のない信号は、コヒーレンスの絶対値は小さくなり、方向性の信号はコヒーレンスが大きくなる。方向性の信号はチャネル間の時間差がコヒーレンスの位相成分となって現れるので、それが目的の方向からの目的音声信号であるのか、それ以外の方向からの信号であるかを位相で区別することができる。これらの性質を特徴量として利用することで、拡散性雑音、目的音声信号及び方向性雑音を区別することが可能となる。数式（２）からもわかるように、コヒーレンスは周波数の関数であるため、後述の第３の実施形態と相性がよいが、時間領域で用いる場合は周波数方向に平均化する、代表的な周波数の値を用いる、など様々な方法が考えられる。コヒーレンスは一般的にはＮチャネルで定義され、ここでの例のようなＮ＝２に限定されない。Ｎチャネルのコヒーレンスは、任意の２ｃｈのコヒーレンスの組み合わせ（最大でＮ×（Ｎ−１）／２通り）で表現されるのが一般的である。

チャネル間特徴量としては、到来時間差に基づく特徴量のほかに一般化相関関数を用いることもできる。一般化相関関数については、例えば "The Generalized Correlation Method for Estimation of Time Delay, C. H. Knapp and G. C. Carter, IEEE Trans, Acoust., Speech, Signal Processing", Vol.ASSP-24, No.4,pp.320-327(1976)（文献１）に記載されている。一般化相関関数ＧＣＣ（ｔ）は、

と定義される。ここでＩＦＴはフーリエ逆変換、Φ（ｆ）は重み係数、Ｇ１２（ｆ）はチャネル間のクロスパワースペクトルである。Φ（ｆ）の決め方に関しては様々な方法があり、詳細は上記文献に記載されている。例えば、最尤推定法による重み係数Φｍｌ（ｆ）は、次式で表される。

ただし、｜γ１２（ｆ）｜² は振幅２乗コヒーレンスである。ＣＳＰの場合と同様に、ＧＣＣ（ｔ）の最大値と最大値を与えるｔからチャネル間の相関の強さと音源の方向を知ることができる。

このように本実施形態はチャネル間特徴量と重み係数ｗ１〜ｗＮの関係を学習によって求めることで、残響等により入力音響信号ｘ１〜ｘＮの方向情報が乱されていても、これを学習しておくことにより、「目的音除去」の問題を起こすことなく目的音信号の強調を行うことが可能である。

次に、重み付け部１０６−１〜１０６−Ｎについて詳しく説明する。
重み付け部１０６−１〜１０６−Ｎにおける重み付けは、時間領域におけるディジタル信号処理では畳み込みとして表現される。すなわち、重み係数ｗ１〜ｗＮをｗｎ＝｛ｗｎ(0)，ｗｎ(1)，．．．，ｗｎ(L-1)｝と表した場合、以下の関係式が成り立つ。

と表される。ただし、Ｌはフィルタ長、ｎはチャネル番号、＊は畳み込みを表す。

加算部１０７から出力される出力音響信号１０８は、全チャネルの合計として以下のｙ(t)のように表される。

次に、雑音抑圧部１０５−１〜１０５−Ｎについて詳しく説明する。雑音抑圧部１０５−１〜１０５−Ｎにおいても、同様の畳み込み演算により雑音抑圧を行うことができる。具体的な雑音抑圧方法に関しては周波数領域で述べるが、時間領域の畳み込み演算と周波数領域での乗算はフーリエ変換の関係にあるので、周波数領域及び時間領域のいずれで実現しても等価である。

雑音抑圧の方法としては、例えばS.F.Boll, "Suppression of Acoustic Noise in Speech Using Spectral Subtraction," IEEE Trans. ASSP vol. 27, pp.113-120, 1979（文献２）に示されるスペクトルサブトラクション、Y. Ephraim, D. Malah, ”Speech Enhancement Using a Minimum Mean-Square Error Short-Time Spectral Amplitude Estimator”, IEEE Trans. ASSP vol. 32, 1109-1121, 1984（文献３）に示されるMMSE-STSA、及びY. Ephraim, D. Malah, ”Speech Enhancement Using a Minimum Mean-Square Error Log-Spectral Amplitude Estimator”, IEEE Trans. ASSP vol. 33, 443-445, 1985（文献４）に示されるMMSE-LSAやその改良型など様々な手法があり、これらから任意の雑音抑圧方法を適宜選択することが可能である。

マイクロホンアレー処理と雑音抑圧を組み合わせる手法自体は公知である。例えば、アレー処理部よりも後に配置される雑音抑圧部はポストフィルタと呼ばれ、さまざまな手法が検討されている。一方、アレー処理部の前に雑音抑圧部を配置する方法は、雑音抑圧部の計算量がマイクロホンの本数倍に増大するため、あまり用いられない。

特許文献１記載の手法は、学習によって重み係数を求めるため、雑音抑圧部によって生じる歪みを軽減するように重みを学習することが可能であるという長所を備えている。その理由は学習時に、歪みの生じた信号を入力信号として目的信号により近くなるような重み係数が学習されるからである。そのため、計算量が増加することを考えても、本実施形態のように雑音抑圧部１０５−１〜１０５−Ｎをアレー処理部である重み付け加算部（重み付け部１０６−１〜１０６−Ｎと加算部１０７）の前に配置するメリットがある。

この場合、まず雑音抑圧を行った後にチャネル間特徴量を求め、これに基づき重み係数を選択する構成が考えられる。しかし、この通常考えられる構成には問題がある。雑音抑圧部はチャネル毎に独立に動作し得るため、雑音抑圧部による雑音抑圧後では音響信号のチャネル間特徴量が乱れてしまう。例えば、チャネル間特徴量としてチャネル間のパワー比を考えた場合、チャネル毎に異なる抑圧係数をかけると、雑音抑圧の前後でパワー比が変ってしまう。これに対して、本実施形態に従いチャネル間特徴量算出部１０２及び雑音抑圧部１０５−１〜１０５−Ｎを図１のように配置し、雑音抑圧を行う前の入力音響信号についてチャネル間特徴量を算出することにより、上述の問題が回避される。

図３を用いて、このように雑音抑圧を行う前の入力音響信号についてチャネル間特徴量を算出することによる効果について詳しく述べる。図３は、チャネル間特徴量の分布を模式的に表している。特徴量空間内に想定した３つの音源位置Ａ，Ｂ及びＣのうち、Ａは目的信号が到来する強調位置（例えば、正面方向の位置）、Ｂ、Ｃは雑音を抑圧すべき位置（例えば、右方向と左方向の位置）とする。

雑音が存在しない環境で算出されるチャネル間特徴量は、図３の黒丸のように方向毎に狭い範囲に分布する。例えば、チャネル間特徴量としてパワー比を考えると、正面方向でのパワー比は１である。左方向または右方向では、音源に近い方のマイクロホンのゲインが僅かに大きくなるため、左方向または右方向でのパワー比の一方は１より大きく、他方は１より小さくなる。

一方、ノイズが存在する環境ではノイズのパワーはチャネル毎に独立に変化することから、チャネル間のパワー比の分散は大きくなる。その様子を示したのが図３の実線の円である。ここで、チャネル毎に雑音抑圧を行うと、分散が点線の円のように広がる。これは、抑圧係数がチャネル毎に独立に求められるためである。後段のマイクロホンアレー処理が効果的に機能するためには、特徴量の段階で目的方向と妨害方向ができるだけ明確に区別できることが望ましい。

本実施形態では、雑音抑圧を行った後の分布（点線の円）においてチャネル間特徴量を算出するのではなく、雑音抑圧を行う前の分布（実線の円）においてチャネル間特徴量を算出することにより、雑音抑圧によるチャネル特徴量の分布の広がりを回避し、後段のアレー処理部を効果的に機能させることができる効果がある。

（第２の実施形態）
図４は、第１の実施形態を変形した第２の実施形態に従う音響信号処理装置であり、図１における雑音抑圧部１０５−１〜１０５−Ｎと重み付け部１０６−１〜１０６−Ｎの位置が入れ替わっている。すなわち、図５のフローチャートに示されるように、チャネル間特徴量算出部１０２においてＮチャネルの入力音響信号ｘ１〜ｘＮのチャネル間特徴量が算出され（ステップＳ２１）、算出されたチャネル間特徴量に対応する重み係数が選択部１０４において選択される（ステップＳ２２）。このようにステップＳ２１及びＳ２２の処理は、図２と同様である。

本実施形態では、ステップＳ２２の次に重み付け部１０６−１〜１０６−Ｎにより入力音響信号ｘ１〜ｘＮに対し重み付けが行われる（ステップＳ２３）。次に、重み付けが行われたＮチャネルの音響信号に対して、雑音抑圧部１０５−１〜１０５−Ｎにより拡散性雑音の抑圧が行われる（ステップＳ２４）。最後に、雑音抑圧後のＮチャネルの音響信号が加算部１０７によって加算され、出力音響信号１０８が得られる（ステップＳ２５）。

このように雑音抑圧部１０５−１〜１０５−Ｎと重み付け部１０６−１〜１０６−Ｎの処理は、実装上はどちらの処理を先に行ってもよい。

（第３の実施形態）
図６に示される本発明の第３の実施形態に従う音響信号処理装置では、第１の実施形態に従う図１の音響信号処理装置に対して、Ｎチャネルの入力音響信号を周波数領域の信号に変換するためのフーリエ変換部４０１−１〜４０１Ｎと、雑音抑圧及び重み付け加算後の周波数領域の音響信号を時間領域の信号に戻すためのフーリエ逆変換部４０５が追加されている。さらに、フーリエ変換部４０１−１〜４０１Ｎ及びフーリエ逆変換部４０５の追加に伴い、雑音抑圧部１０５−１〜１０５−Ｎ、重み付け部１０６−１〜１０６−Ｎ及び加算部１０７が周波数領域での演算によって拡散性雑音の抑圧、重み付け及び加算を行う雑音抑圧部４０２−１〜４０２−Ｎ、重み付部４０３−１〜４０３−Ｎ及び加算部４０４に置き換えられている。

ディジタル信号処理技術の分野において周知のように、時間領域での畳み込み演算は周波数領域での積の演算で表される。本実施形態では、Ｎチャネルの入力音響信号をフーリエ変換部４０１−１〜４０１Ｎにおいて周波数領域の信号に変換してから雑音抑圧及び重み付け加算を行い雑音抑圧及び重み付け加算後の信号についてフーリエ逆変換部４０５によりフーリエ逆変換を行い、時間領域の信号に戻している。従って、信号処理的には本実施形態は時間領域で処理を行う第１の実施形態と等価な処理を行っていることになる。この場合、加算部４０４からの出力信号Y(k)は、式（５）に示したような畳み込みではなく、以下のように積の形で表される。

ただし、ｋは周波数インデックスである。

加算部４０４からの出力信号Ｙ(k)に対しフーリエ逆変換部４０５においてフーリエ逆変換が行われることによって、時間領域の出力音響信号ｙ(t)が得られる。加算部４０４からの周波数領域の出力信号Ｙ(k)をそのまま、例えば音声認識のパラメータとして利用することも可能である。

本実施形態のように入力音響信号を周波数領域に変換してから処理を行う利点としては、重み付け部４０３−１〜４０３−Ｎのフィルタ次数によっては計算量が削減できる場合があることと、周波数帯域毎に独立に処理を行うことが可能であるため、複雑な残響を表現しやすいことなどが挙げられる。

本実施形態においても、第１の実施形態と同様に雑音抑圧部４０２−１〜４０２−Ｎによる雑音抑圧前の信号からチャネル間特徴量の算出を行う構成とすることで、雑音抑圧によるチャネル特徴量の分布の分散を最小限に抑え、もって後段のアレー処理部を効果的に機能させることができる。

本実施形態における雑音抑圧の方法としては、先の文献２に示されるスペクトルサブトラクション、文献３に示されるMMSE-STSA、及び文献４に示されるMMSE-LSAやその改良型など様々な手法から任意の雑音抑圧方法を適宜選択することが可能である。

（第４の実施形態）
図７は、本発明の第３の実施形態に従う音響信号処理装置であり、第２の実施形態に従う図４の音響信号処理装置に対して、照合部４０６とセントロイド辞書４０７が追加されている。セントロイド辞書４０７には、図８に示すようにＬＢＧ法等により得られた複数（Ｉ）のセントロイドの特徴量がインデクスＩＤと対応付けられて格納されている。ここでセントロイドとは、チャネル間特徴量をクラスタリングしたときの各クラスタの代表点である。

図７の音響信号処理装置の処理手順は、図９のフローチャートに示される。ただし、図９ではフーリエ変換部４０１−１〜４０１Ｎ及び逆フーリエ変換部４０５の処理については省略している。チャネル間特徴量算出部１０２において、フーリエ変換後のＮチャネルの音響信号のチャネル間特徴量が算出される（ステップＳ３１）。次に、各チャネル間特徴量とセントロイド辞書４０７に格納されている複数（Ｉ）のセントロイドの特徴量とが照合され、両者間の距離が計算される（ステップＳ３２）。

照合部４０６からチャネル間特徴量と代表点の特徴量との間の距離を最小にするセントロイドの特徴量を指し示すインデクスＩＤが選択部１０４に送られ、選択部１０４においてインデクスＩＤに対応する重み係数が重み係数辞書１０３から選択されて取り出される（ステップＳ３３）。こうして選択部１０４で選択された重み係数は、重み付け部４０３−１〜４０３−Ｎにセットされる。

一方、フーリエ変換部４０１−１〜４０１Ｎにより周波数領域に変換された入力音響信号は、雑音抑圧部４０２−１〜４０２−Ｎに入力されることにより、拡散性雑音が抑圧される（ステップＳ３４）。

次に、雑音抑圧後のＮチャネルの音響信号は、重み付け部４０３−１〜４０３−Ｎにおいて、ステップＳ３３でセットされた重み係数に従って重み付けがなされた後、加算部４０４で加算されることにより、目的音声信号が強調された出力信号が得られる（ステップＳ３５）。加算部４０４からの出力信号は、フーリエ逆変換部４０５においてフーリエ逆変換が行われることによって、時間領域の出力音響信号が得られる。

（第５の実施形態）
図１０に示されるように、本発明の第５の実施形態に従う音響信号処理装置では、第１の実施形態で説明したチャネル間特徴量算出部１０２、重み係数辞書１０３及び選択部１０４をそれぞれ有する複数（Ｍ）の重み制御部５００−１〜５００−Ｍが備えられる。

重み制御部５００−１〜５００−Ｍは、制御信号５０１に従って入力切替器５０２及び出力切替器５０３によって切り替えられる。すなわち、マイクロホン１０１−１〜１０１−ＮからのＮチャネルの入力音響信号セットは、入力切替器５０２によって重み制御部５００−１〜５００−Ｍにいずれかに入力され、チャネル間特徴量算出部１０２によってチャネル間特徴量が算出される。入力音響信号セットが入力された重み制御部では、選択部１０４によって重み係数辞書１０３からチャネル間特徴量に対応する重み係数セットが選択される。選択された重み係数セットは、出力切替器５０３を介して重み付け部１０６−１〜１０６−Ｎに与えられる。

雑音抑圧部１０５−１〜１０５−Ｎからの雑音抑圧が行われたＮチャネルの音響信号は、重み付け部１０６−１〜１０６−Ｎによって選択部１０４により選択された重み係数で重み付けが行われる。重み付け部１０６−１〜１０６−Ｎからの重み付け後のＮチャネルの音響信号は加算部１０７によって加算され、目的音声信号が強調された出力音響信号１０８が生成される。

重み係数辞書１０３は、事前に実使用環境に近い音響環境での学習により作成される。実際には、種々の音響環境が想定される。例えば、自動車の車内の音響環境は、車種によって大きく異なる。重み制御部５００−１〜５００−Ｍ内の各々の重み係数辞書１０３は、それぞれ異なる音響環境の下で学習されている。従って、音響信号処理時の実使用環境に応じて重み制御部５００−１〜５００−Ｍを切り替え、実使用環境と同一もしくは最も類似した音響環境の下で学習された重み係数辞書１０３から、選択部１０４により選択される重み係数を用いて重み付けを行うことで、実使用環境に適した音響信号処理を行うことができる。

重み制御部５００−１〜５００−Ｍの切り替えのために用いる制御信号５０１は、例えばユーザによるボタン操作によって生成されてもよいし、信号対雑音比（ＳＮＲ）のような、入力音響信号に起因するパラメータを指標として自動的に生成されてもよい。また、車速等の外部からのパラメータを指標として生成されてもよい。

第５の実施形態のように重み制御部５００−１〜５００−Ｍ内にそれぞれチャネル間特徴量算出部１０２を備えた場合、重み制御部５００−１〜５００−Ｍのそれぞれに対応する音響環境に適したチャネル間特徴量の算出方法やパラメータを用いることで、より的確なチャネル間特徴量を算出することが期待される。

（第６の実施形態）
図１１は、第５の実施形態を変形した本発明の第６の実施形態に従う音響信号処理装置であり、図１０中の出力切替器５０３が重み付け加算器５０４に置き換えられている。第５の実施形態と同様に、重み制御部５００−１〜５００−Ｍ内の各々の重み係数辞書１０３は、それぞれ異なる音響環境の下で学習されている。

重み付け加算器５０４では、重み制御部５００−１〜５００−Ｍ内の重み係数辞書１０３から選択部１０４により選択される重み係数の重み付け加算が行われ、重み付け加算後の重み係数が重み付け部１０６−１〜１０６−Ｎに与えられる。従って、実使用環境が変化しても、その使用環境に比較的適合した音響信号処理を行うことができる。重み付け加算器５０４では、固定の重み係数で重み付けを行ってもよいし、制御信号５０１に基づいて制御される重み係数で重み付けを行ってもよい。

（第７の実施形態）
図１２は、第５の実施形態を変形した本発明の第７の実施形態に従う音響信号処理装置であり、図１０中の重み制御部５００−１〜５００−Ｍからチャネル間特徴量辞書が除去され、共通のチャネル間特徴量算出部１０２が用いられる。

このようにチャネル間特徴量算出部１０２に関しては切り替えを行わずに共通として、重み係数辞書１０３及び選択部１０４のみを切り替えて使用しても、第５の実施形態とほぼ同様の効果を得ることができる。さらに、第６の実施形態と第７の実施形態を組み合わせ、図１２における出力切替器５０３を重み付け加算器５０４に置き換えても構わない。

（第８の実施形態）
図１３は、本発明の第８の実施形態に従う音響信号処理装置であり、図６におけるチャネル間特徴量算出部１０２、重み係数辞書１０３及び選択部１０４がチャネル間相関算出部６０１及び重み算出部６０２に置き換えられている。

次に、図１４のフローチャートに従って本実施形態の処理手順を説明する。マイクロホン１０１−１〜１０１−Ｎから出力される入力音響信号ｘ１〜ｘＮは、チャネル間相関算出部６０１によってチャネル間相関が算出される（ステップＳ４１）。入力音響信号ｘ１〜ｘＮが離散化されていれば、チャネル間相関も離散化される。

次に、重み係数算出部６０２ではステップＳ４１で算出されたチャネル間相関に基づき指向性を形成するための重み係数ｗ１〜ｗＮが算出される（ステップＳ４２）。重み係数算出部３０２により算出された重み係数ｗ１〜ｗＮは、重み付け部１０６−１〜１０６−Ｎにセットされる。

一方、入力音響信号ｘ１〜ｘＮは雑音抑圧部１０５−１〜１０５−Ｎにおいて拡散性雑音が抑圧される（ステップＳ４３）。次に、雑音抑圧後のＮチャネルの音響信号に対して、重み付け部１０６−１〜１０６−Ｎにより重み係数ｗ１〜ｗＮに従って重み付けがなされた後、加算部１０７で加算が行われることによって、目的音声信号が強調された出力音響信号１０８が得られる（ステップＳ４４）。

適応型アレーの例である前述のＤＣＭＰに従うと、重み付け部４０３−１〜４０３−Ｎに与えられる重み係数ｗは、以下のように解析的に求められる。

ここで、Ｒｘｘはチャネル間相関行列、ｉｎｖ（ ）は逆行列、^ｈは共役転置を表す。ベクトルｃは拘束ベクトルとも呼ばれ、ベクトルｃで示される方向の応答が希望応答ｈ（目的音声の方向に指向性を持つ応答）となるように設計が可能である。ｗ及びｃはベクトル、ｈはスカラである。複数の拘束条件を設定することも可能であり、その場合、ｃは行列、ｈはベクトルとなる。通常、拘束ベクトルを目的音声方向とし、希望応答を１として設計する。

ＤＣＭＰでは、入力信号に基づいて解析的に重み係数を求めことができる。しかし、本実施形態では重み付け部４０３−１〜４０３−Ｎの入力信号は雑音抑圧部４０２−１〜４０２−Ｎの出力信号、重み係数の算出に用いるチャネル間相関算出部６０１の入力信号は雑音抑圧部４０２−１〜４０２−Ｎの入力信号であり、両者は一致しないため、理論的な不整合を起こしている。

本来ならば、雑音抑圧後の信号を用いてチャネル間相関を算出すべきであるが、反面で本実施形態によるとチャネル間相関を早目に算出できるメリットがあり、利用条件によっては全体として有利に働く場合もあり得る。一方、第１乃至第７の実施形態で述べた手法は、事前学習により重み係数を雑音抑圧部の寄与も含めて学習するため、上述のような不整合は起こらない。

本実施形態では適応型アレーの例としてＤＣＭＰを用いたが、L.J. Griffiths and C.W. Jim,”An Alternative Approach to Linearly Constrained Adaptive Beamforming,” IEEE Trans. Antennas Propagation, vol. 30, no. 1, pp.2 7-34, 1982（文献４）に記載されるGriffiths-Jim型など他の種類のアレーを用いてもよい。

（第９の実施形態）
図１５は、第８の実施形態を変形した第９の実施形態に従う音響信号処理装置であり、図１３における雑音抑圧部１０５−１〜１０５−Ｎと重み付け部１０６−１〜１０６−Ｎの位置が入れ替わっている。すなわち、図１６のフローチャートに示されるように、チャネル間相関算出部６０１においてＮチャネルの入力音響信号ｘ１〜ｘＮのチャネル間相関量が算出され（ステップＳ５１）る。次に、算出されたチャネル間相関に基づき、指向性を形成するための重み係数ｗ１〜ｗＮが重み係数算出部６０２により算出される（ステップＳ５２）。重み係数算出部３０２により算出された重み係数ｗ１〜ｗＮは、重み付け部１０６−１〜１０６−Ｎにセットされる。このようにステップＳ５１及びＳ５２の処理は、図１４と同様である。

本実施形態では、ステップＳ５２の次に重み付け部１０６−１〜１０６−Ｎにより入力音響信号ｘ１〜ｘＮに対し重み付けが行われる（ステップＳ５３）。次に、重み付けが行われたＮチャネルの音響信号に対して、雑音抑圧部１０５−１〜１０５−Ｎにより拡散性雑音の抑圧が行われる（ステップＳ５４）。最後に、雑音抑圧後のＮチャネルの音響信号が加算部１０７によって加算され、出力音響信号１０８が得られる（ステップＳ５５）。

このように雑音抑圧部１０５−１〜１０５−Ｎと重み付け部１０５−１〜１０５−Ｎの処理は、実装上はどちらの処理を先に行ってもよい。

上述した第１乃至第９の実施形態で説明した音響信号処理は、例えば汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、上述した音響信号処理をコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき当該プログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して当該プログラムを配布して、このプログラムをコンピュータ装置に適宜インストールしてもよい。

本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１の実施形態に従う音響信号処理装置を示すブロック図 第１の実施形態の処理手順を示すフローチャート チャネル特徴量の分布を示す図 第２の実施形態に従う音響信号処理装置を示すブロック図 第２の実施形態の処理手順を示すフローチャート 第３の実施形態に従う音響信号処理装置を示すブロック図 第４の実施形態に従う音響信号処理装置を示すブロック図 図７中のセントロイド辞書の内容を示す図 第４の実施形態の処理手順を示すフローチャート 第５の実施形態に従う音響信号処理装置を示すブロック図 第６の実施形態に従う音響信号処理装置を示すブロック図 第７の実施形態に従う音響信号処理装置を示すブロック図 第８の実施形態に従う音響信号処理装置を示すブロック図 第８の実施形態の処理手順を示すフローチャート 第９の実施形態に従う音響信号処理装置を示すブロック図 第９の実施形態の処理手順を示すフローチャート

符号の説明

１０１−１〜１０１−Ｎ・・・マイクロホン
１０２・・・チャネル間特徴量算出部
１０３・・・選択部
１０４・・・重み係数辞書
１０５−１〜１０５−Ｎ・・・雑音抑圧部
１０６−１〜１０６−Ｎ・・・重み付け部
１０７・・・加算部
１０８・・・出力音響信号
４０１−１〜４０１Ｎ・・・フーリエ変換部
４０２−１〜４０２−Ｎ・・・雑音抑圧部
４０３−１〜４０３−Ｎ・・・重み付け部
４０４・・・加算部
４０５・・・フーリエ逆変換部
４０６・・・照合部
４０７・・・セントロイド辞書
５００−１〜５００−Ｍ・・・重み制御部
５０１・・・制御信号
５０２・・・入力切替部
５０３・・・出力切替部
５０４・・・重み付け加算器
６０１・・・チャネル相関算出部
６０２・・・重み係数算出部

Claims (21)

1. 複数チャネルの入力音響信号のチャネル間の差異を表す少なくとも一つの特徴量を算出するステップと、
   前記特徴量に従って少なくとも一つの重み係数辞書から学習によって事前に求められた複数の重み係数を選択するステップと、
   前記複数チャネルの入力音響信号に対して雑音抑圧及び前記重み係数を用いた重み付けをチャネル毎に個別に行って、前記雑音抑圧及び前記重み付けが行われた複数チャネルの音響信号を加算して出力音響信号を生成するステップとを含むことを特徴とする音響信号処理方法。
2. 前記出力音響信号を生成するステップは、前記複数チャネルの入力音響信号に対して前記雑音抑圧をチャネル毎に個別に行うステップと、前記雑音抑圧が行われた複数チャネルの音響信号に対して前記重み付けをチャネル毎に個別に行うステップと、前記重み付けが行われた複数チャネルの音響信号を加算するステップとを含む請求項１記載の音響信号処理方法。
3. 前記出力音響信号を生成するステップは、前記複数チャネルの入力音響信号に対して前記重み係数を用いて重み付けをチャネル毎に個別に行うステップと、前記重み付けが行われた複数チャネルの音響信号に対して前記雑音抑圧をチャネル毎に個別に行うステップと、前記雑音抑圧が行われた複数チャネルの音響信号を加算するステップとを含む請求項１記載の音響信号処理方法。
4. 前記重み係数は、前記特徴量に予め対応付けられている請求項１記載の音響信号処理方法。
5. 前記選択するステップは、前記特徴量と予め用意された複数のセントロイドの特徴量との間の距離を求めるステップと、前記距離が相対的に小さい一つのセントロイドを決定するステップとを有し、前記複数の重み係数は、前記セントロイドに予め対応付けられている請求項１記載の音響信号処理方法。
6. 前記特徴量を算出するステップは、前記入力音響信号のチャネル間の到達時間差を算出する請求項１記載の音響信号処理方法。
7. 前記特徴量を算出するステップは、前記入力音響信号のチャネル間の複素コヒーレンスを算出する請求項１記載の音響信号処理方法。
8. 前記特徴量を算出するステップは、前記入力音響信号のチャネル間のパワー比を算出する請求項１記載の音響信号処理方法。
9. 前記重み係数は時間領域のフィルタ係数であり、前記音響信号と前記重み係数の畳み込みによって前記重み付けを行う請求項１記載の音響信号処理方法。
10. 前記重み係数は周波数領域のフィルタ係数であり、前記音響信号と前記重み係数の積をとることによって前記重み付けを行う請求項１記載の音響信号処理方法。
11. 前記重み係数辞書は、音響環境に応じて選択される請求項１記載の音響信号処理方法。
12. 複数チャネルの入力音響信号のチャネル間相関を算出するステップと、
    前記チャネル間相関に基づいて指向性を形成するための重み係数を算出するステップと、
    前記複数チャネルの入力音響信号に対して雑音抑圧及び前記重み係数を用いた重み付けをチャネル毎に個別に行って、前記雑音抑圧及び前記重み付けが行われた複数チャネルの音響信号を加算して出力音響信号を生成するステップとを含むことを特徴とする音響信号処理方法。
13. 前記出力音響信号を生成するステップは、前記複数チャネルの入力音響信号に対して前記雑音抑圧をチャネル毎に個別に行うステップと、前記雑音抑圧が行われた複数チャネルの音響信号に対して前記重み付けをチャネル毎に個別に行うステップと、前記重み付けが行われた複数チャネルの音響信号を加算するステップとを含む請求項１２記載の音響信号処理方法。
14. 前記出力音響信号を生成するステップは、前記複数チャネルの入力音響信号に対して前記重み係数を用いて重み付けをチャネル毎に個別に行うステップと、前記重み付けが行われた複数チャネルの音響信号に対して前記雑音抑圧をチャネル毎に個別に行うステップと、前記雑音抑圧が行われた複数チャネルの音響信号を加算するステップとを含む請求項１２記載の音響信号処理方法。
15. 前記重み係数は時間領域のフィルタ係数であり、前記音響信号と前記重み係数の畳み込みによって前記重み付けを行う請求項１２記載の音響信号処理方法。
16. 前記重み係数は周波数領域のフィルタ係数であり、前記音響信号と前記重み係数の積をとることによって前記重み付けを行う請求項１２記載の音響信号処理方法。
17. 前記重み係数辞書は、音響環境に応じて選択される請求項１２記載の音響信号処理方法。
18. 複数チャネルの入力音響信号のチャネル間の差異を表す少なくとも一つの特徴量を算出する算出部と、
    前記特徴量に従って少なくとも一つの重み係数辞書から複数の重み係数を選択する選択部と、
    前記複数チャネルの入力音響信号に対して雑音抑圧及び前記重み係数を用いた重み付けをチャネル毎に個別に行って、前記雑音抑圧及び前記重み付けが行われた複数チャネルの音響信号を加算して出力音響信号を生成する信号処理部とを具備することを特徴とする音響信号処理装置。
19. 複数チャネルの入力音響信号のチャネル間相関を算出する第１の算出部と、
    前記チャネル間相関に基づいて指向性を形成するための重み係数を算出する第２の算出部と、
    前記複数チャネルの入力音響信号に対して雑音抑圧及び前記重み係数を用いた重み付けをチャネル毎に個別に行って、前記雑音抑圧及び前記重み付けが行われた複数チャネルの音響信号を加算して出力音響信号を生成する信号処理部とを具備することを特徴とする音響信号処理装置。
20. 複数チャネルの入力音響信号のチャネル間の差異を表す少なくとも一つの特徴量を算出する処理と、
    前記特徴量に従って少なくとも一つの重み係数辞書から複数の重み係数を選択する処理と、
    前記複数チャネルの入力音響信号に対して雑音抑圧及び前記重み係数を用いた重み付けをチャネル毎に個別に行って、前記雑音抑圧及び前記重み付けが行われた複数チャネルの音響信号を加算して出力音響信号を生成する処理とを含むことを特徴とする音響信号処理をコンピュータに行わせるためのプログラム。
21. 複数チャネルの入力音響信号のチャネル間相関を算出する処理と、
    前記チャネル間相関に基づいて指向性を形成するための重み係数を算出する処理と、
    前記複数チャネルの入力音響信号に対して雑音抑圧及び前記重み係数を用いた重み付けをチャネル毎に個別に行って、前記雑音抑圧及び前記重み付けが行われた複数チャネルの音響信号を加算して出力音響信号を生成する処理とを含むことを特徴とする音響信号処理をコンピュータに行わせるためのプログラム。

Images