JP6027804B2 - 雑音抑圧装置およびそのプログラム - Google Patents

Description

本発明は、音声処理に関する。特に、本発明は、音声に混入した雑音を抑圧することのできる雑音抑圧装置およびプログラムに関する。

テレビやラジオなど放送用の音声の収録は、生中継の場合も含み、必ずしも音声素材の収録に適した環境で行われるとは限らない。特に、緊急報道の現場などからの中継では、電力を自家発電で用意しなければならない場合もあり、音声の収録時に様々な雑音が混入することを避けることができない。そのような状況においても放送に耐えうる明瞭な音声を得るためには、混入する雑音を高品質に抑圧する技術が求められる。

従来の技術において、音声に付加された雑音成分を抑圧する方法のうち、よく知られている方法の一つは、スペクトルサブトラクションの技術である。非特許文献１は、スペクトルサブトラクションの技術について記載している。この方法は、雑音のスペクトルの平均値を推定し、推定された平均値を雑音が混在する入力信号のスペクトルから減算することで、雑音の低減を図る方法である。

また、別の技術として、本来の音声信号と推定した音声信号の平均二乗誤差を最小にする線形フィルターを構成して雑音が混在する入力信号から元の音声信号を得るウィーナーフィルター法がある。非特許文献２は、ウィーナーフィルター法について記載している。

また、別の技術として、雑音が混在する入力信号の振幅スペクトルと雑音推定スペクトルの平均値から周波数ごとのＳＮ比を推定しながら、本来の音声信号と推定した音声信号の短時間振幅スペクトルの平均二乗誤差を最小にするように短時間振幅スペクトルを復元するＭＭＳＥ−ＳＴＳＡ法がある。非特許文献３は、ＭＭＳＥ−ＳＴＳＡ法について記載している。

また、別の方法として、雑音が混在する入力信号を音声と雑音からなる信号空間と雑音のみからなる雑音空間に分離して本来の音声成分を推定する信号部分空間法がある。非特許文献４は、信号部分空間法について記載している。

S. F. Boll，"Suppression of acoustic noise in speech using spectral subtraction"，IEEE Transactions on Acoustics, Speech, & Signal Processing， vol.ASSP-27，no.7，pp. 113-120，1979年 J. S. Lim and A. V. Oppenheim，"All-pole modeling of degraded speech"，IEEE Transactions on Acoustics, Speech, & Signal Processing，vol.26，no.3，pp. 197-210，1978年 Y. Ephraim and D. Malah，"Speech enhancement using a minimum-mean square error short-time spectral amplitude estimator" ，IEEE Transactions on Signal Processing，vol.32，no.6，pp. 1109-1121，1984年 Y. Ephraim and H. L. V. Tres，"A Signal subspace approach for speech enhancement" ，IEEE Transactions on Speech and Audio Processing，vol.3，no.4，pp. 251-266，1995年

非特許文献１に記載されたスペクトルサブトラクションの方法では、処理後の音声に不自然な雑音成分（ミュージカルノイズ）を生じる場合がある。これは、雑音混入音声のスペクトルと雑音推定値のスペクトルの差が負の値となる場合に、値をゼロに置き換える半波整流によって雑音抑圧音声の振幅スペクトルを求めるためである。これにより、処理フレームごとにランダムな周波数位置に独立した小さなピークが生じ、これがミュージカルノイズとして知覚され、雑音抑圧音声の品質が劣化する。また、雑音の推定には誤りも含まれ、その雑音が知覚されるため、雑音抑圧音声に音質劣化を生じる。
同様に、非特許文献２〜４に記載された方法についても、雑音成分の推定精度に依存するため、その推定誤りによる音質劣化が避けられない。
なお、非特許文献３、４に記載された方法では、非特許文献１、２に記載された方法と比べて、雑音部分の抑圧に優れる一方で、音声部分の劣化が知覚されやすい。
このように、いずれの方法でも高品質に雑音抑圧音声を得ることができず、この問題を解決することができなかった。

本発明は、上記の課題認識に基づいて行なわれたものであり、従来の雑音抑圧法よりも良好な結果を得ることのできる雑音抑圧装置およびプログラムを提供するものである。

［１］上記の課題を解決するため、本発明の一態様による雑音抑圧装置は、入力された音声のデータについて、それぞれ異なる雑音抑圧法による処理を行なうことによって雑音抑圧音声データを出力する複数の抑圧処理部と、前記複数の抑圧処理部から出力された前記雑音抑圧音声データに基づき、それぞれの雑音抑圧法のための重み係数を算出する重み算出部と、前記重み算出部によって算出されたそれぞれの雑音抑圧法のための重み係数を前記複数の抑圧処理部から出力された各々の前記雑音抑圧音声データに乗じて、前記雑音抑圧音声データを混合する音声統合部とを具備する。
雑音抑圧装置に入力される音声には、雑音が混入している。上記の構成により、各抑圧処理部がそれぞれ異なる雑音抑圧法による雑音抑圧音声データを出力する。各々の雑音抑制音声データは、音声成分（クリーンスピーチ）と雑音成分とを含んでいるが、雑音成分はそれぞれの雑音抑圧法により抑圧されている。なお異なる雑音抑圧法を用いていることにより、雑音成分の抑圧のされ方の具合も異なる。音声統合部は、これらの雑音抑圧音声データを混合する。このような混合により、雑音成分のエネルギーが弱まる。なお、音声統合部が混合する雑音抑圧音声データは、時間領域の信号のデータであっても良いし、周波数領域の信号のデータであっても良い。
また、上記の構成によれば、音声統合部が雑音抑圧音声データを混合する際、雑音抑圧法に応じた重み付けを行なう。従って、雑音抑圧法に応じたより良好な比率で雑音抑圧音声データを混合することができ、雑音抑圧の効果が向上する。

［２］また、本発明の一態様は、上記の雑音抑圧装置において、前記重み算出部は、前記複数の抑圧処理部から出力された前記雑音抑圧音声データの相互間の相関係数を算出し、他の雑音抑圧法との間の相関が高い雑音抑圧法ほど、前記重み係数の値が大きくなるよう算出することを特徴とする。
雑音抑圧音声データの相互間の相関係数が大きいほど、その雑音抑圧音声データでは雑音成分に比べて音声（クリーンスピーチ）成分が相対的により強いと言える。従って、そのような雑音成分よりも音声成分の方が強い雑音抑圧法による雑音抑圧音声データを、より強くして（重み付けを大きくして）混合することができる。よって雑音抑圧の効果がより一層向上する。一例としては、ある雑音抑圧法に関する重み係数が、その雑音抑圧法と他の雑音抑圧法との間の相互相関係数の総和（他の雑音抑圧法についての総和）に比例するよう、重み係数を算出するようにする。

［３］また、本発明の一態様は、上記の雑音抑圧装置において、前記重み算出部は、前記複数の抑圧処理部から出力された前記雑音抑圧音声データに基づいて、各雑音抑圧法による前記雑音抑圧音声データについて、他の雑音抑圧法による前記雑音抑圧音声データを所望信号とする適応フィルター係数を算出し、算出された前記適応フィルター係数の値が大きいほど、前記重み係数の値が大きくなるよう算出することを特徴とする。
算出される適応フィルター係数が大きいほど、その雑音抑圧音声データでは雑音成分に比べて音声（クリーンスピーチ）成分が相対的により強いと言える。従って、そのような雑音成分よりも音声成分の方が強い雑音抑圧法による雑音抑圧音声データを、より強くして（重み付けを大きくして）混合することができる。よって雑音抑圧の効果がより一層向上する。一例としえは、ある雑音抑圧法に関する重み係数が、その雑音抑圧法が他の雑音抑圧法を所望信号とする適応フィルター係数の総和（他の雑音抑圧法についての総和）に比例するよう、重み係数を算出するようにする。

［４］また、本発明の一態様は、上記の雑音抑圧装置において、前記複数の抑圧処理部のそれぞれから出力された前記雑音抑圧音声データに基づいて周波数特性データを算出する周波数特性算出部と、前記周波数特性データに基づいて振幅特性データを算出する振幅特性算出部とをさらに具備し、前記重み算出部は、前記振幅特性データに基づいてそれぞれの雑音抑圧法のための重み係数を算出し、前記音声統合部は、前記重み係数を前記振幅特性データに乗じて混合することによって、前記雑音抑圧音声データを混合することを特徴とする。
この構成により、抑圧処理部が出力する時間領域の信号のデータを周波数領域の信号のデータに変換し、音声統合部が周波数領域における音声信号を混合するようにできる。混合された周波数領域の音声信号を、適宜、時間領域の音声信号に戻す変換を行なっても良い。周波数特性算出部は、フーリエ変換を行なうことにより、雑音抑圧音声データから周波数特性データを算出する。なお、上記の周波数特性データも振幅特性データも、抑圧処理部によってそれぞれの雑音抑圧法で処理された雑音抑圧音声データである。

［５］また、本発明の一態様は、コンピューターに、入力された音声の波形データについて、それぞれ異なる雑音抑圧法による処理を行なうことによって雑音抑圧音声データを出力する複数の抑圧処理過程、前記複数の抑圧処理過程で出力された前記雑音抑圧音声データに基づき、それぞれの雑音抑圧法のための重み係数を算出する重み算出過程、前記重み算出過程によって算出されたそれぞれの雑音抑圧法のための重み係数を前記複数の抑圧処理過程から出力された各々の前記雑音抑圧音声データに乗じて、前記雑音抑圧音声データを混合する音声統合過程、の処理を実行させるためのプログラムである。

本発明によれば、従来の雑音抑圧法のいずれかを単独で用いるよりも、より良好な雑音抑圧結果を得ることが出来る。

本発明の第１の実施形態による雑音抑圧装置の機能構成を示すブロック図である。 同実施形態による重み算出部の詳細な機能構成を示すブロック図である。 同実施形態の雑音抑圧装置による雑音抑圧の結果の例を示すグラフ（音声波形）である。 同実施形態の雑音抑圧装置による雑音抑圧の結果の例を示すグラフ（音声スペクトル）である。 同実施形態の雑音抑圧装置による雑音抑圧処理時に、重み算出部が算出した重み係数値の時間変化を示すグラフである。 同実施形態の雑音抑圧装置による雑音抑圧処理時に、相互相関係数算出部が算出した相互相関係数の時間変化を示すグラフである。 第２の実施形態による雑音抑圧装置の機能構成を示すブロック図である。 同実施形態の雑音抑圧装置による雑音抑圧の結果の例を示すグラフ（音声波形）である。 同実施形態の雑音抑圧装置による雑音抑圧の結果の例を示すグラフ（音声スペクトル）である。 第３の実施形態による重み算出部の機能構成を示すブロック図である。

次に、本発明の実施形態について、図面を参照しながら説明する。
なお、以下の説明文中で、数式または数式中の表現に言及するとき、ある表現（変数等の文字）の上にハット「＾」が付されている場合には、その表現と「＾」とを角括弧で囲んで表わす。例えば、［ｘ＾］は、文字ｘの上にハットが付されていることを表わす。また、ある表現（文字）の上にチルダが付されている場合には、その表現と「〜」とを角括弧で囲んで表わす。例えば、［ｘ〜］は、文字ｘの上にチルダが付されていることを表わす。また、ある表現に絶対値記号が付されている場合には、その表現を縦棒「｜」で囲んで表わす。例えば、｜ｘ｜は、文字ｘに絶対値記号が付されていることを表わす。

［第１の実施形態］
図１は、第１の実施形態による雑音抑圧装置の機能構成を示すブロック図である。図示するように、雑音抑圧装置１は、音声入力部１１と、波形切り出し部１２と、Ｉ個（Ｉは、２以上の整数）の抑圧処理部１４−１〜１４−Ｉと、雑音抑圧音声行列記憶部１５と、重み算出部１６と、音声統合部１７と、波形重ね合わせ部１８と、音声出力部１９とを含んで構成される。

音声入力部１１は、外部から音声信号のデータを取得する。
波形切り出し部１２は、音声入力部１１が取得した音声を、適切な分析フレームに切り出す。
抑圧処理部１４−１〜１４−Ｉは、それぞれ、入力された音声に雑音抑圧法を適用して、雑音抑圧音声データを出力する。抑圧処理部１４−１〜１４−Ｉは、切り出された分析フレームごとに雑音抑圧法を適用する。なお、抑圧処理部１４−１〜１４−Ｉの各々は、互いに性質の異なるＩ種類（Ｉ≧２）の雑音抑圧法を使用する。ここでは、互いに性質の異なる複数の雑音抑圧法を用いて、抑圧処理部１４−１〜１４−Ｉのそれぞれが雑音抑圧処理を行なうことにより、本実施形態の効果が得られる。Ｉ≧３の場合にさらに良好な効果が得られる。使用する雑音抑圧法としては、例えば、前述のスペクトルサブトラクションや、ウィーナーフィルター法や、ＭＭＳＥ−ＳＴＳＡ法や、信号部分空間法などを挙げることができる。なお、その他の雑音抑圧法を用いても良い。

雑音抑圧音声行列記憶部１５は、抑圧処理部１４−１〜１４−Ｉによる処理の結果である雑音抑圧音声のデータを記憶する。具体的には、雑音抑圧音声行列記憶部１５は、抑圧処理部１４−１〜１４−Ｉのそれぞれが生成する雑音抑圧音声ベクトルを並べて構成される雑音抑圧音声行列の形式で、データを記憶する。雑音抑圧音声ベクトルは、分析フレームごとのデータである。
重み算出部１６は、抑圧処理部１４−１〜１４−Ｉから出力され雑音抑圧音声行列記憶部１５に一時的に記憶されている雑音抑圧音声データを読み出し、このデータに基づいてそれぞれの雑音抑圧法のための重み係数を算出する。重み算出部１６は、混合後の雑音抑圧結果が最適となるように重み係数を算出する。重み算出部１６は、分析フレームごとに、上記の重み係数を算出する。なお、重み係数算出方法の詳細については後述する。

音声統合部１７は、抑圧処理部１４−１〜１４−Ｉから出力された雑音抑圧音声データを混合する。また、音声統合部１７は、雑音抑圧音声データを混合する際に、それぞれの雑音抑圧法に応じた重み係数を用いて、雑音抑圧法ごとの混合比率の重み付けを行なう。音声統合部１７は、上記の分析フレームごとに雑音抑圧音声データを混合する。なお、重み係数は、重み算出部１６によって算出されたものである。
波形重ね合わせ部１８は、音声統合部１７によって混合された分析フレームごとの音声波形データを元に、分析フレームのシフト幅分ずつずらして重ね合わせた音声波形データを生成する。波形重ね合わせ部１８が生成する音声波形データは、言うまでもなく、複数の雑音抑圧法によって雑音抑圧処理し、重み係数に基づいて混合された音声波形である。
音声出力部１９は、波形重ね合わせ部１８によって生成された音声を、外部に出力する。

音声入力部１１は、外部から音声信号を取得する。なお、音声入力部１１は、アナログ信号として音声を取得した場合には、ＡＤ（analog-to-digital）変換を行う。そして、音声入力部１１は、デジタル化された音声データを波形切り出し部１２に供給する。この音声データは、一例として、サンプリング周波数１６ｋＨｚ、量子化ビット数１６ビット（bit）のデータである。なお、音声入力部１１が取得する音声には雑音が混入している。

音声入力部１１が波形切り出し部１２に供給するデータは、雑音混入音声ｙ（ｎ）として表わされる。ここで、ｎは時系列のサンプル番号であり、ｙ（ｎ）がそのサンプル値である。雑音混入音声ｙ（ｎ）は、（雑音なしの）音声ｘ（ｎ）と、雑音ｄ（ｎ）とにより、下の式（１）の加法性雑音モデルで構成される。

波形切り出し部１２は、音声入力部１１から取得した雑音混入音声ｙ（ｎ）を、適切な分析フレームごとに切り出す。例えば、分析窓幅Ｎを２５６サンプル（約１６ミリ秒（＝２５６／１６ｋＨｚ））とし、シフト幅を窓幅の半分の長さ（Ｎ／２）の１２８サンプル（約８ミリ秒）とする。なお、分析窓幅を適宜異なる値としても良い。そして、切り出したｍ番目のフレームにおけるｎ番目のサンプルのデータをｙ（ｍ，ｎ）と表す。また簡便のため、ｍ番目のフレームで切り出した雑音混入音声のベクトルを、下の式（２）のようにｙで表す。

なお、式（２）の右辺の右肩に付する「Ｔ」は転置を表す。また、白抜き太字の「Ｒ」は実数の集合を表わす。つまり、ベクトルｙは、実数を要素とするＮ次元の列ベクトルである。そして、波形切り出し部１２は、このベクトルｙのデータを抑圧処理部１４−１〜１４−Ｉのそれぞれに供給する。

抑圧処理部１４−１〜１４−Ｉの各々は、独自の雑音抑圧法により、与えられる雑音混入音声ベクトルｙを処理する。ｉ番目（ｉ＝１，２，・・・，Ｉ）の抑圧処理部１４−ｉは、自己の雑音抑圧法Ｆｉによって、雑音抑圧音声を求める処理を行なう。このとき、抑圧処理部１４−１〜１４−Ｉは、互いに性質の異なるＩ個の雑音抑圧法をそれぞれ用いることが望ましい。雑音抑圧法Ｆｉをある種の関数とみなすと、抑圧処理部１４−１〜１４−Ｉによる処理は下の式（３）で表わされる。

式（３）において、［ｘ＾］ｉは、雑音混入音声ベクトルｙを入力として抑圧処理部１４−ｉが算出する雑音抑圧音声ベクトルである。また、［Ｘ＾］は、雑音抑圧音声ベクトル［ｘ＾］１から［ｘ＾］Ｉまでを行ベクトルとする雑音抑圧音声行列（Ｎ行Ｉ列）である。なお、各雑音抑圧音声ベクトル［ｘ＾］ｉはそろっているものとする。また、Ｉは、雑音抑圧法の番号の集合である。即ち、Ｉ＝｛１，２，・・・，Ｉ｝である。

抑圧処理部１４−１〜１４−Ｉの各々は、自己が算出した雑音抑圧音声ベクトル［ｘ＾］ｉのデータを、雑音抑圧音声行列記憶部１５に書き込む。

次に、重み算出部１６は、得られた雑音抑圧音声行列を基に、音声統合のための重み係数を求める。各々の雑音抑圧法Ｆｉに対応する重み係数をｗｉとして、これらの重み係数を要素とする列ベクトルｗを下の式（４）のように定義する。

なお、重み係数ｗｉを要素とするベクトルｗの算出方法については、後で詳細に説明する。
次に、音声統合部１７は、雑音抑圧音声行列記憶部１５から読み出した雑音抑圧音声行列［Ｘ＾］に、各雑音抑圧法に対応する重み係数ｗｉのベクトルｗを乗じることにより、統合雑音抑圧音声ベクトル［ｘ〜］を算出する。つまり、統合雑音抑圧音声ベクトル［ｘ〜］は、下の式（５）により表わされる。即ち、このベクトル［ｘ〜］は、各雑音抑圧音声ベクトル［ｘ＾］ｉに重み係数ｗｉを乗じて混合したもの（重み係数による積和形）に相当する。

式（５）で算出される統合雑音抑圧音声ベクトル［ｘ〜］は、Ｎ次元の列ベクトルである。
下の式（６）は、求めるべき音声のベクトルｘと各雑音抑圧音声ベクトル［ｘ＾］ｉとの誤差のベクトルｅｉとの関係を表わす。また、Ｅは、誤差ベクトルｅ１，ｅ２，・・・，ｅｉを列ベクトルとする行列（Ｎ行Ｉ列）である。

式（６）より、下の式（７）を得られる。即ち、式（７）により、各雑音抑圧音声ベクトル［ｘ＾］ｉを表わすことができる。

式（７）を式（３）に代入すると、式（５）で表わした統合雑音抑圧音声ベクトル［ｘ〜］は、下の式（８）のように、求めるべき音声ベクトルｘと誤差の行列Ｅとで表せる。

式（８）における右辺の第２項（誤差行列と重み係数ベクトルの積）を最小化するような重み係数ベクトルｗを求めれば、統合雑音抑圧音声ベクトル［ｘ〜］が、求めるべき音声ベクトルｘに近づくことになる。しかしながら、実際には、求めるべき音声ベクトルｘと誤差行列Eは不明である。そこで、最適な重み係数ベクトルｗｏｐｔを求めるために、重み係数ベクトルｗに関する最適化手法を用いる。本実施形態で用いる最適化手法では、相関係数を用いる。

図２は、重み算出部の詳細な機能構成を示すブロック図である。図示するように、重み算出部１６は、相互相関係数算出部２０１と、相互相関係数加算部２０２と、重み係数正規化部２０３とを含んで構成される。
相互相関係数算出部２０１は、各雑音抑圧法による雑音抑圧音声ベクトルを基に、それらのベクトル間の相互相関係数を算出する。つまり、相互相関係数算出部２０１は、分析フレームごとに雑音抑圧法間の相互相関係数を算出する。
相互相関係数加算部２０２は、ある雑音抑圧法について、その雑音抑圧法と他の雑音抑圧法との間の相互相関係数を、前記他の雑音抑圧法のすべてについて加算する（総和をとる）。この値が、その雑音抑圧法についての重み係数値の元となる。
重み係数正規化部２０３は、相互相関係数加算部２０２によって算出された雑音抑圧法ごとの重み係数値を正規化する。具体的には、重み係数正規化部２０３は、すべての雑音抑圧法についての重み係数の総和が例えば１になるように、調整する。
各部の処理の詳細については、以下で説明する。

以下では、図２のブロック図に沿って、重み係数を算出する手順について説明する。
まず、相互相関係数算出部２０１が、各雑音抑圧法による各雑音抑圧音声ベクトル［ｘ＾］ｉどうしの相互相関係数を求める。雑音抑圧音声ベクトル［ｘ＾］ｉと［ｘ＾］ｊの間の相互相関係数ｘｃｏｒｉ，ｊは、下の式（９）により計算される。

式（９）において、Ｅ［ ］は期待値である。つまり、式（９）により算出される相互相関係数は、即ち雑音抑圧音声ベクトル［ｘ＾］ｉと［ｘ＾］ｊの共分散を、それぞれの標準偏差で除したものである。雑音抑圧音声ベクトル［ｘ＾］ｉと［ｘ＾］ｊは、互いに異なる性質を有する雑音抑圧法を用いていて得られたものである。従って、音声区間では各雑音抑圧音声どうしの相互相関係数ｘｃｏｒｉ，ｊが高くなり、非音声区間（雑音区間）では各雑音抑圧音声どうしの相互相関係数ｘｃｏｒｉ，ｊが低くなることが期待される。
なお、相互相関係数算出部２０１は、ｉ，ｊ∈Ｉ、ｉ≠ｊである全てのｉとｊの組み合わせについて、相互相関係数を算出する。そして、相互相関係数算出部２０１は、求められた相互相関係数を相互相関係数加算部２０２に渡す。

次に相互相関係数加算部２０２は、相互相関係数算出部２０１によって算出された相互相関係数ｘｃｏｒｉ，ｊを用いて、各雑音抑圧音声ベクトル［ｘ＾］ｉに対する重み係数［ｗ＾］ｉを算出する。重み係数［ｗ＾］ｉは、下の式（１０）によって算出される。

ここで、ｎは重み係数の度合いを設定する指数であり、例えばｎ＝２とする。なお設定等により、ｎの値を適宜変えても良い。式（１０）に示すように、重み係数［ｗ＾］ｉは、雑音抑圧音声ベクトル［ｘ＾］ｉに係る相関係数を加算したものに基づく。言い換えれば、重み係数［ｗ＾］ｉは、雑音抑圧音声ベクトル［ｘ＾］ｉと［ｘ＾］ｊの間の相関係数の、ｊに関する総和（但し、ｉ≠ｊ）に基づき、その総和をｎ乗して得られる。

次に、重み係数正規化部２０３は、重み係数ベクトル［ｗ＾］が式（４）を満たすように、式（１０）で得られた重み係数を正規化する。正規化された重み係数のベクトルは、式（１１）で表わされる。

そして、このようにして得られた重み係数ベクトル［ｗ＾］を最適な重み係数ベクトルｗｏｐｔとする。即ち、ｗｏｐｔ＝［ｗ＾］である。重み算出部１６は、このようにして得られた重み係数ベクトルｗｏｐｔを出力する。

図１のブロック図に戻り、音声統合部１７は、重み算出部１６から供給される最適な重み係数ベクトルｗｏｐｔを式（５）に適用して、即ち式（５）のｗにｗｏｐｔを代入して、最適な統合雑音抑圧音声ベクトルを算出する。音声統合部１７は、下の式（１２）によって最適な統合雑音抑圧音声ベクトル［ｘ〜］ｏｐｔを算出する。

式（１２）において、ｍはフレームのインデックス、ｎはフレーム内のサンプルのインデックスを表す。また、下の式（１３）に示すように、ｃは式（９）の相互相関係数を平均して得られる定数であり、非音声区間（雑音区間）を抑圧する度合いを設定するのに用いる。

式（１３）におけるｋは定数の度合いを設定する指数であり、たとえばｋ＝２とする。なお設定等により、ｋの値を適宜変えても良い。

波形重ね合わせ部１８は、式（１２）で算出された時間波形［ｘ〜］ｏｐｔ（ｍ，ｎ）をフレームごとにシフト幅分ずらして、重ね合わせることにより、雑音抑圧音声［ｘ〜］（ｎ）を得る。

図３および図４は、本実施形態の雑音抑圧装置による雑音抑圧の結果の例を示すグラフである。図３の（ａ）〜（ｇ）は、それぞれ音声波形を示すものであり、横軸は時刻、縦軸は振幅である。また、図４の（ａ）〜（ｇ）は、それぞれ、音声スペクトルを示すものであり、横軸は時刻、縦軸は周波数である。図３および図４の横軸の単位は秒である。図４の縦軸の単位はヘルツである。図４は、周波数ごとの成分の強さの時間推移をグレースケールの濃さで表わしており、色が濃いほど（つまり、黒に近いほど）成分が強い。本例では、３種類の雑音抑圧法を用いて、抑圧処理部１４−１、１４−２、１４−３のそれぞれが抑圧処理を実行した。図３および図４のそれぞれにおいて、（ａ）はクリーンスピーチ、（ｂ）は付加雑音、（ｃ）は雑音抑圧装置への入力となる雑音混入音声、（ｄ）は本実施形態の雑音抑圧装置によって雑音を抑圧した音声、（ｅ）は雑音抑圧法１による雑音抑圧音声（抑圧処理部１４−１からの出力）、（ｆ）は雑音抑圧法２による雑音抑圧音声（抑圧処理部１４−２からの出力）、（ｇ）は雑音抑圧法３による雑音抑圧音声（抑圧処理部１４−３からの出力）の例を示す。

雑音抑圧法１〜３に比べて、本手法により音声区間の劣化を抑え、非音声区間（雑音区間）の雑音が効果的に抑圧されているのがわかる。例えば、図３と図４において、（ｄ）本実施形態による雑音抑圧結果における雑音部分が（ｇ）の雑音抑圧法３なみに小さく、且つ、（ｄ）本実施形態の音声部分が（ｅ）の雑音抑圧法１なみに明瞭で情報欠落やひずみが少ない。また、図４において、（ｇ）雑音抑圧法３では音声部分で高域（グラフ上側）の情報が失われているが、（ｄ）本実施形態では、（ｅ）雑音抑圧法１のように情報が残っている。このような違いがグラフからも確認できるが、客観評価値を用いた評価についても後で述べる。

図５は、本実施形態の雑音抑圧装置による雑音抑圧処理時に、重み算出部１６が算出した重み係数値の時間変化を示すグラフである。同図（ａ）〜（ｃ）のそれぞれにおいて、横軸は時刻を表わし、縦軸は重み係数の値を表わす。なお、横軸の単位は秒（second）である。図５に示す重み係数の値は、図３および図４に示した雑音抑圧処理実施結果に対応するものである。このグラフにおいて、抑圧処理部１４−１，１４−２，１４−３に対応する重み係数の値が、それぞれ、（ａ）のｗ１、（ｂ）のｗ２、（ｃ）のｗ３である。重み係数の値が大きいほど、統合雑音抑圧音声への寄与が大きいことを示している。グラフに示すように、音声区間では抑圧処理部１４−２（雑音抑圧法２）の寄与が大きく、非音声区間（雑音区間）では抑圧処理部１４−３（雑音抑圧法３）の寄与が大きい。このように音声区間であるか非音声区間であるかに応じて異なる雑音抑圧法の寄与が大きくなることは、図４に示した音声スペクトルとも整合する結果である。

図６は、本実施形態の雑音抑圧装置による雑音抑圧処理時に、相互相関係数算出部２０１が算出した相互相関係数の時間変化を示すグラフである。同図（ａ）〜（ｄ）のそれぞれにおいて、横軸は時刻を表わし、（ａ）〜（ｃ）の縦軸は相互相関値、（ｄ）の縦軸は式（１３）により相互相関値を平均して得られる定数の値を表わす。なお、横軸の単位は秒（second）である。（ａ）の「Ｍ１：Ｍ２」と記載しているグラフは、雑音抑圧法１と２との間の相互相関係数ｘｃｏｒ１，２の時間変化を表わす。（ｂ）の「Ｍ２：Ｍ３」と記載しているグラフは、雑音抑圧法２と３との間の相互相関係数ｘｃｏｒ２，３の時間変化を表わす。（ｃ）の「Ｍ３：Ｍ１」と記載しているグラフは、雑音抑圧法３と１との間の相互相関係数ｘｃｏｒ３，１の時間変化を表わす。また、（ｄ）の「ｃ」と記載しているグラフは、非音声区間（雑音区間）を抑圧する度合いの時間変化を示す。いずれの相互相関係数も、音声区間では高い値を示し、非音声区間（雑音区間）では低い値を示している。そして、非音声区間（雑音区間）を抑圧する度合いｃにより、雑音抑圧の効果を強調することができる。

次に、本実施形態の雑音抑圧装置による処理結果の客観評価値について説明する。雑音抑圧手法を客観的に評価するためにはさまざまな方法があるが、主観的な評価結果との乖離が少ないものが好ましい。ここでは客観評価値として、周波数重み付セグメンタルＳＮＲ（frequency-weighted segmental SNR；以下では「ｆｗＳＮＲｓｅｇ」と言う。）を用いる。ｆｗＳＮＲｓｅｇは、下の式（１４）により算出できる。

式（１４）において、Ｂｊは、ｊ番目（ｊ＝１，２，・・・，Ｋ）の周波数帯域に対する重みである。Ｋは、周波数帯域の数であり、例えばＫ＝２５とする。Ｍは、信号の全フレーム数である。｜Ｘ（ｍ，ｊ）｜は、クリーンスピーチのｍ番目のフレームの、ｊ番目の周波数帯域のフィルターバンクの振幅である。｜［Ｘ＾］（ｍ，ｊ）｜は雑音抑圧した信号のｍ番目のフレームの、ｊ番目の周波数帯域のフィルターバンクの振幅である。このｆｗＳＮＲｓｅｇでは、segmental SNRに聴覚的な周波数帯域ごとの重みづけがされているため、主観的な聴感試験の結果と相関が高い。ｆｗＳＮＲｓｅｇの評価値が大きいほど評価が高い。客観評価値ｆｗＳＮＲｓｅｇについては、下記の参考文献にも記載されている。
参考文献：Tribolet, J., Noll, P., McDermott, B., and Crochiere, R. E. “A study of complexity and quality of speech waveform coders.” Proc. IEEE Int. Conf. Acoust. , Speech, Signal Processing, 586-590，１９７８年．

上記のｆｗＳＮＲｓｅｇを用いた本実施形態の評価結果は、下の表１の通りである。

表１は、クリーンスピーチと各雑音抑圧法および本実施形態での提案法との間の客観評価値（ｆｗＳＮＲｓｅｇ）を示す。この客観評価値の結果からも、雑音抑圧法１〜３をそれぞれ単独で使用する場合よりも、本実施形態による雑音抑圧結果の方が高品質であることがわかる。

以上のように、異なる性質を持つ複数の雑音抑圧法で得られた雑音抑圧音声を時間領域で混合する際に、相関係数を用いて算出した重みづけ係数により、各雑音抑圧法からの雑音抑圧音声への重み付けを行うことにより、雑音成分のエネルギー低減、および、音声部分のエネルギー増幅の効果が的確に得られ、高品質な雑音抑圧音声を簡便に得ることができる。

［第２の実施形態］
次に、第２の実施形態について説明する。なお、前述の実施形態と同様の事項については説明を省略し、本実施形態特有の事項を中心に説明する。
図７は、第２の実施形態による雑音抑圧装置の機能構成を示すブロック図である。なお、前実施形態と同一の処理を行なう機能ブロックについては、前実施形態の説明と同一の符号を付与している。図示するように、雑音抑圧装置２は、音声入力部１１と、波形切り出し部１２と、周波数特性算出部２２と、位相特性算出部２４と、Ｉ個（Ｉは、２以上の整数）の抑圧処理部１４−１〜１４−Ｉと、I個の周波数特性算出部２５−１〜２５−Ｉと、I個の振幅特性算出部２６−１〜２６−Ｉと、雑音抑圧振幅特性行列記憶部３５と、重み算出部３６と、音声統合部３７と、周波数特性算出部３８と、音声波形算出部３９と、波形重ね合わせ部１８と、音声出力部１９とを含んで構成される。

音声入力部１１および波形切り出し部１２は、それぞれ、第１の実施形態におけるそれらと同様の機能を有する。
周波数特性算出部２２は、波形切り出し部１２によって切り出された音声データ（雑音混入音声）を基に、フーリエ変換により、その周波数特性データを算出する。
位相特性算出部２４は、周波数特性算出部２２によって得られた周波数特性データを基に、位相特性データを算出する。

抑圧処理部１４−１〜１４−Ｉは、第１の実施形態における抑圧処理部と同様の機能を有する。抑圧処理部１４−１〜１４−Ｉは、それぞれが異なる性質の雑音抑圧法を用いるものである。
周波数特性算出部２５−１〜２５−Ｉは、それぞれ、抑圧処理部１４−１〜１４−Ｉによって算出された雑音抑圧音声データを元に、フーリエ変換により、その周波数特性データを算出する。
振幅特性算出部２６−１〜２６−Ｉは、それぞれ、周波数特性算出部２５−１〜２５−Ｉによって得られた周波数特性データを元に、振幅特性データを算出する。
雑音抑圧振幅特性行列記憶部３５は、振幅特性算出部２６−１〜２６−Ｉによって得られる雑音抑圧音声の振幅特性データを記憶する。具体的には、雑音抑圧振幅特性行列記憶部３５は、振幅特性算出部２６−１〜２６−Ｉがそれぞれ生成する振幅特性ベクトルを並べて構成される雑音抑圧振幅特性行列の形式で、データを記憶する。

重み算出部３６は、雑音抑圧振幅特性行列記憶部３５に記憶されている雑音抑圧音声の振幅特性データを読み出し、このデータに基づいてそれぞれの雑音抑圧法のための重み係数を算出する。重み算出部１６は、混合後の雑音抑圧結果が最適となるように重み係数を算出する。
音声統合部３７は、振幅特性算出部２６−１〜２６−Ｉから出力された振幅特性データを混合する。このとき、音声統合部３７は、それぞれの雑音抑圧法に応じた重み係数を用いて、雑音抑圧法ごとの混合比率の重み付けを行なう。音声統合部３７は、上記の分析フレームごとに雑音抑圧音声データを混合する。なお、重み係数は、重み算出部１６によって算出されたものである。本実施形態では、音声統合部３７が混合するデータは、周波数領域の音声信号のデータである。

周波数特性算出部３８は、音声統合部３７から出力された混合後の振幅特性データ（最適な重み付けで混合されたデータ）と、位相特性算出部２４によって算出された入力音声の位相特性データとから、混合後の音声の周波数特性データを算出する。
音声波形算出部３９は、周波数特性算出部によって得られた周波数特性データを基に、逆フーリエ変換により、雑音抑圧音声の時間波形データを得る。この時間波形データは、分析フレームごとのデータである。
波形重ね合わせ部１８および音声出力部１９は、それぞれ、第１の実施形態におけるそれらと同様の機能を有する。

以下において、雑音抑圧装置２による処理手順の詳細を説明する。なお、本実施形態においても、サンプリング周波数は１６ｋＨｚ、量子化ビット数は１６ビットである。また、雑音混入音声ベクトルの長さＮは２５６（約１６ミリ秒）である。
音声入力部１１は、外部から音声を取得する。また、波形切り出し部１２は、分析フレームごとに音声波形を切り出す。

抑圧処理部１４−１〜１４−Ｉは、波形切り出し部１２がフレームごとに切り出した雑音混入音声ベクトルｙに対して、それぞれ性質の異なる雑音抑圧法Ｆｉ用いて、雑音を抑圧する処理を行う。この処理により、抑圧処理部１４−１〜１４−Ｉは、雑音抑圧音声ベクトル［ｘ＾］ｉ（ｉ＝１，２，・・・，Ｉ）を出力する。各雑音抑圧音声ベクトルの長さも、Ｎ（２５６）である。

周波数特性算出部２５−１〜２５−Ｉは、それぞれ、抑圧処理部１４−１〜１４−Ｉから供給された雑音抑圧音声ベクトル［ｘ＾］ｉについて、周波数特性ベクトル［Ｘ＾］ｉを求める。なお、周波数特性算出部２５−１〜２５−Ｉは、それぞれの雑音抑圧音声ベクトルを元に、適切な窓関数（たとえばハミング窓 ｗｈａｍｍ（ｎ）＝０．５４−０．４６ｃｏｓ（２πｎ／Ｎ） （ｎ＝１，・・・，Ｎ））を乗じて切り出した信号に離散フーリエ変換（ＦＦＴ）を実行することにより、周波数特性ベクトル［Ｘ＾］ｉを算出する。ＦＦＴのポイント数はＮである。

振幅特性算出部２６−１〜２６−Ｉは、それぞれ、周波数特性算出部２５−１〜２５−Ｉから供給される周波数特性ベクトル［Ｘ＾］ｉの絶対値を取ることにより、各雑音抑圧音声の振幅特性ベクトル｜［Ｘ＾］ｉ｜を算出する。振幅特性算出部２６−１〜２６−Ｉは、それぞれ算出した振幅特性ベクトル｜［Ｘ＾］ｉ｜を、雑音抑圧振幅特性行列記憶部３５に書き込む。

雑音抑圧振幅特性行列記憶部３５は、各雑音抑圧法による雑音抑圧音声の振幅特性ベクトル｜［Ｘ＾］ｉ｜を行ベクトルとする雑音抑圧振幅特性行列［Ｘ＾］を記憶する。即ち、雑音抑圧振幅特性行列［Ｘ＾］を算出する一連の処理の過程は、下の式（１５）で表わされる。

なお、式（１５）において、白抜き太字の「Ｃ」は複素数の集合を表わす。また、Ｒｅ（ ）は複素数の実部をとることを表わし、Ｉｍ（ ）は複素数の虚部をとることを表わす。また、ｗｈａｍｍは前述の窓関数である。
重み算出部３６は、下で説明する重み係数を算出する。
音声統合部３７は、重み算出部３６によって算出された重みを用いて、統合雑音抑圧振幅特性ベクトル｜［Ｘ〜］｜を求める。具体的には次の通りである。即ち、各雑音抑圧音声の振幅特性ベクトルよる雑音抑圧振幅特性行列［Ｘ＾］に、各雑音抑圧法Ｆｉに対応する重み係数ベクトルｗｉを列ベクトルとする行列Ｗを乗じて対角成分をとることにより、下の式（１６）のように統合雑音抑圧振幅特性ベクトル｜［Ｘ〜］｜を得る。

得られた統合雑音抑圧振幅特性ベクトル｜［Ｘ〜］｜は、各雑音抑圧音声の振幅特性ベクトルの各ビン｜［Ｘ＾］ｉ［ｌ］｜に重み係数ｗｉ［ｌ］を乗じて混合したものに相当する。なお、式（１６）において、ｄｉａｇ［ ］は、行列の対角成分を抽出して得られる列ベクトルをとることを表わす。重み係数ベクトルｗｉはＮ次元の行ベクトルである。そして、行列ＷはＩ行Ｎ列である。

重み算出部３６は、第１の実施形態の場合と同様に、例えば相互相関係数を用いるなどの最適化手法により、最適な重み係数行列Ｗｏｐｔを求める。その重み算出の手順について、以下で説明する。
まず、重み算出部３６は、下の式（１７）のように、各雑音抑圧法による雑音抑圧音声の振幅特性ベクトル｜［Ｘ＾］ｉ｜どうしの相互相関係数を求める。即ち、相互相関係数ｘｃｏｒｉ，ｊは、雑音抑圧音声の振幅特性ベクトル｜［Ｘ＾］ｉ｜と｜［Ｘ＾］ｊ｜の共分散を、それぞれの標準偏差で除したものである。

次に、重み算出部３６は、得られた相互相関係数ｘｃｏｒｉ，ｊを用いて、下の式（１８）によって、各雑音抑圧音声の振幅特性ベクトル｜［Ｘ＾］ｊ｜に対する重み係数ベクトル［ｗ＾］ｉを算出する。ここで、ｎは重み係数の度合いを設定する指数であり、たとえばｎ＝２とする。

式（１８）に示す計算は、各雑音抑圧音声の振幅特性ベクトル｜［Ｘ＾］ｊ｜に係る相関係数を加算するものであり、各ビンで共通のものになっている。そして、重み算出部３６は、重み係数ベクトル［ｗ＾］ｊから重み係数行列［Ｗ＾］を得る。

なお、重み算出部３６は、重み係数行列［Ｗ＾］が式（１６）を満たすように、下の式（２０）による正規化を行う。なお、式（２０）の右辺は、

このようにして得られた重み係数行列［Ｗ＾］を、最適な重み係数行列Ｗｏｐｔとする。即ち、Ｗｏｐｔ＝［Ｗ＾］である。

音声統合部３７は、この最適な重み係数行列Ｗｏｐｔを式（１６）に適用して、即ちＷ＝Ｗｏｐｔとして、下の式（２１）に示すように、最適な統合雑音抑圧振幅特性ベクトル｜［Ｘ〜］ｏｐｔ｜を得る。

一方で、周波数特性算出部２２は、フレームごとに切り出した雑音混入音声ベクトルｙから周波数特性ベクトルＹを求める。
そして、位相特性算出部２４は、周波数特性ベクトルＹを基に位相特性ベクトル∠Ｙを算出する。
この位相特性ベクトル∠Ｙの算出は、下の式（２２）により行なわれる。

そして、周波数特性算出部３８は、最適な統合雑音抑圧振幅特性ベクトル｜［Ｘ〜］ｏｐｔ｜と雑音混入音声の位相特性ベクトル∠Ｙとを用いて、下の式（２３）のように周波数特性ベクトル［Ｘ〜］ｏｐｔを算出する。

そして、音声波形算出部３９は、上で得られた周波数特性［Ｘ〜］ｏｐｔの逆フーリエ変換（ＩＦＦＴ）をとり、フレームごとに雑音抑圧された音声の時間波形［ｘ〜］ｏｐｔ（ｍ，ｎ）（ｎ＝１，・・・、Ｎ）を得る。ここで、ｍはフレームの、ｎはフレーム内のサンプルのインデックスを表す。

そして、波形重ね合わせ部１８は、時間波形［ｘ〜］ｏｐｔ（ｍ，ｎ）をハミング窓ｗｈａｍｍ（ｎ）で除して、で除して、適切な窓関数（例えば、ハニング窓ｗｈａｎｎ（ｎ）＝０．５−０．５ｃｏｓ（２πｎ／Ｔ）を乗じる。そして、窓関数を乗じたデータをフレームごとにソフト幅分ずらして、重ね合わせることにより、雑音抑圧音声［ｘ〜］（ｎ）を得る。
音声出力部１９は、波形重ね合わせ部１８によって計算された雑音抑圧音声を、外部に出力する。

図８および図９は、本実施形態の雑音抑圧装置による雑音抑圧の結果の例を示すグラフである。図８の（ａ）〜（ｇ）は、それぞれ音声波形を示すものであり、横軸は時刻、縦軸は振幅である。また、図９の（ａ）〜（ｇ）は、それぞれ、音声スペクトルを示すものであり、横軸は時刻、縦軸は周波数である。図８および図９の横軸の単位は秒である。図９の縦軸の単位はヘルツである。図９は、図４と同様に、周波数ごとの成分の強さの時間推移をグレースケールの濃さで表わしている。また、図８および図９は、それぞれ図３および図４と同様に、（ａ）クリーンスピーチ、（ｂ）付加雑音、（ｃ）雑音抑圧装置への入力となる雑音混入音声、（ｄ）本実施形態によって雑音を抑圧した音声、（ｅ）雑音抑圧法１による雑音抑圧音声（ｆ）は雑音抑圧法２による雑音抑圧音声、（ｇ）雑音抑圧法３による雑音抑圧音声の例を示す。
雑音抑圧法１〜３に比べて、本実施形態の方法でも、音声区間の劣化を抑え、非音声区間（雑音区間）の雑音が効果的に抑圧されているのがわかる。

次に、本実施形態の雑音抑圧装置による処理結果の客観評価値について説明する。客観評価値としては、第１の実施形態と同様に、ｆｗＳＮＲｓｅｇを用いる。ｆｗＳＮＲｓｅｇを用いた本実施形態の評価結果は、下の表２の通りである。

表に示すとおり、第２の実施形態による方法では、元の雑音抑圧法１〜３よりも良い結果が得られている。また、第２の実施形態による方法は、第１の実施形態による方法よりも良い結果が得られている。
第２の実施形態においては、抑圧処理部１４−１〜１４−Ｉから出力された時間領域の音声信号を周波数領域の信号に変換し、周波数領域の信号間の相互相関値をとることによって重み係数を算出するとともに、この重み係数に基づいて周波数領域の信号を混合した。以上のように、異なる性質を持つ複数の雑音抑圧法で得られた雑音抑圧音声を周波数領域で混合する際に、最適化手法を用いて算出した重みづけ係数により、各雑音抑圧法からの雑音抑圧音声への重み付けを行うことにより、雑音成分のエネルギー低減、および、音声部分のエネルギー増幅の効果が的確に得られ、高品質な雑音抑圧音声を精緻に得ることができる。

［第３の実施形態］
次に、第３の実施形態について説明する。なお、前述の実施形態と同様の事項については説明を省略し、本実施形態特有の事項を中心に説明する。本実施形態における雑音抑圧装置は、第１の実施形態における雑音抑圧装置と類似の構成を有し、重み係数の算出方法が異なるものである。つまり、本実施形態による雑音抑圧装置は、図１の機能ブロック図における重み算出部１６を、下で説明する重み算出部５６で置き換えた構成を有する。

重み算出部５６による重み係数の算出に先立って、第１の実施形態における処理と同様に、波形切り出し部１２は、入力された雑音混入音声を、適切な分析フレームごとに切り出す。また、フレームごとに切り出したデータについて、抑圧処理部１４−１〜１４−Ｉのそれぞれが、性質の異なるI個の雑音抑圧法によって各々の雑音抑圧音声を求める。

図１０は、本実施形態による重み算出部の機能構成を示すブロック図である。図示するように、重み算出部５６は、適応フィルター係数算出部２２１と、適応フィルター係数加算部２２２と、重み係数正規化部２２３とを含んで構成される。各雑音抑圧法に対応する最適な重み係数ベクトルｗｏｐｔを求めるために、重み算出部５６は適応フィルターを用いる。適応フィルターにはさまざまな方法があるが、本実施形態では一例として正規化ＬＭＳアルゴリズムを利用する。正規化ＬＭＳアルゴリズムは、ＬＭＳアルゴリズムの係数修正項を、フィルターの状態ベクトルノルムで正規化するものである。

適応フィルター係数算出部２２１は、各雑音抑圧法による雑音抑圧音声ベクトルを基に、ある雑音抑圧法による雑音抑圧音声ベクトルに関して、他の雑音抑圧法による雑音抑圧音声ベクトルを所望信号とする適応フィルター係数を求める。
適応フィルター係数加算部２２２は、ある雑音抑圧法について、その雑音抑圧法に関して他の雑音抑圧法を所望信号とする適応フィルター係数を、前記他の雑音抑圧法のすべてについて加算する（総和をとる）。この値が、その雑音抑圧法についての重み係数値の元となる。
重み係数正規化部２２３は、適応フィルター係数加算部２２２によって算出された雑音抑圧法ごとの重み係数値を正規化する。具体的には、重み係数正規化部２２３は、すべての雑音抑圧法についての重み係数の総和が例えば１になるように、調整する。

以下、適応フィルターを用いて重み係数を算出する手順について説明する。
適応フィルター係数算出部２２１は、まず、雑音抑圧音声行列記憶部１５（図１）から、抑圧処理部１４−１〜１４−Ｉによって各雑音抑圧法で得られた雑音抑圧音声ベクトル［ｘ＾］ｉ（ｉ＝１，・・・，Ｉ）のデータを読み出し、適応フィルター係数を求める。具体的には、適応フィルター係数算出部２２１は、雑音抑圧音声ベクトル［ｘ＾］ｉに関して、別の雑音抑圧法による雑音抑圧音声ベクトル［ｘ＾］ｊ（ｉ≠ｊ）を所望信号として適応フィルター係数ｈｋ＋１（ｉ，ｊ）を求める。適応フィルター係数ｈｋ＋１（ｉ，ｊ）は、下の式（２４）により算出される。

適応フィルター係数算出部２２１は、式（２４）の漸化式により、収束した適応フィルター係数を求める。ここで、αは適応フィルターの収束の度合いを決めるステップサイズパラメーターであり、βはゼロ除算を防ぐ安定化パラメーターである。適応フィルター係数はサンプルごとに更新する。前提として、抑圧処理部１４−ｉと１４−ｊとでは異なる性質の雑音抑圧法を用いている。また、適応フィルター係数ｈｋ＋１（ｉ，ｊ）は、各雑音抑圧音声どうしの相互相関の程度に相当する。従って、音声区間では適応フィルター係数ｈｋ＋１（ｉ，ｊ）が高くなり、非音声区間（雑音区間）では適応フィルター係数ｈｋ＋１（ｉ，ｊ）が低くなることが期待される。

次に、適応フィルター係数加算部２２２は、式（２４）で得られた適応フィルター係数ｈｋ＋１（ｉ，ｊ）を用いて、下の式（２５）によって、各雑音抑圧音声ベクトル［ｘ＾］ｉに対する重み係数［ｗ＾］ｉを算出する。

式（２５）に示すように、求められる重み係数［ｗ＾］ｉは、各雑音抑圧音声ベクトル［ｘ＾］ｉに係る適応フィルター係数をすべてのｊ（但し、ｉ≠ｊ）について加算したものである。

そして、重み係数正規化部２２３は、重み係数ベクトル［ｗ＾］が式（４）を満たすように、式（２６）による正規化を行なう。

このようにして得られた重み係数ベクトル［ｗ＾］を最適な重み係数ベクトルｗｏｐｔとする。即ち、ｗｏｐｔ＝［ｗ＾］である。
重み算出部５６によって最適な重み係数ベクトルｗｏｐｔが算出された後の処理は、第１の実施形態と同様である。即ち、音声統合部１７（図１）が、最適な重み係数ベクトルｗｏｐｔを式（５）に適用して（ｗ＝ｗｏｐｔ）、下の式（２７）に従って、最適な統合雑音抑圧音声ベクトル［ｘ〜］ｏｐｔを得る。

式（２７）において、ｍはフレームのインデックスを表わし、ｎはフレーム内のサンプルのインデックスを表わす。
そして、波形重ね合わせ部１８が、時間波形［ｘ〜］ｏｐｔ（ｍ，ｎ）をフレームごとにシフト幅分ずらして、重ね合わせる。これにより、雑音抑圧音声［ｘ〜］（ｎ）が得られる。

次に、本実施形態の雑音抑圧装置による処理結果の客観評価値について説明する。客観評価値としては、第１および第２の実施形態と同様に、ｆｗＳＮＲｓｅｇを用いる。ｆｗＳＮＲｓｅｇを用いた本実施形態の評価結果は、下の表３の通りである。

表に示すとおり、第３の実施形態による方法では、元の雑音抑圧法１〜３よりも良い結果が得られている。また、第３の実施形態による方法は、第１および第２の実施形態による方法（それぞれ、表１および表２に結果を示した）よりも良い結果が得られている。
以上のように、異なる性質を持つ複数の雑音抑圧法で得られた雑音抑圧音声を時間領域で混合する際に、適応フィルターを用いて算出した重みづけ係数により、各雑音抑圧法からの雑音抑圧音声への重み付けを行うことにより、雑音成分のエネルギー低減、および、音声部分のエネルギー増幅の効果が的確に得られ、高品質な雑音抑圧音声を簡便に得ることができる。

［第４の実施形態］
次に、第４の実施形態について説明する。なお、前述の実施形態と同様の事項については説明を省略し、本実施形態特有の事項を中心に説明する。

前述の第１の実施形態においては、抑圧処理部１４−１〜１４−Ｉから出力された時間領域の音声信号を、重み係数に基づいて混合した。このとき、抑圧処理部１４−１〜１４−Ｉから出力されたデータ（雑音抑圧音声ベクトル）の相互相関値をとり、この相互相関値に基づいて重み係数を求めた。
前述の第２の実施形態においては、抑圧処理部１４−１〜１４−Ｉから出力された時間領域の音声信号を周波数領域の信号に変換し、周波数領域の信号間の相互相関値をとることによって重み係数を算出するとともに、この重み係数に基づいて周波数領域の信号を混合した。
前述の第３の実施形態においては、時間領域の音声信号を重み係数に基づいて混合した。但し、同実施形態では、抑圧処理部１４−１〜１４−Ｉから出力されたデータ（雑音抑圧音声ベクトル）間の適応フィルター値をとることによって重み係数を算出した。
この第４の実施形態は、上記の第２の実施形態および第３の実施形態の特徴を併せ持つ構成を有する。即ち、周波数領域の信号間で適応フィルター値を算出し、この適応フィルター値に基づいて重み係数を算出する。そして、算出された重み係数に基づいて周波数領域の信号を混合する。

つまり、本実施形態による雑音抑圧装置は、図７に示す機能ブロック図と類似の構成を有し、重み算出部による重み係数の算出方法のみが異なる。本実施形態による重み算出部は、振幅特性算出部２６−１〜２６−Ｉから出力される雑音抑圧音声の振幅特性ベクトルに基づき、各振幅特性ベクトルについて、他の振幅特性ベクトルを所望信号とする適応フィルター値を算出する。そして、重み算出部は、各振幅特性ベクトルについて、他の振幅特性ベクトル（他の雑音抑圧法）を所望信号とする適応フィルター値の総和をとり、さらに重み係数全体の総和が１になるように正規化する。音声統合部は、得られた重み係数による重みづけを行ないながら、振幅特性ベクトルを混合する。そして、混合された周波数領域の雑音抑圧音声の信号を、時間領域の信号に戻す変換を行い、時間窓ごとの波形の重ね合わせを行なった後、得られた雑音抑圧音声を出力する。

なお、上述した各実施形態における雑音抑圧装置の機能をコンピューターで実現するようにしても良い。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

［変形例］
次のような変形例により、この発明を実施するようにしても良い。
第１〜第４の実施形態では、相互相関値あるいは適応フィルター係数値を算出して、２つの異なる雑音抑圧法で得た信号間で相関の高い波形を抽出することにより重み係数を設定した。代わりに、変形例では、重み係数をパラメーターとする評価関数を適切に設定し、雑音抑圧結果（複数の異なる雑音抑圧法による信号を混合した結果）に関して評価関数値を計算する。そして、その評価関数値が最適となるパラメーターを求めるようにする。求めるパラメーターは多次元（I×１次元、またはI×N次元）のベクトルであり、例えば最急降下法を用いて、パラメーターを最適化する。

以上、この発明の複数の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、音声処理全般に利用することができる。一例として、放送番組等のための音声を収録する機器類に利用することができる。

１，２ 雑音抑圧装置
１１ 音声入力部
１２ 波形切り出し部
１４−１〜１４−Ｉ 抑圧処理部
１５ 雑音抑圧音声行列記憶部
１６，３６，５６ 重み算出部
１７，３７ 音声統合部
１８ 波形重ね合わせ部
１９ 音声出力部
２２ 周波数特性算出部
２４ 位相特性算出部
２５−１〜２５−Ｉ 周波数特性算出部
２６−１〜２６−Ｉ 振幅特性算出部
３５ 雑音抑圧振幅特性行列記憶部
３８ 周波数特性算出部
３９ 音声波形算出部
２０１ 相互相関係数算出部
２０２ 相互相関係数加算部
２０３ 重み係数正規化部
２２１ 適応フィルター係数算出部
２２２ 適応フィルター係数加算部
２２３ 重み係数正規化部

Claims (4)

1. 入力された音声のデータについて、それぞれ異なる雑音抑圧法による処理を行なうことによって雑音抑圧音声データを出力する複数の抑圧処理部と、
   前記複数の抑圧処理部から出力された前記雑音抑圧音声データに基づき、それぞれの雑音抑圧法のための重み係数を算出する重み算出部と、
   前記重み算出部によって算出されたそれぞれの雑音抑圧法のための重み係数を前記複数の抑圧処理部から出力された各々の前記雑音抑圧音声データに乗じて、前記雑音抑圧音声データを混合する音声統合部と、
   を具備し、
   前記重み算出部は、前記複数の抑圧処理部から出力された前記雑音抑圧音声データの相互間の相関係数を算出し、他の雑音抑圧法との間の相関が高い雑音抑圧法ほど、前記重み係数の値が大きくなるよう算出する、
   ことを特徴とする雑音抑圧装置。
2. 入力された音声のデータについて、それぞれ異なる雑音抑圧法による処理を行なうことによって雑音抑圧音声データを出力する複数の抑圧処理部と、
   前記複数の抑圧処理部から出力された前記雑音抑圧音声データに基づき、それぞれの雑音抑圧法のための重み係数を算出する重み算出部と、
   前記重み算出部によって算出されたそれぞれの雑音抑圧法のための重み係数を前記複数の抑圧処理部から出力された各々の前記雑音抑圧音声データに乗じて、前記雑音抑圧音声データを混合する音声統合部と、
   を具備し、
   前記重み算出部は、前記複数の抑圧処理部から出力された前記雑音抑圧音声データに基づいて、各雑音抑圧法による前記雑音抑圧音声データについて、他の雑音抑圧法による前記雑音抑圧音声データを所望信号とする適応フィルター係数を算出し、算出された前記適応フィルター係数の値が大きいほど、前記重み係数の値が大きくなるよう算出する、
   ことを特徴とする雑音抑圧装置。
3. 前記複数の抑圧処理部のそれぞれから出力された前記雑音抑圧音声データに基づいて周波数特性データを算出する周波数特性算出部と、
   前記周波数特性データに基づいて振幅特性データを算出する振幅特性算出部と、
   をさらに具備し、
   前記重み算出部は、前記振幅特性データに基づいてそれぞれの雑音抑圧法のための重み係数を算出し、
   前記音声統合部は、前記重み係数を前記振幅特性データに乗じて混合することによって、前記雑音抑圧音声データを混合する、
   ことを特徴とする請求項１または２に記載の雑音抑圧装置。
4. コンピューターを、請求項１から３までのいずれか一項に記載の雑音抑圧装置として機能させるためのプログラム。