JP6464005B2 - 雑音抑圧音声認識装置およびそのプログラム - Google Patents

Description

本発明は、入力音声の雑音を抑圧して音声認識を行う雑音抑圧音声認識装置およびそのプログラムに関する。

音声認識を行う場合、音声認識の処理量の削減と認識性能の向上を図るため、入力音声から、人が発話した音声区間（発話区間）を検出して音声認識行い、それ以外の非音声区間（非発話区間）では、音声認識を行わないことが好ましい。
このような入力音声から発話区間を検出する手法としては、特許文献１に開示されている手法が存在する。
この手法は、音声および非音声の状態遷移を行う隠れマルコフモデルを予め定め、それぞれの状態遷移系列から計算される尤度を比較することで、音声区間を検出している。

特開２００７−２３３１４８号公報

前記した特許文献１に記載の手法によれば、入力音声から音声区間と非音声区間とを識別して、音声区間の音声を取り出すことができる。
しかし、入力音声が放送番組の音声である場合、その音声には、人が発話した音声以外に、雑音として、音楽、音声認識対象外の外国語音声等が混在している場合がある。
このように、入力音声に種々の雑音が混在している場合、単純に音声区間と非音声区間を検出する従来の手法では、人が発話した音声区間のみを検出することは困難である。
一方、従来手法において仮に音声区間を検出することができたとしても、人が発話した音声区間に雑音が重畳している場合、音声認識の精度が低くなってしまう。

本発明は、このような問題に鑑みてなされたものであり、雑音が重畳した入力音声から、音声認識対象の音声（母語音声）による音声区間を検出するとともに、当該区間に重畳されている雑音を抑圧して音声認識を行う雑音抑圧音声認識装置およびそのプログラムを提供することを課題とする。

前記課題を解決するため、本発明に係る雑音抑圧音声認識装置は、入力音声に対して雑音抑圧を行って音声認識を行う雑音抑圧音声認識装置であって、音響特徴量抽出手段と、統計モデル記憶手段と、クラス特徴量算出手段と、音声区間検出手段と、雑音区間検出手段と、雑音抑圧処理選択手段と、音声認識手段と、を備える構成とした。

かかる構成において、雑音抑圧音声認識装置は、音響特徴量抽出手段によって、入力音声から、所定時間長のフレーム単位で音響特徴量を抽出する。この音響特徴量は、例えば、対数メルフィルタバンク出力やメル周波数ケプストラム係数である。
そして、雑音抑圧音声認識装置は、クラス特徴量算出手段によって、統計モデルに基づいて、音響特徴量抽出手段で抽出された音響特徴量から、フレームごとに、音声認識対象である母語音声を含む音声の種類ごとの各クラスが出現する事後確率と、雑音の種類ごとの各クラスが出現する事後確率とを、各クラスのクラス特徴量として算出する。この統計モデルは、予め統計モデル記憶手段に記憶されているもので、音響特徴量と音声の種類ごとの関係、および、音響特徴量と雑音の種類ごとの関係とを予め学習したものである。この統計モデルは、ニューラルネットワークのパラメータ（ネットワークの層間を結合する結合行列とバイアス項）としてモデル化しておくことができる。

そして、雑音抑圧音声認識装置は、音声区間検出手段によって、音声の種類ごとの各クラスが出現する事後確率に基づいて、母語音声の音声区間を検出する。この音声区間は、隠れマルコフモデルに基づく、音声の種類（母語音声、非音声等）ごとの各クラスの状態遷移系列により検出することができる。
また、雑音抑圧音声認識装置は、雑音区間検出手段によって、雑音の種類ごとの各クラスが出現する事後確率に基づいて、雑音の種類（外国語音声、音楽等）ごとの雑音区間を検出する。この雑音の種類ごとの雑音区間についても、隠れマルコフモデルに基づく、雑音の種類ごとの各クラスの状態遷移系列により検出することができる。
これによって、雑音抑圧音声認識装置は、入力音声のどの区間が音声区間であるのかを検出することができるともに、その音声区間において、さらに雑音の種類ごとの区間を検出することができる。

そして、雑音抑圧音声認識装置は、雑音抑圧処理選択手段によって、音声区間に対応する雑音区間における雑音の種類に応じて、予め定めた雑音抑圧手法を選択する。

そして、雑音抑圧音声認識装置は、雑音抑圧手段によって、雑音抑圧処理選択手段で選択された雑音抑圧手法で、音声区間における雑音の音響特徴量を抑圧した音響特徴量を生成する。
これによって、雑音抑圧音声認識装置は、音声区間に重畳されている雑音の種類に応じて、個別に雑音を抑圧した音響特徴量を生成することができる。

そして、雑音抑圧音声認識装置は、音声認識手段によって、雑音抑圧手段で生成された音響特徴量により音声認識を行う。
これによって、雑音抑圧音声認識装置は、入力音声から、音声認識対象の音声（母語音声）による音声区間を検出し、その音声区間に重畳されている雑音の種類に応じて雑音を抑圧した音声認識を行うことができる。

本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、雑音が重畳した入力音声であっても、音声と雑音とをモデル化した統計モデルを用いることで、音声認識対象の音声による音声区間を精度よく検出することができる。また、本発明によれば、検出した音声区間に重畳されている雑音の種類に応じた雑音抑圧処理を施すことができるため、音声認識の精度を高めることができる。

本発明の実施形態に係る雑音抑圧音声認識装置の構成を示すブロック構成図である。 統計モデル記憶手段に記憶され、クラス特徴量抽出手段が参照するリカレントニューラルネットワークの構造を模式的に示す模式図である。 音声区間検出手段における３つの状態遷移の例を示す遷移図である。 音声区間検出手段において最尤系列を求める手法を説明するための説明図である。 雑音区間検出手段における４つの状態遷移の例を示す遷移図である。 雑音区間検出手段において最尤系列を求める手法を説明するための説明図である。 統計モデル記憶手段に記憶される統計モデルを学習するための学習データの例を示し、（ａ）は入力音声のフレームごとの音響特徴量、（ｂ）は入力音声を構成するフレームごとの音の構成、（ｃ）はフレームごとの音声区間検出手段用のクラス特徴量および雑音区間検出手段用のクラス特徴量を示す。 本発明の実施形態に係る雑音抑圧音声認識装置の音響特徴量の蓄積動作を示すフローチャートである。 本発明の実施形態に係る雑音抑圧音声認識装置の雑音のクラス別に雑音抑圧を行う動作を示すフローチャートである。

以下、本発明の実施形態について図面を参照して説明する。
〔雑音抑圧音声認識装置の構成〕
まず、図１を参照して、本発明の実施形態に係る雑音抑圧音声認識装置１の構成について説明する。

雑音抑圧音声認識装置１は、放送番組の音声（放送音声）のような雑音を含んだ音声から、音声認識対象の音声区間を検出し、当該区間に重畳されている雑音を抑圧して音声認識を行うものである。以下、音声認識対象の音声を母語音声（例えば、日本人による日本語の音声）という。また、ここで、雑音とは、音声認識対象の音声以外の音声あるいは音であって、音楽、外国語音声等である。もちろん、雑音には、音楽、外国語音声以外にも、種々存在するが、それらは、その１つとしてその他雑音ということとする。
ここでは、雑音抑圧音声認識装置１は、区間検出手段１０と、雑音抑圧手段２０と、音声認識手段３０と、を備える。

区間検出手段１０は、入力音声（放送音声）から音声区間を検出するとともに、当該音声区間内に重畳されている雑音の種別を特定し、音声フレーム（音声認識を行う音響特徴量の１単位を指す）ごとに、予め定めた複数の雑音抑圧手法のいずれが適しているかを選択するものである。
ここでは、区間検出手段１０は、音響特徴量抽出手段１１と、特徴量正規化手段１２と、フレームバッファ１３と、統計モデル記憶手段１４と、クラス特徴量算出手段１５と、音声区間検出手段１６と、雑音区間検出手段１７と、雑音抑圧処理選択手段１８と、を備える。

音響特徴量抽出手段１１は、入力音声から、音響特徴量を抽出するものである。この音響特徴量は、雑音が重畳された入力音声の特徴量である。ここでは、音響特徴量として、対数メルフィルタバンク出力を用いる。

具体的には、音響特徴量抽出手段１１は、まず、入力音声を所定の時間単位でフレーム（例えば、フレーム長を２０〜３０ｍｓ、フレーム間隔を１０〜２０ｍｓ）を切り出す。そして、音響特徴量抽出手段１１は、フレームごとに離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）を行う。そして、音響特徴量抽出手段１１は、振幅スペクトルをメル尺度上で等間隔なフィルタバンクにかけて、各帯域のスペクトル成分を抽出する。そして、音響特徴量抽出手段１１は、フィルタバングの数の次数（例えば、２０次元）に圧縮された振幅スペクトルの対数をとることで、対数振幅スペクトル（特徴量ベクトル）を求める。
この音響特徴量抽出手段１１は、所定次数の対数振幅スペクトルを、特徴量正規化手段１２に出力する。

なお、ここでは、音響特徴量として、対数メルフィルタバンク出力（所定次数の対数振幅スペクトル）を用いることとするが、メル周波数ケプストラム係数（ＭＦＣＣ：Mel Frequency CepstralCoefficient）を用いることとしてもよい。
その場合、音響特徴量抽出手段１１は、前記のように求めた所定次数の対数振幅スペクトルに対して、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を行い、スペクトルの声道成分となる低次（例えば、１２次元）の成分をメル周波数ケプストラム係数として取り出せばよい。

特徴量正規化手段１２は、音響特徴量抽出手段１１で抽出された音響特徴量を正規化するものである。
例えば、特徴量正規化手段１２は、音響特徴量抽出手段１１で抽出された音響特徴量である所定次数の特徴量ベクトル（対数振幅スペクトルまたはメル周波数ケプストラム係数）を、平均値が“０”、分散が“１”となるように正規化する。これによって、特徴量ベクトルのダイナミックレンジ（幅）を圧縮するとともに、例えば、マイク特性、話者の違い等による音響特徴量のばらつき（歪み）を抑えることができる。
この特徴量正規化手段１２は、正規化された音響特徴量を、フレーム単位で、フレームバッファ１３に蓄積する。

フレームバッファ１３は、音響特徴量をフレーム単位で記憶するもので、一般的なメモリで構成される。なお、フレームバッファ１３のサイズは、少なくとも音声区間検出手段１６および雑音区間検出手段１７において、各区間（音声区間、雑音区間）を検出する予め定めた大きさを有し、例えば、５０フレームとする。
このフレームバッファ１３には、特徴量正規化手段１２によって、音響特徴量が逐次記憶され、クラス特徴量算出手段１５によって順次読み出される。なお、フレームバッファ１３のクリアは、音声区間検出手段１６および雑音区間検出手段１７の説明において行うこととする。

統計モデル記憶手段１４は、フレームごとの音響特徴量が入力された際に、音声の音をその種類ごとにクラス分けした各分類の状態と、雑音の音をその種類ごとにクラス分けした各分類の状態がそれぞれ占有する確率（隠れマルコフモデル〔ＨＭＭ：Hidden Markov Model〕の状態の事後確率）をモデル化した統計モデルを記憶するものである。
この統計モデルは、単一の音声入力（音響特徴量）から、音声に着目した分類と、雑音に着目した分類とを２つ独立して、それぞれの事後確率をモデル化したものである。
ここでは、音声を、母語音声と、非音声（音楽、外国語音声、その他雑音）と、無音との３つの種類にクラス分けすることとする。また、雑音を、雑音なし（母語音声のみ、または、無音）と、外国語音声と、音楽と、その他雑音との４つの種類にクラス分けすることとする。

この統計モデル記憶手段１４は、統計モデルとして、例えば、予め学習した統計モデルの一つであるリカレントニューラルネットワークのパラメータ（ネットワーク層間を結ぶ結合行列およびバイアス）を記憶しておく。この統計モデル（リカレントニューラルネットワーク）の学習については、後で説明することとする。

ここで、図２を参照して、リカレントニューラルネットワークについて説明する。図２は、後記するクラス特徴量算出手段１５において、音響特徴量から、音声および雑音の各クラスの事後確率をクラス特徴量として求めるリカレントニューラルネットワークＮの構造を模式的に示したものである。

このリカレントニューラルネットワークＮは、入力層において、所定次元の音響特徴量を入力し、隠れ層Ａ、隠れ層Ｂを介し、２つの出力層から、それぞれ、音声（母語音声、非音声、無音の３つ）と、雑音（雑音なし、外国語音声、音楽、その他雑音の４つ）の各クラスの事後確率（クラス特徴量）を出力する。このとき、リカレントニューラルネットワークＮは、隠れ層Ａにおいて、前回の隠れ層Ａの出力を再帰させる。これによって、リカレントニューラルネットワークＮは、クラス特徴量が直前の音響特徴量の影響を受け、推定精度を高めることができる。
図１に戻って、雑音抑圧音声認識装置１の構成について説明を続ける。

クラス特徴量算出手段１５は、フレームバッファ１３から、順次、フレームごとの音響特徴量を入力し、統計モデル記憶手段１４に記憶されている統計モデルに基づいて、音声（母語音声、非音声、無音の３つ）と、雑音（雑音なし、外国語音声、音楽、その他雑音の４つ）のクラスごとのクラス特徴量（事後確率）を算出するものである。
すなわち、クラス特徴量算出手段１５は、図２に示すように、統計モデル記憶手段１４に予め記憶されているリカレントニューラルネットワークＮの層間を結ぶ結合行列およびバイアスに基づいて、入力層から出力層までの演算を順次行い、クラス特徴量を算出する。

ここでは、クラス特徴量算出手段１５は、音声（母語音声、非音声、無音の３つ）について、それぞれのクラス（母語音声、非音声、無音）とともに、クラス特徴量（事後確率）をタグとして音声区間検出手段１６に出力する。また、クラス特徴量算出手段１５は、雑音（雑音なし、外国語音声、音楽、その他雑音の４つ）について、それぞれのクラス（雑音なし、外国語音声、音楽、その他雑音）とともに、クラス特徴量（事後確率）をタグとして雑音区間検出手段１７に出力する。

音声区間検出手段１６は、クラス特徴量算出手段１５においてフレームごとに算出されるクラス特徴量に基づいて、音声区間を検出するものである。
ここでは、音声区間検出手段１６は、各フレームが、“母語音声”、“非音声”および“無音”のどのクラスに属する音声であるのかを判定する。この場合、“母語音声”と判定された１以上の連続フレームが音声区間となる。

すなわち、音声区間検出手段１６は、図３に示すような“母語音声”、“非音声”および“無音”の３状態からなるエルゴディックＨＭＭにより、各状態（クラス）を、クラス特徴量算出手段１５から入力されるクラス特徴量（事後確率）に基づいて確率的に遷移させる。
そして、音声区間検出手段１６は、フレームバッファ１３に記憶されている音響特徴量の各クラスに遷移する最尤系列を求めることで、フレームごとのクラスを特定する。なお、最尤系列とは、遷移する確率が最大となるＨＭＭ状態系列をいう。

例えば、音声区間検出手段１６は、図４に示すように、フレームバッファ１３に音響特徴量がフレーム単位で特徴量列として記憶された状態において、クラス特徴量算出手段１５で算出されたクラス特徴量（クラスごとの事後確率）を順次入力するたびに、ビタビ（Ｖｉｔｅｒｂｉ）アルゴリズムにより最尤系列を求める。ここで、図４は、ある時間ｔにおいて、フレームバッファ１３の先頭から、クラスが“母語音声”，“母語音声”，…，“無音”が最尤系列であることを示している。
これによって、音声区間検出手段１６は、フレームバッファ１３に記憶されている音響特徴量がどのクラスの特徴量であるのかを順次判定することができる。

この音声区間検出手段１６は、フレームごとに、判定したクラスを特定するタグを雑音抑圧処理選択手段１８に出力するとともに、フレームバッファ１３から当該フレームに対応する音声特徴量を読み出す旨を、雑音抑圧処理選択手段１８に指示する。
そして、音声区間検出手段１６は、雑音抑圧処理選択手段１８から読み出し完了の応答を受け取ったタイミングで、フレームバッファ１３の内容を更新する。

すなわち、音声区間検出手段１６は、図４に示すように、最尤系列によりクラスが決定した区間（決定区間）が特定され、各音響特徴量が雑音抑圧処理選択手段１８に出力された後、まだクラスが決定していない区間（未決区間）の音響特徴量をフレームバッファ１３の先頭に移動させ、残りのフレームバッファ１３の音響特徴量をクリアする。
このように、フレームバッファ１３には、バッファサイズをＮ_ｂｕｆ、決定区間をＮ_ｄｅｔ、未決区間をＮ_ｎｏｔとしたとき、以下の式（１）の関係がある。

そこで、音声区間検出手段１６は、Ｎ_ｂｕｆフレームに対して、Ｎ_ｄｅｔフレーム分のクラスが決定された後、Ｎ_ｎｏｔフレームを先頭バッファに移動させる処理を繰り返し、入力音声の音響特徴量がフレームバッファ１３に入力され続ける限り、クラスの判定動作を繰り返す。
なお、図４において、フレームバッファ１３よりも前（図中、左）に、遷移状態を示す“○印”が存在しているが、これは、クラスの判定動作継続中の未決区間のクラス判定を行う際に、決定区間の最後の状態のクラス特徴量を含んで最尤系列を求めてもよいことを示している。これによって、最尤系列の精度を高めることができる。

雑音区間検出手段１７は、クラス特徴量算出手段１５においてフレームごとに算出されるクラス特徴量に基づいて、雑音の種別を区分する雑音区間を検出するものである。
ここでは、雑音区間検出手段１７は、各フレームが、“雑音なし”、“外国語音声”、“音楽”および“その他雑音”のどのクラスに属する雑音であるのかを判定する。この場合、例えば、“音楽”と判定された１以上の連続フレームが、音楽による雑音区間となる。

すなわち、雑音区間検出手段１７は、図５に示すような“雑音なし”、“外国語音声”、“音楽”および“その他雑音”の４状態からなるエルゴディックＨＭＭにより、各状態（クラス）を、クラス特徴量算出手段１５から入力されるクラス特徴量（事後確率）に基づいて確率的に遷移させる。
そして、雑音区間検出手段１７は、フレームバッファ１３に記憶されている音響特徴量の各クラスに遷移する遷移確率が最大となる最尤系列を求めることで、フレームごとのクラスを特定する。

この雑音区間検出手段１７は、クラスの種別が異なる点を除いて、図６に示すように、音声区間検出手段１６と同様の手法（ビタビアルゴリズム）で最尤系列を求め、フレームごとのクラスを特定する。この図６は、クラスの種別が異なるだけで、図４と同じであるため、これ以上の説明は省略する。

なお、フレームバッファ１３は音声区間検出手段１６と共通に参照するため、雑音区間検出手段１７は、音声区間検出手段１６が最尤系列を特定した時点に同期して、同じ時点までの最尤系列を特定（複数存在する場合は、その中から１つ選択）して、フレームごとに、判定したクラスを特定するタグを雑音抑圧処理選択手段１８に出力する。
これによって、あるフレームに対して、音声区間検出手段１６で判定されたクラスのタグ（“母語音声”，“非音声”，“無音”）と、雑音区間検出手段１７で判定されたクラスのタグ（“雑音なし”，“外国語音声”，“音楽”，“その他雑音”）とが対となって、フレームごとに雑音抑圧処理選択手段１８に出力される。

雑音抑圧処理選択手段１８は、音声区間検出手段１６で検出されたフレームごとのクラスと、雑音区間検出手段１７で検出されたフレームごとのクラスとに基づいて、フレームごとに、予め定めた複数の雑音抑圧処理の中から１つを選択するものである。
ここでは、雑音抑圧処理選択手段１８は、音声区間検出手段１６で“母語音声”と判定されたフレームにおいて、雑音区間検出手段１７で判定された雑音の種別（クラス）に応じて、雑音抑圧処理を切り替える。

すなわち、“母語音声”と判定されたフレームにおいて、雑音のクラスが“雑音なし”の場合、雑音抑圧処理選択手段１８は、入力ａの出力を、雑音抑圧を行わない経路となる出力ｂに切り替えて、フレームバッファ１３に記憶されている音響特徴量を雑音抑圧手段２０に出力する。

また、“母語音声”と判定されたフレームにおいて、雑音のクラスが“外国語音声”の場合、雑音抑圧処理選択手段１８は、入力ａの出力を、外国語音声を抑圧する手段（ここでは、特定雑音抑圧手段２１ａ）への経路となる出力ｃに切り替えて、フレームバッファ１３に記憶されている音響特徴量を雑音抑圧手段２０に出力する。

また、“母語音声”と判定されたフレームにおいて、雑音のクラスが“音楽”の場合、雑音抑圧処理選択手段１８は、入力ａの出力を、音楽を抑圧する手段（ここでは、特定雑音抑圧手段２１ｂ）への経路となる出力ｄに切り替えて、フレームバッファ１３に記憶されている音響特徴量を雑音抑圧手段２０に出力する。

また、“母語音声”と判定されたフレームにおいて、雑音のクラスが“その他雑音”の場合、雑音抑圧処理選択手段１８は、入力ａの出力を、その他固有の雑音を抑圧する手段（ここでは、特定雑音抑圧手段２１ｃ）への経路となる出力ｅに切り替えて、フレームバッファ１３に記憶されている音響特徴量を雑音抑圧手段２０に出力する。

なお、雑音抑圧処理選択手段１８は、音声区間検出手段１６で“非音声”と判定されたフレームについては、雑音区間検出手段１７で判定された雑音の種別（クラス）に関係なく、入力ａの出力を、出力を停止する経路となる出力ｆに切り替える。これによって、音声認識装置２において、非音声を誤って音声と識別することに起因する音声認識誤りの増加を防止することができる。
また、雑音抑圧処理選択手段１８は、音声区間検出手段１６で“無音”と判定されたフレームについては、入力ａの出力を出力ｂに切り替えて、無音の音響特徴量を雑音抑圧手段２０に出力することとしてもよいし、入力ａの出力を出力ｆに切り替えて、無音の音響特徴量を雑音抑圧手段２０に出力しないこととしてもよい。
これによって、雑音抑圧処理選択手段１８は、音声に重畳されている雑音の種別に応じて、最適な雑音抑圧手法を選択することができる。

なお、ここでは、雑音抑圧処理選択手段１８は、入出力の経路を切り替えることで、複数の雑音抑圧処理の中から１つを選択することとしたが、雑音抑圧処理を識別する識別子とともに、音響特徴量を雑音抑圧手段２０に出力することとしてもよい。

雑音抑圧手段２０は、雑音抑圧処理選択手段１８で選択された雑音抑圧処理で、音声に重畳されている雑音を抑圧するものである。ここでは、雑音抑圧手段２０は、音響特徴量を予め学習した雑音抑圧モデルによる補正することで、雑音を抑圧する。
この雑音抑圧手段２０は、特定の雑音の種別に応じた複数の特定雑音抑圧手段２１（２１ａ，２１ｂ，２１ｃ）と、雑音抑圧モデル記憶手段２２と、を備える

特定雑音抑圧手段２１ａは、フレームごとの音響特徴量に対して、雑音抑圧モデル記憶手段２２に記憶されているモデルに基づいて、外国語音声の特徴を抑圧した音響特徴量を算出するものである。

特定雑音抑圧手段２１ｂは、フレームごとの音響特徴量に対して、雑音抑圧モデル記憶手段２２に記憶されているモデルに基づいて、音楽の特徴を抑圧した音響特徴量を算出するものである。

特定雑音抑圧手段２１ｃは、フレームごとの音響特徴量に対して、雑音抑圧モデル記憶手段２２に記憶されているモデルに基づいて、その他の特定の雑音の特徴を抑圧した音響特徴量を算出するものである。
なお、特定雑音抑圧手段２１ａ，２１ｂ，２１ｃは、それぞれ雑音抑圧モデル記憶手段２２に記憶されている専用のモデルを用いることする。

この雑音抑圧モデル記憶手段２２に記憶されているそれぞれのモデルには、特定の種類の雑音を抑圧するニューラルネットワークを用いることができる。このニューラルネットワークは、予め雑音が重畳された音声と、教師信号である雑音が重畳されていない音声とから学習したものである。

すなわち、複数の特定雑音抑圧手段２１（２１ａ，２１ｂ，２１ｃ）は、入力層に入力される雑音が重畳された音響特徴量を、それぞれの雑音（外国語音声，音楽，その他雑音）用に予め学習されたニューラルネットワークのパラメータ（ネットワーク層間を結ぶ結合行列およびバイアス）を用いて出力層まで演算することで、雑音を抑圧した音響特徴量（雑音抑圧音響特徴量）を生成する。

雑音抑圧モデル記憶手段２２は、特定の雑音が重畳された音声の音響特徴量を、雑音を抑圧した音声の音響特徴量に変換するためのモデルを記憶するものである。ここでは、雑音抑圧モデル記憶手段２２は、それぞれの雑音（外国語音声，音楽，その他雑音）に対応して、ニューラルネットワークのパラメータ（ネットワーク層間を結ぶ結合行列およびバイアス）を記憶しておく。

なお、ニューラルネットワークを用いた雑音抑圧を行う手法は、公知の手法であって、例えば、以下の参考文献に記載されている。
（参考文献）「Xue Feng, Yaodong Zhang, James Glass ,“SPEECH FEATURE DENOISING AND DEREVERBERATION VIA DEEP AUTOENCODERS FOR NOISY REVERBERANT SPEECH RECOGNITION”,2014 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP)」

この雑音抑圧手段２０は、特定雑音抑圧手段２１ａ，２１ｂ，２１ｃで生成された雑音抑圧音響特徴量を、音声認識手段３０に出力する。
なお、雑音抑圧手段２０は、雑音のクラスが“雑音なし”と判定されたフレームの音響特徴量、すなわち、雑音抑圧処理選択手段１８の出力ｂから入力した音響特徴量については、特定雑音抑圧手段２１を介さずに、そのまま音声認識手段３０に出力する。

音声認識手段３０は、音声特徴量を入力として、音声認識を行うものである。
ここでは、音声認識手段３０は、雑音抑圧手段２０から、雑音を抑圧した音声の音響特徴量（雑音抑圧音響特徴量）を入力する。
この音声認識手段３０における音響特徴量から音声認識を行う手法は、一般的な手法を用いればよい。例えば、音声認識手段３０は、音響特徴量を隠れマルコフモデル（ＨＭＭ）でモデル化した音響モデルと、単語間の接続関係をモデル化した言語モデルとを用いて、順次入力される音響特徴量から文字列を推定すればよい。
この音声認識手段３０は、推定した文字列を認識結果として外部に出力する。例えば、音声認識手段３０は、認識結果である文字列を、図示を省略した表示装置に出力してもよいし、記録媒体に記録することとしてもよい。
このように、音声認識手段３０は、入力音声の音響特徴量に対して、雑音の成分を抑圧した音響特徴量を用いて音声認識を行うため、認識精度を高めることができる。

以上、説明したように雑音抑圧音声認識装置１を構成することで、雑音抑圧音声認識装置１は、雑音を含んだ一般的な環境で発話された音声から、母語音声の発話区間（音声区間）を精度よく推定することができる。また、雑音抑圧音声認識装置１は、音声に重畳された雑音の種類を判定し、雑音の種類に適した雑音抑圧手法により雑音を抑えるため、雑音を効果的に抑え、音声認識の精度を高めることができる。
なお、雑音抑圧音声認識装置１は、コンピュータを、前記した構成の各手段として機能させるためのプログラム（雑音抑圧音声認識プログラム）で動作させることができる。

（統計モデルの学習について）
次に、統計モデル記憶手段１４に記憶される統計モデル（リカレントニューラルネットワーク）の学習について説明する。
ここでは、図２に示したリカレントニューラルネットワークＮとして、所定次元の音響特徴量を入力し、音声の各クラス（ここでは、母語音声、非音声、無音）のクラス特徴量（事後確率）と、雑音の各クラス（ここでは、雑音なし、外国語音声、音楽、その他雑音）のクラス特徴量（事後確率）とを出力する統計モデルを学習する例を説明する。
この場合、リカレントニューラルネットワークＮのネットワーク層間を結ぶ結合行列およびバイアスは、教師信号を用いる既存のアルゴリズムである誤差逆伝播法を用いて求めればよい。この教師信号は、既知の雑音が重畳された音声（音響特徴量）、および、当該音声のフレームごとの各クラスの事後確率である。

ここで、図７を参照（適宜、図１参照）して、教師信号として用いる学習データの一例について説明する。
図７（ａ）は、既知の雑音が所定時間に重畳されている音声の音響特徴量を１２フレーム分示している。なお、この音響特徴量は、図１に示した音響特徴量抽出手段１１と同様の手法で、雑音が重畳された音声から抽出したものである。
この音響特徴量が、リカレントニューラルネットワークＮの入力層に入力される信号となる。

図７（ｂ）は、（ａ）の各フレームが、どのクラスの音で構成されているのかを示している。ここでは、母語音声が、第３フレームから第９フレームまで含まれ、音楽が、第１フレームから第１０フレームまで含まれ、外国語音声が第１１フレームから第１２フレームまで含まれていることを示している。

図７（ｃ）は、音声区間検出手段１６および雑音区間検出手段１７のそれぞれに出力するクラス特徴量である音のクラスとその状態の事後確率（教師信号）とを示している。
例えば、音声区間検出手段１６に対する出力として、図７（ｂ）に示すように、第１フレームから第２フレームまで、および、第１０フレームから第１２フレームまでは、母語音声が含まれていないため、図７（ｃ）に示すように、非音声の状態の事後確率“１．０”が出力されることが期待される。また、第３フレームから第９フレームまでは、母語音声が含まれているため、音声の状態の事後確率“１．０”が出力されることが期待される。

また、雑音区間検出手段１７に対する出力として、図７（ｂ）に示すように、第１フレームから第１０フレームまでは、音楽が含まれているため、図７（ｃ）に示すように、音楽の状態の事後確率“１．０”が出力されることが期待される。また、第１１フレームから第１２フレームまでは、外国語音声が含まれているため、外国語音声の状態の事後確率“１．０”が出力されることが期待される。
このような既知の種々の学習データを教師信号として学習させることで、リカレントニューラルネットワークを構成することができる。

〔雑音抑圧音声認識装置の動作〕
次に、図８，図９を参照して、本発明の実施形態に係る雑音抑圧音声認識装置１の動作について説明する。なお、ここでは、予め統計モデル記憶手段１４および雑音抑圧モデル記憶手段２２に各モデルが記憶されているものとする。
また、ここでは、雑音抑圧音声認識装置１の動作として、フレームバッファ１３に音響特徴量を蓄積する動作と、フレームバッファ１３に蓄積されている音響特徴量から、雑音を抑圧した音声認識を行う動作とに分けて説明する。

（音響特徴量蓄積動作）
まず、図８を参照（構成については適宜図１参照）して、雑音抑圧音声認識装置１のフレームバッファ１３に音響特徴量を蓄積する動作について説明する。

雑音抑圧音声認識装置１は、音響特徴量抽出手段１１によって、入力音声を所定の時間単位（フレーム単位）で切り出し、フレームごとに所定次数の音響特徴量を抽出する（ステップＳ１０）。ここでは、音響特徴量抽出手段１１が、対数メルフィルタバンク出力により音響特徴量を抽出する。

そして、雑音抑圧音声認識装置１は、特徴量正規化手段１２によって、ステップＳ１０で抽出された所定次数の音響特徴量を、平均値が“０”、分散が“１”となるように正規化し（ステップＳ１１）、フレームバッファ１３に順次蓄積する（ステップＳ１２）。

そして、雑音抑圧音声認識装置１は、音響特徴量抽出手段１１に音声が入力される間（ステップＳ１３でＹｅｓ）、ステップＳ１０に戻って、フレームバッファ１３への音響特徴量の蓄積動作を継続する。一方、入力音声がなくなった段階（ステップＳ１３でＮｏ）で、雑音抑圧音声認識装置１は、フレームバッファ１３への音響特徴量の蓄積動作を終了する。

（クラス別雑音抑圧動作）
次に、図９を参照（構成については適宜図１参照）して、雑音抑圧音声認識装置１の雑音のクラス別に雑音抑圧手法を切り替えて雑音抑圧を行う動作について説明する。

雑音抑圧音声認識装置１のクラス特徴量算出手段１５が、フレームバッファ１３に音響特徴量が蓄積されるまで待機する（ステップＳ２０でＮｏ）。そして、音響特徴量が蓄積された段階（ステップＳ２０でＹｅｓ）で、雑音抑圧音声認識装置１は、クラス特徴量算出手段１５によって、統計モデル記憶手段１４に記憶されている統計モデルに基づいて、音響特徴量から、音声（母語音声、非音声、無音の３つ）と、雑音（雑音なし、外国語音声、音楽、その他雑音の４つ）のクラスごとの事後確率（クラス特徴量）を算出する（ステップＳ２１）。

そして、雑音抑圧音声認識装置１は、音声区間検出手段１６および雑音区間検出手段１７によって、それぞれ、ステップＳ２１で算出されたクラスごとの音響特徴量の最尤系列を求める。ここで、音声区間検出手段１６において、最尤系列が決定されていない場合（ステップＳ２２でＮｏ）、雑音抑圧音声認識装置１は、ステップＳ２１に戻る。

一方、音声区間検出手段１６において、最尤系列が決定された場合（ステップＳ２２でＹｅｓ）、ステップＳ２３以降に動作を進める。なお、このとき、雑音区間検出手段１７は、音声区間検出手段１６と同期して、音声区間検出手段１６が最尤系列を決定した時点までの雑音区間の最尤系列を１つ決定する。

そして、雑音抑圧音声認識装置１は、雑音抑圧処理選択手段１８によって、音声区間検出手段１６で最尤系列として検出されたフレームごとのクラスと、雑音区間検出手段１７で最尤系列として検出されたフレームごとのクラスとに基づいて、フレームごとに、予め定めた複数の雑音抑圧処理の中から、雑音の種別に応じた雑音抑圧処理を１つ選択する（ステップＳ２３）。

そして、雑音抑圧音声認識装置１は、ステップＳ２３で選択された雑音抑圧処理を行う特定雑音抑圧手段２１によって、フレームごとの音響特徴量に対して、雑音抑圧モデル記憶手段２２に記憶されているモデルに基づいて、雑音抑圧処理として、フレームバッファ１３に蓄積されている音響特徴量から、雑音の成分を抑圧した音響特徴量を算出する（ステップＳ２４）。
このとき、音声区間検出手段１６で最尤系列として検出されたフレームのクラスが、音声（母語音声）でなければ、当該フレームの音響特徴量については、フレームバッファ１３から特定雑音抑圧手段２１への出力を行わないこととする。

そして、雑音抑圧音声認識装置１は、音声区間検出手段１６によって、フレームバッファ１３において、最尤系列を特定したクラスの音響特徴量をクリアする（ステップＳ２５）。
その後、雑音抑圧音声認識装置１は、音声認識手段３０によって、複数の特定雑音抑圧手段２１で順次算出されたフレーム単位の音響特徴量により音声認識を行う（ステップＳ２６）。

そして、雑音抑圧音声認識装置１は、さらに、音声が入力されていれば（ステップＳ２７でＹｅｓ）、ステップＳ２０に戻って動作を続ける。一方、音声が入力されなければ（ステップＳ２７でＮｏ）、雑音抑圧音声認識装置１は、動作を終了する。
以上の動作によって、雑音抑圧音声認識装置１は、雑音が重畳された音声から、音声区間を検出し、その音声区間における雑音の種別に応じた雑音抑圧手法により、雑音を抑圧して、精度よく音声認識を行うことができる。

以上、本発明の実施形態に係る雑音抑圧音声認識装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、ここでは、統計モデル記憶手段１４に記憶する統計モデルを、リカレントニューラルネットワークを例として説明したが、他の統計モデルを用いても構わない。例えば、一般的なフィードフォワード型のニューラルネットワークを用いることとしてもよい。

また、ここでは、音声区間検出手段１６において、“母語音声”、“非音声”および“無音”の３つの音声のクラスを規定したが、無音状態が存在しないことが既知の音声を音声認識対象とする場合、“無音”のクラスを省略してもよい。
また、ここでは、雑音区間検出手段１７において、“雑音なし”、“外国語音声”、“音楽”および“その他雑音”の４つのクラスの雑音を規定したが、“拍手”、“笑い声”等の雑音のクラスを規定することとしてもよい。また、予めあるクラスの雑音が存在しないことが既知であれば、そのクラスを省略してもよい。

また、ここでは、特徴量正規化手段１２を備える構成としたが、特定の話者しか発話しない等の場合、この構成を省略してもよい。
また、ここでは、雑音抑圧音声認識装置１の内部に音声認識手段３０を備える構成としたが、この音声認識手段３０を分離して、外部に音声認識装置として備えることとしてもよい。

１ 雑音抑圧音声認識装置
１０ 区間検出手段
１１ 音響特徴量抽出手段
１２ 特徴量正規化手段
１３ フレームバッファ
１４ 統計モデル記憶手段
１５ クラス特徴量算出手段
１６ 音声区間検出手段
１７ 雑音区間検出手段
１８ 雑音抑圧処理選択手段
２０ 雑音抑圧手段
２１ 特定雑音抑圧手段
２２ 雑音抑圧モデル記憶手段
３０ 音声認識手段

Claims (6)

1. 入力音声に対して雑音抑圧を行って音声認識を行う雑音抑圧音声認識装置であって、
   前記入力音声から、所定時間長のフレーム単位で音響特徴量を抽出する音響特徴量抽出手段と、
   前記音響特徴量と音声認識対象である母語音声を含む音声の種類ごとの関係、および、前記音響特徴量と雑音の種類ごとの関係とを予め学習した統計モデルを記憶する統計モデル記憶手段と、
   前記統計モデルに基づいて、前記音響特徴量抽出手段で抽出された音響特徴量から、フレームごとに、前記音声の種類ごとの各クラスが出現する事後確率と、前記雑音の種類ごとの各クラスが出現する事後確率とを、各クラスのクラス特徴量として算出するクラス特徴量算出手段と、
   前記音声の種類ごとの各クラスが出現する事後確率に基づいて、前記母語音声の音声区間を検出する音声区間検出手段と、
   前記雑音の種類ごとの各クラスが出現する事後確率に基づいて、前記雑音の種類ごとの雑音区間を検出する雑音区間検出手段と、
   前記音声区間に対応する前記雑音区間における雑音の種類に応じて、予め定めた雑音抑圧手法を選択する雑音抑圧処理選択手段と、
   この雑音抑圧処理選択手段で選択された雑音抑圧手法で、前記音声区間における雑音の音響特徴量を抑圧した音響特徴量を生成する雑音抑圧手段と、
   この雑音抑圧手段で生成された音響特徴量により音声認識を行う音声認識手段と、
   を備えることを特徴とする雑音抑圧音声認識装置。
2. 前記統計モデルは、前記音響特徴量から、前記音声の種類ごとの各クラスが出現する事後確率と、前記雑音の種類ごとの各クラスが出現する事後確率とをモデル化したニューラルネットワークであることを特徴とする請求項１に記載の雑音抑圧音声認識装置。
3. 前記音声区間検出手段は、隠れマルコフモデルに基づいて、前記音声の種類ごとの各クラスの状態遷移系列における前記音声区間を検出することを特徴とする請求項１または請求項２に記載の雑音抑圧音声認識装置。
4. 前記雑音区間検出手段は、隠れマルコフモデルに基づいて、前記雑音の種類ごとの各クラスの状態遷移系列における前記雑音の種類ごとの雑音区間を検出することを特徴とする請求項１から請求項３のいずれか一項に記載の雑音抑圧音声認識装置。
5. 前記音響特徴量抽出手段で抽出された音響特徴量の平均および分散を正規化する特徴量正規化手段を、さらに備えることを特徴とする請求項１から請求項４のいずれか一項に記載の雑音抑圧音声認識装置。
6. コンピュータを、請求項１から請求項５のいずれか一項に記載の雑音抑圧音声認識装置として機能させるための雑音抑圧音声認識プログラム。