JP3584458B2

JP3584458B2 - パターン認識装置およびパターン認識方法

Info

Publication number: JP3584458B2
Application number: JP30097997A
Authority: JP
Inventors: 直人岩橋; 洪長包; 等本田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-10-31
Filing date: 1997-10-31
Publication date: 2004-11-04
Anticipated expiration: 2017-10-31
Also published as: TW392130B; AU746511B2; BR9804324A; JPH11133992A; US7117151B2; EP0913810A3; US20020010583A1; CN1216380A; CA2251509A1; US20050171772A1; SG75886A1; EP0913810A2; US7509256B2; KR19990037460A; CA2251509C; US6910010B2; AU8937398A; US20050171773A1

Description

【０００１】
【発明の属する技術分野】
本発明は、パターン認識装置およびパターン認識方法に関し、例えば、特に、ノイズ環境下において音声認識を行う場合などに用いて好適なパターン認識装置およびパターン認識方法に関する。
【０００２】
【従来の技術】
図９は、従来のパターン認識装置の一例の構成を示している。
【０００３】
特徴抽出部１０１には、パターン認識対象としての観測ベクトルが入力される。特徴抽出部１０１では、観測ベクトルから、その特徴量を表す特徴ベクトルが求められ、識別部１０２に供給される。識別部１０２では、特徴抽出部１０１からの特徴ベクトルに基づいて、入力された観測ベクトルが、所定数のクラスのうちのいずれに属するかが識別される。
【０００４】
即ち、図９のパターン認識装置が、例えば、音声認識装置を構成している場合には、観測ベクトルとして、所定の時間単位（以下、適宜、フレームという）ごとの音声データが、特徴抽出部１０１に入力される。特徴抽出部１０１では、観測ベクトルとしての音声データが音響分析され、これにより、パワースペクトラムや、ケプストラム係数、線形予測係数、その他の音声の特徴量としての特徴ベクトルが抽出される。この特徴ベクトルは、識別部１０２に供給され、そこでは、特徴ベクトルが、所定数のクラスのうちのいずれかに分類され、その分類結果が、観測ベクトルとしての音声データの認識結果として出力される。
【０００５】
ここで、識別部１０２において、特徴ベクトルが、所定数のクラスのうちのいずれに属するかを識別する方法としては、例えば、マハラノビス識別関数や、混合正規分布関数、多項式関数を用いる方法、ＨＭＭ法を用いる方法、ニューラルネットワークを用いる方法などが知られている。
【０００６】
なお、上述のような音声認識の手法については、例えば、Ｌ．Ｒａｂｉｎｅｒ，Ｂ−Ｈ．Ｊｕａｎｇ共著、古井監訳、「音声認識の基礎（上）（下）」、ＮＴＴアドバンステクノロジー（株）、１９９５などに、その詳細が開示されている。また、パターン認識一般に関しては、例えば、Ｒ．ＤｕｄａａｎｄＰ．Ｈａｒｔ， ”ＰａｔｔｅｒｎＣｌａｓｓｉｆｉｃａｔｉｏｎａｎｄＳｃｅｎｅＡｎａｌｙｓｉｓ”，ＪｏｈｎＷｉｌｅｙ＆Ｓｏｎｓ１９７３などに、その詳細が開示されている。
【０００７】
ところで、パターン認識を行う場合に、そのパターン認識対象である観測ベクトル（入力パターン）には、一般に、ノイズが含まれる。即ち、例えば、音声認識を行う場合に入力される観測ベクトルとしての音声には、ユーザが発話を行う環境下におけるノイズ（例えば、他人の話声や、自動車の騒音など）が含まれる。また、例えば、画像認識を行う場合に入力される観測ベクトルとしての画像には、その画像の撮影時の環境下におけるノイズ（例えば、霧や雨などの気象条件によるノイズ、画像を撮影するカメラのレンズの収差によるノイズなど）が含まれる。
【０００８】
そこで、例えば、ノイズ環境下において音声を認識する場合の特徴量（特徴ベクトル）の抽出方法の１つに、スペクトルサブトラクション（ＳｐｅｃｔｒａｌＳｕｂｔｒａｃｔｉｏｎ）と呼ばれるものがある。
【０００９】
スペクトルサブトラクションでは、音声の発話がされる前の入力（音声区間の前の入力）を、ノイズとして、そのノイズの平均スペクトルが算出される。そして、音声の入力があると、その音声から、ノイズの平均スペクトルが差し引かれ（Ｓｕｂｔｒａｃｔ）、その残りを、真の音声成分として、特徴ベクトルが算出される。
【００１０】
なお、スペクトルサブトラクションについては、例えば、Ｓ．Ｆ．Ｂｏｌｌ， ”ＳｕｐｐｒｅｓｓｉｏｎｏｆＡｃｏｕｓｔｉｃＮｏｉｓｅｉｎＳｐｅｅｃｈＵｓｉｎｇＳｐｅｃｔｒａｌＳｕｂｔｒａｃｔｉｏｎ”，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＡｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．ＡＳＳＰ−２７，Ｎｏ．２１９７９や、Ｐ．ＬｏｃｋｗｏｏｄａｎｄＪ．Ｂｏｕｄｙ， ”ＥｘｐｅｒｉｍｅｎｔｓｗｉｔｈａＮｏｎｌｉｎｅａｒＳｐｅｃｔｒａｌＳｕｂｔａｃｔｏｒ，ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌｓａｎｄｔｈｅｐｒｏｊｅｃｔｉｏｎ，ｆｏｒｒｏｂｕｓｔｓｐｅｅｃｈｒｅｃｏｇｎｉｔｉｏｎｉｎｃａｒｓ”，ＳｐｅｅｃｈＣｏｍｍｕｎｉｃａｔｉｏｎ，Ｖｏｌ．１１，１９９２などに、その詳細が開示されている。
【００１１】
【発明が解決しようとする課題】
ところで、図９のパターン認識装置における特徴抽出部１０１では、図１０に示すように、観測ベクトル空間上の、ある点を表す観測ベクトルａを、特徴ベクトル空間上に写像し、これにより、その特徴ベクトル空間上の、対応する点を表す特徴ベクトルｙに変換する処理が行われると考えることができる。
【００１２】
従って、特徴ベクトルｙは、特徴ベクトル空間上の、ある１点（観測ベクトルａに対応する点）を表す。なお、図１０では、観測ベクトル空間および特徴ベクトル空間のいずれも３次元としてある。
【００１３】
スペクトルサブトラクションでは、観測ベクトルａから、ノイズの平均スペクトル成分が取り除かれて、特徴ベクトルｙが算出されるが、この特徴ベクトルｙは、上述したように、特徴ベクトル空間上の１点であるため、ノイズの平均的な性質を考慮したものとはなっているが、ノイズの分散などの不規則な性質を考慮したものとはなっていない。
【００１４】
このため、特徴ベクトルｙは、観測ベクトルａの特徴を充分に表現しているとはいえず、そのような特徴ベクトルｙでは、高い認識率を得るのが困難であった。
【００１５】
本発明は、このような状況に鑑みてなされたものであり、認識率を向上させることができるようにするものである。
【００１９】
【課題を解決するための手段】
本発明のパターン認識装置は、入力データを所定のフレーム間隔で順次取り出し、フレームデータとして出力するフレーム化手段と、入力データの特徴量の空間に、フレームデータを写像したときに得られる分布を表す平均ベクトルおよび分散マトリクスを特徴分布パラメータとして算出する算出手段と、特徴分布パラメータの系列を、所定数のクラスのうちのいずれかに分類する分類手段とを備えることを特徴とする。
本発明のパターン認識方法は、入力データを所定のフレーム間隔で順次取り出し、フレームデータとして出力し、入力データの特徴量の空間に、フレームデータを写像したときに得られる分布を表す平均ベクトルおよび分散マトリクスを特徴分布パラメータとして算出し、特徴分布パラメータの系列を、所定数のクラスのうちのいずれかに分類することを特徴とする。
【００２３】
本発明のパターン認識装置およびパターン認識方法においては、入力データが所定のフレーム間隔で順次取り出されて、フレームデータとして出力され、入力データの特徴量の空間に、フレームデータを写像したときに得られる分布を表す平均ベクトルおよび分散マトリクスが特徴分布パラメータとして算出される。特徴分布パラメータの系列が、所定数のクラスのいずれかに分類される。
【００２４】
【発明の実施の形態】
図１は、本発明を適用した音声認識装置の一実施の形態の構成例を示している。
【００２５】
フレーム化部１には、認識対象のディジタル音声データが入力されるようになされている。フレーム化部１（フレーム化手段）は、例えば、図２に示すように、そこに入力される音声データを、所定の時間間隔（例えば、１０ｍｓなど）で取り出し（フレーム化し）、その取り出した音声データを、１フレームのデータとして出力するようになされている。フレーム化部１が出力する１フレーム単位の音声データは、そのフレームを構成する時系列の音声データそれぞれをコンポーネントとする観測ベクトルａとして、特徴抽出部２に供給されるようになされている。
【００２６】
ここで、以下、適宜、第ｔフレームの音声データである観測ベクトルを、ａ（ｔ）と表す。
【００２７】
特徴抽出部２（算出手段）は、フレーム化部１からの観測ベクトルａとしての音声データを音響分析し、これにより、その特徴量を抽出するようになされている。即ち、特徴抽出部２は、例えば、観測ベクトルａとしての音声データをフーリエ変換し、そのパワースペクトラムを求め、そのパワースペクトラムの各周波数成分をコンポーネントとする特徴ベクトルｙを算出する。なお、パワースペクトラムの算出方法は、フーリエ変換によるものに限定されるものではない。即ち、パワースペクトラムは、その他、例えば、いわゆるフィルタバンク法などによって求めることも可能である。
【００２８】
さらに、特徴抽出部２は、観測ベクトルａとしての音声データに含まれる真の音声を、その特徴量の空間（特徴ベクトル空間）に写像したときに得られる、その特徴ベクトル空間上の分布を表すパラメータ（以下、特徴分布パラメータという）Ｚを、算出した特徴ベクトルｙに基づいて算出し、識別部３に供給するようになされている。
【００２９】
即ち、特徴抽出部２では、図３に示すように、観測ベクトル空間上の、ある点を表す観測ベクトルａを、特徴ベクトル空間に、その特徴ベクトル空間における広がりを有する分布として写像したときの、この分布を表すパラメータが、特徴分布パラメータとして算出されて出力される。
【００３０】
なお、図３では、観測ベクトル空間および特徴ベクトル空間のいずれも３次元としてあるが、観測ベクトル空間および特徴ベクトル空間の次元数は、３次元に限定されるものではなく、さらに、それらの次元数は同一である必要もない。
【００３１】
識別部３（分類手段）は、特徴抽出部２からの特徴分布パラメータ（系列）を、所定数のクラスのうちのいずれかに分類し、その分類結果を、入力された音声の認識結果として出力するようになされている。即ち、識別部３は、例えば、所定数Ｋの単語それぞれに対応するクラスかどうかを識別するための識別関数を記憶しており、各クラスの識別関数の値を、特徴抽出部２からの特徴分布パラメータを引数として計算する。そして、その関数値の最も大きいクラス（ここでは、単語）が、観測ベクトルａとしての音声の認識結果として出力される。
【００３２】
次に、その動作について説明する。
【００３３】
フレーム化部１には、認識対象のディジタル音声データが入力され、そこでは、音声データがフレーム化され、各フレームの音声データは、観測ベクトルａとして、特徴抽出部２に順次供給される。特徴抽出部２では、フレーム化部１からの観測ベクトルａとしての音声データが音響分析され、その特徴ベクトルｙが求められる。さらに、特徴抽出部２では、求められた特徴ベクトルｙに基づいて、特徴ベクトル空間における分布を表す特徴分布パラメータＺが算出され、識別部３に供給される。識別部３では、特徴抽出部２からの特徴分布パラメータを用いて、所定数Ｋの単語それぞれに対応するクラスの識別関数の値が演算され、その関数値の最も大きいクラスが、音声の認識結果として出力される。
【００３４】
以上のように、観測ベクトルａとしての音声データが、その特徴量の空間である特徴ベクトル空間における分布を表す特徴分布パラメータＺに変換されるので、その特徴分布パラメータは、音声データに含まれるノイズの分布特性を考慮したものとなっており、さらに、そのような特徴分布パラメータに基づいて、音声が認識されるので、認識率を、大きく向上させることが可能となる。
【００３５】
次に、図４は、図１の特徴抽出部２の構成例を示している。
【００３６】
観測ベクトルａは、パワースペクトラム分析器１２に供給される。パワースペクトラム分析器１２（音響分析手段）では、観測ベクトルａが、例えば、ＦＦＴ（高速フーリエ変換）アルゴリズムによってフーリエ変換され、これにより、音声の特徴量であるパワースペクトラムが、特徴ベクトルとして求められる（抽出される）。なお、ここでは、１フレームの音声データとしての観測ベクトルａが、Ｄ個のコンポーネントからなる特徴ベクトル（Ｄ次元の特徴ベクトル）に変換されるものとする。
【００３７】
ここで、いま、第ｔフレームの観測ベクトルａ（ｔ）から得られる特徴ベクトルをｙ（ｔ）を表す。また、特徴ベクトルｙ（ｔ）のうち、真の音声のスペクトル成分をｘ（ｔ）と、ノイズのスペクトル成分をｕ（ｔ）と表す。この場合、真の音声のスペクトル成分ｘ（ｔ）は、次式で表される。
【００３８】
【数１】

但し、ここでは、ノイズが不規則な特性を有し、また、観測ベクトルａ（ｔ）としての音声データが、真の音声成分に、ノイズを加算したものとなっているとしている。
【００３９】
ノイズｕ（ｔ）の特性は不規則であるから、ｕ（ｔ）は確率変数であり、従って、式（１）で表されるｘ（ｔ）も確率変数となる。従って、ノイズのパワースペクトラムの確率密度関数が、例えば、図５（Ａ）に示すように表されるとき、式（１）から、真の音声のパワースペクトラムの確率密度関数は、同図（Ｂ）に示すように表される。即ち、真の音声のパワースペクトラムが、ある値である確率は、その値を、入力音声（入力信号）のパワースペクトラムから減算し、ノイズのパワースペクトラムが、その減算値となるときの確率に、真の音声の確率分布の面積が１になるような正規化係数（ファクタ）を乗じた値となる。なお、図５においては、ｕ（ｔ），ｘ（ｔ），ｙ（ｔ）のコンポーネント数が１（Ｄ＝１）としてある。
【００４０】
図４に戻り、パワースペクトラム分析器１２で得られた特徴ベクトルｙ（ｔ）は、スイッチ１３に供給される。スイッチ１３（選択手段）は、音声区間検出部１１の制御にしたがって、端子１３ａまたは１３ｂのうちのいずれか一方を選択するようになされている。
【００４１】
即ち、音声区間検出部１１（音声区間検出手段）では、音声区間（ユーザの発話がなされている期間）が検出される。ここで、音声区間の検出方法については、例えば、Ｊ．Ｃ．Ｊｕｎｑｕａ，Ｂ．Ｍａｒｋ，ａｎｄＢ．Ｒｅａｖｅｓ， ”ＡＲｏｂｕｓｔＡｌｇｏｒｉｔｈｍｆｏｒＷｏｒｄＢｏｕｎｄａｒｙＤｅｔｅｃｔｉｏｎｉｎｔｈｅＰｒｅｓｅｎｃｅｏｆＮｏｉｓｅ”，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎＳｐｅｅｃｈａｎｄＡｕｄｉｏＰｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．２，Ｎｏ．３，１９９４などに、その詳細が開示されている。
【００４２】
なお、音声区間は、その他、例えば、音声認識装置に、所定のボタンを設けておき、発話を行っている間は、ユーザに、そのボタンを操作してもらうようにすることで認識するようにすることも可能である。
【００４３】
音声区間検出部１１は、音声区間においては、スイッチ１３が端子１３ｂを選択するように制御を行い、それ以外の区間（以下、適宜、非音声区間という）においては、スイッチ１３が端子１３ａを選択するように制御を行う。
【００４４】
従って、非音声区間においては、スイッチ１３は端子１３ｂを選択し、これにより、パワースペクトラム分析器１２の出力は、スイッチ１３を介して、ノイズ特性算出器１４（ノイズ特性算出手段）に供給される。ノイズ特性算出器１４では、非音声区間における、パワースペクトラム分析器１２の出力から、音声区間におけるノイズの特性が求められる。
【００４５】
即ち、ここでは、ある音声区間におけるノイズのパワースペクトラムｕ（ｔ）の分布が、その音声区間の直前の非音声区間におけるノイズと同一であるとし、さらに、その分布が正規分布であるとして、ノイズ特性算出器１４において、ノイズの平均値（平均ベクトル）と分散（分散マトリクス）が求められる。
【００４６】
具体的には、いま、音声区間の最初のフレームを第１フレーム（ｔ＝１）とすると、その２００フレーム前から１０１フレーム前までの１００フレーム分のパワースペクトラム分析器１２の出力ｙ（−２００）乃至ｙ（−１０１）の平均ベクトルμ’と分散マトリクスΣ’とが、音声区間におけるノイズの特性として求められる。
【００４７】
ここで、平均ベクトルμ’と分散マトリクスΣ’は、次式にしたがって求めることができる。
【００４８】
【数２】

但し、μ’（ｉ）は、平均ベクトルμ’のｉ番目のコンポーネントを表す（ｉ＝１，２，・・・，Ｄ）。また、ｙ（ｔ）（ｉ）は、第ｔフレームの特徴ベクトルのｉ番目のコンポーネントを表す。さらに、Σ’（ｉ，ｊ）は、分散マトリクスΣ’の、第ｉ行、第ｊ列のコンポーネントを表す（ｊ＝１，２，・・・，Ｄ）。
【００４９】
ここで、計算量の低減のために、ノイズについては、特徴ベクトルｙの各コンポーネントが、互いに無相関であると仮定する。この場合、次式に示すように、分散マトリクスΣ’は、対角成分以外は０となる。
【００５０】
【数３】

【００５１】
ノイズ特性算出器１４では、以上のようにして、ノイズの特性としての平均ベクトルμ’および分散マトリクスΣ’が求められ、特徴分布パラメータ算出器１５に供給される。
【００５２】
一方、音声区間においては、スイッチ１３は端子１３ａを選択し、これにより、パワースペクトラム分析器１２の出力、即ち、真の音声とノイズとを含む音声データとしての特徴ベクトルｙは、スイッチ１３を介して、特徴分布パラメータ算出器１５に供給される。特徴分布パラメータ算出器１５（特徴分布パラメータ算出手段）では、パワースペクトラム分析器１２からの特徴ベクトルｙ、およびノイズ特性算出器１４からのノイズの特性に基づいて、真の音声のパワースペクトラムの分布（推定値の分布）を表す特徴分布パラメータが算出される。
【００５３】
即ち、特徴分布パラメータ算出器１５では、真の音声のパワースペクトラムの分布が正規分布であるとして、その平均ベクトルξと分散マトリクスΨが、特徴分布パラメータとして、次式にしたがって計算される。
【００５４】
【数４】

【数５】

【数６】

【数７】

【００５５】
ここで、ξ（ｔ）（ｉ）は、第ｔフレームにおける平均ベクトルξ（ｔ）のｉ番目のコンポーネントを表す。また、Ｅ［］は、［］内の平均値を意味する。ｘ（ｔ）（ｉ）は、第ｔフレームにおける真の音声のパワースペクトラムｘ（ｔ）のｉ番目のコンポーネントを表す。さらに、ｕ（ｔ）（ｉ）は、第ｔフレームにおけるノイズのパワースペクトラムのｉ番目のコンポーネントを表し、Ｐ（ｕ（ｔ）（ｉ））は、第ｔフレームにおけるノイズのパワースペクトラムのｉ番目のコンポーネントがｕ（ｔ）（ｉ）である確率を表す。ここでは、ノイズの分布として正規分布を仮定しているので、Ｐ（ｕ（ｔ）（ｉ））は、式（７）に示したように表される。
【００５６】
また、Ψ（ｔ）（ｉ，ｊ）は、第ｔフレームにおける分散Ψ（ｔ）の、第ｉ行、第ｊ列のコンポーネントを表す。さらに、Ｖ［］は、［］内の分散を表す。
【００５７】
特徴分布パラメータ算出器１５では、以上のようにして、各フレームごとに、平均ベクトルξおよび分散マトリクスΨが、真の音声の特徴ベクトル空間上での分布（ここでは、真の音声の特徴ベクトル空間上での分布が正規分布であると仮定した場合の、その分布）を表す特徴分布パラメータとして求められる。
【００５８】
その後、音声区間が終了すると、スイッチ１３は端子１３ｂを選択し、また、特徴分布パラメータ算出器１５は、音声区間の各フレームにおいて求めた特徴分布パラメータを、識別部３に出力する。即ち、いま、音声区間がＴフレームであったとし、そのＴフレームそれぞれにおいて求められた特徴分布パラメータを、ｚ（ｔ）＝｛ξ（ｔ），Ψ（ｔ）｝と表すと（ｔ＝１，２，・・・，Ｔ）、特徴分布パラメータ算出器１５は、特徴分布パラメータ（系列）Ｚ＝｛ｚ（１），ｚ（２），・・・，ｚ（Ｔ）｝を、識別部３に供給する。
【００５９】
そして、特徴抽出部２では、以下、同様の処理が繰り返される。
【００６０】
次に、図６は、図１の識別部３の構成例を示している。
【００６１】
特徴抽出部２（特徴分布パラメータ算出器１５）からの特徴分布パラメータＺは、Ｋ個の識別関数演算部２１_１乃至２１_Ｋに供給される。識別関数演算部２１_ｋは、Ｋ個のクラスのうちのｋ番目に対応する単語を識別するための識別関数ｇ_ｋ（Ｚ）を記憶しており（ｋ＝１，２，・・・，Ｋ）、特徴抽出部２からの特徴分布パラメータＺを引数として、識別関数ｇ_ｋ（Ｚ）を演算する。
【００６２】
ここで、識別部３では、例えば、ＨＭＭ（ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ）法を用いて、クラスとしての単語の識別（認識）が行われるようになされている。
【００６３】
なお、ここでは、例えば、図７に示すようなＨＭＭを用いる。即ち、ここでは、ＨＭＭは、Ｈ個の状態ｑ_１乃至ｑ_Ｈを有しており、状態の遷移は、自身への遷移と、右隣の状態への遷移のみが許されている。また、初期状態は、最も左の状態ｑ_１とされ、最終状態は、最も右の状態ｑ_Ｈとされており、最終状態ｑ_Ｈからの状態遷移は禁止されている。このように、自身よりも左にある状態への遷移のないモデルは、ｌｅｆｔ−ｔｏ−ｒｉｇｈｔモデルと呼ばれ、音声認識では、一般に、ｌｅｆｔ−ｔｏ−ｒｉｇｈｔモデルが用いられる。
【００６４】
いま、ＨＭＭのｋクラスを識別するためのモデルを、ｋクラスモデルというとすると、ｋクラスモデルは、例えば、最初に状態ｑ_ｈにいる確率（初期状態確率）π_ｋ（ｑ_ｈ）、ある時刻（フレーム）ｔにおいて、状態ｑ_ｉにいて、次の時刻ｔ＋１において、状態ｑ_ｊに状態遷移する確率（遷移確率）ａ_ｋ（ｑ_ｉ，ｑ_ｊ）、および状態ｑ_ｉから状態遷移が生じるときに、その状態ｑ_ｉが、特徴ベクトルＯを出力する確率（出力確率）ｂ_ｋ（ｑ_ｉ）（Ｏ）によって規定される（ｈ＝１，２，・・・，Ｈ）。
【００６５】
そして、ある特徴ベクトル系列Ｏ_１，Ｏ_２，・・・が与えられた場合に、例えば、そのような特徴ベクトル系列が観測される確率（観測確率）が最も高いモデルのクラスが、その特徴ベクトル系列の認識結果とされる。
【００６６】
ここでは、この観測確率が、識別関数ｇ_ｋ（Ｚ）によって求められるようになされている。即ち、ここでは、識別関数ｇ_ｋ（Ｚ）は、特徴分布パラメータ（系列）Ｚ＝｛ｚ_１，ｚ_２，・・・，ｚ_Ｔ｝に対する最適状態系列（最適な状態の遷移のしていき方）において、そのような特徴分布パラメータ（系列）Ｚ＝｛ｚ_１，ｚ_２，・・・，ｚ_Ｔ｝が観測される確率を求めるものとして、次式で与えられる。
【００６７】
【数８】

【００６８】
ここで、ｂ_ｋ’（ｑ_ｉ）（ｚ_ｊ）は、出力がｚ_ｊで表される分布であるときの出力確率を表す。状態遷移時に各特徴ベクトルを出力する確率である出力確率ｂ_ｋ（ｓ）（Ｏ_ｔ）には、ここでは、例えば、特徴ベクトル空間上のコンポーネントどうしの間に相関がないものとして、正規分布関数が用いられている。この場合、入力がｚ_ｔで表される分布であるとき、出力確率ｂ_ｋ’（ｓ）（ｚ_ｔ）は、平均ベクトルμ_ｋ（ｓ）と分散マトリクスΣ_ｋ（ｓ）とによって規定される確率密度関数Ｐ_ｋ ^ｍ（ｓ）（ｘ）、および第ｔフレームの特徴ベクトル（ここでは、パワースペクトラム）ｘの分布を表す確率密度関数Ｐ^ｆ（ｔ）（ｘ）を用いて、次式により求めることができる。
【００６９】
【数９】

但し、式（９）における積分の積分区間は、Ｄ次元の特徴ベクトル空間（ここでは、パワースペクトラム空間）の全体である。
【００７０】
また、式（９）において、Ｐ（ｓ）（ｉ）（ξ（ｔ）（ｉ），Ψ（ｔ）（ｉ，ｉ））は、次式で表される。
【００７１】
【数１０】

但し、μ_ｋ（ｓ）（ｉ）は、平均ベクトルμ_ｋ（ｓ）のｉ番目のコンポーネントを、Σ_ｋ（ｓ）（ｉ，ｉ）は、分散マトリクスΣ_ｋ（ｓ）の、第ｉ行第ｉ列のコンポーネントを、それぞれ表す。そして、ｋクラスモデルの出力確率は、これらによって規定される。
【００７２】
なお、ＨＭＭは、上述したように、初期状態確率π_ｋ（ｑ_ｈ）、遷移確率ａ_ｋ（ｑ_ｉ，ｑ_ｊ）、および出力確率ｂ_ｋ（ｑ_ｉ）（Ｏ）によって規定されるが、これらは、学習用の音声データから特徴ベクトルを算出し、その特徴ベクトルを用いて、あらかじめ求めておくようにする。
【００７３】
ここで、ＨＭＭとして、図７に示したものを用いる場合には、常に、最も左の状態ｑ_１から遷移が始まるので、初期状態確率は、状態ｑ_１についてのもののみ１とされ、他の状態についてのものはすべて０とされる。また、出力確率は、式（９）および（１０）から明らかなように、Ψ（ｔ）（ｉ，ｉ）を０とすると、特徴ベクトルの分散を考慮しない場合の連続ＨＭＭにおける出力確率に一致する。
【００７４】
なお、ＨＭＭの学習方法としては、例えば、Ｂａｕｍ−Ｗｅｌｃｈの再推定法などが知られている。
【００７５】
図６の識別関数演算部２１_ｋは、ｋクラスモデルについて、あらかじめ学習により求められた初期状態確率π_ｋ（ｑ_ｈ）、遷移確率ａ_ｋ（ｑ_ｉ，ｑ_ｊ）、および出力確率ｂ_ｋ（ｑ_ｉ）（Ｏ）によって規定される式（８）の識別関数ｇ_ｋ（Ｚ）を記憶しており、特徴抽出部２からの特徴分布パラメータＺを引数として、識別関数ｇ_ｋ（Ｚ）を演算し、その関数値（上述した観測確率）ｇ_ｋ（Ｚ）を、決定部２２に出力する。
【００７６】
決定部２２では、識別関数演算部２１_１乃至２１_Ｋそれぞれからの関数値ｇ_ｋ（Ｚ）に対して、例えば、次式に示す決定規則を用いて、特徴分布パラメータＺ、即ち、入力された音声が属するクラスが識別（決定）される（入力された音声がいずれかのクラスに分類される）。
【００７７】
【数１１】

但し、Ｃ（Ｚ）は、特徴分布パラメータＺが属するクラスを識別する識別操作（処理）を行う関数を表す。また、式（１１）の第２式の右辺におけるｍａｘは、それに続く関数値ｇ_ｉ（Ｚ）（但し、ここでは、ｉ＝１，２，・・・，Ｋ）の最大値を表す。
【００７８】
決定部２２は、式（１１）にしたがって、クラスを決定すると、それを、入力された音声の認識結果として出力する。
【００７９】
次に、図８は、図１の特徴抽出部２の他の構成例を示している。なお、図中、図４における場合と対応する部分については、同一の符号を付してある。即ち、この特徴抽出部２は、ノイズ特性算出器１４または特徴分布パラメータ算出器１５に代えて、ノイズバッファ３１または特徴分布パラメータ算出器３２がそれぞれ設けられている他は、基本的に、図４における場合と同様に構成されている。
【００８０】
この場合、ノイズバッファ３１には、例えば、非音声区間における、パワースペクトラム分析器１２の出力が、ノイズのパワースペクトラムとして一時記憶される。即ち、例えば、音声区間の２００フレーム前から１０１フレーム前までの１００フレーム分のパワースペクトラム分析器１２の出力ｙ（−２００）乃至ｙ（−１０１）を、ｗ（１）＝ｙ（−２００），ｗ（２）＝ｙ（−１９９），・・・，ｗ（１００）＝ｙ（−１０１）とそれぞれすると、ノイズバッファ３１では、ｗ（１）乃至ｗ（１００）がノイズのパワースペクトラムとして記憶される。
【００８１】
そして、この１００フレーム分のノイズのパワースペクトラムｗ（ｎ）は（ｗ＝１，２，・・・，Ｎ：但し、ここでは、Ｎ＝１００）、音声区間となると、特徴分布パラメータ算出器３２に出力される。
【００８２】
特徴分布パラメータ算出器３２は、音声区間となり、ノイズバッファ３１からノイズのパワースペクトラムｗ（ｎ）（ｗ＝１，２，・・・，Ｎ）を受信すると、真の音声のパワースペクトラムの分布（真の音声のパワースペクトラムの推定値の分布）を、例えば正規分布と仮定して、その分布を規定する平均ベクトルξ（ｔ）と分散マトリクスΣ（ｔ）を、例えば、次式にしたがって算出する。
【００８３】
【数１２】

但し、ｗ（ｎ）（ｉ）は（ｗ（ｎ）（ｊ）も同様）、ｎ番目のノイズのパワースペクトラムｗ（ｎ）のｉ番目のコンポーネントを表す。
【００８４】
特徴分布パラメータ算出器３２は、以上のようにして、平均ベクトルξ（ｔ）と分散マトリクスΣ（ｔ）を、フレームごとに求め、これらの組合せを、特徴分布パラメータｚ_ｔとし、音声区間における特徴分布パラメータＺ＝｛ｚ_１，ｚ_２，・・・，ｚ_Ｔ｝を、識別部３に出力する。
【００８５】
図４においては、ノイズのパワースペクトラムのコンポーネントどうしが無相関であることを仮定したが、図８では、そのような仮定をせずに、特徴分布パラメータが求められるので、より精度の良い特徴分布パラメータを得ることができる。
【００８６】
次に、以上においては、特徴ベクトル（特徴量）として、パワースペクトラムを用いるようにしたが、特徴ベクトルとしては、その他、例えば、ケプストラムなどを用いることも可能である。
【００８７】
即ち、いま、あるフレームｔの真の音声のケプストラムをｘ^ｃ（ｔ）と表し、その分布（ケプストラムの推定値の分布）を、例えば、正規分布と仮定すると、第ｔフレームの特徴ベクトル（ここでは、ケプストラム）ｘ^ｃの分布を表す確率密度関数Ｐ^ｆ（ｔ）（ｘ^ｃ）を規定する平均ベクトルξ^ｃ（ｔ）と分散マトリクスΨ^ｃ（ｔ）は、次式にしたがって求めることができる。
【００８８】
【数１３】

但し、ξ^ｃ（ｔ）（ｉ）は、平均ベクトルξ^ｃ（ｔ）のｉ番目のコンポーネントを表し、Ψ^ｃ（ｔ）（ｉ，ｊ）は、分散マトリクスΨ^ｃ（ｔ）の、第ｉ行、第ｊ列のコンポーネントを表す。また、ｘ^ｃ（ｔ）（ｎ）（ｉ）は、次式で表されるケプストラムｘ^ｃ（ｔ）（ｎ）のｉ番目のコンポーネントを表す。
【００８９】
【数１４】

但し、式（１４）の第１式におけるＣは、離散コサイン変換を行うＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）マトリクスである。
【００９０】
特徴ベクトルとしてケプストラムを用いる場合には、図１の特徴抽出部２において、以上のようにして、平均ベクトルξ^ｃ（ｔ）と分散マトリクスΨ^ｃ（ｔ）を、フレームごとに求め、これらの組合せ｛ξ^ｃ（ｔ），Ψ^ｃ（ｔ）｝を、特徴分布パラメータｚ_ｔ ^ｃとし、音声区間における特徴分布パラメータＺ^ｃ＝｛ｚ_１ ^ｃ，ｚ_２ ^ｃ，・・・，ｚ_Ｔ ^ｃ｝を、識別部３に出力するようにすれば良い。
【００９１】
この場合、識別部３において識別関数ｇ_ｋ（Ｚ^ｃ）を計算するのに用いる出力確率ｂ’_ｋ（ｓ）（ｚ_ｔ ^ｃ）は、ケプストラム空間上の分布を表す確率として、平均ベクトルμ_ｋ ^ｃ（ｓ）と分散マトリクスΣ_ｋ ^ｃ（ｓ）とによって規定される確率密度関数Ｐ_ｋ ^ｍ（ｓ）（ｘ^ｃ）、および第ｔフレームの特徴ベクトル（ここでは、ケプストラム）ｘ^ｃの分布を表す確率密度関数Ｐ^ｆ（ｔ）（ｘ^ｃ）を用いて、次式により求めることができる。
【００９２】
【数１５】

但し、式（１５）における積分の積分区間は、Ｄ次元の特徴ベクトル空間（ここでは、ケプストラム空間）の全体である。また、（ξ^ｃ（ｔ）−μ_ｋ ^ｃ（ｓ））^Ｔは、ベクトル（ξ^ｃ（ｔ）−μ_ｋ ^ｃ（ｓ））の転置を表す。
【００９３】
以上のように、ノイズの分布特性を考慮した特徴分布パラメータを求め、その特徴分布パラメータを用いて音声認識を行うようにしたので、認識率を向上させることができる。
【００９４】
ここで、音声の特徴量としてケプストラムを、識別部３における音声認識アルゴリズムとしてＨＭＭ法を、それぞれ用いて、特徴分布パラメータによる音声認識（単語認識）実験を行った場合と、スペクトラムサブトラクションによる音声認識実験を行った場合の認識率を、表１に示す。
【００９５】
【表１】

但し、認識対象単語は５０００単語で、話者は不特定話者とした。また、発話は、自動車がアイドリング状態にあり、かつＢＧＭ（ＢａｃｋＧｒｏｕｎｄＭｕｓｉｃ）が流れている環境、自動車で市街地を走行している環境、および自動車で高速道路を走行している環境の３つの環境で行った。
【００９６】
表１から明らかなように、いずれの環境下においても、特徴分布パラメータによる音声認識結果の方が、認識率が高くなっている。
【００９７】
以上、本発明を適用した音声認識装置について説明したが、このような音声認識装置は、例えば、音声入力可能なカーナビゲーション装置その他各種の装置に適用可能である。
【００９８】
なお、本実施の形態では、ノイズの分布特性を考慮した特徴分布パラメータを求めるようにしたが、このノイズには、例えば、発話を行う環境下における外部からのノイズの他、例えば、電話回線その他の通信回線を介して送信されてくる音声の認識を行う場合には、その通信回線の特性なども含まれる。
【００９９】
また、本発明は、例えば、特定話者認識を行う場合において、その特定話者の学習を行うときなどにも適用可能である。この場合、学習速度を向上させることが可能となる。
【０１００】
さらに、本発明は、音声認識の他、画像認識その他のパターン認識を行う場合にも適用可能である。例えば、画像認識においては、画像を撮影するカメラのレンズの特性や、気象状況などをノイズとして、その分布特性を考慮した特徴分布パラメータを用いるようにすることで、画像の認識率を向上させることが可能となる。
【０１０１】
また、本実施の形態では、パワースペクトラム空間またはケプストラム空間上の分布を表す特徴分布パラメータを求めるようにしたが、分布を求める空間としては、その他、線形予測係数や、隣接フレームのケプストラムの差分、ゼロクロスなどの空間を用いることも可能である。
【０１０２】
さらに、本実施の形態では、音声の１つ（１種類）の特徴量の空間における分布を表す特徴分布パラメータを求めるようにしたが、その他、音声の複数の特徴量の空間について、それぞれ、特徴分布パラメータを求めるようにすることも可能である。あるいは、音声の複数の特徴量の空間のうちの１以上について特徴分布パラメータを求め、その特徴分布パラメータと、残りの特徴量の空間における特徴ベクトルとの両方を用いて、音声認識を行うようにすることも可能である。
【０１０３】
また、本実施の形態では、特徴ベクトル空間上における特徴ベクトル（真の音声の特徴ベクトルの推定値）の分布が正規分布であるとして、そのような分布を表す特徴分布パラメータを用いるようにしたが、特徴分布パラメータとしては、その他、例えば、対数正規確率分布や、離散確率分布、ファジー分布などを表すものを用いることも可能である。
【０１０４】
さらに、本実施の形態では、識別部３において、出力確率が正規分布で表されるＨＭＭを用いて、クラスの識別を行うようにしたが、識別部３には、その他、例えば、出力確率が混合正規確率分布や離散分布などで表されるＨＭＭや、正規確率分布関数、対数確率分布関数、多項式関数、ニューラルネットワークなどを用いて、クラスの識別を行わせるようにすることも可能である。
【０１０６】
【発明の効果】
請求項１に記載のパターン認識装置および請求項８に記載のパターン認識方法によれば、入力データが所定のフレーム間隔で順次取り出され、フレームデータとして出力される。そして、入力データの特徴量の空間に、フレームデータを写像したときに得られる分布を表す平均ベクトルおよび分散マトリクスが特徴分布パラメータとして算出され、その特徴分布パラメータの系列が、所定数のクラスのうちのいずれかに分類される。従って、例えば、入力データにノイズが含まれる場合に、そのノイズの分布特性を考慮したパラメータを得ることができるので、入力データの認識率を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した音声認識装置の一実施の形態の構成例を示すブロック図である。
【図２】図１のフレーム化部１の処理を説明するための図である。
【図３】図１の特徴抽出部２の処理を説明するための図である。
【図４】図１の特徴抽出部２の構成例を示すブロック図である。
【図５】ノイズおよび真の音声のパワーの確率密度関数を示す図である。
【図６】図１の識別部３の構成例を示すブロック図である。
【図７】ＨＭＭを示す図である。
【図８】図１の特徴抽出部２の他の構成例を示すブロック図である。
【図９】従来のパターン認識装置の一例の構成を示すブロック図である。
【図１０】図９の特徴抽出部１０１の処理を説明するための図である。
【符号の説明】
１フレーム化部（フレーム化手段），２特徴抽出部（算出手段），３識別部（分類手段），１１音声区間検出部（音声区間検出手段），１２パワースペクトラム分析器（音響分析手段），１３スイッチ（選択手段），１３ａ，１３ｂ端子，１４ノイズ特性算出器（ノイズ特性算出手段），１５特徴分布パラメータ算出器（特徴分布パラメータ算出手段），２１１乃至２１Ｋ識別関数演算部，２２決定部，３１ノイズバッファ，３２特徴分布パラメータ算出器

Claims

時系列の入力データのパターンを所定数のクラスのうちのいずれかに分類することにより認識するパターン認識装置であって、
前記入力データを所定のフレーム間隔で順次取り出し、フレームデータとして出力するフレーム化手段と、
前記入力データの特徴量の空間に、前記フレームデータを写像したときに得られる分布を表す平均ベクトルおよび分散マトリクスを特徴分布パラメータとして算出する算出手段と、
前記特徴分布パラメータの系列を、前記所定数のクラスのうちのいずれかに分類する分類手段と
を備えることを特徴とするパターン認識装置。
前記入力データは、音声データである
ことを特徴とする請求項１に記載のパターン認識装置。
前記算出手段は、前記音声データのパワースペクトラム空間における分布を表す特徴分布パラメータを算出する
ことを特徴とする請求項２に記載のパターン認識装置。
前記算出手段は、前記音声データのケプストラム空間における分布を表す特徴分布パラメータを算出する
ことを特徴とする請求項２に記載のパターン認識装置。
前記算出手段は、
前記フレームデータを音響分析する音響分析手段と、
前記フレームデータの音響分析結果に基づいて、ノイズの特性を求めるノイズ特性算出手段と、
前記フレームデータの音響分析結果と、前記ノイズの特性とに基づいて、真の音声についての前記特徴分布パラメータを求める特徴分布パラメータ算出手段と
を有する
ことを特徴とする請求項２に記載のパターン認識装置。
前記算出手段は、
音声区間を検出する音声区間検出手段と、
前記音声区間において前記特徴分布パラメータ算出手段を選択し、前記音声区間でない区間において前記ノイズ特性算出手段を選択して、前記フレームデータの音響分析結果を供給する選択手段と
をさらに有する
ことを特徴とする請求項５に記載のパターン認識装置。
前記ノイズ特性算出手段は、音声区間でない区間における前記フレームデータの音響分析結果に基づいて、ノイズの特性を求め、
前記特徴分布パラメータ算出手段は、音声区間における前記フレームデータの音響分析結果と、前記ノイズの特性とに基づいて、真の音声についての前記特徴分布パラメータを求める
ことを特徴とする請求項５に記載のパターン認識装置。
時系列の入力データのパターンを所定数のクラスのうちのいずれかに分類することにより認識するパターン認識方法であって、
前記入力データの所定のフレーム間隔で順次取り出し、フレームデータとして出力するフレーム化ステップと、
前記入力データの特徴量の空間に、前記フレームデータを写像したときに得られる分布を表す平均ベクトルおよび分散マトリクスを特徴分布パラメータとして算出する算出ステップと、
前記特徴分布パラメータの系列を、前記所定数のクラスのうちのいずれかに分類する分類ステップと
を備えることを特徴とするパターン認識方法。
前記入力データは、音声データである
ことを特徴とする請求項８に記載のパターン認識方法。
前記算出ステップにおいて、前記音声データのパワースペクトラム空間における分布を表す特徴分布パラメータを算出する
ことを特徴とする請求項９に記載のパターン認識方法。
前記算出ステップにおいて、前記音声データのケプストラム空間における分布を表す特徴分布パラメータを算出する
ことを特徴とする請求項９に記載のパターン認識方法。
前記算出ステップは、
前記フレームデータを音響分析する音響分析ステップと、
前記フレームデータの音響分析結果に基づいて、ノイズの特性を求めるノイズ特性算出ステップと、
前記フレームデータの音響分析結果と、前記ノイズの特性とに基づいて、真の音声についての前記特徴分布パラメータを求める特徴分布パラメータ算出ステップと
を有する
ことを特徴とする請求項９に記載のパターン認識方法。
前記算出ステップは、
音声区間を検出する音声区間検出ステップと、
前記音声区間において前記特徴分布パラメータ算出ステップを選択し、前記音声区間でない区間において前記ノイズ特性算出ステップを選択して、前記フレームデータの音響分析結果を供給する選択ステップと
をさらに有する
ことを特徴とする請求項１２に記載のパターン認識方法。
前記ノイズ特性算出ステップにおいて、音声区間でない区間における前記フレームデータの音響分析結果に基づいて、ノイズの特性を求め、
前記特徴分布パラメータ算出ステップにおいて、音声区間における前記フレームデータの音響分析結果と、前記ノイズの特性とに基づいて、真の音声についての前記特徴分布パラメータを求める
ことを特徴とする請求項１２に記載のパターン認識方法。