JP3207378B2

JP3207378B2 - 音声認識方法

Info

Publication number: JP3207378B2
Application number: JP24441497A
Authority: JP
Inventors: 喜昭野田; 昭一松永
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 1997-09-09
Filing date: 1997-09-09
Publication date: 2001-09-10
Anticipated expiration: 2017-09-09
Also published as: JPH1185180A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声認識方法に係
わり、特に与えられた文法によって生成可能な数多くの
仮説から、入力された音声に最も近い仮説を効率的に見
つける仮説の探索技術に関する。

【０００２】

【従来の技術】まず、図１を参照して、従来の音声認識
方法の一例について説明する。この図において、入力音
声１１は、分析処理部１２によって特徴パラメータのベ
クトルデータ時系列に変換され、さらに探索処理部１３
によって文法／言語モデル１６の許容する仮説と照合さ
れる。この仮説の照合結果の評価値であるスコアは、仮
説に対応する音響モデルと入力音声の尤もらしさを示す
音響スコアと仮説の存在する確率に対応した言語スコア
からなり、最も高いスコアを持つ仮説が認識結果１４と
して出力される。

【０００３】分析処理１２における信号処理としてよく
用いられるのには、線形予測分析（ＬＰＣ：Linear Pre
dictive Coding）であり、特徴パラメータとしては、Ｌ
ＰＣケプストラム、ＬＰＣデルタケプストラム、メルケ
プストラム、対数パワーなどがある。音響モデル１５と
しては、確率・統計理論に基づいてモデル化された隠れ
マルコフモデル法（Hidden Markov Model，以後ＨＭＭ
法という）が主流である。このＨＭＭ法の詳細は、例え
ば、文献（社団法人電子情報通信学会編、中川聖一著
『確率モデルによる音声認識』）に開示されている。

【０００４】文法／言語モデル１６は、認識対象とする
文を定義するための単語の連結関係を規定したものであ
り、単語を枝とした単語ネットワークや言語の確率モデ
ル等が用いられる。この言語の確率モデルは、単語単体
の存在確率、２つ以上の単語の連結する確率が用いられ
る。この言語の確率モデルの詳細は、例えば文献（社団
法人電子情報通信学会編、中川聖一著『確率モデルによ
る音声認識』）等に開示されている。

【０００５】探索処理部１３は、文法で規定された単語
の接続関係を示す単語ネットワーク上の単語系列に対応
した音響モデルと特徴パラメータのベクトルデータ時系
列を照合し、音響的な尤もらしさを示す音響スコアを求
める一方、その単語系列に対応した言語モデルから言語
スコアを求め、音響スコアと言語スコアからなる仮説の
スコアを時刻毎に求め、スコアの低い仮説を捨ててスコ
アの高い仮説を残し、次の時刻では前の時刻で残された
仮説に対して必要であれば単語の拡張を行い、再び音響
モデル、言語モデルに基づいて評価を行う。

【０００６】次に、この照合計算の詳細について、図２
及び図３を参照して説明する。文法で規定された単語の
接続関係を示す単語ネットワークは、音響モデルとの照
合を行うために、音響モデルの最小構成単位であるＨＭ
Ｍ状態のネットワークに図２に示されるように展開され
る。この図２において、符号２１は単語境界を示す状態
である。

【０００７】図３は、上記図２の一部拡大図であり、符
号３１，３２，３３は各々状態を示し、また３４，３
５，３６は各状態の遷移をそれぞれ示している。これら
各状態３１，３２，３３には、開始時刻から現時刻の音
声が開始状態からその状態に対応するという仮説のスコ
アが以下のように計算され、格納されている。なお、遷
移３６は状態３２の滞留を示すものである。

【０００８】ここで、照合計算の説明のために、ある時
刻ｔにおける状態３２の計算について説明する。状態３
２の遷移元の状態である状態３１，３２，３３における
時刻（ｔ−１）での仮説はそれぞれ遷移３４，３５，３
６を経由して状態３２に移行する。この際、遷移３４を
進んだ仮説には、時刻ｔでの特徴パラメータのベクトル
データに対する遷移３４の音響スコアが加算される。遷
移３５，３６を移行した仮説も、それぞれ遷移３５，３
６に対応した音響スコアが加算される。状態３２に到達
した仮説のうち、最大スコアの仮説を時刻ｔにおけるそ
の状態３２の仮説とする。この時刻ｔの状態３２での計
算は、他の全ての状態についても同様に行われ、この計
算は時刻毎に入力音声の全ての時刻で行われる。

【０００９】なお、時刻０（初期時刻）では初期化のた
めに、スコア０（ゼロ）の仮説を状態ネットワークの開
始状態に配置する。この照合計算の結果、終了時刻での
状態ネットワークの終了状態に到達した仮説が認識結果
であり、その仮説の過去の単語系列及びスコア情報が認
識候補の単語系列及びスコアとなる。この計算は Viter
bi 計算と呼ばれ、例えば、文献（社団法人電子情報通
信学会編、中川聖一著『確率モデルによる音声認識』）
に開示されている。しかし、この照合計算は、入力音声
の各時刻で全ての状態について行われるが、認識対象と
する単語数が増えたりして文法が大きくなると、状態ネ
ットワーク内の総状態数が多くなり、計算量が膨大とな
って認識に多くの処理時間を必要となる。

【００１０】このような処理時間の増大に対して、ビー
ム探索と呼ばれる方法がよく用いられる。このビーム探
索では、各時刻における状態の照合計算終了の後に、高
いスコアをもつ仮説のみを残し、その他の仮説を棄却す
る。そして、次の時刻での照合計算は、前の時刻で残さ
れた仮説のみについて計算を行う。この場合、全ての状
態について計算を行う必要がないため、現実的な処理時
間で認識を行うことができる。このようなビーム探索に
おいて仮説を残す基準としては、全ての仮説の中で最大
ｎ個の仮説を残す方法や、全ての仮説の中で最大のスコ
アから一定値θを差し引いたスコアを閾値とし、その閾
値以上のスコアを有する仮説のみを残す方法等がある。
ここで、仮説を残す基準を決定するパラメータであるｎ
やθはビーム幅と呼ばれる。

【００１１】このビーム探索において、一般にビーム幅
を小さくすると計算する状態が少なくなるため認識処理
時間が短くなる。しかし、ビーム幅を小さくし過ぎると
認識精度の低下を招くことになる。このようなビーム探
索を用いた音声認識において、ビーム幅の設定が認識精
度や認識処理量のトレードオフを設定するものとなる。
ビーム幅は、認識を行う環境や対象とする単語数等、認
識の難しさによって経験的に設定され、通常は入力音声
の全ての時刻で一定値が用いられる。

【００１２】

【発明が解決しようとする課題】ところで、一般に音声
認識装置を使用する際には、単語、文節、文章等の発話
単位を決め、それらの発話単位毎の境界を音声認識装置
に教えなければならない。この境界を発話者が明示的に
与える方法として、音声入力キーを用いて押している間
だけ音声の入力を行えるプレストーク方式や音声入力キ
ーを押したときに音声入力を開始する方式等が用いられ
る。これらの方法は、発話者の訓練によってほぼ確実に
音声区間を音声認識装置に伝えられるが、全ての用途で
使用できるものではない。

【００１３】発話者の負担を減らしてより利便性を向上
させるために、各時刻のパワー値等を用いた音声区間の
自動検出が用いられているが、この音声区間の自動検出
は検出誤りをなくすことが難しく、検出誤りが生じた場
合には音声区間の欠落が生じて大きな認識精度の低下を
来す。

【００１４】さらに、連続単語や文章を対象に音声認識
を行う際に単語や文節等の間に無音区間が存在する。連
続単語や文章を一括して認識する場合には、この無音区
間についても音声区間と同等の認識処理が必要となる。
これを回避するために、単語や文節等に区切って音声認
識を行う方法があるが、発話者が単語や文節等の区切れ
を入力したり、音声区間の自動検出に合わせて、発話者
が単語や文節を区切って発声したりしなければならない
ので、不便であるばかりでなく、訓練も必要である。

【００１５】本発明は、上述する問題点に鑑みてなされ
たもので、以下の点を目的とするものである。（１）発話者の負担を減らしてより利便性を向上させる
ことが可能な音声認識方法を提供する。（２）無音区間における認識処理量を減らすことが可能
な音声認識方法を提供する。

【００１６】

【課題を解決するための手段】本発明は、上記目的を達
成するために、第１の手段として、認識の単位である単
語の集合を規定する単語リストと、該単語リスト内に含
まれる単語と入力音声との近さを示す音響スコアを求め
るための音響モデルと、該単語リスト内に含まれる単語
間の接続関係を規定する文法あるいは言語モデルと、入
力音声に対して文法の許容する単語系列に関する一つあ
るいは複数の仮説の尤もらしさを、音響モデルと言語モ
デルに基づいて時刻毎にスコアとして算出する手段とを
備え、全ての音声が入力された時点あるいは入力途中
で、最もスコアの高い一つないし複数の仮説をもって認
識結果とする音声認識方法において、入力音声中の無音
らしさに応じて仮説の絞り込み方を制御するという手段
を採用する。また、第２の手段として、上記第１の手段
において、無音らしさの検出方法として、入力音声の各
時刻のパワー値が設定した閾値よりも高い状態に継続す
る時間に応じて仮説の絞り込み方を制御するという手段
を採用する。第３の手段として、上記第１の手段におい
て、無音らしさの検出方法として、無音と照合している
仮説のスコアが無音以外と照合している仮説のスコアよ
りも高い状態が継続する時間に応じて仮説の絞り込み方
を制御するという手段を採用する。

【００１７】

【発明の実施の形態】以下、図面を参照して、本発明に
係わる音声認識方法の一実施形態について説明する。な
お、本実施形態は、ビーム探索を用いるものであるが、
無音区間においてビーム幅の絞り込みを行うことを特徴
としている。この場合、ビーム探索の手法としては、上
述したように一定個数の仮説を残す方法あるいは最大ス
コアから求める閾値以上の仮説を残す方法のどちらをも
適用することができるが、以下の説明では一定個数の仮
説を残す方法を取り上げて説明する。

【００１８】まず、以下に述
べる２つの方法のうち、一方あるいは両方の組合せで時
刻毎の無音らしさＰ_s（ｔ）を求める。この無音らしさ
Ｐ_s（ｔ）は、０〜１の範囲の値を取るものであり、０
の場合に音声区間（すなわちポーズ区間）を示し、１の
場合には無音区間を示すものである。この無音区間の検
出方法としては、例えば以下の２つの方法が考えられ
る。

【００１９】（１）フレーム毎のパワー値による方法認識開始時に測定した雑音レベルからＬ（ｄＢ）だけ高
いレベルを閾値とし、時刻毎の絶対パワー値がその閾値
よりも低い状態が続いた場合には、その継続時間長に応
じて無音らしさＰ_s（ｔ）を求める。例えば、最大継続
時間長ｔ_pを予め設定し、継続時間長が０〜ｔ_p／２の値
を取る場合に無音らしさＰ_s（ｔ）を「０」とし、また
継続時間長がｔ_p／２〜ｔ_pの場合には無音らしさＰ
_s（ｔ）を０〜１の値に線形に割り当てる。

【００２０】（２）最大スコアをもつ仮説を用いる方法この方法では、時刻毎に状態ネットワーク内における最
大スコアの仮説を調べ、その仮説のある状態が無音に対
応するＨＭＭ状態である場合が継続した時に、その継続
時間長に応じて無音らしさＰ_s（ｔ）を求める。例え
ば、最大継続時間長を予めｔ_pと設定し、継続時間長が
０〜ｔ_p／２の場合に無音らしさＰ_s（ｔ）を「０」に割
り当て、また継続時間長がｔ_p／２〜ｔ_pの場合には無音
らしさＰ_s（ｔ）を０〜１の値に線形に割り当てる。

【００２１】以上のようにして時刻毎の無音らしさＰ_s
（ｔ）を求め、この無音らしさＰ_s（ｔ）が「０」の場
合を音声区間と判断してビーム幅を最大のビーム幅ｎ
_maxに設定し、一方、無音らしさＰ_s（ｔ）が「１」の場
合を無音区間と判断してビーム幅を最小のビーム幅ｎ
_minに線形に対応させる。そして、このように無音らし
さＰ_s（ｔ）に対応させて設定されたビーム幅を用いて
ビーム探索を行う。このように無音区間におけるビーム
幅を絞り込むことにより、無音区間での認識処理量を削
減することができる。

【００２２】続いて、本発明者等が開発した単語グラフ
を用いた大語彙連続音声認識システムに、上記手法を用
いた場合の認識実験の結果について説明する。なお、大
語彙連続音声認識システムについては、文献（野田
他：”単語グラフを用いた大語彙連続音声認識における
近似演算法”，日本音響学会講演論文集，２−６−６，
Ｍａｒ．１９９７）に詳しく記載されている。

【００２３】この実験では、新聞記事の文章の認識を行
った。新聞記事から記号を削除し、形態素解析に基づい
て分割された単位を単語として定義した。このような定
義による単語の種類は５８９，４９３種類であり、この
うち最頻出の９２１２単語を語彙とした。この語彙は、
新聞記事に出現する単語の９０％を占めている。また、
同音異義語があるため、読みの種類は７７０３個となっ
た。この語彙に対応した単語bi-gramを５５ヶ月分の学
習用テキストを用いて学習した。この単語bi-gramは、
文頭、文末を考慮したものを含んでいる。

【００２４】評価用の音声データは、５ヶ月分の評価用
テキストのうち、定義した９２１２単語の語彙セットの
みで構成される文章、つまり未知語なしの文章を選択
し、比較的静かなオフィス環境（空調音、計算機ファン
の音も含む）で収録した音声データのうち、比較的ポー
ズ区間の多い３０文（男性４人、女性２人）を選んで用
いた。この３０文での全音声データ時間長に対するポー
ズ時間長の割合は平均で２２．８％であった。

【００２５】なお、上記各無音区間の検出方法における
パラメータについては、フレーム毎のパワー値による方
法では、Ｌ＝２．０（ｄＢ）、ｔ_p＝０．２８８（se
c）、最大スコアを持つＨＭＭ状態を用いる方法では、
ｔ_p＝０．１９２（sec）を用い、最小ビーム幅は１０
０、最大ビーム幅は５０００と１００００の２通りとし
た。

【００２６】表１及び表２に、このような条件の下での
実験結果を示す。なお、表１は最大ビーム幅が５０００
の場合における実験結果であり、表２は最大ビーム幅が
１００００の場合における実験結果である。これら表
１，２において、「パワー」、「スコア」は上記無音区
間の検出方法の各々を示し、また「既知」はポーズ情報
が既知の場合（ポーズ区間にラベル付けされたデータを
探索処理に与えた。探索時にはポーズ区間で最小ビーム
幅に設定される。）を示す。「TOP-1」、「WG」は第一
位単語認識率、単語グラフに含まれる最大の単語認識率
をそれぞれ示し、「WGD」は単語グラフ密度を示す。ま
た、「処理量」は計算機でのＣＰＵ時間を正規化したも
のである。

【００２７】

【表１】

【表２】

【００２８】これらの表１，２より、試みた２つの無音
区間の検出方法間には大きな差違はなく、若干認識精度
が低下するものの、安定して処理量を減らすことができ
ることを確認することができた。なお、今回評価に用い
た音声データは、連続して発声されている部分が多く、
全体としての処理量削減効果は小さなものとなったが、
全音声データ長に対するポーズ時間長の割合が平均で２
２．８％であることを考えると、このような無音区間の
検出方法によりポーズ区間の処理量を約半分にすること
ができることが分かる。

【００２９】このように、単語や文節を発語単位とし、
区切りながら認識する方法と、文章を一括して認識する
連続音声認識の中間的な方法として、ポーズ情報に基づ
いて検索のビーム幅の制御を行う方法を提案し、大語彙
連続音声認識で評価を行った。ポーズ区間の検出とビー
ム幅の制御方法に関して２つの方法を試みたところ、若
干認識精度が低下するものの、ポーズ区間の処理量を約
半分にすることができた。

【００３０】

【発明の効果】以上説明したように、本発明に係わる音
声認識方法によれば、以下のような効果を奏する。（１）無音区間での認識処理量を少なくすることができ
るため、音声が入力されるまでＣＰＵの負荷がかからな
い。これにより、音声認識を常に動作させておくことが
現実のシステムで可能となり、あえて確定的に音声の始
端や終端を検出する必要がないので、音声の始端や終端
の検出誤りによる認識精度低下を回避することが可能で
あり、かつ発話者が明示的に音声の始端や終端を指定す
る必要がないため、発話者にとっても利便性が向上す
る。（２）また、連続単語や文章を対象に音声認識を行う際
にも、無音区間で自動的に処理量を抑えることができる
ので、発話者が単語や文節等の区切れを入力したり、音
声区間の自動検出に合わせて、発話者が単語や文節等を
区切って発声する必要もなく、利便性が向上する。この
発明は、単語や文節を発話単位とし、区切りながら認識
を行うする方法と、文章を一括して認識を行う連続音声
認識の中間的な方法であり、以上のように両方の利点が
同時に得られる。

【図面の簡単な説明】

【図１】従来の音声認識処理の概要を示すブロック図
である。

【図２】上記図１に示した音声認識処理における状態
ネットワーク図である。

【図３】上記図１に示した音声認識処理におけるVite
rbi計算を説明するための状態ネットワーク図である。

【符号の説明】

１１……入力音声１２……分析処理１３……探索処理１４……認識結果１５……音響モデル１６……文法／言語モデル２１，３１，３２，３３……状態３４，３５，３６……遷移

フロントページの続き (56)参考文献特開平４−84197（ＪＰ，Ａ) 特開平８−115093（ＪＰ，Ａ) 特開平６−167993（ＪＰ，Ａ) 日本音響学会講演論文集ＶＯＬ. 1997、秋季１ＰＡＧＥ89−90「ポーズ情報に基づいた動的探索制御法の検討」 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 15/18

Claims

(57)【特許請求の範囲】

【請求項１】認識の単位である単語の集合を規定する
単語リストと、該単語リスト内に含まれる単語と入力音声との近さを示
す音響スコアを求めるための音響モデルと、該単語リス
ト内に含まれる単語間の接続関係を規定する文法あるい
は言語モデルと、入力音声に対して文法の許容する単語
系列に関する一つあるいは複数の仮説の尤もらしさを、
前記音響モデルと言語モデルに基づいて時刻毎にスコア
として算出する手段とを備え、全ての音声が入力された
時点あるいは入力途中で、最もスコアの高い一つないし
複数の仮説をもって認識結果とする音声認識方法におい
て、入力音声中の無音らしさに応じて仮説の絞り込み方を制
御することを特徴とする音声認識方法。
【請求項２】請求項１記載の音声認識方法において、
前記無音らしさの検出方法として、入力音声の各時刻の
パワー値が設定した閾値よりも高い状態に継続する時間
に応じて仮説の絞り込み方を制御することを特徴とする
音声認識方法。
【請求項３】請求項１記載の音声認識方法において、
前記無音らしさの検出方法として、無音と照合している
仮説のスコアが無音以外と照合している仮説のスコアよ
りも高い状態が継続する時間に応じて仮説の絞り込み方
を制御することを特徴とする音声認識方法。