JP3873418B2

JP3873418B2 - Voice spotting device

Info

Publication number: JP3873418B2
Application number: JP35913397A
Authority: JP
Inventors: 利行花沢
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1997-12-26
Filing date: 1997-12-26
Publication date: 2007-01-24
Anticipated expiration: 2017-12-26
Also published as: JPH11190999A

Description

【０００１】
【発明の属する技術分野】
この発明は連続発声をされた音声中からある特定の単語や文節（意味的なまとまりをもつ部分文）のスポッティング（当該発声開始／終了時刻と当該音声区間の存否信頼度とを求めること）をし出力する音声スポッティング装置に関する。
【０００２】
【従来の技術】
たとえば文献（河原ほか：ヒューリスティックな言語モデルを用いた会話音声中の単語スポッティング、信学論（Ｄ−ＩＩ）、Ｖｏｌ．Ｊ７８−Ｄ−ＩＩ、ｎｏ．７、ｐｐ．１０１３−１０２０、１９９５）に示す従来の音声スポッティング装置は図２（ａ）のように、分析手段１は、入力端からの入力音声信号１０１に対したとえばＬＰＣ（ｌｉｎｅａｒｐｒｅｄｉｃｔｉｖｅｃｏｄｉｎｇ）ケプストラム分析をし、当該特徴ベクトル時系列１０２Ｘ₁ 、Ｘ₂ 、Ｘ₃ ・・・Ｘ_T （添字は各特徴ベクトルＸの時刻を示す）に変換をする。ヒューリスティック言語モデル照合手段２は、分析手段１による特徴ベクトル時系列１０２に対し、別途格納をする先行と後続ヒューリスティック言語モデル格納手段６による先行と後続ヒューリスティック言語モデルを用い、たとえば文献（中川：確率モデルによる音声認識、電子情報通信学会、ｐｐ．４０−４６、１９８８）に示すトレリスアルゴリズムまたはビタビアルゴリズムで算出をする前向きと後向き確率値の対数化をすることにより、時間軸上で順方向に当該先行ヒューリスティック言語モデルの最終状態Ｓ_Fjの時刻ｔにおけるヒューリスティック前向き尤度１０３Ｓ_fw（Ｓ_Fj，ｔ）（ｔ＝１〜Ｔ、ｊ＝１〜Ｎ_F 、Ｎ_F は先行ヒューリスティック言語モデルの最終状態数）と逆方向に当該後続ヒューリスティック言語モデルの初期状態Ｓ_Ijの時刻ｔにおけるヒューリスティック後向き尤度１０４Ｓ_bw（Ｓ_Ij，ｔ）（ｔ＝１〜Ｔ、ｊ＝１〜Ｎ_I 、Ｎ_I は後続ヒューリスティック言語モデルの初期状態数）とを算出する。スポッティング手段９は、分析手段１による特徴ベクトル時系列１０２とヒューリスティック言語モデル照合手段２によるヒューリスティック前向きと後向き尤度１０３と１０４とに対し、別途格納をするスポッティング用ネットワーク格納手段８によるスポッティング用ネットワークを用い、各時刻ｔ＝１〜Ｔごとに別途定義をする手順の処理を繰り返しスポッティング結果１０８を求め出力する。
【０００３】
上記従来の音声スポッティング装置は、入力音声は無秩序な発話内容ではなくある言語的な制約を満たしていると仮定し、当該言語的な制約をヒューリスティック言語モデルと称する音声パタンモデルで表現し、ヒューリスティック言語モデルとスポッティング用ネットワークとを併用し入力音声全体を考慮するスポッティングスコア（スポッティング対象単語音声のスペクトル特徴時系列をモデル化した音声パタンモデルと入力音声のスペクトル特徴時系列１０２との類似度を算出し、スポッティング音声区間に実際に当該単語が存在するかどうかの信頼度を数値化して表現したもの）算出をする方式（音素環境依存モデルを用いるヒューリスティック音声スポッティング方式）を採る。
【０００４】
精度の高いスポッティングはたとえば図２（ｂ）のように、スポッティング用ネットワークの前方と後方に先行と後続ヒューリスティック言語モデルを接続し、入力音声中のスポッティング対象およびそれ以外の音声区間はそれぞれ当該スポッティング用ネットワークおよび先行と後続ヒューリスティック言語モデルでモデル化をし入力音声全体に対する尤度を算出し、異なる時刻の検出単語同士でスポッティングスコア比較をすることにより可能となる。ただし当該先行と後続ヒューリスティック言語モデルは、なるべく多く入力音声に含むことが想定される単語や文節などのモデル化をし構成することが必要になる。
【０００５】
先行ヒューリスティック言語モデルと後続ヒューリスティック言語モデルとスポッティング用ネットワークは、通常ＨＭＭ（ｈｉｄｄｅｎｍａｒｋｏｖｍｏｄｅｌ：隠れマルコフモデル）を用いて構成する。ＨＭＭはモデル化する音声単位の違いによって幾つかの種類に分類できるが、音素環境依存モデルといわれるＨＭＭが認識性能が高いことが知られており最もよく用いられている。音素環境依存モデルは、同じ音素のモデル化をするときでも前後の音素環境の違いで別モデルとして扱う。たとえば後続（右）音素環境を考慮したモデルの右音素環境依存モデルのとき、／ｉａ／と／ｉｕ／では第１音素はともに／ｉ／で後続音素は異なる／ａ／と／ｕ／だから、第１音素の／ｉ／を別モデルとする。後続音素の違いで別モデルを使う必要があるからヒューリスティック言語モデルとスポッティング用ネットワークに複数状態同士の接続となる右音素環境依存モデルを用いたときの先行と後続ヒューリスティック言語モデルの各構成例は図３（語尾セグメントを示し語頭部分を省略）と図４（語頭セグメントを示し語尾部分を省略）のように、１個以上の右音素環境依存モデルを接続し単語や文節等部分区間のモデル化をし、各音素環境依存モデルと同じに初期状態と最終状態をもつセグメントに対し四角で、また先行ヒューリスティック言語モデルの複数最終状態と先行スポッティング対象モデルの語尾音素の違いで分かれる後続ヒューリスティック言語モデルの初期状態とに対し丸でそれぞれ表す。たとえば当該セグメントがａ（ｉ）という長方形中文字表現は、／ｉ／という括弧内の音素を右音素環境として／ａ／という音声をモデル化していることを示す。
上記のように先行と後続ヒューリスティック言語モデルは、なるべく多く入力音声に含むことが想定される単語や文節などのモデル化をし構成することが必要だから、複数個のセグメントが必要になる。また右音素環境依存モデルを用いたときのスポッティング用ネットワークの構成例は図５（点線の左側と右側とにスポッティング用ネットワークと後続ヒューリスティック言語の初期状態への接続状況とを示す）のように、複数個のスポッティング対象音声単位（たとえば「おととい」、「あさって」、「おおさかに」、「おおさかまで」、「とーきょーに」、「とーきょーまで」という６個の文節）を１個のネットワークでモデル化をし、種々の遷移履歴情報を保持する番号付与ノードと上記に同じ番号付与セグメントとをもつスポッティング用ネットワークに対しノードとセグメントとを示す横長の楕円と長方形とでそれぞれ表す。たとえば当該セグメントがｏｏｓａｋ（ａ）という長方形中文字表現は、／ａ／という括弧内の音素を右音素環境として／ｏｏｓａｋ／という音声をモデル化していることを示す。後続セグメントの語頭音素の違いで最後の音素／ａ／を別々の右音素環境依存モデルでモデル化をする必要があるから、当該セグメントでモデル化をしない。またスポッティング用ネットワークは、先行ヒューリスティック言語モデルの最終状態と後続ヒューリスティック言語モデルの初期状態とに接続する複数個の初期ノード（図５のＮ_I1〜Ｎ_I3）と最終ノード（図５のＮ_F1〜Ｎ_F10 ）とをもつ。複数個になるのは、先行と後続ヒューリスティック言語モデルの語頭音素が異なるごとに、スポッティング対象モデルの語尾音素モデルを別モデルとして音声環境が整合する当該先行と後続ヒューリスティック言語モデルを接続するからである。たとえば図５に示すように「に」の語尾／ｉ／が後続ヒューリスティック言語モデルの語頭音素の違いで／ｉ（ａ）／、／ｉ（ｉ）／、／ｉ（ｕ）／、／ｉ（ｅ）／、／ｉ（ｏ）／、・・・というモデルに分かれる。またすべてのノードは各時刻（ｔ＝１〜Ｔ）ごとに、初期ノードＮ_Ijでは前向き尤度ｇａ⁽¹⁾ （Ｎ_Ij，ｔ）だけ、初期ノード以外では時刻ｔにおけるノードＮ_j のｋ（ｋ＝１〜Ｋ_j 、Ｋ_j はノードＮ_j に遷移するセグメント個数）番目前向き尤度ｇａ^(k) （Ｎ_j ，ｔ）と、時刻ｔにノードＮ_j に遷移するｋ番目セグメントのセグメント番号ｇｗ^(k) （Ｎ_j ，ｔ）および開始時刻ｇｂ^(k) （Ｎ_j ，ｔ）とをそれぞれ履歴情報として保持する。一方すべてのセグメントは各時刻（ｔ＝１〜Ｔ）ごとに、状態Ｓ_j （ｊ＝１〜Ｊ_m 、Ｊ_m はセグメントｍの状態数）の前向き尤度α^(m) （Ｓ_j ，ｔ）と、セグメントｈ_m の開始時刻ｂｔｋ^(m) （Ｓ_j ，ｔ）とを情報として保持する。
【０００６】
スポッティング手段９は、各時刻ｔ＝１〜Ｔごとに、以下の手順１から６の処理を繰り返すことによってスポッティング結果１０８を求めて出力する。
（手順１）初期ノードの履歴情報のセット
ヒューリスティック言語モデル照合手段２の出力であるヒューリスティック前向き尤度１０３の値を、スポッティング用ネットワークの初期ノードにコピーすることで履歴情報をセットする。具体的には（１）式によってスポッティング用ネットワークの全ての初期ノードＮ_Ij（ｊ＝１〜Ｇ_I，Ｇ_I：初期ノード数）の履歴情報である前向き尤度ｇａ⁽¹⁾ （Ｎ_Ij，ｔ）を求める。
ｇａ⁽¹⁾ （Ｎ_Ij，ｔ）＝Ｓ_fw（Ｓ_Fk，ｔ），ｊ＝１〜Ｇ_I （１）
ここで、Ｓ_fw（Ｓ_Fk，ｔ）は先行ヒューリスティック言語モデルの最終状態Ｓ_Fkのヒューリスティック前向き尤度１０３である。Ｓ_Fkは先行ヒューリスティック言語モデルの最終状態のうちでスポッティング用ネットワークの初期ノードＮ_Ijに接続する状態である。図３と図５の接続ではたとえばＮ_I1にはＳ_F5、Ｎ_I2にはＳ_F6がそれぞれ接続する。
（手順２）ノードからセグメントの初期状態への履歴情報の伝搬
スポッティング用ネットワークの全てのセグメントｈ_m （ｍ＝１〜Ｐ，Ｐ：スポッティング用ネットワークの総セグメント数）に対して以下の（２）、（３）式によってセグメントｈ_m の初期状態Ｓ₁ 、時刻ｔにおける前向き尤度であるα^(m) （Ｓ₁，ｔ）を求める。また（４）式によってセグメントｈ_mの開始時刻を求める。

ここで、Ｎ_m はセグメントｈ_m へ遷移するスポッティング用ネットワークのノード、ａ₁₁はセグメントｈ_m の初期状態Ｓ₁ の自己ループ確率、ｂ₁₁（Ｘ_t ）は初期状態Ｓ₁ での自己ループの際に特徴ベクトルＸ_t を出力する確率である。時刻ｔ＝１では全ノードのうち初期ノードのみが前向き尤度の値を持っている。したがって初期ノードから遷移するセグメントのみが前向き尤度と開始時刻の値をセットされることになるが、時刻ｔが進むにしたがって以下に述べる手順（３）と（４）の処理によって全てのノードの前向き尤度がセットされるので、本手順（２）によって全てのセグメントの初期状態の前向き尤度と開始時刻の値がセットされることになる。
（手順３）セグメントの初期状態以外の尤度計算
スポッティング用ネットワークの全てのセグメントｈ_m （ｍ＝１〜Ｐ，Ｐ：スポッティング用ネットワーク中の総セグメント数）に対して（５）式によってセグメントｈ_mの初期状態以外の状態Ｓ_i（ｉ＝２〜Ｊ_m，Ｊ_m：セグメントｍの状態数）の時刻ｔにおける前向き尤度であるα^(m)（Ｓ_i，ｔ）を求める。また（６）、（７）式によってセグメントｈmの開始時刻の情報を求める。

ここで、ａ_jiはセグメントｈ_mの状態Ｓ_jから状態Ｓ_iへの遷移確率、ｂ_ji（Ｘ_t）は状態Ｓ_j から状態Ｓ_i への遷移の際に特徴ベクトルＸ_t を出力する確率である。
（手順４）初期ノード以外の履歴情報のセット
スポッティング用ネットワークの全ての初期ノード以外のノードＮ_j （ｊ＝１〜Ｇ_m，Ｇ_m：初期以外のノード数）の履歴情報は、そのノードに遷移するセグメントの前向き尤度やそのセグメントの開始時刻などを（８）、（９）、（１０）式によってコピーすることでセットする。

ここで、Ｋ_jはノードＮ_jへ遷移するセグメントの数、ｇａ^(k)（Ｎ_j，ｔ）は時刻ｔにおけるノードＮ_jのｋ番目の前向き尤度、α^(k)（Ｓ_J，ｔ）はノードＮ_jへ遷移するｋ番目のセグメントの最終状態Ｓ_Jの時刻ｔにおける前向き尤度、ｇｗ^(k)（Ｎ_j，ｔ）は時刻ｔにノードＮ_jに遷移したｋ番目のセグメントのセグメント番号、ｗ^(k)はノードＮ_jを遷移先とするｋ番目のセグメントのセグメント番号である。またｇｂ^(k) （Ｎ_j，ｔ）は時刻ｔにノードＮ_jへ遷移するｋ番目のセグメントの開始時刻、ｂｔｋ^(k) （Ｓ_J，ｔ）は時刻ｔに最終状態Ｓ_Jに到達したｋ番目のセグメントの開始時刻である。（８）、（９）、（１０）式からわかるとおり、スポッティング用ネットワークの各ノードにはそのノードに遷移する全てのセグメントの前向き尤度とセグメント番号とそのセグメントの開始時刻を履歴情報として保持することになる。
（手順５）最終ノードからのバックトラック
スポッティング用ネットワークの全ての最終ノードＮ_Fj（ｊ＝１〜Ｇ_F，Ｇ_F：最終ノード数、図５ではＮ_F1〜Ｎ_F10 ）からバックトラック処理を行なう。バックトラックとは上記手順４で求めたノード履歴情報を用いてスポッティング用ネットワークの最終ノードから初期ノードへと遷移の履歴を辿ることである。バックトラック処理はｇｗ^(k)（Ｎ_j，ｔ）とｇｂ^(k)（Ｎ_j，ｔ）によって当該ノードに遷移したセグメント番号とそのセグメントの開始時刻を得、そのセグメントの遷移元のノードから、さらに同様の手続きによって遷移元のノードを辿ることを初期ノードに到達するまで繰り返すことによって実現できる。本例ではバックトラック処理は文献（ＲｉｃｈａｒｄＳｃｈｗａｒｔｚａｎｄＳｔｅｖｅＡｕｓｔｉｎ，“Ａｃｏｍｐａｒｉｓｏｎｏｆｓｅｖｅｒａｌａｐｐｒｏｘｉｍａｔｅａｌｇｏｒｉｔｈｍｓｆｏｒｆｉｎｄｉｎｇｍｕｌｔｉｐｌｅ（Ｎ−ｂｅｓｔ）ｓｅｎｔｅｎｃｅｈｙｏｉｔｈｅｓｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓｏｆ１９９１ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ＆ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ，７０１−７０４頁）に示されているｌａｔｔｉｃｅＮ−Ｂｅｓｔの方式を用いる。このｌａｔｔｉｃｅＮ−Ｂｅｓｔの方式を用いることにより、最終ノードＮ_Fjごとに複数個のバックトラック結果を得ることができる。バックトラック結果とはセグメントの系列と、そのセグメントの系列の開始時刻と、そのセグメントの系列に対する前向き尤度である。前記セグメントの系列に対する前向き尤度は、上述の手順４で説明したノードの前向き尤度であるｇａ^(k)（Ｎ_j，ｔ）を用いて計算できる。本例では時刻ｔにおける最終ノードＮ_Fjからのｋ番目のバックトラック結果であるセグメントの系列をｓｅｑ^(k) （Ｎ_Fj，ｔ）、セグメントの系列の開始時刻をｓｔｉｍｅ^(k) （Ｎ_Fj，ｔ）、前向き尤度をＳＣ^(k) _fw （Ｎ_Fj，ｔ）と表すことにする。この前向き尤度ＳＣ^(k) _fw （Ｎ_Fj，ｔ）は先行ヒューリスティック言語モデル５にセグメント系列であるｓｅｑ^(K) （Ｎ_Fj，ｔ）を接続して構成した音声パタンモデルを用いて、特徴ベクトルの時系列１０２に対する時刻１からｔまでの前向き尤度を計算した値を近似したものになっている。
（手順６）スポッティング結果の決定
手順５で求めたバックトラック結果の全て、すなわちスポッティング用ネットワーク中の全ての最終ノードＮ_Fj（図５ではＮ_F1〜Ｎ_F10 ）からの全てのバックトラック結果に対して（１１）式によりスポッティングスコアを求める。
ＳＣ^(k) （Ｎ_Fj，ｔ）＝ＳＣ^(k) _fw （Ｎ_Fj，ｔ）＋Ｓ_bw（Ｓ_NFj ，ｔ），ｊ＝１〜Ｇ_F ，ｋ＝１〜Ｋ_Fj （１１）
ここで、Ｎ_Fjはスポッティング用ネットワークの最終ノード、ＳＣ^(k) （Ｎ_Fj，ｔ）はノードＮ_Fjのｋ番目のスポッティングスコア、ＳＣ^(k) _fw （Ｎ_Fj，ｔ）は手順５で求めたノードＮ_Fjのｋ番目の前向き尤度、Ｓ_bw（Ｓ_NFj ，ｔ）は後続ヒューリスティック言語モデルの初期状態Ｓ_NFj の時刻ｔにおける後向き尤度、Ｓ_NFj は後続ヒューリスティック言語モデルの初期状態のうちでスポッティング用ネットワーク１０の最終ノードＮ_Fjに接続する状態である。図５ではたとえば、Ｎ_F1にはＳ_I1、Ｎ_F2にはＳ_I2がそれぞれ接続する。（１１）式の右辺の第１項と第２項の和は、スポッティング用ネットワークの後方に後続ヒューリスティック言語モデルを接続して、特徴ベクトルの時系列４に対する時刻１からＴまで、すなわち特徴ベクトルの時系列１０２の全区間に対するスコアを求めることを意味している。スポッティング手段９は、（１１）式で求めた全てのスポッティングスコアの中から、その値の大きい上位Ｚ個を選択し、そのスポッティングスコアとセグメントの系列とその開始時刻をスポッティング結果１０８として出力する。ここでＺはあらかじめ決めておいた定数である。図の例では６個の文節がスポッティング対象モデルとなっているが、Ｚ＝３とすれば、スポッティングスコアの高い上位３個の文節に対するスポッティング結果が得られる。
【０００７】
【発明が解決しようとする課題】
上記のような従来の音声スポッティング装置では、音素環境依存モデルを用いるヒューリスティック音声スポッティング方式を採るから、スポッティングスコアを算出するには、各時刻ごとにスポッティング用ネットワークの全最終ノードからバックトラックをし前向き尤度を求める必要があり、スポッティング対象音声単位数が多くなるほどスポッティング用ネットワーク規模も大きくなりかつ最終ノード数も多くなるから、バックトラック回数が膨大になり所要演算量が非常に大きくなる問題点があった。
【０００８】
この発明が解決しようとする課題は、音声スポッティング装置で上記問題点を解消するように、バックトラック処理を施すスポッティング用ネットワークの最終ノードを各時刻ごとに選択しスポッティングスコア算出をする方式（音素環境依存モデルを用いる最終ノード選択ヒューリスティック音声スポッティング方式）を提供することにある。
【０００９】
【課題を解決するための手段】
この発明の音声スポッティング装置は、上記課題を解決するためつぎの手段を設け、音素環境依存モデルを用いる最終ノード選択ヒューリスティック音声スポッティング方式を採ることを特徴とする。
【００１０】
分析手段は、入力音声信号に対し分析をし当該特徴ベクトル時系列に変換をする。
【００１１】
ヒューリスティック言語モデル照合手段は、分析手段による特徴ベクトル時系列に対し、別途設けるスポッティング対象音声に先行／後続をする種々の発声内容音声の特徴ベクトル時系列に対し音素環境依存モデルによるモデル化をする先行／後続ヒューリスティック言語モデルを用い、時間軸上の順／逆方向に当該先行／後続ヒューリスティック言語モデルの最終／初期状態でヒューリスティック前／後向き尤度を算出する。
【００１２】
ネットワーク照合手段は、ヒューリスティック言語モデル照合手段によるヒューリスティック前向き尤度と分析手段による特徴ベクトル時系列とに対し、別途設けるスポッティング対象音声の特徴ベクトル時系列に対し音素環境依存モデルによるモデル化をするスポッティング用ネットワークを用い、当該スポッティング用ネットワークの複数個の最終ノードごとに最尤前向き尤度とノード履歴情報とを算出する。
【００１３】
バックトラックノード選択手段は、ネットワーク照合手段による最尤前向き尤度に対し、当該値が高い１個以上の、またはスポッティング用ネットワークの最終ノードに対し当該ノードへ遷移する母音のモデルで分類し構成をする母音別最終ノードクラスタごとの各クラスタ内で当該最尤前向き尤度の値が最も高いスポッティング用ネットワークの最終ノード番号を選択する。またはネットワーク照合手段による最尤前向き尤度に代えてヒューリスティック言語モデル照合手段によるヒューリスティック後向き尤度に対し、当該値が高い１個以上の後続ヒューリスティック言語モデルの初期状態と接続するスポッティング用ネットワークの最終ノード番号を選択する。またはネットワーク照合手段による最尤前向き尤度に加えてヒューリスティック言語モデル照合手段によるヒューリスティック後向き尤度とから各最終ノードごとに算出をする最尤両方向尤度に対し、当該値が高い１個以上のスポッティング用ネットワークの最終ノード番号を選択する。または上記最尤両方向尤度に対し、上記母音別最終ノードクラスタごとの各クラスタ内で当該最尤両方向尤度の値が最も高いスポッティング用ネットワークの最終ノード番号を選択する。または上記最尤両方向尤度に対し、まず上記母音別最終ノードクラスタごとの各クラスタ内で当該最尤両方向尤度の値が最も高いスポッティング用ネットワークの最終ノードを抽出し、つぎに当該抽出最終ノード内で当該最尤両方向尤度の値が高い１個以上の、もしくは当該最尤両方向尤度の値と当該最大値との尤度差が所定閾値以下の、最終ノード番号を選択する。
【００１４】
スポッティング結果出力手段は、バックトラックノード選択手段による最終ノード番号とヒューリスティック言語モデル照合手段によるヒューリスティック後向き尤度とネットワーク照合手段によるノード履歴情報とに対し、スポッティング用ネットワークのすべての最終ノードのうち当該最終ノード番号だけから初期ノードへと当該ノード履歴情報を辿るバックトラック処理を施して算出するスポッティング結果を出力する。
【００１５】
【発明の実施の形態】
この発明の実施の一形態を示す音声スポッティング装置は図１のように、分析手段１とヒューリスティック言語モデル照合手段２と先行／後続ヒューリスティック言語モデル格納手段６／７とスポッティング用ネットワーク格納手段８は、上記従来例の図２に対応する。ネットワーク照合手段３は、分析手段１による特徴ベクトル時系列１０２とヒューリスティック言語モデル照合手段２によるヒューリスティック前向き尤度１０３とに対し、スポッティング用ネットワーク格納手段８によるスポッティング用ネットワークを用い、各時刻ｔ＝１〜Ｔごとに別途定義をする手順の処理をしスポッティング用ネットワークの複数個の最終ノードごとに最尤前向き尤度１０５とノード履歴情報１０６を算出する。バックトラックノード最終手段４は、ネットワーク照合手段３による最尤前向き尤度１０５に対し、当該値が高い上位Ｌ（１≦Ｌ＜最終ノード数Ｇ_F を満たす予め決める定数）個のスポッティング用ネットワーク格納手段８によるスポッティング用ネットワークの最終ノード番号１０７を選択する。スポッティング結果出力手段５は、バックトラックノード選択手段４による最終ノード番号１０７とヒューリスティック言語モデル照合手段２によるヒューリスティック後向き尤度１０４とネットワーク照合手段３によるノード履歴情報１０６とに対し、スポッティング用ネットワーク格納手段８によるスポッティング用ネットワークの全最終ノードのうち当該最終ノード番号１０７だけから初期ノードへと当該ノード履歴情報１０６を辿るバックトラック処理を施し算出をするスポッティング結果１０８を出力する。最尤前向き尤度１０５の値が高い方を選択し低い最終ノードに対しバックトラック処理をしないことにより、当該所要演算量を小さく抑えられる。
【００１６】
上記実施の形態の音声スポッティング装置は、バックトラック処理を施すスポッティング用ネットワークの最終ノードを各時刻ごとに選択しスポッティングスコア算出をする方式（音素環境依存モデルを用いる最終ノード選択ヒューリスティック音声スポッティング方式）を採る。
【００１７】
ネットワーク照合手段３は、特徴ベクトルの時系列１０２とヒューリスティック前向き尤度１０３を入力とし、スポッティング用ネットワークを用いて、以下に示す手順１〜５の動作を行なうことによって、各時刻ｔ＝１〜Ｔ毎にスポッティング用ネットワークの最終ノードごとに最尤度前向き尤度１０５とノード履歴情報１０６を計算し、出力する。ネットワーク照合手段３で求めるノード履歴情報１０６は従来技術で求めた履歴情報と同じものであるが、最尤前向き尤度１０５は本発明で新たに用いるものである。
（手順１）初期ノードの履歴情報のセット
従来技術のスポッティング手段の動作で説明した手順１と同じ動作をしてスポッティング用ネットワークの初期ノードＮ_Ijの履歴情報である前向き尤度ｇａ⁽¹⁾ （Ｎ_Ij，ｔ）を求める。
（手順２）ノードからセグメントの初期状態への履歴情報の伝搬
従来技術のスポッティング手段の動作で説明した手順２と同じ動作をして、スポッティング用ネットワークの全てのセグメントｈ_m （ｍ＝１〜Ｐ，Ｐ：スポッティング用ネットワークの総セグメント数）に対してセグメントｈ_m の初期状態Ｓ₁ 、時刻ｔにおける前向き尤度であるα^(m) （Ｓ₁ ，ｔ）と開始時刻であるｂｔｋ^(m) （Ｓ₁ ，ｔ）を求める。
（手順３）セグメントの初期状態以外の尤度計算
従来技術のスポッティング手段の動作で説明した手順３と同じ動作をして、スポッティング用ネットワークの全てのセグメントｈ_m （ｍ＝１〜Ｐ，Ｐ：スポッティング用ネットワーク１０の総セグメント数）に対して初期状態以外の状態Ｓ_i （ｉ＝２〜Ｊ_m ，Ｊ_m ：セグメントｍの状態数）の時刻ｔにおける前向き尤度であるα^(m) （Ｓ₁ ，ｔ）と開始時刻であるｂｔｋ^(m)（Ｓ₁ ，ｔ）を求める。（手順４）初期ノード以外の履歴情報のセット
従来技術のスポッティング手段の動作で説明した手順４と同じ動作をして、スポッティング用ネットワークの全ての初期ノード以外のノードＮ_j （ｊ＝１〜Ｇ_m ，Ｇ_m ：初期以外のノード数）の履歴情報であるｇａ^(k) （Ｎ_j ，ｔ）とｇｗ^(k) （Ｎ_j ，ｔ）とｇｂ^(k) （Ｎ_j ，ｔ），（ｊ＝１〜Ｇ_m ，ｋ＝１〜Ｋ_j ）を求める。
（手順５）最終ノードの最尤前向き尤度セット
スポッティング用ネットワークの全ての最終ノードＮ_Fj（ｊ＝１〜Ｇ_F ，Ｇ_F ：最終ノード数、図５ではＮ_F1〜Ｎ_F10 ）の最尤前向き尤度１０５であるＳＣ^(max) _fw （Ｎ_Fj，ｔ）を（１２）式により求める。
ＳＣ^(max) _fw （Ｎ_Fj，ｔ）＝ｇ^(max) （Ｎ_Fj，ｔ），ｊ＝１〜Ｇ_F （１２）
（１２）式からわかるとおり最尤前向き尤度１０５であるＳＣ^(max) _fw （Ｎ_Fj，ｔ）は最終ノードＮ_Fjが保持している複数個の前向き尤度のうち最大値の尤度であり、その値はバックトラックすることなしに得ることができる。また最終ノードＮ_Fjの最尤前向き尤度１０５であるＳＣ^(max) _fw （Ｎ_Fj，ｔ）は、従来技術でスポッティング手段の動作の手順５で述べたバックトラック処理によって求める前向き尤度ＳＣ^(k) _fw （Ｎ_Fj，ｔ）とは（１３）式の関係にあることは、最尤前向き尤度であるＳＣ^(max) _fw （Ｎ_Fj，ｔ）と前向き尤度であるＳＣ^(k) _fw （Ｎ_Fj，ｔ）の定義により明らかなことであり、最尤前向き尤度１０５であるＳＣ^(max) _fw （Ｎ_Fj，ｔ）の値が低ければ前向き尤度ＳＣ^(k) _fw （Ｎ_Fj，ｔ）の値も低いことになる。
ＳＣ^(max) _fw （Ｎ_Fj，ｔ）≧ＳＣ^(k) _fw （Ｎ_Fj，ｔ），ｊ＝１〜Ｇ_F （１３）
バックトラックノード選択手段４は、ネットワーク照合手段３の出力である各最終ノードごとの最尤前向き尤度１０５であるＳＣ^(max) _fw （Ｎ_Fj，ｔ）（ｊ＝１〜Ｇ_F，Ｇ_F：最終ノード数）を入力として、最尤前向き尤度１０５の値が高い上位Ｌ個の最終ノードの最終ノード番号１０７を出力する。この上位Ｌ個のノード番号１０７をＦ_q(n)（ｎ＝１〜Ｌ）と記すことにする。ここで前記Ｌは１≦Ｌ＜Ｇ_Fの関係を満たすあらかじめ決められた定数である。
【００１８】
スポッティング結果出力手段５は、ヒューリスティック言語モデル照合手段２の出力であるヒューリスティック後向き尤度１０４とネットワーク照合手段の出力であるノード履歴情報１０６とバックトラックノード選択手段４の出力である最終ノード番号１０７を入力として、各時刻ｔ＝１〜Ｔ毎に以下に示す手順１、２の動作を繰り返すことによってスポッティング結果１０８を出力する。
（手順１）選択されたノードに対するバックトラック処理
ネットワーク照合手段３の出力であるノード履歴情報１０６を用い、全最終ノードのうちバックトラックノード選択手段から出力された最終ノード番号１０７であるＦ_q(n)（ｎ＝１〜Ｌ）のみからバックトラック処理を行なう。バックトラック処理は従来技術と同じ方法で行ない、最終ノードＮ_Fq(n) からのｋ番目のバックトラック結果であるセグメントの系列ｓｅｑ^(k) （Ｎ_Fq(n) ，ｔ）とセグメントの系列の開始時刻ｓｔｉｍｅ^(k) （Ｎ_Fq(n) ，ｔ）と、前向き尤度をＳＣ^(k) _fw （Ｎ_Fq(n) ，ｔ）を求める。
（手順２）スポッティング結果の決定
手順１で求めたバックトラック結果に対して（１４）式によりスポッティングスコアを求める。
ＳＣ^(k) （Ｎ_Fg(n)，ｔ）＝ＳＣ^(k) _fw （Ｎ_Fq(n)，ｔ）＋Ｓ_bw（Ｓ_NFq(n)，ｔ）ｎ＝１〜Ｌ（１４）
ここで、Ｎ_Fq(n) はバックトラックノード選択手段で選択されたｎ番目の最終ノード、ＳＣ^(k) （Ｎ_Fq(n) ，ｔ）はノードＮ_Fq(n) のｋ番目のスポッティングスコア、ＳＣ^(k) _fw （Ｎ_Fq(n) ，ｔ）が手順１で求めたノードＮ_Fq(n) のｋ番目の前向き尤度、Ｓ_bw（Ｓ_NFq(n)，ｔ）が後続ヒューリスティック言語モデルの状態Ｓ_NFq(n)の時刻ｔにおける後向き尤度、Ｓ_NFq(n)は後続ヒューリスティック言語モデルの初期状態のうちでスポッティング用ネットワークの最終ノードＮ_Fq(n) に接続する状態である。スポッティング結果出力手段５は（１４）式で求めた全てのスポッティングスコアの中から、その値の大きい上位Ｚ個を選択し、そのスポッティングスコアとセグメントの系列とその開始時刻をスポッティング結果１２として出力する。ここでＺはあらかじめ決めておいた定数である。上記のようにバックトラックノード選択手段４によって最尤前向き尤度１０５の値が高い最終ノードを選択し、最尤前向き尤度１０５の値が低い最終ノードに対してはバックトラック処理をしないことによってバックトラックに要する演算量を小さく抑えられる。最尤前向き尤度１０５の値が低い最終ノードからのバックトラックが不要となる理由は最尤前向き尤度１０５が低ければ（１３）式で示した関係により（１４）式の右辺の第１項であるノードの前向き尤度の値も低いので、（１４）式で計算されるスポッティングスコアも低い値となり、最終的にスポッティング結果として出力される、スポッティングスコアの高い上位Ｚ個に含まれる可能性は小さいからである。
【００１９】
なお上記図１に示す発明の実施の形態でバックトラックノード選択手段４に代えて後向き／両方向／母音別／両方向母音別／母音別二段階／母音別閾値バックトラックノード選択手段４ａ／４ｂ／４ｃ／４ｄ／４ｅ／４ｆとして構成してもよい。
後向きバックトラックノード選択手段４ａは、ネットワーク照合手段３による最尤前向き尤度１０５に代えてヒューリスティック言語モデル照合手段によるヒューリスティック後向き尤度１０４に対し、当該値が高い上位Ｌ個の後続ヒューリスティック言語モデルの初期状態と接続するスポッティング用ネットワーク格納手段８によるスポッティング用ネットワークの最終ノード番号１０７を選択する。たとえば図４で選択をする後続ヒューリスティック言語モデルの初期状態Ｓ_I1およびＳ_I2と接続するスポッティング用ネットワークの最終ノードはそれぞれ図５でＮ_F1とＮ_F6およびＮ_F5とＮ_F10 だから、当該各最終ノード番号Ｆ₁ とＦ₆ とＦ₅ とＦ₁₀を出力する。ヒューリスティック後向き尤度１０４の値が高い方を選択し低い最終ノードに対しバックトラック処理をしないことにより、当該所要演算量を小さく抑えられる。
両方向バックトラックノード選択手段４ｂは、ネットワーク照合手段３による最尤前向き尤度１０５に加えてヒューリスティック言語モデル照合手段２によるヒューリスティック後向き尤度１０４とから、各最終ノードごとに算出をする最尤両方向尤度ＳＣ_fw ^(max) （Ｎ_Fj，ｔ）＝ＳＣ_fw ^(max) （Ｎ_Fj，ｔ）＋Ｓ_bw（ＳＮ_Fj，ｔ）（ただしｊ＝１〜Ｇ_F 、Ｇ_F は最終ノード数）に対し、当該値が高い上位Ｌ個のスポッティング用ネットワーク格納手段８によるスポッティング用ネットワークの最終ノード番号１０７を選択する。最尤両方向尤度の値が高い方を選択し低い最終ノードに対しバックトラック処理をしないことにより、当該所要演算量を小さく抑えられる。
母音別バックトラックノード選択手段４ｃは、ネットワーク照合手段３による最尤前向き尤度１０５に対し、別途設定をする母音別最終ノードクラスタごとの各クラスタ内で当該最尤前向き尤度１０５の値が最も高いスポッティング用ネットワーク格納手段８によるスポッティング用ネットワークの最終ノード番号１０７を選択する。母音別最終ノードクラスタは、各遷移元セグメントがモデル化をする母音の同じ（ただし右音素環境は異なる）スポッティング用ネットワークの各最終ノード同士をまとめ１つのクラスタとして設定をする。たとえば図５で遷移元セグメントがモデル化をする母音／ｅ／の同じ各最終ノードＮ_F6〜Ｎ_F10 同士をまとめ１つのクラスタとする。遷移元セグメントがモデル化をする母音の同じ最終ノード同士では、最尤前向き尤度１０５の値が最も高い最終ノードだけを選択することにより、後続（右側）音素環境だけが異なりセグメントがモデル化をする音声の同じスポッティング結果同士（たとえば／ｏｔｏｔｏｉ（ａ）／と／ｏｔｏｔｏｉ（ｉ）／）では、スポッティングスコアが最高となる可能性が高い最終ノードだけからバックトラック処理をすることになり、当該所要演算量を小さく抑えかつ効率的にスポッティング結果を出力できる。
両方向母音別バックトラックノード選択手段４ｄは、ネットワーク照合手段３による最尤前向き尤度１０５に加えてヒューリスティック言語モデル照合手段２によるヒューリスティック後向き尤度１０４とから各最終ノードごとに算出をする最尤両方向尤度（両方向バックトラックノード選択手段４ｂに同じ）に対し、母音別最終ノードクラスタ（母音別バックトラックノード選択手段４ｃに同じ）ごとの各クラスタ内で当該最尤両方向尤度の値が最も高いスポッティング用ネットワーク格納手段８によるスポッティング用ネットワークの最終ノード番号１０７を選択する。上記母音別バックトラックノード選択手段４ｃで最尤前向き尤度１０５に代えて最尤両方向尤度とし同じ効果を得る。
母音別二段階バックトラックノード選択手段４ｅは、ネットワーク照合手段３による最尤前向き尤度１０５に加えてヒューリスティック言語モデル照合手段２によるヒューリスティック後向き尤度１０４とから各最終ノードごとに算出をする最尤両方向尤度（両方向バックトラックノード選択手段４ｂに同じ）に対し、まず母音別最終ノードクラスタ（母音別バックトラックノード選択手段４ｃに同じ）ごとの各クラスタ内で当該最尤両方向尤度の値が最も高いスポッティング用ネットワーク格納手段８によるスポッティング用ネットワークの最終ノードＮ_Fg(n) （ｎ＝１〜Ｃ、Ｃは最終ノードクラスタ数）を抽出する。つぎに当該抽出最終ノード内で当該最尤両方向尤度の値が高い上位Ｄ（１≦Ｄ＜Ｃを満たす予め決める定数）個の最終ノード番号１０７を選択する。母音別最終ノードクラスタごとに抽出をする最尤両方向尤度の値が最も高い最終ノード内で当該最尤両方向尤度の値が高い上位１個以上の最終ノードを選択することにより、両方向母音別バックトラックノード選択手段４ｄよりもさらにバックトラック処理の所要演算量を小さく抑えられる。
母音別閾値バックトラックノード選択手段４ｆは、ネットワーク照合手段３による最尤前向き尤度１０５に加えてヒューリスティック言語モデル照合手段２によるヒューリスティック後向き尤度１０４とから各最終ノードごとに算出をする最尤両方向尤度（両方向バックトラックノード選択手段４ｂに同じ）に対し、まず母音別最終ノードクラスタ（母音別バックトラックノード選択手段４ｃに同じ）ごとの各クラスタ内で当該最尤両方向尤度の値が最も高いスポッティング用ネットワーク格納手段８によるスポッティング用ネットワークの最終ノードＮ_Fg(n) （ｎ＝１〜Ｃ、Ｃは最終ノードクラスタ数）を抽出する。つぎに当該抽出最終ノード内で当該最尤両方向尤度の値と当該最大値との尤度差が所定閾値ＴＨ（≧０）以下の最終ノード番号１０７Ｆ_u(n)（ｎ＝１〜Ｅ_TH、Ｅ_THは１≦Ｅ_TH≦Ｃを満たす閾値ＴＨにより決まる数）を選択する。母音別最終ノードクラスタごとに抽出をする最尤両方向尤度の値が最も高い最終ノード内で当該最尤両方向尤度の値が所定閾値以上の最終ノードを選択することにより、両方向母音別バックトラックノード選択手段４ｄよりもさらにバックトラック処理の所要演算量を小さく抑えられる。
【００２０】
【発明の効果】
上記のようなこの発明の音声スポッティング装置では、バックトラック処理を施すスポッティング用ネットワークの最終ノードを各時刻ごとに選択しスポッティングスコア算出をする方式を採るから、各時刻ごとにすべての最終ノードからバックトラック処理をする必要がなくなり、当該所要演算量は小さく抑えられる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の一形態を示す音声スポッティング装置の機能ブロック図。
【図２】従来の技術を示す音声スポッティング装置の機能ブロック図および先行／後続ヒューリスティック言語モデルとスポッティング用ネットワークとの接続方法を説明する概略ブロック図。
【図３】右音素環境依存モデルを用い構成する先行ヒューリスティック言語モデル構成を説明する図。
【図４】右音素環境依存モデルを用い構成する後続ヒューリスティック言語モデル構成を説明する図。
【図５】右音素環境依存モデルを用い構成するスポッティング用ネットワーク構成を説明する図。
【符号の説明】
１分析手段、２ヒューリスティック言語モデル照合手段、３ネットワーク照合手段、４バックトラックノード選択手段、５スポッティング結果出力手段、６先行ヒューリスティック言語モデル格納手段、７後続ヒューリスティック言語モデル格納手段、８スポッティング用ネットワーク格納手段、１０１入力音声信号、１０２特徴ベクトル時系列、１０３ヒューリスティック前向き尤度、１０４ヒューリスティック後向き尤度、１０５最尤前向き尤度、１０６ノード履歴情報、１０７最終ノード番号、１０８スポッティング結果。
なお図中、同一符号は同一または相当部分を示す。[0001]
BACKGROUND OF THE INVENTION
According to the present invention, spotting of a specific word or phrase (a partial sentence having a semantic unit) from speech that has been continuously uttered (determining the start / end time of the utterance and the existence reliability of the speech section) The present invention relates to an audio spotting device that outputs the sound.
[0002]
[Prior art]
For example, in the literature (Kawahara et al .: Word spotting in conversational speech using a heuristic language model, theory of theory (D-II), Vol. J78-D-II, no. 7, pp. 1013-1020, 1995) As shown in FIG. 2 (a), the analysis unit 1 performs, for example, LPC (Linear Predictive Coding) cepstrum analysis on the input audio signal 101 from the input end, and the feature vector time series 102X.₁ , X₂ , X_Three ... X_T (Subscript indicates the time of each feature vector X). The heuristic language model collating means 2 uses the preceding and succeeding heuristic language models stored separately for the feature vector time series 102 by the analyzing means 1 and the preceding and succeeding heuristic language models, for example, literature (Nakagawa: Probability model). By the logarithm of the forward and backward probability values calculated by the trellis algorithm or the Viterbi algorithm shown in Speech Recognition by the Institute of Electronics, Information and Communication Engineers, pp. 40-46, 1988). The final state S of the heuristic language model_FjHeuristic forward likelihood 103S at time t_fw(S_Fj, T) (t = 1 to T, j = 1 to N)_F , N_F Is the number of final states of the preceding heuristic language model) and the initial state S of the subsequent heuristic language model in the opposite direction._IjHeuristic backward likelihood 104S at time t_bw(S_Ij, T) (t = 1 to T, j = 1 to N)_I , N_I Calculates the initial number of subsequent heuristic language models). The spotting means 9 stores a spotting network by the spotting network storage means 8 for separately storing the feature vector time series 102 by the analysis means 1 and the heuristic forward and backward

likelihoods

103 and 104 by the heuristic language model matching means 2. The spotting result 108 is obtained and outputted by repeating the process of the procedure separately defined for each time t = 1 to T.
[0003]
The above-mentioned conventional speech spotting device assumes that the input speech satisfies not a disorderly utterance content but a certain linguistic constraint, and expresses the linguistic constraint by a speech pattern model called a heuristic language model. A spotting score that considers the entire input speech using both the model and the network for spotting (calculates the similarity between the speech pattern model that models the spectral feature time series of the word speech to be spotted and the spectral feature time series 102 of the input speech In this case, a calculation method (a heuristic speech spotting method using a phoneme environment-dependent model) is used to calculate the reliability of whether or not the word actually exists in the spotting speech section.
[0004]
For high-precision spotting, for example, as shown in FIG. 2 (b), the preceding and succeeding heuristic language models are connected to the front and rear of the spotting network, and the spotting target in the input speech and the other speech sections are for the spotting respectively. This is possible by modeling with the network and the preceding and succeeding heuristic language models, calculating the likelihood for the entire input speech, and comparing spotting scores between detected words at different times. However, the preceding and subsequent heuristic language models need to be configured by modeling words and phrases that are supposed to be included in the input speech as much as possible.
[0005]
The preceding heuristic language model, the subsequent heuristic language model, and the spotting network are usually configured using an HMM (hidden markov model). HMMs can be classified into several types depending on the difference in speech units to be modeled, but HMMs called phoneme environment-dependent models are known to have high recognition performance and are most often used. The phoneme environment-dependent model is treated as a different model due to the difference in the phoneme environment before and after even when modeling the same phoneme. For example, in the case of the right phoneme environment-dependent model in consideration of the subsequent (right) phonemic environment, the first phoneme is / i / and the subsequent phoneme is different / a / and / u / in / ia / and / iu / Let / i / of the first phoneme be another model. Because different models need to use different models for subsequent phonemes, each configuration example of the preceding and subsequent heuristic language models when using the right phoneme environment-dependent model that connects multiple states to the heuristic language model and the spotting network is shown in the figure Connect one or more right phoneme environment-dependent models to model partial sections of words, phrases, etc., as shown in Fig. 3 (indicating ending segment and omitting initial part) and Fig. 4 (indicating initial segment and omitting ending part) As with each phoneme environment-dependent model, the initial of the subsequent heuristic language model is divided into a square for the segment having the initial state and the final state, and is divided by the difference between the final final phoneme of the preceding heuristic language model and the ending phoneme of the target spotting model Each state is represented by a circle. For example, the rectangular middle character representation that the segment is a (i) indicates that the phoneme / a / is modeled with the phoneme in parentheses / i / as the right phoneme environment.
As described above, the preceding and succeeding heuristic language models need to be modeled and configured of words and phrases that are supposed to be included in the input speech as much as possible, and thus a plurality of segments are required. In addition, as shown in FIG. 5 (the left side and the right side of the dotted line show the connection state of the spotting network and the initial state of the subsequent heuristic language) when the right phoneme environment-dependent model is used, Multiple spotting target speech units (for example, 6 clauses “Ototoi”, “Asame”, “Osaka”, “Osaka”, “Tokyo”, “To Tokyo”) Is modeled with a single network, and a horizontal ellipse and a rectangle indicating nodes and segments for a spotting network having a numbering node holding various transition history information and the same numbering segment as described above. Represent each. For example, the rectangular middle character representation that the segment is oosak (a) indicates that the phoneme / oosak / is modeled with the phoneme in parentheses / a / as the right phoneme environment. Since the last phoneme / a / needs to be modeled by a separate right phoneme environment-dependent model due to the difference of the initial phoneme of the subsequent segment, it is not modeled by the segment. The spotting network includes a plurality of initial nodes (N in FIG. 5) connected to the final state of the preceding heuristic language model and the initial state of the subsequent heuristic language model._I1~ N_I3) And the last node (N in FIG. 5)_F1~ N_F10 ) The reason is that each time the initial phoneme of the preceding and subsequent heuristic language models is different, the preceding and subsequent heuristic language models that match the speech environment are connected using the ending phoneme model of the spotting target model as another model. . For example, as shown in FIG. 5, the ending / i / of “ni” is the difference of the initial phoneme of the subsequent heuristic language model / i (a) /, / i (i) /, / i (u) /, / i ( e) /, / i (o) /,... In addition, all nodes have initial nodes N every time (t = 1 to T)._IjThen forward likelihood ga⁽¹⁾ (N_Ij, T), except for the initial node, node N at time t_j K (k = 1 to K)_j , K_j Is node N_j Number of segments transitioning to) th forward likelihood ga^(k) (N_j , T) and node N at time t_j The segment number gw of the kth segment transitioning to^(k) (N_j , T) and start time gb^(k) (N_j , T) as history information. On the other hand, all segments are in the state S at each time (t = 1 to T)._j (J = 1 to J_m , J_m Is the forward likelihood α of the number of states of segment m)^(m) (S_j , T) and segment h_m Start time btk^(m) (S_j , T) as information.
[0006]
The spotting means 9 obtains and outputs the spotting result 108 by repeating the following procedures 1 to 6 at each time t = 1 to T.
(Procedure 1) Initial node history information set
The history information is set by copying the value of the heuristic forward likelihood 103 which is the output of the heuristic language model matching means 2 to the initial node of the spotting network. Specifically, all the initial nodes N of the spotting network according to equation (1)_Ij(J = 1 to G_I, G_I: The number of initial nodes) forward likelihood ga⁽¹⁾ (N_Ij, T).
ga⁽¹⁾ (N_Ij, T) = S_fw(S_Fk, T), j = 1 to G_I (1)
Where S_fw(S_Fk, T) is the final state S of the preceding heuristic language model._FkThe heuristic forward likelihood 103. S_FkIs the initial node N of the network for spotting in the final state of the preceding heuristic language model_IjIt is in a state to connect to. In the connection of FIG. 3 and FIG._I1S_F5, N_I2S_F6Each connect.
(Procedure 2) Propagation of history information from the node to the initial state of the segment
All segments h of the spotting network_m For (m = 1 to P, P: total number of segments in the spotting network), the segment h by the following equations (2) and (3)_m Initial state S₁ , Α which is the forward likelihood at time t^(m) (S₁, T). In addition, the segment h_mFind the start time of.

Where N_m Is segment h_m A spotting network node that transitions to₁₁Is segment h_m Initial state S₁ The self-loop probability of b₁₁(X_t ) Is the initial state S₁ Feature vector X during self-looping_t Is the probability of output. At time t = 1, only the initial node among all the nodes has a forward likelihood value. Therefore, only the segment that transitions from the initial node is set with the forward likelihood and the start time value. However, as time t advances, all the nodes are processed by the procedures (3) and (4) described below. Since the forward likelihood is set, the value of the forward likelihood and start time of the initial state of all segments is set by this procedure (2).
(Procedure 3) Likelihood calculation other than the initial state of the segment
All segments h of the spotting network_m (M = 1 to P, P: total number of segments in the spotting network)_mState S other than initial state_i(I = 2 to J_m, J_mIs the forward likelihood at time t of the number of states of segment m)^(m)(S_i, T). Also, information on the start time of the segment hm is obtained by the equations (6) and (7).

Where a_jiIs segment h_mState S_jFrom state S_iTransition probability to b_ji(X_t) Is state S_j From state S_i Feature vector X on transition to_t Is the probability of output.
(Procedure 4) Set history information other than the initial node
Node N other than all initial nodes in the spotting network_j (J = 1 to G_m, G_m: The number of nodes other than the initial) is set by copying the forward likelihood of the segment transitioning to that node, the start time of the segment, and the like according to equations (8), (9), and (10).

Where K_jIs node N_jNumber of segments to transition to ga^(k)(N_j, T) is the node N at time t_jThe kth forward likelihood of, α^(k)(S_J, T) is node N_jFinal state S of the kth segment transitioning to_JForward likelihood at time t, gw^(k)(N_j, T) at node t at time t_jThe segment number of the kth segment that has transitioned to, w^(k)Is node N_jIs the segment number of the k-th segment whose transition destination is. Gb^(k) (N_j, T) at node t at time t_jStart time of the k-th segment transitioning to^(k) (S_J, T) is the final state S at time t._JIs the start time of the kth segment that has reached. As can be seen from equations (8), (9), and (10), each node of the spotting network holds the forward likelihood, segment number, and start time of that segment as history information for all segments that transition to that node. Will do.
(Procedure 5) Backtrack from the last node
All final nodes N of the network for spotting_Fj(J = 1 to G_F, G_F: Number of final nodes, N in FIG._F1~ N_F10 ) To perform backtrack processing. Backtracking refers to tracing the transition history from the final node of the spotting network to the initial node using the node history information obtained in the procedure 4 above. Backtrack processing is gw^(k)(N_j, T) and gb^(k)(N_j, T) to obtain the segment number and the start time of the segment, and repeat the tracing of the transition source node from the transition source node of the segment by the same procedure until the initial node is reached. Can be realized. Back track processing in the present example, the literature (Richard Schwartz and Steve Austin, "A comparison of several approximate algorithms for finding multiple (N-best) sentence hyoitheses", Proceedings of 1991 International Conference on Acoustics, Speech & Signal Processing, 701-704 The lattice N-Best method shown in FIG. By using this lattice N-Best method, the final node N_FjMultiple backtrack results can be obtained for each. The backtrack result is a sequence of segments, a start time of the sequence of segments, and a forward likelihood for the sequence of segments. The forward likelihood for the sequence of segments is the forward likelihood of the node described in step 4 above.^(k)(N_j, T). In this example, the last node N at time t_FjThe sequence of segments that is the kth backtracking result from seq^(k) (N_Fj, T), the start time of the segment series^(k) (N_Fj, T), the forward likelihood is SC^(k) _fw (N_Fj, T). This forward likelihood SC^(k) _fw (N_Fj, T) is a segment sequence in the preceding heuristic language model 5 seq^(K) (N_Fj, T) is approximated to a value obtained by calculating a forward likelihood from time 1 to time t with respect to the time series 102 of the feature vector using a speech pattern model configured by connecting (, t).
(Procedure 6) Determination of spotting results
All of the backtrack results obtained in step 5, that is, all the final nodes N in the spotting network_Fj(N in FIG. 5_F1~ N_F10 ) For all backtracking results from (1).
SC^(k) (N_Fj, T) = SC^(k) _fw (N_Fj, T) + S_bw(S_NFj , T), j = 1 to G_F , K = 1 to K_Fj (11)
Where N_FjIs the final node of the spotting network, SC^(k) (N_Fj, T) is node N_FjK-th spotting score, SC^(k) _fw (N_Fj, T) is the node N obtained in step 5_FjKth forward likelihood, S_bw(S_NFj , T) is the initial state S of the subsequent heuristic language model._NFj Backward likelihood at time t, S_NFj Is the final node N of the network 10 for spotting in the initial state of the subsequent heuristic language model._FjIt is in a state to connect to. In FIG. 5, for example, N_F1S_I1, N_F2S_I2Each connect. The sum of the first term and the second term on the right side of the equation (11) is obtained by connecting a subsequent heuristic language model behind the spotting network, from time 1 to T with respect to the time series 4 of the feature vectors, that is, This means that scores for all sections of the time series 102 are obtained. The spotting means 9 selects the top Z with the largest value from all the spotting scores obtained by the equation (11), and outputs the spotting score, the segment series, and the start time as the spotting result 108. Here, Z is a predetermined constant. In the example shown in the figure, six clauses are spotting target models. However, if Z = 3, spotting results for the top three clauses with high spotting scores can be obtained.
[0007]
[Problems to be solved by the invention]
The conventional speech spotting apparatus as described above employs a heuristic speech spotting method that uses a phoneme environment-dependent model. Therefore, in order to calculate a spotting score, backtracking is performed forward from all final nodes of the spotting network at each time. The likelihood needs to be calculated, and the larger the number of speech units to be spotted, the larger the network size for spotting and the larger the number of final nodes. Therefore, there is a problem that the number of backtracks becomes enormous and the required amount of computation becomes very large. there were.
[0008]
A problem to be solved by the present invention is a method of calculating a spotting score by selecting a final node of a spotting network for performing backtracking processing at each time so as to solve the above-mentioned problem with a voice spotting device (phoneme environment) It is to provide a final node selection heuristic speech spotting method using a dependency model.
[0009]
[Means for Solving the Problems]
The speech spotting apparatus according to the present invention is characterized in that the following means are provided to solve the above-described problem, and a final node selection heuristic speech spotting method using a phoneme environment dependent model is adopted.
[0010]
The analysis means analyzes the input speech signal and converts it into the feature vector time series.
[0011]
The heuristic language model collating means performs a model based on a phoneme environment dependent model for a feature vector time series of various utterance contents speech preceding / successing a spotting target speech provided separately with respect to a feature vector time series by an analyzing unit. / Use the subsequent heuristic language model, and calculate the heuristic forward / backward likelihood in the final / initial state of the preceding / following heuristic language model in the forward / reverse direction on the time axis.
[0012]
The network matching means is for spotting that models the feature vector time series of the target speech to be provided separately by the phoneme environment dependent model for the heuristic forward likelihood by the heuristic language model matching means and the feature vector time series by the analyzing means. Using the network, the maximum likelihood forward likelihood and the node history information are calculated for each of a plurality of final nodes of the spotting network.
[0013]
The backtrack node selection means classifies the vowel model that transitions to the node with respect to the maximum likelihood forward likelihood by the network matching means with respect to the one or more high values or the last node of the spotting network. The final node number of the spotting network having the highest value of the maximum likelihood forward likelihood is selected in each cluster for each final node cluster by vowel. Alternatively, the last node of the network for spotting connected to the initial state of one or more subsequent heuristic language models having a higher value for the heuristic backward likelihood by the heuristic language model matching means instead of the maximum likelihood forward likelihood by the network matching means Select a number. Alternatively, one or more spottings whose values are higher than the maximum likelihood bidirectional likelihood calculated for each final node from the heuristic backward likelihood by the heuristic language model matching means in addition to the maximum likelihood forward likelihood by the network matching means Select the last node number of the network. Alternatively, for the maximum likelihood bidirectional likelihood, the final node number of the spotting network having the highest maximum likelihood bidirectional likelihood value in each cluster for each vowel final node cluster is selected. Alternatively, for the maximum likelihood bidirectional likelihood, first, the final node of the spotting network having the highest maximum likelihood bidirectional likelihood value in each cluster for each vowel final node cluster is extracted, and then the extraction final node The last node number having one or more high maximum likelihood bidirectional likelihood values or a difference in likelihood between the maximum likelihood bidirectional likelihood value and the maximum value is selected.
[0014]
The spotting result output means outputs the final node number of all the final nodes of the spotting network for the final node number by the backtrack node selection means, the heuristic backward likelihood by the heuristic language model matching means, and the node history information by the network matching means. A spotting result calculated by performing a backtrack process that traces the node history information from only the node number to the initial node is output.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
As shown in FIG. 1, an audio spotting apparatus showing an embodiment of the present invention comprises an analyzing means 1, a heuristic language model collating means 2, a preceding / following heuristic language model storing means 6/7, and a spotting network storing means 8. This corresponds to FIG. 2 of the above conventional example. The network matching means 3 uses a spotting network by the spotting network storage means 8 for the feature vector time series 102 by the analysis means 1 and the heuristic forward likelihood 103 by the heuristic language model matching means 2, and each time t = 1 The process of a procedure defined separately for each of ~ T is performed, and the maximum likelihood forward likelihood 105 and the node history information 106 are calculated for each of a plurality of final nodes of the spotting network. The backtrack node final means 4 has a higher value L (1 ≦ L <the number of final nodes G) with respect to the maximum likelihood forward likelihood 105 by the network matching means 3._F The last node number 107 of the spotting network by the spotting network storage means 8 is selected. The spotting result output means 5 is a network storage means for spotting with respect to the final node number 107 by the backtrack node selection means 4, the heuristic backward likelihood 104 by the heuristic language model matching means 2, and the node history information 106 by the network matching means 3. A spotting result 108 is calculated by performing a backtracking process in which the node history information 106 is traced from only the final node number 107 to the initial node among all the final nodes of the spotting network 8. By selecting a higher value of the maximum likelihood forward likelihood 105 and not performing backtrack processing on the lower final node, the required amount of computation can be kept small.
[0016]
The speech spotting apparatus according to the above embodiment employs a method (final node selection heuristic speech spotting method using a phoneme environment-dependent model) that selects a final node of a spotting network for performing backtrack processing at each time and calculates a spotting score. take.
[0017]
The network matching unit 3 receives the time series 102 of the feature vectors and the heuristic forward likelihood 103 as input, and performs the operations of the following steps 1 to 5 using the spotting network, thereby performing each time t = 1 to T For each final node of the spotting network, the maximum likelihood forward likelihood 105 and the node history information 106 are calculated and output every time. The node history information 106 obtained by the network matching means 3 is the same as the history information obtained by the prior art, but the maximum likelihood forward likelihood 105 is newly used in the present invention.
(Procedure 1) Initial node history information set
An initial node N of the network for spotting by performing the same operation as the procedure 1 described in the operation of the spotting means of the prior art._IjForward likelihood ga which is history information of⁽¹⁾ (N_Ij, T).
(Procedure 2) Propagation of history information from the node to the initial state of the segment
All the segments h of the spotting network are operated in the same manner as the procedure 2 described in the operation of the spotting means in the prior art._m Segment h with respect to (m = 1 to P, P: total number of segments in the spotting network)_m Initial state S₁ , Α which is the forward likelihood at time t^(m) (S₁ , T) and start time btk^(m) (S₁ , T).
(Procedure 3) Likelihood calculation other than the initial state of the segment
All the segments h of the spotting network are operated in the same manner as the procedure 3 described in the operation of the spotting means in the prior art._m A state S other than the initial state with respect to (m = 1 to P, P: total number of segments of the spotting network 10)_i (I = 2 to J_m , J_m Is the forward likelihood at time t of the number of states of segment m)^(m) (S₁ , T) and start time btk^(m)(S₁ , T). (Procedure 4) Set history information other than the initial node
Nodes N other than all initial nodes of the spotting network are operated in the same manner as the procedure 4 described in the operation of the spotting means of the prior art._j (J = 1 to G_m , G_m : Ga which is history information of the number of nodes other than the initial)^(k) (N_j , T) and gw^(k) (N_j , T) and gb^(k) (N_j , T), (j = 1 to G_m , K = 1 to K_j )
(Procedure 5) Maximum likelihood forward likelihood set of last node
All final nodes N of the network for spotting_Fj(J = 1 to G_F , G_F : Number of final nodes, N in FIG._F1~ N_F10 SC with maximum likelihood forward likelihood 105 of)^(max) _fw (N_Fj, T) is obtained from equation (12).
SC^(max) _fw (N_Fj, T) = g^(max) (N_Fj, T), j = 1 to G_F (12)
SC which is the maximum likelihood forward likelihood 105 as understood from the equation (12)^(max) _fw (N_Fj, T) is the last node N_FjIs the likelihood of the maximum value among the plurality of forward likelihoods held, and the value can be obtained without backtracking. Last node N_FjSC with maximum likelihood forward likelihood 105^(max) _fw (N_Fj, T) is the forward likelihood SC obtained by the backtrack processing described in the procedure 5 of the operation of the spotting means in the prior art.^(k) _fw (N_Fj, T) is the maximum likelihood forward likelihood SC being in the relationship of equation (13).^(max) _fw (N_Fj, T) and SC, which is a forward likelihood^(k) _fw (N_Fj, T), which is apparent from the definition of SC with maximum likelihood forward likelihood 105^(max) _fw (N_Fj, T) is low, the forward likelihood SC^(k) _fw (N_Fj, T) is also low.
SC^(max) _fw (N_Fj, T) ≧ SC^(k) _fw (N_Fj, T), j = 1 to G_F (13)
The backtrack node selection unit 4 is an SC that is the maximum likelihood forward likelihood 105 for each final node that is the output of the network verification unit 3.^(max) _fw (N_Fj, T) (j = 1 to G_F, G_F: The number of final nodes) is input, and the final node numbers 107 of the top L final nodes having the highest value of the maximum likelihood forward likelihood 105 are output. The upper L node numbers 107 are changed to F_{q (n)}(N = 1 to L). Where L is 1 ≦ L <G_FIt is a predetermined constant that satisfies the relationship.
[0018]
The spotting result output means 5 includes the heuristic backward likelihood 104 that is the output of the heuristic language model matching means 2, the node history information 106 that is the output of the network matching means, and the final node number 107 that is the output of the backtrack node selection means 4. As an input, the spotting result 108 is output by repeating the operations of the following

procedures

1 and 2 every time t = 1 to T.
(Procedure 1) Backtrack processing for the selected node
Using the node history information 106 that is the output of the network verification means 3, F is the final node number 107 output from the backtrack node selection means among all the final nodes._{q (n)}Backtrack processing is performed only from (n = 1 to L). Backtrack processing is performed in the same manner as in the prior art, and the final node N_{Fq (n)} The sequence of segments seq that is the kth backtracking result from^(k) (N_{Fq (n)} , T) and the start time stream of the segment series^(k) (N_{Fq (n)} , T) and the forward likelihood is SC^(k) _fw (N_{Fq (n)} , T).
(Procedure 2) Determination of spotting results
The spotting score is obtained from the backtrack result obtained in the procedure 1 by the equation (14).
SC^(k) (N_{Fg (n)}, T) = SC^(k) _fw (N_{Fq (n)}, T) + S_bw(S_{NFq (n)}, T) n = 1 to L (14)
Where N_{Fq (n)} Is the nth last node selected by the backtrack node selection means, SC^(k) (N_{Fq (n)} , T) is node N_{Fq (n)} K-th spotting score, SC^(k) _fw (N_{Fq (n)} , T) is the node N obtained in step 1_{Fq (n)} Kth forward likelihood, S_bw(S_{NFq (n)}, T) is the state S of the subsequent heuristic language model_{NFq (n)}Backward likelihood at time t, S_{NFq (n)}Is the final node N of the network for spotting in the initial state of the subsequent heuristic language model_{Fq (n)} It is in a state to connect to. The spotting result output means 5 selects the top Z values having the largest value from all the spotting scores obtained by the equation (14), and outputs the spotting score, the series of segments, and the start time as the spotting result 12. . Here, Z is a predetermined constant. As described above, the backtrack node selection unit 4 selects the final node having the highest maximum likelihood forward likelihood 105 value, and does not perform the backtrack processing on the final node having the low maximum likelihood forward likelihood 105 value. The amount of computation required for backtracking can be kept small. The reason why the backtrack from the last node having the lowest maximum likelihood forward likelihood 105 value is not required is that the maximum likelihood forward likelihood 105 is low, the first term on the right side of the expression (14) due to the relationship shown in the expression (13). Since the forward likelihood value of the node is low, the spotting score calculated by the equation (14) is also low, and may be included in the top Z spots with high spotting scores that are finally output as the spotting result. Because is small.
[0019]
In the embodiment of the invention shown in FIG. 1, instead of the backtrack node selection means 4, backward / bidirectional / vowel-specific / bidirectional vowel-specific / vowel-specific two-step / vowel-specific threshold backtrack node selection means 4a / 4b / 4c. / 4d / 4e / 4f may be configured.
The backward backtrack node selection means 4a is configured to replace the maximum likelihood forward likelihood 105 by the network matching means 3 with respect to the heuristic backward likelihood 104 by the heuristic language model matching means in the upper L subsequent heuristic language models. The last node number 107 of the spotting network by the spotting network storage means 8 connected to the initial state is selected. For example, the initial state S of the subsequent heuristic language model selected in FIG._I1And S_I2The final nodes of the network for spotting connected to N_F1And N_F6And N_F5And N_F10 Therefore, each final node number F₁ And F₆ And F_Five And F_TenIs output. By selecting the heuristic backward likelihood 104 having a higher value and not performing backtrack processing on the lower final node, the required amount of computation can be reduced.
The bi-directional backtrack node selecting unit 4b calculates the maximum likelihood bi-directional likelihood for each final node from the maximum likelihood forward likelihood 105 by the network matching unit 3 and the heuristic backward likelihood 104 by the heuristic language model matching unit 2. Degree SC_fw ^(max) (N_Fj, T) = SC_fw ^(max) (N_Fj, T) + S_bw(SN_Fj, T) (where j = 1 to G)_F , G_F Is the last node number 107 of the spotting network by the top L spotting network storage means 8 having a higher value. By selecting the one with the highest maximum likelihood bidirectional likelihood value and not performing the backtrack processing for the lower final node, the required calculation amount can be kept small.
The vowel-specific backtrack node selection means 4c has the highest value of the maximum likelihood forward likelihood 105 in each cluster for each vowel-specific final node cluster to be set separately from the maximum likelihood forward likelihood 105 by the network matching means 3. The last node number 107 of the spotting network by the high spotting network storage means 8 is selected. The final node cluster for each vowel is set as a cluster by putting together the final nodes of the same spotting network (but different right phoneme environment) of the vowel modeled by each transition source segment. For example, in FIG. 5, each final node N of the same vowel / e / that the transition source segment models_F6~ N_F10 Collectively, one cluster is formed. Among the last nodes of the same vowel that the transition source segment models, by selecting only the last node having the highest value of the maximum likelihood forward likelihood 105, only the subsequent (right) phoneme environment is different, and the segment is modeled. For the same spotting results of voices to be played (for example, / ototoi (a) / and / ototoi (i) /), the backtrack processing is performed only from the final node that is most likely to have the highest spotting score. Spotting results can be output efficiently while keeping the amount of computation small.
The bi-directional vowel-specific backtrack node selecting means 4d calculates the maximum likelihood bidirectional direction for each final node from the maximum likelihood forward likelihood 105 by the network matching means 3 and the heuristic backward likelihood 104 by the heuristic language model matching means 2. The value of the maximum likelihood bidirectional likelihood is the highest in each cluster for each vowel final node cluster (same as vowel backtrack node selection means 4c) with respect to likelihood (same as bidirectional backtrack node selection means 4b). The last node number 107 of the spotting network by the spotting network storage means 8 is selected. The vowel-specific backtrack node selection means 4c obtains the same effect as the maximum likelihood bidirectional likelihood instead of the maximum likelihood forward likelihood 105.
The vowel-specific two-stage backtrack node selection means 4e calculates the maximum likelihood for each final node from the maximum likelihood forward likelihood 105 by the network matching means 3 and the heuristic backward likelihood 104 by the heuristic language model matching means 2. For bidirectional likelihood (same as bidirectional backtrack node selection means 4b), first, the maximum likelihood bidirectional likelihood value in each cluster for each vowel final node cluster (same as vowel specific backtrack node selection means 4c) is The final node N of the spotting network with the highest spotting network storage means 8_{Fg (n)} (N = 1 to C, C is the number of final node clusters) is extracted. Next, the highest D (predetermined constant satisfying 1 ≦ D <C) final node numbers 107 having the highest maximum likelihood bidirectional likelihood value are selected in the extracted final node. By selecting the top one or more final nodes having the highest maximum likelihood bidirectional likelihood value within the final node having the highest maximum likelihood bidirectional likelihood value extracted for each vowel-specific final node cluster, Compared with the backtrack node selection means 4d, the required calculation amount for the backtrack processing can be further reduced.
The vowel-specific threshold backtrack node selecting unit 4f calculates the maximum likelihood bi-directional for each final node from the maximum likelihood forward likelihood 105 by the network matching unit 3 and the heuristic backward likelihood 104 by the heuristic language model matching unit 2. For likelihood (same as bidirectional backtrack node selection means 4b), first, the maximum likelihood bidirectional likelihood value is the highest in each cluster for each vowel final node cluster (same as vowel-specific backtrack node selection means 4c). The final node N of the spotting network by the high spotting network storage means 8_{Fg (n)} (N = 1 to C, C is the number of final node clusters) is extracted. Next, the final node number 107F in which the likelihood difference between the maximum likelihood bidirectional likelihood value and the maximum value is equal to or less than a predetermined threshold TH (≧ 0) in the extraction final node._{u (n)}(N = 1 to E_TH, E_THIs 1 ≦ E_TH≦ number determined by threshold TH satisfying C). By selecting the final node with the maximum likelihood bidirectional likelihood value equal to or greater than a predetermined threshold within the final node having the highest maximum likelihood bidirectional likelihood value extracted for each vowel-specific final node cluster, the bi-directional vowel-specific backtracking is performed. The required amount of computation for backtrack processing can be further reduced as compared with the node selection means 4d.
[0020]
【The invention's effect】
In the voice spotting device according to the present invention as described above, since a spotting score calculation is performed by selecting the final node of the spotting network for performing the backtrack processing at each time, the back spot processing is performed from all the final nodes at each time. There is no need for track processing, and there is an effect that the required calculation amount can be kept small.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of an audio spotting device showing an embodiment of the present invention.
FIG. 2 is a functional block diagram of a voice spotting device showing a conventional technique and a schematic block diagram for explaining a method of connecting a preceding / following heuristic language model and a spotting network.
FIG. 3 is a diagram illustrating a configuration of a preceding heuristic language model configured using a right phoneme environment-dependent model.
FIG. 4 is a diagram for explaining the configuration of a subsequent heuristic language model configured using a right phoneme environment-dependent model.
FIG. 5 is a diagram for explaining a spotting network configuration configured using a right phoneme environment-dependent model.
[Explanation of symbols]
1 analysis means, 2 heuristic language model collation means, 3 network collation means, 4 backtrack node selection means, 5 spotting result output means, 6 preceding heuristic language model storage means, 7 subsequent heuristic language model storage means, 8 network storage for spotting Means: 101 input speech signal, 102 feature vector time series, 103 heuristic forward likelihood, 104 heuristic backward likelihood, 105 maximum likelihood forward likelihood, 106 node history information, 107 final node number, 108 spotting result.
In the drawings, the same reference numerals indicate the same or corresponding parts.

Claims

Analyzing means for analyzing the input speech signal and converting it to the feature vector time series, and features of various utterance contents speech that precede / follow the spotting target speech provided separately for the feature vector time series by the analyzing means Using a preceding / following heuristic language model that models a phoneme environment-dependent model for a vector time series, the heuristic forward / backward likelihood in the final / initial state of the preceding / following heuristic language model in the forward / reverse direction on the time axis A heuristic language model collating means for calculating the degree, a heuristic forward likelihood by the heuristic language model collating means, and a feature vector time series by the analyzing means; Modeling by model Network matching means for calculating the maximum likelihood forward likelihood and the node history information for each of a plurality of final nodes of the spotting network, and the maximum likelihood forward likelihood by the network matching means, Backtrack node selection means for selecting the last node number of the one or more spotting networks having a high value, the final node number by the backtrack node selection means, the heuristic backward likelihood by the heuristic language model matching means, and the network The spot history information calculated by the collating means is subjected to a backtrack process that traces the node history information from only the final node number to the initial node among all the final nodes of the spotting network. Voice spotting device and a spotting result output means for outputting a computing result.

Spotting that connects the initial state of one or more subsequent heuristic language models having a high value to the heuristic backward likelihood by the heuristic language model matching means instead of the maximum likelihood forward likelihood by the network matching means in the backtrack node selection means 2. The voice spotting device according to claim 1, wherein the last node number of the network is selected.

The value is higher than the maximum likelihood bidirectional likelihood calculated for each final node from the maximum likelihood forward likelihood by the network matching means in the backtrack node selection means and the heuristic backward likelihood by the heuristic language model matching means. 2. The voice spotting device according to claim 1, wherein a final node number of one or more spotting networks is selected.

In each cluster for each vowel final node cluster classified and configured by the model of the vowel that transitions to the final node of the network for spotting with respect to the maximum likelihood forward likelihood by the network matching means in the backtrack node selection means 2. The voice spotting device according to claim 1, wherein the last node number of the spotting network having the highest maximum likelihood forward likelihood value is selected.

With respect to the maximum likelihood bidirectional likelihood according to claim 3 in the backtrack node selection means, the spotting network having the highest maximum likelihood bidirectional likelihood value within each cluster for each vowel final node cluster according to claim 4 is used. 2. The voice spotting device according to claim 1, wherein a final node number is selected.

5. The spotting network having the highest maximum likelihood bidirectional likelihood value in each cluster of each vowel final node cluster according to claim 4 with respect to the maximum likelihood bidirectional likelihood according to claim 3 by the backtrack node selection means. 2. The speech spotting device according to claim 1, wherein the last node number is extracted, and then one or more last node numbers having the highest maximum likelihood bidirectional likelihood value are selected in the extracted last node.

5. The spotting network having the highest maximum likelihood bidirectional likelihood value in each cluster of each vowel final node cluster according to claim 4 with respect to the maximum likelihood bidirectional likelihood according to claim 3 by the backtrack node selection means. The final node number is extracted, and then the final node number in which the likelihood difference between the maximum likelihood bidirectional likelihood value and the maximum value is greater than or equal to a predetermined threshold is selected in the extracted final node. The voice spotting device according to 1.