JP4716605B2 - Speech recognition apparatus and speech recognition method - Google Patents

Description

【００１６】
なお、音声特徴パターンｘを得るためには、音響分析ではよく知られたＬＰＣ（線形予測）分析などを用いることができる。例えば、分析条件を、標本化周波数：8kHz、高域強調：一次差分、256点ハミング窓、移動幅：16ms、ＬＰＣ分析次数：20とし、10次元メルケプストラム係数をフレーム単位で抽出したものを特徴パターンとすることができる。また、音響分析は、上記に限定されるものではなく、周波数分析など音声特徴パターンに分析できる任意の方法を用いて構わない。
【００１７】
次に、変換後の音声特徴パターンｙを、各クラスごとに用意された認識モデル(1)１２₁，認識モデル(2)１２₂‥認識モデル(U)１２_Uで測る（照合する）ことにより、各クラスの得点（特徴パターンｙと認識モデルｕの一致度の程度を評価する点）を求める。具体例として、その判別関数を用いると、各クラスの得点は、以下のように表せる。
【００１８】
【数２】

【００１９】
ここで、g_ｕ（ｙ，Λ），（ｕ＝１，‥，Ｕ）は、クラスｕに対する判別関数である。また、ｈ_ｕは、特徴パターンｙとパラメータΛが与えられたときのクラスｕに対する得点を表す。パラメータΛは、音声認識装置全体に関わり、認識モデル(1)１２₁，認識モデル(2)１２₂‥認識モデル(U)１２_Uと特徴パターン変換手段Ｑ１１を含んだ全パラメータを表す。
その後、得られたＵ個の得点ｈ_１，ｈ_２，‥，ｈ_ｕを比較手段１３により比較することにより、音声特徴パターンｘの認識結果として、最大得点を持つ、即ち最も一致度の高いクラスｕに分類される。判別関数の設計により選択の基準が最小得点値に設定される場合もあるが、どちらにしても構わない。本実施例では、説明の便宜上、前者を採用する。
【００２０】
判別関数に関し、より詳細に説明すると、認識モデル(1)１２₁‥認識モデル(U)１２_Uとして、文献“電子情報通信学会論文誌(D-II),vol,J82-D-II,no.5,PP.853-862,May1999”に示されている継続時間長制御型状態遷移（ＤＳＴ）モデルを用いれば、上記式（２）は以下のように表せる。
【００２１】
【数３】

【００２２】
式（３）において、ｒ（・）は、照合により得られた音声特徴パターンと認識モデルの各状態の対応関係を表し、ｒ（ｎ）を第ｎ状態と対応する部分パターンの終了フレーム番号とする。また、Ｒ_ｎは、第ｎ状態の継続時間に関する距離である。
一方、Ｓ_ｎは、特徴量に関する第ｎ状態の得点であり、下記のように定義する。
【００２３】
【数４】

【００２４】
式（４）において、ここでＴ_ｎ、Ｄは、それぞれバイアス値と各状態における局所距離を表す。局所距離Ｄには、下記に示すガウス型の距離を用いる。
【００２５】
【数５】

【００２６】
式（５）において、μ_ｎ＝（μ_ｎｋ），σ^２ _ｎ＝（σ^２ _ｎｋ），（ｋ＝１，…，Ｋ）は、それぞれ第ｎ状態の平均，分散であり，ｋは、Ｋ次元ベクトルの要素番号を表す。また，ｙ_ｍ＝（ｙ_ｍｋ）は，フレーム番号ｍの音声特徴パターンであり、ｚ_ｎはＲ_ｎから得られた得点の割合を調整する重みである。
なお、式（３）は、動的計画法に継続時間評価に関する得点を組み込みながら状態探索を行うことにより求めることができる。
【００２７】
次に、本発明の音声認識装置におけるパラメータ訓練に係わる実施例について説明する。
図２は、パラメータの訓練手段を設けた本発明の音声認識装置に係わる実施例の構成を示すブロック図である。
図２に示す実施例では、図１に示した認識手段１０に訓練手段３０を付加して音声認識装置を構成する。訓練手段３０では、下記の経験損失：Ｌ（Λ）が最小になるようにパラメータ調整量を求め、認識手段１０が有する特徴パターン変換手段Ｑ１１、認識モデル(1)１２₁，認識モデル(2)１２₂‥認識モデル(U)１２_Uのパラメータを調整する。
【００２８】
【数６】

【００２９】
式（６）において、Ｍは訓練パターン数を表す。また、ｌ（ｙ_ｍ，Λ）は、ｍ番目のパターンを入力したときの個々の損失であり、下記のように定義する。
【００３０】
【数７】

【００３１】
式（７）において、ａ_ｕは、パターンｙ_ｍがクラスｕに属する可能性を表し、クラスの得点を用いて下記のように表す。
【００３２】
【数８】

【００３３】
一方、ｔ_ｕは正解を表す値である。ここでは、正解クラスの得点が高くなるようにパラメータの訓練を行う。従って、正解クラスがαである場合、ｔ_αが最大になるようにｔ_１，…，ｔ_α，…，ｔ_Ｕを設定する。具体的に本実施例では、正解クラスαにのみ可能性が存在する下記の値を用いる。
【００３４】
【数９】

【００３５】
以上のようにして得られた損失を最小にするために、パラメータの訓練を行う。パラメータ修正量ΔΛは、下記式（１０）で計算できる。
【００３６】
【数１０】

【００３７】
式（１０）において、ηは正の小さな学習係数である。さらに、確率的降下定理に基づき下記式（１１）の繰り返し計算を実行することにより、パラメータが最適な状態に調整されていく。
【００３８】
【数１１】

【００３９】
ただし、式（１１）において、ｔ回適用後のパラメータをΛ（ｔ）とする。
【００４０】
以下に、式（７）〜（１１）に基づく計算により、音声特徴パターン変換手段１１のパラメータの調整量を求める方法を、より詳細に説明する。
ここでは、具体例として、式（１）の写像が文献“Paralell Distributed Processing,Cambridge,MA:MIT”に示されているような人工神経回路網によって与えられた場合の実施例について述べる。
図３は、この実施例の音声特徴パターン変換手段１１に用いる人工神経回路網を模式的に示した図である。
ここで用いる人工神経回路網は、図３に示すように、Ｉ層からなる階層形神経回路網であり、変換前の音声特徴パターンｘを入力すると、変換後の音声特徴パターンｙが最終層Ｉで得られる。Ｉ及び各層の神経回路素子数は、式（１）の写像が十分可能な任意の数に設定すればよい。
ｉ層ｋ番目の素子への入力：ｃ_ｋ ^ｉは下記式（１２）で表すようになる。
【００４１】
【数１２】

【００４２】
式（１２）において、ο_ｓ ^ｉ−１は（ｉ−１）層ｓ番目素子の出力を表す。また、ｗ_ｋ，ｓ ^{ｉ，ｉ−１}は（ｉ−１）層ｓ番目の素子とｉ層ｋ番目の素子との結合重みを表すパラメータである。素子の入出力関係ｂには、下記式（１３）のシグモイド関数を用いる。
【００４３】
【数１３】

【００４４】
式（１２）において、ｉ＝１であるときのο_ｓ ^ｉ−１は、変換前の音声特徴パターンｘの要素ｘ_ｍｓを表す。また、式（１３）においてｉ＝Ｉであるときのο_ｓ ^ｉは変換後の特徴パターンの要素ｙ_ｍｓを表している。
さて、ここで訓練するパラメータは、ｗ_ｋ，ｓ ^{ｉ，ｉ−１}であるから、式（１０）に従って、損失の勾配を求めると、それは下記式（１４）により表すようになる。
【００４５】
【数１４】

【００４６】
式（１４）を解き、式（１１）に反映すれば、訓練によるパラメータの更新処理を行うための下記式（１５）を求めることができる。
【００４７】
【数１５】

【００４８】
式（１５）において、ｘ_{θ（ｎ）ｋ}は認識モデルｎ番目の状態に対応づけられた変換前の特徴パターンｘのｋ次元目の要素を示す。さらに、δ_ｋ ^ｉは、各層により下記式（１６）のように表せる。
【００４９】
【数１６】

【００５０】
ただし、式（１６）において、ｂ′(・)＝ｂ(・)｛１−ｂ(・)｝である。なお、認識モデルの平均、分散には、クラスを表す添字ｕが付加してある。また、ｙ_{θ（ｎ）ｋ}は、認識モデルｎ番目の状態に対応づけられた変換後の特徴パターンｙのｋ次元目の要素を示す。
以上のようにパラメータを訓練すれば、音声認識を行う場合の周囲の使用環境や使用話者の入れ替わり等の使用状況が変化しても認識誤りを最小にする特徴パターンが得られるようになるため、性能の劣化を防ぐことができる。また、音声特徴パターン変換手段１１だけのパラメータの調整を行うことができ、認識モデル(1)１２₁，認識モデル(2)１２₂‥認識モデル(U)１２_Uのパラメータを変更する必要がないので、高速な訓練が可能となる。
【００５１】
次に、特定の使用状況において、さらに認識性能を向上することを可能にするパラメータ訓練方法により認識精度の向上を図る実施例について述べる。
ここでは、このための手段として音声特徴パターン変換手段１１のパラメータの調整に加えて、認識モデル(1)１２₁，認識モデル(2)１２₂‥認識モデル(U)１２_Uのパラメータを訓練する。
認識モデル(1)１２₁，認識モデル(2)１２₂‥認識モデル(U)１２_Uの平均値パラメータを訓練する揚合、式（１０）に従って、損失の勾配を求めると、下記式（１７）により表すようになる。
【００５２】
【数１７】

【００５３】
従って、訓練による平均値パラメータの更新処理は、下記式（１８）に基づいて行うことが可能になる。
【００５４】
【数１８】

【００５５】
他に分散や継続時間長制御パラメータなど認識モデルを表現する他のパラメータについても、上記と同様に処理することが可能である。
【００５６】
ところで、上記した音声特徴パターン変換手段１１と、認識モデル(1)１２₁，認識モデル(2)１２₂‥認識モデル(U)１２_Uのパラメータ調整のように音声認識装置を構成する全パラメータに対して更新処理を同時に行うと、損失の最少状態に到達するまでに時間がかかってしまう場合がある。これは、パラメータ数が増えるため、最小状態への探索経路が不安定になるためである。
そこで、このような場合に訓練を高速に行うことを可能とするパラメータ訓練の方法がある。ここで、その方法により訓練時間の短縮化を図るようにした実施例について述べる。
図４は、この方法により訓練を高速に行うことを可能にした音声認識装置の実施例を示すブロック図である。
図４に示すように、認識手段１０Aの音声特徴パターン変換手段１１Aと、認識モデル群１２の各認識モデル(1)１２₁，認識モデル(2)１２₂‥認識モデル(U)１２_Uへ調整量を入力する手段として、入力切替スイッチを設け、Ａ、Ｂ間でスイッチを切り替え、図２に示したパラメータの訓練を音声特徴パターン変換手段１１Aと、認識モデル群１２とにわけて行うようにしたものである。
この訓練方法は、下記の手順にて行う。
１．スイッチをＡ側にいれて音声特徴パターン変換手段１１Aのパラメータを調整しながら、繰り返し変換手段１１Aを訓練する。
２．損失が減少しなくなったら、スイッチをＢ側に入れて認識モデル(1)１２₁，認識モデル(2)１２₂‥認識モデル(U)１２_Uのパラメータを調整しながら、繰り返し認識モデル群１２を訓練する。
３．損失が減少しなくなったら、上記処理１．に戻る。
上記処理１．〜処理３．を繰り返し、スイッチを切り替えても損失が減少しなくなったら、訓練を終了する。
以上のように、処理を分けて行うことにより、訓練対象となるパラメータ数を少なくすることができるので、認識誤り最小状態への探索経路が安定し、高速に訓練を行うことが可能になる。
【００５７】
また、上記のように、訓練等の結果、或いは使用環境等の使用状況の変化に対応するためのパラメータ調整を音声特徴パターン変換手段１１Aと認識モデル群１２の認識モデル(1)１２₁，認識モデル(2)１２₂‥認識モデル(U)１２_Uに分けて行うように構成したので、上記したような音声特徴パターン変換手段１１Aのパラメータの更新処理をした後、以前の使用条件に復帰させることも可能になる。
図５は、復帰動作を可能とした音声認識装置の実施例を示すブロック図である。
図５に示すように、音声特徴パターン変換手段１１Aを経由せずに、音声特徴パターンｘを認識処理を行う認識モデル(1)１２₁，認識モデル(2)１２₂‥認識モデル(U)１２_Uに入力する手段として、認識手段１０Bに入力切替スイッチを設け、Ａ側に入れてあったスイッチをＢ側に切り替えれば、直接、特徴パターンｘを認識モデル(1)１２₁，認識モデル(2)１２₂‥認識モデル(U)１２_Uに入力することができる。従って、音声特徴パターン変換手段１１Aによる特徴パターンの写像変換をする必要のない使用状況に戻った場合にも、高精度な認識が可能になる。なお、この場合、認識モデル(1)１２₁，認識モデル(2)１２₂‥認識モデル(U)１２_Uのパラメータを、使用環境等の使用状況が通常状態であるときには、音声特徴パターン変換手段１１Aなしで、正しい認識結果が得られるような設定にしておく。
【００５８】
次に、使用環境等の使用状況が変化しても、音声特徴パターン変換手段に使用条件に適したパラメータセットを設定することを可能にして、認識精度の低下を回避する手段を備えた音声認識装置の実施例について述べる。
上記した図５に示した実施例では、音声特徴パターン変換手段１１Aのパラメータの更新処理をした後、以前の使用条件に復帰させる例を示したが、本実施例では、先の実施例における選択の幅（二者択一）を更に拡大しようとするもので、そのために複数のパラメータセットを用意し、その中のいずれかを選択することにより使用状況の変化に対応することを可能にする。
図６は、本実施例の音声認識装置を構成する認識手段１０Cを示すブロック図である。
図６に示すように、図１又は図４に示した実施例において音声特徴パターン変換手段１１（１１A）に格納されていたパラメータを、複数（ここではM個）の異なるパラメータセットΓ₁１４₁，Γ₂１４₂，・・・，Γ_M１４_Mとして別に格納するようにして、特徴パターン変換手段１１Bで用いるパラメータセットを、格納されたパラメータセットΓ₁１４₁，Γ₂１４₂，・・・，Γ_M１４_Mの中から１つを選択して設定するようにしたものである。
ここで、特徴パターン変換手段１１Bが、上記実施例と同様に、人工神経回路網である場合、このパラメータセットは、素子間を接続する結合重みのセットとして実現でき、音声特徴パターンｘを所望のｙに変換することができる。パラメータセットは、使用環境(例えば、室内／屋外での使用)によって分けてもよいし、話者が入れ替わった場合に対応できるように、話者によって分けてもよい。
本実施例によれば、パラメータセットを選択することにより、音声特徴パターンｘを使用条件に適した特徴パターンに変換することができるので、音声認識精度の低下を回避し、高い認識精度を維持することができる。
【００５９】
次に、認識手段の装置規模を小さくし、かつ高い認識精度を維持するための手段を備えた音声認識装置の実施例について述べる。
本実施例では、図６の実施例に示した認識手段１０Cで持っていた複数の異なるパラメータセットΓ₁１４₁，Γ₂１４₂，・・・，Γ_M１４_Mを認識手段側では持たずに、外部に大規模なパラメータセットの格納手段を設けることにより、認識手段の装置規模を小さくするとともに、認識手段で格納する場合に制限されるパラメータセットの限界を越えてパラメータセットを選択できるようにして、かかる目的の実現を図るものである。
図７は、本実施例の音声認識装置を示すブロック図である。
図７に示すように、特徴パターン変換手段１１Bで用いるパラメータセット１４として設定するデータを外部から通信手段を用いて取得するようにしたもので、通信網(例えば、インターネット)で認識手段１０Dと外部記憶手段（例えば、サーバ）５０を接続し、両方にそれぞれ設けた送受信手段１５，５５により、パラメータセットの送受信ができるようになっている。
従って、外部記憶手段（例えば、サーバ）５０には、複数のパラメータセットΓ₁５１₁，Γ₂５１₂，・・・，Γ_M５１_Mが格納(アップロード)されている（例えば、認識手段１０Dで使用の際にパラメータの変更を行った場合にも、認識手段１０D側から、パラメータセットを全体的に管理するサーバ側の外部記憶手段５０に変更後のデータを送り、その後の使用に供するようにする）。
【００６０】
使用環境や話者が入れ替わりにより使用条件が変化した場合に、認識手段１０D側から外部記憶手段５０に対し、変化に適合するパラメータセットのダウンロードを要求すると、複数のパラメータセットΓ₁５１₁，Γ₂５１₂，・・・，Γ_M５１_Mの中から要求されたパラメータセットを選択して、送り返し、そのデータにより認識手段１０Dの特徴パターン変換手段１１Bのパラメータセットを書き換える。
ここで行うダウンロードは、一般によく知られた方法で実現できる。例えば，サーバに接続された状態で、HTML形式で表示されたパラメータセット名を指定してもよいし，ftp接続などにより対応するパラメータセット名を指定するなどの方法を用いることにより実現可能である。
このように、本実施例によれば、外部の大規模のデータを格納できるサーバから最適なパラメータセットを取得できるので、音声認識の精度が一層向上するとともに、認識手段１０D側に複数のパラメータセットを格納する必要がないので装置の小型化が可能になる。
【００６１】
次に、認識手段内に選択・設定可能な複数のパラメータセットを持った本発明の音声認識装置（図６にその実施例を示す）におけるパラメータ訓練に係わる実施例について説明する。
図８は、パラメータの訓練手段を設けた本発明の音声認識装置に係わる実施例の構成を示すブロック図である。
本実施例では、図６に示した認識手段に訓練手段３０を付加して音声認識装置を構成する。
訓練時は、認識手段１０Eの特徴パターン変換手段１１B、訓練手段３０をそれぞれに対応するパラメータセットの端子Ｃ₁〜Ｃ_M、Ａ₁〜Ａ_Mを訓練の対象とするパラメータセットΓ₁１４₁，Γ₂１４₂，・・・，Γ_M１４_Mの同じパラメータセットに接続する。訓練手段３０は、上記した図２及び図３に関して説明した実施例で述べた訓練手段３０と同様の処理を行うことで実現できる。即ち、音声認識装置の誤分類度から得られる損失を最小化するようにパラメータ調整量を算出し、接続先のパラメータセットのパラメータを更新し、特徴パターン変換手段１１Bとして人工神経回路網を用いた場合のパラメータ更新処理は、式(１５)を用いて実現できる。このようにして、使用条件に応じてパラメータを訓練することにより、所望のパラメータセットが得られる。
なお、図７に示した音声認識装置における認識手段１０Dのパラメータセットの訓練を上記と同様に実施するようにしても良い。訓練の結果、変更されたパラメータセットのデータは、送受信手段１５，５５を用いて外部記憶装置５０に送り、格納するようにし、再使用を可能にする。
【００６２】
【発明の効果】
本発明によれば、訓練の対象を特徴パターン変換手段のパラメータと認識モデルのパラメータとに分け、片方ずつ訓練する手順をとるようにしたことにより、誤り最小状態に到達する経路が安定するため、高速に訓練ができる。また、上記の手順を繰り返すようにしたことにより、訓練対象となるパラメータ数を少なくすることができるので、認識誤り最小状態への探索経路がさらに安定し、より高速化が可能になる。
【図面の簡単な説明】
【図１】本発明の音声認識装置に係わる認識手段の実施例の構成を示すブロック図である。
【図２】パラメータの訓練手段を設けた本発明の音声認識装置に係わる実施例の構成を示すブロック図である。
【図３】音声特徴パターン変換に用いる人工神経回路網を説明するための図である。
【図４】訓練手段を設けた本発明の音声認識装置に係わる他の実施例の構成を示すブロック図である。
【図５】更新処理前の使用条件に復帰させることを可能とした音声認識装置の実施例を示すブロック図である。
【図６】音声認識装置を構成する認識手段の他の実施例を示すブロック図である。
【図７】音声認識装置の他の実施例を示すブロック図である。
【図８】図６に示す認識手段にパラメータの訓練手段を設けた音声認識装置に係わる実施例の構成を示すブロック図である。
【符号の説明】
１０，１０A，１０B，１０C，１０D，１０E…認識手段、１１，１１A，１１B…特徴パターン変換手段、１２…認識モデル群、１２₁〜１２_U…認識モデル(1)〜(U)、１３…比較手段、１４…パラメータセットΓ、１４₁〜１４_Ｍ…パラメータセットΓ₁〜Γ_Ｍ、１５…送受信手段、３０…訓練手段、５０…外部記憶手段、５１₁〜５１_Ｍ…パラメータセットΓ₁〜Γ_Ｍ、５５…送受信手段。[0001]
BACKGROUND OF THE INVENTION
  The present invention recognizes speech to be recognized by a class defined by a recognition model.Speech recognition apparatus and speech recognition methodIn more detail, a means for converting a voice feature pattern by mapping is provided, and a set of mapping conversion parameters can be selected, and the parameters of the mapping conversion and the recognition model can be adjusted separately, Said to do the trainingSpeech recognition apparatus and speech recognition methodAbout.
[0002]
[Prior art]
  So farVoice recognition deviceAs a result, a neural network was used for recognition processing.Voice recognition deviceMany have been proposed.
  Using the proposed neural networkVoice recognition deviceIn order to increase the recognition accuracy, the network is trained and the learning result is reflected in the network parameters. In this case, most of the objects to be learned are related to the speaker, and identification of the speaker or adaptation to the speaker, that is, standardization of features extracted from individual speakers.
[0003]
[Problems to be solved by the invention]
  However, in previous proposals for speaker adaptation,Voice recognition deviceThere is no effect that changes due to changes in the surrounding environment of the speaker who uses the phone (for example, changes in the usage environment that affects the input, such as from a quiet room to the outdoors), or changes in the use of the speaker. The degradation of recognition accuracy caused by such a change in the usage situation exists as an unsolved problem.
  The present inventionVoice recognition deviceThe purpose of this is to recognize the feature pattern of the speech to be recognized by the class defined by the recognition model.Voice recognition deviceIn the case of changes in usage conditions such as usage environment and change of speakers,Voice recognition deviceThe conversion parameters used in the recognition process can be prepared by adapting to the change, or the conversion parameters can be trained at high speed by adapting to the change, thereby enabling highly accurate speech recognition.Voice recognition device (voice recognition method)Is to provide.
[0004]
[Means for Solving the Problems]
  According to the first aspect of the present invention, an acquisition unit that analyzes an input voice to acquire a voice feature pattern, a conversion unit that performs mapping conversion of the voice feature pattern, and the voice feature pattern include a plurality of recognition models. Classification means for determining which recognition model is classified based on the voice feature pattern after mapping conversion, and classifying the voice feature pattern;As usage changes,In the mapping transformation or the recognition modelFor processingEach training means to adjust the parameters;Whether to connect the training means to the conversion means or to the recognition modelSwitch offSubstituteStep and haveIn addition, the adjustment of the parameters prevents the deterioration of the voice recognition accuracy when the usage situation changes.This is a voice recognition device characterized by the above.
  According to a second aspect of the present invention, the classification means includes the voice feature pattern after the map conversion, the map conversion, and the recognition model.AboveUsing the parameter, the evaluation value of the speech feature pattern for the recognition model is obtained, and the evaluation value for each recognition model is compared, thereby determining the recognition model for classifying the speech feature pattern before mapping conversion The speech recognition apparatus according to claim 1, wherein:
  The invention of claim 3 is characterized in thatSubstituteThe stage in the map transformationAboveParameter adjustment and the recognition modelAboveThe voice recognition apparatus according to claim 1 or 2, wherein the training means is switched so as to alternately perform parameter adjustment, and each adjustment is repeated until a predetermined condition is reached.
  The invention of claim 4 is the training means.AboveThe parameter adjustment is performed so as to minimize the loss that the voice feature pattern before mapping conversion is less likely to belong to the recognition model to which the voice feature pattern before mapping conversion is to be classified. Or in the recognition modelAbove4. The speech recognition apparatus according to claim 1, wherein the parameter is adjusted.
  The invention according to claim 5 is a speech recognition method in a speech recognition apparatus, wherein an acquisition step of analyzing an input speech to acquire a speech feature pattern, a conversion step of mapping the speech feature pattern, and the speech A classification step of classifying the voice feature pattern by determining whether the feature pattern is classified into any of the plurality of recognition models based on the voice feature pattern after mapping conversion;As usage changes,In the mapping transformation or the recognition modelFor processingEach training step to adjust the parameters;The adjustment of the parameter in the training process is applied to the mapping transformation or the recognition model.switchingDoCut offReplacementAboutIn addition, the adjustment of the parameters prevents the deterioration of voice recognition accuracy when the usage situation changesThis is a voice recognition method.
  According to a sixth aspect of the present invention, in the classification step, the voice feature pattern after mapping conversion, the mapping conversion, and the recognition modelAboveUsing the parameter, the evaluation value of the speech feature pattern for the recognition model is obtained, and the evaluation value for each recognition model is compared, thereby determining the recognition model for classifying the speech feature pattern before mapping conversion The voice recognition method according to claim 5, wherein the voice recognition method is a step of:
  The invention of claim 7 providesReplacementIn the map transformation,AboveParameter adjustment and the recognition modelAboveThe speech recognition method according to claim 5 or 6, wherein the training means is switched so as to alternately perform parameter adjustment, and each adjustment is repeated until a predetermined condition is reached. .
  The invention according to claim 8 is the training step.AboveThe parameter adjustment is performed so as to minimize the loss that the voice feature pattern before mapping conversion is less likely to belong to the recognition model to which the voice feature pattern before mapping conversion is to be classified. Or in the recognition modelAbove8. The speech recognition method according to claim 5, wherein the parameter is adjusted.
  The invention of claim 9 is a program for causing a computer to execute each step of the speech recognition method according to any one of claims 5 to 8.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
  According to the present inventionVoice recognition deviceWill be described with reference to the following examples.
  In the present embodiment, a case is considered where the speech feature pattern x is classified into any one of the classes u (u = 1,..., U) among the U classes of recognition models. For the class type, phonemes, words, speakers, etc. are set according to the object to be classified.
  FIG. 1 illustrates the present invention.Voice recognition deviceIt is a block diagram which shows the structure of the Example of the recognition means concerning this.
  thisVoice recognition device1 includes a recognition unit 10 shown in FIG. 1 as a main part, and the recognition unit 10 measures a feature pattern conversion unit Q11 that performs mapping conversion of an input speech feature pattern x and a converted speech feature pattern y. Recognition model (1) 12₁, Recognition model (2) 12₂...... Recognition model (U) 12_UAnd comparing means 13 for comparing the measurement data of each recognition model and outputting the recognition result.
[0014]
  Of FIG.Voice recognition deviceDetails of the configuration of the recognizing means and the voice feature pattern recognition processing will be described in accordance with the procedure.
  First, the voice feature pattern x obtained by analyzing the voice is mapped and converted to the voice feature pattern y by the feature pattern conversion means Q11.
  The mapping at this time is expressed by the following equation.
[0015]
[Expression 1]

[0016]
In order to obtain the speech feature pattern x, a well-known LPC (linear prediction) analysis or the like can be used in the acoustic analysis. For example, the analysis conditions are: sampling frequency: 8 kHz, high frequency emphasis: primary difference, 256-point hamming window, movement width: 16 ms, LPC analysis order: 20, and 10-dimensional mel cepstrum coefficients extracted in frame units It can be a pattern. Further, the acoustic analysis is not limited to the above, and any method that can analyze the voice feature pattern such as frequency analysis may be used.
[0017]
Next, the converted speech feature pattern y is converted into a recognition model (1) 12 prepared for each class.₁, Recognition model (2) 12₂...... Recognition model (U) 12_UBy measuring (collating), a score for each class (a point for evaluating the degree of matching between the feature pattern y and the recognition model u) is obtained. As a specific example, using the discriminant function, the score of each class can be expressed as follows.
[0018]
[Expression 2]

[0019]
  Where g_u(Y, Λ), (u = 1,..., U) are discriminant functions for class u. H_uRepresents a score for class u given feature pattern y and parameter Λ. The parameter Λ isVoice recognition deviceRecognition model (1) 12₁, Recognition model (2) 12₂...... Recognition model (U) 12_UAnd all parameters including the feature pattern conversion means Q11.
  After that, U points obtained h₁, H₂, ..., h_uAre compared with the class u having the highest score, that is, the highest matching score, as a recognition result of the voice feature pattern x. Depending on the design of the discriminant function, the selection criterion may be set to the minimum score value, either of which may be used. In the present embodiment, the former is adopted for convenience of explanation.
[0020]
To explain the discriminant function in more detail, the recognition model (1) 12₁...... Recognition model (U) 12_UAs a duration-controlled state transition (DST) shown in the literature “The Journal of the Institute of Electronics, Information and Communication Engineers (D-II), vol, J82-D-II, no.5, PP.853-862, May1999” ) Using the model, the above equation (2) can be expressed as follows.
[0021]
[Equation 3]

[0022]
In Expression (3), r (•) represents the correspondence between the speech feature pattern obtained by the collation and each state of the recognition model, and r (n) represents the end frame number of the partial pattern corresponding to the nth state. To do. R_nIs the distance for the duration of the nth state.
On the other hand, S_nIs the score of the nth state relating to the feature quantity, and is defined as follows.
[0023]
[Expression 4]

[0024]
In equation (4), where T_n, D represent the bias value and the local distance in each state, respectively. As the local distance D, the Gaussian distance shown below is used.
[0025]
[Equation 5]

[0026]
In equation (5), μ_n= (Μ_nk), Σ² _n= (Σ² _nk), (K = 1,..., K) are the mean and variance of the nth state, respectively, and k represents the element number of the K-dimensional vector. Y_m= (Y_mk) Is an audio feature pattern of frame number m, z_nIs R_nThis is a weight for adjusting the ratio of the score obtained from.
Equation (3) can be obtained by performing a state search while incorporating a score for duration evaluation into dynamic programming.
[0027]
  Next, the present inventionVoice recognition deviceAn embodiment relating to parameter training will be described.
  FIG. 2 shows the present invention with parameter training means.Voice recognition deviceIt is a block diagram which shows the structure of the Example concerning.
  In the embodiment shown in FIG. 2, a training means 30 is added to the recognition means 10 shown in FIG.Voice recognition deviceConfigure. TrainerStep30, the parameter adjustment amount is obtained so that the following experience loss: L (Λ) is minimized, and the feature pattern conversion means Q11 and the recognition model (1) 12 included in the recognition means 10.₁, Recognition model (2) 12₂...... Recognition model (U) 12_UAdjust the parameters.
[0028]
[Formula 6]

[0029]
In Expression (6), M represents the number of training patterns. L (y_m, Λ) is an individual loss when the m-th pattern is input, and is defined as follows.
[0030]
[Expression 7]

[0031]
In equation (7), a_uIs the pattern y_mRepresents the possibility of belonging to class u, and is expressed as follows using the score of the class.
[0032]
[Equation 8]

[0033]
On the other hand, t_uIs a value representing the correct answer. Here, parameter training is performed so that the correct class score is high. Therefore, if the correct class is α, t_αT to maximize₁, ..., t_α, ..., t_USet. Specifically, in the present embodiment, the following values that have a possibility only in the correct answer class α are used.
[0034]
[Equation 9]

[0035]
In order to minimize the loss obtained as described above, parameter training is performed. The parameter correction amount ΔΛ can be calculated by the following equation (10).
[0036]
[Expression 10]

[0037]
In equation (10), η is a small positive learning coefficient. Furthermore, the parameter is adjusted to an optimal state by executing the following calculation (11) repeatedly based on the stochastic descent theorem.
[0038]
## EQU11 ##

[0039]
However, in equation (11), the parameter after t times of application is Λ (t).
[0040]
Hereinafter, a method of obtaining the parameter adjustment amount of the speech feature pattern conversion unit 11 by calculation based on the equations (7) to (11) will be described in more detail.
Here, as a specific example, an embodiment will be described in which the mapping of Equation (1) is given by an artificial neural network as shown in the document “Paralell Distributed Processing, Cambridge, MA: MIT”.
FIG. 3 is a diagram schematically showing an artificial neural network used for the voice feature pattern conversion means 11 of this embodiment.
As shown in FIG. 3, the artificial neural network used here is a hierarchical neural network composed of I layers. When a speech feature pattern x before conversion is input, the converted speech feature pattern y is converted to the final layer I. It is obtained by. The number of I and the number of neural circuit elements in each layer may be set to an arbitrary number that can sufficiently map the expression (1).
Input to the i-th element k-th element: c_k ⁱIs represented by the following formula (12).
[0041]
[Expression 12]

[0042]
In equation (12), ο_s ^i-1(I-1) represents the output of the layer s-th element. W_{k, s} ^{i, i-1}(I-1) is a parameter representing the coupling weight between the s-th element of the layer i and the k-th element of the i layer. The sigmoid function of the following formula (13) is used for the input / output relationship b of the element.
[0043]
[Formula 13]

[0044]
  In formula (12), o when i = 1_s ^i-1Before conversionvoiceElement x of feature pattern x_msRepresents. Further, in formula (13), when i = I_s ⁱIs the element y of the converted feature pattern_msRepresents.
  The parameter to train here is w_{k, s} ^{i, i-1}Therefore, when the loss gradient is obtained according to the equation (10), it is expressed by the following equation (14).
[0045]
[Expression 14]

[0046]
If equation (14) is solved and reflected in equation (11), the following equation (15) for performing parameter update processing by training can be obtained.
[0047]
[Expression 15]

[0048]
In equation (15), x_{θ (n) k}Indicates the k-th element of the feature pattern x before conversion associated with the nth state of the recognition model. Furthermore, δ_k ⁱCan be expressed by the following formula (16) by each layer.
[0049]
[Expression 16]

[0050]
However, in Formula (16), it is b '(*) = b (*) {1-b (*)}. Note that a subscript u representing a class is added to the average and variance of the recognition model. Y_{θ (n) k}Indicates the element in the k-th dimension of the converted feature pattern y associated with the nth state of the recognition model.
If parameters are trained as described above, a feature pattern that minimizes recognition errors can be obtained even if the usage environment such as the surrounding usage environment or switching of speakers used for speech recognition changes. , Performance degradation can be prevented. Further, the parameters of only the voice feature pattern conversion means 11 can be adjusted, and the recognition model (1) 12₁, Recognition model (2) 12₂...... Recognition model (U) 12_USince it is not necessary to change the parameters, it is possible to perform high-speed training.
[0051]
Next, an embodiment will be described in which recognition accuracy is improved by a parameter training method that can further improve recognition performance in a specific use situation.
Here, in addition to adjusting the parameters of the speech feature pattern conversion means 11 as means for this purpose, the recognition model (1) 12₁, Recognition model (2) 12₂...... Recognition model (U) 12_UTrain the parameters.
Recognition model (1) 12₁, Recognition model (2) 12₂...... Recognition model (U) 12_UWhen the slope of the loss is determined according to the equation (10) for training the average value parameter of the following equation, it is expressed by the following equation (17).
[0052]
[Expression 17]

[0053]
Therefore, the update process of the average value parameter by training can be performed based on the following formula (18).
[0054]
[Expression 18]

[0055]
Other parameters that express the recognition model, such as variance and duration control parameters, can be processed in the same manner as described above.
[0056]
  By the way, the above-mentioned voice feature pattern conversion means 11 and the recognition model (1) 12₁, Recognition model (2) 12₂...... Recognition model (U) 12_ULike parameter adjustmentVoice recognition deviceIf the update process is simultaneously performed on all the parameters constituting the, it may take time to reach the minimum loss state. This is because the search path to the minimum state becomes unstable because the number of parameters increases.
  Therefore, there is a parameter training method that makes it possible to perform training at high speed in such a case. Here, an embodiment in which the training time is shortened by this method will be described.
  FIG. 4 made it possible to perform training at high speed by this method.Voice recognition deviceIt is a block diagram which shows the Example of.
  As shown in FIG. 4, the speech feature pattern conversion means 11A of the recognition means 10A and the recognition models (1) 12 of the recognition model group 12₁, Recognition model (2) 12₂...... Recognition model (U) 12_UAs an means for inputting the adjustment amount, an input changeover switch is provided, the switch is switched between A and B, and the parameter training shown in FIG. 2 is performed by the voice feature pattern conversion means 11A and the recognition model group 12. It is what I did.
  This training method is performed according to the following procedure.
1. The switch 11A is trained repeatedly while the switch is turned to the A side and the parameters of the voice feature pattern conversion unit 11A are adjusted.
2. When the loss does not decrease, put the switch on the B side and recognize model (1) 12₁, Recognition model (2) 12₂...... Recognition model (U) 12_UThe repetitive recognition model group 12 is trained while adjusting the parameters.
3. When the loss no longer decreases, the above process 1. Return to.
  Process 1 above. ~ Process 3. If the loss does not decrease even after changing the switch, the training is terminated.
  As described above, by performing the processing separately, the number of parameters to be trained can be reduced, so that the search path to the minimum recognition error state is stabilized and training can be performed at high speed.
[0057]
  In addition, as described above, the recognition model (1) 12 of the speech feature pattern conversion means 11A and the recognition model group 12 is used to adjust the parameter to cope with the result of training or the change in the use situation such as the use environment.₁, Recognition model (2) 12₂...... Recognition model (U) 12_UTherefore, it is possible to return to the previous use condition after the parameter update process of the voice feature pattern conversion unit 11A as described above.
  FIG. 5 enables the return operation.Voice recognition deviceIt is a block diagram which shows the Example of.
  As shown in FIG. 5, a recognition model (1) 12 that performs a recognition process on a speech feature pattern x without going through the speech feature pattern conversion means 11A.₁, Recognition model (2) 12₂...... Recognition model (U) 12_UIf the input changeover switch is provided in the recognizing means 10B and the switch that has been placed on the A side is switched to the B side, the feature pattern x is directly recognized by the recognition model (1) 12₁, Recognition model (2) 12₂...... Recognition model (U) 12_UCan be entered. Therefore, even when the usage state where the mapping of the feature pattern by the voice feature pattern conversion unit 11A does not need to be performed is restored, the recognition can be performed with high accuracy. In this case, the recognition model (1) 12₁, Recognition model (2) 12₂...... Recognition model (U) 12_UThese parameters are set so that a correct recognition result can be obtained without the voice feature pattern conversion means 11A when the usage state such as the usage environment is in a normal state.
[0058]
  Next, even if the usage situation such as the usage environment changes, the voice feature pattern conversion means can be set with a parameter set suitable for the usage conditions, and provided with means for avoiding a reduction in recognition accuracy.Voice recognition deviceExamples will be described.
  In the embodiment shown in FIG. 5 described above, an example is shown in which the parameters of the voice feature pattern conversion unit 11A are updated, and then the previous use conditions are restored. In this embodiment, the selection in the previous embodiment is performed. For this purpose, a plurality of parameter sets are prepared, and by selecting one of them, it is possible to cope with changes in the usage situation.
  FIG. 6 shows the embodiment.Voice recognition deviceIt is a block diagram which shows the recognition means 10C which comprises.
  As shown in FIG. 6, the parameters stored in the speech feature pattern conversion means 11 (11A) in the embodiment shown in FIG. 1 or FIG.₁14₁, Γ₂14₂, ..., Γ_M14_MThe parameter set used in the feature pattern conversion unit 11B is stored as a parameter set Γ stored in a separate manner.₁14₁, Γ₂14₂, ..., Γ_M14_MOne of them is selected and set.
  Here, when the feature pattern conversion means 11B is an artificial neural network as in the above embodiment, this parameter set can be realized as a set of coupling weights for connecting elements,voiceThe feature pattern x can be converted into a desired y. The parameter set may be divided according to the use environment (for example, indoor / outdoor use), or may be divided according to the speaker so as to cope with the case where the speaker is switched.
  According to this embodiment, by selecting a parameter set,voiceSince the feature pattern x can be converted into a feature pattern suitable for the use conditions, it is possible to avoid a decrease in voice recognition accuracy and maintain high recognition accuracy.
[0059]
  Next, a means for reducing the device scale of the recognition means and maintaining high recognition accuracy was provided.Voice recognition deviceExamples will be described.
  In this embodiment, a plurality of different parameter sets Γ possessed by the recognition means 10C shown in the embodiment of FIG.₁14₁, Γ₂14₂, ..., Γ_M14_MThe recognition means side does not have a large parameter set storage means outside, thereby reducing the device size of the recognition means and exceeding the limit of the parameter set that is restricted when the recognition means stores it. Therefore, the parameter set can be selected to achieve this purpose.
  FIG. 7 shows the embodiment.Voice recognition deviceFIG.
  As shown in FIG. 7, the data set as the parameter set 14 used in the feature pattern conversion unit 11B is acquired from the outside using a communication unit. A storage means (for example, server) 50 is connected, and parameter sets can be transmitted and received by transmission / reception means 15 and 55 provided on both sides.
  Therefore, the external storage means (for example, server) 50 has a plurality of parameter sets Γ.₁51₁, Γ₂51₂, ..., Γ_M51_MIs stored (uploaded) (for example, even when the parameter is changed during use by the recognition unit 10D, the server-side external storage unit 50 manages the parameter set as a whole from the recognition unit 10D side. Send the modified data to for later use).
[0060]
When the use conditions change due to the use environment or the speaker being changed, if the recognition means 10D requests the external storage means 50 to download a parameter set that matches the change, a plurality of parameter sets Γ₁51₁, Γ₂51₂, ..., Γ_M51_MThe requested parameter set is selected from the above and sent back, and the parameter set of the feature pattern conversion unit 11B of the recognition unit 10D is rewritten by the data.
The download performed here can be realized by a generally well-known method. For example, the parameter set name displayed in HTML format may be specified while connected to the server, or by using a method such as specifying the corresponding parameter set name via ftp connection. .
As described above, according to this embodiment, since an optimum parameter set can be acquired from a server capable of storing a large amount of external data, the accuracy of voice recognition is further improved, and a plurality of parameter sets are provided on the recognition means 10D side. Therefore, it is possible to reduce the size of the apparatus.
[0061]
  Next, the present invention has a plurality of parameter sets that can be selected and set in the recognition means.Voice recognition deviceAn embodiment relating to parameter training in (an embodiment of which is shown in FIG. 6) will be described.
  FIG. 8 is a diagram of the present invention provided with parameter training means.Voice recognition deviceIt is a block diagram which shows the structure of the Example concerning.
  In this embodiment, training means 30 is added to the recognition means shown in FIG.Voice recognition deviceConfigure.
  During training, the feature pattern conversion unit 11B of the recognition unit 10E and the training unit 30 are connected to the corresponding terminal C of the parameter set.₁~ C_M, A₁~ A_MParameter set Γ for training₁14₁, Γ₂14₂, ..., Γ_M14_MConnect to the same parameter set. The training means 30 can be realized by performing the same processing as the training means 30 described in the embodiment described with reference to FIGS. That is,Voice recognition deviceParameter adjustment amount is calculated so as to minimize the loss obtained from the misclassification degree, the parameters of the parameter set at the connection destination are updated, and the parameter update processing when the artificial neural network is used as the feature pattern conversion means 11B Can be realized using Equation (15). In this way, a desired parameter set can be obtained by training parameters according to use conditions.
  As shown in FIG.Voice recognition deviceThe parameter set training of the recognition means 10D may be performed in the same manner as described above. The data of the parameter set changed as a result of the training is sent to the external storage device 50 by using the transmission / reception means 15 and 55 and stored, so that it can be reused.
[0062]
【The invention's effect】
  According to the present invention, the path to reach the minimum error state is stabilized by dividing the training target into the parameter of the feature pattern conversion means and the parameter of the recognition model, and taking the procedure of training one by one. Train at high speed. Moreover, since the number of parameters to be trained can be reduced by repeating the above procedure, the search route to the minimum recognition error state is further stabilized and higher speed can be achieved.
[Brief description of the drawings]
FIG. 1 of the present inventionVoice recognition deviceIt is a block diagram which shows the structure of the Example of the recognition means concerning this.
FIG. 2 is a diagram of the present invention provided with a parameter training means.Voice recognition deviceIt is a block diagram which shows the structure of the Example concerning.
FIG. 3 is a diagram for explaining an artificial neural network used for voice feature pattern conversion;
FIG. 4 shows the present invention provided with training means.Voice recognition deviceIt is a block diagram which shows the structure of the other Example concerning this.
[Fig. 5] It is possible to return to the use conditions before the update process.Voice recognition deviceIt is a block diagram which shows the Example of.
[Fig. 6]Voice recognition deviceIt is a block diagram which shows the other Example of the recognition means which comprises.
[Fig. 7]Voice recognition deviceIt is a block diagram which shows the other Example.
8 is provided with a parameter training means in the recognition means shown in FIG.Voice recognition deviceIt is a block diagram which shows the structure of the Example concerning.
[Explanation of symbols]
  10, 10A, 10B, 10C, 10D, 10E ... recognition means, 11, 11A, 11B ... feature pattern conversion means, 12 ... recognition model group, 12₁~ 12_U... Recognition models (1) to (U), 13 ... Comparison means, 14 ... Parameter set Γ, 14₁~ 14_M... Parameter set Γ₁~ Γ_M, 15 ... transmission / reception means, 30 ... training means, 50 ... external storage means, 51₁~ 51_M... Parameter set Γ₁~ Γ_M55. Transmission / reception means.

Claims (9)

An acquisition means for analyzing an input voice and acquiring a voice feature pattern;
Conversion means for mapping the voice feature pattern;
Classification means for classifying the voice feature pattern by determining whether the voice feature pattern is classified into any one of a plurality of recognition models based on the voice feature pattern after mapping conversion;
Each training means for adjusting processing parameters in the mapping transformation or the recognition model according to changes in usage conditions ;
Or a switching Kaete stage for switching a connecting said training means to the recognition model to connect to the converting means,
I have a,
A speech recognition apparatus characterized by preventing deterioration of speech recognition accuracy when the usage state changes by adjusting the parameter . It said classification means, by using the parameter in the mapping transform and the recognition model and the speech feature pattern after mapping transform to obtain the evaluation value of the voice feature pattern for said recognition model, the evaluation of each of the recognition models The speech recognition apparatus according to claim 1, wherein the recognition model for classifying the speech feature pattern before mapping conversion is determined by comparing values. The switching Kaete stage, the adjustment of the parameters in the mapping transform, by switching the training means to alternate the adjustment of the parameters in the recognition model, repeating said each adjustment until a predetermined condition The speech recognition apparatus according to claim 1 or 2, characterized in that Adjustment of the parameters in the training device, the speech feature pattern before mapping conversion, possibly the sound feature pattern before mapping transform is to belong to the recognition model to be classified to minimize lower loss The speech recognition apparatus according to claim 1, wherein the parameter in the mapping conversion or the recognition model is adjusted. A speech recognition method in a speech recognition apparatus,
An acquisition step of analyzing the input speech to acquire a speech feature pattern;
A conversion step of mapping the voice feature pattern;
A classification step of classifying the voice feature pattern by determining whether the voice feature pattern is classified into any of a plurality of recognition models based on the voice feature pattern after mapping conversion;
Each training step of adjusting processing parameters in the mapping transformation or the recognition model according to changes in usage conditions ;
And as switching Kawako performed by switching the adjustment of the parameters in the training process in the mapping transform or the recognition model,
I have a,
A speech recognition method characterized by preventing deterioration of speech recognition accuracy when the usage state changes by adjusting the parameter . The classification process uses the parameters in the mapping transform and the recognition model and the speech feature pattern after mapping transform to obtain the evaluation value of the voice feature pattern for said recognition model, the evaluation of each of the recognition models 6. The speech recognition method according to claim 5, wherein the recognition model is a step of discriminating the recognition model for classifying the speech feature pattern before mapping conversion by comparing values. As the switching Kawako the adjustment of the parameters in the mapping transform, by switching the training means to alternate the adjustment of the parameters in the recognition model, repeating said each adjustment until a predetermined condition The speech recognition method according to claim 5, wherein the speech recognition method is a process. Adjustment of the parameters in the training process, the voice characteristic pattern before mapping conversion, possibly the sound feature pattern before mapping transform is to belong to the recognition model to be classified to minimize lower loss The speech recognition method according to claim 5, wherein the parameter in the mapping conversion or the recognition model is adjusted.   A program for causing a computer to execute each step of the speech recognition method according to any one of claims 5 to 8.

Images