JP4169921B2 - 音声認識システム - Google Patents
音声認識システム Download PDFInfo
- Publication number
- JP4169921B2 JP4169921B2 JP2000298536A JP2000298536A JP4169921B2 JP 4169921 B2 JP4169921 B2 JP 4169921B2 JP 2000298536 A JP2000298536 A JP 2000298536A JP 2000298536 A JP2000298536 A JP 2000298536A JP 4169921 B2 JP4169921 B2 JP 4169921B2
- Authority
- JP
- Japan
- Prior art keywords
- feature vector
- vector
- standard
- speech
- speaker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000013598 vector Substances 0.000 claims description 219
- 230000003044 adaptive effect Effects 0.000 claims description 48
- 230000006978 adaptation Effects 0.000 description 48
- 239000000654 additive Substances 0.000 description 31
- 230000000996 additive effect Effects 0.000 description 31
- 238000001228 spectrum Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 9
- 238000009432 framing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000011410 subtraction method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
- G10L15/144—Training of HMMs
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音声認識システムに関し、特に、ノイズに対してロバストな話者適応型の音声認識システムに関する。
【０００２】
【従来の技術】
従来、話者適応型の音声認識システムとして、例えば図９に示す構成のものが知られている。
【０００３】
この音声認識システムは、予め作成された不特定話者の標準音響モデル１００を備え、特定話者の発話した入力音声Ｓcの特徴ベクトルと標準音響モデル１００とを用いて話者適応音響モデル２００を作成し、その特定話者の声に適応させて音声認識を行うようになっている。
【０００４】
適応音響モデル２００を作成する際、指定テキスト（文章や音節等）Ｔxに該当する標準ベクトルＶaを、標準音響モデル１００からパス探索部４と話者適応部５に供給すると共に、実際に指定テキストＴxを特定話者に発話させてその入力音声Ｓcを入力する。
【０００５】
そして、加法性ノイズ除去部１が入力音声Ｓc中に含まれる加法性ノイズを除去した後、特徴ベクトル生成部２が入力音声Ｓcの特徴量である特徴ベクトル系列Ｖcfを生成し、更に乗法性ノイズ除去部３が特徴ベクトル系列Ｖcfから乗法性ノイズを除去することで、加法性ノイズと乗法性ノイズを除去した特徴ベクトル系列Ｖcを生成して、パス探索部４と話者適応部５に供給する。
【０００６】
こうして、標準ベクトルＶaと実際に発話された入力音声Ｓcの特徴ベクトル系列Ｖcがパス探索部４と話者適応部５に供給されると、パス探索部４が、特徴ベクトル系列Ｖcを標準ベクトルＶaと対比して、特徴ベクトル系列Ｖcの音節毎の出現確率と、音節から音節への状態遷移確率とを求めた後、話者適応部５が、上記の出現確率と状態遷移確率とに基づいて標準ベクトルＶaを補償することで、特定話者固有の声の特徴に適応した話者適応音響モデル２００を作成する。
【０００７】
そして、話者適応音響モデル２００を特定話者の声に適応させた後、特定話者が任意の発話をすると、その発話音声の特徴ベクトルと話者適応音響モデル２００の適応ベクトルとを照合し、最大尤度を与える話者適応音響モデル２００を認識結果とすることで音声認識を行うようになっている。
【０００８】
【発明が解決しようとする課題】
ところで、上記従来の適応型音声認識システムでは、適応音響モデル２００を作成する際、加法性ノイズ除去部１は、スペクトルサブトラクション法によって加法性ノイズを除去し、乗法性ノイズ除去部３は、ＣＭＮ法（cepstrum mean normalization）によって乗法性ノイズを除去することで、ノイズの影響を受けない話者適応音響モデル２００を作成することとしている。
【０００９】
すなわち、加法性ノイズ除去部１は、入力音声Ｓcのスペクトルを求めた後、そのスペクトルから加法性ノイズのスペクトルを除去し、乗法性ノイズ除去部３は、入力音声Ｓcのケプストラム（cepstrum）の時間平均値を求めた後、入力音声Ｓcのケプストラムからその時間平均値を差し引くこととしている。
【００１０】
しかし、スペクトルサブトラクション法とＣＭＮ法の何れの方法も、ノイズだけを除去することは極めて困難であり、話者適応により補償すべき話者固有の発話の特徴情報も欠落してしまう場合があるため、適切な話者適応音響モデル２００を作成することができなくなり、ひいては音声認識率の低下を招くという問題があった。
【００１１】
本発明は上記従来の問題点を克服し、ノイズに対してロバスト（robust）で音声認識率の向上を可能にする話者適応型の音声認識システムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するため本発明の音声認識システムは、話者適応音響モデルを用いて音声認識を行う音声認識システムであって、標準の音声の特徴を表した標準ベクトルを有する標準音響モデルと、特定話者が指定テキストに対応する発話をすると、前記発話された音声からノイズを除去し、ノイズの除去された音声の特徴を表す第１の特徴ベクトル系列を生成する第１の特徴ベクトル生成手段と、前記発話された音声からノイズを除去することなく、ノイズが含まれたままの音声の特徴を表す第２の特徴ベクトル系列を生成する第２の特徴ベクトル生成手段と、前記第１の特徴ベクトル系列に含まれる個々の特徴ベクトルと前記標準ベクトルとを対応付けるパス探索手段と、前記パス探索手段によって対応付けられた前記第１の特徴ベクトル系列と前記標準ベクトルとの対応関係に基づき前記第２の特徴ベクトル系列に含まれる個々の特徴ベクトルと前記標準ベクトルとを対応付け、当該特徴ベクトルと対応付けられた前記標準ベクトルとの差に比べ、当該特徴ベクトルと適応ベクトルとの差が小さくなるように前記適応ベクトルを生成する生成手段と、前記特定話者によって発話された音声の特徴を表す特徴ベクトルと前記生成手段によって生成された適応ベクトルとを照合することによって、前記特定話者によって発話された音声の認識を行う認識手段と、を具備することを特徴とする。
【００１３】
また、前記パス探索手段は、前記第１の特徴ベクトル系列に含まれる個々の特徴ベクトルと、当該特徴ベクトルと最も尤度の高い前記標準ベクトルとを対応付けること、を特徴とする。
【００１４】
かかる構成によれば、話者適応の際に、第１の特徴ベクトル生成手段は、話者を取りまいている周囲環境の加法性ノイズや本音声認識システム自体の伝送ノイズ等の乗法性ノイズを除いた第１の特徴ベクトルを生成し、第２の特徴ベクトル生成手段は、話者を取りまいている周囲環境の加法性ノイズや本音声認識システム自体の伝送ノイズ等の乗法性ノイズの特徴を含んだ第２の特徴ベクトルを生成する。そして、これらノイズを含まない第１の特徴ベクトルとノイズを含んだ第２の特徴ベクトルに基づいて標準ベクトルを補償することで適応ベクトルを生成し、この適応ベクトルによって話者の声に適応した話者適応音響モデルを生成する。
【００１５】
このようにノイズを含まない特徴ベクトルとノイズの特徴を含んだ特徴ベクトルに基づいて、標準音響モデル中の標準ベクトルを補償することで、実際の発話環境に対応した話者適応音響モデルを作成することが可能となり、ノイズに対してロバストで音声認識率の高い音声認識システムを実現することが可能となる。
【００１６】
また、第２の特徴ベクトル生成手段は、加法性ノイズや乗法性ノイズを除去しないで特徴ベクトルを生成し、この特徴ベクトルを話者適応に用いるので、本来の音声の特徴情報を除去することなく、適切な話者適応音響モデルを生成することができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。尚、図１は本実施形態の音声認識システムの構成を示すブロック図である。
【００１８】
図１において、本音声認識システムは、隠れマルコフモデル（Hidden Markov Model：ＨＭＭ）を用いて予め作成された不特定話者の標準音響モデル（以下、「標準音声ＨＭＭ」という）３００と、話者適用によって生成される話者適応音響モデル（以下、「適応音声ＨＭＭ」という）４００を備えて構成されている。
【００１９】
尚、本実施形態を分かり易く例示するために、標準音声ＨＭＭ３００の状態数を１とする。また、標準音声ＨＭＭ３００は音節毎に出力確立分布を有しており、この出現確率分布の平均ベクトルが標準ベクトルとなっている。
【００２０】
よって、標準音声ＨＭＭ３００は、図２に模式的に示すように、音節毎にＭ次元の標準ベクトル〔ａn,M〕をもっている。つまり、標準音声ＨＭＭ３００を作成する際、例えば静寂環境の下で収音した１人或いは複数人の話者（不特定話者）が発話した音声データを所定時間毎にフレーム化し、そのフレーム化した音声を順次にケプストラム演算することで、音節毎に複数フレーム分のケプストラム領域での特徴ベクトル系列を生成し、更に音節毎に複数フレーム分の特徴ベクトル系列の平均を求める等によって、音節毎の標準ベクトル〔ａn,M〕からなる標準音声ＨＭＭ３００を作成している。
【００２１】
ここで、標準ベクトル〔ａn,M〕の変数ｎは、各音節を識別するための状態番号、変数Ｍはベクトルの次元を表している。例えば状態番号ｎ＝１に該当する日本語の音節〔あ〕は、Ｍ次元の標準ベクトル〔ａn,M〕＝〔ａ1,1 ａ1,2 ａ1,3… ａ1,M〕、状態番号ｎ＝２に該当する日本語の音節〔い〕は、Ｍ次元の標準ベクトル〔ａn,M〕＝〔ａ2,1 ａ2,2 ａ2,3 … ａ2,M〕、以下同様にして、残りの音節も状態番号ｎによって区別されたＭ次元の標準ベクトル〔ａn,M〕として特徴付けられている。
【００２２】
後述する話者適応の際に、標準音声ＨＭＭ３００は、予め決められた文章や音節等の指定テキストＴxが供給され、その指定テキストＴxを構成している音節に該当する標準ベクトル〔ａn,M〕を音節の配列順に従って、パス探索部１０と話者適応部１１に供給する。
【００２３】
例えば、日本語の「こんにちわ」の指定テキストＴxが供給されると、〔こ〕，〔ん〕，〔に〕，〔ち〕，〔わ〕を表す夫々の状態番号ｎ＝１０，４６，２２，１７，４４に該当する標準ベクトル〔ａ10,1 ａ10,2 ａ10,3 … ａ10,M〕，〔ａ46,1 ａ46,2 ａ46,3 … ａ46,M〕，〔ａ22,1 ａ22,2 ａ22,3 … ａ22,M〕，〔ａ17,1 ａ17,2 ａ17,3 … ａ17,M〕，〔ａ44,1 ａ44,2 ａ44,3… ａ44,M〕を順番にパス探索部１０と話者適応部１１に供給する。
【００２４】
更に、本音声認識システムには、フレーム化部６と、加法性ノイズ除去部７、特徴ベクトル生成部８、乗法性ノイズ除去部９、特徴ベクトル生成部１２が備えられている。
【００２５】
フレーム化部６は、話者適応の際に特定話者が指定テキストＴxを実際に発話すると、その入力音声Ｓcを所定時間（例えば、１０〜２０msec）毎のフレームに区分けして加法性ノイズ除去部７，１３及び特徴ベクトル生成部１２側へ出力する。
【００２６】
加法性ノイズ除去部７は、フレーム毎に区分けされた各入力音声Ｓcfを順次にフーリエ変換することで、フレーム毎のスペクトルを生成し、更に各スペクトルに含まれている加法性ノイズをスペクトル領域において除去して出力する。
【００２７】
特徴ベクトル生成部８は、加法性ノイズの除去されたスペクトルをフレーム毎にケプストラム演算することで、ケプストラム領域での特徴ベクトル系列〔ｃi,M〕’を生成する。尚、特徴ベクトル系列〔ｃi,M〕’の変数ｉはフレーム毎の順番（番号）、変数Ｍは次元を表している。
【００２８】
乗法性ノイズ除去部９は、ＣＭＮ法を用いて特徴ベクトル系列〔ｃi,M〕’から乗法性ノイズを除去する。すなわち、特徴ベクトル生成部８によってフレームｉ毎に求められた複数個の特徴ベクトル系列〔ｃi,M〕’を各次元毎に時間平均し、それによって求まるＭ次元の時間平均値〔ｃ^M〕を各特徴ベクトル系列〔ｃi,M〕’から減算することで、乗法性ノイズを除去した特徴ベクトル系列〔ｃi,M〕を生成し、パス探索部１０に供給する。
【００２９】
特徴ベクトル生成部１２は、フレーム化部６から出力されるフレーム毎に区分けされた各入力音声Ｓcfを順次にフーリエ変換することでフレーム毎のスペクトルを生成し、更に各スペクトルをフレーム毎にケプストラム演算することで、ケプストラム領域での特徴ベクトル系列〔ｓi,M〕を生成し、話者適応部１１に供給する。尚、特徴ベクトル系列〔ｓi,M〕の変数ｉはフレーム毎の順番、変数Ｍは次元を表している。
【００３０】
こうしてパス探索部１０には、指定テキストＴxと標準ベクトル〔ａn,M〕と特徴ベクトル系列〔ｃi,M〕が供給され、話者適応部１１には、指定テキストＴxと標準ベクトル〔ａn,M〕と特徴ベクトル系列〔ｓi,M〕が供給される。
【００３１】
パス探索部１０は、標準ベクトル〔ａn,M〕と特徴ベクトル系列〔ｃi,M〕とを対比し、フレーム毎の特徴ベクトル系列〔ｃi,M〕が指定テキストＴxのどの音節に該当するか判定することでパス探索を行い、そのパス探索結果Ｄvを話者適応部１１に供給する。
【００３２】
話者適応部１１は、特徴ベクトル生成部１２からの特徴ベクトル系列〔ｓi,M〕をパス探索結果Ｄvに基づいて音節毎に区分けする。そして、区分けした音節毎の特徴ベクトル系列〔ｓi,M〕について次元毎に平均を求めることにより、音節毎の平均特徴ベクトル〔ｓ^n,M〕を生成する。
【００３３】
更に話者適応部１１は、指定テキストＴxに該当する各音節の標準ベクトル〔ａn,M〕と平均特徴ベクトル〔ｓ^n,M〕との夫々の差ベクトル〔ｄn,M〕を求める。そして、それらの差ベクトル〔ｄn,M〕を平均演算することにより、特定話者の特徴を表すＭ次元の移動ベクトル〔ｍM〕を求め、更に標準音声ＨＭＭ３００からの全ての音節の標準ベクトル〔ａn,M〕に移動ベクトル〔ｍM〕を加えることで、全ての音節についての適応ベクトル〔ｘn,M〕を生成し、それらの適応ベクトル〔ｘn,M〕によって適応音声ＨＭＭ４００を更新する。
【００３４】
次に、パス探索部１０と話者適応部１１の機能を図２〜図８に基づいてより詳細に説明する。
【００３５】
尚、典型例として、日本語の「こんにちわ」の指定テキストＴxに基づいて話者適応する場合を説明する。
【００３６】
また、話者が「こんにちわ」と発話した入力音声Ｓcをフレーム化部６が３０フレームに区分けして入力するものとする。
【００３７】
標準音声ＨＭＭ３００は、図２に示した様に、複数個の各音節に対応付けられた不特定話者の標準ベクトル〔ａn,M〕として作成されている。また、各音節は状態番号ｎによって分類されている。
【００３８】
また、適応音声ＨＭＭ４００は、話者適応がなされる前は、図２に示した標準音声ＨＭＭ３００の標準ベクトル〔ａn,M〕と同じ内容に設定（ディフォルト設定）されている。
【００３９】
話者適応の処理が開始され、「こんにちわ」の指定テキストＴxが標準音声ＨＭＭ３００に供給されると、音節〔こ〕を表す状態番号ｎ＝１０に該当する標準ベクトル〔ａ10,1 ａ10,2 ａ10,3 … ａ10,M〕と、音節〔ん〕を表す状態番号ｎ＝４６に該当する標準ベクトル〔ａ46,1 ａ46,2 ａ46,3 … ａ46,M〕と、音節〔に〕を表す状態番号ｎ＝２２に該当する標準ベクトル〔ａ22,1 ａ22,2ａ22,3 … ａ22,M〕と、音節〔ち〕を表す状態番号ｎ＝１７に該当する標準ベクトル〔ａ17,1 ａ17,2 ａ17,3 … ａ17,M〕と、音節〔わ〕を表す状態番号ｎ＝４４に該当する標準ベクトル〔ａ44,1 ａ44,2 ａ44,3 … ａ44,M〕がパス探索部１０と話者適応部１１に供給される。
【００４０】
次に、特定話者が「こんにちわ」と発話すると、フレーム化部６がその入力音声Ｓcを時間経過に従って３０フレームに区分けして出力し、特徴ベクトル生成部１２が、各フレームの順番に従って入力音声Ｓcfの特徴ベクトル〔ｓ1,1 ｓ1,2 ｓ1,3 … ｓ1,M〕〜〔ｓ30,1 ｓ30,2 ｓ30,3 … ｓ30,M〕を生成して話者適応部１１に供給する。
【００４１】
すなわち、図３に模式的に示すように、特徴ベクトル生成部１２は、ｉ＝１〜３０の３０フレーム分の特徴ベクトル系列〔ｓi,M〕＝〔ｓ1,1 ｓ1,2 ｓ1,3 … ｓ1,M〕〜〔ｓ30,1 ｓ30,2 ｓ30,3 … ｓ30,M〕を生成して話者適応部１１に供給する。
【００４２】
一方、加法性ノイズ除去部７と特徴ベクトル生成部８と乗法性ノイズ除去部９で構成された処理系統では、フレーム化部６から供給される各フレームの入力音声Ｓcfに基づいて、ｉ＝１〜３０の３０フレーム分の特徴ベクトル系列〔ｃi,M〕＝〔ｃ1,1 ｃ1,2 ｃ1,3 … ｃ1,M〕〜〔ｃ30,1 ｃ30,2 ｃ30,3 … ｃ30,M〕を生成し、パス探索部１０に供給する。すなわち、図４に模式的に示すように、３０フレーム分の特徴ベクトル系列〔ｃi,M〕＝〔ｃ1,1 ｃ1,2 ｃ1,3 …ｃ1,M〕〜〔ｃ30,1 ｃ30,2 ｃ30,3 … ｃ30,M〕が乗法性ノイズ除去部９を通じてパス探索部１０に供給される。
【００４３】
パス探索部１０は、ビタビ（Viterbi）アルゴリズムやフォワードバックワードアルゴリズム等の手法によって、３０フレーム分の特徴ベクトル系列〔ｃi,M〕と指定テキストＴxの各音節に対応する標準ベクトル〔ａn,M〕とを対比し、特徴ベクトル系列〔ｃi,M〕がフレーム毎にどの時点でどの音節に該当するか調べる。
【００４４】
これにより、図５に示すように、３０フレームの各フレーム番号ｉと、「こんにちわ」の各音節を表す各状態番号ｎとの対応付けを行う。そして、この対応付けした結果をパス探索結果Ｄvとして話者適応部１１に供給する。
【００４５】
話者適応部１１は、パス探索結果Ｄvに基づいて、特徴ベクトル〔ｓ1,1 ｓ1,2 ｓ1,3 … ｓ1,M〕〜〔ｓ30,1 ｓ30,2 ｓ30,3 … ｓ30,M〕と、標準ベクトル〔ａ10,1 ａ10,2 ａ10,3 … ａ10,M〕，〔ａ46,1 ａ46,2 ａ46,3 … ａ46,M〕，〔ａ22,1 ａ22,2 ａ22,3 … ａ22,M〕，〔ａ17,1 ａ17,2 ａ17,3 … ａ17,M〕，〔ａ44,1 ａ44,2 ａ44,3 … ａ44,M〕との対応付けを行う。
【００４６】
すなわち、図６に示すように、パス探索によって求まった音節〔こ〕に該当するフレーム番号ｉ＝１〜６の特徴ベクトル〔ｓ1,1 ｓ1,2 ｓ1,3 … ｓ1,M〕〜〔ｓ6,1 ｓ6,2 ｓ6,3 … ｓ6,M〕に対して、標準ベクトル〔ａ10,1 ａ10,2 ａ10,3 … ａ10,M〕の対応付けが行われ、音節〔ん〕に該当するフレーム番号ｉ＝７〜１０の特徴ベクトル〔ｓ7,1 ｓ7,2 ｓ7,3 … ｓ7,M〕〜〔ｓ10,1 ｓ10,2 ｓ10,3 … ｓ10,M〕に対して、標準ベクトル〔ａ46,1 ａ46,2 ａ46,3 … ａ46,M〕の対応付けが行われる。
【００４７】
更に、音節〔に〕に該当するフレーム番号ｉ＝１１〜１４の特徴ベクトル〔ｓ11,1 ｓ11,2 ｓ11,3 … ｓ11,M〕〜〔ｓ14,1 ｓ14,2 ｓ14,3 … ｓ14,M〕に対して、標準ベクトル〔ａ22,1 ａ22,2 ａ22,3 … ａ22,M〕の対応付けが行われ、音節〔ち〕に該当するフレーム番号ｉ＝１５〜１８フレームの特徴ベクトル〔ｓ15,1 ｓ15,2 ｓ15,3 … ｓ15,M〕〜〔ｓ18,1 ｓ18,2 ｓ18,3 … ｓ18,M〕に対して、標準ベクトル〔ａ17,1 ａ17,2 ａ17,3 … ａ17,M〕の対応付けが行われ、音節〔わ〕に該当するフレーム番号ｉ＝１９〜３０の特徴ベクトル〔ｓ19,1 ｓ19,2 ｓ19,3 … ｓ19,M〕〜〔ｓ30,1 ｓ30,2 ｓ30,3 … ｓ30,M〕に対して、標準ベクトル〔ａ44,1 ａ44,2 ａ44,3 … ａ44,M〕の対応付けが行われる。
【００４８】
次に、話者適応部１１は、図６に示した３０フレーム分の特徴ベクトル〔ｓ1,1 ｓ1,2 ｓ1,3 … ｓ1,M〕〜〔ｓ30,1 ｓ30,2 ｓ30,3 … ｓ30,M〕を各音節〔こ〕，〔ん〕，〔に〕，〔ち〕，〔わ〕毎に区分けし、区分けした特徴ベクトル毎の平均を求めることにより、図７に示すように、各音節〔こ〕，〔ん〕，〔に〕，〔ち〕，〔わ〕毎の平均特徴ベクトル〔ｓ^n,M〕を生成する。
【００４９】
つまり、図６に示した音節〔こ〕に該当する第１〜第６フレーム（フレーム数ｋ＝６）の特徴ベクトル〔ｓ1,1 ｓ1,2 ｓ1,3 … ｓ1,M〕〜〔ｓ6,1 ｓ6,2 ｓ6,3 … ｓ6,M〕については、次式（１）で示すように、第１次元目の６個の要素ｓ1,1〜ｓ6,1を加算し、その加算値（ｓ1,1＋ｓ2,1＋ｓ3,1＋ｓ4,1＋ｓ5,1＋ｓ6,1）をフレーム数ｋ＝６で乗算することにより、平均特徴ベクトル〔ｓ^n,M〕の第１次元目の要素ｓ^n,1を求める。また、第２次元目の６個の要素ｓ1,2〜ｓ6,2についても同様に、加算値（ｓ1,2＋ｓ2,2＋ｓ3,2＋ｓ4,2＋ｓ5,2＋ｓ6,2）を求め、フレーム数ｋ＝６で乗算することにより、平均特徴ベクトル〔ｓ^n,M〕の第２次元目の要素ｓ^n,2を求める。以下同様にして、第Ｍ次元目の６個の要素ｓ1,M〜ｓ6,Mまでの要素ｓ^n,Mを求め、これらＭ次元の要素ｓ^n,1〜ｓ^n,Mからなる音節〔こ〕に該当するＭ次元の平均特徴ベクトル〔ｓ^n,1 ｓ^n,2 ｓ^n,3 … ｓ^n,M 〕を生成する。
【００５０】
【数１】
尚、式（１）中の変数ｋは各音節におけるフレーム数、変数ｎは各音節を識別するための状態番号、変数Ｍは次元を表している。したがって、式（１）中の変数ｎは、ｎ＝１０となり、音節〔こ〕に該当するＭ次元の平均特徴ベクトルは〔ｓ^10,1 ｓ^10,2 ｓ^10,3 … ｓ^10,M〕となる。
また、残りの音節〔ん〕に該当する平均特徴ベクトル〔ｓ^46,1 … ｓ^46,M〕と、音節〔に〕に該当する平均特徴ベクトル〔ｓ^22,1 … ｓ^22,M〕と、音節〔ち〕に該当する平均特徴ベクトル〔ｓ^17,1 … ｓ^17,M〕と、音節〔わ〕に該当する平均特徴ベクトル〔ｓ^44,1 … ｓ^44,M〕も同様にして求める。
【００５１】
次に、次式（２）に基づいて、各音節「こ」，「ん」，「に」，「ち」，「わ」に対応する平均特徴ベクトル〔ｓ^10,1 … ｓ^10,M〕，〔ｓ^46,1 … ｓ^46,M〕，〔ｓ^22,1 … ｓ^22,M〕，〔ｓ^17,1 … ｓ^17,M〕，〔ｓ^44,1 … ｓ^44,M〕と、標準ベクトル〔ａ10,1 … ａ10,M〕，〔ａ46,1 … ａ46,M〕，〔ａ22,1 … ａ22,M〕，〔ａ17,1… ａ17,M〕，〔ａ44,1 … ａ44,M〕とのそれぞれ差ベクトル〔ｄ10,1 … ｄ10,M〕，〔ｄ46,1 … ｄ46,M〕，〔ｄ22,1 … ｄ22,M〕，〔ｄ17,1 … ｄ17,M〕，〔ｄ44,1 … ｄ44,M〕を求める。
【００５２】
【数２】
尚、上記式（２）中の変数ｎは、各音節「こ」，「ん」，「に」，「ち」，「わ」に対応する状態番号ｎ＝１０，４６，２２，１７，４４を示し、変数ｊは、ベクトルの各次元ｊ＝１〜Ｍを示している。
【００５３】
そして、求めた差ベクトル〔ｄ10,1 … ｄ10,M〕，〔ｄ46,1 … ｄ46,M〕，〔ｄ22,1 … ｄ22,M〕，〔ｄ17,1 … ｄ17,M〕，〔ｄ44,1 … ｄ44,M〕を次式（３）に適応して、各次元毎の平均を求めることにより、これら５個（Ｖ＝５）の音節「こ」，「ん」，「に」，「ち」，「わ」のＭ次元移動ベクトル〔ｍM〕＝〔ｍ1，ｍ2，…，ｍM〕を求める。
【００５４】
【数３】
尚、上記（３）中の変数ｊは、ベクトルの各次元ｊ＝１〜Ｍを示している。また、変数ｎは、各音節「こ」，「ん」，「に」，「ち」，「わ」に対応する状態番号ｎ＝１０，４６，２２，１７，４４を示し、変数Ｖは音節の数（Ｖ＝５）を示している。
【００５５】
こうして求めた移動ベクトル〔ｍM〕＝〔ｍ1，ｍ2，…，ｍM〕は、特定話者の特徴を表している。そこで、次式（４）の演算式で示すように、全ての音節の標準ベクトル〔ａn,M〕に移動ベクトル〔ｍM〕を加えることで、話者固有の特徴を有する適応ベクトル〔ｘn,M〕を求め、更に、図８に示すように、求めた適応ベクトル〔ｘn,M〕によって適応音声ＨＭＭ４００を更新することで、話者適応の処理を完了する。
【００５６】
【数４】
また、一例として「こんにちわ」の指定テキストＴxに基づいて適応音声ＨＭＭ４００を話者適応する場合を説明したが、他の音節を含んだ指定テキストＴxに基づいて適応音声ＨＭＭ４００を話者適応することで、適応音声ＨＭＭ４００中の全ての音節についても話者適応が行われるようになっている。
【００５７】
次に、話者適応により適応音声ＨＭＭ４００を生成した後、特定話者が任意の発話をすると、その入力音声Ｓcをフレーム化部６が上記同様に所定時間（例えば、１０〜２０msec）毎のフレームに区分けし、各フレームの入力音声Ｓcfを時間経過順に出力して加法性ノイズ除去部１３側へ供給する。
【００５８】
加法性ノイズ除去部１３は、上記した加法性ノイズ除去部７と同様に、フレーム毎に区分けされた各入力音声Ｓcfを順次にフーリエ変換することでフレーム毎のスペクトルを生成し、更に各スペクトルに含まれている加法性ノイズをスペクトル領域において除去して、特徴ベクトル生成部１４側へ出力する。
【００５９】
特徴ベクトル生成部１４は、上記した特徴ベクトル生成部８と同様に、加法性ノイズの除去されたスペクトルをフレーム毎にケプストラム演算することで、ケプストラム領域での特徴ベクトル系列〔ｙi,M〕’を生成して、乗法性ノイズ除去部１５側へ出力する。
【００６０】
乗法性ノイズ除去部１５は、上記した乗法性ノイズ除去部９と同様に、ＣＭＮ法を用いて特徴ベクトル系列〔ｙi,M〕’から乗法性ノイズを除去し、その乗法性ノイズを除去したＭ次元の特徴ベクトル系列〔ｙi,M〕を認識部１６に供給する。尚、特徴ベクトル系列〔ｙi,M〕の変数ｉはフレーム番号を表している。
【００６１】
こうして、実際に発話された声の特徴ベクトル系列〔ｙi,M〕が認識部１６に供給されると、認識部１６は、特徴ベクトル系列〔ｙi,M〕と話者適応した適応音声ＨＭＭ４００の適応ベクトル〔ｘn,M〕とを照合し、最大尤度を与える適応音声ＨＭＭ４００を認識結果として出力する。
【００６２】
以上に述べたように本実施形態の音声認識システムによれば、話者適応の際に、指定テキストＴxに従って特定話者が発話すると、加法性ノイズ除去部７と特徴ベクトル生成部８及び乗法性ノイズ除去部９が、加法性ノイズと乗法性ノイズを除去した特徴ベクトル系列〔ｃi,M〕を生成すると共に、特徴ベクトル生成部１２が、加法性ノイズと乗法性ノイズを含んでいる入力音声Ｓcfに基づいて特徴ベクトル系列〔ｓi,M〕を生成し、パス探索部１０と話者適応部１１が、これらの特徴ベクトル系列〔ｃi,M〕と特徴ベクトル系列〔ｓi,M〕及び標準ベクトル〔ａi,M〕に基づいて話者適応した適応ベクトル〔ｘi,M〕を生成し、その話者適応した適応ベクトル〔ｘi,M〕で適応音声ＨＭＭ４００を更新している。
【００６３】
このため、特定話者を取りまいている周囲環境のノイズ（加法性ノイズ）や本音声認識システム自体の伝送ノイズ（乗法性ノイズ）の特徴を含んだ特徴ベクトル系列〔ｓi,M〕が話者適応に用いられることになり、実際の発話環境に対応した適応音声ＨＭＭ４００を生成することが可能となることから、ノイズに対してロバストで音声認識率の高い音声認識システムを実現することができる。
【００６４】
また、従来の話者適応型の音声認識システムでは、話者適応の際に、加法性ノイズや乗法性ノイズを除去した特徴ベクトルを生成するのに伴って、話者適応により補償すべき話者固有の発話の特徴情報も欠落してしまい、適切な話者適応音響モデルを作成することができないという問題があったが、本実施形態の音声認識システムによれば、特徴ベクトル生成部１２が、加法性ノイズや乗法性ノイズを除去しないで特徴ベクトル系列〔ｓi,M〕を生成し、この特徴ベクトル系列〔ｓi,M〕を話者適応に用いるので、話者適応により補償すべき話者固有の発話の特徴情報を欠落することなく、適切な話者適応音響モデルを作成することができて、音声認識率の向上を図ることができる。
【００６５】
尚、本実施形態では、日本語の「あいうえお」等の音節を基準にした適応音声ＨＭＭ４００を作成する場合を説明したが、音節のみに限らず、音素等を基準として適応音声ＨＭＭ４００を作成することが可能である。
【００６６】
また、本実施形態では、簡単な例示を上げて、話者適応の手法について説明したが、標準ベクトル〔ａn,M〕と適応話者の特徴ベクトル系列〔ｓi,M〕或いは〔ｃi,M〕との対応を求め、それに基づいて話者適応音響モデルを生成する他の様々な話者適応手法に本発明の話者適応手法を適応することが可能である。
【００６７】
【発明の効果】
以上説明したように本発明の音声認識システムによれば、話者適応の際に、加法性ノイズや乗法性ノイズを除いた特徴ベクトルと、加法性ノイズや乗法性ノイズの特徴を含んだ特徴ベクトルとを生成し、これらノイズを含まない特徴ベクトルとノイズを含んだ特徴ベクトルに基づいて、標準ベクトルを補償することで、話者固有の発話に適応した話者適応音響モデルを作成するようにしたので、実際の発話環境に対応した話者適応音響モデルを生成することが可能となる。
【００６８】
また、加法性ノイズや乗法性ノイズを除去しないで特徴ベクトルを話者適応に用いるので、話者適応により補償すべき話者固有の発話の特徴情報を欠落することなく、適切な話者適応音響モデルを生成することができる。
【００６９】
このため、ノイズに対してロバストで音声認識率の高い音声認識システムを実現することが可能となる。
【図面の簡単な説明】
【図１】本実施形態の音声認識システムの構成を示すブロック図である。
【図２】標準音響モデルの構成を模式的に示した図である。
【図３】話者適応の際に特徴ベクトル生成部１２で生成される特徴ベクトル系列〔ｓi,M〕を示した図である。
【図４】話者適応の際に乗法性ノイズ除去部９から出力される特徴ベクトル系列〔ｃi,M〕を示した図である。
【図５】特徴ベクトル系列〔ｃi,M〕と標準ベクトル〔ａn,M〕との対応関係をフレーム番号と状態番号に基づいて示した図である。
【図６】特徴ベクトル系列〔ｃi,M〕と標準ベクトル〔ａn,M〕とフレーム番号及び状態番号を対応付けて示した図である。
【図７】話者適応によって生成される平均特徴ベクトルと標準ベクトルとの対応関係を示した図である。
【図８】更新後の話者適応音響モデルの内容を示した図である。
【図９】従来の話者適応型音声認識システムの構成を示すブロック図である。
【符号の説明】
６…フレーム化部
７，１３…加法性ノイズ除去部
８，１２，１４…特徴ベクトル生成部
９，１５…乗法性ノイズ除去部
１０…パス探索部
１１…話者適応部
１６…認識部
３００…標準音響モデル（標準音声ＨＭＭ）
４００…話者適応音響モデル（適応音声ＨＭＭ）
【発明の属する技術分野】
本発明は、音声認識システムに関し、特に、ノイズに対してロバストな話者適応型の音声認識システムに関する。
【０００２】
【従来の技術】
従来、話者適応型の音声認識システムとして、例えば図９に示す構成のものが知られている。
【０００３】
この音声認識システムは、予め作成された不特定話者の標準音響モデル１００を備え、特定話者の発話した入力音声Ｓcの特徴ベクトルと標準音響モデル１００とを用いて話者適応音響モデル２００を作成し、その特定話者の声に適応させて音声認識を行うようになっている。
【０００４】
適応音響モデル２００を作成する際、指定テキスト（文章や音節等）Ｔxに該当する標準ベクトルＶaを、標準音響モデル１００からパス探索部４と話者適応部５に供給すると共に、実際に指定テキストＴxを特定話者に発話させてその入力音声Ｓcを入力する。
【０００５】
そして、加法性ノイズ除去部１が入力音声Ｓc中に含まれる加法性ノイズを除去した後、特徴ベクトル生成部２が入力音声Ｓcの特徴量である特徴ベクトル系列Ｖcfを生成し、更に乗法性ノイズ除去部３が特徴ベクトル系列Ｖcfから乗法性ノイズを除去することで、加法性ノイズと乗法性ノイズを除去した特徴ベクトル系列Ｖcを生成して、パス探索部４と話者適応部５に供給する。
【０００６】
こうして、標準ベクトルＶaと実際に発話された入力音声Ｓcの特徴ベクトル系列Ｖcがパス探索部４と話者適応部５に供給されると、パス探索部４が、特徴ベクトル系列Ｖcを標準ベクトルＶaと対比して、特徴ベクトル系列Ｖcの音節毎の出現確率と、音節から音節への状態遷移確率とを求めた後、話者適応部５が、上記の出現確率と状態遷移確率とに基づいて標準ベクトルＶaを補償することで、特定話者固有の声の特徴に適応した話者適応音響モデル２００を作成する。
【０００７】
そして、話者適応音響モデル２００を特定話者の声に適応させた後、特定話者が任意の発話をすると、その発話音声の特徴ベクトルと話者適応音響モデル２００の適応ベクトルとを照合し、最大尤度を与える話者適応音響モデル２００を認識結果とすることで音声認識を行うようになっている。
【０００８】
【発明が解決しようとする課題】
ところで、上記従来の適応型音声認識システムでは、適応音響モデル２００を作成する際、加法性ノイズ除去部１は、スペクトルサブトラクション法によって加法性ノイズを除去し、乗法性ノイズ除去部３は、ＣＭＮ法（cepstrum mean normalization）によって乗法性ノイズを除去することで、ノイズの影響を受けない話者適応音響モデル２００を作成することとしている。
【０００９】
すなわち、加法性ノイズ除去部１は、入力音声Ｓcのスペクトルを求めた後、そのスペクトルから加法性ノイズのスペクトルを除去し、乗法性ノイズ除去部３は、入力音声Ｓcのケプストラム（cepstrum）の時間平均値を求めた後、入力音声Ｓcのケプストラムからその時間平均値を差し引くこととしている。
【００１０】
しかし、スペクトルサブトラクション法とＣＭＮ法の何れの方法も、ノイズだけを除去することは極めて困難であり、話者適応により補償すべき話者固有の発話の特徴情報も欠落してしまう場合があるため、適切な話者適応音響モデル２００を作成することができなくなり、ひいては音声認識率の低下を招くという問題があった。
【００１１】
本発明は上記従来の問題点を克服し、ノイズに対してロバスト（robust）で音声認識率の向上を可能にする話者適応型の音声認識システムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するため本発明の音声認識システムは、話者適応音響モデルを用いて音声認識を行う音声認識システムであって、標準の音声の特徴を表した標準ベクトルを有する標準音響モデルと、特定話者が指定テキストに対応する発話をすると、前記発話された音声からノイズを除去し、ノイズの除去された音声の特徴を表す第１の特徴ベクトル系列を生成する第１の特徴ベクトル生成手段と、前記発話された音声からノイズを除去することなく、ノイズが含まれたままの音声の特徴を表す第２の特徴ベクトル系列を生成する第２の特徴ベクトル生成手段と、前記第１の特徴ベクトル系列に含まれる個々の特徴ベクトルと前記標準ベクトルとを対応付けるパス探索手段と、前記パス探索手段によって対応付けられた前記第１の特徴ベクトル系列と前記標準ベクトルとの対応関係に基づき前記第２の特徴ベクトル系列に含まれる個々の特徴ベクトルと前記標準ベクトルとを対応付け、当該特徴ベクトルと対応付けられた前記標準ベクトルとの差に比べ、当該特徴ベクトルと適応ベクトルとの差が小さくなるように前記適応ベクトルを生成する生成手段と、前記特定話者によって発話された音声の特徴を表す特徴ベクトルと前記生成手段によって生成された適応ベクトルとを照合することによって、前記特定話者によって発話された音声の認識を行う認識手段と、を具備することを特徴とする。
【００１３】
また、前記パス探索手段は、前記第１の特徴ベクトル系列に含まれる個々の特徴ベクトルと、当該特徴ベクトルと最も尤度の高い前記標準ベクトルとを対応付けること、を特徴とする。
【００１４】
かかる構成によれば、話者適応の際に、第１の特徴ベクトル生成手段は、話者を取りまいている周囲環境の加法性ノイズや本音声認識システム自体の伝送ノイズ等の乗法性ノイズを除いた第１の特徴ベクトルを生成し、第２の特徴ベクトル生成手段は、話者を取りまいている周囲環境の加法性ノイズや本音声認識システム自体の伝送ノイズ等の乗法性ノイズの特徴を含んだ第２の特徴ベクトルを生成する。そして、これらノイズを含まない第１の特徴ベクトルとノイズを含んだ第２の特徴ベクトルに基づいて標準ベクトルを補償することで適応ベクトルを生成し、この適応ベクトルによって話者の声に適応した話者適応音響モデルを生成する。
【００１５】
このようにノイズを含まない特徴ベクトルとノイズの特徴を含んだ特徴ベクトルに基づいて、標準音響モデル中の標準ベクトルを補償することで、実際の発話環境に対応した話者適応音響モデルを作成することが可能となり、ノイズに対してロバストで音声認識率の高い音声認識システムを実現することが可能となる。
【００１６】
また、第２の特徴ベクトル生成手段は、加法性ノイズや乗法性ノイズを除去しないで特徴ベクトルを生成し、この特徴ベクトルを話者適応に用いるので、本来の音声の特徴情報を除去することなく、適切な話者適応音響モデルを生成することができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。尚、図１は本実施形態の音声認識システムの構成を示すブロック図である。
【００１８】
図１において、本音声認識システムは、隠れマルコフモデル（Hidden Markov Model：ＨＭＭ）を用いて予め作成された不特定話者の標準音響モデル（以下、「標準音声ＨＭＭ」という）３００と、話者適用によって生成される話者適応音響モデル（以下、「適応音声ＨＭＭ」という）４００を備えて構成されている。
【００１９】
尚、本実施形態を分かり易く例示するために、標準音声ＨＭＭ３００の状態数を１とする。また、標準音声ＨＭＭ３００は音節毎に出力確立分布を有しており、この出現確率分布の平均ベクトルが標準ベクトルとなっている。
【００２０】
よって、標準音声ＨＭＭ３００は、図２に模式的に示すように、音節毎にＭ次元の標準ベクトル〔ａn,M〕をもっている。つまり、標準音声ＨＭＭ３００を作成する際、例えば静寂環境の下で収音した１人或いは複数人の話者（不特定話者）が発話した音声データを所定時間毎にフレーム化し、そのフレーム化した音声を順次にケプストラム演算することで、音節毎に複数フレーム分のケプストラム領域での特徴ベクトル系列を生成し、更に音節毎に複数フレーム分の特徴ベクトル系列の平均を求める等によって、音節毎の標準ベクトル〔ａn,M〕からなる標準音声ＨＭＭ３００を作成している。
【００２１】
ここで、標準ベクトル〔ａn,M〕の変数ｎは、各音節を識別するための状態番号、変数Ｍはベクトルの次元を表している。例えば状態番号ｎ＝１に該当する日本語の音節〔あ〕は、Ｍ次元の標準ベクトル〔ａn,M〕＝〔ａ1,1 ａ1,2 ａ1,3… ａ1,M〕、状態番号ｎ＝２に該当する日本語の音節〔い〕は、Ｍ次元の標準ベクトル〔ａn,M〕＝〔ａ2,1 ａ2,2 ａ2,3 … ａ2,M〕、以下同様にして、残りの音節も状態番号ｎによって区別されたＭ次元の標準ベクトル〔ａn,M〕として特徴付けられている。
【００２２】
後述する話者適応の際に、標準音声ＨＭＭ３００は、予め決められた文章や音節等の指定テキストＴxが供給され、その指定テキストＴxを構成している音節に該当する標準ベクトル〔ａn,M〕を音節の配列順に従って、パス探索部１０と話者適応部１１に供給する。
【００２３】
例えば、日本語の「こんにちわ」の指定テキストＴxが供給されると、〔こ〕，〔ん〕，〔に〕，〔ち〕，〔わ〕を表す夫々の状態番号ｎ＝１０，４６，２２，１７，４４に該当する標準ベクトル〔ａ10,1 ａ10,2 ａ10,3 … ａ10,M〕，〔ａ46,1 ａ46,2 ａ46,3 … ａ46,M〕，〔ａ22,1 ａ22,2 ａ22,3 … ａ22,M〕，〔ａ17,1 ａ17,2 ａ17,3 … ａ17,M〕，〔ａ44,1 ａ44,2 ａ44,3… ａ44,M〕を順番にパス探索部１０と話者適応部１１に供給する。
【００２４】
更に、本音声認識システムには、フレーム化部６と、加法性ノイズ除去部７、特徴ベクトル生成部８、乗法性ノイズ除去部９、特徴ベクトル生成部１２が備えられている。
【００２５】
フレーム化部６は、話者適応の際に特定話者が指定テキストＴxを実際に発話すると、その入力音声Ｓcを所定時間（例えば、１０〜２０msec）毎のフレームに区分けして加法性ノイズ除去部７，１３及び特徴ベクトル生成部１２側へ出力する。
【００２６】
加法性ノイズ除去部７は、フレーム毎に区分けされた各入力音声Ｓcfを順次にフーリエ変換することで、フレーム毎のスペクトルを生成し、更に各スペクトルに含まれている加法性ノイズをスペクトル領域において除去して出力する。
【００２７】
特徴ベクトル生成部８は、加法性ノイズの除去されたスペクトルをフレーム毎にケプストラム演算することで、ケプストラム領域での特徴ベクトル系列〔ｃi,M〕’を生成する。尚、特徴ベクトル系列〔ｃi,M〕’の変数ｉはフレーム毎の順番（番号）、変数Ｍは次元を表している。
【００２８】
乗法性ノイズ除去部９は、ＣＭＮ法を用いて特徴ベクトル系列〔ｃi,M〕’から乗法性ノイズを除去する。すなわち、特徴ベクトル生成部８によってフレームｉ毎に求められた複数個の特徴ベクトル系列〔ｃi,M〕’を各次元毎に時間平均し、それによって求まるＭ次元の時間平均値〔ｃ^M〕を各特徴ベクトル系列〔ｃi,M〕’から減算することで、乗法性ノイズを除去した特徴ベクトル系列〔ｃi,M〕を生成し、パス探索部１０に供給する。
【００２９】
特徴ベクトル生成部１２は、フレーム化部６から出力されるフレーム毎に区分けされた各入力音声Ｓcfを順次にフーリエ変換することでフレーム毎のスペクトルを生成し、更に各スペクトルをフレーム毎にケプストラム演算することで、ケプストラム領域での特徴ベクトル系列〔ｓi,M〕を生成し、話者適応部１１に供給する。尚、特徴ベクトル系列〔ｓi,M〕の変数ｉはフレーム毎の順番、変数Ｍは次元を表している。
【００３０】
こうしてパス探索部１０には、指定テキストＴxと標準ベクトル〔ａn,M〕と特徴ベクトル系列〔ｃi,M〕が供給され、話者適応部１１には、指定テキストＴxと標準ベクトル〔ａn,M〕と特徴ベクトル系列〔ｓi,M〕が供給される。
【００３１】
パス探索部１０は、標準ベクトル〔ａn,M〕と特徴ベクトル系列〔ｃi,M〕とを対比し、フレーム毎の特徴ベクトル系列〔ｃi,M〕が指定テキストＴxのどの音節に該当するか判定することでパス探索を行い、そのパス探索結果Ｄvを話者適応部１１に供給する。
【００３２】
話者適応部１１は、特徴ベクトル生成部１２からの特徴ベクトル系列〔ｓi,M〕をパス探索結果Ｄvに基づいて音節毎に区分けする。そして、区分けした音節毎の特徴ベクトル系列〔ｓi,M〕について次元毎に平均を求めることにより、音節毎の平均特徴ベクトル〔ｓ^n,M〕を生成する。
【００３３】
更に話者適応部１１は、指定テキストＴxに該当する各音節の標準ベクトル〔ａn,M〕と平均特徴ベクトル〔ｓ^n,M〕との夫々の差ベクトル〔ｄn,M〕を求める。そして、それらの差ベクトル〔ｄn,M〕を平均演算することにより、特定話者の特徴を表すＭ次元の移動ベクトル〔ｍM〕を求め、更に標準音声ＨＭＭ３００からの全ての音節の標準ベクトル〔ａn,M〕に移動ベクトル〔ｍM〕を加えることで、全ての音節についての適応ベクトル〔ｘn,M〕を生成し、それらの適応ベクトル〔ｘn,M〕によって適応音声ＨＭＭ４００を更新する。
【００３４】
次に、パス探索部１０と話者適応部１１の機能を図２〜図８に基づいてより詳細に説明する。
【００３５】
尚、典型例として、日本語の「こんにちわ」の指定テキストＴxに基づいて話者適応する場合を説明する。
【００３６】
また、話者が「こんにちわ」と発話した入力音声Ｓcをフレーム化部６が３０フレームに区分けして入力するものとする。
【００３７】
標準音声ＨＭＭ３００は、図２に示した様に、複数個の各音節に対応付けられた不特定話者の標準ベクトル〔ａn,M〕として作成されている。また、各音節は状態番号ｎによって分類されている。
【００３８】
また、適応音声ＨＭＭ４００は、話者適応がなされる前は、図２に示した標準音声ＨＭＭ３００の標準ベクトル〔ａn,M〕と同じ内容に設定（ディフォルト設定）されている。
【００３９】
話者適応の処理が開始され、「こんにちわ」の指定テキストＴxが標準音声ＨＭＭ３００に供給されると、音節〔こ〕を表す状態番号ｎ＝１０に該当する標準ベクトル〔ａ10,1 ａ10,2 ａ10,3 … ａ10,M〕と、音節〔ん〕を表す状態番号ｎ＝４６に該当する標準ベクトル〔ａ46,1 ａ46,2 ａ46,3 … ａ46,M〕と、音節〔に〕を表す状態番号ｎ＝２２に該当する標準ベクトル〔ａ22,1 ａ22,2ａ22,3 … ａ22,M〕と、音節〔ち〕を表す状態番号ｎ＝１７に該当する標準ベクトル〔ａ17,1 ａ17,2 ａ17,3 … ａ17,M〕と、音節〔わ〕を表す状態番号ｎ＝４４に該当する標準ベクトル〔ａ44,1 ａ44,2 ａ44,3 … ａ44,M〕がパス探索部１０と話者適応部１１に供給される。
【００４０】
次に、特定話者が「こんにちわ」と発話すると、フレーム化部６がその入力音声Ｓcを時間経過に従って３０フレームに区分けして出力し、特徴ベクトル生成部１２が、各フレームの順番に従って入力音声Ｓcfの特徴ベクトル〔ｓ1,1 ｓ1,2 ｓ1,3 … ｓ1,M〕〜〔ｓ30,1 ｓ30,2 ｓ30,3 … ｓ30,M〕を生成して話者適応部１１に供給する。
【００４１】
すなわち、図３に模式的に示すように、特徴ベクトル生成部１２は、ｉ＝１〜３０の３０フレーム分の特徴ベクトル系列〔ｓi,M〕＝〔ｓ1,1 ｓ1,2 ｓ1,3 … ｓ1,M〕〜〔ｓ30,1 ｓ30,2 ｓ30,3 … ｓ30,M〕を生成して話者適応部１１に供給する。
【００４２】
一方、加法性ノイズ除去部７と特徴ベクトル生成部８と乗法性ノイズ除去部９で構成された処理系統では、フレーム化部６から供給される各フレームの入力音声Ｓcfに基づいて、ｉ＝１〜３０の３０フレーム分の特徴ベクトル系列〔ｃi,M〕＝〔ｃ1,1 ｃ1,2 ｃ1,3 … ｃ1,M〕〜〔ｃ30,1 ｃ30,2 ｃ30,3 … ｃ30,M〕を生成し、パス探索部１０に供給する。すなわち、図４に模式的に示すように、３０フレーム分の特徴ベクトル系列〔ｃi,M〕＝〔ｃ1,1 ｃ1,2 ｃ1,3 …ｃ1,M〕〜〔ｃ30,1 ｃ30,2 ｃ30,3 … ｃ30,M〕が乗法性ノイズ除去部９を通じてパス探索部１０に供給される。
【００４３】
パス探索部１０は、ビタビ（Viterbi）アルゴリズムやフォワードバックワードアルゴリズム等の手法によって、３０フレーム分の特徴ベクトル系列〔ｃi,M〕と指定テキストＴxの各音節に対応する標準ベクトル〔ａn,M〕とを対比し、特徴ベクトル系列〔ｃi,M〕がフレーム毎にどの時点でどの音節に該当するか調べる。
【００４４】
これにより、図５に示すように、３０フレームの各フレーム番号ｉと、「こんにちわ」の各音節を表す各状態番号ｎとの対応付けを行う。そして、この対応付けした結果をパス探索結果Ｄvとして話者適応部１１に供給する。
【００４５】
話者適応部１１は、パス探索結果Ｄvに基づいて、特徴ベクトル〔ｓ1,1 ｓ1,2 ｓ1,3 … ｓ1,M〕〜〔ｓ30,1 ｓ30,2 ｓ30,3 … ｓ30,M〕と、標準ベクトル〔ａ10,1 ａ10,2 ａ10,3 … ａ10,M〕，〔ａ46,1 ａ46,2 ａ46,3 … ａ46,M〕，〔ａ22,1 ａ22,2 ａ22,3 … ａ22,M〕，〔ａ17,1 ａ17,2 ａ17,3 … ａ17,M〕，〔ａ44,1 ａ44,2 ａ44,3 … ａ44,M〕との対応付けを行う。
【００４６】
すなわち、図６に示すように、パス探索によって求まった音節〔こ〕に該当するフレーム番号ｉ＝１〜６の特徴ベクトル〔ｓ1,1 ｓ1,2 ｓ1,3 … ｓ1,M〕〜〔ｓ6,1 ｓ6,2 ｓ6,3 … ｓ6,M〕に対して、標準ベクトル〔ａ10,1 ａ10,2 ａ10,3 … ａ10,M〕の対応付けが行われ、音節〔ん〕に該当するフレーム番号ｉ＝７〜１０の特徴ベクトル〔ｓ7,1 ｓ7,2 ｓ7,3 … ｓ7,M〕〜〔ｓ10,1 ｓ10,2 ｓ10,3 … ｓ10,M〕に対して、標準ベクトル〔ａ46,1 ａ46,2 ａ46,3 … ａ46,M〕の対応付けが行われる。
【００４７】
更に、音節〔に〕に該当するフレーム番号ｉ＝１１〜１４の特徴ベクトル〔ｓ11,1 ｓ11,2 ｓ11,3 … ｓ11,M〕〜〔ｓ14,1 ｓ14,2 ｓ14,3 … ｓ14,M〕に対して、標準ベクトル〔ａ22,1 ａ22,2 ａ22,3 … ａ22,M〕の対応付けが行われ、音節〔ち〕に該当するフレーム番号ｉ＝１５〜１８フレームの特徴ベクトル〔ｓ15,1 ｓ15,2 ｓ15,3 … ｓ15,M〕〜〔ｓ18,1 ｓ18,2 ｓ18,3 … ｓ18,M〕に対して、標準ベクトル〔ａ17,1 ａ17,2 ａ17,3 … ａ17,M〕の対応付けが行われ、音節〔わ〕に該当するフレーム番号ｉ＝１９〜３０の特徴ベクトル〔ｓ19,1 ｓ19,2 ｓ19,3 … ｓ19,M〕〜〔ｓ30,1 ｓ30,2 ｓ30,3 … ｓ30,M〕に対して、標準ベクトル〔ａ44,1 ａ44,2 ａ44,3 … ａ44,M〕の対応付けが行われる。
【００４８】
次に、話者適応部１１は、図６に示した３０フレーム分の特徴ベクトル〔ｓ1,1 ｓ1,2 ｓ1,3 … ｓ1,M〕〜〔ｓ30,1 ｓ30,2 ｓ30,3 … ｓ30,M〕を各音節〔こ〕，〔ん〕，〔に〕，〔ち〕，〔わ〕毎に区分けし、区分けした特徴ベクトル毎の平均を求めることにより、図７に示すように、各音節〔こ〕，〔ん〕，〔に〕，〔ち〕，〔わ〕毎の平均特徴ベクトル〔ｓ^n,M〕を生成する。
【００４９】
つまり、図６に示した音節〔こ〕に該当する第１〜第６フレーム（フレーム数ｋ＝６）の特徴ベクトル〔ｓ1,1 ｓ1,2 ｓ1,3 … ｓ1,M〕〜〔ｓ6,1 ｓ6,2 ｓ6,3 … ｓ6,M〕については、次式（１）で示すように、第１次元目の６個の要素ｓ1,1〜ｓ6,1を加算し、その加算値（ｓ1,1＋ｓ2,1＋ｓ3,1＋ｓ4,1＋ｓ5,1＋ｓ6,1）をフレーム数ｋ＝６で乗算することにより、平均特徴ベクトル〔ｓ^n,M〕の第１次元目の要素ｓ^n,1を求める。また、第２次元目の６個の要素ｓ1,2〜ｓ6,2についても同様に、加算値（ｓ1,2＋ｓ2,2＋ｓ3,2＋ｓ4,2＋ｓ5,2＋ｓ6,2）を求め、フレーム数ｋ＝６で乗算することにより、平均特徴ベクトル〔ｓ^n,M〕の第２次元目の要素ｓ^n,2を求める。以下同様にして、第Ｍ次元目の６個の要素ｓ1,M〜ｓ6,Mまでの要素ｓ^n,Mを求め、これらＭ次元の要素ｓ^n,1〜ｓ^n,Mからなる音節〔こ〕に該当するＭ次元の平均特徴ベクトル〔ｓ^n,1 ｓ^n,2 ｓ^n,3 … ｓ^n,M 〕を生成する。
【００５０】
【数１】
また、残りの音節〔ん〕に該当する平均特徴ベクトル〔ｓ^46,1 … ｓ^46,M〕と、音節〔に〕に該当する平均特徴ベクトル〔ｓ^22,1 … ｓ^22,M〕と、音節〔ち〕に該当する平均特徴ベクトル〔ｓ^17,1 … ｓ^17,M〕と、音節〔わ〕に該当する平均特徴ベクトル〔ｓ^44,1 … ｓ^44,M〕も同様にして求める。
【００５１】
次に、次式（２）に基づいて、各音節「こ」，「ん」，「に」，「ち」，「わ」に対応する平均特徴ベクトル〔ｓ^10,1 … ｓ^10,M〕，〔ｓ^46,1 … ｓ^46,M〕，〔ｓ^22,1 … ｓ^22,M〕，〔ｓ^17,1 … ｓ^17,M〕，〔ｓ^44,1 … ｓ^44,M〕と、標準ベクトル〔ａ10,1 … ａ10,M〕，〔ａ46,1 … ａ46,M〕，〔ａ22,1 … ａ22,M〕，〔ａ17,1… ａ17,M〕，〔ａ44,1 … ａ44,M〕とのそれぞれ差ベクトル〔ｄ10,1 … ｄ10,M〕，〔ｄ46,1 … ｄ46,M〕，〔ｄ22,1 … ｄ22,M〕，〔ｄ17,1 … ｄ17,M〕，〔ｄ44,1 … ｄ44,M〕を求める。
【００５２】
【数２】
【００５３】
そして、求めた差ベクトル〔ｄ10,1 … ｄ10,M〕，〔ｄ46,1 … ｄ46,M〕，〔ｄ22,1 … ｄ22,M〕，〔ｄ17,1 … ｄ17,M〕，〔ｄ44,1 … ｄ44,M〕を次式（３）に適応して、各次元毎の平均を求めることにより、これら５個（Ｖ＝５）の音節「こ」，「ん」，「に」，「ち」，「わ」のＭ次元移動ベクトル〔ｍM〕＝〔ｍ1，ｍ2，…，ｍM〕を求める。
【００５４】
【数３】
【００５５】
こうして求めた移動ベクトル〔ｍM〕＝〔ｍ1，ｍ2，…，ｍM〕は、特定話者の特徴を表している。そこで、次式（４）の演算式で示すように、全ての音節の標準ベクトル〔ａn,M〕に移動ベクトル〔ｍM〕を加えることで、話者固有の特徴を有する適応ベクトル〔ｘn,M〕を求め、更に、図８に示すように、求めた適応ベクトル〔ｘn,M〕によって適応音声ＨＭＭ４００を更新することで、話者適応の処理を完了する。
【００５６】
【数４】
【００５７】
次に、話者適応により適応音声ＨＭＭ４００を生成した後、特定話者が任意の発話をすると、その入力音声Ｓcをフレーム化部６が上記同様に所定時間（例えば、１０〜２０msec）毎のフレームに区分けし、各フレームの入力音声Ｓcfを時間経過順に出力して加法性ノイズ除去部１３側へ供給する。
【００５８】
加法性ノイズ除去部１３は、上記した加法性ノイズ除去部７と同様に、フレーム毎に区分けされた各入力音声Ｓcfを順次にフーリエ変換することでフレーム毎のスペクトルを生成し、更に各スペクトルに含まれている加法性ノイズをスペクトル領域において除去して、特徴ベクトル生成部１４側へ出力する。
【００５９】
特徴ベクトル生成部１４は、上記した特徴ベクトル生成部８と同様に、加法性ノイズの除去されたスペクトルをフレーム毎にケプストラム演算することで、ケプストラム領域での特徴ベクトル系列〔ｙi,M〕’を生成して、乗法性ノイズ除去部１５側へ出力する。
【００６０】
乗法性ノイズ除去部１５は、上記した乗法性ノイズ除去部９と同様に、ＣＭＮ法を用いて特徴ベクトル系列〔ｙi,M〕’から乗法性ノイズを除去し、その乗法性ノイズを除去したＭ次元の特徴ベクトル系列〔ｙi,M〕を認識部１６に供給する。尚、特徴ベクトル系列〔ｙi,M〕の変数ｉはフレーム番号を表している。
【００６１】
こうして、実際に発話された声の特徴ベクトル系列〔ｙi,M〕が認識部１６に供給されると、認識部１６は、特徴ベクトル系列〔ｙi,M〕と話者適応した適応音声ＨＭＭ４００の適応ベクトル〔ｘn,M〕とを照合し、最大尤度を与える適応音声ＨＭＭ４００を認識結果として出力する。
【００６２】
以上に述べたように本実施形態の音声認識システムによれば、話者適応の際に、指定テキストＴxに従って特定話者が発話すると、加法性ノイズ除去部７と特徴ベクトル生成部８及び乗法性ノイズ除去部９が、加法性ノイズと乗法性ノイズを除去した特徴ベクトル系列〔ｃi,M〕を生成すると共に、特徴ベクトル生成部１２が、加法性ノイズと乗法性ノイズを含んでいる入力音声Ｓcfに基づいて特徴ベクトル系列〔ｓi,M〕を生成し、パス探索部１０と話者適応部１１が、これらの特徴ベクトル系列〔ｃi,M〕と特徴ベクトル系列〔ｓi,M〕及び標準ベクトル〔ａi,M〕に基づいて話者適応した適応ベクトル〔ｘi,M〕を生成し、その話者適応した適応ベクトル〔ｘi,M〕で適応音声ＨＭＭ４００を更新している。
【００６３】
このため、特定話者を取りまいている周囲環境のノイズ（加法性ノイズ）や本音声認識システム自体の伝送ノイズ（乗法性ノイズ）の特徴を含んだ特徴ベクトル系列〔ｓi,M〕が話者適応に用いられることになり、実際の発話環境に対応した適応音声ＨＭＭ４００を生成することが可能となることから、ノイズに対してロバストで音声認識率の高い音声認識システムを実現することができる。
【００６４】
また、従来の話者適応型の音声認識システムでは、話者適応の際に、加法性ノイズや乗法性ノイズを除去した特徴ベクトルを生成するのに伴って、話者適応により補償すべき話者固有の発話の特徴情報も欠落してしまい、適切な話者適応音響モデルを作成することができないという問題があったが、本実施形態の音声認識システムによれば、特徴ベクトル生成部１２が、加法性ノイズや乗法性ノイズを除去しないで特徴ベクトル系列〔ｓi,M〕を生成し、この特徴ベクトル系列〔ｓi,M〕を話者適応に用いるので、話者適応により補償すべき話者固有の発話の特徴情報を欠落することなく、適切な話者適応音響モデルを作成することができて、音声認識率の向上を図ることができる。
【００６５】
尚、本実施形態では、日本語の「あいうえお」等の音節を基準にした適応音声ＨＭＭ４００を作成する場合を説明したが、音節のみに限らず、音素等を基準として適応音声ＨＭＭ４００を作成することが可能である。
【００６６】
また、本実施形態では、簡単な例示を上げて、話者適応の手法について説明したが、標準ベクトル〔ａn,M〕と適応話者の特徴ベクトル系列〔ｓi,M〕或いは〔ｃi,M〕との対応を求め、それに基づいて話者適応音響モデルを生成する他の様々な話者適応手法に本発明の話者適応手法を適応することが可能である。
【００６７】
【発明の効果】
以上説明したように本発明の音声認識システムによれば、話者適応の際に、加法性ノイズや乗法性ノイズを除いた特徴ベクトルと、加法性ノイズや乗法性ノイズの特徴を含んだ特徴ベクトルとを生成し、これらノイズを含まない特徴ベクトルとノイズを含んだ特徴ベクトルに基づいて、標準ベクトルを補償することで、話者固有の発話に適応した話者適応音響モデルを作成するようにしたので、実際の発話環境に対応した話者適応音響モデルを生成することが可能となる。
【００６８】
また、加法性ノイズや乗法性ノイズを除去しないで特徴ベクトルを話者適応に用いるので、話者適応により補償すべき話者固有の発話の特徴情報を欠落することなく、適切な話者適応音響モデルを生成することができる。
【００６９】
このため、ノイズに対してロバストで音声認識率の高い音声認識システムを実現することが可能となる。
【図面の簡単な説明】
【図１】本実施形態の音声認識システムの構成を示すブロック図である。
【図２】標準音響モデルの構成を模式的に示した図である。
【図３】話者適応の際に特徴ベクトル生成部１２で生成される特徴ベクトル系列〔ｓi,M〕を示した図である。
【図４】話者適応の際に乗法性ノイズ除去部９から出力される特徴ベクトル系列〔ｃi,M〕を示した図である。
【図５】特徴ベクトル系列〔ｃi,M〕と標準ベクトル〔ａn,M〕との対応関係をフレーム番号と状態番号に基づいて示した図である。
【図６】特徴ベクトル系列〔ｃi,M〕と標準ベクトル〔ａn,M〕とフレーム番号及び状態番号を対応付けて示した図である。
【図７】話者適応によって生成される平均特徴ベクトルと標準ベクトルとの対応関係を示した図である。
【図８】更新後の話者適応音響モデルの内容を示した図である。
【図９】従来の話者適応型音声認識システムの構成を示すブロック図である。
【符号の説明】
６…フレーム化部
７，１３…加法性ノイズ除去部
８，１２，１４…特徴ベクトル生成部
９，１５…乗法性ノイズ除去部
１０…パス探索部
１１…話者適応部
１６…認識部
３００…標準音響モデル（標準音声ＨＭＭ）
４００…話者適応音響モデル（適応音声ＨＭＭ）
Claims (2)
- 話者適応音響モデルを用いて音声認識を行う音声認識システムであって、
標準の音声の特徴を表した標準ベクトルを有する標準音響モデルと、
特定話者が指定テキストに対応する発話をすると、前記発話された音声からノイズを除去し、ノイズの除去された音声の特徴を表す第１の特徴ベクトル系列を生成する第１の特徴ベクトル生成手段と、
前記発話された音声からノイズを除去することなく、ノイズが含まれたままの音声の特徴を表す第２の特徴ベクトル系列を生成する第２の特徴ベクトル生成手段と、
前記第１の特徴ベクトル系列に含まれる個々の特徴ベクトルと前記標準ベクトルとを対応付けるパス探索手段と、
前記パス探索手段によって対応付けられた前記第１の特徴ベクトル系列と前記標準ベクトルとの対応関係に基づき前記第２の特徴ベクトル系列に含まれる個々の特徴ベクトルと前記標準ベクトルとを対応付け、当該特徴ベクトルと対応付けられた前記標準ベクトルとの差に比べ、当該特徴ベクトルと適応ベクトルとの差が小さくなるように前記適応ベクトルを生成する生成手段と、
前記特定話者によって発話された音声の特徴を表す特徴ベクトルと前記生成手段によって生成された適応ベクトルとを照合することによって、前記特定話者によって発話された音声の認識を行う認識手段と、
を具備することを特徴とする音声認識システム。 - 前記パス探索手段は、前記第１の特徴ベクトル系列に含まれる個々の特徴ベクトルと、当該特徴ベクトルと最も尤度の高い前記標準ベクトルとを対応付けること、
を特徴とする請求項１に記載の音声認識システム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000298536A JP4169921B2 (ja) | 2000-09-29 | 2000-09-29 | 音声認識システム |
| DE60114968T DE60114968T2 (de) | 2000-09-29 | 2001-09-27 | Geräuschrobuste Spracherkennung |
| EP01308268A EP1195744B1 (en) | 2000-09-29 | 2001-09-27 | Noise robust voice recognition |
| US09/964,677 US7065488B2 (en) | 2000-09-29 | 2001-09-28 | Speech recognition system with an adaptive acoustic model |
| CN01137997.9A CN1236421C (zh) | 2000-09-29 | 2001-09-29 | 语音识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000298536A JP4169921B2 (ja) | 2000-09-29 | 2000-09-29 | 音声認識システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002108383A JP2002108383A (ja) | 2002-04-10 |
| JP4169921B2 true JP4169921B2 (ja) | 2008-10-22 |
Family
ID=18780481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000298536A Expired - Fee Related JP4169921B2 (ja) | 2000-09-29 | 2000-09-29 | 音声認識システム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7065488B2 (ja) |
| EP (1) | EP1195744B1 (ja) |
| JP (1) | JP4169921B2 (ja) |
| CN (1) | CN1236421C (ja) |
| DE (1) | DE60114968T2 (ja) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002123285A (ja) * | 2000-10-13 | 2002-04-26 | Sony Corp | 話者適応装置および話者適応方法、記録媒体、並びに音声認識装置 |
| GB2384901B (en) * | 2002-02-04 | 2004-04-21 | Zentian Ltd | Speech recognition circuit using parallel processors |
| DE102004008225B4 (de) * | 2004-02-19 | 2006-02-16 | Infineon Technologies Ag | Verfahren und Einrichtung zum Ermitteln von Merkmalsvektoren aus einem Signal zur Mustererkennung, Verfahren und Einrichtung zur Mustererkennung sowie computerlesbare Speichermedien |
| US7865362B2 (en) | 2005-02-04 | 2011-01-04 | Vocollect, Inc. | Method and system for considering information about an expected response when performing speech recognition |
| US7949533B2 (en) | 2005-02-04 | 2011-05-24 | Vococollect, Inc. | Methods and systems for assessing and improving the performance of a speech recognition system |
| US7895039B2 (en) | 2005-02-04 | 2011-02-22 | Vocollect, Inc. | Methods and systems for optimizing model adaptation for a speech recognition system |
| US8200495B2 (en) * | 2005-02-04 | 2012-06-12 | Vocollect, Inc. | Methods and systems for considering information about an expected response when performing speech recognition |
| US7827032B2 (en) | 2005-02-04 | 2010-11-02 | Vocollect, Inc. | Methods and systems for adapting a model for a speech recognition system |
| JP4332129B2 (ja) * | 2005-04-20 | 2009-09-16 | 富士通株式会社 | 文書分類プログラム、文書分類方法および文書分類装置 |
| JP2009521736A (ja) * | 2005-11-07 | 2009-06-04 | スキャンスカウト，インコーポレイテッド | リッチメディアと共に広告をレンダリングするための技術 |
| WO2007105409A1 (ja) * | 2006-02-27 | 2007-09-20 | Nec Corporation | 標準パタン適応装置、標準パタン適応方法および標準パタン適応プログラム |
| JP4245617B2 (ja) * | 2006-04-06 | 2009-03-25 | 株式会社東芝 | 特徴量補正装置、特徴量補正方法および特徴量補正プログラム |
| JP4316583B2 (ja) * | 2006-04-07 | 2009-08-19 | 株式会社東芝 | 特徴量補正装置、特徴量補正方法および特徴量補正プログラム |
| US20080109391A1 (en) * | 2006-11-07 | 2008-05-08 | Scanscout, Inc. | Classifying content based on mood |
| US8549550B2 (en) | 2008-09-17 | 2013-10-01 | Tubemogul, Inc. | Method and apparatus for passively monitoring online video viewing and viewer behavior |
| US8577996B2 (en) * | 2007-09-18 | 2013-11-05 | Tremor Video, Inc. | Method and apparatus for tracing users of online video web sites |
| US9612995B2 (en) | 2008-09-17 | 2017-04-04 | Adobe Systems Incorporated | Video viewer targeting based on preference similarity |
| US20110093783A1 (en) * | 2009-10-16 | 2011-04-21 | Charles Parra | Method and system for linking media components |
| CA2781299A1 (en) * | 2009-11-20 | 2012-05-03 | Tadashi Yonezaki | Methods and apparatus for optimizing advertisement allocation |
| KR101060183B1 (ko) * | 2009-12-11 | 2011-08-30 | 한국과학기술연구원 | 임베디드 청각 시스템 및 음성 신호 처리 방법 |
| US20110150270A1 (en) * | 2009-12-22 | 2011-06-23 | Carpenter Michael D | Postal processing including voice training |
| JP5494468B2 (ja) * | 2010-12-27 | 2014-05-14 | 富士通株式会社 | 状態検出装置、状態検出方法および状態検出のためのプログラム |
| US8914290B2 (en) | 2011-05-20 | 2014-12-16 | Vocollect, Inc. | Systems and methods for dynamically improving user intelligibility of synthesized speech in a work environment |
| CN102760436B (zh) * | 2012-08-09 | 2014-06-11 | 河南省烟草公司开封市公司 | 一种语音词库筛选方法 |
| US9978395B2 (en) | 2013-03-15 | 2018-05-22 | Vocollect, Inc. | Method and system for mitigating delay in receiving audio stream during production of sound from audio stream |
| US10714121B2 (en) | 2016-07-27 | 2020-07-14 | Vocollect, Inc. | Distinguishing user speech from background speech in speech-dense environments |
| KR102637339B1 (ko) | 2018-08-31 | 2024-02-16 | 삼성전자주식회사 | 음성 인식 모델을 개인화하는 방법 및 장치 |
| CN111627425B (zh) | 2019-02-12 | 2023-11-28 | 阿里巴巴集团控股有限公司 | 一种语音识别方法及系统 |
| CN110197670B (zh) * | 2019-06-04 | 2022-06-07 | 大众问问(北京)信息科技有限公司 | 音频降噪方法、装置及电子设备 |
| JP7252086B2 (ja) * | 2019-07-29 | 2023-04-04 | アルパイン株式会社 | 適応同定システム、適応同定装置、及び適応同定方法 |
| CN112863483B (zh) * | 2021-01-05 | 2022-11-08 | 杭州一知智能科技有限公司 | 支持多说话人风格、语言切换且韵律可控的语音合成装置 |
| US20250174243A1 (en) * | 2023-11-28 | 2025-05-29 | Meta Platforms, Inc. | Systems and methods for noise suppression |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5721808A (en) * | 1995-03-06 | 1998-02-24 | Nippon Telegraph And Telephone Corporation | Method for the composition of noise-resistant hidden markov models for speech recognition and speech recognizer using the same |
| JP2780676B2 (ja) * | 1995-06-23 | 1998-07-30 | 日本電気株式会社 | 音声認識装置及び音声認識方法 |
| JP3001037B2 (ja) * | 1995-12-13 | 2000-01-17 | 日本電気株式会社 | 音声認識装置 |
| US6026359A (en) * | 1996-09-20 | 2000-02-15 | Nippon Telegraph And Telephone Corporation | Scheme for model adaptation in pattern recognition based on Taylor expansion |
| US5924065A (en) * | 1997-06-16 | 1999-07-13 | Digital Equipment Corporation | Environmently compensated speech processing |
| US6510408B1 (en) * | 1997-07-01 | 2003-01-21 | Patran Aps | Method of noise reduction in speech signals and an apparatus for performing the method |
| US6658385B1 (en) * | 1999-03-12 | 2003-12-02 | Texas Instruments Incorporated | Method for transforming HMMs for speaker-independent recognition in a noisy environment |
| US6529866B1 (en) * | 1999-11-24 | 2003-03-04 | The United States Of America As Represented By The Secretary Of The Navy | Speech recognition system and associated methods |
| US7089182B2 (en) * | 2000-04-18 | 2006-08-08 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for feature domain joint channel and additive noise compensation |
| US7003455B1 (en) * | 2000-10-16 | 2006-02-21 | Microsoft Corporation | Method of noise reduction using correction and scaling vectors with partitioning of the acoustic space in the domain of noisy speech |
-
2000
- 2000-09-29 JP JP2000298536A patent/JP4169921B2/ja not_active Expired - Fee Related
-
2001
- 2001-09-27 DE DE60114968T patent/DE60114968T2/de not_active Expired - Fee Related
- 2001-09-27 EP EP01308268A patent/EP1195744B1/en not_active Expired - Lifetime
- 2001-09-28 US US09/964,677 patent/US7065488B2/en not_active Expired - Fee Related
- 2001-09-29 CN CN01137997.9A patent/CN1236421C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| DE60114968T2 (de) | 2006-07-27 |
| CN1346125A (zh) | 2002-04-24 |
| EP1195744B1 (en) | 2005-11-16 |
| EP1195744A3 (en) | 2003-01-22 |
| DE60114968D1 (de) | 2005-12-22 |
| CN1236421C (zh) | 2006-01-11 |
| EP1195744A2 (en) | 2002-04-10 |
| US7065488B2 (en) | 2006-06-20 |
| US20020042712A1 (en) | 2002-04-11 |
| JP2002108383A (ja) | 2002-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4169921B2 (ja) | 音声認識システム | |
| CN101014997B (zh) | 用于生成用于自动语音识别器的训练数据的方法和系统 | |
| US7272561B2 (en) | Speech recognition device and speech recognition method | |
| JP3836815B2 (ja) | 音声認識装置、音声認識方法、該音声認識方法をコンピュータに対して実行させるためのコンピュータ実行可能なプログラムおよび記憶媒体 | |
| JPH11126090A (ja) | 音声認識方法及び音声認識装置並びに音声認識装置を動作させるためのプログラムが記録された記録媒体 | |
| JPH08234788A (ja) | 音声認識のバイアス等化方法および装置 | |
| EP1471500B1 (en) | System and method for speech recognition using models adapted to actual noise conditions | |
| US8332222B2 (en) | Viterbi decoder and speech recognition method using same using non-linear filter for observation probabilities | |
| JPH075892A (ja) | 音声認識方法 | |
| JP2021099454A (ja) | 音声合成装置、音声合成プログラム及び音声合成方法 | |
| CN109155128B (zh) | 声学模型学习装置、声学模型学习方法、语音识别装置和语音识别方法 | |
| JP3587966B2 (ja) | 音声認識方法、装置そよびその記憶媒体 | |
| JPWO2008126254A1 (ja) | 話者認識装置、音響モデル更新方法及び音響モデル更新処理プログラム | |
| JP2000194392A (ja) | 騒音適応型音声認識装置及び騒音適応型音声認識プログラムを記録した記録媒体 | |
| JP4464797B2 (ja) | 音声認識方法、この方法を実施する装置、プログラムおよびその記録媒体 | |
| Babani et al. | Acoustic model training for non-audible murmur recognition using transformed normal speech data | |
| JP3250604B2 (ja) | 音声認識方法および装置 | |
| JP2001356793A (ja) | 音声認識装置、及び音声認識方法 | |
| JP2005265895A (ja) | 素片接続型音声合成装置及び方法 | |
| JP2004309959A (ja) | 音声認識装置および音声認識方法 | |
| JPH0786758B2 (ja) | 音声認識装置 | |
| JP4644879B2 (ja) | 調音パラメータ補間用データ生成装置及びコンピュータプログラム | |
| Zeiler et al. | Introducing the Turbo-Twin-HMM for Audio-Visual Speech Enhancement. | |
| JP3256979B2 (ja) | 音響モデルの入力音声に対する尤度を求める方法 | |
| WO2025074581A1 (ja) | 音声合成学習方法、音声合成方法、音声合成学習装置、音声合成装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050812 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080307 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080729 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080806 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |