JP3163109B2 - 多方向同時収音式音声認識方法 - Google Patents
多方向同時収音式音声認識方法Info
- Publication number
- JP3163109B2 JP3163109B2 JP08664591A JP8664591A JP3163109B2 JP 3163109 B2 JP3163109 B2 JP 3163109B2 JP 08664591 A JP08664591 A JP 08664591A JP 8664591 A JP8664591 A JP 8664591A JP 3163109 B2 JP3163109 B2 JP 3163109B2
- Authority
- JP
- Japan
- Prior art keywords
- input system
- recognition
- noise
- input
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 51
- 230000003044 adaptive effect Effects 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 20
- 230000008030 elimination Effects 0.000 claims description 12
- 238000003379 elimination reaction Methods 0.000 claims description 12
- 230000005236 sound signal Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 description 15
- 239000013598 vector Substances 0.000 description 14
- 238000001514 detection method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000010354 integration Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 230000001755 vocal effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
Description
【０００１】
【産業上の利用分野】この発明は多方向からの音声を同
時収音して認識する多方向同時収音式音声認識方法に関
するものである。
時収音して認識する多方向同時収音式音声認識方法に関
するものである。
【０００２】
【従来の技術】音声認識装置はコンピューター、その他
の種々の機器の有力な入力手段として利用され始めてい
る。図４は特開昭６２−７３２９８号公報に示されるよ
うな従来の認識装置の典型例のブロック図であり、４０
１は音声入力端子、４０２は音声分析部、４０３は音声
区間検出部、４０４は比較マッチングパタンメモリー
部、４０５は類似度計算部、４０６は判定部である。
の種々の機器の有力な入力手段として利用され始めてい
る。図４は特開昭６２−７３２９８号公報に示されるよ
うな従来の認識装置の典型例のブロック図であり、４０
１は音声入力端子、４０２は音声分析部、４０３は音声
区間検出部、４０４は比較マッチングパタンメモリー
部、４０５は類似度計算部、４０６は判定部である。
【０００３】音声入力端子４０１から入力された音声信
号は音声分析部４０２において音声特徴を表す特徴ベク
トルの時系列に変換される。
号は音声分析部４０２において音声特徴を表す特徴ベク
トルの時系列に変換される。
【０００４】音声区間検出部４０３では音声分析部４０
２からの特徴ベクトルに基づいて音声の存在する区間、
即ち音声区間を決定する。この音声始端から音声終端ま
での特徴ベクトル系列を音声マッチングパタンと呼ぶ。
２からの特徴ベクトルに基づいて音声の存在する区間、
即ち音声区間を決定する。この音声始端から音声終端ま
での特徴ベクトル系列を音声マッチングパタンと呼ぶ。
【０００５】次に比較マッチングパタンメモリー部４０
４の機能について説明する。話者を限定する特定話者音
声認識では、認識対象となる単語（カテゴリと称する）
を予め発声し（学習音声と称する）、同一の音声分析を
施して求められた音声マッチングパタン（比較マッチン
グパタンと称する）を格納しておく必要がある。比較パ
タンメモリー部４０４にはこのような比較マッチングパ
タンが格納されている。この比較マッチングパタンの格
納動作を登録処理と呼ぶ。又話者を限定しない音声認識
（不特定話者音声認識と称する）の場合には、種々の話
者の比較マッチングパタンが比較パタンメモリー部４０
４に予め格納されている。
４の機能について説明する。話者を限定する特定話者音
声認識では、認識対象となる単語（カテゴリと称する）
を予め発声し（学習音声と称する）、同一の音声分析を
施して求められた音声マッチングパタン（比較マッチン
グパタンと称する）を格納しておく必要がある。比較パ
タンメモリー部４０４にはこのような比較マッチングパ
タンが格納されている。この比較マッチングパタンの格
納動作を登録処理と呼ぶ。又話者を限定しない音声認識
（不特定話者音声認識と称する）の場合には、種々の話
者の比較マッチングパタンが比較パタンメモリー部４０
４に予め格納されている。
【０００６】類似度計算部４０５では認識させようとす
る入力音声から生成された入力マッチングパタンと比較
マッチングパタンとの類似度計算を行う。類似度計算は
公知の手法であるＤＰマッチングや特開昭６２−７３２
９９号公報に示されるような簡便な線形マッチングをは
じめとして種々の方法が提案されており何れかの適切な
方法で類似度計算が行われる。
る入力音声から生成された入力マッチングパタンと比較
マッチングパタンとの類似度計算を行う。類似度計算は
公知の手法であるＤＰマッチングや特開昭６２−７３２
９９号公報に示されるような簡便な線形マッチングをは
じめとして種々の方法が提案されており何れかの適切な
方法で類似度計算が行われる。
【０００７】この類似度計算部４０５から出力されるカ
テゴリ毎の類似度を用いて、判定部４０６ではその最大
類似度を与える比較マッチングパタンに与えられたカテ
ゴリ名を認識結果として出力する。
テゴリ毎の類似度を用いて、判定部４０６ではその最大
類似度を与える比較マッチングパタンに与えられたカテ
ゴリ名を認識結果として出力する。
【０００８】
【発明が解決しようとする課題】上述した従来の認識装
置では、１本のマイクから音声を収音しているために、
接話形マイクのような発声器官とマイクとの距離、方向
が一定している入力形態では、常にその音声認識装置が
持つ認識能力が最大限発揮出来ていた。しかしながら、
発声器官とマイクとの距離、方向が大きく変化するよう
な入力形態では、認識性能が極端に低下する事が多々有
った。更に接話形マイクを使用した場合でも、周囲の背
景雑源が大きく変化するような環境では、やはり認識性
能が安定せず、誤動作や誤認識が起こる場合があった。
この発明の目的は、発声器官とマイクとの距離、方向が
大きく変化し、且つ背景雑音環境が大きく変化するよう
な環境下でも安定した高い認識性能が得られる音声認識
方法を提供するものである。
置では、１本のマイクから音声を収音しているために、
接話形マイクのような発声器官とマイクとの距離、方向
が一定している入力形態では、常にその音声認識装置が
持つ認識能力が最大限発揮出来ていた。しかしながら、
発声器官とマイクとの距離、方向が大きく変化するよう
な入力形態では、認識性能が極端に低下する事が多々有
った。更に接話形マイクを使用した場合でも、周囲の背
景雑源が大きく変化するような環境では、やはり認識性
能が安定せず、誤動作や誤認識が起こる場合があった。
この発明の目的は、発声器官とマイクとの距離、方向が
大きく変化し、且つ背景雑音環境が大きく変化するよう
な環境下でも安定した高い認識性能が得られる音声認識
方法を提供するものである。
【０００９】
【課題を解決するための手段】この目的の達成を図るた
めの本音声認識方法は、第一の構成として、複数のマイ
クから同時に音声を収音し、複数の入力信号を得る処理
と、こうして得られた複数の入力信号を各々独立に音声
識別して複数の識別結果を得る処理と、これら複数の識
別結果を統合判定する処理とを備えたことを特徴とす
る。この時、統合判定としては、複数の入力の過半数が
一致した場合に、その一致した識別結果を最終識別結果
として判定する、複数の入力のうち、識別確度が最大と
なるものを最終識別結果として判定する、あるいは、複
数の入力の中で、信号対雑音比が最大となるものを最終
識別結果として判定する、などの方法がある。
めの本音声認識方法は、第一の構成として、複数のマイ
クから同時に音声を収音し、複数の入力信号を得る処理
と、こうして得られた複数の入力信号を各々独立に音声
識別して複数の識別結果を得る処理と、これら複数の識
別結果を統合判定する処理とを備えたことを特徴とす
る。この時、統合判定としては、複数の入力の過半数が
一致した場合に、その一致した識別結果を最終識別結果
として判定する、複数の入力のうち、識別確度が最大と
なるものを最終識別結果として判定する、あるいは、複
数の入力の中で、信号対雑音比が最大となるものを最終
識別結果として判定する、などの方法がある。
【００１０】また本音声認識方法は、第二の構成とし
て、前記音声認識方法により確定した認識結果に基づい
て、各入力系における当該音声信号／背景雑音比が最も
良い主入力系と、当該音声信号／背景雑音比の最も悪い
ノイズ入力系とを決定する処理と、主入力系とノイズ入
力系より適応ノイズ除去フィルタを構成する処理とを備
え、以降の認識処理では前記適応ノイズ除去フィルタリ
ング後の入力信号より音声識別することを特徴とする。
て、前記音声認識方法により確定した認識結果に基づい
て、各入力系における当該音声信号／背景雑音比が最も
良い主入力系と、当該音声信号／背景雑音比の最も悪い
ノイズ入力系とを決定する処理と、主入力系とノイズ入
力系より適応ノイズ除去フィルタを構成する処理とを備
え、以降の認識処理では前記適応ノイズ除去フィルタリ
ング後の入力信号より音声識別することを特徴とする。
【００１１】
【作用】第一の構成は、複数のマイクから同時に収音し
た複数の入力信号に対してそれぞれ独立に識別動作を行
い、この複数の識別結果及び認識補助情報を統合判定部
で総合的に判定することにより認識判定を行うものであ
り、また第二の構成は第一の構成による認識判定により
確定した認識結果に基づいて適応ノイズ除去フィルタを
構成し、以降はこのフィルタリング処理後の入力信号よ
り認識判定を行うもので、上記構成によれば、雑音発声
源の位置を考慮して最も信号・雑音比の良い入力信号に
より音声認識を行い得るものである。従って、本発明の
音声認識方法を用いれば発声器官とマイクとの距離、方
向が大きく変化し、且つ背景雑音環境が大きく変化する
ような環境下でも安定した高い認識性能が得られる音声
認識装置を実現出来る。
た複数の入力信号に対してそれぞれ独立に識別動作を行
い、この複数の識別結果及び認識補助情報を統合判定部
で総合的に判定することにより認識判定を行うものであ
り、また第二の構成は第一の構成による認識判定により
確定した認識結果に基づいて適応ノイズ除去フィルタを
構成し、以降はこのフィルタリング処理後の入力信号よ
り認識判定を行うもので、上記構成によれば、雑音発声
源の位置を考慮して最も信号・雑音比の良い入力信号に
より音声認識を行い得るものである。従って、本発明の
音声認識方法を用いれば発声器官とマイクとの距離、方
向が大きく変化し、且つ背景雑音環境が大きく変化する
ような環境下でも安定した高い認識性能が得られる音声
認識装置を実現出来る。
【００１２】
【実施例】以下、本発明の実施例について述べる。な
お、ここでは音声マッチングパタンとは、入力マッチン
グパタンと比較マッチングパタンとに共通した生成過程
で作られるパタンを意味している。
お、ここでは音声マッチングパタンとは、入力マッチン
グパタンと比較マッチングパタンとに共通した生成過程
で作られるパタンを意味している。
【００１３】図１は登録動作を行う特定話者認識方式に
適用した本発明の第一の実施例を示すブロック図であっ
て、１０１，１０２，１０３はそれぞれ第１チャンネ
ル、第２チャンネル、第３チャンネルの音声入力端子、
１０４，１０５，１０６はそれぞれ第１チャンネル、第
２チャンネル、第３チャンネルの音声分析部、１０７，
１０８，１０９はそれぞれ第１チャンネル、第２チャン
ネル、第３チャンネルの音声区間検出部、１１０，１１
１，１１２はそれぞれ第１チャンネル、第２チャンネ
ル、第３チャンネルの比較パタンメモリー部、１１３，
１１４，１１５はそれぞれ第１チャンネル、第２チャン
ネル、第３チャンネルの音声識別部、１１６は統合判定
部、１１７は出力端子である。
適用した本発明の第一の実施例を示すブロック図であっ
て、１０１，１０２，１０３はそれぞれ第１チャンネ
ル、第２チャンネル、第３チャンネルの音声入力端子、
１０４，１０５，１０６はそれぞれ第１チャンネル、第
２チャンネル、第３チャンネルの音声分析部、１０７，
１０８，１０９はそれぞれ第１チャンネル、第２チャン
ネル、第３チャンネルの音声区間検出部、１１０，１１
１，１１２はそれぞれ第１チャンネル、第２チャンネ
ル、第３チャンネルの比較パタンメモリー部、１１３，
１１４，１１５はそれぞれ第１チャンネル、第２チャン
ネル、第３チャンネルの音声識別部、１１６は統合判定
部、１１７は出力端子である。
【００１４】尚第一の実施例では説明を簡略化するため
に音声入力信号として３回線の例を示しているが、更に
多くの回線数を設けても何等差し支えない。又ここで１
０１，１０４，１０７，１１０，１１３の各機能ブロッ
クをまとめて第１チャンネル音声処理部と呼ぶ。同様に
１０２，１０５，１０８，１１１，１１４の各機能ブロ
ックをまとめて第２チャンネル音声処理部と呼び、１０
３，１０６，１０９，１１２，１１５の各機能ブロック
をまとめて第３チャンネル音声処理部と呼ぶ。
に音声入力信号として３回線の例を示しているが、更に
多くの回線数を設けても何等差し支えない。又ここで１
０１，１０４，１０７，１１０，１１３の各機能ブロッ
クをまとめて第１チャンネル音声処理部と呼ぶ。同様に
１０２，１０５，１０８，１１１，１１４の各機能ブロ
ックをまとめて第２チャンネル音声処理部と呼び、１０
３，１０６，１０９，１１２，１１５の各機能ブロック
をまとめて第３チャンネル音声処理部と呼ぶ。
【００１５】先ず第１チャンネルに入力された音声信号
の識別処理を説明する。音声入力端子１０１から入力さ
れた音声信号は音声分析部１０４において音声の特徴を
表す特徴ベクトルの時系列に変換される。特徴ベクトル
の導出方法には、中心周波数が少しずつ異なる複数のバ
ンドパス群を用いる方法や、ＦＦＴ（高速フーリエ変
換）よるスペクトル分析を用いるもの等々考えられる
が、ここではバンドパスフィルタ群を使用する方法を例
に挙げる。
の識別処理を説明する。音声入力端子１０１から入力さ
れた音声信号は音声分析部１０４において音声の特徴を
表す特徴ベクトルの時系列に変換される。特徴ベクトル
の導出方法には、中心周波数が少しずつ異なる複数のバ
ンドパス群を用いる方法や、ＦＦＴ（高速フーリエ変
換）よるスペクトル分析を用いるもの等々考えられる
が、ここではバンドパスフィルタ群を使用する方法を例
に挙げる。
【００１６】音声信号は音声分析部１０４にてアナログ
・デジタル変換された後、各バンドパスフィルタによっ
てその周波数成分のみを抽出する。この様にして各バン
ドパスフィルタによって振り分けられたデータの系列を
チャネルと称する。各チャネル毎のフィルタの出力に対
して整流して絶対値を取りフレーム単位でその平均値を
算出する。この算出値がそのフレームにおける各チャネ
ルの特徴ベクトルの大きさになる。即ち、ｉ番目のフレ
ームにおける特徴ベクトルの大きさＡｉｊは、 Ａｉｊ＝（ Ａｉ１， Ａｉ２，・・・，Ａｉｐ） となる。ここでｐはチャネル数である。
・デジタル変換された後、各バンドパスフィルタによっ
てその周波数成分のみを抽出する。この様にして各バン
ドパスフィルタによって振り分けられたデータの系列を
チャネルと称する。各チャネル毎のフィルタの出力に対
して整流して絶対値を取りフレーム単位でその平均値を
算出する。この算出値がそのフレームにおける各チャネ
ルの特徴ベクトルの大きさになる。即ち、ｉ番目のフレ
ームにおける特徴ベクトルの大きさＡｉｊは、 Ａｉｊ＝（ Ａｉ１， Ａｉ２，・・・，Ａｉｐ） となる。ここでｐはチャネル数である。
【００１７】音声区間検出部１０７では音声分析部１０
４からの特徴ベクトルに基づいて音声の存在する区間、
即ち音声区間を決定する。
４からの特徴ベクトルに基づいて音声の存在する区間、
即ち音声区間を決定する。
【００１８】比較パタンメモリー部１１０には認識対象
カテゴリの比較マッチングパタンが格納されており、こ
の比較マッチングパタンの格納動作を登録処理と呼ぶ。
ここでは登録処理の例として、説明の簡単化のため１カ
テゴリ当り１回の学習音声を発声する場合を取り上げ
る。カテゴリの総数をＮとした場合、比較パタンメモリ
にはＮ個の比較マッチングパタンＳｌｎ（ｎ＝１，２，
・・・，Ｎ）が格納される。
カテゴリの比較マッチングパタンが格納されており、こ
の比較マッチングパタンの格納動作を登録処理と呼ぶ。
ここでは登録処理の例として、説明の簡単化のため１カ
テゴリ当り１回の学習音声を発声する場合を取り上げ
る。カテゴリの総数をＮとした場合、比較パタンメモリ
にはＮ個の比較マッチングパタンＳｌｎ（ｎ＝１，２，
・・・，Ｎ）が格納される。
【００１９】音声のマッチングパタン同士の比較では、
両者の時間的な対応をとる必要がある。最適な対応をと
りながら両者のパタン間の類似度を算出する代表的な方
法に特公昭５０−２３９４１号に示されている様な通称
ＤＰマッチング方法がある。音声識別部１１３では、こ
の様なＤＰマッチング法もしくはその他の好適な方法を
用いてパタン間の類似度計算を行う。即ち、認識させよ
うとする入力音声から生成された入力マッチングパタン
Ｉ１と比較パタンメモリー部１１０中の全ての比較マッ
チングパタンＳｌｎとの類似度を求め、音声特徴類似度
Ｘｌｎを得る。
両者の時間的な対応をとる必要がある。最適な対応をと
りながら両者のパタン間の類似度を算出する代表的な方
法に特公昭５０−２３９４１号に示されている様な通称
ＤＰマッチング方法がある。音声識別部１１３では、こ
の様なＤＰマッチング法もしくはその他の好適な方法を
用いてパタン間の類似度計算を行う。即ち、認識させよ
うとする入力音声から生成された入力マッチングパタン
Ｉ１と比較パタンメモリー部１１０中の全ての比較マッ
チングパタンＳｌｎとの類似度を求め、音声特徴類似度
Ｘｌｎを得る。
【００２０】このパタン毎の音声特徴類似度Ｘｌｎの
内、その最大値Ｐ１を与える比較マッチングパタンに与
えられたカテゴリ名Ｃ１をそのチャンネルにおける音声
識別結果として統合判定部１１６へ出力する。更に識別
補助情報として、音声特徴類似度の最大値Ｐ１（識別確
度と称する）、音声の開始終了時刻ＶＳ１，ＶＥ１、音
声レベル（音声区間の信号レベル）と雑音レベル（音声
区間直前の無入力状態での信号レベル）の比ＳＮ１（信
号／雑音レシオと称する）等も統合判定部１１６へ出力
する。
内、その最大値Ｐ１を与える比較マッチングパタンに与
えられたカテゴリ名Ｃ１をそのチャンネルにおける音声
識別結果として統合判定部１１６へ出力する。更に識別
補助情報として、音声特徴類似度の最大値Ｐ１（識別確
度と称する）、音声の開始終了時刻ＶＳ１，ＶＥ１、音
声レベル（音声区間の信号レベル）と雑音レベル（音声
区間直前の無入力状態での信号レベル）の比ＳＮ１（信
号／雑音レシオと称する）等も統合判定部１１６へ出力
する。
【００２１】第２チャンネルに入力された音声信号の識
別処理も上述した第１チャンネルの場合と全く同様にし
て処理を行う。即ち音声入力端子１０２から入力された
音声信号は音声分析部１０５において音声特徴を表す特
徴ベクトルの時系列に変換される。音声区間検出部１０
８では音声分析部１０５からの特徴ベクトルに基づいて
音声区間を決定し、その部分の特徴ベクトル系列、即ち
入力マッチングパタンＩ２が生成される。次に音声識別
部１１４で入力マッチングパタンＩ２と比較パタンメモ
リー部１１１中の全ての比較マッチングパタンＳ２ｎと
の類似度を求め、音声特徴類似度Ｘ２ｎを得る。
別処理も上述した第１チャンネルの場合と全く同様にし
て処理を行う。即ち音声入力端子１０２から入力された
音声信号は音声分析部１０５において音声特徴を表す特
徴ベクトルの時系列に変換される。音声区間検出部１０
８では音声分析部１０５からの特徴ベクトルに基づいて
音声区間を決定し、その部分の特徴ベクトル系列、即ち
入力マッチングパタンＩ２が生成される。次に音声識別
部１１４で入力マッチングパタンＩ２と比較パタンメモ
リー部１１１中の全ての比較マッチングパタンＳ２ｎと
の類似度を求め、音声特徴類似度Ｘ２ｎを得る。
【００２２】このパタン毎の音声特徴類似度Ｘ２ｎの
内、その最大値を与える比較マッチングパタンに与えら
れたカテゴリ名Ｃ２をそのチャンネルにおける音声識別
結果として統合判定部１１６へ出力する。更に識別補助
情報として、識別確度Ｐ２、音声の開始終了時刻ＶＳ
２，ＶＥ２、信号／雑音レシオＳＮ２等も統合判定部１
１６へ出力する。
内、その最大値を与える比較マッチングパタンに与えら
れたカテゴリ名Ｃ２をそのチャンネルにおける音声識別
結果として統合判定部１１６へ出力する。更に識別補助
情報として、識別確度Ｐ２、音声の開始終了時刻ＶＳ
２，ＶＥ２、信号／雑音レシオＳＮ２等も統合判定部１
１６へ出力する。
【００２３】第３チャンネルに入力された音声信号の識
別処理も上述した第１チャンネルの場合と全く同様に行
われ、統合判定部１１６へ音声識別結果Ｃ３、と識別補
助情報（識別確度Ｐ３、音声の開始終了時刻ＶＳ３，Ｖ
Ｅ３、信号／雑音レシオＳＮ３等）が出力される。
別処理も上述した第１チャンネルの場合と全く同様に行
われ、統合判定部１１６へ音声識別結果Ｃ３、と識別補
助情報（識別確度Ｐ３、音声の開始終了時刻ＶＳ３，Ｖ
Ｅ３、信号／雑音レシオＳＮ３等）が出力される。
【００２４】統合判定部１１６では各チャンネルの音声
処理部から出力された音声識別結果、及び識別補助情報
を総合して判定し、最終認識結果を出力端子１１７より
外部ホストなどに送出する。この判定方法については種
々考えられるが、音声始端、終端時刻がほぼ同じである
識別情報群について、その過半数の識別結果が一致した
場合のみ、その識別結果を有効とする方法や、識別確度
Ｐが最も高い識別結果を有効と定める方法、又信号／雑
音レシオＳＮが最も高いチャンネルの識別結果を有効と
する方法等が挙げられる。上述した判定法もしくはその
他の好適な方法を用いて最終判定結果を算出すればよ
い。
処理部から出力された音声識別結果、及び識別補助情報
を総合して判定し、最終認識結果を出力端子１１７より
外部ホストなどに送出する。この判定方法については種
々考えられるが、音声始端、終端時刻がほぼ同じである
識別情報群について、その過半数の識別結果が一致した
場合のみ、その識別結果を有効とする方法や、識別確度
Ｐが最も高い識別結果を有効と定める方法、又信号／雑
音レシオＳＮが最も高いチャンネルの識別結果を有効と
する方法等が挙げられる。上述した判定法もしくはその
他の好適な方法を用いて最終判定結果を算出すればよ
い。
【００２５】図２は本発明の第二の実施例を示すブロッ
ク図である。第二の実施例では３つの音声入力信号２０
１，２０２，２０３に対して音声分析部２０４、音声区
間検出部２０７、音声識別部２１３を時分割に動作させ
てそれぞれ独立に音声識別を行い、音声識別結果Ｃ１，
Ｃ２，Ｃ３と識別補助情報（識別確度Ｐ１，Ｐ２，Ｐ
３、音声の開始時刻ＶＳ１，ＶＳ２，ＶＳ３、音声の終
了時刻ＶＥ１，ＶＥ２，ＶＥ３、信号／雑音レシオＳＮ
１，ＳＮ２，ＳＮ３）を求める。また比較パタンメモリ
ー部２１０は共通とする。総合判定部２１６の処理は第
一の実施例と同様であり、最終認識結果を出力端子２１
７より外部ホストなどに送出する。
ク図である。第二の実施例では３つの音声入力信号２０
１，２０２，２０３に対して音声分析部２０４、音声区
間検出部２０７、音声識別部２１３を時分割に動作させ
てそれぞれ独立に音声識別を行い、音声識別結果Ｃ１，
Ｃ２，Ｃ３と識別補助情報（識別確度Ｐ１，Ｐ２，Ｐ
３、音声の開始時刻ＶＳ１，ＶＳ２，ＶＳ３、音声の終
了時刻ＶＥ１，ＶＥ２，ＶＥ３、信号／雑音レシオＳＮ
１，ＳＮ２，ＳＮ３）を求める。また比較パタンメモリ
ー部２１０は共通とする。総合判定部２１６の処理は第
一の実施例と同様であり、最終認識結果を出力端子２１
７より外部ホストなどに送出する。
【００２６】図３は本発明の第三の実施例を示すブロッ
ク図である。第三の実施例の動作は雑音適応処理モード
と未雑音適応処理モードに分けられる。未雑音適応処理
モードでは適応ノイズ除去部３１８を外した状態とな
り、認識処理の動作は第二の実施例と全く同様である。
雑音適応処理モードには未雑音適応処理モードで音声認
識を実行した後移行する。雑音適応処理モードでは認識
に先立って以下の処理を行う。
ク図である。第三の実施例の動作は雑音適応処理モード
と未雑音適応処理モードに分けられる。未雑音適応処理
モードでは適応ノイズ除去部３１８を外した状態とな
り、認識処理の動作は第二の実施例と全く同様である。
雑音適応処理モードには未雑音適応処理モードで音声認
識を実行した後移行する。雑音適応処理モードでは認識
に先立って以下の処理を行う。
【００２７】直前の認識時の音声識別結果Ｃ１，Ｃ２，
Ｃ３と識別補助情報（識別確度Ｐ１，Ｐ２，Ｐ３、音声
の開始時刻ＶＳ１，ＶＳ２，ＶＳ３、音声の終了時刻Ｖ
Ｅ１，ＶＥ２，ＶＥ３、信号／雑音レシオＳＮ１，ＳＮ
２，ＳＮ３）及び最終確認後の認識結果Ｃｒ（外部ホス
トから送出される）から主入力系、ノイズ入力系を決定
する。決定アルゴリズムは以下の通りである。
Ｃ３と識別補助情報（識別確度Ｐ１，Ｐ２，Ｐ３、音声
の開始時刻ＶＳ１，ＶＳ２，ＶＳ３、音声の終了時刻Ｖ
Ｅ１，ＶＥ２，ＶＥ３、信号／雑音レシオＳＮ１，ＳＮ
２，ＳＮ３）及び最終確認後の認識結果Ｃｒ（外部ホス
トから送出される）から主入力系、ノイズ入力系を決定
する。決定アルゴリズムは以下の通りである。
【００２８】（１）最終確認後の認識結果Ｃｒと一致す
る音声識別結果が出力された入力系を正解入力系として
選択する。もしそのような入力系がなければ雑音適応モ
ードへは移行せず次回の認識処理も未雑音適応モードで
行う。 （２）正解入力系中で最も信号／雑音レシオＳＮが高い
入力系を主入力系とする。 （３）主入力系以外の入力系の内で最も信号／雑音レシ
オＳＮが低い入力系をノイズ入力系とする。
る音声識別結果が出力された入力系を正解入力系として
選択する。もしそのような入力系がなければ雑音適応モ
ードへは移行せず次回の認識処理も未雑音適応モードで
行う。 （２）正解入力系中で最も信号／雑音レシオＳＮが高い
入力系を主入力系とする。 （３）主入力系以外の入力系の内で最も信号／雑音レシ
オＳＮが低い入力系をノイズ入力系とする。
【００２９】次に雑音適応処理モードでの認識処理に付
いて説明する。先ず適応ノイズ除去部３１８で主入力系
の入力信号とノイズ入力系の入力信号より適応ノイズ除
去フィルタリングを行いノイズ除去音声信号を生成す
る。この後はノイズ除去音声信号に対して第一の実施例
と同様に音声識別を行う。即ちノイズ除去音声信号は音
声分析部３０４において特徴を表す特徴ベクトルの時系
列に変換される。音声区間検出部３０７では音声分析部
３０４からの特徴ベクトルに基づいて音声区間を決定
し、その部分の特徴ベクトル系列、即ち入力マッチング
パタンＩが生成される。次に音声識別部３１３で入力マ
ッチングパタンＩと比較パタンメモリー部３１０中の全
ての比較マッチングパタンＳｎとの類似度を求め、音声
特徴類似度Ｘｎを得る。このパタン毎の音声特徴類似度
Ｘｎの内、その最大値を与える比較マッチングパタンに
与えられたカテゴリ名Ｃを音声識別結果として統合判定
部３１６へ出力する。統合判定部３１６ではカテゴリ名
Ｃをそのまま最終認識結果として出力端子３１７より外
部ホストなどに送出する。
いて説明する。先ず適応ノイズ除去部３１８で主入力系
の入力信号とノイズ入力系の入力信号より適応ノイズ除
去フィルタリングを行いノイズ除去音声信号を生成す
る。この後はノイズ除去音声信号に対して第一の実施例
と同様に音声識別を行う。即ちノイズ除去音声信号は音
声分析部３０４において特徴を表す特徴ベクトルの時系
列に変換される。音声区間検出部３０７では音声分析部
３０４からの特徴ベクトルに基づいて音声区間を決定
し、その部分の特徴ベクトル系列、即ち入力マッチング
パタンＩが生成される。次に音声識別部３１３で入力マ
ッチングパタンＩと比較パタンメモリー部３１０中の全
ての比較マッチングパタンＳｎとの類似度を求め、音声
特徴類似度Ｘｎを得る。このパタン毎の音声特徴類似度
Ｘｎの内、その最大値を与える比較マッチングパタンに
与えられたカテゴリ名Ｃを音声識別結果として統合判定
部３１６へ出力する。統合判定部３１６ではカテゴリ名
Ｃをそのまま最終認識結果として出力端子３１７より外
部ホストなどに送出する。
【００３０】更に認識結果の確認処理後、ホストからの
認識結果の正誤情報を受け取る。この時認識結果が誤り
であれば、主入力系、ノイズ入力系の選定が雑音環境の
変化などにより不適切となったと考えられるので、未雑
音適応処理モードに戻り、主入力系、ノイズ入力系の選
定をやり直す。逆に、認識結果が正しければ全ての設定
は適切であると考えられるので雑音適応処理モードでの
認識を続行する。なお、この認識結果による処理モード
の選択は一例であり、例えば使用者が処理モードを選択
するようにしても良い。また誤認識の頻度で処理モード
変更の判定を行う方法も考えられる。図５は上述の第３
の実施例の動作フローについて示したものである。
認識結果の正誤情報を受け取る。この時認識結果が誤り
であれば、主入力系、ノイズ入力系の選定が雑音環境の
変化などにより不適切となったと考えられるので、未雑
音適応処理モードに戻り、主入力系、ノイズ入力系の選
定をやり直す。逆に、認識結果が正しければ全ての設定
は適切であると考えられるので雑音適応処理モードでの
認識を続行する。なお、この認識結果による処理モード
の選択は一例であり、例えば使用者が処理モードを選択
するようにしても良い。また誤認識の頻度で処理モード
変更の判定を行う方法も考えられる。図５は上述の第３
の実施例の動作フローについて示したものである。
【００３１】尚適応ノイズ除去フィルタリング処理につ
いては例えば日本音響学会誌４５巻２号（１９８９）の
講座「マイクロホン系におけるディジタルフィルタの応
用」及びそこに記載のある参考文献などで明らかである
からここでは説明を省略する。但し音声区間検出部３０
７で音声始端が検出された時点から音声終端検出時点ま
では適応動作を停止し（図５参照）、適応ノイズ除去部
３１８の適応除去フィルタの係数は固定しておくものと
する。
いては例えば日本音響学会誌４５巻２号（１９８９）の
講座「マイクロホン系におけるディジタルフィルタの応
用」及びそこに記載のある参考文献などで明らかである
からここでは説明を省略する。但し音声区間検出部３０
７で音声始端が検出された時点から音声終端検出時点ま
では適応動作を停止し（図５参照）、適応ノイズ除去部
３１８の適応除去フィルタの係数は固定しておくものと
する。
【００３２】
【発明の効果】以上詳細に説明したように本発明によれ
ば、複数のマイクから同時に収音した入力信号に対して
それぞれ独立に識別動作を行い、この複数の認識結果を
用いて総合的に認識判定を行うため、また第三の実施例
にも示すように未雑音適応処理モードで得られた認識結
果に基づいて適応ノイズ除去フィルタを構成し、雑音適
応処理モードに移行後はノイズ除去音声信号により認識
判定を行うようにしたので、発声器官とマイクとの距
離、方向が大きく変化し、且つ背景雑音環境が大きく変
化するような環境下でも安定した高い認識性能が得られ
るという利点がある。例えば、自動車内、オフィス、工
場、街頭等、騒音源の位置、大きさが不規則に変化する
ような場所で音声認識装置を使用する場合、本発明によ
る適応動作を行うことで認識性能を著しく向上すること
ができる。
ば、複数のマイクから同時に収音した入力信号に対して
それぞれ独立に識別動作を行い、この複数の認識結果を
用いて総合的に認識判定を行うため、また第三の実施例
にも示すように未雑音適応処理モードで得られた認識結
果に基づいて適応ノイズ除去フィルタを構成し、雑音適
応処理モードに移行後はノイズ除去音声信号により認識
判定を行うようにしたので、発声器官とマイクとの距
離、方向が大きく変化し、且つ背景雑音環境が大きく変
化するような環境下でも安定した高い認識性能が得られ
るという利点がある。例えば、自動車内、オフィス、工
場、街頭等、騒音源の位置、大きさが不規則に変化する
ような場所で音声認識装置を使用する場合、本発明によ
る適応動作を行うことで認識性能を著しく向上すること
ができる。
【図１】本発明の第一の実施例を示すブロック図であ
る。
る。
【図２】本発明の第二の実施例を示すブロック図であ
る。
る。
【図３】本発明の第三の実施例を示すブロック図であ
る。
る。
【図４】従来の認識装置のブロック図である。
【図５】第三の実施例の動作フローを示す図である。
１０１ 第１チャンネルの音声入力端子 １０２ 第２チャンネルの音声入力端子 １０３ 第３チャンネルの音声入力端子 １０４ 第１チャンネルの音声分析部 １０５ 第２チャンネルの音声分析部 １０６ 第３チャンネルの音声分析部 １０７ 第１チャンネルの音声区間検出部 １０８ 第２チャンネルの音声区間検出部 １０９ 第３チャンネルの音声区間検出部 １１０ 第１チャンネルの比較パタンメモリー部 １１１ 第２チャンネルの比較パタンメモリー部 １１２ 第３チャンネルの比較パタンメモリー部 １１３ 第１チャンネルの音声識別部 １１４ 第２チャンネルの音声識別部 １１５ 第３チャンネルの音声識別部 １１６ 統合判定部 １１７ 出力端子
フロントページの続き (56)参考文献 特開 昭59−23397（ＪＰ，Ａ) 特開 平２−178699（ＪＰ，Ａ) 特開 昭58−143396（ＪＰ，Ａ) 特開 昭58−52696（ＪＰ，Ａ) 特開 昭60−166995（ＪＰ，Ａ) 特開 昭63−18400（ＪＰ，Ａ) 特開 昭61−35496（ＪＰ，Ａ) 特開 昭61−35495（ＪＰ，Ａ) 特開 平４−240898（ＪＰ，Ａ) 特開 平４−240897（ＪＰ，Ａ) 特開 平４−199197（ＪＰ，Ａ) 特開 平４−273298（ＪＰ，Ａ) 特開 平４−212600（ＪＰ，Ａ) 実開 昭57−116999（ＪＰ，Ｕ) 実開 昭57−69067（ＪＰ，Ｕ) 実公 平２−41680（ＪＰ，Ｙ２) 日本音響学会誌，Ｖｏｌ．45，Ｎｏ. ２，金田豊「マイクロホン系におけるデ ィジタルフィルタの応用−不要な音を取 り除く技術−」，ｐ．125−128（1989年 ２月発行) (58)調査した分野(Int.Cl.7，ＤＢ名) G10L 15/00 - 17/00
Claims (3)
- 【請求項１】 複数のマイクから同時に音声を収音し、
複数の入力信号を得る処理と、 前記複数の入力信号を各々独立に音声識別して複数の識
別結果を得る処理と、 前記複数の識別結果の過半数が一致した場合に、その一
致した識別結果を最終識別結果として判定する処理とを
備えたことを特徴とする、音声認識方法。 - 【請求項２】 請求項１記載の音声認識方法により確定
した認識結果に基づいて、各入力系における当該音声信
号／背景雑音比が最も良い主入力系と、当該音声信号／
背景雑音比の最も悪いノイズ入力系とを決定する処理
と、 前記主入力系と前記ノイズ入力系より適応ノイズ除去フ
ィルタを構成する処理とを備え、 以降の認識処理では、前記入力信号を前記適応ノイズ除
去フィルタによってフィルタリングした出力について音
声認識することを特徴とする、音声認識方法。 - 【請求項３】 複数のマイクから同時に音声を収音し、
複数の入力信号を得る処理と、 前記複数の入力信号を各々独立に音声識別して複数の識
別結果を得る処理と、前記複数の識別結果の中で、信号
対雑音比が最大となるものを識別結果として判定する処
理と、 前記判定処理により確定した認識結果に基づいて、正解
入力系を判定する処理と、 前記正解入力系が判定された場合には、この正解入力系
の中で、 各入力系における当該音声信号／背景雑音比が
最も良い主入力系と、当該音声信号／背景雑音比の最も
悪いノイズ入力系とを決定する処理と、 前記主入力系と前記ノイズ入力系より適応ノイズ除去フ
ィルタを構成する処理とを備え、 以降の認識処理では、前記入力信号を前記適応ノイズ除
去フィルタによってフィルタリングした出力について音
声認識することを特徴とする、音声認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08664591A JP3163109B2 (ja) | 1991-04-18 | 1991-04-18 | 多方向同時収音式音声認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08664591A JP3163109B2 (ja) | 1991-04-18 | 1991-04-18 | 多方向同時収音式音声認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04318900A JPH04318900A (ja) | 1992-11-10 |
| JP3163109B2 true JP3163109B2 (ja) | 2001-05-08 |
Family
ID=13892769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08664591A Expired - Lifetime JP3163109B2 (ja) | 1991-04-18 | 1991-04-18 | 多方向同時収音式音声認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3163109B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3510458B2 (ja) | 1997-09-05 | 2004-03-29 | 沖電気工業株式会社 | 音声認識システムおよび音声認識制御プログラムを記録した記録媒体 |
| WO2009145192A1 (ja) * | 2008-05-28 | 2009-12-03 | 日本電気株式会社 | 音声検出装置、音声検出方法、音声検出プログラム及び記録媒体 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3363283B2 (ja) * | 1995-03-23 | 2003-01-08 | 株式会社日立製作所 | 入力装置、入力方法、情報処理システムおよび入力情報の管理方法 |
| JP3969908B2 (ja) * | 1999-09-14 | 2007-09-05 | キヤノン株式会社 | 音声入力端末器、音声認識装置、音声通信システム及び音声通信方法 |
| JP4608670B2 (ja) * | 2004-12-13 | 2011-01-12 | 日産自動車株式会社 | 音声認識装置および音声認識方法 |
| KR100855592B1 (ko) * | 2007-01-11 | 2008-09-01 | (주)에이치씨아이랩 | 발성자 거리 특성에 강인한 음성인식 장치 및 그 방법 |
| JP5049930B2 (ja) * | 2008-09-09 | 2012-10-17 | 株式会社日立製作所 | 分散型音声認識システム |
| JP5721445B2 (ja) * | 2011-01-07 | 2015-05-20 | 三菱電機株式会社 | 音声認識装置および音声認識方法 |
| US9286897B2 (en) * | 2013-09-27 | 2016-03-15 | Amazon Technologies, Inc. | Speech recognizer with multi-directional decoding |
| JP7010900B2 (ja) * | 2019-07-16 | 2022-01-26 | Kddi株式会社 | 音源定位装置及び音源定位方法 |
| CN116189702B (zh) * | 2023-02-24 | 2025-06-17 | 阳光保险集团股份有限公司 | 一种检测环境噪音的方法、装置、存储介质及电子设备 |
-
1991
- 1991-04-18 JP JP08664591A patent/JP3163109B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 日本音響学会誌，Ｖｏｌ．４５，Ｎｏ．２，金田豊「マイクロホン系におけるディジタルフィルタの応用−不要な音を取り除く技術−」，ｐ．１２５−１２８（１９８９年２月発行） |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3510458B2 (ja) | 1997-09-05 | 2004-03-29 | 沖電気工業株式会社 | 音声認識システムおよび音声認識制御プログラムを記録した記録媒体 |
| WO2009145192A1 (ja) * | 2008-05-28 | 2009-12-03 | 日本電気株式会社 | 音声検出装置、音声検出方法、音声検出プログラム及び記録媒体 |
| US8589152B2 (en) | 2008-05-28 | 2013-11-19 | Nec Corporation | Device, method and program for voice detection and recording medium |
| JP5381982B2 (ja) * | 2008-05-28 | 2014-01-08 | 日本電気株式会社 | 音声検出装置、音声検出方法、音声検出プログラム及び記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH04318900A (ja) | 1992-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798860B (zh) | 音频信号处理方法、装置、设备及存储介质 | |
| JP3002204B2 (ja) | 時系列信号認識装置 | |
| JP2764277B2 (ja) | 音声認識装置 | |
| US5651094A (en) | Acoustic category mean value calculating apparatus and adaptation apparatus | |
| US7260527B2 (en) | Speech recognizing apparatus and speech recognizing method | |
| JP3163109B2 (ja) | 多方向同時収音式音声認識方法 | |
| JP2000011181A (ja) | 信号照合装置 | |
| Al-Karawi | Mitigate the reverberation effect on the speaker verification performance using different methods | |
| Park et al. | Multiresolution CNN for reverberant speech recognition | |
| CN112259117B (zh) | 一种目标声源锁定和提取的方法 | |
| Chen et al. | Spoofprint: a new paradigm for spoofing attacks detection | |
| CN113707156A (zh) | 一种用于车载的语音识别方法及系统 | |
| JP2002023776A (ja) | ブラインドセパレーションにおける話者音声と非音声雑音の識別方法及び話者音声チャンネルの特定方法 | |
| CN120783802A (zh) | 基于语音分析的驾驶情绪预警方法及系统 | |
| KR20030010432A (ko) | 잡음환경에서의 음성인식장치 | |
| CN112530452B (zh) | 一种后置滤波补偿方法、装置和系统 | |
| KR100587260B1 (ko) | 음향 기기의 음성인식장치 | |
| JPH10243494A (ja) | 顔方向認識方法及び装置 | |
| JPH04324499A (ja) | 音声認識装置 | |
| CN115136235A (zh) | 通过消除重叠来改善语音分离的方法和系统 | |
| JPH0442299A (ja) | 音声区間検出装置 | |
| JP2975808B2 (ja) | 音声認識装置 | |
| JP3002211B2 (ja) | 不特定話者音声認識装置 | |
| JP2752981B2 (ja) | 音声認識装置 | |
| JPH0316038B2 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010213 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090223 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090223 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100223 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110223 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120223 Year of fee payment: 11 |