JP4839291B2

JP4839291B2 - 音声認識装置およびコンピュータプログラム

Info

Publication number: JP4839291B2
Application number: JP2007252817A
Authority: JP
Inventors: 俊樹遠藤; 正樹内藤; 恒河井
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2007-09-28
Filing date: 2007-09-28
Publication date: 2011-12-21
Anticipated expiration: 2027-09-28
Also published as: JP2009086063A

Description

本発明は、音声認識装置およびコンピュータプログラムに関する。

従来、コンピュータを用いた音声認識では、話者の発声方法や音声入力時の背景雑音などの影響により１００％の認識率を達成することは困難である。そのために、例えば特許文献１に記載の音声認識装置は、入力音声に含まれる複数の単語を予め辞書に記憶されている複数の単語とそれぞれ比較し、競合候補の中から一番競合確率の高い単語を音声認識結果とし、音声認識結果を複数の単語の単語列として画面に表示し、競合候補の中から一番競合確率の高い単語の競合確率に近い競合確率を持つ１以上の競合単語を選び、対応する一番競合確率の高い単語に隣接して画面上に表示させ、ユーザによるマニュアル操作に応じて、画面上に表示された１以上の競合単語から適切な訂正単語を選択し、選択された競合単語を、音声認識結果の一番競合確率の高い単語と置き換えるようにしている。
特開２００６−１４６００８号公報

しかし、上述した従来の音声認識装置では、以下に示すような問題がある。
特許文献１に記載の音声認識装置は、複数の系列の認識結果を簡略化する過程において、各系列に属する同一の表記ではない候補語をグループ化するときに、時間的な重なりがあれば、異なる系列に属する読みが近い候補語を同一のグループに分類している。しかしながら、例えば“庭には二羽鶏がいた”のように、読みの似た単語が時間的に近い位置にあると、図１２に示されるように、同一の単語が複数の区間で候補語となる場合が生じる。すると、音声認識結果から画面に表示される候補語として、同じ単語が複数の区間で表示されることとなり、表示される候補語の個数が多くなる。このため、ユーザは、画面に表示された候補語の中から正解を選んだり、候補語を削除したり、候補語を新規の候補語に変更したりなどすることにより画面上で文章を編集する際に、同じ単語を何度も編集しなければならず、手間や時間がかかる。また、連続する時間区間で同じ候補語が何度も出現するため、候補語を選択するときには前後にある候補語を確認する作業が必要となり、ユーザにとって負担である。

本発明は、このような事情を考慮してなされたもので、その目的は、入力音声の音声認識結果から候補語を画面に表示してユーザが画面に表示された候補語を編集するときに、ユーザが候補語を編集する操作の回数を減らすことのできる音声認識装置およびコンピュータプログラムを提供することにある。

上記の課題を解決するために、本発明に係る音声認識装置は、入力された音声を認識する処理を行い、認識した単語の列から成る認識結果を生成する音声認識手段と、認識結果から候補語を抽出する候補語抽出手段と、候補語をグループ化する候補語グループ化手段と、グループ化された候補語を画面に表示する候補語表示手段と、ユーザが画面に表示された候補語を編集するための編集操作手段と、ユーザによる編集内容に従って認識結果を更新する更新手段と、を備え、前記候補語グループ化手段は、前記認識結果において信頼度が最大である文を構成する候補語の列（第１の候補語列）とそれ以外の候補語の列（第２の候補語列）を抽出する手段と、第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的距離を算出する手段と、同じグループ内の第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的距離を合計した値が最小になるように、第１の候補語列と第２の候補語列を構成する候補語同士をグループ化する手段と、を有することを特徴とする。

本発明に係る音声認識装置においては、前記時間的距離は、候補語間の時間的な重なりを表すことを特徴とする。

本発明に係る音声認識装置は、入力された音声を認識する処理を行い、認識した単語の列から成る認識結果を生成する音声認識手段と、認識結果から候補語を抽出する候補語抽出手段と、候補語をグループ化する候補語グループ化手段と、グループ化された候補語を画面に表示する候補語表示手段と、ユーザが画面に表示された候補語を編集するための編集操作手段と、ユーザによる編集内容に従って認識結果を更新する更新手段と、を備え、前記候補語グループ化手段は、前記認識結果において信頼度が最大である文を構成する候補語の列（第１の候補語列）とそれ以外の候補語の列（第２の候補語列）を抽出する手段と、第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的な重なりを算出する手段と、第１の候補語列中の候補語と第２の候補語列中の候補語の間の音素の編集距離を算出する手段と、候補語間の時間的な重なりと候補語間の音素の編集距離を用いて、候補語間の距離を算出する手段と、第１の候補語列中の候補語と第２の候補語列中の候補語の間の距離が最小である候補語同士をグループ化する手段と、を有することを特徴とする。

本発明に係る音声認識装置においては、前記候補語間の音素の編集距離は、１音素当たりの編集回数であることを特徴とする。

本発明に係る音声認識装置においては、前記候補語間の音素の編集距離は、候補語間で音素を一致させるために必要な置換の対象の音素の組合せにおける、音素間の音響的な類似度を表すことを特徴とする。

本発明に係る音声認識装置においては、前記音素間の音響的な類似度は、音素間の調音位置と調音様式についての一致度であることを特徴とする。

本発明に係る音声認識装置においては、前記候補語間の音素の編集距離は、音素間の誤認識しやすさを表すことを特徴とする。

本発明に係る音声認識装置においては、１つの候補語列中の複数の候補語が１つのグループに属すると判定された場合に、該複数の候補語を連結する手段を備えたことを特徴とする。

本発明に係るコンピュータプログラムは、入力された音声を認識する処理を行い、認識した単語の列から成る認識結果を生成する音声認識機能と、認識結果から候補語を抽出する候補語抽出機能と、候補語をグループ化する候補語グループ化機能と、グループ化された候補語を画面に表示する候補語表示機能と、ユーザが画面に表示された候補語を編集するための編集操作機能と、ユーザによる編集内容に従って認識結果を更新する更新機能と、をコンピュータに実現させるコンピュータプログラムであり、前記候補語グループ化機能は、前記認識結果において信頼度が最大である文を構成する候補語の列（第１の候補語列）とそれ以外の候補語の列（第２の候補語列）を抽出し、第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的距離を算出し、同じグループ内の第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的距離を合計した値が最小になるように、第１の候補語列と第２の候補語列を構成する候補語同士をグループ化することを特徴とする。

本発明に係るコンピュータプログラムは、入力された音声を認識する処理を行い、認識した単語の列から成る認識結果を生成する音声認識機能と、認識結果から候補語を抽出する候補語抽出機能と、候補語をグループ化する候補語グループ化機能と、グループ化された候補語を画面に表示する候補語表示機能と、ユーザが画面に表示された候補語を編集するための編集操作機能と、ユーザによる編集内容に従って認識結果を更新する更新機能と、をコンピュータに実現させるコンピュータプログラムであり、前記候補語グループ化機能は、前記認識結果において信頼度が最大である文を構成する候補語の列（第１の候補語列）とそれ以外の候補語の列（第２の候補語列）を抽出し、第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的な重なりを算出し、第１の候補語列中の候補語と第２の候補語列中の候補語の間の音素の編集距離を算出し、候補語間の時間的な重なりと候補語間の音素の編集距離を用いて、候補語間の距離を算出し、第１の候補語列中の候補語と第２の候補語列中の候補語の間の距離が最小である候補語同士をグループ化することを特徴とする。
これにより、前述の音声認識装置がコンピュータを利用して実現できるようになる。

本発明によれば、同一の単語が複数の区間で候補語となることを防ぐことができ、音声認識結果から画面に表示される候補語として、同じ単語が複数の区間で表示されることを防止することが可能になる。これにより、ユーザが候補語を編集する操作の回数を低減することができるという効果が得られる。

以下、図面を参照し、本発明の一実施形態について説明する。
図１は、本発明の一実施形態に係る音声認識装置１の全体構成を示すブロック図である。図１において、音声認識装置１は、音声入力部１１、音響特徴量抽出部１２、音声認識部１３、音響モデル記憶部１４、言語モデル記憶部１５、候補語生成部１６、候補語編集・表示部１７及び編集操作部１８を備える。

音声入力部１１は、マイク、増幅器、アナログ−デジタル変換器（ＡＤ変換器）などから構成される。音声入力部１１は、ユーザが発声した音声をマイクにより入力し、入力したアナログの音声信号を適当なレベルまで増幅してからデジタルの音声データに変換する。この音声データは音響特徴量抽出部１２に送られる。

なお、音声入力部１１は、電話回線、ＩＰ（Internet Protocol）網などの通信回線と接続する通信インターフェースを備え、通信回線を介して受信したデジタルの音声データを音響特徴量抽出部１２に送るものであってもよい。さらに、音声データが符号化されている場合には、復号化した音声データを音響特徴量抽出部１２に送るようにする。

音響特徴量抽出部１２は、音声入力部１１から受け取った音声データから、後段の音声認識処理に用いる音響特徴量を抽出する。この音響特徴量のデータは音声認識部１３に送られる。

音声認識部１３は、音響特徴量抽出部１２から受け取った音響特徴量データに対して音声認識処理を行う。この音声認識処理には、音響モデル記憶部１４に記憶されている音響モデルと、言語モデル記憶部１５に記憶されている言語モデルとを使用する。音響モデル及び言語モデルは、準備段階として事前に、学習データを用いた学習によって構築し、各記憶部１４，１５に格納しておく。

音声認識部１３は、音響モデル及び言語モデルを用いた音声認識処理によって、音響特徴量データから単語を認識し、認識した単語の列から成る認識結果を作成する。このとき、最も確からしい単語の列から成る認識結果だけでなく、それ以外の他の認識された単語の列についても認識結果として作成する。音声認識部１３は、各認識結果に対して、音響的なスコア（音響尤度）と言語的な確率（言語確率）から認識結果の確からしさ（信頼度）を算出する。言語確率とは、一定数（例えば３個）の単語の並びが出現する確率である。音声認識部１３は、作成した認識結果の中から、所定の順位までの信頼度を有する認識結果を用いて、単語のネットワーク形式の認識結果を作成する。

図２に、単語のネットワーク形式の認識結果の構成例を示す。図２に示されるような、単語のネットワーク形式は、従来、ラティス形式と呼ばれている。図２の例は、ユーザが“今日の午後３時に会議です”という文章を読んだときの構成例である。図２に示されるように、複数の認識結果（所定の順位までの信頼度の認識結果）を使用し、各認識結果に含まれる時間的に対応する単語の区切りをネットワーク状に連結している。なお、図２の認識結果の内容は、説明の便宜上のものである。

音声認識部１３は、単語のネットワーク形式の認識結果に、各単語の品詞の種類を示す品詞情報と、各単語の音響尤度、言語確率及び信頼度の情報とを含める。単語のネットワーク形式の認識結果は、候補語生成部１６に送られる。

候補語生成部１６は、音声認識部１３から受け取った単語のネットワーク形式の認識結果から候補語を抽出し、抽出した候補語をグループ化する。候補語生成部１６は、単語のネットワーク形式の認識結果から生成した候補語の列から成る候補語データを候補語編集・表示部１７に出力する。候補語データは、認識結果が候補語の列として表され、且つ、候補語がグループ化されたものである。

候補語編集・表示部１７は、候補語生成部１６から受け取った候補語データを画面に表示する。編集操作部１８は、各種の編集用の操作キーを備える。例えば、画面に表示された候補語の中からユーザが正解の候補語を選択するための操作キー、ユーザが候補語を削除する操作キー、ユーザが新規の候補語を入力するための操作キー、ユーザが認識結果の編集の終了を指示する操作キーなどを備える。編集操作部１８は、ユーザが操作キーで行った編集内容を候補語編集・表示部１７に通知する。候補語編集・表示部１７は、編集操作部１８から通知された編集内容に従って、認識結果を更新する。そして、更新後の認識結果に対応する候補語データで画面の表示内容を更新する。これにより、ユーザが編集した内容を反映した認識結果が、画面に表示される。

図３は、図１に示す候補語生成部１６の構成例である。図３において、候補語生成部１６は、候補語抽出部３０、候補語グループ化部３１、同一候補語の一元化部３２、候補語の追加部３３及び候補語グループ記憶部３４を有する。

候補語抽出部３０は、単語のネットワーク形式の認識結果に含まれる単語の中から、候補語を抽出する。候補語抽出部３０は、個々の単語、又は、連続する複数の単語を、一つの候補語として抽出する。

候補語グループ化部３１は、単語のネットワーク形式の認識結果から抽出された候補語について、グループ化を行う。候補語のグループ化は、読みの近さや時間情報などに基づいて行う。候補語グループ化部３１は、同一グループの候補語の開始時刻および終了時刻を、信頼度が最大の候補語の開始時刻および終了時刻に揃える。これにより、図２に示された単語のネットワーク形式の認識結果は、図４に示されるような、候補語のネットワーク形式になる。図４は、候補語グループ化処理後の認識結果の構成例である。図２では単語単位でネットワーク状に連結されていたが、図４では、候補語単位でネットワーク状に連結されていると共に、候補語がグループ化されている。これにより、認識結果が簡略化される。

同一候補語の一元化部３２は、候補語のグループ化処理後の認識結果に対して、同一グループに含まれる表記の同じ候補語を１つの候補語にまとめ、その候補語の信頼度を再計算する。一元化処理後の候補語の信頼度は、一元化処理前の候補語の信頼度の平均、加算、最大値などによって求める。同一候補語の一元化部３２は、さらに、各時間区間の候補語の数を、確率の高いものから所定個数までに制限する。これにより、図４に示された候補語グループ化処理後の認識結果は、図５に示されるように簡略化される。図５は、同一候補語の一元化処理後の認識結果の構成例である。なお、図５の例では、各時間区間で、信頼度の高い順に候補語を上から並べている。

候補語の追加部３３は、同一候補語の一元化処理後の認識結果に対して、過去の候補語のグループの履歴に基づき、候補語を追加する。候補語グループ記憶部３４は、過去の候補語のグループの履歴を記憶している。候補語の追加部３３は、同一候補語の一元化処理後の認識結果中の最大の信頼度を有する候補語についてのグループの履歴を、候補語グループ記憶部３４から読み出す。候補語の追加部３３は、読み出したグループの履歴中に、同一候補語の一元化処理後の認識結果中のグループ内には存在しない候補語があった場合には、該候補語を同一候補語の一元化処理後の認識結果中のグループに追加する。逆に、同一候補語の一元化処理後の認識結果中のグループ内に存在する候補語が、候補語グループ記憶部３４から読み出したグループの履歴中に存在しない場合には、該候補語を候補語グループ記憶部３４内のグループの履歴に追加する。

候補語生成部１６は、候補語の追加処理後の認識結果に対応する候補語データを、候補語編集・表示部１７に出力する。

図６は、図１に示す候補語編集・表示部１７の構成例である。図６において、候補語編集・表示部１７は、候補語データ解析・更新部４１、候補語グループ・候補語選択履歴記憶部４２及び候補語表示部４３を有する。

候補語データ解析・更新部４１は、候補語データを解析し、各時間区間で信頼度が最大の候補語を連結することにより、暫定的な認識結果を作成し、保持する。その暫定的な認識結果、及び、各候補語と同一グループの候補語のデータは、候補語表示部４３に送られる。このとき候補語表示部４３には、画面に表示可能な分量のみが送られる。

候補語表示部４３は、候補語データ解析・更新部４１から受け取った認識結果を表示装置の画面に表示する。このとき、候補語の境界を空白などにより明示する。さらに、各候補語に対してグループ化された他の候補語がある場合は、その旨を下線などにより示す。さらに、同一グループの候補語を、認識結果を表示する画面とは別の画面に表示し、その画面内で候補語を信頼度の高い順に表示する。

候補語データ解析・更新部４１は、編集操作部１８からユーザの編集内容を受け取ると、その編集内容に従って認識結果を更新する。例えば、正解の候補語の選択、候補語の削除、候補語の並びの変更、新規の候補語の入力などの編集内容に従って、認識結果を変更する。正解の候補語の選択がなされた場合は、編集箇所を正解の候補語に置き換え、他の候補語を削除する。候補語の削除がなされた場合には、編集箇所の候補語を全て削除する。新規の候補語が入力された場合には、編集箇所に入力された候補語を挿入する。候補語データ解析・更新部４１は、編集後の認識結果、及び、各候補語と同一グループの候補語のデータを候補語表示部４３に送る。

候補語データ解析・更新部４１は、編集操作部１８から編集箇所を移動する指示を受け取ると、移動先に対応する認識結果、及び、各候補語と同一グループの候補語のデータを候補語表示部４３に送る。

候補語グループ・候補語選択履歴記憶部４２は、候補語のグループと、ユーザが候補語を選択した確率（ユーザ選択確率）を保持する。候補語データ解析・更新部４１は、候補語グループ・候補語選択履歴記憶部４２を参照し、編集箇所にあたる候補語のグループの候補語の表示を、候補語グループ・候補語選択履歴記憶部４２内のユーザ選択確率の高い順に並び替える処理を行うことができる。なお、ユーザ選択確率による表示順序の変更処理については、実行の可否を選択することができるようにする。

次に、本実施形態に係る候補語グループ化処理について、いくつかの実施例を挙げて詳細に説明する。

候補語グループ化部３１は、候補語抽出部３０によって単語のネットワーク形式の認識結果から抽出された候補語から、単語のネットワーク形式の認識結果において、信頼度が最大である文を構成する候補語の列（以下、「第１の候補語列」と称する）と、それ以外の候補語の列（以下、「第２の候補語列」と称する）を抽出する。図２の例では、第１の候補語列は図２中の実線部分“今日の午後３時に会費です”であり、第２の候補語列は該“今日の午後３時に会費です”以外の候補語列である。

次いで、候補語グループ化部３１は、第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的距離を算出する。次いで、候補語グループ化部３１は、同じグループ内の第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的距離を合計した値が最小になるように、第１の候補語列と第２の候補語列を構成する候補語同士をグループ化する。なお、時間的距離が最小となる候補語の組合せは、DTW（Dynamic Time Warping）により効率的に求めることができる。

第１の候補語列中の候補語と第２の候補語列中の候補語との間の時間的距離としては、例えば、候補語の時間的な重なりを１から減算した値を用いることができる。候補語w_iと候補語w_jの時間的な重なりO(w_i,w_j)は、例えば、（１）式によって計算することができる。（１）式においては、候補語w_i，w_jの時間長l(w_i)，l(w_j)の合計に対する時間的な重なりl(w_i∩w_j)の占める割合として、時間的な重なりO(w_i,w_j)を定義している。図７には、候補語w_iの時間長l(w_i)、候補語w_jの時間長l(w_j)及びその時間的な重なりl(w_i∩w_j)の関係が示されている。

図８は、実施例１に係る候補語グループ化処理の一例である。図８の例は、図２の認識結果を処理する一例である。図８では、第１の候補語列“今日の午後３時に会費です”と、第２の候補語列“京の午後３時に会議です”を処理対象にしている。そして、時間的な重なりの大きい、“今日の”と“京の”、“午後”と“午後”、“３時に”と“３時に”、“会費”と“会議”、“です”と“です”をそれぞれに同じグループとし、合計５つのグループ１〜５を形成している。

本実施例１によれば、第１の候補語列中の候補語と第２の候補語列中の候補語との間の時間的距離を合計した値が最小になるように、第１の候補語列と第２の候補語列を構成する候補語同士をグループ化する。これにより、候補語の並び順を維持しながら候補語のグループ化を行うと共に、同一の単語が複数の区間で候補語となることを防ぐことができる。これにより、音声認識結果から画面に表示される候補語として、同じ単語が複数の区間で表示されることを防止することが可能になる。

実施例２では、実施例１と同様に、第１の候補語列中の候補語w_iと第２の候補語列中の候補語w_jとの時間的な重なりO(w_i,w_j)を用い、さらに、候補語間の読みの近さを表すものとして、候補語間の音素の編集距離（レーベンシュタイン距離）L(w_i,w_j)を用いる。

候補語グループ化部３１は、実施例１と同様に、第１の候補語列中の候補語w_iと第２の候補語列中の候補語w_jとの時間的な重なりO(w_i,w_j)を算出する。次いで、候補語グループ化部３１は、第１の候補語列中の候補語w_iと第２の候補語列中の候補語w_jについて候補語間の音素の編集距離L(w_i,w_j)を算出する。候補語間の音素の編集距離L(w_i,w_j)は、１音素当たりの編集回数である。編集回数とは、候補語w_iと候補語w_jの間で音素を一致させるために必要となる、音素の削除、挿入、置換の回数の合計である。候補語w_iの音素の数をN_wi、候補語w_jの音素の数をN_wj、編集回数をN_eとすると、候補語間の音素の編集距離L(w_i,w_j)は、（２）式により算出できる。

候補語グループ化部３１は、（２）式により候補語w_i，w_j間の音素の編集距離L(w_i,w_j)を算出する際に、候補語w_iの音素数N_wi及び候補語w_jの音素数N_wjを調べる。さらに、候補語グループ化部３１は、候補語w_iと候補語w_jの間で音素を一致させるために必要な編集回数N_eを調べる。次いで、候補語グループ化部３１は、音素数N_wiと音素数N_wjのうち大きい方の音素数を（２）式の分母に代入し、編集回数N_eを（２）式の分子に代入し、（２）式の値を計算する。

図９に、編集距離L(w_i,w_j)の計算例が示されている。図９の例は、“神田”と“蒲田”の間の編集距離L(w_i,w_j)を求めている。図９に示されるように“神田”と“蒲田”では、編集回数が４回であり、１音素当りの編集距離は、4/6となる。

次いで、候補語グループ化部３１は、候補語間の時間的な重なりO(w_i,w_j)と候補語間の音素の編集距離L(w_i,w_j)を用いて、候補語間の距離D(w_i,w_j)を算出する。候補語間の距離D(w_i,w_j)は、（３）式により算出できる。但し、（３）式において、α，βは、０から１の範囲の値を持つ重み付け係数であり、D(w_i,w_j)が０から１の範囲の値になるように設定する。候補語間の距離D(w_i,w_j)は、候補語間の時間的な重なりO(w_i,w_j)と候補語間の音素の編集距離L(w_i,w_j)の重み付け加算値となっている。

次いで、候補語グループ化部３１は、第１の候補語列中の候補語w_iと第２の候補語列中の候補語w_jの間の距離D(w_i,w_j)が最小である候補語同士をグループ化する。

図１０は、実施例２に係る候補語グループ化処理の一例である。図１０の例は、図２の認識結果を処理する一例である。図１０では、第１の候補語列“今日の午後３時に会費です”と、第２の候補語列“京都ご讃辞に会議です”を処理対象にしている。図１０に示されるように、第２の候補語列中の候補語“ご讃辞に”に対して、第１の候補語列の中で時間的に重なりのある候補語は、“午後”と“３時に”と“会費”の３つある。図１０の例では、本実施例２の候補語グループ化処理の結果、候補語“３時に”と候補語“ご讃辞に”が同一グループに属するように判定されている。

図１１は、実施例２に係る候補語グループ化処理の他の例である。図１１の例では、第１の候補語列が“京都ご讃辞に会議です”であり、第２の候補語列が“今日の午後３時に会費です”である。図１１に示されるように、第２の候補語列中の候補語“午後”と候補語“３時に”に対して、第１の候補語列の中で、時間的に重なりがあり且つ編集距離が短い候補語は“ご讃辞に”のみである。そのため、候補語“午後”も候補語“３時に”も、“ご讃辞に”とグループ化される。このように、１つの候補語列に含まれる複数の候補語が１つのグループに属すると判定された場合は、該複数の候補語を連結する。図１１の例では、候補語“午後”と候補語“３時に”を連結して、１つの候補語“午後３時に”を生成する。この候補語“午後３時に”は、候補語“ご讃辞に”と同じグループ２を形成する。

本実施例２によれば、第１の候補語列中の候補語w_iと第２の候補語列中の候補語w_jとの間の時間的な重なりO(w_i,w_j)及び音素の編集距離L(w_i,w_j)の重み付け加算値である、距離D(w_i,w_j)が最小である候補語同士をグループ化する。これにより、候補語の並び順を維持しながら候補語のグループ化を行うと共に、同一の単語が複数の区間で候補語となることを防ぐことができる。これにより、音声認識結果から画面に表示される候補語として、同じ単語が複数の区間で表示されることを防止することが可能になる。

なお、実施例２の変形として、以下に示すいくつかの方法が挙げられる。

［実施例２−１］
実施例２−１では、候補語間の音素の編集距離L(w_i,w_j)を算出する際に、編集回数N_eの代わりに、候補語間の読みの近さを表すものとして「候補語w_iと候補語w_jの間で音素を一致させるために必要な置換の対象の音素の組合せにおける、音素間の音響的な類似度」を用いる。例えば、読みの似た３つの単語として“/n/a/k/a/d/a/（中田）”と“/n/a/k/a/t/a/（中田）”と“/n/a/k/a/m/a/（仲間）”では、音素“/d/”と音素“/t/”、音素“/d/”と音素“/m/”、音素“/t/”と音素“/m/”が、それぞれの単語間で音素を一致させるために必要な置換の対象の音素の組合せである。

まず準備段階として事前に、すべての音素の組み合わせに対して、音響的な類似度に応じた編集コストC_pi,pjを決定し、メモリに保持しておく。編集コストC_pi,pjは、音素p_iと音素p_jの間の音響的な類似度を表す。

候補語グループ化部３１は、（２）式により候補語w_i，w_j間の音素の編集距離L(w_i,w_j)を算出する際に、候補語w_iと候補語w_jの間で音素を一致させるために必要な置換の対象の音素の組合せを調べる。次いで、候補語グループ化部３１は、その各音素の組合せについて編集コストC_pi,pjをメモリから読み出す。次いで、候補語グループ化部３１は、その編集コストC_pi,pjの合計を計算する。次いで、候補語グループ化部３１は、その編集コストC_pi,pjの合計値を編集回数N_eの代わりに（２）式の分子に代入し、候補語w_iの音素数N_wiと候補語w_jの音素数N_wjのうち大きい方の音素数を（２）式の分母に代入し、（２）式の値を計算する。次いで、候補語グループ化部３１は、（３）式により、候補語間の距離D(w_i,w_j)を計算する。なお、候補語間の時間的な重なりO(w_i,w_j)は、実施例１と同様に算出する。

本実施例２−１によれば、候補語間の編集回数が同じ場合であっても、編集距離が異なることがある。例えば、読みの似た３つの単語として“/n/a/k/a/d/a/（中田）”と“/n/a/k/a/t/a/（中田）”と“/n/a/k/a/m/a/（仲間）”では、どの単語の組合せでも編集回数は１である。このとき、もし、音素“/d/”と音素“/t/”の編集コストC_/d/,/t/が、音素“/d/”と音素“/m/”の編集コストC_/d/,/m/、及び、音素“/t/”と音素“/m/”の編集コストC_/t/,/m/より小さい場合には、“/n/a/k/a/d/a/（中田）”と“/n/a/k/a/t/a/（中田）”の組の編集距離は、他の単語の組に比べて、小さくなる。

なお、音素間の音響的な類似度としては、例えば、子音の調音に必要な閉鎖が起きる声道の位置（調音位置）とその閉鎖の方法（調音様式）を音素毎に調べ、音素間の調音位置と調音様式についての一致度を用いることが挙げられる。

［実施例２−２］
実施例２−２では、候補語間の音素の編集距離L(w_i,w_j)として、音素間の誤認識しやすさ（Confusion Matrix）を用いる。

まず準備段階として事前に音声認識処理によって、すべての音素の組み合わせに対して、音素間の誤認識しやすさを求め、音素の組合せ毎に編集距離を決定しメモリに保持しておく。編集距離としては、誤認識しやすい音素間ほど編集距離が短い値、誤認識し難い音素間ほど編集距離が長い値を与える。

候補語グループ化部３１は、（２）式により候補語w_i，w_j間の音素の編集距離L(w_i,w_j)を算出する際に、候補語w_iと候補語w_jの間の音素の組合せを抽出する。次いで、候補語グループ化部３１は、その各音素の組合せについて編集距離をメモリから読み出す。次いで、候補語グループ化部３１は、その編集距離の合計を計算する。次いで、候補語グループ化部３１は、その編集距離の合計値を編集回数N_eの代わりに（２）式の分子に代入し、候補語w_iの音素数N_wiと候補語w_jの音素数N_wjのうち大きい方の音素数を（２）式の分母に代入し、（２）式の値を計算する。次いで、候補語グループ化部３１は、（３）式により、候補語間の距離D(w_i,w_j)を計算する。なお、候補語間の時間的な重なりO(w_i,w_j)は、実施例１と同様に算出する。

上述したように本実施形態によれば、候補語の並び順を維持しながら候補語のグループ化を行うと共に、同一の単語が複数の区間で候補語となることを防ぎ、音声認識結果から画面に表示される候補語として、同じ単語が複数の区間で表示されることを防止することができる。

なお、本実施形態に係る音声認識装置１は、専用のハードウェアにより実現されるものであってもよく、あるいはパーソナルコンピュータ等のコンピュータシステムにより構成され、図１に示される装置の各機能を実現するためのプログラムを実行することによりその機能を実現させるものであってもよい。

また、その音声認識装置１には、周辺機器として入力装置、表示装置等（いずれも図示せず）が接続されるものとする。ここで、入力装置とはキーボード、マウス、携帯電話端末のキー等の入力デバイスのことをいう。表示装置とはＣＲＴ（Cathode Ray Tube）や液晶表示装置等のことをいう。
また、上記周辺機器については、音声認識装置１に直接接続するものであってもよく、あるいは通信回線を介して接続するようにしてもよい。

また、図１に示す音声認識装置１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、音声認識に係る処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＤＶＤ（Digital Versatile Disk）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、上述の音声認識装置１は、ワードプロセッサー装置、電子メール装置などの文書作成を行う各種の装置と組合せて構成するようにしてもよい。

本発明の一実施形態に係る音声認識装置１の全体構成を示すブロック図である。単語のネットワーク形式の認識結果の構成例である。図１に示す候補語生成部１６の構成例である。本発明の一実施形態に係る候補語グループ化処理後の認識結果の構成例である。同実施形態に係る候補語の同一候補語の一元化処理後の認識結果の構成例である。図１に示す候補語編集・表示部１７の構成例である。本発明の一実施形態に係る候補語間の時間的な重なりl(w_i∩w_j)を説明するための説明図である。本発明の実施例１に係る候補語グループ化処理の一例である。本発明の実施例２に係る編集距離L(w_i,w_j)の計算例である。本発明の実施例２に係る候補語グループ化処理の一例である。本発明の実施例２に係る候補語グループ化処理の他の例である。従来の候補語グループ化処理の例である。

符号の説明

１…音声認識装置、１１…音声入力部、１２…音響特徴量抽出部、１３…音声認識部、１４…音響モデル記憶部、１５…言語モデル記憶部、１６…候補語生成部、１７…候補語編集・表示部、１８…編集操作部、３０…候補語抽出部、３１…候補語グループ化部

Claims

入力された音声を認識する処理を行い、認識した単語の列から成る認識結果を生成し、音響的なスコア（音響尤度）と言語的な確率（言語確率）から認識結果の確からしさ（信頼度）を算出する音声認識手段と、
認識結果から候補語を抽出する候補語抽出手段と、
候補語をグループ化する候補語グループ化手段と、
グループ化された候補語を画面に表示する候補語表示手段と、
ユーザが画面に表示された候補語を編集するための編集操作手段と、
ユーザによる編集内容に従って認識結果を更新する更新手段と、を備え、
前記候補語グループ化手段は、
前記認識結果において信頼度が最大である文を構成する候補語の列（第１の候補語列）とそれ以外の候補語の列（第２の候補語列）を抽出する手段と、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的距離を算出する手段と、
同じグループ内の第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的距離を合計した値が最小になるように、第１の候補語列と第２の候補語列を構成する候補語同士をグループ化する手段と、を有し、
前記時間的距離は次式で定義され、
時間的距離＝１−O(w _i ,w _j )、

但し、l(w _i )は候補語w _i の時間長であり、l(w _j )は候補語w _j の時間長であり、l(w _i ∩w _j )は候補語w _i と候補語w _j が重なっている時間長である、
ことを特徴とする音声認識装置。
入力された音声を認識する処理を行い、認識した単語の列から成る認識結果を生成し、音響的なスコア（音響尤度）と言語的な確率（言語確率）から認識結果の確からしさ（信頼度）を算出する音声認識手段と、
認識結果から候補語を抽出する候補語抽出手段と、
候補語をグループ化する候補語グループ化手段と、
グループ化された候補語を画面に表示する候補語表示手段と、
ユーザが画面に表示された候補語を編集するための編集操作手段と、
ユーザによる編集内容に従って認識結果を更新する更新手段と、を備え、
前記候補語グループ化手段は、
前記認識結果において信頼度が最大である文を構成する候補語の列（第１の候補語列）とそれ以外の候補語の列（第２の候補語列）を抽出する手段と、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的な重なりを算出する手段と、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の音素の編集距離を算出する手段と、
候補語間の時間的な重なりと候補語間の音素の編集距離を用いて、候補語間の距離を算出する手段と、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の距離が最小である候補語同士をグループ化する手段と、を有し、
前記時間的な重なり「O(w _i ,w _j )」は次式で定義され、

但し、l(w _i )は候補語w _i の時間長であり、l(w _j )は候補語w _j の時間長であり、l(w _i ∩w _j )は候補語w _i と候補語w _j が重なっている時間長である、
前記音素の編集距離「L(w _i ,w _j )」は次式で定義され、

但し、N _wi は候補語w _i の音素の数であり、N _wj は候補語w _j の音素の数であり、N _e は候補語w _i と候補語w _j の間で音素を一致させるために必要となる、音素の削除、挿入、置換の回数の合計であり、
前記候補語間の距離「D(w _i ,w _j )」は次式で定義され、

但し、α及びβは０から１までの範囲の値を持つ重み付け係数であり、D(w _i ,w _j )が０から１までの範囲の値になるように設定されている、
ことを特徴とする音声認識装置。
入力された音声を認識する処理を行い、認識した単語の列から成る認識結果を生成し、音響的なスコア（音響尤度）と言語的な確率（言語確率）から認識結果の確からしさ（信頼度）を算出する音声認識手段と、
認識結果から候補語を抽出する候補語抽出手段と、
候補語をグループ化する候補語グループ化手段と、
グループ化された候補語を画面に表示する候補語表示手段と、
ユーザが画面に表示された候補語を編集するための編集操作手段と、
ユーザによる編集内容に従って認識結果を更新する更新手段と、を備え、
前記候補語グループ化手段は、
前記認識結果において信頼度が最大である文を構成する候補語の列（第１の候補語列）とそれ以外の候補語の列（第２の候補語列）を抽出する手段と、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的な重なりを算出する手段と、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の音素の編集距離を算出する手段と、
候補語間の時間的な重なりと候補語間の音素の編集距離を用いて、候補語間の距離を算出する手段と、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の距離が最小である候補語同士をグループ化する手段と、を有し、
前記時間的な重なり「O(w _i ,w _j )」は次式で定義され、

但し、l(w _i )は候補語w _i の時間長であり、l(w _j )は候補語w _j の時間長であり、l(w _i ∩w _j )は候補語w _i と候補語w _j が重なっている時間長である、
前記音素の編集距離「L(w _i ,w _j )」は次式で定義され、

但し、N _wi は候補語w _i の音素の数であり、N _wj は候補語w _j の音素の数であり、N _e は編集コストC _pi,pj の合計値であり、
前記編集コストC _pi,pj は、候補語w _i と候補語w _j の間で音素を一致させるために必要な置換の対象の音素p _i と音素p _j の間の音響的な類似度であり、
すべての音素の組み合わせに対して前記編集コストを予め記憶する記憶手段を設け、
前記候補語間の距離「D(w _i ,w _j )」は次式で定義され、

但し、α及びβは０から１までの範囲の値を持つ重み付け係数であり、D(w _i ,w _j )が０から１までの範囲の値になるように設定されている、
ことを特徴とする音声認識装置。
前記音素間の音響的な類似度は、音素間の調音位置と調音様式についての一致度であることを特徴とする請求項３に記載の音声認識装置。
入力された音声を認識する処理を行い、認識した単語の列から成る認識結果を生成し、音響的なスコア（音響尤度）と言語的な確率（言語確率）から認識結果の確からしさ（信頼度）を算出する音声認識手段と、
認識結果から候補語を抽出する候補語抽出手段と、
候補語をグループ化する候補語グループ化手段と、
グループ化された候補語を画面に表示する候補語表示手段と、
ユーザが画面に表示された候補語を編集するための編集操作手段と、
ユーザによる編集内容に従って認識結果を更新する更新手段と、を備え、
前記候補語グループ化手段は、
前記認識結果において信頼度が最大である文を構成する候補語の列（第１の候補語列）とそれ以外の候補語の列（第２の候補語列）を抽出する手段と、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的な重なりを算出する手段と、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の音素の編集距離を算出する手段と、
候補語間の時間的な重なりと候補語間の音素の編集距離を用いて、候補語間の距離を算出する手段と、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の距離が最小である候補語同士をグループ化する手段と、を有し、
前記時間的な重なり「O(w _i ,w _j )」は次式で定義され、

但し、l(w _i )は候補語w _i の時間長であり、l(w _j )は候補語w _j の時間長であり、l(w _i ∩w _j )は候補語w _i と候補語w _j が重なっている時間長である、
前記音素の編集距離「L(w _i ,w _j )」は次式で定義され、

但し、N _wi は候補語w _i の音素の数であり、N _wj は候補語w _j の音素の数であり、
N _e は、候補語w _i と候補語w _j の間の音素の組合せ毎の音素間の誤認識しやすさの合計値であり、
すべての音素の組み合わせに対して、誤認識しやすい音素間ほど小さい値、誤認識し難い音素間ほど大きい値である前記音素間の誤認識しやすさを予め記憶する記憶手段を設け、
前記候補語間の距離「D(w _i ,w _j )」は次式で定義され、

但し、α及びβは０から１までの範囲の値を持つ重み付け係数であり、D(w _i ,w _j )が０から１までの範囲の値になるように設定されている、
ことを特徴とする音声認識装置。
１つの候補語列中の複数の候補語が１つのグループに属すると判定された場合に、該複数の候補語を連結する手段を備えたことを特徴とする請求項２から５のいずれか１項に記載の音声認識装置。
入力された音声を認識する処理を行い、認識した単語の列から成る認識結果を生成し、音響的なスコア（音響尤度）と言語的な確率（言語確率）から認識結果の確からしさ（信頼度）を算出する音声認識機能と、
認識結果から候補語を抽出する候補語抽出機能と、
候補語をグループ化する候補語グループ化機能と、
グループ化された候補語を画面に表示する候補語表示機能と、
ユーザが画面に表示された候補語を編集するための編集操作機能と、
ユーザによる編集内容に従って認識結果を更新する更新機能と、をコンピュータに実現させるコンピュータプログラムであり、
前記候補語グループ化機能は、
前記認識結果において信頼度が最大である文を構成する候補語の列（第１の候補語列）とそれ以外の候補語の列（第２の候補語列）を抽出し、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的距離を算出し、
同じグループ内の第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的距離を合計した値が最小になるように、第１の候補語列と第２の候補語列を構成する候補語同士をグループ化し、
前記時間的距離は次式で定義され、
時間的距離＝１−O(w _i ,w _j )、

但し、l(w _i )は候補語w _i の時間長であり、l(w _j )は候補語w _j の時間長であり、l(w _i ∩w _j )は候補語w _i と候補語w _j が重なっている時間長である、
ことを特徴とするコンピュータプログラム。
入力された音声を認識する処理を行い、認識した単語の列から成る認識結果を生成し、音響的なスコア（音響尤度）と言語的な確率（言語確率）から認識結果の確からしさ（信頼度）を算出する音声認識機能と、
認識結果から候補語を抽出する候補語抽出機能と、
候補語をグループ化する候補語グループ化機能と、
グループ化された候補語を画面に表示する候補語表示機能と、
ユーザが画面に表示された候補語を編集するための編集操作機能と、
ユーザによる編集内容に従って認識結果を更新する更新機能と、をコンピュータに実現させるコンピュータプログラムであり、
前記候補語グループ化機能は、
前記認識結果において信頼度が最大である文を構成する候補語の列（第１の候補語列）とそれ以外の候補語の列（第２の候補語列）を抽出し、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的な重なりを算出し、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の音素の編集距離を算出し、
候補語間の時間的な重なりと候補語間の音素の編集距離を用いて、候補語間の距離を算出し、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の距離が最小である候補語同士をグループ化し、
前記時間的な重なり「O(w _i ,w _j )」は次式で定義され、

但し、l(w _i )は候補語w _i の時間長であり、l(w _j )は候補語w _j の時間長であり、l(w _i ∩w _j )は候補語w _i と候補語w _j が重なっている時間長である、
前記音素の編集距離「L(w _i ,w _j )」は次式で定義され、

但し、N _wi は候補語w _i の音素の数であり、N _wj は候補語w _j の音素の数であり、N _e は候補語w _i と候補語w _j の間で音素を一致させるために必要となる、音素の削除、挿入、置換の回数の合計であり、
前記候補語間の距離「D(w _i ,w _j )」は次式で定義され

但し、α及びβは０から１までの範囲の値を持つ重み付け係数であり、D(w _i ,w _j )が０から１までの範囲の値になるように設定されている、
ことを特徴とするコンピュータプログラム。
入力された音声を認識する処理を行い、認識した単語の列から成る認識結果を生成し、音響的なスコア（音響尤度）と言語的な確率（言語確率）から認識結果の確からしさ（信頼度）を算出する音声認識機能と、
認識結果から候補語を抽出する候補語抽出機能と、
候補語をグループ化する候補語グループ化機能と、
グループ化された候補語を画面に表示する候補語表示機能と、
ユーザが画面に表示された候補語を編集するための編集操作機能と、
ユーザによる編集内容に従って認識結果を更新する更新機能と、をコンピュータに実現させるコンピュータプログラムであり、
前記候補語グループ化機能は、
前記認識結果において信頼度が最大である文を構成する候補語の列（第１の候補語列）とそれ以外の候補語の列（第２の候補語列）を抽出し、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的な重なりを算出し、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の音素の編集距離を算出し、
候補語間の時間的な重なりと候補語間の音素の編集距離を用いて、候補語間の距離を算出し、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の距離が最小である候補語同士をグループ化し、
前記時間的な重なり「O(w _i ,w _j )」は次式で定義され、

但し、l(w _i )は候補語w _i の時間長であり、l(w _j )は候補語w _j の時間長であり、l(w _i ∩w _j )は候補語w _i と候補語w _j が重なっている時間長である、
前記音素の編集距離「L(w _i ,w _j )」は次式で定義され、

但し、N _wi は候補語w _i の音素の数であり、N _wj は候補語w _j の音素の数であり、N _e は編集コストC _pi,pj の合計値であり、
前記編集コストC _pi,pj は、候補語w _i と候補語w _j の間で音素を一致させるために必要な置換の対象の音素p _i と音素p _j の間の音響的な類似度であり、
すべての音素の組み合わせに対して前記編集コストを予め記憶する記憶手段を前記コンピュータに設け、
前記候補語間の距離「D(w _i ,w _j )」は次式で定義され、

但し、α及びβは０から１までの範囲の値を持つ重み付け係数であり、D(w _i ,w _j )が０から１までの範囲の値になるように設定されている、
ことを特徴とするコンピュータプログラム。
入力された音声を認識する処理を行い、認識した単語の列から成る認識結果を生成し、音響的なスコア（音響尤度）と言語的な確率（言語確率）から認識結果の確からしさ（信頼度）を算出する音声認識機能と、
認識結果から候補語を抽出する候補語抽出機能と、
候補語をグループ化する候補語グループ化機能と、
グループ化された候補語を画面に表示する候補語表示機能と、
ユーザが画面に表示された候補語を編集するための編集操作機能と、
ユーザによる編集内容に従って認識結果を更新する更新機能と、をコンピュータに実現させるコンピュータプログラムであり、
前記候補語グループ化機能は、
前記認識結果において信頼度が最大である文を構成する候補語の列（第１の候補語列）とそれ以外の候補語の列（第２の候補語列）を抽出し、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の時間的な重なりを算出し、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の音素の編集距離を算出し、
候補語間の時間的な重なりと候補語間の音素の編集距離を用いて、候補語間の距離を算出し、
第１の候補語列中の候補語と第２の候補語列中の候補語の間の距離が最小である候補語同士をグループ化し、
前記時間的な重なり「O(w _i ,w _j )」は次式で定義され、

但し、l(w _i )は候補語w _i の時間長であり、l(w _j )は候補語w _j の時間長であり、l(w _i ∩w _j )は候補語w _i と候補語w _j が重なっている時間長である、
前記音素の編集距離「L(w _i ,w _j )」は次式で定義され、

但し、N _wi は候補語w _i の音素の数であり、N _wj は候補語w _j の音素の数であり、
N _e は、候補語w _i と候補語w _j の間の音素の組合せ毎の音素間の誤認識しやすさの合計値であり、
すべての音素の組み合わせに対して、誤認識しやすい音素間ほど小さい値、誤認識し難い音素間ほど大きい値である前記音素間の誤認識しやすさを予め記憶する記憶手段を前記コンピュータに設け、
前記候補語間の距離「D(w _i ,w _j )」は次式で定義され、

但し、α及びβは０から１までの範囲の値を持つ重み付け係数であり、D(w _i ,w _j )が０から１までの範囲の値になるように設定されている、
ことを特徴とするコンピュータプログラム。