JP6366179B2 - 発話評価装置、発話評価方法、及びプログラム - Google Patents

Description

本発明は、発話評価装置、発話評価方法、及びプログラムに関する。

人間の発話音声の善し悪しを自動評定する技術がある（例えば、特許文献１参照）。この技術では、予めネイティブ話者の発話から生成しておいた音響モデル、言語モデル、及び音素継続長モデルに基づいて、発話音声の音声データから、例えば発話の発音、発話速度、発話の流暢さなど、発音に関連し得る特徴量を抽出する。そして、抽出された特徴量に基づいて、文単位・単語単位で発音を評価する。

特開２００６−８４９６６号公報

従来の発話評価装置では、発話すべき文章（正解文）をもとに発音の評価を行う。そのため、正解文と全く同じ文章を発話しなければ、発音を評価することができない。また、正解文のネイティブ話者の発話がないと評価を行うことができない。さらには、従来技術は発音に関する評価であり、正解文に対して発話者の発音が悪いのか、発話者が読み間違えたのか評価するものではない。音声認識処理においても、読み間違いの認識が可能なモデルはなかった。

本発明は、このような事情を考慮してなされたもので、発話に読み間違いがあるかを評価することができる発話評価装置、発話評価方法、及びプログラムを提供する。

本発明の一態様は、単語と前記単語の読みとを対応付けた発音辞書を記憶する発音辞書記憶部と、単語同士のつながり易さを表す言語モデルを記憶する言語モデル記憶部と、テキストデータから取得した文を構成する単語のうち漢字を含んだ前記単語を処理対象単語とし、前記処理対象単語に含まれる前記漢字が取り得る読みに基づいて前記処理対象単語の読み間違いの読み方を生成する読み間違い生成部と、読み間違いを示す識別情報を付加した前記処理対象単語と、前記処理対象単語に対して前記読み間違い生成部が生成した前記読み間違いの読み方とを対応付けて登録することにより前記発音辞書を更新する発音辞書更新部と、前記テキストデータから単語同士のつながりを取得し、取得した前記単語同士のつながりに含まれる前記処理対象単語に前記識別情報を付加して生成した単語同士のつながりと、生成した前記単語同士のつながりに付与した所定の出現頻度とに基づいて前記言語モデルを更新する言語モデル更新部と、前記発音辞書更新部が更新した前記発音辞書及び前記言語モデル更新部が更新した前記言語モデルに基づいて音声データを音声認識する認識処理部と、前記認識処理部による音声認識の結果に前記識別情報が付加された単語が含まれる場合に、読み間違いを出力する出力部と、を備えることを特徴とする発話評価装置である。
この発明によれば、発話評価装置は、テキストデータから取得した文を構成する単語のうち、漢字を含んだ単語を処理対象単語として読み間違いの読み方を生成し、識別情報を付加した処理対象単語と読み間違いの読み方とを対応付けて発音辞書に登録する。発話評価装置は、テキストデータから単語同士のつながりを取得すると、取得した単語同士のつながりに含まれる処理対象単語に識別情報を付加して読み間違いの読み方が付与された単語を含んだ単語同士のつながりを生成し、所定の出現頻度を付与する。発話評価装置は、生成した単語同士のつながりと、付与した出現頻度とに基づいて言語モデルを更新する。発話評価装置は、更新された発音辞書及び言語モデルに基づいて音声データを音声認識し、音声認識結果に識別情報が付加された単語が含まれる場合に、読み間違いを出力する。
これにより、発話評価装置は、音声データが示す発話に読み間違いがあった場合に、読み間違いを通知することができる。

本発明の一態様は、上述する発話評価装置であって、前記読み間違い生成部は、前記テキストデータから取得した文を構成する単語のうち漢字を含んだ所定の品詞の前記単語を前記処理対象単語とする、ことを特徴とする。
この発明によれば、発話評価装置は、テキストデータが示す文を構成する漢字を含んだ単語のうち、所定の品詞の単語に読み間違いを付与する。
これにより、発話評価装置は、所定の品詞の単語についての読み間違いを検出することができる。

本発明の一態様は、上述する発話評価装置であって、前記言語モデル更新部は、生成した前記単語同士のつながりに、前記識別情報を付加する前の前記単語同士のつながりについて前記テキストデータから算出した出現頻度に基づく出現頻度を付与する、ことを特徴とする。
この発明によれば、発話評価装置は、読み間違いの単語の出現頻度を、正しい読みの単語の出現頻度に基づいて設定する。
これにより、発話評価装置は、実際の読み間違いの単語の出現確率が低い場合でも、発話を音声認識する際に読み間違いの単語を認識しやすくすることができる。

本発明の一態様は、発話評価装置が実行する発話評価方法であって、テキストデータから取得した文を構成する単語のうち漢字を含んだ前記単語を処理対象単語とし、前記処理対象単語に含まれる前記漢字が取り得る読みに基づいて前記処理対象単語の読み間違いの読み方を生成する読み間違い生成ステップと、単語と前記単語の読みとを対応付けた発音辞書に、読み間違いを示す識別情報を付加した前記処理対象単語と、前記処理対象単語に対して前記読み間違い生成ステップにおいて生成された前記読み間違いの読み方とを対応付けて登録することにより、前記発音辞書を更新する発音辞書更新ステップと、前記テキストデータから単語同士のつながりを取得し、取得した前記単語同士のつながりに含まれる前記処理対象単語に前記識別情報を付加して生成した単語同士のつながりと、生成した前記単語同士のつながりに付与した所定の出現頻度とに基づいて、単語同士のつながり易さを表す言語モデルを更新する言語モデル更新ステップと、前記発音辞書更新ステップにおいて更新した前記発音辞書及び前記言語モデル更新ステップにおいて更新した前記言語モデルに基づいて音声データを音声認識する認識処理ステップと、前記認識処理ステップにおける音声認識の結果に前記識別情報が付加された単語が含まれる場合に、読み間違いを出力する出力ステップと、を有することを特徴とする発話評価方法である。

本発明の一態様は、コンピュータを、単語と前記単語の読みとを対応付けた発音辞書を記憶する発音辞書記憶手段と、単語同士のつながり易さを表す言語モデルを記憶する言語モデル記憶手段と、テキストデータから取得した文を構成する単語のうち漢字を含んだ前記単語を処理対象単語とし、前記処理対象単語に含まれる前記漢字が取り得る読みに基づいて前記処理対象単語の読み間違いの読み方を生成する読み間違い生成手段と、読み間違いを示す識別情報を付加した前記処理対象単語と、前記処理対象単語に対して前記読み間違い生成手段が生成した前記読み間違いの読み方とを対応付けて登録することにより前記発音辞書を更新する発音辞書更新手段と、前記テキストデータから単語同士のつながりを取得し、取得した前記単語同士のつながりに含まれる前記処理対象単語に前記識別情報を付加して生成した単語同士のつながりと、生成した前記単語同士のつながりに付与した所定の出現頻度とに基づいて前記言語モデルを更新する言語モデル更新手段と、前記発音辞書更新手段が更新した前記発音辞書及び前記言語モデル更新手段が更新した前記言語モデルに基づいて音声データを音声認識する認識処理手段と、前記認識処理手段による音声認識の結果に前記識別情報が付加された単語が含まれる場合に、読み間違いを出力する出力手段と、を具備する発話評価装置として機能させるためのプログラムである。

本発明によれば、発話に読み間違いがあるかを評価することができる。

本発明の一実施形態による発話評価装置の構成を示す機能ブロック図である。 同実施形態による発話評価装置の全体処理を示すフローチャートである。 同実施形態による発話評価装置の発音辞書及び言語モデル更新処理を示すフローチャートである。 同実施形態による発話評価装置の読み間違い指摘処理を示すフローチャートである。 同実施形態による発話評価装置が表示させる読み間違い指摘画面の例を示す図である。

以下、図面を参照しながら本発明の実施形態を詳細に説明する。
本発明の一実施形態による発話評価装置は、学習用のテキストデータに読み間違いを付与し、付与した読み間違いに基づいて音声認識に用いるモデルを適応化することにより、発話に含まれる読み間違いを認識可能とする。これにより、本実施形態の発話評価装置は、音声認識結果に読み間違いがあるかを評価することができる。例えば、本実施形態の発話評価装置は、アナウンサーや役者等が、台本などのあらかじめ決まった文章を読む際に、音声認識技術を用いて自動的に読み間違いを指摘する。

図１は、本発明の一実施形態による発話評価装置１の構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。発話評価装置１は、コンピュータ装置により実現することができる。同図に示すように、発話評価装置１は、音響モデル記憶部１１、発音辞書記憶部１２、言語モデル記憶部１３、ユーザーインターフェース制御部１４、テキストデータ取得部１５、更新部１６、音声データ取得部１７、音響特徴量抽出部１８、及び認識処理部１９を備えて構成される。

音響モデル記憶部１１は、音響モデルを記憶する。音響モデルは、音素とその音素の音響特徴量とを対応付けたデータである。本実施形態では、音響モデルとして、音響特徴量と音素との間の統計的関係を表すＨＭＭ（Hidden Markov Model、隠れマルコフモデル）音響モデルを用いる。発音辞書記憶部１２は、発音辞書を記憶する。発音辞書は、単語と読みの対応付けを表すデータである。本実施形態では、発音辞書として、文字や語と、それらの読みの音素との関係を表すデータを用いる。言語モデル記憶部１３は、言語モデルを記憶する。言語モデルは、単語同士のつながり易さを表すデータである。本実施形態では、言語モデルとして、言語のｎ個の要素（文字や語）が出現する順序の統計的確率を表すｎ−ｇｒａｍ言語モデルを使用する。

ユーザーインターフェース制御部１４は、情報を出力する出力部の一例であり、ディスプレイなどの表示装置に画面を表示させる。テキストデータ取得部１５は、テキストデータを取得する。
更新部１６は、読み間違い生成部１６１、発音辞書更新部１６２、及び言語モデル更新部１６３を備える。読み間違い生成部１６１は、テキストデータから文を取得し、取得した文を構成する単語に漢字を含んだ所定の品詞の単語がある場合、その単語に読み間違いの読み方を付与する。発音辞書更新部１６２は、読み間違い生成部１６１が付与した読み間違いの読み方に基づいて、発音辞書記憶部１２に記憶されている発音辞書を更新する。言語モデル更新部１６３は、テキストデータから取得した文からｎ−ｇｒａｍとその出現頻度を得ると、得られたｎ−ｇｒａｍに含まれる正しい読みの単語を、読み間違い生成部１６１が読み間違いを付与した単語に置き換えたｎ−ｇｒａｍを生成する。言語モデル更新部１６３は、読み間違いを付与した単語に置き換えて生成したｎ−ｇｒａｍに、読み間違いを付与した単語に置き換える前のｎ−ｇｒａｍの出現頻度に基づく出現頻度を付与する。言語モデル更新部１６３は、生成したｎ−ｇｒａｍと付与した出現頻度とに基づいて、言語モデル記憶部１３に記憶されている言語モデルを更新する。

音声データ取得部１７は、発話の音声データを取得する。音響特徴量抽出部１８は、音声データ取得部１７から取得した音声データから音響特徴量を抽出する。認識処理部１９は、音響モデル記憶部１１に記憶されている音響モデル、発音辞書記憶部１２に記憶されている更新後の発音辞書及び言語モデル記憶部１３に記憶されている更新後の言語モデル、及び音響特徴量抽出部１８が抽出した音響特徴量を用いて音声データの音声認識を行う。認識処理部１９は、音声認識結果を設定した認識結果データをユーザーインターフェース制御部１４に出力する。ユーザーインターフェース制御部１４は、認識結果データに読み間違いの単語が含まれている場合、読み間違いであることを通知する情報を表示装置に表示させる。

図２は、発話評価装置１の全体処理を示すフローチャートである。
まず、発話評価装置１のテキストデータ取得部１５は、テキストデータを取得する。更新部１６は、テキストデータ取得部１５が取得したテキストデータから文を取得し、取得した文を構成する単語に漢字が含まれる所定の品詞の単語が含まれている場合、その単語に読み間違いを付与する。更新部１６は、付与した読み間違いの読み方に基づいて発音辞書記憶部１２に記憶されている発音辞書及び言語モデル記憶部１３に記憶されている言語モデルを更新する（ステップＳ１０５）。更新部１６は、読み間違いの読み方に対応付けられる単語には読み間違いの単語であることを表す識別情報を付与して発音辞書に登録する。また、更新部１６は、テキストデータに含まれる文からｎ−ｇｒａｍを取得する。更新部１６は、取得したｎ−ｇｒａｍを構成する単語に読み間違いの読み方を付与した元の単語が含まれる場合、その単語に読み間違いの識別情報を付与することにより、正しい読みの単語を読み間違いの単語に置き換えたｎ−ｇｒａｍを生成する。更新部１６は、読み間違いの単語を含んだｎ−ｇｒａｍにより言語モデルを更新する。なお、更新部１６は、読み間違いの単語を含んだｎ−ｇｒａｍについては、そのｎ−ｇｒａｍを生成する元となった、正しい単語を含んだｎ−ｇｒａｍに基づく出現頻度を付与する。

発音辞書及び言語モデルの更新後、音声データ取得部１７は入力された音声データを取得する。音響特徴量抽出部１８は、音声データ取得部１７が取得した音声データから音響特徴量を抽出する。認識処理部１９は、音響特徴量抽出部１８が抽出した音響特徴量と、音響モデル記憶部１１に記憶されている音響モデルと、ステップＳ１０５において更新された発音辞書及び言語モデルとを用いて、入力された音声データを音声認識する。認識処理部１９は、音声認識結果を設定した認識結果データをユーザーインターフェース制御部１４に出力する。ユーザーインターフェース制御部１４は、認識結果データに識別情報が付与された読み間違いの単語が含まれている場合、読み間違いであることを通知する情報を表示装置に表示させる（ステップＳ１１０）。

図３は、発話評価装置１の発音辞書及び言語モデル更新処理を示すフローチャートである。同図は、図２のステップＳ１０５における発音辞書及び言語モデルの更新処理の詳細を示す。
まず、ユーザーインターフェース制御部１４は、台本や原稿などのテキストデータを入力するための画面を表示装置に表示させる。テキストデータ取得部１５は、キーボード入力やファイル入力等を行う入力手段（図示せず）により入力されたテキストデータを取得し、更新部１６に出力する（ステップＳ２０５）。更新部１６は、ステップＳ２１０からステップＳ２５０の処理により、入力されたテキストデータを元に、発音辞書の更新を行う。

更新部１６の読み間違い生成部１６１は、テキストデータにまだ取得していない文がある場合（ステップＳ２１０：ＮＯ）、テキストデータからまだ取得していない１文を取得する（ステップＳ２１５）。読み間違い生成部１６１は、ステップＳ２１５において取得した文を形態素解析し、文を単語に分割するとともにその単語の品詞を取得する（ステップＳ２２０）。読み間違い生成部１６１は、形態素解析の結果、ステップＳ２１５において取得した文から単語を取得できないと判断した場合（ステップＳ２２５：ＮＯ）、ステップＳ２１０からの処理を繰り返す。

読み間違い生成部１６１は、ステップＳ２１５において取得した文から単語を取得できると判断した場合（ステップＳ２２５：ＹＥＳ）、その文に名詞の単語が含まれるかを判断する（ステップＳ２３０）。読み間違い生成部１６１は、取得した文に名詞の単語が含まれていないと判断した場合（ステップＳ２３０：ＮＯ）、ステップＳ２１０からの処理を繰り返す。

読み間違い生成部１６１は、取得した文に名詞の単語が含まれていると判断した場合（ステップＳ２３０：ＹＥＳ）、その名詞を１文字ずつに分解する（ステップＳ２３５）。読み間違い生成部１６１は、名詞を分解して得られた文字の中に漢字が含まれていないと判断した場合（ステップＳ２４０：ＮＯ）、ステップＳ２１０からの処理を繰り返す。

一方、読み間違い生成部１６１は、名詞を分解して得られた文字の中に漢字が含まれていると判断した場合（ステップＳ２４０：ＹＥＳ）、漢字が含まれる名詞に読み間違いの読み方を付与する（ステップＳ２４５）。以下では、漢字が含まれる名詞の単語を「処理対象単語」と記載する。

例えば、予め発話評価装置１が内部または外部に備える図示しない記憶部（あるいは、発音辞書記憶部１２）に、各漢字の音読み及び訓読みのデータを格納しておく。これらの音読み及び訓読みのデータは、音素で表したデータであってもよい。読み間違い生成部１６１は、処理対象単語に含まれる漢字の音読みと訓読みのデータを記憶部から読み出すことにより、その漢字の読み方を得る。読み間違い生成部１６１は、処理対象単語それぞれについて、その処理対象単語に含まれる漢字の読みを用いて、以下のように読み間違いの読み方を作成する。

すなわち、読み間違い生成部１６１は、処理対象単語に含まれる漢字について得た読み方の全ての組み合わせを作成し、その処理対象単語の読み方とする。読み間違い生成部１６１は、処理対象単語の正しい読み方を、発音辞書記憶部１２に記憶されている発音辞書から読み出す。読み間違い生成部１６１は、処理対象単語について生成した読み方のうち、正しい読み方以外を読み間違いとする。

例えば「象潟」という名詞の場合、「象」の読み方として音読み「しょう」、「ぞう」及び訓読み「かたち」、「かたど（る）」が読み出され、「潟」の読み方として音読み「せき」及び訓読み「かた」が読み出される。読み間違い生成部１６１は、「象」の読み方と「潟」の読み方との全ての組み合わせから「しょうせき」、「しょうかた」、「ぞうせき」、「ぞうかた」、…を「象潟」の読み方として作成する。読み間違い生成部１６１は、発音辞書記憶部１２に記憶されている発音辞書から読み出した「象潟」の正しい読み「きさかた」以外の読み方を読み間違いとする。

発音辞書更新部１６２は、ステップＳ２４５において読み間違い生成部１６１が作成した各処理対象単語の読み間違いを発音辞書に追加登録する（ステップＳ２５０）。発音辞書更新部１６２は、発音辞書に処理対象単語とその処理対象単語の読み間違いの読み方の音素とを対応付けて発音辞書に登録する際、処理対象単語には読み間違いを示す識別情報を付与する。例えば、単語「象潟」と読み間違い「しょうせき」とを対応付けて登録する際、単語「象潟」には識別情報を付加する。本実施形態では、識別情報として単語に「※」を付加し、読み間違いの単語であることを表す。例えば、単語「象潟」から生成された読み間違いの単語は「※象潟」となる。なお、発音辞書に正解の読み方と対応づけて元から登録されている単語には識別情報は付与しない。

発音辞書に登録された読み間違いの単語は、言語モデルの学習データには通常は含まれていない。従って、言語モデルにおいては、読み間違いの単語に出現確率０％などの低いが付与される。この場合、音声認識において読み間違いの単語を認識結果として得ることは難しい。そこで、次に、ステップＳ２５５〜ステップＳ２８０の処理により、言語モデル更新部１６３は、読み間違いの単語を用いたｎ−ｇｒａｍに、実際よりも高い出現頻度を与え、言語モデルに追加する。本実施形態では、正しい読み方と同様の出現確率で、読み間違いが発生すると仮定し、言語モデルの読み間違いへの適応を行う。

言語モデル更新部１６３は、言語モデル更新のため、テキストデータ取得部１５が取得したテキストデータに含まれる文に基づいて、ｎ単語の連鎖であるｎ−ｇｒａｍを取得するとともに、そのｎ−ｇｒａｍの出現頻度を算出する（ステップＳ２５５）。言語モデル更新部１６３は、取得したｎ−ｇｒａｍを全て取り出していない場合（ステップＳ２６０：ＮＯ）、まだ取り出していないｎ−ｇｒａｍを１つ取り出す（ステップＳ２６５）。言語モデル更新部１６３は、取り出したｎ−ｇｒａｍに読み間違いの単語の生成元となった単語が含まれていないと判断した場合（ステップＳ２７０：ＮＯ）、ステップＳ２６０からの処理を繰り返す。

言語モデル更新部１６３は、ステップＳ２６５において取り出したｎ−ｇｒａｍに、読み間違いの単語の生成元となった単語が含まれていると判断した場合（ステップＳ２７０：ＮＯ）、読み間違いの単語を含んだｎ−ｇｒａｍを作成する（ステップＳ２７５）。具体的には、言語モデル更新部１６３は、取り出したｎ−ｇｒａｍを構成する単語のうち、読み間違いの単語の生成元となった単語に、読み間違いを表す識別情報を付加して新たなｎ−ｇｒａｍを作成する。言語モデル更新部１６３は、識別情報が付加された読み間違いの単語の出現頻度には、例えば、読み間違いの単語の生成元となった単語と同じ出現頻度、あるいは、その出現頻度に所定の演算を行って得られた出現頻度を付与する。例えば、ｎ＝２、ステップＳ２６５において取り出したｎ−ｇｒａｍが「象潟」→「の」（出現頻度ａ）である場合、言語モデル更新部１６３は、「象潟」に識別情報を付加してｎ−ｇｒａｍ「※象潟」→「の」（出現頻度ａ）を生成する。言語モデル更新部１６３は、ステップＳ２６０からの処理を繰り返す。

そして、言語モデル更新部１６３は、ステップＳ２５５において取得したｎ−ｇｒａｍを全て取り出したと判断する（ステップＳ２６０：ＹＥＳ）。言語モデル更新部１６３は、ステップＳ２５５において取得したｎ−ｇｒａｍと、ステップＳ２７５において生成したｎ−ｇｒａｍとを用いて、言語モデル記憶部１３に記憶されている言語モデルを、従来技術と同様に更新する。

なお、言語モデル更新部１６３は、テキストデータから取り出されたｎ−ｇｒａｍを構成する単語に読み間違いを表す識別情報を付加して新たなｎ−ｇｒａｍを作成する際、予め決められた出現頻度を付与してもよい。

図４は、発話評価装置１の読み間違い指摘処理を示すフローチャートである。同図は、図２のステップＳ１１０における読み間違い指摘処理の詳細を示す。
音声データ取得部１７は、音声データの入力待ちである（ステップＳ３０５：ＮＯ）。発話評価装置１に発話の音声データが入力されると、音声データ取得部１７は、入力された音声データを取得する（ステップＳ３０５：ＹＥＳ）。発話は、図３のステップＳ２０５において取得したテキストデータが示す台本や原稿などを読んだ発話でもよく、それ以外の文章を読んだ発話でもよい。

音響特徴量抽出部１８は、音声データ取得部１７が取得した音声データから、音響特徴量を抽出する。認識処理部１９は、音響特徴量抽出部１８から読み出した音響特徴量と、音響モデル、発音辞書、及び言語モデルを用いて、従来技術と同様に音声認識処理を行う。すなわち、音響特徴量抽出部１８が抽出した時系列の音響特徴量と、音響モデル記憶部１１に記憶されている音響モデルとを照合して音素系列を得る。認識処理部１９は、得られた音素系列における音素の並びと、発音辞書記憶部１２に記憶されている発音辞書とを照合して、音素系列に対応する単語列を得る。認識処理部１９は、言語モデル記憶部１３に記憶されている言語モデルを用いて、得られた単語列の出現確率を得る。認識処理部１９は、もっとも出現確率の高い単語列を音声認識結果として設定した認識結果データをユーザーインターフェース制御部１４に出力する（ステップＳ３１０）。

ユーザーインターフェース制御部１４は、認識処理部１９から受信した認識結果データが示す単語列に識別情報が付加された単語が含まれているかを判断する（ステップＳ３１５）。ユーザーインターフェース制御部１４が、認識結果データが示す音声認識結果に識別情報が付加された単語が含まれていないと判断した場合（ステップＳ３１５：ＮＯ）、発話評価装置は、ステップＳ３０５からの処理を繰り返す。ユーザーインターフェース制御部１４が、認識結果データが示す音声認識結果に識別情報が付加された単語が含まれていないと判断した場合（ステップＳ３１５：ＮＯ）、発話評価装置は、ステップＳ３０５からの処理を繰り返す。一方、ユーザーインターフェース制御部１４は、認識結果データが示す音声認識結果に識別情報が付加された単語が含まれていると判断した場合（ステップＳ３１５：ＹＥＳ）、読み間違いを表示装置に表示させるなどして通知し、ユーザに警告する（ステップＳ３２０）。発話評価装置１は、ステップＳ３０５からの処理を繰り返す。

図５は、発話評価装置１のユーザーインターフェース制御部１４が表示装置に表示させる読み間違い指摘画面である。同図に示すように、ユーザーインターフェース制御部１４は、認識処理部１９が出力した認識結果データが示す音声認識結果を表示させるとともに、音声認識結果に読み間違いの単語が含まれる場合、その読み間違いの単語が含まれる文を表示させる。同図では、読み間違いの単語が含まれるとして検出された文のうち、最後の文（読み間違い文章）と、それより前の文（読み間違い履歴）が表示されている。

上述したように、発話評価装置１は、学習用テキストデータから、読み間違いが起こりうる単語を抽出し、その単語の表記を変更した上で読み間違いの読み方（読み間違い候補発音列）を付与して発音辞書に追加登録する。さらに、発話評価装置１は、テキストデータから抽出したｎ−ｇｒａｍを構成する単語を、読み間違いの読み方を付与した単語に置き換えたｎ−ｇｒａｍを追加生成し、言語モデルを更新する。これにより、発話評価装置１は、発話に読み間違いが含まれていた際に、変更した表記の単語を出力する。従って、学習用テキストデータに含まれていた単語が正しい読みで発話されなかった場合に、読み間違いの検出が可能となる。また、特定の話者の発話を学習データとして用いないため、様々な発話に対して読み間違いを検出することができる。

以上説明した発話評価装置１は、例えば、原稿や台本、教科書といったあらかじめ読む内容の決まったものに対して、話者の読み間違いを自動で指摘することが可能となる。例えば、発話評価装置１は、原稿を学習用テキストデータに用いて予め発音辞書及び言語モデルを更新したのち、その原稿を声に出して読む。発話評価装置１は、読み間違いがあった時には、その旨を表示する。これにより、放送現場や舞台現場などで下読みの際に、自分の読み方に誤りがないかを確認したり、教育現場で学生が予習の段階で音読に誤りがないか事前に確認したりすることができ、正しい情報の送出やスムーズな仕事・授業につながる。

言葉を扱う職業では、読み間違いをなくすことは大きな課題である。例えば、アナウンサーは、読み間違いやすい単語の単語集を保持しており、読み間違いを如何に少なくするかは重大な関心事である。そこで、本実施形態の発話評価装置を用いることによって、事前に読み間違いを発見することができ、正しい情報を放送することにつながる。
また、アナウンサーの読み間違い同様に、役者の台本の読み間違いについても、本実施形態の発話評価装置を用いて事前に練習を行うことで、スムーズな稽古や収録を行うことが可能となる。
また、教育現場において、国語の音読は欠かすことのできない教育方法である。その際、本実施形態の発話評価装置をゲーム感覚で用いることによって、簡易な漢字の読み間違いによる授業進行の遅れや、生徒自身の読み間違いによる羞恥心を軽減することができる。

なお、上述の発話評価装置１は、内部にコンピュータシステムを有している。そして、発話評価装置１の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 発話評価装置
１１ 音響モデル記憶部
１２ 発音辞書記憶部
１３ 言語モデル記憶部
１４ ユーザーインターフェース制御部
１５ テキストデータ取得部
１６ 更新部
１７ 音声データ取得部
１８ 音響特徴量抽出部
１９ 認識処理部
１６１ 読み間違い生成部
１６２ 発音辞書更新部
１６３ 言語モデル更新部

Claims (5)

1. 単語と前記単語の読みとを対応付けた発音辞書を記憶する発音辞書記憶部と、
   単語同士のつながり易さを表す言語モデルを記憶する言語モデル記憶部と、
   テキストデータから取得した文を構成する単語のうち漢字を含んだ前記単語を処理対象単語とし、前記処理対象単語に含まれる前記漢字が取り得る読みに基づいて前記処理対象単語の読み間違いの読み方を生成する読み間違い生成部と、
   読み間違いを示す識別情報を付加した前記処理対象単語と、前記処理対象単語に対して前記読み間違い生成部が生成した前記読み間違いの読み方とを対応付けて登録することにより前記発音辞書を更新する発音辞書更新部と、
   前記テキストデータから単語同士のつながりを取得し、取得した前記単語同士のつながりに含まれる前記処理対象単語に前記識別情報を付加して生成した単語同士のつながりと、生成した前記単語同士のつながりに付与した所定の出現頻度とに基づいて前記言語モデルを更新する言語モデル更新部と、
   前記発音辞書更新部が更新した前記発音辞書及び前記言語モデル更新部が更新した前記言語モデルに基づいて音声データを音声認識する認識処理部と、
   前記認識処理部による音声認識の結果に前記識別情報が付加された単語が含まれる場合に、読み間違いを出力する出力部と、
   を備えることを特徴とする発話評価装置。
2. 前記読み間違い生成部は、前記テキストデータから取得した文を構成する単語のうち漢字を含んだ所定の品詞の前記単語を前記処理対象単語とする、
   ことを特徴とする請求項１に記載の発話評価装置。
3. 前記言語モデル更新部は、生成した前記単語同士のつながりに、前記識別情報を付加する前の前記単語同士のつながりについて前記テキストデータから算出した出現頻度に基づく出現頻度を付与する、
   ことを特徴とする請求項１または請求項２に記載の発話評価装置。
4. 発話評価装置が実行する発話評価方法であって、
   テキストデータから取得した文を構成する単語のうち漢字を含んだ前記単語を処理対象単語とし、前記処理対象単語に含まれる前記漢字が取り得る読みに基づいて前記処理対象単語の読み間違いの読み方を生成する読み間違い生成ステップと、
   単語と前記単語の読みとを対応付けた発音辞書に、読み間違いを示す識別情報を付加した前記処理対象単語と、前記処理対象単語に対して前記読み間違い生成ステップにおいて生成された前記読み間違いの読み方とを対応付けて登録することにより、前記発音辞書を更新する発音辞書更新ステップと、
   前記テキストデータから単語同士のつながりを取得し、取得した前記単語同士のつながりに含まれる前記処理対象単語に前記識別情報を付加して生成した単語同士のつながりと、生成した前記単語同士のつながりに付与した所定の出現頻度とに基づいて、単語同士のつながり易さを表す言語モデルを更新する言語モデル更新ステップと、
   前記発音辞書更新ステップにおいて更新した前記発音辞書及び前記言語モデル更新ステップにおいて更新した前記言語モデルに基づいて音声データを音声認識する認識処理ステップと、
   前記認識処理ステップにおける音声認識の結果に前記識別情報が付加された単語が含まれる場合に、読み間違いを出力する出力ステップと、
   を有することを特徴とする発話評価方法。
5. コンピュータを、
   単語と前記単語の読みとを対応付けた発音辞書を記憶する発音辞書記憶手段と、
   単語同士のつながり易さを表す言語モデルを記憶する言語モデル記憶手段と、
   テキストデータから取得した文を構成する単語のうち漢字を含んだ前記単語を処理対象単語とし、前記処理対象単語に含まれる前記漢字が取り得る読みに基づいて前記処理対象単語の読み間違いの読み方を生成する読み間違い生成手段と、
   読み間違いを示す識別情報を付加した前記処理対象単語と、前記処理対象単語に対して前記読み間違い生成手段が生成した前記読み間違いの読み方とを対応付けて登録することにより前記発音辞書を更新する発音辞書更新手段と、
   前記テキストデータから単語同士のつながりを取得し、取得した前記単語同士のつながりに含まれる前記処理対象単語に前記識別情報を付加して生成した単語同士のつながりと、生成した前記単語同士のつながりに付与した所定の出現頻度とに基づいて前記言語モデルを更新する言語モデル更新手段と、
   前記発音辞書更新手段が更新した前記発音辞書及び前記言語モデル更新手段が更新した前記言語モデルに基づいて音声データを音声認識する認識処理手段と、
   前記認識処理手段による音声認識の結果に前記識別情報が付加された単語が含まれる場合に、読み間違いを出力する出力手段と、
   を具備する発話評価装置として機能させるためのプログラム。

Images