JP4150645B2 - 音声ラベリングエラー検出装置、音声ラベリングエラー検出方法及びプログラム - Google Patents

Description

この発明は、音声ラベリングエラー検出装置、音声ラベリングエラー検出方法及びプログラムに関する。

近年、音声合成の技術により合成された音声が広く利用されている。具体的には、たとえば、テキスト読み上げソフトウェアや、電話番号案内や、株式案内、旅行案内、店舗案内、交通情報など、多くの場面で利用されている。

音声合成の手法には、大別して、規則合成方式と、波形編集方式（コーパスベース方式）とがある。
規則合成方式は、音声を合成する対象のテキストについて形態素解析を行い、解析の結果に基づき、テキストに音韻論的処理を施すことにより音声を生成する手法である。規則合成方式では、音声合成に用いるテキストの内容についての制約が少なく、多様な内容のテキストを音声合成に用いることができる。しかし、規則合成方式では、コーパスベース方式に比べ、出力される音声の品質が劣っている。

一方、コーパスベース方式は、人間が実際に発話した音声を録音して、録音した音声の波形を細分化して得られる構成部分の集合（音声コーパス）を用意し、波形の構成要素に、その波形が表す音声の種類（例えば、音素の種類など）のデータを対応付けておく（構成要素をラベリングする）等しておき、音声を合成する際はこれらの構成部分を検索し、つなぎ合わせることにより、目的とする音声を得る、という手法である。コーパスベース方式は、音声の品質の点で規則合成方式より有利であり、肉声感のある音声が得られる。

コーパスベース方式で自然な合成音声を得るためには、音声コーパスが多数の音声の構成部分を含んでいる必要がある。しかし、多数の構成要素を含む音声コーパスほど、その構築は手間のかかる作業となる。そこで、音声コーパスを効率的に構築する手法として、波形の構成要素へのラベリングを、音声認識の結果に基づいて自動的に行う技術が考えられている（例えば、特許文献１参照）。
特開平６−２６６３８９号公報

しかし、音声認識の結果に基づく自動的なラベリングを行う手法においては、種々の改良にもかかわらず依然としてラベリングの誤りが生じやすい。自然な合成音声を得るためにはラベリングの誤りを訂正する必要があるが、従来はラベリングの誤りを手作業で検証しており、これは極めて手間のかかる作業である。このため、ラベリングを自動的に行っても、ラベリングの正しい音声コーパスの構築が必ずしも容易にはなっていなかった。

この発明は上記実状に鑑みてなされたものであり、音声を表すデータに対して行われたラベリングの誤りを自動的に検出するための音声ラベリングエラー検出装置、音声ラベリングエラー検出方法及びプログラムを提供することを目的とする。

上記目的を達成するため、この発明の第１の観点に係る音声ラベリングエラー検出装置は、
単位音声の波形を表す波形データと、当該単位音声の種類を識別するラベリングデータとを取得するデータ取得手段と、
前記データ取得手段が取得したラベリングデータに基づいて、前記データ取得手段が取得した波形データを単位音声の種類別に分類する分類手段と、
前記データ取得手段が取得した波形データが表す各々の単位音声のフォルマントの周波数を特定し、特定した周波数に基づいて当該波形データの評価値を決定する評価値決定手段と、
同一種類に分類された波形データの集合のうちから、当該集合内での評価値の偏差が所定量に達している波形データを、ラベリングにエラーのある波形データとして検出し、検出された当該波形データを示すデータを出力するエラー検出手段と、を備える、
ことを特徴とする。

前記評価値は、当該評価値を求める対象の波形データが表す単位音声の第ｋフォルマント（ただしｋは正の整数）の周波数をＦ（ｋ）とし、当該波形データと同一種類に分類された各波形データが表す単位音声の第ｋフォルマントの周波数の平均値をｆ（ｋ）とした場合における値｛｜ｆ（ｋ）−Ｆ（ｋ）｜｝を複数のｋの値について求め互いに線形結合したものに相当する値をとるものであってもよい。

あるいは、前記評価値は、取得した波形データのスペクトルの複数のフォルマントの周波数を互いに線形結合したものに相当する値をとるものであってもよい。

前記評価値決定手段は、波形データのスペクトルの極大値を与える周波数を、当該波形データが表す単位音声のフォルマントの周波数として扱うものであってもよい。

前記評価値決定手段が波形データの評価値の決定に用いるフォルマントの次数は、波形データが表す単位音声の種類であるものとしてラベリングデータが示している種類に対応付けて指定されていてもよい。

前記エラー検出手段は、無音状態を表すラベリングデータが対応付けられている波形データについては、当該波形データが表す音声の大きさが所定量に達している波形データを、ラベリングにエラーのある波形データとして検出するものであってもよい。

前記分類手段は、隣接する２個の波形データが無音状態を表すデータを挟むような態様で、同一種類に分類した各波形データを互いに連結する手段を備えるものであってもよい。

また、この発明の第２の観点に係る音声ラベリングエラー検出方法は、
単位音声の波形を表す波形データと、当該単位音声の種類を識別するラベリングデータとを取得し、
取得したラベリングデータに基づいて、取得した波形データを単位音声の種類別に分類し、
波形データが表す各々の単位音声のフォルマントの周波数を特定し、特定した周波数に基づいて当該波形データの評価値を決定し、
同一種類に分類された波形データの集合のうちから、当該集合内での評価値の偏差が所定量に達している波形データを、ラベリングにエラーのある波形データとして検出し、検出された当該波形データを示すデータを出力する、
ことを特徴とする。

また、この発明の第３の観点に係るプログラムは、
コンピュータを、
単位音声の波形を表す波形データと、当該単位音声の種類を識別するラベリングデータとを取得するデータ取得手段と、
前記データ取得手段が取得したラベリングデータに基づいて、前記データ取得手段が取得した波形データを単位音声の種類別に分類する分類手段と、
前記データ取得手段が取得した波形データが表す各々の単位音声のフォルマントの周波数を特定し、特定した周波数に基づいて当該波形データの評価値を決定する評価値決定手段と、
同一種類に分類された波形データの集合のうちから、当該集合内での評価値の偏差が所定量に達している波形データを、ラベリングにエラーのある波形データとして検出し、検出された当該波形データを示すデータを出力するエラー検出手段と、
して機能させるためのものであることを特徴とする。

この発明によれば、音声を表すデータに対して行われたラベリングの誤りを自動的に検出するための音声ラベリングエラー検出装置、音声ラベリングエラー検出方法及びプログラムが実現される。

以下に、図面を参照して、この発明の実施の形態を、音声ラベリングシステムを例として説明する。
図１は、この音声ラベリングシステムの構成を示すブロック図である。図示するように、この音声ラベリングシステムは、音声データベース１と、テキスト入力部２と、ラベリング部３と、音素切出部４と、フォルマント抽出部５と、統計処理部６と、エラー検出部７と、より構成されている。

音声データベース１は、ハードディスク装置等からなる記憶装置より構成されており、互いに同一の発話者により発声された一続きの音声の波形を表す多数の音声データをユーザの操作等に従って記憶し、また、これらの音声の発話者が発声する音声一般の特徴（例えば、声の高さなど）を示すデータである音響モデルをユーザの操作等に従って記憶する。音声データは、例えばＰＣＭ（Pulse Code Modulation）変調されたディジタル信号の形式を有していればよく、音声のピッチより十分短い一定の周期でサンプリングされた音声を表しているものとする。

音声データベース１が記憶する音声データの集合は、コーパスベース方式の音声合成における音声コーパスとして機能するものである。この集合に属する音声データは、例えば、１個の音声データ全体を合成音声の波形の構成要素として用いることができる場合は、当該音声データ全体がそのまま構成要素として用いられ、その他の場合は、音声データを後述のラベリング部３が区切ることにより得られる音素データが構成要素として用いられる。

テキスト入力部２は、例えば、記録媒体（例えば、フロッピー（登録商標）ディスクやＣＤ（Compact Disc）など）に記録されたデータを読み取る記録媒体ドライブ装置（フロッピー（登録商標）ディスクドライブや、ＣＤドライブなど）等より構成されている。テキスト入力部２は、文字列を表す文字列データを入力して、ラベリング部３に供給する。文字列データのデータ形式は任意であり、例えばテキスト形式等のデータからなっていればよい。なお、この文字列は、音声データベース１に記憶されている音声データが表す音声の種類を示す文字列であるものとする。

ラベリング部３、音素切出部４、フォルマント抽出部５、統計処理部６及びエラー検出部７は、それぞれ、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のプロセッサと、ＲＡＭ（Random Access Memory）やハードディスク装置等のメモリとより構成されている。なお、同一のプロセッサが、ラベリング部３、音素切出部４、フォルマント抽出部５、統計処理部６及びエラー検出部７の一部又は全部の機能を行うようにしてもよい。

ラベリング部３は、テキスト入力部２より供給された文字列データが表す文字列を解析し、この文字列データが表す音声を構成する各音素及びこの音声の韻律を特定し、特定したそれぞれの音素の種類を示すデータである音素ラベルの列と、特定した韻律を示すデータである韻律ラベルの列とを生成する。

例えば、音声データベース１が、「アシノヤヲ」と読み上げる音声を表す第１の音声データを記憶しており、当該第１の音声データが、図２（ａ）に示す波形を有しているとする。また、音声データベース１は、「カマクラヲ」と読み上げる音声を表す第２の音声データも記憶しており、当該第２の音声データが図２（ｂ）に示す波形を有しているとする。一方、テキスト入力部２が、第１の音声データの読みを表す第１の文字列データとして「アシノヤヲ」という文字列を表すデータを入力し、また、第２の音声データの読みを表す第２の文字列データとして「カマクラヲ」という文字列を表すデータを入力し、入力したこれらのデータをラベリング部３に供給したとする。この場合、ラベリング部３は、第１の文字列データを解析して、例えば、'a', 'sh', 'i', 'n', 'o', 'y', 'a'及び'o'の順で配列された各音素を表す音素ラベルの列を生成し、またこれらの各音素の韻律を表す韻律ラベルの列を生成する。また、ラベリング部３は、第２の文字列データを解析して、例えば、'k', 'a', 'm', 'a', 'k', 'u', 'r', 'a'及び'o'の順で配列された各音素を表す音素ラベルの列を生成し、またこれらの各音素の韻律を表す韻律ラベルの列を生成する。

また、ラベリング部３は、音声データベース１が記憶する音声データを、個々の音素の波形を表すデータ（音素データ）へと区切る。例えば、「アシノヤヲ」を表す上述の第１の音声データならば、図２（ａ）に示すように、先頭から順に音素'a', 'sh', 'i', 'n', 'o', 'y', 'a'及び'o'の波形を表す８個の音素データへと区切る。また、「カマクラヲ」を表す上述の第２の音声データの場合は、図２（ｂ）に示すように、先頭から順に音素'k', 'a', 'm', 'a', 'k', 'u', 'r', 'a'及び'o'の波形を表す９個の音素データへと区切る。なお、区切りの位置は、例えば、自ら作成した音素ラベルと、音声データベース１に記憶されている音響モデルとに基づいて決定すればよい。

なお、ラベリング部３は、文字列データの解析の結果無音状態になると特定された部分には、無音を表す音素ラベルを割り当てるものとする。また、音声データに無音状態を表す連続した区間が含まれている場合、当該部分も、音素を表す部分と同様に１個の音素ラベルを対応付けられるべき区間として区切るものとする。

そして、ラベリング部３は、得られたそれぞれの音素データについて、当該音素データが表す音素を示す上述の音素ラベルと、当該音素の韻律を示す上述の韻律ラベルとを、当該音素データに対応付ける形で、音声データベース１に記憶させる。すなわち、音素データを音素ラベル及び韻律ラベルによってラベリングし、これにより、この音素データが表す音素及びこの音素の韻律を、音素ラベルや韻律ラベルによって識別できるようにする。

具体的には、ラベリング部３は、例えば上述の第１の文字列データを解析して得られた音素ラベルの列及び韻律ラベルの列を、８個の音素データへと区切られた上述の第１の音声データに対応付けて記憶させる。また、上述の第２の文字列データを解析して得られた音素ラベルの列及び韻律ラベルの列を、９個の音素データへと区切られた上述の第２の音声データに対応付けて記憶させる。この場合、第１（又は第２）の音声データに対応付けられた音素ラベルの列及び韻律ラベルの列は、第１（又は第２）の音声データ内の音素データが表す音素とその並び順を示すものとなっている。このようにして、第１（又は第２）の音声データの先頭からｋ番目（ｋは正の整数）の音素データが、この音声データに対応付けられた音素ラベルの列の先頭からｋ番目の音素ラベルと、この音声データに対応付けられた韻律ラベルの列の先頭からｋ番目の韻律ラベルとによりラベリングされる。すなわち、第１（又は第２）の音声データの先頭からｋ番目（ｋは正の整数）の音素データが表す音素及びこの音素の韻律が、この音声データに対応付けられた音素ラベルの列の先頭からｋ番目の音素ラベルと、この音声データに対応付けられた韻律ラベルの列の先頭からｋ番目の韻律ラベルとによって識別されるようになる。

音素切出部４は、音素ラベル及び韻律ラベルのラベリングが完了した各音素データを用い、これらの音素データを同一の音素を表すもの毎に互いに結合したものに相当するデータ（音素別音声データ）を、各音素データが表す音素の種類の数だけ作成し、フォルマント抽出部５へと供給する。

例えば、図２（ａ）及び（ｂ）に示す波形を有する上述の第１及び第２の音声データとを用いて音素別音声データを作成した場合は、音素別音声データとして、音素'a'の波形５個を結合したものにあたるデータ、音素'o'の波形３個を結合したものにあたるデータ、音素'k'の波形２個を結合したものにあたるデータ、音素'sh'の波形を表すデータ、音素'i'の波形を表すデータ、音素'n'の波形を表すデータ、音素'y'の波形を表すデータ、音素'm'の波形を表すデータ、音素'u'の波形を表すデータ、及び音素'r'の波形を表すデータの計１０個を作成する。

ただし、複数の音素データを含んだ音素別音声データ内では、互いに結合されるべき音素データ同士は、一定時間の無音状態を表す音声データを挟む形で互いに結合されるものとする。すなわち、例えば、図２（ａ）及び（ｂ）に示す波形を有する上述の第１及び第２の音声データを用いて音素別音声データを作成した場合、音素'a'の波形５個を表す音素別音声データ、音素'o'の波形３個を表す音素別音声データ、及び、音素'k'の波形２個を表す音素別音声データは、順に、図３（ａ）、（ｂ）及び（ｃ）に示すような波形を有するものとなる。

また、音素切出部４は、音素別音声データに含まれるそれぞれの音素データが、音声データベース１が記憶するどの音声データのどの位置にあるかを示すデータも作成し、フォルマント抽出部５へと供給するものとする。

フォルマント抽出部５は、音素切出部４より供給されたそれぞれの音素別音声データについて、当該音素別音声データに含まれるそれぞれの音素データが表す音素のフォルマントの周波数を特定し、統計処理部６へと通知する。
音素のフォルマントは、音素のピッチ成分（基本周波数成分）に起因して生じる、音素のスペクトルのピークを与える周波数成分であり、ピッチ成分のｋ倍の倍音成分（ｋは２以上の整数）が第（ｋ−１）フォルマント（（ｋ−１）次のフォルマント）である。従ってフォルマント抽出部５は、具体的には、例えば音素データのスペクトルを、高速フーリエ変換の手法（あるいは、離散的変数をフーリエ変換した結果を表すデータを生成する他の任意の手法）により求め、このスペクトルの極大値を与える周波数を、フォルマントの周波数として特定し、通知すればよい。

なお、周波数を特定する対象とするフォルマントの最低の次数は１次とし、最高の次数は、音素毎に（音素ラベルにより識別される音素毎に）予め指定されているものとする。それぞれの音素データについて周波数を特定する対象とするフォルマントの最高の次数は任意であるものの、音素ラベルにより識別される音素が母音である場合は３次程度とし、子音である場合は５〜６次程度とすると良好な結果が得られる。

また、音素が摩擦音の場合は、ピッチ成分やこれに起因する成分がスペクトルに多く含まれず、一方で、周波数が高く規則性に乏しい成分がスペクトルに多く含まれるため、フォルマントの特定が困難である。しかし、この場合も、フォルマント抽出部５は、当該音素のスペクトルに現れたピークを形成する成分をフォルマントとみなすものとする。このように扱うことで、この音声ラベリングシステムは、摩擦音についても十分正確にラベリングのエラーを検出することができる、

ただし、フォルマント抽出部５は、無音状態を表す音素データからなる音素別音声データについては、音素データのフォルマントの周波数を特定する代わりに、当該音素別音声データに含まれる音素データ（無音状態を表す音素データ）が表す音声の大きさを特定し、エラー検出部７へ通知するものとする。具体的には、例えば、音声のスペクトルが通常含まれる帯域以外を実質的に除去するように当該音素別音声データをフィルタリングした上で、当該音素別音声データに含まれるそれぞれの音素データをフーリエ変換し、得られる各スペクトル成分の強度（あるいは音圧の絶対値）の総和を、当該音素データが表す音声の大きさとして特定し、エラー検出部７へと通知するようにすればよい。

統計処理部６は、フォルマント抽出部５より通知されたフォルマントの周波数に基づいて、数式１に示す評価値Ｈを音素データ毎に求める。ただし、Ｆ（ｋ）は、評価値Ｈを求める対象の音素データが表す音素の第ｋフォルマントの周波数であり、ｆ（ｋ）は、当該音素と同一種類の音素を表すすべての音素データ（つまり、評価値Ｈを求める対象の音素データが属する音素別音声データに含まれるすべての音素データ）より得られるＦ（ｋ）の値の平均値であり、Ｗ（１）〜Ｗ（ｎ）は重み係数であり、ｎは当該音素のフォルマントであって評価値Ｈの算出に用いるもののうちもっとも周波数が高いフォルマントの次数である。すなわち、評価値Ｈは、ｋの値を１からｎまでの各整数として値｛｜ｆ（ｋ）−Ｆ（ｋ）｜｝を求め、互いに線形結合したものに相当する。

そして、統計処理部６は、例えば、同一種類の音素を表す各音素データの評価値Ｈの集合を母集団として、当該母集団内での平均値からの偏差を、当該母集団内の評価値Ｈ毎に求める。統計処理部６は、評価値Ｈの偏差を求めるこの処理を、すべての種類の音素を表す音素データについて行う。そして、統計処理部６は、すべての音素データについての評価値Ｈ及びその偏差をエラー検出部７に通知する。

エラー検出部７は、統計処理部６より、各音素データの評価値Ｈおよびその偏差を通知されると、通知された内容に基づき、評価値Ｈの偏差が所定量（例えば、評価値Ｈの標準偏差の値）に達している音素データを特定する。そして、特定した音素データのラベリングに誤りがある（つまり、実際の波形が表す音素とは異なる音素を示す音素ラベルでラベリングされている）旨を示すデータを作成し、外部に出力する。

ただし、エラー検出部７は、無音状態を表す音素データについては、フォルマント抽出部５より通知された音声の大きさが所定量に達しているものを特定し、特定した無音状態の音素データのラベリングに誤りがある（つまり、実際の波形は無音状態でないにもかかわらず無音状態を示す音素ラベルでラベリングされている）旨を示すデータを作成し、外部に出力するものとする。

以上説明した動作を行うことにより、この音声ラベリングシステムは、ラベリング部３が行った音声データへのラベリングにエラーがあるか否かを自動的に判別し、エラーがあればその旨を外部に通知する。このため、手作業でラベリングのエラーをチェックする手間が省け、データ量の大きな音声コーパスを容易に構築することができるようになる。

なお、この音声ラベリングシステムの構成は上述のものに限られない。
例えば、テキスト入力部２は、ＵＳＢ（Universal Serial Bus）インターフェース回路やＬＡＮ（Local Area Network）インターフェース回路等からなるインターフェース部を備えていてもよく、このインターフェース部を介して外部より文字列データを取得してラベリング部３に供給するようにしてもよい。

また、音声データベース１は記録媒体ドライブ装置を備えていてもよく、記録媒体に記録された音声データをこの記録媒体ドライブ装置を介して読み取り、記憶するようにしてもよい。また、音声データベース１はＵＳＢインターフェース回路やＬＡＮインターフェース回路等からなるインターフェース部を備えていてもよく、このインターフェース部を介して外部より音声データを取得し、記憶するようにしてもよい。また、テキスト入力部２を構成する記録媒体ドライブ装置やインターフェース部が、音声データベース１の記録媒体ドライブ装置やインターフェース部の機能を兼ねて行ってもよい。

また、音素切出部４は記録媒体ドライブ装置を備えていてもよく、記録媒体に記録されたラベリング済みの音声データをこの記録媒体ドライブ装置を介して読み取り、音素別音声データの作成に用いてもよい。また、音素切出部４はＵＳＢインターフェース回路やＬＡＮインターフェース回路等からなるインターフェース部を備えていてもよく、このインターフェース部を介し、外部より、ラベリング済みの音声データを取得し、音素別音声データの作成に用いてもよい。また、音声データベース１あるいはテキスト入力部２を構成する記録媒体ドライブ装置やインターフェース部が、音素切出部４の記録媒体ドライブ装置やインターフェース部の機能を兼ねて行ってもよい。

また、ラベリング部３は、音声データを必ずしも音素毎に区切る必要はなく、表音記号や韻律記号を用いたラベリングが可能となるような任意の基準に従って区切ってよい。従って、例えば、単語毎に区切ってもよいし、単位モーラ毎に区切ってもよい。

また、音素切出部４は必ずしも音素別音声データを作成しなくてもよく、また、音素別音声データを作成する場合も、音素別音声データ内で隣接する２個の音素データ間には、必ずしも無音状態を表す波形を挿入する必要はない。ただ、無音状態を表す波形を音素データ間に挿入した場合、音素別音声データ内での音素データ同士の境界の位置が明瞭になり、音素別音声データが表す音声を再生して人が聴き取ることによっても音素データ同士の境界の位置を識別できるようになる、という利点がある。

フォルマント抽出部５は、音素データのフォルマントの周波数の値を特定するためにケプストラム分析を行ってもよい。ケプストラム分析の具体的な処理として、フォルマント抽出部５は、例えば、音素データが表す波形の強度を、元の値の対数に実質的に等しい値へと変換する。（対数の底は任意であり、例えば常用対数などでよい。）そして、値が変換された音素データのスペクトル（すなわち、ケプストラム）を、高速フーリエ変換の手法（あるいは、離散的変数をフーリエ変換した結果を表すデータを生成する他の任意の手法）により求める。そして、このケプストラムの極大値を与える周波数を、この音素データのフォルマントの周波数として特定する。

また、上述のｆ（ｋ）の値は、必ずしもＦ（ｋ）の値の平均値である必要はなく、例えば、評価値Ｈを求める対象の音素データが属する音素別音声データに含まれるすべての音素データより得られるＦ（ｋ）の値の中央値あるいは最頻値であってもよい。

また、統計処理部６は、数式１に示す評価値Ｈを求める代わりに、数式２に示す評価値ｈを音素データ毎に求め、エラー検出部７が評価値ｈを評価値Ｈと同様に扱うものとしてもよい。ただし、Ｆ（ｋ）は、評価値ｈを求める対象の音素データが表す音素の第ｋフォルマントの周波数であり、ｗ（１）〜ｗ（ｎ）は重み係数であり、ｎは当該音素のフォルマントであって評価値ｈの算出に用いるもののうちもっとも周波数が高いフォルマントの次数である。すなわち、評価値ｈは、音素データの複数の第１〜第ｎフォルマントの周波数を互いに線形結合したものに相当する値をとる。

以上、この発明の実施の形態を説明したが、この発明にかかる音声ラベリングエラー検出装置は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、パーソナルコンピュータに上述の音声データベース１、テキスト入力部２、ラベリング部３、音素切出部４、フォルマント抽出部５、統計処理部６及びエラー検出部７の動作を実行させるためのプログラムを格納した媒体（ＣＤ、ＭＯ、フロッピー（登録商標）ディスク等）から該プログラムをインストールすることにより、上述の処理を実行する音声ラベリングシステムを構成することができる。

そして、このプログラムを実行するパーソナルコンピュータが、図１の音声ラベリングシステムの動作に相当する処理として、例えば、図４に示す処理を行うものとする。図４は、このパーソナルコンピュータが実行する処理を示すフローチャートである。

すなわち、このパーソナルコンピュータは、音声コーパスをなす音声データと音響データとを記憶した上、記録媒体に記録された文字列データを読み取ると（図４、ステップＳ１０１）、まず、この文字列データが表す文字列を解析して、この文字列データが表す音声を構成する各音素及びこの音声の韻律を特定し、上述した音素ラベルの列と、特定した韻律を示すデータである韻律ラベルの列とを作成する（ステップＳ１０２）。

そして、このパーソナルコンピュータは、ステップＳ１０１で記憶した音声データを音素データへと区切り、得られた音素データを音素ラベル及び韻律ラベルによってラベリングする（ステップＳ１０３）。

次に、このパーソナルコンピュータは、音素ラベル及び韻律ラベルのラベリングが完了した各音素データを用い、上述の音素別音声データを作成し（ステップＳ１０４）、それぞれの音素別音声データについて、当該音素別音声データに含まれるそれぞれの音素データが表す音素のフォルマントの周波数を特定する（ステップＳ１０５）。ただし、ステップＳ１０５でこのパーソナルコンピュータは、無音状態を表す音素データからなる音素別音声データについては、音素データのフォルマントの周波数を特定する代わりに、無音状態を表す音素データが表す音声の大きさを特定するものとする。

次に、このパーソナルコンピュータは、ステップＳ１０５で特定したフォルマントの周波数に基づいて、上述した評価値Ｈあるいは評価値ｈを音素データ毎に求める（ステップＳ１０６）。そして、例えば、同一種類の音素を表す各音素データの評価値Ｈ（又は評価値ｈ）の集合を母集団として、当該母集団内での平均値（あるいは中央値、最頻値など）からの偏差を、当該母集団内の評価値Ｈ（又は評価値ｈ）毎に求め（ステップＳ１０７）、求めた偏差が所定量に達している音素データを特定する（ステップＳ１０８）。そして、特定した音素データのラベリングに誤りがある旨を示すデータを作成し、外部に出力する（ステップＳ１０９）。ただし、ステップＳ１０９でこのパーソナルコンピュータは、無音状態を表す音素データについては、ステップＳ１０５で求めた音声の大きさが所定量に達しているものを特定し、特定した無音状態の音素データのラベリングに誤りがある旨を示すデータを作成し、外部に出力するものとする。

なお、パーソナルコンピュータに上述の音声ラベリングシステムの機能を行わせるプログラムは、例えば、通信回線の掲示板（ＢＢＳ）にアップロードし、これを通信回線を介して配信してもよく、また、このプログラムを表す信号により搬送波を変調し、得られた変調波を伝送し、この変調波を受信した装置が変調波を復調してこのプログラムを復元するようにしてもよい。そして、このプログラムを起動し、ＯＳの制御下に、他のアプリケーションプログラムと同様に実行することにより、上述の処理を実行することができる。

なお、ＯＳが処理の一部を分担する場合、あるいは、ＯＳが本願発明の１つの構成要素の一部を構成するような場合には、記録媒体には、その部分を除いたプログラムを格納してもよい。この場合も、この発明では、その記録媒体には、コンピュータが実行する各機能又はステップを実行するためのプログラムが格納されているものとする。

この発明の実施の形態に係る音声ラベリングシステムを示す図である。 （ａ）及び（ｂ）は、音声データが区切られた状態を模式的に示す図である。 （ａ）〜（ｃ）は、複数の音素データを含んだ音素別音声データのデータ構造を模式的に示す図である。 この発明の実施の形態に係る音声ラベリングシステムの機能を行うパーソナルコンピュータが実行する処理を示すフローチャートである。

符号の説明

１ 音声データベース
２ テキスト入力部
３ ラベリング部
４ 音素切出部
５ フォルマント抽出部
６ 統計処理部
７ エラー検出部

Claims (9)

1. 単位音声の波形を表す波形データと、当該単位音声の種類を識別するラベリングデータとを取得するデータ取得手段と、
   前記データ取得手段が取得したラベリングデータに基づいて、前記データ取得手段が取得した波形データを単位音声の種類別に分類する分類手段と、
   前記データ取得手段が取得した波形データが表す各々の単位音声のフォルマントの周波数を特定し、特定した周波数に基づいて当該波形データの評価値を決定する評価値決定手段と、
   同一種類に分類された波形データの集合のうちから、当該集合内での評価値の偏差が所定量に達している波形データを、ラベリングにエラーのある波形データとして検出し、検出された当該波形データを示すデータを出力するエラー検出手段と、を備える、
   ことを特徴とする音声ラベリングエラー検出装置。
2. 前記評価値は、当該評価値を求める対象の波形データが表す単位音声の第ｋフォルマント（ただしｋは正の整数）の周波数をＦ（ｋ）とし、当該波形データと同一種類に分類された各波形データが表す単位音声の第ｋフォルマントの周波数の平均値をｆ（ｋ）とした場合における値｛｜ｆ（ｋ）−Ｆ（ｋ）｜｝を複数のｋの値について求め互いに線形結合したものに相当する値をとる、
   ことを特徴とする請求項１に記載の音声ラベリングエラー検出装置。
3. 前記評価値は、取得した波形データのスペクトルの複数のフォルマントの周波数を互いに線形結合したものに相当する値をとる、
   ことを特徴とする請求項１に記載の音声ラベリングエラー検出装置。
4. 前記評価値決定手段は、波形データのスペクトルの極大値を与える周波数を、当該波形データが表す単位音声のフォルマントの周波数として扱う、
   ことを特徴とする請求項１、２又は３に記載の音声ラベリングエラー検出装置。
5. 前記評価値決定手段が波形データの評価値の決定に用いるフォルマントの次数は、波形データが表す単位音声の種類であるものとしてラベリングデータが示している種類に対応付けて指定されている、
   ことを特徴とする請求項１乃至４のいずれか１項に記載の音声ラベリングエラー検出装置。
6. 前記エラー検出手段は、無音状態を表すラベリングデータが対応付けられている波形データについては、当該波形データが表す音声の大きさが所定量に達している波形データを、ラベリングにエラーのある波形データとして検出する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の音声ラベリングエラー検出装置。
7. 前記分類手段は、隣接する２個の波形データが無音状態を表すデータを挟むような態様で、同一種類に分類した各波形データを互いに連結する手段を備える、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の音声ラベリングエラー検出装置。
8. 単位音声の波形を表す波形データと、当該単位音声の種類を識別するラベリングデータとを取得し、
   取得したラベリングデータに基づいて、取得した波形データを単位音声の種類別に分類し、
   波形データが表す各々の単位音声のフォルマントの周波数を特定し、特定した周波数に基づいて当該波形データの評価値を決定し、
   同一種類に分類された波形データの集合のうちから、当該集合内での評価値の偏差が所定量に達している波形データを、ラベリングにエラーのある波形データとして検出し、検出された当該波形データを示すデータを出力する、
   ことを特徴とする音声ラベリングエラー検出方法。
9. コンピュータを、
   単位音声の波形を表す波形データと、当該単位音声の種類を識別するラベリングデータとを取得するデータ取得手段と、
   前記データ取得手段が取得したラベリングデータに基づいて、前記データ取得手段が取得した波形データを単位音声の種類別に分類する分類手段と、
   前記データ取得手段が取得した波形データが表す各々の単位音声のフォルマントの周波数を特定し、特定した周波数に基づいて当該波形データの評価値を決定する評価値決定手段と、
   同一種類に分類された波形データの集合のうちから、当該集合内での評価値の偏差が所定量に達している波形データを、ラベリングにエラーのある波形データとして検出し、検出された当該波形データを示すデータを出力するエラー検出手段と、
   して機能させるためのプログラム。

Images