JP6400526B2 - 音声合成装置、その方法、およびプログラム - Google Patents
音声合成装置、その方法、およびプログラム Download PDFInfo
- Publication number
- JP6400526B2 JP6400526B2 JP2015103692A JP2015103692A JP6400526B2 JP 6400526 B2 JP6400526 B2 JP 6400526B2 JP 2015103692 A JP2015103692 A JP 2015103692A JP 2015103692 A JP2015103692 A JP 2015103692A JP 6400526 B2 JP6400526 B2 JP 6400526B2
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- phoneme
- boundary
- speech
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は音声合成技術に関し、特に合成音声の品質を向上させる技術に関する。
近年の統計的音声合成技術の発展に伴い、高品質な合成音声の生成が可能になってきている。例えば、ＨＭＭ（隠れマルコフモデル）音声合成技術（例えば非特許文献１等参照）の発展に伴い、任意の話者の音声データを学習することで、その話者の声質や調子での合成音声の生成が可能である。
また、合成音声の高品質化技術として様々な方法（例えば非特許文献２等参照）が提案されている。しかしながら、統計的な音声合成では実際の音声の様々な現象をとらえることはできず、品質の向上には限界がある。そのため、原音声の品質を生かすことで合成音声の品質を改善する方法が提案されている。例えば非特許文献３では、原音声の品質を生かす素片接続型音声合成方式（例えば、特許文献１参照）とＨＭＭ音声合成方式を組み合わせ、高域部分に素片接続型音声合成方式によるスペクトルを利用し、低域部分にＨＭＭ音声合成方式によるスペクトルを利用することで、合成音声の品質を改善する方法が提案されている。
H. Zen, K. Tokuda, T. Masuko, T. Kobayashi and T. Kitamura,"A Hidden semi-Markov model-based speech synthesis system," IEICE Trans. Inf. and Syst., vol.E90-D, no.5, pp.825-834, 2007.
T. Toda., and K.Tokuda. "A speech parameter generation algorithm considering global variance for HMM-based speech synthesis." IEICE Trans. Inf. and Syst vol.E90-D, no.5, pp.816-824, 2007.
T. Inoue, S.Hara, M.Abe,"A Hybrid Text-to-Speech Based on Sub-Band Approach," in Proc of APSIPA DOI:10.1109/APSIPA.2014.7041575, 2014.
非特許文献３の方法では、高域部分と低域部分の接続境界となる境界周波数が合成音声の品質に大きな影響を与える。すなわち、境界周波数を下げるほど、合成音声に占める素片接続型音声合成方式によるスペクトルが増加し、ＨＭＭ音声合成方式によるスペクトルが減少する。そのため、境界周波数を下げるほど、合成音声の自然感（肉声感）は向上するが、隣接する音素（素片）の接続部での歪みに基づく異音発生頻度が高くなる。一方、境界周波数を上げるほど、合成音声に占める素片接続型音声合成方式によるスペクトルが減少し、ＨＭＭ音声合成方式によるスペクトルが増加する。そのため、境界周波数を上げるほど、音素の接続部での歪みに基づく異音発生頻度は低くなるが、合成音声の自然感は低下する。よって、音素の接続部での歪に基づく異音発生と、素片接続型音声合成方式導入による自然感の向上との両方を考慮しなければ、合成音声の品質を向上することはできない。
これらを考慮した適切な境界周波数は素片接続される音素に依存する。しかしながら、非特許文献３の方法では一律の境界周波数が設定されていたため、十分な品質向上効果が得られない場合があった。また、従来は境界周波数を手動で設定する必要があった。
本発明の課題は、適切な境界周波数を自動的に決定し、合成音声の品質を向上する技術を提供することである。
テキストに応じて素片接続される音素の素片境界前後のスペクトル特徴量の距離に基づいて境界周波数を決定し、テキストに応じた素片接続によって得られる第１合成音声のスペクトルの境界周波数に応じた高域側の成分と、テキストに音声合成のための音響モデルを適用して得られる第２合成音声のスペクトルの境界周波数に応じた低域側の成分とを混合した混合スペクトルを得る。
これにより、適切な境界周波数を自動的に決定し、合成音声の品質を向上できる。
以下、本発明の実施形態を説明する。
［概要］
実施形態の概要を説明する。実施形態では、入力された「テキスト」に応じて素片接続される音素の素片境界前後のスペクトル特徴量の距離に基づいて境界周波数を決定し、「テキスト」に応じた素片接続によって得られる第１合成音声のスペクトルの境界周波数に応じた高域側の成分と、「テキスト」に音声合成のための「音響モデル」を適用して得られる第２合成音声のスペクトルの境界周波数に応じた低域側の成分とを混合した混合スペクトルを得る。「音響モデル」の例はＨＭＭなどの確率モデルである。境界周波数よりも高域の帯域が「境界周波数に応じた高域側」であり、それ以外の帯域が「境界周波数に応じた低域側」であってもよいし、境界周波数以上の高域が「境界周波数に応じた高域側」であり、それ以外の帯域が「境界周波数に応じた低域側」であってもよい。境界周波数よりも高域の帯域が「境界周波数に応じた高域側」であり、境界周波数よりも低域の帯域が「境界周波数に応じた低域側」であってもよい。境界周波数に定数または変数を加算または減算した周波数を境界として「境界周波数に応じた高域側」および「境界周波数に応じた低域側」が定められてもよい。「境界周波数に応じた高域側」の帯域と「境界周波数に応じた低域側」の帯域とが一部で重複してもよい。ここで、素片境界前後のスペクトル特徴量の距離に基づいて境界周波数を決定するため、境界周波数の設定を自動化できるとともに、音素の接続部での歪の大きさに応じ、合成音声に占める素片接続型音声合成方式によるスペクトルが含まれる帯域を調整できる。その結果、音素の接続部での歪に基づく異音発生と、素片接続型音声合成方式導入による自然感の向上との両方を考慮して合成音声の品質を向上させることができる。
［概要］
実施形態の概要を説明する。実施形態では、入力された「テキスト」に応じて素片接続される音素の素片境界前後のスペクトル特徴量の距離に基づいて境界周波数を決定し、「テキスト」に応じた素片接続によって得られる第１合成音声のスペクトルの境界周波数に応じた高域側の成分と、「テキスト」に音声合成のための「音響モデル」を適用して得られる第２合成音声のスペクトルの境界周波数に応じた低域側の成分とを混合した混合スペクトルを得る。「音響モデル」の例はＨＭＭなどの確率モデルである。境界周波数よりも高域の帯域が「境界周波数に応じた高域側」であり、それ以外の帯域が「境界周波数に応じた低域側」であってもよいし、境界周波数以上の高域が「境界周波数に応じた高域側」であり、それ以外の帯域が「境界周波数に応じた低域側」であってもよい。境界周波数よりも高域の帯域が「境界周波数に応じた高域側」であり、境界周波数よりも低域の帯域が「境界周波数に応じた低域側」であってもよい。境界周波数に定数または変数を加算または減算した周波数を境界として「境界周波数に応じた高域側」および「境界周波数に応じた低域側」が定められてもよい。「境界周波数に応じた高域側」の帯域と「境界周波数に応じた低域側」の帯域とが一部で重複してもよい。ここで、素片境界前後のスペクトル特徴量の距離に基づいて境界周波数を決定するため、境界周波数の設定を自動化できるとともに、音素の接続部での歪の大きさに応じ、合成音声に占める素片接続型音声合成方式によるスペクトルが含まれる帯域を調整できる。その結果、音素の接続部での歪に基づく異音発生と、素片接続型音声合成方式導入による自然感の向上との両方を考慮して合成音声の品質を向上させることができる。
「テキスト」に応じて素片接続される音素の種別に応じ、（ａ）スペクトル特徴量の距離に基づいて「所定の周波数区間」内の境界周波数を決定する第１方式、（ｂ）「所定の周波数区間」の上限値以上の周波数を境界周波数とする第２方式、または（ｃ）「所定の周波数区間」の下限値以下の周波数を境界周波数とする第３方式の何れかを選択してもよい。これにより、素片接続される音素の種別に応じて適切な境界周波数を選択でき、合成音声の品質を向上させることができる。
例えば、「テキスト」に応じて素片接続される音素のそれぞれである「現音素」と「現音素」の直前の「先行音素」との間の歪みが音質に与える影響が大きく、かつ、「現音素」と「現音素」の直後の「後続音素」との間の歪みが音質に与える影響が小さい場合、「現音素」に対する境界周波数を決定するために「第１方式」が選択される。例えば「現音素」が母音または有声子音を表し、「現音素」の直前の「先行音素」が母音または有声子音を表し、「現音素」の直後の「後続音素」が無声子音を表す場合に、「現音素」に対して「第１方式」が選択される。これらの例の「第１方式」では「現音素」と「現音素」の直前の「先行音素」とのスペクトル特徴量の距離に基づいて「現音素」に対する境界周波数を決定する。これにより、「現音素」と「先行音素」との間の歪みに基づく異音発生と、素片接続型音声合成方式導入による自然感の向上との両方を考慮し、「現音素」に対応する合成音声の品質を向上できる。
例えば、「現音素」と「後続音素」との間の歪みが音質に与える影響が大きい場合、「現音素」に対する境界周波数を決定するために「第２方式」が選択される。例えば、「現音素」が母音または有声子音を表し、「現音素」の直後の「後続音素」が母音または有声子音を表す場合に、「現音素」に対して「第２方式」が選択される。これによって境界周波数を高くし、「現音素」に対応する合成音声に占める素片接続型音声合成方式によるスペクトルを減少させ、「現音素」と「後続音素」との間の歪みに基づく異音発生を抑制する。
例えば、「現音素」と「現音素」の直前の「先行音素」との間の歪みが音質に与える影響が小さく、かつ、「現音素」と「現音素」の直後の「後続音素」との間の歪みが音質に与える影響が小さい場合、「現音素」に対して「第３方式」を選択する。例えば、「現音素」が母音または有声子音を表し、「現音素」の直前の「先行音素」および直後の「後続音素」が無声子音を表す場合、および／または、現音素が無声子音を表す場合に、「現音素」に対して「第３方式」が選択される。このように歪みが音質に与える影響が小さい場合、境界周波数を低くし、「現音素」に対応する合成音声に占める素片接続型音声合成方式によるスペクトルを増加させる。これにより、歪みに基づく異音発生を抑えつつ、合成音声の自然感を向上させる。
「第１方式」で、所定の周波数区間の一部の帯域である「第１判定帯域」での前述の「スペクトル特徴量の距離」を得、「第１判定帯域」での「スペクトル特徴量の距離」が「許容限界値（閾値）」未満であれば、「第１判定帯域」に応じた周波数を境界周波数とし、「第１判定帯域」での「スペクトル特徴量の距離」が「許容限界値」未満でなければ、「第１判定帯域」よりも周波数の高い帯域を「第２判定帯域」とし、「第２判定帯域」を「第１判定帯域」とした同様な処理を再び実行してもよい。すなわち、低域側の「第１判定帯域」から順次「スペクトル特徴量の距離」を計算し、「スペクトル特徴量の距離」が「許容限界値」未満であれば、そのときの「第１判定帯域」に応じた周波数を境界周波数としてもよい。「第１判定帯域に応じた周波数」の例は、「第１判定帯域」の下限周波数、「第１判定帯域」の上限周波数、または「第１判定帯域」の中心周波数などである。「第２判定帯域」の例は、「第１判定帯域」の上限周波数または当該上限周波数に隣接する周波数を下限周波数とする帯域、あるいは「第１判定帯域」の上限周波数よりも高いその他の周波数を下限周波数とする帯域である。「第１判定帯域」の初期値の例は、所定の周波数区間の下限周波数を下限とする帯域である。人間の聴覚特性上、周波数が高いほど隣接する音素の接続部での歪みに基づく異音が合成音声の品質に与える影響が小さい。そのため、「第１判定帯域」での「スペクトル特徴量の距離」が「許容限界値」未満であって音素間の歪みが小さいのであれば、「第１判定帯域」よりも周波数が高い帯域でも音素間の歪みに基づく異音が合成音声の品質に与える影響も小さいことが多い。そのため、「スペクトル特徴量の距離」が「許容限界値」未満となった「第１判定帯域」に応じた周波数を境界周波数とすることで、歪みに基づく異音の影響を抑えつつ、合成音声の自然感を向上できる。また、「スペクトル特徴量の距離」が「許容限界値」未満となるまで、「第１判定帯域」の周波数を上げながら上述の処理を繰り返すことにより、歪みに基づく異音の影響を抑制可能なできるだけ低い周波数を境界周波数とできる。その結果、歪みに基づく異音の影響を抑えつつ、合成音声に占める素片接続型音声合成方式によるスペクトルをできるだけ増加させ、合成音声の自然感を向上できる。
「許容限界値」は、「第１判定帯域」ごと（第１判定帯域に応じた周波数ごと）に定められてもよいし、すべての「第１判定帯域」に対して均一であってもよい。「許容限界値」が「第１判定帯域」ごとに定められる場合、「許容限界値」が「第１判定帯域」に応じた周波数に対して広義単調増加する関係にあってもよい。例えば「第１判定帯域」に応じた周波数が高いほど「許容限界値」が大きくてもよい。この場合、「許容限界値」が大きいほど、「第１判定帯域」での「スペクトル特徴量の距離」が「許容限界値」未満となる頻度が上がり、低い周波数が境界周波数として選択される頻度が高くなる。一方、周波数が高いほど隣接する音素の接続部での歪みに基づく異音が合成音声の品質に与える影響は小さくなる。そのため、「許容限界値」が「第１判定帯域」に応じた周波数に対して広義単調増加する関係にある場合、歪みに基づく異音の影響を抑えつつ、合成音声に占める素片接続型音声合成方式によるスペクトルをできるだけ増加させ、合成音声の自然感を向上させることができる。
「第２方式」および「第３方式」が、「テキスト」に応じて素片接続される音素の基本周波数に対する、「テキスト」に前述の「音響モデル」を適用して得られる基本周波数の「変更度合い」に基づいて境界周波数を決定する方式であってもよい。「第２方式」および「第３方式」で選択される「境界周波数」が「変更度合い」の大きさに対して広義単調増加する関係にあってもよい。例えば、「第２方式」において、「変更度合い」が所定の範囲内である場合に「所定の周波数区間」の上限値を境界周波数とし、そうでない場合に「所定の周波数区間」の上限値を超える周波数（例えば、ナイキスト周波数）を境界周波数としてもよい。「第３方式」において、「変更度合い」が所定の範囲内である場合に「所定の周波数区間」の下限値未満の周波数（例えば、０Ｈｚ）を境界周波数とし、そうでない場合に「所定の周波数区間」の下限値を境界周波数としてもよい。一般に「変更度合い」が大きいほど、素片接続型音声合成方式で得られる合成音声の品質は低下する。そのため、「変更度合い」に基づいて境界周波数を決定することで、合成音声の品質を向上させることができる。
［第１実施形態］
第１実施形態を説明する。
＜構成＞
図１に例示するように、本形態の音声合成装置１は、入力部１１、音声コーパス記憶部２１２、音声データベース（ＤＢ）記憶部１２２、音響モデル記憶部１２３、音声データベース（ＤＢ）構築部１３１、音響モデル生成部１３２、素片接続型音声合成部１３３、ＨＭＭ音声合成部１３４、境界周波数決定部１３５、スペクトル混合処理部１３６、および波形生成処理部１３７を有する。図２Ａに例示するように、本形態の境界周波数決定部１３５は決定部１３５２を含む。図２Ｂに例示するように、本形態のスペクトル混合処理部１３６は、ハイパスフィルタ１３６１、ローパスフィルタ１３６２、および混合部１３６３を有する。実施形態の音声合成装置は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
第１実施形態を説明する。
＜構成＞
図１に例示するように、本形態の音声合成装置１は、入力部１１、音声コーパス記憶部２１２、音声データベース（ＤＢ）記憶部１２２、音響モデル記憶部１２３、音声データベース（ＤＢ）構築部１３１、音響モデル生成部１３２、素片接続型音声合成部１３３、ＨＭＭ音声合成部１３４、境界周波数決定部１３５、スペクトル混合処理部１３６、および波形生成処理部１３７を有する。図２Ａに例示するように、本形態の境界周波数決定部１３５は決定部１３５２を含む。図２Ｂに例示するように、本形態のスペクトル混合処理部１３６は、ハイパスフィルタ１３６１、ローパスフィルタ１３６２、および混合部１３６３を有する。実施形態の音声合成装置は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
＜前処理＞
前処理として音声コーパス記憶部１２１に音声コーパスが格納される。音声ＤＢ構築部１３１は、音声コーパス記憶部１２１に格納された音声コーパスを用い、素片接続型音声合成方式による音声合成に利用可能な音声ＤＢを生成する。例えば、音声ＤＢ構築部１３１は、特許２７６１５５２号公報、特許４４３０９６０号公報などに記載された公知の方法を用いて音声ＤＢを生成できる。生成された音声ＤＢは、音声ＤＢ記憶部１２２に格納される。音響モデル生成部１３２には、音声コーパス記憶部１２１に格納された音声コーパスを学習データとして用い、音声合成のための音響モデルを生成する。音響モデルの例は、ＨＭＭ音声合成用の音響モデルであり、例えば非特許文献１などに記載された公知の方法を用いて生成できる。本形態の音響モデルは、ＨＭＭスペクトル（周波数スペクトル）および基本周波数等をモデル化したものである。生成された音響モデルは音響モデル記憶部１２３に格納される。
前処理として音声コーパス記憶部１２１に音声コーパスが格納される。音声ＤＢ構築部１３１は、音声コーパス記憶部１２１に格納された音声コーパスを用い、素片接続型音声合成方式による音声合成に利用可能な音声ＤＢを生成する。例えば、音声ＤＢ構築部１３１は、特許２７６１５５２号公報、特許４４３０９６０号公報などに記載された公知の方法を用いて音声ＤＢを生成できる。生成された音声ＤＢは、音声ＤＢ記憶部１２２に格納される。音響モデル生成部１３２には、音声コーパス記憶部１２１に格納された音声コーパスを学習データとして用い、音声合成のための音響モデルを生成する。音響モデルの例は、ＨＭＭ音声合成用の音響モデルであり、例えば非特許文献１などに記載された公知の方法を用いて生成できる。本形態の音響モデルは、ＨＭＭスペクトル（周波数スペクトル）および基本周波数等をモデル化したものである。生成された音響モデルは音響モデル記憶部１２３に格納される。
＜音声合成処理＞
次に、図３を用いて本形態の音声合成処理を説明する。入力部１１には音声合成の対象となる文章を表すテキストが入力される。テキストは素片接続型音声合成部１３３およびＨＭＭ音声合成部１３４に入力される。ＨＭＭ音声合成部１３４は、音響モデル記憶部１２３に格納された音響モデルにテキストを適用（例えば、テキストのテキスト解析結果を適用）してＨＭＭスペクトルおよび基本周波数等を得て出力する。ＨＭＭスペクトルおよび基本周波数等はスペクトル混合処理部１３６に送られ、基本周波数はさらに素片接続型音声合成部１３３に送られる（ステップＳ１３４：ＨＭＭ音声合成処理）。素片接続型音声合成部１３３は、テキストおよび基本周波数を入力とし、音声ＤＢ記憶部１２２に格納された音声ＤＢを用いて当該テキストに応じた素片接続（素片接続型音声合成）を行い、素片スペクトル（当該テキストに応じた素片接続によって得られる第１合成音声のスペクトル）およびそれに対応する時間情報付の音素系列を得て出力する。「時間情報付の音素系列」は、素片接続された音素の系列であって各音素の時間情報が付与されたものである。音素の時間情報とは、例えば、所定の時刻（例えば、音素系列の先頭時刻）を基準とした音素の時間軸上の位置（例えば、音素の開始時刻または終了時刻）を表す情報である。素片スペクトルおよびそれに対応する時間情報付の音素系列は境界周波数決定部１３５に送られ、素片スペクトルはさらにスペクトル混合処理部１３６に送られる（ステップＳ１３３：素片接続型音声合成処理）。
次に、図３を用いて本形態の音声合成処理を説明する。入力部１１には音声合成の対象となる文章を表すテキストが入力される。テキストは素片接続型音声合成部１３３およびＨＭＭ音声合成部１３４に入力される。ＨＭＭ音声合成部１３４は、音響モデル記憶部１２３に格納された音響モデルにテキストを適用（例えば、テキストのテキスト解析結果を適用）してＨＭＭスペクトルおよび基本周波数等を得て出力する。ＨＭＭスペクトルおよび基本周波数等はスペクトル混合処理部１３６に送られ、基本周波数はさらに素片接続型音声合成部１３３に送られる（ステップＳ１３４：ＨＭＭ音声合成処理）。素片接続型音声合成部１３３は、テキストおよび基本周波数を入力とし、音声ＤＢ記憶部１２２に格納された音声ＤＢを用いて当該テキストに応じた素片接続（素片接続型音声合成）を行い、素片スペクトル（当該テキストに応じた素片接続によって得られる第１合成音声のスペクトル）およびそれに対応する時間情報付の音素系列を得て出力する。「時間情報付の音素系列」は、素片接続された音素の系列であって各音素の時間情報が付与されたものである。音素の時間情報とは、例えば、所定の時刻（例えば、音素系列の先頭時刻）を基準とした音素の時間軸上の位置（例えば、音素の開始時刻または終了時刻）を表す情報である。素片スペクトルおよびそれに対応する時間情報付の音素系列は境界周波数決定部１３５に送られ、素片スペクトルはさらにスペクトル混合処理部１３６に送られる（ステップＳ１３３：素片接続型音声合成処理）。
境界周波数決定部１３５は、素片スペクトルおよび時間情報付の音素系列を入力とし、前述のようにテキストに応じて素片接続された音素の素片境界前後のスペクトル特徴量の距離に基づいて境界周波数Ｂを決定して出力する（ステップＳ１３５：境界周波数決定処理）。
≪ステップＳ１３５の詳細の例示≫
図４Ａおよび図４Ｂを用い、ステップＳ１３５の詳細を例示する。本形態では素片接続された音素ごとに境界周波数を決定する。本形態では、境界周波数を決定しようとする現音素（ｉ番目の音素）と当該現音素の直前の先行音素（ｉ−１番目の音素）との音素境界Ｔｉの前後の計算区間長Ｔの時間区間における「所定の周波数区間」がＮ個（たとえば１０個）の帯域（周波数帯域）ｂ１，・・・，ｂＮに区分される。ただし、Ｔは正値であり、例えば２０ｍｓｅｃである。Ｎは２以上の正整数であり、例えばＴ＝１０である。「所定の周波数区間」の上限値ＢＮおよび下限値Ｂ０は予め定められている。上限値ＢＮの例は母音の第２フォルマントの上限周波数（例えば３ｋＨｚ）であり、下限値Ｂ０の例は母音の第１フォルマントの下限周波数（例えば２００Ｈｚ）である。各帯域ｂｎの上限値をＢｎと表記する。本形態ではｎが大きな帯域ｂｎほど周波数が高く、帯域ｂｎ’−１の上限値Ｂｎ’−１が帯域ｂｎ’の下限値と一致する。帯域ｂ１，・・・，ｂＮは「所定の周波数区間」をメル尺度（メル周波数）上で等間隔に区分したものであることが望ましいが、線形尺度（線形周波数）上で等間隔に区分したもの等、それ以外の基準で区分されたものであってもよい。
図４Ａおよび図４Ｂを用い、ステップＳ１３５の詳細を例示する。本形態では素片接続された音素ごとに境界周波数を決定する。本形態では、境界周波数を決定しようとする現音素（ｉ番目の音素）と当該現音素の直前の先行音素（ｉ−１番目の音素）との音素境界Ｔｉの前後の計算区間長Ｔの時間区間における「所定の周波数区間」がＮ個（たとえば１０個）の帯域（周波数帯域）ｂ１，・・・，ｂＮに区分される。ただし、Ｔは正値であり、例えば２０ｍｓｅｃである。Ｎは２以上の正整数であり、例えばＴ＝１０である。「所定の周波数区間」の上限値ＢＮおよび下限値Ｂ０は予め定められている。上限値ＢＮの例は母音の第２フォルマントの上限周波数（例えば３ｋＨｚ）であり、下限値Ｂ０の例は母音の第１フォルマントの下限周波数（例えば２００Ｈｚ）である。各帯域ｂｎの上限値をＢｎと表記する。本形態ではｎが大きな帯域ｂｎほど周波数が高く、帯域ｂｎ’−１の上限値Ｂｎ’−１が帯域ｂｎ’の下限値と一致する。帯域ｂ１，・・・，ｂＮは「所定の周波数区間」をメル尺度（メル周波数）上で等間隔に区分したものであることが望ましいが、線形尺度（線形周波数）上で等間隔に区分したもの等、それ以外の基準で区分されたものであってもよい。
境界周波数決定部１３５の決定部１３５２（図２Ａ）はｎ：＝１と初期化する。ただし、「ｎ：＝１」はｎを１とする（ｎに１を代入する）ことを意味する（ステップＳ１３５２ａ）。決定部１３５２は、先行音素のＴｉ−ＴからＴｉまでの時間区間における帯域ｂｎ（所定の周波数区間の一部の帯域である第１判定帯域）でのスペクトル特徴量の平均値Ｓｎ，ｉ−１と、現音素のＴｉからＴｉ＋Ｔまでの時間区間における帯域ｂｎでのスペクトル特徴量の平均値Ｓｎ，ｉとを計算する。例えば、帯域ｂｎでのｉ−１番目の音素（先行音素）の離散時刻ｔでのスペクトル特徴量をｓｎ，ｉ−１，ｔとし、帯域ｂｎでのｉ番目の音素（現音素）の離散時刻ｔでのスペクトル特徴量をｓｎ，ｉ，ｔとすると、以下の関係が成り立つ。
なお、スペクトル特徴量の例は、パワースペクトル、メルケプストラム係数、ケプストラム係数などである（ステップＳ１３５２ｂ）。
なお、スペクトル特徴量の例は、パワースペクトル、メルケプストラム係数、ケプストラム係数などである（ステップＳ１３５２ｂ）。
次に決定部１３５２は、Ｓｎ，ｉ−１とＳｎ，ｉとの距離Ｄｎ，ｉ（第１判定帯域ｂｎでのスペクトル特徴量の距離）を計算する。Ｓｎ，ｉ−１およびＳｎ，ｉがスカラーである場合、距離Ｄｎ，ｉはＳｎ，ｉ−１とＳｎ，ｉとの差分（絶対値）であり、Ｓｎ，ｉ−１およびＳｎ，ｉがベクトルである場合、距離Ｄｎ，ｉはＳｎ，ｉ−１とＳｎ，ｉとのノルムである（ステップＳ１３５２ｃ）。決定部１３５２は、帯域ｂｎにおける許容限界値Ｌｎと距離Ｄｎ，ｉとを比較し、Ｌｎ＞Ｄｎ，ｉであるかを判定する。ただし、許容限界値Ｌｎは聴取実験などによって予め定めておいた値である。許容限界値Ｌｎは、帯域ｂｎごとに定められてもよいし、すべての帯域ｂ１，・・・，ｂＮに対して均一であってもよい。許容限界値Ｌｎが帯域ｂｎごとに定められる場合、許容限界値Ｌｎが帯域ｂｎに応じた周波数（例えば、ＢｎまたはＢｎ−１）に対して広義単調増加する関係にあってもよい（ステップＳ１３５２ｄ）。ここで、距離Ｄｎ，ｉが許容限界値Ｌｎ未満（Ｌｎ＞Ｄｎ，ｉ）であれば、決定部１３５２は、帯域ｂｎに応じた周波数を境界周波数Ｂとする。例えば、Ｂ＝Ｂｎとしてもよいし、Ｂ＝Ｂｎ−１としてもよいし、Ｂ＝（Ｂｎ−１＋Ｂｎ）／２としてもよい（ステップＳ１３５２ｇ）。一方、距離Ｄｎ，ｉが許容限界値Ｌｎ未満でなければ、決定部１３５２はｎ＝Ｎであるかを判定する（ステップＳ１３５２ｅ）。ここで、ｎ＝Ｎでなければ、決定部１３５２は、ｎ：＝ｎ＋１として（ステップＳ１３５２ｆ）、ステップＳ１３５２ｂ以降の処理を実行する。すなわち決定部１３５２は、第１判定帯域（帯域ｂｎ）でのスペクトル特徴量の距離Ｄｎ，ｉが許容限界値Ｌｎ未満でなければ、第１判定帯域よりも周波数の高い帯域ｂｎ＋１（この例では１つ高域側の帯域）を第２判定帯域とし、第２判定帯域を第１判定帯域とした処理を行う。一方、ｎ＝ＮであればステップＳ１３５２ｇが実行され、帯域ｂＮに応じた周波数（例えば上限値ＢＮ）を境界周波数Ｂとする（ステップＳ１３５２ｇ）。以上のステップＳ１３５２ａ〜Ｓ１３５２ｇの処理は、音素接続される各音素を現音素としてそれぞれ実行される。このような処理により、定量的な基準に基づいて各音素に対応する境界周波数Ｂを決定できる。
境界周波数決定部１３５から出力された境界周波数Ｂはスペクトル混合処理部１３６に送られる。スペクトル混合処理部１３６は、音素ごとに、入力された素片スペクトル（テキストに応じた素片接続によって得られる第１合成音声のスペクトル）の境界周波数Ｂに応じた高域側の成分と、ＨＭＭスペクトル（テキストに音声合成のための音響モデルを適用して得られる第２合成音声のスペクトル）の境界周波数Ｂに応じた低域側の成分とを混合した混合スペクトルを得る。図５の例では、素片スペクトルおよび境界周波数Ｂがハイパスフィルタ１３６１に入力される。ハイパスフィルタ１３６１は、ハイパスフィルタ処理によって素片スペクトルの境界周波数Ｂ以下の低域部をカットし、素片スペクトルの高域側の成分を得て出力する。またＨＭＭスペクトルおよび境界周波数Ｂがローパスフィルタ１３６２に入力される。ローパスフィルタ１３６２は、ローパスフィルタ処理によってＨＭＭスペクトルの境界周波数Ｂ以上の高域部をカットすることによりＨＭＭスペクトルの低域側の成分を得て出力する。混合部１３６３は、素片スペクトルの高域側の成分およびＨＭＭスペクトルの低域側の成分を入力とし、これらを混合（合成）して混合スペクトルを得て出力する。これらの処理は全て音素毎に行う。混合スペクトルは基本周波数とともに波形生成処理部１３７に送られる（ステップＳ１３６：スペクトル混合処理）。
波形生成処理部１３７は、入力された混合スペクトルおよび基本周波数を用い、混合スペクトルに対応する時間領域の波形（合成音声）を生成して出力する。この処理には、例えば、参考文献１（H.Kawahara, ”STRAIGHT, exploitation of the other aspect of VOCODER : Perceptually isomorphic decomposition of speech sounds”, Acoustic Science and Technology, Vol.27, No.6, pp.349-353, 2006）に記載された方法を用いることができる（ステップＳ１３７：波形生成処理）。
［第２実施形態］
本形態は第１実施形態の変形例である。本形態では、テキストに応じて素片接続される音素の種別に応じ、（ａ）スペクトル特徴量の距離に基づいて所定の周波数区間内の境界周波数を決定する第１方式、（ｂ）周波数区間の上限値以上の周波数を境界周波数とする第２方式、または（ｃ）周波数区間の下限値以下の周波数を境界周波数とする第３方式の何れかを選択する。以下では既に説明した事項との相違点を中心に説明し、説明済みの事項についてはそれまでに用いた参照番号を流用して説明を省略する。
本形態は第１実施形態の変形例である。本形態では、テキストに応じて素片接続される音素の種別に応じ、（ａ）スペクトル特徴量の距離に基づいて所定の周波数区間内の境界周波数を決定する第１方式、（ｂ）周波数区間の上限値以上の周波数を境界周波数とする第２方式、または（ｃ）周波数区間の下限値以下の周波数を境界周波数とする第３方式の何れかを選択する。以下では既に説明した事項との相違点を中心に説明し、説明済みの事項についてはそれまでに用いた参照番号を流用して説明を省略する。
＜構成＞
図１に例示するように、本形態の音声合成装置２は、入力部１１、音声コーパス記憶部２１２、音声ＤＢ記憶部１２２、音響モデル記憶部１２３、音声ＤＢ構築部１３１、音響モデル生成部１３２、素片接続型音声合成部１３３、ＨＭＭ音声合成部１３４、境界周波数決定部２３５、スペクトル混合処理部１３６、および波形生成処理部１３７を有する。図２Ａに例示するように、本形態の境界周波数決定部２３５は、決定方法選択部２３５１および決定部２３５２を含む。
図１に例示するように、本形態の音声合成装置２は、入力部１１、音声コーパス記憶部２１２、音声ＤＢ記憶部１２２、音響モデル記憶部１２３、音声ＤＢ構築部１３１、音響モデル生成部１３２、素片接続型音声合成部１３３、ＨＭＭ音声合成部１３４、境界周波数決定部２３５、スペクトル混合処理部１３６、および波形生成処理部１３７を有する。図２Ａに例示するように、本形態の境界周波数決定部２３５は、決定方法選択部２３５１および決定部２３５２を含む。
＜前処理＞
第１実施形態と同じである。
第１実施形態と同じである。
＜音声合成処理＞
第１実施形態との相違点は、境界周波数決定部１３５がステップＳ１３５の境界周波数決定処理を行うことに代えて、境界周波数決定部２３５がステップＳ２３５の境界周波数決定処理を行うことである。その他は第１実施形態で説明した通りである。以下では、ステップＳ２３５の境界周波数決定処理のみを説明する。
第１実施形態との相違点は、境界周波数決定部１３５がステップＳ１３５の境界周波数決定処理を行うことに代えて、境界周波数決定部２３５がステップＳ２３５の境界周波数決定処理を行うことである。その他は第１実施形態で説明した通りである。以下では、ステップＳ２３５の境界周波数決定処理のみを説明する。
≪ステップＳ２３５≫
境界周波数決定部２３５は、素片スペクトルおよび時間情報付の音素系列を入力とし、前述のようにテキストに応じて素片接続された音素の素片境界前後のスペクトル特徴量の距離に基づいて境界周波数Ｂを決定して出力する（ステップＳ２３５：境界周波数決定処理）。図６を用いて本形態のステップＳ２３５の処理を説明する。
境界周波数決定部２３５は、素片スペクトルおよび時間情報付の音素系列を入力とし、前述のようにテキストに応じて素片接続された音素の素片境界前後のスペクトル特徴量の距離に基づいて境界周波数Ｂを決定して出力する（ステップＳ２３５：境界周波数決定処理）。図６を用いて本形態のステップＳ２３５の処理を説明する。
まず、境界周波数決定部２３５の決定方法選択部２３５１（図２Ａ）は、時間情報付の音素系列によって表された素片接続される音素の種別（音素そのものの種別および隣接する音素の種別の組み合わせ）に応じ、音素ごとに、スペクトル特徴量の距離に基づいて、方式ａ（第１方式）、方式ｂ（第２方式）、または方式ｃ（第３方式）の何れかを選択する（図７Ｂ参照）。
方式ａは「所定の周波数区間（下限値Ｂ０から上限値ＢＮまでの区間）」内の境界周波数Ｂを決定する方式であり、第１実施形態で説明した方式である。前述のように、方式ａでは、テキストに応じて素片接続される音素のそれぞれである「現音素」と「現音素」の直前の「先行音素」とのスペクトル特徴量の距離に基づいて「現音素」に対する境界周波数Ｂを決定する（例えば、図４Ａ）。すなわち方式ａは「現音素」と「先行音素」との間の歪みが大きいときには素片接続型音声合成方式に適さないが、「現音素」と「先行音素」との間の歪みが小さいときには素片接続型音声合成方式を適用可能な「現音素」に向いている。決定方法選択部２３５１は、このような「現音素」に対して方式ａを選択すればよい。
方式ｂは「所定の周波数区間」の上限値ＢＮ以上の周波数を境界周波数Ｂとする方式である。方式ｂで選択される境界周波数Ｂの上限値は例えばナイキスト周波数である。この場合には、上限値ＢＮからナイキスト周波数までの間の境界周波数Ｂが選択される。方式ｂで選択される境界周波数Ｂは方式ａで選択される境界周波数以上となる。すなわち方式ｂは、基本的に素片接続型音声合成方式に適さない「現音素」、および隣接する音素とそのような関係を持った「現音素」に向いている。決定方法選択部２３５１は、このような「現音素」に対して方式ｂを選択すればよい。
方式ｃは「所定の周波数区間」の下限値Ｂ０以下の周波数を境界周波数Ｂとする方式である。方式ｃで選択される境界周波数Ｂの下限値は例えば０Ｈｚである。この場合には、０Ｈｚから下限値Ｂ０までの間の境界周波数Ｂが選択される。方式ｃで選択される境界周波数Ｂは方式ａで選択される境界周波数以下となる。すなわち方式ｃは、基本的に素片接続型音声合成方式に適した「現音素」、および隣接する音素とそのような関係を持った「現音素」に向いている。決定方法選択部２３５１は、このような「現音素」に対して方式ｃを選択すればよい。
≪方式の選択方法の例示１≫
方式の選択方法を例示する。
（ａ）決定方法選択部２３５１は、「現音素」と「現音素」の直前の「先行音素」との間の歪みが音質に与える影響が大きく、かつ、「現音素」と「現音素」の直後の「後続音素」との間の歪みが音質に与える影響が小さい場合に、「現音素」に対して方式ａを選択する。
（ｂ）決定方法選択部２３５１は、「現音素」と「現音素」の直後の「後続音素」との間の歪みが音質に与える影響が大きい場合に、「現音素」に対して方式ｂを選択する。
（ｃ）決定方法選択部２３５１は、「現音素」と「現音素」の直前の「先行音素」との間の歪みが音質に与える影響が小さく、かつ、「現音素」と「現音素」の直後の「後続音素」との間の歪みが音質に与える影響が小さい場合に、「現音素」に対して方式ｃを選択する。
方式の選択方法を例示する。
（ａ）決定方法選択部２３５１は、「現音素」と「現音素」の直前の「先行音素」との間の歪みが音質に与える影響が大きく、かつ、「現音素」と「現音素」の直後の「後続音素」との間の歪みが音質に与える影響が小さい場合に、「現音素」に対して方式ａを選択する。
（ｂ）決定方法選択部２３５１は、「現音素」と「現音素」の直後の「後続音素」との間の歪みが音質に与える影響が大きい場合に、「現音素」に対して方式ｂを選択する。
（ｃ）決定方法選択部２３５１は、「現音素」と「現音素」の直前の「先行音素」との間の歪みが音質に与える影響が小さく、かつ、「現音素」と「現音素」の直後の「後続音素」との間の歪みが音質に与える影響が小さい場合に、「現音素」に対して方式ｃを選択する。
≪方式の選択方法の例示２≫
より具体的な方式の選択方法を例示する（図７Ａ）。
（ａ）決定方法選択部２３５１は、「現音素」が母音または有声子音を表し、「現音素」の直前の「先行音素」が母音または有声子音を表し、「現音素」の直後の「後続音素」が無声子音を表す場合に、「現音素」に対して方式ａを選択する。
（ｂ）決定方法選択部２３５１は、「現音素」が母音または有声子音を表し、「現音素」の直後の「後続音素」が母音または有声子音を表す場合に、「現音素」に対して方式ｂを選択する。
（ｃ）決定方法選択部２３５１は、「現音素」が母音または有声子音を表し、「現音素」の直前の「先行音素」および直後の「後続音素」が無声子音を表す場合、および／または、「現音素」が無声子音を表す場合に、「現音素」に対して方式ｃを選択する。
より具体的な方式の選択方法を例示する（図７Ａ）。
（ａ）決定方法選択部２３５１は、「現音素」が母音または有声子音を表し、「現音素」の直前の「先行音素」が母音または有声子音を表し、「現音素」の直後の「後続音素」が無声子音を表す場合に、「現音素」に対して方式ａを選択する。
（ｂ）決定方法選択部２３５１は、「現音素」が母音または有声子音を表し、「現音素」の直後の「後続音素」が母音または有声子音を表す場合に、「現音素」に対して方式ｂを選択する。
（ｃ）決定方法選択部２３５１は、「現音素」が母音または有声子音を表し、「現音素」の直前の「先行音素」および直後の「後続音素」が無声子音を表す場合、および／または、「現音素」が無声子音を表す場合に、「現音素」に対して方式ｃを選択する。
このような境界周波数の決定方法の切り替えにより、音素の種別に基づいた最適な境界周波数の決定が可能となる。選択された方式を特定する情報、素片スペクトル、および時間情報付の音素系列は決定部２３５２に送られる（ステップＳ２３５１）。
方式ａを特定する情報が決定部２３５２に送られた場合、決定部２３５２は第１実施形態のステップＳ１３５で説明した処理によって「現音素」に対応する境界周波数Ｂを決定して出力する（ステップＳ２３５２ａ）。方式ｂを特定する情報が決定部２３５２に送られた場合、決定部２３５２は、上限値ＢＮ以上の周波数（例えばナイキスト周波数）を「現音素」に対応する境界周波数Ｂとして決定して出力する（ステップＳ２５３２ｂ）。方式ｃを特定する情報が決定部２３５２に送られた場合、決定部２３５２は、下限値Ｂ０以下の周波数（例えば、０Ｈｚ）を「現音素」に対応する境界周波数Ｂとして決定して出力する（ステップＳ２５３２ｃ）。以降の処理は第１実施形態と同じである。
［第３実施形態］
本形態は第２実施形態の変形例である。本形態では、方式ｂ（第２方式）および方式ｃ（第３方式）は、テキストに応じて素片接続される音素の基本周波数に対する、「第１合成音声」の基本周波数の変更度合いに基づいて境界周波数Ｂを決定する。
本形態は第２実施形態の変形例である。本形態では、方式ｂ（第２方式）および方式ｃ（第３方式）は、テキストに応じて素片接続される音素の基本周波数に対する、「第１合成音声」の基本周波数の変更度合いに基づいて境界周波数Ｂを決定する。
＜構成＞
図１に例示するように、本形態の音声合成装置３は、入力部１１、音声コーパス記憶部２１２、音声ＤＢ記憶部１２２、音響モデル記憶部１２３、音声ＤＢ構築部１３１、音響モデル生成部１３２、素片接続型音声合成部１３３、ＨＭＭ音声合成部１３４、境界周波数決定部３３５、スペクトル混合処理部１３６、および波形生成処理部１３７を有する。図２Ａに例示するように、本形態の境界周波数決定部３３５は、決定方法選択部２３５１および決定部３３５２を含む。
図１に例示するように、本形態の音声合成装置３は、入力部１１、音声コーパス記憶部２１２、音声ＤＢ記憶部１２２、音響モデル記憶部１２３、音声ＤＢ構築部１３１、音響モデル生成部１３２、素片接続型音声合成部１３３、ＨＭＭ音声合成部１３４、境界周波数決定部３３５、スペクトル混合処理部１３６、および波形生成処理部１３７を有する。図２Ａに例示するように、本形態の境界周波数決定部３３５は、決定方法選択部２３５１および決定部３３５２を含む。
＜前処理＞
第１実施形態と同じである。
第１実施形態と同じである。
＜音声合成処理＞
第２実施形態との相違点は、境界周波数決定部２３５がステップＳ２３５の境界周波数決定処理を行うことに代えて、境界周波数決定部３３５がステップＳ３３５の境界周波数決定処理を行うことである。ステップＳ３３５のステップＳ２３５との相違点は、決定部２３５２に代えて決定部３３５２が以下の処理を行うことである。その他は第１，２実施形態で説明した通りである。以下では決定部３３５２の処理のみを説明する。
第２実施形態との相違点は、境界周波数決定部２３５がステップＳ２３５の境界周波数決定処理を行うことに代えて、境界周波数決定部３３５がステップＳ３３５の境界周波数決定処理を行うことである。ステップＳ３３５のステップＳ２３５との相違点は、決定部２３５２に代えて決定部３３５２が以下の処理を行うことである。その他は第１，２実施形態で説明した通りである。以下では決定部３３５２の処理のみを説明する。
本形態では、決定方法選択部２３５１で選択された方式を特定する情報、素片スペクトル、および時間情報付の音素系列が決定部３３５２に送られる。さらに、決定部３３５２には、ステップＳ１３４でＨＭＭ音声合成部１３４から出力された基本周波数も送られる。方式ａを特定する情報が決定部３３５２に送られた場合、決定部３３５２は第１実施形態のステップＳ１３５で説明した処理によって「現音素」に対応する境界周波数Ｂを決定して出力する（ステップＳ２３５２ａ）。
方式ｂを特定する情報が決定部３３５２に送られた場合、決定部３３５２は、「現音素」の音素区間における音素の基本周波数の平均値Ｆ０ｏｒｇと、当該音素区間におけるＨＭＭ音声合成部１３４での合成音の基本周波数の平均値Ｆ０ｓｙｎとの比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎ（基本周波数の変更度合い）が予め定めた値（たとえば０．５以上２．０以下）の範囲を超えるかを判定する。基本周波数の平均値Ｆ０ｓｙｎはＨＭＭ音声合成部１３４から出力された基本周波数に基づいて定められる（ステップＳ３３５２ｂａ）。比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定めた値の範囲内の場合、決定部３３５２は境界周波数Ｂ＝ＢＮとして出力する（ステップＳ３３５２ｂｂ）。一方、比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定めた値の範囲内でない場合、決定部３３５２は、前述のステップＳ２３５２ｂによって境界周波数Ｂを決定して出力する（ステップＳ２３５２ｂ）。
方式ｃを特定する情報が決定部３３５２に送られた場合も、決定部３３５２は比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定めた値の範囲を超えるかを判定する（ステップＳ３３５２ｃａ）。比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定めた値の範囲内の場合、決定部３３５２は前述のステップＳ２３５２ｃによって境界周波数Ｂを決定して出力する（ステップＳ２３５２ｃ）。一方、比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定めた値の範囲内でない場合、決定部３３５２は、境界周波数Ｂ＝Ｂ０として出力する（ステップＳ２３５２ｃｂ）。以降の処理は第１実施形態と同じである。
［第３実施形態の変形例］
第３実施形態では、方式ｂが選択され、かつ、比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定めた値の範囲内の場合にＢ＝ＢＮとし、方式ｂが選択され、かつ、比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定めた値の範囲内でない場合にナイキスト周波数をＢとした。しかしながら、方式ｂが選択された場合に、その他の基準に則って、比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎに応じてＢＮ以上ナイキスト周波数以下の周波数がＢとされてもよい。例えば、ＢＮ以上ナイキスト周波数以下の範囲で、比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定められた値（例えば１）に近いほど、ＢＮに近い周波数がＢとされてもよい。
第３実施形態では、方式ｂが選択され、かつ、比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定めた値の範囲内の場合にＢ＝ＢＮとし、方式ｂが選択され、かつ、比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定めた値の範囲内でない場合にナイキスト周波数をＢとした。しかしながら、方式ｂが選択された場合に、その他の基準に則って、比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎに応じてＢＮ以上ナイキスト周波数以下の周波数がＢとされてもよい。例えば、ＢＮ以上ナイキスト周波数以下の範囲で、比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定められた値（例えば１）に近いほど、ＢＮに近い周波数がＢとされてもよい。
第３実施形態では、方式ｃが選択され、かつ、比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定めた値の範囲内の場合にＢ＝０とし、方式ｃが選択され、かつ、比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定めた値の範囲内でない場合にＢ＝Ｂ０とした。しかしながら、方式ｃが選択された場合に、その他の基準に則って、比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎに応じて０以上Ｂ０以下の周波数がＢとされてもよい。例えば、０以上Ｂ０以下の範囲で、比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定められた値（例えば１）に近いほど、０に近い周波数がＢとされてもよい。
第３実施形態では、「基本周波数の変更度合い」として比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎを用いたが、これに代えてその他の指標を用いてもよい。例えば、比率Ｆ０ｓｙｎ／Ｆ０ｏｒｇ、差分｜Ｆ０ｏｒｇ−Ｆ０ｓｙｎ｜、二乗誤差｛（Ｆ０ｏｒｇ）２−（Ｆ０ｓｙｎ）２｝等を「基本周波数の変更度合い」として用いてもよい。
第３実施形態では、ステップＳ３３５２ｃａで比率Ｆ０ｏｒｇ／Ｆ０ｓｙｎが予め定めた値の範囲を超えた場合に境界周波数Ｂを下限値Ｂ０としたが、この場合に境界周波数Ｂをナイキスト周波数としてもよい。
［特徴］
以上のように各実施形態では、隣接する音素間の連続性に基づく定量的な尺度、音素の種別、基本周波数の変更度合等に応じて適切に境界周波数を設定できる。これにより、ＨＭＭ音声合成方式および素片接続型音声合成方式それぞれの長所を生かし、音素の接続部における異音の発生を抑制しつつ、音素のスペクトルの有する肉声感を導入した合成音声を生成できる。
以上のように各実施形態では、隣接する音素間の連続性に基づく定量的な尺度、音素の種別、基本周波数の変更度合等に応じて適切に境界周波数を設定できる。これにより、ＨＭＭ音声合成方式および素片接続型音声合成方式それぞれの長所を生かし、音素の接続部における異音の発生を抑制しつつ、音素のスペクトルの有する肉声感を導入した合成音声を生成できる。
また各実施形態では、予め設定した許容限界値、音素の種別、基本周波数の変更度合いなどに基づいて定量的に境界周波数を決定する。そのため、話者や音声合成対象のテキストを変更するたびに手作業で境界周波数を定める作業が不要となり、自動的に境界周波数を決定できる。
［その他の変形例］
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
１，２，３ 音声合成装置
Claims (8)
- テキストに応じて素片接続される音素の素片境界前後のスペクトル特徴量の距離に基づいて境界周波数を決定する境界周波数決定部と、
前記テキストに応じた素片接続によって得られる第１合成音声のスペクトルの前記境界周波数に応じた高域側の成分と、前記テキストに音声合成のための音響モデルを適用して得られる第２合成音声のスペクトルの前記境界周波数に応じた低域側の成分とを混合した混合スペクトルを得るスペクトル混合処理部と、
を有する音声合成装置。 - 請求項１の音声合成装置であって、
前記境界周波数決定部は、
前記テキストに応じて素片接続される音素の種別に応じ、（ａ）前記スペクトル特徴量の距離に基づいて所定の周波数区間内の前記境界周波数を決定する第１方式、（ｂ）前記周波数区間の上限値以上の周波数を前記境界周波数とする第２方式、または（ｃ）前記周波数区間の下限値以下の周波数を前記境界周波数とする第３方式の何れかを選択する、音声合成装置。 - 請求項２の音声合成装置であって、
前記第２方式および前記第３方式は、前記テキストに応じて素片接続される音素の基本周波数に対する、前記テキストに前記音響モデルを適用して得られる基本周波数の変更度合いに基づいて前記境界周波数を決定する、音声合成装置。 - 請求項２または３の音声合成装置であって、
前記第１方式は、前記テキストに応じて素片接続される音素のそれぞれである現音素と前記現音素の直前の先行音素との前記スペクトル特徴量の距離に基づいて前記現音素に対する前記境界周波数を決定し、
前記境界周波数決定部は、
前記現音素と前記現音素の直前の先行音素との間の歪みが音質に与える影響が大きく、かつ、前記現音素と前記現音素の直後の後続音素との間の歪みが音質に与える影響が小さい場合に、前記現音素に対して前記第１方式を選択し、
前記現音素と前記現音素の直後の後続音素との間の歪みが音質に与える影響が大きい場合に、前記現音素に対して前記第２方式を選択し、
前記現音素と前記現音素の直前の先行音素との間の歪みが音質に与える影響が小さく、かつ、前記現音素と前記現音素の直後の後続音素との間の歪みが音質に与える影響が小さい場合に、前記現音素に対して前記第３方式を選択する、音声合成装置。 - 請求項１から４の何れかの音声合成装置であって、
前記境界周波数決定部は、
所定の周波数区間の一部の帯域である第１判定帯域での前記スペクトル特徴量の距離を得、前記第１判定帯域での前記スペクトル特徴量の距離が許容限界値未満であれば、前記第１判定帯域に応じた周波数を前記境界周波数とし、前記第１判定帯域での前記スペクトル特徴量の距離が前記許容限界値未満でなければ、前記第１判定帯域よりも周波数の高い帯域を第２判定帯域とし、前記第２判定帯域を前記第１判定帯域とした処理を行う、音声合成装置。 - 請求項５の音声合成装置であって、
前記許容限界値は、前記第１判定帯域に応じた周波数に対して広義単調増加する関係にある、音声合成装置。 - テキストに応じて素片接続される音素の素片境界前後のスペクトル特徴量の距離に基づいて境界周波数を決定する境界周波数決定ステップと、
前記テキストに応じた素片接続によって得られる第１合成音声のスペクトルの前記境界周波数に応じた高域側の成分と、前記テキストに音声合成のための音響モデルを適用して得られる第２合成音声のスペクトルの前記境界周波数に応じた低域側の成分とを混合した混合スペクトルを得るスペクトル混合処理ステップと、
を有する音声合成方法。 - 請求項１から６の何れかの音声合成装置としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015103692A JP6400526B2 (ja) | 2015-05-21 | 2015-05-21 | 音声合成装置、その方法、およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015103692A JP6400526B2 (ja) | 2015-05-21 | 2015-05-21 | 音声合成装置、その方法、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016218281A JP2016218281A (ja) | 2016-12-22 |
| JP6400526B2 true JP6400526B2 (ja) | 2018-10-03 |
Family
ID=57578987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015103692A Active JP6400526B2 (ja) | 2015-05-21 | 2015-05-21 | 音声合成装置、その方法、およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6400526B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109964101B (zh) | 2016-11-08 | 2021-10-29 | 株式会社电装 | 车辆用显示装置 |
| CN111583901B (zh) * | 2020-04-02 | 2023-07-11 | 湖南声广科技有限公司 | 一种广播电台智能天气预报系统及天气预报语音切分方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3465734B2 (ja) * | 1995-09-26 | 2003-11-10 | 日本電信電話株式会社 | 音声信号変形接続方法 |
| JP3727885B2 (ja) * | 2002-01-31 | 2005-12-21 | 株式会社東芝 | 音声素片生成方法と装置及びプログラム、並びに音声合成方法と装置 |
| US20110046957A1 (en) * | 2009-08-24 | 2011-02-24 | NovaSpeech, LLC | System and method for speech synthesis using frequency splicing |
-
2015
- 2015-05-21 JP JP2015103692A patent/JP6400526B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016218281A (ja) | 2016-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Morise et al. | World: a vocoder-based high-quality speech synthesis system for real-time applications | |
| EP4447040A1 (en) | Speech synthesis model training method, speech synthesis method, and related apparatuses | |
| US9905219B2 (en) | Speech synthesis apparatus, method, and computer-readable medium that generates synthesized speech having prosodic feature | |
| JP6561499B2 (ja) | 音声合成装置および音声合成方法 | |
| JP2013539558A (ja) | パラメータ音声の合成方法及びシステム | |
| CN102047321A (zh) | 用于提供改进的语音合成的方法、设备和计算机程序产品 | |
| JP2003150187A (ja) | スムージングフィルタを用いた音声合成システム及びその方法並びにスムージングフィルタ特性制御装置及びその方法 | |
| JP2018141915A (ja) | 音声合成システム、音声合成プログラムおよび音声合成方法 | |
| CN101983402B (zh) | 声音分析装置、方法、系统、合成装置、及校正规则信息生成装置、方法 | |
| KR102198598B1 (ko) | 합성 음성 신호 생성 방법, 뉴럴 보코더 및 뉴럴 보코더의 훈련 방법 | |
| JP4738057B2 (ja) | ピッチパターン生成方法及びその装置 | |
| CN108369803B (zh) | 用于形成基于声门脉冲模型的参数语音合成系统的激励信号的方法 | |
| CN112735454A (zh) | 音频处理方法、装置、电子设备和可读存储介质 | |
| US10636412B2 (en) | System and method for unit selection text-to-speech using a modified Viterbi approach | |
| US9805711B2 (en) | Sound synthesis device, sound synthesis method and storage medium | |
| Zhuang et al. | Litesing: Towards fast, lightweight and expressive singing voice synthesis | |
| KR102198597B1 (ko) | 뉴럴 보코더 및 화자 적응형 모델을 구현하기 위한 뉴럴 보코더의 훈련 방법 | |
| Hai et al. | Diff-pitcher: Diffusion-based singing voice pitch correction | |
| JP6400526B2 (ja) | 音声合成装置、その方法、およびプログラム | |
| JP5726822B2 (ja) | 音声合成装置、方法及びプログラム | |
| JP5930738B2 (ja) | 音声合成装置及び音声合成方法 | |
| JP2008139631A (ja) | 音声合成方法、装置、プログラム | |
| Kim et al. | Period singer: Integrating periodic and aperiodic variational autoencoders for natural-sounding end-to-end singing voice synthesis | |
| JP5874639B2 (ja) | 音声合成装置、音声合成方法及び音声合成プログラム | |
| JP2009122381A (ja) | 音声合成装置、音声合成方法およびそのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170621 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180619 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180712 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180905 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6400526 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |