JP2880433B2 - 音声合成装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された文字列
に基づいて音声を合成する音声合成装置に関する。

【０００２】

【従来の技術】音声の基本周波数であるピッチ周波数
（以下、Ｆ₀周波数という。）のモデル化には、従来か
ら少ないパラメータ数で効率良くＦ₀周波数の時系列の
パターン（以下、Ｆ₀パターンという。）をパラメータ
化することが可能な重畳型モデルが用いられている（例
えば、従来文献１「藤崎ほか，“日本語単語アクセント
の基本周波数パタンとその生成機構のモデル”，日本音
響学会論文誌，Ｖｏｌ．２７．Ｎｏ．９，ｐｐ．４４５
−４５３，１９７１年９月」参照。）この重畳型モデル
では、Ｆ₀パターンを句頭から句末にかけて緩やかに下
降するフレーズ成分（話調成分とも呼ばれる。）とアク
セント句に対応するアクセント成分の和として捉える。
重畳型モデルによるＦ₀パターンのパラメータ化には、
次のような利点がある。 （１）モデルで用いられる自由パラメータ数が少なく、
統計分析によるＦ₀制御の最適化が容易である。 （２）Ｆ₀パターンをフレーズ成分とアクセント成分の
２つの成分に分離するので、最適化するので、最適化の
結果得られる制御規則の解釈が比較的容易である。

【０００３】また、規則合成音声の多様化を図るため
の、普通調、コマーシャル調、朗読調の３つの発話様式
の間の変換規則（以下、従来例という。）が、例えば従
来文献２「阿部ほか，“発話様式の変化とその評価”，
日本音響学会講演論文集，３−Ｐ−１８，１９９３年１
０月」において提案されている。この従来例では、フォ
ルマント周波数と継続時間と基本周波数及びパワーのパ
ラメータを変換することにより、普通調、コマーシャル
調、朗読調の各音声と、普通調からコマーシャル調へ変
換した音声と、普通調から朗読調へ変換した音声の計５
つの発話様式を準備して、それらの類似性について評価
している。

【０００４】

【発明が解決しようとする課題】しかしながら、上述の
従来例では、発話様式の変換を対象としているが、話者
性を考慮せずに音声合成している。すなわち、アクセン
ト型が異なるとアクセントの高さが個人により異なり、
従来例では、ある指定された１人の話者の音声を合成す
ることはできない。

【０００５】本発明の目的は以上の問題点を解決し、あ
る指定された１人の話者の音声を合成することができる
音声合成装置を提供することにある。

【０００６】

【課題を解決するための手段】本発明に係る音声合成装
置は、音声データ記憶手段（１１−１３）、Ｆ₀制御規
則記憶手段（３１−３３）、学習手段（２０、２１）、
パラメータ系列生成手段（１）、音声合成手段（２）か
らなる音声合成装置であって、音声データ記憶手段（１
１−１３）は、音声データを蓄積し、Ｆ₀制御規則記憶
手段（３１−３３）は、Ｆ₀制御規則を蓄積し、学習手
段（２０、２１）は、抽出手段、発生手段、規則生成手
段からなり、抽出手段は、音声データ記憶手段（１１−
１３）に蓄積された音声データからピッチパターンを抽
出し、発生手段は、抽出手段から抽出されたピッチパタ
ーンを臨界制御モデルによる分析法を用いて分析を行
い、アクセント指令、フレーズ指令、アクセント句境界
を含むモデルパラメータを発生し、規則生成手段は、抽
出手段の抽出したピッチパターンと発生手段の発生した
モデルパラメータに基づき、所定の制御要因に注目し
て、音声のピッチ周波数のパターンを制御するＦ₀制御
規則を生成し、Ｆ₀制御規則記憶手段（３１−３３）に
記憶させ、制御要因は、フレーズのモーラ数と、フレー
ズに先行する先行フレーズのモーラ数と、アクセント句
のアクセント型と、アクセント句の文章内の位置を含
み、パラメータ系列生成手段（１）は、入力される文字
列とＦ₀制御規則記憶手段（３１−３３）に記憶された
Ｆ₀制御規則に基づきピッチ周波数のパターンを生成
し、ピッチ周波数を含む音響パラメータ系列を生成し、
音声合成手段（２）は、パラメータ系列生成手段（１）
の出力する音響パラメータ系列に基づき音声を合成す
る。

【０００７】

【０００８】

【０００９】

【発明の実施の形態】以下、図面を参照して本発明に係
る実施形態について説明する。図１は、本実施形態のＦ
₀周波数を制御するＦ₀制御規則を生成するＦ₀制御規則
学習部２０を備えた音声合成装置のブロック図である。
図１において、本実施形態の音声合成装置は、入力され
る文字列に基づいて、選択的に接続される１人の話者の
Ｆ₀制御規則（３１，３２，３３のうちの１つ）と、声
質制御規則４１と、音素継続時間長制御規則４２とを用
いて音声合成のための特徴パラメータ系列を生成するパ
ラメータ系列生成部１と、生成された特徴パラメータ系
列に基づいて音声信号を発生してスピーカ３に出力する
音声合成部２とを備える。本実施形態においては、特
に、話者毎に作成された音声のピッチ周波数を制御する
Ｆ₀制御規則３１，３２，３３を用いて入力された文字
列を予め指定された話者の音声に変換することを特徴と
し、上記Ｆ₀制御規則３１，３２，３３は、音声合成対
象の当該フレーズのモーラ数と、当該フレーズに先行す
る先行フレーズのモーラ数とに基づいて当該フレーズの
大きさを制御し、音声合成対象のアクセント句のアクセ
ント型と上記アクセント句の文章内の位置とに基づいて
アクセント句の大きさを制御することにより、音声のピ
ッチ周波数を制御する規則である。

【００１０】Ｆ₀制御規則学習部２０には、詳細後述す
るＦ₀制御規則学習処理を実行するときのワークエリア
として用いるワーキングメモリ２１が接続される。ま
た、Ｆ₀制御規則学習部２０には、スイッチＳＷ１を介
して、話者Ａ，Ｂ，Ｃの音声データ１１，１２，１３の
うちの１つが選択的に接続される一方、スイッチＳＷ２
を介して、話者Ａ，Ｂ，ＣのＦ₀制御規則３１，３２，
３３のうちの１つが選択的に接続される。これらのスイ
ッチＳＷ１，ＳＷ２の切り換えはＦ₀制御規則学習部２
０によって、同一の話者の音声データとＦ₀制御規則が
同時に接続されるように連動して制御される。さらに、
パラメータ系列生成部１には、スイッチＳＷ３を介し
て、話者Ａ，Ｂ，ＣのＦ₀制御規則３１，３２，３３の
うちの１つが選択的に接続される。このスイッチＳＷ３
の切り換えは、操作者により音声合成した話者のＦ₀制
御規則を選択するように行われる。また、パラメータ系
列生成部１には、詳細後述する従来の声質変換制御規則
４１と従来の音素継続時間長制御規則４２とが接続され
る。

【００１１】本実施形態において、音声データ１１，１
２，１３と、ワーキングメモリ２１と、Ｆ₀制御規則３
１，３２，３３と、声質制御規則４１と、音素継続時間
長制御規則４２とは、例えば、ハードディスクなどのメ
モリで構成される。また、Ｆ₀制御規則学習部２０と、
パラメータ系列生成部１とは、例えばデジタル電子計算
機で構成される。

【００１２】図２は、図１のＦ₀制御規則学習部２０に
よって実行されるＦ₀制御規則学習処理を示すフローチ
ャートである。まず、ステップＳ１では、音声データ１
１，１２，１３内の音声データに基づいてＦ₀パターン
を抽出した後、ステップＳ２において、抽出されたＦ₀
パターンに基づいて臨界制御モデルによる分析法を用い
て上記臨界制御モデルのモデルパラメータを発生する。
さらに、ステップＳ３で、抽出されたＦ₀パターンと、
臨界制御モデルのモデルパラメータとに基づいて、所定
の制御要因に注目して、音声のピッチ周波数を制御する
制御規則を生成する。ここで、制御要因とは、音声合成
対象の当該フレーズのモーラ数と、当該フレーズに先行
する先行フレーズのモーラ数と、音声合成対象のアクセ
ント句のアクセント型と、上記アクセント句の文章内の
位置であり、Ｆ₀制御規則は、音声合成対象の当該フレ
ーズのモーラ数と、当該フレーズに先行する先行フレー
ズのモーラ数とに基づいて当該フレーズの大きさを制御
し、音声合成対象のアクセント句のアクセント型と上記
アクセント句の文章内の位置とに基づいてアクセント句
の大きさを制御することにより、音声のピッチ周波数を
制御する。次いで、上記各ステップの処理の詳細につい
て説明する。

【００１３】まず、ステップＳ１の処理について述べ
る。音声データ１１，１２，１３にはそれぞれ、１人の
話者の読み上げ文（発声音声文ともいう。）の音声信号
のデータを含む。このステップＳ１では、この音声信号
のデータに対して、Ａ／Ｄ変換とＬＰＣ分析を行って特
徴パラメータデータを抽出した後、抽出した特徴パラメ
ータデータに基づいて、例えば公知の臨界制動モデルに
よる分析法（例えば、従来文献３「藤崎ほか，“Analys
is of voice fundamental frequency contours for dec
larative sentences of Japanese （日本語平叙文の基
本周波数パターンの分析）”，日本音響学会論文誌，
（Ｅ），Ｖｏｌ．５，Ｎｏ．４，ｐｐ．２３３−２４
４，１９８４年４月」参照。）により分析しかつＦ₀パ
ターンとモデルパラメータとを検出して、音素単位、ア
クセント句単位及びフレーズ単位でラベリングすること
より生成する。ここで、特徴パラメータデータは、対数
パワー、１６次ケプストラム係数、Δ対数パワー、及び
１６次Δケプストラム係数を含み、モデルパラメータと
は、アクセント指令と、フレーズ指令とを含み、この中
で、アクセント句境界の情報を含む。上記分析では、Ｆ
₀周波数の緩やかな下降成分であるフレーズ成分とＦ₀周
波数の局所的な起伏を示すアクセント成分に分解され
る。上記臨界制動モデルでは、フレーズ成分、アクセン
ト成分はそれぞれフレーズ指令、アクセント指令に対す
る臨界制動２次線形系の応答として捉える。各指令の精
密なタイミングと大きさは、音素ラベリング情報、アク
セント句情報、フレーズ境界情報から得られるフレーズ
指令、アクセント指令のおおよそのタイミングをもとに
自動的な合成による解析（Ａｎａｌｙｓｉｓ−ｂｙ−Ｓ
ｙｎｔｈｅｓｉｓ）を用いて求めることができる。

【００１４】次いで、ステップＳ２の処理について述べ
る。上述の重畳型制御モデルの１つとして、藤崎により
研究提案されてきた藤崎モデルが知られている（例え
ば、従来文献１参照。）。この藤崎モデルを用いたパラ
メータ化には、従来、山登り法が用いられてきた（例え
ば、従来文献３参照。）。すなわち、藤崎モデルのすべ
ての自由パラメータを変化させ、Ｆ₀パターンの平均推
定２乗誤差を最小にするパラメータの組を、そのＦ₀パ
ターンの分析結果とするものである。これは、パラメー
タの総数を探索空間次元数とする探索問題ととらえるこ
とができる。従来は、フレーズ指令に関しては角周波
数、入力時点、及び大きさ、アクセント指令に関しては
角周波数、立ち上がり時点、立ち下がり時点、及び大き
さを自由パラメータとして取り扱っていたため，探索空
間は（３Ｉ＋４Ｊ）次元（ここで、Ｉはフレーズ指令の
数であり、Ｊはアクセント指令の数である。）であっ
た。これらのパラメータのうち、アクセント指令の大き
さは、Ｆ₀周波数の実測値と他のパラメータを与えれ
ば、最小２乗法を用いて一意に求めることが可能でき、
探索空間の次元数をＪだけ下げることにより計算時間を
短縮することができる。この方法では、各時点でのＦ₀
周波数の値の信頼性（ここでは、音声からＦ₀周波数を
計算する際に得られる自己相関関数の極大値）を各時点
でのＦ₀周波数の推定誤差評価の重み付けに用いること
ができるよう定式化している。これは、音声データから
得られるＦ₀周波数の値の信頼性が各時点で一様ではな
いことに対応するためのものである。本実施形態におい
ては、この方法を用いた山登り法によりＦ₀パターンの
パラメータ化を行った。

【００１５】さらに、ステップＳ３におけるＦ₀制御規
則の生成について述べる。フレーズ指令、アクセント指
令に影響を与えると考えられる上記制御要因から、各指
令の属性を推定する規則を公知の空間多重分割型数量化
法（Ｍｕｌｔｉｐｌｅ Ｓｐｌｉｔ Ｒｅｇｒｅｓｓｉ
ｏｎ（例えば、従来文献４「岩橋ほか，“空間分割型数
量化法による音声制御の統計モデリング”，日本音響学
会講演論文集，１−５−１１，ｐ．２３７−２３８，平
成４年１０月」参照。）；以下、ＭＳＲ法という。）に
より求める。ＭＳＲ法では、回帰木での分析手順と同様
に、モデル推定値と実測値との２乗誤差総和を最も小さ
くする分類方法によって二分木を成長させ、モデル生成
を行なう。また、ＭＳＲ法では、二分木のリーフノード
以外のノードでそれ以下の部分木全体にわたって分岐条
件を共有することを許しており、少ないパラメータ数で
効率良くモデリングが行なえる。ルートノードに近いノ
ードで二分木の成長に用いられた制御要因は、多くのサ
ンプルの推定値に影響を与えるので、それらはＦ₀周波
数の制御に深く関わる重要な制御要因であると判断でき
る。

【００１６】ところで、指令推定モデルの推定対象に
は、指令の大きさと立ち上がり時点などのタイミング情
報があるが、タイミング情報は少数の規則により推定で
きるのに対し、指令の大きさの推定には複雑な規則を必
要とすることから、本実施形態では、各指令の大きさを
推定の対象とした。ここでは、フレーズ指令、アクセン
ト指令それぞれの指令推定モデルを合わせてＦ₀制御規
則と呼んでいる。

【００１７】推定モデル生成のための統計モデリング手
法の代表的なものに数量化Ｉ類（例えば、従来文献５
「林ほか，“数量化理論とデータ処理”，朝倉書店，１
９８２年」参照。）や回帰木（例えば、従来文献６「Ｂ
ｒｉｅｍａｎ ｅｔ ａｌ．，“Ｃｌａｓｓｉｆｉｃａ
ｔｉｏｎ Ａｎｄ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅ
ｓ”，Ｗａｄｓｗｏｒｔｈ Ｓｔａｔｉｓｔｉｃｓ／Ｐ
ｒｏｂａｂｉｌｉｔｙ Ｓｅｒｉｅｓ，Ｕ．Ｓ．Ａ．，
１９８４年」参照。）などがある。ここで、数量化Ｉ類
は、制御要因を説明変数空間とした線形重回帰モデルで
あり、制御要因間の独立性が仮定されているため、要因
間の依存関係を表現できない。また、説明変数空間を逐
次分割していく回帰木では、分割後の説明変数空間の独
立性が仮定されているため、分割された空間の間の従属
関係を表現できない。これに対して、ＭＳＲ法は、回帰
木の分析過程において、複数の分割で共用されるパラメ
ータを考えることで、数量化Ｉ類、回帰木の両者の問題
点を解決している。なお、数量化Ｉ類で得られる結果
は、ルートノードでしか分割を許さないＭＳＲ法の特殊
解として、また、回帰木で得られる結果は、複数ノード
での同時分割を禁止したＭＳＲ法の特殊解としてそれぞ
れ考えることができる。

【００１８】回帰木と同様にＭＳＲ法の分析では木構造
のモデルが生成される。図３にＭＳＲ法によるモデルの
一例を示す。この例では、観測値を２種類の制御要因Ｃ
₁，Ｃ₂により推定することが可能である。観測推定値
は、制御要因をもとに一番上のルートノードから条件を
満たす木の枝を順次たどると同時にノードに書かれた数
量ａ_iを加算した時の、末端のノードでの数量の総和と
して得られる。数量ａ_ｉの値は大量データから得られる
制御要因と、観測値と正規方程式を用いて計算するが、
数量化Ｉ類や回帰木と同様に、パラメータ値を一意に求
められないため、いくつかのパラメータの値に制約を設
ける必要がある。本実施形態においては、条件に当ては
まらないノード側（例えば、条件Ｃ_１≦５でＮｏに分岐
する側のノード）の数量を０と置いて他の数量を求めて
いる。図３の例ではａ₃，ａ₇，ａ₉，ａ₁₁を０と置くこ
ととなる。この条件のもとでは、ルートノードの数量ａ
₁は、ａ₃，ａ₇，ａ₉，ａ₁₁がいずれも０であることか
ら、最下段右端のノードにたどり着くデータ群（すなわ
ち、どの分岐でも条件に当てはまらない側のノードを選
択するデータ）の観測値の平均値となる。数量ａ₁は推
定値を求める際の初期値と見なすことができる。

【００１９】図３中、点線で囲んだ部分の木構造はＭＳ
Ｒ法特有の分析結果の例である。この部分木は、ａ₃の
ノードでの分割がおこなわれた結果、ａ₆，ａ₇のノード
が生成され、その後再び、ａ₃ノードでの分割がおこな
われてノードａ₆，ａ₇が分割したことにより生成された
ものである。ａ₁₀，ａ₁₁は共有パラメータとしての数量
と見ることが可能である。数量化Ｉ類の場合はルートノ
ードでのみ分割が許されているため、また、回帰木の場
合は末端ノードでのみ分割が許されているため、例のよ
うな部分木での分割は表現できない。

【００２０】以上説明したように、本実施形態で用いる
ＭＳＲ法は、数量化Ｉ類と回帰木の概念を包含し、拡張
したものとなっている。さらに、共用パラメータの存在
によりモデルのパラメータ数の増加を抑えることがで
き、少ないパラメータ数で効率良くモデリングが可能と
なる。このような見地から、本実施形態では統計モデリ
ング手法としてＭＳＲ法を用いている。

【００２１】上述の処理により大量音声データから求め
られたフレーズ指令、アクセント指令と各指令に影響す
る制御要因との関係をＭＳＲ法を用いて分析すること
で、制御要因からフレーズ指令、アクセント指令を推定
するモデルが得られる。各モデルは、二分木構造とモデ
ルパラメータとで構成される。二分木は、各指令を制御
要因により分類する規則として利用される。またモデル
パラメータは、推定値の算出に用いられる。分析で得ら
れた二分木の構造を検討することにより、どのような制
御要因が各指令に影響を与えているか、などの解析が可
能となる。モデルパラメータの大きさも、そのパラメー
タがかかわる分類が各指令に大きな影響を及ぼしている
かどうかの判断基準となる。

【００２２】図４及び図５に、４人の話者Ｍ１，Ｍ２，
Ｆ１，Ｆ２（ここで、Ｍ１，Ｍ２は男性話者であり、Ｆ
１，Ｆ２は女性話者である。）の各Ｆ₀制御規則を示
す。ここで、図４は、当該フレーズのモーラ数に対する
制御量と、先行フレーズのモーラ数に対する制御量とを
示し、図５に、アクセント句のアクセント型に対する制
御量と、上記アクセント句の文章内の位置に対する制御
量とを示す。ここで、モーラとは、実質的にかな１文字
に対応する拍である。また、アクセント型とは、アクセ
ント句が１拍目にあるのを１型といい、アクセント句が
２拍目にあるのを２型といい、以下同様に定義される。
図４及び図５の話者Ｆ２の場合のＦ₀制御規則を表１に
示す。

【００２３】

【表１】 各音素列に対するＦ₀制御規則の具体例 ＜話者Ｆ２の場合＞ （図４の（ｄ）及び図５の（ｄ）に対応する。） ─────────────────────────────────── （１）当該フレーズ、先行フレーズ及びアクセント指令の大きさをそれぞれ当該 話者の所定の初期値（０．６）に初期化する。 ─────────────────────────────────── （２）当該フレーズのモーラ数に関する判断制御 （２−１）もし当該フレーズの長さが１モーラ以上３モーラ以下であるとき、 当該フレーズの大きさを初期値から０．１５だけ減らす。 （２−２）もし当該フレーズの長さが４モーラ以上６モーラ以下であるとき、 当該フレーズの大きさを初期値から０．０５だけ減らす。 （２−３）もし当該フレーズの長さが７モーラ以上１２モーラ以下であるとき 、当該フレーズの大きさを初期値から０．０２５だけ減らす。 （２−４）もし当該フレーズの長さが１３モーラ以上であるとき、当該フレー ズの大きさを初期値から０．０２５だけ減らす。 ─────────────────────────────────── （３）先行フレーズのモーラ数に関する判断制御 （３−１）もし先行フレーズの長さが１モーラ以上であるとき、先行フレーズ の大きさを初期値から０．０１２５だけ減らす。 （３−２）もし先行フレーズが無いとき、先行フレーズの大きさを初期値から 変化しない。 ─────────────────────────────────── （４）アクセント句のアクセント型に関する判断制御 （４−１）もしアクセント型が１型又は２型であるとき、アクセント句の大き さを初期値から０．０５だけ増やす。 （４−２）もしアクセント型が３型以上であるとき、アクセント句の大きさを 初期値から変化しない。 （４−３）もしアクセント句が無い場合、アクセント句の大きさを初期値から ０．２だけ減らす。 ─────────────────────────────────── （５）アクセント句の文章内の位置に関する判断制御 （４−１）もしアクセント句が文頭にあるとき、アクセント句の大きさを初期 値から変化しない。 （４−２）もしアクセント句が文中にあるとき、アクセント句の大きさを初期 値から変化しない。 （４−３）もしアクセント句が文末にあるとき、アクセント句の大きさを初期 値から０．２５だけ減らす。 ─────────────────────────────────── （注）フレーズ指令の大きさの制御は、表１内の（２）と（３）の制御量の合算 とし、アクセント句の大きさの制御は、表１内の（４）と（５）の制御量の合算 とする。

【００２４】次いで、合成音声「今日は良い天気です」
を得るときに、各音素又は音素列に対して各パラメータ
を制御するために用いられるＦ₀制御規則３１，３２，
３３、声質制御規則４１及び音素継続時間長制御規則４
２の各一例をそれぞれ、表２、表３及び表４に示す。な
お、表３において、音響的特徴パラメータとは、対数パ
ワー、１６次ケプストラム係数、Δ対数パワー、及び１
６次Δケプストラム係数を含む３４次元のパラメータで
ある。

【００２５】

【表２】 Ｆ₀制御規則の一例 ─────────────────────────────────── 音素列 Ｆ₀制御規則 ─────────────────────────────────── ｋｙｏ’ｕｗａ フレーズの大きさのＦ₀制御規則 アクセントの大きさのＦ₀制御規則 ─────────────────────────────────── ｙｏ’ｉ ｔｅ’Ｎｋｉｄｅｓｕ フレーズの大きさのＦ₀制御規則 アクセント１の大きさのＦ₀制御規則 アクセント２の大きさのＦ₀制御規則 ───────────────────────────────────

【００２６】

【表３】声質制御規則の一例 ───────────────── 音素 音響的特徴パラメータ ───────────────── ｋｙ （０．０５，０．０３，…） ｏ （０．４５，０．３８，…） ｕ （０．２５，０．４２，…） ｗ （０．３２，０．３０，…） ａ （０．１２，０．４５，…） … … ─────────────────

【００２７】

【表４】音素継続時間長制御規則の一例 ───────────── 音素 音素継続時間長 ───────────── ｋｙ ０．０５４秒 ｏ ０．１２０秒 ｕ ０．０９５秒 ｗ ０．０８０秒 ａ ０．１１０秒 … … ─────────────

【００２８】さらに、図１に示す音声合成装置の動作に
ついて以下に説明する。図１に示すように、音声合成す
べき文字列はパラメータ系列生成部１に入力される。パ
ラメータ系列生成部１は、入力される文字列に基づい
て、Ｆ₀周波数を制御するＦ₀制御規則（３１，３２，３
３のうちの１つ）と、音響的特徴パラメータを制御する
声質制御規則４１と、音素継続時間長を制御する音素継
続時間長制御規則４２とを用いて、Ｆ₀周波数と音響的
特徴パラメータと音素継続時間長とを含む制御パラメー
タデータを選択し、選択されたパラメータデータに基づ
いて、例えばＤＴＷ法により時間整合処理及び音声スペ
クトルの内挿処理等の処理を実行して、例えば１６次の
ケプストラム係数の時系列データを生成して、音声合成
部２に出力する。音声合成部２は、パルス発生器と雑音
発生器と可変利得増幅器とフィルタを備えて構成され、
入力される時系列データに基づいて音声信号を発生して
スピーカ３に出力することにより、入力された文字列に
対応する合成音声を発生する。

【００２９】以上の実施形態において、少数の音声デー
タを変換目標の話者に発声させ、これに基づいて生成さ
れたＦ₀制御規則を、大量の音声データから生成された
Ｆ₀制御規則のものと入れ換えることにより、Ｆ₀制御規
則を生成してもよい。

【００３０】

【実施例】本発明者は、図１の音声合成装置を用いて、
Ｆ₀制御規則学習処理を音声データベースに対して施
し、フレーズ指令、アクセント指令の大きさを推定する
Ｆ₀制御規則を生成し、複数の話者のＦ₀制御規則を生成
しかつ分析して、各話者間での重要な制御要因の共通性
を調べた。

【００３１】音声資料としては、Ｆ₀制御規則の生成に
は男女２名ずつの話者が発声した５００文章、合計２，
０００文章を用いた（例えば、従来文献７「阿部ほか，
日本音響学会講演論文集，ｐｐ．２６７−２６８，１９
８９年１０月」参照。）。発話内容は、新聞や雑誌から
選ばれた文章である。また、各音声データのフレーズ指
令、アクセント指令の数を表５に示す。上述の処理の方
法を用いて各音声データベースのＦ₀制御規則を生成
し、個々の制御規則を分析した。

【００３２】

【表５】 各音声データベースに含まれる指令の数 ─────────────────────────────────── 話者 Ｍ１ Ｍ２ Ｆ１ Ｆ２ ─────────────────────────────────── フレーズ指令 １９０３ １６８４ １４２５ １５３２ アクセント指令 ３２００ ３１７６ ３３０６ ３１１９ ───────────────────────────────────

【００３３】Ｆ₀制御規則の生成に用いた制御要因と制
御規則の分析について述べる。臨界制動モデルで用いら
れるパラメータには、フレーズ指令については入力時点
と大きさ、アクセント指令については立ち上がり時点、
立ち下がり時点、大きさがある。これらのうち入力時点
などの時間情報については、少数の簡単な規則により制
御可能であることが報告されている（例えば、従来文献
８「海木ほか，電子情報通信学会技術報告，ＳＰ９２−
６，１９９２年３月」参照。）。これに対して、指令の
大きさの適切な制御は合成音の自然性や了解性の向上に
重要である。従って、Ｆ₀制御規則の生成ではフレーズ
指令及びアクセント指令の大きさを推定の対象とした。

【００３４】まず、フレーズ指令の大きさを推定するた
めに用いた制御要因とその影響について述べる。フレー
ズ指令の大きさを推定するためには、以下の４つの制御
要因を考慮した。 （Ａ１）当該フレーズ長（具体的には、当該フレーズの
モーラ数）（５カテゴリに分割した。） （Ａ２）先行フレーズ長（具体的には、先行フレーズの
モーラ数）（６カテゴリに分割した。） （Ａ３）当該フレーズの文中での位置（文末又は非文末
の２カテゴリに分割した。） （Ａ４）当該フレーズの先頭アクセント句のアクセント
型（４カテゴリに分割した。）

【００３５】当該フレーズが短い場合はフレーズ成分を
長い間高い値で保つ必要がないことから、フレーズが短
いほどフレーズ指令が小さくなることが考えられる。ま
た、先行フレーズが短い場合は、先行フレーズのフレー
ズ成分が十分減衰するまでに当該フレーズが始まること
となり、この場合もまたフレーズ指令が小さくなること
が予想される。これらのことから、当該フレーズ及び先
行フレーズの長さをフレーズ指令の大きさを推定する制
御要因に用いた。これに加えて、音声では文末でＦ₀周
波数が顕著に低下し、文末にあるフレーズ指令はそれ以
外に位置するものに比べて小さくなると考えられるの
で、文中でのフレーズの位置をフレーズ指令の大きさの
推定に用いた。さらに、フレーズ先頭部でＦ₀周波数の
値が大きくなり過ぎることを抑えるため、フレーズ指令
の大きさを抑制する要因としてアクセント成分の大小と
強い相関を持つ要因であるアクセント型を用いた。

【００３６】これらの制御要因からフレーズ指令の大き
さを推定するモデルを生成して分析したところ、当該フ
レーズ及び先行フレーズの長さがすべての音声データベ
ースで重要な制御要因であることが確認された。また、
上記要因（Ａ４）については、４話者中３話者において
アクセント核を有するアクセント句（以下、起伏型アク
セント句という。）がフレーズの先頭に存在する場合に
フレーズが小さくなることがわかった。

【００３７】次いで、アクセント指令の大きさを推定す
るために用いた制御要因とその影響について述べる。ア
クセント指令の大きさを推定するためには、以下の４つ
の制御要因を考慮した。 （Ｂ１）当該アクセント句長（具体的には、当該アクセ
ント句のモーラ数）（４カテゴリに分割した。） （Ｂ２）当該アクセント句のアクセント型（４カテゴリ
に分割した。） （Ｂ３）先行アクセント句のアクセント型（５カテゴリ
に分割した。） （Ｂ４）当該アクセント句の文中での位置（文頭、文
中、文末の３カテゴリに分割した。）

【００３８】公知の通り、アクセント句が短い場合、ま
たアクセント型が平板型である場合にアクセント成分は
小さくなることが知られているので、これらを制御要因
として考慮した。本発明者の実験結果では、アクセント
型を示す数字が小さいほど、すなわち「高」で発音され
る拍数が少ないほど、アクセント指令が大きくなる傾向
が見られたので、起伏型アクセント句をより細かく分類
して（１型、２型、３型乃至５型、６型以上）分析を行
なった。また、先行アクセント句が起伏型の場合には、
先行アクセント句でＦ₀周波数を上昇させるためのエネ
ルギーが消費されて当該アクセント句が小さくなること
が考えられるので、先行アクセント句のアクセント型を
制御要因に加えた。さらに、上述したように、フレーズ
指令の大きさを推定する制御要因として文中での位置を
取り扱うことを述べたが、アクセント指令についても文
頭、文中、文末でその大きさが違うことが考えられるの
で、これも要因として考慮した。

【００３９】これらの制御要因とアクセント指令の大き
さの実測値を用いてアクセント指令推定モデルを生成し
てその分析を行なったところ、上記要因（Ｂ４）におい
て文末に位置するアクセント句のアクセント指令の大き
さが小さくなることが、どの話者の推定モデルにおいて
も確認された。また、より大量の音声データを扱った今
回の実験では、フレーズ指令とアクセント指令の大きさ
への影響の個人差は特に見られなかった。

【００４０】以上説明したように、本発明に係る本実施
形態によれば、話者毎に作成された音声のピッチ周波数
を制御するＦ₀制御規則を用いて入力された文字列を予
め指定された話者の音声に変換し、Ｆ₀制御規則は、音
声合成対象の当該フレーズのモーラ数と、当該フレーズ
に先行する先行フレーズのモーラ数とに基づいて当該フ
レーズの大きさを制御し、音声合成対象のアクセント句
のアクセント型と上記アクセント句の文章内の位置とに
基づいてアクセント句の大きさを制御することにより、
音声のピッチ周波数を制御するように構成した。従っ
て、ある指定された１人の話者の音声を合成することが
できる音声合成装置を提供することができる。また、Ｆ
₀制御規則学習部２０により、音声データに基づいて音
声のピッチ周波数のパターンを抽出し、抽出された音声
のピッチ周波数のパターンに基づいて臨界制御モデルに
よる分析法を用いて臨界制御モデルのモデルパラメータ
を発生し、音声のピッチ周波数を制御する制御規則を生
成することができる。従って、ある指定された１人の話
者の音声を合成するために最適であって忠実なＦ₀制御
規則を自動的にかつ容易に作成することができる。

【００４１】

【発明の効果】以上詳述したように本発明に係る音声合
成装置によれば、音声データ記憶手段（１１−１３）、
Ｆ₀制御規則記憶手段（３１−３３）、学習手段（２
０、２１）、パラメータ系列生成手段（１）、音声合成
手段（２）からなる音声合成装置であって、音声データ
記憶手段（１１−１３）は、音声データを蓄積し、Ｆ₀
制御規則記憶手段（３１−３３）は、Ｆ₀制御規則を蓄
積し、学習手段（２０、２１）は、抽出手段、発生手
段、規則生成手段からなり、抽出手段は、音声データ記
憶手段（１１−１３）に蓄積された音声データからピッ
チパターンを抽出し、発生手段は、抽出手段から抽出さ
れたピッチパターンを臨界制御モデルによる分析法を用
いて分析を行い、アクセント指令、フレーズ指令、アク
セント句境界を含むモデルパラメータを発生し、規則生
成手段は、抽出手段の抽出したピッチパターンと発生手
段の発生したモデルパラメータに基づき、所定の制御要
因に注目して、音声のピッチ周波数のパターンを制御す
るＦ₀制御規則を生成し、Ｆ₀制御規則記憶手段（３１−
３３）に記憶させ、制御要因は、フレーズのモーラ数
と、フレーズに先行する先行フレーズのモーラ数と、ア
クセント句のアクセント型と、アクセント句の文章内の
位置を含み、パラメータ系列生成手段（１）は、入力さ
れる文字列とＦ₀制御規則記憶手段（３１−３３）に記
憶されたＦ₀制御規則に基づきピッチ周波数のパターン
を生成し、ピッチ周波数を含む音響パラメータ系列を生
成し、音声合成手段（２）は、パラメータ系列生成手段
（１）の出力する音響パラメータ系列に基づき音声を合
成する。従って、本発明によれば、ある指定された１人
の話者の音声を合成するために最適であって忠実なＦ₀
制御規則を自動的にかつ容易に作成することができる。
また、ある指定された１人の話者の音声を容易に合成す
ることができる音声合成装置を提供することができる。

【００４２】

【図面の簡単な説明】

【図１】 本発明に係る一実施形態である音声合成装置
のブロック図である。

【図２】 図１のＦ₀制御規則学習部で実行されるＦ₀制
御規則学習処理を示すフローチャートである。

【図３】 図１のＦ₀制御規則学習部で用いる空間多重
分割型数量化法（ＭＳＲ）によるモデリングの一例を示
す図である。

【図４】 図１のＦ₀制御規則学習部によって作成され
たフレーズ指令に関するＦ₀制御規則の一例を示すグラ
フである。

【図５】 図１のＦ₀制御規則学習部によって作成され
たアクセント句に関するＦ₀制御規則の一例を示すグラ
フである。

【符号の説明】

１…パラメータ系列生成部、 ２…音声合成部、 ３…スピーカ、 １１…話者Ａの音声データ、 １２…話者Ｂの音声データ、 １３…話者Ｃの音声データ、 ２０…Ｆ₀制御規則学習部、 ２１…ワーキングメモリ、 ３１…話者ＡのＦ₀制御規則、 ３２…話者ＢのＦ₀制御規則、 ３３…話者ＣのＦ₀制御規則、 ４１…音質制御規則、 ４２…音素継続時間長データ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 樋口 宜男 京都府相楽郡精華町大字乾谷小字三平谷 ５番地 株式会社エイ・ティ・アール音 声翻訳通信研究所内 (56)参考文献 特開 平３−249800（ＪＰ，Ａ) 特開 平６−43891（ＪＰ，Ａ) 特開 昭64−61796（ＪＰ，Ａ) 特開 平２−113299（ＪＰ，Ａ) 特開 平６−27984（ＪＰ，Ａ) 特開 昭64−28695（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G10L 3/00 G10L 5/02

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 音声データ記憶手段（１１−１３）、Ｆ
   ₀制御規則記憶手段（３１−３３）、学習手段（２０、
   ２１）、パラメータ系列生成手段（１）、音声合成手段
   （２）からなる音声合成装置であって、 音声データ記憶手段（１１−１３）は、音声データを蓄
   積し、 Ｆ₀制御規則記憶手段（３１−３３）は、Ｆ₀制御規則を
   蓄積し、 学習手段（２０、２１）は、抽出手段、発生手段、規則
   生成手段からなり、抽出手段は、音声データ記憶手段
   （１１−１３）に蓄積された音声データからピッチパタ
   ーンを抽出し、 発生手段は、抽出手段から抽出されたピッチパターンを
   臨界制御モデルによる分析法を用いて分析を行い、アク
   セント指令、フレーズ指令、アクセント句境界を含むモ
   デルパラメータを発生し、 規則生成手段は、 抽出手段の抽出したピッチパターンと発生手段の発生し
   たモデルパラメータに基づき、所定の制御要因に注目し
   て、音声のピッチ周波数のパターンを制御するＦ₀制御
   規則を生成し、Ｆ₀制御規則記憶手段（３１−３３）に
   記憶させ、 制御要因は、フレーズのモーラ数と、フレーズに先行す
   る先行フレーズのモーラ数と、アクセント句のアクセン
   ト型と、アクセント句の文章内の位置を含み、パラメー
   タ系列生成手段（１）は、入力される文字列とＦ₀制御
   規則記憶手段（３１−３３）に記憶されたＦ₀制御規則
   に基づきピッチ周波数のパターンを生成し、ピッチ周波
   数を含む音響パラメータ系列を生成し、 音声合成手段（２）は、パラメータ系列生成手段（１）
   の出力する音響パラメータ系列に基づき音声を合成する
   音声合成装置。