JP3575730B2 - 歌唱音声合成装置、歌唱音声合成方法および記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、人の声で歌を歌わせる歌唱音声合成装置に関する。
【０００２】
【従来の技術】
人の声は音韻（音素）により構成され、各音韻は複数個のフォルマントにより構成されているので、人が発声するすべての音韻に対して、その各音韻を構成するすべてのフォルマントを生成できるようにし、音韻を生成する場合には、その対象となる音韻を構成するすべてのフォルマントを発生して合成することにより当該音韻を生成し、このようにして生成された複数の音韻を順次つなぎ合わせ、メロディに応じて音高を制御して行くことにより、歌唱音声を合成すること、すなわち人の声で歌を歌わせることができる。この手法は、人の音声のみならず、フォルマントを有する楽音、たとえば管楽器から発生される楽音を合成する場合にも適用できる。
【０００３】
そして、この手法を用いて、人の音声を含む楽音を合成（発生）する装置は、従来から知られており、たとえば特許番号第２５０４１７２号の特許公報では、高い音高のフォルマント音を発生するときでも、不要なスペクトルを発生しないように構成したフォルマント音発生装置が開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来のフォルマント音発生装置を含む、上記手法を用いて楽音を合成する装置では、一般的な人の歌唱音声を擬似的に合成することはできるものの、単に音高を変化させただけでは、歌唱における特定の人の声質や癖等の個性まで再現することはできなかった。
【０００５】
本発明は、この点に着目してなされたものであり、歌唱における特定の人の声質や癖等の個性まで似せて歌唱音声を合成することにより、よりリアルな人の歌唱音声を合成し、この音声を用いて違和感のない自然な状態で歌を歌わせることが可能な歌唱音声合成装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１記載の歌唱音声合成装置は、フォルマントを発生するフォルマント発生手段と、該発生されたフォルマントを複数個組み合わせることにより１音声を合成する音声合成手段と、該合成された１音声を順次つなぎ合わせて行くことにより歌唱音声を生成する歌唱音声生成手段と、前記合成される音声の音高に応じて当該各フォルマントの中心周波数をシフトするフォルマント中心周波数シフト手段と、該合成される音声の音高に応じて当該各フォルマントのレベルを変動させるフォルマントレベル変動手段と、前記発生された複数個のフォルマントのうち所定次数のフォルマントの中心周波数が当該合成される音声の音高より低くなったときに、該フォルマントの中心周波数を当該合成される音声の音高で置き換える置き換え手段とを有し、前記音声合成手段は、前記フォルマント中心周波数がシフトされ、および／または前記フォルマントレベルが変動された各フォルマントを組み合わせて音声合成を行うことを特徴とする。
【０００７】
請求項３記載の歌唱音声合成方法は、フォルマントを発生するフォルマント発生工程と、該発生されたフォルマントを複数個組み合わせることにより１音声を合成する音声合成工程と、該合成された１音声を順次つなぎ合わせて行くことにより歌唱音声を生成する歌唱音声生成工程と、前記合成される音声の音高に応じて当該各フォルマントの中心周波数をシフトするフォルマント中心周波数シフト工程と、該合成される音声の音高に応じて当該各フォルマントのレベルを変動させるフォルマントレベル変動工程と、前記発生された複数個のフォルマントのうち所定次数のフォルマントの中心周波数が当該合成される音声の音高より低くなったときに、該フォルマントの中心周波数を当該合成される音声の音高で置き換える置き換え工程とを有し、前記音声合成工程は、前記フォルマント中心周波数がシフトされ、および／または前記フォルマントレベルが変動された各フォルマントを組み合わせて音声合成を行うことを特徴とする。
【０００８】
請求項５記載の記憶媒体は、フォルマントを発生するフォルマント発生モジュールと、該発生されたフォルマントを複数個組み合わせることにより１音声を合成する音声合成モジュールと、該合成された１音声を順次つなぎ合わせて行くことにより歌唱音声を生成する歌唱音声生成モジュールと、前記合成される音声の音高に応じて当該各フォルマントの中心周波数をシフトするフォルマント中心周波数シフトモジュールと、該合成される音声の音高に応じて当該各フォルマントのレベルを変動させるフォルマントレベル変動モジュールと、前記発生された複数個のフォルマントのうち所定次数のフォルマントの中心周波数が当該合成される音声の音高より低くなったときに、該フォルマントの中心周波数を当該合成される音声の音高で置き換える置き換えモジュールとを含み、前記音声合成モジュールは、前記フォルマント中心周波数がシフトされ、および／または前記フォルマントレベルが変動された各フォルマントを組み合わせて音声合成を行うことを特徴とする。
【０００９】
これにより、合成される音声の音高に応じて当該各フォルマントの中心周波数がシフトするとともに、その合成される音声の音高に応じて当該各フォルマントのレベルが変動し、これらフォルマント中心周波数がシフトされ、および／またはフォルマントレベルが変動されたフォルマントに基づいて音声が合成されるので、人が実際に歌唱したときの発声により近い歌唱音声を合成することができる。
【００１７】
また、これにより、上記フォルマント特性を有する音声をリアルに再現することができる。
【００１８】
たとえば、所定次数のフォルマントとして、第１および２次フォルマントを採ったときには、このフォルマント特性は女声の有するフォルマント特性に一致するため、女声をリアルに再現することができる。
【００１９】
また、請求項２記載の歌唱音声合成装置は、フォルマントを発生するフォルマント発生手段と、該発生されたフォルマントを複数個組み合わせることにより１音声を合成する音声合成手段と、該合成された１音声を順次つなぎ合わせて行くことにより歌唱音声を生成する歌唱音声生成手段と、前記発生されたフォルマントの、少なくともレベルを変調させるための変調信号であって、当該１音声内でそのレベルが時間変化する変調信号を発生する変調信号発生手段と、前記発生されたフォルマントの、少なくともレベルを、該発生した変調信号によって変調させたときに、その変調後のフォルマントレベルの最大値がその変調前のフォルマントレベルの最大値を超えないように、前記変調信号を形成する変調信号形成手段と、前記発生されたフォルマントの、少なくともレベルを該形成された変調信号によって変調する変調手段とを有することを特徴とする。
【００２０】
請求項４記載の歌唱音声合成方法は、フォルマントを発生するフォルマント発生工程と、該発生されたフォルマントを複数個組み合わせることにより１音声を合成する音声合成工程と、該合成された１音声を順次つなぎ合わせて行くことにより歌唱音声を生成する歌唱音声生成工程と、前記発生されたフォルマントの、少なくともレベルを変調させるための変調信号であって、当該１音声内でそのレベルが時間変化する変調信号を発生する変調信号発生工程と、前記発生されたフォルマントの、少なくともレベルを、該発生した変調信号によって変調させたときに、その変調後のフォルマントレベルの最大値がその変調前のフォルマントレベルの最大値を超えないように、前記変調信号を形成する変調信号形成工程と、前記発生されたフォルマントの、少なくともレベルを該形成された変調信号によって変調する変調工程とを有することを特徴とする。
【００２１】
請求項６記載の記憶媒体は、フォルマントを発生するフォルマント発生モジュールと、該発生されたフォルマントを複数個組み合わせることにより１音声を合成する音声合成モジュールと、該合成された１音声を順次つなぎ合わせて行くことにより歌唱音声を生成する歌唱音声生成モジュールと、前記発生されたフォルマントの、少なくともレベルを変調させるための変調信号であって、当該１音声内でそのレベルが時間変化する変調信号を発生する変調信号発生モジュールと、前記発生されたフォルマントの、少なくともレベルを、該発生した変調信号によって変調させたときに、その変調後のフォルマントレベルの最大値がその変調前のフォルマントレベルの最大値を超えないように、前記変調信号を形成する変調信号形成モジュールと、前記発生されたフォルマントの、少なくともレベルを該形成された変調信号によって変調する変調モジュールとを含むことを特徴とする。
【００２２】
これにより、少なくともフォルマントレベルは、その変調後のフォルマントレベルの最大値が変調前の基になるフォルマントレベルの最大値を超えないので、音声合成手段が音声合成可能な最大のフォルマントレベルを使用することができ、したがって、Ｓ／Ｎ比のよい音声を合成することができる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００２４】
図１は、本発明の実施の一形態に係る歌唱音声合成装置の概略構成を示すブロック図である。
【００２５】
同図に示すように、本実施の形態の歌唱音声合成装置は、音高情報を入力するための鍵盤１と、各種情報を入力するための複数のスイッチを備えたパネルスイッチ２と、鍵盤１の各鍵の押鍵状態を検出する押鍵検出回路３と、パネルスイッチ２の各スイッチの押下状態を検出するスイッチ検出回路４と、装置全体の制御を司るＣＰＵ５と、該ＣＰＵ５が実行する制御プログラムやテーブルデータ等を記憶するＲＯＭ６と、演奏データ、各種入力情報および演算結果等を一時的に記憶するＲＡＭ７と、タイマ割込み処理における割込み時間や各種時間を計時するタイマ８と、各種情報等を表示する、たとえば大型液晶ディスプレイ（ＬＣＤ）若しくはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイおよび発光ダイオード（ＬＥＤ）等を備えた表示装置９と、記憶媒体であるフロッピディスク（ＦＤ）２０をドライブするフロッピディスクドライブ（ＦＤＤ）１０と、前記制御プログラムを含む各種アプリケーションプログラムや各種データ等を記憶するハードディスク（図示せず）をドライブするハードディスクドライブ（ＨＤＤ）１１と、前記制御プログラムを含む各種アプリケーションプログラムや各種データ等を記憶するコンパクトディスク−リード・オンリ・メモリ（ＣＤ−ＲＯＭ）２１をドライブするＣＤ−ＲＯＭドライブ（ＣＤ−ＲＯＭＤ）１２と、外部からのＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）信号を入力したり、ＭＩＤＩ信号として外部に出力したりするＭＩＤＩインターフェース（Ｉ／Ｆ）１３と、通信ネットワーク１０１を介して、たとえばサーバコンピュータ１０２とデータの送受信を行う通信インターフェース（Ｉ／Ｆ）１４と、鍵盤１から入力された演奏データや予め設定された演奏データ等を楽音信号に変換する音源回路１５と、該音源回路１５からの楽音信号に各種効果を付与するための効果回路１６と、該効果回路１６からの楽音信号を音響に変換する、たとえば、ＤＡＣ（Ｄｉｇｉｔａｌ−ｔｏ−Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｅｒ）やアンプ、スピーカ等のサウンドシステム１７とにより構成されている。
【００２６】
上記構成要素３〜１６は、バス１８を介して相互に接続され、ＣＰＵ５にはタイマ８が接続され、ＭＩＤＩＩ／Ｆ１３には他のＭＩＤＩ機器１００が接続され、通信Ｉ／Ｆ１４には通信ネットワーク１０１が接続され、音源回路１５には効果回路１６が接続され、効果回路１６にはサウンドシステム１７が接続されている。
【００２７】
ＨＤＤ１１のハードディスクには、前述のように、ＣＰＵ５が実行する制御プログラムも記憶でき、ＲＯＭ６に制御プログラムが記憶されていない場合には、このハードディスクに制御プログラムを記憶させておき、それをＲＡＭ７に読み込むことにより、ＲＯＭ６に制御プログラムを記憶している場合と同様の動作をＣＰＵ５にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。
【００２８】
ＣＤ−ＲＯＭドライブ１２のＣＤ−ＲＯＭ２１から読み出された制御プログラムや各種データは、ＨＤＤ１１内のハードディスクにストアされる。これにより、制御プログラムの新規インストールやバージョンアップ等が容易に行える。なお、このＣＤ−ＲＯＭドライブ１２以外にも、外部記憶装置として、光磁気ディスク（ＭＯ）装置等、様々な形態のメディアを利用するための装置を設けるようにしてもよい。
【００２９】
通信Ｉ／Ｆ１４は、上述のように、たとえばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット、電話回線等の通信ネットワーク１０１に接続されており、該通信ネットワーク１０１を介して、サーバコンピュータ１０２に接続される。ＨＤＤ１１内のハードディスクに上記各プログラムや各種パラメータが記憶されていない場合には、通信Ｉ／Ｆ１４は、サーバコンピュータ１０２からプログラムやパラメータをダウンロードするために用いられる。クライアントとなるコンピュータ（本実施の形態では、歌唱音声合成装置）は、通信Ｉ／Ｆ１４および通信ネットワーク１０１を介してサーバコンピュータ１０２へとプログラムやパラメータのダウンロードを要求するコマンドを送信する。サーバコンピュータ１０２は、このコマンドを受け、要求されたプログラムやパラメータを、通信ネットワーク１０１を介してコンピュータへと配信し、コンピュータが通信Ｉ／Ｆ１４を介して、これらプログラムやパラメータを受信してＨＤＤ１１内のハードディスクに蓄積することにより、ダウンロードが完了する。
【００３０】
この他、外部コンピュータ等との間で直接データのやりとりを行うためのインターフェースを備えてもよい。
【００３１】
以上のように構成された歌唱音声合成装置が実行する制御処理を、まず、その概要を説明し、次に、図２を参照してその全体構成を説明し、そして、図３〜１１を参照してその各構成要素でなされる制御処理を詳細に説明する。
【００３２】
従来の歌唱音声合成装置は、前述のように、人が発声するすべての音韻に対して、その各音韻を構成するすべてのフォルマントを生成できるようにし、歌わせるべき歌の歌詞を音韻の列に分解し、その各音韻を構成するフォルマントを発生して当該各音韻を生成し、その生成された音韻を順次つなぎ合わせて行くことにより、歌唱音声を合成している。
【００３３】
ところで、人の声は個性を有し、同じ音高の音声を発音したときでも、各個人によって異なって聞こえる。たとえば、北島三郎と安室奈美恵が同じ曲を歌ったときでも、聴取者は、どちらが歌っているかを聞き分けることができる。これは、男声と女声の声質の違いだけでなく、男声同士または女声同士であっても同様である。このような各個人における声質の違いは、主として、各音韻を構成するフォルマントの違いから起こるものと考えられる。もちろん、男声と女声の性質の違いも、フォルマントの違い（女声の特徴は、後述する）から起こるものと考えられる。
【００３４】
ここで、フォルマントの違いとは、具体的には、フォルマント構成、フォルマント中心周波数、フォルマントレベルおよびフォルマント形状が各個人により相違しているということであり、フォルマント構成とは、当該音韻を構成するフォルマント数や各フォルマントの発生タイミング等をいい、フォルマント中心周波数とは、文字通り、当該フォルマントの中心周波数をいい、フォルマントレベルおよびフォルマント形状も、それぞれ文字通り、当該フォルマントのレベルおよび形状をいう。
【００３５】
さらに具体的には、歌唱したときに生ずる各個人の声質の違いは、主として、次の特徴から生ずる。
【００３６】
１）発音する音韻の音高に応じて、各フォルマントの中心周波数は所定の方向にシフトしていくが、このシフト量が人によって微妙に異なる。
【００３７】
２）同様に、各フォルマントのレベルも、音韻の音高に応じて変動するが、この変動量が人によって微妙に異なる。
【００３８】
３）ビブラートを含む声の震え（電気的に云うと変調量）は人により様々である。
【００３９】
本実施の形態の歌唱音声合成装置は、上記１）〜３）の特徴をシミュレートすることにより、よりリアルな人の歌唱音声を合成する。
【００４０】
すなわち、まず、予め歌唱させるべき歌い手の上記特徴を解析し、その解析によって得られた各種パラメータ、すなわち上記フォルマント構成、フォルマント中心周波数およびフォルマントレベル等を、ボイスパラメータとして、予めボイスパラメータメモリに記憶しておく。次に、歌唱情報（この情報は、本実施の形態では、メロディ情報および歌詞情報により構成される）の発生、すなわち歌唱の進行に従ってボイスパラメータを読み出し、その内容に基づいて、発声すべき音韻を構成する各フォルマントを生成するための情報、具体的には、フォルマント中心周波数情報ＦＦｒｅｑｉ（ｉ＝１，…，ｍ）、フォルマントレベル情報ＦＬｅｖｅｌｉ（ｉ＝１，…，ｍ）、フォルマント形状情報ＦＳｈａｐｅｉ（ｉ＝１，…，ｍ）および音高情報ＰＩＴＣＨを生成して、前記音源回路１５に出力する。
【００４１】
これら各情報ＦＦｒｅｑｉ，ＦＬｅｖｅｌｉ，ＦＳｈａｐｅｉ，ＰＩＴＣＨのうち、特に、情報ＦＦｒｅｑｉ，ＦＬｅｖｅｌｉを生成する方法が本発明の特徴であり、その詳細は後述する。
【００４２】
音源回路１５は、これらの情報ＦＦｒｅｑｉ，ＦＬｅｖｅｌｉ，ＦＳｈａｐｅｉ，ＰＩＴＣＨに応じて、それぞれ、フォルマント波形データＦＯＲＭＡＮＴ＿ＯＵＴｉ（ｉ＝１，…，ｍ）を生成した後に、該各波形データＦＯＲＭＡＮＴ＿ＯＵＴｉを合成（加算）し、その合成結果である音韻波形データＯＵＴＰＵＴを前記効果回路１６に出力する。
【００４３】
本実施の形態では、音源回路１５は、各フォルマント波形データＦＯＲＭＡＮＴ＿ＯＵＴｉをそれぞれ個別に生成するｍ個のフォルマント波形発生部（図２参照）を有している。１つの音韻を発音するには、通常４つのフォルマントを発生して合成すればよいため、音源回路１５は、少なくとも４個のフォルマント波形発生部を有するが、多重奏を行えるように構成する場合には、その人数の４倍の個数のフォルマント波形発生部を設けるようにする。すなわち、ｍの値は、歌わせるべき合唱音声およびＣＰＵ５の能力に応じて任意に変更できる。
【００４４】
なお、フォルマント波形発生部が、前記各入力情報ＦＦｒｅｑｉ，ＦＬｅｖｅｌｉ，ＦＳｈａｐｅｉ，ＰＩＴＣＨに基づいて、フォルマント波形を発生する方法は、本発明の特徴ではないため、公知の方法を用いて行えばよい。
【００４５】
効果回路１６は、この音韻波形データＯＵＴＰＵＴに適宜各種効果を付与し、歌唱音声信号（デジタル信号）として前記サウンドシステム１７に出力する。
【００４６】
サウンドシステム１７は、前記ＤＡＣにより、このデジタルの歌唱音声信号をアナログ信号に変換し、前記アンプにより、アナログ変換された歌唱音声信号を増幅し、前記スピーカにより、増幅された歌唱音声信号を歌唱音声に変換する。
【００４７】
図２は、本実施の形態の歌唱音声合成装置が実行する制御処理の全体構成を示すブロック図である。
【００４８】
同図において、操作設定部３１は、前記パネルスイッチ２に相当し、本実施の形態では主として、ユーザが歌わせたい歌い手を指定するときに使用する。すなわち、ユーザにより歌い手が指定されると、操作設定部３１は、その指定情報を後述する制御部３４に出力する。
【００４９】
歌唱情報発生部３２は、前記ＲＡＭ７に自動演奏データ（このデータは、前記歌唱情報の基になるデータであって、最も一般的には、ＭＩＤＩデータである）を記憶し、この自動演奏データを参照しながら歌唱情報を発生する場合には、ＲＡＭ７とその内容を読み出す前記ＣＰＵ５に相当する。なお、歌唱情報を発生する形態は、これに限らず、次のように何種類も考えられるので、操作設定部３１が何に相当するかは、その都度変わることになる。
【００５０】
１）歌唱情報をメロディ情報と歌詞情報に分離し、メロディ情報は、演奏者（ユーザ）が、たとえば前記鍵盤１を用いてリアルタイムに発生し、歌詞情報は、ＲＡＭ７に記憶されたものを使用して発生する場合には、歌唱情報発生部３２は、鍵盤１、ＲＡＭ７およびＣＰＵ５に相当する。
【００５１】
２）歌唱情報は、ＭＩＤＩ信号として、前記ＭＩＤＩＩ／Ｆ１３または通信Ｉ／Ｆ１４を介して外部から送信されてきたものを受信し解析して、ＭＩＤＩデータとしてＲＡＭ７に記憶した後に、そのデータを使用して発生する場合には、歌唱情報発生部３２は、ＭＩＤＩＩ／Ｆ１３または通信Ｉ／Ｆ１４、ＲＡＭ７およびＣＰＵ５に相当する。
【００５２】
３）歌唱情報は、ＦＤ２０やＣＤ−ＲＯＭ２１、ＨＤＤ１１のハードディスク等の記憶媒体に記憶されたＭＩＤＩデータを読み出してＲＡＭ７に記憶した後に、そのデータを使用して発生する場合には、歌唱情報発生部３２は、ＦＤ２０やＣＤ−ＲＯＭ２１、ＨＤＤ１１のハードディスク等の記憶媒体、ＲＡＭ７およびＣＰＵ５に相当する。
【００５３】
４）歌唱情報は、ユーザが実際に歌った音声を解析しＭＩＤＩデータに変換してＲＡＭ７に記憶した後に、そのデータを使用して発生する場合には、歌唱情報発生部３２は、音声を入力する装置（図示せず）、ＲＡＭ７およびＣＰＵ５に相当する。
【００５４】
さらに、上記１）〜４）の各場合において、ＲＡＭ７を使用せずに、直接歌唱情報を発生することもでき、この場合には、ＲＡＭ７は、歌唱情報発生部３２の構成要素にならないことは云うまでもない。
【００５５】
このように歌唱情報を発生する態様は様々なものが考えられるが、歌唱情報発生部３２が制御部３４に対して出力（発生）する情報は、キーオン／オフ、キーコード（ＫＣ）、音長（ＮＯＴＥＬＥＮＧＴＨ）、タッチ（ＴＯＵＣＨ）等のメロディ情報と、ＡＳＣＩＩコード等の歌詞情報である。
【００５６】
声質制御情報発生部３３は、前述したように、制御部３４に対して、主としてフォルマント関連情報を発生するように構成されている。このために、声質制御情報発生部３３は、前記ボイスパラメータを記憶するボイスパラメータメモリ３３ａを有する。そして、ボイスパラメータメモリ３３ａは、たとえば前記ＲＯＭ６またはＲＡＭ７に相当し、ボイスパラメータメモリ３３ａに記憶された内容はＣＰＵ５によって読み出されるので、声質制御情報発生部３３は、ＲＯＭ６またはＲＡＭ７、およびＣＰＵ５に相当する。
【００５７】
ここで、フォルマント関連情報とは、前記フォルマント構成、および前記フォルマント中心周波数情報ＦＦｒｅｑｉ、フォルマントレベル情報ＦＬｅｖｅｌｉ、フォルマント形状情報ＦＳｈａｐｅｉのそれぞれ基になるパラメータ、すなわちフォルマント中心周波数パラメータｆｆｒｅｑｉ、フォルマントレベルパラメータｆｌｅｖｅｌｉ、フォルマント形状パラメータｆｓｈａｐｅｉをいう。
【００５８】
制御部３４は、発生すべきフォルマントの全体としての設定、すなわちフォルマントの種類に拘わらない設定を行うためのパラメータであるシステムパラメータ（またはその基となるデータ）を記憶するシステムパラメータメモリ３４ａと、システムパラメータメモリ３４ａから目的のシステムパラメータを読み出して、たとえばビブラート効果（声の震えを含む）を付与するための変調信号（システムパラメータ）を生成してフォルマントパラメータ制御部３４ｄに供給するシステムパラメータ供給部３４ｂと、声質制御情報発生部３３が発生したボイスパラメータに基づいて、たとえばシステムパラメータ供給部３４ｂが生成する変調信号と同様の変調信号（ボイスパラメータ）をフォルマントパラメータ制御部３４ｄに供給するボイスパラメータ供給部３４ｃと、声質制御情報発生部３３が発生したフォルマント関連情報に基づいて前記情報ＦＦｒｅｑｉ，ＦＬｅｖｅｌｉおよびＦＳｈａｐｅｉを生成するとともに、前記歌唱情報発生部が発生した音高情報（ＫＣ）に基づいて前記情報ＰＩＴＣＨを生成するフォルマントパラメータ制御部３４ｄとにより、主として構成されている。
【００５９】
ここで、システムパラメータメモリ３４ａは、前記ボイスパラメータメモリ３３ａと同様に、ＲＯＭ６またはＲＡＭ７に相当し、システムパラメータ供給部３４ｂ、ボイスパラメータ供給部３４ｃおよびフォルマントパラメータ制御部３４ｄは、ＣＰＵ５に相当する。したがって、制御部３４は、ＲＯＭ６またはＲＡＭ７、およびＣＰＵ５に相当する。
【００６０】
ユーザが操作設定部３１を用いて歌い手を指定すると、その指定情報が制御部３４に供給される。これに応じて、制御部３４は、声質制御情報発生部３３に対して、指定された歌い手に対応するボイスパラメータを発生させるように要求し、声質制御情報発生部３３は、ボイスパラメータメモリ３３ａからボイスパラメータを読み出して、制御部３４に供給（発生）する。そして、歌唱情報発生部３２が発生した歌唱情報、すなわちメロディ情報と歌詞情報（本実施の形態では、ＭＩＤＩデータのシーケンス）に応じて、システムパラメータ供給部３４ｂは、システムパラメータメモリ３４ａから読み出したシステムパラメータに各種処理を施してフォルマントパラメータ制御部３４ｄに供給し、また、ボイスパラメータ供給部３４ｃは、声質制御情報発生部３３が発生したボイスパラメータに各種処理を施してフォルマントパラメータ制御部３４ｄに供給する。フォルマントパラメータ制御部３４ｄは、これら供給されたパラメータに各種処理を施して、前記フォルマント中心周波数情報ＦＦｒｅｑｉ、フォルマントレベル情報ＦＬｅｖｅｌｉ、フォルマント形状情報ＦＳｈａｐｅｉおよび音高情報ＰＩＴＣＨを生成し、次に説明する音声波形合成部３５に出力する。
【００６１】
音声波形合成部３５は、前述のように、音源回路１５に相当し、各情報ＦＦｒｅｑｉ，ＦＬｅｖｅｌｉ，ＦＳｈａｐｅｉおよびＰＩＴＣＨに基づいて、それぞれ対応する前記フォルマント波形を発生するフォルマント波形発生部（ＦＧｅｎｉ）３５ａｉ（ｉ＝１，…，ｍ）と、該各フォルマント波形発生部３５ａｉにより発生された各フォルマント波形データＦＯＲＭＡＮＴ＿ＯＵＴｉを合成して、前記音韻波形データＯＵＴＰＵＴを生成する信号合成部３５ｂとにより構成されている。
【００６２】
ここで、信号合成部３５ｂには、ボリュームパラメータＶＯＬが供給され、各フォルマント波形データＦＯＲＭＡＮＴ＿ＯＵＴｉの振幅が一律に変更される。このボリュームパラメータＶＯＬは、たとえば、システムパラメータ供給部３４ｂが供給するシステムパラメータ中の１つのパラメータである。
【００６３】
なお、本実施の形態では、各部は、当該各部で行われる制御があたかもハードウェアで行われるようにブロックで記載されている（ソフトウェアで制御される場合には、通常、その処理はフローチャートによって記載される）が、これは、説明の都合上のみであって、実際には、特に示した箇所以外はすべてソフトウェアによって制御処理を行っている。もちろん、ソフトウェアによる制御処理をハードウェアで行うこともできる。
【００６４】
図３は、上記システムパラメータ供給部３４ｂが実行する制御処理の詳細な構成を示すブロック図であり、同図には、説明の都合上、システムパラメータメモリ３４ａも記載されている。
【００６５】
システムパラメータ供給部３４ｂが実行する制御処理は、２種類の変調信号（システムパラメータ）ＳＹＳＬＦＯｋＯＵＴ（ｋ＝１，２）を生成する処理と、前記ボリュームパラメータＶＯＬ、音像定位や残響等の効果に関係するエフェクタパラメータ等の音源全体の動作に係る共通パラメータである他のシステムパラメータを生成する処理に大きく分けることができる。そして、本発明の１つの特徴は、前述したように、ビブラートを含む声の震えをシミュレートすることであるため、上記システムパラメータ供給部３４ｂの２つの制御処理のうち、前者の２種類の変調信号ＳＹＳＬＦＯｋＯＵＴを生成する処理が詳細に記載されている。
【００６６】
すなわち、前者の処理は、歌唱情報発生部３２が発生する歌唱情報に応じて、すなわち歌唱の進行に応じて、システムパラメータメモリ３４ａから読み出されたパラメータが低周波発生パラメータＬＦＯＰＡＲ１であるときに、この低周波発生パラメータＬＦＯＰＡＲ１に基づいて、第１の変調信号ＳＹＳＬＦＯ１ＯＵＴの基となる変調信号を発生する第１のシステム低周波発生処理部（ＳＹＳＴＥＭ ＬＦＯ１）３４ｂ１と、該第１のシステム低周波発生処理３４ｂ１により発生された信号波形の振幅を調整する前の前処理を行う第１の前処理部３４ｂ２と、該第１の前処理部３４ｂ２により発生された信号波形の振幅を調整する振幅制御処理部３４ｂ３と、第２の変調信号ＳＹＳＬＦＯ２ＯＵＴを生成するために、上記第１の変調信号ＳＹＳＬＦＯ１ＯＵＴを生成する場合と同様の処理を行う処理部３４ｂ４〜３４ｂ６とがそれぞれ行う処理により構成されている。
【００６７】
第１のシステム低周波発生処理部３４ｂ１により発生された信号波形は、第１の前処理部３４ｂ２内で４つに分岐され、そのうち２つの信号波形、すなわち変調信号ＳＹＳＬＦＯ１ＯＵＴｉ（ｉ＝１，２）の基になる信号は、そのまま振幅制御処理部３４ｂ３に入力され、残りの２つの信号波形、すなわち、声質制御情報発生部３３が発生したボイスパラメータ中、フォルマント中心周波数パラメータｆｆｒｅｑｉおよびフォルマントレベルパラメータｆｌｅｖｅｌｉをそれぞれ変調する変調信号ＳＹＳＬＦＯ１ＦＦ１およびＳＹＳＬＦＯ１ＦＬ１の基になる信号は、この各信号波形を所定の形状に調整する形成処理部３４ｂ２１および３４ｂ２２により調整された後に、振幅制御処理部３４ｂ３に入力される。
【００６８】
ここで、形成処理部３４ｂ２１および３４ｂ２２は、各入力波形に対して、それぞれ同様の形成処理を行い、また、図示されていないが、第２の前処理部３４ｂ５も、この形成処理部３４ｂ２１および３４ｂ２２と同様の形成処理部を有しているので、総計４個の前処理部で同様の処理が行われる。
【００６９】
図４は、これら４つの前処理部のうち、上記形成処理部３４ｂ２１が実行する制御処理の詳細な構成を示すブロック図であり、同図に示すように、形成処理部３４ｂ２１は、１個の加算器Ａと、２個の乗算器Ｍ１，Ｍ２と、低周波エンベロープ発生器ＬＦＯＥＧとにより構成されている。
【００７０】
加算器Ａの入力側には、第１のシステム低周波発生処理部３４ｂ１が発生した信号波形ｓ１と係数値“−１”とが入力され、乗算器Ｍ１の入力側には、加算器Ａの出力信号ｓ２と係数値“０．５”とが入力され、乗算器Ｍ２の入力側には、乗算器Ｍ１の出力信号ｓ３と低周波エンベロープ発生器ＬＦＯＥＧの出力信号ｓ４とが入力されている。そして、低周波エンベロープ発生器ＬＦＯＥＧの入力側には、低周波エンベロープ波形を発生させるためのパラメータである、低周波振幅エンベロープパラメータＬＦＯＡＥＧが入力されている。なお、低周波エンベロープ波形は、キーオンイベントの発生に同期して発生するため、低周波エンベロープ発生器ＬＦＯＥＧには、キーオン信号（ＫＯＮ）も入力されている。
【００７１】
信号波形ｓ１として、図５に示すような余弦波が入力されると、この余弦波ｓ１には、加算器Ａにより“−１”が加算され、同図に示すように、上限が“０”に制限された信号ｓ２が生成される。この信号ｓ２には、乗算器Ｍ１により“０．５”が乗算され、同図に示すように、その振幅は１／２に制限された信号ｓ３が生成される。そして、キーオンイベント（キーオン信号ＫＯＮ）に同期して、低周波エンベロープ発生器ＬＦＯＥＧからは、同図に示す信号ｓ４が出力され、この信号ｓ４は、乗算器Ｍ２によって信号ｓ３と乗算され、乗算器Ｍ２からは、同図に示す信号ｓ５が出力される。すなわち、その包絡線が、信号ｓ４を“０”を通る直線を中心にして折り返したときの形状に一致する信号ｓ５が形成されて出力される。
【００７２】
このように、振幅制御処理部３４ｂ３への入力信号ｓ５、すなわち変調信号ＳＹＳＬＦＯ１ＦＦ１の基になる信号の振幅を０〜−１に調整して、信号ｓ５を生成することも本発明の１つの特徴であるが、その理由については、図１０のフォルマントレベル制御処理を説明するときに後述する。なお、上記信号ｓ５のような信号、すなわち振幅が０〜−１に調整された信号を形成する必要のない場合もあるが、この場合には、たとえば設定操作に応じて、入力信号ｓ１をそのまま乗算器Ｍ２に入力するようにすればよい。
【００７３】
図３に戻り、前記振幅制御処理部３４ｂ３には、前記他のシステムパラメータ内に含まれる４つのパラメータであって、上記前処理部３４ｂ２から出力された４つの信号の振幅を、それぞれ変更する変更量を示すパラメータが入力され、このパラメータに応じて、振幅制御処理部３４ｂ３は、各入力信号の振幅を変更して、変調信号ＳＹＳＬＦＯｋＯＵＴを生成する。
【００７４】
なお、前処理部３４ｂ６の制御処理も、この前処理部３４ｂ２の制御処理と同様であるため、その説明を省略する。
【００７５】
図６は、前記ボイスパラメータ供給部３４ｃが実行する制御処理の詳細な構成を示すブロック図であり、同図には、声質制御情報発生部３３およびフォルマントパラメータ制御部３４ｄも記載されている。
【００７６】
ボイスパラメータ供給部３４ｃは、上述したシステムパラメータ供給部３４ｂに対して、出力するパラメータの種類および前処理部３４ｃ２，３４ｃ５の構成が異なるのみである、具体的には、変調信号の数が１つ少ないのみであるので、その詳細な説明を省略する。
【００７７】
ここで、ボイスパラメータ供給部３４ｃがフォルマントパラメータ制御部３４ｄに対して供給するパラメータは、前記変調信号ＳＹＳＬＦＯ１ＯＵＴ１に対応する変調信号Ｖ１、前記変調信号ＳＹＳＬＦＯｋＦＦ，ＳＹＳＬＦＯｋＦＬにそれぞれ対応する変調信号ＶＳｋＦＦ，ＶＳｋＦＬ、およびその他のボイスフォルマントパラメータ（ＶＯＩＣＥ ＦＯＲＭＡＮＴ ＰＡＲｘ）である。
【００７８】
フォルマントパラメータ制御部３４ｄは、同図に示すように、前記フォルマント中心周波数パラメータｆｆｒｅｑｉを制御するフォルマント中心周波数制御部３４ｄ１と、前記フォルマントレベルパラメータｆｌｅｖｅｌｉを制御するフォルマントレベル制御部３４ｄ２とにより、主として構成され、各制御部３４ｄ１，３４ｄ２は、ボイスパラメータ供給部３４ｃから供給されたボイスパラメータ、システムパラメータ供給部３４ｂから供給されたシステムパラメータ、および歌唱情報発生部３２によって発生された歌唱情報に基づいて、次に説明する制御処理を行う。
【００７９】
図７は、フォルマント中心周波数制御部３４ｄ１が実行する制御処理の詳細な構成を示すブロック図である。
【００８０】
同図において、フォルマント中心周波数制御部３４ｄ１は、４個の加算器３４ｄ１Ａ１〜３４ｄ１Ａ４と、５個の乗算器３４ｄ１Ｍ１〜３４ｄ１Ｍ５と、低次フォルマント（本実施の形態では、第１および２フォルマント）のフォルマント中心周波数パラメータｆｆｒｅｑｉ（ｉ＝１，２）のキースケーリングを行う低次フォルマント中心周波数キースケーリング演算部３４ｄ１１と、低次フォルマント中心周波数キースケーリング演算部３４ｄ１１によるキースケーリング後のフォルマント中心周波数パラメータｆｆｒｅｑｓｃ１，２および低次フォルマント以外のフォルマントのフォルマント中心周波数パラメータｆｆｒｅｑｉ（ｉ＝３，…，ｍ）のキースケーリングを行うフォルマント中心周波数キースケーリング演算部３４ｄ１２とにより構成されている。
【００８１】
乗算器３４ｄ１Ｍ２，３４ｄ１Ｍ３の各入力側には、それぞれ前記ボイスパラメータ供給部３４ｃから供給された変調信号ＶＳ１ＦＦ，ＶＳ２ＦＦが入力され、乗算器３４ｄ１Ｍ４，３４ｄ１Ｍ５の各入力側には、それぞれ前記システムパラメータ供給部３４ｂから供給された変調信号ＳＹＳＬＦＯ１ＦＦ，ＳＹＳＬＦＯ２ＦＦが入力される。これら変調信号ＶＳ１ＦＦ，ＶＳ２ＦＦ，ＳＹＳＬＦＯ１ＦＦ，ＳＹＳＬＦＯ２ＦＦは、各乗算器３４ｄ１Ｍ２〜３４ｄ１Ｍ５により、所定の係数と乗算（重み付け）され、加算器３４ｄ１Ａ２〜３４ｄ１Ａ４により加算（総和）され、さらに、その変調信号の総和が、乗算器３４ｄ１Ｍ５によって重み付けされ、その変調信号が、加算器３４ｄ１Ａ１により、各フォルマント中心周波数パラメータｆｆｒｅｑｉに一律に加算される。すなわち、各フォルマント中心周波数パラメータｆｆｒｅｑｉは、システムおよびボイスそれぞれ２つある低周波信号の重み付け総和信号（乗算器３４ｄ１Ｍ１から出力された信号）により変調される。
【００８２】
その変調後の各フォルマント中心周波数パラメータｆｆｒｅｑｉのうち、第１および２次フォルマント（低次フォルマント）に対応するフォルマント中心周波数パラメータｆｆｒｅｑ１，２が、低次フォルマント中心周波数キースケーリング演算部３４ｄ１１に入力され、該演算部３４ｄ１１は、他に入力されたパラメータ、すなわち、本キースケーリングを行うか否かを各低次フォルマント毎に決定するキースケーリング制御パラメータｆｆ１ｋｓｃ，ｆｆ２ｋｓｃおよびピッチデータＰＩＴＣＨ（このデータは、厳密には、前記音高情報ＰＩＴＣＨの値と異なり、その基になるデータであって、前記歌唱情報発生部３２が発生したキーコードＫＣに基づいて生成されたものである）に応じて、変調後の低次フォルマント中心周波数パラメータｆｆｒｅｑ１，２のキースケーリングを行う。
【００８３】
図８は、この低次フォルマント中心周波数キースケーリング演算部３４ｄ１１が実行する制御処理の詳細な構成を示すブロック図であり、本演算部３４ｄ１１は、女声歌唱をシミュレートするものである。
【００８４】
同図において、低次フォルマント中心周波数キースケーリング演算部３４ｄ１１は、上記２種類の入力パラメータｆｆｒｅｑｉ（ｉ＝１，２）およびＰＩＴＣＨのうちいずれかのパラメータを選択するセレクタ３４ｄ１１１と、該セレクタ３４ｄ１１１のセレクト端子に入力されるセレクト信号を生成する周波数比較部３４ｄ１１２とにより、主として構成されている。
【００８５】
なお、低次フォルマント中心周波数キースケーリング演算部３４ｄ１１は、各低次フォルマント中心周波数パラメータｆｆｒｅｑｉ毎にキースケーリングを行うため、制御すべきフォルマント中心周波数パラメータｆｆｒｅｑｉの個数（本実施の形態では２つ）あるが、各演算部ではそれぞれ同様の処理が行われるので、そのうち１つについてのみ説明する。
【００８６】
セレクタ３４ｄ１１１の２つの入力端子のうち、セレクト信号が“０”のときに選択される端子には前記変調後の低次フォルマント中心周波数パラメータｆｆｒｅｑｉが入力され、セレクト信号が“１”のときに選択される端子には前記ピッチデータＰＩＴＣＨが入力され、セレクト端子ＳＥＬには周波数比較部３４ｄ１１２からの出力が入力されている。
【００８７】
周波数比較部３４ｄ１１２には、ピッチデータＰＩＴＣＨ、前記キースケーリング制御パラメータｆｆｉｋｓｃ（ｉ＝１，２）および前記フォルマント中心周波数情報ＦＦｒｅｑｉが入力され、周波数比較部３４ｄ１１２は、キースケーリング制御パラメータｆｆｉｋｓｃがオンのとき、次の条件に従ってセレクト信号の値を決定し出力する。
【００８８】
１）ＦＦｒｅｑｉ≦ＰＩＴＣＨのとき、セレクト信号＝１
２）ＦＦｒｅｑｉ＞ＰＩＴＣＨのとき、セレクト信号＝０
一方、キースケーリング制御パラメータｆｆｉｋｓｃがオフのときには、周波数比較部３４ｄ１１２は、上記条件に従ったセレクト信号の制御を行わず、常に値が“０”のセレクト信号を出力する。
【００８９】
このようにして、低次フォルマント中心周波数キースケーリング演算部３４ｄ１１は、キースケーリング制御パラメータｆｆｉｋｓｃがオンのときに、発声音高であるピッチデータＰＩＴＣＨの値が低次フォルマント中心周波数情報ＦＦｒｅｑｉ（ｉ＝１，２）の値に一致するまたは超える場合には、低次フォルマント中心周波数パラメータｆｆｒｅｑｉの値を強制的にピッチデータＰＩＴＣＨの値に設定し、キースケーリング後のフォルマント中心周波数パラメータｆｆｒｅｑｓｃｉとして出力する。
【００９０】
女声歌唱では、その発声音のピッチが低次のフォルマント周波数に迫る、または超すに至ると、フォルマント周波数がピッチに同期して変化するという特性があり、本演算部３４ｄ１１は、まさにこの特性をシミュレートしている。したがって、女声歌唱をリアルに再現することができる。
【００９１】
図７に戻り、上記キースケーリング後の低次フォルマント中心周波数パラメータｆｆｒｅｑｓｃｉ（ｉ＝１，２）、およびこの低次フォルマント以外のフォルマントに対応する前記フォルマント中心周波数パラメータｆｆｒｅｑｉ（ｉ＝３，…，ｍ）は、フォルマント中心周波数キースケーリング演算部３４ｄ１２に入力され、該演算部３４ｄ１２は、他に入力されたパラメータ、すなわち、前記ピッチデータＰＩＴＣＨおよびキースケーリング用パラメータに基づいて、フォルマント中心周波数パラメータｆｆｒｅｑｓｃ１，２，ｆｆｒｅｑ３，…，ｍのキースケーリングを行う。
【００９２】
ここで、キースケーリング用パラメータとは、具体的には、音高に対するキースケーリング特性の変化点（ｂｒｅａｋ ｐｏｉｎｔ）を示すブレークポイントパラメータＢＰＫＥＹＦｉ（ｉ＝１，…，ｍ）、図９を用いて後述するキースケーリング特性を変更するためのキースケーリング特性パラメータＳＣＡＬＩＮＧＦｉ（ｉ＝１，…，ｍ）をいう。
【００９３】
以下、図９を用いて、フォルマント中心周波数キースケーリング演算部３４ｄ１２が実行するキースケーリングを説明する。
【００９４】
図９は、キースケーリング特性の一例を示す図であり、同図中、横軸はピッチ（ピッチデータＰＩＴＣＨ）を示し、縦軸はキースケーリングの補正量を示している。また、ブレークポイントパラメータＢＰＫＥＹＦｉで示されるピッチＢＰが原点Ｏに一致している。
【００９５】
同図に示すように、キースケーリング特性は、キースケーリング特性パラメータＳＣＡＬＩＮＧＦｉの各値にそれぞれ１つが対応する。キースケーリング特性パラメータＳＣＡＬＩＮＧＦｉは、−Ｓ〜Ｓ−１（Ｓは正整数であり、本実施の形態では、“６４”を採っている）の範囲の整数値を採り、キースケーリング補正量は、キースケーリング特性パラメータＳＣＡＬＩＮＧＦｉの値が正数のときには、ピッチデータＰＩＴＣＨに従って増大する特性を有する一方、キースケーリング特性パラメータＳＣＡＬＩＮＧＦｉが負数のときには、ピッチデータＰＩＴＣＨに従って減少する特性を有している。たとえば、ＳＣＡＬＩＮＧＦｉ＝−６４のときに、キースケーリング補正量は、本実施の形態では、ブレークポイントパラメータＢＰＫＥＹＦｉで指定されたピッチ（キーコード）を基点として、該ピッチ（ＢＰ）を超える場合には、キーコードが“１”変化する毎に１００¢（セント）ずつ減少し、該ピッチ以下の場合には、キーコードが“１”変化する毎に１００¢ずつ増加する特性を有している。
【００９６】
なお、キースケーリング特性は、図示例のような直線特性に限らず、指数や対数等の種々の曲線に応じた変化特性としてもよいことは云うまでもない。
【００９７】
このようにして、ブレークポイントパラメータＢＰＫＥＹＦｉおよびキースケーリング特性パラメータＳＣＡＬＩＮＧＦｉによりキースケーリング特性が決まり、ピッチデータＰＩＴＣＨによりキースケーリング補正量が決まると、フォルマント中心周波数キースケーリング演算部３４ｄ１２は、このキースケーリング補正量で、入力されたフォルマント中心周波数パラメータｆｆｒｅｑｓｃ１，２，ｆｆｒｅｑ３，…，ｍを補正（キースケーリング）し、前記フォルマント中心周波数情報ＦＦｒｅｑｉとして前記音声波形合成部３５の各フォルマント波形発生部３５ａｉに出力する。
【００９８】
これにより、フォルマント中心周波数パラメータｆｆｒｅｑｓｃ１，２，ｆｆｒｅｑ３，…，ｍは、ピッチデータＰＩＴＣＨおよび決定されたキースケーリング特性に応じて変化するように補正（キースケーリング）されるので、歌唱したときに生ずる各個人の声質の違いの特徴のうち、前記１）の特徴、すなわち、「発音する音韻の音高に応じて、各フォルマントの中心周波数は所定の方向にシフトしていくが、このシフト量が人によって微妙に異なる」という特徴をシミュレートすることができる。
【００９９】
図１０は、フォルマントレベル制御部３４ｄ２が実行する制御処理の詳細な構成を示すブロック図である。
【０１００】
同図において、フォルマントレベル制御部３４ｄ２は、４個の加算器３４ｄ２Ａ１〜３４ｄ２Ａ４と、５個の乗算器３４ｄ２Ｍ１〜３４ｄ２Ｍ５と、前記フォルマントレベルパラメータｆｌｅｖｅｌｉ（ｉ＝１，…，ｍ）のキースケーリングを行うフォルマントレベルキースケーリング演算部３４ｄ２１とにより構成されている。
【０１０１】
乗算器３４ｄ２Ｍ２，３４ｄ２Ｍ３の各入力側には、それぞれ前記ボイスパラメータ供給部３４ｃから供給された変調信号ＶＳ１ＦＬ，ＶＳ２ＦＬが入力され、乗算器３４ｄ２Ｍ４，３４ｄ２Ｍ５の各入力側には、それぞれ前記システムパラメータ供給部３４ｂから供給された変調信号ＳＹＳＬＦＯ１ＦＬ，ＳＹＳＬＦＯ２ＦＬが入力される。これら変調信号ＶＳ１ＦＬ，ＶＳ２ＦＬ，ＳＹＳＬＦＯ１ＦＬ，ＳＹＳＬＦＯ２ＦＬは、各乗算器３４ｄ２Ｍ２〜３４ｄ２Ｍ５により、所定の係数と乗算（重み付け）され、加算器３４ｄ２Ａ２〜３４ｄ２Ａ４により加算（総和）され、さらに、その変調信号の総和が、乗算器３４ｄ２Ｍ５によって重み付けされ、その変調信号が、加算器３４ｄ２Ａ１により、各フォルマントレベルパラメータｆｌｅｖｅｌｉに一律に加算される。すなわち、各フォルマントレベルパラメータｆｌｅｖｅｌｉは、システムおよびボイスそれぞれ２つある低周波信号の重み付け総和信号（乗算器３４ｄ２Ｍ１から出力された信号）により変調される。
【０１０２】
ここで、上記各変調信号ＶＳ１ＦＬ，ＶＳ２ＦＬ，ＳＹＳＬＦＯ１ＦＬ，ＳＹＳＬＦＯ２ＦＬは、前述したように、それぞれ形成処理部３４ｂ２１，３４ｂ２２，３４ｃ２１，３４ｃ２２から出力された振幅が０〜−１に調整された信号に基づいて生成されている。したがって、この各変調信号ＶＳ１ＦＬ，ＶＳ２ＦＬ，ＳＹＳＬＦＯ１ＦＬ，ＳＹＳＬＦＯ２ＦＬは、少なくとも上限が“０”に制限されている。すなわち、加算器３４ｄ２Ａ１から出力される変調後のフォルマントレベルパラメータｆｌｅｖｅｌｉは、変調前のフォルマントレベルパラメータｆｌｅｖｅｌｉの上限値を超えずに変調されている。これは、フォルマントレベルパラメータｆｌｅｖｅｌｉは、フォルマント成分を合成するにあたって、より高いＳ／Ｎ比を確保するためには、上限値あるいはその近傍値に設定することが望ましいが、そのように設定されて得られたフォルマント信号にレベル変調を加えると振幅が飽和状態になって波形歪みを起こす恐れがあるからである。
【０１０３】
なお、本実施の形態では、前記フォルマント中心周波数パラメータｆｆｒｅｑｉを変調する場合にも、この振幅が０〜−１に調整された信号に基づいて変調を行うようにしたが、フォルマント中心周波数パラメータｆｆｒｅｑｉを変調する場合には、このような振幅調整された信号に基づいて変調を行う必要はないため、振幅調整される前の信号に基づいて変調を行うようにしてもよい。このときには、図４で前述したように、入力信号ｓ１をそのまま乗算器Ｍ２に入力して生成した信号を使用すればよい。
【０１０４】
図１０に戻り、変調後の各フォルマントレベルパラメータｆｌｅｖｅｌｉ、すなわち加算器３４ｄ２Ａ１から出力された各パラメータｆｌｅｖｅｌｉは、フォルマントレベルキースケーリング演算部３４ｄ２１に入力され、該演算部３４ｄ２１は、他に入力されたパラメータ、すなわち、前記ピッチデータＰＩＴＣＨおよびキースケーリング用パラメータに基づいて、フォルマントレベルパラメータｆｌｅｖｅｌｉのキースケーリングを行う。
【０１０５】
ここで、キースケーリング用パラメータとは、具体的には、キースケーリングを行わない範囲の上限ピッチまたは下限ピッチ（ｂｒｅａｋ ｐｏｉｎｔ）を示すブレークポイントパラメータＢＰＫＥＹＬｉ（ｉ＝１，…，ｍ）、図１１を用いて後述するキースケーリング特性を変更するためのキースケーリング特性パラメータＳＣＡＬＩＮＧＬｉ（ｉ＝１，…，ｍ）、およびキースケーリングの方向（アップ／ダウン）を示すアップダウンパラメータＵＰＤＯＷＮｉ（ｉ＝１，…，ｍ）をいう。
【０１０６】
以下、図１１を用いて、フォルマントレベルキースケーリング演算部３４ｄ２１が実行するキースケーリングを説明する。
【０１０７】
図１１は、キースケーリング特性の一例を示す図であり、同図（ａ）は、アップダウンパラメータＵＰＤＯＷＮｉがアップ（ＵＰ）に設定されているときのキースケーリング特性を示し、同図（ｂ）は、アップダウンパラメータＵＰＤＯＷＮｉがダウン（ＤＯＷＮ）に設定されているときのキースケーリング特性を示している。また、図中、横軸はピッチ（ピッチデータＰＩＴＣＨ）を示し、縦軸はキースケーリングの補正量を示し、ブレークポイントパラメータＢＰＫＥＹＬｉで示されるピッチＢＰが原点Ｏに一致している。
【０１０８】
同図（ａ），（ｂ）に示すように、キースケーリング特性は、各キースケーリングの方向毎、各キースケーリング特性パラメータＳＣＡＬＩＮＧＬｉ値にそれぞれ１つが対応する。キースケーリング特性パラメータＳＣＡＬＩＮＧＬｉは、−Ｓ〜Ｓ−１（Ｓは正整数であり、本実施の形態では、“６４”を採っている）の範囲の整数値を採り、キースケーリング補正量は、次のような特性を有する。
【０１０９】
１）キースケーリング特性パラメータＳＣＡＬＩＮＧＬｉの値が“０”のときには、キースケーリング補正量は、すべてのピッチデータＰＩＴＣＨに亘って、“０ｄＢ”フラットの特性を有する。
【０１１０】
２）キースケーリングの方向がアップ方向で、かつキースケーリング特性パラメータＳＣＡＬＩＮＧＬｉの値が正のときには、キースケーリング補正量は、ＰＩＴＣＨ≦ＢＰＫＥＹＬｉ（ＢＰ）で“０ｄＢ”フラットの特性を有する一方、ＰＩＴＣＨ＞ＢＰＫＥＹＬｉでキースケーリング特性パラメータＳＣＡＬＩＮＧＬｉの値に応じて決まる傾きが正の直線の特性を有する。
【０１１１】
３）キースケーリングの方向がアップ方向で、かつキースケーリング特性パラメータＳＣＡＬＩＮＧＬｉの値が負のときには、キースケーリング補正量は、ＰＩＴＣＨ≦ＢＰＫＥＹＬｉでキースケーリング特性パラメータＳＣＡＬＩＮＧＬｉの値に応じて決まる傾きが正の直線の特性を有する一方、ＰＩＴＣＨ＞ＢＰＫＥＹＬｉで“０ｄＢ”フラットの特性を有する。
【０１１２】
４）キースケーリングの方向がダウン方向で、かつキースケーリング特性パラメータＳＣＡＬＩＮＧＬｉの値が正のときには、キースケーリング補正量は、ＰＩＴＣＨ≦ＢＰＫＥＹＬｉで“０ｄＢ”フラットの特性を有する一方、ＰＩＴＣＨ＞ＢＰＫＥＹＬｉでキースケーリング特性パラメータＳＣＡＬＩＮＧＬｉの値に応じて決まる傾きが負の直線の特性を有する。
【０１１３】
５）キースケーリングの方向がダウン方向で、かつキースケーリング特性パラメータＳＣＡＬＩＮＧＬｉの値が負のときには、キースケーリング補正量は、ＰＩＴＣＨ≦ＢＰＫＥＹＬｉでキースケーリング特性パラメータＳＣＡＬＩＮＧＬｉの値に応じて決まる傾きが負の直線の特性を有する一方、ＰＩＴＣＨ＞ＢＰＫＥＹＬｉで“０ｄＢ”フラットの特性を有する。
【０１１４】
たとえば、ＳＣＡＬＩＮＧＬｉ＝−６４のときには、キースケーリング補正量は、本実施の形態では、ブレークポイントパラメータＢＰＫＥＹＬｉで指定されたピッチ（キーコード）を基点として、該ピッチ（ＢＰ）を超える場合には、キーコードが最高音高“Ｇ８”まで０ｄＢフラット、該ピッチ以下の場合には、最低音高“Ｃ２”で、ＵＰＤＯＷＮｉ＝アップ時“＋４８ｄＢ”、ＵＰＤＯＷＮｉ＝ダウン時“−４８ｄＢ”になる傾きを有する直線特性となっている。
【０１１５】
なお、キースケーリング特性は、図示例のような直線特性に限らず、指数や対数等の種々の曲線に応じた変化特性としてもよいことは云うまでもない。
【０１１６】
このようにして、ブレークポイントパラメータＢＰＫＥＹＬｉ、キースケーリング特性パラメータＳＣＡＬＩＮＧＬｉおよびアップダウンパラメータＵＰＤＯＷＮｉによりキースケーリング特性が決まり、ピッチデータＰＩＴＣＨによりキースケーリング補正量が決まると、フォルマントレベルキースケーリング演算部３４ｄ２１は、このキースケーリング補正量で、入力されたフォルマントレベルパラメータｆｌｅｖｅｌｉを補正（キースケーリング）し、前記フォルマントレベル情報ＦＬｅｖｅｌｉとして前記音声波形合成部３５の各フォルマント波形発生部３５ａｉに出力する。
【０１１７】
これにより、フォルマントレベルパラメータｆｌｅｖｅｌｉは、ピッチデータＰＩＴＣＨおよび決定されたキースケーリング特性に応じて変化するように補正（キースケーリング）されるので、歌唱したときに生ずる各個人の声質の違いの特徴のうち、前記２）の特徴、すなわち、「発音する音韻の音高に応じて、各フォルマントのレベルも、音韻の音高に応じて変動するが、この変動量が人によって微妙に異なる」という特徴をシミュレートすることができる。
【０１１８】
このように、本実施の形態では、歌唱したときに生ずる各個人の声質や癖等の違いを解析して得られたフォルマント関連情報をボイスパラメータメモリ３３ａに記憶し、ユーザが選択した歌い手に対応するフォルマント関連情報を、歌唱の進行に従ってボイスパラメータメモリ３３ａから読み出し、このフォルマント関連情報に応じて、その歌い手の声質や癖等までシミュレートして音声を生成し、その音声により歌唱するようにしたので、よりリアルな人の音声で、違和感のない自然な状態で歌を歌わせることができる。
【０１１９】
なお、本実施の形態では、パラメータを変調した後に、その変調後のパラメータのキースケーリングを行うようにした（図７および１０参照）が、この順序は、これに限らず、まず、キースケーリングを行った後に、変調を行うようにしてもよい。
【０１２０】
また、本実施の形態では、音高情報ＰＩＴＣＨは、歌唱情報発生部３２が発生したキーコードＫＣに基づいて生成するようにしたが、楽曲の構成、言語や音韻成分の性質によっては、メロディとは無関係に所定の周波数が音高情報ＰＩＴＣＨとして、音声波形合成部３５に供給されることもある。
【０１２１】
なお、本実施の形態では、上述したすべての制御処理をＣＰＵ５のみで行うようにしたが、ＣＰＵ５の能力が高くない場合には、音源回路１５にサブＣＰＵを設け、このサブＣＰＵに所定の制御処理を分担させるようにしてもよい。
【０１２２】
さらに、本実施の形態では、本発明を人声音の合成に適用した例を説明したが、これに限らず、本発明は、一般に何らかのフォルマント特性を有する楽音、音色の合成に適用することができる。
【０１２３】
なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵ５やＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは云うまでもない。
【０１２４】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２５】
プログラムコードを供給するための記憶媒体としては、たとえば、前記フロッピーディスク２０、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ２１、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ６などを用いることができる。また、他のＭＩＤＩ機器１００や通信ネットワーク１０１を介してサーバコンピュータ１０２からプログラムコードが供給されるようにしてもよい。
【０１２６】
また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは云うまでもない。
【０１２７】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ５などが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは云うまでもない。
【０１２８】
【発明の効果】
以上説明したように、請求項１、３または５記載の発明に依れば、合成される音声の音高に応じて当該各フォルマントの中心周波数がシフトされるとともに、合成される音声の音高に応じて当該各フォルマントのレベルが変動され、これらフォルマント中心周波数がシフトされ、および／またはフォルマントレベルが変動されたフォルマントに基づいて音声が合成されるので、人が実際に歌唱したときの発声により近い歌唱音声を合成することが可能となる効果を奏する。
【０１３０】
さらに、請求項１、３または５記載の発明に依れば、フォルマント発生手段により発生された複数個のフォルマントのうち所定次数のフォルマントの中心周波数が当該合成される音声の音高より低くなったときに、該フォルマントの中心周波数が当該合成される音声の音高で置き換えられるので、このフォルマント特性を有する音声をリアルに再現することができる。
【０１３１】
また、請求項２、４または６記載の発明に依れば、少なくともフォルマントレベルは、その変調後のフォルマントレベルの最大値が変調前の基になるフォルマントレベルの最大値を超えないので、音声合成手段が音声を合成可能な最大のフォルマントレベルを使用することができ、したがって、Ｓ／Ｎ比のよい音声を合成することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係る歌唱音声合成装置の概略構成を示すブロック図である。
【図２】図１の歌唱音声合成装置が実行する制御処理の全体構成を示すブロック図である。
【図３】図２のシステムパラメータ供給部が実行する制御処理の詳細な構成を示すブロック図である。
【図４】図３の形成処理部が実行する制御処理の詳細な構成を示すブロック図である。
【図５】図４の形成処理部の各構成要素で生成された信号の一例を示す図である。
【図６】図２のボイスパラメータ供給部が実行する制御処理の詳細な構成を示すブロック図である。
【図７】図６のフォルマント中心周波数制御部が実行する制御処理の詳細な構成を示すブロック図である。
【図８】図７の低次フォルマント中心周波数キースケーリング演算部が実行する制御処理の詳細な構成を示すブロック図である。
【図９】図８の低次フォルマント中心周波数キースケーリング演算部が用いるキースケーリング特性の一例を示す図である。
【図１０】図７のフォルマントレベル制御部が実行する制御処理の詳細な構成を示すブロック図である。
【図１１】図１０のフォルマントレベル制御部が用いるキースケーリング特性の一例を示す図である。
【符号の説明】
１ 鍵盤
２ パネルスイッチ
５ ＣＰＵ
６ ＲＯＭ
７ ＲＡＭ
１３ ＭＩＤＩＩ／Ｆ
１４ 通信Ｉ／Ｆ

Claims (6)

1. フォルマントを発生するフォルマント発生手段と、
   該発生されたフォルマントを複数個組み合わせることにより１音声を合成する音声合成手段と、
   該合成された１音声を順次つなぎ合わせて行くことにより歌唱音声を生成する歌唱音声生成手段と、
   前記合成される音声の音高に応じて当該各フォルマントの中心周波数をシフトするフォルマント中心周波数シフト手段と、
   該合成される音声の音高に応じて当該各フォルマントのレベルを変動させるフォルマントレベル変動手段と、
   前記発生された複数個のフォルマントのうち所定次数のフォルマントの中心周波数が当該合成される音声の音高より低くなったときに、該フォルマントの中心周波数を当該合成される音声の音高で置き換える置き換え手段とを有し、
   前記音声合成手段は、前記フォルマント中心周波数がシフトされ、および／または前記フォルマントレベルが変動された各フォルマントを組み合わせて音声合成を行うことを特徴とする歌唱音声合成装置。
2. フォルマントを発生するフォルマント発生手段と、
   該発生されたフォルマントを複数個組み合わせることにより１音声を合成する音声合成手段と、
   該合成された１音声を順次つなぎ合わせて行くことにより歌唱音声を生成する歌唱音声生成手段と、
   前記発生されたフォルマントの、少なくともレベルを変調させるための変調信号であって、当該１音声内でそのレベルが時間変化する変調信号を発生する変調信号発生手段と、
   前記発生されたフォルマントの、少なくともレベルを、該発生した変調信号によって変調させたときに、その変調後のフォルマントレベルの最大値がその変調前のフォルマントレベルの最大値を超えないように、前記変調信号を形成する変調信号形成手段と、
   前記発生されたフォルマントの、少なくともレベルを該形成された変調信号によって変調する変調手段と
   を有することを特徴とする歌唱音声合成装置。
3. フォルマントを発生するフォルマント発生工程と、
   該発生されたフォルマントを複数個組み合わせることにより１音声を合成する音声合成工程と、
   該合成された１音声を順次つなぎ合わせて行くことにより歌唱音声を生成する歌唱音声生成工程と、
   前記合成される音声の音高に応じて当該各フォルマントの中心周波数をシフトするフォルマント中心周波数シフト工程と、
   該合成される音声の音高に応じて当該各フォルマントのレベルを変動させるフォルマントレベル変動工程と、
   前記発生された複数個のフォルマントのうち所定次数のフォルマントの中心周波数が当該合成される音声の音高より低くなったときに、該フォルマントの中心周波数を当該合成される音声の音高で置き換える置き換え工程とを有し、
   前記音声合成工程は、前記フォルマント中心周波数がシフトされ、および／または前記フォルマントレベルが変動された各フォルマントを組み合わせて音声合成を行うことを特徴とする歌唱音声合成方法。
4. フォルマントを発生するフォルマント発生工程と、
   該発生されたフォルマントを複数個組み合わせることにより１音声を合成する音声合成工程と、
   該合成された１音声を順次つなぎ合わせて行くことにより歌唱音声を生成する歌唱音声生成工程と、
   前記発生されたフォルマントの、少なくともレベルを変調させるための変調信号であって、当該１音声内でそのレベルが時間変化する変調信号を発生する変調信号発生工程と、
   前記発生されたフォルマントの、少なくともレベルを、該発生した変調信号によって変調させたときに、その変調後のフォルマントレベルの最大値がその変調前のフォルマントレベルの最大値を超えないように、前記変調信号を形成する変調信号形成工程と、
   前記発生されたフォルマントの、少なくともレベルを該形成された変調信号によって変調する変調工程と
   を有することを特徴とする歌唱音声合成方法。
5. フォルマントを発生するフォルマント発生モジュールと、
   該発生されたフォルマントを複数個組み合わせることにより１音声を合成する音声合成モジュールと、
   該合成された１音声を順次つなぎ合わせて行くことにより歌唱音声を生成する歌唱音声生成モジュールと、
   前記合成される音声の音高に応じて当該各フォルマントの中心周波数をシフトするフォルマント中心周波数シフトモジュールと、
   該合成される音声の音高に応じて当該各フォルマントのレベルを変動させるフォルマントレベル変動モジュールと、
   前記発生された複数個のフォルマントのうち所定次数のフォルマントの中心周波数が当該合成される音声の音高より低くなったときに、該フォルマントの中心周波数を当該合成される音声の音高で置き換える置き換えモジュールとを含み、
   前記音声合成モジュールは、前記フォルマント中心周波数がシフトされ、および／または前記フォルマントレベルが変動された各フォルマントを組み合わせて音声合成を行う
   ことを特徴とするコンピュータが実現できるプログラムを格納した記憶媒体。
6. フォルマントを発生するフォルマント発生モジュールと、
   該発生されたフォルマントを複数個組み合わせることにより１音声を合成する音声合成モジュールと、
   該合成された１音声を順次つなぎ合わせて行くことにより歌唱音声を生成する歌唱音声生成モジュールと、
   前記発生されたフォルマントの、少なくともレベルを変調させるための変調信号であって、当該１音声内でそのレベルが時間変化する変調信号を発生する変調信号発生モジュールと、
   前記発生されたフォルマントの、少なくともレベルを、該発生した変調信号によって変調させたときに、その変調後のフォルマントレベルの最大値がその変調前のフォルマントレベルの最大値を超えないように、前記変調信号を形成する変調信号形成モジュールと、
   前記発生されたフォルマントの、少なくともレベルを該形成された変調信号によって変調する変調モジュールと
   を含む、コンピュータが実現できるプログラムを格納した記憶媒体。

Images