JP5962925B2 - 音声合成装置、楽曲再生装置、音声合成プログラム及び楽曲再生プログラム - Google Patents

Description

本発明は、入力情報に基づいて音声合成を行う音声合成装置、並びに、楽曲再生と音声合成を行う楽曲再生装置に関する。また、各種情報処理装置において音声合成処理を実行させるための音声合成プログラム、並びに、楽曲再生処理と音声合成処理を実行させるための楽曲再生プログラムに関する。

従来、テキスト情報等を入力して、音声を合成する音声合成装置が知られている。このような音声合成装置では、人が話すのと同様に、自然な話し声を実現することが求められており、そのための各種開発が行われている。近年、音声合成はこのような話し声のみならず、歌唱音声にも使用され、自然な歌唱を実現するための開発も進められている。さらに特許文献１では、楽曲等のリズムに合わせて、アクセントを有する英単語等の語と、当該語に対応する日本語訳等の語とを、学習者が確実に効率よく記憶することができる音声情報を形成することが開示されている。

ところで、特許文献１に開示される楽曲等のリズムに合わせて発音する音声合成を、特許文献１のような学習のみならず、フィットネス等、各種運動におけるインストラクションに使用することが考えられる。このようなインストラクションは、予め音楽に同期して録音したものを用いることも可能であるが、音声合成を使用することで、従来、インストラクターが行っていたのと同様、ユーザの運動状況に応じた適切なインストラクションを伝えることも可能となる。

現在、ゲーム機等では、各種フィットネスのソフトウェアが提供されている。このようなソフトウェアでは、カメラで撮像したユーザの状況に応じたインストラクションを音声で伝えることが行われている。また、スマートフォンでは、ＧＰＳ等の各種センサを使用して取得した、ユーザのランニング状況（速度や脈拍）に応じて、インストラクションを音声で伝えることも行われている。

特開２０１１−１３２９５号公報

このようなフィットネスあるいはランニング等、各種運動は、音楽を聴取しながら行われることがある。このような場合、前述したインストラクションを音声で出力する際、インストラクションの内容を伝えるのと同様、音楽の流れや音楽のテンポ感を失わせないことが重要である。音楽のテンポに合わせて、音声合成の長さを合わせる形態も考えられるが、そのような形態では不自然な発音になってしまう場合がある。また、特許文献１に開示される学習用を目的とした音声合成についても、楽曲のリズムにさらに即して音声合成を行うことが求められている。

本発明は、このような課題を解消することを目的とするものであり、楽曲のリズムにあった自然な音声合成を可能とする音声合成装置、並びに、音声合成と楽曲の再生を同時に行う楽曲再生装置、そして、そのためのプログラムを提供することを目的とするものである。

上述する課題を解決するため、本発明は以下の構成を採用するものである。
テキスト情報に基づく音声合成処理を実行可能な音声合成装置であって、
前記音声合成処理は、
テキスト情報を、アクセント句に分割すると共に、各アクセント句内のモーラにアクセント位置を設定する形態素解析処理と、
アクセント句のアクセント位置に対応するモーラが、入力される拍子情報の強拍タイミングに重なるように配置するとともに、隣接するアクセント句が重ならないようにアクセント句を縮める配置処理と、
前記配置処理で配置されたアクセント句に基づいて、音声波形を合成する音声波形合成処理と、を実行する。

さらに本発明に係る音声合成装置において、
前記配置処理は、隣接するアクセント句間が所定時間以上有するように、アクセント句を配置する。

さらに本発明に係る音声合成装置において、
前記配置処理は、アクセント位置の無いアクセント句を、隣接するアクセント句に接続して配置する。

また本発明に係る楽曲再生装置は、
楽曲情報に基づく楽曲再生処理と、テキスト情報に基づく音声合成処理とを実行可能な、楽曲再生装置であって、
前記音声合成処理は、
テキスト情報を、アクセント句に分割すると共に、各アクセント句内のモーラにアクセント位置を設定する形態素解析処理と、
アクセント句のアクセント位置に対応するモーラが、前記楽曲再生処理に伴って出力される拍子情報の強拍タイミングに重なるように配置するとともに、隣接するアクセント句が重ならないようにアクセント句を縮める配置処理と、
前記配置処理で配置されたアクセント句に基づいて、音声波形を合成する音声波形合成処理と、を実行する。

また本発明に係る音声合成プログラムは、
テキスト情報に基づく音声合成処理を情報処理装置に実行させる音声合成プログラムであって、
前記音声合成処理は、
入力されたテキストを、アクセント句に分割すると共に、各アクセント句内のモーラにアクセント位置を設定する形態素解析処理と、
アクセント句のアクセント位置に対応するモーラが、入力される拍子情報の強拍タイミングに重なるように配置するとともに、隣接するアクセント句が重ならないようにアクセント句を縮める配置処理と、
前記配置処理で配置されたアクセント句に基づいて、音声波形を合成する音声波形合成処理と、を実行する。

本発明に係る音声合成装置、楽曲再生装置、音声合成プログラム、楽曲再生プログラムによれば、アクセント句のアクセント位置に対応するモーラが、拍子情報の強拍タイミングに重なるように発音されることで、楽曲の再生等の拍子リズムにあった音声合成を行うことが可能である。その際、アクセント句が重ならないようにアクセント句を縮めること
で、聞き取りやすい音声出力を可能としている。このような構成により、フィットネスのインストラクション等、楽曲等、拍子リズムに合わせた音声合成を行う際、リズム感のある適切な音声を得ることが可能となる。

本発明の実施形態に係る情報処理装置の構成を示すブロック図 本発明の実施形態に係る音声合成処理を示すフロー図 本発明の実施形態に係る発声タイミングの算出（処理Ａ）を示すフロー図 本発明の実施形態に係るアクセント句の音調調整（処理Ｂ）を示すフロー図 本発明の実施形態に係る音声合成処理例を模式的に示した図 本発明の他の実施形態に係る音声合成処理例を模式的に示した図

図１は、本発明の実施形態に係る情報処理装置１の構成を示すブロック図である。情報処理装置１としては、パーソナルコンピュータ、スマートフォンやタブレット端末、各種楽曲再生装置等の携帯情報端末等、各種形態が考えられる。本実施形態の情報処理装置１は、楽曲情報に基づく演奏処理と、テキスト情報に基づく音声合成処理を実行可能としている。本発明に係る情報処理装置１は、このような形態の他、外部の装置から入力された強拍タイミングに関する情報に基づいて音声合成処理のみを行う形態としてもよい。

本実施形態の情報処理装置１は、制御部１０、記憶部１３を備えて構成されている。制御部１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有して構成され、演奏処理１１と音声合成処理１２を実行可能としている。記憶部１３は、音声合成処理に必要な形態素解析辞書１３ａ、音素情報１３ｂを記憶している。制御部１０は、入力される楽曲情報に基づいて演奏音を出力する演奏処理１１と、入力されるテキスト情報に基づいて音声波形を合成する音声合成処理１２を実行可能としている。制御部１０から出力される演奏音と音声波形はミキシング部１４で合成され、スピーカ１５から放音される。

演奏処理１１に使用する楽曲情報、音声合成処理１２に使用するテキスト情報は、記憶部１３に記憶されるものであっても、外部の記憶媒体、あるいは、インターネット等の通信を介して取得するものであってもよい。

制御部１０にて実行される演奏処理１１では、楽曲情報の演奏に同期して、音声合成処理１２側に拍子情報を出力する。拍子情報には、強拍タイミングを含んで構成される。強拍タイミングは、例えば、１〜４拍で構成される４拍子における１拍目の先頭タイミングに相当する。強拍タイミングを含む拍子情報は、予め楽曲情報中に含まれるものであってもよいし、あるいは、演奏された演奏音の音量に基づいて形成されるものであってもよい。

制御部１０にて実行される音声合成処理１２は、テキスト情報を音声合成処理に必要な音声パラメータに変換する形態素解析処理１２ａ、音声パラメータに基づいて音声波形を合成する音声波形合成処理１２ｃを実行する。特に、本実施形態では、拍子情報の強拍タイミングに同期した音声合成を実現するため、形態素解析処理１２ａで発生した音声パラメータを調整する調整処理１２ｂを行うこととしている。

では、本実施形態の情報処理装置１にて実行される音声合成処理について、その詳細を説明する。本実施形態の音声合成処理は、入力されるテキスト情報に基づいて実行される処理であり、処理結果として音声波形が合成出力される。入力されたテキスト情報は、形態素解析辞書１３ａを使用して形態素解析処理（Ｓ１０）が施され、音声合成波形に必要な各種情報（音声パラメータ）が取得される（Ｓ１１）。図５には、本実施形態の音声合
成処理の様子が示されている。図５（Ａ）には、テキスト情報の例文が示されている。

図５（Ｂ）は、図５（Ａ）のテキスト情報に対して、形態素解析処理を施した結果である。本実施形態では、入力されたテキスト情報を、形態素解析辞書１３ａを参照して、アクセント句Ａ１〜Ａ４に分割している。また、アクセント句は、音韻の単位となるモーラにて構成されている。各モーラに、出力する音声波形の音長が割り当てられる。例えば、アクセント句Ａ１は、３つのモーラ「ウ」、「デ」、「オ」で構成され、各モーラには、それぞれ、Ｂ１、Ｂ２、Ｂ３の音長が割り当てられる。したがって、アクセント句Ａ１の音長は、各モーラの音長の合計値Ｂ１＋Ｂ２＋Ｂ３＝Ｃ１となる。

さらに、形態素解析処理では、各アクセント句Ａ１〜Ａ３に対して、アクセント位置を設定している。アクセント位置は、アクセント句Ａ〜Ａ３中のモーラに対して設定される情報であり、音声合成処理を行う際は、当該モーラにアクセント（音高、または、音量の少なくとも一方を調整）を付与することで、聴取上、自然な音声を実現している。図５の例文では、全てのアクセント句Ａ１〜Ａ３がアクセント位置を有しているが、アクセント位置の無いアクセント句も存在する。

通常、形態素解析処理にて得られた情報に基づいて、音素情報等、音声合成波形を形成するための各種情報（音源情報）を読み出して、出力することで音声合成が実行可能である。本実施形態では、演奏処理に伴う強拍タイミングに同期して、音声合成処理を実行するため、図５（Ｂ）のような形態素解析処理の完了した情報に対して各種調整を行うこととしている。具体的には、アクセント句の発声タイミングと、アクセント句の音長を調整することとしている。

図２の音声合成処理では、形態素解析処理で得られたアクセント句毎に発生タイミングの算出（Ｓ２０：処理Ａ）と、先行アクセント句との間隔が一定以上でない場合、アクセント句の調整（Ｓ３０：処理Ｂ）を含む調整処理を実行可能としている。図３には、アクセント句の発声タイミングを算出する処理Ａのフロー図が示されている。図５（Ｃ）には、図５（Ｂ）の形態素解析結果について、アクセント句の配置の様子が示されている。図５（Ｃ）中、Ｔ１〜Ｔ５は、拍子情報にて規定される強拍タイミングが示されている。アクセント句Ａ１（「ウデオ」）についてみると、次（この場合、最初）の強拍タイミングＡ＝Ｔ１に設定される。

次に、アクセント句中、アクセント位置より手前にあるモーラの音長の合計値が計算される（Ｓ２２）。アクセント句Ａ１の場合、アクセント位置は２番目のモーラ（「デ」）にあるため、モーラの音長Ｂ＝モーラ（「デ」）の音長となる。強拍タイミングＡと音長Ｂに基づいて、アクセント句の発音タイミングをＡ−Ｂ移動させることで、アクセント句中、アクセント位置に対応するモーラの先頭を、強拍タイミングと同期させることが可能となる。次のアクセント句Ａ２（「オーキクフッテ」）も同様の処理によって、その発声タイミングが決定される。

本実施形態では、アクセント句Ａ１〜Ａ４を順に配置する際、従前に配置されたアクセント句が占めていない強拍タイミング位置を、次の強拍タイミングＡとして使用し、アクセント句を配置することとしている。したがって、アクセント句Ａ２（「オーキクフッテ」）は強拍タイミングＴ２、アクセント句Ａ３（「アシブミ」）は強拍タイミングＴ４、アクセント句Ａ４（「シマショー」）は強拍タイミングＴ５が、次の強拍タイミングＡとして使用される。

このように本実施形態では、アクセント句Ａ１〜Ａ４中、アクセント位置に対応するモーラの発声タイミング（開始位置）を、強拍タイミングと一致させているが、アクセント
句の発声タイミングは、このような形態に限らず、アクセント位置に対応するモーラの発生期間中に、強拍タイミングが位置する、すなわち、アクセント句のアクセント位置に対応するモーラが、強拍タイミングに重なるように配置する形態であれば、聴覚上、拍子リズムにあった音声合成を実現することが可能である。

図５（Ｃ）のアクセント句Ａ２とＡ３の関係をみて分かるように、上述したようにアクセント句のアクセント位置を基準として配置を行った場合、アクセント句間で重なってしまうことが考えられる。このような状態で発声させた場合、聴感上、不自然な音声になるとともに、場合によっては、音声の意味を解釈できない場合も考えられる。本実施形態では、このような状態を解消するため、支障の生じたアクセント句の音長を縮める処理（処理Ｂ）を行うこととしている。

図４には、支障の生じたアクセント句の音長を縮める処理Ｂのフロー図が示されている。本実施形態では、図２で説明したように音声合成処理のフロー図中、先行アクセント句との間隔（時間長）が所定時間長未満の場合、先行アクセント句に対して、この処理Ｂ（Ｓ３０）が実行される。以下、アクセント句の間隔（時間長）が所定時間長未満にあるかどうかを判断する閾値を間隔閾値と称す。この処理では、間隔閾値−先行アクセント句との間隔をＡ、施工アクセント句のモーラ数をＢとパラメータとして、先行アクセント句内の各モーラに対する音長が調整される。各モーラの音長を当初の音長からＡ／Ｂだけ差し引いた音長とする（Ｓ３４）ことで、調整対象となっている先行アクセント句全体の長さを音長Ａだけ短くし、先行アクセント句とアクセント句との間に間隔閾値で規定する時間長を確保することとしている。なお、間隔閾値は、０以上の時間長であれば適宜に設定することが可能である。

図５（Ｄ）は、図５（Ｃ）に示す強拍タイミングに基づいて配置されたアクセント句に対して、処理Ｂを施すことで音長が調整された結果が示されている。この実施形態では、アクセント句Ａ２（「オーキクテオフッテ」）と、アクセント句Ａ３（「アシブミ」）に対して、音長の調整を施したものとなっている。このようなアクセント句、モーラの配置によって決定される音声パラメータに基づいて、音声波形を合成する（図２のＳ１５）ことで、演奏される楽曲のリズムにあった自然な音声合成を行うことを可能としている。本実施形態の音声波形合成処理では、形態素解析処理１２ａ、配置処理１２ｂを経て決定した音声パラメータに基づいて、記憶部１３内の音素情報１３ｂを読み出し、音声波形が形成される。

ところで、形態素解析処理では、アクセント位置の無いアクセント句が発生することがある。図５で説明した例文は、全てのアクセント句にアクセント位置を有する形態であったが、本実施形態の音声合成処理では、アクセント位置の無いアクセント句は、強拍タイミングに同期させて配置することができない。そのため、アクセント位置の無いアクセント句が発生した場合、後続するアクセント句（アクセント位置有り）に接続し、後続するアクセント句のアクセント位置に基づいて、強拍タイミングに同期させることとしている。

図６には、図５で説明した例文の前に、アクセント位置の無いアクセント句Ａ０（「マズワ」）が配置された形態（前方の部分）が示されている。この場合、アクセント句Ａ０を後続するアクセント句Ａ１に接続し、図５の例と同様に、アクセント句Ａ１のアクセント位置を強拍タイミングＴ１に同期させて配置することで、アクセント句の無いアクセント句Ａ０についても配置を可能とするとともに、聴覚上においても違和感の少ない音声合成を実現している。アクセント位置の無いアクセント句の配置は、聴感上、このように後続するアクセント句に接続することが好ましいが、例えば、アクセント位置の無いアクセント句が文末に位置している場合等、後続するアクセント句に接続できない場合には、ア
クセント位置の無いアクセント句を直前のアクセント句に接続することとしてもよい。このように本発明では、アクセント位置の無いアクセント句を隣接（直前または後続）するアクセント句に接続することとしている。

なお、本発明はこれらの実施形態のみに限られるものではなく、それぞれの実施形態の構成を適宜組み合わせて構成した実施形態も本発明の範疇となるものである。

１…情報処理装置 １２ｃ…音声波形合成処理
１０…制御部 １３…記憶部
１１…演奏処理 １３ａ…形態素解析辞書
１２…音声合成処理 １３ｂ…音素情報
１２ａ…形態素解析処理 １４…ミキシング部
１２ｂ…調整処理 １５…スピーカ

Claims (5)

1. テキスト情報に基づく音声合成処理を実行可能な音声合成装置であって、
   前記音声合成処理は、
   テキスト情報を、アクセント句に分割すると共に、各アクセント句内のモーラにアクセント位置を設定する形態素解析処理と、
   アクセント句のアクセント位置に対応するモーラが、入力される拍子情報の強拍タイミングに重なるように配置するとともに、隣接するアクセント句が重ならないようにアクセント句を縮める調整処理と、
   前記調整処理で配置されたアクセント句に基づいて、音声波形を合成する音声波形合成処理と、を実行する
   音声合成装置。
2. 前記調整処理は、隣接するアクセント句間が所定時間以上有するように、アクセント句を配置する
   請求項１に記載の音声合成装置。
3. 前記調整処理は、アクセント位置の無いアクセント句を、隣接するアクセント句に接続して配置する
   請求項１または請求項２に記載の音声合成装置。
4. 楽曲情報に基づく楽曲再生処理と、テキスト情報に基づく音声合成処理とを実行可能な、楽曲再生装置であって、
   前記音声合成処理は、
   テキスト情報を、アクセント句に分割すると共に、各アクセント句内のモーラにアクセント位置を設定する形態素解析処理と、
   アクセント句のアクセント位置に対応するモーラが、前記楽曲再生処理に伴って出力される拍子情報の強拍タイミングに重なるように配置するとともに、隣接するアクセント句が重ならないようにアクセント句を縮める調整処理と、
   前記調整処理で配置されたアクセント句に基づいて、音声波形を合成する音声波形合成処理と、を実行する
   楽曲再生装置。
5. テキスト情報に基づく音声合成処理を情報処理装置に実行させる音声合成プログラムであって、
   前記音声合成処理は、
   入力されたテキストを、アクセント句に分割すると共に、各アクセント句内のモーラにアクセント位置を設定する形態素解析処理と、
   アクセント句のアクセント位置に対応するモーラが、入力される拍子情報の強拍タイミングに重なるように配置するとともに、隣接するアクセント句が重ならないようにアクセント句を縮める調整処理と、
   前記調整処理で配置されたアクセント句に基づいて、音声波形を合成する音声波形合成処理と、を実行する
   音声合成プログラム。

Images