JP3599538B2 - 動画像とテキスト／音声変換器間の同期化システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、映像に音声信号を付加するダビング方法において、動画像の唇の動きにより、動画像とテキスト／音声変換器（Ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ ｃｏｎｖｅｒｓｉｏｎ ｓｙｓｔｅｍ、以下ＴＴＳという）間の同期化を行う技術に関する。
【０００２】
【従来の技術】
一般的に、音声合成器の機能は、コンピュータが使用者である人間に多様な形態の情報を音声で提供することにある。このため、音声合成器は、使用者に与えられたテキストから高品質の音声合成サービスを提供することができなければならない。更に、多重媒体環境において製作されたデータベース、或いは対話相手から提供される多様なメデイアと連動されるため、これらメデイアと同期化されるように合成音を生成することができなければならない。特に、動画像とＴＴＳとの同期化は使用者に高品質のサービスを提供するためには必須的である。
【０００３】
図１は、従来の合成器を説明するための図面であり、入力されたテキストから合成音を生成するまでの一般的な３段階の過程を示したものである。
【０００４】
まず、１段階である言語処理部１では、入力されたテキストを音素列に変換し、この音素列から韻律情報を推定し、これをシンボル化する。韻律情報は、構文構造分析結果を利用した句・節境界、単語内アクセント位置、文型等から推定する。
【０００５】
２段階である韻律処理部２では、シンボル化した韻律情報から規則及びテーブルを利用して韻律制御パラメータの値を計算する。韻律制御パラメータには、音素の持続時間、ピッチ輪郭（ｃｏｎｔｏｕｒ）、エネルギ輪郭、休み区間情報等がある。
【０００６】
３段階の信号処理部３では、合成単位データベース４と韻律制御パラメータとを利用して合成音を生成する。
【０００７】
即ち、既存の合成器では、言語処理部１と韻律処理部２とにおいて、自然性、発声速度と関連した情報を、単に入力テキストだけで推定しなければならないことを意味する。
【０００８】
【発明が解決しようとする課題】
現在、世界的に多くの国において、ＴＴＳに対する研究が自国語を対象として進行しており、一部では商用化されている。しかし、従来の合成器は、入力されたテキストから音声を合成する用途に限られている。このため、多重媒体との連動を考慮した合成方式に対する研究結果は、ほとんど全無といえる。更に、従来のＴＴＳ方式を利用して動画像にダビングするのに、或いはアニメーションのような媒体と合成音間の同期化を具現するのに必要な情報は、テキストから推定することは不可能である。このため、テキスト情報だけで、動く映像信号と自然に連動される合成音を作り出すには多くの困難がある。したがって、動画像と音声信号間の同期化を具現することができる方法は、唇の動き時刻と持続時間情報とを利用して合成音を生成することにより実現することができる。
【０００９】
動画像と合成音との同期化をダビングの概念で観ると、その具現方法には３種がある。
【００１０】
１番目の方法は、文章単位で動画像と合成音とを同期化させる方法である。文章の始まる点から終わる点までの情報を利用して、合成音の持続時間を調節する。この方法は、具現が容易であり付加的努力が最小化される長所があるが、スム−ズな同期化にはおぼつかない。
【００１１】
２番目の方法は、動画像の音声信号と関連する区間において、音素ごとに始まる点・終わる点情報（持続時間情報）とその音素情報とを表記し、この情報を合成音生成に利用する方法である。この方法は、音素単位で、動画像と合成音との同期を合わせることができるため、正確度が高い長所がある。しかし、動画像の音声区間において、音素ごとにその持続時間情報を検出して記録するため、多くの付加的努力を必要とする短所がある。
【００１２】
３番目の方法は、音声の始まる点、終わる点情報（持続時間情報）、唇の開きや閉じあるいは前に出すなどの唇の動きの弁別的特性が高いパターンを基準にして、同期化情報を記録する方法である。この方法は、同期化のための情報製作の付加的努力を最小化しながら同期化効率を高める方法である。
【００１３】
本発明の目的は、動画像における連続的な唇の動きをイベント（ｅｖｅｎｔ）単位に定型化・定規化し、これら情報とＴＴＳ間のインターフェースを定義して、ＴＴＳでの合成音生成に使用することにより、動画像と合成音間の同期化システムを提供することにある。
【００１４】
【課題を解決するための手段】
上記の目的を達成するため、本発明の動画像とテキスト／音声変換器間の同期化システムは、
多重媒体情報の入力を受け付けて各々のデータ構造に変換して媒体別に分配する分配手段と、
上記分配手段により分配された多重媒体情報のうちの映像情報の伝達を受け付ける映像出力手段と、
上記分配手段により分配された多重媒体情報のうちの言語テキストの伝達を受け付ける言語処理手段と、
上記言語処理手段が受け付けた言語テキストを、単語発音辞典と発音変換規則とを用いて音素列に変換し、この音素列を、構文構造情報を利用した韻律制御規則にしたがって、韻律情報である音素別持続時間、ピッチ値およびエネルギ値を推定する韻律処理手段と、
上記韻律処理手段での処理結果である音素列および音素別持続時間にしたがい、音素別調音特性から唇形を推定して時間軸上に配列するとともに、音声と動画像との同期を図るため、これを上記分配手段により分配された多重媒体情報のうちの同期化情報である唇形を時間軸上に配列した結果と比較して、時間軸上で唇形の近似度が最も高い韻律処理結果である音素別持続時間を調整し、、これを上記韻律処理手段の処理結果に包含して伝達する同期調整手段と、
上記同期調整手段の処理結果を受けて、合成に必要なデータを各音素別に合成単位データベースから選択し、これを韻律情報である音素別持続時間、ピッチ値、エネルギ値に合わせて修正した後、合成フィルタを用いて合成音に変換して出力する信号処理手段と、
上記信号処理手段の要求により、合成に必要な合成単位を選定した後、必要なデータを転送する合成単位データベースブロックと、
を備えていることを特徴とする。
【００１５】
【発明の実施の形態】
以下に、本発明の一実施形態について、図２および図３を参照して詳細に説明する。
【００１６】
図２は、本実施形態が適用されたハードウエアの構成図である。ここで、５は多重データ入力装置、６は中央処理装置、７は合成データベース、８はデジタル／アナログ（Ｄ／Ａ）変換装置、９は映像出力装置を示している。
【００１７】
多重データ入力装置５は、動画像、テキスト等の多重媒体で構成されたデータの入力を受け、これを中央処理装置６に出力する。中央処理装置６には、本実施形態のアルゴリズムが搭載されている。合成データベース７は、合成アルゴリズムに使用されるデータベースであり、記憶装置に貯蔵されている。合成データベース７は、上記中央処理装置６に必要なデータを伝送する。デジタル／アナログ変換装置８は、合成が終わったデジタルデータをアナログ信号に変換して外部に出力する。映像出力装置９は、入力された映像情報を画面に出力する。
【００１８】
下記の＜表１＞は、本実施形態に適用される構造化された多重媒体情報の一例を示している。この多重媒体情報は、テキスト、動画像、および同期化情報でなる。さらに、同期化情報は、唇形、動画像内位置情報、および持続時間情報でなる。
【００１９】
ここで、唇形は、下唇の下げ程度、上唇左側終点における上下動き、上唇右側終点における上下動き、下唇左側終点における上下の動き、下唇右側終点における上下動き、上唇中央部分の上下動き、下唇中央部分の上下動き、上唇の突き出し程度、下唇の突き出し程度、唇中央から右側終点までの距離、および唇中央から左側終点までの距離を表すデータに数値化することができる。また、音素の調音位置や調音方法により唇形を定量化、定規化したパターンに定義することもできる。動画像内位置情報は、動画像の場面位置として定義される。また、持続時間情報は同一唇形が持続される間の場面数として定義される。
【００２０】
【表１】

【００２１】
図３は、本実施形態が適用された動画像と韓国語テキスト／音声変換器間の同期化システムの機能構成図である。ここで、１０は多重媒体情報入力部、１１は多重媒体分配器、１２は標準化された言語処理部、１３は韻律処理部、１４は同期調整器、１５は信号処理部、１６は合成単位データベース、１７は映像出力装置を示している。
【００２２】
まず、多重媒体情報入力部１０で受け付ける多重媒体情報は、上記の＜表１＞に示した形式になっており、テキスト、動画像、同期化情報（唇形、動画像内位置情報、持続時間情報）とでなる。
【００２３】
多重媒体分配器１１は、上記多重媒体情報入力部１０から伝達された多重媒体情報を媒体別に分配する。具体的には、動画像を映像出力装置１７に伝達し、テキストを言語処理部１２に伝達し、同期化情報を同期調整器１４で使用できるデータ構造に変換してから上記同期調整器１４に伝達する。
【００２４】
言語処理部１２は、上記多重媒体分配器１１から伝達されたテキストを、図示していないメモリなどに記憶しておいた単語発音辞典および発音変換規則を用いて音素列に変換する。そして、この音素列を、構文構造情報から導かれる韻律制御規則にしたがって、韻律情報である音素別持続時間、ピッチ値、エネルギ値を推定する。すなわち、構文構造分析結果を利用した句・節境界、単語内アクセント位置、文型等の韻律制御規則から韻律情報を推定する。その後、韻律処理部１３に送る。
【００２５】
韻律処理部１３は、上記言語処理部１２の処理結果を受けて、韻律制御パラメータの値を計算する。韻律制御パラメータには、音素の持続時間、ピッチ輪郭、エネルギ輪郭、休み位置および長さがある。更に、ここで計算された結果は、同期調整器１４に伝達される。
【００２６】
同期調整器１４は、上記韻律処理部１３の処理結果を受けて、後述する合成音を動画像と同期させるため、上記多重媒体分配器１１から送られた同期化情報を利用して音素毎にその持続時間を調整する。
【００２７】
ここで、上記音素別持続時間の調整は、先ず、韻律処理部１３での処理結果である音素列および音素の持続時間にしたがい、音素別調音特性（各音素別調音場所、調音方法）から各音素に割り当てられる唇形を推定する。次いで、これを同期化情報に包含された唇形と比較して、音素列を同期化情報に記録された唇形個数だけ小グループに分離する。小グループ内の音素持続時間は、同期化情報に包含されている、当該グループに属する唇形に、最も近似する唇形の持続時間情報を利用して再び計算する。
【００２８】
すなわち、推定した唇形をその音素別持続時間にしたがい時間軸上に配列した結果と、同期化情報に包含される唇形を同期化情報に包含される位置情報や持続時間にしたがい時間軸上に配列した結果と比較して、時間軸上で唇形の近似度が最も高い韻律処理結果である音素別持続時間を調整する。
【００２９】
調整された持続時間情報は、上記韻律処理部１３の結果に包含され、信号処理部１５に伝達される。信号処理部１５は、上記同期調整器１４の処理結果を受け、合成に必要なデータを合成単位データベース１６から選択する。そして、韻律情報に含まれる音素別持続時間、ピッチ値、エネルギ値に合わせて修正した後、図示していない合成フィルタを用いて合成音を生成し出力する。
【００３０】
合成単位データベース１６は、信号処理部１５の要求を受けて、必要な合成単位を選定した後、信号処理部１５に必要なデータを伝送する。
【００３１】
【発明の効果】
以上説明したように、本発明は、実際音声データおよび動画像の唇形を分析し推定される唇形情報と、テキスト情報とを合成音生成に直接利用する方式を通じて、合成音と動画像との同期化を具現することにより、外画等に韓国語などの言語ダビングを可能にする。このように、多重媒体環境において、映像情報とＴＴＳの同期化を可能にすることにより、通信サービス、事務自動化、教育等多くの分野で応用することができる。
【図面の簡単な説明】
【図１】従来のテキスト／音声変換器のブロック構成図である。
【図２】本発明の一実施形態が適用された動画像とテキスト／音声変換器間の同期化装置のハードウエア構成図である。
【図３】本発明の一実施形態が適用された動画像と韓国語テキスト／音声変換器間の同期化装置の機能構成図である。
【符号の説明】
１、１２ 言語処理部
２、１３ 韻律処理部
３、１５ 信号処理部
４、１６ 合成単位データベース
５ データ入力装置
６ 中央処理装置
７ 合成データベース
８ Ｄ／Ａ変換装置
９、１７ 映像出力装置
１０ 多重媒体情報入力部
１１ 多重媒体分配器
１４ 同期調整器

Claims (8)

1. 多重媒体情報の入力を受け付けて各々のデータ構造に変換して媒体別に分配する分配手段と、
   上記分配手段により分配された多重媒体情報のうちの映像情報の伝達を受け付ける映像出力手段と、
   上記分配手段により分配された多重媒体情報のうちのテキストの伝達を受け付け、上記テキストを単語発音辞典と発音変換規則とを用いて音素列に変換し、韻律制御規則にしたがって、音素列と構文構造情報から韻律情報である音素別持続時間、ピッチ値およびエネルギ値を推定する言語処理手段と、
   上記言語処理手段での処理結果である音素別持続時間、ピッチ値およびエネルギ値にしたがい、韻律制御パラメータ値を計算する韻律処理手段と、
   上記韻律処理手段での処理結果である韻律制御パラメータにしたがい、音素別調音特性から唇形を推定して時間軸上に配列するとともに、音声と動画像との同期を図るため、これを上記分配手段により分配された多重媒体情報のうちの同期化情報である唇形を時間軸上に配列した結果と比較して、時間軸上で唇形の近似度が最も高い韻律処理結果である音素別持続時間を調整し、これを上記韻律処理手段の処理結果に包含して伝達する同期調整手段と、
   上記同期調整手段の処理結果を受けて、合成に必要なデータを各音素別に合成単位データベースから選択し、これを韻律情報である音素別持続時間、ピッチ値、エネルギ値に合わせて修正した後、合成フィルタを用いて合成音に変換して出力する信号処理手段と、
   上記信号処理手段の要求により、合成に必要な合成単位を選定した後、必要なデータを転送する合成単位データベースブロックと、を備えていること
   を特徴とする動画像とテキスト／音声変換器間の同期化システム。
2. 請求項１記載の動画像とテキスト／音声変換器間の同期化システムにおいて、
   上記多重媒体情報は、テキストと動画像と同期化情報とで構成され、
   上記同期化情報は、唇形情報と、動画像内の位置情報と、同一唇形の持続時間情報とで構成されること
   を特徴とする動画像とテキスト／音声変換器間の同期化システム。
3. 請求項２記載の動画像とテキスト／音声変換器間の同期化システムにおいて、
   上記唇形情報は、下の唇の下げ程度、上の唇の左側端点における上下の動き、上の唇右側端点における上下の動き、下の唇左側端点における上下の動き、下の唇右側端点における上下の動き、上の唇の中央部分の上下の動き、下の唇の中央部分の上下の動き、上の唇の突き出し程度、下の唇の突き出し程度、唇中央から右側端点までの距離、唇中央から左側端点までの距離について数値化されたデータ、あるいは、音素の調音位置、調音方法によって定量化、定規化されたパターンに定義されていること
   を特徴とする動画像とテキスト／音声変換器間の同期化システム。
4. 請求項１記載の動画像とテキスト／音声変換器間の同期化システムにおいて、
   上記同期調整手段は、同期化情報を利用してテキスト内の音素の調音方法、調音点を考慮した予測唇形と、同期化情報内の唇形および持続時間とによって、テキスト内の音素の持続時間を計算して動画像と合成音を同期化すること
   を特徴とする動画像とテキスト／音声変換器間の同期化システム。
5. 多重媒体情報の入力を受け付けて各々のデータ構造に変換して媒体別に分配する分配手段と、
   前記分配手段により分配された多重媒体情報のうちの映像情報の伝達を受け付ける映像出力手段と、
   前記分配手段により分配された多重媒体情報のうちのテキストを受け付け、前記テキストを音素列に変換し、韻律情報を推定する言語処理手段と、
   前記言語処理手段から前記韻律情報を受け、前記韻律情報にしたがい韻律制御パラメータ値を計算する韻律処理手段と、
   前記韻律処理手段から前記韻律制御パラメータを受け、前記分配手段により分配された多重媒体情報のうちの同期化情報を用いて映像信号との同期を図るため に音素別持続時間を調整し、前記韻律制御パラメータに包含して伝達する同期調整手段と、
   前記同期調整手段の処理結果にしたがって、合成音を生成して出力する信号処理手段と、
   前記信号処理手段の要求により、合成に必要な合成単立を選定した後、必要なデータを転送する合成単立データベースブロックと、を備えていること
   を特徴とする動画像とテキスト／音声変換器間の同期化システム。
6. 請求項５記載の動画像とテキスト／音声変換器間の同期化システムにおいて、 前記多重媒体情報は、テキストと動画像情報と同期化情報とで構成され、
   前記同期化情報は、盾形情報と、動画像内の位置情報と、同一唇形の持続時間情報とで構成されること
   を特徴とする動画像とテキスト／音声変換器間の同期化システム。
7. 請求項６記載の動画像とテキスト／音声変換器間の同期化システムにおいて、 前記唇形情報は、下の唇の下げ程度、上の唇の左側端点における上下の動き、上の唇右側端点における上下の動き、下の唇左側端点における上下の動き、下の唇右側端点における上下の動き、上の唇の中央部分の上下の動き、下の唇の中央部分の上下の動き、上の唇の突き出し程度、下の唇の突き出し程度、唇中央から右側端点までの距離、唇中央から左側端点までの距離について数値化されたデータ、あるいは、音素の調音位置、調音方法によって定量化、定規化されたパターンに定義されていること
   を特徴とする動画像とテキスト／音声変換器間の同期化システム。
8. 請求項５記載の動画像とテキスト／音声変換器間の同期化システムにおいて、 前記同期調整手段は、動画像と同期を合わせるための同期化情報を利用してテキスト内の音素の調音方法、調音点を考慮した予測唇形と、同期化情報内の唇形および持続時間とによって、テキスト内の音素の持続時間を計算して動画像と合成音を同期化すること
   を特徴とする動画像とテキスト／音声変換器間の同期化システム。

Images