JP5044791B2 - 字幕ずれ推定装置、補正装置および再生装置 - Google Patents

Description

本発明は、字幕ずれ推定装置、補正装置および再生装置に関し、特に、高精度で、番組映像に含まれる音声と字幕との間の時間的ずれ幅を推定でき、該時間的ずれを補正でき、特定映像部分を検索して再生できる、字幕ずれ推定装置、補正装置および再生装置に関する。

近年、放送番組の映像に対して字幕を付与することが推奨されており、また、地上波デジタル放送が開始されるに伴って字幕付き放送番組を容易に視聴することが可能となった。これにより字幕付き放送番組が増加する傾向にある。

放送番組を字幕付きのものとする場合、一般的には、出演者の発声を視聴してその内容を文字化し、それを字幕として出力し、映像に付与するという手順が取られる。しかし、出演者の発声の内容を文字化して字幕を作成するのに時間がかかるため、字幕が出力される時刻は、出演者の発声よりも遅延する。

図１５は、この状態を示す。例えば、出演者が「こんにちは。朝のニュースです。・・・」と発声した場合、その発声内容を文字化するの要する時間分だけ遅延して字幕が出力される。

特許文献１には、放送番組における映像と字幕の表示タイミングのずれを解消するため、放送局内で、音声と放送原稿の時間的ずれ幅を推定し、該時間的ずれ幅を基に字幕の出力タイミングを決定する装置が記載されている。

また、近年、映像の検索を行うためのメタ情報として字幕を利用する取り組みも進んでいる。特許文献２には、放送の受信側で音声と字幕の時間的ずれ幅を推定し、字幕のタイムコードを修正し、検索に用いるメタ情報を生成する方法、および同メタ情報を用いて映像の検索を行う装置が記載されている。
特開平１０−１３６２６０号公報 特開２００５−２２９４１３号公報

上記したように、映像と字幕の時間的ずれを補正する方法、および映像と字幕の時間的ずれを補正して検索用メタ情報の精度の向上を図る手法が提案されているが、映像や音声と字幕との間の時間的ずれを補正するに際しては、少ない演算処理量で、かつ精度良く時間的ずれ幅を推定することが要求される。

特許文献１に記載された装置では、放送原稿の冒頭部分に対応する発音記号列を表す音響モデルと音声を照合し、放送原稿と音声の対応を取り、字幕の出力タイミングを補正する。しかし、発声された音声とこの発声の内容を文字化して作成された字幕との対応付けを考えた場合、作成された字幕は、内容的には発声された音声と一致するが、表現上では完全には一致しないため、字幕から生成した発音記号列を表す音響モデルと音声の照合により両者の対応づけを行う事が困難な場合があり、対応付けの精度の面で課題がある。また、字幕と音声の対応付けを行う際に、広範囲に渡って音響モデルと音声の照合処理を行う必要があり、多くの計算処理が必要であるとともに、字幕と類似した音声が複数存在する場合に、両者の対応付けが困難となるという課題がある。

特許文献２には、字幕と音声を対応付けるための具体的手法は記載されていない。音声と字幕の時間的ずれ幅を推定する際、該時間的ずれ幅の範囲を定めて照合する手法が記載されているが、これでは、時間的ずれ幅の範囲を予め一意に与える必要があり、時間的ずれ幅の分布が広範囲に渡ることが予想される場合には、照合に要する計算処理量が多くなり、照合精度も低下するという課題がある。

本発明の目的は、削減された計算処理量で、かつ高精度で、字幕と音声との間の時間的ずれ幅を推定でき、該時間的ずれを補正でき、特定映像部分を検索して再生できる、字幕ずれ推定装置、補正装置および再生装置を提供することにある。

上記課題を解決するため、本発明は、番組映像中の音声を認識する音声認識部と、前記番組映像中の字幕に対応する音素列を生成する字幕変換音素列生成部と、前記音声認識部により認識された音声の音素列と前記字幕音素列生成部により生成された音素列との間の離間を表す距離に基づいて字幕に対応する音声の区間を推定し、音声と字幕との間の時間的ずれ幅を推定する照合部を備えた点に第１の特徴がある。

また、本発明は、前記音声認識部が、認識結果として音素列を送出し、前記字幕変換音素列生成部は、字幕変換音素列を送出し、前記照合部は、前記音声認識部から送出される音素列中の部分音素列と前記字幕変換音素列生成部から送出される字幕変換音素列との間の離間を表す距離を計算し、該距離が最小となる部分音素列に対する音声の区間を字幕に対応する音声の区間と推定し、音声と字幕との間の時間的ずれ幅を推定する点に第２の特徴がある。

また、本発明は、前記音声認識部から送出される音素列中の部分音素列と前記字幕変換音素列生成部から送出される字幕変換音素列との間の離間を表す距離が、音素の挿入、削除、置換によって一方の音素列から他方の音素列へ変換するのに要する手順の最小回数を指標として定義される点に第３の特徴がある。

また、本発明は、前記音声認識部から送出される音素列中の部分音素列と前記字幕変換音素列生成部から送出される字幕変換音素列との間の離間を表す距離が、音素ごとの音声認識性能を元に定められた、ある音素を他の音素に置換する際に要するコスト、ある音素を挿入する際に要するコスト、ある音素を削除する際に要するコストを指標として定義される点に第４の特徴がある。

また、本発明は、さらに、発話速度および字幕生成速度の分布を基に、字幕に対応する音声の時間的ずれ幅の可能範囲を推定する照合範囲推定部を備え、前記照合部は、前記照合範囲推定部により推定された範囲内で字幕に対応する音声の区間を推定する点に第５の特徴がある。

また、本発明は、前記照合範囲推定部が、対象の番組映像に応じて発話速度および字幕生成速度の分布を切り替え、字幕に対応する音声の時間的ずれ幅の可能範囲を推定する点に第６の特徴がある。

また、本発明は、さらに、前記照合部により推定された時間的ずれ幅を基に、発話速度および字幕生成速度の分布を逐次更新する予測用分布推定部を備え、前記照合範囲推定部は、前記予測用分布推定部により更新された発話速度および字幕生成速度の分布を基に、字幕に対応する音声の時間的ずれ幅の可能範囲を推定する点に第７の特徴がある。

また、本発明は、前記予測用分布推定部が、最大事後確率推定法を用いて発話速度および字幕付与速度の分布を推定する点に第８の特徴がある。

また、本発明は、前記照合部が、前記距離に加え、字幕生成速度の分布と前記照合部による照合結果から得られる字幕生成速度とのずれの度合いを用いて、音声と字幕との間の時間的ずれ幅を推定する点に第９の特徴がある。

また、本発明は、互いに異なる発話速度および字幕生成速度の分布を持つ、字幕ずれ推定装置の複数と、該複数の字幕ずれ推定装置が推定した各時間的ずれ幅の中の前記距離が最小となる時間的ずれ幅を決定して出力するずれ幅決定部を備えた点に第１０の特徴がある。

また、本発明は、前記距離が最小となる時間的ずれ幅を出力したずれ幅推定装置が持つ発話速度および字幕生成速度の分布を、ずれ幅決定部で決定された時間的ずれ幅を基に更新する点に第１１の特徴がある。

また、本発明は、字幕ずれ推定装置と、前記字幕ずれ推定装置により推定された音声と字幕との間の時間的ずれ幅に従って、番組映像における字幕と音声との間の時間的ずれを補正するずれ補正部を備えた点に第１２の特徴がある。

また、本発明は、字幕ずれ推定装置と、前記字幕ずれ推定装置により推定された音声と字幕との間の時間的ずれ幅に従って音声および映像との時間的ずれが補正された字幕を保存する字幕保存手段と、入力されたキーワードに合致する部分の映像を、前記字幕保存部に保存された字幕内の文字情報を元に検索する検索手段を備え、前記検索手段により検索された部分の映像を再生する点に第１３の特徴がある。

第１ないし第４の特徴によれば、字幕と関係なく音声を標準パタンを照合して音声認識し、これにより認識された音声の音素列と字幕から生成された字幕変換音素列との間の離間を表す距離に基づいて字幕に対応する音声の区間を推定するので、字幕と実際の音声の情報内容が異なる場合の照合誤りを緩和でき、音声と字幕の対応付けの精度を向上させることができる。したがって、音声と字幕との間の時間的ずれを高精度で推定できる。

また、第５の特徴によれば、字幕の長さに対応する情報に基づいて音声と字幕との間の時間的ずれ幅を推定し、この推定を基に字幕と音声の照合範囲を制限するので、照合に関わる計算処理量を削減でき、かつ時間的ずれ幅の推定精度を向上させることができる。

また、第６の特徴によれば、音声と字幕との間の時間的ずれ幅の分布を番組映像別に保持して切り替えるので、種々の番組映像における音声と字幕との間の時間的ずれ幅を高精度で推定できる。

また、第７および第８の特徴によれば、音声と字幕の照合結果を基に照合範囲を更新するので、音声と字幕の照合範囲を適切に設定できる。

また、第９の特徴によれば、音声と字幕との間の離間を表す距離に加えて、字幕生成速度分布と音声と字幕の照合結果から得られる字幕生成速度とのずれの度合いを考慮して時間的ずれ幅を決定するので、音声内に字幕と類似した部分が複数存在する場合などでも、音声と字幕との間の時間的ずれ幅を精度よく推定できる。

また、第１０および第１１の特徴によれば、互いに異なる発話速度および字幕生成速度の分布を持つ照合範囲推定部を備えた複数の字幕ずれ推定装置を用いるので、例えば、生放送と録画放送が混在する場合など、番組内で音声と字幕との間の時間的ずれ幅の特性が異なる部分が存在する場合でも、該時間的ずれ幅を高精度で推定できる。

さらに、第１２の特徴によれば、番組映像における字幕と音声との間の時間的ずれを高精度で補正でき、第１３の特徴によれば、字幕を手がかりとして特定映像部分を高精度で検索して再生できる。

以下、図面を参照して本発明を説明する。図１は、本発明に係る字幕ずれ補正装置の一実施形態を示すブロック図である。この実施形態の字幕ずれ補正装置は、情報分離部11、ずれ幅推定部12およびずれ補正部13を備える。なお、ここで補正されるのは、情報内容からみた場合の音声と字幕との間の時間的ずれであるが、以下では、単にずれ、あるいはずれ幅と称す。

情報分離部121には、番組映像が入力される。番組映像は、例えば、それぞれのトラックに格納された映像、音声および字幕を含む。情報内容からみて、映像と音声は、時間ずれがなく、字幕は、それらに対して時間遅れをもっている。

情報分離部11は、入力される番組映像から音声と字幕を別々に分離し、ずれ幅推定部12は、情報分離部11で分離された音声と字幕の間のずれ幅を推定する。ずれ幅推定部12については、後で具体的に説明する。

ずれ補正部13は、ずれ幅推定部12で推定された音声と字幕との間のずれ幅に従って、番組映像における映像と音声に対する字幕の出力開始時刻および終了時刻を補正し、情報内容からみて、映像、音声および字幕の間に時間的ずれがない番組映像を出力する。この補正は、映像、音声、字幕をそれぞれ格納している各トラックからの各情報の読み出しタイミングを制御することで実現できる。すなわち、映像と音声に時間的ずれがなく、これらに対して字幕が遅れている場合、字幕の情報が読み出されるタイミングに合わせて映像と音声の情報を読み出すようにすればよい。なお、このタイミング合わせは、各情報の開始時刻、終了時刻あるいは開始時刻と終了時刻の中間の時刻で行うことが可能である。

次に、ずれ幅推定部12に利用できる、音声と字幕との間のずれ幅を推定するための構成について説明する。この構成は、それ自体で音声と字幕との間のずれ幅を推定する装置として有用であるので、以下では、これを字幕ずれ幅推定装置として説明する。

図２は、字幕ずれ推定装置の第１実施形態を示すブロック図である。第１実施形態の字幕ずれ推定装置は、音声に対する認識部21、字幕に対する音素列生成部22および照合部23を備える。

TV放送番組の場合、出演者の映像と共に出演者により発声された音声が取得される。したがって、 情報内容からみて、映像と音声とは時間ずれなく取得されていると考えることができる。これにより取得された音声は、認識部21に入力される。このときの映像に音声の内容を文字化した字幕を付加する場合、文字化により生成された字幕が、音素列生成部22に入力される。情報内容からみて、字幕は、文字化に要する時間分だけ映像や音声より遅延している。

認識部21は、入力される音声を認識処理し、これにより認識された音声の音素列(認識結果音素列)を送出する。一方、音素列生成部22は、字幕から字幕変換音素列を生成する。具体的には、漢字仮名混じり文により記述されている字幕の形態素解析を行い、それを品詞に分割すると共に読みを表す仮名文字列に変換し、さらに、仮名文字から発音記号への変換規則を記載した変換表を参照して、仮名文字列を音素列に変換して字幕変換音素列を生成する。

照合部23は、認識部21から送出される認識結果音素列と音素列生成部22から送出される字幕変換音素列を照合し、両者の間のずれ幅を決定する。

図３は、認識部21の具体的構成例を示すブロック図である。認識部21は、音声検出部31、音響分析部32、音響モデル格納部33、言語モデル格納部34および音声照合部35を備える。この構成は、音声認識で一般的なものである。
音声検出部31は、入力から人声を含む区間の音声を切り出して音響分析部32に送出する。音声検出部31での音声の切り出しには、例えば、入力のパワーの大小に基づく音声検出手法を利用できる。この音声検出手法では、入力のパワーを逐次計算し、入力のパワーが予め定めた閾値を一定時間連続して上回った時点を音声の開始時点と判定し、逆に、入力のパワーが予め定めた閾値を一定時間連続して下回った時点を音声の終了時点と判定する。

音響分析部32は、音声検出部31により切り出された音声の音響分析を行い、MFCCなどの音声の特徴を表す音響特徴量を送出する。

音響モデル格納部33は、日本語音声を構成する単位である音素ごとに用意したHMM等の標準パタンを格納している。この標準パタンを日本語単語・文章を構成する音素列に即して連結することで任意の日本語単語・文章に対応する標準パタンを作成することができる。

言語モデル格納部34は、日本語の単語間、音素間などの接続関係を規定する言語モデルを格納している。この言語モデルには、(1)音節間の接続関係を規定する連続音節認識文法、(2)単語間の接続関係を規定する文法規則、(3)N個の音素の組が連続する確率を規定する統計的言語モデル、(4)N個の単語の組が連続する確率を規定する統計的言語モデル、(5)単語、フレーズスポッティング用文法などがある。

図４は、言語モデルの例を示す図である。同図(a)は、音節間の接続関係を規定する連続音節認識文法であり、これは、子音/b/,/d/,・・・と母音/a/,/i/,・・・の接続関係を規定している。同図(a)は、単語間の接続関係を規定する文法規則であり、これは、/単語1/,/単語2/,・・・の接続関係を規定している。言語モデルについては、例えば、「鹿野ら著：「IT Text 音声認識システム」オーム社」に記載されている。

音声照合部35は、言語モデルに記された接続規則に従って音響モデルを接続して標準パタンを生成すると共に、Viterbiアルゴリズムを用い、音響分析部32から送出される音響特徴量列と標準パタンを照合する。この照合の結果、両者の照合スコアを最大とする音声区間と標準パタンの対応が得られる。すなわち、認識部21での認識結果として、認識結果音素列と共に、標準パタンを構成する各音素に対応する音声区間の開始時刻、終了時刻が取得される。なお、音声照合については「中川聖一ら著：「確率モデルによる音声認識」電子情報通信学会」に記載されている。

図５は、音声照合部35(図３)での照合処理を示す模式図である。同図は、音響分析部32から送出される音響特徴量列が音声照合部35で標準パタンと照合され、これにより照合結果/sh/,/i/,・・・,/u/が得られると共に、各音素に対応する音声区間の開始時刻、終了時刻が取得されることを示している。

以上の一連の処理を、入力の音声の始端から終端まで繰り返し実行し、番組映像全体に渡り音声の各区間がどの音素に対応するかを照合し、それぞれにおける認識結果音素列および各音素に対応する音声区間の開始時刻、終了時刻を取得する。

図６は、音素列生成部22(図２)での字幕変換音素列の生成処理を示す模式図である。音素列生成部22は、漢字仮名混じり文により記述されている字幕文字列の形態素解析を行い、それを品詞に分割すると共に読みを表す仮名文字列に変換し、さらに、仮名文字から発音記号への変換規則を記載した変換表を参照し、仮名文字列を音素列に変換して字幕変換音素列を生成する。

例えば、漢字仮名混じり文により記述されている字幕文字列が「７時のニュースです」の場合、音素列生成部22は、まず、形態素解析により「７」,「時」,「の」,「ニュース」,「です」の各品詞に分割する。次に、これらを、読みを表す仮名文字列「しち」,「じ」,「の」,「にゅーす」,「です」に変換し、さらに、仮名文字から発音記号への変換規則を記載した変換表を参照して、仮名文字列を音素列/sh/ /i/ /ch/ /i/ /j/ /i/ /n/ /o/ /ny/ /uu/ /s/ /u/ /d/ /e/ /s/ /u/に変換する。以上のようにして得られた音素列が字幕変換音素列として音素列生成部22から送出される。

次に、照合部23(図２)での照合処理について説明する。照合部23は、認識部21から送出される認識結果音素列と音素列生成部22から送出される字幕変換音素列を照合し、両者の間の離間の程度を表す距離を算出する。この距離としては、音素の挿入や削除、置換によって１つの音素列を別の音素列に変換するために必要な手順の最小回数として定義される編集距離を用いることができる。

例えば、“/sh/ /i/ /n/ /k/ /a/ /i/”を“/t/ /o/ /k/ /a/ /i/”に変形する場合、以下に示すように、最低３回の手順が必要とされるので、この場合の編集距離は３となる。
1. /sh/ /i/ /n/ /k/ /a/ /i/
2. /t/ /i/ /n/ /k/ /a/ /i/ （“/sh/”を“/t/”に置換）
3. /t/ /o/ /n/ /k/ /a/ /i/ （“/i/”を“/o/”に置換）
4. /t/ /o/ /k/ /a/ /i/ （“/n/”を削除して終了）

編集距離は、認識結果音素列に含まれる全ての部分音素列と字幕変換音素列との間で計算する必要があるが、動的計画法によるアルゴリズムを用いれば高速に計算することができる。これにより算出された編集距離を基に、字幕変換音素列との編集距離が最小となる部分音素列を求め、その開始時刻、終了時刻をそれぞれ、字幕に対応する音声の区間の開始時刻、終了時刻とする。

照合部23は、このようにして得られた音声と字幕の対応関係を元に、字幕の出力開始時刻と音声の開始時刻との間のずれ幅、または字幕の出力終了時刻と音声の終了時刻との間のずれ幅を算出する。

なお、１つの音素列を別の音素列に変換するために必要な手順の最小回数で定義される編集距離に代えて、音素ごとの音声認識性能(音素間の間違いやすさなど)を元に、ある音素Ａを他の音素Ｂに置換する際に要するコスト、ある音素Ａを挿入する際に要するコスト、ある音素Ａを削除する際のコストを個別に定め、これらのコストを元に、音素列の間の離間の程度を表す距離を定義することも可能である。例えば、音素/b/と音素/p/は、間違いやすいので、コストおよび距離は小とされる。

図７は、音声と字幕の対応関係を元に算出される、字幕の出力開始時刻と音声の開始時刻との間のずれ幅(ずれ幅１)、字幕の出力終了時刻と音声の終了時刻との間のずれ幅(ずれ幅２)を示す。照合部23は、認識結果音素列と字幕変換音素列との間のずれ幅として、ずれ幅１またはずれ幅２を出力する。

図８は、字幕ずれ推定装置の第２実施形態を示すブロック図である。第２実施形態は、音声と字幕の間のずれ幅の範囲を推定し、この推定を元に字幕に対する音声の照合範囲を制限する機能を持たせ、これにより少ない計算量でずれ幅の検出を可能としたものである。

第２実施形態の字幕ずれ推定装置は、認識部81、音素列生成部82、照合部83、基準ずれ幅格納部84および照合範囲推定部85を備える。

照合範囲推定部85は、基準ずれ幅格納部84に格納された基準ずれ幅と音素列生成部82からの字幕変換音素列から、字幕に対する音声のずれ幅の範囲を推定し、このずれ幅の範囲から照合範囲を推定して認識部81に送出する。

照合範囲推定部85での照合範囲の推定には、ずれ幅検出の対象となる各字幕を変換して得られる字幕変換音素列のモーラ数を基準に定めた発話速度と字幕生成速度を利用することができる。

ここで、発話速度は、字幕変換音素列のモーラ数と字幕に対応する音声の区間長を用いて式(1)により推定できる。また、字幕生成速度は、字幕変換音素列のモーラ数と、字幕の出力開始時刻と音声の開始時刻のずれ幅または字幕の出力終了時刻と音声の終了時刻のずれ幅から式(2)により推定できる。

字幕ずれ推定を行うに際し、事前に大量の番組映像の字幕と音声について式(1),(2)に従って発話速度と字幕生成速度を算出してその分布を求め、基準ずれ幅格納部84に格納しておく。この分布が正規分布である場合には該正規分布を表すパラメータ(平均μ,分散σ)を格納しておけばよい。

照合範囲推定部85での照合範囲の推定では、対象の字幕を字幕変換音素列に変換し、そのモーラ数を算出した後、上記発話速度の分布(平均μs,分散σs)と字幕生成速度の分布(平均μc,分散σc)から式(3),(4)より照合範囲の開始時刻と終了時刻を算出し、この区間を字幕に対する音声の照合範囲と推定する。

ここで、λは、照合範囲の前後に持たせるマージンの大小を制御するパラメータであり、予め適切な値を設定しておく。

認識部81は、照合範囲推定部85から送出される照合範囲に制限して、第１実施形態と同様に、入力の音声を認識処理し、その認識結果音素列を照合部83に送出する。なお、認識部81による認識結果音素列のうち、照合範囲推定部85から送出される照合範囲の認識結果音素列を抽出して照合部83に送出するようにしてもよい

照合部83は、第１実施形態と同様に、認識部81から送出される認識結果音素列中から音素列生成部82から送出される字幕変換音素列に最も適合する区間を求め、両者の間のずれ幅を決定する。

図９および図１０は、字幕に対する音声の照合範囲を制限する場合の異なる例を示す説明図である。図９は、認識される音声の区間を考慮せず、上記のようにして算出された照合範囲の開始時刻と終了時刻の区間内の発声を対象として、入力の音声を認識処理し、認識結果音素列中から字幕変換音素列に最も適合する区間を求める場合の例である。また、図１０は、認識される音声の区間を考慮し、上記のようにして算出された照合範囲の開始時刻と終了時刻の区間に一部でも含まれる一連の発声を対象として、入力の音声を認識処理し、認識結果音素列中から字幕変換音素列に最も適合する区間を求める場合の例である。本発明は、いずれの場合であってもよい。

図１１は、字幕ずれ推定装置の第３実施形態を示すブロック図である。第３実施形態は、第２実施形態に、さらに照合範囲の推定に用いる発話速度と字幕生成速度の分布を、各字幕に対する音声のずれ幅が得られるごとに更新する機能を持たせたものである。これにより第２実施形態より高い精度で発話速度と字幕生成速度の分布を予測し、照合範囲の推定精度を高め、より少ない計算量でずれ幅を高精度に推定することを可能としている。

第３実施形態の字幕ずれ推定装置は、認識部111、音素列生成部112、照合部113、基準ずれ幅格納部114、照合範囲推定部115、ずれ幅統計量算出部116および予測分布推定部117を備える。

ここでは、まず、第２実施形態と同様に、字幕ずれの推定に際し、事前に大量の番組映像に基づき発話速度と字幕生成速度の分布を推定し、それを基準ずれ幅格納部114に格納しておく。

ずれ幅統計量算出部116は、照合部113から各字幕に対する音声のずれ幅が出力されるごとに発話速度と字幕生成速度を算出し、発話速度と字幕生成速度の分布を逐次更新する。

予測分布推定部117は、基準ずれ幅格納部114、ずれ幅統計量算出部116から得られる発話速度と字幕生成速度の分布を基に、最大事後確率推定法により照合範囲の推定に用いる両者の分布を新たに推定する。

この時、推定に用いる分布(平均μ,分散σ)は、基準ずれ幅格納部114から得られる分布(平均μb,分散σb)、ずれ幅統計量算出部116から得られる分布(平均μa,分散σa)から式(5),(6)により算出できる。

ここで、Naは、ずれ幅統計量算出部116で分布の算出に用いられた字幕数、τは、学習の速度を制御するために予め与えるパラメータである。

その後、上記発話速度と字幕生成速度の分布を基に、第２実施形態と同様に、照合範囲推定から字幕のずれ幅の算出に至る一連の処理を行ってずれ幅を推定する。

第２あるいは第３実施形態において、基準ずれ幅格納部84(114)に複数種類の分布を格納しておき、対象とする番組映像に応じて使用する分布を変更する機能を付加してもよい。これによれば、種々の番組映像を対象として高精度に字幕ずれを推定できる。

図１２は、字幕ずれ推定装置の第４実施形態を示すブロック図である。第４実施形態は、第３実施形態の変形であり、認識結果音素列中から字幕変換音素列に最も近い部分音素列を求める際に、編集距離に加えて、字幕生成速度の分布と照合結果から得られる字幕生成速度とのずれの度合いを示す値を用いるようにしたものである。

第４実施形態の字幕ずれ推定装置は、第３実施形態と同様に、認識部121、音素列生成部122、照合部123、基準ずれ幅格納部124、照合範囲推定部125、ずれ幅統計量算出部126および予測分布推定部127を備えるが、予測用分布推定部127から照合部123に字幕生成速度の分布のパラメータ(平均μ,分散σ)を送出する機能を追加している点で第３実施形態と異なっている。

照合部123は、第１実施形態に関して説明した編集距離に代えて、式(7)で算出される、認識結果音素列と字幕変換音素列との間の離間を表す距離を基に、認識結果音素列中から字幕変換音素列に最も近い部分音素列を求める。

ここで、Ｓは、式(8)で計算される字幕生成速度を表す。また、λは、距離に占める、編集距離と字幕生成速度に基づく距離との比率を制御する０〜１の範囲の定数であり、予め定められるものである。

なお、第１実施形態と同様に、編集距離に代えて、音素毎の音声認識性能(音素間の間違いやすさなど)を元に、ある音素Ａを他の音素Ｂに置換する際に要するコスト、ある音素Ａを挿入する際に要するコスト、ある音素Ａを削除する際のコストを個別に定め、これらのコストを元に、音素列の間の離間の程度を表す距離を用いることも可能である。

図１３は、字幕ずれ推定装置の第５実施形態を示すブロック図である。第５実施形態の字幕ずれ推定装置は、情報分離部131、ずれ幅推定部132-1,132-2,・・・,132-N、ずれ幅決定部133を備える。ずれ幅推定部132-1,132-2,・・・,132-Nは、上記第１〜第４実施形態の字幕ずれ推定装置のいずれかと同じ構成であるが、基準ずれ幅の分布(μ,σ)が互いに異なっている。

このように、基準ずれ幅の分布が互いに異なるずれ幅推定部132-1,132-2,・・・,132-Nを複数個用意し、各ずれ幅推定部で、各字幕音素列に最も近い認識結果音素列および両者の間の離間を表す距離を算出する。ずれ幅決定部133は、ずれ幅推定部132-1,132-2,・・・,132-Nが送出する推定結果(ずれ幅)の中で、最も両者の距離が近い推定結果を選択し、これを字幕に対する音声のずれ幅と決定する。

図１４は、字幕ずれ推定装置の第６実施形態を示すブロック図である。第６実施形態の字幕ずれ推定装置は、第５実施形態と同様に、情報分離部141、ずれ幅推定部142-1,142-2,・・・,142-N、ずれ幅決定部143を備えるが、照合範囲の推定に用いるずれ幅の分布を更新する点で第５実施形態と異なっている。

基準ずれ幅の分布が互いに異なるずれ幅推定部142-1,142-2,・・・,142-Nは、各字幕音素列に最も近い認識結果音素列および両者の間の離間を表す距離を算出する。

ずれ幅決定部143は、ずれ幅推定部142-1,142-2,・・・,142-Nが送出する推定結果(ずれ幅)の中で、最も距離が近い推定結果を選択し、これを字幕に対する音声のずれ幅と決定する。また、ずれ幅決定部143は、最も距離が近い推定結果を送出したずれ幅推定部に対し、決定されたずれ幅を基に発話速度と字幕生成速度の分布を更新する旨の指示を与える。この指示を受けたずれ幅決定部は、照合範囲の推定に用いる発話速度と字幕生成速度の分布を更新する。発話速度と字幕生成速度の分布を更新する手順は、第３実施形態(図１１)に関して説明した手順と同様である。

以上、実施形態を説明したが、本発明は、上記実施形態に限定されず、種々に変形されたものも含む。例えば、第２実施形態の字幕ずれ推定装置(図８)において、照合部83で認識結果音素列中から字幕変換音素列に最も近い部分音素列を求める際に、編集距離に加えて、基準ずれ幅格納部84に格納された発話速度と字幕生成速度の分布を利用するようにすることもできる。

また、本発明は、番組映像における特定映像部分や音声部分を検索して再生する再生装置としても実現できる。例えば、上記実施形態のいずれかの字幕ずれ推定装置により推定された音声と字幕との間のずれ幅に従って音声および映像との時間ずれが補正された字幕を保存しておき、この保存されている字幕内の文字を利用して、入力されたキーワードに合致する映像部分や音声部分を検索して再生できる。この場合、情報内容からみて、字幕と映像や音声との間の時間ずれは補正されているので、字幕内の文字から所望の映像部分や音声部分を検索して再生できる。

本発明に係る字幕ずれ補正装置の一実施形態を示すブロック図である。 字幕ずれ推定装置の第１実施形態を示すブロック図である。 認識部の具体的構成例を示すブロック図である。 言語モデルの例を示す図である。 音声照合部での照合処理を示す模式図である。 音素列生成部での音素列生成処理を示す模式図である。 音声と字幕の対応関係を元に算出される両者の時間的ずれ幅を示す図である。 字幕ずれ推定装置の第２実施形態を示すブロック図である。 字幕に対する音声の照合範囲を制限する場合の一例を示す説明図である。 字幕に対する音声の照合範囲を制限する場合の他の例を示す説明図である。 字幕ずれ推定装置の第３実施形態を示すブロック図である。 字幕ずれ推定装置の第４実施形態を示すブロック図である。 字幕ずれ推定装置の第５実施形態を示すブロック図である。 字幕ずれ推定装置の第６実施形態を示すブロック図である。 出演者の発声と字幕の出力との時間関係を示す説明図である。

符号の説明

11,131,141・・・情報分離部、12,132-1〜132-N,142-1〜142-N・・・ずれ幅推定部、13・・・ずれ補正部、21,81,111,121・・・認識部、22,82,112,122・・・音素列生成部、23,83,113,123・・・照合部、31・・・音声検出部、32・・・音響分析部、33・・・音響モデル格納部、34・・・言語モデル格納部、35・・・音声照合部、84,114,124・・・基準ずれ幅格納部、85,115,124・・・照合範囲推定部、116,126・・・ずれ幅統計量算出部、117,127・・・予測分布推定部、133,143・・・ずれ幅決定部

Claims (13)

1. 番組映像中の音声を認識する音声認識部と、
   前記番組映像中の字幕に対応する音素列を生成する字幕変換音素列生成部と、
   前記音声認識部により認識された音声の音素列と前記字幕音素列生成部により生成された音素列との間の離間を表す距離に基づいて字幕に対応する音声の区間を推定し、音声と字幕との間の時間的ずれ幅を推定する照合部を備えたことを特徴とする字幕ずれ推定装置。
2. 前記音声認識部は、認識結果として音素列を送出し、
   前記字幕変換音素列生成部は、字幕変換音素列を送出し、
   前記照合部は、前記音声認識部から送出される音素列中の部分音素列と前記字幕変換音素列生成部から送出される字幕変換音素列との間の離間を表す距離を計算し、該距離が最小となる部分音素列に対する音声の区間を字幕に対応する音声の区間と推定し、音声と字幕との間の時間的ずれ幅を推定することを特徴とする請求項１に記載の字幕ずれ推定装置。
3. 前記音声認識部から送出される音素列中の部分音素列と前記字幕変換音素列生成部から送出される字幕変換音素列との間の離間を表す距離は、音素の挿入、削除、置換によって一方の音素列から他方の音素列へ変換するのに要する手順の最小回数を指標として定義されることを特徴とする請求項２に記載の字幕ずれ推定装置。
4. 前記音声認識部から送出される音素列中の部分音素列と前記字幕変換音素列生成部から送出される字幕変換音素列との間の離間を表す距離は、音素ごとの音声認識性能を元に定められた、ある音素を他の音素に置換する際に要するコスト、ある音素を挿入する際に要するコスト、ある音素を削除する際に要するコストを指標として定義されることを特徴とする請求項２に記載の字幕ずれ推定装置。
5. さらに、発話速度の分布および字幕生成速度の分布を基に、字幕に対応する音声の時間的ずれ幅の可能範囲を推定する照合範囲推定部を備え、
   前記照合部は、前記照合範囲推定部により推定された範囲内で字幕に対応する音声の区間を推定することを特徴とする請求項１ないし４のいずれかに記載の字幕ずれ推定装置。
6. 前記照合範囲推定部は、対象の番組映像に応じて発話速度および字幕生成速度の分布を切り替え、字幕に対応する音声の時間的ずれ幅の可能範囲を推定することを特徴とする請求項５に記載の字幕ずれ推定装置。
7. さらに、前記照合部により推定された時間的ずれ幅を基に、発話速度および字幕生成速度の分布を逐次更新する予測用分布推定部を備え、
   前記照合範囲推定部は、前記予測用分布推定部により更新された発話速度および字幕生成速度の分布を基に、字幕に対応する音声の時間的ずれ幅の可能範囲を推定することを特徴とする請求項５または６に記載の字幕ずれ推定装置。
8. 前記予測用分布推定部は、最大事後確率推定法を用いて発話速度および字幕付与速度の分布を推定することを特徴とする請求項７に記載の字幕ずれ推定装置。
9. 前記照合部は、前記距離に加え、字幕生成速度の分布と前記照合部による照合結果から得られる字幕生成速度とのずれの度合いを用いて、音声と字幕との間の時間的ずれ幅を推定することを特徴とする請求項５ないし８のいずれかに記載の字幕ずれ推定装置。
10. 互いに異なる発話速度および字幕生成速度の分布を持つ、請求項５ないし９のいずれかの字幕ずれ推定装置の複数と、該複数の字幕ずれ推定装置が推定した各時間的ずれ幅の中の前記距離が最小となる時間的ずれ幅を決定して出力するずれ幅決定部を備えたことを特徴とする映像字幕ずれ推定装置。
11. 前記距離が最小となる時間的ずれ幅を出力したずれ幅推定装置が持つ発話速度および字幕生成速度の分布を、ずれ幅決定部で決定された時間的ずれ幅を基に更新することを特徴とする請求項１０に記載の映像字幕ずれ推定装置。
12. 請求項１ないし１１のいずれかに記載された字幕ずれ推定装置と、
    前記字幕ずれ推定装置により推定された音声と字幕との間の時間的ずれ幅に従って、番組映像における字幕と音声との間の時間的ずれを補正するずれ補正部を備えたことを特徴とする字幕ずれ補正装置。
13. 請求項１ないし１１のいずれかに記載された字幕ずれ推定装置と、
    前記字幕ずれ推定装置により推定された音声と字幕との間の時間的ずれ幅に従って音声および映像との時間的ずれが補正された字幕を保存する字幕保存手段と、
    入力されたキーワードに合致する部分の映像を、前記字幕保存部に保存された字幕内の文字情報を元に検索する検索手段を備え、
    前記検索手段により検索された部分の映像を再生することを特徴とする再生装置。

Images