JP3980988B2

JP3980988B2 - Voice generation section search method, voice generation section search apparatus, program thereof, and recording medium for the program

Info

Publication number: JP3980988B2
Application number: JP2002312074A
Authority: JP
Inventors: 秀信長田; 尚子小杉
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2002-10-28
Filing date: 2002-10-28
Publication date: 2007-09-26
Anticipated expiration: 2022-10-28
Also published as: JP2004145161A

Description

【０００１】
【発明の属する技術分野】
本発明は，話者認識等に用いる音声データベース登録，音声発生源認識，音声発生区間検索の技術に関し，特に，例えば放送用の番組などの撮影ならびに収録された映像（以下，映像音声という）に対し，その映像音声中の話者情報を，収録開始からの時間情報とともに，自動的に記録媒体へと記録し，その記録された話者情報をもとに，映像中における特定話者の発話した時間帯を検索するような場合に用いられる技術に関するものである。
【０００２】
【従来の技術】
映像音声中における特定話者の発話区間を検索（以下，発話区間検索という）する場合，一般に，話者の判断に検索しようとする話者の音声を事前登録したもの（以下，登録話者音声という）を用いる方法がある（例えば，非特許文献１参照）。
【０００３】
通常，登録話者音声には所望の話者が単独で発話する音声（以下，これを単独話者音声という）を３０〜１２０秒ほど用い，それから符号帳を作成する。発話区間検索の際にはこの符号帳を用い，番組の先頭から逐次音声特徴量を抽出して符号帳と照らし合わせるなどの処理により，所望の話者の発話区間を検出する。これによって，例えば，話者Ａが発話した時間は番組開始から数えてＴ₀秒からＴ₁秒まで，話者Ｂの発話した時間はＴ₂秒からＴ₃秒まで，というような結果を得ることができる。
【０００４】
一般に，テレビ番組などでは同時に発話する話者がいて，話者が必ずしも一人とは限らず，上記の例でＴ₀＜Ｔ₂＜Ｔ₁＜Ｔ₃となる場合がある。このとき，Ｔ₂〜Ｔ₁区間では複数の話者（この場合は話者Ａと話者Ｂ）が同時に発話していることになり，この部分を単独話者音声から作成された符号帳を用いて正しく検索することが難しいのが現状である。
【０００５】
例えば，前述のケース（Ｔ₀＜Ｔ₂＜Ｔ₁＜Ｔ₃となるケース）では，本来なら話者Ａの発話時間はＴ₀〜Ｔ₁であるにもかかわらず，Ｔ₂〜Ｔ₁の区間が正確に検出できず，発話区間検索による結果において，話者Ａの発話区間がＴ₀〜Ｔ₂（Ｔ₂＜Ｔ₁）と検出されるなどの誤った結果を得ることがある。また，話者Ａの会話と同時に音楽が挿入されている場合にも，話者Ａの発話区間を誤って検出することがある。
【０００６】
さらに，発話は有音部だけではない（文章の切れ目がある）ため，符号帳には無音部分の特徴が反映され，このことが原因で，微小時間単位でのベクトル同士の距離のみを用いて話者を判断すると，誤りが生じる場合がある。
【０００７】
例えば，ある区間の特徴ベクトルが，話者Ｂの符号帳における特徴ベクトルのうちの一つに最も距離が近かったとする。しかし，実際にはこの区間の話者はＡであり，たまたま検索キーとなったベクトルが，話者Ｂの符号帳を作る際に登録されていた一部の無音区間の特徴を反映した特徴ベクトルとの距離が最も近かった，というようなケースである。このような場合には，単純にある時間における映像音声の特徴ベクトルをキーとしてデータベース検索を行うだけでは不十分である。
【０００８】
このように，多くのバリエーションを持つ一般的なテレビ番組等の映像音声を対象にして従来方式に基づいて話者の発話区間検索を行う場合には，一般に，その精度が著しく低下してしまう。
【０００９】
【非特許文献１】
F.K. Soong et al.,"A vector quantization approach to speaker recognition,"Proc.ICASSP,pp.387-390
【００１０】
【発明が解決しようとする課題】
以上のように，従来の単独話者音声のみから符号帳を作成する方法では，複数の話者が同時に発話する部分を含むような一般的な映像音声から正確に所望の話者の発話区間を得ることは難しい。また，長時間の映像中から複数の話者が同時に発話する部位を手作業で探し出して，それを登録話者音声として用いる方法も考えられるが，この方法は極めて非効率的であり実用化が困難である。
【００１１】
本発明は，このような問題点の解決を図り，映像音声中に複数話者が同時に発話する部分があっても，精度良く話者検索を行うことができるようにすることを目的とする。
【００１２】
【課題を解決するための手段】
本発明は，人間の発声に限らず，鳥，虫などの動物の鳴き声や，機械音についての音声発生源の認識，音声発生区間の検索に用いることができるが，以下の説明では，主として人間の話者認識，話者の発話区間の検索を例に説明する。
【００１３】
図１は，本発明の概要を説明するための図である。
【００１４】
通常，音声信号の特徴量を学習データとして登録する際には，図１（Ａ）に示すように，各話者の音声Ａ，Ｂの特徴を個別に音声データベース１に格納するのが普通である。検索段階では，入力音声がＡ，Ｂに対してどのくらい類似するのか，またその時間変化はどうかなどの計算を行い，最終的に入力音声が登録音声のどれに合致するのかを決定する。
【００１５】
しかし，検索対象の入力音声に，音声Ａと音声Ｂとが混じっているようなケースでは，音声データベース１に適切な学習データがないため，うまく検索結果を得ることが難しい。音声Ａ，Ｂが混ざったＡ＋Ｂというような音声が入力された場合，通常では入力音声に対する検索結果を時間的，確率的に処理して，ＡかＢか，あるいはそうでないかを判断する。したがって，精度の良い検索はできない。一方，音声Ａと音声Ｂとが混じっているものを予め学習データとして録音することは，手間がかかるし，不可能な場合がある。
【００１６】
そこで，本発明では，図１（Ｂ）に示すように，予め用意された学習音声信号を任意の組合せで合算し，その特徴も音声データベース１に再帰的に登録する。すなわち，音声Ａ，音声Ｂの特徴を音声データベース１に登録するだけでなく，仮想的にＡ＋Ｂという音声を一時的に作り，その特徴も音声データベース１に登録する。これによって，音声Ａと音声Ｂとが混じっている場合にも，音声Ａ，音声Ｂについて検索することが可能になる。
【００１７】
図２に，本発明に係る装置の構成図を示す。発話区間検索装置１０は，話者情報登録手段１１と，音声信号組合せ手段１２と，音声特徴量抽出手段１３と，特徴量格納手段１４と，話者検索手段１５と，話者検索結果処理手段１６と，発話区間情報表示手段１７とを備える。
【００１８】
ここで，テレビ番組などの映像を映像音声と呼び，映像音声を任意の時間ごとに時系列的に区切ったものの一つを短区間映像音声と呼び，時系列的に連続した短区間映像音声を複数個ずつひとまとまりにしたものの一つを中短区間映像音声と呼ぶことにする。
【００１９】
話者情報登録手段１１は，映像音声から任意の箇所を切り出して，登録話者音声の候補として利用者に提示する。例えば，番組から不特定の話者音声を自動的に一定時間，複数個切り出して利用者に提示する。利用者は，提示された複数の候補から登録話者音声として用いるものを判断し，用いると判断されたものに関しては話者名などの付加的な情報を書き加える。
【００２０】
音声信号組合せ手段１２は，利用者が登録話者音声として選択した複数個の単独話者音声の音声信号を任意の組合せで足し合わせたものを作成し，それを登録話者音声に加える。すなわち，複数の話者が同時に発話している音声や，音声のバックに音楽が流れているような音声を仮想的に生成し，登録話者音声に加える。
【００２１】
音声特徴量抽出手段１３は，すべての登録話者音声から，個別に音声特徴量を抽出する。音声特徴量の抽出では，音声信号から線形予測法などに代表される一般的な信号処理方法を用いることができる。
【００２２】
特徴量格納手段１４は，音声特徴量抽出手段１３によって抽出された話者の音声特徴量を，話者名などの話者情報とともに音声データベース１に格納する。
【００２３】
話者検索手段１５は，発話区間検索の検索対象とする映像音声を入力し，映像音声を短区間に区切り，そのそれぞの短区間映像音声から抽出された音声特徴量と音声データベース１に格納された音声特徴量とを時間順に比較し，それらの類似度を算出し，最も類似度の高い結果を返す。
【００２４】
話者検索結果処理手段１６は，上記の類似度計算によって得られた短区間映像音声の話者検索結果を時系列的に連続した複数個ごとに集計し，検索結果名ごとに現れる回数をリストにしたものを出力する。すなわち，映像音声の全時間領域にわたって，話者検索手段１５により得られた結果を，中短区間映像音声ごとに集計し，出現した回数をもとに，所望の話者の発話区間を割り出す。
【００２５】
発話区間情報表示手段１７は，上記の出力に基づき，所望の話者が発話した時間帯情報を番組の先頭からの時間とともに端末画面に表示する。または，ある指定された時間における発話者情報を，その時間の映像とともに端末画面に表示する。
【００２６】
図２に示す発話区間検索装置１０の動作は，以下のとおりである。話者音声登録フェーズでは，話者情報登録手段１１によって入力された話者の音声を音声信号組合せ手段１２によって任意に組合せ，組み合わせた音声と組み合わされる前の音声との両方から，音声特徴量抽出手段１３によって特徴量を抽出し，それらを特徴量格納手段１４によって音声データベース１に格納する。次に，話者検索フェーズでは，検索対象となる映像音声から音声特徴量抽出手段１３によって特徴量を抽出し，抽出された特徴量を検索キーとして，話者検索手段１５により類似度に基づいて検索を行う。次に，発話区間決定フェーズでは，得られた検索結果から話者検索結果処理手段１６により，検索結果として得られた回数をもとに所望の話者の発話区間を割り出す。話者情報表示フェーズでは，発話区間情報表示手段１７によりあらかじめ登録された付加的な話者情報とともに端末画面に表示する。
【００２７】
以上のような手段により，本発明では，利用者があらかじめ発話区間検索装置１０によって提示されたいくつかの単独話者音声を選んで登録話者音声とするだけで，自動的に複数話者の同時発話の音声や音楽挿入部分の発話音声が作られ，これらが登録話者音声として追加される。
【００２８】
また，利用者が登録話者音声を選ぶ際に，人物名やその他の付加情報を入力することができ，利用者の入力した情報と登録話者音声との関連付けが自動的になされる。また，本発明の発話区間検索装置１０によって，自動的に番組の全区間に渡る音声特徴量が逐次算出され，あらかじめ格納された登録話者音声の音声特徴量との類似度が算出され，ある閾値以上を示した音声について登録話者の音声であると判断する。また，番組全時間に渡って得られた短区間映像音声についての話者検索結果を中短区間ごとに集計し，所望の話者の発話区間を決定する。
【００２９】
図２に示す話者情報登録手段１１と，音声信号組合せ手段１２と，音声特徴量抽出手段１３と，特徴量格納手段１４とによって，本発明に係る音声データベース登録処理装置を構成することができる。
【００３０】
また，図２に示す話者情報登録手段１１と，音声信号組合せ手段１２と，音声特徴量抽出手段１３と，特徴量格納手段１４と，話者検索手段１５とによって，本発明に係る音声発生源認識装置を構成することができる。
【００３１】
以上の各手段は，ＣＰＵおよびメモリなどからなるコンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムは，コンピュータが読みとり可能な可搬媒体メモリ，半導体メモリ，ハードディスク等の適当な記録媒体に格納することができる。
【００３２】
本発明と従来技術との違いは，以下のとおりである。従来の話者認識技術では，音声情報をデータベースに登録する際に，通常，検索したい音声（人の音声，あるいは機械音など）を単独登録し，入力音声がそれと一致するかどうかを判断していた。これに対し，本発明は，音声を単独登録するだけでなく，複数の音声を信号レベルで任意の重みで合成し，その特徴量を再帰的にデータベースに登録する。この点が従来技術と異なる点である。
【００３３】
また，音声発生区間を検索する場合，従来技術では，一般的に検索結果の類似度を集計するなどして尤度を求めるが，本発明では，候補として並ぶ検索結果を一定時間集計し，頻出する結果を抽出する。このように出現回数で判断することにより，周囲環境音などが不規則に混入するような場合においても，目的とする音声発生区間を正しく検索することが可能になる。
【００３４】
【発明の実施の形態】
以下，本発明の実施の形態を図を用いて説明する。
【００３５】
〔実施の形態１〕
図３は，本発明の実施の形態１における発話区間検索装置の構成例を示す図である。本実施の形態１における発話区間検索装置１０は，ＣＰＵおよびメモリ等からなるコンピュータであり，ソフトウェアプログラムおよび記憶装置等によって構成される入力部１０１，候補映像音声提示部１０２，登録用音声合成部１０３，特徴量抽出部１０４，特徴量格納部１０５，映像音声切り出し部１０６，検索部１０７，検索結果処理部１０８，話者情報格納部１０９，表示部１１０を備えている。また，本実施の形態１における発話区間検索装置１０には，端末表示装置２０が接続されている。
【００３６】
発話区間検索装置１０の動作は，〈話者音声登録フェーズ〉，〈話者検索フェーズ〉，〈発話区間決定フェーズ〉，〈話者情報表示フェーズ〉に分けることができる。以下，発話区間検索装置１０の各フェーズの動作について，フローチャートを用いて説明する。
【００３７】
〈話者音声登録フェーズ〉
図４は，本実施の形態１における話者音声登録フェーズの動作を説明するフローチャートである。はじめに，入力部１０１は，検索対象となる映像音声を入力し（ステップＳ１０），候補映像音声提示部１０２は，入力した映像音声の中から任意の部分を切り出し，これを登録話者音声の候補（以下，登録用話者候補映像という）として利用者に提示する（ステップＳ１１）。
【００３８】
ここで，候補映像音声提示部１０２では，例えば，一般的な方法によって放送番組中から「人の声であり，一人が連続して一定時間（２０〜６０秒）話している部分」を検出し，登録用話者候補映像として利用者に複数個提示する。
【００３９】
登録用話者候補映像が提示されると，利用者は，提示された登録用話者候補映像をそれぞれ視聴するなどし，登録話者音声として採用するか否かを決定する。候補映像音声提示部１０２は，利用者からの登録用話者候補映像（登録話者音声）の選択を受け（ステップＳ１２），利用者からその登録話者に関する話者名などの情報（以下，登録話者情報という）を入力し（ステップＳ１３），その登録話者情報と登録話者音声とを一時記録する（ステップＳ１４）。利用者の指示により，検出が必要な話者数分だけ上記ステップＳ１２〜Ｓ１４（もしくはＳ１１〜Ｓ１４）を繰り返す（ステップＳ１５）。
【００４０】
上記処理では，例えば利用者が，提示された登録用話者侯捕映像の中からある一つを人物Ａの音声として採用する場合，端末画面で提示されたその登録用話者侯捕映像を登録話者音声として選択し，選択した登録用話者侯捕映像の下に用意されたテキストボックスなどに「話者Ａ」と入力することで，選択した登録用話者侯捕映像と「話者Ａ」という登録話者情報との関連付けが行われる。登録話者情報として話者名を入力するだけではなく，性別，年齢，職業，所属会社などの情報も付加的に入力することができる。利用者は，検出が必要な人数分だけ上記作業を行う。
【００４１】
複数人数分の登録話者音声が選択されると，次に，登録用音声合成部１０３は，選択された複数人数分の登録話者音声から任意の組合わせについて音声を合成して複数の登録話者音声が組み合わされた音声を生成し（ステップＳ１６），候補映像音声提示部１０２で選択された登録話者音声に加える。
【００４２】
ここで，例えば２名の話者が同時に発話している音声や，音楽や効果音を背景として発話が行われている音声などが作成され，それらが登録話者音声に加えられる。さらに具体的に説明すると，利用者が話者Ａと話者Ｂの音声を登録話者音声として選択すると，登録用音声合成部１０３により自動的に話者Ａ＋Ｂの音声が生成され，話者Ａ，話者Ｂ，話者Ａ＋Ｂの音声が登録話者音声となる。
【００４３】
特徴量抽出部１０４は，すべての登録話者音声について，音声信号から線形予測法などに代表される一般的な特徴量を抽出する方法に従って音声特徴量を抽出し（ステップＳ１７），それらの音声特徴量を特徴ベクトルとして特徴量格納部１０５の音声データベース１に記録する（ステップＳ１８）。
【００４４】
〈話者検索フェーズ〉
図５は，本実施の形態１における話者検索フェーズの動作を説明するフローチャートである。まず，入力部１０１によって検索対象となる番組の映像（映像音声）を入力し，映像音声切り出し部１０６によって，その入力映像音声を短時間ごとに区切って短区間映像音声を切り出す（ステップＳ２０）。特徴量抽出部１０４は，切り出された短区間映像音声から音声特徴量（特徴ベクトル）を抽出する（ステップＳ２１）。短区間の長さは，例えば１０ｍｓから１００ｍｓ程度の予め定めれた長さであるが，本発明の実施は，この長さに限られるわけではない。
【００４５】
検索部１０７は，ステップＳ２１で抽出された短区間映像音声の特徴ベクトルと，〈話者音声登録フェーズ〉において特徴量格納部１０５に格納されたすべての登録話者音声の特徴ベクトルとの類似度計算を行い（ステップＳ２２），最も類似度が高かった登録話者音声の登録話者情報を検索結果とする（ステップＳ２３）。ステップＳ２０〜Ｓ２３の処理を番組開始時間から番組終了時間まで繰り返し実行し（ステップＳ２４），すべての短区間映像音声に対して検索結果を得る。
【００４６】
次に，各短区間映像音声の検索結果を時系列的に連続な複数個（例えば１００個）ごとにまとめ（以下，このまとまりを中短区間という），その中短区間ごとに検索結果を集計し（ステップＳ２５），その集計結果を出現回数順にソートして結果リストを生成する（ステップＳ２６）。この結果リストを，一つの中短区間映像音声に対する登録話者音声の検索結果として出力する（ステップＳ２７）。すべての短区間映像音声の検索結果に対して，ステップＳ２５〜Ｓ２７の処理を繰り返して実行する（ステップＳ２８）。
【００４７】
ここで，中短区間映像音声が例えば１００個の短区間映像音声の集合であるとすると，その中短区間内における１００個の検索結果の内訳は，「話者名：出現回数」の形式で表すと，例えば［話者Ａ：５０，話者Ａ＋Ｂ：２０，話者Ｂ＋Ｃ：１０，話者Ａ＋Ｃ：３，話者Ｄ：２，話者Ｂ＋Ｄ：０，... ］のようになる。この出現回数のリストを出現回数順にソートしたものが結果リストであり，これを一つの中短区間映像音声に対する話者の検索結果候補とする。
【００４８】
図６は，本実施の形態１における検索結果から結果リストを作成する例を示す図である。図中（ａ）は，各短区間映像音声に対する検索結果の例であり，各短区間の検索結果は話者名で記載されている。これらの検索結果を中短区間ごとに集計する。図６の例では，６つの短区間で一つの中短区間としている。検索結果を集計したものを出現回数ごとにソートしたものが結果リストである。図中（ｂ）は，中短区間ごとの結果リストの例を示している。例えば，１番目の中短区間の結果リストでは，話者Ａが出現する回数が３回，話者Ａ＋Ｂが２回，話者Ａ＋Ｃが１回という集計結果が示されている。
【００４９】
なお，本実施の形態では，上記ステップＳ２５〜Ｓ２８を話者検索フェーズとしているが，この部分を下記の発話区間決定フェーズとして実行してもよく，全体の実質的な動作が変わるわけではない。
【００５０】
〈発話区間決定フェーズ〉
図７は，本実施の形態１における発話区間決定フェーズの動作を説明するフローチャートである。本実施の形態１における〈発話区間決定フェーズ〉では，結果リストを下記に示す流れに従って処理することにより，複数話者の同時発話を含む映像音声から，特定の話者の発話区間を正確に割り出す。
【００５１】
まず，検索結果処理部１０８は，一つの中短区間の結果リストを入力する（ステップＳ３０）。入力した結果リストの上位ｎ件以内に単独話者名があるかどうかを判断し（ステップＳ３１），なければステップＳ３８に進む。ｎは，あらかじめ設定された値である。
【００５２】
ここで，例えば，ｎ＝５とし，ある結果リストが［話者Ａ：５０，話者Ａ＋Ｂ：２０，話者Ｂ＋Ｃ：１０，話者Ａ＋Ｃ：３，話者Ｄ：２，話者Ｂ＋Ｄ：０，……］となっている場合，「話者Ａ」，「話者Ｄ」が上位５件以内に含まれている単独話者名であると判断する。
【００５３】
結果リストの上位ｎ件以内に単独話者名が一つでも含まれている場合，単独話者名のうち最も上位にある話者名をＰ_aとし（ステップＳ３２），Ｐ_aの単独の出現回数を総出現回数とする（ステップＳ３３）。結果リストの上位ｎ件以内にある複数話者の同時発話の結果でＰ_aを含んでいるものがあれば（ステップＳ３４），それらすべてのＰ_aを含む複数話者の同時発話の出現回数をＰ_aの単独の出現回数に加え，Ｐ_aの総出現回数とする（ステップＳ３５）。
【００５４】
ここで，上記の例のように，ｎ＝５とし，ある結果リストが［話者Ａ：５０，話者Ａ＋Ｂ：２０，話者Ｂ＋Ｃ：１０，話者Ａ＋Ｃ：３，話者Ｄ：２，話者Ｂ＋Ｄ：０，... ］となっている場合，最も上位にある単独話者名である「話者Ａ」をＰ_aとすると，複数話者の同時発話のうちＰ_aを含むのは「話者Ａ＋Ｂ」，「話者Ａ＋Ｃ」である。Ｐ_aの単独の出現回数に，「話者Ａ＋Ｂ」，「話者Ａ＋Ｃ」の出現回数を加えたＰ_aの総出現回数は，
５０＋２０＋３＝７３
となる。
【００５５】
図８は，本実施の形態１における総出現回数の算出方法を説明する図である。図８の例の中短区間の結果リストにおいて，上位ｎ＝５以内の単独話者名には話者Ａがあるので，話者ＡがＰ_aとなる。上位ｎ＝５以内の複数話者の同時発話のうち話者Ａを含むものは，図８の例の場合，「話者Ａ＋Ｂ」，「話者Ａ＋Ｃ」，「話者Ａ＋Ｄ」である。話者Ａの単独の出現回数に，「話者Ａ＋Ｂ」，「話者Ａ＋Ｃ」，「話者Ａ＋Ｄ」の出現回数を加えた話者Ａの総出現回数は，
１０＋９＋７＋２＝２８
となる。
【００５６】
中短区間におけるＰ_aの総出現回数があらかじめ定められた閾値Ｔを超えた場合（ステップＳ３６），そのＰ_aをその中短区間映像音声の話者名であるとする（ステップＳ３７）。
【００５７】
ステップＳ３０〜Ｓ３７の処理を，すべての中短区間の結果リストについて実行する（ステップＳ３８）。映像音声中のすべての中短区間映像音声の話者名と時間情報との組合せを，発話区間の話者情報として話者情報格納部１０９に格納する（ステップＳ３９）。
【００５８】
〈話者情報表示フェーズ〉
図９は，本実施の形態１における話者情報表示フェーズの動作を説明するフローチャートである。このフェーズでは，利用者からの要求に従って，端末表示装置２０に話者情報を表示する。
【００５９】
まず，表示部１１０は，利用者からの要求の入力を受ける（ステップＳ４０）。利用者の入力が話者名か時間かを判定し（ステップＳ４１），利用者の入力が話者名であれば，話者情報格納部１０９の話者情報をその話者名で検索し（ステップＳ４２），その話者が発話したすべての中短区間の時間情報を視覚的に端末表示装置２０に表示する（ステップＳ４３）。ステップＳ４１において利用者の入力が時間であれば，話者情報格納部１０９の話者情報をその時間で検索し（ステップＳ４４），その時間に発話している話者の話者名を端末表示装置２０に表示する（ステップＳ４５）。
【００６０】
図１０は，上記ステップＳ４３で表示される話者情報表示画面の例を示している。ここでは，画面左側に映像音声の再生画面とともに話者の名前が表示され，また，画面右側に人物の情報として話者の名前と，その話者が発話している時間帯の情報が表示されている。これによって，特定の話者がいつ発話しているかがすぐに分かる。
【００６１】
また，図１１は，上記ステップＳ４５で表示される話者情報表示画面の例を示している。ここでは，画面左側に映像音声の再生画面とともにその再生画面の時刻が表示され，また，画面右側に人物の情報として指定された時間の話者に関する名前，所属等の話者情報が表示されている。これによって，ある時間にどのような人物が発話しているかがすぐに分かる。
【００６２】
〔実施の形態２〕
図１２は，本発明の実施の形態２における発話区間検索装置の構成例を示す図である。本実施の形態２における発話区間検索装置１０’は，ＣＰＵおよびメモリ等からなるコンピュータであり，ソフトウェアプログラムおよび記憶装置等によって構成される入力部１０１，候補映像音声提示部１０２，登録用音声合成部１０３，特徴量抽出部１０４，特徴量格納部１０５，映像音声切り出し部１０６，検索部１０７，検索結果処理部１０８，話者情報格納部１０９，表示部１１０，映像音声再選択部１１１を備えている。また，本実施の形態２における発話区間検索装置１０’には，端末表示装置２０が接続されている。
【００６３】
本実施の形態２は，映像音声再選択部１１１を有し，上記〈話者情報表示フェーズ〉で表示された話者情報をもとに，特徴量格納部１０５に格納されている登録話者音声の音声特徴量を再設定する機能を持つ点が，前述した実施の形態１と異なる。
【００６４】
本実施の形態２における発話区間検索装置１０’は，実施の形態１の動作の後に，〈話者音声再登録フェーズ〉の動作を行う。以下，発話区間検索装置１０’における〈話者音声再登録フェーズ〉について，フローチャートを用いてその動作を説明する。
【００６５】
〈話者音声再登録フェーズ〉
図１３は，本実施の形態２における話者音声再登録フェーズの動作を説明するフローチャートである。本実施の形態２では，利用者が所望の話者の登録話者音声を，発話区間の検索結果を用いて修正することができる。例えば，実施の形態１の動作によって，所望の話者（話者Ｐ_aとする）の発話区間がＴ₀〜Ｔ₁およびＴ₂〜Ｔ₃であるという結果が得られたとする。しかし，利用者が実際に端末表示装置２０で結果を確認すると，Ｔ₀〜Ｔ₁は所望の話者でなく，Ｔ₂〜Ｔ₃およびＴ₄〜Ｔ₅が正しい結果であり，これを登録話者音声として再登録したい場合に，利用者は，Ｔ₂〜Ｔ₃およびＴ₄〜Ｔ₅の映像音声から登録話者音声の再登録を行うことができる。
【００６６】
まず，映像音声再選択部１１１は，話者Ｐ_aの登録話者音声として再登録したい映像音声の選択を利用者から受けると（ステップＳ５０），その映像音声を話者Ｐ_aの登録話者音声として登録用音声合成部１０３に送る。登録用音声合成部１０３は，利用者が選択した話者Ｐ_aの登録話者音声と他の登録話者音声とから任意の組合わせについて音声を合成し，利用者が選択した登録話者音声を含む複数の登録話者音声が組み合わされた音声を生成する（ステップＳ５１）。
【００６７】
特徴量抽出部１０４は，利用者が選択した話者Ｐ_aの登録話者音声と，利用者が選択した登録話者音声を含む複数の登録話者音声が組み合わされた音声とからそれぞれ音声特徴量（特徴ベクトル）を抽出し（ステップＳ５２），それらの抽出された音声特徴量で，特徴量格納部１０５にそれまでに格納されていた音声特徴量を上書きする（ステップＳ５３）。
【００６８】
以上のような一連の動作によって，利用者は，例えばＴ₂〜Ｔ₃の映像音声を新たに話者Ｐ_aの登録用話者音声として置き換え，さらに話者Ｐ_aを含む複数の登録話者音声の合成により生成された登録話者音声も新たに置き換えることができる。
【００６９】
以上，本実施の形態１および２について説明したが，本発明では，もちろん検索対象の番組だけではなく，検索対象以外の番組からも登録話者音声を作成することができる。また，登録話者音声としてＢＧＭを登録し，ＢＧＭの登録話者音声と他の登録話者音声との任意の組合せについて音声を合成し，それらの音声特徴量を登録することにより，発話区間の検索において，背景に効果音がある場合の発話区間の検索も行うことが可能になる。
【００７０】
また，登録用音声合成部１０３において音声を合成する際に，各登録話者音声に音の大きさや音の高さなどについて任意に重みを設定してから，各登録話者音声を合成する実施も可能である。
【００７１】
以上，番組映像における人間の発話区間について検索する例を説明したが，本発明が人間の音声以外の一般音声にも適用できることは言うまでもない。
【００７２】
本発明の利用例として，以下のような例が考えられる。
（１）ストリーミング映像，ビデオ，テレビ番組などの映像音声から話者の発話区間を検出する場合に使用する。
（２）単一の集音マイクで録音された電話会議などから議事録を起こす作業の支援に使用する。番組などの音声は必ずしも登録音声だけが音声信号として放送されるわけではなく，実際には周囲環境音，雑音を含み多様である。このような場合に，本発明を用いた音声発生区間の検索は有効である。
（３）一般的な周囲環境音の中でクラクションが鳴らされた回数をカウントするのに使用する。クラクションの音声を単独で登録することは容易であるが，環境音声と混合した状態で正確に検出することは一般的には難しい。環境音にバリエーションがあることと，クラクションの音もドップラ効果などにより歪むからである。本発明を適用することにより，このような場合にも正確に検出することが可能になる。
（４）森の中で動物の鳴き声を判断するのに使用する。
（５）定常状態で動作する機械に，通常ではあり得ない音が発生したことを検出する場合に使用する。
【００７３】
【発明の効果】
以上説明したように，本発明によって，テレビ番組などの複数の話者が同時に発話する音声や，背景に効果音を含む映像中において，利用者が提示された候補の中から所望の話者の単独音声を登録するだけで，複数話者の同時発話部分も含んだ映像中においても，所望の話者の発話区間検索を精度よく行うことができるようになる。また，利用者が，発話区間検索の結果を用いて登録話者音声を再作成することができる。また，人の音声に限らず，自然音についても音声発生源の認識，音声発生区間の検索に利用することができる。
【図面の簡単な説明】
【図１】本発明の概要を説明するための図である。
【図２】本発明に係る装置の構成図である。
【図３】本発明の実施の形態１における発話区間検索装置の構成例を示す図である。
【図４】本実施の形態１における話者音声登録フェーズの動作を説明するフローチャートである。
【図５】本実施の形態１における話者検索フェーズの動作を説明するフローチャートである。
【図６】本実施の形態１における検索結果から結果リストを作成する例を示す図である。
【図７】本実施の形態１における発話区間決定フェーズの動作を説明するフローチャートである。
【図８】本実施の形態１における総出現回数の算出方法を説明する図である。
【図９】本実施の形態１における話者情報表示フェーズの動作を説明するフローチャートである。
【図１０】本実施の形態１における話者情報表示画面の例を示す図である。
【図１１】本実施の形態１における話者情報表示画面の例を示す図である。
【図１２】本発明の実施の形態２における発話区間検索装置の構成例を示す図である。
【図１３】本実施の形態２における話者音声再登録フェーズの動作を説明するフローチャートである。
【符号の説明】
１音声データベース
１０，１０’ 発話区間検索装置
１１話者情報登録手段
１２音声信号組合せ手段
１３音声特徴量抽出手段
１４特徴量格納手段
１５話者検索手段
１６話者検索結果処理手段
１７発話区間情報表示手段
１０１入力部
１０２候補映像音声提示部
１０３登録用音声合成部
１０４特徴量抽出部
１０５特徴量格納部
１０６映像音声切り出し部
１０７検索部
１０８検索結果処理部
１０９話者情報格納部
１１０表示部
１１１映像音声再選択部
２０端末表示装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technology for speech database registration, speech source recognition, and speech generation section search used for speaker recognition, and more particularly, for example, for shooting a broadcast program and recording video (hereinafter referred to as video and audio). On the other hand, the speaker information in the video and audio is automatically recorded on the recording medium together with the time information from the start of recording, and the utterance of the specific speaker in the video is based on the recorded speaker information. The present invention relates to a technique used when searching for a time zone.
[0002]
[Prior art]
When searching for the utterance section of a specific speaker in the video and audio (hereinafter referred to as utterance section search), generally speaking, the speaker's voice to be searched for is pre-registered (hereinafter referred to as registered speaker voice). (For example, see Non-Patent Document 1).
[0003]
Usually, a voice that a desired speaker speaks alone (hereinafter referred to as a single speaker voice) is used for 30 to 120 seconds as a registered speaker voice, and then a codebook is created. When searching for an utterance section, this codebook is used to detect the utterance section of a desired speaker by processing such as sequentially extracting voice feature values from the beginning of the program and comparing them with the codebook. Thus, for example, the time when speaker A speaks is counted from the start of the program by T ₀ Seconds to T ₁ Up to seconds, the time when speaker B speaks is T ₂ Seconds to T _Three Results such as up to seconds can be obtained.
[0004]
In general, there are speakers who speak at the same time in television programs, and the number of speakers is not always one. ₀ <T ₂ <T ₁ <T _Three It may become. At this time, T ₂ ~ T ₁ In the section, a plurality of speakers (in this case, speaker A and speaker B) are speaking at the same time, and it is difficult to correctly search for this portion using a codebook created from a single speaker's voice. is the current situation.
[0005]
For example, the case (T ₀ <T ₂ <T ₁ <T _Three ), The speaking time of speaker A is T ₀ ~ T ₁ Despite being T ₂ ~ T ₁ Cannot be detected accurately, and the utterance interval of speaker A is T in the result of the utterance interval search. ₀ ~ T ₂ (T ₂ <T ₁ ) May be detected incorrectly. In addition, when music is inserted simultaneously with the conversation of the speaker A, the speaker A's utterance section may be erroneously detected.
[0006]
Furthermore, since the utterance is not only the voiced part (there is a break in the sentence), the codebook reflects the characteristics of the silent part, and this causes only the distance between the vectors in minute units. When the speaker is judged, an error may occur.
[0007]
For example, it is assumed that a feature vector in a certain section is closest to one of the feature vectors in the codebook of speaker B. However, in reality, the speaker in this section is A, and the vector that happens to be the search key reflects the characteristics of some silent sections that were registered when the codebook of speaker B was created. This is the case where the distance to was the shortest. In such a case, it is not sufficient to simply perform a database search using a video / audio feature vector at a certain time as a key.
[0008]
As described above, when searching for a speaker's utterance section based on a conventional method for video and audio such as a general television program having many variations, the accuracy is generally significantly reduced.
[0009]
[Non-Patent Document 1]
FK Soong et al., "A vector quantization approach to speaker recognition," Proc.ICASSP, pp.387-390
[0010]
[Problems to be solved by the invention]
As described above, in the conventional method of creating a codebook only from a single speaker's voice, a desired speaker's utterance interval can be accurately determined from general video / audio including a part where a plurality of speakers speak at the same time. Difficult to get. In addition, it is possible to manually search for a part where multiple speakers speak at the same time from a long video, and use it as a registered speaker voice. However, this method is extremely inefficient and is not practical. Have difficulty.
[0011]
An object of the present invention is to solve such problems, and to enable accurate speaker search even when there are portions where a plurality of speakers speak at the same time in video and audio.
[0012]
[Means for Solving the Problems]
The present invention is not limited to human speech, but can be used for squeaking of animals such as birds and insects, recognition of speech sources for mechanical sounds, and retrieval of speech generation intervals. An example of speaker recognition and retrieval of a speaker's utterance section will be described.
[0013]
FIG. 1 is a diagram for explaining the outline of the present invention.
[0014]
Normally, when registering features of speech signals as learning data, it is normal to store the features of each speaker's speech A and B individually in the speech database 1 as shown in FIG. is there. In the search stage, calculation is performed such as how much the input speech is similar to A and B, and how the time changes, and finally it is determined which of the registered speech matches the input speech.
[0015]
However, in the case where voice A and voice B are mixed in the input voice to be searched, there is no appropriate learning data in the voice database 1, so it is difficult to obtain a search result well. When a voice such as A + B in which voices A and B are mixed is input, the search result for the input voice is usually processed temporally and probabilistically to determine whether it is A or B or not. Therefore, accurate search is not possible. On the other hand, it is troublesome and sometimes impossible to record a mixture of the voice A and the voice B as learning data in advance.
[0016]
Therefore, in the present invention, as shown in FIG. 1B, learning speech signals prepared in advance are added in an arbitrary combination, and their features are also recursively registered in the speech database 1. That is, not only the features of speech A and speech B are registered in the speech database 1, but also the speech A + B is temporarily created and the features are also registered in the speech database 1. As a result, even when the voice A and the voice B are mixed, it is possible to search for the voice A and the voice B.
[0017]
FIG. 2 shows a configuration diagram of an apparatus according to the present invention. The utterance section search device 10 includes speaker information registration means 11, voice signal combination means 12, voice feature quantity extraction means 13, feature quantity storage means 14, speaker search means 15, and speaker search result processing means. 16 and utterance section information display means 17.
[0018]
Here, video such as a TV program is called video and audio, and one of the video and audio divided in time series is called short-term video and audio. One of the multiple pieces is called a medium / short section video / audio.
[0019]
The speaker information registration means 11 cuts out an arbitrary part from the video and audio and presents it to the user as a registered speaker audio candidate. For example, a plurality of unspecified speaker sounds are automatically cut out from a program for a certain period of time and presented to the user. The user determines what is to be used as the registered speaker voice from a plurality of presented candidates, and writes additional information such as a speaker name for what is determined to be used.
[0020]
The voice signal combination means 12 creates a sum of voice signals of a plurality of single speaker voices selected by the user as registered speaker voices in an arbitrary combination and adds it to the registered speaker voices. That is, a voice in which a plurality of speakers are speaking at the same time or a voice in which music is flowing behind the voice is virtually generated and added to the registered speaker voice.
[0021]
The voice feature quantity extraction means 13 extracts voice feature quantities individually from all registered speaker voices. In the extraction of the speech feature amount, a general signal processing method represented by a linear prediction method or the like can be used from the speech signal.
[0022]
The feature quantity storage means 14 stores the voice feature quantity of the speaker extracted by the voice feature quantity extraction means 13 in the voice database 1 together with speaker information such as a speaker name.
[0023]
The speaker search means 15 inputs the video / audio to be searched for the utterance section search, divides the video / audio into short sections, and stores them in the voice database 1 and the audio feature amount extracted from each short section video / audio. Are compared in time order, their similarity is calculated, and the result with the highest similarity is returned.
[0024]
The speaker search result processing means 16 aggregates the speaker search results of the short interval video and audio obtained by the above similarity calculation for each of a plurality of continuous time series, and lists the number of appearances for each search result name. Output what is turned on. That is, the results obtained by the speaker search means 15 over the entire time range of the video and audio are totaled for each medium and short section video and audio, and the utterance section of the desired speaker is determined based on the number of appearances.
[0025]
Based on the above output, the utterance section information display means 17 displays the time zone information uttered by a desired speaker on the terminal screen together with the time from the beginning of the program. Alternatively, the speaker information at a specified time is displayed on the terminal screen together with the video at that time.
[0026]
The operation of the utterance section searching device 10 shown in FIG. 2 is as follows. In the speaker voice registration phase, the voice of the speaker input by the speaker information registration unit 11 is arbitrarily combined by the voice signal combination unit 12, and the voice feature amount is extracted from both the combined voice and the previous voice. Feature quantities are extracted by means 13 and stored in voice database 1 by feature quantity storage means 14. Next, in the speaker search phase, the feature amount is extracted from the audio / video to be searched by the audio feature amount extraction unit 13, and the extracted feature amount is used as a search key based on the similarity by the speaker search unit 15. Perform a search. Next, in the utterance interval determination phase, the speaker search result processing unit 16 determines the utterance interval of a desired speaker from the obtained search result based on the number of times obtained as the search result. In the speaker information display phase, the information is displayed on the terminal screen together with additional speaker information registered in advance by the utterance section information display means 17.
[0027]
By the means as described above, according to the present invention, a user can select a plurality of single speaker voices presented in advance by the utterance section searching device 10 and use them as registered speaker voices. Simultaneous utterance voices and utterance voices for music insertion are created and added as registered speaker voices.
[0028]
Further, when the user selects a registered speaker voice, a person name or other additional information can be input, and the information input by the user is automatically associated with the registered speaker voice. In addition, the speech segment search device 10 of the present invention automatically calculates the speech feature amount over the entire segment of the program, and calculates the similarity with the speech feature amount of the registered speaker speech stored in advance. It is determined that the voice indicating the threshold or more is the voice of the registered speaker. In addition, the speaker search results for the short section video and audio obtained over the entire program time are tabulated for each medium and short section to determine the utterance section of the desired speaker.
[0029]
The speaker information registration means 11, the voice signal combination means 12, the voice feature quantity extraction means 13, and the feature quantity storage means 14 shown in FIG. 2 can constitute a voice database registration processing apparatus according to the present invention. .
[0030]
Further, the speaker information registration means 11, the voice signal combination means 12, the voice feature quantity extraction means 13, the feature quantity storage means 14, and the speaker search means 15 shown in FIG. A source recognition device can be configured.
[0031]
Each of the above means can be realized by a computer and a software program including a CPU and a memory, and the program is stored in an appropriate recording medium such as a portable medium readable by the computer, a semiconductor memory, and a hard disk. can do.
[0032]
The differences between the present invention and the prior art are as follows. In conventional speaker recognition technology, when registering speech information in a database, the speech to be searched (such as human speech or mechanical sound) is usually registered alone to determine whether the input speech matches it. It was. On the other hand, the present invention not only registers a single voice, but also synthesizes a plurality of voices with an arbitrary weight at a signal level and recursively registers their feature quantities in a database. This point is different from the prior art.
[0033]
Also, when searching for speech generation intervals, the prior art generally calculates the likelihood by, for example, totaling the similarity of the search results, but in the present invention, the search results arranged as candidates are totaled for a certain period of time to generate frequent occurrences. Extract the results. By judging by the number of appearances in this way, it is possible to correctly search for a target speech generation section even when ambient environmental sound or the like is irregularly mixed.
[0034]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0035]
[Embodiment 1]
FIG. 3 is a diagram illustrating a configuration example of the utterance interval search device according to Embodiment 1 of the present invention. An utterance interval search device 10 according to the first embodiment is a computer including a CPU and a memory, and includes an input unit 101, a candidate video / sound presentation unit 102, and a registration speech synthesizer 103 that are configured by a software program and a storage device. , Feature amount extraction unit 104, feature amount storage unit 105, video / audio cutout unit 106, search unit 107, search result processing unit 108, speaker information storage unit 109, and display unit 110. Further, a terminal display device 20 is connected to the utterance section searching device 10 according to the first embodiment.
[0036]
The operation of the speech section search device 10 can be divided into <speaker voice registration phase>, <speaker search phase>, <speech section determination phase>, and <speaker information display phase>. Hereinafter, the operation of each phase of the utterance section searching device 10 will be described with reference to flowcharts.
[0037]
<Speaker voice registration phase>
FIG. 4 is a flowchart for explaining the operation of the speaker voice registration phase according to the first embodiment. First, the input unit 101 inputs video / audio to be searched (step S10), and the candidate video / audio presenting unit 102 cuts out an arbitrary portion from the input video / audio and uses it as a candidate for registered speaker audio. It is presented to the user as (hereinafter referred to as a registration speaker candidate video) (step S11).
[0038]
Here, the candidate video / audio presentation unit 102 detects, for example, a “part of a human voice and one person is speaking continuously for a certain time (20 to 60 seconds)” from a broadcast program by a general method. A plurality of registration candidate video images are presented to the user.
[0039]
When the registered speaker candidate video is presented, the user determines whether or not to adopt the registered speaker candidate video, for example, by viewing the presented registered speaker candidate video. The candidate video / audio presenting unit 102 receives a selection of a registration speaker candidate video (registered speaker's voice) from the user (step S12), and information such as a speaker name related to the registered speaker (hereinafter, referred to as a speaker). (Registered speaker information) is input (step S13), and the registered speaker information and registered speaker voice are temporarily recorded (step S14). According to a user instruction, the above steps S12 to S14 (or S11 to S14) are repeated for the number of speakers that need to be detected (step S15).
[0040]
In the above processing, for example, when the user adopts one of the presented registered speaker capture images as the voice of the person A, the registered speaker capture image presented on the terminal screen is used. Select as the registered speaker voice, and enter “Speaker A” in the text box provided under the selected registered speaker capture video. Is associated with the registered speaker information “person A”. In addition to inputting the speaker name as registered speaker information, information such as gender, age, occupation, company, etc. can be additionally input. The user performs the above operations for the number of people that need to be detected.
[0041]
When the registered speaker voices for a plurality of persons are selected, the registration speech synthesizer 103 then synthesizes a plurality of registrations by synthesizing voices for any combination from the selected registered speaker voices for the plurality of persons. A voice combined with the speaker voice is generated (step S16) and added to the registered speaker voice selected by the candidate video voice presentation unit 102.
[0042]
Here, for example, a voice that two speakers are speaking at the same time, a voice that is uttered against the background of music or sound effects, and the like are created and added to the registered speaker voice. More specifically, when the user selects the voices of the speakers A and B as the registered speaker voice, the voice of the speaker A + B is automatically generated by the registration voice synthesizer 103, and the speaker A , Speaker B and speaker A + B are registered speaker sounds.
[0043]
The feature quantity extraction unit 104 extracts speech feature quantities for all registered speaker voices according to a general feature quantity typified by a linear prediction method or the like from speech signals (step S17). The feature quantity is recorded as a feature vector in the voice database 1 of the feature quantity storage unit 105 (step S18).
[0044]
<Speaker search phase>
FIG. 5 is a flowchart for explaining the operation of the speaker search phase according to the first embodiment. First, a video (video / audio) of a program to be searched is input by the input unit 101, and the short video / audio is cut out by dividing the input video / audio by a short time by the video / audio cut-out unit 106 (step S20). The feature amount extraction unit 104 extracts an audio feature amount (feature vector) from the cut short section video audio (step S21). The length of the short section is a predetermined length of, for example, about 10 ms to 100 ms, but the implementation of the present invention is not limited to this length.
[0045]
The search unit 107 compares the feature vectors of the short segment video and audio extracted in step S21 with the feature vectors of all registered speaker's speech stored in the feature amount storage unit 105 in the <speaker speech registration phase>. Calculation is performed (step S22), and the registered speaker information of the registered speaker voice having the highest similarity is used as a search result (step S23). The processing of steps S20 to S23 is repeatedly executed from the program start time to the program end time (step S24), and search results are obtained for all short-section video and audio.
[0046]
Next, search results for each short section video and audio are grouped into a plurality of continuous time series (for example, 100) (hereinafter this group is referred to as a medium to short section), and the search results are tabulated for each medium and short section. Then (step S25), the total result is sorted in the order of appearance frequency, and a result list is generated (step S26). The result list is output as a search result of the registered speaker voice for one middle and short section video voice (step S27). The processing of steps S25 to S27 is repeatedly executed on the search results of all short section video and audio (step S28).
[0047]
Here, if the medium-short section video / audio is a set of 100 short-section video / audio, for example, the breakdown of 100 search results in the medium-short section is in the form of “speaker name: number of appearances”. For example, [speaker A: 50, speaker A + B: 20, speaker B + C: 10, speaker A + C: 3, speaker D: 2, speaker B + D: 0,...]. The result list is a list of appearance counts sorted in the order of appearance counts, and this is used as a search result candidate for a speaker for one medium-short section video and audio.
[0048]
FIG. 6 is a diagram illustrating an example of creating a result list from the search results according to the first embodiment. In the figure, (a) is an example of a search result for each short section video and audio, and the search result of each short section is described by a speaker name. These search results are totaled for each medium and short section. In the example of FIG. 6, six short sections are one medium / short section. The result list is obtained by sorting the search results for each number of appearances. (B) in the figure shows an example of a result list for each middle and short section. For example, in the result list of the first medium-short section, the total result is shown that the number of times that the speaker A appears is 3, the speaker A + B is 2 times, and the speaker A + C is 1 time.
[0049]
In the present embodiment, steps S25 to S28 are used as the speaker search phase. However, this portion may be executed as the following speech segment determination phase, and the overall substantial operation does not change.
[0050]
<Speech segment determination phase>
FIG. 7 is a flowchart for explaining the operation of the speech segment determination phase according to the first embodiment. In the <speech segment determination phase> in the first embodiment, the result list is processed according to the flow shown below, so that the speech segment of a specific speaker is accurately determined from the video and audio including the simultaneous speech of a plurality of speakers. .
[0051]
First, the search result processing unit 108 inputs a result list of one medium / short section (step S30). It is determined whether or not there is a single speaker name within the top n entries in the input result list (step S31), and if not, the process proceeds to step S38. n is a preset value.
[0052]
Here, for example, n = 5, and a certain result list is [speaker A: 50, speaker A + B: 20, speaker B + C: 10, speaker A + C: 3, speaker D: 2, speaker B + D: 0. ,..., It is determined that “speaker A” and “speaker D” are single speaker names included in the top five.
[0053]
If at least one single speaker name is included in the top n results list, the highest speaker name among the single speaker names is P _a (Step S32), P _a Is the total number of appearances (step S33). P in the result of simultaneous utterances of multiple speakers within the top n in the result list _a If there is something that contains (step S34), all those P _a The number of simultaneous utterances of multiple speakers including _a In addition to the number of occurrences of _a Is the total number of appearances (step S35).
[0054]
Here, as in the above example, n = 5 and a certain result list is [speaker A: 50, speaker A + B: 20, speaker B + C: 10, speaker A + C: 3, speaker D: 2, [Speaker B + D: 0, ...]], “Speaker A”, which is the name of the highest-ranked single speaker, is P _a Then, P of the simultaneous utterances of multiple speakers _a Includes “speaker A + B” and “speaker A + C”. P _a The number of occurrences of “Speaker A + B” and “Speaker A + C” is added to the number of occurrences of _a The total number of occurrences of
50 + 20 + 3 = 73
It becomes.
[0055]
FIG. 8 is a diagram for explaining a method of calculating the total number of appearances in the first embodiment. In the result list of the middle-short section in the example of FIG. 8, since the speaker A is the single speaker name within the upper n = 5, the speaker A is P _a It becomes. Among the simultaneous utterances of a plurality of speakers within the upper n = 5, those including speaker A are “speaker A + B”, “speaker A + C”, and “speaker A + D” in the example of FIG. The total number of appearances of speaker A by adding the number of appearances of “speaker A + B”, “speaker A + C”, and “speaker A + D” to the number of appearances of speaker A alone is
10 + 9 + 7 + 2 = 28
It becomes.
[0056]
P in medium to short section _a If the total number of appearances exceeds the predetermined threshold T (step S36), the P _a Is a speaker name of the middle and short section video and audio (step S37).
[0057]
The processing of steps S30 to S37 is executed for the result list of all medium and short sections (step S38). The combination of the speaker name and time information of all the medium and short section video / audio in the video / audio is stored in the speaker information storage unit 109 as the speaker information of the utterance section (step S39).
[0058]
<Speaker information display phase>
FIG. 9 is a flowchart for explaining the operation of the speaker information display phase according to the first embodiment. In this phase, speaker information is displayed on the terminal display device 20 in accordance with a request from the user.
[0059]
First, the display unit 110 receives a request input from a user (step S40). It is determined whether the user input is the speaker name or time (step S41), and if the user input is the speaker name, the speaker information in the speaker information storage unit 109 is searched by the speaker name ( Step S42), the time information of all the medium and short sections spoken by the speaker is visually displayed on the terminal display device 20 (Step S43). If the input of the user is time in step S41, the speaker information in the speaker information storage unit 109 is searched for that time (step S44), and the speaker name of the speaker speaking at that time is displayed on the terminal. The information is displayed on the device 20 (step S45).
[0060]
FIG. 10 shows an example of the speaker information display screen displayed in step S43. Here, the name of the speaker is displayed along with the video / audio playback screen on the left side of the screen, and the name of the speaker and the information on the time zone during which the speaker is speaking are displayed on the right side of the screen. ing. This makes it easy to see when a particular speaker is speaking.
[0061]
FIG. 11 shows an example of the speaker information display screen displayed in step S45. Here, the video and audio playback screen is displayed on the left side of the screen, and the time of the playback screen is displayed. On the right side of the screen, speaker information such as the name and affiliation of the speaker at the specified time is displayed. Yes. This makes it easy to see who is speaking at a certain time.
[0062]
[Embodiment 2]
FIG. 12 is a diagram illustrating a configuration example of the utterance interval search device according to Embodiment 2 of the present invention. An utterance section searching device 10 'in the second embodiment is a computer composed of a CPU and a memory, etc., and includes an input unit 101, a candidate video / sound presentation unit 102, a registration speech synthesizer configured by a software program and a storage device. 103, a feature amount extraction unit 104, a feature amount storage unit 105, a video / audio cutout unit 106, a search unit 107, a search result processing unit 108, a speaker information storage unit 109, a display unit 110, and a video / audio reselection unit 111. Yes. In addition, a terminal display device 20 is connected to the utterance section searching device 10 'in the second embodiment.
[0063]
The second embodiment has a video / audio reselection unit 111, and a registered speaker stored in the feature amount storage unit 105 based on the speaker information displayed in the <speaker information display phase>. The point of having the function of resetting the voice feature amount of the voice is different from the first embodiment.
[0064]
Speaking section searching device 10 'in the second embodiment performs the operation of <speaker voice re-registration phase> after the operation in the first embodiment. Hereinafter, the operation of the <speaker voice re-registration phase> in the utterance section searching device 10 'will be described using a flowchart.
[0065]
<Speaker voice re-registration phase>
FIG. 13 is a flowchart for explaining the operation of the speaker voice re-registration phase in the second embodiment. In the second embodiment, the user can correct the registered speaker voice of the desired speaker using the search result of the utterance section. For example, the desired speaker (speaker P) is obtained by the operation of the first embodiment. _a ) Is T ₀ ~ T ₁ And T ₂ ~ T _Three Suppose that the result is obtained. However, when the user actually confirms the result on the terminal display device 20, T ₀ ~ T ₁ Is not the desired speaker, T ₂ ~ T _Three And T _Four ~ T _Five Is the correct result, and the user wishes to re-register this as a registered speaker voice, ₂ ~ T _Three And T _Four ~ T _Five The registered speaker voice can be re-registered from the video and audio.
[0066]
First, the video / audio reselection unit 111 selects the speaker P. _a When the user selects video / audio to be re-registered as the registered speaker's voice (step S50), the video / audio is sent to the speaker P. _a To the registration speech synthesizer 103 as a registered speaker voice. The registration speech synthesizer 103 uses the speaker P selected by the user. _a The registered speaker's voice and other registered speaker's voices are synthesized for an arbitrary combination, and a voice is generated by combining a plurality of registered speaker voices including the registered speaker's voice selected by the user ( Step S51).
[0067]
The feature quantity extraction unit 104 selects the speaker P selected by the user. _a Voice feature quantities (feature vectors) are extracted from each of the registered speaker voices and voices in which a plurality of registered speaker voices including the registered speaker voices selected by the user are combined (step S52). The voice feature quantity stored so far is overwritten with the voice feature quantity that has been stored in the feature quantity storage unit 105 (step S53).
[0068]
Through the series of operations described above, the user can, for example, ₂ ~ T _Three New audio / video from speaker P _a Speaker voice for registration, and speaker P _a The registered speaker voice generated by synthesizing a plurality of registered speaker voices including can also be newly replaced.
[0069]
As described above, the first and second embodiments have been described. Of course, in the present invention, a registered speaker voice can be created not only from a search target program but also from a program other than the search target program. Also, by registering BGM as the registered speaker speech, synthesizing speech for any combination of the registered speaker speech of BGM and other registered speaker speech, and registering their speech feature values, In the search, it is also possible to search the utterance section when there is a sound effect in the background.
[0070]
In addition, when the speech synthesis unit 103 for registration synthesizes speech, an arbitrary weight is set for each registered speaker speech with respect to loudness, pitch, etc., and then each registered speaker speech is synthesized. Is also possible.
[0071]
In the above, an example of searching for a human speech section in a program video has been described, but it goes without saying that the present invention can also be applied to general speech other than human speech.
[0072]
Examples of use of the present invention are as follows.
(1) Used when detecting a speaker's utterance section from video and audio such as streaming video, video, and TV program.
(2) Used to support the work of generating minutes from a conference call recorded with a single microphone. As for the sound of a program or the like, only the registered sound is not necessarily broadcast as an audio signal, and actually, there are various sounds including ambient sound and noise. In such a case, the search of the voice generation section using the present invention is effective.
(3) Used to count the number of times a horn is sounded among general ambient sounds. It is easy to register the horn sound alone, but it is generally difficult to accurately detect the horn sound mixed with the environmental sound. This is because there are variations in the environmental sound and the horn sound is also distorted by the Doppler effect. By applying the present invention, it is possible to accurately detect such a case.
(4) Used to judge animal calls in the woods.
(5) Used to detect the occurrence of unusual sounds on machines operating in steady state.
[0073]
【The invention's effect】
As described above, according to the present invention, the desired speaker can be selected from the candidates presented by the user in the audio that a plurality of speakers such as a TV program utters at the same time or in the video including the sound effect in the background. By registering a single voice, it becomes possible to accurately perform a speech segment search of a desired speaker even in a video including a portion of simultaneous speech of a plurality of speakers. In addition, the user can recreate the registered speaker voice using the result of the utterance section search. Furthermore, not only human speech but also natural sound can be used for speech source recognition and speech segment search.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining the outline of the present invention.
FIG. 2 is a block diagram of an apparatus according to the present invention.
FIG. 3 is a diagram showing a configuration example of an utterance section searching device according to Embodiment 1 of the present invention.
FIG. 4 is a flowchart for explaining an operation in a speaker voice registration phase according to the first embodiment.
FIG. 5 is a flowchart illustrating an operation in a speaker search phase according to the first embodiment.
FIG. 6 is a diagram showing an example of creating a result list from search results in the first embodiment.
FIG. 7 is a flowchart for explaining an operation in an utterance section determination phase in the first embodiment.
FIG. 8 is a diagram for explaining a method of calculating the total number of appearances in the first embodiment.
FIG. 9 is a flowchart illustrating an operation in a speaker information display phase according to the first embodiment.
FIG. 10 is a diagram showing an example of a speaker information display screen in the first embodiment.
FIG. 11 is a diagram showing an example of a speaker information display screen in the first embodiment.
FIG. 12 is a diagram showing a configuration example of an utterance section searching device in Embodiment 2 of the present invention.
FIG. 13 is a flowchart for explaining the operation of a speaker voice re-registration phase in the second embodiment.
[Explanation of symbols]
1 Voice database
10, 10 'Utterance section search device
11 Speaker information registration means
12 Audio signal combination means
13 Voice feature extraction means
14 Feature value storage means
15 Speaker search means
16 Speaker search result processing means
17 Speech section information display means
101 Input section
102 Candidate Video / Audio Presentation Unit
103 Speech synthesis unit for registration
104 Feature extraction unit
105 Feature value storage
106 Video / audio clipping unit
107 Search section
108 Search result processing section
109 Speaker information storage
110 Display section
111 Video / Audio Reselection Unit
20 Terminal display device

Claims

In a speech generation section search method for searching for a speech generation section emitted from a specific sound source in a speech signal,
Input audio signals from each audio source to be recognized, extract the audio features, and combine the input audio signals from multiple audio sources to synthesize audio signals from multiple audio sources. , Extracting the voice feature quantity regarding the synthesized voice signals of the plurality of voice generation sources, the correspondence information between each voice generation source information and the voice feature quantity, and the plurality of the combined voice generation source information and the voice feature quantity. A voice database registration stage for registering the correspondence information with the voice database;
Inputting audio signal to be search, separate the audio signal input to the short-term for each predetermined time unit, extract audio features from each short interval, the sound source registered in the voice database of against the speech features, the result of the collation, the sound source the similarity may include a plurality of audio sources to the maximum, and sound source search stage recognizes that the audio source of short-term ,
Results of the sound source of the short interval obtained by said sound source search stage, the short interval among a collection of short sections of predetermined number, counts the number of occurrences of the sound source, Occurrences A short section in which a single voice generation source is recognized at a higher rank than a predetermined order in a rank having a higher number of voice generation sources as a higher rank, and is recognized as the single voice generation source in the medium to short section The sum of the number of appearances and the number of occurrences of short sections recognized as a plurality of sound sources including the single sound source is added up as the total number of appearances, and the total number of appearances is determined in advance. A speech source search result processing stage that identifies the single speech source as a speech source in the medium-to-short interval when the threshold is greater than a threshold ;
A speech generation section search method comprising: a speech generation section information output step of outputting speech generation section information over all sections of the input speech obtained by the speech generation source search result processing stage.

The speech generation section searching method according to claim 1 ,
In the voice generation section information output stage, all time zone information of the voice signal in which the designated voice generation source has produced voice is displayed, or voice source information that is generated at the time of the designated voice signal is displayed. A method for searching a speech generation section, characterized by:

In the speech generation section search method according to claim 1 or 2 ,
Based on the specific voice source information and the voice signal presented to the user in the voice generation section information output stage, the voice source information and the voice feature amount to the voice database are re-designated by the user. A speech generation section retrieval method comprising a speech database re-registration stage for registration.

In a speech generation section search device for searching for a speech generation section emitted by a specific speech generation source in a speech signal,
Input audio signals from each audio source to be recognized, extract the audio features, and combine the input audio signals from multiple audio sources to synthesize audio signals from multiple audio sources. , Extracting the voice feature quantity regarding the synthesized voice signals of the plurality of voice generation sources, the correspondence information between each voice generation source information and the voice feature quantity, and the plurality of the combined voice generation source information and the voice feature quantity. Voice database registration means for registering the correspondence information with the voice database;
Inputting audio signal to be search, separate the audio signal input to the short-term for each predetermined time unit, extract audio features from each short interval, the sound source registered in the voice database of against the speech features, the result of the collation, the sound source the similarity may include a plurality of audio sources to the maximum, and sound source searching means recognizes a speech source of short-term ,
Results of the sound source of the short interval obtained by said sound source searching means for short interval among a collection of short sections of predetermined number, counts the number of occurrences of the sound source, Occurrences A short section in which a single voice generation source is recognized at a higher rank than a predetermined order in a rank having a higher number of voice generation sources as a higher rank, and is recognized as the single voice generation source in the medium to short section The sum of the number of appearances and the number of occurrences of short sections recognized as a plurality of sound sources including the single sound source is added up as the total number of appearances, and the total number of appearances is determined in advance. Speech source search result processing means for identifying the single speech source as a speech source in the medium-to- short section when there are more than a threshold ;
A voice generation section search device comprising: voice generation section information output means for outputting voice generation section information over the entire section of the input voice obtained by the voice generation source search result processing means.

In the voice generation section search device according to claim 4 ,
The voice generation section information output means displays all the time zone information of the voice signal in which the designated voice generation source has produced the voice, or displays the voice source information that is generated at the time of the designated voice signal. A speech generation section searching device, characterized in that:

The speech generation section searching device according to claim 4 or 5 ,
Based on the specific voice generation source information presented to the user by the voice generation section information output means and the voice signal, the voice generation source information and the voice feature amount to the voice database are re-designated by the user. A speech generation section retrieval apparatus comprising speech database re-registration means for registration.

A program for causing a computer to execute a speech generation section search method for searching a speech generation section generated by a specific sound generation source in a speech signal,
Input audio signals from each audio source to be recognized, extract the audio features, and combine the input audio signals from multiple audio sources to synthesize audio signals from multiple audio sources. , Extracting the voice feature quantity regarding the synthesized voice signals of the plurality of voice generation sources, the correspondence information between each voice generation source information and the voice feature quantity, and the plurality of the combined voice generation source information and the voice feature quantity. A voice database registration process for registering correspondence information with the voice database;
Inputting audio signal to be search, separate the audio signal input to the short-term for each predetermined time unit, extract audio features from each short interval, the sound source registered in the voice database of against the speech features, the result of the collation, the sound source the similarity may include a plurality of audio sources to the maximum, and recognizing the speech source search processing with an audio source of short-term ,
Results of the sound source of the short interval obtained by said sound source search processing, the short interval among a collection of short sections of predetermined number, counts the number of occurrences of the sound source, Occurrences A short section in which a single voice generation source is recognized at a higher rank than a predetermined order in a rank having a higher number of voice generation sources as a higher rank, and is recognized as the single voice generation source in the medium to short section The sum of the number of appearances and the number of occurrences of short sections recognized as a plurality of sound sources including the single sound source is added up as the total number of appearances, and the total number of appearances is determined in advance. A speech source search result process for identifying the single speech source as a speech source in the medium-to-short interval when there are more than a threshold ;
A voice generation section information output process for outputting voice generation section information over the entire section of the input voice obtained by the voice generation source search result process;
A speech generation section search program to be executed by a computer.

A computer-readable recording medium storing a program for causing a computer to execute a sound generation section search method for searching a sound generation section generated by a specific sound generation source in a sound signal,
Input audio signals from each audio source to be recognized, extract the audio features, and combine the input audio signals from multiple audio sources to synthesize audio signals from multiple audio sources. , Extracting the voice feature quantity regarding the synthesized voice signals of the plurality of voice generation sources, the correspondence information between each voice generation source information and the voice feature quantity, and the plurality of the combined voice generation source information and the voice feature quantity. A voice database registration process for registering correspondence information with the voice database;
Inputting audio signal to be search, separate the audio signal input to the short-term for each predetermined time unit, extract audio features from each short interval, the sound source registered in the voice database of against the speech features, the result of the collation, the sound source the similarity may include a plurality of audio sources to the maximum, and recognizing the speech source search processing with an audio source of short-term ,
Results of the sound source of the short interval obtained by said sound source search processing, the short interval among a collection of short sections of predetermined number, counts the number of occurrences of the sound source, Occurrences A short section in which a single voice generation source is recognized at a higher rank than a predetermined order in a rank having a higher number of voice generation sources as a higher rank, and is recognized as the single voice generation source in the medium to short section The sum of the number of appearances and the number of occurrences of short sections recognized as a plurality of sound sources including the single sound source is added up as the total number of appearances, and the total number of appearances is determined in advance. A speech source search result process for identifying the single speech source as a speech source in the medium-to-short interval when there are more than a threshold ;
A voice generation section information output process for outputting voice generation section information over the entire section of the input voice obtained by the voice generation source search result process;
A recording medium for a speech generation section search program, wherein a program for causing a computer to execute is recorded.