JP7655798B2

JP7655798B2 - 発話区間検出装置、発話区間検出方法及び発話区間検出装置プログラム

Info

Publication number: JP7655798B2
Application number: JP2021105624A
Authority: JP
Inventors: 悠樹高島; 翔太堀口
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2021-06-25
Filing date: 2021-06-25
Publication date: 2025-04-02
Anticipated expiration: 2041-06-25
Also published as: JP2023004116A

Description

本発明は、音声信号から話者毎の発話区間を判定する発話区間判定装置、発話区間検出方法及び発話区間検出装置プログラムに関する。

一般に、音声認識においては、話者の違いに頑健な認識性能を達成するために、話者ごとに計算された話者特徴を用いて音響モデルを特定話者に適応する方法が採用される。しかし、複数話者の発話からなる音声の場合、入力音声のどの区間をどの話者に適応させるかということが問題となる。

話者ごとの発話区間を判定する技術として、話者ダイアライゼーション技術が開発されている。話者ダイアライゼーションとは、与えられた音声収録に対して、「いつ、誰が発話したか」を判定する技術である。話者ダイアライゼーションにより得られる話者ごとの発話区間から計算される話者特徴を用いて、音響モデルの話者適応を行うことができる。

特定話者の音声だけを認識する技術として、目標話者音声認識技術が開発されており、代表的な特許文献として特許文献１が知られる。特許文献１では、入力された音声から発話話者の音声区間を抽出し、この音声区間から計算された話者特徴を用いて目標話者音声認識を実施する。

一方、話者ダイアライゼーションと同時に話者特徴を生成する技術が開発されており、代表的な非特許文献として非特許文献１が知られる。非特許文献１では、話者ダイアライゼーションにより得られた各話者の音声区間に対して話者特徴を計算する。

特開２０２１－１９８８号公報（特願２０１９－１１６０６５）

ＫｅｉｓｕｋｅＫｉｎｏｓｈｉｔａ，ｅｔａｌ．，"Ｉｎｔｅｇｒａｔｉｎｇｅｎｄ－ｔｏ－ｅｎｄｎｅｕｒａｌａｎｄｃｌｕｓｔｅｒｉｎｇ－ｂａｓｅｄｄｉａｒｉｚａｔｉｏｎ：Ｇｅｔｔｉｎｇｔｈｅｂｅｓｔｏｆｂｏｔｈｗｏｒｌｄｓ，"２０２１ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｃｏｕｓｔｉｃｓ，ＳｐｅｅｃｈａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ）．ＩＥＥＥ，２０２１（ｔｏａｐｐｅａｒ）．

複数の話者の音声が混合された音声データについて、話者ごとの話者特徴を抽出する場合、入力された音声データに存在する全話者の発話区間を判定し、話者ごとに判定された発話区間から話者特徴計算を実施する方法がある。しかし、この方法では、認識対象である目標話者について、その目標話者のみが発話している区間が少ない場合や、別の話者と重複している発話区間しか存在しない場合には、十分な発話量を確保することができない。

一方で、音声認識システムに対して独立に話者特徴を学習すると、学習された話者特徴は既存の音声認識システムでは使用できない。そのため、新たに音声認識システムを構築し直す必要がある。

本発明の目的は、既存の音声認識システムに対して、複数の話者の音声が混合された音声データから一人ひとりの音声認識を行えるような発話区間検出装置を提供する。

本発明の一態様の発話区間検出装置は、プロセッサとメモリを有する音声発話区間検出装置であって、複数の話者の音声が混合された音声データを受け付けて、前記音声データから各話者の発話区間の判定と、前記音声データに対して前記話者の識別が可能な中間話者特徴の抽出を実施する発話区間判定部と、前記音声データと前記中間話者特徴に基づいて、前記話者を識別可能な話者特徴を抽出する話者特徴抽出部と、を有し、前記プロセッサは、音声認識装置に入力された前記話者特徴を特定話者へ適応させることを特徴とする。

本発明の一態様によれば、既存の音声認識システムに対して、複数の話者の音声が混合された音声データから一人ひとりの音声認識を行うことができる。

本発明の実施例を示し、音声発話区間判定装置の一例を示すブロック図である。本発明の実施例を示し、音声発話区間判定装置で行われる発話区間判定と話者特徴抽出の一例を示す図である。本発明の実施例を示し、発話区間判定部の一例を示す図である。本発明の実施例を示し、発話区間判定部の処理の一例を示すフローチャートである。本発明の実施例を示し、話者特徴抽出部の一例を示す図である。本発明の実施例を示し、話者特徴抽出部の処理の一例を示すフローチャートである。本発明の実施例を示し、音声発話区間判定装置の学習の一例を示す図である。音声発話区間判定装置１００の処理の一例を示す図である。

以下、本発明の実施例を添付図面に基づいて説明する。

図１は、本発明の実施例を示し、音声発話区間判定装置１００の一例を示すブロック図である。
音声発話区間判定装置１００は、プロセッサ１と、メモリ２と、ストレージ装置３と、入力装置４と、出力装置５と、ネットワークインタフェース６を含む計算機で構成される。

メモリ２には、発話区間判定部２１と、話者特徴抽出部２２がプログラムとしてロードされ、プロセッサ１によって実行される。ストレージ装置３には、各プログラムが利用するデータ等が格納され、本実施例では、判定用音声データ３１が格納される。

入力装置４は、マウスやキーボードあるいはタッチパネルなどで構成される。出力装置５は、ディスプレイなどで構成される。ネットワークインタフェース６は、図示しないネットワークに接続される。

プロセッサ１は、各機能部のプログラムに従って処理することによって、所定の機能を提供する機能部として稼働する。例えば、プロセッサ１は、音声発話区間判定プログラムに従って処理することで発話区間判定部２１として機能する。他のプログラムについても同様である。さらに、プロセッサ１は、各プログラムが実行する複数の処理のそれぞれの機能を提供する機能部としても稼働する。計算機及び計算機システムは、これらの機能部を含む装置及びシステムである。

音声発話区間判定装置１００の各機能を実現するプログラム、テーブル等の情報は、ストレージ装置３や不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記憶デバイス、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

図２は音声発話区間判定装置１００の処理の一例を示す図である。
本実施例では、予め判定用音声データ３１がストレージ装置３に格納されている例を示す。ここで判定用音声データ３１は、複数の話者の音声が混在する音声データである。

まず、発話区間判定部２０１が、判定用音声データ３１を受け取り、判定用音声データ３１に含まれる話者の発話区間判定結果２０２と、判定用音声データ３１において話者を識別できる中間話者特徴２０３を生成する。発話区間判定部２０１では、当該音声に含まれる話者数に応じた発話区間判定結果２０２と中間話者特徴２０３が生成される。

判定用音声データ３１に含まれる話者数は、当該音声発話区間判定装置１００のユーザが入力装置４から入力してもよいし、自動で推定することもできる。
続いて、話者特徴抽出部２０４が、判定用音声データ３１と中間話者特徴２０３から、話者特徴２０５の生成を行う。

ここで、発話区間判定部２０１が出力する発話区間判定結果２０２には、各時刻で各話者が存在するかどうかの判定が含まれる。
最後に、音声認識装置２０６が話者特徴２０５を受け取り、特定話者への適応を行う。

前記音声認識装置２０６としては、例えば、ＧＭＭ－ＨＭＭ（ＧａｕｓｓｉａｎＭｉｘｔｕｒｅＭｏｄｅｌ：混合ガウスモデル、ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅｌ：隠れマルコフモデル）やＤＮＮ－ＨＭＭ（ＤｅｅｐＮｅｕｒａｌＮｅｔｗｏｒｋ：ディープニューラルネットワーク）など、話者を識別可能な話者特徴により特定話者への適応が可能な公知又は周知の手法を利用することができる。

図３は、発話区間判定部２１の構成要素の一例を示している。
発話区間判定部２１は、音声特徴量算出部１０、中間特徴計算部３０３、発話区間判定計算部３０４及び中間話者特徴抽出部３０５を有する。

まず、発話区間判定部２１は、判定用音声データ３１を受け付け、音声特徴量算出部１０が判定用音声データ３１の音声特徴量３０２を算出する。

中間表現計算部３０３、発話区間判定計算部３０４及び中間話者特徴抽出部３０５は、例えばニューラルネットワークで構成されており、中間表現計算部３０３は音声特徴量３０２を受け取る入力層を有する。

中間表現計算部３０３、発話区間判定計算部３０４及び中間話者特徴抽出部３０５で構成されるネットワークとしては、例えば、ＴｒａｎｓｆｏｒｍｅｒやＬＳＴＭ（ＬｏｎｇＳｈｏｒｔ－ｔｅｒｍｍｅｍｏｒｙ）を用いることができる。もしくは、ＤＮＮであってもよい。

続いて、中間表現計算部３０３は、音声特徴量３０２を受け付け、中間表現を計算する。そして、中間話者特徴抽出部３０５が中間表現を受け付け、中間話者特徴２０３を抽出する。

最後に、発話区間判定計算部３０４が、中間表現と中間話者特徴２０３から、各時刻及び判定用音声データ３１に含まれる各話者に対して、発話区間判定結果２０２を出力し、例えば、時刻のインデクス及び話者のインデクスにより制御される１次元の変数に対して存在確率を計算する。

図４は、発話区間判定部２１で行われる処理の一例を示すフローチャートである。この処理は、図２の発話区間判定部２０１で行われる処理である。
まず、発話区間判定部２１は、判定用音声データ３１を受け付け（ステップ５０１）、音声特徴量算出部１０が判定用音声データ３１の音声特徴量３０２を算出する（ステップ５０２）。

音声特徴量算出部１０が出力する音声特徴量３０２は、例えば、入力された判定用音声データ３１をＦＦＴ（ＦａｓｔＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ）で処理し、ＦＦＴの処理結果に基づいてＭＦＣＣ（ＭｅｌＦｒｅｑｕｅｎｃｙＣｅｐｓｔｒａｌｃｏｅｆｆｉｃｉｅｎｔ）：メル周波数ケプストラム係数）を計算する。

そして、音声特徴量算出部１０は、所定の時間区間（例えば、１０ｍｓｅｃ）の単位（フレーム）でＭＦＣＣの差分を算出して音声特徴量３０２とすることができる。なお、判定用音声データ３１の音声特徴量３０２については、上記に限定されるものではなく周知又は公知の手法を適用すればよい。

続いて、中間表現計算部３０３が音声特徴量３０２を受け付け、中間表現を計算し、中間話者特抽出部３０５が中間表現を受け付け、判定用音声データ３１に含まれる話者数に応じた中間話者特徴２０３を抽出する（ステップ５０３）。
最後に、発話区間判定計算部３０４が中間表現と中間話者特徴２０３から、話者特徴２０５を計算する（ステップ５０４）。

図５は、話者特徴抽出部２２の構成要素の一例を示している。
話者特徴抽出部２２は、音声特徴量算出部１０、中間表現計算部４０３及び話者特徴生成部４０４を有する。

まず、話者特徴抽出部２２は、判定用音声データ３１を受け付け、音声特徴量算出部１０が判定用音声データ３１の音声特徴量４０２を算出する。

中間表現計算部４０３及び話者特徴生成部４０４は、例えばニューラルネットワークで構成されており、中間表現計算部４０３は音声特徴量４０２を受け取る入力層を有する。また、話者特徴生成部４０４は、中間表現と中間話者特徴２０３を受け取る入力層を有する。なお、発話区間判定部２１の中間表現計算部３０３とネットワークの一部または全部を共有していてもよい。

続いて、中間表現計算部４０３は、音声特徴量４０２を受け付け、中間表現を計算する。
最後に、話者特徴生成部４０４は、中間表現と発話区間判定部２１から抽出された中間話者特徴２０３を受け付け、話者特徴２０５を抽出する。

図６は、話者特徴抽出部２２で行われる処理の一例を示すフローチャートである。この処理は、図２の話者特徴抽出部２０４で行われる処理である。
まず、話者特徴抽出部２２は、判定用音声データ３１を受け付け（ステップ６０１）、音声特徴量算出部１０が判定用音声データ３１の音声特徴量４０２を算出する（ステップ６０２）。

続いて、中間表現計算部４０３が音声特徴量４０２を受け付け、中間表現を計算する。話者特徴生成部４０４が中間表現と前記発話区間判定部２１から抽出された中間話者特徴２０３を受け付け、判定用音声データ３１に含まれる話者数に応じた話者特徴２０５を抽出する（ステップ６０３）。

図７は、音声発話区間判定装置の学習の一例を示している。
ここで学習するパラメータは、中間表現計算部３０３、発話区間判定計算部３０４、中間話者特徴抽出部３０５、中間表現計算部４０３及び話者特徴生成部４０４である。なお、中間表現計算のために、共通の中間表現計算部８０１（図８参照）を使用しても良い。

まず、学習用音声データ入力７０１に対して発話区間判定２０１を実行し、発話区間判定結果２０２と中間話者特徴２０３を算出する。そして、学習用音声データ入力７０１と中間話者特徴２０３を入力として話者特徴抽出２０４を実行し話者特徴２０５を算出する。

発話区間判定結果２０２について、学習用発話ラベル７０２に対する発話区間損失計算７０３を実行する。中間話者特徴２０３について、学習用発話ラベル７０２に対する中間話者特徴損失計算７０４を実行する。

発話区間損失計算７０３及び中間話者特徴損失計算７０４で計算する損失としては、公知又は周知の手法を適用すればよく、例えば、バイナリクロスエントロピーがあり、広く知られている。なお、発話区間損失については、上記に限定されるものではなく分類問題に用いられている他の周知又は公知の手法を適用してもよい。

話者特徴２０５について、学習用話者特徴ラベル７０６に対する話者特徴損失計算７０５を実行する。例えば、学習用話者特徴ラベル７０６はｉ－ｖｅｃｔｏｒを用いることができる。ｉ－ｖｅｃｔｏｒの算出方法としては、公知又は周知の手法を適用すればよく、例えば、”Ｆｒｏｎｔ－ｅｎｄｆａｃｔｏｒａｎａｌｙｓｉｓｆｏｒｓｐｅａｋｅｒｖｅｒｉｆｉｃａｔｉｏｎ．”（Ｄｅｈａｋ，Ｎａｊｉｍ，ｅｔａｌ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＡｕｄｉｏ，Ｓｐｅｅｃｈ，ａｎｄＬａｎｇｕａｇｅＰｒｏｃｅｓｓｉｎｇ１９．４（２０１０）：７８８－７９８．）に記載があり、広く知られている。なお、話者特徴２０５ついては、上記に限定されるものではなく音声認識システムに用いられている他の周知又は公知の手法を適用してもよい。

話者特徴損失計算７０５で計算する損失としては、公知又は周知の手法を適用すればよく、例えば、最小二乗誤差があり、広く知られている。なお、話者特徴損失については、上記に限定されるものではなく回帰問題に用いられている他の周知又は公知の手法を適用してもよい。
最後に、パラメータ更新７０７を実行することで更新済みのパラメータを得る。

得られた更新済みのパラメータで、中間表現計算部３０３、発話区間判定計算部３０４、中間話者特徴抽出部３０５、中間表現計算部４０３及び話者特徴生成部４０４の対応するパラメータを置き換える。これにより、学習が完了する。

図８は、音声発話区間判定装置１００の処理の一例を示す図である。
本実施例では、予め判定用音声データ３１がストレージ装置３に格納されている例を示す。ここで、判定用音声データ３１は、複数の話者の音声が混在する音声データであり、発話区間の重複を含み得る。

まず、中間表現計算部８０１が、判定用音声データ３１を受け取り、発話区間判定に有効な特徴を表す中間表現８０２を計算する。中間表現８０２は、中間話者特徴抽出部３０５、発話区間判定計算部３０４及び話者特徴生成部４０４の入力として使用される。

ここで、中間表現計算部８０１は、中間話者特徴抽出部３０５、発話区間判定計算部３０４及び話者特徴生成部４０４の間で共通としているが、中間話者特徴抽出部３０５と発話区間判定計算部３０４のための中間表現計算部３０３（図３参照）、話者特徴生成部４０４のための中間表現計算部４０３（図５参照）のように別のものを使用することも可能である。

続いて、中間話者特徴抽出部３０５が、中間表現８０２を受け取り、入力された判定用音声データ３１に対してのみ話者の識別が可能な中間話者特徴２０３を生成する。ここで、中間話者特徴２０３は、同じ話者を含む異なる判定用データに対して、それぞれの判定用データから生成した同じ話者の中間話者特徴２０３が同じものとなることを保証しない。

続いて、発話区間判定計算部３０４が、中間表現８０２と中間話者特徴２０３を受け取り、判定用音声データ３１に含まれる話者数に応じた発話区間判定結果２０２を生成する。

また、話者特徴生成部４０４が、中間表現８０２と中間話者特徴２０３を受け取り、任意の判定用音声データ３１に対して一意に話者の識別が可能な話者特徴２０５を生成する。ここで、話者特徴２０５は、音声認識装置２０６を話者特徴２０５が表す特定の話者に適応させるために使用することが可能である。

以上の一連の処理により、音声発話区間判定装置１００は、判定用音声データ３１に含まれる発話から、中間話者特徴２０３を抽出しながら発話区間判定を発話区間判定部２０１により実行する。さらに、中間話者特徴２０３に基づいて話者特徴抽出を話者特徴抽出部２０４により実行し、話者特徴２０５を生成する。

そして、生成された話者特徴２０５は音声認識装置２０６に入力され特定の話者への適応に使用される。これにより、複数の話者の発話が重複した区間からの話者特徴の抽出を、高精度で実現することが可能となる。

また、本実施例は、判定用音声データ３１を短い時間区間に分割してから音声発話区間判定装置１００入力することでオンライン動作させてもよい。その場合、話者特徴２０５を用いて、分割された時間区間にまたがる話者の一貫性を保証できる。

上記実施例によれば、重複区間の音声データも活用して話者特徴を生成できるので、話者特徴の精度の向上が期待できる。また、既存の音声認識モデルに組み込まれている話者特徴を出力するように音声発話区間判定モデルを学習するので、音声発話区間判定モデルが出力した話者特徴を用いて既存の音声認識モデルを特定話者に適応させることができる。

１プロセッサ
２メモリ
３ストレージ装置
４入力装置
５出力装置
６ネットワークインタフェース
１０音声特徴量算出部
２１発話区間判定部
２２話者特徴抽出部
３０３中間特徴計算部
３０４発話区間判定計算部
３０５中間話者特徴抽出部
４０３中間表現計算部
４０４話者特徴生成部

Claims

プロセッサとメモリを有する音声発話区間検出装置であって、
複数の話者の音声が混合された音声データを受け付けて、前記音声データから各話者の発話区間の判定と、前記音声データに対して前記話者の識別が可能な中間話者特徴の抽出を実施する発話区間判定部と、
前記音声データと前記中間話者特徴に基づいて、前記話者を識別可能な話者特徴を抽出する話者特徴抽出部と、を有し、
前記プロセッサは、
前記話者特徴を用いて、音声認識装置を特定話者に適応させ、
前記発話区間判定部は、
音声特徴量算出部、中間表現計算部、発話区間判定計算部及び中間話者特徴抽出部を有し、
前記音声特徴量算出部は、
前記音声データの音声特徴量を算出し、
前記中間表現計算部は、
前記音声特徴量を受け付け、中間表現を計算し、
前記中間話者特徴抽出部は、
前記中間表現を受け付け、前記音声データに含まれる話者数に応じた前記中間話者特徴を抽出し、
前記発話区間判定計算部は、
前記中間表現と前記中間話者特徴から、各時刻及び前記音声データに含まれる各話者に対して発話区間判定結果を出力し、
前記話者特徴抽出部は、
前記音声特徴量算出部、前記中間表現計算部及び話者特徴生成部を有し、
前記話者特徴生成部は、
前記中間表現と前記中間話者特徴を受け付け、前記音声データに含まれる話者数に応じた話者特徴を抽出し、
前記中間表現計算部、前記発話区間判定計算部、前記中間話者特徴抽出部及び前記話者特徴生成部で用いるパラメータの学習に関し、
学習用音声データ入力に対して前記発話区間の判定を実行し、前記発話区間判定結果と前記中間話者特徴を算出し、
前記学習用音声データ入力と前記中間話者特徴を入力として前記話者特徴の抽出を実行し、前記話者特徴を算出し、
前記発話区間判定結果について、学習用発話ラベルに対する発話区間損失計算を実行し、
前記中間話者特徴について、前記学習用発話ラベルに対する中間話者特徴損失計算を実行し、
前記話者特徴について、学習用話者特徴ラベルに対する話者特徴損失計算を実行し、
パラメータ更新を実行することで更新済みパラメータを得て、前記更新済みパラメータを用いて前記中間表現計算部、前記発話区間判定計算部、前記中間話者特徴抽出部及び前記話者特徴生成部の対応する前記パラメータを置き換えることにより前記学習を完了させることを特徴とする発話区間検出装置。
請求項１に記載の音声発話区間検出装置であって、
入力装置を更に有し、
前記音声データに含まれる前記話者数は、前記入力装置から入力されることを特徴とする発話区間検出装置。
請求項１に記載の音声発話区間検出装置であって、
前記発話区間判定部は、
各時刻において各話者が存在するかどうかを判定することを特徴とする発話区間検出装置。
請求項１に記載の音声発話区間検出装置であって、
前記プロセッサは、
前記発話区間判定部と前記話者特徴抽出部とを前記パラメータを有する１つのニューラルネットワークとみなして、
前記発話区間損失計算を実行することにより前記発話区間判定部によって取得された前記発話区間判定結果の正解に対する発話区間損失と、前記中間話者特徴損失計算を実行することにより前記発話区間判定部によって取得された前記中間話者特徴に対する中間話者特徴損失と、前記話者特徴損失計算を実行することにより前記話者特徴抽出部によって取得された前記話者特徴に対する話者特徴損失とがそれぞれ小さくなるように、前記ニューラルネットワークの前記パラメータを更新することを特徴とする発話区間検出装置。
プロセッサとメモリを有する音声発話区間検出方法であって、
複数の話者の音声が混合された音声データを受け付けて、前記音声データから各話者の発話区間の判定と、前記音声データに対して前記話者の識別が可能な中間話者特徴の抽出を実施する発話区間判定ステップと、
前記音声データと前記中間話者特徴に基づいて、前記話者を識別可能な話者特徴を抽出する話者特徴抽出ステップと、
前記話者特徴を用いて、音声認識装置を特定話者に適応させる適応ステップと、
を有し、
前記発話区間判定ステップは、
音声特徴量算出ステップ、中間表現計算ステップ、発話区間判定計算ステップ及び中間話者特徴抽出ステップを有し、
前記音声特徴量算出ステップは、
前記音声データの音声特徴量を算出し、
前記中間表現計算ステップは、
前記音声特徴量を受け付け、中間表現を計算し、
前記中間話者特徴抽出ステップは、
前記中間表現を受け付け、前記音声データに含まれる話者数に応じた前記中間話者特徴を抽出し、
前記発話区間判定計算ステップは、
前記中間表現と前記中間話者特徴から、各時刻及び前記音声データに含まれる各話者に対して発話区間判定結果を出力し、
前記話者特徴抽出ステップは、
前記音声特徴量算出ステップ、前記中間表現計算ステップ及び話者特徴生成ステップを有し、
前記話者特徴生成ステップは、
前記中間表現と前記中間話者特徴を受け付け、前記音声データに含まれる話者数に応じた話者特徴を抽出し、
前記中間表現計算ステップ、前記発話区間判定計算ステップ、前記中間話者特徴抽出ステップ及び前記話者特徴生成ステップで用いるパラメータの学習に関し、
学習用音声データ入力に対して前記発話区間の判定を実行し、前記発話区間判定結果と前記中間話者特徴を算出し、
前記学習用音声データ入力と前記中間話者特徴を入力として前記話者特徴の抽出を実行し、前記話者特徴を算出し、
前記発話区間判定結果について、学習用発話ラベルに対する発話区間損失計算を実行し、
前記中間話者特徴について、前記学習用発話ラベルに対する中間話者特徴損失計算を実行し、
前記話者特徴について、学習用話者特徴ラベルに対する話者特徴損失計算を実行し、
パラメータ更新を実行することで更新済みパラメータを得て、前記更新済みパラメータを用いて前記中間表現計算ステップ、前記発話区間判定計算ステップ、前記中間話者特徴抽出ステップ及び前記話者特徴生成ステップの対応する前記パラメータを置き換えることにより前記学習を完了させることを特徴とする発話区間検出方法。
プロセッサとメモリを有する計算機で音声発話区間検出を実行させるための音声発話区間検出プログラムであって、
複数の話者の音声が混合された音声データを受け付けて、前記音声データから各話者の発話区間の判定と、前記音声データに対して前記話者の識別が可能な中間話者特徴の抽出を実施する発話区間判定プログラムと、
前記音声データと前記中間話者特徴に基づいて、前記話者を識別可能な話者特徴を抽出する話者特徴抽出プログラムと、を有し、
前記話者特徴を用いて、音声認識装置を特定話者に適応させ、
前記発話区間判定プログラムは、
前記計算機を、音声特徴量算出部、中間表現計算部、発話区間判定計算部及び中間話者特徴抽出部として機能させ、
前記音声特徴量算出部は、
前記音声データの音声特徴量を算出し、
前記中間表現計算部は、
前記音声特徴量を受け付け、中間表現を計算し、
前記中間話者特徴抽出部は、
前記中間表現を受け付け、前記音声データに含まれる話者数に応じた前記中間話者特徴を抽出し、
前記発話区間判定計算部は、
前記中間表現と前記中間話者特徴から、各時刻及び前記音声データに含まれる各話者に対して発話区間判定結果を出力し、
前記話者特徴抽出プログラムは、
前記計算機を、前記音声特徴量算出部、前記中間表現計算部及び話者特徴生成部として機能させ、
前記話者特徴生成部は、
前記中間表現と前記中間話者特徴を受け付け、前記音声データに含まれる話者数に応じた話者特徴を抽出し、
前記中間表現計算部、前記発話区間判定計算部、前記中間話者特徴抽出部及び前記話者特徴生成部で用いるパラメータの学習に関し、
学習用音声データ入力に対して前記発話区間の判定を実行し、前記発話区間判定結果と前記中間話者特徴を算出し、
前記学習用音声データ入力と前記中間話者特徴を入力として前記話者特徴の抽出を実行し、前記話者特徴を算出し、
前記発話区間判定結果について、学習用発話ラベルに対する発話区間損失計算を実行し、
前記中間話者特徴について、前記学習用発話ラベルに対する中間話者特徴損失計算を実行し、
前記話者特徴について、学習用話者特徴ラベルに対する話者特徴損失計算を実行し、
パラメータ更新を実行することで更新済みパラメータを得て、前記更新済みパラメータを用いて前記中間表現計算部、前記発話区間判定計算部、前記中間話者特徴抽出部及び前記話者特徴生成部の対応する前記パラメータを置き換えることにより前記学習を完了させることを特徴とする音声発話区間検出プログラム。