JP6565416B2 - 音声検索装置、音声検索方法及びプログラム - Google Patents

Description

本発明は、音声検索装置、音声検索方法及びプログラムに関する。

音声検索では、検索対象とする検索語（クエリ）に対応する音声が発話されている箇所を音声信号の中から特定する検索技術を使用する。この音声検索技術では、高速かつ正確な音声検索を実現することが重要となる。

上記音声検索技術の１つとして、非特許文献１は、検索対象の音声信号と検索するクエリ音声信号とを高速に比較する技術を開示している。非特許文献１が開示する技術では、検索対象の音声信号の特徴量とクエリ音声信号の特徴量とを高速に比較する。

Ｙ．Ｚｈａｎｇ ａｎｄ Ｊ．Ｇｌａｓｓ． "Ａｎ ｉｎｎｅｒ−ｐｒｏｄｕｃｔ ｌｏｗｅｒ−ｂｏｕｎｄ ｅｓｔｉｍａｔｅ ｆｏｒ ｄｙｎａｍｉｃ ｔｉｍｅ ｗａｒｐｉｎｇ，" ｉｎ Ｐｒｏｃ． ＩＣＡＳＳＰ，２０１１，ｐｐ．５６６０−５６６３．

しかしながら、非特許文献１が開示する技術では、検索対象音声の入力者とクエリ入力者とが同一人物である場合、発話内容が異なるにもかかわらず音響的特徴が近似するために、検索語と異なる発話内容の位置を誤って検出する場合が有り、検索精度が低くなるという問題がある。

本発明は、以上のような課題を解決するためのものであり、検索対象音声の入力者とクエリ入力者とが同一人物である場合でも、より高精度に検索することが可能な音声検索装置、音声検索方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る音声検索装置は、
検索対象の音声信号に含まれるフレーム毎に、前記検索対象の音声信号の特徴量が音響モデルから作成した音素の各状態の特徴量と一致する確率である第２の確率を、音響モデルの音素の各状態と対応付けて記憶する出力確率記憶手段と、
クエリ音声信号に含まれるフレーム毎に取得され、前記クエリ音声信号の特徴量が前記音響モデルから作成した音素の各状態の特徴量と一致する確率であって、前記音響モデルの音素の各状態と対応付けられた第１の確率と、前記出力確率記憶手段が記憶する第２の確率とに基づいて、前記検索対象の音声信号の中から前記クエリ音声信号が発せられていると推定される推定区間を特定する特定手段と、
を備えることを特徴とする。

本発明によれば、クエリ入力者の音声が検索対象音声に一部含まれている場合でも、より高精度に検索することができる。

本発明の実施形態１に係る音声検索装置の物理構成を示す図である。 本発明の実施形態１に係る音声検索装置の機能構成を示す図である。 音素の状態について説明するための図である。 検索インデクスについて説明するための図である。 （ａ）は、検索対象の音声信号の波形図である。（ｂ）は、検索対象の音声信号において設定されるフレームを示す図である。（ｃ）は、検索対象の音声信号において指定される尤度取得区間を示す図である。 （ａ）は、クエリ音声信号の波形図である。（ｂ）は、クエリ音声信号において設定されるフレームを示す図である。 クエリ音声信号の出力確率について説明するための図である。 出力確率をＬｏｗｅｒ−Ｂｏｕｎｄ化する例を示す図である。 本発明の実施形態１に係る音声検索装置が実行する音声検索処理の流れを示すフローチャートである。

以下、本発明の実施形態に係る音声検索装置、音声検索方法及びプログラムについて、図面を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。

（実施形態１）
実施形態１に係る音声検索装置１００は、物理的には、図１に示すように、ＲＯＭ（Read Only Memory）１と、ＲＡＭ（Random Access Memory）２と、外部記憶装置３と、入力装置４と、出力装置５と、ＣＰＵ（Central Processing Unit）６と、バス７と、を備える。

ＲＯＭ１は、音声検索プログラムを記憶する。ＲＡＭ２は、ＣＰＵ６のワークエリアとして使用される。

外部記憶装置３は、例えば、ハードディスクから構成され、解析対象である音声信号、後述する検索インデックス、音響モデルをデータとして記憶する。

入力装置４は、マイク等の音声入力装置から構成される。入力装置４は、ユーザが入力した検索語（クエリ音声信号）を音声データとしてＣＰＵ６に供給する。出力装置５は、例えば、スピーカ、液晶ディスプレイの画面を備える。出力装置５は、ＣＰＵ６によって出力された音声データをスピーカから出力し、検索した検索語の音声信号における位置を画面に表示する。

バス７は、ＲＯＭ１、ＲＡＭ２、外部記憶装置３、入力装置４、出力装置５、ＣＰＵ６、を接続する。ＣＰＵ６は、ＲＯＭ１に記憶された音声検索プログラムをＲＡＭ２に読み出して、その音声検索プログラムを実行することにより、以下に示す機能を実現する。

音声検索装置１００は、機能的には、図２に示すように、音響モデル記憶部１０１と、出力確率記憶部１０２と、クエリ出力確率記憶部１０３と、クエリ音声信号取得部１１１と、フレーム列作成部１１２と、クエリ特徴量取得部１１３と、クエリ出力確率取得部１１４と、区間指定部１１５と、第２出力確率取得部１１６と、置換部１１７と、尤度取得部１１８と、繰り返し部１１９と、特定部１２０と、を備える。音響モデル記憶部１０１、出力確率記憶部１０２、クエリ出力確率記憶部１０３は、外部記憶装置３の記憶領域に構築されている。

音響モデル記憶部１０１は、モノフォンモデルの音響モデルを記憶する。モノフォンモデルは、１音素毎に生成された音響モデルであり、隣接する音素に依存しない音響モデルである。音声検索装置１００は、モノフォンモデルを一般的な方法で学習して、音響モデル記憶部１０１に予め記憶しておく。

モノフォンモデルとして、例えば、一般的な音声認識で利用される音響モデルであるＨＭＭ（Hidden Markov Model；隠れマルコフモデル）を利用できる。ＨＭＭは、統計的な手法により音声信号からその音声信号を構成する音素を確率的に推定するためのモデルである。ＨＭＭには、時間的な状態の揺らぎを示す遷移確率と、各状態から入力された特徴量と一致する確率（出力確率）と、をパラメータとした標準パターンを用いる。

音素とは、話者により発話された音声を構成する成分の単位である。例えば、「キゾクセイド」という単語は、「ｋ，ｉ，ｚ，ｏ，ｋ，ｕ，ｓ，ｅ，ｉ，ｄ，ｏ」という１１個の音素から構成される。音素は、さらに、複数の状態に分割される。

状態とは、音素を構成する最小の時間単位である。各音素に定められた状態数が「３」である場合を例にとって説明する。例えば、音声「あ」の音素「ａ」は、図３に示すように、この音素の発声開始時を含む第１の状態「ａ１」と、中間状態である第２の状態「ａ２」と、発声終了時を含む第３の状態「ａ３」と、の３つの状態に分けられる。すなわち、１音素は３つの状態から構成される。全ての音素が３つの状態から構成されている場合、音響モデルで利用される全音素の数をｍとすると、（ｍ×３）個の状態が存在する。

図２に戻って、出力確率記憶部１０２は、図４に示す検索インデックスを記憶する。検索インデックスとは、検索対象の音声信号に複数のフレームを設定し、そのフレームごとの音声の特徴量と音響モデルの音素の各状態の特徴量とが一致する確率である出力確率（第２の確率）を記憶したテーブルである。

音素の各状態の特徴量は、音素の状態ごとに音声信号から抽出した音声の特徴を表す数値である。この特徴量は、音声データを周波数軸上に変換して得られる周波数軸系特徴パラメータと、音声データのエネルギーの２乗和やその対数を計算することにより得られるパワー系特徴パラメータと、を組み合わせることによって得られる。

例えば周知のように、特徴量は、周波数軸系特徴パラメータ１２成分（１２次元）とパワー系特徴パラメータ１成分（１次元）、直前の時間窓の各成分との差分を取った周波数軸系特徴パラメータ１２成分（１２次元）とパワー系特徴パラメータ１成分（１次元）、及び、直前の時間窓の各成分との差分の差分を取った周波数軸系特徴パラメータ１２成分（１２次元）の、合計３８成分を有する３８次元ベクトル量として構成される。

検索対象の音声信号は、例えばニュース放送等の音声、録音された会議の音声、録音された講演の音声、映画の音声等に係る音声信号である。

フレームは、検索対象の音声信号とクエリ音声信号とを比較する時間窓である。本実施形態では、音素の状態ごとに検索対象の音声信号とクエリ音声信号とを比較して音声検出を行う。フレームの時間長には例えば、４０ｍｓを用いる。

検索対象の音声信号にフレームごとの区間を設定する方法について図５を参照して説明する。図５（ａ）は、先頭から末尾までの時間長Ｔの検索対象の音声信号の波形図である。縦軸は音声信号の強度を示し、横軸は時間を示す。図５（ｂ）は、図５（ａ）に示す音声信号において設定されるフレームを示す。図５（ｂ）に示すように、フレーム長ｔの区間を１シフト長Ｓずつシフトして、検索対象の音声信号にフレーム番号ｆ_１からｆ_Ｎの区間を設定する。フレーム番号ｆ_１の区間は、音声信号の先頭から始まる時間長ｔの区間である。フレーム番号ｆ_２の区間は、音声信号の先頭から１シフト長Ｓだけシフトした位置から始まる時間長ｔの区間である。以下同様に、シフト長Ｓずつシフトしてフレーム番号ｆ_Ｎまで設定される。

シフト長Ｓは、検索の精度を決める長さである。シフト長Ｓは、フレーム長ｔより短い値に設定される固定値である。例えば、フレーム長をｔ＝４０ｍｓとした場合は、シフト長をＳ＝１０ｍｓのように設定する。

検索インデックスは、検索対象の音声信号に設定したフレーム番号ｆ_１からｆ_Ｎの区間が、音響モデルの音素の各状態と一致する確率である出力確率（第２の確率）を音素の各状態と対応付けて記憶したテーブルである。この検索インデックスを作成するためには、まず、検索対象の音声信号の特徴量をフレーム番号ｆ_１からｆ_Ｎのフレーム毎に取得する。

そして、取得した特徴量と音響モデルの音素の各状態の特徴量とを比較することにより、フレーム番号ｆ_１からｆ_Ｎのフレームに含まれる音声信号の特徴量が音響モデルの音素の各状態の特徴量と一致する確率である出力確率（第２の確率）をフレーム毎に取得し、音素の各状態と対応付けた検索インデックスとして出力確率記憶部１０２に記憶しておく。音素の種類がｍ種類であり、音素の状態数が３である検索インデックスの例を図４に示す。図４の１列目は、シフト長Ｓずつシフトして作成したフレームのフレーム番号を示す。フレームごとの特徴量が音素の各状態の特徴量と一致する確率をｆ（ｘ，ｙ，ｚ）で表す。ｘ（ｘ＝１〜Ｎ）はフレーム番号を示し、ｙ（ｙ＝１〜ｍ）は音素番号を示し、ｚ（ｚ＝１〜３）は状態番号を示す。ｆ（１，１，１）は、フレーム番号ｆ_１のフレームに含まれる音声信号の特徴量が、音響モデルに含まれる音素１の状態１の特徴量と一致する確率を表す。フレーム番号ｆ_Ｘのフレームに含まれる音声信号の特徴量が、音響モデルに含まれる音素番号ｙの状態ｚの特徴量と一致する確率をｆ（ｘ，ｙ，ｚ）で表す。

図２に戻って、ユーザは、音声検索装置１００に対して、検索対象の音声信号から目的の音声が発話されている部分を検索するための検索語（クエリ）を音声で入力し、クエリ音声信号取得部１１１は、入力装置４を介してユーザが入力したクエリ音声信号を音声データとして取得する。

フレーム列作成部１１２は、クエリ音声信号取得部１１１が取得したクエリ音声信号をフレーム長ごとの区間に分割したフレーム列を作成する。クエリ音声信号のフレーム列について図６を参照して説明する。図６（ａ）は、先頭から末尾までの時間長Ｌのクエリ音声信号の波形図である。時間長Ｌはクエリ音声信号が発話される時間長（発話時間長）である。縦軸はクエリ音声信号の強度を示し、横軸は時間を示す。図６（ｂ）は、図６（ａ）に示すクエリ音声信号において設定されるフレームを示す。フレーム列作成部１１２は、図６（ｂ）に示すように、フレーム長ｔの区間を１シフト長Ｓずつシフトして、クエリ音声信号にフレーム番号ｇ_１からｇ_ｋの区間を設定する。フレーム長ｔは、検索インデックスを作成した際に用いたフレーム長ｔ（例えば、４０ｍｓ）と同じにする。シフト長Ｓも検索インデックス作成時と同じシフト長Ｓとする。フレーム番号ｇ_１の区間は、クエリ音声信号の先頭から始まる時間長ｔの区間である。フレーム番号ｇ_２の区間は、クエリ音声信号の先頭から１シフト長Ｓだけシフトした位置から始まる時間長ｔの区間である。以下同様に、シフト長Ｓずつシフトしてフレーム番号ｇ_ｋまで設定する。

図２に戻って、クエリ特徴量取得部１１３は、フレーム列作成部１１２が作成したフレーム列を構成するフレーム（ｇ_１〜ｇ_ｋ）ごとにクエリ音声信号の特徴量を取得する。特徴量の取得方法は、検索インデックス作成時と同じである。

クエリ出力確率取得部１１４は、クエリ特徴量取得部１１３が取得した特徴量に基づいて、この特徴量が音響モデルに含まれる音素の各状態の特徴量と一致する確率（第１の確率）をフレーム（ｇ_１〜ｇ_ｋ）ごとに取得し、音素の各状態と対応付けてクエリ出力確率記憶部１０３に記憶する。音素の種類がｍ種類であり、音素の状態数が３の場合を図７に示す。音素の種類数「ｍ」と状態数「３」は、検索インデックスの作成時と同じ数とする。図７の１列目は、フレーム列作成部１１２が作成したフレーム列を構成するフレームのフレーム番号を示す。そして、フレーム列を構成するフレーム（ｇ_１〜ｇ_ｋ）の特徴量が、音素の各状態の特徴量と一致する確率をｇ（ａ，ｙ，ｚ）で表す。ａ（ａ＝１〜ｋ）はクエリ音声信号のフレーム番号を示し、ｙ（ｙ＝１〜ｍ）は音素番号を示し、ｚ（ｚ＝１〜３）は状態番号を示す。

クエリ音声信号のフレーム数ｋは、クエリ音声信号の発話時間長Ｌとシフト長ｓを用いて、ｋ＝Ｌ／ｓで求めた値の小数点以下を切り捨てた自然数である。

図２に戻って、区間指定部１１５は、音声信号からクエリ音声信号の発話時間長Ｌの区間を尤度取得区間として複数指定する。尤度取得区間は、その区間からクエリ音声信号が発せられている尤度を取得する区間である。尤度とは、検索対象の音声とクエリ音声信号との類似の度合いを示す指標である。図５を参照して説明する。区間指定部１１５は、まず、検索対象の音声信号の先頭フレームｆ_１から始まるクエリ音声信号の発話時間長Ｌの区間を第１尤度取得区間として指定する。本実施形態では、クエリ音声信号を構成するフレームのフレーム数をｋ個としているので、第１フレームｆ_１から第ｋフレームｆ_ｋの区間を第１尤度取得区間として指定する。

次に、区間指定部１１５は、音声信号の第２フレームｆ_２から第（ｋ＋１）フレームｆ_ｋ＋１の区間を第２尤度取得区間として指定する。以下同様に、第Ｐ尤度取得区間まで指定する。なお、検索対象の音声信号の中で指定可能な尤度取得区間の数Ｐは、音声信号の時間長Ｔと尤度取得区間の時間長（クエリ音声信号の発話時間長）Ｌとシフト長Ｓとを用いて、Ｐ＝（Ｔ−Ｌ＋Ｓ）／Ｓで求めた値の小数点以下を切り捨てた自然数である。

図２に戻って、第２出力確率取得部１１６は、クエリ音声信号を構成する各フレームが検索対象の音声信号を構成する各フレームと一致する確率（第３の確率）を取得する。具体的には、クエリ音声信号の各フレームの特徴量が音素の各状態の特徴量と一致する確率（第１の確率）と、検索対象の音声信号の検索インデックスに記憶した確率（第２の確率）とを掛け合わせることにより、クエリ音声信号の各フレーム（ｇ_１〜ｇ_ｋ）の特徴量が検索対象の音声信号の各フレーム（ｆ_１〜ｆ_Ｎ）の特徴量と一致する確率（第３の確率）を求める。

図４と図７を参照して具体的に説明する。区間指定部１１５が、音声信号の先頭フレームｆ_１から始まる第１尤度取得区間を指定すると、第２出力確率取得部１１６は、クエリ音声信号の先頭フレームｇ_１と音声信号の先頭フレームｆ_１について音素の各状態の出力確率を掛け合わせることにより、クエリ音声信号の第１フレームｇ_１が検索対象の音声信号の第１フレームｆ_１と一致する確率を取得する。

具体的には、第２出力確率取得部１１６は、クエリ音声信号の第１フレームｇ_１と音声信号の第１フレームｆ_１が、ともに音素１の状態１である確率Ｐ（１，１，１）を式（１）から求める。クエリ音声信号の第１フレームｇ_１と音声信号の第１フレームｆ_１が、ともに音素２の状態１である確率Ｐ（１，２，１）を式（２）から求める。以下同様にして、第２出力確率取得部１１６は、クエリ音声信号の第１フレームｇ_１と音声信号の第１フレームｆ_１が、ともに音素ｍの状態３である確率Ｐ（１，ｍ，３）を式（３）から求める。
Ｐ（１，１，１）＝ｆ（１，１，１）×ｇ（１，１，１） ・・・式（１）
Ｐ（１，２，１）＝ｆ（１，２，１）×ｇ（１，２，１） ・・・式（２）
Ｐ（１，ｍ，３）＝ｆ（１，ｍ，３）×ｇ（１，ｍ，３） ・・・式（３）

このように、第２出力確率取得部１１６は、クエリ音声信号の第１フレームｇ_１について（ｍ×３）個の確率（第３の確率）を取得する。そして、（ｍ×３）個の確率を掛け合わせることにより、クエリ音声信号の第１フレームｇ_１が検索対象の音声信号の第１フレームｆ_１と一致する確率である出力確率Ｐ（１，１）を式（４）により取得する。

次に、第２出力確率取得部１１６は、クエリ音声信号の第２フレームｇ_２と音声信号の第２フレームｆ_２に対応する音素の各状態の出力確率を掛け合わせることにより、クエリ音声信号の第２フレームｇ_２が検索対象の音声信号の第２フレームｆ_２と一致する確率を取得する。具体的には、第２出力確率取得部１１６は、クエリ音声信号の第２フレームｇ_２について（ｍ×３）個の出力確率を取得する。そして、（ｍ×３）個の出力確率を掛け合わせることにより、クエリ音声信号の第２フレームｇ_２が検索対象の音声信号の第２フレームｆ_２と一致する確率である出力確率Ｐ（１，２）を式（５）により取得する。

以下同様にして、第２出力確率取得部１１６は、クエリ音声信号の第ｋフレームｇ_ｋまでの出力確率Ｐ（１，ｋ）を式（６）により取得する。

クエリ音声信号が検索対象の音声信号の先頭フレームｆ_１から始まる場合について出力確率の取得が終わると、区間指定部１１５は、音声信号の第２フレームｆ_２から始まる第２尤度取得区間を指定する。第２出力確率取得部１１６は、クエリ音声信号の先頭フレームｇ_１を検索対象の音声信号の第２フレームｆ_２に合わせて同様の計算を行う。

以下同様にして、第２出力確率取得部１１６は、第Ｐ尤度取得区間までの出力確率を求める。第２出力確率取得部１１６は、クエリ音声信号の先頭フレームｇ_１を検索対象の音声信号の第ｓフレームｆ_ｓに合わせた場合（第ｓ尤度取得区間）のクエリ音声信号の第ｊフレームｇ_ｊの出力確率を式（８）にて求める。

図２に戻って、置換部１１７は、第２出力確率取得部１１６が取得した出力確率のそれぞれを、そのフレームと隣接する前後数フレームの中で最大の出力確率に置換する。この置換処理は、Ｌｏｗｅｒ−Ｂｏｕｎｄ化と呼ばれる。

具体的に図８を参照して、Ｌｏｗｅｒ−Ｂｏｕｎｄ化を説明する。図８において、実線はフレーム毎に取得された出力確率を示す。縦軸は出力確率の高さを下になるほど高くなるように示し、横軸は時間を示す。置換部１１７は、各フレームの出力確率を、そのフレームと、そのフレームの前のＮ１個のフレームと、そのフレームの後のＮ２個のフレームの中で最大の出力確率に置き換える。Ｎ１とＮ２は０を含む自然数であるが、Ｎ１とＮ２のいずれかは０ではないものとする。

クエリ音声信号の先頭フレームｇ_１を音声信号の先頭フレームｆ_１に合わせた場合で、Ｎ１＝Ｎ２＝２として説明する。置換部１１７は、クエリ音声信号の第１フレームｇ_１の出力確率Ｐ（１，１）を、その前にフレームが無いので、自身の第１フレームｇ_１のＰ（１，１）とその後の第２フレームｇ_２のＰ（１，２）と第３フレームｇ_３のＰ（１，３）の中で最大の出力確率と置換する。置換部１１７は、クエリ音声信号の第２フレームｇ_２の出力確率Ｐ（１，２）を、その前の第１フレームｇ_１の（Ｐ１，１）と自身の第２フレームｇ_２のＰ（１，２）とその後の第３フレームｇ_３のＰ（１，３）と第４フレームｇ_４のＰ（１，４）の中で最大の出力確率と置換する。置換部１１７は、クエリ音声信号の第３フレームｇ_３の出力確率Ｐ（１，３）を、その前の第１フレームｇ_１のＰ（１，１）と第２フレームｇ_２のＰ（１，２）と、自身の第３フレームｇ_３のＰ（１，３）と、その後の第４フレームｇ_４のＰ（１，４）と第５フレームｇ_５のＰ（１，５）の中で最大の出力確率と置換する。このように、置換部１１７は、第ｋフレームまで置換処理を行う。置換の結果、図８に実線で示した出力確率は、破線で示したＬｏｗｅｒ−Ｂｏｕｎｄ化後の出力確率のように、時間方向において値の変化が小さくなった出力確率に変換される。

図２に戻って、尤度取得部１１８は、置換部１１７による置換後の出力確率に基づいて、区間指定部１１５が指定した尤度取得区間がクエリ音声信号が発せられている区間であることの尤もらしさを示す尤度を取得する。具体的には、尤度取得部１１８は、置換後の出力確率の対数をとって得られる値を、尤度取得区間の先頭から末尾までの全フレーム、この例ではｋフレームにわたって加算することにより、この尤度取得区間の尤度を取得する。すなわち、出力確率が高いフレームを多く含む尤度取得区間ほど、尤度取得部１１８が取得する尤度は高くなる。

繰り返し部１１９は、区間指定部１１５が指定する尤度取得区間の音声信号における指定区間を変えて、区間指定部１１５、第２出力確率取得部１１６、置換部１１７、及び尤度取得部１１８の処理を繰り返すように各部を制御する。１回目の処理では、検索対象の音声信号の第１フレームｆ_１から始まる第１尤度取得区間の尤度を求めたので、２回目は、検索対象の音声信号の第２フレームｆ_２から始まる第２尤度取得区間の尤度を求める。以後１フレームずつシフトして、第Ｐ尤度取得区間までの尤度を求める。

特定部１２０は、尤度取得部１１８が取得したＰ個の尤度に基づいて、検索対象の音声信号の中からクエリ音声信号が発せられていると推定される推定区間を特定する。例えば、特定部１２０は、尤度取得部１１８が取得した尤度が高い順に尤度取得区間をソートし、尤度が高い順に所定の数の区間を、推定区間として特定する。もしくは、尤度が所定の閾値以上の区間を推定区間として特定する。特定部１２０が特定した区間の位置情報は、検索結果として、出力装置５が備える画面を介して外部に表示される。

以上のような物理的構成及び機能的構成を有する音声検索装置１００が実行する音声検索処理を、図９に示すフローチャートを参照して説明する。

ユーザは、予め、音響モデルを音響モデル記憶部１０１に記憶しておく。また、検索対象の音声信号から図４に示す第２の確率を示す検索インデックスを作成し、出力確率記憶部１０２に記憶しておく。また、ユーザは、検索語（クエリ）を入力装置４から音声信号として入力する。ここでは、検索対象のクエリは、「キゾクセイド」とする。

ＣＰＵ６が、ＲＯＭ１から音声検索プログラムを読み出して、音声検索プログラムを実行することにより、図９に示すフローチャートは開始する。ユーザが、検索対象のクエリ音声信号を入力装置４から入力するとクエリ音声信号取得部１１１はクエリ音声信号を音声データとして取得する。そして、フレーム列作成部１１２は、取得したクエリ音声信号をフレームごとに分割したフレーム列を作成する（ステップＳ１０）。クエリ特徴量取得部１１３は、クエリ音声信号のフレーム列を構成するフレームごとに特徴量を取得する（ステップＳ１１）。

次に、クエリ出力確率取得部１１４は、クエリ音声信号のフレームごとに取得した特徴量が音響モデルの音素の各状態の特徴量と一致する確率（第１の確率）を取得し（ステップＳ１２）、図７に示すように、取得した出力確率を音素の各状態と対応付けてクエリ出力確率記憶部１０３に記憶する。

クエリ音声信号の出力確率（第１の確率）の取得が終わると、区間指定部１１５は、クエリ音声信号が検索対象の音声信号と一致する確率（第３の確率）を取得する尤度取得区間を複数設定し、尤度取得部１１８は、それぞれの尤度取得区間からクエリ音声信号が発せられている尤度を取得する。

そのために、区間指定部１１５は、まず、検索インデックスの先頭フレームｆ_１から始まる第１尤度取得区間を指定する（ステップＳ１３）。そして、第２出力確率取得部１１６は、式（４）によりクエリ音声信号の第１フレームｇ_１が検索対象の音声信号の第１フレームｆ_１と一致する確率（第３の確率）を求める。同様にして、第２出力確率取得部１１６は、クエリ音声信号の第ｋフレームｇ_ｋまでの出力確率（第３の確率）を式（６）により求める（ステップＳ１４）。

第２出力確率取得部１１６が出力確率を取得すると、置換部１１７は、フレーム毎に取得した出力確率を、そのフレームとそのフレーム前のＮ１個のフレームとそのフレーム後のＮ２個のフレームの、合計（１＋Ｎ１＋Ｎ２）個のフレームの中で最大の出力確率に置き換えることにより、Ｌｏｗｅｒ−Ｂｏｕｎｄ化処理を実行する（ステップＳ１５）。

尤度取得部１１８は、Ｌｏｗｅｒ−Ｂｏｕｎｄ化後の出力確率をフレームごとに対数をとって加算することにより、区間指定部１１５が指定した尤度取得区間の尤度を取得する（ステップＳ１６）。尤度取得部１１８が尤度を取得すると、繰り返し部１１９は、検索対象の音声信号における全区間の尤度取得が終了したか否かを判別する（ステップＳ１７）。

全区間の尤度取得が終了していない場合（ステップＳ１７；Ｎｏ）、繰り返し部１１９は、検索インデックスの位置を１フレーム進めた次の尤度取得区間を指定する（ステップＳ１８）。そして、区間指定部１１５が新たに指定した尤度取得区間に対して上述したステップＳ１４〜Ｓ１６の処理を繰り返す。

区間指定部１１５が第ｓ尤度取得区間を指定すると、第２出力確率取得部１１６は、第ｓ尤度取得区間に含まれるｋ個のフレームのそれぞれについて、式（８）により出力確率を求める（ステップＳ１４）。そして、求めたフレーム毎の出力確率をＬｏｗｅｒ−Ｂｏｕｎｄ化処理を実行する（ステップＳ１５）。尤度取得部１１８は、Ｌｏｗｅｒ−Ｂｏｕｎｄ化後の出力確率をフレームごとに対数をとって加算することにより、区間指定部１１５が指定した尤度取得区間の尤度を取得する（ステップＳ１６）。

このように、繰り返し部１１９は、第Ｐ尤度取得区間までの尤度を順次取得するように、区間指定部１１５、第２出力確率取得部１１６、置換部１１７、尤度取得部１１８を制御する。

最終的に、全区間の尤度取得が終了すると（ステップＳ１７；ＹＥＳ）、音声検索装置１００は、取得した尤度に基づいてクエリ音声信号に対応する区間を特定する処理（ステップＳ１９）に移行する。特定部１２０は、例えば、尤度取得区間ごとに取得したＰ個の尤度を尤度が高い順にソートし、尤度が閾値以上である区間を検索結果の区間として特定する。特定部１２０がクエリ音声信号に対応する区間を特定すると、特定部１２０は、出力装置５を介して特定結果を出力する（ステップＳ２０）。以上により、音声検索装置１００が実行する音声検索処理は終了する。

以上で説明したように、実施形態１に係る音声検索装置１００は、検索対象の音声信号とクエリ音声信号の特徴量を音響モデルの特徴量と一致する確率に置き換えて比較する。これにより、それぞれの人に固有な音響的特徴による影響を低減できる。したがって、クエリ入力者の音声が検索対象音声に一部含まれている場合であっても、それぞれの人に固有な音響的特徴に起因する誤検索を低減し、検索精度を高めることが出来る。

なお、以上の実施形態の説明では、音響モデルとしてモノフォンモデルを使用して音声検索する場合について説明した。しかし、本発明の用途はこれには限定されない。例えば、バイフォンモデルやトライフォンモデルを使用して音声検索する場合にも適用できる。

また、以上の実施形態では、モノフォンモデルを用いた一次検索に本発明を適用した場合について説明したが、実施形態１のステップＳ２０の後で、トライフォンモデルを用いた二次検索を行い、さらに検索精度を向上させてもよい。

また、実施形態１の説明では、区間指定部１１５が１シフト長ずつ尤度取得区間の先頭位置をシフトさせ、シフトさせる毎に第３の確率を求め、Ｌｏｗｅｒ−Ｂｏｕｎｄ化処理（置換処理）を行い、尤度を取得する処理をＰ回繰り返す説明をした。しかし、区間指定部１１５が、最初に第１尤度取得区間から第Ｐ尤度取得区間を指定した後で、第３の確率の取得、Ｌｏｗｅｒ−Ｂｏｕｎｄ化処理、尤度取得処理を行うようにしてもよい。

また、本実施形態では、各フレームの出力確率の対数をとって加算する処理を行う説明をしたが、各フレームの出力確率をかけ算する処理であるので、対数をとらずにそのまま出力確率のかけ算をしてもよいし、対数の代わりに近似式を用いてもよい。

また、本発明に係る機能を実現するための構成を予め備えた音声検索装置として提供できることはもとより、プログラムの適用により、既存のパーソナルコンピュータや情報端末機器等を、本発明に係る音声検索装置として機能させることもできる。すなわち、上記実施形態で例示した音声検索装置１００による各機能構成を実現させるためのプログラムを、既存のパーソナルコンピュータや情報端末機器等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る音声検索装置１００として機能させることができる。また、本発明に係る音声検索方法は、音声検索装置を用いて実施できる。

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、コンピュータが読取可能な記録媒体（ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto Optical disc）等）に格納して適用できる他、インターネット等のネットワーク上のストレージにプログラムを格納しておき、これをダウンロードさせることにより適用することもできる。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
検索対象の音声信号に含まれるフレーム毎に、前記検索対象の音声信号の特徴量が音響モデルから作成した音素の各状態の特徴量と一致する確率である第２の確率を、音響モデルの音素の各状態と対応付けて記憶する出力確率記憶手段と、
クエリ音声信号に含まれるフレーム毎に取得され、前記クエリ音声信号の特徴量が前記音響モデルから作成した音素の各状態の特徴量と一致する確率であって、前記音響モデルの音素の各状態と対応付けられた第１の確率と、前記出力確率記憶手段が記憶する第２の確率とに基づいて、前記検索対象の音声信号の中から前記クエリ音声信号が発せられていると推定される推定区間を特定する特定手段と、
を備えることを特徴とする音声検索装置。

（付記２）
検索対象の音声信号とクエリ音声信号とを比較する区間であるフレーム毎に、クエリ音声信号の特徴量を取得するクエリ特徴量取得手段と、
前記クエリ特徴量取得手段が取得したクエリ音声信号の特徴量に基づき、前記第１の確率を、音響モデルの音素の各状態と対応付けてフレーム毎に取得するクエリ出力確率取得手段と、
をさらに備えることを特徴とする付記１に記載の音声検索装置。

（付記３）
前記検索対象の音声信号におけるクエリ音声信号の発話時間長を有する区間である尤度取得区間を複数指定する区間指定手段と、
前記区間指定手段が指定した尤度取得区間が前記クエリ音声信号が発せられている区間であることの尤もらしさを示す尤度を、前記第１の確率と前記第２の確率とに基づいて取得する尤度取得手段と、
をさらに備え、
前記区間指定手段は、前記検索対象の音声信号における前記尤度取得区間の先頭位置を変えて複数の尤度取得区間を指定し、
前記尤度取得手段は、前記複数の尤度取得区間のそれぞれについて尤度を取得し、
前記特定手段は、前記区間指定手段が指定した尤度取得区間のそれぞれについて前記尤度取得手段が取得した尤度に基づいて、前記検索対象の音声信号の中から前記クエリ音声信号が発せられていると推定される推定区間を特定する、
ことを特徴とする付記１又は２に記載の音声検索装置。

（付記４）
前記複数の尤度取得区間のそれぞれについて、前記第１の確率と前記第２の確率とを前記尤度取得区間に含まれるフレーム毎に掛け合わせた第３の確率を取得する第２出力確率取得手段をさらに設け、
前記尤度取得手段は、前記第２出力確率取得手段がフレーム毎に取得した第３の確率の対数をとった値を加算して前記尤度取得区間の尤度を取得する、
ことを特徴とする付記３に記載の音声検索装置。

（付記５）
前記第２出力確率取得手段がフレーム毎に取得した第３の確率のそれぞれを、そのフレームとそのフレームの前のＮ１個のフレームとそのフレームの後のＮ２個のフレームの中で最大の出力確率に置換する置換手段をさらに備え、
前記Ｎ１と前記Ｎ２は０を含む自然数であって、前記Ｎ１と前記Ｎ２のいずれかは０ではなく、
前記尤度取得手段は、前記置換手段による置換後の出力確率に基づいて、前記区間指定手段が指定した前記尤度取得区間の尤度を取得する、
ことを特徴とする付記４に記載の音声検索装置。

（付記６）
検索対象の音声信号に含まれるフレーム毎に、前記検索対象の音声信号の特徴量が音響モデルから作成した音素の各状態の特徴量と一致する確率である第２の確率を、音響モデルの音素の各状態と対応付けて記憶する出力確率記憶工程と、
クエリ音声信号に含まれるフレーム毎に取得され、前記クエリ音声信号の特徴量が前記音響モデルから作成した音素の各状態の特徴量と一致する確率であって、前記音響モデルの音素の各状態と対応付けられた第１の確率と、前記出力確率記憶工程において記憶した第２の確率とに基づいて、前記検索対象の音声信号の中から前記クエリ音声信号が発せられていると推定される推定区間を特定する特定工程と、
を含む音声検索方法。

（付記７）
コンピュータを、
検索対象の音声信号に含まれるフレーム毎に、前記検索対象の音声信号の特徴量が音響モデルから作成した音素の各状態の特徴量と一致する確率である第２の確率を、音響モデルの音素の各状態と対応付けて記憶する出力確率記憶手段、
クエリ音声信号に含まれるフレーム毎に取得され、前記クエリ音声信号の特徴量が前記音響モデルから作成した音素の各状態の特徴量と一致する確率であって、前記音響モデルの音素の各状態と対応付けられた第１の確率と、前記出力確率記憶手段が記憶する第２の確率とに基づいて、前記検索対象の音声信号の中から前記クエリ音声信号が発せられていると推定される推定区間を特定する特定手段、
として機能させるためのプログラム。

１…ＲＯＭ、２…ＲＡＭ、３…外部記憶装置、４…入力装置、５…出力装置、６…ＣＰＵ、７…バス、１００…音声検索装置、１０１…音響モデル記憶部、１０２…出力確率記憶部、１０３…クエリ出力確率記憶部、１１１…クエリ音声信号取得部、１１２…フレーム列作成部、１１３…クエリ特徴量取得部、１１４…クエリ出力確率取得部、１１５…区間指定部、１１６…第２出力確率取得部、１１７…置換部、１１８…尤度取得部、１１９…繰り返し部、１２０…特定部

Claims (7)

1. 検索対象の音声信号に含まれるフレーム毎に、前記検索対象の音声信号の特徴量が音響モデルから作成した音素の各状態の特徴量と一致する確率である第２の確率を、音響モデルの音素の各状態と対応付けて記憶する出力確率記憶手段と、
   クエリ音声信号に含まれるフレーム毎に取得され、前記クエリ音声信号の特徴量が前記音響モデルから作成した音素の各状態の特徴量と一致する確率であって、前記音響モデルの音素の各状態と対応付けられた第１の確率と、前記出力確率記憶手段が記憶する第２の確率とに基づいて、前記検索対象の音声信号の中から前記クエリ音声信号が発せられていると推定される推定区間を特定する特定手段と、
   を備えることを特徴とする音声検索装置。
2. 検索対象の音声信号とクエリ音声信号とを比較する区間であるフレーム毎に、クエリ音声信号の特徴量を取得するクエリ特徴量取得手段と、
   前記クエリ特徴量取得手段が取得したクエリ音声信号の特徴量に基づき、前記第１の確率を、音響モデルの音素の各状態と対応付けてフレーム毎に取得するクエリ出力確率取得手段と、
   をさらに備えることを特徴とする請求項１に記載の音声検索装置。
3. 前記検索対象の音声信号におけるクエリ音声信号の発話時間長を有する区間である尤度取得区間を複数指定する区間指定手段と、
   前記区間指定手段が指定した尤度取得区間が前記クエリ音声信号が発せられている区間であることの尤もらしさを示す尤度を、前記第１の確率と前記第２の確率とに基づいて取得する尤度取得手段と、
   をさらに備え、
   前記区間指定手段は、前記検索対象の音声信号における前記尤度取得区間の先頭位置を変えて複数の尤度取得区間を指定し、
   前記尤度取得手段は、前記複数の尤度取得区間のそれぞれについて尤度を取得し、
   前記特定手段は、前記区間指定手段が指定した尤度取得区間のそれぞれについて前記尤度取得手段が取得した尤度に基づいて、前記検索対象の音声信号の中から前記クエリ音声信号が発せられていると推定される推定区間を特定する、
   ことを特徴とする請求項１又は２に記載の音声検索装置。
4. 前記複数の尤度取得区間のそれぞれについて、前記第１の確率と前記第２の確率とを前記尤度取得区間に含まれるフレーム毎に掛け合わせた第３の確率を取得する第２出力確率取得手段をさらに設け、
   前記尤度取得手段は、前記第２出力確率取得手段がフレーム毎に取得した第３の確率の対数をとった値を加算して前記尤度取得区間の尤度を取得する、
   ことを特徴とする請求項３に記載の音声検索装置。
5. 前記第２出力確率取得手段がフレーム毎に取得した第３の確率のそれぞれを、そのフレームとそのフレームの前のＮ１個のフレームとそのフレームの後のＮ２個のフレームの中で最大の出力確率に置換する置換手段をさらに備え、
   前記Ｎ１と前記Ｎ２は０を含む自然数であって、前記Ｎ１と前記Ｎ２のいずれかは０ではなく、
   前記尤度取得手段は、前記置換手段による置換後の出力確率に基づいて、前記区間指定手段が指定した前記尤度取得区間の尤度を取得する、
   ことを特徴とする請求項４に記載の音声検索装置。
6. 検索対象の音声信号に含まれるフレーム毎に、前記検索対象の音声信号の特徴量が音響モデルから作成した音素の各状態の特徴量と一致する確率である第２の確率を、音響モデルの音素の各状態と対応付けて記憶する出力確率記憶工程と、
   クエリ音声信号に含まれるフレーム毎に取得され、前記クエリ音声信号の特徴量が前記音響モデルから作成した音素の各状態の特徴量と一致する確率であって、前記音響モデルの音素の各状態と対応付けられた第１の確率と、前記出力確率記憶工程において記憶した第２の確率とに基づいて、前記検索対象の音声信号の中から前記クエリ音声信号が発せられていると推定される推定区間を特定する特定工程と、
   を含む音声検索方法。
7. コンピュータを、
   検索対象の音声信号に含まれるフレーム毎に、前記検索対象の音声信号の特徴量が音響モデルから作成した音素の各状態の特徴量と一致する確率である第２の確率を、音響モデルの音素の各状態と対応付けて記憶する出力確率記憶手段、
   クエリ音声信号に含まれるフレーム毎に取得され、前記クエリ音声信号の特徴量が前記音響モデルから作成した音素の各状態の特徴量と一致する確率であって、前記音響モデルの音素の各状態と対応付けられた第１の確率と、前記出力確率記憶手段が記憶する第２の確率とに基づいて、前記検索対象の音声信号の中から前記クエリ音声信号が発せられていると推定される推定区間を特定する特定手段、
   として機能させるためのプログラム。

Images