JP4107613B2 - 残響除去における低コストのフィルタ係数決定法 - Google Patents

Description

本発明は、残響除去における低コストのフィルタ係数決定法に関する。更に詳しくは、音声パワースペクトルから残響除去するための低コストのフィルタ係数を決定する装置、方法、プログラムに関する。

一般に音声認識装置は長い残響が存在する環境においては、著しく性能が劣化することが知られている。そのため、前処理として観測音声に含まれる残響を除去することが期待される。そのため、下記のように様々な残響除去手法（従来法１〜５）が提案されている。

（従来法１：音声パワースペクトル領域で、前フレームの係数倍を削除する方法）
非特許文献１には、残響の音声パワーは指数的に減衰するという一般的な性質に基づき、１つ前（または過去数フレーム）の音声パワースペクトルの係数倍を、現在のフレームの音声パワースペクトルから減算することにより、残響を除去する方法が開示されている。なお、フレームとは、音声パワースペクトルに対してフーリエ変換を実行する幅をいう。

（従来法２：逆フィルタを用いる方法）
非特許文献２には、使用される環境がわかっていれば、予め部屋の伝達関数を求めておき、その逆フィルタを求めることにより、残響を除去するフィルタを構成することができるということが開示されている。

（従来法３：くし型フィルタ出力を原音とみなして、伝達関数を構成する方法）
非特許文献３には、調波構造を持った区間の音声を残響のない原音、調波構造のない区間の音声を残響とみなして、伝達関数を決定することが開示されている。この手法は、性能を上げるために繰り返し処理を行っている。

（従来法４：残響時間を使って、パワーエンベロープを整形する方法）
非特許文献４には、部屋の残響時間をパラメータとして音声波形のパワーエンベロープを急峻に整形しなおす方法が開示されている。

（従来法５：マルチステップ線形予測を用いる方法）
非特許文献５には、観測音声を予め白色化したうえで、時間領域でＤサンプル遅れた線形予測を構成し、その予測成分を後部残響成分とみなして、観測音声からスペクトル減算する方法が開示されている。

中村、滝口、鹿野、"短区間スペクトル分析における残響補性に関する検討"、日本音響学会研究発表講演論文集、３−６−１１、１０３−１０４、１９９８−３ 「多チャネル音声信号からのブラインド残響除去について」江村片岡（ＮＴＴ研究所）、２００６／３ 日本音響学会春季研究発表会 Ｎａｋａｔａｎｉ， Ｔ．， ａｎｄ Ｍｉｙｏｓｈｉ， Ｍ．， "Ｂｌｉｎｄ ｄｅｒｅｖｅｒｂｅｒａｔｉｏｎ ｏｆ ｓｉｎｇｌｅ ｃｈａｎｎｅｌ ｓｐｅｅｃｈ ｓｉｇｎａｌ ｂａｓｅｄ ｏｎ ｈａｒｍｏｎｉｃ ｓｔｒｕｃｔｕｒｅ，" Ｐｒｏｃ． ＩＣＡＳＳＰ−２００３， ｖｏｌ． １， ｐｐ．９２−９５， Ａｐｒ．， ２００３． 「パワーエンベロープ伝達関数の逆フィルタ処理による残響音声の回復」広林、野村、小池、東山、電子情報通信学会論文誌 ’９８／１０ Ｖｏｌ．Ｊ８１−Ａ Ｎｏ．１０ 「マルチステップ線形予測を用いた１ｃｈ残響除去法の検討」木下，中谷，三好（ＮＴＴ研究所）、２００６／３ 日本音響学会春季研究発表会 特開２００４−３４７７６１号公報

（従来法１）
この方法自身は計算量が少ないが、係数が、部屋の残響特性に依存するため、その決定方法が問題となる。そのため特許文献１の方法では、音響モデルを用いて、その係数をＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）とＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムで決定する方法を提案されている。しかし、この方法は、学習時に正解テキストを与える「教師付学習」が必要であるため、ユーザーに事前学習の負担がかかる、また、ＥＭアルゴリズムの繰り返し計算は、計算コストが高い、というデメリットがある。

（従来法２）
組み込み機器を想定した場合、複数マイクロフォンの実装が現実的ではない。また、測定または決定した伝達特性のインパルス応答が最小位相とならない場合があり、実際には逆フィルタの設計は困難であることが多い。

（従来法３）
音声認識の前処理としては、子音の存在を無視していること、Ｆ０（基本周波数）の変動を前提としていること、等の原理的な問題を含んでいると考えられる。また、くし型フィルタの計算のためのコストも大きい。

（従来法４）
この方法では、予め事前知識として部屋の残響時間がわかっているか、または、何らかの別の手法により、部屋の残響時間を決定できることが前提となっている。

（従来法５）
残響時間に対応した長いタップ長のフィルタを使用する（非特許文献５の例ではＤ＝５０００タップ）ため、計算コストが高いことが問題である。また、原理的には、Ｄサンプル遅れた線形予測成分は完全に残響成分と同一ではなく、残響のない環境においても、母音の継続長の長い部分では、それがゼロにならない、と予想される。従って、残響の除去以外に原音の劣化は起こるはずである。文献に示された実験では、音響モデルの側の学習にも、予めこの処理を行った音声を適用することにより、残響がない環境での副作用を回避していると考えられる。

上述のとおり、従来の残響除去手法では、多くの演算量を必要とするか、演算量が多くないものは何らかの事前知識（部屋の残響時間等）を必要としている。演算量が多ければ、低いＣＰＵリソースと実時間応答が求められる機器埋め込み型の音声認識装置への実装は、実際問題として不可能となる。また、いったんユーザーの手に渡ってしまえば、部屋の残響時間等の事前知識は利用することはできない。

本発明は、上記課題に鑑み、組み込み機器向けの残響除去装置として実用上満足できる性能を持ち、かつ、演算量の少ないシンプルな方法が提供することを目的とする。また、残響がない場合の副作用が少ないことも必要な要件である。

本発明では、以下の解決手段を提供する。

過去フレームの音声パワースペクトルの係数倍を現行フレームの音声パワースペクトルから減算する残響除去手法のフィルタ係数を求めるための方法であって、
発話区間での減算音声パワーと発話末尾残響区間での残差音声パワーとの重みつき総和を最小化するように、前記フィルタ係数を決定する方法を提供する。

すなわち、過去フレームの音声パワースペクトルの係数倍を現行フレームの音声パワースペクトルから減算する残響除去手法の係数決定処理において、発話区間での減算音声パワーと、発話末尾残響区間での残差音声パワーの重みつき総和を最小化するように、フィルタ係数を決定することを特徴とする。ここで、フレームとは、音声パワースペクトルに対してフーリエ変換を実行する幅をいう。

更に、上記構成において、前記発話末尾残響区間は、音声パワーの大小に応じて追随する速度を変化させる所定の音声パワートラックを求め、前記所定の音声パワートラックと、時間方向に平滑化した現行フレームの音声パワーとの差が、所定の閾値よりも大きくなる区間を前記発話末尾残響区間と判定することによって得られる。

すなわち、上記の発話末尾残響区間を決定するために、音声パワーの大きいフレームに速く追随し、音声パワーの小さいフレームに遅い追随を示す音声パワートラックを求め、時間方向に平滑化した現行フレームの音声パワーとの差が大きい部分を発話末尾残響区間と判定することを特徴とする。ここで、速く追随するとは、例えば、後述する（数１）式において、時定数α_ｈが大きいことを意味し、遅く追随するとは、時定数α_ｈが小さいことを意味する。上記の方法は、通常はコンピュータ上で、プロセッサ（ＣＰＵ）が、コンピュータの記憶部に格納されたコンピュータ・プログラムを実行することによって実現されるが、加算器や比較器などのハードウェアとコンピュータ・プログラムとを組み合わせることによっても実現され得る。

本発明の特徴をまとめると、過去フレームの音声パワースペクトルの係数倍を現行フレームの音声パワースペクトルから減算するという従来技術における係数決定問題を、音響モデルや多チャネル入力等計算コストのかかる情報を使用せずに、低コストに計算することである。具体的な方法としては、音声パワーの大きいフレームに速く追随し、音声パワーの小さいフレームに遅い追随を示す音声パワートラック（例えば、後述する関数Ｓ（Ｔ）で表される）を求め、時間方向に平滑化した現行フレームの音声パワー（例えば、後述のＰ（Ｔ）で表される）との差が大きい部分を発話末尾残響区間と判定し、その区間での残差音声パワーと、発話区間（残響区間を含まない）での減算音声パワーの重みつき総和を最小化するように、フィルタ係数を決定することである。また、本発明は、前記の方法を実装する装置、あるいは、コンピュータを上記装置として機能させるプログラムとしても提供できる。

本発明によればこの方式により、発話末尾残響区間では残響をなるべく消すように、すなわちフィルタ係数が大きくなるように、発話区間では大きなフィルタ係数によって原音声が劣化しないように、すなわちフィルタ係数が大きくなりすぎないように、フィルタ係数の学習を行うことができる。そのため、この方式は残響が少ない環境においては係数が自動的に小さくなり、副作用が少ない。また、実験によれば、この方式による残響除去により、残響なし（通常環境）を含む様々な残響環境において、ほとんど副作用なく音声認識性能を改善することができた。

以下、本発明の実施形態における各処理について図を参照しながら説明する。

図１は、本発明の一実施形態としての情報処理装置１０の機能ブロックを示した図である。本装置１０は、入力部１１と出力部１７、発話区間判定部１２、発話末尾残響区間判定部１３、記憶部１４、フィルタ係数決定部１５、残響除去実行部１６で構成される。ただし、このような構成はあくまで例示であり、機能的に同等な他の構成も本発明の範囲に含まれる。

本装置１０には、入力部１１を介して、観測音声パワースペクトル１と、後述する区間判定のための閾値２が入力される。入力された観測音声パワースペクトル１は、複数のフレームに分けられ、このフレーム単位で後続の処理がなされる。閾値２は、デフォルト値として装置内部の記憶部１４に保持しておき、変更がない限り入力を省略するようにしてもよい。入力された観測音声パワースペクトル１は、発話区間判定部１２と発話末尾残響区間判定部１３によって、発話区間と、発話末尾残響区間を判定する。発話区間判定には公知の技術が用いられるが、発話末尾残響区間の判定については、後で詳述する。

フィルタ係数決定部１５は、フレーム単位で観測音声のパワースペクトルを処理し、後に詳述する方法で、残響除去処理のためのフィルタ係数を算出する。この処理の前に観測音声スペクトルは平滑化されてもよい。なお、観測された音声は、発話区間と発話末尾残響区間に分けられるがどちらにも判定されない場合は雑音区間とみなされる。

残響除去実行部１６では、後述する（数２）式を用いて、音声観測音声パワースペクトルから上記で得られたフィルタ係数を用いて残響除去済の音声パワースペクトル３を求め、出力部１７を介して、結果を他のシステムに出力する。

図２は、本発明の処理方法の全体フローを示した図である。本処理の基本構成は、発話区間、発話末尾残響区間、雑音区間を判定するステップＳ１０と、フィルタ係数を決定するステップＳ２０、観測音声スペクトルからフィルタ係数を用いて残響除去を実行するステップＳ３０に大まかに分けられる。各ステップにおける詳細を、以下に説明する。

［ステップＳ１０ 区間の判定］
今回の発明では、後段の残響除去処理のために、発話末尾残響区間と発話区間を判定することが必要である。発話区間の判定については種々の従来技術を利用できる。例えば、ゼロ交差法（時間領域音声（ＰＣＭ）のゼロ点をクロスする数をカウントし、それが密にカウントされる部分を発話区間とみなす方法）、または、尤度による方法（音声と、雑音と、それぞれの特徴量（ケプストラム等）を、多次元混合正規分布としてモデル化し、現行フレームの音声の尤度（それぞれのモデルに入力した時の確率値）を比較する方法）、あるいは、調波構造による方法（音声が持つ調波構造を検出し、それが存在する区間を発話区間とみなす方法）等が挙げられる。しかしながら、発話末尾の残響区間を判定する方法はあまり知られていない。今回は、次の方法により、それを判定する。

残響環境ではスペクトルが時間方向に伸びるため、発話末尾のパワー変動が残響の少ない環境よりもゆるやかになる。パワーの上昇に早い追随を示し、逆にパワーの減少に遅い追随を示す関数Ｓ（Ｔ）を定義し、それと時間方向に平滑化した音声パワーＰ（Ｔ）との差が大きくなる区間を発話末尾の残響区間とみなす。すなわち、Ｓ（Ｔ）−Ｐ（Ｔ）＞γとなる区間（ここでγは判定のための閾値である）である。

図６は、発話末尾の残響区間判定例を示した図である。Ｓ（Ｔ）とＰ（Ｔ）の差の大きい発話末尾の残響部分がうまく判定できていることがわかる。

図３は、以上の区間判定ステップの詳細処理フローを示す図である。

まず、ステップＳ１１では、１フレーム分の観測音声を取得する。次に、ステップＳ１２において、数１で式を用いてＰ（Ｔ）、Ｓ（Ｔ）を計算する。そして、ステップＳ１３において前記の判定方法を用いて、当該フレームが発話末尾残響区間か否かの判定を行う。このステップＳ１１〜Ｓ１３の処理を全てのフレームについて行う（ステップＳ１４）。

特に図示していないが、上記とは別に発話区間の判定も行う。前述したように、発話区間の判定は、いろいろな従来手法が知られているのでここでは説明を省略する。また、発話区間でも発話末尾残響区間でもない区間は、雑音区間と分類する。

各音声トラックは以下のように定義される。ここで、Ｐ（Ｔ）、Ｓ（Ｔ）が求める音声トラックである。Ｐ（Ｔ）はＲＭＳ ｔｒａｃｋ、Ｓ（Ｔ）はｈｉｇｈ＿ｔｒａｃｋ、Ｑ（Ｔ）はｌｏｗ＿ｔｒａｃｋとも呼ばれる。なお、Ｐ（Ｔ）は、前後数フレームに渡って平滑化（スムージング）してもよい。また、α_ｌとα_ｋは時定数である。ただし、Ｘ［ｉ］は、フレームＴ（Ｔはフレーム番号）に属する時間領域音声データ、Ｎはフレーム番号Ｔに属する時間領域音声データのサンプル総数。また、Ｃ１，Ｃ２，Ｃ３は、任意の定数である。

図４は、発話末尾の残響区間判定例を示した図である。Ｓ（Ｔ）とＰ（Ｔ）の差の大きい発話末尾の残響部分がうまく判定できていることがわかる。

［ステップＳ２０ フィルタ係数の決定］
従来法１と同様に、残響除去後の音声を次のようにモデル化する。

ここで、
Ｄ_ω（Ｔ） 残響除去済み音声のパワースペクトル
Ｘ_ω（Ｔ） 観測音声のパワースペクトル
Ｗ（ｋ） フィルタ係数。

ただし、Ｔはフレーム番号、Ｌはフィルタ係数長であり、周波数帯域ωごとに処理される。また、Ｘω（Ｔ）は、前後数フレームに渡って平滑化（スムージング）処理を施してもよい。

発話末尾残響区間の残差音声パワーの２乗を考える。これは次のように与えられる。

また、発話区間での減算音声パワーの２乗を考える。これは、次のように与えられる。

ここで、両者の重み付き和を評価関数として定義する。Ｇ_Ｔａｉｌ，Ｇ_{Ｓｐｅｅｃｈ}はそれぞれの重み係数である。

これを最小化することを考える。すなわち、
より、Ｗ（ｋ）（ｋ＝１，・・・，Ｌ）は、次のように求められる。下記のＡ，Ｂ，Ｃはフィルタ係数長Ｌ次元のベクトルである。

ただし、Ｗ（ｋ）は非負でなければならない。Ｗ（ｋ）＜０であればＷ（ｋ）＝０と置き換え、上記Ｂを緩和法等の繰り返し演算により求める。

重みについては、今回は一例として次の式を用いる。これは、平均音声パワーによる正規化とみなすことができる。

ここで、Ｎ_Ｔａｉｌは、発話末尾残響区間（Ｔ∈Ｔａｉｌ）のフレーム総数である。Ｎ_{Ｓｐｅｅｃｈ}は、発話区間（Ｔ∈Ｓｐｅｅｃｈ）のフレーム総数である。

（処理のタイミングについて）
上記、Ｗ（ｋ）を求める処理は、次のような各種のタイミングで行うことができる。これには（Ａ），（Ｂ），（Ｃ）の方式がある。

（Ａ）現在の発話より以前の発話によりＷ（ｋ）を決定しておき、それを用いて当該発話の残響除去を行う。

（Ｂ）現在の発話をいったんバッファに蓄え、発話完了後に当該発話を用いて、Ｗ（ｋ）を決定し、更に残響除去を行う。

（Ｃ）新しいＸ_ω（Ｔ）が得られるごとに、逐次Ｗ（ｋ）を更新する形式（オンライン形式）として、求めることもできる。

ここでは、オンライン形式とは、データが流れてくるのと同時に、フィルタの更新と、残響除去と、除去後の音声の出力を同時に行うことをいう。逆に、オフライン形式とは、いったん、発話等の、大きなブロックで、いったんデータをどこかに蓄え、蓄え終わった後、ゆっくりと計算時間をかけて、処理を行う方式をいうものとする。

上記の（Ａ），（Ｂ）は、オフライン形式の処理である。（Ａ）は、残響除去にしようするフィルタ係数は、１つ前の発話が完了した時点で、計算してとっておき、それを用いて、現在の発話の残響除去を行う。これによれば、現在の発話の完了を待たずに、順次、残響除去後の音声を出力することができる。一方、（Ｂ）は、現在の発話の完了を待った上で、フィルタの更新と、残響除去と、除去後の音声の出力を行う。すなわち、入力音声の発話が完了しない限り、出力音声はでてこないことになる。

図５は、以上説明したフィルタ係数の決定ステップの詳細処理フローを示す図である。

まず、ステップＳ２１において、１フレーム分の観測音声のパワースペクトルＸ_ｍ（Ｔ）を取得する。この処理の前に観測音声は平滑化されていてもよい。次に、ステップＳ２２において、当該フレームは発話区間かどうかを判定する。この判定方法は既に述べたような公知の方法を用いてよい。当該フレームが発話区間であれば、ステップＳ２３に移り、（数１）式中のＡ、Ｇ_{Ｓｐｅｅｃｈ}を更新する。当該フレームが発話区間でない場合は、ステップＳ２４において、発話末尾残響区間かどうかが判断される。発話末尾残響区間であると判定されれば、ステップＳ２６において、ＡおよびＣの更新とＧ_Ｔａｉｌの更新を行う。発話末尾残響区間でないと判定されれば、ステップＳ２５において、後述の「フロアリング」処理を行うために、雑音のパワースペクトルＵ_ωの決定を行う。Ｕ_ωは、以下のように与えられる。
ここで、Ｎ_{Ｎｏｉｓｅ}は、発話区間でも発話末尾残響区間でもない区間、すなわち雑音区間（Ｔ∈Ｎｏｉｓｅ）のフレーム総数である。

以上のステップＳ２１〜Ｓ２６の処理を最終フレームに至るまで行う（ステップＳ２７）。最後に、ステップＳ２８において、Ｂ＝Ａ^−１・ＣによりＷを算出する。

［３．残響除去処理］
Ｗ（ｋ）が求まれば、残響除去後の音声は、以下の式で求められる（（数２）と同じ式）。
この後、通常のスペクトル減算と同様にフロアリングを行ってから、音声認識装置に渡される。ここで、「フロアリング」とは、残響除去後の結果が負または非常に小さな値になる場合に。その値を使わずに、適当な小さな正の値に置き換える処理をいう。フロアリング処理の詳細は、以下のようになる。

ここで、フロアリング係数βは、任意の定数である。

フロアリング後の音声パワースペクトルＺ_ω（Ｔ）を、音声認識装置に出力する。なお、出力先が音声認識装置でない場合には、フロアリングは必ずしも行う必要はない。

図６は、以上説明した残響除去処理ステップの詳細処理フローを示した図である。

ステップＳ３１において、１フレーム分の（平滑化）観測音声のパワースペクトルＸ_ｍ（Ｔ）を取得する。次に、ステップＳ３２で、フレームＴの残響除去済み音声のパワースペクトルＤ_ｍ（Ｔ）を（数２）式により計算する。そしてステップＳ３３において、フロアリング処理を行い、（数１１）式のＺ_ω（Ｔ）を求める。以上のステップＳ３１〜Ｓ３３を最終フレームに達するまで行い（ステップＳ３４）、その結果を出力する。

［評価実験］
以上説明した本発明の効果を検証するために評価実験を行った。

（実験の概要）
自社で収集した孤立単語音声（音声コマンド）にＲＷＣＰ（Ｒｅａｌ Ｗｏｒｌｄ Ｃｏｍｐｕｔｉｎｇ Ｐａｒｔｎｅｒｓｈｉｐ）実環境音声・音響データベース（「音声認識や音環境理解のための実環境音声・音響データベースの構築」、西村他、人口知能血球会資料ＪＳＡＩ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＳＩＧ−Ｃｈａｌｌｅｎｇｅ−０３１８−９，５５−６２Ｐ）で提供されているインパルス応答を畳み込んで評価を行った。評価データは男女各７５名による合計１９４９発話である（認識語彙数３６６種類のうち各人につき１０〜１２発話）。今回は伝達特性として、残響時間が０．３Ｓ，０．４３Ｓ，０．６Ｓ，１．３Ｓ（マイクまでの距離は２ｍ）のものを用い、残響除去処理の前後で性能の比較を行った。

音響モデルは標準的なｔｒｉｐｈｏｎｅ ＨＭＭで、特徴パラメータにはＭＦＣＣ（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ）と動的特徴を組み合わせた３９次元のパラメータを用いた。サンプリング周波数は１１ＫＨｚで、フレームサイズおよびシフト幅はそれぞれ２３ｍｓと１５ｍｓである。音響モデルの学習時には、評価で用いるような長い残響を含む音声を使っていない。

（実験結果と考察）
図７は、実験結果を示した図である。本実験ではフィルタ係数長Ｌは２０とし，発話単位でフィルタ係数の決定を行った後，残響を除去した。この実験結果から、フレーム長を大きく超えるような残響が音声に含まれると、性能が大幅に劣化することがわかる（特に０．４３Ｓ以上のケース）。本発明の手法はそのような長い残響を含む音声に対して顕著な改善を示した。特に、残響時間が０．６Ｓのとき１９．５％から１３．１％（誤り削減率３２．８％）、残響時間が１．３ｓのとき２３．５％から１５．３％（誤り削減率３４．９％）にまで誤りを削減した。

図８（ａ）は、残響除去処理前の音声パワースペクトル、図８（ｂ）は、除去後の音声パワースペクトルを示した図である。両者を比較すると、発話末尾に続く残響部分のスペクトルが提案手法によって抑圧されていることがわかる。

図９は、本発明の一実施形態にかかる情報処理装置１０のハードウェア構成を示す図である。以下は、コンピュータを典型とする情報処理装置として全般的な構成を説明するが、組み込み型装置の場合、その環境に応じて必要最小限な構成を選択できることはいうまでもない。

情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１０、バスライン１００５、通信Ｉ／Ｆ１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１０６０、パラレルポート１０８０、ＵＳＢポート１０９０、グラフィック・コントローラ１０２０、ＶＲＡＭ１０２４、音声プロセッサ１０３０、Ｉ／Ｏコントローラ１０７０、ならびにキーボードおよびマウス・アダプタ等１１００の入力手段を備える。Ｉ／Ｏコントローラ１０７０には、フレキシブル・ディスク（ＦＤ）ドライブ１０７２、ハード・ディスク１０７４、光ディスク・ドライブ１０７６、半導体メモリ１０７８、等の記憶手段を接続することができる。

音声プロセッサ１０３０には、増幅回路１０３２およびスピーカ１０３４が接続される。また、グラフィック・コントローラ１０２０には、表示装置１０２２が接続されている。

ＢＩＯＳ１０６０は、情報処理装置１０の起動時にＣＰＵ１０１０が実行するブートプログラムや、情報処理装置１０のハードウェアに依存するプログラム等を格納する。ＦＤ（フレキシブル・ディスク）ドライブ１０７２は、フレキシブル・ディスク１０７１からプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０またはハード・ディスク１０７４に提供する。

光ディスク・ドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この際は各ドライブに対応した光ディスク１０７７を使用する必要がある。光ディスク・ドライブ１０７６は光ディスク１０７７からプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０またはハード・ディスク１０７４に提供することもできる。

情報処理装置１０に提供されるコンピュータ・プログラムは、フレキシブル・ディスク１０７１、光ディスク１０７７、またはメモリーカード等の記録媒体に格納されて利用者によって提供される。このコンピュータ・プログラムは、Ｉ／Ｏコントローラ１０７０を介して、記録媒体から読み出され、または通信Ｉ／Ｆ１０４０を介してダウンロードされることによって、情報処理装置１０にインストールされ実行される。コンピュータ・プログラムが情報処理装置に働きかけて行わせる動作は、既に説明した装置における動作と同一であるので省略する。

前述のコンピュータ・プログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としてはフレキシブル・ディスク１０７１、光ディスク１０７７、またはメモリーカードの他に、ＭＤ等の光磁気記録媒体、テープ媒体を用いることができる。また、専用通信回線やインターネットに接続されたサーバシステムに設けたハード・ディスクまたは光ディスク・ライブラリ等の記憶装置を記録媒体として使用し、通信回線を介してコンピュータ・プログラムを情報処理装置１０に提供してもよい。

以上の例は、情報処理装置１０について主に説明したが、コンピュータに、情報処理装置で説明した機能を有するプログラムをインストールして、そのコンピュータを情報処理装置として動作させることにより上記で説明した情報処理装置と同様な機能を実現することができる。従って、本発明において１つの実施形態として説明した情報処理装置は、方法およびそのコンピュータ・プログラムによっても実現可能である。

本発明の装置は、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合せとして実現可能である。ハードウェアとソフトウェアの組み合せによる実施では、所定のプログラムを有するコンピュータ・システムでの実施が典型的な例として挙げられる。かかる場合、該所定のプログラムが該コンピュータ・システムにロードされ実行されることにより、該プログラムは、コンピュータ・システムに本発明にかかる処理を実行させる。このプログラムは、任意の言語、コード、または表記によって表現可能な命令群から構成される。そのような命令群は、システムが特定の機能を直接実行すること、または（１）他の言語、コード、もしくは表記への変換、（２）他の媒体への複製、の何れか一方もしくは双方が行われた後に、実行することを可能にするものである。もちろん、本発明は、そのようなプログラム自体のみならず、プログラムを記録した媒体を含むプログラム製品もその範囲に含むものである。本発明の機能を実行するためのプログラムは、フレキシブル・ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＤＶＤ、ハード・ディスク装置、ＲＯＭ、ＭＲＡＭ、ＲＡＭ等の任意のコンピュータ可読媒体に格納することができる。かかるプログラムは、コンピュータ可読媒体への格納のために、通信回線で接続する他のコンピュータ・システムからダウンロードしたり、他の媒体から複製したりすることができる。また、かかるプログラムは、圧縮し、または複数に分割して、単一または複数の記録媒体に格納することもできる。

［応用分野］
最後に、本発明の応用分野としては以下のようなものが考えられる。
（応用例１：音声認識装置の前処理−ロボット）
ホール、体育館、地下室、廊下、エレベータ、風呂場等、残響の多い場所でも使用される可能性があるロボットの音声認識装置の前処理として、入力音声から残響を除去する。

（応用例２：音声認識装置の前処理−家電）
将来家電への応用が期待されている音声認識機能の前処理として、入力音声から残響を除去する。

（応用例３：残響除去装置−電話会議システム）
電話会議システムにおいて、遠地点へ音声を送信する際に、会議室における残響を除去することにより、聞きやすさを改善する。

以上、本発明を実施形態に則して説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態または実施例に記載されたものに限定されるものではない。

本発明の一実施形態としての情報処理装置１０の機能ブロックを示した図である。 本発明の処理方法の全体フローを示す図である。 区間判定ステップの詳細処理フローを示す図である。 発話末尾の残響区間判定例を示す図である。 フィルタ係数の決定ステップの詳細処理フローを示す図である。 残響除去実行ステップの詳細処理フローを示す図である。 本発明の実験結果を示す図である。 評価実験における残響除去処理前のスペクトルを示す図である。 本発明の一実施形態にかかる情報処理装置１０のハードウェア構成を示す図である。

符号の説明

１ 観測音声パワースペクトル
２ 閾値
３ 残響除去済み音声パワースペクトル
１０ 情報処理装置
１１ 入力部
１２ 発話区間判定部
１３ 発話末尾残響区間判定部
１４ 記憶部
１５ フィルタ係数決定部
１６ 残響除去実行部
１７ 出力部

Claims (11)

1. 過去フレームの音声パワースペクトルの係数倍を現行フレームの音声パワースペクトルから減算する残響除去手法のフィルタ係数を求めるための方法であって、
   発話区間での前記現行フレームの音声パワースペクトルから減算する、前記過去フレームの音声パワースペクトルの係数倍である減算音声パワーと、前記発話区間のうち残響がない場合に比較して音声パワースペクトルの変動が緩やかな発話末尾残響区間での前記現行フレームの音声パワースペクトルから前記過去フレームの音声パワースペクトルの係数倍を減算した残差音声パワーとの重みつき総和を最小化するように、前記フィルタ係数を決定する方法。
2. 前記発話末尾残響区間は、音声パワーの大小に応じて追随する速度を変化させる所定の音声パワートラックを求め、前記所定の音声パワートラックと、時間方向に平滑化した現行フレームの音声パワーとの差が、所定の閾値よりも大きくなる区間を前記発話末尾残響区間と判定することによって得られる、請求項１に記載の方法。
3. 前記重みつき総和は、前記発話区間での前記減算音声パワーの２乗と前記発話末尾残響区間での前記残差音声パワーの２乗との重みつき総和である、請求項１に記載の方法。
4. 前記所定の音声パワートラックは、下記数１式のＳ（Ｔ）により、前記時間方向に平滑化した現行フレームの音声パワーは、下記数１式のＰ（Ｔ）によって求める、請求項２に記載の方法。
   ここで、
   Ｘ［ｉ］は、フレーム番号Ｔに属する時間領域音声データ、Ｎはフレーム番号Ｔに属する時間領域音声データのサンプル総数、Ｃ１，Ｃ２，Ｃ３は任意の定数。
5. 前記フィルタ係数の決定は、現在の発話より以前の発話によるフィルタ係数を記憶することによって決定する、請求項１に記載の方法。
6. 前記フィルタ係数の決定は、現在の発話を記憶し、当該発話の完了後に当該発話を用いて、フィルタ係数を決定する、請求項１に記載の方法。
7. 前記フィルタ係数の決定は、新しい観測音声のパワースペクトルが得られるごとに、逐次フィルタ係数を更新する、請求項１に記載の方法。
8. 過去フレームの音声パワースペクトルの係数倍を現行フレームの音声パワースペクトルから減算する残響除去手法のフィルタ係数を求めるための装置であって、
   発話区間のうち残響がない場合に比較して音声パワースペクトルの変動が緩やかな発話末尾残響区間を判定する発話末尾残響区間判定部と、
   前記発話区間での前記現行フレームの音声パワースペクトルから減算する、前記過去フレームの音声パワースペクトルの係数倍である減算音声パワーと、前記発話末尾残響区間での前記現行フレームの音声パワースペクトルから前記過去フレームの音声パワースペクトルの係数倍を減算した残差音声パワーとの重みつき総和を最小化するように、前記フィルタ係数を決定するフィルタ係数決定部とを備えた装置。
9. 前記発話末尾残響区間判定部は、音声パワーの大小に応じて追随する速度を変化させる所定の音声パワートラックを求め、前記所定の音声パワートラックと、時間方向に平滑化した現行フレームの音声パワーとの差が、所定の閾値よりも大きくなる区間を前記発話末尾残響区間と判定する、請求項８に記載の装置。
10. 過去フレームの音声パワースペクトルの係数倍を現行フレームの音声パワースペクトルから減算する残響除去手法のフィルタ係数を求めるためのコンピュータ・プログラムであって、
    コンピュータに、
    発話区間での前記現行フレームの音声パワースペクトルから減算する、前記過去フレームの音声パワースペクトルの係数倍である減算音声パワーと、前記発話区間のうち残響がない場合に比較して音声パワースペクトルの変動が緩やかな発話末尾残響区間での前記現行フレームの音声パワースペクトルから前記過去フレームの音声パワースペクトルの係数倍を減算した残差音声パワーとの重みつき総和を最小化するように、前記フィルタ係数を決定させるコンピュータ・プログラム。
11. 前記発話末尾残響区間は、音声パワーの大小に応じて追随する速度を変化させる所定の音声パワートラックを求め、前記所定の音声パワートラックと、時間方向に平滑化した現行フレームの音声パワーとの差が、所定の閾値よりも大きくなる区間を前記発話末尾残響区間と判定することによって得られる、請求項１０に記載のコンピュータ・プログラム。