JP7675936B2 - 異常音を検出するための方法およびシステム - Google Patents

Description

本開示は、一般的に異常の検出に関し、より詳しくは異常音を検出するための方法およびシステムに関する。

機械運転性能の診断および監視は、様々な用途に対して重要である。診断作業および監視作業は、通常、熟練技術者によって手作業で行われる。例えば、熟練技術者は、機械によって生成された音を聴取し分析することによって、異常音を判定することができる。この音を分析するための手動プロセスを自動化することによって、機械によって生成された音声信号を処理し、音声信号中の異常音を検出することができる。この自動化音声診断は、異常音を検出するように、深層学習技術に基づいて訓練されてもよい。典型的には、この自動化音声診断は、音声診断の正常動作状態に対応する訓練データを用いて、異常音を検出するように訓練されてもよい。このような訓練データに基づく異常音検出は、教師なし方法である。教師なし異常音検出は、特定の種類の異常、例えば、突然の一時的な変化に基づいて検出され得る突然の過渡的な外乱または衝動音などの検出に適する場合がある。

しかしながら、突然の一時的な変化は、異常音を検出するための音声周波数領域の変化情報が不足する場合がある。異常音を検出するための周波数の変化の不足は、望ましくない不正確な結果をもたらす可能性がある。場合によっては、非定常音の音声信号の全体を処理することによって、音声信号中の異常音を検出することができる。しかしながら、音声信号には異常音の発生が少ない場合がある。このような異常音の発生が少ない音声信号を長時間処理することは、時間とコンピューティングリソースを消費する可能性があり、実行不可能である。場合によっては、処理に時間がかかるため、より少ない異常音の発生が検出されない場合がある。

したがって、上記の問題を解決する必要がある。より具体的には、効率的且つ実現可能な方法で音声信号中の異常音を検出するための方法およびシステムを開発する必要がある。

本開示の様々な実施形態は、音声信号中の異常音を検出するためのシステムおよび方法を開示する。いくつかの実施形態の目的は、深層学習技術を用いて異常音を検出することである。

従来、音声信号中の異常音は、オートエンコーダまたは変分オートエンコーダに基づいて検出されてもよい。オートエンコーダは、音声信号を圧縮し、圧縮されたデータから元の音声信号を再構築することができる。変分オートエンコーダは、音声信号の確率分布（例えば、ガウス分布）のパラメータを決定することによって、元の音声信号を再構築することができる。再構築された音声信号を元の音声信号と比較することによって、音声信号中の異常音を検出するための再構築誤差を決定することができる。より具体的には、音声信号は、時間に対する様々な周波数の音声信号の信号強度または音量の視覚表現を含むスペクトログラムとして表されてもよい。

いくつかの実施形態において、音声信号の時間－周波数ドメインの特定の領域のスペクトログラムをマスクすることができる。マスクされた領域は、ニューラルネットワークの訓練中に予め指定されてもよい。ニューラルネットワークは、マスクされていない領域を処理して、音声信号のマスクされた領域のスペクトログラムを再構築する。再構築されたスペクトログラムを元のスペクトログラムと比較して、再構築誤差を求める。再構築誤差は、元のスペクトログラムと再構築されたスペクトログラムとの間の差である。再構築誤差を用いて、異常音を検出することができる。

本開示のいくつかの実施形態は、機械の正常動作の正常音などの非異常音データに対応する訓練データに基づいて、異常音を検出するためのオートエンコーダを訓練することができるという理解に基づいている。非異常データを用いて訓練されたオートエンコーダは、「正常」（非異常）データサンプルのデータ分布をモデル化することができる。しかしながら、正常データを再構築するように学習するオートエンコーダが異常音を検出できるため、再構築誤差が大きくなる可能性がある。場合によっては、オートエンコーダは、音声信号の領域を再構築するために、予め指定した固定の時間－周波数位置の特定の領域上で訓練されてもよい。しかしながら、オートエンコーダは、正常音と区別可能な領域を決定するための動的探索の実行に適していない場合がある。区別可能な領域とは、音声信号中の潜在的な異常音に対応する領域である。

しかしながら、正常音データに基づいて訓練されたオートエンコーダは、正常音とは異なる異常音を再構築できない場合がある。推論中、いくつかの音は、時間的に変化し、非常に非定常な挙動を示す場合がある。例えば、機械（例えば、バルブまたはスライダ）によって生成された非定常音は、時間的に変動するまたは非定常な挙動を示すことがある。オートエンコーダは、時間的に変動するまたは非定常音に基づいて異常音を再構築することが困難である。このような状況において、オートエンコーダによって決定された時間的に変動するまたは非定常音に対応する再構築誤差は、不正確になる可能性がある。再構築誤差は、機械の正常動作条件に対しても高くなり、異常音を検出することが困難になる可能性がある。

本開示のいくつかの実施形態は、音声信号中の周囲情報からの一部の時間信号を処理することができるという認識に基づいている。この一部の時間信号を処理する手法は、再構築されたスペクトログラムを生成するために音声信号の全長を処理しなくてもよい。また、一部の音声信号を処理することは、様々な周波数を有する発話信号および音波を含む非定常音の性能を改善することができる。

そのために、一部の時間信号に基づいて、音声信号のスペクトログラムの特定の領域をマスクすることができる。オートエンコーダは、スペクトログラムのマスクされた領域を処理することによって、スペクトログラムを再構築することができる。再構築されたスペクトログラムをスペクトログラムと比較して、再構築誤差を得ることができる。再構築誤差は、異常スコアとしてスペクトログラムのマスクされた領域に使用されてもよい。しかしながら、オートエンコーダは、音声信号の周波数情報を提示することがあるため、異常音を検出するのに正確ではない場合がある。また、オートエンコーダは、異常音がスペクトログラムに発生し得る時間および／または周波数領域に関する事前情報を組み込むことができない場合がある。

いくつかの実施形態は、非定常音声信号の異常を検出する困難さが、対応するスペクトログラムの異常領域の時間および周波数位置の可変性および多様性に対応する可能性があるという認識に基づいている。具体的には、非定常音声信号（例えば、発言、心電図（ＥＣＧ）信号、機械音など）の領域を再構築し、当該領域の異常を検査することは、当該領域を音声信号の残りの領域の変動性から除外し、異常検出を関心領域に集中させることができる。しかしながら、非定常音声信号の汎用性は、異常音を含み得る時間および周波数位置の汎用性をもたらす可能性がある。したがって、オンラインモードの異常検出中に、すなわち、オンライン異常音検出中に、音声信号の特定の領域を検査することができる。追加的にまたは代替的に、オンライン異常音検出中に、音声信号中の潜在的に異常な領域を検査することもできる。

そのために、本開示のいくつかの実施形態は、注意型ニューラルプロセスアーキテクチャ（attentive neural process architecture）を用いて非定常音声信号中の異常音を検出するためのニューラルネットワークを開示する。注意型ニューラルプロセスアーキテクチャは、信号の分布を推定するためのメタ学習フレームワークである。いくつかの実施形態は、注意型ニューラルプロセスアーキテクチャを用いて画像の欠落部分を復元することができるという理解に基づいている。例えば、指が写真を撮影するカメラの一部を誤って遮蔽した場合、写真における人の顔を完全に撮影できないことがある。撮影された写真には、人の顔が遮蔽物によって部分的に覆われており、例えば、人の顔の額の部分が遮蔽物によって覆われている場合がある。遮蔽物が既知であるため、人の顔の覆われた部分を復元することができる。そのために、いくつかの実施形態において、注意型ニューラルプロセスアーキテクチャは、音声信号のスペクトログラム内の異なる領域を検索および復元するように構成されてもよい。異なる領域は、スペクトログラムの潜在的な異常音に対応し得る領域を含んでもよい。いくつかの実施形態において、潜在的な異常音の領域は、信号特性または事前知識、例えば既知の異常音挙動などに基づいて決定されてもよい。信号特性または事前知識を使用すると、訓練時の領域の事前定義データを必要としない。

したがって、異常音を検出するために、音声信号のスペクトログラムをコンテキスト領域およびターゲット領域などの領域に分割することができる。コンテキスト領域は、スペクトログラムから選択された時間－周波数部分を含む。ターゲット領域は、異常音を検出するために、スペクトログラムから予測された時間－周波数部分に対応する。いくつかの実施形態において、ニューラルネットワークは、訓練用スペクトログラムの異なる区画をコンテキスト領域およびターゲット領域にランダムにまたは擬似ランダムに選択することによって訓練されてもよい。訓練されたスペクトログラムは、異常スペクトログラムライブラリを作成するために使用され得る異常音に対応する。異常スペクトログラムライブラリを用いて、ニューラルネットワークの試験中にスペクトログラムの予測困難なターゲット領域を特定することができる。いくつかの実施形態において、特定されたターゲット領域を１つ以上の仮説として利用して、最大の異常スコアを決定することができる。最大の異常スコアは、スペクトログラム内の可能性の高い異常領域（すなわち、異常音）に対応する。いくつかの実施形態において、１つ以上の仮説は、スペクトログラムの一時的な中間部分を復元するための中間フレーム仮説手順と、スペクトログラムの高周波数領域または低周波数領域からスペクトログラムの特定の周波数領域を復元するための周波数マスキング仮説手順と、スペクトログラムの隣接するまたは調和的に関連する周波数領域から個々の周波数領域を復元するための周波数マスキング仮説手順と、スペクトログラムの高エネルギー時間－周波数部分を復元するためのエネルギーベースの仮説手順と、スペクトログラムのマスクされた周波数領域および時間フレームからランダムに選択されたサブセットを復元するための手順と、スペクトログラムの異なるコンテキスト領域を実行し、高い再構築尤度でスペクトログラム全体を復元するための尤度ブートストラッピング手順と、上記の仮説生成手順を組み合わせることによって最大の異常スコアを求めるアンサンブル手順とを含むことができる。

さらに、ニューラルネットワークの試験中に、スペクトログラムの複数の区画を生成することができ、所定のプロトコルに基づいて対応する異常スコアを決定すること、例えば、平均平方誤差、ガウス対数尤度または再構築誤差の任意の他の統計的表現を計算することができる。異常スコアから最大の異常スコアを決定することができ、最大の異常スコアを用いて異常音を検出することができる。異常音を検出した後、制御動作を実行することができる。

いくつかの実施形態は、スペクトログラムから再構築することが困難な領域を決定するための反復手法を開示する。そのために、スペクトログラムを異なる組み合わせのコンテキスト領域およびターゲット領域に分割することによって、一組のコンテキスト領域と対応する一組のターゲット領域とを生成することができる。一組のコンテキスト領域は、ニューラルネットワークに提供される。ニューラルネットワークを複数回実行することによって、一組のコンテキスト領域を処理することができる。具体的には、一組のコンテキスト領域内の各コンテキスト領域に対してニューラルネットワークを１回ずつ実行することによって、ターゲット領域を復元することができる。ニューラルネットワークの各実行から復元された各ターゲット領域を合計することによって、一組のターゲット領域を復元することができる。復元された一組のターゲット領域を一組のターゲット領域と比較することによって、一組の異常スコアを得ることができる。より具体的には、復元された一組のターゲット領域の各ターゲット領域は、対応する一組のターゲット領域の各ターゲット領域と比較される。この比較は、復元された一組のターゲット領域の各ターゲット領域と一組のターゲット領域の各ターゲット領域との間の再構築誤差を決定する。再構築誤差は、異常スコアとして全てのターゲット領域に使用されてもよい。いくつかの実施形態において、異常スコアは、一組の異常スコアに対するプーリング演算に基づいて決定され得る平均異常スコアまたは合計異常スコアに対応してもよい。プーリング演算は、平均プーリング演算、加重平均プーリング演算、最大値プーリング演算、中央値プーリング演算などを含んでもよい。

いくつかの実施形態において、合計異常スコアを第１の異常スコアとして使用して、スペクトログラムを別のコンテキストおよびターゲット領域にさらに分割することができる。ニューラルネットワークは、コンテキスト領域を処理することによって、ターゲット領域を復元することができる。復元されたターゲット領域を分割されたターゲット領域と比較することによって、第２の異常スコアを得ることができる。プーリング演算を用いて第１の異常スコアおよび第２の異常スコアを合計することによって、最終的な異常スコアを得ることができる。最終的な異常スコアを用いて、異常音を検出することができ、最終的な異常スコアに基づいて制御動作を実行することができる。ニューラルネットワークは、注意型ニューラルネットワークアーキテクチャを用いて、コンテキスト領域を処理することができる。

いくつかの実施形態において、注意型ニューラルプロセスアーキテクチャは、エンコーダニューラルネットワークと、クロスアテンションモジュール（cross attention module）と、デコーダニューラルネットワークとを含んでもよい。エンコーダニューラルネットワークは、任意のサイズの入力セットに対応するように訓練されてもよい。入力セットの各要素は、コンテキスト領域内の要素の値および座標を含んでもよい。また、エンコーダニューラルネットワークは、入力セットの各要素の埋め込みベクトルを出力することができる。いくつかの例示的な実施形態において、エンコーダニューラルネットワークは、セルフアテンションメカニズム（self-attention mechanism）を用いて、コンテキスト領域内の全ての要素を共同でエンコードすることができる。セルフアテンションメカニズムは、各要素の相互作用または関連付けを可能にすることによってコンテキスト領域内の要素の符号化表現を計算するためのアテンションメカニズムに対応する。

クロスアテンションモジュールは、隣接する座標に位置するコンテキスト領域内の要素の埋め込みベクトルを処理することによって、ターゲット領域内の各要素の固有の埋め込みベクトルを計算するように訓練されてもよい。いくつかの例示的な実施形態において、クロスアテンションモジュールは、マルチヘッドアテンション（multi-head attention）を用いて、固有の埋め込みベクトルを計算することができる。マルチヘッドアテンションは、アテンションメカニズムを実行することによって、埋め込みベクトルを並列に計算することができる。デコーダニューラルネットワークは、ターゲット領域内の各要素の確率分布を出力する。確率分布は、ターゲット領域の座標およびターゲット領域内の対応する要素の埋め込みベクトルから得ることができる。いくつかの例示的な実施形態において、デコーダニューラルネットワークは、確率分布のパラメータを出力することができる。確率分布は、条件付き独立ガウス分布に対応してもよい。いくつかの他の例示的な実施形態において、デコーダニューラルネットワークは、条件付き独立ガウス分布混合物に対応し得る確率分布のパラメータを出力することができる。

追加的にまたは代替的に、音声信号のスペクトログラム上のスライディングウィンドウを用いて、音声信号中の異常音を決定することができる。ニューラルネットワークは、注意型ニューラルネットワークアーキテクチャを用いて、スライディングウィンドウを処理することによって、異常音を検出するための異常スコアを決定することができる。異常音の検出は、スライディングウィンドウ内で完了するため、異常音の検出速度を向上させることができる。

したがって、一実施形態は、異常音を検出するためのコンピュータ実施方法を開示する。この方法は、時間－周波数領域内の値によって定義された要素を有する音声信号のスペクトログラムを受信することを含む。スペクトログラムの各要素の値は、時間－周波数領域内の座標によって特定される。この方法は、スペクトログラムの時間－周波数領域をコンテキスト領域とターゲット領域とに分割することを含む。この方法は、コンテキスト領域内の要素の値およびコンテキスト領域内の要素の座標を、注意型ニューラルプロセスアーキテクチャを含むニューラルネットワークに提供することによって、スペクトログラムのターゲット領域内の座標を持つ要素の値を復元することを含む。この方法は、ターゲット領域内の要素の復元された値と分割されたターゲット領域内の要素の値との比較に基づいて、音声信号中の異常音を検出するための異常スコアを決定することを含む。この方法は、異常スコアに基づいて制御動作を実行することを含む。

したがって、別の実施形態は、異常音を検出するためのシステムを開示する。このシステムは、少なくとも１つのプロセッサと、少なくとも１つのプロセッサによって実行されると、システムに、スペクトログラムの時間－周波数領域内の値によって定義された要素を有する音声信号のスペクトログラムを受信させる命令を記憶するメモリとを備える。スペクトログラムの各要素の値は、時間－周波数領域内の座標によって特定される。少なくとも１つのプロセッサは、システムに、スペクトログラムの時間－周波数領域をコンテキスト領域とターゲット領域とに分割させることができる。少なくとも１つのプロセッサは、システムに、コンテキスト領域内の要素の値およびコンテキスト領域内の要素の座標を、注意型ニューラルプロセスアーキテクチャを含むニューラルネットワークに提供させ、ターゲット領域内の座標を持つ要素のスペクトログラム値を復元させることができる。少なくとも１つのプロセッサは、システムに、ターゲット領域内の要素の復元された値と分割されたターゲット領域内の要素の値との比較に基づいて、音声信号中の異常音を検出するための異常スコアを決定させることができる。少なくとも１つのプロセッサはさらに、システムに、異常スコアに基づいて制御動作を実行させることができる。

さらなる特徴および利点は、添付の図面と併せて以下の詳細な説明からより容易に明らかになるであろう。

本開示の例示的な実施形態の非限定的な例としての複数の図面を参照して、以下の詳細な説明において本開示をさらに説明する。いくつかの図面において、同様の参照番号は、同様の部分を表す。図面は、必ずしも一定の縮尺で描かれていない。その代わりに、本開示の実施形態の原理を示すために、図面を強調する場合がある。

本開示の実施形態に従って、音声入力信号中の異常音を検出するためのシステムを示す概略ブロック図である。 本開示の実施形態に従って、音声信号中の異常音を検出するための段階的なプロセスを示す図である。 本開示のいくつかの他の実施形態に従って、音声信号中の異常音を検出するため段階的なプロセスを示す図である。 本開示の実施形態に従って、音声信号のスペクトログラムのコンテキスト領域および対応する一組のターゲット領域の例示的な表現を示す図である。 本開示のいくつかの実施形態に従って、音声信号のスペクトログラム上のスライディングウィンドウの例示的な表現を示す図である。 本開示のいくつかの実施形態に従って、音声入力信号のスペクトログラムのコンテキスト領域および対応するターゲット領域の例示的な表現を示す図である。 本開示のいくつかの他の実施形態に従って、音声入力信号のスペクトログラムのコンテキスト領域および対応するターゲット領域の例示的な表現を示す図である。 本開示のいくつかの他の実施形態に従って、音声入力信号のスペクトログラムのコンテキスト領域および対応するターゲット領域の例示的な表現を示す図である。 本開示のいくつかの他の実施形態に従って、音声入力信号のスペクトログラムのコンテキスト領域および対応するターゲット領域の例示的な表現を示す図である。 本開示のいくつかの他の実施形態に従って、音声入力信号のスペクトログラムのコンテキスト領域および対応するターゲット領域の例示的な表現を示す図である。 本開示のいくつかの実施形態に従って、音声信号中の異常音を検出するための異常ライブラリを示す概略図である。 本開示のいくつかの実施形態に従って、音声信号中の異常音を検出するためのアーキテクチャを示す概略図である。 本開示の実施形態に従って、異常音を検出するための方法を示すフロー図である。 本開示の実施形態に従って、異常音を検出するためのシステムを示すブロック図である。 本開示の実施形態に従って、図９のシステムを用いて異常音を検出するための使用事例を示す図である。 本開示の他の実施形態に従って、図９のシステムを用いて異常音を検出するための使用事例を示す図である。 本開示のいくつかの他の実施形態に従って、図９のシステムを用いて異常音を検出するための使用事例を示す図である。

上記の図面は、本開示の実施形態を図示しているが、上記で議論したように、他の実施形態も考えられる。本開示は、限定ではなく例示として、例示的な実施形態を提供する。当業者は、本開示の実施形態の原理の範囲および精神に含まれる多くの他の変形例および実施例を考案することができる。

以下の説明において、説明の目的のために、本開示に対する完全な理解を提供するために、多くの具体的な詳細が記載されている。これらの具体的な詳細がなくても、１つ以上の実施形態を実施することができることは、当業者にとって明白である。また、本開示を不明瞭にしないように、装置および方法をブロック図として示している。添付の特許請求の範囲に記載された主題の精神および範囲から逸脱することなく、要素の機能および配置に対して様々な変更が考えられる。

本明細書および特許請求の範囲に使用された場合、用語「例えば」、「例示として」、「・・・のような」ならびに動詞「備える」、「有する」、「含む」およびそれらの他の動詞形は、１つ以上の構成要素または他の項目のリストと共に使用される場合、このリストから他の追加の構成要素または項目を排除しないことを意味するオープンエンドとして解釈すべきである。用語「・・・に基づく」は、少なくとも部分的に基づくことを意味する。さらに、理解すべきことは、本明細書に使用された表現および用語は、説明の目的のためのものであり、限定として具体的に定義されない限り、限定的なものとして見なすべきではないことである。本明細書に使用されたいずれかの見出しは、便宜のためのものであり、法的または限定的な効果を有しない。

以下の説明において、実施形態に対する完全な理解を提供するために、具体的な詳細が与えられる。しかしながら、当業者は、これらの具体的な詳細がなくても、実施形態を実施できることを理解することができる。例えば、不必要な詳細で実施形態を不明瞭にしないように、開示された主題におけるシステム、プロセス、および他の要素は、ブロック図のコンポーネントとして示されてもよい。また、実施形態を不明瞭にしないように、周知のプロセス、構造、および技術は、不必要な詳細なしで示されてもよい。さらに、様々な図面において、同様の参照番号および名称は、同様の要素を示している。

機械音をターゲット音源として用いて殆どの説明を行うが、同じ方法を他の種類の音声信号にも適用することができる。
システムの概要

図１は、本開示の実施形態に従って、音声入力信号１０８中の異常音を検出するためのシステム１００を示すブロック図である。音声処理システム１００（以下、システム１００と呼ぶ）は、プロセッサ１０２と、メモリ１０４とを含む。メモリ１０４は、異常音を検出するための命令を記憶するように構成されている。いくつかの実施形態において、メモリ１０４は、異常音を検出するためのニューラルネットワーク１０６を記憶するように構成されている。いくつかの例示的な実施形態において、音声入力信号１０８は、人間の声、動作している機械の音などの非定常音に対応してもよい。音声入力信号１０８は、スペクトログラムに表されてもよい。場合によっては、スペクトログラムは、音声入力信号１０８の音響時間－周波数表現を表す対数メルスペクトログラムに対応してもよい。

プロセッサ１０２は、記憶された命令を実行して、システム１００に音声信号のスペクトログラムを受信させるように構成されている。スペクトログラムは、スペクトログラムの時間－周波数領域内の値によって定義された要素を含む。スペクトログラム１０８の各要素の値は、時間－周波数領域内の座標によって特定される。スペクトログラムの時間－周波数領域は、コンテキスト領域とターゲット領域とに分割されている。コンテキスト領域は、時間－周波数領域の１つ以上のサブセット、例えばスペクトログラム中の時間－周波数部分に対応する。ターゲット領域は、異常検出に使用され得るスペクトログラム内の予測時間－周波数部分に対応する。

コンテキスト領域内の要素の値およびコンテキスト領域内の要素の座標は、ニューラルネットワーク１０６に提供される。ニューラルネットワーク１０６は、ターゲット領域内の座標を持つ要素の値を復元するための注意型ニューラルプロセスアーキテクチャ１０６Ａを含む。復元された値は、スペクトログラム中の異常音に対応してもよい。復元された値に基づいてターゲット領域を復元する。復元されたターゲット領域を分割されたターゲット領域と比較することによって、異常音を検出するための異常スコアを決定する。異常スコアは、復元されたターゲット領域と分割されたターゲット領域との差を決定するための再構築誤差である。

いくつかの例示的な実施形態において、注意型ニューラルプロセスアーキテクチャ１０６Ａは、コンテキスト領域内の要素の各々の座標を、観測値と共にエンコードすることができる。観測値は、既知の異常音挙動、例えば、人間の叫び声、機械の動作中に機械音中のこすれ音に対応してもよい。

いくつかの例示的な実施形態において、ニューラルネットワーク１０６は、訓練用スペクトログラムの異なる区画をコンテキスト領域およびターゲット領域にランダムにまたは擬似ランダムに選択することによって訓練されてもよい。追加的にまたは代替的に、ニューラルネットワーク１０６は、信号特性または事前知識、例えば既知の異常音挙動などに基づいて訓練されてもよい。例えば、既知の異常音挙動は、機械の損傷部位の異常音に対応してもよい。さらに、ニューラルネットワーク１０６は、実行中に、所定のプロトコルに従って、スペクトログラムの複数の区画および対応する異常スコアを生成する。１つ以上のランダムなコンテキスト領域またはターゲット領域の複数の区画を平均化することによって、異常音を検出するための異常スコアを取得することができる。

１つの例示的な実施形態において、ランダムRowCol選択法を用いて、スペクトログラムを分割するようにニューラルネットワーク１０６を訓練してもよい。ランダムRowCol法は、スペクトログラムの列内の１つまたは２つの時間フレームと、スペクトログラムの行内の２つ以下の周波数帯域とを一組のターゲット領域としてランダムに選択することによって、ニューラルネットワーク１０６を訓練する。スペクトログラム中の残りの時間－周波数部分は、一組のコンテキスト領域として使用される。

別の例示的な実施形態において、中間フレーム選択法を用いて、ニューラルネットワーク１０６を訓練してもよい。中間フレーム選択法は、中間フレーム（フレーム（Ｌ＋１）／２）をスペクトログラムのＬフレームのターゲット領域として選択する。別の例示的な実施形態において、尤度ブートストラッピング法を用いて、ニューラルネットワーク１０６を訓練してもよい。尤度ブートスラッピング法（likelihood bootstrapping method）は、複数の順方向パスを実行することによって、スペクトログラムを複数の異なる組み合わせのコンテキスト領域およびターゲット領域に分割する。注意型ニューラルプロセスアーキテクチャ１０６Ａは、異なる組み合わせのコンテキスト領域およびターゲット領域を処理することによって、音声入力信号１０８内の潜在的な異常音を再構築することが困難なフレームおよび周波数の値を有するターゲット領域を復元することができる。

いくつかの実施形態において、スペクトログラムを異なる組み合わせのコンテキスト領域およびターゲット領域に分割することによって、一組のコンテキスト領域および対応する一組のターゲット領域を生成することができる。一組のコンテキスト領域は、ニューラルネットワーク１０６に提供される。一組のコンテキスト領域を処理するために、ニューラルネットワーク１０６を複数回実行してもよい。具体的には、一組のコンテキスト領域内の各コンテキスト領域に対してニューラルネットワーク１０６を１回ずつ実行することによって、ターゲット領域を復元する。注意型ニューラルプロセスアーキテクチャ１０６Ａは、復元されたターゲット領域を出力する。ニューラルネットワーク１０６の各実行から復元された各ターゲット領域は、復元された一組のターゲット領域に合計されてもよい。復元された一組のターゲット領域を一組のターゲット領域と比較することによって、一組の異常スコアを決定することができる。より具体的には、復元された一組のターゲット領域の各ターゲット領域は、対応する一組のターゲット領域の各ターゲット領域と比較される。比較は、復元された一組のターゲット領域の各ターゲット領域と一組のターゲット領域の各ターゲット領域との間の再構築誤差を決定する。再構築誤差は、異常スコア１１０などの異常スコアとして、全てのターゲット領域に使用されてもよい。いくつかの実施形態において、異常スコア１１０は、一組の異常スコアの加重組み合わせに基づいて決定され得る平均異常スコアに対応してもよい。

場合によっては、異常音に対応する音声入力信号１０８中のいくつかの音を検出することが困難である場合がある。例えば、機械の損傷部位または故障部位によって生成された音は、異常である場合がある。しかしながら、損傷部位の音が機械の他の音よりも小さい場合、損傷部位の音を異常音として検出することが困難である場合がある。いくつかの他の場合において、正常音の訓練データに基づいて異常音検出を訓練しても、音声入力信号１０８中の異常音を正確に検出できない場合がある。このような異常音は、スペクトログラムの対応する領域（すなわち、異常音の時間値および周波数値）から再構築することが困難である場合がある。そのため、システム１００は、異常音を検出するために、音声入力信号１０８のスペクトログラムを異なる組み合わせのコンテキスト領域およびターゲット領域に分割することができる。これは、次の図２を参照してさらに説明する。

図２は、本開示の実施形態に従って、音声信号１０８中の異常音を検出するための段階的なプロセス２００を示す。プロセス２００は、図１のシステム１００によって実行される。ステップ２０２において、システム１００は、音声入力信号１０８を受信する。音声入力信号１０８は、ワークピースのＣＮＣ機械加工などの機械によって生成された音に対応してもよい。ＣＮＣ機械は、ワークピースの半田付けまたは組み立てなどの１つ以上のタスクを実行する１つ以上のツールを支援する複数のアクチュエータ（例えば、モータ）を含むことができる。複数のアクチュエータの各々は、ワークピースの機械加工中にワークピースの変形によって、振動を生成する可能性がある。これらの振動は、ＣＮＣの切削工具を動かすモータからの信号と混合される。混合信号は、ＣＮＣの一部の故障、例えば切削工具の故障などに起因する音を含んでもよい。

ステップ２０４において、音声入力信号１０８を処理することによって、音声入力信号１０８のスペクトログラムを抽出する。スペクトログラムは、音声入力信号１０８の音響の時間－周波数領域である。スペクトログラムは、値（例えば、時間－周波数領域内のピクセル）によって定義された要素を含む。各要素の値は、時間－周波数領域内の座標によって特定される。例えば、時間－周波数領域内の時間フレームは、列として表され、時間－周波数領域内の周波数帯域は、行として表される。

ステップ２０６において、スペクトログラムの時間－周波数領域を異なる組み合わせのコンテキスト領域およびターゲット領域に分割する。コンテキスト領域は、時間－周波数領域の１つ以上のサブセット、例えばスペクトログラムの時間－周波数部分に対応する。ターゲット領域は、異常検出に使用され得るスペクトログラムから予測された時間－周波数部分に対応する。異なる組み合わせのコンテキスト領域およびターゲット領域の各々をマスクすることによって、一組のコンテキスト領域と対応する一組のターゲット領域とを生成する。例えば、一組のコンテキスト領域および対応する一組のターゲット領域は、一組のコンテキスト－ターゲット領域マスクに、例えば、コンテキスト－ターゲット領域マスク１ ２０６Ａ、コンテキスト－ターゲット領域マスク２ ２０６Ｂ、およびコンテキスト－ターゲット領域マスクＮ ２０６Ｎ（以下、コンテキスト－ターゲット領域マスク２０６Ａ～２０６Ｎと呼ぶ）にマスクされる。

一実施形態例において、一組のコンテキスト領域および対応する一組のターゲット領域は、ランダムRowCol選択法に基づいてマスクされてもよい。ランダムRowCol選択法は、スペクトログラムの１つまたは２つの時間フレームおよび２つ以下の周波数帯域の値を、一組のターゲット領域としてランダムに選択する。一組のコンテキスト領域は、スペクトログラム中の残りの時間－周波数部分に対応する。別の例示的な実施形態において、一組のコンテキスト領域および対応する一組のターゲット領域は、中間フレーム選択法に基づいてマスクされてもよい。中間フレーム選択法は、スペクトログラムの中間フレーム（フレーム（Ｌ＋１）／２）を、スペクトログラムのＬ個フレームに対応する一組のターゲット領域として選択する。さらに別の例示的な実施形態において、一組のコンテキスト領域および対応する一組のターゲット領域は、尤度ブートスラッピング法に基づいてマスクされてもよい。尤度ブートスラッピング法は、スペクトログラムの値の複数の順方向パスを実行することによって、スペクトログラムを複数の異なる組み合わせのコンテキスト領域およびターゲット領域、例えば、コンテキスト－ターゲット領域マスク２０６Ａ～２０６Ｎに分割する。

コンテキスト－ターゲット領域マスク２０６Ａ～２０６Ｎは、ニューラルネットワーク１０６に入力される。ニューラルネットワーク１０６は、注意型ニューラルプロセスアーキテクチャ１０６Ａを用いて、コンテキスト－ターゲット領域マスク２０６Ａ～２０６Ｎを処理する。

ステップ２０８において、注意型ニューラルプロセスアーキテクチャ１０６Ａを複数回実行することによって、コンテキスト－ターゲット領域マスク２０６Ａ～２０６Ｎ内のコンテキスト領域を処理する。一組のコンテキスト－ターゲット領域マスク２０６Ａ～２０６Ｎの各コンテキスト領域に対して１回ずつ実行することによって、対応するターゲット領域を復元する。復元された各ターゲット領域を合計することによって、復元された一組のターゲット領域を形成する。復元された一組のターゲット領域の各ターゲット領域は、一組のコンテキスト－ターゲット領域マスク２０６Ａ～２０６Ｎ内の対応するターゲット領域と比較される。

ステップ２１０において、比較に基づいて一組の異常スコアを決定する。一組の異常スコアは、異常スコアベクトルとして表されてもよい。異常スコアベクトルは、一組のターゲット領域内の各周波数ビンに最も関連し得る一組のコンテキスト領域内の情報を要約する。

ステップ２１２において、注意型ニューラルプロセスアーキテクチャ１０６Ａを用いて、要約された異常スコアベクトルを一組のターゲット領域の対応するターゲット領域のベクトル位置に連結することによって、ターゲット領域の合成領域を取得する。具体的には、異常スコアベクトルに対して領域の合成を実行することによって、合成領域を得ることができる。異常スコアベクトルの各要素は、復元されたターゲット領域の異常スコアに対応する。いくつかの例示的な実施形態において、領域の合成は、平均プーリング演算、加重平均プーリング演算、最大値プーリング演算、中央値プーリング演算などのプーリング演算を用いて実行されてもよい。

ステップ２１４において、最終的な異常スコア、例えば異常スコア１１０が得られる。最終的な異常スコアは、スペクトログラム内の異常領域に対応する。いくつかの例示的な実施形態において、最終的な異常スコアは、一組の異常スコアの加重組み合わせに基づいて決定されてもよい。例えば、一組の異常スコアを平均化することによって、最終的な異常スコアを得ることができる。

最終的な異常スコアを用いてスペクトログラムをさらに分割することによって、スペクトログラムから再構築することが困難であり得る領域を決定することができる。最終的な異常スコアを用いたスペクトログラムの分割は、次の図３を参照してさらに詳細に説明する。

図３は、本開示のいくつかの他の実施形態に従って、音声入力信号１０８中の異常音を検出するための段階的なプロセス３００を示す。プロセス３００は、システム１００によって実行される。ステップ３０２において、音声入力信号１０８を受信する。ステップ３０４において、音声入力信号１０８からスペクトログラムを抽出する。ステップ３０２およびステップ３０４は、プロセス２００のステップ２０２およびステップ２０４と同様である。

ステップ３０６において、スペクトログラムを第１のコンテキスト領域および対応する第１のターゲット領域に分割する。第１のコンテキスト領域および第１のターゲット領域をマスクすることによって、第１のコンテキスト－ターゲット領域マスクを生成する。第１のコンテキスト領域および第１のターゲット領域は、ランダムRowCol選択法、中間フレーム選択法および尤度ブートスラッピング法などの１つに基づいてマスクされてもよい。第１のコンテキスト－ターゲット領域マスクは、ニューラルネットワーク１０６に入力される。ニューラルネットワーク１０６は、注意型ニューラルプロセスアーキテクチャ１０６Ａを用いて、第１のコンテキスト－ターゲット領域マスクを処理する。

ステップ３０８において、注意型ニューラルプロセスアーキテクチャ１０６Ａを実行して、第１のコンテキスト－ターゲット領域マスク内のコンテキスト領域を処理することによって、コンテキスト領域からターゲット領域を復元する。復元されたターゲット領域を第１のコンテキスト－ターゲット領域マスクの対応するターゲット領域と比較する。ターゲット領域と復元されたターゲット領域との比較は、第１の異常スコアを決定する。いくつかの例示的な実施形態において、第２のコンテキスト領域の値および座標を用いてニューラルネットワークを繰り返して実行することによって、第２のターゲット領域を復元することができる。第２のコンテキスト領域の値および座標は、スペクトログラムの第２のコンテキスト領域の時間－周波数部分に対応してもよい。

ステップ３１０において、注意型ニューラルプロセスによって復元された完全なスペクトログラムに基づいて、第２のコンテキスト領域の時間－周波数部分をサンプリングすることができる。いくつかの例示的な実施形態において、復元されたスペクトログラムは、元のスペクトログラムの低い再構築尤度を有する時間－周波数部分を含むことができる。

ステップ３１２において、第１の異常スコアを用いて、スペクトログラムの第２の区画、すなわち、復元されたスペクトログラムを特定する。具体的には、ステップ３１０で復元されたスペクトログラムをステップ３０４で取得された元のスペクトログラムと比較することによって、第２の分割を実行することができる。そのために、第２の分割に基づいて、復元されたスペクトログラムを第２のコンテキスト領域と第２のターゲット領域に分割する。第２のターゲット領域は、元のスペクトログラム内の高い再構築可能性を有する領域を含んでもよく、第２のターゲット領域は、元のスペクトログラム内の低い再構築可能性を有する領域を含んでもよい。また、第２のコンテキスト領域および第２のターゲット領域は、ニューラルネットワーク１０６に入力される。ニューラルネットワーク１０６は、注意型ニューラルプロセスアーキテクチャ１０６Ａを用いて、第２のコンテキスト領域を処理する。

ステップ３１４において、第２のコンテキスト領域の値および座標を用いて注意型ニューラルプロセスアーキテクチャ１０６Ａを繰り返して実行することによって、第２のターゲット領域を復元することができる。復元された第２のターゲット領域を分割された第２のターゲット領域と比較することによって、第２の異常スコアを決定する。

ステップ３１６において、第２異常スコアを最終的な異常スコアとして出力する。最終的な異常スコアを用いて、異常音を検出し、検出された異常音に対して制御動作を実行することができる。いくつかの他の実施形態において、制御動作は、第１の異常スコアと第２の異常スコアとの組み合わせまたはその両方に基づいて実行されてもよい。

場合によっては、復元されたターゲット領域を１つ以上の仮説として利用して、最大の異常スコアを決定することができる。１つ以上の仮説は、対応する図４Ａおよび４Ｂ、図５Ａ、５Ｂ、５Ｃ、５Ｄおよび５Ｅに記載されている。復元されたターゲット領域に基づいて最大の異常スコアを決定することは、図６を参照してさらに説明する。

図４Ａは、本開示の実施形態に従って、音声入力信号４０２のスペクトログラム４０４の一組のコンテキスト領域４０６および対応する一組のターゲット領域４０８の例示的な表現４００Ａを示す。音声入力信号４０２は、音声入力信号１０８の一例である。システム１００は、音声入力信号４０２からスペクトログラム４０４を抽出する。スペクトログラム４０４は、時間－周波数領域内の値によって定義された要素を含む。スペクトログラム４０４の各要素の値は、時間－周波数領域内の座標に対応する。スペクトログラム４０４の時間－周波数領域は、一組のコンテキスト領域４０６と一組のターゲット領域４０８に分割されている。一組のコンテキスト領域４０６は、スペクトログラム４０４の１つ以上の時間－周波数部分に対応する。一組のターゲット領域４０８は、スペクトログラム４０４から予測された時間－周波数部分に対応する。

一組のコンテキスト領域４０６は、ニューラルネットワーク１０６に提供される。ニューラルネットワーク１０６は、注意型ニューラルプロセスアーキテクチャ１０６Ａを実行して、一組のコンテキスト領域４０６を処理することによって、スペクトログラム４０４からターゲット領域を復元する。

場合によっては、音声入力信号４０２は、音声入力信号４０２中の過渡的な外乱などの異常音を含み得る長い音声信号に対応してもよい。このような場合、図４Ｂに示すように、スライディングウィンドウ手順を用いて、異常音を決定することができる。

図４Ｂは、本開示のいくつかの実施形態に従って、音声入力信号４０２のスペクトログラム４０４上のスライディングウィンドウ４１０の例示的な表現４００Ｂを示す。音声入力信号４０２は、長い音声信号を含む場合がある。例えば、音声入力信号４０２のスペクトログラム４０４は、連続するフレーム間に５１２ホップ長を持つ１０２４個サンプルのフレーム長、例えばスペクトログラム４０４の列および１２８メル帯域を含んでもよい。スライディングウィンドウ４１０は、ニューラルネットワーク１０６に入力されてもよい。ニューラルネットワーク１０６は、注意型ニューラルプロセスアーキテクチャ１０６Ａを用いて、スライディングウィンドウ４１０を処理することによって、異常スコアを決定することができる。

いくつかの例示的な実施形態において、１つのフレームホップと共に５つのフレームの複数のスライディングウィンドウを、ニューラルネットワーク１０６の入力として使用することができる。複数のスライディングウィンドウを平均化することによって、スペクトログラム４０４の各サンプルの異常スコアを得ることができる。プーリング演算を用いて、対応するサンプルの各異常スコアを合併することによって、音声入力信号４０２中の異常音を検出することができる。スライディングウィンドウ４１０を使用することにより、異常音検出がスライディングウィンドウ４１０内で完了するため、音声入力信号４０２の全長を処理しなくてもよい。

いくつかの例示的な実施形態において、スペクトログラム４０４は、一組のコンテキスト領域と、スペクトログラム４０４の周波数帯域のマスキングを含む対応する一組のターゲット領域とに分割されてもよい。このような一組のコンテキスト領域および対応する一組のターゲット領域は、図５Ａおよび５Ｂに示されている。

図５Ａは、本開示のいくつかの他の実施形態に従って、音声入力信号４０２のスペクトログラム４０４のコンテキスト領域５０２および対応するターゲット領域５０４の例示的な表現５００Ａを示す。コンテキスト領域５０２およびターゲット領域５０４は、（４００Ａに示すように）中間フレーム選択法によって取得されてもよい。例えば、スペクトログラム４０４の中間フレームは、スペクトログラム４０４の時間－周波数領域内のＬ個フレームから選択されてもよい。中間フレームは、スペクトログラム４０４をコンテキスト領域５０２とターゲット領域５０４とに分割するためのフレーム（（Ｌ＋１）／２）として決定されてもよい。図５Ａに示すように、コンテキスト領域５０２は、スペクトログラム４０４の上部に水平バーを追加することによって、連続する周波数帯域の範囲をマスクすることができる。図５Ａに示すように、ターゲット領域５０４は、スペクトログラム４０４の下部に水平バーを追加することによって、連続する周波数帯域の範囲をマスクすることができる。

注意型ニューラルプロセスアーキテクチャ１０６Ａは、コンテキスト領域５０２から周波数帯域（すなわち、ターゲット領域）を復元する。復元された周波数帯域は、コンテキスト領域５０２の下部から再構築された高周波数帯域に対応してもよい。例えば、高周波数帯域は、コンテキスト領域５０２の下部から復元されてもよい。この下部は、スペクトログラム４０４の低周波数帯域を含んでもよい。復元された周波数帯域をターゲット領域５０４の周波数帯域と比較して、音声入力信号４０２中の異常音を検出するための異常スコア（例えば、異常スコア１１０）を取得する。

場合によっては、図５Ｂに示すように、スペクトログラム４０４の各周波数帯域をマスクすることによって、対応するコンテキスト領域およびターゲット領域を取得することができる。

図５Ｂは、本開示のいくつかの他の実施形態に従って、スペクトログラム４０４のコンテキスト領域５０６および対応するターゲット領域５０８の例示的な表現５００Ｂを示す。いくつかの例示的な実施形態において、スペクトログラム４０４を個々の周波数領域に分割することによって、コンテキスト領域５０６およびターゲット領域５０８を形成する。コンテキスト領域５０６およびターゲット領域５０８は、ニューラルネットワーク１０６に提供されてもよい。ニューラルネットワーク１０６は、注意型ニューラルプロセスアーキテクチャ１０６Ａを用いて、コンテキスト領域５０６を処理することができる。注意型ニューラルプロセスアーキテクチャ１０６Ａは、コンテキスト領域５０６内の隣接するおよび調和的に関連する周波数帯域から、個々の周波数帯域を復元する。復元された個々の周波数帯域をターゲット領域５０８の周波数帯域と比較することによって、音声入力信号４０２中の異常音を検出するための異常スコアを決定する。

図５Ｃは、本開示のいくつかの他の実施形態に従って、スペクトログラム４０４のコンテキスト領域５１０および対応するターゲット領域５１２の例示的な表現５００Ｃを示す。いくつかの例示的な実施形態において、図５Ｃに示すように、スペクトログラム４０４を複数の領域に分割することによって、コンテキスト領域５１０およびターゲット領域５１２を形成することができる。コンテキスト領域５１０およびターゲット領域５１２は、ニューラルネットワーク１０６に提供される。ニューラルネットワーク１０６は、注意型ニューラルプロセスアーキテクチャ１０６Ａを用いて、コンテキスト領域５１０を処理することによって、コンテキスト領域５１０のマスクされていない時間－周波数部分から高エネルギー時間－周波数部分を復元する。復元された高エネルギー時間－周波数部分をターゲット領域５１２の高エネルギー時間－周波数部分と比較することによって、音声入力信号４０２中の異常音を検出するための異常スコアを決定する。

図５Ｄは、本開示のいくつかの他の実施形態に従って、スペクトログラム４０４のコンテキスト領域５１４および対応するターゲット領域５１６の例示的な表現５００Ｄを示す。

いくつかの例示的な実施形態において、図５Ｄに示すように、一組のマスクされた周波数帯域および時間フレームをランダムに選択し、スペクトログラム４０４を分割することによって、コンテキスト領域５１４およびターゲット領域５１６を形成する。コンテキスト領域５１４およびターゲット領域５１６は、ニューラルネットワーク１０６に提供される。注意型ニューラルプロセスアーキテクチャ１０６Ａを用いてコンテキスト領域５１４を処理することによって、コンテキスト領域５１４からランダムに選択された一組のマスクされた周波数帯域および時間フレームを復元する。復元された一組のマスクされた周波数帯域および時間フレームをターゲット領域５１６内の一組のマスクされた周波数帯域および時間フレームと比較することによって、音声入力信号４０２中の異常音を検出するための異常スコアを決定する。

図５Ｅは、本開示のいくつかの他の実施形態に従って、スペクトログラム４０４の複数の区画の例示的な表現５００Ｅを示す。いくつかの例示的な実施形態において、スペクトログラム４０４を異なる組み合わせのコンテキスト領域およびターゲット領域に分割することができる。異なる組み合わせのコンテキスト領域およびターゲット領域は、スペクトログラム４０４の正常音の時間－周波数部分から区別可能なスペクトログラム４０４の時間－周波数部分に対応してもよい。この場合のスペクトログラムの分割をステージ５１８と呼ぶ。ステージ５１８において、スペクトログラム４０４は、異なる割合の時間－周波数部分でコンテキスト領域５２０などのコンテキスト領域としてサンプリングされてもよい。いくつかの例示的な実施形態において、スペクトログラム４０４の時間－周波数部分を均一にダウンサンプリングすることができる。スペクトログラム４０４をダウンサンプリングすることによって、時間に対する音声入力信号１０８の長さを維持しながら、音声入力信号１０８からサンプルを除去することができる。例えば、ｎＣ＝６２．５％でスペクトログラム４０４の時間－周波数部分をサンプリングすることによって、コンテキスト領域５２０を得ることができる。コンテキスト領域５２０からサンプリングされた時間－周波数部分は、スペクトログラム４０４の複数の区画と共に複数の順方向パスで実行されてもよい。例えば、図５Ｅに示すように、コンテキスト領域からサンプリングされた時間－周波数部分を複数回処理することによって、全てのスペクトログラム、例えば再構築されたスペクトログラム５２２を再構築することができる。

再構築されたスペクトログラム５２２をスペクトログラム４０４と比較することによって、第１の異常スコアを決定することができる。第１の異常スコアを用いて、スペクトログラム４０４の時間－周波数領域内の第２の区画を特定することができる。いくつかの例示的な実施形態において、第１の異常スコアを用いて動的検索を実行することによって、正常音と区別可能な領域を決定することができる。区別可能な領域は、音声信号中の潜在的な異常音に対応してもよい。動的検索によって、システム１００は、音声信号の全長を処理する必要がなく、音声信号の一部を処理することができる。図５Ｅに示すように、スペクトログラム４０４の第２の区画は、ステージ５２４と呼ばれる。

ステージ５２４において、第１の異常スコアを用いて、スペクトログラム５２２を第２のコンテキスト領域（例えば、コンテキスト領域５２６）と、第２のターゲット領域（例えば、ターゲット領域５２８）とに分割する。コンテキスト領域５２６は、スペクトログラム４０４の再構築尤度の高い時間－周波数部分を含む。スペクトログラム５２２の残りの時間－周波数部分は、ターゲット領域５２８に対応してもよい。コンテキスト領域５２６は、ニューラルネットワーク１０６に提供される。ニューラルネットワーク１０６は、注意型ニューラルプロセスアーキテクチャ１０６Ａを用いて、コンテキスト領域５２６の時間－周波数部分の値および座標を処理することができる。注意型ニューラルプロセスアーキテクチャ１０６Ａは、再構築尤度の低い時間－周波数部分を有するターゲット領域を復元する。復元されたターゲット領域をターゲット領域５２８と比較することによって、第２の異常スコアを決定する。第２の異常スコアを用いて、異常音を検出し、検出した異常音に基づいて制御動作を実行する。いくつかの実施形態において、制御動作は、第１の異常スコアと第２の異常スコアとの組み合わせ、またはその両方に基づいて実行されてもよい。

場合によっては、機械動作中の振動音などの異常音挙動を含む異常音声データをライブラリとして作成することができる。これは、図６を参照してさらに説明する。

図６は、本開示のいくつかの他の実施形態に従って、異常スペクトログラムライブラリ６０２の概略図６００である。いくつかの例示的な実施形態において、異常スペクトログラムライブラリ６０２は、既知の異常音挙動に基づいて作成される。例えば、ライブラリ６０２は、異常データ６０４Ａ、異常データ６０４Ｎなどを含むことができる。異常データ６０４Ａおよび異常データ６０４Ｎの各々は、コンテキストインデックスを有するコンテキスト領域と、ターゲットインデックスおよび閾値を有するターゲット領域と、対応する異常スコア６０６と比較することによって異常が発生したか否かを判断することができる閾値とを含んでもよい。いくつかの例示的実施形態において、閾値は、以前の異常音検出の観察値に基づいて決定されてもよい。例えば、異常スコアは、以前にスペクトログラム（例えば、スペクトログラム４０４）をコンテキスト領域（例えば、コンテキスト領域４０６）およびターゲット領域（例えば、ターゲット領域４０８）に分割するときに観察された異常スコアに基づいて決定されてもよい。決定された異常スコアは、閾値として使用されてもよい。閾値は、同じスペクトログラムの区画内の任意の音声サンプル中の異常を検出するために使用できるライブラリ６０２に記憶されてもよい。

いくつかの実施形態において、注意型ニューラルプロセスアーキテクチャ１０６Ａは、ライブラリ６０２を用いて、スペクトログラム４０４のコンテキスト領域からターゲット領域、すなわち、時間－周波数部分を特定することができる。音声入力信号４０２のスペクトログラム４０４中の時間－周波数部分を予測することが困難である。このように特定されたターゲット領域を１つ以上の仮説として利用して、最大の異常スコア６０６を検出することができる。

いくつかの実施形態において、１つ以上の仮説を検査することによって、最大の異常スコア６０６を有するターゲット領域を見つけることができる。１つ以上の仮説は、中間フレーム仮説手順と、特定の周波数領域を復元することを目的とする周波数マスキング仮説手順と、個々の周波数帯域を復元することを目的とする周波数マスキング仮説手順と、コンテキスト領域から高エネルギー時間－周波数部分を復元することを目的とするエネルギーベースの仮説手順と、マスクされた周波数帯域のランダムに選択されたサブセットを復元することを目的とする手順と、（図５Ｅに記載された）尤度ブートストラッピング手順と、アンサンブル手順とを含む。アンサンブル手順を用いて、上述した複数の仮説生成手順を組み合わせることによって最大の異常スコア６０６を求めることができる。

いくつかの実施形態において、（図４Ａおよび４Ｂに記載されたように）中間フレーム仮説手順を用いて、スペクトログラムのフレームの両側からフレームの中間部分を挟むスペクトログラムの側面部分から、スペクトログラムの一時的な中間部分を復元することができる。周波数マスキング仮説手順を用いて、マスキングされていない周囲領域、例えば（図５Ａに記載された）スペクトログラムのコンテキスト領域５０２から、スペクトログラムの特定の周波数領域を復元することができる。マスクされていない周辺領域は、スペクトログラムの上部に対応する。復元は、少なくとも、スペクトログラムの下部の低周波数からスペクトログラムの上部の高周波数を再構築すること、またはスペクトログラムの上部の高周波数から下部の低周波数を再構築することに対応する。周波数マスキング仮説手順を用いて、（図５Ａに記載された）隣接するおよび／または調和的に関連する周波数帯域から、個々の周波数帯域を復元することができる。（図５Ｃに記載されたように）エネルギーベースの仮説手順を用いて、スペクトログラムの残りのマスクされていない時間－周波数部分から、スペクトログラムの高エネルギー時間－周波数部分を復元することができる。（図５Ｄに記載された）手順を用いて、スペクトログラムのマスクされていない残りの領域から、マスクされた周波数帯域および時間フレームのランダムに選択されたサブセットを復元することができる。尤度ブートストラッピング手順を用いて、まず異なる割合の時間－周波数部分をコンテキスト領域、例えばコンテキスト領域５２０としてサンプリングすることによって決定された異なるコンテキスト領域を用いて複数のパスを実行することができる。注意型ニューラルプロセスアーキテクチャ１０６Ａは、（図５Ｅに記載されたように）コンテキスト領域を処理することによって、全てのスペクトログラム（例えば、スペクトログラム５２２）を再構築し、再構築尤度の高い再構築スペクトログラムの時間－周波数部分を決定する。時間－周波数部分をコンテキストとして用いて、再構築尤度の低い時間－周波数領域を再構築する。

異常音を検出するためのターゲット領域を復元する注意型ニューラルプロセスアーキテクチャ１０６Ａは、図７を参照してさらに説明される。

図７は、本開示のいくつかの実施形態に従って、異常音を検出するためのネットワークアーキテクチャ７００を示す概略図である。ネットワークアーキテクチャ７００は、注意型ニューラルプロセスアーキテクチャ１０６Ａに対応する。ネットワークアーキテクチャ７００は、エンコーダニューラルネットワーク７０２と、クロスアテンションモジュール７０４と、デコーダニューラルネットワーク７０６とを含む。

セルフアテンションは、条件付き独立ガウス分布に対応するパラメータ、例えばパラメータ７１６を推定することができる。そのために、エンコーダニューラルネットワーク７０２を介してコンテキスト領域４０６の連結された値および座標７０８を入力することによって、ターゲット領域４０８の各点のパラメータ７１６を得ることができる。

異常スコアは、異常音を検出するためにターゲット領域４０８にわたって使用される。制御動作は、異常音の検出に基づいて実行されてもよい。これは、図１０、図１１および図１２を参照してさらに説明する。

図８は、本開示の実施形態に従って、異常音を検出するための方法８００を示すフロー図である。方法８００は、システム２００によって実行される。動作８０２において、方法８００は、時間－周波数領域内の値によって定義された要素を有する音声信号（例えば、音声入力信号４０２）のスペクトログラム（例えば、スペクトログラム４０４）を受信することを含む。スペクトログラムの各要素の値は、時間－周波数領域内の座標によって特定される。

動作８０４において、方法８００は、スペクトログラムの時間－周波数領域をコンテキスト領域とターゲット領域とに分割することを含む。いくつかの実施形態において、スペクトログラムを異なる組み合わせのコンテキスト領域およびターゲット領域に分割することによって、一組のコンテキスト領域と対応する一組のターゲット領域とを生成する（図２を参照）。

動作８０６において、方法８００は、コンテキスト領域内の要素の値およびコンテキスト領域内の要素の座標を、注意型ニューラルプロセスアーキテクチャを含むニューラルネットワークに提供することによって、スペクトログラムのターゲット領域内の座標を持つ要素の値を復元することを含む。いくつかの例示的な実施形態において、ニューラルネットワークを複数回実行することによって、一組のコンテキスト領域を処理することができる。一組のコンテキスト領域中の各コンテキスト領域に対してニューラルネットワークを１回ずつ実行することによって、一組のターゲット領域を復元することができる。いくつかの実施形態において、ニューラルネットワークは、訓練用スペクトログラムの異なる区画をコンテキスト領域およびターゲット領域にランダムにまたは擬似ランダムに選択することによって訓練される。

動作８０８において、方法８００は、ターゲット領域内の要素の復元された値と分割されたターゲット領域内の要素の値との比較に基づいて、音声信号の異常音を検出するための異常スコアを決定することを含む。いくつかの実施形態において、一組の異常スコアは、復元された一組のターゲット領域から決定されてもよい。例えば、復元された一組のターゲット領域の各ターゲット領域を対応するターゲット領域と比較することによって、一組の異常スコアを決定することができる。異常スコアは、一組の異常スコアの加重組み合わせに基づいて決定されてもよい。

動作８１０において、方法８００は、異常スコアに基づいて制御動作を実行することを含む。いくつかの例示的な実施形態において、異常スコアを第１の異常スコアとして用いて、スペクトログラムの第２の区画を特定することができる。第１の異常スコアを用いて、スペクトログラムを第２のコンテキスト領域（例えば、第２のコンテキスト領域５２６）と第２のターゲット領域（例えば、ターゲット領域５２８）とに分割することができる。第１のコンテキスト領域は、スペクトログラムの再構築尤度の高い時間－周波数領域に対応する。コンテキスト領域５２６をニューラルネットワーク１０６に提供することによって、スペクトログラムのターゲット領域を復元することができる。復元されたターゲット領域は、スペクトログラムの再構築尤度の低い時間－周波数領域に対応する。復元されたターゲット領域を分割されたターゲット領域と比較することによって、第２の異常スコアを決定することができる。第２の異常スコアを用いて、制御動作を実行することができる。いくつかの実施形態において、制御動作は、第１の異常スコアと第２の異常スコアとの組み合わせ、またはその両方に基づいて実行されてもよい。

図９は、本開示の実施形態に係る異常音検出システム９００を示すブロック図である。異常音検出システム９００は、システム１００の一例である。異常音検出システム９００は、記憶された命令を実行するように構成されたプロセッサ９０２と、ニューラルネットワーク９０６に関する命令を記憶するメモリ９０４とを含む。ニューラルネットワーク９０６は、注意型ニューラルプロセスアーキテクチャ（例えば、注意型ニューラルプロセスアーキテクチャ１０６Ａ）を含む。いくつかの実施形態において、注意型ニューラルプロセスアーキテクチャは、エンコーダ－デコーダモデル（例えば、ネットワークアーキテクチャ７００）に対応する。このエンコーダ－デコーダモデルは、エンコーダニューラルネットワーク（例えば、エンコーダニューラルネットワーク７０２）と、クロスアテンションモジュール（例えば、クロスアテンションモジュール７０４）と、デコーダニューラルネットワーク（例えば、デコーダニューラルネットワーク７０６）とを含む。

プロセッサ９０２は、シングルコアプロセッサ、マルチコアプロセッサ、グラフィック処理ユニット（ＧＰＵ）、コンピューティングクラスタ、または任意の数の他の構成であってもよい。メモリ９０４は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、または任意の他の好適なメモリシステムを含んでもよい。また、メモリ９０４は、ハードドライブ、光学ドライブ、サムドライブ、ドライブアレイ、またはそれらの任意の組み合わせを含むことができる。プロセッサ９０２は、バス９１２を介して、１つ以上の入力および出力インターフェイス／装置に接続されている。

また、異常音検出システム９００は、入力インターフェイス９１８を含んでもよい。入力インターフェイス９１８は、音声データ９１０を受信するように構成されている。いくつかの実施形態において、異常音検出システム９００は、ネットワークインターフェイスコントローラ（ＮＩＣ）９１４を用いて、ネットワーク９１６を介して音声データ９１０を受信することができる。ＮＩＣ９１４は、バス１０６を介して、異常音検出システム９００をネットワーク９１６に接続するように構成されてもよい。場合によっては、音声データ９１０は、オンラインデータ、例えばネットワーク９１６を介して受信したオンライン音声ストリームであってもよい。いくつかの他の場合において、音声データ９１０は、記憶装置９０８に記憶された記録データであってもよい。いくつかの実施形態において、記憶装置９０８は、ニューラルネットワーク９０６を訓練するための訓練データセットを記憶するように構成されている。また、記憶装置９０８は、異常音ライブラリ、例えばライブラリ６０２を記憶するように構成されてもよい。

いくつかの例示的な実施形態において、異常音検出システム９００は、まとめてセンサ９２４と呼ばれる１つ以上のセンサから音声データを受信することができる。センサ９２４は、音声信号を捕捉するカメラ、音声受信機などを含むことができる。例えば、カメラは、シーンの音声情報を含むシーンのビデオを撮影することができる。シーンは、シーン内の１つ以上の対象物または人間の音声情報を含む屋内環境または屋外環境に対応してもよい。

また、異常音検出システム９００は、出力インターフェイス９２０を含んでもよい。出力インターフェイス９２０は、出力装置９２６を介して異常スコアを出力するように構成されている。出力装置９２２は、異常スコアに基づいて検出された異常音を出力することができる。出力装置９２２は、コンピュータ、ラップトップ、携帯電話、スマートウォッチなどの表示画面（例えば、モニタ）を含んでもよい。また、出力装置９２２は、コンピュータ、ラップトップ、携帯電話、またはスマートウォッチなどの音声出力装置（例えば、スピーカ）を含んでもよい。異常スコアを用いて、制御動作を実行する。例えば、制御動作は、異常音を検出した時にアラームなどの通知を機械のオペレータに送信することを含んでもよい。

図１０は、本開示の実施形態に従って、異常音検出システム９００を用いて異常音を検出するための使用事例１０００を示す。

図示された例示的なシナリオにおいて、超音波装置、心拍監視装置などの機械１００４を用いて、患者１００２を診断または監視している。例えば、機械１００４は、患者１００２の心拍を監視している。機械１００４は、システム１００に接続されている。いくつかの例示的な実施形態において、機械１００４は、ネットワークを介してシステム１００に接続されてもよい。いくつかの他の例示的実施形態において、システム１００は、機械１００４の内部に設けられてもよい。機械１００４は、監視データをシステム１００に送信する。監視データは、患者１００２の心拍数に対応する音声記録またはライブの音声ストリームに対応してもよい。システム１００は、監視データを処理し、異常スコアを計算することによって、異常音を決定する。異常音が検出された場合、検出された異常音は、患者を支援するために、緊急処置室１００８などの手術室に報告される。

いくつかの他の場合において、患者１００２は、カメラ１００６などのカメラによって監視されてもよい。カメラ１００６は、システム１００に接続されている。カメラ１００６は、患者１００２の音声情報を含む患者１００２のビデオを撮影することができる。音声情報は、異常音検出のためにシステム１００によって処理されてもよい。例えば、患者１００２は、睡眠中に激しく咳をすることがある。対応する咳音を含む音声データは、システム１００に送信されてもよい。システム１００は、音声データを処理し、異常スコアを計算することによって、患者１００２の咳音などの異常音を検出する。場合によっては、システム１００は、異常咳音データを含むライブラリ６０２を利用して、患者の咳が異常であるか否かを検出することができる。緊急処置室１００８は、検出された異常に従って警告され、患者１００２を支援するように医師または看護師に通知することができる。

図１１は、本開示の実施形態に従って、異常音検出システム９００を用いて機械１１０２の異常音を検出するための使用事例１１００を示す図である。機械１１０２は、まとめて機械要素１１０４と呼ばれる１つ以上の要素（例えば、アクチュエータ）を含んでもよい。機械要素１１０４の各々は、固有のタスクを実行してもよく、調整装置１１０６に接続されていてもよい。機械要素１１０４によって実行されるタスクの例は、機械１１０２の機械加工、はんだ付けまたは組み立てを含んでもよい。場合によっては、機械要素１１０４は、同時に動作してもよく、調整装置１１０６は、機械要素１１０４の各々を個別に制御してもよい。調整装置１１０６は、例えば、タスクを実行するためのツールである。

機械１１０２は、マイクロフォンまたは複数のマイクロフォンからなるアレイなどの音声装置を含むセンサ１１１０に接続されてもよい。センサ１１１０は、機械１１０８の動作中に各々の機械要素１１０４によって生成された振動を捕捉することができる。さらに、一部の機械要素１１０４は、同じ空間領域内に併設されてもよい。これによって、機械要素１１０４は、センサ１１１０によって個々に捕捉されない。センサ１１１０によって捕捉された振動は、音響混合信号１１１２として記録されてもよい。音響混合信号１１１２は、各々の機械要素１１０４によって生成された振動信号の合計を含む。

音響混合信号１１１２は、異常音検出システム９００に送信される。いくつかの実施形態において、異常音検出システム９００は、音響混合信号１１１２のスペクトログラム（例えば、スペクトログラム４０４）を抽出する。スペクトログラムは、音響混合信号１１１２において同じ時間、空間および周波数スペクトルを占める可能性がある音源のうちの少なくとも一部を含んでもよい。音響混合信号１１１２のスペクトログラムは、スペクトログラムのコンテキスト領域と対応する予測ターゲット領域とに分割される。コンテキスト領域は、異常音検出システム９００のニューラルネットワーク９０６によって処理される。ニューラルネットワーク９０６は、注意型ニューラルプロセスアーキテクチャ（例えば、注意型ニューラルプロセスアーキテクチャ１０６Ａ）を用いて、スペクトログラムの時間フレームおよび周波数領域を復元する。復元された時間フレームおよび周波数領域は、スペクトログラムの復元されたターゲット領域として取得される。復元されたターゲット領域は、スペクトログラムの最も低い再構築尤度値を含んでもよい。さらに、復元されたターゲット領域と分割されたターゲット領域とを比較して、異常スコアを決定する。異常音検出システム９００は、音響混合信号１１１中の異常音を検出するために使用される異常スコアを出力する。異常音を検出することによって、機械１１０２の円滑な動作を維持すると共に、タスクを実行する際の不具合を回避することができる。機械の動作を終了すること、手動介入を通知することなどの制御動作を実行するために、検出された異常音は、オペレータ１１１４に通知されてもよい。例えば、オペレータ１１１４は、異常音が検出された場合、機械１１０２の動作を終了するようにプログラムされ得る自動オペレータであってもよい。他の場合において、オペレータ１１１４は、機械要素１１０４のうちの１つを交換する、機械要素１１０４を修理するなどの動作を行うために介入し得る手動オペレータであってもよい。

図１２は、本開示の実施形態に従って、異常音検出システム９００を用いて異常音を検出するための使用事例１２００を示す図である。いくつかの例示的実施形態において、異常音検出システム９００は、幼児監視アプリケーションに使用されてもよい。一例として、幼児監視装置１２０２は、ネットワーク９１６などのネットワークを介して、異常音検出システム９００に接続されてもよい。代替的には、異常音検出システム９００は、幼児監視装置１２０２の内部に設けられてもよい。

図示された例示的シナリオにおいて、幼児監視装置１２０２は、部屋１２０６内の幼児１２０４を監視している。幼児監視装置１２０２は、幼児の泣き声、白色雑音または部屋に再生されている音楽などを含むことができる音声信号を捕捉することができる。いくつかの例において、白色雑音または音楽は、泣き声よりも大きくなる場合がある。白色雑音または音楽の音量が大きくなると、別の部屋にいる介護者１２０８が泣き声を聞こえない場合がある。このような場合、幼児監視装置１２０２は、音声信号を異常音検出システム９００に送信することができる。

異常音検出システム９００は、音声信号のスペクトログラムを受信することができる。スペクトログラムは、コンテキスト領域とターゲット領域とに分割される。ニューラルネットワーク１０６は、注意型ニューラルプロセスアーキテクチャ１０６Ａを用いてコンテキスト領域を処理することによって、ターゲット領域を復元する。復元されたターゲット領域は、泣き声に対応するスペクトログラムの時間－周波数領域内の値および座標を含んでもよい。復元されたターゲット領域を分割されたターゲット領域と比較することによって、異常スコアを決定する。異常スコアは、異常音検出システム９００によって異常音として検出された泣き声に対応してもよい。検出された異常音は、ユーザ装置１２１０を介して介護者１２０８に通知されてもよい。一例として、ユーザ機器１２１０は、幼児監視装置１２０２のアプリケーションインターフェイスを含むことができる。介護者１２０８は、異常音が検出された場合、動作を実行することができる。

このようにして、システム１００を用いて、効率的且つ実現可能な方法で音声信号中の異常音を検出することができる。より具体的には、システム１００は、正常データのみを含む訓練データに基づいて、異常音を検出することができる。システム１００は、時間情報および周波数情報の両方を含む音声データを処理することによって、異常音を検出するための精度を改善することができる。さらに、システム１００は、時間変動および非定常挙動を示す音声データを処理することができ、汎用的である。さらに、システム１００は、音声データ内の異常領域の動的探索を実行することによって、異常音を検出することができる。動的検索によって、システム１００は、音声信号の全長を処理する必要がなく、音声信号の一部を処理することができる。これによって、全体的な計算速度を改善することができる。

また、各々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明されることがある。フローチャートが動作を順次のプロセスとして説明しても、多くの動作は、並列にまたは同時に実行されてもよい。また、動作の順序は、変更されてもよい。プロセスの動作が完了したときに、プロセスを終了することができるが、このプロセスは、討論されていないまたは図示されていない追加のステップを含むことができる。さらに、具体的に記載されたプロセス内の全ての動作は、全ての実施形態に含まれる必要がない。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどであってもよい。プロセスが関数である場合、関数の終了は、当該関数を呼び出し関数または主関数に復帰させることに対応する。

さらに、開示された主題の実施形態は、手動でまたは自動で、少なくとも部分的に実装されてもよい。手動または自動の実装は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組み合わせで実装されてもよく、または少なくとも支援されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、機械可読媒体に記憶されてもよい。プロセッサは、必要なタスクを実行することができる。

上述した本開示の実施形態は、多くの方法で実装されてもよい。例えば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装されてもよい。ソフトウェアで実装される場合、ソフトウェアコードは、単一のコンピュータに設けられたまたは複数のコンピュータに分散されたことにも拘らず、任意の適切なプロセッサまたは一群のプロセッサで実行されてもよい。このようなプロセッサは、集積回路として実装されてもよい。１つの集積回路要素は、１つ以上のプロセッサを含むことができる。しかしながら、プロセッサは、任意の適切な回路で実装されてもよい。

また、本明細書において概説した様々な方法または工程は、様々なオペレーティングシステムまたはプラットフォームのいずれか１つを採用する１つ以上のプロセッサ上で実行可能なソフトウェアとしてコード化されてもよい。さらに、このようなソフトウェアは、いくつかの適切なプログラミング言語および／またはプログラミングツールもしくはスクリプトツールのいずれかを用いて書かれてもよく、フレームワークまたは仮想マシン上で実行される実行可能な機械言語コードもしくは中間コードとしてコンパイルされてもよい。通常、プログラムモジュールの機能は、所望に応じて様々な実施形態に組み合わせられてもよく、分散させられてもよい。

本開示の実施形態は、一例として提供された方法として具現化されてもよい。本方法の一部として実行される動作は、任意の適切な方法で順序付けられてもよい。したがって、例示的な実施形態において順次に実行される動作とは異なる順序で動作を実行すること、いくつかの動作を同時に実行することを含み得る実施形態を構築することができる。したがって、添付の特許請求の範囲は、本開示の真の精神および範囲内にある全ての変形および修正を網羅する。

いくつかの好ましい実施形態を参照して本開示を説明したが、理解すべきことは、本開示の精神および範囲内で、様々な他の改造および修正を行うことができることである。したがって、添付の特許請求の範囲は、本開示の真の精神および範囲内にある全ての変形および修正を網羅する。

Claims (20)

1. 異常音を検出するための音声処理システムであって、
   少なくとも１つのプロセッサと、
   命令を記憶するメモリとを備え、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記システムに以下の動作を実行させ、
   前記動作は、
   スペクトログラムの時間－周波数領域内の値によって定義された要素を有する音声信号のスペクトログラムを受信する動作を含み、前記スペクトログラムの各要素の値は、前記時間－周波数領域内の座標によって特定され、
   前記動作は、
   前記スペクトログラムの前記時間－周波数領域をコンテキスト領域とターゲット領域とに分割する動作と、
   前記コンテキスト領域内の要素の値および前記コンテキスト領域内の前記要素の座標を、注意型ニューラルプロセスアーキテクチャを含むニューラルネットワークに提供することによって、前記スペクトログラムの前記ターゲット領域内の座標を持つ要素の値を復元する動作と、
   前記ターゲット領域内の前記要素の前記復元された値と分割された前記ターゲット領域内の要素の値との比較に基づいて、前記音声信号の前記異常音を検出するための異常スコアを決定する動作と、
   前記異常スコアに基づいて制御動作を実行する動作とを含む、音声処理システム。
2. 前記少なくとも１つのプロセッサは、
   前記スペクトログラムを異なる組み合わせのコンテキスト領域およびターゲット領域に分割することによって、一組のコンテキスト領域と対応する一組のターゲット領域とを生成し、
   前記一組のコンテキスト領域内の各コンテキスト領域に対して１回ずつ実行するように、前記ニューラルネットワークを複数回実行することによって、一組のターゲット領域を復元し、
   復元された前記一組のターゲット領域内の各ターゲット領域を、対応する前記一組のターゲット領域の各ターゲット領域と比較することによって、一組の異常スコアを決定し、
   前記一組の異常スコアに対するプーリング演算に基づいて、前記異常スコアを決定するように構成されている、請求項１に記載の音声処理システム。
3. 前記コンテキスト領域は、第１のコンテキスト領域であり、
   前記ターゲット領域は、第１のターゲット領域であり、
   前記異常スコアは、第１の異常スコアであり、
   前記プロセッサは、
   前記第１の異常スコアに基づいて前記時間－周波数領域の第２の区画を特定し、
   前記スペクトログラムの前記第２の区画を第２のコンテキスト領域と第２のターゲット領域とに分割し、
   前記第２のコンテキスト領域の値および座標を用いて前記ニューラルネットワークを繰り返して実行することによって、前記第２のターゲット領域を復元し、復元された前記第２のターゲット領域と分割された前記第２のターゲット領域との比較に基づいて第２の異常スコアを生成し、
   前記第２の異常スコア、前記第１の異常スコアと前記第２の異常スコアとの組み合わせ、またはその両方に基づいて、第２の制御動作を実行するように構成されている、請求項２に記載の音声処理システム。
4. 前記ニューラルネットワークは、訓練用スペクトログラムの異なる区画をコンテキスト領域およびターゲット領域にランダムにまたは擬似ランダムに選択することによって訓練され、
   前記ニューラルネットワークの実行中に、前記プロセッサは、所定のプロトコルに従って前記スペクトログラムの複数の区画および対応する複数の異常スコアを生成し、最大の異常スコアに基づいて制御動作を実行するように構成されている、請求項１に記載の音声処理システム。
5. 前記少なくとも１つのプロセッサは、
   既知の異常挙動に基づいて、異常スペクトログラムライブラリを作成し、
   前記異常スペクトログラムライブラリを用いて、予測困難なターゲット領域を特定し、
   特定された前記ターゲット領域を１つ以上の仮説として利用して、前記最大の異常スコアを検出するようにさらに構成されている、請求項４に記載の音声処理システム。
6. 前記少なくとも１つのプロセッサは、前記１つ以上の仮説を検査することによって、前記最大の異常スコアを持つターゲット領域を決定するように構成され、
   前記１つ以上の仮説は、
   前記スペクトログラムのフレームの両側から前記フレームの中間部分を挟む前記スペクトログラムの側面部分から、前記スペクトログラムの一時的な中間部分を復元することを目的とする中間フレーム仮説手順と、
   前記スペクトログラムのマスクされていない周囲領域から、前記スペクトログラムの特定の周波数領域を復元することを目的とする周波数マスキング仮説手順であって、前記特定の周波数領域の復元が、少なくとも、前記スペクトログラムの低周波数から前記スペクトログラムの高周波数を再構築すること、または前記スペクトログラムの前記高周波数から前記低周波数を再構築することに対応する、周波数マスキング仮説手順と、
   前記スペクトログラムの隣接するおよび／または調和的に関連する周波数帯域から、個々の周波数帯域を復元することを目的とする周波数マスキング仮説手順と、
   前記スペクトログラムの残りのマスクされていない時間－周波数部分から、前記スペクトログラムの高エネルギー時間－周波数部分を復元することを目的とするエネルギーベースの仮説手順と、
   前記スペクトログラムの前記マスクされていない残りの領域から、マスクされた周波数帯域および時間フレームのランダムに選択されたサブセットを復元することを目的とする手順と、
   まず異なる割合の時間－周波数部分を前記スペクトログラムのコンテキストとしてサンプリングして、全てのスペクトログラムを再構築することによって決定された前記スペクトログラムの異なるコンテキスト領域を用いて複数のパスを実行する尤度ブートストラッピング手順であって、再構築尤度の高い再構築スペクトログラムの時間－周波数領域を決定し、前記再構築尤度の高い前記再構築スペクトログラムの前記時間－周波数領域をコンテキストとして用いて再構築尤度の低い時間－周波数領域を再構築する、尤度ブートストラッピング手順と、
   上述した複数の仮説生成手順を組み合わせることによって前記最大の異常スコアを求めるアンサンブル手順とを含む、請求項５に記載の音声処理システム。
7. 前記注意型ニューラルプロセスアーキテクチャは、
   任意のサイズの入力セットを受信するように訓練されたエンコーダニューラルネットワークを含み、前記入力セットは、前記コンテキスト領域内の要素の前記値および座標に対応し、前記エンコーダニューラルネットワークは、前記入力セットの各要素の埋め込みベクトルを生成し、
   隣接する座標に位置する前記コンテキスト領域内の前記要素の前記埋め込みベクトルを処理することによって、前記ターゲット領域内の各要素の固有の埋め込みベクトルを計算するように訓練されたクロスアテンションモジュールと、
   前記ターゲット領域内の座標および前記ターゲット領域内の要素の前記固有の埋め込みベクトルに基づいて、前記ターゲット領域内の各要素の確率分布を出力するデコーダニューラルネットワークとを含む、請求項１に記載の音声処理システム。
8. 前記エンコーダニューラルネットワークは、セルフアテンションメカニズムを用いて、前記コンテキスト領域内の全ての要素を共同でエンコードする、請求項７に記載の音声処理システム。
9. 前記クロスアテンションモジュールは、マルチヘッドアテンションを使用する、請求項７に記載の音声処理システム。
10. 前記デコーダニューラルネットワークは、条件付き独立ガウス分布の複数のパラメータおよび条件付き独立ガウス分布混合物の複数のパラメータのうちの少なくとも１つを出力する、請求項７に記載の音声処理システム。
11. 前記少なくとも１つのプロセッサは、前記スペクトログラム上にスライディングウィンドウを実装するように構成され、
    注意型ニューラルネットワークアーキテクチャを使用する前記ニューラルネットワークは、前記スライディングウィンドウを処理することによって、前記異常音を検出するための前記異常スコアを決定する、請求項１に記載の音声処理システム。
12. 異常音を検出するためのコンピュータ実施方法であって、
    時間－周波数領域内の値によって定義された要素を有する音声信号のスペクトログラムを受信することを含み、前記スペクトログラムの各要素の値は、前記時間－周波数領域内の座標によって特定され、
    前記スペクトログラムの前記時間－周波数領域をコンテキスト領域とターゲット領域とに分割することと、
    前記コンテキスト領域内の要素の値および前記コンテキスト領域内の前記要素の座標を、注意型ニューラルプロセスアーキテクチャを含むニューラルネットワークに提供することによって、前記スペクトログラムの前記ターゲット領域内の座標を持つ要素の値を復元
    することと、
    前記ターゲット領域内の前記要素の前記復元された値と分割された前記ターゲット領域内の要素の値との比較に基づいて、前記音声信号の前記異常音を検出するための異常スコアを決定することと、
    前記異常スコアに基づいて制御動作を実行することとを含む、方法。
13. 前記スペクトログラムを異なる組み合わせのコンテキスト領域およびターゲット領域に分割することによって、一組のコンテキスト領域と対応する一組のターゲット領域とを生成することと、
    前記一組のコンテキスト領域内の各コンテキスト領域に対して１回ずつ実行するように、前記ニューラルネットワークを複数回実行することによって、一組のターゲット領域を復元することと、
    復元された前記一組のターゲット領域内の各ターゲット領域を、対応する前記ターゲット領域と比較することによって、一組の異常スコアを決定することと、
    前記一組の異常スコアに対するプーリング演算に基づいて、前記異常スコアを決定することとをさらに含む、請求項１２に記載の方法。
14. 前記コンテキスト領域は、第１のコンテキスト領域であり、
    前記ターゲット領域は、第１のターゲット領域であり、
    前記異常スコアは、第１の異常スコアであり、
    前記方法は、
    前記第１の異常スコアに基づいて前記時間－周波数領域の第２の区画を特定することと、
    前記スペクトログラムの前記第２の区画を第２のコンテキスト領域と第２のターゲット領域とに分割することと、
    前記第２のコンテキスト領域の値および座標を用いて前記ニューラルネットワークを繰り返して実行することによって、前記第２のターゲット領域を復元し、復元された前記第２のターゲット領域と分割された前記第２のターゲット領域との比較に基づいて第２の異常スコアを生成することと、
    前記第２の異常スコア、前記第１の異常スコアと前記第２の異常スコアとの組み合わせ、またはその両方に基づいて、第２の制御動作を実行することとをさらに含む、請求項１３に記載の方法。
15. 訓練用スペクトログラムの異なる区画をコンテキスト領域およびターゲット領域にランダムにまたは擬似ランダムに選択することによって、前記ニューラルネットワークを訓練することと、
    前記ニューラルネットワークの実行中に、所定のプロトコルに従って前記スペクトログラムの複数の区画および対応する複数の異常スコアを生成することと、
    最大の異常スコアに基づいて制御動作を実行することとをさらに含む、請求項１２に記載の方法。
16. 既知の異常挙動に基づいて、異常スペクトログラムライブラリを作成することと、
    前記異常スペクトログラムライブラリを用いて、予測困難なターゲット領域を特定すること、
    特定された前記ターゲット領域を１つ以上の仮説として利用して、前記最大の異常スコアを検出することとをさらに含む、請求項１５に記載の方法。
17. 前記方法は、前記１つ以上の仮説を検査することによって、前記最大の異常スコアを持つターゲット領域を決定することをさらに含み、
    前記１つ以上の仮説は、
    両側から中間部分を挟む前記スペクトログラムの側面部分から、前記スペクトログラムの一時的な中間部分を復元することを目的とする中間フレーム仮説手順と、
    前記スペクトログラムのマスクされていない周囲領域から、前記スペクトログラムの特定の周波数領域を復元することを目的とする周波数マスキング仮説手順であって、前記特定の周波数領域の復元が、少なくとも、前記スペクトログラムの低周波数から前記スペクトログラムの高周波数を再構築すること、または前記スペクトログラムの前記高周波数から前記低周波数を再構築することに対応する、周波数マスキング仮説手順と、
    隣接するおよび／または調和的に関連する周波数帯域から、個々の周波数帯域を復元することを目的とする周波数マスキング仮説手順と、
    前記スペクトログラムの残りのマスクされていない時間－周波数部分から、前記スペクトログラムの高エネルギー時間－周波数部分を復元することを目的とするエネルギーベースの仮説手順と、
    前記スペクトログラムの前記マスクされていない残りの領域から、マスクされた周波数帯域および時間フレームのランダムに選択されたサブセットを復元することを目的とする手順と、
    まず、異なる割合の時間－周波数部分を前記スペクトログラムのコンテキストとしてサンプリングして全てのスペクトログラムを再構築し、次に再構築された前記スペクトログラムから、再構築尤度の高い時間－周波数領域のみを求め、これらをコンテキストとして用いて再構築尤度の低い時間－周波数領域を再構築する、尤度ブートストラッピング手順と、
    上述した複数の仮説生成手順を組み合わせることによって前記最大の異常スコアを求めるアンサンブル手順とを含む、請求項１６に記載の方法。
18. 前記注意型ニューラルプロセスアーキテクチャは、
    前記注意型ニューラルプロセスアーキテクチャの訓練済みエンコーダニューラルネットワークを用いて、任意のサイズの入力セットを受信することを実行し、前記入力セットは、前記コンテキスト領域内の要素の前記値および座標に対応し、前記入力セットの各要素の埋め込みベクトルは、前記エンコーダニューラルネットワークによって出力され、
    前記注意型ニューラルプロセスアーキテクチャは、
    前記注意型ニューラルプロセスアーキテクチャの訓練済みクロスアテンションモジュールを用いて、隣接する座標に位置する前記コンテキスト領域内の前記要素の前記埋め込みベクトルを処理することによって、前記ターゲット領域内の各要素の固有の埋め込みベクトルを計算ことと、
    訓練済みデコーダニューラルネットワークを用いて、前記ターゲット領域内の座標および前記ターゲット領域内の要素の前記固有の埋め込みベクトルに基づいて、前記ターゲット領域内の各要素の確率分布を出力することとを実行する、請求項１２に記載の方法。
19. 前記エンコーダニューラルネットワークが、セルフアテンションメカニズムを用いて、前記コンテキスト領域内の全ての要素を共同でエンコードすることをさらに含む、請求項１８に記載の方法。
20. 前記デコーダニューラルネットワークが、条件付き独立ガウス分布の複数のパラメータおよび条件付き独立ガウス分布混合物の複数のパラメータのうちの少なくとも１つを出力することをさらに含む、請求項１８に記載の方法。