JP7846782B2 - キーワードスポッティングの精度を向上させるための異種損失タイプの混合 - Google Patents

Description

本開示は、ストリーミングオーディオ内のキーワードスポッティングのためのシステムに関する。

音声対応環境（例えば、家庭、職場、学校、自動車など）では、ユーザは、クエリを処理し応答し、及び／またはコマンドに基づいて機能を実行するコンピュータベースのシステムに対して声を出してクエリまたはコマンドを話すことが可能となる。音声対応環境は、その環境の様々な部屋またはエリア中に分散された、接続されたマイクロフォンデバイスのネットワークを用いて実装され得る。これらのデバイスは、環境に存在する別の個人に向けられた発話とは対照的に、所与の発話がシステムに向けられているときを識別するのを助けるための、いわゆる「ホットワード」を使用し得る。したがって、デバイスは、スリープ状態またはハイバネーション状態で動作し、検出された発話がホットワードを含む場合にのみウェイクアップし得る。音声対応環境が最適に動作するためには、環境内のデバイスが、ホットワードを正確かつ効率的に検出可能でなければならない。ニューラルネットワークは、ストリーミングオーディオ内のユーザが話したホットワードを検出するようにモデルを訓練するための魅力的なソリューションとして近年現れてきている。

本開示の一態様は、訓練データについての２つのラベル及び２つの損失関数を使用してホットワード検出器を訓練するための方法を提供する。コンピュータ実施方法は、データ処理ハードウェア上で実行されたとき、データ処理ハードウェアに、入力フレームのシーケンスを含む訓練入力オーディオシーケンスを受信することを含む動作を実行させる。入力フレームのシーケンスは、ユーザデバイス上でウェイクアッププロセスを開始するホットワードを定義する。動作は、訓練入力オーディオシーケンスについての第１のラベル及び訓練入力オーディオシーケンスについての第２のラベルを取得することであって、第２のラベルが、第１のラベルとは異なる、取得することをさらに含む。動作はまた、記憶済みニューラルネットワーク及び訓練入力オーディオシーケンスを使用して、訓練入力オーディオシーケンスがホットワードを含む尤度を示す出力を生成することを含む。動作は、第１のラベル及び出力に基づいて第１の損失を、第２のラベル及び出力に基づいて第２の損失を、決定することを含む。動作は、訓練入力オーディオシーケンスに関連付けられた第１の損失及び第２の損失に基づいて記憶済みニューラルネットワークを最適化することをさらに含む。

本開示の実施態様は、以下の任意選択の特徴の１つ以上を含み得る。いくつかの実施態様では、記憶済みニューラルネットワークは、エンコーダ及びデコーダを含み、記憶済みニューラルネットワークのエンコーダ及びデコーダのそれぞれが、順次積層された特異値分解フィルタ（single value decomposition filter: ＳＶＤＦ）層を含む。他の実施態様では、出力は、訓練入力オーディオシーケンスに基づいたロジットの確率分布に基づく。これらの実施態様では、動作は、第１の損失を決定する前に、ロジットを平滑化することをさらに含む。

いくつかの追加の実施態様では、第１の損失を決定することは、複数のエンコーダウィンドウを生成することであって、複数のエンコーダウィンドウの各エンコーダウィンドウが、ホットワードの１つ以上の音素に関連付けられる、生成することを含む。これらの実施態様は、複数のエンコーダウィンドウのエンコーダウィンドウごとに第１の損失を決定することをさらに含む。これらの実施態様では、複数のエンコーダウィンドウの集合サイズは、ホットワードの平均音響長に対応し得る。

さらに、記憶済みニューラルネットワークを最適化することは、第１の損失及び第２の損失の加重平均を生成することを含み得る。いくつかの実施態様では、第２のラベルは、ホットワードの１つ以上の音素列から導出される。代替として、第１のラベルは、ホットワードの最後の音素の位置に基づいてもよい。さらに、入力フレームのシーケンスはそれぞれ、ホットワードの音声成分を特徴付ける１つ以上のそれぞれのオーディオ特徴を含み得る。

いくつかの例示的な実施態様では、第１のラベルは、最大プーリング損失ラベルであり、第２のラベルは、交差エントロピーラベルである。これらの例示的な実施態様では、第１の損失は最大プーリング損失であり、第２の損失は交差エントロピー損失である。

本開示の別の態様は、訓練データについての２つのラベル及び２つの損失関数を使用してホットワード検出器を訓練するためのシステムを提供する。システムは、データ処理ハードウェア、及びデータ処理ハードウェアと通信するメモリハードウェアを含む。メモリハードウェアは、データ処理ハードウェア上で実行されたとき、データ処理ハードウェアに、入力フレームのシーケンスを含む訓練入力オーディオシーケンスを受信することを含む動作を実行させる命令を記憶する。入力フレームのシーケンスは、ユーザデバイス上でウェイクアッププロセスを開始するホットワードを定義する。動作は、訓練入力オーディオシーケンスについての第１のラベル及び訓練入力オーディオシーケンスについての第２のラベルを取得することであって、第２のラベルが、第１のラベルとは異なる、取得することをさらに含む。動作はまた、記憶済みニューラルネットワーク及び訓練入力オーディオシーケンスを使用して、訓練入力オーディオシーケンスがホットワードを含む尤度を示す出力を生成することを含む。動作は、第１のラベル及び出力に基づいて第１の損失を、第２のラベル及び出力に基づいて第２の損失を、決定することを含む。動作は、訓練入力オーディオシーケンスに関連付けられた第１の損失及び第２の損失に基づいて記憶済みニューラルネットワークを最適化することをさらに含む。

本態様は、以下の任意選択の特徴のうちの１つ以上を含み得る。いくつかの実施態様では、記憶済みニューラルネットワークは、エンコーダ及びデコーダを含み、記憶済みニューラルネットワークのエンコーダ及びデコーダのそれぞれが、順次積層された特異値分解フィルタ（ＳＶＤＦ）層を含む。他の実施態様では、出力は、訓練入力オーディオシーケンスに基づいたロジットの確率分布に基づく。これらの実施態様では、動作は、第１の損失を決定する前に、ロジットを平滑化することをさらに含む。

いくつかの追加の実施態様では、第１の損失を決定することは、複数のエンコーダウィンドウを生成することであって、複数のエンコーダウィンドウの各エンコーダウィンドウが、ホットワードの１つ以上の音素に関連付けられる、生成することを含む。これらの実施態様は、複数のエンコーダウィンドウのエンコーダウィンドウごとに第１の損失を決定することをさらに含む。これらの実施態様では、複数のエンコーダウィンドウの集合サイズは、ホットワードの平均音響長に対応し得る。

さらに、記憶済みニューラルネットワークを最適化することは、第１の損失及び第２の損失の加重平均を生成することを含み得る。いくつかの実施態様では、第２のラベルは、ホットワードの１つ以上の音素列から導出される。代替として、第１のラベルは、ホットワードの最後の音素の位置に基づいてもよい。さらに、入力フレームのシーケンスはそれぞれ、ホットワードの音声成分を特徴付ける１つ以上のそれぞれのオーディオ特徴を含み得る。

いくつかの例示的な実施態様では、第１のラベルは、最大プーリング損失ラベルであり、第２のラベルは、交差エントロピーラベルである。これらの例示的な実施態様では、第１の損失は最大プーリング損失であり、第２の損失は交差エントロピー損失である。

本開示の１つ以上の実施態様の詳細は、添付の図面及び以下の説明において述べられている。他の態様、特徴、及び利点は、説明及び図面、ならびに特許請求の範囲から明らかになる。

記憶済みニューラルネットワークを訓練するため、及び訓練された記憶済みニューラルネットワークを使用して、話された発話中のホットワードを検出するための例示的なシステムの概略図である。 ホットワードを検出するモデルによって使用される典型的なニューラルネットワーク音響エンコーダのコンポーネントの概略図である。 図１のシステムの記憶済みニューラルネットワークの例示的なコンポーネントの概略図である。 複数の層を有する記憶済みニューラルネットワークの例示的なコンポーネントの概略図である。 ニューラルネットワークを訓練するためにストリーミングオーディオから生成されたオーディオ特徴とラベルのペアを示す概略図である。 ニューラルネットワークを訓練するためにストリーミングオーディオから生成されたオーディオ特徴とラベルのペアを示す概略図である。 図１のシステムの記憶済みニューラルネットワークの層の概略図である。 図１のシステムの記憶済みニューラルネットワークの層の概略図である。 図１のシステムの記憶済みニューラルネットワークに対する例示的な訓練プロセスの概略図である。 図５Ｃの訓練プロセス中に使用されるウィンドウの例のグラフィック表現である。 ２つのラベル及び２つの損失関数を使用する、図１の記憶済みニューラルネットワークの例示的な訓練プロセスの概略図である。 ホットワードを検出するようにニューラルネットワークを訓練する方法の動作の例示的な構成のフローチャートである。 本明細書に記載のシステム及び方法を実施するために使用され得る例示的なコンピューティングデバイスの概略図である。

様々な図面における同様の参照記号は、同様の要素を指す。

ボイス対応デバイス（例えば、ボイスアシスタントを実行するユーザデバイス）によって、ユーザは、声を出してクエリまたはコマンドを話すこと、クエリを処理し応答すること、及び／またはコマンドに基づいて機能を実行することが可能となる。規約によってボイス対応デバイスに対して注意を促すために話される所定の用語／フレーズが予約されている、「ホットワード」（「キーワード」、「注意ワード」、「ウェイクアップフレーズ／ワード」、「トリガフレーズ」、または「ボイスアクション開始コマンド」とも呼ばれる）の使用により、ボイス対応デバイスは、システムに向けられた発話（即ち、発話中のホットワードの後に続く１つ以上の用語を処理するためのウェイクアッププロセスを開始するためのもの）と、環境内の個人に向けられた発話とを識別することができる。典型的には、ボイス対応デバイスは、バッテリ電力を節約するためにスリープ状態で動作し、話されたホットワードの後に入力オーディオデータが続いていない限り、入力オーディオデータを処理しない。例えば、スリープ状態にある間、ボイス対応デバイスは、マイクロフォンを介して入力オーディオをキャプチャし、入力オーディオ内のホットワードの存在を検出するように訓練されたホットワード検出器を使用する。入力オーディオ内でホットワードが検出されると、ボイス対応デバイスは、ホットワード及び／またはホットワードの後に続く入力オーディオ内の任意の他の用語を処理するためのウェイクアッププロセスを開始する。

ホットワード検出は、干し草の山の中から針を探し出すことに似ている。これは、ホットワード検出器がストリーミングオーディオを継続的に聞き取り、ストリーミングオーディオ内でホットワードの存在が検出されたときに正確かつ瞬時にトリガしなければならないためである。言い換えると、ホットワード検出器には、ホットワードの存在が検出されない限りストリーミングオーディオを無視することが課されている。一般的に、オーディオの連続ストリーム内のホットワードの存在を検出することの複雑さに対処するために、ホットワード検出器によってニューラルネットワークが使用されている。

ホットワード検出器は、典型的には、３つの主要なコンポーネント、信号処理フロントエンドと、ニューラルネットワーク音響エンコーダと、手動設計されたデコーダと、を含む。信号処理フロントエンドは、ユーザデバイスのマイクロフォンによってキャプチャされた生オーディオ信号を、ニューラルネットワーク音響エンコーダコンポーネントによって処理するためにフォーマットされた１つ以上のオーディオ特徴に変換し得る。例えば、ニューラルネットワーク音響エンコーダコンポーネントは、これらのオーディオ特徴を音素に変換してもよく、手動設計されたデコーダは、ハンドコーディングされたアルゴリズムを使用して、音素を継ぎ合わせ、オーディオシーケンスがホットワードを含むか否かの確率を提供する。

ニューラルネットワークを訓練するための一般的な方法は、ラベル付き訓練サンプルをニューラルネットワークに提供することを含む。訓練サンプルは、典型的には、ニューラルネットワークの所望の出力に基づいてラベル付けされた、プレスクリーニングされたデータ入力である。例えば、ホットワード検出器の場合、訓練サンプルは、ホットワードの存在のインジケーション（例えば、ホットワードが訓練サンプル中に存在する場合は「１」、それ以外の場合は「０」）でラベル付けされる。ニューラルネットワークは、訓練サンプルを分析し、次いで事前定義されたターゲット出力（即ち、ラベル）と比較される出力または予測を生成して、損失関数を使用して損失を決定する。損失は、ラベルと比較した出力の精度を示す。次いで、損失はニューラルネットワークに供給され、ニューラルネットワークは、損失に基づいて１つ以上の重み、値、またはパラメータを調節する。

ホットワード検出器を訓練する場合、訓練サンプルは、オーディオシーケンスを含んでもよく、ニューラルネットワークは、オーディオシーケンスがホットワードを含むというインジケーションまたは確率を出力してもよい。この訓練プロセスは簡単なように見えるが、オーディオシーケンスにラベル付けする多くの異なる方法が存在し、それぞれのラベル付けの慣例により固有の損失がもたらされる。同様に、結果として生じる各損失は、特定の方法でホットワード検出器を調整する。例えば、単純な交差エントロピーに基づく損失は、音素列から導出されたラベルを使用する。交差エントロピーに基づく損失は、キーワードを含む全ての副音素の位置アライメントに非常に影響を受けやすく、したがって、結果として得られる訓練済みホットワード検出器は、パターンの検出をシグナリングするために正確な位置を予測するための学習にそのリソースの相当な部分を使用する。別の例では、最大プーリング技術は、キーワードの最後の音素の位置のみから導出されたラベルを使用する。したがって、上記の交差エントロピーの例とは異なり、最大プーリング技術は、他の副音素の位置情報に依存せず、結果として得られるホットワード検出器は、位置アライメントにおけるノイズを無視し得るため、交差エントロピー基づく損失を使用して訓練されたホットワード検出器よりも安定している。しかしながら、上記の例はそれぞれ、相互に、または他の技術と比較すると、長所及び短所を有する。

本明細書における実施態様は、訓練入力セット内のサンプルごとの２つの別個のターゲットラベルを使用してホットワード検出器を訓練する、エンドツーエンドホットワードスポッティングシステム（「キーワードスポッティングシステム」とも呼ばれる）を対象とする。同様に、訓練サンプルごとに、２つのターゲットラベルがそれぞれ、２つの別個の損失を決定するために使用される。次いで、ホットワード検出器は、２つの損失の両方に基づく損失を受信し、それに応じて調節する。２つの異なるラベルを使用して異なるように決定された２つの損失を使用することによって、ホットワード検出器は、複数の技術を使用して微調整され得る。例えば、交差エントロピー及び最大プーリングに基づく損失関数を同時に使用してホットワード検出器を訓練することにより、いずれかの技術で個別に訓練されたホットワード検出器よりも正確かつ効率的なホットワード検出器を得ることができる。

図１を参照すると、いくつかの実施態様では、例示的なシステム１００は、それぞれのユーザ１０にそれぞれが関連付けられ、かつネットワーク１０４を介してリモートシステム１１０と通信する、１つ以上のユーザデバイス１０２を含む。各ユーザデバイス１０２は、携帯電話、コンピュータ、ウェアラブルデバイス、スマートアプライアンス、スマートスピーカなどのコンピューティングデバイスに対応してもよく、データ処理ハードウェア１０３及びメモリハードウェア１０５を備える。リモートシステム１１０は、スケーラブル／エラスティックコンピューティングリソース１１２（例えば、データ処理ハードウェア）及び／またはストレージリソース１１４（例えば、メモリハードウェア）を有する単一のコンピュータ、複数のコンピュータ、または分散システム（例えば、クラウド環境）であってもよい。ユーザデバイス１０２は、ネットワーク１０４を介してリモートシステム１１０から訓練された記憶済みニューラルネットワーク３００を受信し、訓練された記憶済みニューラルネットワーク３００を実行して、ストリーミングオーディオ１１８内のホットワードを検出する。訓練された記憶済みニューラルネットワーク３００は、ストリーミングオーディオ１１８に対する意味解析または音声認識処理を実行することなくストリーミングオーディオ内のホットワードの存在を検出するように構成された、ユーザデバイス１０２のホットワード検出器１０６（ホットワーダーとも呼ばれる）に常駐し得る。任意選択で、訓練された記憶済みニューラルネットワーク３００は、追加または代替として、ユーザデバイス１０２及び／またはリモートシステム１１０の自動音声認識器（ＡＳＲ）１０８に常駐して、ホットワード検出器１０６がストリーミングオーディオ１１８内のホットワードの存在を正しく検出したことを確認してもよい。

いくつかの実施態様では、データ処理ハードウェア１１２は、注釈付き発話プール１３０から得られた訓練サンプル４００を使用して、記憶済みニューラルネットワーク３００を訓練する。訓練サンプルは、第１のラベル４２０、４２０ａ及び第２のラベル４２０、４２０ｂを含み得る。即ち、各訓練サンプルは、２つの別個のラベル４２０ａ、４２０ｂで注釈が付けられ得る。注釈付き発話プール１３０は、メモリハードウェア１１４及び／または何らかの他のリモートメモリ位置（複数可）に常駐し得る。図示した例では、ユーザ１０が、ユーザデバイス１０２によってストリーミングオーディオ１１８としてキャプチャされたホットワード（例えば、「Ｈｅｙ Ｇｏｏｇｌｅ」）を含む発話１２０を話すと、ユーザデバイス１０２上で実行中の記憶済みニューラルネットワーク３００は、ユーザデバイス１０２上で、発話１２０内のホットワードの後に続くホットワード及び／または１つ以上の他の用語（例えば、クエリもしくはコマンド）を処理するためのウェイクアッププロセスを開始するように、発話１２０内のホットワードの存在を検出するように構成される。追加の実施態様では、ユーザデバイス１０２は、（例えば、別の、潜在的により計算集約的な記憶済みニューラルネットワーク３００を用いた）追加の処理または検証のために発話１２０をリモートシステム１１０に送信する。

図示した例では、記憶済みニューラルネットワーク３００は、エンコーダ部分３１０及びデコーダ部分３１１を含み、それぞれが、特異値分解フィルタ（ＳＶＤＦ）層３０２の層状トポロジを含む。ＳＶＤＦ層３０２は、全てのＳＶＤＦ層３０２のメモリ容量が、ホットワードを特徴付けるオーディオ特徴４１０（図４Ａ及び４Ｂ）をキャプチャするのに必要なストリーミングオーディオ１１８の固定長の時間のみを記憶しておくためにニューラルネットワーク３００のための全体の固定メモリを追加的に構成するように、各ＳＶＤＦ層３０２にメモリ容量を提供することによってニューラルネットワーク３００にメモリを提供する。この記憶済みニューラルネットワーク３００のアーキテクチャは例示的なものであり、任意の記憶済みニューラルネットワーク３００のアーキテクチャが代用されてもよいことを理解されたい。

いくつかの実施態様では、記憶済みニューラルネットワーク３００は、対応するラベル４２０ａ～ｂごとにそれぞれの損失７１０、７１０ａ～ｂを生成するために、複数のラベル４２０、４２０ａ～ｂを使用して訓練される。複数のラベル４２０を用いてニューラルネットワーク３００を訓練するプロセスは、以下でより詳細に説明される（図７）。

ここで図２を参照すると、典型的なホットワード検出器は、メモリのないニューラルネットワーク音響エンコーダ２００を使用する。ネットワーク２００にはメモリがないため、音響エンコーダ２００の各ニューロン２１２は、入力として、話された発話１２０のあらゆるフレーム２１０、２１０ａ～ｄのあらゆるオーディオ特徴を同時に受け入れなければならない。各フレーム２１０は、任意の数のオーディオ特徴を有することができ、オーディオ特徴のそれぞれを、ニューロン２１２が入力として受け入れることに留意されたい。このような構成には、固定長時間が増加するにつれて、及び／またはオーディオ特徴の数が増加するにつれて劇的に増加する相当なサイズのニューラルネットワーク音響エンコーダ２００が必要である。音響エンコーダ２００の出力は、例えば、検出されたホットワードの各音素の確率を結果としてもたらす。次いで、音響エンコーダ２００は、ホットワードの存在を示すスコア（即ち、推定）を生成するために、ハンドコーディングされたデコーダに依存して、音響エンコーダ２００の出力を処理し（例えば、音素を継ぎ合わせ）なければならない。

ここで図３Ａ及び図３Ｂを参照すると、いくつかの実施態様では、特異値分解フィルタ（ＳＶＤＦ）ニューラルネットワーク３００（記憶済みニューラルネットワークとも呼ばれる）は、任意の数のニューロン／ノード３１２を有し、各ニューロン３１２は、話された発話１２０の単一のフレーム２１０、２１０ａ～ｄのみを一度に受け入れる。即ち、各フレーム２１０が、例えば３０ｍｓのオーディオデータを構成する場合、それぞれのフレーム２１０は、約３０ｍｓ（即ち、時間１、時間２、時間３、時間４など）ごとにニューロン３１２に入力される。図３Ａは、２段階のフィルタリング機構、入力の特徴次元に対してフィルタリングを実行する第１の段階３２０（即ち、段階１の特徴フィルタ）と、第１の段階３２０の出力の時間次元に対してフィルタリングを実行する第２の段階３４０（即ち、段階２の時間フィルタ）と、を含む各ニューロン３１２を示している。したがって、段階１の特徴フィルタ３２０は、現在のフレーム２１０のみに対して特徴フィルタリングを実行する。次いで、処理の結果が、メモリコンポーネント３３０に置かれる。これらの例では、メモリコンポーネント３３０のサイズは、ノードレベルごとまたは層レベルごとに構成可能である。段階１の特徴フィルタ３２０が所与のフレーム２１０を（例えば、フレーム内のオーディオ特徴をフィルタリングすることによって）処理した後、フィルタリングされた結果が、メモリコンポーネント３３０内の次に利用可能なメモリ位置３３２、３３２ａ～ｄに置かれる。全てのメモリ位置３３２が一杯になると、段階１の特徴フィルタ３２０は、メモリコンポーネント３３０内の最も古いフィルタリング済みデータを記憶しているメモリ位置３３２を上書きする。例示の目的で、図３Ａは、サイズ４（４つのメモリ位置３３２ａ～ｄ）のメモリコンポーネント３３０及び４つのフレーム２１０ａ～ｄを示しているが、ホットワード検出の性質により、システム１００は、典型的には、各ニューロン３１２がパイプラインに沿って「スライド」し、またはパイプラインと同様にフレーム２１０を処理するように、ストリーミングオーディオ１１８を継続的に監視することに留意されたい。言い換えると、各段階がＮ個の特徴フィルタ３２０及びＮ個の時間フィルタ３４０（それぞれが入力特徴フレーム２１０のサイズに一致する）を含む場合、層は、特徴フレームのサイズのストライドで、入力特徴フレーム２１０上でＮ個のフィルタ３２０、３４０のそれぞれをスライドすることによって特徴フィルタのＮ×Ｔ（Ｔは固定期間内のフレーム２１０の数に等しい）畳み込みを計算することに類似している。例えば、例は、段階１の特徴フィルタがフレーム４（Ｆ４）２１０ｄ（時間４の間）に関連付けられたフィルタリング済みオーディオ特徴を出力した後の容量におけるメモリコンポーネント３３０を示しているため、段階１の特徴フィルタ３２０は、メモリ位置３３２ａ内のフレーム１（Ｆ１）２１０ａに関連付けられたフィルタリング済みオーディオ特徴を上書きすることによって、続くフレーム５（Ｆ５）（時間５の間）に関連付けられたフィルタリング済みオーディオ特徴をメモリ３３０に置く。このようにして、段階２の時間フィルタ３４０は、段階１の特徴フィルタ３２０から出力された、前のＴ－１（Ｔは、ここでも固定期間内のフレーム２１０の数に等しい）のフィルタリング済みオーディオ特徴にフィルタリングを適用する。

次いで、段階２の時間フィルタ３４０は、メモリ３３０に記憶された各フィルタリング済みオーディオ特徴をフィルタリングする。例えば、図３Ａは、段階１の特徴フィルタ３２０が新たなフィルタリング済みオーディオ特徴をメモリ３３０に記憶するたびに、段階２の時間フィルタ３４０が４つのメモリ位置３３２のそれぞれにあるオーディオ特徴をフィルタリングすることを示している。このようにして、段階２の時間フィルタ３４０は、常にいくつかの過去のフレーム２１０をフィルタリングしており、その数は、メモリ３３０のサイズに比例する。各ニューロン３１２は、単一のＳＶＤＦ層３０２の一部であり、ニューラルネットワーク３００は、任意の数の層３０２を含み得る。段階２の各時間フィルタ３４０の出力は、次の層３０２のニューロン３１２の入力に渡される。層３０２の数及び層３０２ごとのニューロン３１２の数は、完全に構成可能であり、利用可能なリソースならびに所望のサイズ、電力、及び精度に依存する。本開示は、ＳＶＤＦ層３０２の数にも、各ＳＶＤＦ層３０２内のニューロン３１２の数にも限定されない。

ここで図３Ｂを参照すると、ニューラルネットワーク３００の各ＳＶＤＦ層３０２、３０２ａ～ｎ（または単に「層」）は、いくつかの実施態様では、前の層の出力が対応する層３０２への入力として受け入れられるように接続される。いくつかの例では、最終層３０２ｎは、発話１２０がホットワードを含む確率を示す確率スコア３５０を出力する。

図示した例のＳＶＤＦネットワーク３００では、層設計は、入力フレーム２１０のシーケンスを処理している密に接続された層３０２を、そのノード３１２のそれぞれの特異値分解を使用することによって近似し得るという概念に由来する。近似は構成可能である。例えば、ランクＲ近似は、層のフィルタに対して新しい次元Ｒを拡張することを意味し、段階１は独立して発生し、段階２では、非線形性を通過する前に全てのランクの出力が加算される。言い換えると、一致する次元の密に接続された層のノード３１２のＳＶＤＦ分解が、ＳＶＤＦ層３０２を初期化するために使用されてもよく、これは、原則的な初期化をもたらし、層の汎化の品質を向上させる。本質的に、より大きな密に接続された層の「パワー」は、潜在的に（ランクに応じて）はるかに小さなＳＶＤＦに転送される。しかしながら、ＳＶＤＦ層３０２は、同じかさらにより多くの演算を有する密に接続された層または畳み込み層でさえ上回るために初期化を必要としないことに留意されたい。

いくつかの実施態様では、システム１００は、ステートフルで積層可能なニューラルネットワーク３００を含み、各ＳＶＤＦ層３０２の各ニューロン３１２は、オーディオ特徴のフィルタリングに関連付けられた第１の段階３２０と、時間に関する第１の段階３２０の出力のフィルタリングに関連付けられた第２の段階３４０とを含む。具体的には、第１の段階３２０は、一度に１つのオーディオ特徴入力フレーム２１０上の１つ以上のオーディオ特徴に対してフィルタリングを実行し、フィルタリングされたオーディオ特徴をそれぞれのメモリコンポーネント３３０に出力するように構成される。ここで、段階１の特徴フィルタ３２０は、時間フレーム２１０に関連付けられた１つ以上のオーディオ特徴を処理のための入力として受信し、処理されたオーディオ特徴をＳＶＤＦ層３０２のそれぞれのメモリコンポーネント３３０に出力する。その後、第２の段階３４０は、第１の段階３２０から出力され、それぞれのメモリコンポーネント３３０に存在するフィルタリング済みオーディオ特徴の全てに対してフィルタリングを実行するように構成される。例えば、それぞれのメモリコンポーネント３３０が８に等しい場合、第２の段階３４０は、８個の入力フレーム２１０のシーケンス内のオーディオ特徴の個々のフィルタリング中に第１の段階３２０から出力されたメモリコンポーネント３３０に存在する最大８個の最後のフィルタリング済みオーディオ特徴をプルすることになる。第１の段階３２０が対応するメモリコンポーネント３３０を容量まで一杯にすると、最も古いフィルタリング済みオーディオ特徴を含むメモリ位置３３２が、上書きされる（即ち、先入れ先出し）。したがって、ＳＶＤＦニューロン３１２または層３０２におけるメモリコンポーネント３３０の容量に応じて、第２の段階３４０は、対応するＳＶＤＦ層３０２の第１の段階３２０によって処理されたいくつかの過去の出力を記憶することができる。さらに、ＳＶＤＦ層３０２におけるメモリコンポーネント３３０は付加的であるため、各ＳＶＤＦニューロン３１２及び層３０２におけるメモリコンポーネント３３０は、それぞれの先行するＳＶＤＦニューロン３１２及び層３０２のメモリも含み、したがって、記憶済みニューラルネットワーク３００の全体的な受容フィールドは拡張される。例えば、８に等しいメモリコンポーネント３３０を有する単一のニューロン３１２をそれぞれが有する４つのＳＶＤＦ層３０２を有するニューラルネットワーク３００のトポロジにおいて、最後のＳＶＤＦ層３０２は、ニューラルネットワーク３００によって個別にフィルタリングされた、最大で３２個の最後のオーディオ特徴入力フレーム２１０のシーケンスを含む。しかしながら、メモリ量は、層３０２ごとに、またはノード３１２ごとにでも構成可能であることに留意されたい。例えば、第１の層３０２ａには、３２個の位置３３２が割り当てられてもよく、最後の層３０２は、８個の位置３３２で構成されてもよい。その結果、積層されたＳＶＤＦ層３０２により、ニューラルネットワーク３００は、一度に１つの入力時間フレーム２１０（例えば、３０ミリ秒のオーディオデータ）のオーディオ特徴のみを処理すること、及びストリーミングオーディオ１１８内の指定されたホットワードをキャプチャするのに必要な固定長時間をキャプチャするいくつかのフィルタリング済みオーディオ特徴を過去に組み込むことが可能となる。対照的に、メモリのないニューラルネットワーク２００（図２に示されるような）は、ストリーミングオーディオがホットワードの存在を含む確率を決定するために、そのニューロン２１２が、固定長時間（例えば、２秒のオーディオデータ）をカバーするオーディオ特徴フレームの全てを一度に処理する必要がある。これによって、ネットワークの全体サイズが劇的に増加する。さらに、長短期記憶（ＬＳＴＭ）を使用する回帰型ニューラルネットワーク（ＲＮＮ）はメモリを提供するが、ＲＮＮ－ＬＳＴＭは、実質的には無限のメモリを有するニューロンに、各処理インスタンス後にニューロンの状態を継続的に更新させ、それによって、有限数の過去の処理済み出力を記憶する能力が妨げられ、その場合（固定サイズのメモリが容量一杯になると）それぞれの新しい出力が以前の出力を書き換える。言い換えると、ＳＶＤＦネットワークは、出力を状態（メモリ）に回帰させず、反復のたびにすべての状態を書き換えない。代わりに、メモリは、層に対して構成されたメモリサイズに基づいて新しいエントリをプッシュ及びポップするのではなく、後続の実行から分離された各推定実行の状態を維持する。

ここで図４Ａ及び図４Ｂを参照すると、いくつかの実施態様では、記憶済みニューラルネットワーク３００は、それぞれが入力フレーム２１０、２１０ａ～ｎのシーケンス及び入力フレーム２１０に割り当てられた２つ以上のラベル４２０ａ～ｂを含む複数の訓練入力オーディオシーケンス４００（即ち、訓練サンプル）に関して訓練される。各入力フレーム２１０は、ホットワードの音声成分４３０を特徴付ける１つ以上のそれぞれのオーディオ特徴４１０を含み、各ラベル４２０は、それぞれの入力フレーム２１０の１つ以上のオーディオ特徴４１０がホットワードの音声成分４３０を含む確率を示す。いくつかの例では、各入力フレーム２１０のオーディオ特徴４１０は、前処理段階４０４の間にオーディオストリーム１１８の生オーディオ信号４０２から変換される。オーディオ特徴４１０は、１つ以上のログフィルタバンクを含み得る。したがって、前処理段階は、オーディオストリーム１１８（または話された発話１２０）を入力フレーム２１０（例えば、それぞれ３０ｍｓ）のシーケンスにセグメント化し、フレーム２１０ごとに別個のログフィルタバンクを生成し得る。例えば、各フレーム２１０は、４０個のログフィルタバンクによって表されてもよい。さらに、それぞれの連続するＳＶＤＦ層３０２は、入力として、直前のＳＶＤＦ層３０２から出力された、時間に関してフィルタリング済みのオーディオ特徴４１０を受信する。

図示した例では、各訓練入力オーディオシーケンス４００は、固定長時間（例えば、２秒）内に発生する指定されたホットワードを含む注釈付き（即ち、ラベル４２０ａ～ｂを有する）発話を含む訓練サンプルに関連付けられている。記憶済みニューラルネットワーク３００は、また任意選択で、指定されたホットワードを含まない、または指定されたホットワードを含むが固定長時間よりも長い時間にわたっている、したがって、固定メモリが固定長時間外のデータを記憶しないために誤検出されない、注釈付き発話４００に対して訓練されてもよい。いくつかの例では、固定長時間は、典型的な話者が、話されたクエリ及び／または音声コマンドを処理するためにユーザデバイス１０２を呼び出すための、指定されたホットワードを話すのにかかる時間に対応する。例えば、指定されたホットワードが「Ｈｅｙ Ｇｏｏｇｌｅ」または「Ｏｋ Ｇｏｏｇｌｅ」というフレーズを含む場合、遅い話者であっても指定されたフレーズを話すのに一般的に２秒以上かからないため、２秒に等しく設定された固定長時間は、おそらく十分である。したがって、固定長時間の間にストリーミングオーディオ１１８内の指定されたホットワードの発生を検出することのみが重要であるため、ニューラルネットワーク３００は、固定時間（例えば２秒）に及ぶオーディオの量に比例する量の固定メモリを含む。したがって、ニューラルネットワーク３００の固定メモリにより、ニューラルネットワークのニューロン３１２は、ストリーミングオーディオ１１８の１つの入力フレーム２１０（例えば、３０ｍｓの時間ウィンドウ）からオーディオ特徴４１０（例えば、ログフィルタバンク）を一度にフィルタリングしつつ、固定長時間に及ぶ最新のフィルタリング済みオーディオ特徴４１０を記憶し、固定長時間外のいかなるフィルタリング済みオーディオ特徴４１０も現在のフィルタリング反復から除去または削除することが可能となる。したがって、ニューラルネットワーク３００が、例えば、３２のメモリ深さを有する場合、ニューラルネットワーク３００によって処理された最初の３２のフレームは、メモリコンポーネント３３０を容量まで一杯にし、最初の３２個の後は新しい出力ごとに、ニューラルネットワーク３００は、メモリコンポーネント３３０の対応するメモリ位置３３２から最も古い処理済みのオーディオ特徴を除去することとなる。

図４Ａを参照すると、エンドツーエンド訓練の場合、訓練入力オーディオシーケンス４００ａは、各入力フレーム２１０に適用され得るラベル４２０ａを含む。いくつかの例では、訓練サンプル４００ａがホットワードを含む場合、ターゲットスコア（例えば、「１」）に関連付けられたターゲットラベル４２０ａは、ホットワードの末尾または末尾付近の音声成分４３０を特徴付けるオーディオ特徴４１０を含む、１つ以上の入力フレーム２１０に適用される。例えば、ホットワード「ＯＫ Ｇｏｏｇｌｅ」の音声成分４３０が「ｏｕ」、「ｋ」、「ｅＩ」、「＜無音＞」、「ｇ」、「ｕ」、「ｇ」、「＠」、「ｌ」に分割される場合、数「１」のターゲットラベルは、文字「ｌ」（即ち、ホットワードの最後の成分４３０）に対応する全ての入力フレーム２１０に適用され、それらは、ホットワードの音声成分４３０の必要なシーケンスの一部である。このシナリオでは、他の全ての入力フレーム２１０（最後の音声成分４３０に関連付けられていない）には、異なるラベル（例えば、「０」）が割り当てられる。したがって、各入力フレーム２１０は、対応する入力特徴とラベルのペア４１０、４２０ａを含む。入力特徴４１０は、典型的には、入力フレーム２１０にわたって入力オーディオから計算された、例えばメルフィルタバンクまたはログフィルタバンクに対応する１次元テンソルである。

例示的なラベル４２０ａは、ホットワードの最後の音素の位置に注目し、他の副音素（したがって、「ｌ」ではない音声成分に対するラベル「０」）の位置情報に依存しない。典型的には、このタイプのラベル４２０ａは、最大プーリング損失に関連付けられ、これは、ターゲットパターンの正確な位置に依存せず、定義された間隔内のパターンの存在を定義しようとする。ラベル４２０ａは、注釈付き発話４００ａから生成され、各入力特徴テンソル４１０には、強制アライメントステップによって音声クラスが割り当てられる（即ち、ラベル「１」が、ホットワードに属する最後のクラスに対応するペアに与えられ、「０」が残りの全てに与えられる）。したがって、訓練入力オーディオシーケンス４００ａは、入力フレームのシーケンスに割り当てられたバイナリラベルを含む。注釈付き発話４００ａ、または訓練入力オーディオシーケンス４００ａは、図１の注釈付き発話プール１３０から取得された訓練サンプル４００に対応する。

別の例では、図４Ｂは、ホットワードの音声成分４３０を特徴付ける（音声成分４３０に合致する）オーディオ特徴４１０の数が進むにつれて入力フレーム２１０のシーケンスに沿って増加するスコアに関連付けられたラベル４２０ｂを含む、訓練入力オーディオシーケンス４００ｂを含む。例えば、ホットワードが「Ｏｋ Ｇｏｏｇｌｅ」を含む場合、最初の音声成分「ｏ」及び「ｋ」を特徴付けるそれぞれのオーディオ特徴４１０を含む入力フレーム２１０には、「１」のラベル４２０ｂが割り当てられており、最後の音声成分「ｌ」を特徴付けるそれぞれのオーディオ特徴４１０を含む入力フレーム２１０には、「５」のラベル４２０ｂが割り当てられている。中間の音声成分４３０を特徴付けるそれぞれのオーディオ特徴４１０を含む入力フレーム２１０には、「２」、「３」、及び「４」のラベル４２０ｂが割り当てられている。

追加の実施態様では、正のラベル４２０ｂの数が増加する。例えば、ホットワードの最後の音声成分４３０を特徴付けるオーディオ特徴４１０を含む第１のフレーム２１０から開始して、固定量の「１」のラベル４２０ｂが生成される。この実装態様では、構成された数の正のラベル４２０ｂ（例えば、「１」）が大きいとき、他の方法では正ではないラベル４２０ｂ（例えば、「０」）が適用されたであろうフレーム２１０に、正のラベル４２０ｂが適用され得る。他の例では、正のラベル４２０ｂの開始位置が修正される。例えば、ラベル４２０ｂは、最後のキーワード音声成分４３０を含むフレーム２１０のセグメントの始点、中間点、または終点のいずれかにおいて開始するようにシフトされ得る。さらに他の例では、重み損失が、入力シーケンスに関連付けられる。例えば、小さなミスアライメントによって引き起こされる損失（即ち、誤差勾配）を訓練手順が低減することを可能にする重み損失データが、入力シーケンスに追加される。具体的には、フレームベースの損失関数では、誤分類またはミスアライメントのいずれかから損失が発生する場合がある。損失を低減するために、ニューラルネットワーク３００は、正しいラベル４２０ｂとラベル４２０ｂの正しい位置（タイミング）との両方を予測する。ネットワーク３００がある時点でキーワードを検出した場合であっても、それが所与のターゲットラベル４２０ｂと完全にアライメントしていない場合、結果は誤りと見なされ得る。したがって、損失の重み付けは、強制アライメント段階の間のミスアライメントの尤度が高いフレーム２１０に特に有用である。例示的なラベル４２０ｂは、典型的には、交差エントロピー損失に関連し、その結果、キーワードの全ての副音素の位置アライメントに非常に影響を受けやすいモデルが得られる。

図４Ａ～４Ｂの訓練入力オーディオシーケンス４００ａ、４００ｂのいずれかを使用して訓練した結果として、ニューラルネットワーク３００は、ホットワード（複数可）がストリーミングオーディオ１１８内に存在するかどうかを示す出力３５０を生成するように（決定された損失を使用して）最適化される。いくつかの例では、ネットワーク３００は、２段階で訓練される。ここで図５Ａを参照すると、概略図５００ａは、例えば、音響的な事後確率を作り出すように個別に訓練された８つの層を含む、ニューラルネットワーク３００のエンコーダ部分（または単に「エンコーダ」）３１０ａを示している。ＳＶＤＦ層に加えて、ネットワーク３００は、例えば、ボトルネック、ソフトマックス、及び／または他の層を含み得る。エンコーダ３１０ａを訓練するために、ラベル生成は、ホットワードの全ての音声成分（加えて、無音及びホットワードではない全てのものに対する「イプシロン」ターゲット）に別個のクラスを割り当てる。次いで、ニューラルネットワーク３００のデコーダ部分（または単に「デコーダ」）３１１ａは、第１の部分（即ち、層及び接続）がエンコーダ３１０ａのトポロジと合致するトポロジを作成することによって訓練され、ニューラルネットワーク３００のそのエンコーダ３１０ａから選択されたチェックポイントが、ニューラルネットワーク３００を初期化するために使用される。訓練は、エンコーダ３１０ａのパラメータを「凍結する」（即ち、更新しない）ように指定され、したがって、トポロジのデコーダ３１１ａ部分のみを調整する。これによって、それが２つのスタッガード訓練パイプラインの生成物であっても、当然単一のスポッタニューラルネットワークが作り出される。この方法を用いた訓練は、訓練セットの一部にオーバーフィッティングを示す傾向のあるモデルに特に有用である。

代替として、ニューラルネットワーク３００は、始めからエンドツーエンドで訓練される。例えば、ニューラルネットワーク３００は、（前述のエンコーダ３１０ａの訓練と同様に）特徴を直接受け入れるが、代わりにデコーダ３１１ａの訓練に使用するためのバイナリターゲットラベル４２０ａ（即ち、「０」または「１」）の出力を使用する。このようなエンドツーエンドニューラルネットワーク３００は、任意のトポロジを使用し得る。例えば、図５Ｂに示すように、概略図５００ｂは、エンコーダ３１０ｂが中間のソフトマックス層を含まないことを除いて図５Ａのトポロジと同様のエンコーダ３１０ｂ及びデコーダ３１１ｂのニューラルネットワーク３００のトポロジを示している。図５Ａのトポロジと同様に、図５Ｂのトポロジは、デコーダ３１１ｂ部分がどのように調節されるかを調整するための適合率を有する（例えば、適合率が０に設定されている場合、図５Ａのトポロジと等価である）、事前訓練済みのエンコーダチェックポイントを使用し得る。このエンドツーエンドパイプラインは、トポロジのパラメータ全体が調節される場合、特に、オーバーフィットする傾向のないより小さなサイズのモデルでは、図５Ａの別々に訓練されたエンコーダ３１０ａ及びデコーダ３１１ａよりも性能が優れている傾向がある。

したがって、ニューラルネットワーク３００は、手動で調整されたデコーダの使用を回避し得る。デコーダを手動で調整すると、ホットワードを変更または追加する際の難易度が高まる。単一の記憶済みニューラルネットワーク３００は、複数の異なるホットワード、ならびに２つ以上の場所にまたがる同じホットワードを検出するように訓練され得る。さらに、検出品質は、潜在的に数百万の例を用いて訓練されたホットワード検出に特に最適化されたネットワークと比較して低下する。さらに、典型的な手動で調整されたデコーダは、エンコード及びデコードの両方を実行する単一のニューラルネットワークよりも複雑である。従来のシステムは、過剰にパラメータ化される傾向があり、同等のエンドツーエンドモデルよりも著しく多くのメモリ及び計算を消費し、ニューラルネットワーク高速化ハードウェアを十分に利用することができない。さらに、手動で調整されたデコーダは、アクセントのある発話に対して問題があり、それによって、複数の地域及び／または言語にまたがって機能し得る検出器を作成することが極めて困難になる。

記憶済みニューラルネットワーク３００は、同じサイズの単純な完全接続層よりも優れているが、事前訓練済みの完全接続層からのパラメータを任意選択で初期化することからも恩恵を受ける。ネットワーク３００は、過去から思い起こされる量に対するきめ細かい制御を可能にする。これにより、理論的に無限の過去に注意を払うこと（例えば、ストリーミングオーディオを継続的に聴取すること）から恩恵を受けない（実際には損害を受ける）あるタスクについては、ＲＮＮ－ＬＳＴＭが上回る結果となる。しかしながら、ネットワーク３００は、典型的には、下位層にＳＶＤＦを利用し、過去のノイズの多い低レベル特徴をフィルタリングし、上位層にＬＳＴＭを活用して、ＲＮＮ－ＬＳＴＭと協力して機能することができる。いくつかの比較的小さなフィルタがＳＶＤＦを含むことを前提として、パラメータの数及び計算が精密に制御される。これは、品質とサイズ／計算との間のトレードオフを選択するときに役立つ。さらに、この品質のために、ネットワーク３００は、より大きな粒度で動作する単純な畳み込みニューラルネットワーク（ＣＮＮ）のような他のトポロジよりも性能が優れた、非常に小さなネットワークを作成することを可能にする。

図５Ｃ及び図６を参照すると、いくつかの構成では、交差エントロピー損失を使用してホットワード（複数可）がストリーミングオーディオ１１８に存在する尤度を示す確率スコア３５０を生成するようにニューラルネットワーク３００を最適化するのではなく、平滑化最大プーリング損失を使用して、ニューラルネットワーク３００が最適化される。ここで、図５Ａ及び図５Ｂに示す例と同様に、この手法は、エンコーダ３１０、３１０ｃ及びデコーダ３１１、３１１ｃを共同で訓練することを含む。この平滑化最大プーリング損失の手法では、ニューラルネットワーク３００は、（例えば、エンコーダ３１０ｃを用いて）ホットワードの一部だけでなく、（例えば、デコーダ３１１ｃを用いて）ホットワード全体も検出するように訓練され得る。平滑化最大プーリング損失の手法を使用することにより、この手法は、フレームラベル４２０ａ～ｂに依存せず、（例えば、ユーザデバイス１０２についての）オンデバイス学習などの実施態様に向いている場合がある。

ホットワードの検出において、ホットワードの正確な位置は、一般に、ホットワードの実際の存在ほど重要ではない。したがって、フレームラベル４２０のアライメントは、ホットワード検出誤差を引き起こす場合がある（即ち、ホットワード検出が潜在的に損なわれる）。フレームラベル４２０が、ノイズまたは特定の言葉のアクセントによって引き起こされる固有の不確実性を有するとき、このアライメントは特に問題となり得る。フレームラベル４２０の場合、訓練入力オーディオシーケンス４００は、ランと呼ばれる繰り返される類似または同一のフレームラベル４２０の間隔を含むことが多い。例えば、図４Ａ及び図４Ｂの両方が、「０」のランを含む。これらのランは、ネットワーク３００を訓練するときに、ネットワーク３００が出力３５０の生成のために強い学習関連付けを行うべきであることを示している。対照的に、平滑化最大プーリング手法（例えば、図５Ｃ及び図６に示される）は、フレームラベル４２０を使用して正確な活性化位置を指定する（即ち、タイミングを指定する）ことを回避する。

平滑化最大プーリング損失アプローチの場合、いくつかの例では、初期損失がエンコーダ３１０ｃ及びデコーダ３１１ｃの両方に対して定義され、その後エンコーダ３１０ｃ及びデコーダ３１１ｃのそれぞれの初期損失が同時に最適化される。最大プーリングは、最大フィルタを適用することによってある入力の次元が低下する、サンプルベースの離散化プロセスを指す。いくつかの例では、平滑化最大プーリング手法を使用した訓練プロセス５００ｃは、平滑化演算５１０、５１０ｅ～ｄ、及び最大プーリング演算５２０、５２０ｅ～ｄを含む。これらの例では、平滑化演算５１０は、最大プーリング演算５２０の前に発生する。ここで、平滑化演算５１０中に、訓練プロセス５００ｃは、フレーム２１０に対して時間平滑化を実行する。例えば、訓練プロセス５００ｃは、フレーム２１０に対応するロジット５０２、５０２ｅ～ｄを平滑化する。ロジットは、一般に、１つ以上のＳＶＤＦ層３０２から出力されるベクトルまたは他の生の予測形式を指す。ロジット５０２は、エンコーダ３１０及び／またはデコーダ３１１が、１つ以上のロジット５０２の入力に基づいて出力確率を生成するように、エンコーダ３１０及び／またはデコーダ３１１のソフトマックス部分への入力として機能する。例えば、ロジット５０２は、正規化されていない予測データ形式であり、ソフトマックスは、ロジット５０２を確率（例えば、ホットワードの確率）に正規化する。

最大プーリング演算５２０の前に平滑化演算５１０を有することにより、訓練プロセス５００ｃは、ストリーミングオーディオ１１８内の小さな変動及び時間的シフトに対してより安定的にネットワーク３００を訓練する。この高い安定性は、時間平滑化演算なしの最大プーリング演算の何らかの形式を使用し得る他の訓練手法とは対照的である。例えば、他の訓練手法は、時間領域で最大プーリングを使用し、最大活性化を有するフレーム２１０のロジット５０２に関して交差エントロピー損失を決定してもよい。最大プーリング演算５２０の前に時間平滑化演算５１０を導入することによって、ネットワーク３００の訓練プロセス５００ｃは、スムーズな活性化及び安定したピーク値をもたらし得る。

最大プーリング演算５２０の間に、訓練プロセス５００ｃは、平滑化最大プーリング損失を決定する。ここで、損失は、理論的にそうあるべきとネットワーク３００が考える出力分布と実際の出力分布との間の差を表す。ここで、平滑化最大プーリング損失は、以下の式によって決定され得る。
損失＝損失^＋＋損失^－ （１）

ここで、Ｘ_ｔはｄ次元のスペクトル特徴であり、ｙ_ｉ（Ｘ_ｔ，Ｗ）はニューラルネットワークのソフトマックス出力のｉ番目の次元を表し、Ｗはネットワーク重みであり、Ｃ_ｔはフレームｔ（例えば、フレーム２１０）におけるフレームラベル４２０であり、ｓ（ｔ）は平滑化フィルタであり、

は経時的な畳み込みであり、

はｉ番目の最大プーリングウィンドウの間隔の開始時間及び終了時間を定義する。

図５Ｃを引き続き参照して、エンコーダ３１０ｃ及びデコーダ３１１ｃの両方が、平滑化最大プーリング手法を使用する訓練プロセス５００ｃを受ける。例えば、図５Ｃは、平滑化演算５１０、５１０ｅ及び最大プーリング演算５２０、５２０ｅを含むエンコーダ３１０ｃを示す。訓練５００ｃの最大プーリング演算５２０ｅの間、エンコーダ３１０ｃは、ホットワードを定義するサウンド部分（例えば、オーディオ特徴４１０の音声成分）のシーケンスを学習する。ここで、この学習は、半教師あり方式で発生し得る。いくつかの例では、訓練５００ｃ中の最大プーリング演算５１０ｅは、固定長のホットワード（例えば、所期の長さのホットワードまたは平均の長さのホットワード）を最大プーリングウィンドウ３１０ｗ、３１０ｗ_１～ｎに分割することによって発生する。

例えば、図６は、予期されるホットワード位置にわたるｎ個の連続ウィンドウ３１０ｗを示している。最大プーリング演算５１０ｅは、次いで、各ウィンドウ３１０ｗにおける最大プーリング損失を決定する。いくつかの実施態様では、各ウィンドウ３１０ｗにおける最大プーリング損失は、以下の式によって定義される。

ここで、「ｅ」は、エンコーダ３１０ｃの変数に対応し、ω_ｅｎｄは、ホットワードの終点に対応し、ｏｆｆｓｅｔは、ウィンドウ３１０ｗの時間オフセットを指す。

いくつかの例では、ウィンドウ３１０ｗの数及び／または各ウィンドウ３１０ｗのサイズ３１０ｗ_ｓは、訓練プロセス５００ｃ中に調整可能なパラメータである。これらのパラメータは、ウィンドウ３１０ｗの数「ｎ」が、区別可能なサウンド部分（例えば、音素）の数を近似し、及び／またはウィンドウ３１０ｗのサイズ３１０ｗ_ｓにウィンドウ３１０ｗの数「ｎ」を掛けたものが、ホットワードの固定長にほぼ一致するように調整され得る。ウィンドウ３１０ｗの数及び各ウィンドウ３１０ｗのサイズ３１０ｗ_ｓが調整可能であることに加えて、ホットワードの終点ω_ｅｎｄからウィンドウ３１０ｗのシーケンスをオフセットするエンコーダオフセット、Ｏｆｆｓｅｔ_ｅと呼ばれる変数もまた、エンコーダ３１０ｃの訓練５００ｃ中に調整可能であってもよい。

エンコーダ３１０ｃと同様に、訓練プロセス５００ｃでは、デコーダ３１１ｃは、平滑化演算５１０、５１０ｄ、及び最大プーリング演算５２０、５２０ｄを含む。概して言うと、訓練プロセス５００ｃは、ホットワードの末尾または末尾付近にオーディオ特徴４１０を含む入力フレーム２１０に対して強い活性化（即ち、ホットワードの検出の高い確率）を生成するようにデコーダ３１１ｃを訓練する。最大プーリング損失の性質により、最大プーリング損失値は、デコーダウィンドウ３１１ｗがホットワードの実際の終点ω_ｅｎｄを含む限り、ホットワードの終点ω_ｅｎｄの正確な値に影響されない。デコーダ３１１ｃの最大プーリング演算５２０ｄ中に、訓練プロセス５００ｃは、以下の式に従って、ホットワードの終点ω_ｅｎｄを含むウィンドウ３１１ｗの最大プーリング損失を決定する。

ここで、ｏｆｆｓｅｔ_ｄ及びｗｉｎ_ｓｉｚｅ ^ｄは、ホットワードの予想される終点ω_ｅｎｄを含むように調整可能なパラメータであり得る。

図６を引き続き参照すると、デコーダウィンドウ３１１ｗは、

から

に及ぶ間隔として示されている。間隔が、ホットワードの実際の終点ω_ｅｎｄを含むのに十分なほど大きいとき、平滑化最大プーリング損失の手法により、ネットワーク３００は、最も強い活性化の最適な位置を（例えば、半教師あり方式で）学習することが可能となる。いくつかの例では、訓練プロセス５００ｃは、ワードレベルのアライメントに基づいてホットワードの終点ω_ｅｎｄを導出する。いくつかの実施態様では、ホットワードの終点ω_ｅｎｄは、エンコーダ３１０の出力に基づいて決定される。

エンコーダ３１０が最初に訓練され、次いでエンコーダ３１０のモデル重みが凍結されつつデコーダ３１１が訓練され得る共同訓練を用いたいくつかのエンドツーエンドネットワーク３００とは対照的に、平滑化最大プーリング手法は、そのような凍結なしでエンコーダ３１０ｃ及びデコーダ３１１ｃを同時に共同で訓練する。エンコーダ３１０ｃ及びデコーダ３１１ｃが、平滑化最大プーリング損失を使用して訓練プロセス５００ｃの間に共同で訓練されるため、各損失の相対的な重要性は、調整可能なパラメータαによって制御され得る。例えば、エンコーダ３１０ｃでの損失及びデコーダ３１１ｃでの損失を参照する総損失は、次の式によって表される関係を有する。
総損失＝α＊損失^ｅ＋損失^ｄ （１０）

ここで図７を参照すると、記憶済みニューラルネットワーク３００のための訓練プロセス７００は、第１のラベル４２０ａ（例えば、交差エントロピーラベル４２０）及び第２のラベル４２０ｂ（例えば、最大プーリング損失ラベル）、ならびに第１の損失関数７０５、７０５ａ及び第２の損失関数７０５、７０５ｂを使用して、それぞれ、第１の損失７１０、７１０ａ及び第２の損失７１０、７１０ｂを生成することを含む。任意選択で、プロセス７００は、記憶済みニューラルネットワーク３００に訓練入力オーディオシーケンス４００を供給することによって開始する。ここで、訓練入力オーディオシーケンス４００のデータは、両方のラベル４２０ａ～ｂを使用してラベル付けされる。例えば、単一の訓練入力オーディオシーケンス４００は、図４Ａ及び図４Ｂに関して前述されたように、第１のラベル４２０ａ及び第２のラベル４２０ｂを使用してラベル付けされる。例示的なラベル４２０ａ、４２０ｂは、例示の目的のためのものであり、損失７１０を決定するために適用可能な任意の適当なラベル付け規則が訓練プロセス７００で使用され得るように、限定することを意図するものではない。

訓練入力オーディオシーケンス４００を受信すると、記憶済みニューラルネットワーク３００は、出力３５０（即ち、確率スコア３５０）を生成し得る。記憶済みニューラルネットワーク３００は、図２～図６のいずれかに関して説明された方式、またはオーディオデータを処理してホットワードが訓練入力オーディオシーケンス４００に存在する尤度を決定するための任意の他の適当な方式で、訓練入力オーディオシーケンス４００を処理し得る。いくつかの実施態様では、出力３５０は、２つの損失関数７０５のそれぞれによって使用される。即ち、第１の損失関数７０５ａは、出力３５０及びラベル４２０ａを受信して、第１の損失７１０ａを決定する。同様に、第２の損失関数７０５ｂは、出力３５０及びラベル４２０ｂを受信して、第２の損失７１０ｂを決定する。特に、損失７１０は、同じ訓練入力オーディオシーケンス４００の２つの異なるラベル４２０ａ、４２０ｂｂと、２つの異なる損失関数７０５ａ、７０５ｂとを使用することによって、同じ出力３５０からそれぞれ決定される。損失関数７０５は、図２～図６のいずれかに関して説明したように任意の方法で損失７１０を決定し得る。いくつかの例では、第１の損失関数７０５ａは、最大プーリング損失関数であり、第２の損失関数７０５ｂは、交差エントロピー損失関数である。他の実施態様では、単一の損失関数７０５が、出力３５０及びラベル４２０を受信し、各ラベル４２０に基づいてそれぞれの損失７１０を生成する。損失関数７０５は、回帰損失、平均二乗誤差、平均二乗対数誤差、平均絶対誤差、二値分類、二値交差エントロピー、ヒンジ損失、マルチクラス損失などの任意の適当な技術を実施し得る。

いくつかの実施態様では、損失７１０ａ、７１０ｂは、訓練プロセス７００中に記憶済みニューラルネットワーク３００に直接供給される。他の実施態様では、損失７１０ａ、７１０ｂが組み合わされ、または共に重み付けされて、結合損失７１０、７１０ｃを生成し、結合損失７１０ｃは、記憶済みニューラルネットワーク３００によって処理される。いくつかの実施態様では、損失は、加重平均式を使用して平均化される。例えば、第１の損失７１０ａ及び第２の損失７１０ｂは、以下のように定義され得る。
第１の損失＝Ｌ１［ｆ（Ｘ，），Ｙ１］ （１１）
第２の損失＝Ｌ２［ｆ（Ｘ，），Ｙ２］ （１２）

ここで、Ｘは出力３５０であり、Ｌ１は第１の損失関数７０５ａであり、Ｙ１はラベル４２０ａであり、Ｌ２は第２の損失関数７０５ｂであり、Ｙ２はラベル４２０ｂである。これらの例では、結合損失７１０ｃは、以下によって表される。
結合損失＝ａｌｐｈａ＊Ｌ１［ｆ（Ｘ，ｔｈｅｔａ），Ｙ２］＋ｂｅｔａ＊Ｌ２［ｆ（Ｘ，ｔｈｅｔａ），Ｙ２］ （１３）

ここで、ａｌｐｈａ及びｂｅｔａは、スカラーハイパーパラメータである。第１の損失７１０ａ及び第２の損失７１０ｂは、任意の他の方法（例えば、加算、乗算など）で結合されてもよい。

本明細書の例は、２つのラベル４２０ａ、ｂで注釈が付けられた訓練入力オーディオシーケンス４００を用いてニューラルネットワーク３００を訓練することを示す。第１の損失関数７０５ａは、出力３５０及びラベル４２０ａを使用して、第１の損失７１０ａを生成する。第２の損失関数７０５ｂは、出力３５０及びラベル４２０ｂを使用して、第２の損失７１０ｂを生成する。ニューラルネットワークは、第１の損失７１０ａ及び第２の損失７１０ｂの両方を使用して、訓練、更新、または微調整される。これらの例は非限定的であり、任意の数のラベル４２０及び任意の数のそれぞれの損失関数７０５が、任意の適切なニューラルネットワーク３００を訓練するために任意の数の損失を生成し得ることを理解されたい。

図８は、複数のラベル４２０及び複数の損失関数７０５を使用してニューラルネットワーク３００を訓練する方法８００についての動作の例示的な構成のフローチャートである。動作８０２において、方法８００は、入力フレームのシーケンスを含む訓練入力オーディオシーケンス４００を受信することを含む。ここで、入力フレームのシーケンスは、ユーザデバイス１０２上でウェイクアッププロセスを開始するホットワードを定義する。動作８０４において、方法８００は、訓練入力オーディオシーケンス４００についての第１のラベル４２０ａ（例えば、最大プーリングラベル）及び第２のラベル４２０ｂ（例えば、交差エントロピーラベル）を取得することを含む。動作８０６において、方法８００は、記憶済みニューラルネットワーク３００及び訓練入力オーディオシーケンス４００を使用して、訓練入力オーディオシーケンス４００がホットワードを含む尤度を示す出力３５０を生成することを含む。動作８０８において、方法８００は、第１のラベル４２０ａ及び出力３５０に基づいて、第１の損失７１０ａ（例えば、最大プーリング損失）を決定することを含む。動作８１０において、方法８００は、第２のラベル４２０ｂ及び出力３５０に基づいて、第２の損失７１０ｂ（例えば、交差エントロピー損失）を決定することを含む。動作８１４において、方法８００は、訓練入力オーディオシーケンス４００に関連付けられた第１の損失７１０ａ及び第２の損失７１０ｂに基づいて、記憶済みニューラルネットワーク３００を最適化することを含む。

本明細書で使用される、ソフトウェアアプリケーション（即ち、ソフトウェアリソース）は、コンピューティングデバイスにタスクを実行させるコンピュータソフトウェアを指してもよい。いくつかの例では、ソフトウェアアプリケーションは、「アプリケーション」、「アプリ」、または「プログラム」と呼ばれてもよい。例示的なアプリケーションは、システム診断アプリケーション、システム管理アプリケーション、システムメンテナンスアプリケーション、ワードプロセッシングアプリケーション、スプレッドシートアプリケーション、メッセージアプリケーション、メディアストリーミングアプリケーション、ソーシャルネットワーキングアプリケーション、及びゲームアプリケーションを含むが、これらに限定されない。

非一時的なメモリは、コンピューティングデバイスによる使用のために一時的または永続的にプログラム（例えば、命令シーケンス）またはデータ（例えば、プログラム状態情報）を格納するために使用される物理デバイスであってよい。非一時的なメモリは、揮発性及び／または不揮発性のアドレス指定可能な半導体メモリであってもよい。不揮発性メモリの例は、フラッシュメモリ及び読み出し専用メモリ（ＲＯＭ）／プログラマブル読み出し専用メモリ（ＰＲＯＭ）／消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）／電子的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）（例えば、通常はブートプログラムなどのファームウェアに使用される）を含むが、これらに限定されない。揮発性メモリの例は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、及びディスクまたはテープを含むが、これらに限定されない。

図９は、本文書に記載のシステム及び方法を実施するために使用され得る例示的なコンピューティングデバイス９００の概略図である。コンピューティングデバイス９００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータなど、様々な形式のデジタルコンピュータを表すことを意図している。ここで示されているコンポーネント、それらの接続及び関係、ならびにそれらの機能は、例示のみを意味しており、本文書で説明及び／または特許請求されている本発明の実施態様を限定することを意図するものではない。

コンピューティングデバイス９００は、プロセッサ９１０、メモリ９２０、ストレージデバイス９３０、メモリ９２０及び高速拡張ポート９５０に接続する高速インターフェース／コントローラ９４０、ならびに低速バス９７０及びストレージデバイス９３０に接続する低速インターフェース／コントローラ９６０を含む。各コンポーネント９１０、９２０、９３０、９４０、９５０、及び９６０は、様々なバスを使用して相互接続されており、共通のマザーボードに据え付けられるか、または必要に応じて他の方法で存在してもよい。プロセッサ９１０は、メモリ９２０またはストレージデバイス９３０に記憶された命令を含む、コンピューティングデバイス９００内で実行するための命令を処理して、高速インターフェース９４０に接続されたディスプレイ９７０などの外部入力／出力デバイスにグラフィカルユーザインターフェース（ＧＵＩ）のグラフィカル情報を表示し得る。他の実施態様では、複数のメモリ及びメモリの種類と共に、必要に応じて複数のプロセッサ及び／または複数のバスが使用されてもよい。また、複数のコンピューティングデバイス９００を接続して、（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）各デバイスが必要な動作の部分を提供してもよい。

メモリ９２０は、コンピューティングデバイス９００内で非一時的に情報を記憶する。メモリ９２０は、コンピュータ可読媒体、揮発性メモリユニット（複数可）、または不揮発性メモリユニット（複数可）であってもよい。非一時的メモリ９２０は、コンピューティングデバイス９００による使用のために一時的または永続的にプログラム（例えば、命令シーケンス）またはデータ（例えば、プログラム状態情報）を記憶するために使用される物理デバイスであってもよい。不揮発性メモリの例は、フラッシュメモリ及び読み出し専用メモリ（ＲＯＭ）／プログラマブル読み出し専用メモリ（ＰＲＯＭ）／消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）／電子的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）（例えば、通常はブートプログラムなどのファームウェアに使用される）を含むが、これらに限定されない。揮発性メモリの例は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、及びディスクまたはテープを含むが、これらに限定されない。

ストレージデバイス９３０は、コンピューティングデバイス９００に大容量ストレージを提供することができる。いくつかの実施態様では、ストレージデバイス９３０は、コンピュータ可読媒体である。様々な異なる実施態様では、ストレージデバイス９３０は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイス、フラッシュメモリもしくはその他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくはその他のコンフィグレーションのデバイスを含む、デバイスのアレイであってもよい。追加の実施態様では、コンピュータプログラム製品は、情報キャリアに有形に具現化される。コンピュータプログラム製品は、実行時に上記のような１つ以上の方法を実行する命令を含む。情報キャリアは、メモリ９２０、ストレージデバイス９２０、またはプロセッサ９１０上のメモリなどのコンピュータ可読媒体または機械可読媒体である。

高速コントローラ９４０は、コンピューティングデバイス９００の帯域幅集約動作を管理し、低速コントローラ９６０は、より低い帯域幅集約動作を管理する。このような役割の割り振りは単なる例である。いくつかの実施態様では、高速コントローラ９４０は、メモリ９２０、ディスプレイ９８０（例えば、グラフィックプロセッサまたはアクセラレータを介して）、及び様々な拡張カード（図示せず）を受け入れ得る高速拡張ポート９５０に結合される。いくつかの実施態様では、低速コントローラ９６０は、ストレージデバイス９３０及び低速拡張ポート９９０に結合される。低速拡張ポート９９０は、様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、ワイヤレスイーサネット）を含んでもよく、例えばネットワークアダプタを介して、キーボード、ポインティングデバイス、スキャナ、またはスイッチやルータなどのネットワークデバイスなどの１つ以上の入力／出力デバイスに結合され得る。

コンピューティングデバイス９００は、図に示すように、多くの様々な形式で実装され得る。例えば、それは、標準サーバ９００ａとして、またはそれらのようなサーバ９００ａのグループ内で複数回、ラップトップコンピュータ９００ｂとして、またはラックサーバシステム９００ｃの一部として実装されてもよい。

本明細書で説明するシステム及び技術の様々な実施態様は、デジタル電子及び／または光回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／またはそれらの組み合わせで実現できる。これらの様々な実施態様は、特殊または汎用であり得、ストレージシステムからのデータ及び命令を受信し、ストレージシステムにデータ及び命令を送信するように結合された、少なくとも１つのプログラマブルプロセッサ、少なくとも１つの入力装置、及び少なくとも１つの出力装置を含んだプログラム可能なシステムで実行可能及び／または解釈可能な１つまたは複数のコンピュータプログラムにおける実装を含み得る。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラマブルプロセッサのための機械命令を含み、かつ高水準手続型及び／またはオブジェクト指向プログラミング言語、及び／またはアセンブリ／機械言語で実装されることができる。本明細書で使用される場合、用語「機械可読媒体」、「コンピュータ可読媒体」とは、機械命令及び／またはデータを、機械可読信号として機械命令を受信する機械可読媒体を含むプログラマブルプロセッサに提供するために用いられる、あらゆるコンピュータプログラム製品、非一時的なコンピュータ可読媒体、装置及び／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理回路（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令及び／またはデータをプログラマブルプロセッサに提供するために用いられるあらゆる信号を指す。

本明細書に記載のプロセス及び論理フローは、データ処理ハードウェアとも呼ばれ、１つ以上のコンピュータプログラムを実行して、入力データ上で動作して出力を生成することによって機能を実行する、１つ以上のプログラム可能なプロセッサによって実行されることができる。またプロセッサ及び論理フローは、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実行されることができる。コンピュータプログラムの実行に適したプロセッサは、例として、汎用及び専用マイクロプロセッサの両方、ならびに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリ、ランダムアクセスメモリ、またはその両方から命令及びデータを受信する。コンピュータの基本的な要素は、命令を実行するためのプロセッサ、ならびに命令及びデータを格納するための１つ以上のメモリデバイスである。一般に、コンピュータはまた、例えば、磁気ディスク、光磁気ディスク、または光ディスクなど、データを格納するための１つ以上の大容量記憶デバイスを含むか、またはそれらからデータを受信する、またはそれらにデータを転送する、あるいはその両方のために動作可能に結合される。しかし、コンピュータがそのようなデバイスを有している必要はない。コンピュータプログラム命令及びデータを格納するのに適したコンピュータ読み取り可能なメディアには、あらゆる形式の不揮発性メモリ、メディア、及びメモリデバイスが含まれ、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスなどの半導体メモリデバイス、例えば、内蔵ハードディスクまたはリムーバブルディスクなどの磁気ディスク、光磁気ディスク、及びＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスクが含まれる。プロセッサ及びメモリは、専用論理回路によって補完される、または専用論理回路に組み込まれることができる。

ユーザとのインタラクションを提供するために、本開示の１つ以上の態様は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）、ＬＣＤ（液晶ディスプレイ）モニタ）またはタッチスクリーン、ならびに任意選択で、ユーザがコンピュータへの入力を提供することができるキーボード及びポインティングデバイス（例えば、マウスまたはトラックボール）を有するコンピュータ上に実装されることができる。他の種類のデバイスもまた、ユーザとのインタラクションを提供するために用いられることができ、例えば、ユーザに提供されるフィードバックは、あらゆる形式の感覚的フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であることができ、及びユーザからの入力は、音響、音声言語、または触覚入力を含む任意の形式で受信することができる。さらに、コンピュータは、ユーザが使用するデバイスにドキュメントを送受信することで、例えば、ウェブブラウザから受信した要求に応じて、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することで、ユーザとインタラクトすることができる。

いくつかの実施態様が説明されている。言うまでもなく、本開示の趣旨及び範囲から逸脱することなく、多様な修正が成され得ることが理解される。したがって、他の実施形態は、以下の特許請求の範囲内である。

Claims (20)

1. データ処理ハードウェア（１０３、１１２）によって実行されたとき、前記データ処理ハードウェア（１０３、１１２）に動作を実行させるコンピュータに実施される方法（８００）であって、前記動作が、
   入力フレームのシーケンスを含む訓練入力オーディオシーケンス（４００）を受信することであって、前記入力フレームのシーケンスが、ユーザデバイス（１０２）上でウェイクアッププロセスを開始するホットワードを定義する、前記受信することと、
   前記訓練入力オーディオシーケンスについての第１のラベル（４２０、４２０ａ）を取得することと、
   前記訓練入力オーディオシーケンスについての第２のラベル（４２０、４２０ｂ）を取得することであって、前記第２のラベル（４２０、４２０ｂ）が、前記第１のラベル（４２０、４２０ａ）とは異なる、前記取得することと、
   記憶済みニューラルネットワーク（３００）及び前記訓練入力オーディオシーケンス（４００）を使用して、前記訓練入力オーディオシーケンス（４００）が前記ホットワードを含む尤度を示す出力（３５０）を生成することと、
   前記第１のラベル（４２０、４２０ａ）及び前記出力（３５０）に基づいて第１の損失（７１０、７１０ａ）を決定することと、
   前記第２のラベル（４２０、４２０ｂ）及び前記出力（３５０）に基づいて第２の損失（７１０、７１０ｂ）を決定することと、
   前記訓練入力オーディオシーケンス（４００）に関連付けられた前記第１の損失（７１０、７１０ａ）及び前記第２の損失（７１０、７１０ｂ）に基づいて前記記憶済みニューラルネットワーク（３００）を最適化することと、
   を含み、
   前記第１のラベル（４２０、４２０ａ）が、最大プーリング損失ラベルを含み、前記最大プーリング損失ラベルにおいて、
   数「１」のターゲットラベルが前記ホットワードの最後の音声成分に対応する前記入力フレームのシーケンスに割り当てられ、
   数「０」のターゲットラベルが前記ホットワードの最後の音声成分以外の音声成分に対応する前記入力フレームのシーケンスに割り当てられ、
   前記第２のラベル（４２０、４２０ｂ）が、交差エントロピーラベルを含み、前記交差エントロピーラベルが、前記ホットワードの音声成分を特徴付けるオーディオ特徴の数が進むにつれて前記入力フレームのシーケンスに沿って増加するスコアに関連付けられ、
   前記第１の損失（７１０、７１０ａ）が、最大プーリング損失を含み、前記最大プーリング損失は、前記出力（３５０）と前記最大プーリング損失ラベルとの間の誤差を示し、
   前記第２の損失（７１０、７１０ｂ）が、交差エントロピー損失を含み、前記交差エントロピー損失は、前記出力（３５０）と、前記交差エントロピーラベルとの誤差を示す
   前記方法（８００）。
2. 前記記憶済みニューラルネットワーク（３００）が、エンコーダ（３１０）及びデコーダ（３１１）を含み、前記記憶済みニューラルネットワーク（３００）の前記エンコーダ（３１０）及び前記デコーダ（３１１）のそれぞれが、順次積層された特異値分解フィルタ（sequentially stacked single value decomposition filter: ＳＶＤＦ）層（３０２）を含む、請求項１に記載の方法（８００）。
3. 前記出力（３５０）が、前記訓練入力オーディオシーケンス（４００）に基づいたロジット（５０２）の確率分布に基づく、請求項１または２に記載の方法（８００）。
4. 前記動作が、前記第１の損失（７１０、７１０ａ）を決定する前に、前記訓練入力オーディオシーケンス（４００）に基づいたロジット（５０２）を平滑化することをさらに含む、
   請求項１又は２に記載の方法（８００）。
5. 前記第１の損失（７１０、７１０ａ）を決定することが、
   複数のエンコーダウィンドウ（３１０ｗ）を生成することであって、前記複数のエンコーダウィンドウ（３１０ｗ）の各エンコーダウィンドウが、前記ホットワードの１つ以上の音素に関連付けられる、前記生成することと、
   前記複数のエンコーダウィンドウ（３１０ｗ）のエンコーダウィンドウごとに前記第１の損失（７１０、７１０ａ）を決定することと、
   を含む、請求項１又は２に記載の方法（８００）。
6. 前記複数のエンコーダウィンドウ（３１０ｗ）の集合サイズが、前記ホットワードの平均音響長に対応する、請求項５に記載の方法（８００）。
7. 前記記憶済みニューラルネットワーク（３００）を最適化することが、前記第１の損失（７１０、７１０ａ）及び前記第２の損失（７１０、７１０ｂ）の加重平均を生成することを含む、請求項１又は２に記載の方法（８００）。
8. 前記第２のラベル（４２０、４２０ｂ）が、前記ホットワードの１つ以上の音素列から導出される、請求項１又は２に記載の方法（８００）。
9. 前記第１のラベル（４２０、４２０ａ）が、前記ホットワードの最後の音素の位置に基づく、請求項１又は２に記載の方法（８００）。
10. 前記入力フレームのシーケンスがそれぞれ、前記ホットワードの音声成分（４３０）を特徴付ける１つ以上のそれぞれのオーディオ特徴（４１０）を含む、請求項１又は２に記載の方法（８００）。
11. システム（１００）であって、
    データ処理ハードウェア（１０３、１１２）と、
    前記データ処理ハードウェア（１０３、１１２）と通信するメモリハードウェア（１０５、１１４）と、を備え、前記メモリハードウェア（１０５、１１４）が、前記データ処理ハードウェア（１０３、１１２）上で実行されたとき、前記データ処理ハードウェア（１０３、１１２）に動作を実行させる命令を記憶し、前記動作が、
    入力フレームのシーケンスを含む訓練入力オーディオシーケンス（４００）を受信することであって、前記入力フレームのシーケンスが、ユーザデバイス（１０２）上でウェイクアッププロセスを開始するホットワードを定義する、前記受信することと、
    前記訓練入力オーディオシーケンスについての第１のラベル（４２０、４２０ａ）を取得することと、
    前記訓練入力オーディオシーケンスについての第２のラベル（４２０、４２０ｂ）を取得することであって、前記第２のラベル（４２０、４２０ｂ）が、前記第１のラベル（４２０、４２０ａ）とは異なる、前記取得することと、
    記憶済みニューラルネットワーク（３００）及び前記訓練入力オーディオシーケンス（４００）を使用して、前記訓練入力オーディオシーケンス（４００）が前記ホットワードを含む尤度を示す出力（３５０）を生成することと、
    前記第１のラベル（４２０、４２０ａ）及び前記出力（３５０）に基づいて第１の損失（７１０、７１０ａ）を決定することと、
    前記第２のラベル（４２０、４２０ｂ）及び前記出力（３５０）に基づいて第２の損失（７１０、７１０ｂ）を決定することと、
    前記訓練入力オーディオシーケンスに関連付けられた前記第１の損失（７１０、７１０ａ）及び前記第２の損失（７１０、７１０ｂ）に基づいて前記記憶済みニューラルネットワーク（３００）を最適化することと、
    を含み、
    前記第１のラベル（４２０、４２０ａ）が、最大プーリング損失ラベルを含み、前記最大プーリング損失ラベルにおいて、
    数「１」のターゲットラベルが前記ホットワードの最後の音声成分に対応する前記入力フレームのシーケンスに割り当てられ、
    数「０」のターゲットラベルが前記ホットワードの最後の音声成分以外の音声成分に対応する前記入力フレームのシーケンスに割り当てられ、
    前記第２のラベル（４２０、４２０ｂ）が、交差エントロピーラベルを含み、前記交差エントロピーラベルが、前記ホットワードの音声成分を特徴付けるオーディオ特徴の数が進むにつれて前記入力フレームのシーケンスに沿って増加するスコアに関連付けられ、
    前記第１の損失（７１０、７１０ａ）が、最大プーリング損失を含み、前記最大プーリング損失は、前記出力（３５０）と前記最大プーリング損失ラベルとの間の誤差を示し、
    前記第２の損失（７１０、７１０ｂ）が、交差エントロピー損失を含み、前記交差エントロピー損失は、前記出力（３５０）と、前記交差エントロピーラベルとの誤差を示す
    前記システム（１００）。
12. 前記記憶済みニューラルネットワーク（３００）が、エンコーダ（３１０）及びデコーダ（３１１）を含み、前記記憶済みニューラルネットワーク（３００）の前記エンコーダ（３１０）及び前記デコーダ（３１１）のそれぞれが、順次積層された特異値分解フィルタ（sequentially stacked single value decomposition filter: ＳＶＤＦ）層（３０２）を含む、請求項１１に記載のシステム（１００）。
13. 前記出力（３５０）が、前記訓練入力オーディオシーケンス（４００）に基づいたロジット（５０２）の確率分布に基づく、請求項１１または１２に記載のシステム（１００）。
14. 前記動作が、前記第１の損失（７１０、７１０ａ）を決定する前に、前記訓練入力オーディオシーケンス（４００）に基づいたロジット（５０２）を平滑化することをさらに含む、請求項１１又は１２に記載のシステム（１００）。
15. 前記第１の損失（７１０、７１０ａ）を決定することが、
    複数のエンコーダウィンドウ（３１０ｗ）を生成することであって、前記複数のエンコーダウィンドウ（３１０ｗ）の各エンコーダウィンドウが、前記ホットワードの１つ以上の音素に関連付けられる、前記生成することと、
    前記複数のエンコーダウィンドウ（３１０ｗ）のエンコーダウィンドウごとに前記第１の損失（７１０、７１０ａ）を決定することと、
    を含む、請求項１１又は１２に記載のシステム（１００）。
16. 前記複数のエンコーダウィンドウ（３１０ｗ）の集合サイズが、前記ホットワードの平均音響長に対応する、請求項１５に記載のシステム（１００）。
17. 前記記憶済みニューラルネットワーク（３００）を最適化することが、前記第１の損失（７１０、７１０ａ）及び前記第２の損失（７１０、７１０ｂ）の加重平均を生成することを含む、請求項１１又は１２に記載のシステム（１００）。
18. 前記第２のラベル（４２０、４２０ｂ）が、前記ホットワードの１つ以上の音素列から導出される、請求項１１又は１２に記載のシステム（１００）。
19. 前記第１のラベル（４２０、４２０ａ）が、前記ホットワードの最後の音素の位置に基づく、請求項１１又は１２に記載のシステム（１００）。
20. 前記入力フレームのシーケンスがそれぞれ、前記ホットワードの音声成分（４３０）を特徴付ける１つ以上のそれぞれのオーディオ特徴（４１０）を含む、請求項１１又は１２に記載のシステム（１００）。