JP7808207B2 - 継続した会話のためのｅ２ｅモデリングを使用した意図されたクエリ検出 - Google Patents

Description

本開示は、継続した会話のためのエンドツーエンド（Ｅ２Ｅ）モデリングを使用した意図されたクエリ検出に関する。

音声対応環境では、ユーザはクエリまたはコマンドを大きな声で話すだけでよく、デジタルアシスタントはクエリに対処及び回答し、ならびに／またはコマンドを実行させる。音声対応環境（例えば、自宅、職場、学校など）は、様々な部屋または環境エリアに配置された、接続されたマイクロフォンデバイスのネットワークを用いて実装され得る。このようなマイクロフォンのネットワークを介して、ユーザは、コンピュータまたは他のデバイスを目の前に、または近くに有する必要なく、環境内の本質的にどこからでもデジタルアシスタントに口頭でクエリを行う能力を有する。例えば、台所で料理をしながら、ユーザが「Ｏｋ、コンピュータ、タイマーを２０分に設定してください」などのホットワードを使用してデジタルアシスタントを起動してもよく、それに応答して、デジタルアシスタントはタイマーが設定されていることを確認し（合成音声出力の形態で）、タイマーが２０分を経過すると、ユーザに注意喚起する（例えば、アラーム、または音響スピーカからの他の可聴アラートの形態で）。多くの場合、ユーザはデジタルアシスタントに後続のクエリを出し得る。しかしながら、ユーザがデジタルアシスタントに対処するためにホットワードを繰り返す必要があると、ユーザに認知的な負担がかかり、継続した会話の流れが中断される。

本開示の一態様は、データ処理ハードウェアで実行されたとき、音声認識モデルへの入力として、話された発話に対応するオーディオデータを受信することを含む動作をデータ処理ハードウェアが行うようにするコンピュータ実装方法を提供する。動作はまた、音声認識モデルを使用して、複数の時間ステップのそれぞれで、オーディオエンコーダを使用して、話された発話に対応するオーディオデータを対応するオーディオ符号化に符号化することと、音声認識ジョイントネットワークを使用して、対応する時間ステップにおいてオーディオエンコーダによって符号化された対応するオーディオ符号化を、対応する時間ステップにおける話された発話に対する可能な出力ラベルにわたる確率分布に復号することと、によって、オーディオデータに対して音声認識を行うことを含む。複数の時間ステップのそれぞれにおいて、動作はまた、最終ソフトマックス層によって出力される非空白記号のシーケンスに関連付けられたラベル履歴表現を受信するように構成された意図されたクエリ（ＩＱ）ジョイントネットワークを使用して、話された発話がデジタルアシスタントインターフェースを対象とするクエリを含むか否かを示す意図されたクエリ決定を判定することを含む。

本開示の実施態様は、以下の任意選択の特徴の１つまたは複数を含み得る。いくつかの実施態様では、音声認識モデルは、オーディオエンコーダ、音声認識ジョイントネットワーク、及び予測ネットワークを含む。予測ネットワークは、最終ソフトマックス層によって出力される非空白記号のシーケンスを受信し、複数の時間ステップのそれぞれでラベル履歴表現を生成するように構成される。これらの実施態様では、音声認識モデルは、ワードピースの通常のラベルシーケンスを使用して、オーディオエンコーダ、音声認識ジョイントネットワーク、及び予測ネットワークを最適化することによって、第１の訓練段階の間に訓練され、ＩＱジョイントネットワークは、オーディオエンコーダ及び予測ネットワークを凍結させ、入力発話がデジタルアシスタントインターフェースを対象とするクエリを含むか否かを示すＩＱトークンの分布を予測する方法をＩＱジョイントネットワークに教えるため、ワードピースとＩＱトークンの両方の拡張されたラベルシーケンスを用いてＩＱジョイントネットワークを微調整することによって、第２の訓練段階の間に、ジョイントネットワークによって初期化される。これらの実施態様では、対応する非空白記号のシーケンスに対するラベル履歴表現を生成することは、複数の時間ステップのそれぞれで入力として受信される非空白記号のシーケンス内の各非空白記号について、予測ネットワークによって、共有埋め込み行列を使用して、対応する非空白記号の埋め込みを生成することと、予測ネットワークによって、対応する非空白記号にそれぞれの位置ベクトルを割り当てることと、予測ネットワークによって、埋め込みとそれぞれの位置ベクトルとの間の類似度に比例する、埋め込みに重み付けすることと、を含む。ここで、動作はまた、予測ネットワークからの出力として、対応する時間ステップで、重み付けされた埋め込みの加重平均に基づき、単一の埋め込みベクトルを生成することであって、単一の埋め込みベクトルはラベル履歴表現を含む、生成することを含む。ここで、予測ネットワークは、マルチヘッドアテンションメカニズムの各ヘッドにわたって共有埋め込み行列を共有するマルチヘッドアテンションメカニズムを含んでもよい。

いくつかの例では、話された発話に対応するオーディオデータは、ユーザとデジタルアシスタントインターフェースとの間の現在のダイアログセッション中に受信される。いくつかの実施態様では、出力ラベルは、ワードピース、単語、音素、または書記素を含む。いくつかの例では、オーディオエンコーダは、複数の一方向長短期記憶（ＬＳＴＭ）層、複数のコンフォーマー層、または複数のトランスフォーマー層のうちの１つを含む因果エンコーダを含む。いくつかの実施態様では、音声認識モデルは、ハイブリッド自己回帰トランスデューサ因数分解を使用して訓練される。いくつかの例では、動作はさらに、意図されたクエリ決定が、話された発話がデジタルアシスタントインターフェースを対象とするクエリを含むことを示すときに、受信した話された発話への応答を提供することを含む。あるいは、意図されたクエリ決定が、話された発話がデジタルアシスタントインターフェースを対象とするクエリを含まないことを示すときに、動作はさらに、受信した話された発話を破棄することを含む。

本開示の他の態様は、データ処理ハードウェア、及びデータ処理ハードウェアと通信するメモリハードウェアを含むシステムを提供する。メモリハードウェアは、データ処理ハードウェアによって実行されたとき、音声認識モデルに対する入力として話された発話に対応するオーディオデータを受信することを含む動作をデータ処理ハードウェアが行うようにする命令を記憶する。動作はまた、音声認識モデルを使用して、複数の時間ステップのそれぞれで、オーディオエンコーダを使用して、話された発話に対応するオーディオデータを対応するオーディオ符号化に符号化することと、音声認識ジョイントネットワークを使用して、対応する時間ステップにおいてオーディオエンコーダによって符号化された対応するオーディオ符号化を、対応する時間ステップにおける話された発話に対する可能な出力ラベルにわたる確率分布に復号することと、によって、オーディオデータに対して音声認識を行うことを含む。複数の時間ステップのそれぞれにおいて、動作はまた、最終ソフトマックス層によって出力される非空白記号のシーケンスに関連付けられたラベル履歴表現を受信するように構成された意図されたクエリ（ＩＱ）ジョイントネットワークを使用して、話された発話がデジタルアシスタントインターフェースを対象とするクエリを含むか否かを示す意図されたクエリ決定を判定することを含む。

本態様は、以下の任意選択の特徴のうちの１または複数を含み得る。いくつかの実施態様では、音声認識モデルは、オーディオエンコーダ、音声認識ジョイントネットワーク、及び予測ネットワークを含む。予測ネットワークは、最終ソフトマックス層によって出力される非空白記号のシーケンスを受信し、複数の時間ステップのそれぞれでラベル履歴表現を生成するように構成される。これらの実施態様では、音声認識モデルは、ワードピースの通常のラベルシーケンスを使用して、オーディオエンコーダ、音声認識ジョイントネットワーク、及び予測ネットワークを最適化することによって、第１の訓練段階の間に訓練され、ＩＱジョイントネットワークは、オーディオエンコーダ及び予測ネットワークを凍結させ、入力発話がデジタルアシスタントインターフェースを対象とするクエリを含むか否かを示すＩＱトークンの分布を予測する方法をＩＱジョイントネットワークに教えるため、ワードピースとＩＱトークンの両方の拡張されたラベルシーケンスを用いてＩＱジョイントネットワークを微調整することによって、第２の訓練段階の間に、ジョイントネットワークによって初期化される。これらの実施態様では、対応する非空白記号のシーケンスに対するラベル履歴表現を生成することは、複数の時間ステップのそれぞれで入力として受信される非空白記号のシーケンス内の各非空白記号について、予測ネットワークによって、共有埋め込み行列を使用して、対応する非空白記号の埋め込みを生成することと、予測ネットワークによって、対応する非空白記号にそれぞれの位置ベクトルを割り当てることと、予測ネットワークによって、埋め込みとそれぞれの位置ベクトルとの間の類似度に比例する、埋め込みに重み付けすることと、を含む。ここで、動作はまた、予測ネットワークからの出力として、対応する時間ステップで、重み付けされた埋め込みの加重平均に基づき、単一の埋め込みベクトルを生成することであって、単一の埋め込みベクトルはラベル履歴表現を含む、生成することを含む。ここで、予測ネットワークは、マルチヘッドアテンションメカニズムの各ヘッドにわたって共有埋め込み行列を共有するマルチヘッドアテンションメカニズムを含んでもよい。

いくつかの例では、話された発話に対応するオーディオデータは、ユーザとデジタルアシスタントインターフェースとの間の現在のダイアログセッション中に受信される。いくつかの実施態様では、出力ラベルは、ワードピース、単語、音素、または書記素を含む。いくつかの例では、オーディオエンコーダは、複数の一方向長短期記憶（ＬＳＴＭ）層、複数のコンフォーマー層、または複数のトランスフォーマー層のうちの１つを含む因果エンコーダを含む。いくつかの実施態様では、音声認識モデルは、ハイブリッド自己回帰トランスデューサ因数分解を使用して訓練される。いくつかの例では、動作はさらに、意図されたクエリ決定が、話された発話がデジタルアシスタントインターフェースを対象とするクエリを含むことを示すときに、受信した話された発話への応答を提供することを含む。あるいは、意図されたクエリ決定が、話された発話がデジタルアシスタントインターフェースを対象とするクエリを含まないことを示すときに、動作はさらに、受信した話された発話を破棄することを含む。

本開示の１つまたは複数の実施態様の詳細は、添付の図面及び以下の説明において述べられる。他の態様、特徴、及び利点は、説明及び図面、ならびに特許請求の範囲から明らかになる。

話された発話を文字起こしするための意図されたクエリ検出器を含む自動音声認識（ＡＳＲ）システムを含む例示的なシステムの概略図である。 話された発話を文字起こしするための意図されたクエリ検出器を含む自動音声認識（ＡＳＲ）システムを含む例示的なシステムの概略図である。 意図されたクエリ検出器を統合する例示的なＡＳＲシステムの概略図である。 図２のＡＳＲシステムの例示的な結び付けられ、縮小された予測ネットワークの概略図である。 例示的な長文の文字起こしされた訓練発話を示す。 図４Ａの長文の文字起こしされた訓練発話に対する例示的な注釈付きの文字起こしされた訓練発話を示す。 ＡＳＲシステムにおいて意図されたクエリ検出モデルを実行するコンピュータ実装方法の動作の例示的な配置のフローチャートである。 本明細書に記載のシステム及び方法を実装するために使用され得る例示的なコンピューティングデバイスの概略図である。

種々の図面における同様の参照記号は、同様の要素を指す。

アシスタント対応デバイスとインタラクトするユーザの対応の仕方は、限定的ではないが、主に音声入力によって行われるように設計される。その結果、アシスタント対応デバイスは、周囲の環境内の任意の所与の発話が、環境内の個人に向けられているか、または非人間ソース（例えば、テレビまたは音楽プレイヤ）に由来するものと対照的にデバイスに向けられているとき、識別する何らかの方法を持つ必要がある。これを達成する１つの方法は、環境内のユーザ間の合意により、デバイスの注意を引くために話される所定のワード（複数可）として保留されている、ホットワードを使用することである。例示的な環境では、アシスタントの注意を引くために使用されるホットワードは「ＯＫ、コンピュータ」という言葉である。その結果、「ＯＫ、コンピュータ」という単語が話されるたびに、それがマイクロフォンによって拾い上げられ、ホットワード検出器に伝達され、ホットワード検出器は、ホットワードが話されたかどうかを判定するため音声理解技術を行い、ホットワードが話された場合は、次のコマンドまたはクエリを待つ。したがって、アシスタント対応デバイスに向けられた発話は、［ホットワード］［クエリ］という一般形式をとり、この例の「ホットワード」は「ＯＫコンピュータ」であり、「クエリ」は、システムによって、単独で、またはネットワークを介してサーバと連携してのいずれかで、音声認識、解析、及び作用され得る任意の質問、コマンド、宣言、またはその他の要求であってよい。

ユーザが携帯電話またはスマートスピーカなどのアシスタント対応デバイスとの会話を続ける場合、電話またはスピーカとのユーザのインタラクションは、ぎこちないことがある。ユーザは、「Ｏｋ、コンピュータ、課題のプレイリストを再生して」と話してもよい。電話またはスピーカは、プレイリストの最初の曲の再生を開始してもよい。ユーザは、次の曲に進みたいと思い、「Ｏｋ、コンピュータ、次」と話してもよい。さらに他の曲に進むため、ユーザは「Ｏｋ、コンピュータ、次」と再び話してもよい。コマンドを話す前にホットワードを繰り返し続ける必要性を軽減するために、アシスタント対応デバイスは、発話「次」が次の曲に進むためアシスタント対応デバイスに向けられている／それを対象としていると認識／検出するように構成されてもよい。この例では、ユーザは、「Ｏｋ、コンピュータ、次」と発話する代わりに、それぞれのアクションを行うことをトリガするため、単に「次」と発話してアシスタント対応デバイスを呼び出すことができる。対照的に、ユーザは、環境内の別のユーザに「その映画についてどう思う？」と話す場合がある。ここで、アシスタント対応デバイスは、クエリがアシスタント対応デバイスを対象としていないことを認識／検出し得、したがってクエリに応答しない。

本明細書の実施態様は、自然な会話でのインタラクションの話された発話において自然に発生する意図されたクエリ及び意図しないクエリを検出するように構成及び訓練される意図されたクエリ検出モデルと、自動音声認識（ＡＳＲ）システムを統合することを対象とする。例示的な意図されたクエリ検出モデルは、回帰型ニューラルネットワーク－トランスデューサ（ＲＮＮ－Ｔ）モデルなどのエンドツーエンド（Ｅ２Ｅ）ＡＳＲモデルの上に構築されるか、またはそれと統合される。例示的な方法では、ＡＳＲシステムは、ＡＳＲモデルへの入力として、話された発話に対応するオーディオデータを受信する。システムは、ＡＳＲモデルを使用して、複数の時間ステップのそれぞれで、オーディオエンコーダを使用して、話された発話に対応するオーディオデータを対応するオーディオ符号化に符号化することと、音声認識ジョイントネットワークを使用して、対応する時間ステップにおいてオーディオエンコーダによって符号化された対応するオーディオ符号化を、対応する時間ステップにおける話された発話の出力ラベルにわたる確率分布に復号することと、によってオーディオデータに対して音声認識を行う。複数の時間ステップのそれぞれにおいて、最終ソフトマックス層によって出力される非空白記号のシーケンスに関連付けられたラベル履歴表現を受信するように構成された意図されたクエリ（ＩＱ）ジョイントネットワークは、話された発話がデジタルアシスタントを対象とするクエリを含むか否かを示す意図されたクエリ決定を判定する。

図１Ａ及び図１Ｂは、例示的な音声環境を含む例示的なシステム１００ａ、１００ｂを示す。音声環境において、ユーザデバイス１０などのコンピューティングデバイスとインタラクトするユーザ１０４の対応の仕方は、声入力を介するものであり得る。ユーザデバイス１０（一般にデバイス１０とも呼ばれる）は、音声環境内の１人または複数のユーザ１０２から音（例えば、ストリーミングオーディオデータ）をキャプチャするように構成される。ここで、ストリーミングオーディオデータは、可聴クエリ、デバイス１０に対するコマンド、またはデバイス１０によってキャプチャされた可聴通信として機能する、ユーザ１０２によって話された発話１０６を指し得る。デバイス１０の音声対応システムは、クエリに回答することによって、及び／またはコマンドが１つまたは複数の下流のアプリケーションによって行われる／遂行されるようにすることによって、クエリまたはコマンドに対処し得る。

システム１００ａ、１００ｂは、デバイス１０のユーザ１０２が、アクションを行うコマンドを含むクエリを発行することによるユーザ１０２とデジタルアシスタント１０５との間のダイアログセッション中にインタラクトすることができるデジタルアシスタント１０５（一般にデジタルアシスタントインターフェースとも呼ばれる）を実行するユーザデバイス１０を含む。図示の例では、ユーザデバイス１０は、ユーザ１０２がインタラクトすることができるポータブルスマートスピーカに対応する。しかしながら、ユーザデバイス１０は、スマートフォン、タブレット、スマートディスプレイ、デスクトップ／ラップトップ、スマートウォッチ、スマートグラス／ヘッドセット、スマートアプライアンス、ヘッドフォン、または車両インフォテインメントデバイスなどの他のコンピューティングデバイスを含むことができるが、これらに限定されない。ユーザデバイス１０は、データ処理ハードウェア１２及びデータ処理ハードウェア１２上で実行されたとき、データ処理ハードウェア１２が動作を行うようにする命令を格納するメモリハードウェア１４を含む。いくつかの例では、ユーザデバイス１０は、ネットワーク１２０を介してリモートシステム１３０と通信するように構成される。リモートシステム１３０は、リモートデータ処理ハードウェア１３２（例えば、リモートサーバまたはＣＰＵ）及び／またはリモートメモリハードウェア１３４（例えば、リモートデータベースまたは他のストレージハードウェア）などのリモートリソースを含み得る。ユーザデバイス１０は、ユーザデバイス１０に向けられた音声などの音響をキャプチャするように構成された１つまたは複数のマイクロフォン１６のアレイを含む。ユーザデバイス１０はまた、デジタルアシスタント１０５から音楽及び／または合成音声などのオーディオを出力し得るオーディオ出力デバイス（例えばスピーカ）１８を含み得る、またはそれと通信し得る。さらに、ユーザデバイス１０は、環境内の画像をキャプチャし、画像データを出力するように構成された１つまたは複数のカメラを含み得る、またはこれらと通信し得る。

音声環境では、意図されたクエリ（ＩＱ）ジョイントネットワーク２３０を含む回帰型ニューラルネットワーク－トランスデューサ（ＲＮＮ－Ｔ）モデル２００を実装する自動音声認識（ＡＳＲ）システム１１８が、ユーザ１０２のユーザデバイス１０内に存在する、及び／または、ネットワーク１２０を介してユーザデバイス１０と通信しているリモートシステム１３０内に存在する。ユーザデバイス１０及び／またはリモートシステム１３０はまた、ユーザ１０２が発し、マイクロフォン１６がキャプチャした発話１０６を受信し、ＡＳＲシステム１１８で処理可能な入力音響フレーム１１０に関連付けられた対応するデジタル形式に発話１０６を変換するように構成されたオーディオサブシステム１０８を含む。図示の例では、ユーザはそれぞれの発話１０６を話し、オーディオサブシステム１０８は発話１０６をＡＳＲシステム１１８に入力するため対応するオーディオデータ（例えば、音響フレーム）１１０に変換する。その後、ＲＮＮ－Ｔモデル２００は、発話１０６に対応する音響フレーム１１０を入力として受信し、発話１０６の対応するトランスクリプション１２０を出力として生成／予測する。図示の例では、ＲＮＮ－Ｔモデル２００は、ユーザが話すときに部分的なトランスクリプション（例えば、ストリーミング音声認識結果）１２０を作成するためストリーミング音声認識を行ってもよい。

図１Ａに示す例では、ユーザ１０２は、ＡＳＲシステム１１８を使用するユーザデバイス１０のプログラムまたはアプリケーション（例えば、デジタルアシスタントアプリケーション１０５）とインタラクトする。この例では、ユーザ１０２は、時間１の間に、第１の発話１０６（「Ｏｋ、コンピュータ、今日の天気予報はどうですか」）を話す。ＡＥＤ１０４のマイクロフォン１６は、第１の発話１０６を受信し、オーディオサブシステム１０８は、第１の発話１０６を、第１の発話１０６に対応する対応するオーディオデータ１１０に変換する。オーディオデータ１１０の初期処理は、オーディオデータ１１０をフィルタリングすることと、オーディオデータ１１０をアナログ信号からデジタル信号に変換することと、を含み得る。オーディオサブシステム１０８がオーディオデータ１１０を処理するときに、デバイス１０は、追加処理のためにメモリハードウェア１４のバッファにオーディオデータ１１０を格納してもよい。オーディオデータ１１０がバッファ内にある状態で、デバイス１１０は、オーディオデータ１１０がホットワードを含むかどうかを検出するためホットワード検出器（図示せず）を使用してもよい。ホットワード検出器は、オーディオデータ１１０に対して音声認識を行うことなく、オーディオデータ１１０に含まれるホットワードを識別するように構成される。

いくつかの実施態様では、ホットワード検出器は、第１の発話１０６の初期部分にあるホットワードを識別するように構成される。この例では、ホットワード検出器は、第１の発話１０６「Ｏｋコンピュータ、明日の天気予報はどうですか？」は、ホットワード検出器がホットワード１１２の特徴である入力オーディオの音響特徴を検出する場合、ホットワード１１２「ｏｋ、コンピュータ」を含むと判定することができる。音響特徴は、第１のクエリ１０６の短期パワースペクトルの表現であるメル周波数セプストラル係数（ＭＦＣＣ）であってもよく、または第１の発話１０６のメルスケールフィルタバンクエネルギーであってもよい。例えば、ホットワード検出器は、第１の発話１０６「Ｏｋ、コンピュータ、明日の天気予報はどうですか？」が、オーディオデータ１１０からＭＦＣＣを生成することと、ホットワード検出器のホットワードモデルに格納されたようなホットワード「ＯＫコンピュータ」の特徴であるＭＦＣＣに類似するＭＦＣＣをＭＦＣＣが含むと分類することとに基づいて、ホットワード１１２「ｏｋ、コンピュータ」が含まれることを検出し得る。他の例として、ホットワード検出器は、第１の発話１０６「Ｏｋ、コンピュータ、明日の天気予報はどうですか？」が、オーディオデータ１１０からメルスケールフィルタバンクエネルギーを生成することと、メルスケールフィルタバンクエネルギーが、ホットワード検出器のホットワードモデルに格納されたようなホットワード「ｏｋコンピュータ」の特徴であるメルスケールフィルタバンクエネルギーに類似するメルスケールフィルタバンクエネルギーを含むと分類することとに基づいて、ホットワード１１２「ｏｋ、コンピュータ」を含むと検出し得る。

ホットワード検出器が、第１の発話１０６に対応するオーディオデータ１１０がホットワード１１２を含むと判定すると、デバイス１０は、第１の発話１０６に対応するオーディオデータ１１０に対して音声認識を開始するためウェイクアッププロセスをトリガしてもよい。ここで、デバイス１０は、オーディオデータ１１０がホットワード１１２を含むことを検出するので、デバイス１０は、第１の発話１０６がデバイス１０（すなわち、デジタルアシスタント）を対象としていると判定する。デバイス１０は、リモートリソース（例えば、リモートシステム１３０）を利用して、音声処理及び／または合成再生通信に関連する様々な機能を行い得る。いくつかの実施態様では、ＡＳＲシステム１１８は、デバイス１０に加えて、またはその代わりに、リモートシステム１３０上に位置する。ホットワード検出器が、第１の発話１０６内のホットワード１１２を検出することに応答してデバイス１０をウェイクアップするようにトリガすると、ユーザデバイス１０は、第１の発話１０６に対応する音響フレーム１１０を、ネットワーク１２０を介してリモートシステム１３０に送信してもよい。ここで、デバイス１０は、ホットワード１１２の存在を確認するために、リモートシステム１３０のためのホットワード１１２を含むオーディオデータ１１０の一部分を送信してもよい。あるいは、デバイス１０は、ホットワード１１２の後の第１の発話１０６の一部分に対応するオーディオデータ１１０の一部分のみをリモートシステム１３０に送信してもよく、リモートシステム１３０は、音声認識を行うためＡＳＲシステム１１８を実行して、オーディオデータ１１０のトランスクリプション１２０をデバイス１０に返す。デバイス１０は、デバイス１０に向けられたコマンドを識別するため第１の発話１０６のトランスクリプション１２０に対してセマンティック解釈を行うＮＬＵモジュール（図示せず）をさらに含んでもよい。具体的には、ＮＬＵモジュールは、ＡＳＲシステム１１８によって識別された第１の発話１０６内の単語を識別し、第１の発話１０６内の任意の音声コマンドを識別するためセマンティック解釈を行う。デバイス１０のＮＬＵモジュール（及び／またはリモートシステム１３０）は、デジタルアシスタント１０５が行うアクション（すなわち、ユーザの場所の天気予報を調べる）を指定するコマンドとして「明日の天気予報はどうですか？」という単語を識別し得る。

図示のように、ユーザデバイス１０は、時間２の間に、第１の発話１０６に応答して、合成音声１２３ａ（「８０度で、雷雨の可能性がある曇りです」）を生成する。ユーザデバイス１０が合成音声１２３ａを可聴出力する間、またはその直後に、ユーザ１０２は、時間３の間に、第２の発話１４６（「土曜日はどうですか？」）を話す。とりわけ、デバイス１０は、ＡＳＲモデル２００が、ＡＳＲモデル２００を呼び出すためにユーザ１０にホットワードを繰り返し話すように要求することなく、ユーザ１０が自然な方法で後続のクエリを話す場合、任意の後続の音声を継続的に受け入れ、それに対して音声認識処理を行うような継続会話モードで動作している。本例を続けると、ＲＮＮ－Ｔモデル２００は、ユーザ１０２が話すときに第２の発話１４６に対応する音響フレーム１１０を受信しながら、第２の発話１０６に対応する音声認識結果１２０（すなわち、「土曜日はどうですか？」）を作成するため音響フレーム１１０に対して音声認識を行う。図示の例では、ＲＮＮ－Ｔモデル２００が音響フレーム１００に対してストリーミング音声認識を行うとき、ＩＱジョイントネットワーク２３０は、第２の発話１４６に対応する音響フレーム１１０が、ユーザ１０２がユーザデバイス１０に応答することを期待する、意図しないクエリ（すなわち、ユーザデバイス１０に向けられていない）ではなく、意図されたクエリを示すことを検出する。ＩＱジョイントネットワーク２３０が、第２の発話がデジタルアシスタント１０５を対象とするクエリを含むことを検出することに基づいて、時間４において、デジタルアシスタント１０５は、第２の発話１４６に応答して合成音声１２３ｂ（「土曜日は６０度台半ばから後半で晴れでしょう」）を生成し、聴こえるように出力する。

図１Ｂを参照して本例を続けると、時間５において、合成音声１２３ｂの可聴出力中及び／またはその直後に、ＡＳＲモデル２００がまだ後続の音声を受け入れている間、ユーザ１０２が第３の発話１４８（「代わりに、土曜日にハイキングを計画しよう）を話し始め、ＲＮＮ－Ｔモデル２００は、部分的な音声認識結果１２０を生成するため第３の発話１４８に対応する音響データ１１０に対して音声認識を行う。ユーザ１０２がまだ話している間、またはユーザ１０２が第３の発話１４８を話し終えた後に、ＩＱジョイントネットワーク２３０は、ＡＳＲモデル２００が部分音声認識結果１２０を作成している間、第３の発話１４８に対応する音響フレーム１１０が、意図されたクエリではなく、意図しないクエリを示すことを共同で検出する。例えば、図示のように、ユーザ１０２は、環境内の他のユーザ１０３に第３の発話１４８を話してもよい。第３の発話１４８は、メディアデバイスから発する音声など、バックグラウンドオーディオからの音声を含むことができる。ここで、ＩＱジョイントネットワーク２３０は、第３の発話１４８がデバイス１０を対象としてないと判定するので、デバイス１０（すなわち、ＲＮＮ－Ｔモデル２００）は、いずれの残りの音響データ１１０に対して音声認識を行うことを停止し、いずれの部分音声認識結果１２０を破棄する、及び／またはデジタルアシスタント１０５による任意のアクションを抑制することができる。すなわち、例を続けると、ＩＰジョイントネットワーク２３０は、ＡＳＲモデル２００が、ハードマイクロフォン終了イベントは、第３の発話１４８が完了する前に発生し得るように、第３の発話１４８全体に対して音声認識を行うことを完了することを必要とせずに、第３の発話１４８がデバイス１０を対象としていないと判定することが可能である。

図２は、話された発話に関連付けられたアクション／コマンドを話者が行うようにデジタルアシスタント１０５を対象とすることを示す、話された発話中の意図されたクエリを検出するためにＩＱジョイントネットワーク２３０を統合する例示的なＲＮＮ－Ｔモデル２００の概略図である。とりわけ、図１Ａは、ユーザ１０２が、「ｏｋ、コンピュータ」というホットワード１１２を含む第１の発話１０６を話すことを示すが、ＩＱジョイントネットワーク２３０を統合するＲＮＮ－Ｔモデル２００は、ホットワード１１２が存在しない話された発話において意図されたクエリを検出し得る。意図しないクエリの例としては、環境内の１人または複数のユーザ間の会話、環境内の異なるデバイスによって生成された合成音声、及びユーザが大声で話す（例えば、独り言を言うこと）ことを含むが、これらに限定されない。これらの発話は、デジタルアシスタントが発話への応答でユーザを中断することがある、従来のＡＳＲシステムがクエリを処理することをトリガし得、それによりユーザのフラストレーションが増大し得る。

図示の通り、ＲＮＮ－Ｔモデル２００は、エンコーダネットワーク２２０、予測／デコーダネットワーク３００、ＡＳＲジョイントネットワーク２４０（すなわち、ワードピースジョイントネットワーク２４０）、及び最終ソフトマックス出力層２５０を含む。従来のＡＳＲシステムにおける音響モデル（ＡＭ）と大まかに類似しているエンコーダネットワーク２２０（例えば、オーディオエンコーダ）は、特徴ベクトルのシーケンスｘ＝（ｘ_１，ｘ_２，…，ｘ_ｔ）２２２を受信し、
（例えば、図１のオーディオデータ１１０）、各時間ステップにおいて、対応するオーディオ符号化２２４（一般に音響表現とも呼ばれる）を作成する。

図示の例では、予測／デコーダネットワーク３００は、言語モデル（ＬＭ）と同様に、ソフトマックス層２５０によって、現在の時間ステップがオーディオデータ１１０の可能な出力ラベルに対応するか否かの確率分布を表すラベル履歴表現３５０（一般に密または言語表現とも呼ばれる）にこれまで出力された非空白記号２５２のシーケンスｙ_０，…，ｙ_ｕ－１を処理するＬＳＴＭベースの予測ネットワークを含む。

図３は、入力として、最終ソフトマックス層２５０によって出力されるＮ個の以前の非空白記号２５２ａ～ｎに制限される非空白記号のシーケンスｙ_ｕ－ｎ，…，ｙ_ｕ－１を受信するＲＮＮ－Ｔモデル２００についての予測ネットワーク３００を示す。いくつかの例では、Ｎは２に等しい。他の例では、Ｎは５に等しいが、本開示は非限定的であり、Ｎは任意の整数に等しくてよい。非空白記号２５２ａ～ｎのシーケンスは、部分的な音声認識結果１２０ａ、１２０ｂ（図１）を示し得る。いくつかの実施態様では、予測ネットワーク３００は、マルチヘッドアテンションメカニズムの各ヘッド３０２Ａ～３０２Ｈにわたって共有埋め込み行列３０４を共有するマルチヘッドアテンションメカニズム３０２を含む。一例では、マルチヘッドアテンションメカニズム３０２は４つのヘッドを含む。ただし、マルチヘッドアテンションメカニズム３０２では任意の数のヘッドが使用されてもよい。特に、マルチヘッドアテンションメカニズム３０２により、モデルサイズの増加を最小限に抑えながらパフォーマンスが大幅に向上する。以下に詳しく説明するように、各ヘッド３０２Ａ～Ｈは独自の位置ベクトル３０８の行を含み、すべてのヘッドからの出力３１８Ａ～Ｈを連結することでモデルサイズが増加するのではなく、代わりにヘッド平均モジュール３２２によって出力３１８Ａ～Ｈが平均化される。

マルチヘッドアテンションメカニズム３０２の第１のヘッド３０２Ａを参照すると、ヘッド３０２Ａは、共有埋め込み行列３０４を使用して、複数の時間ステップからの対応する時間ステップで入力として受信された非空白記号のシーケンスｙ_ｕｉ－ｎ，…，ｙ_ｕｉ－１内の各非空白記号３０１に対して、対応する埋め込み３０６、３０６ａ～ｎ（例えば、
）を生成する。特に、共有埋め込み行列３０４は、マルチヘッドアテンションメカニズム３０２のすべてのヘッドにわたって共有されるため、他のヘッド３０２Ｂ～Ｈはすべて、各非空白記号に対して同じ対応する埋め込み３０６を生成する。ヘッド３０２Ａはまた、非空白記号のシーケンスｙ_ｕ－ｎ，…，ｙ_ｕ－１内の対応する各非空白記号に、それぞれの位置ベクトルＰＶ_{Ａａ～Ａｎ}３０８、３０８Ａａ～Ａｎ（例えば、
）を割り当てる。各非空白記号に割り当てられたそれぞれの位置ベクトルＰＶ３０８は、非空白記号のシーケンスの履歴内の位置（例えば、最終ソフトマックス層２５０によって出力されたＮ個の以前の非空白記号）を示す。例えば、最初の位置ベクトルＰＶ_Ａａは履歴の最新の位置に割り当てられ、一方、最後の位置ベクトルＰＶ_Ａｎは、最終ソフトマックス層２５０によって出力されたＮ個の以前の非空白記号の履歴の最後の位置に割り当てられる。特に、埋め込み３０６のそれぞれは、位置ベクトルＰＶ３０８のそれぞれと同じ次元（すなわち、次元サイズ）を含んでもよい。

非空白記号２５２ａ～ｎのシーケンス、ｙ_ｕ－ｎ，…，ｙ_ｕ－１内の各非空白記号３０１ごとに共有埋め込み行列３０４によって生成される対応する埋め込みは、マルチヘッドアテンションメカニズム３０２のヘッド３０２Ａ～Ｈのすべてにおいて同じであるが、各ヘッド３０２Ａ～Ｈは、位置ベクトル３０８の異なるセット／行を定義する。例えば、第１のヘッド３０２Ａは位置ベクトルＰＶ_{Ａａ～Ａｎ}の３０８Ａａ～Ａｎの行を定義し、第２のヘッド３０２Ｂは位置ベクトルＰＶ_{Ｂａ～Ｂｎ}の３０８_{Ｂａ～Ｂｎ}、…、の異なる行を定義し、第Ｈのヘッド３０２Ｈは位置ベクトルＰＶ_{Ｈａ～Ｈｎ}の３０８_{Ｈａ～Ｈｎ}の別の異なる行を定義する。

受信した非空白記号２５２ａ～ｎのシーケンス内の各非空白記号について、第１のヘッド３０２Ａは、重み層３１０を介して、対応する埋め込みとそれに割り当てられたそれぞれの位置ベクトルＰＶ３０８との間の類似度に比例して、対応する埋め込み３０６に重み付けする。いくつかの例では、類似度はコサイン類似度（例えば、コサイン距離）を含み得る。図示の例では、重み層３１０は、それぞれ、それに割り当てられたそれぞれの位置ベクトルＰＶ３０８に比例して重み付けされた対応する埋め込み３０６に関連付けられた重み付けされた埋め込み３１２、３１２Ａａ～Ａｎのシーケンスを出力する。別の言い方をすれば、各埋め込み３０６について重み層３１０によって出力される重み付けされた埋め込み３１２は、埋め込み３０６とそれぞれの位置ベクトルＰＶ３０８との間のドット積に対応し得る。重み付けされた埋め込み３１２は、埋め込みが、それぞれの位置ベクトルＰＶ３０８に関連付けられた位置決めとどれほど類似しているかに比例して、埋め込みの上に付随すると解釈され得る。計算速度を上げるために、予測ネットワーク３００には非回帰層が含まれており、したがって、重み付けされた埋め込み３１２Ａａ～Ａｎのシーケンスは連結されず、代わりに加重平均モジュール３１６によって平均化され、第１のヘッド３０２Ａからの出力として、次式で表される重み付けされた埋め込み３１２Ａａ～Ａｎの加重平均３１８Ａが生成される。
式（１）において、ｈはヘッド３０２のインデックスを表し、ｎはコンテキスト内の位置を表し、ｅは埋め込み次元を表す。さらに、式（１）では、Ｈ、Ｎ、及びｄ_ｅは、対応する次元のサイズを含む。位置ベクトルＰＶ３０８は訓練可能である必要はなく、ランダムな値を含んでもよい。特に、重み付けされた埋め込み３１２が平均化されても、位置ベクトルＰＶ３０８は位置履歴情報を潜在的に保存できるため、予測ネットワーク３００の各層で回帰接続を提供する必要性が軽減される。

第１のヘッド３０２Ａに関して上で説明した動作は、マルチヘッドアテンションメカニズム３０２の他の各ヘッド３０２Ｂ～Ｈでも同様に実行される。各ヘッド３０２によって定義された位置決めされたベクトルＰＶ３０８の異なるセットにより、重み層３１０は、第１のヘッド３０２Ａでの重み付けされた埋め込み３１２Ａａ～Ａａのシーケンスとは異なる、他の各ヘッド３０２Ｂ～Ｈで重み付けされた埋め込み３１２Ｂａ～Ｂｎ、３１２Ｈａ～Ｈｎのシーケンスを出力する。その後、加重平均モジュール３１６は、他の各対応するヘッド３０２Ｂ～Ｈからの出力として、非空白記号のシーケンスの対応する重み付けされた埋め込み３１２のそれぞれの加重平均３１８Ｂ～Ｈを生成する。

図示の例では、予測ネットワーク３００は、対応するヘッド３０２Ａ～Ｈから出力される加重平均３１８Ａ～Ｈを平均化するヘッド平均モジュール３２２を含む。ＳＷＩＳＨを備えた投影層３２６は、加重平均３１８Ａ～Ｈの平均に対応するヘッド平均モジュール３２２からの出力３２４を入力として受信し、投影出力３２８を出力として生成してもよい。最終層正規化３３０は、複数の時間ステップから対応する時間ステップにおける単一の埋め込みベクトルＰ_ｕ３５０（例えば、ラベル履歴表現）を提供するため投影出力３２８を正規化してもよい。予測ネットワーク３００は、初期時間ステップに続く複数の時間ステップのそれぞれにおいて、単一の埋め込みベクトルＰ_ｕ３５０のみを生成する。

いくつかの構成では、予測ネットワーク３００は、マルチヘッドアテンションメカニズム３０２を実装せず、第１のヘッド３０２Ａに関して上記の動作のみを行う。これらの構成では、重み付けされた埋め込み３１２Ａａ～Ａｎの加重平均３１８Ａが、投影層３２６と層正規化３３０を通過するだけで、単一の埋め込みベクトルＰ_ｕ３５０が提供される。

図２に戻り参照すると、ＡＳＲジョイントネットワーク２４０は、予測ネットワーク３００から単一の埋め込みベクトルＰ_ｕ３５０、及びエンコーダ２２０からオーディオ符号化２２４を受信する。ワードピースジョイントネットワーク２４０は、対応する時間ステップにおける可能な音声認識仮説にわたって確率分布
２４２を生成する。ここで、ｘ_ｔ－ｋ，…，ｘ_ｔは、ｋのコンテキストウィンドウを用いてエンコーダ２２０によって受信された音響観測を表し、ｙ_ｕ－Ｎ，…，ｙ_ｕは、ワードピース列を表す。例えば、自然言語が英語のとき、出力ラベルのセットには２７個の記号、例えば、英語のアルファベットの２６文字それぞれに１つのラベルと、スペースを表す１つのラベルとが含まれてもよい。したがって、ワードピースジョイントネットワーク２４０は、所定の出力ラベルのセットの各々の発生尤度を示す値のセットを出力し得る。この値のセットはベクトルであり得、出力ラベルのセット上の確率分布を示すことができる。場合によっては、出力ラベルは書記素（例えば、個々の文字、及び潜在的な句読点やその他の記号など）であるが、出力ラベルのセットはそれに制限されない。例えば、出力ラベルのセットは、書記素に加えて、または書記素の代わりに、ワードピース及び／または単語全体を含むことができる。ワードピースジョイントネットワーク２４０の出力分布は、異なる出力ラベルのそれぞれに対する事後確率値を含み得る。したがって、異なる書記素または他の記号を表す１００個の異なる出力ラベルがある場合、ＡＳＲジョイントネットワーク２４０の出力２４２は、出力ラベルごとに１つずつ、１００個の異なる確率値を含むことができる。可能性のある音声認識仮説にわたる確率分布
２４２は、音声認識結果１２０（図１）に対する確率を示す。すなわち、ＡＳＲジョイントネットワーク２４０は、非空白記号２５２のシーケンスに基づく単一の埋め込みベクトル３５０を使用して、音声認識結果１２０の確率分布を決定する。言い換えれば、ＡＳＲジョイントネットワーク２４０は、各出力ステップ（例えば、時間ステップ）において、可能な音声認識仮説にわたる確率分布２４２を生成する。次に、確率分布ｙ^＊２４２は、トランスクリプション１２０を決定するため（例えば、最終ソフトマックス層によって）ビームサーチプロセスにおいて候補の正書法要素（例えば、書記素、ワードピース、及び／または単語）を選択し、それにスコアを割り当てることができる。

ソフトマックス層２５０は、対応する出力ステップでＲＮＮ－Ｔモデル２００によって予測される次の出力記号ｙ_ｕ２５２として、分布ｙ^＊２４２内で最も高い確率を有する出力ラベル／記号を選択するために任意の技術を使用することができる。このように、ＲＮＮ－Ｔモデル２００は、条件付きの独立性の仮定を行うことはない。代わりに、ＲＮＮ－Ｔモデル２００は、音響だけでなく、これまでに出力されたラベルのシーケンスにも条件付けられた各記号を予測する。ＲＮＮ－Ｔモデル２００は、出力記号が、ＲＮＮ－Ｔモデル２００をストリーミング形式で使用することを可能にする将来のオーディオデータ１１０から独立していると仮定する。いくつかの例では、ソフトマックス層２５０は、複数の訓練データセットのすべての一意のワードピースまたは書記素を使用して生成される、統合されたワードピースまたは書記素セットから構成される。

ＩＱジョイントネットワーク２３０は、エンコーダネットワーク２２０によって出力された高次特徴表現２２４及び予測ネットワーク３００によって出力された単一の埋め込みベクトルＰ_ｕ３５０に基づいて、対応する時間ステップが意図されたクエリまたは意図しないクエリに対応する確率分布を生成する。言い換えれば、ＩＱジョイントネットワーク２３０は、意図されたクエリに対して＜ｉｎｔｅｎｄｅｄ＞、意図しないクエリに対して＜ｕｎｉｎｔｅｎｄｅｄ＞を含む出力ラベルの所定のセットのそれぞれの発生の尤度を示す値のセットを出力してもよい。この値のセットはベクトルであり得、出力ラベルのセット上の確率分布を示すことができる。意図されたクエリの条件付き確率と意図しないクエリの条件付き確率とを提供する確率分布は、次の数式を使用して決定することができる。
式中、ｙ_ｕは、最高確率２４２を有する出力ワードピース仮説である。ＩＱジョイントネットワーク２３０は、対応する確率が所定の閾値を満たす（例えば、超える）ときに、話された発話がデジタルアシスタントインターフェース１０５を対象とするクエリを含むか否かを示すトークン２１２（例えば、＜ｉｎｔｅｎｄｅｄ＞及び＜ｕｎｉｎｔｅｎｄｅｄ＞トークン）を放出する。例えば、
が意図されたクエリ閾値を満たす（たとえば、超える）ときに、＜ｉｎｔｅｎｄｅｄ＞トークン２１２が放出され、


が意図しない閾値を満たす（例えば、超える）ときに、＜ｕｎｉｎｔｅｎｄｅｄ＞トークン２１２が放出される。意図された閾値と意図しない閾値とは同じ値を有する必要はない。あるいは、
が意図されたクエリ閾値を満たさない（例えば、超えない）ときに、＜ｕｎｉｎｔｅｎｄｅｄ＞トークン２１２が放出される。いくつかの例では、意図されたクエリの検出（例えば、対応する時間ステップが意図されたクエリに対応する確率が意図されたクエリ閾値を満たす）は、意図されたクエリに対する応答を生成及び提供するためにデジタルアシスタント１０５をトリガする。

図１Ａ、図１Ｂ、及び図２を参照すると、ＲＮＮ－Ｔ２００が正確な音声認識結果を確実に作成するために、訓練システム１３０（図１Ａ及び図１Ｂ）は、２段階の訓練処理におけるハイブリッド自己回帰トランスデューサ（ＨＡＴ）因数分解を使用して、ＲＮＮ－Ｔ２００（ＩＱジョイントネットワーク２３０を含む）を訓練して可能なサブワード単位及び２つの意図されたクエリトークン（例えば、＜ｉｎｔｅｎｄｅｄ＞及び＜ｕｎｉｎｔｅｎｄｅｄ＞）を予測する。いくつかの例では、可能なサブワード単位は、ワードピース（例えば、４，０９６個の可能なワードピース）を含む。他の例では、ＲＮＮ－Ｔ２００は、書記素、音素、単語全体、または他の種類のサブワード単位を予測するように訓練される。第１の段階の間、訓練システム１３０は、音声認識を行うため音声認識タスクに関して、エンコーダネットワーク２２０、予測ネットワーク３００、及びＡＳＲジョイントネットワーク２４０を訓練する。具体的には、訓練システム１３０は、ワードピースの通常のラベルシーケンスを使用して、エンコーダネットワーク２２０、ＡＳＲジョイントネットワーク２４０、及び予測ネットワーク３００を最適化することによって、第１の訓練段階を行う。第２の段階の間、訓練システム１３０は、エンコーダネットワーク２２０、予測ネットワーク３００、及び固定されたＡＳＲジョイントネットワーク２４０のパラメータを保持すると同時に、入力された発話が意図されたクエリを含むか否かを検出する方法を学習するようにＩＱジョイントネットワーク２３０を初期化及び微調整（例えば、訓練）する。すなわち、訓練システム１３０は、発話中の意図された位置及び意図しない位置を予測する方法を学習するようにＩＱジョイントネットワーク２３０を訓練する。訓練システム１３０は、文字起こしされた発話がデジタルアシスタントを対象とするクエリを含むか否かを示す＜ｉｎｔｅｎｄｅｄ＞及び＜ｕｎｉｎｔｅｎｄｅｄ＞トークンの分布を予測するため拡張ラベル（例えば、＜ｉｎｔｅｎｄｅｄ＞及び＜ｕｎｉｎｔｅｎｄｅｄ＞）を含むように、例えば、訓練データ生成器１４０（図１）によって注釈を付けられた複数の文字起こしされた訓練発話を使用して、ＩＱジョイントネットワーク２３０を訓練する。例えば、訓練データ生成器１４０は、デジタルアシスタントのためのセマンティックコマンドに続いて＜ｉｎｔｅｎｄｅｄ＞トークンを挿入することができ、セマンティックコマンドを含まないワードピースの後に、及び／またはサイレント一時停止が決定されたときに、＜ｕｎｉｎｔｅｎｄｅｄ＞トークンを挿入することができる。したがって、訓練システム１３０は、第１の段階ではワードピースの通常のラベルシーケンスを使用するが、訓練データ生成器１４０は、第２の段階では、ＩＱジョイントネットワーク２３０を訓練するために拡張されたワードピースのラベルシーケンスを生成する。

単一の音声クエリを含む短い形式の発話の場合、訓練データ生成器１４０は、各発話の末尾に＜ｅｏｓ＞トークンを付加し、例えば、強制アラインメントを使用して決定された無音部分のため＜ｐａｕｓｅ＞トークンを挿入する。短い形式の発話は、音声イベントの終了及び通常の短い一時停止をモデル化するために使用することができるが、それらは、より広範囲の可能なディスフルエンシをカバーしないことがある。さらに、単一の＜ｅｏｓ＞トークンが各発話の末尾に付加される場合、ディスフルエンシ検出ジョイントネットワーク２１０は、より長い発話または複数のディスフルエンシを伴う発話に対してディスフルエンシ検出の問題を生じる可能性がある、発話中の第１の音声終了イベントを判定した後にいずれの追加の＜ｅｏｓ＞トークンの放出を停止することを学習することができる。

図２に戻り参照すると、エンコーダネットワーク２２０に入力される特徴ベクトルｘ２２２は、１０ｍｓシフトで３つの２５ミリ秒（ｍｓ）音響フレームを積み重ねることによって形成される８０次元のログメルフィルタバンク特徴を含むことができ、３０ｍｓフレームレートにダウンサンプリングすることができる。いくつかの例では、エンコーダネットワーク２２０は、１２個の５１２次元コンフォーマー層を含む。コンフォーマー層は、１５のカーネルサイズを持つ因果畳み込み、及び８個のヘッドセルフアテンションを有する左コンテキストアテンション層のスタックを含む。説明されたエンコーダネットワーク２２０は、コンフォーマー層／ブロック（例えば、１２個のコンフォーマーブロック）を含むセルフアテンションを有するマルチヘッドアテンション層／ブロックのスタックを有するが、本開示はそのように限定されない。例えば、エンコーダネットワーク２２０は、トランスフォーマー層のスタック／または任意の他の種類のマルチヘッドアテンション層／ブロックのスタックを含み得る。エンコーダネットワーク２２０は、一連のマルチヘッドセルフアテンション層、深さ方向の畳み込み層、及びフィードフォワード層を含み得る。あるいは、エンコーダネットワーク２２０は、マルチヘッドアテンション層／ブロックの代わりに、複数の長短期記憶（ＬＳＴＭ）層を含み得る。

予測ネットワーク３００は、３２０の埋め込み次元を有するＬＴＳＭベースのネットワークを含み得る。ＡＳＲジョイントネットワーク２４０によって出力される確率分布表現２４２の次元Ｄ^{ジョイント}は、６４０に設定され得る。いくつかの例では、ＡＳＲジョイントネットワーク２４０は、隠れユニットを含む。追加的または代替的に、ワードピースジョイントネットワーク２４０は、全接続（ＦＣ）層を含まない。ＩＱジョイントネットワーク２３０は、６４０個の隠れユニットを有するＦＣ層を含み得る。あるいは、予測ネットワーク３００は、トランスフォーマーまたはコンフォーマーブロック（または他の種類のマルチヘッドアテンションブロック）のスタックを含み得る。予測ネットワーク３００はまた、隠れ表現を生成する代わりに、ルックアップスパース埋め込みを出力することによってレイテンシを改善する埋め込みルックアップテーブル（例えば、Ｖ２埋め込みルックアップテーブル）であってもよい。いくつかの実施態様では、予測ネットワーク３００はステートレス予測ネットワークである。

ＡＳＲジョイントネットワーク２４０及び予測ネットワーク３００は、集合的にＲＮＮ－Ｔモデル２００のＲＮＮ－Ｔデコーダを形成し得る。いくつかの実施態様では、ＲＮＮ－Ｔデコーダ、すなわち、予測ネットワーク３００及びＡＳＲジョイントネットワーク２４０のサイズをさらに縮小するために、予測ネットワーク３００とＡＳＲジョイントネットワーク２４０との間のパラメータ結び付けが適用される。具体的には、語彙サイズ｜Ｖ｜及び埋め込み次元ｄ_ｅ，の場合、予測ネットワーク３００における共有埋め込み行列３０４は、
である。一方、最後の隠れ層は、ＡＳＲジョイントネットワーク２４０における次元サイズｄ_ｈを含み、隠れ層から出力ロジックへのフィードフォワード投影の重みは、
となり、語彙に余分な空白トークンを有する。したがって、ＡＳＲジョイントネットワーク２４０の最後の層に対応するフィードフォワード層は、重み行列［ｄ_ｈ，｜Ｖ］｜を含む。予測ネットワーク３００に、埋め込み次元ｄ_ｅのサイズをＡＳＲジョイントネットワーク２４０の最後の隠れ層の次元ｄ_ｈに結び付けることにより、ＡＳＲジョイントネットワーク２４０のフィードフォワード投影重みと予測ネットワーク３００の共有埋め込み行列３０４は、単純な転置変換を介して、全ての非空白記号についてそれらの重みを共有することができる。２つの行列はそれらの全ての値を共有するので、ＲＮＮ－Ｔデコーダ（すなわち、ＡＳＲジョイントネットワーク２４０及び予測ネットワーク３００）は、２つの個々の行列を格納する代わりに、値をメモリに一度格納するだけでよい。埋め込み次元ｄ_ｅのサイズを隠れ層次元ｄ_ｈのサイズと等しく設定することによって、ＲＮＮ－Ｔデコーダは、埋め込み次元ｄ_ｅと語彙サイズ｜Ｖ｜との積に等しいパラメータ数を削減する。この重み結合は、正則化技術に対応する。

図４Ａは、例示的な文字起こしされた訓練発話４００を示す。図４Ｂは、図４Ａの文字起こしされた訓練発話４００のためにＮＬＵモデルによって生成された例示的なセマンティック注釈付き文字起こしされた訓練発話４２０を示す。図４Ｃは、図４Ａの文字起こしされた訓練発話４００のために訓練データ生成器１４０によって生成された例示的な注釈付き文字起こしされた訓練発話４５０を描く。図４Ａに示すように、各発話について、訓練データ生成器１４０は、例えば強制アライメントを使用して、無音部分４０２、４０２ａ～ｎを決定する。図４Ｂでは、ＮＬＵモデルは、文字起こしされた訓練発話４００を解析して、無音部分４０２のいずれが、セマンティックコマンド（例えば、変更、ウェイクアップ、タイマーを、８時に）を表すスロット４２２、４２２ａ～ｎ、及び各セマンティックコマンドをスロット４２２として識別するラベルを構成するかを判定する。図４Ｃでは、訓練データ生成器１４０は、セマンティックコマンドが完了する（例えば、無音一時停止４０２ｃ）無音部分４０２（各スロット４２２を含む）のそれぞれに、それぞれの＜ｉｎｔｅｎｄｅｄ＞トークン（例えば、トークン４５２ａ）をラベル付けし、共通のセマンティックコマンドの完了を表さない無音一時停止（例えば、無音一時停止４０２ａ、４０２ｂ、４０２ｄ、及び４０２ｅ）に、それぞれの＜ｕｎｉｎｔｅｎｄｅｄ＞トークン（例えば、トークン４５４ａ、４５４ｂ、４５４ｃ、４５４ｄ）をラベル付けし、及び最終的な無音一時停止（例えば、無音一時停止４０２ｆ）に＜ｉｎｔｅｎｄｅｄ＞トークン（例えば、トークン４５２ｂ）をラベル付けする。

図５は、意図されたクエリを検出し、音声認識を行うためのコンピュータ実装方法５００の例示的な動作配置のフローチャートである。動作５０２において、方法５００は、音声認識モデル２００への入力として、話された発話１０６に対応するオーディオデータ１１０、２２２を受信することを含む。また、方法５００は、音声認識モデル２００を使用して、複数の時間ステップのそれぞれにおいて、動作５０４及び５０６によってオーディオデータ１１０、２２２に対して音声認識を行うことを含む。動作５０４では、方法５００は、オーディオエンコーダ２２０を使用して、話された発話１０６に対応するオーディオデータ１１０、２２２を、対応するオーディオ符号化２２４に符号化することを含む。

動作５０６で、方法５００はまた、音声認識ジョイントネットワーク２４０を使用して、対応する時間ステップでオーディオエンコーダ２２０によって符号化された対応するオーディオ符号化２２４を、対応する時間ステップにおいて話された発話１０６の可能な出力ラベルにわたる確率分布２４２に復号することを含む。複数の時間ステップのそれぞれにおいて、方法５００はまた、動作５０８において、最終ソフトマックス層２５０によって出力される非空白記号２５２のシーケンスに関連付けられたラベル履歴表現３５０を受信するように構成された意図されたクエリ（ＩＱ）ジョイントネットワーク２３０を使用して、話された発話１０６がデジタルアシスタントインターフェース１０５を対象とするクエリを含むか否かを示す意図されたクエリ決定２１２を判定することを含む。

図６は、本文書に記載のシステム及び方法を実装するために使用できる例示的なコンピューティングデバイス６００の概略図である。コンピューティングデバイス６００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及びその他の適切なコンピュータなど、様々な形式のデジタルコンピュータを表すことを意図している。ここで示されているコンポーネント、それらの接続と関係、及びそれらの機能は、例示のみを目的としており、この文書で説明及び／または特許請求されている本発明の実施態様を制限することを意図してはいない。

コンピューティングデバイス６００は、プロセッサ６１０、メモリ６２０、ストレージデバイス６３０、メモリ６２０及び高速拡張ポート６５０に接続する高速インターフェース／コントローラ６４０、及び低速バス６７０及びストレージデバイス６３０に接続する低速インターフェース／コントローラ６６０を含む。コンポーネント６１０、６２０、６３０、６４０、６５０、及び６６０の各々は、様々なバスを使用して相互接続されており、共通のマザーボードに据え付けられるか、または必要に応じて他の方法で存在することもできる。プロセッサ６１０（例えば、図１Ａ及び図１Ｂのデータ処理ハードウェア１２，１３２）は、高速インターフェース６４０に連結されたディスプレイ６８０などの外部入出力デバイスにグラフィカルユーザインターフェース（ＧＵＩ）のグラフィカル情報を表示するためメモリ６２０またはストレージデバイス６３０に格納された命令を含む、コンピューティングデバイス６００内で実行するための命令を処理することができる。他の実施態様では、複数のメモリ及び複数の種類のメモリと共に、必要に応じて複数のプロセッサ及び／または複数のバスが使用されてもよい。また、複数のコンピューティングデバイス６００が接続され、各デバイスが必要な動作の一部を行う場合もある（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）。

メモリ６２０（すなわち、図１Ａ及び図１Ｂのメモリハードウェア１４，１３４）は、コンピューティングデバイス６００内に非一時的に情報を格納する。メモリ６２０は、コンピュータ可読媒体、揮発性メモリユニット（複数可）、または不揮発性メモリユニット（複数可）であってもよい。非一時的メモリ６２０は、コンピューティングデバイス６００による使用のために一時的または永続的にプログラム（例えば、命令のシーケンス）またはデータ（例えば、プログラム状態情報）を格納するために使用される物理デバイスであってよい。不揮発性メモリの例は、フラッシュメモリ及び読み出し専用メモリ（ＲＯＭ）／プログラマブル読み出し専用メモリ（ＰＲＯＭ）／消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）／電子的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）（例えば、通常はブートプログラムなどのファームウェアに使用される）を含むが、これらに限定されない。揮発性メモリの例は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、及びディスクまたはテープを含むが、これらに限定されない。

ストレージデバイス６３０は、コンピューティングデバイス６００に大容量ストレージを設けることができる。いくつかの実施態様では、ストレージデバイス６３０はコンピュータ可読媒体である。様々な異なる実施態様では、ストレージデバイス６３０は、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、もしくはテープデバイス、フラッシュメモリもしくはその他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくはその他のコンフィグレーションのデバイスを含む、デバイスアレイであってもよい。追加の実施態様では、コンピュータプログラム製品は、情報キャリアに有形に具現化される。コンピュータプログラム製品は、実行時に上述したような１つまたは複数の方法を実行する命令を含む。情報キャリアは、メモリ６２０、ストレージデバイス６３０、またはプロセッサ６１０上のメモリなどのコンピュータ可読媒体または機械可読媒体である。

高速コントローラ６４０は、コンピューティングデバイス６００の帯域幅集約動作をより管理し、低速コントローラ６６０は、帯域幅集約動作をより少なく管理する。このような役割の割り振りは単なる例である。いくつかの実施態様では、高速コントローラ６４０は、メモリ６２０、ディスプレイ６８０（例えば、グラフィックプロセッサまたはアクセラレータを介して）、及び様々な拡張カード（図示せず）を受け入れることができる高速拡張ポート６５０に結合される。いくつかの実施態様では、低速コントローラ６６０は、ストレージデバイス６３０及び低速拡張ポート６９０に結合される。低速拡張ポート６９０は、様々な通信ポート（ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、ワイヤレスイーサネットなど）を含み得、ネットワークアダプタなどを介して、キーボード、ポインティングデバイス、スキャナ、またはスイッチやルータなどのネットワークデバイスなどの１つまたは複数の入力／出力デバイスに結合され得る。

コンピューティングデバイス６００は、図に示すように、多くの様々な形式で実装できる。例えば、それは、標準サーバ６００ａとして、またはそのようなサーバ６００ａのグループで複数回、ラップトップコンピュータ６００ｂとして、またはラックサーバシステム６００ｃの一部として実装され得る。

本明細書で説明するシステム及び技術の様々な実施態様は、デジタル電子及び／または光回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／またはそれらの組み合わせで実現できる。これらの様々な実施態様は、特殊または汎用であり得、ストレージシステムからデータ及び命令を受信し、ストレージシステムにデータ及び命令を送信するように結合された、少なくとも１つのプログラマブルプロセッサ、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスを含むプログラム可能なシステムで実行可能及び／または解釈可能な１つまたは複数のコンピュータプログラムにおける実施態様を含むことができる。

ソフトウェアアプリケーション（すなわち、ソフトウェアリソース）は、コンピューティングデバイスにタスクを実行させるコンピュータソフトウェアを指してもよい。いくつかの例では、ソフトウェアアプリケーションは、「アプリケーション」、「アプリ」、または「プログラム」と呼ばれてもよい。例示的なアプリケーションは、システム診断アプリケーション、システム管理アプリケーション、システムメンテナンスアプリケーション、ワードプロセッシングアプリケーション、スプレッドシートアプリケーション、メッセージアプリケーション、メディアストリーミングアプリケーション、ソーシャルネットワーキングアプリケーション、及びゲーミングアプリケーションを含むが、これらに限定されない。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラマブルプロセッサのための機械命令を含み、かつ高水準手続型及び／またはオブジェクト指向プログラミング言語、及び／またはアセンブリ／機械言語で実装されることができる。本明細書で使用する場合、「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械可読信号として機械命令を受信する機械可読媒体を含むプログラマブルプロセッサに機械命令及び／またはデータを提供するために使用される、あらゆるコンピュータプログラム製品、非一時コンピュータ可読媒体、装置及び／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令及び／またはデータをプログラマブルプロセッサに提供するために使用されるあらゆる信号を指す。

本明細書に説明するプロセス及び論理フローは、１つまたは複数のコンピュータプログラムを実行して、入力データ上で動作し、出力を生成することにより機能を行うデータ処理ハードウェアとも呼ばれる、１つまたは複数のプログラマブルプロセッサによって行われ得る。プロセス及び論理フローはまた、特殊用途論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）により行われ得る。コンピュータプログラムの実行に適切なプロセッサは、例として、汎用及び特殊目的のプロセッサの両方、並びにいずれかの種類のデジタルコンピュータのいずれか１つまたは複数のプロセッサを含む。概して、プロセッサは、読み出し専用メモリ、ランダムアクセスメモリ、またはその両方から命令及びデータを受信する。コンピュータの基本的な要素は、命令を行うためのプロセッサ、ならびに命令及びデータを格納するための１つまたは複数のメモリデバイスである。概して、コンピュータはまた、データを格納するための１つまたは複数の大容量記憶デバイス、例えば磁気ディスク、光磁気ディスク、または光ディスクを含む、またはそれらからデータを受信するもしくはそれらにデータを送信する、あるいはその両方を行うよう動作可能に結合される。しかし、コンピュータがそのようなデバイスを有している必要はない。コンピュータプログラム命令及びデータを格納するのに適したコンピュータ読み取り可能なメディアは、あらゆる形式の不揮発性メモリ、メディア、及びメモリデバイスを含み、例として、半導体メモリデバイス、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス、磁気ディスク、例えば内蔵ハードディスクまたはリムーバブルディスク、光磁気ディスク、ならびにＣＤ ＲＯＭ及びＤＶＤ－ＲＯＭディスクを含む。プロセッサ及びメモリは、専用論理回路によって補完されるか、または専用論理回路に組み込まれ得る。

ユーザとのインタラクションを提供するために、本開示の１つまたは複数の態様は、ユーザに情報を表示するためのディスプレイデバイス、例えばＣＲＴ（ブラウン管）、ＬＣＤ（液晶画面）モニタ、またはタッチスクリーン及び任意選択でユーザがそれによってコンピュータへの入力を行うことができる、例えばマウスまたはトラックボールなどの、キーボード及びポインティングデバイスを有するコンピュータに実装することができる。他の種類のデバイスもまた、ユーザとのインタラクションを提供するために使用することができ、例えば、ユーザに提供されるフィードバックは、例えば視覚フィードバック、聴覚フィードバック、または触覚フィードバックなどの任意の形式の感覚的フィードバックであってもよく、ユーザからの入力は、音響、音声言語、または触覚入力を含む、任意の形式で受信され得る。さらに、コンピュータは、ユーザが使用するデバイスに書類を送信し、それから書類を受信することで、例えば、ウェブブラウザから受信した要求に応じて、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することで、ユーザとインタラクトできる。

いくつかの実施態様が説明されてきた。それにも関わらず、本開示の趣旨及び範囲から逸脱することなく、様々な修正を行い得ることが理解される。したがって、他の実施態様は、以下の特許請求の範囲内である。

Claims (20)

1. コンピュータに実装される方法（５００）であって、データ処理ハードウェア（６１０）上で実行されたとき、前記データ処理ハードウェア（６１０）が、
   音声認識モデル（２００）への入力として、話された発話（１０６、１４６、１４８）に対応するオーディオデータ（１１０、２２２）を受信することと、
   最終ソフトマックス層（２５０）によって出力される以前の非空白記号に制限される以前の非空白記号のシーケンスを、予測ネットワーク（３００）を使用して受信することと、
   前記音声認識モデル（２００）を使用して、複数の時間ステップのそれぞれにおいて、
   オーディオエンコーダ（２２０）を使用して、
   前記話された発話（１０６、１４６、１４８）に対応する前記オーディオデータ（１１０、２２２）を、対応するオーディオ符号化（２２４）に符号化して出力することと、
   音声認識ジョイントネットワーク（２４０）を使用して、
   前記オーディオエンコーダ（２２０）から前記オーディオ符号化（２２４）を受信し、
   予測ネットワーク（３００）からラベル履歴表現（３５０）を含む単一の埋め込みベクトル（３５０）を受信し、
   前記対応する時間ステップにおいて前記オーディオエンコーダ（２２０）によって符号化された前記対応するオーディオ符号化（２２４）を、前記対応する時間ステップにおいて前記話された発話（１０６、１４６、１４８）に対する可能な出力ラベルにわたる確率分布（２４２）に復号することと、によって前記オーディオデータ（１１０、２２２）に対して音声認識を行うことであって、前記確率分布（２４２）は前記音声認識の結果の確率分布を示す、音声認識を行うことと、
   前記複数の時間ステップのそれぞれにおいて、前記確率分布（２４２）を入力として最終ソフトマックス層（２５０）によって出力される非空白記号（２５２）のシーケンスに関連付けられたラベル履歴表現（３５０）を受信するように構成された意図されたクエリ（intended query: ＩＱ）ジョイントネットワーク（２３０）を使用して、
   前記話された発話（１０６、１４６、１４８）がデジタルアシスタントインターフェース（１０５）を対象とするクエリを含むか否かを示す意図されたクエリ決定（２１２）を、前記オーディオエンコーダ（２２０）によって出力された前記オーディオ符号化（２２４）と、前記予測ネットワーク（３００）から出力される前記単一の埋め込みベクトル（３５０）とに基づいて生成される、意図されたクエリまたは意図しないクエリに対応する確率分布に基づいて判定することと、を含む動作を行うようにする、方法（５００）。
2. 前記音声認識モデル（２００）が、前記オーディオエンコーダ（２２０）、前記音声認識ジョイントネットワーク（２４０）、及び予測ネットワーク（２３０）を含み、前記予測ネットワーク（２３０）が、前記最終ソフトマックス層（２５０）によって出力された前記非空白記号（２５２）のシーケンスを受信し、前記複数の時間ステップのそれぞれにおいて前記ラベル履歴表現（３５０）を生成するように構成され、
   前記音声認識モデル（２００）が、第１の訓練段階の間に、ワードピースの通常のラベルシーケンスを使用して、前記オーディオエンコーダ（２２０）、前記音声認識ジョイントネットワーク（２４０）、及び前記予測ネットワーク（２３０）を最適化することによって訓練され、
   前記ＩＱジョイントネットワーク（２３０）が、第２の訓練段階の間に、入力された発話が前記デジタルアシスタントインターフェース（１０５）を対象とするクエリを含むか否かを示すＩＱトークンの分布を予測する方法を学習するように前記ＩＱジョイントネットワーク（２３０）に教えるため、前記オーディオエンコーダ（２２０）及び前記予測ネットワーク（２３０）を凍結し、前記ＩＱジョイントネットワーク（２３０）をワードピース及びＩＱトークン（４５２、４５４）の両方の拡張されたラベルシーケンスで微調整することによって、前記音声認識ジョイントネットワーク（２４０）で初期化される、請求項１に記載の方法（５００）。
3. 前記対応する非空白記号（２５２）のシーケンスについて、前記ラベル履歴表現（３５０）を生成することが、
   前記複数の時間ステップのそれぞれにおいて入力として受信される前記非空白記号（２５２）のシーケンス内の各非空白記号（２５２）に対して、
   前記予測ネットワーク（２３０）によって、共有埋め込み行列（３０４）を使用して、前記対応する非空白記号（２５２）の埋め込み（３０６）を生成することと、
   前記予測ネットワーク（２３０）によって、それぞれの位置ベクトル（３０８）を前記対応する非空白記号（２５２）に割り当てることと、
   前記予測ネットワーク（２３０）によって、前記埋め込み（３０６）と前記それぞれの位置ベクトル（３０８）との間の類似度に比例して、前記埋め込み（３０６）を重み付けすることと、
   前記予測ネットワーク（２３０）からの出力として、前記対応する時間ステップにおける単一の埋め込みベクトル（３５０）を生成することであって、前記単一の埋め込みベクトル（３５０）が、前記重み付けされた埋め込み（３１８）の加重平均に基づき、前記単一の埋め込みベクトル（３５０）が、前記ラベル履歴表現（３５０）を含む、生成することと、
   を含む、請求項２に記載の方法（５００）。
4. 前記予測ネットワーク（２３０）が、マルチヘッドアテンションメカニズム（３０２）を含み、前記マルチヘッドアテンションメカニズム（３０２）が、前記マルチヘッドアテンションメカニズム（３０２）の各ヘッドにわたって前記共有埋め込み行列（３０４）を共有する、請求項３に記載の方法（５００）。
5. 話された発話（１０６、１４６、１４８）に対応する前記オーディオデータ（１１０、２２２）が、ユーザ（１０２）と前記デジタルアシスタントインターフェース（１０５）との間の現在のダイアログセッション中に受信される、請求項１に記載の方法（５００）。
6. 前記出力ラベルが、ワードピース、単語、音素、または書記素を含む、請求項１～５のいずれかに記載の方法（５００）。
7. 前記オーディオエンコーダ（２２０）が、
   複数の一方向長短期記憶（ＬＳＴＭ）層、
   複数のコンフォーマー層、または
   複数のトランスフォーマー層、のうちの１つを含む、因果エンコーダを含む、請求項１に記載の方法（５００）。
8. 前記音声認識モデル（２００）が、ハイブリッド自己回帰トランスデューサ因数分解を使用して訓練される、請求項１に記載の方法（５００）。
9. 前記動作が、前記意図されたクエリ決定（２１２）が、前記話された発話（１０６、１４６、１４８）が、前記デジタルアシスタントインターフェース（１０５）を対象とするクエリを含むことを示すとき、前記受信した話された発話（１０６、１４６、１４８）への応答を提供することをさらに含む、請求項１に記載の方法（５００）。
10. 前記話された発話（１０６、１４６、１４８）は、前記デジタルアシスタントインターフェース（１０５）を対象とするクエリを含まないことを前記意図されたクエリ決定（２１２）が示すとき、前記受信した話された発話（１０６、１４６、１４８）を破棄することを前記動作はさらに含む、請求項１に記載の方法（５００）。
11. データ処理ハードウェア（６１０）と、
    前記データ処理ハードウェア（６１０）と通信するメモリハードウェア（６２０）とを備え、前記メモリハードウェア（６２０）が、前記データ処理ハードウェア（６１０）上で実行されたとき、前記データ処理ハードウェア（６１０）に、
    音声認識モデル（２００）への入力として、話された発話（１０６、１４６、１４８）に対応するオーディオデータ（１１０、２２２）を受信することと、
    最終ソフトマックス層（２５０）によって出力される以前の非空白記号に制限される以前の非空白記号のシーケンスを、予測ネットワーク（３００）を使用して受信することと、
    前記音声認識モデル（２００）を使用して、複数の時間ステップのそれぞれにおいて、
    オーディオエンコーダ（２２０）を使用して、前記話された発話（１０６、１４６、１４８）に対応する前記オーディオデータ（１１０、２２２）を、対応するオーディオ符号化（２２４）に符号化して出力することと、
    音声認識ジョイントネットワーク（２４０）を使用して、
    前記オーディオエンコーダ（２２０）から前記オーディオ符号化（２２４）を受信し、
    予測ネットワーク（３００）からラベル履歴表現（３５０）を含む単一の埋め込みベクトル（３５０）を受信し、
    前記対応する時間ステップにおいて前記オーディオエンコーダ（２２０）によって符号化された前記対応するオーディオ符号化（２２４）を、前記対応する時間ステップにおいて前記話された発話（１０６、１４６、１４８）に対する可能な出力ラベルにわたる確率分布（２４２）に復号することと、
    によって前記オーディオデータ（１１０、２２２）に対する音声認識を行うことであって、前記確率分布（２４２）は前記音声認識の結果の確率分布を示す、音声認識を行うことと、
    前記複数の時間ステップのそれぞれにおいて、前記確率分布（２４２）を入力として最終ソフトマックス層（２５０）によって出力される非空白記号（２５２）のシーケンスに関連付けられたラベル履歴表現（３５０）を受信するように構成された意図されたクエリ（intended query:ＩＱ）ジョイントネットワークを使用して、
    前記話された発話（１０６、１４６、１４８）がデジタルアシスタントインターフェース（１０５）を対象とするクエリを含むか否かを示す意図されたクエリ決定（２１２）を、前記オーディオエンコーダ（２２０）によって出力された前記オーディオ符号化（２２４）と、前記予測ネットワーク（３００）から出力される前記単一の埋め込みベクトル（３５０）とに基づいて生成される、意図されたクエリまたは意図しないクエリに対応する確率分布に基づいて判定することと、
    を含む動作を行わせるようにする命令を格納する、システム（１００）。
12. 前記音声認識モデル（２００）が、前記オーディオエンコーダ（２２０）、前記音声認識ジョイントネットワーク（２４０）、及び予測ネットワーク（２３０）であって、前記予測ネットワーク（２３０）が、前記最終ソフトマックス層（２５０）によって出力された前記非空白記号（２５２）のシーケンスを受信し、前記複数の時間ステップのそれぞれにおいて前記ラベル履歴表現（３５０）を生成するように構成された、予測ネットワーク（２３０）を含み、
    前記音声認識モデル（２００）が、第１の訓練段階の間に、ワードピースの通常のラベルシーケンスを使用して、前記オーディオエンコーダ（２２０）、前記音声認識ジョイントネットワーク（２４０）、及び前記予測ネットワーク（２３０）を最適化することによって訓練され、
    前記ＩＱジョイントネットワーク（２３０）が、第２の訓練段階の間に、入力された発話が前記デジタルアシスタントインターフェース（１０５）を対象とするクエリを含むか否かを示すＩＱトークンの分布を予測する方法を学習するように前記ＩＱジョイントネットワーク（２３０）に教えるため、前記オーディオエンコーダ（２２０）及び前記予測ネットワーク（２３０）を凍結し、前記ＩＱジョイントネットワーク（２３０）をワードピース及びＩＱトークン（４５２、４５４）の両方の拡張されたラベルシーケンスで微調整することによって、前記音声認識ジョイントネットワーク（２４０）で初期化される、請求項１１に記載のシステム（１００）。
13. 前記対応する非空白記号（２５２）のシーケンスについて、前記ラベル履歴表現（３５０）を生成することが、
    前記複数の時間ステップのそれぞれにおいて入力として受信される前記非空白記号（２５２）のシーケンス内の各非空白記号（２５２）に対して、
    前記予測ネットワーク（２３０）によって、共有埋め込み行列（３０４）を使用して、前記対応する非空白記号（２５２）の埋め込み（３０６）を生成することと、
    前記予測ネットワーク（２３０）によって、それぞれの位置ベクトル（３０８）を前記対応する非空白記号（２５２）に割り当てることと、
    前記予測ネットワーク（２３０）によって、前記埋め込み（３０６）と前記それぞれの位置ベクトル（３０８）との間の類似度に比例して、前記埋め込み（３０６）を重み付けすることと、
    前記予測ネットワーク（２３０）からの出力として、前記対応する時間ステップにおける単一の埋め込みベクトル（３５０）を生成することであって、前記単一の埋め込みベクトル（３５０）が、前記重み付けされた埋め込み（３１２）の加重平均に基づき、前記単一の埋め込みベクトル（３５０）が、前記ラベル履歴表現（３５０）を含む、生成することと、
    を含む、請求項１２に記載のシステム（１００）。
14. 前記予測ネットワーク（２３０）が、マルチヘッドアテンションメカニズム（３０２）を含み、前記マルチヘッドアテンションメカニズム（３０２）が、前記マルチヘッドアテンションメカニズム（３０２）の各ヘッドにわたって前記共有埋め込み行列（３０４）を共有する、請求項１３に記載のシステム（１００）。
15. 話された発話（１０６、１４６、１４８）に対応する前記オーディオデータ（１１０、２２２）が、ユーザ（１０２）と前記デジタルアシスタントインターフェース（１０５）との間の現在のダイアログセッション中に受信される、請求項１１に記載のシステム（１００）。
16. 前記出力ラベルが、ワードピース、単語、音素、または書記素を含む、請求項１１に記載のシステム（１００）。
17. 前記オーディオエンコーダ（２２０）が、
    複数の一方向長短期記憶（ＬＳＴＭ）層、
    複数のコンフォーマー層、または
    複数のトランスフォーマー層、のうちの１つを含む、因果エンコーダを含む、請求項１１に記載のシステム（１００）。
18. 前記音声認識モデル（２００）が、ハイブリッド自己回帰トランスデューサ因数分解を使用して訓練される、請求項１１に記載のシステム（１００）。
19. 前記話された発話（１０６、１４６、１４８）は、前記デジタルアシスタントインターフェース（１０５）を対象とするクエリを含むことを前記意図されたクエリ決定（２１２）が示すとき、前記受信した話された発話（１０６、１４６、１４８）への応答を提供することを前記動作はさらに含む、請求項１１に記載のシステム（１００）。
20. 前記動作が、前記意図されたクエリ決定（２１２）が、前記話された発話（１０６、１４６、１４８）が、前記デジタルアシスタントインターフェース（１０５）を対象とするクエリを含まないことを示すとき、前記受信した話された発話（１０６、１４６、１４８）を破棄することをさらに含む、請求項１１に記載のシステム（１００）。