JP7146038B2 - 音声認識システム及び方法 - Google Patents

Description

本明細書に説明される実施形態は、音声（speech）認識方法及びシステム、並びにそれを訓練するための方法に関する。

音声認識方法及びシステムは、音声オーディオを受信し、そのような音声オーディオの内容、例えば、そのような音声オーディオのテキスト内容を認識する。以前の音声認識システムは、ハイブリッドシステムを含み、音声オーディオの内容を決定するための、例えば音声を復号するための、音響モデル（ＡＭ）、発音レキシコン、及び言語モデル（ＬＭ）を含み得る。先のハイブリッドシステムは、音響モデル及び／又は言語モデルに対して隠れマルコフモデル（ＨＭＭ）又は同様の統計方法を利用していた。後のハイブリッドシステムは、音響モデル及び／又は言語モデルのうちの少なくとも１つに対してニューラルネットワークを利用している。これらのシステムは、ディープ音声認識システムと呼ばれ得る。エンドツーエンドアーキテクチャを有する音声認識システムもまた導入されている。これらのシステムでは、音響モデル、発音レキシコン、及び言語モデルは、ニューラルネットワークに暗示的に一体化されると考えられることができる。

実例的な実施形態に従った、ボイス（voice）支援システムの例示である。 実例的な実施形態に従った、音声書き起こしシステム（speech transcription system）の例示である。 実例的な実施形態に従った、ボイス支援を実行するための方法のフロー図である。 実例的な実施形態に従った、音声書き起こしを実行するための方法のフロー図である。 実例的な実施形態に従った、ラベル付けされていない発話を使用して音声認識機械学習モデル（speech recognition machine-learning model）を適応させるための方法のフロー図である。 実例的な実施形態に従った、ラベル付けされた発話を使用して２つの音声認識機械学習モデルを適応させるための方法のフロー図である。 実例的な実施形態に従った、ラベル付けされた発話を使用して音声認識機械学習モデルを適応させるための方法のフロー図である。 実例的な実施形態に従った、音声認識を実行するための方法のフロー図である。 実例的な実施形態に従った、音声認識機械学習モデルの教師あり適応（supervised adaption）のためのシステムのブロック図である。 実例的な実施形態に従った、ラベル付けされていない及びラベル付けされた発話を使用する音声認識機械学習モデルの半教師あり適応のためのシステムのブロック図である。 実例的な実施形態がそれを使用して実装され得るコンピューティングハードウェアの概略図である。 実験における音声認識機械学習モデルの教師あり適応のために使用されるシステムのブロック図である。 実験における音声認識機械学習モデルの半教師あり適応のために使用されるシステムのブロック図である。

第１の実施形態では、１つ以上の属性を有する発話に第１の音声認識機械学習モデルを適応させるためのコンピュータ実装方法が提供される。方法は、１つ以上の属性を有するラベル付けされていない発話を受信することと、ラベル付けされていない発話の第１の書き起こしを生成することと、ラベル付けされていない発話の第２の書き起こしを生成することと、ここにおいて、第２の書き起こしは、第１の書き起こしとは異なる、第１の音声認識機械学習モデルが、第１の書き起こし及び第２の書き起こしについての事後確率を導出するために、ラベル付けされていない発話を処理することと、第１の書き起こし及び第２の書き起こしについての導出された事後確率に基づいて、損失関数に従って第１の音声認識機械学習モデルのパラメータを更新することと、を備える。

提供される方法は、１つ以上の属性を有する音声に音声認識機械学習モデルを適応させる。適応音声認識機械学習モデルは、１つ以上の属性を有する音声の内容をより良好に認識することができる。音声内容の認識における改善により、１つ以上の属性を有する音声の内容が、テキストにより正確に書き起こしされることができ、及び／又は正確なコマンドが、内容に基づいてより頻繁に実行されることができ、例えば、ユーザによって示された歌が認識され、故により頻繁に再生され得る。提供された方法の特定の利点は、適応を容易にし、故に、ラベル付けされていない発話、例えば書き起こしなしの音声オーディオを使用してこれらの改善を容易にすることである。このことから、提供するには時間が掛かり、且つ高価である限定された数の人間による書き起こしを伴わずに又は伴って、音声認識機械学習モデルを適応させることが可能である。限定された数の人間による書き起こしを伴わない又は伴う音声認識機械学習モデルの適応は、モデルの適応における少なくとも２つのコンピュータ生成された書き起こしの使用によって容易にされる。少なくとも２つのコンピュータ生成された書き起こしを使用することは、これらのコンピュータ生成された書き起こしの各々における誤りの影響を低減する。従って、各ラベル付けされていない発話についての少なくとも２つのコンピュータ生成された書き起こしを使用して適応された音声認識機械学習モデルは、属性（複数可）を有する音声内容をより良好に認識するのに対して、単一のコンピュータ生成された書き起こしが適応のために使用されることになった場合、その中の誤りの影響は、適応より前の音声認識機械学習モデルよりも、１つ以上の属性を有する音声の内容を認識するのがより不得意な音声認識機械学習モデルをもたらし得る。

更に、人間による書き起こしを提供することの時間の掛かる性質を考慮すると、音声認識機械学習モデルのユーザはそうしたがらない場合があるか、又は非常に少量のこれらしか提供したがらない場合があり、そのため、音声認識機械学習モデルはユーザ又はコンテキストに固有の属性、例えばそれらの特定のボイス又は環境に良好に適応されることができないので、音声認識機械学習モデルのインサイチュ（in situ）適応が容易にされ得る。しかしながら、ラベル付けされていない発話が録音されることができるので、ユーザの同意を得て、音声認識機械学習モデルの通常の使用では、これらのユーザ又はコンテキスト固有の属性への適応は、ユーザによる手動の労力なしに、又は少なくともより少ない手動の労力で実行されることができる。

第１の書き起こしは、複数の発話のものであり得る。

第２の書き起こしは、同じ複数の発話のものであり得る。第２の書き起こしは、第１の書き起こしが第２の音声認識機械学習モデルによって生成され、その一方で、第２の書き起こしが異なる第３の音声認識機械学習モデルによって生成されるという点において第１の書き起こしとは異なり得る。

第２の音声認識機械学習モデルは、第１のタイプの特徴（feature）を使用して訓練されている場合があり、第３の音声認識機械学習モデルは、異なる第２のタイプの特徴を使用して訓練されている場合がある。

第１の書き起こしは、第１のタイプの特徴を使用して訓練された第２の音声認識機械学習モデルによって生成され得る。第２の書き起こしは、第２のタイプの特徴を使用して訓練された第３の音声認識機械学習モデルによって生成され得る。

第１のタイプの特徴は、フィルタバンク特徴（filter-bank features）であり得る。第２のタイプの特徴は、サブバンド時間的包絡線特徴（subband temporal envelope features）であり得る。

第１の書き起こしは、第２の音声認識機械学習モデルの１最良仮説（1-best hypothesis）であり得る。第２の書き起こしは、第３の音声認識機械学習モデルの１最良仮説であり得る。

提供される方法は、 １つ以上の属性を有する１つ以上のラベル付けされた発話を受信することと、 １つ以上のラベル付けされた発話から第１のタイプの特徴を導出することと、 第１のタイプの導出された特徴と１つ以上のラベル付けされた発話のラベルとを使用して第２の音声認識機械学習モデルのパラメータを更新することと、 １つ以上のラベル付けされた発話から第２のタイプの特徴を導出することと、 第２のタイプの導出された特徴と１つ以上のラベル付けされた発話のラベルとを使用して第３の音声認識機械学習モデルのパラメータを更新することと、 を更に備え得る。

第１の書き起こし及び第２の書き起こしは、第２の音声認識機械学習モデルによって生成されたＮ最良書き起こし（N-best transcriptions）であり得る。第２の書き起こしは、第２の書き起こしが第１の書き起こしとは異なるＮの値についてのものであるという点において第１の書き起こしとは異なり得る。

提供される方法は、１つ以上の属性を有する１つ以上のラベル付けされた発話を受信することと、１つ以上のラベル付けされた発話を使用して第１の音声認識機械学習モデルのパラメータを更新することと、を更に備え得る。

１つ以上の属性は、発話が所与のタイプの背景雑音を有することを備え得る。

１つ以上の属性は、発話が１つ以上の特色（traits）を有する背景雑音を有することを含み得る。１つ以上の特色は、背景雑音のレベル、背景雑音のピッチ、背景雑音の方向、背景雑音の音質（timbre）、背景雑音のソニックテクスチャ（sonic texture）、及び／又は背景雑音のタイプを含み得るか、又はそれらに基づき得る。

１つ以上の属性は、発話が所与のアクセントを有することを備え得る。

１つ以上の属性は、発話が所与の領域中にあることを備え得る。

１つ以上の属性は、発話が所与のユーザによるものであることを備え得る。

１つ以上の属性は、発話を話すボイスの１つ以上の特質（properties）を備え得る。１つ以上の特質は、発話を話すボイスが所与のユーザのボイスであることを含み得る。１つ以上の特質は、発話を話すボイスが所与のアクセントを有することを含み得る。

１つ以上の属性は、発話が所与の環境中で録音されることを備え得る。

ラベル付けされていない発話は、１つ以上の属性を有するように人工的に修正されている場合がある。

損失関数は、コネクショニスト時間的分類損失関数（connectionist temporal classification loss function）であり得る。

コネクショニスト時間的分類損失関数は、第２の仮説についての第２のコネクショニスト時間的分類損失による第１の書き起こしについての第１のコネクショニスト時間的分類損失の合計を備え得る。

第１の音声認識機械学習モデルは、双方向長短期記憶ニューラルネットワークを備え得る。

第２の実施形態によると、非一時的コンピュータ可読媒体上にオプションとして記憶されたコンピュータプログラムであって、プログラムがコンピュータによって実行されると、コンピュータに、第１の実施形態に記載の方法を行わせる、コンピュータプログラムが提供される。

第３の実施形態によると、１つ以上の属性を有する発話に第１の音声認識機械学習モデルを適応させるためのシステムが提供される。システムは、１つ以上のプロセッサ及び１つ以上のメモリを備える。１つ以上のプロセッサは、第１の実施形態に記載の方法を実行するように構成される。

第４の実施形態によると、音声認識のためのコンピュータ実装方法が提供される。方法は、１つ以上の属性を有する１つ以上の発話を受信することと、第１の実施形態に記載の方法に従って１つ以上の属性を有する発話に適応された音声認識機械学習モデルを使用して１つ以上の発話の内容を認識することと、認識された内容に基づいて機能を実行することと、ここにおいて、実行された機能は、テキスト出力、コマンド実行、又は音声対話システム機能のうちの少なくとも１つを備える、を備える。

第５の実施形態によると、非一時的コンピュータ可読媒体上にオプションとして記憶されたコンピュータプログラムであって、プログラムがコンピュータによって実行されると、コンピュータに、第４の実施形態に記載の方法を行わせる、コンピュータプログラムが提供される。

第６の実施形態によると、音声認識を実行するためのシステムが提供される。システムは、１つ以上のプロセッサ及び１つ以上のメモリを備える。１つ以上のプロセッサは、第４の実施形態に記載の方法を実行するように構成される。

第７の実施形態によると、音声認識を実行するためのシステムが提供される。システムは、１つ以上のプロセッサ及び１つ以上のメモリを備える。１つ以上のプロセッサは、１つ以上の属性を有する１つ以上の発話を受信することと、第１の実施形態に記載の方法に従って１つ以上の属性を有する発話に適応された音声認識機械学習モデルを使用して１つ以上の発話の内容を認識することと、認識された内容に基づいて機能を実行することと、ここにおいて、実行された機能は、テキスト出力又はコマンド実行のうちの少なくとも１つを備える、を行うように構成される。

音声認識を実行するためのシステムは、音声対話システム又はそのコンポーネントであり得る。

実例的なコンテキスト
例示を目的として、主題発明が適用されることができる実例的なコンテキストは、図１Ａ～１Ｄに関連して説明される。しかしながら、これらは例証的であり、主題発明は任意の適したコンテキスト、例えば音声認識が適用可能な任意のコンテキストに適用され得ることが理解されるべきである。

ボイス支援システム
図１Ａは、実例的な実施形態に従った、ボイス支援システム１２０の例示である。

ボイス支援システム１２０は、例示されているように、スマートフォンであり得るか、若しくはスマートフォンを使用して実装され得るか、又は任意の他の適したコンピューティングデバイス、例えばラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、ゲームコンソール、スマートハブ、若しくはスマートスピーカであり得る。

ボイス支援システム１２０が動作する環境は、背景雑音１０２を含み得る。背景雑音１０２は、ボイス支援システムが使用されているコンテキストに関連し得る所与のタイプの背景雑音であり得る。例えば、背景雑音１０２は、背景のお喋り及び食事の雑音などのカフェの雑音、交通の雑音などの通りの雑音、足音などの歩行者エリアの雑音、及び／又はエンジンの雑音などのバスの雑音であり得る。ボイス支援システム１２０は、背景雑音１０２を含む環境中で動作するように適応され得る。ボイス支援システム１２０はまた、所与の音響特性、例えば音の吸収、反射、及び／又は残響を有する環境中で動作するように適応され得る。ボイス支援システム１２０は、図２に関連して説明される方法及び／又は図３Ａに関連して説明される方法によって、背景雑音を含む及び／又は所与の音響特性を有する環境中で動作するように適応されている音声認識機械学習モデルを含み得る。

ユーザ１１０は、ボイス支援システム１２０にコマンド１１２、１１４、１１６を話し得る。ユーザ１１０がコマンド１１２、１１４、１１６を話すことに応答して、ボイス支援システム１２０は、コマンドを実行し、それは、可聴応答を出力することを含み得る。コマンド１１２、１１４、１１６を話すユーザ１１０のボイスは、１つ以上の特質を有し得、例えば、ボイスは、所与のアクセント若しくは方言を有し、ボイスは、所与のユーザのものであり、ボイスは、所与の感情を伴って言われ、及び／又はボイスは、ある特定のトーン若しくは音質を有する。ボイス支援システム１２０は、１つ以上の特質を有するボイスで話されたコマンドで動作するように適応され得る。ボイス支援システム１２０は、図２に関連して説明される方法及び／又は図３Ａに関連して説明される方法によって、１つ以上の特質を有する１つ以上のボイスに適応されている音声認識機械学習モデルを含み得る。

話されたコマンド１１２、１１４、１１６を受信するために、ボイス支援システム１２０は、マイクロフォンを含むか、又はマイクロフォンに接続される。可聴応答を出力するために、ボイス支援システム１２０は、スピーカを含むか、又はスピーカに接続される。ボイス支援システム１２０は、話されたコマンドを認識し、コマンドを実行するか若しくはコマンドを実行させ、及び／又は適した可聴応答を出力させるのに適した機能、例えばソフトウェア及び／又はハードウェアを含み得る。代替として又は追加として、ボイス支援システム１２０は、ネットワークを介して、例えばインターネット及び／又はローカルエリアネットワークを介して、話されたコマンドを認識し、コマンドを実行させるのに適した１つ以上の他のシステム（複数可）、例えばクラウドコンピューティングシステム及び／又はローカルサーバに接続され得る。機能の第１の部分は、ボイス支援システム１２０のハードウェア及び／又はソフトウェアによって実行され得、機能の第２の部分は、１つ以上の他のシステムによって実行され得る。いくつかの例では、機能又はその大半は、これらの１つ以上の他のシステムがネットワーク上でアクセス可能である１つ以上の他のシステムによって提供され得るが、機能は、例えばネットワークからのボイス支援システム１２０の切断及び／又は１つ以上の他のシステムの障害に起因して、これらの１つ以上の他のシステムがネットワーク上でアクセス可能でないときには、ボイス支援システム１２０によって提供され得る。これらの例では、ボイス支援システム１２０は、１つ以上の他のシステムへの接続なしに依然として動作することが可能でありながら、例えば、より広範な複数のコマンドを実行し、音声認識の品質を改善し、及び／又は可聴出力の品質を改善することが可能であるようにするために、１つ以上の他のシステムのより大きい計算リソース及びデータ利用可能性を活用することが可能であり得る。

例えば、コマンド１１２では、ユーザ１１０は、「Ｘって何？」と尋ねる。このコマンド１１２は、用語Ｘの定義を提供するための話されたコマンドとしてボイス支援システム１２０によって解釈され得る。コマンドに応答して、ボイス支援システム１２０は、用語Ｘの定義を取得するために、知識源、例えばローカルデータベース、リモートデータベース、又は別のタイプのローカル若しくはリモートインデックスにクエリし得る。用語Ｘは、それについて定義が取得されることができる任意の用語であり得る。例えば、用語Ｘは、辞書用語、例えば名詞、動詞若しくは形容詞、又は実体名、例えば人名若しくはビジネス名であり得る。定義が知識源から取得されたとき、定義は、文、例えば「Ｘは、［定義］です」の形式の文に合成され得る。文は、次いで、例えばボイス支援システム１２０のテキストトゥスピーチ機能を使用して可聴出力１２２に変換され、ボイス支援システム１２０中に含まれた又は接続されたスピーカを使用して出力され得る。

別の例として、コマンド１１４では、ユーザ１１０は、「ライトを消して」と言う。コマンド１１４は、１つ以上のライトを消すための話されたコマンドとしてボイス支援システムによって解釈され得る。コマンド１１４は、コンテキスト依存の形でボイス支援システム１２０によって解釈され得る。例えば、ボイス支援システム１２０は、それが位置する部屋を認識し、特にその部屋の中のライトを消し得る。コマンドに応答して、ボイス支援システム１２０は、１つ以上のライトを消させ、例えば、１つ以上のスマート電球がこれ以上発光しないようにさせ得る。ボイス支援システム１２０は、ボイス支援システムと１つ以上のライトとの間での、例えばＢｌｕｅｔｏｏｔｈ（登録商標）接続などのワイヤレス接続を通して、１つ以上のライトと直接対話することによって、又はライトと間接的に対話する、例えば、ライトを消すための１つ以上のメッセージをスマートホームハブ若しくはクラウドスマートホーム制御サーバに送ることによって、１つ以上のライトを消させ得る。ボイス支援システム１２０はまた、可聴応答１２４、例えば「ライトを消しました」と言う話されるボイスを生成し、コマンドがボイス支援システム１２０によって聞かれて理解されたことをユーザに確認し得る。

追加の例として、コマンド１１６では、ユーザ１１０は、「音楽を再生して」と言う。コマンド１１６は、音楽を再生するための話されたコマンドとしてボイス支援システムによって解釈され得る。コマンドに応答して、ボイス支援システム１２０は、ローカル音楽ファイル又は音楽ストリーミングサービスなどの音楽源にアクセスし、音楽源から音楽をストリーミングし、ストリーミングされた音楽１２６をボイス支援システム１２０中に含まれた又は接続されたスピーカから出力し得る。ボイス支援システム１２０によって出力される音楽１２６は、ユーザ１１０にパーソナライズされ得る。例えば、ボイス支援システム１２０は、例えばユーザ１１０のボイスの特質によってユーザ１１０を認識し得るか、又はユーザ１１０に静的に関連付けられ、次いで、ユーザ１１０によって以前に再生された音楽を再開し得るか、又はユーザ１１０にパーソナライズされたプレイリストを再生し得る。

ボイス支援システム１２０は、音声対話システムであり得、例えばボイス支援システム１２０は、テキストトゥスピーチ機能を使用してユーザ１１０と会話することが可能であり得る。

音声書き起こしシステム
図１Ｂは、実例的な実施形態に従った、音声書き起こしシステム１４０の例示である。

音声書き起こしシステム１４０は、例示されているように、スマートフォンであり得るか、若しくはスマートフォンを使用して実装され得るか、又は任意の他の適したコンピューティングデバイス、例えばラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、ゲームコンソール、若しくはスマートハブであり得る。

音声書き起こしシステム１４０が動作する環境は、背景雑音１０２を含み得る。背景雑音１０２は、音声書き起こしシステムが使用されているコンテキストに関連し得る所与のタイプの背景雑音であり得る。例えば、背景雑音１０２は、背景のお喋り及び食事の雑音などのカフェの雑音、交通の雑音などの通りの雑音、足音などの歩行者エリアの雑音、及び／又はエンジンの雑音などのバスの雑音であり得る。音声書き起こしシステム１４０は、背景雑音１０２を含む環境中で動作するように適応され得る。音声書き起こしシステム１４０はまた、所与の音響特性、例えば音の吸収、反射、及び／又は残響を有する環境中で動作するように適応され得る。音声書き起こしシステム１４０は、図２に関連して説明される方法及び／又は図３Ａに関連して説明される方法によって、背景雑音を含む及び／又は所与の音響特性を有する環境中で動作するように適応されている音声認識機械学習モデルを含み得る。

ユーザ１３０は、音声書き起こしシステム１４０に話し得る。ユーザが話したことに応答して、音声書き起こしシステム１４０は、音声１３２の内容を表すテキスト出力１４２を生成する。ユーザ１３０のボイスは、１つ以上の特質を有し得、例えば、ボイスは、所与のアクセント若しくは方言を有し、ボイスは、所与のユーザのボイスであり、ボイスは、所与の感情を伴って言われ、及び／又はボイスは、ある特定のトーン若しくは音質を有する。音声書き起こしシステム１４０は、１つ以上の特質を有するボイスで話されたコマンドで動作するように適応され得る。音声書き起こしシステムは、図２に関連して説明される方法及び／又は図３Ａに関連して説明される方法によって、１つ以上の特質を有する１つ以上のボイスに適応されている音声認識機械学習モデルを含み得る。

音声を受信するために、音声書き起こしシステム１４０は、マイクロフォンを含むか、又はマイクロフォンに接続される。音声書き起こしシステム１４０は、音声オーディオの内容を認識し、音声の内容を表すテキストを出力する、例えば音声の内容を書き起こしするのに適したソフトウェアを含み得る。代替として又は追加として、音声書き起こしシステム１４０は、ネットワークを介して、例えばインターネット及び／又はローカルエリアネットワークを介して、音声オーディオを認識し、音声の内容を表すテキストを出力するのに適した１つ以上の他のシステム（複数可）に接続され得る。機能の第１の部分は、音声書き起こしシステム１４０のハードウェア及び／又はソフトウェアによって実行され得、機能の第２の部分は、１つ以上の他のシステムによって実行され得る。いくつかの例では、機能又はその大半は、これらの１つ以上の他のシステムがネットワーク上でアクセス可能である１つ以上の他のシステムによって提供され得るが、機能は、例えばネットワークからの音声書き起こしシステム１４０の切断及び／又は１つ以上の他のシステムの障害に起因して、これらの１つ以上の他のシステムがネットワーク上でアクセス可能でないときには、音声書き起こしシステム１４０によって提供され得る。これらの例では、音声書き起こしシステム１４０は、例えば、１つ以上の他のシステムへの接続なしに依然として動作することが可能でありながら、音声書き起こしの品質を改善するために、１つ以上の他のシステムのより大きい計算リソース及びデータ利用可能性を活用することが可能であり得る。

出力されたテキスト１４２は、音声書き起こしシステム１４０中に含まれた又は接続されたディスプレイ上に表示され得る。出力されたテキストは、音声書き起こしシステム１４０、例えばメッセージングアプリ上で実行している１つ以上のコンピュータプログラムに入力され得る。

ボイス支援方法
図１Ｃは、実例的な実施形態に従った、ボイス支援を実行するための方法１５０のフロー図である。オプションのステップは、破線で示される。実例的な方法１５０は、１つ以上のコンピューティングデバイス、例えば、図７に関連して説明されるハードウェア７００によって実行される１つ以上のコンピュータ実行可能命令として実装され得る。１つ以上のコンピューティングデバイスは、ボイス支援システム、例えば、ボイス支援システム１２０であり得るか、若しくはそれを含み得、及び／又はスマートフォン、デスクトップコンピュータ、ラップトップコンピュータ、スマートハブ、若しくはゲームコンソールなどの多目的コンピューティングデバイスに一体化され得る。

ステップ１５２では、音声オーディオがマイクロフォン、例えば、ボイス支援システムのマイクロフォン又は多目的コンピューティングデバイスに一体化若しくは接続されたマイクロフォンを使用して受信される。音声オーディオは、１つ以上の属性を有し得、例えば、音声オーディオは、背景雑音１０２に関連して説明されたような背景雑音を有し得るか、又は音声オーディオ中でキャプチャされたボイスは、１つ以上の特質を有し得、例えば所与のアクセント若しくは方言があり得る。音声オーディオが受信されると、音声オーディオは、メモリ、例えばボイス支援システム又は多目的コンピューティングデバイスのメモリ中にバッファリングされ得る。

ステップ１５４では、音声オーディオの内容が認識される。音声オーディオの内容は、本明細書に説明される方法、例えば図４の方法４００を使用して認識され得る。音声オーディオの認識される内容は、テキスト、構文的内容（syntactic content）、及び／又は意味論的内容（semantic content）であり得る。認識された内容は、１つ以上のベクトルを使用して表され得る。追加として、例えば、更なる処理の後に、又は代替として、認識された内容は、１つ以上のトークンを使用して表され得る。認識された内容がテキストである場合、各トークン及び／又はベクトルは、文字、音素、形態素若しくは他の形態学的単位、単語部分、又は単語を表し得る。

ステップ１５６では、コマンドが、音声オーディオの内容に基づいて実行される。実行されるコマンドは、図１Ａに関連して説明されたコマンド１１２、１１４、１１６のうちの任意のものであり得るが、それらに限定されず、説明された形で実行され得る。実行されるコマンドは、認識された内容を１つ以上のコマンドフレーズ又はコマンドパターンとマッチングすることによって決定され得る。マッチングは、おおよそであり得る。例えば、ライトを消すコマンド１１４の場合、コマンドは、単語「ライト（lights）」及び「消して（off）」を含むフレーズ、例えば、「ライトを消して（turn the lights off）」又は「ライトを消して（lights off）」とマッチングされ得る。コマンド１１４はまた、「ライトを閉じて（close the lights）」又は「ランプを消して（lamp off）」などの、「ライトを消して（turn the lights off）」におおよそ意味的に対応するフレーズとマッチングされ得る。

ステップ１５８では、可聴応答が、例えば、ボイス支援システム又は多目的コンピューティングデバイス中に含まれた又は接続されたスピーカを使用して、音声オーディオの内容に基づいて出力される。可聴応答は、図１Ａに関連して説明された可聴応答１２２、１２４、１２６のうちの任意のものであり得、説明されたものと同じ又は同様の形で生成され得る。可聴応答は、話される文、単語若しくはフレーズ、音楽、又は別の音、例えば効果音若しくはアラームであり得る。可聴応答は、音声オーディオそれ自体の内容に基づき得、及び／又は音声オーディオの内容に間接的に基づき得、例えば、それ自体が音声オーディオの内容に基づく実行されたコマンドに基づき得る。

可聴応答が話される文、フレーズ、又は単語である場合、可聴応答を出力することは、テキストトゥスピーチ機能を使用して、文、フレーズ、又は単語のテキスト、ベクトル、又はトークン表現を文、フレーズ、又は単語に対応する話されるオーディオに変換することを含み得る。文又はフレーズの表現は、音声オーディオそれ自体の内容及び／又は実行されたコマンドに基づいて合成されている場合がある。例えば、コマンドが「Ｘって何？」の形式の定義検索コマンド（definition retrieval command）である場合、音声オーディオの内容は、Ｘを含み、コマンドは、定義［定義］を知識源から検索させる。「Ｘは［定義］です」の形式の文が合成され、ここで、Ｘは、音声オーディオの内容からのものであり、［定義］は、コマンドが実行されたことによって知識源から検索された内容である。

別の例として、コマンドが、１つ以上のスマート電球を消させるライト消灯コマンド（turn lights off command）などの、スマートデバイスに機能を実行させるコマンドである場合、可聴応答は、機能が実行された又は実行されていることを示す効果音であり得る。

図に破線によって示されるように、可聴応答を生成するステップはオプションであり、いくつかのコマンドについては、及び／又はいくつかの実装形態では生じない場合がある。例えば、スマートデバイスに機能を実行させるコマンドのケースでは、機能は、可聴応答が出力されることなしに実行され得る。可聴応答は、コマンドが成功裏に完了した、例えばライトが消されたという他のフィードバックをユーザが有するので、出力されない場合がある。

音声書き起こし方法
図１Ｄは、実例的な実施形態に従った、音声書き起こしを実行するための方法１６０のフロー図である。実例的な方法１６０は、１つ以上のコンピューティングデバイス、例えば、図７に関連して説明されるハードウェア７００によって実行される１つ以上のコンピュータ実行可能命令として実装され得る。１つ以上のコンピューティングデバイスは、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、スマートテレビ、又はゲームコンソールなどのコンピューティングデバイスであり得る。

ステップ１６２では、音声オーディオがマイクロフォン、例えば、コンピューティングデバイスに一体化又は接続されたマイクロフォンを使用して受信される。音声オーディオは、１つ以上の属性を有し得、例えば、音声オーディオは、背景雑音１０２に関連して説明されたような背景雑音を有し得るか、又は音声オーディオ中でキャプチャされたボイスは、１つ以上の特質を有し得、例えば所与のアクセント若しくは方言があり得る。音声オーディオが受信されると、音声オーディオは、メモリ、例えばコンピューティングデバイスのメモリ中にバッファリングされ得る。

ステップ１６４では、音声オーディオの内容が認識される。音声オーディオの内容は、本明細書に説明される方法、例えば図４の方法４００を使用して認識され得る。認識された内容は、１つ以上のベクトルを使用して表され得る。追加として、例えば、更なる処理の後に、又は代替として、認識された内容は、１つ以上のトークンを使用して表され得る。認識された内容がテキストである場合、各トークン及び／又はベクトルは、文字、音素、形態素若しくは他の形態学的単位、単語部分、又は単語を表し得る。

ステップ１６６では、テキストが、音声オーディオの内容に基づいて出力される。音声オーディオの認識された内容がテキスト内容である場合、出力されるテキストは、テキスト内容であり得るか、又は認識されたテキスト内容から導出され得る。例えば、テキスト内容は、１つ以上のトークンを使用して表され得、出力されるテキストは、トークンをそれらが表す文字、音素、形態素若しくは他の形態学的単位、単語部分、又は単語に変換することによって導出され得る。音声オーディオの認識された内容が意味論的内容であるか又は意味論的内容を含む場合、意味論的内容に対応する意味を有する出力テキストが導出され得る。音声オーディオの認識された内容が構文的内容であるか又は構文的内容を含む場合、構文的内容に対応する構造、例えば文法的構造を有する出力テキストが導出され得る。

出力されたテキストが表示され得る。出力されたテキストは、メッセージングアプリケーションなどの１つ以上のコンピュータプログラムに入力され得る。更なる処理が、出力されたテキストに対して実行され得る。例えば、出力されたテキストにおける綴り及び文法の誤りがハイライトされ得るか、又は訂正され得る。別の例では、出力されたテキストは、例えば機械翻訳システムを使用して翻訳され得る。

ラベル付けされていない発話を使用する音声認識機械学習モデル適応
図２は、実例的な実施形態に従った、ラベル付けされていない発話を使用して第１の音声認識機械学習モデルを適応させるための方法２００のフロー図である。実例的な方法は、１つ以上のコンピューティングデバイス、例えば、図７に関連して説明されるハードウェア７００によって実行される１つ以上のコンピュータ実行可能命令として実装され得る。

第１の音声認識機械学習モデルは、音声認識ニューラルネットワークであり得る。音声認識ニューラルネットワークは、エンドツーエンド音声認識ニューラルネットワークであり得るか、又は音響モデル、発音レキシコン、及び言語モデルを含み得る。音声認識ニューラルネットワークは、１つ以上の畳み込みニューラルネットワーク（ＣＮＮ）層を含み得る。音声認識ニューラルネットワークは、１つ以上の回帰層、例えば、長短期記憶（ＬＳＴＭ：long short-term memory）層及び／又は勾配回帰ユニット（ＧＲＵ：gradient recurrent unit）層を含み得る。１つ以上の回帰層は、双方向回帰層、例えば、双方向ＬＳＴＭ（ＢＬＳＴＭ）層であり得る。代替として、音声認識ニューラルネットワークは、１つ以上のフィードフォワードニューラルネットワーク層（feed-forward neural network layers）及び１つ以上のセルフアテンションニューラルネットワーク層（self-attention neural network layers）を含むトランスフォーマネットワーク（transformer network）であり得る。

例では、第１の音声認識機械学習モデルは、ＶＧＧ（visual geometry group）ネットワークアーキテクチャ（ディープＣＮＮ）の初期層と、それに続く６層ピラミッド（6-layer pyramid）ＢＬＳＴＭ（サブサンプリングを有するＢＬＳＴＭ）とを含む。ディープＣＮＮは、２つの連続する２Ｄ畳み込み層と、それに続く１つの２Ｄ最大プーリング層と、次いで別の２つの２Ｄ畳み込み層と、それに続く１つの２Ｄ最大プーリング層とを含む、６つの層を有する。畳み込み層中で使用される２Ｄフィルタは、３×３の等倍サイズを有する。最大プーリング層は、３×３のパッチ及び２×２のストライドを有する。６層ＢＬＳＴＭは、各層及び方向に１０２４個のメモリブロックを有し、線形射影（linear projection）の後に各ＢＬＳＴＭ層が続く。ＢＬＳＴＭによって実行されるサブサンプリング係数は４である。

第１の音声認識機械学習モデルは、音響特徴の形式の発話を受信するように構成され得る。これらの音響特徴は、第１のタイプの音響特徴であり得る。音響特徴は、フィルタバンク特徴であり得る。例えば、音響特徴は、４０次元対数メル（40-dimensional log-Mel）フィルタバンク（ＦＢＡＮＫ）特徴であり得る。ＦＢＡＮＫ特徴は、３次元ピッチ特徴で拡張され得る。デルタ及び加速度特徴（Delta and acceleration features）が、これらの特徴に付加され得る。代替として、音響特徴は、サブバンド時間的包絡線（ＳＴＥ）特徴、例えば、４０次元ＳＴＥ特徴であり得る。ＳＴＥ特徴は、３次元ピッチ特徴で拡張され得る。デルタ及び加速度特徴が、ＳＴＥ特徴に付加され得る。サブバンド時間的包絡線特徴は、声道の共鳴特質を反映する知覚周波数帯域におけるエネルギーピークを追跡する。

第１の音声認識機械学習モデルは、複数のラベル付けされた発話を使用して訓練されている場合がある。複数のラベル付けされた発話又は複数のラベル付けされた発話の大部分は、以下に指定された１つ以上の属性を有さない場合があり、例えば、複数のラベル付けされた発話は、発話の一般のセットであり得る。複数のラベル付けされた発話の各々は、発話と発話のそれぞれの書き起こしとを含む。それぞれの書き起こしは、１つ以上の文字を含み得る。第１の音声認識機械学習モデルの訓練の場合、複数のラベル付けされた発話の各々の発話は、第１のタイプの音響特徴として提供され得る。

第１の音声認識機械学習モデルは、複数のラベル付けされた発話のうちの各発話についての１つのそれぞれの書き起こしについて第１の音声認識機械学習モデルによって導出された事後確率に基づいて、損失関数に従って第１の音声認識機械学習モデルのパラメータ、例えば重みを更新することによって訓練されている場合がある。パラメータの更新は、逆伝搬アルゴリズムと組み合わせて損失係数を最小化することに向けられた勾配降下法、例えば、確率的勾配降下法（stochastic gradient descent）を使用することによって実行され得る。

使用され得る損失関数の例は、コネクショニスト時間的分類（ＣＴＣ）損失関数である。ＣＴＣ損失関数は、以下のように定義され得る。各発話は、各フレームに対して提供される音響特徴、例えば第１のタイプの音響特徴を有するＴ個のフレームを含み得る。発話についてのＴ長の音響特徴ベクトル、例えば各フレームについての第１のタイプの音響特徴を考慮すると、

であり、ここで、

は、フレームｔにおけるｄ次元特徴ベクトルであり、書き起こし

であり、それは、Ｌ個の文字から成り、ここで、

は、異なる文字のセットであり、ＣＴＣ損失関数Ｌ_CTCは、以下のように定義され得る：
Ｌ_CTC＝－ｌｏｇＰ_θ（Ｃ｜Ｘ）
ここで、θは、音声認識機械学習モデルのパラメータ、例えば音声認識機械学習ニューラルネットワークの重みである。Ｘが複数のラベル付けされた発話のうちの所与の発話についての音響特徴である場合、書き起こしＣは、発話のそれぞれの書き起こしである。

ＣＴＣ損失関数は、追加のラベル、例えば文字として空欄を追加し、ラベル、例えば文字の反復を可能にすることによって、入力特徴シーケンスと同じ長さを有することを出力文字シーケンスに強いるＣＴＣパスを導入することによって計算され得る。ＣＴＣ損失Ｌ_CTCは、Ｃから展開された全ての可能なＣＴＣパスＢ^-1（Ｃ）にわたって積分することによって計算され得る：

ＣＴＣ損失が上述されたが、他の適した損失関数、例えば回帰ニューラルネットワーク－トランスデューサ損失（transducer loss）、格子なし最大相互情報量（lattice-free maximum mutual information）、又は交差エントロピー損失（cross-entropy loss）が使用され得ることに留意されたい。

ステップ２１０では、１つ以上の属性を有する発話が受信される。ラベル付けされていない発話は、１つ以上の音声片（pieces of speech）であり得る。１つ以上の音声片の各々は、連続する音声片であり得る。１つ以上の音声片の各々は、ポーズで開始され、ポーズ又は話者の交代で終了し得る。発話は、オーディオデータ、例えば圧縮若しくは非圧縮オーディオストリーム、又は圧縮若しくは非圧縮オーディオファイルとして受信され得る。

１つ以上の属性は、発話が所与の領域中にあることを含み得る。領域は、専門エリア、例えば、医学、法律、又はデジタル技術であり得る。領域は、科目、例えば科学、歴史、地理、又は文学であり得る。領域は、例えば、使用事例、例えば自宅支援、オフィス支援、又は製造支援であり得る。

１つ以上の属性は、発話が所与のユーザによるものであることを含み得る。

１つ以上の属性は、発話を話すボイスの１つ以上の特質を含み得る。

１つ以上の特質は、発話を話すボイスが所与のユーザのボイスであることを含み得る。所与のユーザによって話された発話は、特定の声の特性を有し、例えば、所与のアクセントを有し、所与の方言があり、所与のリズムを有し、及び／又は所与の音質を有し得る。

１つ以上の特質は、発話を話すボイスが所与のアクセントを有することを含み得る。例えば、アクセントは、所与の国、地域、又は都市エリアに関連するアクセント、及び／又は所与のコミュニティに関連するアクセントであり得、ここで、所与のコミュニティは、地理的に局在され得るか、又は地理的に分散され得る。

１つ以上の属性は、発話が所与の環境中で録音されることを含み得る。所与の環境中で録音されている発話は、特定の音響特性を有し得、例えば、特定の音響特性は、環境内での音の吸収、残響、及び／又は反射の量を反映し得る。これらの発話はまた、環境中で通常遭遇される背景雑音を含み得る。

１つ以上の属性は、発話が所与のタイプの背景雑音を有することを含み得る。例えば、背景雑音は、背景のお喋り及び食事の雑音などのカフェの雑音、交通の雑音などの通りの雑音、足音などの歩行者エリアの雑音、エンジンの雑音などのバスの雑音、飛行機が離陸するなどの空港の雑音、ガヤガヤ、車の雑音、レストランの雑音、通りの雑音又は電車の雑音であり得る。

１つ以上の属性は、発話が１つ以上の特色を有する背景雑音を有することを含み得る。１つ以上の特色は、背景雑音が指定された雑音レベルのものであること、指定された雑音レベルを上回ること、指定された雑音レベルを下回ること、又は指定された範囲内の雑音レベルのものであることを含み得る。雑音レベルは、発話の信号対雑音比によって、又は雑音を定量化するための任意の他の適した測定基準を使用して雑音量として指定され得る。１つ以上の特色は、背景雑音が指定されたピッチのものであること、指定されたピッチを上回ること、指定されたピッチを下回ること、又は指定された範囲内のピッチのものであることを含み得る。１つ以上の特色は、背景雑音が背景雑音をキャプチャするデバイスに対する１つの指定された方向及び／又は方向範囲からのものであることを含み得る。１つ以上の特色は、指定された音質を有する背景雑音を含み得る。１つ以上の特色は、特定のソニックテクスチャを有する背景雑音を含み得る。１つ以上の特色は、背景雑音が所与のタイプのものであることを含み得る。

ラベル付けされていない発話は、１つ以上の属性を自然に有し得るか、又は１つ以上の属性を有するように人工的に修正されている場合がある。例えば、１つ以上の属性が、発話が所与のタイプの背景雑音を有することを含む場合、所与のタイプの背景雑音を有さない発話は、所与のタイプの背景雑音の録音又はシミュレーションと組み合わされている、例えば録音又はシミュレーション上に重ねられている場合がある。別の例として、１つ以上の属性が、発話が所与の環境中で録音されていることを含む場合、別の環境、例えばスタジオ環境中で録音されている発話は、発話が所与の環境中で録音されているようにシミュレートするように修正され得る。修正は、所与の環境の異なる音響特性を別の環境に反映するための発話の音響の変換、及び／又は発話を所与の環境中で遭遇された雑音の録音又はシミュレーションと組み合わせる、例えば重ねることを含み得る。

ステップ２２０では、ラベル付けされていない発話の第１の書き起こしが生成される。

第１の書き起こしは、第２の音声認識機械学習モデルによって生成され得る。第２の音声認識機械学習モデルは、第１の音声認識機械学習モデルに関連して説明されたタイプのうちの任意のものであり得る。第２の音声認識機械学習モデルは、第１のタイプの音響特徴、例えばＦＢＡＮＫ特徴を受信するように構成され得る。第２の音声認識機械学習モデルは、第１の音声認識機械学習モデルと同じアーキテクチャを有し得る。第２の音声認識機械学習モデルは、第１の音声認識機械学習モデルと同じ形で及び／又は同じ訓練データを使用して訓練されている場合がある。第２の音声認識機械学習モデルは、教師あり適応を経験している場合があり、例えば、図３Ａに関連して説明されるように、１つ以上の属性を有するラベル付けされた複数の発話を使用して１つ以上の属性を有する発話に適応されている場合がある。

第１の書き起こしは、第２の音声認識機械学習モデルを使用して発話を復号することによって生成され得る。復号は、ビームサーチアルゴリズムを使用して実行され得る。ビーム幅は、任意の適した値、例えば２０に設定され得る。ビームサーチアルゴリズムは、１パスビームサーチアルゴリズムであり得る。ＣＴＣスコアが、ビームサーチアルゴリズム中で使用され得る。第１の書き起こしは、例えば１最良仮説を復号することによって生成されたＮ最良仮説であり得る。

ステップ２３０では、ラベル付けされていない発話の第２の書き起こしが生成される。

第２の書き起こしは、第３の音声認識機械学習モデルによって生成され得る。第３の音声認識機械学習モデルは、第１の音声認識機械学習モデルに関連して説明されたタイプのうちの任意のものであり得る。第３の音声認識機械学習モデルは、第１のタイプ以外のタイプの音響特徴を受信するように構成され得る。例えば、第１のタイプの音響特徴がＦＢＡＮＫ特徴である場合、第３の音声認識機械学習モデルは、ＳＴＥ特徴を受信するように構成され得るか、又はその逆も同様であり得る。第３の音声認識機械学習モデルは、第１の音声認識機械学習モデル及び／又は第２の音声認識機械学習モデルと同じアーキテクチャを有し得る。第３の音声認識機械学習モデルは、第１の音声認識機械学習モデルと同じ形で及び／又は同じ若しくは同様の訓練データを使用して訓練されている場合がある。例えば、第３の音声認識機械学習モデルは、同じ複数のラベル付けされた発話を使用して訓練されている場合があるが、音響特徴は、第１のタイプ以外のタイプのもの、例えばＦＢＡＮＫ特徴の代わりにＳＴＥ特徴であり得、又はその逆も同様であり得る。第３の音声認識機械学習モデルは、教師あり適応を経験している場合があり、例えば、図３Ａに関連して説明されるように、１つ以上の属性を有するラベル付けされた複数の発話を使用して１つ以上の属性を有する発話に適応されている場合がある。

第２の書き起こしは、第３の音声認識機械学習モデルを使用してラベル付けされていない発話を復号することによって生成され得る。復号は、ビームサーチアルゴリズムを使用して実行され得る。ビーム幅は、任意の適した値、例えば２０に設定され得る。ビームサーチアルゴリズムは、１パスビームサーチアルゴリズムであり得る。ＣＴＣスコアが、ビームサーチアルゴリズム中で使用され得る。第１の書き起こしは、例えば１最良仮説を復号することによって生成されたＮ最良仮説であり得る。

代替として、第２の書き起こしは、第２の音声認識機械学習モデルによって生成され得る。第２の書き起こしは、第２の音声認識機械学習モデルを使用してラベル付けされていない発話を復号することによって生成され得る第１の書き起こしとは異なる書き起こしであり得る。第２の書き起こしは、第１の書き起こしとは異なるＮについてのＮ最良仮説であり得る。例えば、第１の書き起こしは、１最良仮説であり得、第２の書き起こしは、２最良仮説であり得る。他のＮ最良仮説が使用されることができ、例えば、１最良仮説が第１の書き起こしとして使用され得、３最良仮説が第２の書き起こしとして使用され得ることに留意されたい。

第１の書き起こし及び第２の書き起こしの生成が説明されたが、更なる書き起こしが生成され使用され得ることに留意されたい。例えば、更なる書き起こしは、１つ以上の更なる音声認識機械学習モデルを使用することによって生成され得る。別の例では、更なる書き起こしは、第１の書き起こし及び第２の書き起こしのために使用されるもの以外のＮの値についての第２の音声認識機械学習モデルのＮ最良仮説を使用することによって生成され得る。更に、複数の書き起こしを生成するための説明された技法は組み合わされ得、例えば、複数のＮ最良書き起こしが複数の音声認識機械学習モデルを使用して生成され得る。

ステップ２４０では、第１の音声認識機械学習モデルのパラメータが、ラベル付けされていない発話、第１の書き起こし、及び第２の書き起こしを使用して更新される。ステップ２４０は、処理ステップ２４２及び更新ステップ２４４を含み得る。

処理ステップ２４２では、ラベル付けされていない発話が、第１の書き起こし及び第２の書き起こしについての事後確率を導出するために、第１の音声認識機械学習モデルによって処理される。

ステップ２４４では、第１の音声認識機械学習モデルのパラメータが、第１の書き起こし及び第２の書き起こしについての導出された事後確率に基づいて、損失関数に従って更新される。

更新されるパラメータは、重み、例えば、第１の音声認識機械学習モデルがニューラルネットワークであるか又はニューラルネットワークを含むニューラルネットワークの重みであり得る。パラメータの更新は、逆伝搬アルゴリズムと組み合わせて損失係数を最小化することに向けられた勾配降下法、例えば、確率的勾配降下法を使用することによって実行され得る。

損失関数は、多重仮説損失関数（multiple hypotheses loss function）、例えば、発話の内容について、書き起こしなどの多重仮説を使用して損失値を導出するように構成された損失関数であり得る。損失関数は、多重仮説ＣＴＣ損失関数

であり得、それは、以下のように定義され得る：

ここで、

は、第１、第２、・・・、第Ｎの書き起こしである。Ｎは、使用された書き起こしの数に基づいて選ばれることができ、ここで、第１の書き起こし及び第２の書き起こしが存在するが、更なる書き起こしは存在せず、Ｎは、２であり得る。複数の書き起こしの使用は、ＣＴＣ損失関数の計算に対する書き起こしにおける誤りの影響を軽減し得る。対数の特質を使用して、上記の式は以下のように書き換えられることができる：

ここで、ａ_iは、書き起こし

及び音響特徴シーケンスＸをリンクするＣＴＣパスである。

２つの書き起こしが使用される場合、上記の式は、以下のようになる：

ここで、ａ_i及びｂ_jは、書き起こし

を音響特徴シーケンスＸとそれぞれリンクするＣＴＣパスのうちの１つである。この式から、ＣＴＣパスａ_iを使用することによって計算された確率Ｐ_θ（ａ_i｜Ｘ）が全ての確率

で乗算されるであろうことが分かる。この重み付けは、

における異なるＣＴＣパスから計算された確率に基づいて、ＣＴＣ損失

の計算に対する、

における書き起こし誤りによって引き起こされたＣＴＣパス

における不確実性の影響を軽減することができる。

ラベル付けされた発話を使用する音声認識機械学習モデル適応
図３Ａは、実例的な実施形態に従った、ラベル付けされた発話を使用して２つの音声認識機械学習モデルを適応させるための方法３００Ａのフロー図である。実例的な方法は、１つ以上のコンピューティングデバイス、例えば、図７に関連して説明されるハードウェア７００によって実行される１つ以上のコンピュータ実行可能命令として実装され得る。

ステップ３１０では、１つ以上の属性を有する１つ以上のラベル付けされた発話が受信される。１つ以上のラベル付けされた発話の各々は、発話と発話のそれぞれの書き起こしとを含む。それぞれの書き起こしは、１つ以上の文字を含み得る。１つ以上の属性は、方法２００のステップ２１０に関連して上述された属性のうちの任意のもの又は任意の組み合わせを含み得る。

ステップ３２０では、第１のタイプの特徴が、１つ以上のラベル付けされた発話から導出される。第１のタイプの特徴は、音響特徴であり得る。音響特徴は、フィルタバンク特徴であり得る。例えば、音響特徴は、４０次元対数メルフィルタバンク（ＦＢＡＮＫ）特徴であり得る。ＦＢＡＮＫ特徴は、３次元ピッチ特徴で拡張され得る。デルタ及び加速度特徴が、これらの特徴に付加され得る。代替として、音響特徴は、サブバンド時間的包絡線（ＳＴＥ）特徴、例えば、４０次元ＳＴＥ特徴であり得る。ＳＴＥ特徴は、３次元ピッチ特徴で拡張され得る。デルタ及び加速度特徴が、ＳＴＥ特徴に付加され得る。

ステップ３３０では、第２の音声認識機械学習モデルのパラメータが、第１のタイプの導出された特徴と１つ以上のラベル付けされた発話のラベルとを使用して更新される。

第２の音声認識機械学習モデルは、第１のタイプの特徴を受信するように構成され得る。第２の音声認識機械学習モデルは、方法２００の第１の音声認識機械学習モデルに関連して説明されたタイプのうちの任意のものであり得る。第２の音声認識機械学習モデルは、第１のタイプの特徴、例えばＦＢＡＮＫ特徴を受信するように構成され得る。第２の音声認識機械学習モデルは、方法２００の第１の音声認識機械学習モデルと同じ形で及び／又は同じ訓練データを使用して訓練されている場合がある。

第２の音声認識機械学習モデルのパラメータは、重みであり得、例えば、ここで、第２の音声認識機械学習モデルは、ニューラルネットワークである。パラメータは、１つ以上の属性を有する１つ以上のラベル付けされた発話のうちの各発話についてのそれぞれの書き起こしについて第２の音声認識機械学習モデルによって導出された事後確率に基づいて、損失関数に従って更新され得る。パラメータの更新は、逆伝搬アルゴリズムと組み合わせて損失係数を最小化することに向けられた勾配降下法、例えば、確率的勾配降下法を使用することによって実行され得る。損失関数は、ＣＴＣ損失関数であり得るか、又は交差エントロピー損失関数などの別の適した損失関数であり得る。

ステップ３４０では、第２のタイプの特徴が、１つ以上のラベル付けされた発話から導出される。第２のタイプの特徴は、音響特徴であり得る。第２のタイプは、第１のタイプに関連して説明されたタイプのうちの任意のものであり得るが、第１のタイプとは異なるタイプである。例えば、第１のタイプの特徴がＦＢＡＮＫ特徴である場合、第２のタイプの特徴は、ＳＴＥ特徴であり得るか、又はその逆も同様であり得る。

ステップ３５０では、第３の音声認識機械学習モデルのパラメータが、第２のタイプの導出された特徴と１つ以上のラベル付けされた発話のラベルとを使用して更新される。

第３の音声認識機械学習モデルは、方法２００の第１の音声認識機械学習モデルに関連して説明されたタイプのうちの任意のものであり得る。第２の音声認識機械学習モデルは、第２のタイプの特徴、例えばＳＴＥ特徴を受信するように構成され得る。第３の音声認識機械学習モデルは、方法２００の第１の音声認識機械学習モデルと同じ形で及び／又は同じ訓練データを使用して訓練されている場合がある。

第３の音声認識機械学習モデルのパラメータは、ステップ３３０における第２の音声認識機械学習モデルのパラメータの更新に関連して説明されたのと同じ又は同様の方法で更新され得る。

図３Ｂは、実例的な実施形態に従った、ラベル付けされた発話を使用して第１の音声認識機械学習モデルを適応させるための方法３００Ｂのフロー図である。実例的な方法は、１つ以上のコンピューティングデバイス、例えば、図７に関連して説明されるハードウェア７００によって実行される１つ以上のコンピュータ実行可能命令として実装され得る。

ステップ３１０では、１つ以上の属性を有する１つ以上のラベル付けされた発話が受信される。

ステップ３６０では、第１の音声認識機械学習モデルのパラメータが、１つ以上のラベル付けされた発話を使用して更新される。第１の音声認識機械学習モデルのパラメータは、方法３００Ａのステップ３３０における第２の音声認識機械学習モデルのパラメータの更新に関連して説明されたのと同じ又は同様の方法で更新され得る。

音声認識方法
図４は、実例的な実施形態に従った、音声認識を実行するための方法４００のフロー図である。実例的な方法は、１つ以上のコンピューティングデバイス、例えば、図７に関連して説明されるハードウェア７００によって実行される１つ以上のコンピュータ実行可能命令として実装され得る。

ステップ４１０では、１つ以上の属性を有する１つ以上の発話が受信される。１つ以上の属性は、方法２００のステップ２１０に関連して上述された属性のうちの任意のもの又は任意の組み合わせを含み得る。

ステップ４２０では、１つ以上の発話の内容が、１つ以上の属性を有する発話に適応された音声認識機械学習モデルを使用して認識される。音声認識機械学習モデルは、方法２００及び／又は方法３００Ｂを使用して１つ以上の属性を有する発話に適応されている場合がある。内容を認識することは、音声認識機械学習モデルを使用して１つ以上の発話を復号することを含み得る。復号は、ビームサーチアルゴリズムを使用して実行され得る。ビーム幅は、任意の適した値、例えば２０に設定され得る。ビームサーチアルゴリズムは、１パスビームサーチアルゴリズムであり得る。ＣＴＣスコアが、ビームサーチアルゴリズム中で使用され得る。復号の結果は、１つ以上の属性の書き起こしであり得る。１つ以上の発話の書き起こしは、１つ以上の発話のテキスト内容であり得る。代替として又は追加として、音声認識機械学習モデルは、１つ以上の発話の意味論的内容、表現内容（expression content）、及び／又は他の非テキスト内容を認識し得る。

ステップ４３０では、機能が、認識された内容に基づいて実行される。機能を実行することは、コマンド実行、テキスト出力、及び／又音声対話システム機能のうちの少なくとも１つを含む。コマンド実行の例及び実装は、図１Ａ及び図１Ｃに関連して説明される。テキスト出力の例及び実装は、図１Ｂ及び図１Ｄに関連して説明される。

音声対話システムは、ユーザと会話することが可能なシステムである。音声認識を実行することに加えて、音声対話システム機能の例は、自然言語理解機能、例えば、１つ以上の発話の認識された内容から概念的及び／若しくは意味論的内容を推論することができる機能、ユーザとの会話を構築し、例えば１つ以上の発話及び／若しくは１つ以上の以前の発話の認識された及び／若しくは推論された内容に基づいて会話を方向付けることができる対話管理機能、１つ以上の発話の内容に対する応答を生成する際に使用するための情報を、例えばデータストア若しくはインターネットから検索する領域推理（domain reasoning）若しくはバックエンド機能（backend functionality）、及び１つ以上の発話の内容、検索された情報、対話マネージャの状態、及び／若しくは推論された概念的及び／若しくは意味論的内容に基づいて応答を生成する応答生成機能を含み、並びに／又はテキスト若しくはトークンとして生成され得る生成された応答を話されるオーディオに変換するためのテキストトゥスピーチ機能を含む。

音声認識機械学習モデルの教師あり適応のためのシステム
図５は、実例的な実施形態に従った、音声認識機械学習モデルの教師あり適応のためのシステム５００の概略的ブロック図である。システム５００は、１つ以上のコンピューティングデバイス、例えば、図７に関連して説明されるハードウェア７００上の１つ以上のコンピュータ実行可能命令を使用して実装され得る。

システムは、１つ以上のラベル付けされた発話５１０と１つ以上のラベル付けされた発話のラベル５４０、例えば書き起こしとを使用して教師あり適応を実行する。１つ以上のラベル付けされた発話５１０は、１つ以上の属性を有する発話である。

システムは、１つ以上のラベル付けされた発話５１０から第１のタイプの特徴である特徴１と、第２のタイプの特徴である特徴２とを抽出する特徴抽出モジュール５２０を含む。第１のタイプの特徴は、ＦＢＡＮＫ特徴であり得、第２のタイプの特徴は、ＳＴＥ特徴であり得る。

システム５００は、初期音声認識機械学習モデル５３０を含む。少なくとも２つの初期音声認識機械学習モデル５３０が存在する。初期音声認識機械学習モデル５３０のうちの少なくとも一方は、第１のタイプの特徴である特徴１を受信し、初期音声認識機械学習モデル５３０の少なくとも１つの他方は、第２のタイプの特徴である特徴２を受信する。音声認識機械学習モデルは、１つ以上の発話のラベル、例えば書き起こしについての事後確率を導出するように使用可能である。例えば、音声認識機械学習モデルは、それぞれのタイプの特徴を受信することに応答して確率ベクトルを出力し得、確率ベクトルは、それらの特徴の異なる書き起こし又はラベルの尤度、例えば、受信された特徴が所与の文字に対応する確率を示す。

システム５００は、損失関数モジュール５５０を含む。損失関数モジュール５５０は、１つ以上のラベル付けされた発話のラベル５４０と初期音声認識機械学習モデル５３０の出力とを受信する。損失関数モジュール５５０は、これらを利用して、初期音声認識機械学習モデル５３０の各々についてのそれぞれの損失値を算出する。損失関数モジュールは、ＣＴＣ損失関数又は別の適した損失関数、例えば、交差エントロピー損失関数を使用してそれぞれの損失値を算出し得る。

システム５００は、パラメータ更新モジュール５６０を含む。パラメータ更新モジュール５６０は、損失関数モジュール５５０から初期音声認識機械学習モデル５３０及びそれぞれの損失値を受信する。パラメータ更新モジュール５６０は、対応する損失値に従って初期音声認識機械学習モデル５３０の各々のパラメータを更新する。

パラメータ更新の結果は、１つ以上の属性を有する発話に適応される適応音声認識機械学習モデル５７０である。

半教師あり音声認識機械学習モデル適応のためのシステム
図６は、実例的な実施形態に従った、音声認識機械学習モデルの半教師あり適応のためのシステムの概略的ブロック図である。システム６００は、１つ以上のコンピューティングデバイス、例えば、図７に関連して説明されるハードウェア７００上の１つ以上のコンピュータ実行可能命令を使用して実装され得る。

システム６００は、１つ以上のラベル付けされた発話５１０と１つ以上のラベル付けされた発話のラベル５４０、例えば書き起こしと、１つ以上のラベル付けされていない発話６１０とを使用して半教師あり適応を実行する。

システム６００は、１つ以上のラベル付けされた発話５１０及び１つ以上のラベル付けされていない発話６１０から第１のタイプの特徴である特徴１と、第２のタイプの特徴である特徴２とを抽出する特徴抽出モジュール５２０を含む。第１のタイプの特徴は、ＦＢＡＮＫ特徴であり得、第２のタイプの特徴は、ＳＴＥ特徴であり得る。

システム６００は、初期音声認識機械学習モデル６２０を含む。初期音声認識機械学習モデル６２０は、ラベル付けされた発話５１０及びラベル付けされていない発話６１０の両方についての第１のタイプの抽出された特徴を受信する。

復号モジュール６３０は、対応する適応音声認識機械学習モデル５７０を使用して第１のタイプの抽出された特徴及び第２のタイプの抽出された特徴から書き起こしを生成する。言い換えれば、復号モジュール６３０は、そのような特徴を受信する適応音声認識機械学習モデル５７０のうちのモデルによって第１のタイプの特徴からものである可能性が最も高いと推定される１つ以上のラベル付けされていない発話の第１の書き起こしを決定し、また、そのような特徴を受信する適応音声認識機械学習モデル５７０のうちのモデルによって第２のタイプの特徴からものである可能性が最も高いと推定される１つ以上のラベル付けされていない発話の第２の書き起こしを決定する。第１の書き起こし及び第２の書き起こしは、１最良仮説６４０である。

システム６００は、損失関数モジュール６５０を含む。ラベル付けされた発話の場合、損失関数モジュール５５０は、１つ以上のラベル付けされた発話のラベル５４０と初期音声認識機械学習モデル６２０の対応する出力とを受信する。損失関数モジュール６５０は、これらを利用して、それぞれの損失値を算出する。ラベル付けされていない発話の場合、損失関数モジュールは、１最良仮説と初期音声認識機械学習モデル６２０の対応する出力とを受信する。損失関数モジュール６５０は、これらを利用して、それぞれの損失値を算出する。損失関数モジュール６５０は、それぞれの損失値を算出するために使用される多重仮説損失関数を実装する。多重仮説損失関数は、前述されたように、多重仮説ＣＴＣ損失関数

であり得る。多重仮説損失関数は、ラベル付けされた発話及びラベル付けされていない発話の両方のために使用される。ラベル付けされていない発話の場合、多重仮説は、１最良仮説、例えば適応モデル５７０の各々についての１最良仮説である。ラベル付けされた発話の場合、多重仮説損失関数が使用されるが、仮説の各々は同じであり、ラベル付けされた発話のラベル５４０である。言い換えれば、多重仮説と連携する損失関数は、ラベル付けされた発話についての損失値を算出するときに使用されるが、単一の正しい仮説、例えばラベルが知られている場合、この単一の仮説は、損失関数によって使用される全ての仮説のために使用される。これは、単一の損失関数がラベル付けされていない発話及びラベル付けされた発話の両方のために使用されることができることを意味するので有益である。

パラメータ更新モジュール５６０は、損失関数モジュール６５０から初期音声認識機械学習モデル６２０及び損失値を受信する。パラメータ更新モジュール５６０は、損失値に従って初期音声認識機械学習モデル６２０のパラメータを更新する。

パラメータ更新の結果は、１つ以上の属性を有する発話に適応される適応音声認識機械学習モデル６６０である。

コンピューティングハードウェア
図７は、実施形態に従った方法を実装するために使用されることができるハードウェアの概略図である。これはただの一例に過ぎず、他の配置が使用されることができることに留意されたい。

ハードウェアは、コンピューティングセクション７００を備える。特にこの例では、このセクションのコンポーネントは、共に説明される。しかしながら、それらは必ずしもコロケートされないことが理解されるであろう。

コンピューティングセクション７００のコンポーネントは、（中央処理ユニット、ＣＰＵなどの）処理ユニット７１３、システムメモリ７０１、システムメモリ７０１を含む様々なシステムコンポーネントを処理ユニット７１３に結合するシステムバス７１１を含み得るが、それらに限定されない。システムバス７１１は、メモリバス又はメモリコントローラ、ペリフェラルバス、及び様々なバスアーキテクチャのうちの任意のものを使用するローカルバス、等を含む、いくつかのタイプのバス構造のうちの任意のものであり得る。コンピューティングセクション７００はまた、バス７１１に接続された外部メモリ７１５を含む。

システムメモリ７０１は、読取専用メモリなどの揮発性及び／又は不揮発性メモリの形式のコンピュータ記憶媒体を含む。スタートアップ中などにコンピュータ内の要素間での情報の転送を助けるルーチンを含む基本入力出力システム（ＢＩＯＳ：basic input output system）７０３は、典型的には、システムメモリ７０１中に記憶される。加えて、システムメモリは、ＣＰＵ７１３によって使用されているオペレーティングシステム７０５、アプリケーションプログラム７０７、及びプログラムデータ７０９を含む。

また、インターフェース７２５は、バス７１１に接続される。インターフェースは、コンピュータシステムが更なるデバイスから情報を受信するためのネットワークインターフェースであり得る。インターフェースはまた、ユーザがある特定のコマンド等に応答することを可能にするユーザインターフェースであり得る。

この例では、ビデオインターフェース７１７が提供される。ビデオインターフェース７１７は、グラフィックス処理メモリ７２１に接続されたグラフィックス処理ユニット７１９を備える。

グラフィックス処理ユニット（ＧＰＵ）７１９は、ニューラルネットワーク適応などの、データ並列演算へのその適応により、音声認識機械学習モデルを適応させるのに特に良く適している。従って、実施形態では、音声認識機械学習モデルを適応させるための処理は、ＣＰＵ７１３とＧＰＵ７１９との間で分割され得る。

いくつかの実施形態では、異なるハードウェアが、音声認識機械学習モデルを適応させ、音声認識を実行するために使用され得ることに留意されたい。例えば、音声認識機械学習モデルの適応は、１つ以上のローカルデスクトップ若しくはワークステーションコンピュータ上又はクラウドコンピューティングシステムのデバイス上で生じ得、それは、１つ以上のディスクリートデスクトップ又はワークステーションＧＰＵ、１つ以上のディスクリートデスクトップ又はワークステーションＣＰＵ、例えばＰＣ向けアーキテクチャを有するプロセッサ、及びかなりの量、例えば１６ＧＢ以上の揮発性システムメモリを含み得る。例えば、音声認識の実行は、モバイル又は埋め込み型ハードウェアを使用し得るが、それは、システムオンチップ（ＳｏＣ）の一部としてモバイルＧＰＵを含み得るか、又はＧＰＵを含まない場合があり、１つ以上のモバイル又は埋め込み型ＣＰＵ、例えばモバイル向けアーキテクチャ又はマイクロコントローラ向けアーキテクチャを有するプロセッサ、及びより少ない量、例えば１ＧＢ未満の揮発性メモリを含み得る。例えば、音声認識を実行するハードウェアは、仮想アシスタント又はスマートスピーカを含む携帯電話などのボイス支援システム１２０であり得る。音声認識機械学習モデルを適応させるために使用されるハードウェアは、著しくより多くの計算能力を有し得、例えば、エージェントを使用してタスクを実行するために使用されるハードウェアよりも多くの動作を毎秒実行し、より多くのメモリを有することが可能であり得る。例えば、１つ以上のニューラルネットワークを使用して推論を実行することによって音声認識を実行することは、例えば、１つ以上のニューラルネットワークのパラメータを更新することによって音声認識機械学習モデルを適応させるよりも、実質的に、計算的により少ないリソース集中になるので、より少ないリソースを有するハードウェアを使用することが可能である。更に、技法は、音声認識を実行するために、例えば、１つ以上のニューラルネットワークを使用して推論を実行するために使用される計算リソースを低減するために用いられることができる。そのような技法の例は、モデル蒸留を、及びニューラルネットワークでは、枝刈り及び量子化などのニューラルネットワーク圧縮技法を含む。

いくつかの実施形態では、同じハードウェアが、音声認識機械学習モデルを適応させ、音声認識を実行するために使用され得る。音声認識機械学習モデルの適応は、音声認識機械学習モデルの初期訓練と比較して比較的少量のデータを使用して実行され得、このことから、音声認識のために使用されるモバイル又は埋め込み型ハードウェア上でより実行しやすい。音声認識自体のために使用されるモバイル又は埋め込み型ハードウェア上で適応を実行することは、外部コンピューティングデバイス、例えばクラウドコンピューティングシステムのサーバにこれらの機密の発話を送信することを回避するので、モバイル又は埋め込み型ハードウェア上で適応を実行することは、適応のために使用される発話が機密、例えば極秘又は内密である場合に特に有利であり得る。このことから、そのような機密情報に関連付けられた属性を有する発話への音声認識機械学習モデルの適応は、プライバシー、セキュリティ、又は機密性を損なうことなしに実行されることができる。例えば、音声認識機械学習モデルは、ユーザによる内密の発話に基づいてユーザのボイスに適応され得るか、又は極秘の商業的機密情報を含み得る発話に基づいて企業のオフィス中の背景雑音に適応され得る。モバイル又は埋め込み型ハードウェア上での適応の実行はまた、例えば、インターネット接続又は別のコンピュータへの他のタイプの接続なしに適応がオフラインで実行されることを可能にし、そのような接続が利用可能な場合であっても、さもなければ、別のコンピュータに発話を送り、適応モデルを受信するためにモバイル又は埋め込み型ハードウェアによって使用されるであろうネットワークリソースを低減する。

実験
音声認識機械学習モデルの半教師あり適応の有効性を評価するために実行された実験が以下に提示される。

以下に説明される実験では、音声認識機械学習モデルの各々は、ＶＧＧネットアーキテクチャ（ディープＣＮＮ）と、それに続く６層ピラミッドＢＬＳＴＭ（サブサンプリングを有するＢＬＳＴＭ）を有するニューラルネットワークアーキテクチャである。６層ＣＴＣアーキテクチャは、２つの連続する２Ｄ畳み込み層と、それに続く１つの２Ｄ最大プーリング層と、次いで別の２つの２Ｄ畳み込み層と、それに続く１つの２Ｄ最大プーリング層とを有する。畳み込み層中で使用される２Ｄフィルタは、３×３の等倍サイズを有する。最大プーリング層は、３×３のパッチ及び２×２のストライドを有する。６層ＢＬＳＴＭは、各層及び方向に１０２４個のメモリブロックを有し、線形射影の後に各ＢＬＳＴＭ層が続く。ＢＬＳＴＭによって実行されるサブサンプリング係数は４である。これらの音声認識機械学習モデルが復号において使用されるとき、ＣＴＣスコアを使用する１パスビームサーチアルゴリズムが実行され、ビーム幅は、２０に設定される。

実験は、クリーン訓練データ（clean training data）を使用して訓練された音声認識機械学習モデルと、多条件訓練データ（multi-condition training data）を使用して訓練された音声認識機械学習モデルとの両方に対して実行された。

実験において使用されたクリーン訓練データは、読まれた音声のコーパスであるＷＳＪコーパスからのものだった。コーパスにおける全ての音声発話は、１６ｋＨｚでサンプリングされ、かなりクリーンである。ＷＳＪの標準訓練セットｔｒａｉｎ＿ｓｉ２８４は、８１時間ほどの音声から成る。訓練中、１時間ほどの音声から成る標準開発セットｔｅｓｔ＿ｄｅｖ９３が、交差検証のために使用された。

多条件訓練データは、全体で１８９時間ほどの音声から成るＣＨｉＭＥ－４コーパスからのものだった。ＣＨｉＭＥ－４多条件訓練データは、ＷＳＪ訓練コーパスからのクリーンな音声発話と、シミュレートされた及び本物の雑音データ（simulated and real noisy data）とから成る。本物のデータは、４つの環境、カフェ、交差点、公共交通機関（バス）、及び歩行者エリアにおいて話されたＷＳＪコーパスからの発話の６チャネル録音から成る。シミュレートされたデータは、ＷＳＪのクリーンな発話を４つの述べられた環境からの環境背景録音とミキシングすることによって構築された。全てのデータは、１６ｋＨｚでサンプリングされた。全てのマイクロフォンチャネルから録音されたオーディオは、ＣＨｉＭＥ－４多条件訓練データ中に含まれる。ｄｔ０５＿ｍｕｌｔｉ ｉｓｏｌａｔｅｄ＿１ｃｈ＿ｔｒａｃｋセットは、訓練中の交差検証のために使用された。

実験のためのテスト及び適応データは、Ａｕｒｏｒａ－４コーパスのテストセットから作成された。Ａｕｒｏｒａ－４コーパスは、５～１５ｄＢのＳＮＲで、１次マイクロフォン及び２次マイクロフォンによって録音された２つのクリーンテストセットを６つのタイプの雑音（空港、ガヤガヤ、車、レストラン、通り、及び電車）で破損することによって作成された１４個のテストセットを有する。２つのクリーンテストセットもまた、１４個のテストセット中に含まれた。各テストセット中に３３０個の発話が存在する。Ａｕｒｏｒａ－４中の雑音は、ＣＨｉＭＥ－４多条件訓練データ中の雑音とは異なる。１次マイクロフォンによって録音されたクリーンテストセットから作成された７つのテストセットからの「．ｗｖ１」データは、テスト及び適応セットを作成するために使用される。「．ｗｖ１」データの７つのテストセットから取られた２３１０個の発話から、１４００個の発話のテストセット（おおよそ２．８時間の音声）、３００個の発話のラベル付けされた適応セット（おおよそ３６分）、及び６１０個の発話のラベル付けされていない適応セット（おおよそ１．２時間）が分離される。３つのセット中の発話の選択はランダムである。３つのセット中の発話は重複しない。これらのセットは、クリーン訓練シナリオ及び多条件訓練シナリオの両方におけるテスト及び適応のために使用される。

クリーン訓練データでの実験及び多条件訓練データでの実験の両方のために、半教師あり適応が以下のように実行された。

は、ＦＢＡＮＫ特徴及びＳＴＥ特徴で訓練されたエンドツーエンドモデルをそれぞれ示す。

まず、逆伝搬アルゴリズムが、３００個の発話のラベル付けされた適応セットを使用して教師ありモードでモデル

を微調整、例えばそのパラメータを更新して、適応モデル

をそれぞれ取得するために使用される。これは、利用可能なラベル付けされた適応を利用して、音声認識機械学習モデルの単語誤り率（ＷＥＲ：word error rate）を更に低減するために行われる。

これは、手動書き起こし

を有する３００発話セットを使用する初期モデル

の教師あり適応を示す図８Ａに例示される。

モデル

は、６１０個の発話のラベル付けされていない適応セットを復号するためにその後使用される。

が、これらの復号から取得された１最良仮説のセットであり、

が、３００個の発話セットために利用可能な手動書き起こしのセットであり、３００発話及び６１０発話セットが、ラベルが

のうちのいずれかであり得る９１０個の発話の適応セットを作成するためにグループ化されると仮定する。

最後に、９１０発話セットが、逆伝搬アルゴリズムを使用して、ベースラインモデルであるモデル

を適応させて、半教師あり適応モデル

を取得するために使用される。

６１０個の発話が手動書き起こしを有さない９１０発話適応セットは、３００個の発話しか手動書き起こしを有さないので、半教師ありモードで初期ＦＢＡＮＫベースのモデルを適応させるために使用される。９１０発話適応セットを使用する従来の半教師あり適応は、

からのラベルで行われることができる。この適応は、標準ＣＴＣ損失Ｌ_CTCを使用する。ＭＨ－ＣＴＣと示される、本明細書に説明される多重仮説ＣＴＣベースの適応方法（multiple-hypotheses CTC-based adaptation method）は、

手動書き起こしと１最良仮説

の両方のセットとを使用する。この適応は、

損失を使用する。

これは、９１０発話適応セットを使用する半教師あり適応を示す図８Ｂに例示され、そのラベルは、手動書き起こし

と、１最良仮説

のセットのうちの１つ、又はその両方とを含む。

全ての述べられた適応方法のための上限性能（upper bound performance）と見なされることができる参照された性能は、全ての９１０個の発話が手動書き起こし

を有する教師あり適応で取得されるものである。適応中、学習率は、この構成が訓練及び適応中に異なる学習率を使用するよりも良好な性能をもたらすので、訓練中に使用される学習率と比較して変更されずに保持される。１最良仮説は、復号の１パス後に取得される。

結果
システムがＷＳＪクリーン訓練データ上で訓練され、１４００個のＡｕｒｏｒａ－４発話から成るテストセット上でテストされるシナリオでは、モデル

をそれぞれ使用した初期システムは、５５．２％及び６０．３％のＷＥＲをそれぞれ有する。

異なる適応方法をＦＢＡＮＫベースのモデルに適用する結果は、以下の表に示される。表は、異なる適応方法での、ＷＳＪクリーン訓練セット上で訓練されたＦＢＡＮＫベースのモデルの適応についての結果を示す。

は、クリーン訓練モデルを使用する復号において取得される。

３００個の発話のラベル付けされた適応セットで初期ＦＢＡＮＫベースの及びＳＴＥベースのモデルを適応させることは、１４００発話テストセット上で測定されたこれらのシステムのＷＥＲを２７．２％及び２４．５％にそれぞれ低減する。６１０発話のラベル付けされていない適応セット上で測定された対応するＷＥＲは、それぞれ２９．１％及び２５．６％である。

手動書き起こし

を有する３００発話適応セットを使用する教師あり適応は、ベースラインとして使用される。多重仮説ＣＴＣベースの適応方法は、ベースラインと比較して６．６％の相対ＷＥＲ低減をもたらす。対照的に、手動書き起こしと１最良仮説

のセットのうちの１つとの両方を使用する２つの従来の半教師あり適応は、ＦＢＡＮＫベースのベースラインモデルと比較してＷＥＲ低減をもたらさない。

上記の実験はまた、多条件訓練データシナリオのために実行される。ＣＨｉＭＥ－４の多条件訓練データ上で訓練され、Ａｕｒｏｒａ－４からの１４００発話テストセット上でテストされているとき、ＦＢＡＮＫ特徴及びＳＴＥ特徴を使用する初期ＣＴＣベースのエンドツーエンドＡＳＲシステムは、３１．０％及び３３．８％のＷＥＲをそれぞれ有する。３００個の発話のラベル付けされた適応セットで初期ＦＢＡＮＫベースの及びＳＴＥベースのモデルを適応させることは、１４００発話テストセット上で測定されたこれらのシステムのＷＥＲを１７．２％及び１７．３％にそれぞれ低減する。６１０発話のラベル付けされていない適応セット上で測定された対応するＷＥＲは、それぞれ１８．３％及び１８．９％である。

適応方法を多条件訓練データシナリオ中で適用する結果は、以下の表に示される。表は、異なる適応方法での、ＣＨｉＭＥ－４多条件訓練セット上で訓練されたＦＢＡＮＫベースのモデルの適応についての結果を示す。

は、多条件訓練モデルを使用する復号において取得される。

多重仮説ＣＴＣベースの方法（ＭＨ－ＣＴＣ）は、ベースラインと比較して５．８％の相対ＷＥＲ低減をもたらす。単一の１最良仮説

を使用する半教師あり適応は、ベースラインと比較してＷＥＲ低減をもたらさない。

変形形態
ある特定の実施形態が説明されたが、これらの実施形態は、例としてのみ提示されており、本発明の範囲を限定することを意図されない。実際に、本明細書に説明された、新規のデバイス及び方法は、様々な他の形式で具現化され得、更に、本明細書に説明されたデバイス、方法、及び製品の形式における様々な省略、置換、及び変更が、本発明の趣旨から逸脱することなく行われ得る。添付の特許請求の範囲及びそれらの同等物は、本発明の範囲及び趣旨内にあるような形式及び修正をカバーすることを意図される。

Claims (20)

1. １つ以上の属性を有する発話に第１の音声認識機械学習モデルを適応させるためのコンピュータ実装方法であって、
   前記１つ以上の属性を有するラベル付けされていない発話を受信することと、
   前記ラベル付けされていない発話の第１の書き起こしを生成することと、
   前記ラベル付けされていない発話の第２の書き起こしを生成することと、ここにおいて、前記第２の書き起こしは、前記第１の書き起こしとは異なる、
   前記第１の音声認識機械学習モデルが、前記第１の書き起こし及び前記第２の書き起こしについての事後確率を導出するために、１つ以上の前記ラベル付けされていない発話を処理することと、
   前記第１の書き起こし及び前記第２の書き起こしについての前記導出された事後確率に基づいて、損失関数に従って前記第１の音声認識機械学習モデルのパラメータを更新することと、
   を備える、方法。
2. 前記第２の書き起こしは、前記第１の書き起こしが第２の音声認識機械学習モデルによって生成され、その一方で、前記第２の書き起こしが異なる第３の音声認識機械学習モデルによって生成されるという点において前記第１の書き起こしとは異なる、請求項１に記載の方法。
3. 前記第２の音声認識機械学習モデルは、第１のタイプの特徴を使用して訓練され、前記第３の音声認識機械学習モデルは、異なる第２のタイプの特徴を使用して訓練されている、請求項２に記載の方法。
4. 前記第１のタイプの特徴は、フィルタバンク特徴である、請求項３に記載の方法。
5. 前記第２のタイプの特徴は、サブバンド時間的包絡線特徴である、請求項３又は請求項４に記載の方法。
6. 前記第１の書き起こしは、前記第２の音声認識機械学習モデルの１最良仮説であり、前記第２の書き起こしは、前記第３の音声認識機械学習モデルの１最良仮説である、請求項３～５のうちのいずれか一項に記載の方法。
7. 前記１つ以上の属性を有する１つ以上のラベル付けされた発話を受信することと、
   前記１つ以上のラベル付けされた発話から前記第１のタイプの特徴を導出することと、
   前記第１のタイプの前記導出された特徴と前記１つ以上のラベル付けされた発話のラベルとを使用して前記第２の音声認識機械学習モデルのパラメータを更新することと、
   前記１つ以上のラベル付けされた発話から前記第２のタイプの特徴を導出することと、
   前記第２のタイプの前記導出された特徴と前記１つ以上のラベル付けされた発話の前記ラベルとを使用して前記第３の音声認識機械学習モデルのパラメータを更新することと、
   を更に備える、請求項３～６のうちのいずれか一項に記載の方法。
8. 前記第１の書き起こし及び前記第２の書き起こしは、第２の音声認識機械学習モデルによって生成されたＮ最良書き起こしであり、前記第２の書き起こしは、前記第２の書き起こしが前記第１の書き起こしとは異なるＮの値についてのものであるという点において前記第１の書き起こしとは異なる、請求項１に記載の方法。
9. 前記１つ以上の属性を有する１つ以上のラベル付けされた発話を受信することと、
   前記１つ以上のラベル付けされた発話を使用して前記第１の音声認識機械学習モデルの前記パラメータを更新することと、
   を更に備える、請求項１～８のうちのいずれか一項に記載の方法。
10. 前記１つ以上の属性は、前記発話が所与のタイプの背景雑音を有することを備える、請求項１～９のうちのいずれか一項に記載の方法。
11. 前記１つ以上の属性は、前記発話が所与の領域中にあることを備える、請求項１～１０のうちのいずれか一項に記載の方法。
12. 前記１つ以上の属性は、前記発話が所与のユーザによるものであることを備える、請求項１～１１のうちのいずれか一項に記載の方法。
13. 前記１つ以上の属性は、前記発話が所与の環境中で録音されることを備える、請求項１～１２のうちのいずれか一項に記載の方法。
14. 前記ラベル付けされていない発話は、前記１つ以上の属性を有するように人工的に修正されている、請求項１～１３のうちのいずれか一項に記載の方法。
15. 前記損失関数は、コネクショニスト時間的分類損失関数である、請求項１～１４のうちのいずれか一項に記載の方法。
16. 前記コネクショニスト時間的分類損失関数は、第２の仮説についての第２のコネクショニスト時間的分類損失による前記第１の書き起こしについての第１のコネクショニスト時間的分類損失の合計を備える、請求項１５に記載の方法。
17. 前記第１の音声認識機械学習モデルは、双方向長短期記憶ニューラルネットワークを備える、請求項１～１６のうちのいずれか一項に記載の方法。
18. 音声認識のためのコンピュータ実装方法であって、
    １つ以上の属性を有する１つ以上の発話を受信することと、
    請求項１～１７のうちのいずれか一項に記載の方法に従って前記１つ以上の属性を有する発話に適応された音声認識機械学習モデルを使用して前記１つ以上の発話の内容を認識することと、
    前記認識された内容に基づいて機能を実行することと、ここにおいて、前記実行された機能は、テキスト出力、コマンド実行、又は音声対話システム機能のうちの少なくとも１つを備える、
    を備える、方法。
19. 非一時的コンピュータ可読媒体上にオプションとして記憶されたコンピュータプログラムであって、前記プログラムがコンピュータによって実行されると、前記コンピュータに、請求項１～１８のうちのいずれか一項に記載の方法を行わせる、コンピュータプログラム。
20. 音声認識を実行するためのシステムであって、前記システムは、１つ以上のプロセッサ及び１つ以上のメモリを備え、前記１つ以上のプロセッサは、
    １つ以上の属性を有する１つ以上の発話を受信することと、
    請求項１～１８のうちのいずれか一項に記載の方法に従って前記１つ以上の属性を有する発話に適応された音声認識機械学習モデルを使用して前記１つ以上の発話の内容を認識することと、
    前記認識された内容に基づいて機能を実行することと、ここにおいて、前記実行された機能は、テキスト出力又はコマンド実行のうちの少なくとも１つを備える、
    を行うように構成される、システム。
    
    
    

Images