JP7836628B2 - 深層生成モデルに基づくコーディングされた音声の強化 - Google Patents

Description

［関連出願］
本願は、２０２２年２月２３日に出願されたスペイン特許出願第P２０２２３０１４８号、２０２２年１２月９日に出願された米国仮出願第６３／４３１，５９０号の優先権を主張しており、それらは全て参照により本明細書に組み込まれる。

［技術分野］
本願は、音声処理及び機械学習に関する。

本章に記載されるアプローチは、追求可能なアプローチであるが、必ずしも以前に考案又は追求されたアプローチではない。従って、特に示されない限り、本章に記載したアプローチのうちのいずれも、単に本章に含まれることにより従来技術と見なされるべきではない。

音声コーディングは、安全な通信において第１主要な用途を見出し、後に低コストのモバイル通信及びインターネット通信を可能にした。音声コーデックのビットレートが継続的に低下しているため、復号音声は様々な品質問題に悩まされている。このような品質問題に対処することは有用であろう。

コーディングされたオーディオデータからクリーンな音声を復元するコンピュータ実施方法。この方法は、第１フレームセットを含むコーディングされたオーディオデータを取得することを含む。この方法は、ニューラルネットワークを含む自己教師あり深層学習モデルを使用して、コーディングされたオーディオデータから特徴ベクトルセットを抽出することを更に含み、特徴ベクトルセットは、第１フレームセットから各々抽出される。この方法は、ニューラルネットワークを含む生成深層学習モデルを使用して、特徴ベクトルセットから第２フレームセットを含む強化音声データを生成することを更に含み、強化音声データは、コーディングされたオーディオデータ内のクリーンな音声に対応する。

本明細書に記載される技術は、従来のオーディオ処理技術よりも有利である。例えば、この方法は、しばしば汚染された音声を含む実際のコーディングされたオーディオデータから改善された音声データを生成することを可能にする。生成は、低レベルの生のオーディオ特性から高レベルの話者関連特性まで、様々なレベルでの音声特性の自己教師あり学習から得られるロバストな特徴に基づいて行われ、これは、歪み及びコーディングにもかかわらず、改善された音声データにおいて高品質を達成するのに役立つ。改善された音声データは、生の音声信号が生成されるときにリアルタイムで実行できる比較的コンパクトな深層学習モデルを使用して効率的に改善される。改善された音声データは、オーディオのより良い知覚及びオーディオのより良いユーザの楽しみをもたらす。

本発明の例示的な実施形態は、限定ではなく、例を用いて説明され、添付の図中の同様の参照符号は同様の要素を表す。

様々な実施形態を実施することができる例示的なネットワークコンピュータシステムを示している。

開示された実施形態による音声管理コンピュータシステムの例示的な構成要素を示している。

特徴抽出モデルのトレーニング及び音声強化モデルのトレーニングのプロセスを示している。

ここに開示された幾つかの実施形態による音声管理コンピュータシステムにより実行される例示的なプロセスを示している。

本発明の一実施形態が実装され得るコンピュータシステムを示すブロック図である。

以下の詳細な説明では、説明を目的として、本発明の例示的な実施形態の完全な理解を提供するために、多数の特定の詳細が説明される。しかしながら、例示的な実施形態がこれらの特定の詳細を有しないで実施されてよいことが明らかである。他の例では、例示的な実施形態を不必要に不明瞭にすることを回避するために、よく知られた構造及び装置がブロック図の形式で示される。

実施形態は、以下の概要に従って以下のセクションで説明される。
１．概略
２．例示的なコンピューティング環境
３．例示的なコンピュータ構成要素
４．機能的説明
４．１．特徴抽出モデルのトレーニング
４．１．１．データ歪み
４．１．２．データのダウンサンプリング
４．１．３．特徴抽出モデル
４．２．音声強化モデルのトレーニング
４．２．１．データ収集
４．２．２．音声強化モデル
４．３．深層学習モデルの実行
５．例示的な処理
６．ハードウェア実装
７．拡張と代替

１．概略

ロバストな音声特徴を使用して強化音声データを生成するシステムが開示される。幾つかの実施形態では、システムは、自己教師あり深層学習モデルを使用して、汚染音声を含むコーディングされた所与のオーディオデータから特徴ベクトルセットを生成するようにプログラムされる。システムは、更に、生成深層学習モデルを使用して、特徴ベクトルセットからクリーンな音声に対応する向上した音声データを生成するようにプログラムされる。

幾つかの実施形態では、システムは、自己教師あり深層学習モデルをトレーニングするようにプログラムされる。トレーニングは、クリーンな音声信号の特定のオーディオ特徴を使用して、エンコーダの重みを計算することを含み、エンコーダは、汚染されたコーディングされた音声信号から特徴ベクトルセットを生成するように構成される。オーディオ特徴は、エネルギ又はピッチなどの低レベルのオーディオ特徴、又は話者アクセントなどの高レベルのオーディオ特徴を含むことができる。音声信号は、音声を含むデジタル化されたオーディオ波形を表す。デジタル化の結果、１つ以上のフレームが生成され、各フレームには特定のサンプリングレートに対応する１つ以上のサンプルが含まれる。歪みは、ノイズや残響などの環境内の余分な音声又は音声以外のオーディオ、又は例えばクリッピングなどの録音機器の制限によって発生する可能性がある。コーディングは、目標ビットレートを有する圧縮アルゴリズムの適用によりもたらされる。トレーニング済み自己教師あり深層学習モデルは、汚染されたコーディングされた音声信号の各フレームに対して、対応するクリーンな音声信号のフレームを特徴付ける、ロバストな特徴ベクトルセットを生成することが期待される。

幾つかの実施形態では、クリーンな音声信号は特定のサンプリングレートであるが、システムは、クリーンな音声信号から導出可能なコーディングされた音声信号をダウンサンプリングして、自己教師あり深層学習モデルのトレーニングデータセットを形成するようにプログラムされる。例えば、４８kHzのサンプリングレートの音声信号は、１６kHzのサンプリングレートの音声信号にダウンサンプリングすることができる。ダウンサンプリングされた音声信号は、４８kHzのクリーンな信号を復元するために使用可能な主要なオーディオ特徴を引き続きキャプチャすることが期待される。

幾つかの実施形態では、システムは生成深層学習モデルをトレーニングするようにプログラムされる。トレーニングは、クリーンな音声信号を使用して、リカレントニューラルネットワークの重みを計算することを含み、リカレントニューラルネットワークは、汚染されたコーディングされた音声信号から自己教師あり深層学習モデルによって生成される特徴ベクトルセットから改善された音声信号を生成するように構成される。トレーニングされた生成深層学習モデルは、特徴ベクトルセットが１６kHzなどのより低いサンプリングレートの音声信号から生成される場合でも、４８kHzなどの所定のサンプリングレートの改善された音声信号を生成することが期待される。

幾つかの実施形態では、任意のビットレートに対して任意のコーディングアルゴリズムを使用してコーディングされた新しい音声信号が与えられると、システムは、トレーニング済み自己教師あり深層学習モデルを新しい音声信号に対して実行して、特徴ベクトルセットを生成するように構成される。システムは、トレーニング済み生成深層学習モデルを特徴ベクトルセットに対して更に実行して、復号されたクリーンな音声信号に対応する改善された音声信号を生成するように構成される。

このシステムは技術的な利点をもたらす。音声コーデックのビットレートが継続的に低下するにつれて、復号音声は、帯域幅の損失、スペクトルホール、又はその他の品質問題に悩まされている。このシステムは、コーディングプロセスのビットレートの低下に起因する復号音声信号の品質が予測できないという技術的問題に対処する。システムは、しばしば汚染された音声を含む実際のコーディングされたオーディオデータから改善された音声データを生成することを可能にする。生成は、低レベルの生のオーディオ特性から高レベルの話者関連特性まで、様々なレベルでの音声特性の自己教師あり学習から得られるロバストな特徴に基づいて行われ、これは、歪み及びコーディングにもかかわらず、改善された音声データにおいて高品質を達成するのに役立つ。改善された音声データは、生の音声信号が生成されるときにリアルタイムで実行できる比較的コンパクトな深層学習モデルを使用して効率的に改善される。改善された音声データは、オーディオのより良い知覚及びオーディオのより良いユーザの楽しみをもたらす。

２．例示的なコンピューティング環境

図１は、様々な実施形態を実施することができる例示的なネットワークコンピュータシステムを示している。図１は、明確な例を示すために簡略化された概略形式で示されており、他の実施形態は、より多くの、より少ない、又は異なる要素を含み得る。

幾つかの実施形態では、ネットワーク接続されたコンピュータシステムは、オーディオ管理サーバコンピュータ１０２（「サーバ」）、１つ以上のセンサ１０４又は入力装置、及び１つ以上の出力装置１１０を含み、これらは、直接の物理的接続を介して、又は１つ以上のネットワーク１１８を介して通信可能に結合される。

幾つかの実施形態では、サーバ１０２は、１つ以上のコンピュータ、仮想コンピューティングインスタンス、及び／又は、汚染されたコーディングされた音声信号からクリーンな音声信号を復元することに関連する機能をホスト又は実行するように構成されたデータ構造及び／又はデータベースレコードでプログラム又は構成されたアプリケーションのインスタンスを広く表す。サーバ１０２は、サーバファーム、クラウドコンピューティングプラットフォーム、並列コンピュータ、又は上記の機能のためのデータ処理、データ記憶、及びネットワーク通信において十分な計算能力を有する任意の他のコンピューティング設備を含むことができる。

幾つかの実施形態では、１つ以上のセンサ１０４の各々は、音声を電気信号に変換するマイクロフォン又は別のデジタル録音装置を含むことができる。各センサは、生の又は処理されたオーディオデータをサーバ１０２に送信するように構成される。各センサは、プロセッサを含むことができるか、又はデスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、又はウェアラブル装置などの典型的なクライアント装置に統合され、センサに結合されたプロセッサがオーディオデータの初期処理を実行することができる。

幾つかの実施形態では、１つ以上の出力装置１１０の各々は、電気信号を音声に変換して戻すスピーカ又は別のデジタル再生装置を含むことができる。各出力装置は、サーバ１０２から受信したオーディオデータを再生するようにプログラムされる。センサと同様に、出力装置は、プロセッサを含むことができるか、又はデスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、又はウェアラブル装置などの典型的なクライアント装置に統合され、センサに結合されたプロセッサがオーディオデータの後続の処理を実行することができる。

１つ以上のネットワーク１１８は、図１の様々な要素間のデータ交換を提供する任意の媒体又はメカニズムによって実装することができる。ネットワーク１１８の例は、セルラアンテナを介してコンピューティング装置へのデータ接続と通信可能に結合されたセルラネットワーク、近距離無線通信（NFC）ネットワーク、ローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）、インターネット、地上又は衛星リンクなどの１つ以上を含むが、これらに限定されない。

幾つかの実施形態では、サーバ１０２は、所与の環境における音に対応する入力オーディオデータを１つ以上のセンサ１０４から受信するようにプログラムされる。入力オーディオデータは、経時的に複数のフレームを含むことができる。サーバ１０２は、次に、コーディングされ、通常は音声とノイズの混合を有する入力オーディオデータを処理して、クリーンな音声に対応する改善されたオーディオデータを生成するようにプログラムされる。サーバは、出力オーディオデータを１つ以上の出力装置に送信するようにプログラムすることもできる。

３．例示的なコンピュータ構成要素

図２は、開示された実施形態による音声管理コンピュータシステムの例示的な構成要素を示している。図は例示のみを目的としており、サーバ１０２は、より少ない又はより多くの機能コンポーネント又は記憶コンポーネントを含むことができる。各機能コンポーネントは、ソフトウェアコンポーネント、汎用又は特定目的のハードウェアコンポーネント、ファームウェアコンポーネント、又はそれらの任意の組み合わせとして実装することができる。各機能コンポーネントは、１つ以上の記憶コンポーネント（図示せず）と結合することもできる。記憶コンポーネントは、リレーショナルデータベース、オブジェクトデータベース、フラットファイルシステム、又はJavascript Object Notation（JSON）ストアのいずれかを使用して実装することができる。記憶コンポーネントは、プログラムコール、リモートプロシージャコール（RPC）機能、又はメッセージングバスを使用して、ローカルに、又はネットワークを介して機能コンポーネントに接続することができる。コンポーネントは、自己完結型であってもよいし、そうでなくてもよい。実装固有又はその他の考慮事項に応じて、コンポーネントは、機能的又は物理的に集中化又は分散化されてもよい。

幾つかの実施形態では、サーバ１０２は、特徴抽出モデルトレーニング命令２０２、音声強化モデルトレーニング命令２０６、モデル実行命令２０８、及び通信インタフェース命令２１０を含む。サーバ１０２は、データベース２２０も含む。

幾つかの実施形態では、特徴抽出モデルトレーニング命令２０２は、コーディングされた汚染された音声信号からクリーンな音声信号に対応するオーディオ特徴を抽出するための深層学習モデルのトレーニングを可能にする。深層学習モデルは、クリーンな音声信号から特徴を学習できる様々なニューラルネットワーク又は他の自己教師ありモデルを含む。

幾つかの実施形態では、音声強化モデルトレーニング命令２０６は、特徴抽出モデルによって生成されたオーディオ特徴のセットから改善された音声信号を生成するための深層学習モデルのトレーニングを可能にする。深層学習モデルは、クリーンな音声信号に対応するオーディオ特徴から改善された音声信号を生成することができる様々なニューラルネットワーク又は他の生成モデルを含む。

幾つかの実施形態では、モデル実行命令２０８は、汚染されたコーディングされた音声データから改善された音声データを生成するための深層学習モデルの実行を可能にする。実行は、特徴ベクトルセットを生成するために、音声と非音声の混合物を含むコーディングされた音声データに対して特徴抽出モデルを実行することを含むことができる。実行は、特徴ベクトルセットに対して音声強化モデルを実行して、クリーンな音声に対応する改善された音声データを生成することを更に含むことができる。

幾つかの実施形態では、通信インタフェース命令２１０は、コンピュータネットワークを介して他のシステム又は装置との通信を可能にする。通信は、オーディオソース又は他のシステムからオーディオデータ又はトレーニング済み深層学習モデルを受信することを含むことができる。通信は、強化音声データを他の処理装置又は出力装置に送信することも含むことができる。

幾つかの実施形態では、データベース２２０は、クリーンな音声信号、汚染された音声信号、コーディングされた音声信号、又はダウンサンプリングされた音声信号を含むオーディオデータ、デジタルモデル、オーディオデータから抽出された特徴、又はデジタルモデルの実行結果などの関連データの記憶及びアクセスを管理するようにプログラム又は構成される。

４．機能的説明

音声信号、すなわち、音声を含み、典型的には時間ドメインにおいて波形として表されるデジタルオーディオデータは、音素又は単語などの個々の語彙単位から、話者の意図又は感情状態などの話者特性に至るまで、音響的及び言語的特性の豊富なセットを含む。しかしながら、音声のこのような特性は、波動信号の振幅、対数Melスペクトログラム、又はMel周波数ケプストラム係数（MFCC）などの低レベルの信号処理特性によって十分に捕捉されない。コーディングされた音声は、既に情報を失っている。コーディングされた音声から抽出された低レベルの信号処理特性のみを使用して元の音声を復元することは、音声信号を完全に特徴付けていないため、特に困難である可能性がある。

従って、幾つかの実施形態では、サーバは、自己教師あり深層学習モデルである特徴抽出モデルを使用して、コーディングされた音声から特性を識別し又は特徴を抽出する。次に、抽出された特徴を使用して、生成深層学習モデルである音声強化モデルを構築する。

４．１．特徴抽出モデルのトレーニング

４．１．１．データ歪み

音声信号は一般に、残響、付加ノイズ、重複音声、時間的又は周波数マスキング、クリッピングなど、環境又は録音機器によって引き起こされる様々な汚染によって歪められる。音声符号化は、更に別のレベルの歪みを導入する。

図３は、特徴抽出モデルのトレーニング及び音声強化モデルのトレーニングのプロセスを示している。幾つかの実施形態では、サーバ１０２は、音声歪みに対してロバストな特徴抽出モデルを期待する。従って、サーバ１０２は、特徴抽出モデルに対して様々な程度に歪められた３０６などの音声信号の第１データセットを準備する。第１データセット内の音声信号は、異なる持続時間又は周波数帯域に影響する汚染を含み得る。３０４などのクリーンな音声信号にそのような汚染を導入するアプローチの例は、Ravanelli他による「Multi-task self-supervised learning for Robust Speech Recognition」というタイトルの問題に依存しない音声エンコーダ（problem-agnostic speech encoder （PASE+））の改良版に関する論文に見られる。第１データセット内の音声信号は、３２kbpsと２５６kbpsの間のビットレートなどの異なるビットレートを有する線形予測コーディング（LPC）又は修正離散コサイン変換（MDCT）などの異なるコーデックに従うこともできる。トレーニングの目的で、異なるビットレートを有するAdvanced Audio Coding（AAC）コーデックを使用して音声信号を処理することができる。ビットレートは、１６kbpsから６４kbpsまでである。

４．１．２．データのダウンサンプリング

デジタル音声に対する４８kHzのサンプリングレートは、今日のマルチメディア通信では一般的である。音素やピッチなどの音響的及び言語的コンテンツが主に低周波領域に存在するという合理的な仮定に基づいて、特徴抽出モデルのトレーニングにはより低いサンプリングレートを使用することができる。より低いサンプリングレートを使用することで、必要なデータの量を減らすことができ、必要なデータの見つけやすさを向上させることもできる。更に、この仮定には、低周波領域が一般的に８kHz未満であることが含まれる。

従って、幾つかの実施形態では、サーバ１０２は、より低いサンプリングレートとして、８kHzと４８kHzの間、例えば１６kHzを選択する。次に、サーバ１０２は、１６kHzの音声信号を第１データセットに含め、第１データセットを第１トレーニングセットとして使用する。代替として、サーバ１０２は、第１データセット内の４８kHzの音声信号をダウンサンプリングして、第１データセットよりもはるかに大きい、より低いサンプリングレートの第１トレーニングセットを得る。特徴抽出モデルは、主により低いサンプリングレートのトレーニングデータから構築されるが、特徴抽出モデルは、以下で更に説明するように、元のより高いサンプリングレートの実際のデータからの特徴で動作し、従ってそれを抽出するために使用される。実験は、１６kHzのサンプリングレートの第１トレーニングセットから構築された特徴抽出モデルが、４８kHzのクリーンな音声信号を高品質で復元できることを示す。

４．１．３．特徴抽出モデル

幾つかの実施形態では、サーバ１０２は、第１トレーニングセットから３２０などの特徴抽出モデルを構築する。サーバ１０２は、Ravanelli他の論文に記載されているように、PASE+モデルを構築することができる。PASE+は、自己教師あり学習アプローチを使用して、音素又は話者の感情などの様々なレベルで音声情報を抽出する。PASE+は、波形のような歪んだ音声信号を入力として受け取り、対応するクリーンな音声信号を特徴付けることが期待される高次元特徴ベクトルのセットを出力として生成する深層ニューラルネットワークであり、各特徴は歪んだ音声信号の１つのフレームに対するものである。例えば、各フレームは、４８kHzのサンプリングレートに対して４８０個のサンプルを有する１０msの長さであってもよい。従って、サーバ１０２は、PASE+モデルを構築するための第１トレーニングセットで各歪んだ音声信号を使用し、歪みのない対応するクリーンな音声を特徴付ける３０８のような特徴ベクトルセットを生成することを目標とする。

具体的には、PASE+は、歪んだ音声信号のフレームから特徴ベクトルとして特徴のグループを抽出するエンコーダ（時間ステップ間の長期依存性を学習するための準リカレントニューラルネットワークを含む）を含む。PASE+はまた、多数のワーカを含む。各ワーカは、既知の音声特性に対応する自己教師あり信号変換タスクを達成する小さなフィードフォワードニューラルネットワークである。例えば、信号変換タスクがMFCCに対応する場合、ワーカは歪んだ音声信号に対応するクリーンな音声信号から「目標」MFCC値を構築し（従って、例えば３０４から３２０への流れ）、目標MFCC値から現在の特徴ベクトルの損失を決定する。信号変換タスクは、グランドトゥルース（例えば、クリーンな音声信号）の分類やラベルが個別に与えられていないが、グランドトゥルースの特性はグランドトゥルースから自動的に計算され、計算される及び計算できるという点で、教師ありというよりは自己教師ありと考えられる。現在の特徴ベクトルの全損失は、すべてのワーカによって決定された損失に基づいて計算される。

実験結果は、クリーンな音声信号に導入された歪みが、トレーニングデータを更なる多様性により増加させ、歪み不変でロバストな特徴を学習するためにトレーニングデータを更に強制的に雑音除去する傾向があることを示している。歪み信号の第１トレーニングセットを使用して、ワーカはエンコーダでトレーニングされ、エンコーダの重みを決定する。セクション４．３で更に議論されるように、実際の音声信号が与えられると、ロバストな特徴の対応するグループを得るために、トレーニングされたエンコーダを実行する必要があるだけである。

幾つかの実施形態では、ワーカのタスクは、フィルタバンク、韻律（基本周波数、有声／無声確率、ゼロ交差率、及びエネルギの補間対数）、対数Melスペクトログラム、又はMFCCなどの信号処理特徴、又はRavanelli他の論文でも議論されているように、ローカル情報最大又はグローバル情報最大などの話者特性を捕捉するために使用されるサンプリング戦略に関連することができる。このようにして、PASE+は、低レベルのスペクトル情報から高レベルの話者情報まで、様々なレベルの音声抽象化の深くコンパクトな表現を提供する。

幾つかの実施形態では、サーバ１０２はPASE+モデルの代わりに代替特徴抽出モデルを構築する。第１トレーニングセットを利用するために、代替特徴抽出モデルは、様々なレベルで音声情報を抽出する自己教師あり又は教師なし学習アプローチも採用する。代替特徴抽出モデルの一例は、ポジティブサンプルの符号化に依存する対照損失関数を使用する対照予測コーディング（contrastive predictive coding （CPC））である。

４．２．音声強化モデルのトレーニング

４．２．１．データ収集

幾つかの実施形態では、サーバ１０２は、今日のマルチメディア通信で一般的なサンプリングレートから開始する。サーバ１０２は、音声強化モデルのために様々な程度に汚染された３３４などの音声信号の第２データセットを準備する。第２データセット内の音声信号は、異なるビットレートの異なるコーデックに従うこともできる。次に、サーバ１０２は、第２データセット内の音声信号をダウンサンプリングして、１６kHzなどのより低いサンプリングレートのダウンサンプリングされたデータセットを得る。次に、サーバは、トレーニングされた特徴抽出モデルを通じてダウンサンプリングされたデータセットを実行し、音声強化モデルのための３３８などの特徴ベクトルセットの第２トレーニングセットを得る。

４．２．２．音声強化モデル

幾つかの実施形態では、サーバ１０２は、第２トレーニングセットから３５０などの音声強化モデルを構築する。サーバ１０２は、Kalchbrenner他による「Efficient Neural Audio Synthesis」というタイトルの論文に記載されているように、WaveRNNモデルを構築することができる。WaveRNNは、シーケンシャルプロセスを使用して、高品質のサンプルを効率的に生成する。WaveRNNは、元の音声信号の各フレームについて１つ、対応するクリーンな音声信号を特徴付けることが期待される特徴ベクトルセットを入力として取り、クリーンな音声信号に対応することが期待される対応する改善された音声信号を出力として生成する深層ニューラルネットワークである。従って、サーバ１０２は、特徴抽出モデルによって歪んだ音声信号から生成された特徴ベクトルセットを使用して、各歪んだ音声信号について、３４０などの歪んだ音声信号に存在する歪みのない改善された音声信号を得ることを目標として、WaveRNNモデルを構築することができる。

具体的には、WaveRNNは、条件付きネットワークとリカレントネットワークを含む。条件付きネットワークは、並列に動作する残差ネットワークとアップサンプリングネットワークの畳み込みネットワークのペアで構成される。学習された変換のブロックを通じて拡張（dilation）が増加する残差ネットワークは、特徴ベクトルセットを潜在表現にマッピングすることができ、その後、後続のリカレントネットワークへの入力として使用される複数の部分に分割される。同時に、特徴ベクトルセットはアップサンプリングネットワークを通過して、元の音声信号の時間的サイズに一致する特徴ベクトルの第２セットを生成する。これら２つの畳み込みネットワークの出力は、連結されて出力特徴ベクトルセットを形成し、その後、リカレントネットワークに供給される。

全結合（fully connected （FC））層、単一方向ゲート付き再帰ユニット（unidirectional gated recurrent units （GRU））、及びソフトマックス（softmax）関数を含むリカレントネットワークは、一度に１つのサンプルで改善された音声信号を生成する。各出力特徴ベクトルは、一般に複数のサンプルのフレームに対応するため、改善された音声信号の対応するサンプルを生成する際に同じ出力特徴ベクトルが使用される。改善された音声信号の現在のサンプルごとに、出力特徴ベクトルと既に生成された以前のサンプルは、ソフトマックス活性化で終了する学習済み変換のブロックを通過する前に連結され、現在のサンプルについての各可能な値の確率を計算し、次に、この確率を使用して、クリーンな音声サンプルのクロスエントロピー損失を計算する。

前のセクションで説明したように、特徴ベクトルセットは、歪んだ音声信号から生成することができるが、特徴ベクトルセットは、クリーンな音声信号を特徴付けることが期待される。幾つかの実施形態では、結果として得られるWaveRNNモデルの精度を高めるために、改善された音声信号の現在のサンプルごとに、出力特徴ベクトルと、改善された音声信号の以前のサンプルに対応する既知のクリーンな音声信号の以前のサンプルとが、ソフトマックス活性化で終了する学習済み変換のブロックを通過する前に連結され（従って、例えば３３２から３５０への流れ）、現在のサンプルについての各可能な値の確率を計算する。次に、この確率を使用して、クリーンな音声サンプルのクロスエントロピー損失を計算し、モデルパラメータ値を更新する。

幾つかの実施形態では、元の音声信号は４８kHzのサンプリングレートであり、特徴ベクトルセットは、１６kHzのサンプリングレートのダウンサンプリングデータから特徴抽出モデルによって生成され、音声強化ネットワークは、再び４８kHzのサンプリングレートの改善された音声信号を生成する。

幾つかの実施形態では、サーバ１０２は、WaveRNNモデルの代わりに代替音声強化モデルを構築する。第２トレーニングセットを利用するために、代替音声強化モデルは、クリーンな音声信号を復元するための生成モデルでもある。代替音声強化モデルの例には、LPCNet、WaveNet、又はSampleRNNが含まれる。

幾つかの実施形態では、特徴抽出モデルと音声強化モデルを別々にトレーニングする代わりに、サーバ１０２は２つのモデルを一緒にトレーニングする。次に、３０６と３３６などの別々のデータセットを潜在的に使用する代わりに、２つのモデルをトレーニングするために、特徴抽出モデル３２０の出力３０８をトレーニング中に生成深層モデル３５０に直接流し込むことができ、両方のモデルのパラメータを同じトレーニングプロセス中に調整することができる。このようにして、抽出された特徴を更に精緻化して、関心のあるアプリケーション、この場合はクリーンな音声信号を復元すること、に更に適合させることができる。

４．３．深層学習モデルの実行

幾つかの実施形態では、新たな汚染されたコーディングされた音声信号が与えられると、サーバ１０２は、PASE+モデルを使用して特徴ベクトルセットを生成する。新たな音声信号が、今日のマルチメディア通信で一般的なサンプリングレート（例えば、４８kHz）である場合、サーバ１０２は、新たな音声信号を、特徴抽出モデルを実行する前に特徴抽出モデルをトレーニングするために使用される、より低いサンプリングレート、例えば１６kHzにダウンサンプリングする。その後、サーバ１０２は、特徴ベクトルセットから、WaveRNNモデルを使用して改善された信号を生成する。この場合、改善された音声信号の現在のサンプルを生成する際に使用されるサンプルは、改善された音声信号に対して生成された以前のサンプルである。生成プロセスは、以前に生成されたサンプルに基づいて現在のサンプルの予測された分布からランダムにサンプリングすることにより、自己回帰である。

幾つかの実施形態では、上述したように、所与の新しい汚染されたコーディングされた音声信号に対して、改善された音声信号を生成する際に、PASE+モデルを代替の特徴抽出モデルに置き換えることができ、又はWaveRNNモデルを代替の音声強化モデルに置き換えることができる。

幾つかの実施形態では、サーバ１０２は、改善された音声信号を、改善された音声信号を更に処理することができるオーディオプレイヤ又は他のコンピューティング装置などの出力装置に送信する。

５．例示的な処理

図４は、ここに開示された幾つかの実施形態による音声管理コンピュータシステムにより実行される例示的なプロセスを示している。図４は、明確な例を示すために簡略化された概略形式で示されており、他の実施形態は、種々の方法で結合されたより多くの、より少ない、又は異なる要素を含み得る。図４は各々、実行されると、本明細書に記載された機能的改善及び技術的進歩を実行させる、１つ以上のコンピュータプログラム又は他のソフトウェア要素を実施するために使用することができるアルゴリズム、計画又は概要を開示することを意図している。更に、本明細書のフロー図は、当業者が、蓄積されたスキル及び知識を使用してコーディングする又は実装することを計画しているソフトウェアプログラムの基礎を形成するアルゴリズム、計画、又は仕様について互いに通信するために通常使用するのと同じ詳細レベルで記載されている。

ステップ４０２で、サーバ１０２は、第１フレームセットを含むコーディングされたオーディオデータを取得するようにプログラムされる。

幾つかの実施形態では、サーバ１０２は、元のコーディングされたデータを受信し、元のコーディングされたデータをダウンサンプリングして、コーディングされたオーディオデータを得るようにプログラムされる。元のコーディングされたデータは、４８kHzのサンプリングレートに対応することができ、コーディングされたオーディオデータは、１６kHzのサンプリングレートに対応することができる。コーディングされたオーディオデータは、ノイズ又はリバーブを含むことができる。

ステップ４０４で、サーバ１０２は、ニューラルネットワークを含む自己教師あり深層学習モデルを使用して、コーディングされたオーディオデータから特徴ベクトルセットを抽出するようにプログラムされ、特徴ベクトルセットは、第１フレームセットから各々抽出される。

幾つかの実施形態では、自己教師あり深層学習モデルは、エンコーダ及び複数のワーカを含む。複数のワーカのうちの各ワーカは、個別の音声特性に関連する自己教師ありタスクを実行する。複数のワーカのうちの１つのワーカは、エンコーダによって生成された表現のプールからアンカーサンプル、ポジティブサンプル、及びネガティブサンプルを引き出す、事前定義されたサンプリング戦略に関連する自己教師ありタスクを実行することができる。

ステップ４０６で、サーバ１０２は、ニューラルネットワークを含む生成深層学習モデルを使用して、特徴ベクトルセットから第２フレームセットを含む強化音声データを生成するようプログラムされ、強化音声データは、コーディングされたオーディオデータ内のクリーンな音声に対応する。

幾つかの実施形態では、生成深層学習モデルは、条件付きネットワーク及びリカレントネットワークを含む。条件付きネットワークは、毎回複数のフレームを考慮することによって、特徴ベクトルセットを出力特徴ベクトルセットに変換する。リカレントネットワークは、一度に１つのサンプルで、出力特徴ベクトルセットから強化音声データを生成し、第２フレームセットの各フレームは複数のサンプルを含む。リカレントネットワークは、特徴ベクトルセットの対応する特徴ベクトルと前に生成された強化音声データのサンプルとを使用して、強化音声データの各フレームの新しいサンプルを生成することができる。

幾つかの実施形態では、サーバ１０２は、歪ませられた、所定のサンプリングレートに対してダウンサンプリングされた音声信号のトレーニングセットを取得するようにプログラムされる。サーバは、歪ませられた、ダウンサンプリングされた音声信号のトレーニングセットを使用して、自己教師あり深層学習モデルを構築するように更に構成される。

幾つかの実施形態では、サーバ１０２は、コーディングされ、ダウンサンプリングされた音声信号に対応する所定のサンプリングレートのクリーンな音声信号の第２データセットを取得するようにプログラムされる。サーバはまた、第２データセットのコピーを、録音環境、録音装置、又はコーディングアルゴリズムによって引き起こされる１つ以上のアーティファクトで歪めて、第１トレーニングセットを取得するように構成される。サーバは更に、第２データセットも使用して自己教師あり深層学習モデルを構築するように構成される。

幾つかの実施形態では、サーバ１０２は、コーディングされた、所定のサンプリングレートに対してダウンサンプリングされた音声信号のデータセットを取得するようにプログラムされる。サーバ１０２は更に、自己教師あり深層学習モデルを使用してデータセットから特徴ベクトルセットのトレーニングセットを生成するように構成される。更に、サーバ１０２は、特徴ベクトルセットのトレーニングセットを使用して生成深層学習モデルを構築するように構成される。

幾つかの実施形態では、サーバ１０２は、コーディングされ、ダウンサンプリングされた音声信号に対応する所定のサンプリングレートのクリーンな音声信号の第３データセットを取得するようにプログラムされる。サーバは更に、第３データセットも使用して生成深層学習モデルを構築するように構成される。

幾つかの実施形態では、サーバ１０２は、歪ませられた、所定のサンプリングレートに対してダウンサンプリングされた音声信号のデータセットを取得し、データセットを使用して生成深層学習モデルに接続された自己教師あり深層学習モデルを含む結合モデルをトレーニングするようプログラムされる。

開示の実施形態の種々の態様は、以下に列挙する例示的な実施形態（enumerated example embodiment：EEE）から明らかであり得る。

（ＥＥＥ１）コーディングされたオーディオデータからクリーンな音声を復元するコンピュータ実施方法であって、
第１フレームセットを含むコーディングされたオーディオデータを取得するステップと、
ニューラルネットワークを含む自己教師あり深層学習モデルを使用して、前記コーディングされたオーディオデータから特徴ベクトルセットを抽出するステップであって、前記特徴ベクトルセットは、前記第１フレームセットから各々抽出される、ステップと、
ニューラルネットワークを含む生成深層学習モデルを使用して、前記特徴ベクトルセットから第２フレームセットを含む強化音声データを生成するステップであって、前記強化音声データは、前記コーディングされたオーディオデータ内のクリーンな音声に対応する、ステップと、
を含む方法。

（ＥＥＥ２）元のコーディングされたデータを受信するステップを更に含み、前記取得するステップは、前記元のコーディングされたデータをダウンサンプリングするステップを含む、請求項１に記載のコンピュータ実施方法。

（ＥＥＥ３）前記元のコーディングされたデータは４８kHzのサンプリングレートに対応し、前記コーディングされたオーディオデータは１６kHzのサンプリングレートに対応する、請求項２に記載のコンピュータ実施方法。

（ＥＥＥ４）前記コーディングされたオーディオデータはノイズ又はリバーブを含む、請求項１～３のいずれかに記載のコンピュータ実施方法。

（ＥＥＥ５）前記自己教師あり深層学習モデルは、エンコーダ及び複数のワーカを含み、前記複数のワーカのうちの各ワーカは、別個の音声特性に関連する自己教師ありタスクを実行し、前記複数のワーカのうちのワーカは、前記エンコーダによって生成された表現のプールからアンカーサンプル、ポジティブサンプル、及びネガティブサンプルを引き出す、事前定義されたサンプリング戦略に関連する自己教師ありタスクを実行する、請求項１～４のいずれかに記載のコンピュータ実施方法。

（ＥＥＥ６）前記生成深層学習モデルは、条件付きネットワーク及びリカレントネットワークを含み、前記条件付きネットワークは、毎回複数のフレームを考慮することによって前記特徴ベクトルセットを出力特徴ベクトルセットに変換し、前記リカレントネットワークは、前記出力特徴ベクトルセットから一度に１サンプルずつ前記強化音声データを生成し、前記第２フレームセットの各フレームは、複数のサンプルを含む、請求項１～５のいずれかに記載のコンピュータ実施方法。

（ＥＥＥ７）所定のサンプリングレートよりも低い特定のサンプリングレートの歪んだ音声信号のトレーニングセットを取得するステップと、
前記歪んだ音声信号のトレーニングセットを使用して前記自己教師あり深層学習モデルを構築するステップと、
を更に含む請求項１～６のいずれかに記載のコンピュータ実施方法。

（ＥＥＥ８）所定のサンプリングレートに対してダウンサンプリングされた音声信号のデータセットを取得するステップと、
前記自己教師あり深層学習モデルを使用して前記データセットから特徴ベクトルセットのトレーニングセットを生成するステップと、
前記特徴ベクトルセットのトレーニングセットを使用して前記生成深層学習モデルを構築するステップと、
を更に含む請求項１～７のいずれかに記載のコンピュータ実施方法。

（ＥＥＥ９）所定のサンプリングレートよりも低い特定のサンプリングレートの歪んだ音声信号のデータセットを取得するステップと、
前記データセットを使用して前記生成深層学習モデルに接続された前記自己教師あり深層学習モデルを含む結合モデルをトレーニングするステップと、
を更に含む請求項１～８のいずれかに記載のコンピュータ実施方法。

（ＥＥＥ１０）コーディングされたオーディオデータからクリーンな音声を復元するためのシステムであって、
メモリと、
前記メモリに結合され、請求項１～９のいずれかに記載のコンピュータ実施方法を実行するように構成された１つ以上のプロセッサと、
を含むシステム。

（ＥＥＥ１１）コンピュータ実行可能命令を格納しているコンピュータ可読非一時的記憶媒体であって、前記コンピュータ実行可能命令は、実行されるとコーディングされたオーディオデータからクリーンな音声を復元する方法を実施し、前記方法は、
所定のサンプリングレートに対してダウンサンプリングされたコーディングされた音声信号のデータセットを取得するステップと、
前記自己教師あり深層学習モデルを使用して前記データセットから特徴ベクトルセットのトレーニングセットを生成するステップと、
前記特徴ベクトルセットのトレーニングセットを使用して生成深層学習モデルを構築するステップと、
前記自己教師あり深層学習モデルを使用して、コーディングされたオーディオデータから特徴ベクトルセットを抽出するステップと、
前記生成深層学習モデルを使用して、前記特徴ベクトルセットから強化音声データを生成するステップと、
を含む、コンピュータ可読非一時的記憶媒体。

（ＥＥＥ１２）前記方法は、
前記所定のサンプリングレートよりも低い特定のサンプリングレートのコーディングされた音声信号の第１トレーニングセットを取得するステップと、
前記第１トレーニングセットから、前記自己教師あり深層学習モデルを生成するステップと、
を更に含む、請求項１１に記載のコンピュータ可読非一時的記憶媒体。

（ＥＥＥ１３）前記方法は、
前記コーディングされた音声信号に対応する特定のサンプリングレートのクリーンな音声信号の第２データセットを取得するステップと、
前記第２データセットのコピーを、録音環境、録音装置、又はコーディングアルゴリズムによって引き起こされる１つ以上のアーティファクトで歪めて、前記第１トレーニングセットを取得するステップと、
を更に含み、
前記生成するステップは、前記第２データセットを更に使用して実行される、請求項１２に記載のコンピュータ可読非一時的記憶媒体。

（ＥＥＥ１４）前記方法は、前記所定のサンプリングレートの元のコーディングされたデータを受信するステップを更に含み、
前記抽出するステップは、前記元のコーディングされたデータをダウンサンプリングするステップを含む、請求項１１～１３のいずれかに記載のコンピュータ可読非一時的記憶媒体。

（ＥＥＥ１５）前記ダウンサンプリングされたコーディングされた音声信号のデータセットはノイズ又はリバーブを含み、前記コーディングされた音声データもノイズ又はリバーブを含む、請求項１１～１４のいずれかに記載のコンピュータ可読非一時的記憶媒体。

（ＥＥＥ１６）前記自己教師あり深層学習モデルは、エンコーダ及び複数のワーカを含み、前記複数のワーカのうちの各ワーカは、別個の音声特性に関連する自己教師ありタスクを実行し、前記複数のワーカのうちのワーカは、前記エンコーダによって生成された表現のプールからアンカーサンプル、ポジティブサンプル、及びネガティブサンプルを引き出す、事前定義されたサンプリング戦略に関連する自己教師ありタスクを実行する、請求項１１～１５のいずれかに記載のコンピュータ可読非一時的記憶媒体。

（ＥＥＥ１７）前記コーディングされた音声データは、第１フレームセットを含み、前記特徴ベクトルセットは、前記第１フレームセットから各々抽出され、前記強化音声データは、第２フレームセットを含む、請求項１１～１６のいずれかに記載のコンピュータ可読非一時的記憶媒体。

（ＥＥＥ１８）前記生成深層学習モデルは、条件付きネットワークとリカレントネットワークとを含み、前記条件付きネットワークは、複数のフレームを毎回考慮することによって、前記特徴ベクトルセットのうちの特徴ベクトルセットを出力特徴ベクトルセットに変換し、前記リカレントネットワークは、一度に１つのサンプルずつ出力特徴ベクトルセットから前記強化音声データを生成し、前記第２フレームセットの各フレームは、複数のサンプルを含む、請求項１７に記載のコンピュータ可読非一時的記憶媒体。

（ＥＥＥ１９）前記リカレントネットワークは、前記特徴ベクトルセットの対応する特徴ベクトルと前に生成された前記強化音声データのサンプルとを使用して、前記強化音声データの各フレームの新しいサンプルを生成する、請求項１８に記載のコンピュータ可読非一時的記憶媒体。

（ＥＥＥ２０）前記方法は、
前記ダウンサンプリングされたコーディングされた音声信号に対応する前記所定のサンプリングレートのクリーンな音声信号の第２データセットを取得するステップを更に含み、
前記構築するステップは、前記第２データセットを使用して更に実行される、請求項１１～１９のいずれかに記載のコンピュータ可読非一時的記憶媒体。

６．ハードウェア実装

一実施形態によると、本願明細書に記載される技術は、少なくとも１つのコンピューティング装置により実施される。技術は、パケットデータネットワークのようなネットワークを用いて接続される少なくとも１つのサーバコンピュータ及び／又は他のコンピューティング装置の組合せを用いて、全体的に又は部分的に実施されてよい。コンピューティング装置は、技術を実行するためにハード結線されてよく、又は技術を実行するために永久的にプログラムされる少なくとも１つの特定用途向け集積回路（ASIC）又はフィールドプログラマブルゲートアレイ（FPGA）のようなデジタル電子装置を含んでよく、又はファームウェア、メモリ、他の記憶装置、若しくは組合せ内のプログラム命令に従って技術を実行するためにプログラムされる少なくとも１つの汎用ハードウェアプロセッサを含んでよい。そのようなコンピューティング装置は、記載の技術を達成するためのカスタムプログラムを有するハード結線ロジック、ASIC、又はFPGAを結合してもよい。コンピューティング装置は、サーバコンピュータ、ワークステーション、パーソナルコンピュータ、ポータブルコンピュータシステム、ハンドヘルド装置、モバイルコンピューティング装置、ウェアラブル装置、身体装着又は埋め込み型装置、スマートフォン、スマート家電、インターネットワーキング装置、ロボット若しくは無人地上若しくは空中車両のような自律若しくは準自律装置、記載された技術を実施するためにハード結線及び／又はプログラムロジックを組み込む任意の他の電子装置、データセンタ内の１つ以上の仮想コンピューティングマシン若しくはインスタンス、及び／又はサーバコンピュータ及び／又はパーソナルコンピュータのネットワーク、であってよい。

図５は、実施形態が実装され得る例示的なコンピュータシステムを示すブロック図である。図５の例では、コンピュータシステム５００及びハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組合せで開示の技術を実施するための命令は、概略的に、例えばボックス及び円として、コンピュータアーキテクチャ及びコンピュータシステム実装に関する通信について、本開示の関連する当業者により一般的に使用される同じ詳細レベルで示される。

コンピュータシステム５００は、電子信号パスを介してコンピュータシステム５００のコンポーネントの間で情報及び／又は命令を通信するためのバス及び／又は他の通信メカニズムを含んでよい入力／出力（I/O）サブシステム５０２を含む。I/Oサブシステム５０２は、I/O制御部、メモリ制御部、及び少なくとも１つのI/Oポートを含んでよい。電子信号パスは、図中に、例えば線、一方向矢印、又は両方向矢印として概略的に示される。

少なくとも１つのハードウェアプロセッサ５０４は、情報及び命令を処理するためにI/Oサブシステム５０２に接続される。ハードウェアプロセッサ５０４は、例えば、汎用マイクロプロセッサ又はマイクロコントローラ及び／又は埋め込み型システム又はグラフィック処理ユニット（GPU）又はデジタル信号プロセッサ又はARMプロセッサのような専用マイクロプロセッサを含んでよい。プロセッサ５０４は、統合算術論理演算ユニット（arithmetic logic unit （ALU））を含んでよく、又は別個のALUに結合されてよい。

コンピュータシステム５００は、メインメモリのようなメモリ５０６の１つ以上のユニットを含み、これは、プロセッサ５０４により実行されるべきデータ及び命令を電子的にデジタル方式で格納するために、I/Oサブシステム５０２に接続される。メモリ５０６は、様々な形式のランダムアクセスメモリ（RAM）又は他の動的記憶装置のような揮発性メモリを含んでよい。メモリ５０６は、プロセッサ５０４により実行されるべき命令の実行中に一時的変数又は他の中間的情報を格納するために使用されてもよい。そのような命令は、プロセッサ５０４にアクセス可能な非一時的コンピュータ可読記録媒体に格納されるとき、コンピュータシステム５００を、命令の中で指定された動作を実行するようカスタマイズされた専用の機械にすることができる。

コンピュータシステム５００は、プロセッサ５０４のための情報及び命令を格納するためにI/Oサブシステム５０２に接続された読み出し専用メモリ（ROM）５０８又は他の静的記憶装置のような不揮発性メモリを更に含む。ROM５０８は、消去可能PROM（EPROM）又は電気的消去可能PROM（EEPROM）のような様々な形式のプログラマブルROM（PROM）を含んでよい。永久記憶装置５１０のユニットは、FLASHメモリ又は固体記憶のような様々な形式の不揮発性RAM（NVRAM）、磁気ディスク、又はCD-ROM又はDVD-ROMのような光ディスクを含んでよく、情報及び命令を格納するためにI/Oサブシステム５０２に接続されてよい。記憶装置５１０は、プロセッサ５０４により実行されるとコンピュータにより実施される方法を実行させて本願明細書の技術を実行させる命令及びデータを格納するために使用されてよい不揮発性コンピュータ可読媒体の例である。

メモリ５０６、ROM５０８、又は記憶装置５１０内の命令は、モジュール、メソッド、オブジェクト、関数、ルーチン、又は呼び出しとして組織化される１つ以上の命令セットを含んでよい。命令は、１つ以上のコンピュータプログラム、オペレーティングシステムサービス、又はモバイルアプリを含むアプリケーションプログラムとして組織化されてよい。命令は、オペレーティングシステム及び／又はシステムソフトウェア；マルチメディア、プログラミング、又は他の機能をサポートする１つ以上のライブラリ；TCP/IP、HTTP、又は他の通信プロトコルを実装するためのデータプロトコル命令又はスタック；HTML、XML、JPEG、MPEG、又はPNGを用いてコーディングされたファイルを解釈及びレンダリングするためのファイル処理命令；グラフィックユーザインタフェース（GUI）、コマンドラインインタフェース、又はテキストユーザインタフェースのためにコマンドをレンダリング又はインタープリットするためのユーザインタフェース命令；オフィススーツ、インターネットアクセスアプリケーション、設計及び製造アプリケーション、グラフィックアプリケーション、オーディオアプリケーション、ソフトウェア工学アプリケーション、教育アプリケーション、ゲーム又は種々のアプリケーションのようなアプリケーションソフトウェアを含んでよい。命令は、ウェブサーバ、ウェブアプリケーションサーバ、又はウェブクライアントを実装してよい。命令は、プレゼンテーション層、アプリケーション層、及び構造化クエリ言語（SQL）又はNoSQL、オブジェクトストア、グラフデータベース、フラットファイルシステム、又は他のデータ記憶を用いる関係型データベースシステムのようなデータ記憶層として組織化されてよい。

コンピュータシステム５００は、I/Oサブシステム５０２を介して、少なくとも１つの出力装置５１２に接続されてよい。一実施形態では、出力装置５１２は、デジタルコンピュータディスプレイである。種々の実施形態で使用され得るディスプレイの例は、タッチスクリーンディスプレイ又は発光ダイオード（LED）ディスプレイ又は液晶ディスプレイ（LCD）又は電子ペーパディスプレイを含む。コンピュータシステム５００は、ディスプレイ装置の代替として又は追加で他の種類の出力装置５１２を含んでよい。他の種類の出力装置５１２の例は、プリンタ、チケットプリンタ、プロッタ、プロジェクタ、音声カード又はビデオカード、スピーカ、ブザー、又は圧電素子又は他の可聴装置、ランプ又はLED又はLCDインジケータ、ハプティック装置、アクチュエータ又はサーボを含む。

少なくとも１つの入力装置５１４は、信号、データ、コマンド選択、又はジェスチャをプロセッサ５０４に通信するためにI/Oサブシステム５０２に接続される。入力装置５１４の例は、タッチスクリーン、マイクロフォン、静止画又は動画デジタルカメラ、英数字及び他のキー、キーパッド、キーボード、グラフィックタブレット、画像スキャナ、ジョイスティック、クロック、スイッチ、ボタン、ダイヤル、スライド、及び／又は力センサ、動きセンサ、熱センサ、加速度計、ジャイロスコープ、慣性測定ユニット（IMU）センサのような種々の種類のセンサ、及び／又はセルラ若しくはWi-Fi、無線周波数（RF）若しくは赤外線（IR）トランシーバ及び全地球測位システム（GPS）トランシーバのような無線のような種々の種類のトランシーバを含む。

別の種類の入力装置は、入力機能の代替として又は追加で、ディスプレイスクリーン上のグラフィカルインタフェース内のナビゲーションのようなカーソル制御又は他の児童制御機能を実行し得る制御装置５１６である。制御装置５１６は、プロセッサ５０４に方向情報及びコマンド選択を通信するための、及びディスプレイ５１２上でカーソルの動きを制御するための、タッチパッド、マウス、トラックボール、又はカーソル方向キーであってよい。入力装置は装置が平面内の位置を指定できるようにする、２軸、つまり第１軸（例えば、x）と第２軸（例えば、y）における少なくとも２つの自由度を有してよい。別の種類の入力装置は、ジョイスティック、ワンド、コンソール、ステアリングウィール、ペダル、ギアシフト機構、又は他の種類の制御装置のような有線、無線、又は光制御装置である。入力装置５１４は、ビデオカメラ及び深さセンサのような複数の異なる入力装置の組合せを含んでよい。

別の実施形態では、コンピュータシステム５００は、出力装置５１２、入力装置５１４、及び制御装置５１６のうちの１つ以上が省略される、モノのインターネット（IoT）装置を含んでよい。或いは、そのような実施形態では、入力装置５１４は、１つ以上のカメラ、動き検出器、サーモメータ、マイクロフォン、地震検出器、他のセンサ若しくは検出器、測定装置又はエンコーダを含んでよく、出力装置５１２は、シングルラインLED若しくはLCDディスプレイのような専用ディスプレイ、１つ以上のインジケータ、ディスプレイパネル、メータ、バルブ、ソレノイド、アクチュエータ又はサーボを含んでよい。

コンピュータシステム５００がモバイルコンピューティング装置であるとき、入力装置５１４は、複数のGPS衛星に対して三角測量し、地理的位置又はコンピュータシステム５００の地球物理学上の位置の緯度経度値のような位置データを決定し生成できるGPSモジュールに接続される全地球測位システム（GPS）受信機を含んでよい。出力装置５１２は、位置報告パケット、通知、パルス若しくはハートビート信号、又はホスト５２４若しくはサーバ５３０に向けられる単独で若しくは他の特定用途向けデータと組合せてコンピュータシステム５００の位置を指定する他の循環データ送信を生成するための、ハードウェア、ソフトウェア、ファームウェア、及びインタフェースを含んでよい。

コンピュータシステム５００は、カスタマイズされたハード結線ロジック、少なくとも１つのASIC若しくはFPGA、ロードされコンピュータシステムと組み合わせて使用され若しくは実行されると、コンピュータシステムを専用機械として動作させる又はそうするようプログラムするファームウェア及び／又はプログラム命令若しくはロジックを用いて、本願明細書に記載された技術を実施してよい。一実施形態によると、本願明細書に記載の技術は、プロセッサ５０４がメインメモリ５０６に含まれる少なくとも１つの命令の少なくとも１つのシーケンスを実行することに応答して、コンピュータシステム５００により実行されてよい。そのような命令は、記憶装置５１０のような別の記憶媒体からメインメモリ５０６に読み込まれてよい。メインメモリ５０６に含まれる命令シーケンスの実行は、プロセッサ５０４に、本願明細書に記載の処理ステップを実行させる。代替の実施形態では、ハード結線回路が、ソフトウェア命令の代わりに又はそれと組合せて使用されてよい。

用語「記憶媒体」は、本願明細書で使用されるとき、機械を特定の方式で動作させるデータ及び／又は命令を格納する任意の非一時的媒体を表す。そのような記憶媒体は、不揮発性媒体及び／又は揮発性媒体を含んでよい。不揮発性媒体は、例えば、記憶装置５１０のような光又は磁気ディスクを含む。揮発性媒体は、メモリ５０６のような動的メモリを含む。一般的形式の記憶媒体は、例えば、ハードディスク、固体ドライブ、フラッシュドライブ、磁気データ記憶媒体、任意の光又は物理データ記憶媒体、メモリチップ、等を含んでよい。

記憶媒体は、伝送媒体とは異なるが、それと関連して使用されてよい。伝送媒体は、記憶媒体の間で情報を転送する際に関連する。例えば、伝送媒体は、同軸ケーブル、銅線、及び光ファイバ、を含み、I/Oサブシステム５０２のバスを含むワイヤを含む。伝送媒体は、無線波及び赤外線データ通信の間に生成されるような音響又は光波の形式も取ることができる。

種々の形式の媒体は、少なくとも１つの命令の少なくとも１つのシーケンスを実行のためにプロセッサ５０４に伝達する際に関連し得る。例えば、命令は、最初に、リモートコンピュータの磁気ディスク又は固体ドライブ上で伝達されてよい。リモートコンピュータは、命令を自身の動的メモリにロードし、命令を光ファイバ又は同軸ケーブル又は電話線のような通信リンクを介してモデムを用いて送信できる。コンピュータシステム５００のローカルにあるモデム又はルータは、通信リンク上でデータを受信し、該データをコンピュータシステム５００により読み出されるように変換できる。例えば、無線周波数アンテナ又は赤外線検出器のような受信機は、無線又は光信号の中で伝達されるデータを受信でき、適切な回路が、データをI/Oサブシステム５０２に提供でき、例えばデータをバスに置く。I/Oサブシステム５０２は、データをメモリ５０６に伝達し、メモリ５０６から、プロセッサ５０４ｈ命令を読み出し実行する。メモリ５０６により受信された命令は、任意で、プロセッサ５０４による実行の前又は後に記憶装置５１０に格納されてよい。

コンピュータシステム５００は、バス５０２に接続された通信インタフェース５１８も含む。通信インタフェース５１８は、ネットワーク５２２又はインターネット上の公衆若しくは私設クラウドのような少なくとも１つの通信ネットワークに直接若しくは間接に接続されるネットワークリンク５２０に結合する２方向データ通信を提供する。例えば、通信インタフェース５１８は、イーサネットネットワークインタフェース、統合サービスデジタルネットワーク（ISDN）カード、ケーブルモデム、衛星モデム、又は対応するタイプの通信回線、例えばイーサネットケーブル又は任意の種類の金属ケーブル又は光ファイバ回線又は電話回線へのデータ通信接続を提供するモデムであってよい。ネットワーク５２２は、ローカルエリアネットワーク（LAN）、ワイドエリアネットワーク（WAN）、キャンパスネットワーク、インターネットワーク、又はそれらの任意の組み合わせを広く表す。通信インタフェース５１８は、互換性のあるLAN、又はセルラ無線電話無線ネットワーキング標準に従いセルラデータを送信又は受信するために結線されたセルラ無線電話インタフェース、又は衛星無線ネットワーキング標準に従いデジタルデータを送信し又は受信するために結線された衛星無線インタフェースへのデータ通信接続を提供するためにLANカードを含んでよい。任意のそのような実装では、通信インタフェース５１８は、様々なタイプの情報を表すデジタルデータストリームを伝達する信号経路を介して電気、電磁気、又は光信号を送受信する。

ネットワークリンク５２０は、標準的に、例えば、衛星、セルラ、Wi-Fi、又はBLUETOOTH（登録商標）技術を用いて直接に又は少なくとも１つのネットワークを通じて他のデータ装置に、電気、電磁気、又は光データ通信を提供する。例えば、ネットワークリンク５２０は、ネットワーク５２２を通じてホストコンピュータ５２４へ接続を提供してよい。

更に、ネットワークリンク５２０は、ネットワーク５２２を通じて又はインターネットサービスプロバイダ（ISP）５２６により運営される他のコンピュータ装置へインターネットワーキング装置及び／又はコンピュータを介して接続を提供してよい。ISP５２６は、インターネット５２８として表されるワールドワイドパケットデータ通信ネットワークを通じてデータ通信サービスを提供する。サーバコンピュータ５３０は、インターネット５２８に接続されてよい。サーバ５３０は、任意のコンピュータ、データセンタ、ハイパーバイザを有する若しくは有しない仮想マシン若しくは仮想コンピューティングインスタンス、又はDOCKER若しくはKUBERNETESのようなコンテナ化されたプログラムシステムを実行するコンピュータを広く表す。サーバ５３０は、複数のコンピュータ又はインスタンスを使用して実装され、Webサービス要求、HTTPペイロードのパラメータを含むURL（Uniform Resource Locator）文字列、アプリケーションプログラミングインタフェース（API）呼び出し、アプリサービス呼び出し又は他のサービス呼び出しを送信することによってアクセス及び使用される電子デジタルサービスを表してよい。コンピュータシステム５００及びサーバ５３０は、他のコンピュータ、処理クラスタ、サーバファーム、又はタスクを実行するか若しくはアプリケーション若しくはサービスを実行するために協力するコンピュータの他の組織を含む分散コンピューティングシステムの要素を形成し得る。サーバ５３０は、モジュール、メソッド、オブジェクト、関数、ルーチン、又は呼び出しとして組織化される１つ以上の命令セットを含んでよい。命令は、１つ以上のコンピュータプログラム、オペレーティングシステムサービス、又はモバイルアプリを含むアプリケーションプログラムとして組織化されてよい。命令は、オペレーティングシステム及び／又はシステムソフトウェア；マルチメディア、プログラミング、又は他の機能をサポートする１つ以上のライブラリ；TCP/IP、HTTP、又は他の通信プロトコルを実装するためのデータプロトコル命令又はスタック；HTML、XML、JPEG、MPEG、又はPNGを用いてコーディングされたファイルを解釈又はレンダリングするたえのファイルフォーマット処理命令；グラフィックユーザインタフェース（GUI）、コマンドラインインタフェース、又はテキストユーザインタフェースのためにコマンドをレンダリング又はインタープリットするためのユーザインタフェース命令；オフィススーツ、インターネットアクセスアプリケーション、設計及び製造アプリケーション、グラフィックアプリケーション、オーディオアプリケーション、ソフトウェア工学アプリケーション、教育アプリケーション、ゲーム又は種々のアプリケーションのようなアプリケーションソフトウェアを含んでよい。サーバ５３０は、プレゼンテーション層、アプリケーション層、及び構造化クエリ言語（SQL）又はNoSQL、オブジェクトストア、グラフデータベース、フラットファイルシステム、又は他のデータ記憶を用いる関係型データベースシステムのようなデータ記憶層をホスティングするウェブアプリケーションサーバを含んでよい。

コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０、及び通信インタフェース５１８を通じて、プログラムコードを含む、メッセージを送信しデータ及び命令を受信できる。インターネットの例では、サーバ５３０は、インターネット５２８、ISP５２６、ローカルネットワーク５２２、及び通信インタフェース５１８を通じて、アプリケーションプログラムのために必要なコードを送信し得る。受信したコードは、受信され及び／又は記憶装置５１０若しくは後の実行のために他の不揮発性記憶装置に格納されると、プロセッサ５０４により実行されてよい。

本章に記載される命令の実行は、実行中のコンピュータプログラムのインスタンスの形式でプロセスを実装し、プログラムコードとその現在のアクティビティで構成することができる。オペレーティングシステム（OS）によっては、プロセスは、命令を同時に実行する複数の実行スレッドで構成されている場合がある。この文脈では、コンピュータプログラムは命令の受動的な集合であるが、プロセスはそれらの命令の実際の実行である場合がある。複数のプロセスが同じプログラムに関連付けられている場合があり、例えば、同じプログラムの複数のインスタンスを開くことは、多くの場合、複数のプロセスが実行されていることを意味する。マルチタスクは、複数のプロセスがプロセッサ５０４を共有できるようにするために実装され得る。各プロセッサ５０４又はプロセッサのコアが一度に単一のタスクを実行する間、コンピュータシステム５００は、各タスクが終了するのを待たずに実行中のタスクを各プロセッサが切り換えることができるように、マルチタスクを実装するようにプログラムされ得る。実施形態では、切り換えは、タスクが入力／出力動作を実行するとき、タスクが切り換え可能であることを示すとき、又はハードウェア割り込みにより、実行されてよい。タイムシェアリングを実装して、コンテキスト切り換えを迅速に実行し、複数のプロセスを同時に実行しているように見せることで、インタラクティブなユーザアプリケーションの応答を高速化できる。実施形態では、セキュリティ及び信頼性のために、オペレーティングシステムは、独立プロセス間の直接通信を防ぎ、厳格に仲介され制御されたプロセス間通信機能を提供する。

７．拡張と代替

以上の明細書において、本開示の実施形態は、実装毎に変化し得る多数の特定の詳細を参照して説明された。明細書及び図面は、従って、限定的意味では無く、説明であると考えられるべきである。本開示の範囲の単独及び排他的な指示、及び出願人が本開示の範囲であることを意図するものは、本願からの、いかなる後の補正を含む、特定の形式で発行される請求の範囲の文字通りの等価なものである。

Claims (19)

1. 歪んだ音声信号からクリーンな音声を復元するコンピュータ実施方法であって、
   歪んだ音声信号のトレーニングセットを取得するステップであって、前記歪んだ音声信号は第１フレームセットを含む、ステップと、
   前記歪んだ音声信号のトレーニングセットを使用して自己教師あり深層学習モデルを構築するステップであって、
   前記自己教師あり深層学習モデルは、前記歪んだ音声信号のフレームから特徴ベクトルとして特徴のグループを抽出するエンコーダと、別個の音声特性に対応する自己教師あり信号変換タスクを達成する複数のワーカと、を含み、特徴ベクトルのセットが前記第１フレームセットから抽出され、
   前記自己教師あり深層学習モデルを構築するステップは、前記複数のワーカのうちの各ワーカが、前記歪んだ音声信号に対応するクリーンな音声信号から前記音声特性の目標値を構築し、前記目標値から現在の前記特徴ベクトルの損失を決定するステップを含む、ステップと、
   ニューラルネットワークを含む生成深層学習モデルを使用して、前記特徴ベクトルのセットから第２フレームセットを含む強化音声データを生成するステップであって、前記強化音声データは、前記歪んだ音声信号内のクリーンな音声に対応する、ステップと、
   を含むコンピュータ実施方法。
2. 前記歪んだ音声信号に対応するクリーンな音声信号を受信するステップを更に含み、
   歪んだ音声信号のトレーニングセットを取得するステップは、前記クリーンな音声信号をダウンサンプリングすることにより、前記歪んだ音声信号のトレーニングセットを取得する、請求項１に記載のコンピュータ実施方法。
3. 前記クリーンな音声信号は４８kHzのサンプリングレートに対応し、前記歪んだ音声信号は１６kHzのサンプリングレートに対応する、請求項２に記載のコンピュータ実施方法。
4. 前記歪んだ音声信号はノイズ又はリバーブを含む、請求項１に記載のコンピュータ実施方法。
5. 前記複数のワーカのうちのワーカは、前記エンコーダによって生成された表現のプールからアンカーサンプル、ポジティブサンプル、及びネガティブサンプルを引き出す、事前定義されたサンプリング戦略に関連する自己教師ありタスクを実行する、請求項１に記載のコンピュータ実施方法。
6. 前記生成深層学習モデルは、条件付きネットワーク及びリカレントネットワークを含み、
   前記条件付きネットワークは、毎回複数のフレームを考慮することによって前記特徴ベクトルのセットを出力特徴ベクトルセットに変換し、
   前記リカレントネットワークは、前記出力特徴ベクトルセットから一度に１サンプルずつ前記強化音声データを生成し、前記第２フレームセットの各フレームは、複数のサンプルを含む、請求項１に記載のコンピュータ実施方法。
7. 前記歪んだ音声信号のトレーニングセットは、所定のサンプリングレートよりも低い特定のサンプリングレートの音声信号のデータセットを含む、
   請求項１に記載のコンピュータ実施方法。
8. 所定のサンプリングレートに対してダウンサンプリングされた第２の歪んだ音声信号のデータセットを取得するステップと、
   前記自己教師あり深層学習モデルを使用して前記第２の歪んだ音声信号のデータセットから第２の特徴ベクトルのセットのトレーニングセットを生成するステップと、
   前記第２の特徴ベクトルのセットのトレーニングセットを使用して前記生成深層学習モデルを構築するステップと、
   を更に含む請求項１に記載のコンピュータ実施方法。
9. 所定のサンプリングレートよりも低い特定のサンプリングレートの第２の歪んだ音声信号のデータセットを取得するステップと、
   前記第２の歪んだ音声信号のデータセットを使用して前記生成深層学習モデルに接続された前記自己教師あり深層学習モデルを含む結合モデルをトレーニングするステップと、
   を更に含む請求項１に記載のコンピュータ実施方法。
10. 歪んだ音声信号からクリーンな音声を復元するためのシステムであって、
    メモリと、
    前記メモリに結合され、請求項１～９のいずれかに記載のコンピュータ実施方法を実行するように構成された１つ以上のプロセッサと、
    を含むシステム。
11. コンピュータ実行可能命令を格納しているコンピュータ可読非一時的記憶媒体であって、前記コンピュータ実行可能命令は、実行されると歪んだ音声信号からクリーンな音声を復元する方法を実施し、前記方法は、
    歪んだ音声信号のトレーニングセットを取得するステップであって、前記歪んだ音声信号は第１フレームセットを含む、ステップと、
    前記歪んだ音声信号のトレーニングセットを使用して自己教師あり深層学習モデルを構築するステップであって、
    前記自己教師あり深層学習モデルは、前記歪んだ音声信号のフレームから特徴ベクトルとして特徴のグループを抽出するエンコーダと、別個の音声特性に対応する自己教師あり信号変換タスクを達成する複数のワーカと、を含み、特徴ベクトルのセットが前記第１フレームセットから抽出され、
    前記自己教師あり深層学習モデルを構築するステップは、前記複数のワーカのうちの各ワーカが、前記歪んだ音声信号に対応するクリーンな音声信号から前記音声特性の目標値を構築し、前記目標値から現在の前記特徴ベクトルの損失を決定するステップを含む、ステップと、
    ニューラルネットワークを含む生成深層学習モデルを使用して、前記特徴ベクトルのセットから第２フレームセットを含む強化音声データを生成するステップであって、前記強化音声データは、前記歪んだ音声信号内のクリーンな音声に対応する、ステップと、
    を含む、コンピュータ可読非一時的記憶媒体。
12. 前記歪んだ音声信号のトレーニングセットは、所定のサンプリングレートよりも低い特定のサンプリングレートの音声信号のデータセットを含む、請求項１１に記載のコンピュータ可読非一時的記憶媒体。
13. 前記方法は、
    前記歪んだ音声信号に対応するクリーンな音声信号を受信するステップを更に含み、
    歪んだ音声信号のトレーニングセットを取得するステップは、前記クリーンな音声信号を、録音環境、録音装置、又はコーディングアルゴリズムによって引き起こされる１つ以上のアーティファクトで歪めることにより、前記歪んだ音声信号のトレーニングセットを取得する、請求項１１に記載のコンピュータ可読非一時的記憶媒体。
14. 前記方法は、
    前記歪んだ音声信号に対応するクリーンな音声信号を受信するステップを更に含み、
    歪んだ音声信号のトレーニングセットを取得するステップは、前記クリーンな音声信号をダウンサンプリングすることにより、前記歪んだ音声信号のトレーニングセットを取得する、請求項１１に記載のコンピュータ可読非一時的記憶媒体。
15. 前記歪んだ音声信号はノイズ又はリバーブを含む、請求項１１に記載のコンピュータ可読非一時的記憶媒体。
16. 前記複数のワーカのうちのワーカは、前記エンコーダによって生成された表現のプールからアンカーサンプル、ポジティブサンプル、及びネガティブサンプルを引き出す、事前定義されたサンプリング戦略に関連する自己教師ありタスクを実行する、請求項１１に記載のコンピュータ可読非一時的記憶媒体。
17. 前記生成深層学習モデルは、条件付きネットワークとリカレントネットワークとを含み、
    前記条件付きネットワークは、複数のフレームを毎回考慮することによって、前記特徴ベクトルのセットを出力特徴ベクトルセットに変換し、
    前記リカレントネットワークは、一度に１つのサンプルずつ出力特徴ベクトルセットから前記強化音声データを生成し、前記第２フレームセットの各フレームは、複数のサンプルを含む、請求項１１に記載のコンピュータ可読非一時的記憶媒体。
18. 前記リカレントネットワークは、前記特徴ベクトルのセットの対応する特徴ベクトルと前に生成された前記強化音声データのサンプルとを使用して、前記強化音声データの各フレームの新しいサンプルを生成する、請求項１７に記載のコンピュータ可読非一時的記憶媒体。
19. 前記方法は、
    所定のサンプリングレートに対してダウンサンプリングされた第２の歪んだ音声信号のデータセットを取得するステップと、
    前記自己教師あり深層学習モデルを使用して前記第２の歪んだ音声信号のデータセットから第２の特徴ベクトルセットのトレーニングセットを生成するステップと、
    前記第２の特徴ベクトルセットのトレーニングセットを使用して前記生成深層学習モデルを構築するステップと、
    を更に含む、請求項１１～１８のいずれかに記載のコンピュータ可読非一時的記憶媒体。