JP7367195B2 - 解きほぐしたデータを生成するための自己教師シーケンシャル変分オートエンコーダ - Google Patents

Description

この出願は、２０１９年１１月１３日に出願された米国仮特許出願第６２／９３４，６０９号及び２０２０年１１月３日に出願された米国特許出願第１７／０８８，０４３号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、人工知能に関し、より詳細には、解きほぐした（disentangled）データを生成するための自己教師シーケンシャル変分オートエンコーダに関する。

表現学習は、機械学習における重要な研究課題の一つである。ビデオ、画像及びオーディオ等の現実世界の感覚データは、通常、高次元の形態である。表現学習は、これらのデータを低次元空間にマッピングし、分類及び検出等の下流のタスクのための有用な情報の抽出をより容易にすることを目的とする。近年、解きほぐした表現に対する関心が高まっており、これは、観測されたデータの変化の基になるファクタを分離し、各ファクタを感覚データの１つの意味属性で排他的に解釈するようにする。例えば、芸術的な画像の望ましい解きほぐし（disentanglement）は、スタイル情報とコンテンツ情報とに分離できる。シーケンシャルデータの表現は、時変ファクタ及び時不変ファクタとして解きほぐすことが期待される。ビデオデータの場合、オブジェクトのアイデンティティは時不変ファクタとみなされ、各フレームにおける動きは時変ファクタとみなされる。スピーチデータにおいて、話者のアイデンティティと言語コンテンツの表現とに解きほぐすことが期待される。表現にはいくつかの利点がある。第１に、解きほぐした表現を生成する学習モデルをより説明できる。第２に、解きほぐした表現は、データ生成の処理をより容易にかつ効率的にする。

本発明の一態様によれば、解きほぐしたデータを生成するためのコンピュータ実装方法が提供される。本方法は、変分オートエンコーダによって、複数の教師信号にアクセスすることを含む。本方法は、変分オートエンコーダによって、解きほぐした表現を学習するための報酬信号として教師信号を利用して複数の補助タスクにアクセスすることをさらに含む。本方法は、また複数の補助タスクを達成するために、教師信号を利用して得られた補助タスクの出力に基づく自己教師訓練アプローチを用いて、シーケンシャルデータ入力を時不変ファクタと時変ファクタとに解きほぐすように変分オートエンコーダを訓練することを含む。

本発明の別の態様によれば、解きほぐしたデータを生成するためのコンピュータプログラム製品が提供される。コンピュータプログラム製品は、プログラム命令が実装された非一時的にコンピュータで読み取り可能な記憶媒体を有する。プログラム命令は、コンピュータに本方法を実行させるためにコンピュータによって実行可能である。本方法は、変分オートエンコーダにより、複数の教師信号にアクセスすることを含む。本方法は、変分オートエンコーダにより、教師信号を報酬信号として利用して解きほぐした表現を学習する、複数の補助タスクにアクセスすることをさらに含む。本方法は、また複数の補助タスクを達成するために、教師信号を利用して得られた補助タスクの出力に基づく自己教師訓練アプローチを用いて、シーケンシャルデータ入力を時不変ファクタと時変ファクタとに解きほぐすように変分オートエンコーダを訓練することを含む。

本発明のさらに他の態様によれば、解きほぐしたデータを生成するためのコンピュータ処理システムが提供される。コンピュータ処理システムは、プログラムコードを保存するためのメモリ装置を含む。本コンピュータ処理システムは、変分オートエンコーダを使用して複数の監視信号にアクセスするためのプログラムコードを実行する、メモリ装置に動作可能に接続されたプロセッサ装置をさらに含む。本プロセッサ装置は、さらにプログラムコードを実行することで、変分オートエンコーダを用いて、教師信号を報酬信号として利用して解きほぐした表現を学習する複数の補助タスクにアクセスする。プロセッサ装置は、またプログラムコードを実行することで、複数の補助タスクを達成するために、教師信号を利用して得られた補助タスクの出力に基づく自己教師訓練アプローチを用いて、シーケンシャルデータ入力を時不変ファクタと時変ファクタとに解きほぐすように変分オートエンコーダを訓練する。

これら及び他の特徴並びに利点は、以下の典型的な実施形態の詳細な説明を添付の図面と併せて読むことで明らかになるであろう。

本開示では、後述するように、以下の図面を参照しながら好ましい実施形態について詳細に説明する。

図１は、本発明の一実施形態による、例示的なコンピューティングデバイスを示すブロック図である。

図２は、本発明の一実施形態による、例示的な自己教師及び正規化パイプラインを示す図である。

図３は、本発明の一実施形態による、例示的なアーキテクチャを示すブロック図である。

図４は、本発明の一実施形態による、解きほぐしたデータを生成するための例示的な方法を示すフロー図である。

図５は、本発明の一実施形態による、新しいメディアを生成するための例示的な方法を示すブロック図である。

図６は、本発明の一実施形態による、例示的なコンピューティング環境を示すブロック図である。

本発明の実施形態は、解きほぐしたデータを生成するための自己教師シーケンシャル変分オートエンコーダを対象とする。

本発明の１つまたは複数の実施形態によれば、表現の解きほぐしは、データ及び既存の方法の両方から容易に得られる補助教師信号を探索することで実施される。シーケンシャルデータの表現は、通常、時不変ファクタと時変ファクタとに解きほぐすことが奨励される。前者はビデオデータにおけるオブジェクトの出現またはオーディオデータにおける話者の音色等の静的情報を符号化し、後者はオブジェクトの動き及び話者によって話された言語コンテンツ等の対応する動的情報を符号化する。この目的のために、データに加えて、またはデータ内で自由に利用可能な種々のラベルが利用され、一連の補助タスクは、解きほぐした表現を学習するための固有の報酬信号としてこれらのラベルを使用するように設計される。具体的には、シーケンシャルデータの時間的順序が利用され、時間的にシャッフルされたデータの時不変ファクタは元のデータの時不変ファクタと同じであると予想される。一方、時変ファクタは、異なるモダリティにおける動的情報を含むことが期待される。したがって、本発明の実施形態は、オプティカルフローまたはオーディオの各セグメントにおける音量から容易に推測可能であり、ビデオの各フレームにおける最大の動きの位置を予測できる。表現の解きほぐしをさらに促進するために、静的変数と動的変数との間の相互情報量（mutual information）が追加の正則化として導入される。

本発明の実施形態を適用できる様々な例示的なアプリケーションは、例えば、スタイルトランスファー（style transfer）を伴う教育ビデオ及び娯楽ビデオのような新しいビデオを生成すること、並びに顧客／ユーザのプライバシーを保護するために置き換えられた話者のアイデンティティを伴う新しい訓練オーディオを生成することを含むが、これらに限定されない。さらに、解きほぐしたシーケンシャル表現学習のアプリケーションは、理解（解釈可能性）、データ生成／データ拡張（公平性、ロバスト性、一般化）、ドメイン適応（ドメインバリアント（コンテンツ）及びドメイン不変（動き））、並びにプライバシー（自動運転車、娯楽ビデオ、教育ビデオ、話者のアイデンティティに関するデータセンシングによる機密情報の漏洩を低減する）をさらに含むことができる。

図１は、本発明の一実施形態による、例示的なコンピューティングデバイス１００を示すブロック図である。コンピューティングデバイス１００は、解きほぐしたデータを生成するための自己教師シーケンシャル変分オートエンコーディングを実行するように構成される。

コンピューティングデバイス１００は、限定されるものではないが、コンピュータ、サーバ、ラックベースのサーバ、ブレードサーバ、ワークステーション、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、モバイルコンピューティングデバイス、ウェアラブルコンピューティングデバイス、ネットワークアプライアンス、ｗｅｂアプライアンス、分散コンピューティングシステム、プロセッサベースのシステム及び／または消費者の電子装置を含む、本明細書に記載する機能を実行できる任意のタイプの計算またはコンピュータデバイスで実現できる。さらに、または代替として、コンピューティングデバイス１００は、物理的に分離されたコンピューティングデバイスの１つまたは複数のコンピューティングスレッド、メモリスレッド、または他のラック、スレッド、コンピューティングシャーシ、または他の構成要素で実現できる。図１に示すように、コンピューティングデバイス１００は、例示的に、プロセッサ１１０、入出力サブシステム１２０、メモリ１３０、データ記憶装置１４０、通信サブシステム１５０、及び／またはサーバまたは同様のコンピューティングデバイスに一般的に見られる他の構成要素及び装置を含む。もちろん、他の実施形態において、コンピューティングデバイス１００は、サーバコンピュータ（例えば、様々な入力／出力デバイス）に一般に見られるような他のまたは追加の構成要素を含むことができる。さらに、いくつかの実施形態において、例示的な構成要素のうちの１つまたは複数は別の構成要素に組み込まれていてもよく、または別の方法で別の構成要素の一部を形成してもよい。例えば、いくつかの実施形態において、メモリ１３０またはその一部をプロセッサ１１０に組み込むことができる。

プロセッサ１１０は、本明細書に記載する機能を実行できる任意のタイプのプロセッサで実現できる。プロセッサ１１０は、シングルプロセッサ、マルチプロセッサ、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、シングルまたはマルチコアプロセッサ、デジタルシグナルプロセッサ、マイクロコントローラ、または他のプロセッサあるいは処理／制御回路として実現されてもよい。

メモリ１３０は、本明細書で説明する機能を実行できる任意のタイプの揮発性または不揮発性メモリまたはデータ記憶装置で実現できる。動作中において、メモリ１３０は、オペレーティングシステム、アプリケーション、プログラム、ライブラリ、ドライバ等、コンピューティングデバイス１００の動作中に使用される様々なデータ及びソフトウェアを記憶できる。メモリ１３０は、Ｉ／Ｏサブシステム１２０を介してプロセッサ１１０と通信可能に接続され、これはプロセッサ１１０、メモリ１３０及びコンピューティングデバイス１００の他の構成要素との入出力操作を容易にするための回路及び／または構成要素で実現できる。例えば、Ｉ／Ｏサブシステム１２０は、メモリコントローラハブ、入力／出力制御ハブ、プラットフォームコントローラハブ、集積制御回路、ファームウェア装置、通信リンク（例えば、ポイントツーポイントリンク、バスリンク、ワイヤ、ケーブル、光ガイド、プリント回路基板トレース等）、及び／または入力／出力動作を容易にするための他の構成要素及びサブシステムで実現してもよく、さもなければ、それらを含んでいてもよい。いくつかの実施形態において、Ｉ／Ｏサブシステム１２０がシステムオンチップ（ＳＯＣ）の一部を形成し、プロセッサ１１０、メモリ１３０及びコンピューティングデバイス１００の他の構成要素とともに、単一の集積回路チップに組み込まれていてもよい。

データ記憶装置１４０は、例えば、メモリ装置及び回路、メモリカード、ハードディスクドライブ、ソリッドステートドライブ、または他のデータ記憶装置等の、データを短期または長期に記憶するために構成された任意のタイプの装置または複数の装置で実現できる。データ記憶装置１４０は、解きほぐしたデータを生成するための自己教師変分オートエンコーディングのためのプログラムコードを記憶できる。コンピューティングデバイス１００の通信サブシステム１５０は、ネットワークを介してコンピューティングデバイス１００と他のリモート装置との通信を可能にする、任意のネットワークインタフェースコントローラまたは他の通信回路、装置またはそれらの集合で実現できる。通信サブシステム１５０は、任意の１つ以上の通信技術（例えば、有線または無線通信）及び関連するプロトコル（例えば、イーサネット（商標登録）、ＩｎｆｉｎｉＢａｎｄ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＷｉＭＡＸ（登録商標）等）を利用して通信するように構成されていてもよい。

図示のように、コンピューティングデバイス１００は、１つまたは複数の周辺デバイス１６０を含んでいてもよい。周辺デバイス１６０は、任意の数の追加の入力／出力デバイス、インターフェースデバイス及び／または他の周辺デバイスを含んでいてもよい。例えば、いくつかの実施形態において、周辺デバイス１６０は、ディスプレイ、タッチスクリーン、グラフィック回路、キーボード、マウス、スピーカシステム、マイクロフォン、ネットワークインタフェース、及び／または他の入力／出力デバイス、インターフェースデバイス、及び／または周辺デバイスを含むことができる。

もちろん、コンピューティングデバイス１００は、当業者であれば容易に思いつくような他の要素（不図示）を含んでいてもよく、特定の要素を省略してもよい。例えば、当業者であれば容易に理解できるが、コンピューティングデバイス１００には、その詳細な実装に応じて他の様々な入力装置及び／または出力装置を含むことができる。例えば、無線及び／または有線による種々の入力装置及び／または出力装置を使用できる。さらに、当業者であれば容易に理解できるが、様々な構成において追加のプロセッサ、コントローラ、メモリ等を用いることも可能である。コンピューティングデバイス１００の上記及び他の変形例は、本明細書で提供される本原理の教示によって当業者であれば容易に考えられるであろう。

本明細書で用いる「ハードウェアプロセッササブシステム」または「ハードウェアプロセッサ」という用語は、１つ以上の特定のタスクを実行するために協働するプロセッサ、メモリ（ＲＡＭ、キャッシュ等を含む）、ソフトウェア（メモリ管理ソフトウェアを含む）またはそれらの組み合わせを指すことができる。有用な実施形態において、ハードウェアプロセッササブシステムは、１つまたは複数のデータ処理要素（例えば、論理回路、処理回路、命令実行デバイス等）を含むことができる。１つまたは複数のデータ処理要素は、中央処理装置、グラフィックス処理装置及び／または個別のプロセッサまたはコンピューティング要素ベースのコントローラ（例えば、論理ゲート等）を含めることができる。ハードウェアプロセッササブシステムは、１つ以上のオンボードメモリ（例えば、キャッシュ、専用メモリアレイ、読み出し専用メモリ等）を含むことができる。任意の実施形態において、ハードウェアプロセッササブシステムは、オンボードまたはオフボードとすることができる、またはハードウェアプロセッササブシステム（例えば、ＲＯＭ、ＲＡＭ、基本入出力システム（ＢＩＯＳ）等）で用いるための専用の１つ以上のメモリを含むことができる。

任意の実施形態において、ハードウェアプロセッササブシステムは１つ以上のソフトウェア要素を含むことが可能であり、実行できる。１つ以上のソフトウェア要素は、特定の結果を達成するために、オペレーティングシステム及び／または１つ以上のアプリケーション及び／または特定のコードを含むことができる。

他の実施形態において、ハードウェアプロセッササブシステムは、指定された結果を達成するために１つまたは複数の電子処理機能を実行する専用の回路を含むことができる。このような回路は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、ＦＰＧＡ及び／またはＰＬＡを含んでいてもよい。

ハードウェアプロセッササブシステムのこれら及び他の変形例もまた、本発明の実施形態に従って企図される。

図２は、本発明の一実施形態による、例示的な自己教師及び正則化パイプライン２００を示す図である。

自己教師及び正則化パイプライン２００は、シーケンシャルＶＡＥ（エンコーダ２１０、ＬＳＴＭ２１１、動的潜在マニホルド２１２、静的潜在空間２１３、サンプル２１４及び２１５、並びにデコーダ２２０を有する）の潜在変数を、静的表現ｚ_fと動的表現ｚ_tとに解きほぐす。

図２は、以下でさらに詳細に説明される。

図３は、本発明の一実施形態による、例示的なアーキテクチャ３００を示すブロック図である。

アーキテクチャ３００は、入力ビデオ３１０、エンコーダ３２０、解きほぐした表現３３０、デコーダ３４０及び再構成されたビデオ３５０を含む。

解きほぐした表現３３０は、自己教師正則化３３０Ａを備えたコンテンツと、自己教師正則化を備えた動きとを含む。

入力ビデオ３１０は、エンコーダ３２０に供給される。

エンコーダ３２０は、自己教師正則化３３０Ａを備えたコンテンツと、自己教師正則化３３０Ｂを備えた動きとを含む解きほぐした表現３３０を符号化する。解きほぐした表現がビデオまたはオーディオのシーケンシャルデータ入力の場合、オブジェクトのアイデンティティ３３０Ｃまたは話者のアイデンティティ３３０Ｄをさらに含んでいてもよい。

デコーダは、解きほぐした表現３３０を復号し、再構成されたビデオ３５０を提供する。

図４は、本発明の一実施形態による、解きほぐしたデータを生成するための例示的な方法４００を示すフロー図である。

ブロック４１０において、変分オートエンコーダによって、複数の教師信号（supervision signals）にアクセスする。一実施形態において、複数の教師信号は、単純なデータ操作及び／または１つまたは複数の既存の教師あり機能モジュールからアクセスできる。例えば、ビデオデータを操作する場合、ビデオフレームをランダムにシャッフルすると、ビデオコンテンツを保存する正のラベルを有するが、ビデオの動きを保存する負のラベルを有する新しいビデオデータを生成する。教師あり機能モジュールは、例えば、顔データ用のランドマーク検出器、事前訓練されたＩｍａｇｅＮｅｔ画像分類器、オプティカルフロー予測器等に関する、他のデータセットを用いて訓練された既存の分類器または予測器である。

ブロック４２０において、変分オートエンコーダによって、解きほぐした表現を学習するために報奨信号として教師信号を利用する複数の補助タスクを提供する。一実施形態において、補助タスクは、時不変ファクタ及び時変ファクタの両方に対してシーケンシャルデータ入力における相互情報量を正則化するための正則化タスクとして提供できる。一実施形態において、相互情報量は、時不変ファクタと時変ファクタのファクタ間の依存度に基づいて相互的であり得る。

ブロック４３０において、複数の補助タスクを達成するために教師信号を使用することで得られた補助タスクの出力に基づく自己教師あり訓練アプローチを用いて、シーケンシャルデータ入力を時不変ファクタと時変ファクタとに解きほぐすために、変分オートエンコーダを訓練する。

一実施形態において、シーケンシャルデータ入力は複数のフレームを有するビデオデータを含み、時不変ファクタはビデオデータにおけるオブジェクトのアイデンティティであり、時変ファクタは複数のフレームにおける動きである。

一実施形態において、シーケンシャルデータ入力はビデオデータを含み、時変ファクタを正則化するための補助タスクの教師ラベルは、ビデオデータのオプティカルフローマップを取得し、オプティカルフローマップにグリッドを適用することでパッチを形成し、パッチのそれぞれについて動きの大きさの平均を計算し、上位ｋ個の最大値を有するパッチのインデックスから教師信号を生成することによって提供される。

一実施形態において、シーケンシャルデータ入力は複数のフレームを有するビデオデータを含み、この方法は複数のフレーム毎のランドマークを、時変ファクタの教師として検出することをさらに含むことができる。

一実施形態において、シーケンシャルデータ入力はオーディオデータを含み、時不変ファクタは話者のアイデンティティであり、時変ファクタはオーディオデータの言語コンテンツである。

一実施形態において、シーケンシャルデータ入力は複数のオーディオセグメントを有するオーディオデータを含み、時変ファクタを正則化するための補助タスクの教師ラベルは複数のオーディオセグメントの各々の音量の大きさに閾値を設定してオーディオ擬似グラウンドトゥルースを得ることで提供される。

一実施形態において、相互情報量は時変ファクタに対する時不変ファクタの相互排他性を促進するために最小化される。

図５は、本発明の一実施形態による、新しいメディアを生成するための例示的な方法５００を示すブロック図である。

ブロック５１０において、ソースビデオシーケンスまたはオーディオシーケンスを入力する。

ブロック５２０において、自己教師変分オートエンコーダ（ＶＡＥ）のエンコーダを使用して、ソース（ビデオまたはオーディオ）シーケンスを符号化する。

ブロック５３０において、解きほぐした表現を取得し、与えられた表現ファクタ（例えば、動き、オーディオワード等）を固定し、他のファクタ（例えば、ビデオコンテンツ、オーディオの音色）をランダムにサンプリングする。

ブロック５４０において、自己教師ＶＡＥに含まれるデコーダを用いて解きほぐした表現を復号する。

ブロック５５０において、新たに指定された表現に従って、新たな訓練ビデオ／オーディオを生成する。一実施形態において、固定された表現ファクタ（例えば、動きファクタ、オーディオワードファクタ等）は新しい潜在表現ベクトルを形成するために、サンプリングされたファクタ（例えば、サンプリングされたビデオコンテンツファクタ、サンプリングされたオーディオ音色ファクタ）と連結され、新しいビデオ／オーディオを生成するために、それを自己教師ＶＡＥのデコーダに渡すことができる。

図６は、本発明の一実施形態による、例示的なコンピューティング環境６００を示すブロック図である。

環境６００は、サーバ６１０と、複数のクライアント装置（図中の符号６２０でまとめて示す）と、制御システムＡ６４１と、制御システムＢ６４２とを含む。

環境６００のエンティティ間の通信は、１つまたは複数のネットワーク６３０を介して実行できる。例示のため、無線ネットワーク６３０が示されている。他の実施形態において、エンティティ間の通信を容易にするために、有線、無線及び／またはそれらの組合せのいずれかを使用できる。

サーバ６１０は、クライアント装置６２０からのシーケンシャルデータ入力を受信する。サーバ６１０は、サーバ６１０に保存された解きほぐしモデルから生成された予測に基づいて、システム６４１及び／または６４２の１つを制御できる。一実施形態において、シーケンシャルデータ入力は時系列データに関連していてもよく、時系列データは、被制御システム６４１及び／または６４２に関連する、例えばセンサデータ等であるが、これに限定されない。制御は、差し迫った故障要素をオフにすること、故障した構成要素を別の動作する構成要素に交換すること、安全なネットワークに切り替えること等がある。

ここで、いくつかの表記及び問題定義について説明する

はＭｉ．ｉ．ｄ．シーケンスを含むデータセットとして与えられる。ここで、

はＴフレームの映像やＴセグメントの音声等の観測されたＴ変数のシーケンスを表す。ここではシーケンシャル変分エンコーダモデルを採用した。シーケンスは潜在変数

から生成されると仮定する。潜在変数

は、時不変変数ｚ_fと時変変数ｚ_1:Tの２つの解きほぐしたファクタに分解される。

プライア（Priors）：ｚ_fのプライアは標準ガウス分布

として定義される。時変潜在変数ｚ_1:Tは以下の再帰型プライアに従う。

ここで、

は、全ての先の時変潜在変数に条件付けられたプライア分布のパラメータである。モデル

は、隠れ状態が一時的に更新される、ＬＳＴＭまたはＧＲＵ等の再帰型ネットワークとしてパラメータ化できる。プリオアは次のように因数分解できる。

生成：時間ステップｔの生成分布は、次のようにｚ_f及びｚ_tで条件付けられる。

ここで、

は、ニューラルネットワークのような高度に柔軟な機能とすることができる。完全な生成モデルは、因数分解によって形式化できる。

推論：本発明によるシーケンシャルＶＡＥは、近似ポステリア（posterior）

及び

を学習するために変分推論を使用する。

ここで、

であり、

である。

本発明による推論モデルは、次のように因数分解される

学習：シーケンシャルＶＡＥの目的関数は、時間ステップごとの負の変分下限である。

本発明によるモデルは、潜在的表現の解きほぐしの考慮に失敗する従来の変分再帰型オートエンコーダとは異なることに留意されたい。さらに、ＤＳＶＡＥは、ｚ_1:Tの変分事後がｚ_fに依存すると仮定すると、変数が依然として暗黙的にもつれていることを暗示し、まずはｚ_fを推定し、続いてｚ_fで条件付けられた複数のサンプルｚ_tを推定する。それに対して、ｚ_f及びｚ_tは、表現の解きほぐしを実行するために、完全に独立して推定することで、より効率的で簡潔なモデルをもたらす。

図２は、ビデオデータのコンテキストにおける提案されたモデルのフレームワークである。ビデオｘ_1:Tの各フレームは、一連の視覚的特徴を生成するためにエンコーダ２１０に供給され、動的潜在変数

の種々のポステリア及び静的潜在変数

のポステリアを得るためにＬＳＴＭ２１１を通過させる。静的及び動的な表現ｚ_f及びｚ_1:Tは、対応するポステリアから２１４、２１５でサンプリングされて連結され、再構成された系列ｘ_1:Tを生成するためにデコーダ２２０に送られる。表現の解きほぐしを促進するため、動的及び静的潜在変数には３つの正則化器が課せられる。

補助タスクを用いた自己教師学習正規化：教師無しでは、時不変表現ｚ_fと時変表現ｚ_tとに解きほぐす保証はない。ここでは、解きほぐしを達成するためのシーケンシャルＶＡＥの正則化として、一連の補助タスクが種々のタイプの表現に導入される。

時不変表現ｚ_fが任意の動的情報を排除することを促進するために、動的情報が著しく変化するときはｚ_fがほとんど変化しないことが予想される。この目的を達成するため、ビデオフレームの時間的順序を入れ替えてシャッフルされたビデオが形成される。理想的には、オリジナルのビデオ及びシャッフルされたビデオの静的ファクタはそれぞれ等しいか、または非常に近くなければならない。しかしながら、これらの２つの静的ファクタの距離を直接最小化することは、例えば、全てのビデオの静的ファクタが同じ値に収束し、何らかの意味のある情報を含む、非常に自明な解決策につながる。したがって、静的ファクタのネガティブサンプルを提供するために、別のビデオを含める。３組の静的ファクタを用いて、以下のトリプレット損失が導入される。

ここで、

は、アンカービデオの静的ファクタであり、ポジティブデータはシャッフルされたビデオであり、ネガティブデータは別のビデオであり、Ｄ（・，・）はユークリッド距離を示し、ｍはマージンである。このトリプレットの目的は、時間的に変化する情報を除外しながら、有意義な静的情報をある程度保存した静的ファクタを作成することである。

次に、本発明の一実施形態による、動的ファクタ予測について説明する。

動的ファクタｚ_tが各タイムステップの適切で正確な時間依存情報を伝達することを促進するために、データからの低品質な信号と、様々なタイプのシーケンシャルデータ用の既存のツールモデルとが検討され、それに応じて補助タスクが正則化

として設計される。

次に、本発明の一実施形態による、ビデオデータについて説明する。

コンテンツビデオは、最大の動き領域の位置を正確に予測することが望ましい。この目的を達成するため、最初に既存の予め訓練されたモデルＦｌｏｗＮｅｔ２によってビデオのオプティカルフローが取得される。オプティカルフローマップは、グリッドによって９つのパッチに分割され、各パッチの動きの大きさの平均を計算する。上位ｋ個の最大値を有するパッチのインデックスは、擬似グラウンドトゥルースとして使用される。本発明によるモデルにおいて、擬似ラベル予測のための２つの全結合層及びソフトマックス層から構成される、追加のブランチが動的ファクタに追加される。

オプティカルフローとは別に、いくつかの低品質な信号を特定の種類のデータに従って探索できる。人の顔のデータセットの場合、各フレームのランドマークを検出し、時間依存ファクタの教師と考えることができる。ランドマークは、既存のランドマーク検出器から得られる。本発明によるモデルを効率的に維持するために、動的信号として、上下のまぶたの間の距離だけでなく、上下の唇の間の距離が抽出される。回帰モジュールは、距離を予測するようにそれを実施するためにｚ_fに課される。

次に、本発明の一実施形態による、オーディオデータについて説明する。音声データセットの場合、現在のタイムステップの音声が無音であるか否かにかかわらず、時間依存ファクタを強制的に予測する補助タスクが設計されている。グラウンドトゥルースは、各音声クリップの音量の大きさに閾値を設定することで容易に得ることができる。

次に、本発明の一実施形態による、相互情報量の正則化について説明する。

いくつかの時変信号を予測するために時間依存ファクタを強制することは、該ファクタに適切な時間依存情報を含むことは保証できるが、該ファクタから静的ファクタを除外する保証はない。したがって、静的及び動的ファクタの相互情報量はレギュレータ

として導入される。相互情報量は、２つの変数間の相互依存の尺度である。公式な定義は、各変数の周辺分布の積に対する結合分布のカルバックライブラー（Kullback-Leibler）ダイバージェンスである。

ここで、

であり、以下のミニバッチ加重サンプリング推定器によって推定できる。

であり、Ｎはデータサイズ、Ｍはミニバッチサイズである。静的及び動的ファクタの相互情報量を最小化することで、これら２つのファクタの情報が相互に排他的であることが促進される。

次に、本発明の一実施形態による、目的関数について説明する。

全体として、目的は、自己教師あり学習と補助タスクからの一連の正則化を伴う再帰型ＶＡＥ損失と考えることができる。

ここで、λ₁、λ₂及びλ₃はバランス係数である。

本発明は、任意の技術的詳細レベルの統合におけるシステム、方法及び／またはコンピュータプログラム製品とすることができる。コンピュータプログラム製品は、プロセッサに本発明の態様を実行させるためのコンピュータで読み取り可能なプログラム命令を有するコンピュータで読み取り可能な記憶媒体を含み得る。

コンピュータで読み取り可能な記憶媒体は、命令実行装置によって使用される命令を保持し記憶することができる有形な装置であってもよい。コンピュータで読み取り可能な記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適切な組合せとすることができるが、これらに限定されない。コンピュータで読み取り可能な記憶媒体のより具体的な例の非網羅的なリストには、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、ディジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカード等の機械的に符号化された装置及び上記の任意の適切な組み合わせが含まれる。本明細書で使用されるコンピュータで読み取り可能な記憶媒体は、電波または他の自由に伝播する電磁波、導波管または他の伝送媒体（例えば、光ファイバケーブルを通過する光パルス）を通って伝播する電磁波、またはワイヤを通って伝送される電気信号等、それ自体が一時的な信号であると解釈されるべきではない。

本明細書に記載するコンピュータで読み取り可能なプログラム命令は、コンピュータで読み取り可能な記憶媒体から、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／または無線ネットワークを介して、外部コンピュータまたは外部記憶装置に、それぞれの演算／処理装置にダウンロードできる。ネットワークは、ワイヤ伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、及び／またはエッジサーバを含むことができる。各演算／処理装置におけるネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータで読み取り可能なプログラム命令を受信し、それぞれの演算／処理装置におけるコンピュータで読み取り可能な記憶媒体に記録するために、コンピュータで読み取り可能なプログラム命令を転送する。

本発明の動作を実行するためのコンピュータで読み取り可能なプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ：instruction-set-architecture）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋等のオブジェクト指向プログラミング言語及び「Ｃ」プログラミング言語または類似のプログラミング言語等の従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードのいずれかでもよい。プログラムコードは、全体的にユーザのコンピュータで実行されてもよく、スタンドアロンソフトウェアパッケージとして部分的にユーザのコンピュータで実行されてもよく、部分的にユーザのコンピュータで実行され、かつ部分的にリモートコンピュータで実行されてもよく、全体的にリモートコンピュータまたはサーバで実行されてもよい。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータと接続されてもよく、（例えば、インターネットサービスプロバイダを利用したインターネットを介して）外部コンピュータと接続されてもよい。いくつかの実施形態において、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、電子回路をパーソナル化するコンピュータで読み取り可能なプログラム命令の状態情報を利用することで、コンピュータで読み取り可能なプログラム命令を実行できる。

本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／またはブロック図を参照して本明細書で説明される。フローチャート及び／またはブロック図の各ブロック、並びにフローチャート及び／またはブロック図におけるブロックの組合せは、コンピュータで読み取り可能なプログラム命令によって実現できることを理解されたい。

これらのコンピュータで読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータ、または機械を製造する他のプログラマブルデータ処理装置のプロセッサに提供され、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャート及び／またはブロック図の１つまたは複数のブロックで指定された機能／動作を実施するための手段を生成する。これらのコンピュータで読み取り可能なプログラム命令は、コンピュータ、プログラマブルデータ処理装置及び／または他の装置を特定の方法で機能するように指示できるコンピュータで読み取り可能な記憶媒体に格納されていてもよく、その結果、その中に格納された命令を有するコンピュータで読み取り可能な記憶媒体は、フローチャート及び／またはブロック図の１つまたは複数のブロックで指定された機能／動作の態様を実現する命令を含む製品を備える。

コンピュータで読み取り可能なプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置または他の装置にロードされて、コンピュータ、他のプログラマブル装置または他の装置で実行される命令がフローチャート及び／またはブロック図の１つまたは複数のブロックで指定された機能／動作を実現するように、一連の動作ステップをコンピュータ、他のプログラマブル装置または他の装置に実行させる、コンピュータ実装プロセスを生成できる。

図中のフローチャート及びブロック図は、本発明の様々な実施形態による、システム、方法及びコンピュータプログラム製品に実装可能なアーキテクチャ、機能及び動作を示す。この点に関して、フローチャートまたはブロック図の各ブロックは、指定された論理機能を実現するための１つまたは複数の実行可能命令を備える、モジュール、セグメントまたは命令の一部を表している。一部の代替実装において、ブロックに記載されている機能は、図に記載されている順序以外で発生する場合がある。例えば、連続して示される２つのブロックは、実際には実質的に同時に実行されてもよく、またはブロックが含まれる機能に応じて、時には逆の順序で実行されてもよい。また、ブロック図及び／またはフローチャートの各ブロック、並びにブロック図及び／またはフローチャートのブロックの組み合わせは、指定された機能または動作を実行するか、または特殊目的ハードウェア及びコンピュータ命令の組み合わせを実行する特殊目的ハードウェアベースのシステムによって実現され得ることにも留意されたい。

本明細書では本発明の「一実施形態」または「実施形態」、並びにその他の変形形態に言及し、実施形態に関連して説明した特定の機能、構成、特徴等が、本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、「一実施形態において」または「実施形態において」という語句の出現、並びに本明細書全体を通して様々な場所に出現する任意の他の変形形態は、必ずしも全てが同じ実施形態を参照しているわけではない。しかしながら、本明細書で提供される本発明の教示を前提として、１つまたは複数の実施形態の特徴を組み合わせることができることを理解されたい。

例えば、「Ａ／Ｂ」、「Ａ及び／またはＢ」、並びに「Ａ及びＢのうちの少なくとも１つ」の場合における「／」、「及び／または」、並びに「うちの少なくとも１つ」のうちのいずれかの使用は、第１に挙げた選択肢（Ａ）のみの選択、第２に挙げた選択肢（Ｂ）のみの選択、または両方の選択肢（Ａ及びＢ）の選択を含むことを意図したものと理解すべきである。さらに例を挙げれば、「Ａ、Ｂ及び／またはＣ」、並びに「Ａ、Ｂ及びＣのうちの少なくとも１つ」の場合、このような表現法は、第１に挙げた選択肢（Ａ）のみの選択、第２に挙げた選択肢（Ｂ）のみの選択、第３に挙げた選択肢（Ｃ）のみの選択、第１及び第２に挙げた選択肢（Ａ及びＢ）のみの選択、第１及び第３に挙げた選択肢（Ａ及びＣ）のみの選択、第２及び第３に挙げた選択肢（Ｂ及びＣ）のみの選択、または３つの選択肢全て（Ａ及びＢ及びＣ）の選択を含むことを意図したものである。上述した例は、当業者に容易に明らかとなるように、列挙される多数の項目に応じて拡大適用される。

上記は、あらゆる観点において説明的（illustrative）かつ典型的（exemplary）であって限定的でないものと理解されるべきであり、本明細書で開示する本発明の範囲は、詳細な説明から決定されるべきではなく、特許法で認められた最大限の広さに基づいて解釈される特許請求の範囲から決定されるべきである。本明細書中に図示及び記載されている実施形態は、本発明の原理を説明するものにすぎず、本発明の範囲及び主旨から逸脱することなく当業者は様々な変更を実施することができることを理解されたい。当業者は、本発明の範囲及び精神から逸脱することなく、様々な他の特徴の組み合わせを実施できる。以上、本発明の態様について、特許法で要求される細部及び詳細な事項と共に説明したが、特許証で保護されることを要求する特許請求の範囲は、添付の特許請求の範囲に示されている。

Claims (18)

1. 解きほぐしたデータを生成するためのコンピュータ実装方法であって、
   変分オートエンコーダにより、複数の教師信号にアクセスすること（４１０）と、
   前記変分オートエンコーダにより、前記教師信号を報酬信号として利用して解きほぐした表現を学習する、複数の補助タスクにアクセスすること（４２０）と、
   前記複数の補助タスクを達成するために、前記教師信号を利用して得られた前記補助タスクの出力に基づく自己教師訓練アプローチを用いて、シーケンシャルデータ入力を時不変ファクタと時変ファクタとに解きほぐすように前記変分オートエンコーダを訓練すること（４３０）と、
   を有し、
   前記補助タスクは、前記時不変ファクタと前記時変ファクタの両方に対して前記シーケンシャルデータ入力における相互情報量を正則化するための正則化タスクとして提供され、前記相互情報量は、前記時不変ファクタと前記時変ファクタとのファクタ間の依存度に基づいて相互的である、コンピュータ実装方法。
2. 前記複数の教師信号が、１つ以上の既存の教師あり機能モジュールからアクセスされる、請求項１に記載のコンピュータ実装方法。
3. 前記シーケンシャルデータ入力は、複数のフレームを有するビデオデータを含み、
   前記時不変ファクタは前記ビデオデータにおけるオブジェクトのアイデンティティであり、前記時変ファクタは前記複数のフレームにおける動きである、請求項１に記載のコンピュータ実装方法。
4. 前記シーケンシャルデータ入力は、オーディオデータを含み、
   前記時不変ファクタは話者のアイデンティティであり、前記時変ファクタは前記オーディオデータの言語コンテンツである、請求項１に記載のコンピュータ実装方法。
5. 前記相互情報量を最小化して、前記時変ファクタに対する前記時不変ファクタの相互排他性を促進することをさらに含む、請求項１に記載のコンピュータ実装方法。
6. 前記シーケンシャルデータ入力は、ビデオデータを含み、前記時変ファクタを正則化するための前記補助タスクの教師ラベルは、
   ビデオデータの光学フローマップを取得し、
   オプティカルフローマップにグリッドを適用することでパッチを形成し、
   前記パッチの各々の動きの大きさの平均を計算し、
   前記教師ラベルとして、上位ｋ個の最大値を有する前記パッチのインデックスから擬似グラウンドトゥルースを生成することで提供される、請求項１に記載のコンピュータ実装方法。
7. 前記シーケンシャルデータ入力は、複数のオーディオセグメントを有するオーディオデータを含み、
   前記時変ファクタを正則化するための前記補助タスクの教師ラベルは、オーディオ擬似グラウンドトゥルースを得るために、前記複数のオーディオセグメントの各々の音量の大きさに閾値を設定することで提供される、請求項１に記載のコンピュータ実装方法。
8. 前記シーケンシャルデータ入力は、複数のフレームを有するビデオデータを含み、前記方法は、前記複数のフレームの各々におけるランドマークを、前記時変ファクタの教師として検出することをさらに含む、請求項１に記載のコンピュータ実装方法。
9. 前記時不変ファクタ及び前記時変ファクタのいずれかに応答して、動作状態から非動作状態へ切り替わるようにハードウェアデバイスを制御することをさらに含む、請求項１に記載のコンピュータ実装方法。
10. 前記時不変ファクタ及び時変ファクタのうちの少なくとも１つに応じて、新しい訓練メディアシーケンスを生成することをさらに含む、請求項１に記載のコンピュータ実装方法。
11. 解きほぐしたデータを生成するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、プログラム命令が実装された非一時的にコンピュータで読み取り可能な記憶媒体を有し、前記プログラム命令がコンピュータによって実行可能であり、
    変分オートエンコーダにより、複数の教師信号にアクセスすること（４１０）と、
    前記変分オートエンコーダにより、前記教師信号を報酬信号として利用して解きほぐした表現を学習する、複数の補助タスクにアクセスすること（４２０）と、
    前記複数の補助タスクを達成するために、前記教師信号を利用して得られた前記補助タスクの出力に基づく自己教師訓練アプローチを用いて、シーケンシャルデータ入力を時不変ファクタと時変ファクタとに解きほぐすように前記変分オートエンコーダを訓練すること（４３０）と、
    を有し、
    前記補助タスクは、前記時不変ファクタと前記時変ファクタの両方に対して前記シーケンシャルデータ入力における相互情報量を正則化するための正則化タスクとして提供され、前記相互情報量は、前記時不変ファクタと前記時変ファクタのファクタ間の依存度に基づいて相互的である、方法を前記コンピュータに実行させるための、コンピュータプログラム製品。
12. 前記複数の教師信号が、１つ以上の既存の教師あり機能モジュールからアクセスされる、請求項１１に記載のコンピュータプログラム製品。
13. 前記シーケンシャルデータ入力は、複数のフレームを有するビデオデータを含み、
    前記時不変ファクタは前記ビデオデータにおけるオブジェクトのアイデンティティであり、前記時変ファクタは前記複数のフレームにおける動きである、請求項１１に記載のコンピュータプログラム製品。
14. 前記シーケンシャルデータ入力は、オーディオデータを含み、
    前記時不変ファクタは話者のアイデンティティであり、前記時変ファクタは前記オーディオデータの言語コンテンツである、請求項１１に記載のコンピュータプログラム製品。
15. 前記相互情報量を最小化して、前記時変ファクタに対する前記時不変ファクタの相互排他性を促進することをさらに含む、請求項１１に記載のコンピュータプログラム製品。
16. 前記シーケンシャルデータ入力は、ビデオデータを含み、前記時変ファクタを正則化するための前記補助タスクの教師ラベルは、
    ビデオデータの光学フローマップを取得し、
    オプティカルフローマップにグリッドを適用することでパッチを形成し、
    前記パッチの各々の動きの大きさの平均を計算し、
    前記教師ラベルとして、上位ｋ個の最大値を有する前記パッチのインデックスから擬似グラウンドトゥルースを生成することで提供される、請求項１１に記載のコンピュータプログラム製品。
17. 前記シーケンシャルデータ入力は、複数のオーディオセグメントを有するオーディオデータを含み、
    前記時変ファクタを正則化するための前記補助タスクの教師ラベルは、オーディオ擬似グラウンドトゥルースを得るために、前記複数のオーディオセグメントの各々の音量の大きさに閾値を設定することで提供される、請求項１１に記載のコンピュータプログラム製品。
18. 解きほぐしたデータを生成するためのコンピュータ処理システムであって、
    プログラムコードを保存するためのメモリ装置（１３０）と、
    変分オートエンコーダを用いて、複数の教師信号にアクセスし、
    前記変分オートエンコーダを用いて、前記教師信号を報酬信号として利用して解きほぐした表現を学習する複数の補助タスクにアクセスし、
    前記複数の補助タスクを達成するために、前記教師信号を利用して得られた前記補助タスクの出力に基づく自己教師訓練アプローチを用いて、シーケンシャルデータ入力を時不変ファクタと時変ファクタとに解きほぐすように前記変分オートエンコーダを訓練するための前記プログラムコードを実行する、前記メモリ装置と動作可能に接続されたプロセッサ装置（１１０）と、
    を有し、
    前記補助タスクは、前記時不変ファクタと前記時変ファクタの両方に対して前記シーケンシャルデータ入力における相互情報量を正則化するための正則化タスクとして提供され、前記相互情報量は、前記時不変ファクタと前記時変ファクタとのファクタ間の依存度に基づいて相互的である、コンピュータ処理システム。

Images