JP7809245B2 - タスク関連ソースデータを使用しないクロスモーダル知識転移のためのシステムおよび方法 - Google Patents

Description

本発明は、タスク関連ソースデータを使用しないクロスモーダル知識転移のためのシステムおよび方法に関する。

クロスモーダル知識蒸留（cross-modal knowledge distillation：ＣＭＫＤ）方法は、多数のラベル付けされたデータを有していないあるモダリティの豊かな表現を、別のモダリティのラベル付けされた大きなデータセットから学習することを意図している。上記方法は、行動認識、画像認識のような各種の実用的なコンピュータビジョンタスクに使用されてきた。このラインに沿った研究の大半は、異なるモダリティにまたがるタスク関連ペアデータにアクセスできるという前提に基づいている。最近の研究ラインは、この前提を、ターゲットドメイン上のタスク関連ペアデータにはアクセスできないがソースドメインのタスク関連ペアデータにはアクセスできるというドメイン一般化という意味において、緩和した。例として、上記方法は、ターゲットドメインが単一のモダリティの代わりにラベルなしＲＧＢ－Ｄペアを有する、異なるドメインにまたがるユニフォームデータベースアクセス（Uniform Database Access：ＵＤＡ）を考慮する。上記研究はすべて、クロスモーダル知識転移のためにタスク関連ペアデータを利用するか、または、クロスモーダルペアデータをドメインとみなすかのいずれかである。外部のタスクに関連のないペアデータを利用するがソースデータへのアクセスを必要とするゼロショットドメイン適応の研究も存在する。ソースデータに関する記憶またはプライバシー問題に対処するために、最近、仮説転移学習（Hypothesis Transfer Learning：ＨＴＬ)と名付けられた新たな研究ラインが出現しており、この場合、ソースデータの代わりに、訓練されたソースモデルにのみアクセスできる。この状況において、人々は、シングルソース、すなわちソースフリードメイン適応（Source-Free Domain Adaptation：ＳＦＤＡ）、またはマルチソースモデル、すなわちマルチソースフリードメイン適応（Multiple Source-Free Domain Adaptation：ＭＳＦＤＡ）の両方の存在下で、限定されたラベルを有するかまたはラベルが全くないターゲットドメインデータ適応を探究してきた。上記方法は、ラベルなしターゲットセットがソースとは異なるモダリティに由来するレジームでは十分に機能しない。異なるソースモダリティおよびターゲットモダリティを考慮し、ソースモデルを訓練するために使用されるタスク関連データにアクセスすることなく効果的な知識転移を実行することができる、新規のクロスモーダル知識転移方法が必要とされている。

本開示は、タスク関連ソースデータを使用しないクロスモーダル知識転移システムおよび方法のためのシステムおよび方法に関する。

本発明のいくつかの実施形態は、通常のＲＧＢセンサに代わるものとしての、費用対効果が高い深度センサおよび赤外線センサが、現在実現されており、自律ナビゲーションおよびリモートセンシングのような領域におけるこれらのセンサのＲＧＢに対する利点が明確に理解されることを説明する。そのため、深度および赤外線データのためのコンピュータビジョンおよび深層学習システムを構築することが非常に重要である。しかしながら、これらのモダリティのラベル付けされた大きなデータセットは依然として不足している。そのような場合、ソースモダリティ（ＲＧＢ）における十分にラベル付けされた大きなデータセットで訓練されたニューラルネットワークから、ターゲットモダリティ（深度、赤外線など）上で機能するニューラルネットワークに、知識を転移させることは、非常に価値がある。メモリおよびプライバシーなどが原因で、ソースデータにアクセスできない場合があり、知識転移はソースモデルのみで機能する必要がある。ソースデータへのアクセスなしで、あるソースモダリティから異なるターゲットモダリティに知識を転移するというこの困難なタスクに有効なソリューションである、ＳＯＣＫＥＴ：ソースフリークロスモーダル知識転移（source-free Cross-modal KnowledgE Transfer）について説明する。そのフレームワークは、ペアにされた、タスクに関連のないデータを使用し、ターゲット特徴の平均および分散をソースモデルに存在するバッチ正規化統計とマッチングすることにより、モダリティギャップを低減する。我々は、大規模な実験を通して、我々の方法が、モダリティギャップを考慮しない分類タスクのための既存のソースフリーの方法よりも、性能が（場合によっては最大１２％）優れていることを明らかにする。

本発明のいくつかの実施形態に従い、１つ以上のソースモデルネットワークを１つ以上のターゲットモデルネットワークに適応させるためのクロスモダリティ知識転移システムが提供される。クロスモダリティ知識転移システムは、タスクに関連のない（ＴＩ）ペアデータセットと、ラベルなしタスク関連（ＴＲ）データセットと、バッチ正規化（ＢＮ）層、特徴エンコーダ、畳み込みニューラルネットワーク層（ＣＮＮ層）および分類器を含む１つ以上のソースモデルネットワークと、ＢＮ層、特徴エンコーダ、ＣＮＮ層および分類器を含む１つ以上のターゲットモデルネットワークと、命令を有する、コンピュータにより実現されるクロスモダリティ知識転移方法とを記憶するように構成されたメモリと、コンピュータにより実現されるクロスモダリティ知識転移方法のステップを命令に従って実行するように構成された少なくとも１つのプロセッサとを含み得る。ステップは、ＴＩソース特徴およびＴＲソースモーメントを、１つ以上のソースモデルネットワークを通してＴＩソースペアデータセットを送ることにより、１つ以上のソースモデルネットワークから抽出することを含み、１つ以上のソースモデルネットワークのＣＮＮ層および分類器は凍結される。ステップはさらに、１つ以上のターゲットモデルネットワークを通してＴＩペアデータセットおよびラベルなしＴＲデータセットを送ることにより、１つ以上のターゲットモデルネットワークからバッチごとのＴＩターゲット特徴およびＴＲターゲットモーメントを抽出することを含み、１つ以上のターゲットモデルネットワークの分類器は凍結される。ステップはさらに、１つ以上のターゲットモデルネットワークの抽出されたＴＲターゲット特徴に基づいて、モダリティに依存しない損失関数を計算することと、計算されたモダリティに依存しない損失関数を最小化することによって１つ以上のターゲットモデルネットワークの特徴エンコーダを共同で訓練することと、訓練された１つ以上のターゲットモデルネットワークを組み合わせることによって最終ターゲットモデルネットワークを生成することとを含む。

さらに、本発明のいくつかの実施形態は、命令を有する、コンピュータにより実現されるクロスモダリティ知識転移方法を提供し、クロスモダリティ知識転移方法は、少なくとも１つのプロセッサと少なくとも１つのメモリとを使用する。この場合、命令は、１つ以上のソースモデルネットワークを通してＴＩソースペアデータセットを送ることにより、１つ以上のソースモデルネットワークからＴＩソース特徴およびＴＲソースモーメントを抽出することを含み、１つ以上のソースモデルネットワークのＣＮＮ層および分類器は凍結される。命令はさらに、１つ以上のターゲットモデルネットワークを通してＴＩペアデータセットおよびラベルなしＴＲデータセットを送ることによって１つ以上のターゲットモデルネットワークからバッチごとのＴＩターゲット特徴およびＴＲターゲットモーメントを抽出することを含み、１つ以上のターゲットモデルネットワークの分類器は凍結される。命令はさらに、１つ以上のターゲットモデルネットワークの、抽出されたＴＲターゲット特徴に基づいて、モダリティに依存しない損失関数を計算することと、計算されたモダリティに依存しない損失関数を最小化することによって混合重みとともに１つ以上のターゲットモデルネットワークの特徴エンコーダを共同で訓練することと、訓練された１つ以上のターゲットモデルネットワークを組み合わせることによって最終ターゲットモデルネットワークを生成することとを含む。

本発明の一層の理解のために含まれている添付の図面は、本発明の実施形態を示し、明細書の記載とともに、本発明の原理を説明する役割を果たす。

本発明の実施形態に係るＳＯＣＫＥＴ法を説明する概略図を示す。 従来技術で使用される問題設定とＳＯＣＫＥＴとの間の相違を示す図である。 本発明の実施形態に係る詳細なＳＯＣＫＥＴ手順を示す図である。 本発明の実施形態に係るアルゴリズムの形態のＳＯＣＫＥＴ法の完全な説明を示す図である。 本発明の実施形態に係る、実験で使用されるデータセットの主要な特徴を示す図である。 本発明の実施形態に係る、ドメインの全ペアについてタスク関連ソースデータへのアクセスを使用しない、ＲＧＢから深度モダリティへのシングルソースクロスモダリティ知識転移タスクのためのＳＵＮ ＲＧＢ－Ｄデータセットに関する結果を示す図である。 本発明の実施形態に係る、タスク関連ソースデータへのアクセスを使用しない、ＲＧＢから深度モダリティへのマルチソースクロスモダリティ知識転移タスクのためのＳＵＮ ＲＧＢ－Ｄデータセットに関する結果を示す図である。 本発明の実施形態に係る、未適応ソースおよびＳＨＯＴとの比較における、タスクに関連のない異なるデータセットが使用される場合のＤＩＭＬデータセットに関する結果を示す図である。 本発明の実施形態に係る、タスク関連ソースデータを使用しない、ＲＧＢからＮＩＲへの、およびその逆のシングルソースクロスモーダル知識転移タスクのための、ＲＧＢ－ＮＩＲデータセットに関する結果を示す図である。 本発明の実施形態に係る、ＳＨＯＴを使用したＳＵＮ ＲＧＢ－Ｄシーン分類についてのクロスモーダル知識転移およびクロスドメイン知識転移の結果の相違を示す図である。 本発明の実施形態に係る、我々が提案する新規の損失成分の、結果への寄与を示す図である。 本発明の実施形態に係る、ＳＯＣＫＥＴ結果に対するＴＩデータの数の影響を示す図である。 本発明の実施形態に係る、ＳＯＣＫＥＴ結果に対する正則化ハイパーパラメータの影響を示す図である。 本発明のいくつかの実施形態に係るクロスモダリティ知識転移システムを示す図である。

以下、本発明の各種実施形態を、図面を参照しながら説明する。図面は正しい縮尺で描かれておらず、同様の構造または機能の要素が図面を通して同様の参照番号で表されていることに注意されたい。図面は本発明の特定の実施形態を説明し易くすることのみを意図していることにも注意されたい。これらは、本発明を網羅的に説明すること、または本発明の範囲を限定することを意図していない。加えて、本発明のある特定の実施形態に関連して説明される態様は、必ずしもその実施形態に限定されるものではなく、本発明のその他任意の実施形態において実施することができる。

図１は、本発明のいくつかの実施形態に係る、ソースフリークロスモーダル知識転移（SOurce-free Cross-modal KnowledgE Transfer：ＳＯＣＫＥＴ）法を説明する概略図を示す。ソースモデルを訓練するためにデータを使用しないシングル／マルチソースクロスモダリティ知識転移の問題について説明する。知識転移を効果的に実行するために、特徴空間におけるタスクに関連のないペアデータについてクロスモーダル特徴を整合させるとともに、ラベルなしタスク関連特徴およびソース特徴の分布をマッチングすることにより、モダリティギャップを最小にする。

図２は、関連する研究を示し、それらとＳＯＣＫＥＴとを比較する。この図において、異なるドメインおよびモダリティ間にまたがる知識転移についての文献における既存の問題設定と我々の研究とを比較する。この図に記載される比較対象の設定はそれぞれ、（１）ＵＤＡ（教師なしドメイン適応）、ＤＴ（Domain Translation：ドメイン変換）、（２）ＭＳＤＡ（Multi-source domain adaptation：マルチソースドメイン適応）、（３）ＳＦＤＡ（ソースフリーシングルソースＤＡ）、（４）ＭＳＦＤＡ（ソースフリーマルチソースＤＡ）、（５）ＣＭＫＤ（クロスモーダル知識蒸留）、および（６）ＺＤＤＡ（ゼロショットＤＡ）である。本発明に係るシステムのみが、異なるモダリティのラベルなしターゲットデータセットのための関連するソース訓練データへのいかなるアクセスも伴わずに、複数のソースからのクロスモーダル知識転移を可能にすることに、注目されたい。

図３は、（図１３に示される）クロスモダリティ知識転移システム１１００に基づく、１つ以上のニューラルネットワークによって形成されたソースモデル１～ｎ（プログラムモジュール１～ｎ）を示す。例として、ソースモデル３１０は、中間特徴マップ３１２を出力する畳み込みニューラルネットワーク層（convolutional neural network ：ＣＮＮ層）３１１と、特徴エンコーダ３１４内のバッチ正規化（batch normalization：ＢＮ）層３１３と、分類層（分類器）とを含む。特徴エンコーダ３１５の出力は、全結合分類器層３１６に送られる。場合によっては、（ソースモダリティに対応する）ソースモデルがソースモデルネットワークと呼ばれることがある。我々のフレームワークは以下の２つの部分に分割することができる。（ｉ）知識転移前（上側）：クロスモダリティ知識転移システムは、ソースモデルのＢＮ層およびソース特徴エンコーダをアクティブにするが、ＣＮＮおよび分類器を含むソースモデルの他の部分を凍結させ、タスクに関連のない（task-irrelevant：ＴＩ）ソースデータをアクティブにされたＢＮ層およびソース特徴エンコーダを通して送ることにより、ＴＩソース特徴およびソースモーメントを抽出する。「凍結」という用語は、凍結された層内のパラメータが固定されたままで更新されないことを意味する。タスク関連（task-relevant：ＴＲ）ソース特徴マップを利用できないので、クロスモダリティ知識転移システムは、記憶されている、その分布のモーメントを、ＢＮ層から抽出する。（ｉｉ）知識転移中（下側）：クロスモダリティ知識転移システムは、分類層（分類器）のみを凍結し、ＴＩおよびラベルなしＴＲターゲットデータをターゲットモデル（ターゲットモダリティに対応）を通して与え、混合重みζ_ｋを使用して、すべてのモデルからそれぞれ組み合わされた、バッチごとのＴＩターゲット特徴３２４およびＴＲターゲットモーメント３２２を得る。場合によって、ターゲットモデルをターゲットモデルネットワークと呼ぶことがある。

クロスモダリティ知識転移システムは、それらを、ＴＩ特徴マッチング損失３２０を使用して予め抽出されたソース特徴３２１とマッチングし、分布マッチング損失３１８を使用してソースモーメント３１７とマッチングする（組み合わせる）。ＴＩ特徴マッチング損失および分布マッチング損失の両方が、モダリティ固有の損失である。ＴＲターゲット特徴３２３は、モダリティに依存しない損失（モダリティに依存しない損失関数）３１９を計算するために使用される。モダリティ固有の損失関数とモダリティに依存しない損失関数との組み合わせは最小化されて、混合重みζ_ｋとともにすべての特徴エンコーダパラメータを共同で訓練する。最終ターゲットモデルは、（訓練されたターゲットモデルネットワークに対応する）更新されたソースモデルの最適な線形結合である。

ＫｉｎｅｃｔおよびＲｅａｌＳｅｎｓｅのような深度センサ、ポイントクラウドを直接測定するためのＬＩＤＡＲ、またはＦＬＩＲ等の高分解能赤外線センサは、可視波長のみを使用することと比較して、コンピュータビジョンの適用範囲を拡大することを可能にする。深度を直接検知することで、シーンの近似３次元画像を提供することができ、それにより、自律ナビゲーションのようなアプリケーションの性能を改善する一方で、赤外線波長での検知は、雨、霧、および煙のような有害な大気条件における、より簡単な歩行者検出またはより高度なオブジェクト検出を可能にすることができる。これらはほんの数例にすぎない。

深度および赤外線のようなモダリティに対し、現在の明白な教師あり深層学習アプローチを使用して、コンピュータビジョンアプリケーションを構築するには、大量の多様なラベルありデータが必要である。しかしながら、そのような大きく多様なデータセットはこれらのモダリティには存在せず、そのようなデータセットを構築するコストは法外に高くなる可能性がある。このような場合において、研究者らは、大量のラベルありデータを利用できるＲＧＢのようなモダリティについて訓練されたモデルから、深度のような対象モダリティに知識を転移させるために、知識蒸留のような方法を開発した。

以前の研究とは異なり、我々は、クロスモーダル知識転移に関する新しい困難な問題に取り組む。（ａ）対象タスク（task of interest：ＴＯＩ）のために訓練されたソースモデル、および（ｂ）同じＴＯＩのためのモデルを構築する必要があるターゲットモダリティにおけるラベルなしデータにのみアクセスできると仮定する。重要な側面は、クロスモダリティ知識転移システムが、ＴＯＩのためのソースモダリティのいかなるデータへのアクセスも必要としないことである。そのような問題設定は、メモリおよびプライバシーの考慮がソースモダリティからの訓練データの共有を許容しない場合において、重要であり、訓練されたモデルのみを共有することができる。

いくつかの実施形態は、ソースモダリティとターゲットモダリティとの間のギャップを埋めるための、この問題に対する有効な解決策として、ＳＯＣＫＥＴ、すなわちソースフリークロスモーダル知識転移を提供する。そのために、（１）タスクに関連のない（Task-Irrelevant：ＴＩ）データと呼ぶ、ＴＯＩに関連しないソース－ターゲットモダリティペアの外部データセットの使用が、２つのモダリティの特徴をより近づけることによって有効なターゲットモデルを学習するのに役立ち得ることを示す。ＴＩデータの使用に加えて、タスク関連（Task-Relevant：ＴＲ）と定義されるラベルなしターゲットデータの特徴の統計を、訓練されたソースモデルに存在する正規化層から利用できるソースデータの統計とマッチングさせることを奨励する。

我々は、ＲＧＢのようなソースモダリティから深度のようなターゲットモダリティへのモダリティシフトが、あるＲＧＢデータセットから別のＲＧＢデータセットへのドメインシフトよりも、はるかに困難となり得ることを示す、重要な経験的証拠を提供する。これは、提案されているフレームワークが、知識転移をより効果的にするためにモダリティギャップを最小にするのを助けるために必要であることを示す。上記思想に基づいて、我々は、同一のモダリティにおけるクロスドメイン設定についてのみ考案された既存の先行技術の方法を改善できることを示す。本開示の主な特徴を以下において要約する。

１．タスク関連ソースデータへのいかなるアクセスもなく、かつターゲットデータがラベル付けされていないときに、ソースモダリティのために訓練されたモデルから異なるターゲットモダリティへの知識転移のための、新規の問題を定式化する。

２．モダリティ間のギャップを埋めるために、（ａ）外部のタスクに関連のないペアデータセットを使用し、（ｂ）ソースモデル内の正規化層から得られたモーメントを、ラベルなしターゲットデータ上で計算されたモーメントとマッチングすることにより、ソースデータにアクセスすることなく、クロスモーダル知識転移のための新規フレームワークとしてＳＯＣＫＥＴを提案する。

３．ＲＧＢから深度への知識転移とＲＧＢからＩＲへの知識転移の両方について、および、シングルソースの場合とマルチソースの場合の両方についての、複数のデータセットに対する大規模な実験は、ＳＯＣＫＥＴが、特徴空間におけるモダリティギャップを低減するのに有用であり、ソースモダリティとターゲットモダリティとの間のモダリティの相違を考慮しない既存のソースフリードメイン適応ベースラインよりも、大幅に優れた性能（場合によっては１２％もの改善）をもたらすことを示す。

４．また、対象データセットについて、ＲＧＢと深度のようなモダリティとモダリティとの間の知識転移問題が、センサの変更および視点のシフト等の同一モダリティ内の単なるドメインシフトよりも困難であることも、経験的に示す。
（問題設定および表記）

（クロスモーダル特徴アライメント）

（タスクに関連のない特徴のマッチング）

（タスク関連分布マッチング）

タスクに関連のない特徴のマッチングでは、特徴空間における２つのモダリティのＴＩ特徴をマッチングする。たとえこのことがソースモダリティとターゲットモダリティとの間の何らかのクラス独立クロスモーダルマッピングを捕捉するとしても、ＴＲクラス条件付きクロスモーダルマッピングに関する情報がない。この用語を用いて、関連するクラスが与えられると、ソースとターゲットとの間のクロスモーダル関係を参照する。バッチにまたがるソース特徴の周辺分布をガウスとしてモデル化できると仮定すると、そのような特徴統計を、その平均および分散で十分に特徴付けることができる。我々は、モダリティギャップをさらに低減するために、ソースとターゲットにまたがる特徴統計をマッチングすることを提案する。

（全体の最適化）

提案されている上記２つの方法は、タスク関連ソースデータにアクセスすることなくソースとターゲットとの間のモダリティギャップを低減するのに役立つ。これらに加えて、ラベルなしターゲットデータを知識転移に直接使用する。具体的には、自己教師あり擬似ラベル損失の最小化とともに情報最大化を実行する。

情報最大化（Information Maximization：ＩＭ）：ＩＭは、本質的にはターゲットデータの分布とソースモデルによって予測されるそのラベルとの間の相互情報量の最大化を実行するタスクである。この相互情報量は、ターゲットラベル分布の条件付きエントロピーと周辺エントロピーとの組み合わせである。

モダリティに依存しない損失とモダリティ固有の損失との和としての総合目的関数を計算し、図４に示されるアルゴリズムを使用して、損失関数とも呼ばれる以下の目的関数を最小化することにより、特徴エンコーダにおける重みを最適化する。この図は、本発明の実施形態に係るアルゴリズムの形態のＳＯＣＫＥＴ法の十分な説明を示している。

（実験）

最初に、使用するデータセット、ベースラインおよび実験の詳細について説明する。次に、我々の方法の有効性を示す、シングルソースおよびマルチソースクロスモーダル転移の結果を示す。また、ソースフリークロスモーダルがクロスドメイン知識転移と比較してはるかに困難な問題であることを実験的に実証する。異なるハイパーパラメータについての分析を行うことによって実験を終了する。
（データセット、ベースラインおよび実験の詳細）

データセット：我々の方法の有効性を示すために、公開されているクロスモーダルデータセットについて広範囲にわたるテストを実施する。２つのＲＧＢ－Ｄ（ＲＧＢおよび深度）データセット、すなわちＳＵＮ ＲＧＢ－ＤおよびＤＩＭＬ ＲＧＢ＋Ｄ、ならびにＲＧＢ－ＮＩＲシーン（ＲＧＢおよび近赤外線）データセットに関する結果を示す。図５は、データセットの統計を要約する、本発明の実施形態に係る、実験で使用されるデータセットの主要な特徴を示す。

ＳＵＮ ＲＧＢ－Ｄ：屋内シーンの１０３３５個のＲＧＢ－Ｄ画像ペアを含むシーン理解ベンチマークデータセット。このデータセットは、Ｋｉｎｅｃｔバージョン１（ｋｖ１）、Ｋｉｎｅｃｔバージョン２（ｋｖ２）、Ｉｎｔｅｌ（登録商標） ＲｅａｌＳｅｎｓｅおよびＡｓｕｓ Ｘｔｉｏｎと名付けられた４つの異なるセンサから取得された画像を有する。これら４つのセンサを４つの異なるドメインとして扱う。これらの画像のすべてが４５のクラスに分散され、そのうち１７のクラスがすべてのドメインに共通である。これらの共通クラスをＴＲクラスとし、残りの２８のクラスをＴＩクラスとする。各ドメインに対して１つである４つのソースモデルを訓練するために、その特定のドメインに固有のＴＲクラスからのＲＧＢ画像を使用する。ドメインの各々からのＴＲ深度画像を、ターゲットモダリティデータセットとして扱う。ここでの目標は、ＲＧＢソースモデルを、深度モダリティである、ラベルなしターゲットデータに適応させることにより、ＴＲシーンクラス間の分類を行うことである。

ＤＩＭＬ ＲＧＢ＋Ｄ：この公開されているデータセットは、２００個を超える屋内／屋外シーンからなる。１８のシーンクラスに分散された訓練／テストのための１５００／５００のＲＧＢ－Ｄペアを有する、完全なデータセットの代わりに、より小さなサンプルデータセットを使用する。訓練ペアを、ＲＧＢと深度に分割し、これら２つをそれぞれソースおよびターゲットとして扱う。図５に従い、これらの画像をＴＲ画像とＴＩ画像にさらに分割する。同期させたＲＧＢ－Ｄフレームは、Ｋｉｎｅｃｔ ｖ２およびＺｅｄステレオカメラを使用して捕捉されている。

ＲＧＢ－ＮＩＲシーン：この公開されているデータセットは、ＲＧＢおよび近赤外線（ＮＩＲ）で捕捉された９つのシーンカテゴリからの４７７個の画像からなる。これらの画像は、可視およびＮＩＲを使用する修正されたＳＬＲカメラから別々の露出を使用して捕捉されている。カテゴリのうちの６つのカテゴリをＴＲとし、残りの３つのカテゴリをＴＩとすることにより、このデータセットに対しシングルソース知識転移を実行する。このデータセットに対し、２つの実験として、ＲＧＢからＮＩＲへの適応、およびその逆の適応を行った。
（ベースライン法）

本明細書において注目する問題の記述は、新規のものであり、過去の文献では検討されていなかったものである。それ故に、我々の方法のための直接的なベースラインは存在しない。しかしながら、最も関連性が高い研究は、シングルソースおよびマルチソースの両方の場合に機能するソースフリークロスドメイン知識転移方法である。ＳＨＯＴおよびＤＥＣＩＳＩＯＮは、それぞれ、シングルソースおよびマルチソースＳＦＤＡに関する、将来性がありかつ最もよく知られている研究であり、我々はこれら２つの方法と比較する。

ＳＯＣＫＥＴとは異なり、これらのベースラインのいずれも、モダリティの相違を克服する方策を採用せず、ターゲットモデルを訓練するために、モダリティに依存しない損失Ｌ_ｍａのみを使用する。対象タスクとしてシーン分類を使用して、ＳＯＣＫＥＴが、タスク関連ソースデータへのアクセスを使用しないクロスモーダル知識転移のためのこれらのベースラインよりも、性能が優れていることを示す。
（ネットワークアーキテクチャ）

我々の実験において、ソースモデルを訓練するためのバックボーンアーキテクチャとして、ＩｍａｇｅＮｅｔで予め訓練された周知のＲｅｓｎｅｔ５０モデルを採用する。アーキテクチャに従って、最後の全結合（fully connected：ＦＣ）層を、２５６単位を含むボトルネック層に置き換え、その中において、ＦＣ層の最後にバッチ正規化（ＢＮ）層を追加する。重み正規化を伴うタスク固有のＦＣ層が、ボトルネック層の最後に追加される。
（知識転移の実施）

ソース重みでターゲットモデルを初期化し分類器の層が凍結されることを想起されたい。マルチソースの場合の特徴エンコーダにおける重みおよびソース混合重みパラメータ（ζ_ｋ）は最適化パラメータである。以下の全実験について、λ_ｐｌを０．３に設定する。モダリティ固有の損失の正則化パラメータλ_ＴＩおよびλ_ｄについてはこれらを等しくなるように設定する。経験的に、これらのパラメータを、モダリティに依存しない損失と釣り合うように選択し、損失成分が、大きなマージン分、他を上回ることがないようにする。経験的に、（０．１，０．５）という範囲が最も上手く機能することを見出した。この範囲内のすべての値がベースラインよりも性能が優れており、それらのうちで最も良い精度について報告する。ＲＧＢ以外のモダリティである深度およびＮＩＲからの画像について、ＲＧＢ画像で訓練されたソースモデルから初期化される特徴エンコーダを通して与えることができるように、シングルチャネル画像－３チャネル画像を繰り返す。実験のすべてについて３２のバッチサイズを使用する。我々の方法を、ＰｙＴｏｒｃｈの３つのランダムシードを用い、すべての実験について３回実行し、それらの平均精度を報告する。
（ＳＵＮ ＲＧＢ－Ｄデータセットに関する結果）

我々の方法は任意の数のソースを扱うのに十分一般的であり、シングルソースおよびマルチソース知識転移の両方を実証する。図６は、本発明の実施形態に係る、ドメインのすべてのペアについて、タスク関連ソースデータへのアクセスを使用しない、ＲＧＢから深度モダリティへのシングルソースクロスモーダル知識転移タスクのための、ＳＵＮ ＲＧＢ－Ｄデータセットに関する結果を示す。この図では、４つのドメインのすべてについてシングルソースＲＧＢ－深度の結果を示す。各ドメインのラベルなし深度データをターゲットとして扱い、これらを、４つのドメインの各々からのＲＧＢデータに対して訓練されたソースモデルを使用して適応させる。行は、ソースモデルが訓練されるＲＧＢドメインを表す。列は、３つの方法について、深度ドメインに関する知識転移結果を表し、「未適応」は、未適応のソース、ＳＨＯＴおよびＳＯＣＫＥＴでの結果を示す。図６から容易に明らかになるのは、ターゲットドメインであるＫｉｎｅｃｔ Ｖ１、Ｋｉｎｅｃｔ Ｖ２、Ｒｅａｌｓｅｎｓｅ、およびＸｔｉｏｎについて、ＳＯＣＫＥＴは、それぞれ６．７％、４．５％、２．３％および３．８％という十分なマージン分、ベースラインよりも一貫して性能が上回っていることであり、これにより、ソースフリークロスモーダル設定におけるＳＯＣＫＥＴの有効性を証明している。いくつかの場合において、ＳＯＣＫＥＴは、ベースラインよりも、１２．４％（Ｒｅａｌｓｅｎｓｅ－ＲＧＢからＫｉｎｅｃｔ Ｖ１－深度）または９．０％（Ｘｔｉｏｎ－ＲＧＢからＸｔｉｏｎ－深度）という非常に大きなマージン分、性能が上回っている。

図７は、本発明の実施形態に係る、タスク関連ソースデータへのアクセスを使用しない、ＲＧＢから深度モダリティへのマルチソースクロスモーダル知識転移タスクのための、ＳＵＮ ＲＧＢ－Ｄデータセットに関する結果を示す。

この場合、この図は、２ソースＲＧＢ－深度適応の結果を示す。４つのドメインについて、６つの２ソース組み合わせを取得し、その各々が、４つのドメインのすべてからの深度データへの適応に使用される。列は、ＤＥＣＩＳＩＯＮおよびＳＯＣＫＥＴについて、ドメイン固有の深度データに関する知識転移結果を表す。この場合も平均してＳＯＣＫＥＴが４つのターゲットドメインすべてのベースラインよりも、十分なマージン分、性能が優れていることを見出した。シングルソース適応の傾向に従い、ＳＯＣＫＥＴは、（Ｋｉｎｅｃｔ ｖ１＋Ｘｔｉｏｎ）－ＲＧＢからＫｉｎｅｃｔ ｖ１深度についての１２．２％の改善、および、（Ｋｉｎｅｃｔ ｖ２＋Ｒｅａｌｓｅｎｓｅ）－ＲＧＢからＫｉｎｅｃｔ ｖ２深度についての１０．４％の改善のような、いくつかの個々のケースにおけるいくつかの非常に優れた改善を示す。
（ＤＩＭＬ ＲＧＢ＋Ｄデータセットに関する結果）

このデータセットについて、図５に従うデータセットを再構成することにより、シングルソース適応実験を行った。図８は、本発明のいくつかの実施形態に係る、未適応ソースおよびＳＨＯＴとの比較における、タスクに関連のない異なるデータセットがＳＯＣＫＥＴに使用される場合の、ＤＩＭＬデータセットに関する結果を示す。図８では、ＤＩＭＬ ＲＧＢ＋ＤデータセットとＳＵＮ ＲＧＢ－Ｄデータセットの両方からのＴＩデータを、２つの別々の列で使用し、ＳＵＮ ＲＧＢ＋ＤのＴＩデータは、ＳＵＮ ＲＧＢ－Ｄデータセットに関する実験に使用されたものと同じである。そうすることにより、ＳＯＣＫＥＴが、全く異なるデータセットからのＴＩデータでさえ十分に機能できることを示し、ＳＯＣＫＥＴが、これらの２つのＴＩデータ設定について、それぞれ、ベースラインに対し、４．７％および１１．８％の相対利得を有することを見出した。
（ＲＧＢ－ＮＩＲシーンデータセットに関する結果）

次に、モダリティがＲＧＢ－ＮＩＲデータセットを使用するＲＧＢおよびＮＩＲであるときにも、ＳＯＣＫＥＴはベースラインより性能が優れていることを示す。ここでは図５に示される分割に従う。ＲＧＢからＮＩＲおよびその逆の両方について、実験を行う。図９は、本発明のいくつかの実施形態に係る、タスク関連ソースデータを使用しない、ＲＧＢからＮＩＲへの、およびその逆のシングルソースクロスモーダル知識転移タスクのための、ＲＧＢ－ＮＩＲデータセットに関する結果を示す。列は、３つの方法についての深度ドメイン上の知識転移結果を表し、「未適応」は、未適応のソース、ＳＨＯＴおよびＳＯＣＫＥＴでの結果を示す。ＲＧＢからＮＩＲへの転移については、ＳＯＣＫＥＴは３．５％の改善を示すが、ＮＩＲからＲＧＢへの転移については、競合する方法に対して０．５％の改善を示す。
（クロスモーダル対クロスドメイン）

我々が検討する新規の問題の重要性を示すために、モダリティ変更対ドメインシフトについて、ＳＵＮ ＲＧＢ－Ｄデータセットに関するシングルソース知識転移結果を比較する。図１０は、本発明のいくつかの実施形態に係る、ＳＨＯＴを使用したＳＵＮ ＲＧＢ－Ｄシーン分類のための、クロスモーダルおよびクロスドメイン知識転移の結果の違いを示す。この実験のためのソースフリーＵＤＡ法であるＳＨＯＴを使用する。すべてのドメイン固有のソースモデルがＲＧＢ画像に対して訓練される。ドメインシフトについて、ターゲットは、残りの３つのドメインのすべてのＲＧＢ画像であり、それらの平均について報告する。ドメインシフトは、センサ構成、視点などにおける変更を伴う。モダリティ変更の場合、ターゲットデータは、同じドメインからの深度画像である。シーンは、深度センサを使用して捕捉されることを除いて、ＲＧＢソースと同じである。この図は、同じモダリティのドメイン間ではなく異なるモダリティ間で知識を転移する場合、精度が１２．５％の大きなマージン分低下することを明らかに示している。このことは、クロスモーダル知識転移がＤＡと同じではなく、ＳＯＣＫＥＴのようなフレームワークが、効果的なクロスモーダル知識転移のモダリティギャップを低減するために必要であることを示す。
（アブレーションおよび感度分析）
（損失成分の寄与）

図１１は、本発明のいくつかの実施形態に係る、提案されている新規の損失の、精度に対する影響を示す。第１の精度列（ａ）は、Ｋｉｎｅｃｔ Ｖ２ドメイン上のＲＧＢから深度へのシングルソース適応に対応し、第２の列（ｂ）は、ＳＵＮ ＲＧＢ－ＤデータセットのＫｉｎｅｃｔ Ｖ１ ＸｔｉｏｎからＫｉｎｅｃｔ Ｖ１ドメインへのマルチソースＲＧＢ－深度適応の結果を示す。第１行は、モダリティに依存しない損失Ｌ_ｍａのみについての結果であり、第２および第３行は、Ｌ_ｍａと共に、提案されているモダリティ固有の損失の、個々の影響を示す。いずれの場合も、ＳＯＣＫＥＴはベースラインより性能が優れている。Ｌ_ｍａとともに、提案されている損失の両方を示す最終行は、最高の結果をもたらす。括弧内にのみ、モダリティに依存しない損失（Ｌ_ｍａ）を使用することに対する精度利得を示す。
（ＴＩ画像の数の影響）

図１２Ａは、本発明のいくつかの実施形態に係る、ＳＵＮ ＲＧＢ－ＤデータセットについてのＳＯＣＫＥＴ結果に対するＴＩデータ数の影響を示す。Ｋｉｎｅｃｔ ｖ１ ＲＧＢからラベルなし深度データへの知識転移を実行する。６つのランダムなＴＩクラスを使用し、クラス当たりのＴＩ画像の数を０から６０まで２０段階で変化させる。この図は、クラス当たりのＴＩデータのサンプルを増加させることにより、ＳＵＮ ＲＧＢ－ＤデータセットについてＲＧＢから深度への転移に関するシーン分類精度が改善されることを、明確に示す。要するに、固定数のＴＩクラスについて、クラス当たりのＴＩ画像が多いほどＳＯＣＫＥＴの性能は高い。
（正則化パラメータの影響）

図１２Ｂは、本発明のいくつかの実施形態に係る、ＳＯＣＫＥＴの一部として提案されている新規の損失についての正則化ハイパーパラメータ対試験精度の影響を示す。ＳＵＮ ＲＧＢ－Ｄデータセットについて、Ｋｉｎｅｃｔ ｖ１およびＫｉｎｅｃｔ ｖ２ ＲＧＢからＫｉｎｅｃｔ ｖ１深度への転移を実行する。λ_ＴＩおよびλ_ｄを、０と１の間の値について互いに等しく保つ。０という値を使用することは、ＳＨＯＴを使用することと同じである。この図から、パラメータの値が増加すると、精度も特定の点までは増加しその後減少し始めることがわかる。

我々は、ソースモダリティからのタスク関連データへのアクセスを使用しないクロスモダリティ知識転移の新規で困難な問題を特定する。ラベルなしデータしかない場合のターゲットモダリティへの効果的な知識転移のために、本発明のいくつかの実施形態は、特徴空間内の２つのモダリティの間のギャップを埋めるのに役立つ損失関数を考案することを含むフレームワークＳＯＣＫＥＴを提供することができる。ＲＧＢから深度への実験およびＲＧＢからＮＩＲへの実験の両方の結果は、ＳＯＣＫＥＴが、モダリティシフトではうまく機能しない、ソースフリー教師なしドメイン適応のために設計されたベースラインよりも、性能が優れていることを示す。

本発明のいくつかの実施形態に従うと、クロスモダリティ知識転移システムおよびコンピュータにより実現されるクロスモダリティ知識転移方法は、ストレージのメモリサイズを削減し、ソースデータに関するプライバシー問題を解決し、ターゲットモデルネットワークの訓練期間を短縮することができる。したがって、本発明のクロスモダリティ知識転移システムおよびコンピュータにより実現されるクロスモダリティ知識転移方法は、コンピュータシステム（プロセッサ）の機能を改善し、コンピュータシステムの消費エネルギを削減することができる。

本発明のいくつかの特徴に従うと、各ソースモデルネットワークは、ＢＮ（バッチ正規化）層を含み、分類対象である、ターゲットモダリティの、注釈付けされていない／ラベル付けされていない、一組のデータセットを受ける。場合によっては、適応させたターゲットモデル（訓練されたターゲットネットワーク）が、ターゲットモダリティデータに対してコンピュータビジョンタスクを実行するために使用される。

一組の「タスクに関連のない」データセットの場合、各データポイントは、対応するソースおよびターゲットモダリティ画像を有する画像のペアであり、ソース－ターゲットモダリティギャップを低減することによって知識転移の手順を支援するために利用される。

クロスモダリティ知識転移システムにおいて、１つ以上のバッチ正規化層からの統計が、ソース－ターゲットモダリティギャップを低減することによって知識転移の手順を支援するために、ラベルなしターゲットモダリティデータの特徴のバッチごとの統計に対してマッチングされる。

さらに、適応させたターゲットモデルは、ソースモデルを初期化として使用し、１つ以上の損失関数を最小化してこのモデルのパラメータを調整することにより、得ることができる。この場合、損失関数の組み合わせは、エントロピー、擬似ラベル付け、および多様性を含み得るものであり、これらは、ラベルなしターゲットデータが入力として与えられると、ニューラルネットワーク出力で定義される。

場合によっては、損失関数の組み合わせは、ソース特徴とターゲット特徴との間のモダリティギャップを低減するのに役立つタスクに関連のないデータからのソースモダリティ画像とターゲットモダリティ画像との間の特徴距離を含み得る。

さらに、損失関数の組み合わせは、ソースモデルのバッチ正規化層から得られたソース特徴統計とラベルなしターゲットデータセットの特徴の統計との間の相違を含み得る。

場合によっては、ソース－ターゲットモダリティペアは、それぞれ、ＲＧＢ－深度ポイントクラウド、ＲＧＢ－赤外線ポイントクラウド、ＲＧＢ－ＬＩＤＡＲポイントクラウド、もしくはその逆、または、そのようなモダリティの他の組み合わせであってもよい。データセットは、単一のスナップショットで撮影された画像の形態、またはより長い時間にわたって撮影されたビデオの形態であってもよい。ラベルなしターゲットデータセットに対して実行されるタスクは、画像認識、オブジェクト認識およびシーン認識等の、コンピュータビジョンタスクであってもよい。

図１３は、本発明のいくつかの実施形態に係る、クロスモダリティ知識転移システム１１００を示す。システム１１００は、デバイスのレイアウトを提供するように訓練されたニューラルネットワークモジュールであってもよい。クロスモダリティ知識転移システム１１００は、ＴＩ／ＴＲインターフェイス回路インターフェイス１５０と、少なくとも１つのプロセッサ１２０と、ストレージ１３０と、メモリ１４０とを含む。ストレージ１３０およびメモリ１４０は、１つの回路に統合することができ、メモリと呼ぶこともできる。ストレージ１３０は、タスクに関連のないペアデータセット１３１と、ラベルなしターゲットデータセット１３２と、ソースモデルネットワーク（ソースモデル）１３３と、ターゲットモデルネットワーク（ターゲットモデル）１３４と、クロスモダリティ知識転移プログラム（コンピュータにより実現されるクロスモダリティ知識転移方法）１３５とを含む。インターフェイス１５０は、メモリ１４０と、ストレージ１３０と、少なくとも１つのプロセッサ１２０との間で通信するように構成される。場合によっては、インターフェイス１５０は、システム１００の外部のデータベースデバイス（サーバ）１９５から、無線通信ネットワーク、有線ネットワーク、インターネット、またはそれらの組み合わせを含む通信ネットワーク１９０を介して、タスクに関連のないペアデータセット１３１、ラベルなしターゲットデータセット１３２、ソースモデルネットワーク（ソースモデル）１３３、ターゲットモデルネットワーク（ターゲットモデル）１３４を受信してもよい。

本発明の上記実施形態は、多数の方法のうちのいずれでも実現することができる。たとえば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実現されてもよい。ソフトウェアで実現される場合、ソフトウェアコードは、単一のコンピュータに設けられていても複数のコンピュータに分散させたものであっても、任意の適切なプロセッサまたはプロセッサの集合体上で、実行することができる。そのようなプロセッサは、１つ以上のプロセッサを集積回路の構成要素とする集積回路として実現されてもよい。しかしながら、プロセッサは、任意の適切なフォーマットの回路を使用して実現されてもよい。

また、本発明の実施形態は、方法として実施されてもよく、その例が提供されている。この方法の一部として実行される動作の順序は任意の適切なやり方で決められてもよい。したがって、実施形態は、例示されている順序と異なる順序で動作が実行されるように構成されてもよく、これは、いくつかの動作を、例示されている実施形態では一連の動作として示されるが、同時に実行することを含み得る。

請求項において、ある請求項の要素を修飾する「第１」、「第２」のような順序を表す用語は、それ自体が、請求項のある要素の、別の要素に対する優位、先行、もしくは順序、または、方法の動作を実行する時間的順序を内包している訳ではなく、単に、請求項の要素を区別するために、（順序を表す用語が使用されていない場合に）特定の名称を有する請求項のある要素を同じ名称を有する別の要素と区別するためのラベルとして使用されているにすぎない。

本開示は好ましい実施形態の例を用いて説明されているが、本発明の精神および範囲の中でさまざまな他の適応化および修正を行うことができることを理解されたい。

したがって、添付の請求項の目的は、本発明の真の精神および範囲に含まれるすべてのそのような変形および修正を網羅することである。

Claims (20)

1. １つ以上のソースモデルネットワークを１つ以上のターゲットモデルネットワークに適応させるためのクロスモダリティ知識転移システムであって、前記クロスモダリティ知識転移システムは、
   メモリを備え、前記メモリは、
   タスクに関連のない（task-irrelevant：ＴＩ）ペアデータセットと、
   ラベルなしタスク関連（task-relevant：ＴＲ）データセットと、
   バッチ正規化（batch normalization：ＢＮ）層、特徴エンコーダ、畳み込みニューラルネットワーク層（ＣＮＮ層）、および分類器を含む、前記１つ以上のソースモデルネットワークと、
   前記ＢＮ層、前記特徴エンコーダ、前記ＣＮＮ層、および前記分類器を含む、前記１つ以上のターゲットモデルネットワークと、
   命令を有する、コンピュータにより実現されるクロスモダリティ知識転移方法とを、記憶するように構成され、前記クロスモダリティ知識転移システムは、さらに、
   前記命令に従って前記コンピュータにより実現されるクロスモダリティ知識転移方法のステップを実行するように構成された少なくとも１つのプロセッサを備え、前記ステップは、
   前記１つ以上のソースモデルネットワークを通して前記ＴＩペアデータセットを送ることにより、前記１つ以上のソースモデルネットワークからＴＩソース特徴およびＴＲソースモーメントを抽出することを含み、前記１つ以上のソースモデルネットワークの前記ＣＮＮ層および前記分類器は凍結され、前記ステップはさらに、
   前記１つ以上のターゲットモデルネットワークを通して前記ＴＩペアデータセットおよび前記ラベルなしＴＲデータセットを送ることにより、前記１つ以上のターゲットモデルネットワークからバッチごとのＴＩターゲット特徴およびＴＲターゲットモーメントを抽出することを含み、前記１つ以上のターゲットモデルネットワークの前記分類器は凍結され、前記ステップはさらに、
   前記１つ以上のターゲットモデルネットワークの、抽出されたＴＲターゲット特徴に基づいて、モダリティに依存しない損失関数を計算することと、
   抽出された前記ＴＩターゲット特徴と前記ＴＩソース特徴との間の距離、および抽出された前記ＴＲターゲットモーメントとＴＩソースモーメントとの間の距離を計算することにより、モダリティ固有の損失関数を計算することと、
   計算された前記モダリティに依存しない損失関数および前記モダリティ固有の損失関数を最小化することにより、混合重みとともに前記１つ以上のターゲットモデルネットワークの前記特徴エンコーダを共同で訓練することと、
   訓練された前記１つ以上のターゲットモデルネットワークを組み合わせることにより、最終ターゲットモデルネットワークを生成することとを含む、クロスモダリティ知識転移システム。
2. 通信ネットワークを介して前記ＴＩペアデータセットおよび前記ラベルなしＴＲデータセットを受信するように構成されたＴＩ／ＴＲデータセットインターフェイスをさらに備え、
   前記ＴＩ／ＴＲデータセットインターフェイスは、受信した前記ＴＩペアデータセットおよび前記ラベルなしＴＲデータセットを前記メモリに記憶させるように構成される、請求項１に記載のクロスモダリティ知識転移システム。
3. 前記少なくとも１つのプロセッサはさらに、生成された前記最終ターゲットモデルネットワークのモデルパラメータを、未訓練の別の１つ以上のターゲットモデルネットワークに、ネットワークを介して送信することを実行する、請求項１に記載のクロスモダリティ知識転移システム。
4. 前記ＴＩペアデータセットおよび前記ラベルなしＴＲデータセットは、ＲＧＢ画像と深度画像、ＲＧＢ画像と赤外線画像、または、ＲＧＢ画像とＬＩＤＡＲポイントクラウドである、請求項１に記載のクロスモダリティ知識転移システム。
5. 前記ラベルなしＴＲデータセットは、画像認識、オブジェクト認識およびシーン認識を含む、コンピュータビジョンタスクに使用される、請求項４に記載のクロスモダリティ知識転移システム。
6. 前記ＴＩソース特徴は、前記１つ以上のソースモデルネットワークの前記特徴エンコーダから抽出され、前記ＴＲソースモーメントは、前記１つ以上のソースモデルネットワークの前記ＢＮ層から抽出され、
   前記バッチごとのＴＩターゲット特徴は、前記１つ以上のターゲットモデルネットワークの前記特徴エンコーダから抽出され、前記ＴＲターゲットモーメントは、前記１つ以上のターゲットモデルネットワークの前記ＢＮ層から抽出される、請求項１に記載のクロスモダリティ知識転移システム。
7. 前記１つ以上のターゲットモデルネットワークから抽出された前記バッチごとのＴＩターゲット特徴および前記ＴＲターゲットモーメントは、それぞれ混合重みを使用して組み合わされる、請求項１に記載のクロスモダリティ知識転移システム。
8. 前記モダリティに依存しない損失関数および前記モダリティ固有の損失関数は、特徴空間における前記１つ以上のソースモデルネットワークと前記１つ以上のターゲットモデルネットワークとの間のギャップを埋めるために使用される、請求項１に記載のクロスモダリティ知識転移システム。
9. 前記モダリティに依存しない損失関数の組み合わせは、エントロピー、擬似ラベル付け、および多様性を含み、
   前記エントロピー、擬似ラベル付け、および多様性は、前記１つ以上のソースモデルネットワークの出力で定義される、請求項８に記載のクロスモダリティ知識転移システム。
10. 前記モダリティ固有の損失関数の組み合わせは、抽出された前記ＴＩソース特徴と前記ＴＩターゲット特徴との間の特徴距離と、前記ＴＩソースモーメントと前記ＴＲターゲットモーメントとの間の距離とを含む、請求項８に記載のクロスモダリティ知識転移システム。
11. 命令を有する、コンピュータにより実現されるクロスモダリティ知識転移方法であって、前記クロスモダリティ知識転移方法は、少なくとも１つのプロセッサと少なくとも１つのメモリとを使用し、前記命令は、
    １つ以上のソースモデルネットワークを通してＴＩペアデータセットを送ることにより、前記１つ以上のソースモデルネットワークからＴＩソース特徴およびＴＲソースモーメントを抽出することを含み、前記１つ以上のソースモデルネットワークのＣＮＮ層および分類器は凍結され、前記命令はさらに、
    １つ以上のターゲットモデルネットワークを通して前記ＴＩペアデータセットおよびラベルなしＴＲデータセットを送ることにより、前記１つ以上のターゲットモデルネットワークからバッチごとのＴＩターゲット特徴およびＴＲターゲットモーメントを抽出することを含み、前記１つ以上のターゲットモデルネットワークの分類器は凍結され、前記命令はさらに、
    前記１つ以上のターゲットモデルネットワークの、抽出されたＴＲターゲット特徴に基づいて、モダリティに依存しない損失関数を計算することと、
    抽出された前記ＴＩターゲット特徴と前記ＴＩソース特徴との間の距離、および抽出された前記ＴＲターゲットモーメントとＴＩソースモーメントとの間の距離を計算することにより、モダリティ固有の損失関数を計算することと、
    計算された前記モダリティに依存しない損失関数および前記モダリティ固有の損失関数を最小化することにより、混合重みとともに前記１つ以上のターゲットモデルネットワークの特徴エンコーダを共同で訓練することと、
    訓練された前記１つ以上のターゲットモデルネットワークを組み合わせることにより、最終ターゲットモデルネットワークを生成することとを含む、コンピュータにより実現されるクロスモダリティ知識転移方法。
12. ＴＩ／ＴＲデータセットインターフェイスを使用して、前記ＴＩペアデータセットおよび前記ラベルなしＴＲデータセットを通信ネットワークを介してさらに受信し、
    前記ＴＩ／ＴＲデータセットインターフェイスは、受信した前記ＴＩペアデータセットおよび前記ラベルなしＴＲデータセットを前記少なくとも１つのメモリに記憶させるように構成される、請求項１１に記載のコンピュータにより実現されるクロスモダリティ知識転移方法。
13. 前記少なくとも１つのプロセッサはさらに、生成された前記最終ターゲットモデルネットワークのモデルパラメータを、未訓練の別の１つ以上のターゲットモデルネットワークに、ネットワークを介して送信することを実行する、請求項１１に記載のコンピュータにより実現されるクロスモダリティ知識転移方法。
14. 前記ＴＩペアデータセットおよび前記ラベルなしＴＲデータセットは、ＲＧＢ画像と深度画像、ＲＧＢ画像と赤外線画像、または、ＲＧＢ画像とＬＩＤＡＲポイントクラウドである、請求項１１に記載のコンピュータにより実現されるクロスモダリティ知識転移方法。
15. 前記ラベルなしＴＲデータセットは、画像認識、オブジェクト認識およびシーン認識を含む、コンピュータビジョンタスクに使用される、請求項１４に記載のコンピュータにより実現されるクロスモダリティ知識転移方法。
16. 前記ＴＩソース特徴は、前記１つ以上のソースモデルネットワークの前記特徴エンコーダから抽出され、
    前記ＴＲソースモーメントは、前記１つ以上のソースモデルネットワークのＢＮ層から抽出され、
    前記バッチごとのＴＩターゲット特徴は、前記１つ以上のターゲットモデルネットワークの前記特徴エンコーダから抽出され、
    前記ＴＲターゲットモーメントは、前記１つ以上のターゲットモデルネットワークの前記ＢＮ層から抽出される、請求項１１に記載のコンピュータにより実現されるクロスモダリティ知識転移方法。
17. 前記１つ以上のターゲットモデルネットワークから抽出された前記バッチごとのＴＩターゲット特徴および前記ＴＲターゲットモーメントは、それぞれ混合重みを使用して組み合わされる、請求項１１に記載のコンピュータにより実現されるクロスモダリティ知識転移方法。
18. 前記モダリティに依存しない損失関数および前記モダリティ固有の損失関数は、特徴空間における前記１つ以上のソースモデルネットワークと前記１つ以上のターゲットモデルネットワークとの間のギャップを埋めるために使用される、請求項１１に記載のコンピュータにより実現されるクロスモダリティ知識転移方法。
19. 前記モダリティに依存しない損失関数の組み合わせは、エントロピー、擬似ラベル付け、および多様性を含み、
    前記エントロピー、擬似ラベル付け、および多様性は、前記１つ以上のソースモデルネットワークの出力で定義される、請求項１８に記載のコンピュータにより実現されるクロスモダリティ知識転移方法。
20. 前記モダリティに依存しない損失関数の組み合わせは、抽出された前記ＴＩソース特徴と前記ＴＩターゲット特徴との間の特徴距離と、前記ＴＩソースモーメントと前記ＴＲターゲットモーメントとの間の距離とを含む、請求項１８に記載のコンピュータにより実現されるクロスモダリティ知識転移方法。