JP7569898B2 - マルチタスク学習用のオンライン知識蒸留システム、方法、デバイス、及びプログラム - Google Patents

Description

本開示は、画像処理に関する。具体的には、本開示は、機械学習モデル及びマルチタスクニューラルネットワークフレームワークを使用する画像処理に関する。

マルチタスク学習技術は、コンピュータービジョン及び音声認識に関連する分野において、幅広い用途がある。関連技術におけるマルチタスク学習では、パラメーターの大部分が複数のタスク間で共通しており、僅かなパラメーターのみが特定のタスク専用とされる、分岐アーキテクチャに依存している。マルチタスク学習は、関連するタスクの訓練データの情報を活用して、共有表現を学習し、汎化を向上させるように構成される。

マルチタスク学習はストレージと速度の面から効率的なアーキテクチャではあるが、とりわけ、コンピュータービジョン及び画像処理分野において、マルチタスク学習技術は、シングルタスクモデルよりも性能が劣る。基礎となるアーキテクチャが様々なタスク間で共有されるので、一部の画像処理タスクのタスク難易度のバランスが崩れが、より簡単な画像処理タスクの予期しない重視を招き、複雑な画像処理タスクの進捗が遅くなったり、又は、性能が低下したりするということになり得る。共有パラメーターの大部分を含む、共有フレームワークを使用して学習されるタスクが複数あれば、マルチタスクフレームワークの他のタスクの性能を低下させることを代償にしても、一部のタスクの性能向上につなげられる。関連技術で提案された解決策では、マルチタスクニューラルネットワークフレームワークのストレージと効率性を維持することができない（例えば、ストレージ要件の増加、推論の効率低下等を引き起こす）。

したがって、マルチタスクフレームワークのストレージと速度を維持するのと同時に、或るタスクの性能が別のタスクによって損なわれない、マルチタスク学習用の方法、装置、及びシステムが必要とされている。

本開示の一態様によると、マルチタスクニューラルネットワークフレームワークを使用する画像処理の方法が提供されてよい。この方法は、１つ以上のプロセッサにより実行されてよく、入力画像を受け取ることと、マルチタスクニューラルネットワークフレームワークを使用して、入力画像に基づいて、画像処理タスクを実行することと、マルチタスクニューラルネットワークフレームワークの出力のアップサンプリングに基づいて、画像処理タスクの出力を生成することとを含んでよく、マルチタスクニューラルネットワークフレームワークは、タスク固有損失の組み合わせを使用して訓練されてよく、タスク固有損失は、マルチタスクニューラルネットワークフレームワークに関連する複数の第１の損失と、複数のシングルタスクニューラルネットワークモデルに関連する複数の第２の損失とを含んでよい。

幾つかの実施の形態において、タスク固有損失の組み合わせは、複数のタスク重みに基づいてよく、複数のタスク重みは、マルチタスクニューラルネットワークフレームワークのそれぞれのタスクヘッドに対応してよく、複数のタスク重みのうち第１のタスク重みは、複数の第１の損失からの第１の損失と、複数の第２の損失からの第１の損失との比較に基づいてよい。

幾つかの実施の形態において、タスク固有損失の組み合わせは、複数の第１の損失と複数の第２の損失との線形結合であってよい。

幾つかの実施の形態において、マルチタスクニューラルネットワークフレームワークは、共有トランスフォーマーバックボーンネットワーク及び複数のタスク固有ヘッドを含んでよい。

幾つかの実施の形態において、マルチタスクニューラルネットワークフレームワーク及び複数のシングルタスクニューラルネットワークモデルは、同時に訓練されてよい。

幾つかの実施の形態において、同一の損失関数は、複数のシングルタスクニューラルネットワークモデルのそれぞれのシングルタスクニューラルネットワークモデル、及びマルチタスクニューラルネットワークフレームワークのタスクヘッドに関連付けられてよい。

幾つかの実施の形態において、画像処理タスクは、セマンティックセグメンテーション、深度推定、表面法線推定、画像分類、又は顔ランドマーク位置特定のタスクを含んでよい。

幾つかの実施の形態において、画像処理タスクは、入力画像のセマンティックセグメンテーションを含んでよく、方法は、マルチタスクニューラルネットワークフレームワークの出力のアップサンプリング及び再形成に基づいて、画像処理タスクの出力として、入力画像と同じサイズの複数のクラスマップを生成することを更に含んでよい。

幾つかの実施の形態において、画像処理タスクは、深度予測又は表面法線予測の一方を含んでよく、方法は、マルチタスクニューラルネットワークフレームワークの出力のアップサンプリング及び再形成に基づいて、画像処理タスクの出力として、入力画像と同じサイズの１つ以上の再構成済み画像を生成することを含んでよい。

本開示の一態様によると、マルチタスクニューラルネットワークフレームワークを使用する画像処理の装置が提供されてよい。装置は、プログラムコードを記憶するように構成された少なくとも１つのメモリと、プログラムコードを読み取り、プログラムコードによる指示のとおりに動作するように構成された少なくとも１つのプロセッサとを備えてよい。プログラムコードは、少なくとも１つのプロセッサに対して、入力画像を受け取らせるように構成された受け取りコードと、少なくとも１つのプロセッサに対して、マルチタスクニューラルネットワークフレームワークを使用して、入力画像に基づいて、画像処理タスクを実行させるように構成された実行コードと、少なくとも１つのプロセッサに対して、マルチタスクニューラルネットワークフレームワークの出力のアップサンプリングに基づいて、画像処理タスクの出力を生成させるように構成された生成コードとを含んでよく、マルチタスクニューラルネットワークフレームワークは、タスク固有損失の組み合わせを使用して訓練され、タスク固有損失は、マルチタスクニューラルネットワークフレームワークの複数のタスクヘッドに関連する複数の第１の損失、及び複数のシングルタスクニューラルネットワークモデルに関連する複数の第２の損失を含んでよい。

本開示の一態様によると、マルチタスクニューラルネットワークフレームワークを使用する画像処理の命令を記憶する非一時的コンピューター可読媒体が提供されてよい。この命令は、１つ以上の命令を含んでよく、１つ以上の命令は、１つ以上のプロセッサにより実行されると、１つ以上のプロセッサに対して、入力画像を受け取ることと、マルチタスクニューラルネットワークフレームワークを使用して、入力画像に基づいて、画像処理タスクを実行することと、マルチタスクニューラルネットワークフレームワークの出力のアップサンプリングことに基づいて、画像処理タスクの出力を生成することとを、実行させてよく、マルチタスクニューラルネットワークフレームワークは、タスク固有損失の組み合わせを使用して訓練され、タスク固有損失は、マルチタスクニューラルネットワークフレームワークの複数のタスクヘッドに関連する複数の第１の損失、及び複数のシングルタスクニューラルネットワークモデルに関連する複数の第２の損失を含んでよい。

本開示の一態様によると、画像処理向けのマルチタスクニューラルネットワークフレームワークを訓練する命令を記憶する非一時的コンピューター可読媒体であって、命令は、１つ以上の命令を含み、１つ以上の命令は、１つ以上のプロセッサにより実行されると、１つ以上のプロセッサに対して、複数のシングルタスクニューラルネットワークモデルを使用して、マルチタスクニューラルネットワークフレームワークを訓練することを実行させ、訓練することは、マルチタスクニューラルネットワークフレームワークの複数のタスクヘッドに関連する複数の第１の損失を決定することと、複数のシングルタスクニューラルネットワークモデルに関連する複数の第２の損失を決定することと、複数の第１の損失及び複数の第２の損失の組み合わせに基づいて、マルチタスクニューラルネットワークフレームワークを訓練することとを含んでよい、非一時的コンピューター可読媒体。幾つかの実施の形態において、複数の第１の損失及び複数の第２の損失の組み合わせは、複数のタスク重みに基づいてよく、複数のタスク重みは、マルチタスクニューラルネットワークフレームワークのそれぞれのタスクヘッドに対応し、複数のタスク重みの第１のタスク重みは、複数の第１の損失からの第１の損失と、複数の第２の損失からの第１の損失との比較に基づく。

以下、添付の図面を参照して、本開示の例示的な実施の形態の特徴、利点、及び意義について説明する。なお、添付の図面において、類似の符号は類似の要素を示している。

本開示に記載のシステム及び／又は方法が実装されうる画像処理用のニューラルネットワークフレームワークの例示的な図である。 本開示の一実施形態にかかる、マルチタスクニューラルネットワークフレームワークを使用する画像処理の例示的プロセスについて説明する例示的フローチャートである。 本開示の一実施形態にかかる、マルチタスクニューラルネットワークフレームワークを使用する画像処理の例示的プロセスについて説明する例示的フローチャートである。 本開示の一実施形態にかかる、マルチタスクニューラルネットワークフレームワークを使用する画像処理の例示的ブロック図である。 本開示の一実施形態にかかる、マルチタスクニューラルネットワークフレームワークを使用する画像処理の例示的ブロック図である。 本開示の一実施形態にかかる、図１のニューラルネットワークフレームワークを実装しうる例示的環境の図である。 本開示の一実施形態にかかる、図１のニューラルネットワークフレームワークを実装しうる１つ以上のデバイスの例示的コンポーネントの図である。

例示の実施形態の以下の詳細な説明は、添付の図面を参照したものである。異なる図面における同じ参照番号が、同一又は類似の要素を特定する場合がある。

前述の開示は、例示及び説明を提供するものであり、網羅的であること又は開示の正確な形態に実装を限定することを意図するものではない。上記の開示に照らして修正及び変形が可能である、又は修正及び変形を実装の実践から獲得することもできる。

上述のように、マルチタスク学習はストレージと速度の面から効率的なアーキテクチャではあるが、とりわけ、コンピュータービジョン及び画像処理分野において、マルチタスク学習技術は、シングルタスクモデルよりも性能が劣る。共有パラメーターの大部分を含む、共有フレームワークを使用して学習されるタスクが複数あれば、マルチタスクフレームワークの他のタスクの性能を低下させることを代償にしても、一部のタスクの性能向上につなげられる。或るタスクの性能向上が、別のタスクの性能低下につながることがあるという問題は、「負の転移（negative transfer）」として知られうる。関連技術における技術の幾つかには、タスクの重み付け、特徴融合、特徴選択、及び知識蒸留が含まれ得る。

ビジョントランスフォーマー（ＶｉＴ）は、画像分類、物体検出、並びに深度推定及びセマンティックセグメンテーション等の画素単位の予測問題等、多くの画像処理タスクに使用されうる。本開示の一実施形態によると、複数のタスクを同時に学習するために、共有バックボーン及びタスク固有のヘッドを備えたＶｉＴベースのマルチタスク学習アーキテクチャが使用されてよい。本開示の一実施形態において、ＶｉＴベースのアーキテクチャを使用するだけでなく、オンライン蒸留が使用されてよい。オンライン蒸留は、マルチタスクニューラルネットワークフレームワークとシングルタスクニューラルネットワークモデルとを同時に訓練し、マルチタスクニューラルネットワークフレームワークがそれぞれのシングルタスクニューラルネットワークモデルから知識を学習又は蒸留することを含んでよい。オンライン蒸留は、マルチタスクモデルの訓練に使用されてよく、シングルタスクニューラルネットワークモデルと同等の性能を実現しつつ、推論時間とメモリ要件の削減につなげられる。

本開示の一実施形態によると、オンライン蒸留は、適応型特徴蒸留及び／又はオンラインタスクの重み付けを含んでよい。オンラインタスク重み付け方式は、マルチタスクニューラルネットワークフレームワーク及び複数のシングルタスクニューラルネットワークモデルからのタスク固有損失の組み合わせを使用して、マルチタスクニューラルネットワークフレームワーク及び複数のシングルタスクニューラルネットワークモデルを同時に訓練することと、複数のシングルタスクニューラルネットワークモデルからマルチタスクニューラルネットワークフレームワークへと特徴を蒸留することとを含んでよい。幾つかの実施形態において、オンライン訓練は、マルチタスクニューラルネットワークフレームワークとシングルタスクニューラルネットワークが同時に訓練されうることを含んでよく、特徴抽出は、訓練の反復ごとに発生してよい。

マルチタスクニューラルネットワークフレームワークとシングルタスクニューラルネットワークモデルとを同時に訓練し、マルチタスクニューラルネットワークフレームワーク及びシングルタスクニューラルネットワークモデルの双方からのタスク固有損失を使用することで、マルチタスクニューラルネットワークフレームワークからのタスクヘッドの性能を、それぞれのシングルタスクニューラルネットワークモデルの性能と合わせて監視することができる。マルチタスクニューラルネットワークフレームワーク及びそれぞれのシングルタスクニューラルネットワークモデルからのタスクヘッドを組み合わせ、また場合によっては並行して監視することで、それぞれのシングルタスクニューラルネットワークモデルの性能と比較した、マルチタスクニューラルネットワークフレームワークからのタスクヘッドの性能の相違について理解できる。本明細書に記載のオンラインタスク重み付け技法では、シングルタスクニューラルネットワークモデルと同様の計算要件とメモリ要件でマルチタスクニューラルネットワークを訓練することができるので、メモリとストレージの効率を維持しつつ、マルチタスクニューラルネットワークフレームワークの性能が向上する。

本開示の幾つかの実施形態において、オンライン蒸留は、適応型特徴蒸留を含んでよい。適応型特徴蒸留は、マルチタスクニューラルネットワークフレームワークの訓練中に、シングルタスクニューラルネットワークモデルからマルチタスクニューラルネットワークフレームワークに特徴知識（例えば、中間特徴表現）を選択的に蒸留することを含んでよい。適応型特徴蒸留では、マルチタスクニューラルネットワークフレームワークからのタスクヘッドの性能がそれぞれのシングルタスクニューラルネットワークモデルの性能よりも低い場合、マルチタスクニューラルネットワークフレームワークからのタスクヘッドにシングルタスクニューラルネットワークモデルの中間特徴を整合させて使用することを可能にしてよい。

幾つかの実施形態において、マルチタスクニューラルネットワークフレームワークを訓練する間に、適応型特徴蒸留及び／又はオンライン重み付け方式を使用する訓練が実施されてよく、マルチタスクニューラルネットワークフレームワークの性能を高められる。マルチタスクニューラルネットワークフレームワークの訓練中に適応型特徴蒸留を実施すること及び／又はオンライン重み付け方式を使用してマルチタスクニューラルネットワークフレームワークを訓練することにより、マルチタスクニューラルネットワークフレームワークの性能向上と合わせて、マルチタスク学習によるストレージ削減及び速度向上の利点が保たれる。

一実施形態によると、マルチタスクニューラルネットワークフレームワークは、共有のビジョントランスフォーマー（ＶｉＴ）バックボーンと、Ｎ個の画像処理タスク用の複数の別個のヘッドとからなってよい。また、このアーキテクチャは、シングルヘッドとＶｉＴバックボーンを備えた、シングルタスクニューラルネットワークモデルからなってもよい。ＶｉＴバックボーンは、１つのタスクに特化したものでよい。一実施形態において、オンライン蒸留は、Ｎ_ｔ個のタスクに対してシングルタスクニューラルネットワークモデル（ＳＴＬ）及びマルチタスクニューラルネットワークフレームワーク（ＭＴＬ）を同時に訓練するための訓練戦略を含んでよい。シングルタスクニューラルネットワークモデルは、訓練プロセスを通じて、マルチタスクネットワークの最適化を誘導してよい。マルチタスクネットワークの重みは、中間特徴に関する蒸留損失を通じて、シングルタスクニューラルネットワークモデルに結び付けられてよい。エンドツーエンドモデルは、以下の損失関数を最小化してよい。

式（１）において、Ｌ^ｉ _ＳＴＬはｉ番目のシングルタスクニューラルネットワークモデルのタスク固有損失を示し、Ｌ^ｉ _ＭＴＬはマルチタスクニューラルネットワークフレームワークのｉ番目のヘッドのタスク固有損失であり、Ｌ_ＡＦＤはシングルタスクネットワークの特徴とマルチタスクネットワークの特徴との間の適応型知識蒸留損失を示す。損失重みλ_ｉ（ｉ＝１，２．．．Ｎ_ｔ）は、シングルタスクニューラルネットワークモデルの損失値、及びマルチタスクニューラルネットワークフレームワークのそれぞれのヘッドの損失に基づいて、各タスクの訓練反復ごとに計算されてよい。

幾つかの実施形態において、事前訓練済みのＶｉＴモデルは、全てのモデルのバックボーンとして使用されてよい。マルチタスクニューラルネットワークフレームワークは、Ｎ個のヘッドを有する共有バックボーンからなってよく、シングルタスクニューラルネットワークモデルはそれぞれ、独立したバックボーンネットワーク及び１個のヘッドを有してよい。幾つかの実施形態において、入力画像は１６×１６画素のＰパッチに分割されてよい。各パッチは、パッチ埋め込み（patch embedding）ネットワークを介してマッピングされ、ＶｉＴエンコーダーに渡されてよい。サイズＷ×Ｈの画像をパッチに分割した後、パッチグリッドのサイズはＷ／１６～Ｗ_{ｐａｔｃｈ}×Ｈ／１６～Ｈ_{ｐａｔｃｈ}となる。パッチは線形埋め込みネットワークに渡されてよく、Ｎ_{ｐａｔｃｈ}＝Ｗ_{ｐａｔｃｈ}×Ｈ_{ｐａｔｃｈ}埋め込みは、シングルタスクニューラルネットワークモデル及びマルチタスクニューラルネットワークフレームワーク双方のトランスフォーマーエンコーダーへと入力されてよい。

上述のように、マルチタスク学習で既知の難題は、「負の転移」である。この問題を軽減するには、オンライン知識蒸留が使用されてよい。シングルタスクニューラルネットワークモデル及びマルチタスクニューラルネットワークフレームワークは、訓練フェーズ中に最適化されてよい。各反復において、シングルタスクトランスフォーマーエンコーダーの特徴の知識は、マルチタスクモデルの特徴に蒸留されてよい。幾つかの実施形態において、オンライン蒸留は、適応型特徴蒸留（ＡＦＤ）及び／又はオンラインタスクの重み付け（ＯＴＷ）を含んでよい。

適応型特徴蒸留は、バックボーンモデルの中間特徴を共有することを含んでよい。中間特徴に関するオンライン重み付け後の知識蒸留は、マルチタスクニューラルネットワークフレームワーク（ＭＴＬ）の共有バックボーンからのものである。Ｌを共有トランスフォーマーエンコーダーの層数、ｗ^ｌ _ｉをｌ番目の層のｉ番目のタスクの学習可能なパラメーターであるとする。ＡＦＤ損失であるＬ_ＡＦＤは、次のように定義することができる。

式中、ｆ_ＭＴＬ（ｌ）は、共有ＭＴＬバックボーンのｌ番目の層から抽出された特徴とすることができ、ｆ^ｉ _ＳＴＬ（ｌ）は、ｉ番目のシングルタスクニューラルネットワークモデルからのｌ番目の層の特徴とすることができる。ＭＴＬ特徴に対する各タスクのＳＴＬ特徴の整合性の度合いは、パラメーターｗ^ｌ _ｉで決まる。ＡＦＤ関数は、ＭＴＬネットワークの特徴空間がＳＴＬネットワークの特徴空間と整合することを保証し得る。上記の訓練方式を直接実装すると、パラメーターがＭＴＬネットワークのパラメーターの影響を受けるであろうため、ＳＴＬネットワークの性能に負の影響を及ぼしうる。このような負の影響を避けるために、ＡＦＤ関数からの勾配は、ＳＴＬネットワークにバックプロパゲートすることを禁止してよい。一実施形態において、ＡＦＤ損失を計算する一方で、シングルタスク中間特徴（例えば、テンソル）ｆ^ｉ _ＳＴＬ（ｌ）は、各シングルタスクニューラルネットワークモデルの計算グラフ(computational graph)から切り離されてよい。

オンラインタスクの重み付けは、シングルタスクニューラルネットワークモデル及びマルチタスクニューラルネットワークフレームワークの同時学習中に、タスク固有の重みを使用することを含んでよい。マルチタスクニューラルネットワークは、タスク固有損失の線形結合を使用して訓練されてよく、タスク固有の重みは、シングルタスクニューラルネットワークモデルに対するマルチタスクモデルの性能に基づいてよい。

任意の反復ｔにおけるマルチタスクモデルの損失をＬ^ｉ _ＭＴＬ（ｔ）、ｉ番目の画像処理タスクのシングルタスク損失をＬ^ｉ _ＳＴＬ（ｔ）とする。反復ｔにおけるｉ番目のタスクのタスク固有の重みは、マルチタスク損失とシングルタスク損失との比の「温度」スケーリングソフトマックス関数(“temperature” scaled softmax function)として計算され得る。

実施形態によると、マルチタスクの損失が対応するシングルタスクの損失よりも大きいタスクには、より高い重みが与えられてよい。τは、タスクの重み付けの柔らかさ(softness)を制御する温度(temperature)を表し得る。τを大きくすれば、様々なタスク同士の配分をより均等にしうる。係数Ｎ_ｔ（タスク数）は、
を確保し得る。

一実施形態によると、同時訓練の場合、タスク固有の損失関数がそれぞれの画像処理タスクに使用されてよい。画像処理タスクは、セマティックセグメンテーション、深度予測、及び表面損失予測を含んでよく、さらに、或る特定のタスクについて、この特定のタスク用のシングルタスクニューラルネットワーク、及びマルチタスクニューラルネットワークフレームワークにおけるその特定タスク用のタスクヘッドの双方にわたって、同じ損失関数が使用されてよい。したがって、幾つかの実施形態において、マルチタスクニューラルネットワークにおけるそれぞれのタスク、及びそれに対応するシングルタスクニューラルネットワークモデルについて、同じ損失関数が使用されてよい。

一例として、幾つかの実施形態において、クロスエントロピー損失はセマンティックセグメンテーション用に使用されてよく、ＳＩログ損失（SILogloss）は深度推定用に使用されてよく、コサイン類似度損失は表面法線推定用に使用されてよい。一例として、第１のタスクがセマンティックセグメンテーション、第２のタスクが深度予測、第３のタスクが表面法線予測である場合、それらの損失はそれぞれ、以下のように定義してよい。

式（５）～式（７）において、Ｎ_ｐは画素数であってよく、画素ｐについて、
である。

ビジュアルシーン理解の一環として、複数の分類と回帰のタスクが考慮されてよい。一例として、セマンティックセグメンテーション等の分類タスクの場合、マスクトランスフォーマーアーキテクチャが使用されてよい。トランスフォーマー層に渡されるパッチとトークンの埋め込みサイズをＥとする。（Ｎ_{ｐａｔｃｈ}×Ｅ次元を有する）ＶｉＴエンコーダーのバックボーンから抽出されたパッチは、マルチタスクニューラルネットワークフレームワークの分類ヘッドに渡されてよい。（Ｎ_ＣＬＳ×Ｅ次元の）クラスクエリは、パッチ埋め込み（patch embedding）と共に導入され、２層のトランスフォーマーエンコーダーに渡されてよい。クラスクエリ数（Ｎ_ＣＬＳ）は、分類タスクのクラス数として捉えられてよい。クラスクエリとパッチ埋め込みとのスカラー積が計算されてよい（出力次元 Ｎ_{ｐａｔｃｈ}×Ｎ_ＣＬＳ）。その後、出力がアップサンプリングされ、画像サイズに合わせて再形成されてよい。また、それぞれが入力画像と同じサイズのＮ_ＣＬＳクラスマップが得られてもよい。幾つかの実施形態において、画素ラベルは、Ｎ_ＣＬＳクラスマップのａｒｇｍａｘ（最大点集合）として推定されてよい。

別の例として、深度予測及び表面法線予測は回帰タスクとして定式化することができる。Ｎ_ｒｅｇ（経験的に１２８と設定する）を、マルチタスクニューラルネットワークフレームワークの回帰ヘッドへと、各次元ＥのＮ_{ｐａｔｃｈ}埋め込みと共に渡されるクエリ埋め込みの数とする。クエリとパッチとのスカラー積が計算され（その出力次元 Ｎ_{ｐａｔｃｈ}×Ｎ_ｒｅｇ）、ＭＬＰブロック及び／又は層へ渡されてよい。ＭＬＰブロックでは、一連の線形層が使用されてよく、最後の線形層の出力次元は画像処理タスクに従う。深度予測の出力次元をＮ_{ｐａｔｃｈ}×１としてよく、表面法線予測の出力次元をＮ_{ｐａｔｃｈ}×３としてよい。次に、出力がアップサンプリングされ、画像サイズに再形成されてよい。

図１は、本開示に記載のシステム及び／又は方法を実装することができる画像処理用のニューラルネットワークフレームワーク１００の例示的な概略図である。

図１で見られるように、フレームワーク１００は、マルチタスクニューラルネットワーク及び複数のシングルタスクニューラルネットワークを含んでよい。マルチタスクニューラルネットワーク（マルチタスクニューラルネットワークフレームワークとも称する）は、共有トランスフォーマーバックボーンネットワーク及び複数のタスク固有ヘッドを含んでよい。一例として、フレームワーク１００のマルチタスクニューラルネットワークは、マルチタスクトランスフォーマーエンコーダー１２０の共有バックボーンと、複数のタスク用のタスク固有ヘッド（例えば、タスク１ヘッド１１５－１、タスク２ヘッド１１５－２、及びタスク３ヘッド１１５－２）とを含んでよい。フレームワーク１００は、複数のシングルタスクニューラルネットワークモデルを含んでよい。複数のシングルタスクニューラルネットワークモデルは、マルチタスクニューラルネットワークフレームワークの各タスクヘッドに対応してよく、シングルタスクトランスフォーマーエンコーダー（例えば、タスク１シングルタスクトランスフォーマーエンコーダー１０５－１、タスク２シングルタスクトランスフォーマーエンコーダー１０５－２、及びタスク３シングルタスクトランスフォーマーエンコーダー１０５－３）を含んでよい。さらに、シングルタスクニューラルネットワークモデルは、それぞれのタスク固有ヘッド（例えば、タスク１ヘッド１１０－１、タスク２ヘッド１１０－２、及びタスク３ヘッド１１０－３）を有してよい。

マルチタスクニューラルネットワークのタスクヘッドが実行する画像処理タスクは、シングルタスクニューラルネットワークモデルの個々のタスクヘッドが実行する画像処理タスクに対応してよい。したがって、タスク１ヘッド１１５－１及びタスク１ヘッド１１０－１は、同じ画像処理タスクを実行してよい。一例として、タスク１ヘッド１１５－１及びタスク１ヘッド１１０－１は、セマンティックセグメンテーションの第１の画像処理タスクを実行してよく、タスク２ヘッド１１５－２及びタスク２ヘッド１１０－２は、深度予測の第２の画像処理タスクを実行してよく、タスク３ヘッド１１５－３及びタスク３ヘッド１１０－３は、表面法線予測の第３の画像処理タスクを実行してよい。

中間特徴１２５は、マルチタスクトランスフォーマーエンコーダー１２０のバックボーンのトランスフォーマーエンコーダー層の中間特徴であってよい。中間特徴１３５－１、１３５－２、及び１３５－３は、それぞれシングルタスクトランスフォーマーエンコーダー１０５－１、１０５－２、及び１０５－３のトランスフォーマーエンコーダー層の中間特徴であってよい。

適応型特徴蒸留関数（ＡＦＤ）１０１が使用されて、オンラインタスク重み付けを用いたタスク固有損失の組み合わせに基づいて、マルチタスクニューラルネットワークを訓練してよい。タスク固有損失は、特定のタスクについて、ニューラルネットワークを訓練するのに使用される損失関数であってよい。一例として、セマンティックセグメンテーションの第１の画像処理タスクについて、セマンティックセグメンテーションに対してタスク固有損失関数が使用されてよい。実施形態において、マルチタスクニューラルネットワークのタスクヘッドのセマンティックセグメンテーションタスク、及びシングルタスクニューラルネットワークモデルのセマンティックセグメンテーションの双方の訓練において、同じタスク固有損失関数が使用されてよい。別の例として、深度予測の第２の画像処理タスクについて、マルチタスクニューラルネットワークのタスクヘッドの深度予測タスク、及びシングルタスクニューラルネットワークモデルの深度予測の双方の訓練において、深度予測に対してタスク固有損失関数が使用されてよい。

タスク固有損失の組み合わせは、オンラインタスク重み付け、又はオンラインタスク重み付け方式とも称され、マルチタスクニューラルネットワークフレームワークに関連する複数の第１の損失と、複数のシングルタスクニューラルネットワークモデルに関連する複数の第２の損失とを含んでよい。複数の第１の損失は、マルチタスクニューラルネットワークフレームワーク内の各タスクヘッドに対応する第１の損失を含んでよい。一例として、複数の第１の損失は、セマンティックセグメンテーションタスクとタスク１ヘッド１１５－１に関連するＬ^１ _ＭＴＬ、深度予測タスクとタスク２ヘッド１１５－２に関連するＬ^２ _ＭＴＬ、及び、表面法線予測タスクとタスク３ヘッド１１５－３に関連するＬ^３ _ＭＴＬを含んでよい。複数のシングルタスクニューラルネットワークモデルに関連する複数の第２の損失は、各シングルタスクニューラルネットワークモデルに対応する損失を含んでよい。一例として、複数の第２の損失は、セマンティックセグメンテーションタスクとタスク１ヘッド１１０－１に関連するＬ^１ _ＳＴＬ、深度予測タスクとタスク２ヘッド１１０－２に関連するＬ^２ _ＳＴＬ、及び、表面法線予測タスクとタスク３ヘッド１１０－３に関連するＬ^３ _ＳＴＬを含んでよい。

幾つかの実施形態において、タスク固有損失の組み合わせは、複数のタスク重みに基づいてよい。複数のタスク重みは、マルチタスクニューラルネットワークフレームワークのそれぞれのタスクヘッドに対応してよい。一例として、タスク重みλ_ｉは、マルチタスクニューラルネットワークフレームワークのｉ番目のタスクヘッドに関連するｉ番目の損失関数Ｌ^ｉ _ＭＴＬに対応してよい。幾つかの実施形態において、タスク固有損失の組み合わせは、複数の第１の損失と複数の第２の損失との線形結合であってよい。

実施形態において、複数のタスク重みは、複数の第１の損失と複数の第２の損失との比較に基づいてよい。ｉ番目のタスク重みは、マルチタスクニューラルネットワークフレームワークのｉ番目のタスクヘッドに関連するｉ番目の第１の損失Ｌ^ｉ _ＭＴＬと、ｉ番目のシングルタスクニューラルネットワークフレームワークに関連するｉ番目の第２の損失Ｌ^ｉ _ＭＴＬとの比較に基づいてよい。一例として、複数のタスク重みのうち第１のタスク重み（例えば、セマンティックセグメンテーションタスクに関連する）は、複数の第１の損失からの第１の損失（セマンティックセグメンテーションタスクヘッドに関連する）と、複数の第２の損失からの第１の損失（セマンティックセグメンテーションタスクに関連する）との比較に基づいてよい。

幾つかの実施形態において、同一の損失関数が、マルチタスクニューラルネットワークフレームワークのタスクヘッド、並びに、複数のシングルタスクニューラルネットワークモデルのそれぞれの及び／又は対応するシングルタスクニューラルネットワークに関連付けられてよい。一例として、第１のタスク固有損失関数が使用されて、タスク１ヘッド１１５－１とタスク１ヘッド１１０－１を訓練してよく、第２のタスク固有損失関数が使用されて、タスク２ヘッド１１５－２とタスク２ヘッド１１０－２を訓練してよく、第３のタスク固有損失関数が使用されて、タスク３ヘッド１１５－３とタスク３ヘッド１１０－３を訓練してよい。

適応型蒸留関数１０１を使用するオンラインタスク重み付けは、特定のタスクに関するマルチタスクニューラルネットワークの性能と、そのタスクに関連付けられたシングルタスクニューラルネットワークモデルとを比較することによって、マルチタスクニューラルネットワークの性能を向上させるが、シングルタスクニューラルネットワークのパラメーターがマルチタスクニューラルネットワークのパラメーターの影響を受けることにより、タスク固有損失の組み合わせに基づく損失をシングルタスクニューラルネットワークにプロパゲートすると、シングルタスクニューラルネットワークの性能に負の影響を及ぼしうる。シングルタスクニューラルネットワークの性能低下を避けるために、タスク固有の組み合わせに基づく損失からの勾配をシングルタスクニューラルネットワークへバックプロパゲートすることが禁止されてよい。一実施形態において、適応型特徴蒸留損失を計算する一方で、計算グラフからシングルタスク中間特徴表現（例えば、テンソル）を切り離すことによって、この勾配がシングルタスクニューラルネットワークにバックプロパゲートされることが禁止されてよい。

幾つかの実施形態において、適応型特徴蒸留関数１０１を使用して、マルチタスクニューラルネットワークフレームワークが訓練されてよい。適応型蒸留関数１０１を用いたマルチタスクニューラルネットワークフレームワークの訓練について、図３においてより詳細に説明する。

図２は、マルチタスクニューラルネットワークフレームワークを使用する画像処理に関する例示のプロセス２００を示す例示的フローチャートである。

図２で見られるように、プロセス２００は、動作２０５～２１５を含んでよい。動作２０５において、１つ以上の入力画像が受け取られてよい。入力画像は、任意の適切なフォーマット（例えば、ＪＰＥＧ、ＭＰＥＧ等）であってよく、任意の適切なコーデックを使用して符号化されてよい。幾つかの実施形態において、入力画像は所定のサイズであってよい。幾つかの実施形態において、入力画像は前処理されてよく、入力画像に基づいて、１つ以上の画像パッチが生成されてよい。幾つかの実施形態において、１つ以上の画像パッチは、入力画像に基づく所定のサイズであってよい。

動作２１０において、マルチタスクニューラルネットワークフレームワークを使用して、入力画像に基づいて、画像処理タスクが実行されてよい。画像処理タスクは、セマンティックセグメンテーション、深度推定、表面法線推定、画像分類又は顔ランドマーク位置特定のいずれかを含んでよい。幾つかの実施形態において、マルチタスクニューラルネットワークフレームワークの第１のヘッドによって実行される第１の画像処理タスクは、セマンティックセグメンテーションタスクを含んでよい。一例として、マルチタスクニューラルネットワークフレームワークの第２のヘッドによって実行される第２の画像処理タスクは、深度予測タスクを含んでよく、マルチタスクニューラルネットワークフレームワークの第３のヘッドによって実行される第３の画像処理タスクは、表面法線予測タスクを含んでよい。

幾つかの実施形態において、タスク固有損失の組み合わせを使用して、マルチタスクニューラルネットワークフレームワークが訓練されてよい。幾つかの実施形態において、タスク固有損失は、マルチタスクニューラルネットワークフレームワークに関連する複数の第１の損失と、複数のシングルタスクニューラルネットワークモデルに関連する複数の第２の損失とを含んでよい。一例として、タスク固有損失は、マルチタスクニューラルネットワークフレームワークのタスク１ヘッド１１５－１、タスク２ヘッド１１５－２、及びタスク３ヘッド１１５－３のタスクヘッドにそれぞれ関連付けられたＬ^１ _ＭＴＬ、Ｌ^２ _ＭＴＬ、及びＬ^３ _ＭＴＬを含んでよい。さらに、タスク固有損失は、シングルタスクニューラルネットワークフレームワークのタスク１ヘッド１１０－１、タスク２ヘッド１１０－２、及びタスク３ヘッド１１０－３にそれぞれ関連付けられたＬ^１ _ＳＴＬ、Ｌ^２ _ＳＴＬ、及びＬ^３ _ＳＴＬも含んでよい。

幾つかの実施形態において、タスク固有損失の組み合わせは、複数の第１の損失と複数の第２の損失との線形結合であってよい。幾つかの実施形態において、この組み合わせは、任意の適切な関数に基づいてよい。

一実施形態によると、タスク固有損失の組み合わせは、複数のタスク重みに基づいてよい。複数のタスク重みは、マルチタスクニューラルネットワークフレームワークのそれぞれのタスクヘッドに対応する。一例として、タスク重みλ_ｉは、マルチタスクニューラルネットワークフレームワークのｉ番目のタスクヘッドに関連するｉ番目の損失関数Ｌ^ｉ _ＭＴＬに対応してよい。

実施形態において、複数のタスク重みは、複数の第１の損失と複数の第２の損失との比較に基づいてよい。ｉ番目のタスク重みは、マルチタスクニューラルネットワークフレームワークのｉ番目のタスクヘッドに関連するｉ番目の第１の損失Ｌ^ｉ _ＭＴＬと、ｉ番目のシングルタスクニューラルネットワークフレームワークに関連するｉ番目の第２の損失Ｌ^ｉ _ＳＴＬとの比較に基づいてよい。一例として、複数のタスク重みの第１のタスク重み（例えば、セマンティックセグメンテーションタスクに関連する）は、複数の第１の損失からの（セマンティックセグメンテーションタスクヘッドに関連する）第１の損失と、複数の第２の損失からの（セマンティックセグメンテーションタスクに関連する）第１の損失との比較に基づいてよい。

幾つかの実施形態において、本明細書に記載のオンラインタスク重み付け方式を使用して、マルチタスクニューラルネットワークが訓練されてよく、マルチタスクニューラルネットワークフレームワークの性能を向上させる。マルチタスクニューラルネットワークフレームワークの訓練中に適応型特徴蒸留を実施すること、且つ／又は、オンライン重み付け方式を使用してマルチタスクニューラルネットワークフレームワークを訓練することにより、マルチタスクニューラルネットワークフレームワークの性能向上と合わせて、マルチタスク学習によるストレージ削減及び速度向上の利点が保たれる。

動作２１５において、画像処理タスクの出力は、マルチタスクニューラルネットワークフレームワークの出力をアップサンプリングすることに基づいて、生成されてよい。幾つかの実施形態において、マルチタスクニューラルネットワークフレームワークの出力は、スカラー積としてよい。そして、画像処理タスクの出力を生成するために、このスカラー積がアップサンプリングされ処理されてよい。

一例として、セマンティックセグメンテーション画像処理タスクの場合、クラスクエリ及びパッチ埋め込み（patch embeddings）は、マルチタスクニューラルネットワークフレームワーク及び／又はマルチタスクニューラルネットワークフレームワークのトランスフォーマーエンコーダーへと入力されてよい。マルチタスクニューラルネットワークフレーワークの出力及び／又はマルチタスクニューラルネットワークフレームワークの分類ヘッドは、クラスクエリとパッチ埋め込みに基づくスカラー積であってよい。次に、スカラー積はアップサンプリングされ画像サイズに合わせて再形成されて、クラスマップを得てよい。各クラスマップは入力画像と同じサイズである。

別の例として、深度予測タスク又は表面法線予測タスクの場合、クエリ埋め込み（query embeddings）とパッチ埋め込みは、マルチタスクニューラルネットワークフレームワークへと入力されてよい。マルチタスクニューラルネットワークフレームワークの出力及び／又はマルチタスクニューラルネットワークフレームワークの回帰ヘッドは、クエリ埋め込み及びパッチ埋め込みに基づくスカラー積であってよい。その後、スカラー積はＭＬＰブロックに通され、アップサンプリング及び／又はリサイズされてよい。ＭＬＰブロックは、画像処理タスクに基づき、最終線形層の出力次元を有してよい。

図３は、オンラインタスク重み付けを使用して、マルチタスクニューラルネットワークフレームワークを訓練するための例示のプロセス３００について説明する、例示的フローチャートである。実施形態によると、プロセス３００は、選択的な訓練の反復、又は各訓練の反復について繰り返されてよい。

動作３０５において、マルチタスクニューラルネットワークフレームワークに関連する複数の第１の損失が決定されてよい。複数の第１の損失は、マルチタスクニューラルネットワークフレームワーク内の各タスクヘッドに対応する第１の損失を含んでよい。一例として、複数の第１の損失は、セマンティックセグメンテーションタスクとタスク１ヘッド１１５－１に関連するＬ^１ _ＭＴＬ、深度予測タスクとタスク２ヘッド１１５－２に関連するＬ^２ _ＭＴＬ、及び、表面法線予測タスクとタスク３ヘッド１１５－３に関連するＬ^３ _ＭＴＬを含んでよい。

動作３１０において、マルチタスクニューラルネットワークフレームワークに関連する複数の第２の損失が決定されてよい。複数のシングルタスクニューラルネットワークモデルに関連する複数の第２の損失は、各シングルタスクニューラルネットワークモデルに対応する損失を含んでよい。一例として、複数の第２の損失は、セマンティックセグメンテーションタスクとタスク１ヘッド１１０－１に関連するＬ^１ _ＳＴＬ、深度予測タスクとタスク２ヘッド１１０－２に関連するＬ^２ _ＳＴＬ、及び、表面法線予測タスクとタスク３ヘッド１１０－３に関連するＬ^３ _ＳＴＬを含んでよい。

動作３１５において、複数のタスク重みは、複数の第１の損失と複数の第２の損失との比較に基づいて、決定されてよい。ｉ番目のタスク重みは、マルチタスクニューラルネットワークフレームワークのｉ番目のタスクヘッドに関連するｉ番目の第１の損失Ｌ^ｉ _ＭＴＬと、ｉ番目のシングルタスクニューラルネットワークフレームワークに関連するｉ番目の第２の損失Ｌ^ｉ _ＳＴＬとの比較に基づいて、決定されてよい。一例として、複数のタスク重みの（例えば、深度予測タスクに関連する）第２のタスク重みは、複数の第１の損失からの（深度予測タスクヘッドに関連する）第２の損失と、複数の第２の損失からの（深度予測タスクに関連する）第２の損失との比較に基づいてよい。

動作３２０において、タスク固有損失の組み合わせは、複数のタスク重みに基づいて決定されてよい。幾つかの実施形態において、タスク固有損失の組み合わせは、複数の第１の損失と複数の第２の損失との線形結合であってよい。

タスク固有損失の組み合わせに基づいて、マルチタスクニューラルネットワークフレームワークが訓練されてよい。幾つかの実施形態において、上記のオンラインタスク重み付け方式を直接実装すると、シングルタスクニューラルネットワークのパラメーターがマルチタスクのニューラルネットワークのパラメーターの影響を受けるため、シングルタスクニューラルネットワークの性能に負の影響を及ぼす場合がある。このような負の影響を回避するために、タスク固有損失の組み合わせの勾配がシングルタスクニューラルネットワークにバックプロパゲートされることを禁止してよい。一実施形態において、適応型特徴蒸留損失を計算する一方で、シングルタスク中間特徴（例えば、テンソル）は、それぞれのシングルタスクニューラルネットワークモデルの計算グラフから切り離されてよい。

幾つかの実施形態において、シングルタスクニューラルネットワークモデルはマルチタスクニューラルネットワークフレームワークの訓練にのみ使用されてよく、マルチタスクニューラルネットワークフレームワークのみが推論に使用されてよい。これにより、マルチタスクニューラルネットワークフレームワークは、推論中に、シングルタスクニューラルネットワークモデルと同様の計算要件とメモリ要件を得ることが可能になる。したがって、適応型特徴蒸留は、メモリとストレージの効率を維持しつつ、マルチタスクニューラルネットワークフレームワークの性能を向上させる。

図４は、マルチタスクニューラルネットワークフレームワークの分類ヘッド４００を使用した画像処理の例示的プロセスについて説明するブロック図を示す。

入力画像のセマンティックセグメンテーション等の分類タスクについては、適切なトランスフォーマーアーキテクチャ、例えば、ＶｉＴ、ＶｉＴ－ｔｉｎｙ又はマスクアーキテクチャが使用されてよい。画像パッチ及びパッチのサイズがマルチタスクニューラルネットワークへと入力されてよい。トランスフォーマーエンコーダーバックボーン（例えば、マルチタスクトランスフォーマーエンコーダー１２０）から抽出されたパッチ埋め込み４０５が、マルチタスクニューラルネットワークフレームワークの分類ヘッドトランスフォーマー層４１０～４１５に渡されてよい。幾つかの実施形態において、パッチ埋め込みの次元は、Ｎ_{ｐａｔｃｈ}×Ｅであってよい。分類タスクの場合、（次元Ｎ_ＣＬＳ×Ｅの）クラスクエリはパッチ埋め込みと共に導入され、分類ヘッドトランスフォーマー層４１０～４１５に渡されてよい。クラスクエリ及びパッチ埋め込みのスカラー積４３０が計算されてよい（出力次元 Ｎ_{ｐａｔｃｈ}×Ｎ_ＣＬＳ）。次に、出力がアップサンプリングされ、画像サイズに合わせて再形成され（４２５）、再構成済み画像を生成してよい。また、それぞれが入力画像と同じサイズとなるＮ_ＣＬＳクラスマップが得られてよい。幾つかの実施形態において、画素ラベルは、Ｎ_ＣＬＳクラスマップのａｒｇｍａｘとして推定されてよい。

図５は、マルチタスクニューラルネットワークフレームワークの回帰ヘッド５００を使用した画像処理のための例示的プロセスについて説明する例示的ブロック図である。

入力画像の深度予測及び表面法線予測等の回帰タスクの場合、適切なトランスフォーマーアーキテクチャ、例えば、ＶｉＴ、ＶｉＴ－ｔｉｎｙ又はマスクアーキテクチャが使用されてよい。画像パッチ及びパッチのサイズがマルチタスクニューラルネットワークへと入力されてよい。トランスフォーマーエンコーダーバックボーン（例えば、マルチタスクトランスフォーマーエンコーダー１２０）から抽出されたパッチ埋め込み５０５が、マルチタスクニューラルネットワークフレームワークの回帰ヘッドトランスフォーマー層５１０～５１５に渡されてよい。幾つかの実施形態において、パッチ埋め込みの次元は、Ｎ_{ｐａｔｃｈ}×Ｅであってよい。回帰タスクの場合、複数のクエリ埋め込み（経験上、１２８に設定され得るＮ_ｒｅｇ）が、パッチ埋め込みと共に、マルチタスクニューラルネットワークフレームワークの回帰ヘッドトランスフォーマー層５１０～５１５に渡されてよい。スカラー積５３０（出力次元、Ｎ_{ｐａｔｃｈ}×Ｎ_ｒｅｇ）は、クエリ埋め込み及びパッチ埋め込みに基づいて計算されてよい。スカラー積は、ＭＬＰブロック５２５及び１つ以上のアップサンプリング及び再形成層５３５に通されてよい。ＭＬＰブロック５２５では、一連の線形層が使用されてよく、最終線形層の出力次元は、画像処理タスクに基づく。一例として、深度予測の出力次元はＮ_{ｐａｔｃｈ}×１としてよく、表面法線予測の出力次元はＮ_{ｐａｔｃｈ}×３としてよい。次に、出力がアップサンプリングされ、再形成され、入力画像と同じサイズの再構成画像を生成してよい。

図６は、図１～図５の１つ以上のデバイス、動作、ニューラルネットワーク、及び／又はフレームワークを実装するための例示的環境を示す図である。

図６に示されるように、環境６００は、ユーザーデバイス１１０、プラットフォーム６２０及びネットワーク６３０を含んでよい。環境６００のデバイスは、有線接続、無線接続又は有線接続と無線接続との組み合わせを介して相互接続されてよい。一実施形態において、ネットワークインフラストラクチャ１００に含まれる要素の機能のいずれも、図６に示される要素の任意の組み合わせによって実行されてよい。例えば、実施形態において、ユーザーデバイス１１０は、パーソナルコンピューティングデバイスに関連する１つ以上の機能を実行してよく、プラットフォーム６２０は、ネットワーク要素１１５のいずれかに関連する１つ以上の機能を実行してよい。

ユーザーデバイス１１０は、プラットフォーム６２０に関連する情報を受信、生成、記憶、処理、及び／又は供給可能とする、１つ以上のデバイスを含んでよい。例えば、ユーザーデバイス１１０は、コンピューティングデバイス（例えば、デスクトップコンピューター、ラップトップコンピューター、タブレットコンピューター、ハンドヘルドコンピューター、スマートスピーカー、サーバー等）、携帯電話（例えば、スマートフォン、無線電話等）、ウェアラブルデバイス（例えば、スマートグラス又はスマートウォッチ）、又は同様のデバイスを含んでよい。幾つかの実施態様において、ユーザーデバイス１１０は、プラットフォーム６２０との間で情報を受信及び／又は送信してよい。

プラットフォーム６２０は、情報を受信、生成、記憶、処理、及び／又は供給可能とする、１つ以上のデバイスを含んでよい。幾つかの実施態様において、プラットフォーム６２０は、クラウドサーバー又はクラウドサーバー群を含むことができる。幾つかの実装において、プラットフォーム６２０は、特定の必要性に応じて、或る特定のソフトウェアコンポーネントが入れ替えられてよいように、モジュラー式に設計されてよい。したがって、プラットフォーム６２０は、様々な用途に合わせて、容易に及び／又は迅速に再構成されてよい。

幾つかの実装において、図示のように、プラットフォーム６２０は、クラウドコンピューティング環境６２２においてホストされてよい。注目すべき点として、本明細書に記載の実装は、プラットフォーム６２０がクラウドコンピューティング環境６２２においてホストされているものとして説明しているが、幾つかの実装においては、プラットフォーム６２０は、クラウドベースでない（すなわち、クラウドコンピューティング環境外で実装されてもよい）、又は、一部がクラウドベースであってもよい。

クラウドコンピューティング環境６２２は、プラットフォーム６２０をホストする環境を含む。クラウドコンピューティング環境６２２は、プラットフォーム６２０をホストするシステム（複数の場合もある）及び／又はデバイス（複数の場合もある）の物理的位置及び構成に関するエンドユーザー（例えば、ユーザーデバイス１１０）の知識を必要としない、計算、ソフトウェア、データアクセス、ストレージ等のサービスを提供し得る。図示のように、クラウドコンピューティング環境６２２は、コンピューティングリソース６２４群（「コンピューティングリソース６２４」と総称したり、「コンピューティングリソース６２４」と個別に称したりする）を含んでよい。

コンピューティングリソース６２４は、１つ以上のパーソナルコンピューター、コンピューティングデバイスのクラスター、ワークステーションコンピューター、サーバーデバイス、又は、他の種類の計算及び／又は通信デバイスを含む。幾つかの実装において、コンピューティングリソース６２４は、プラットフォーム６２０をホストしてよい。クラウドリソースは、コンピューティングリソース６２４において実行される計算インスタンス、コンピューティングリソース６２４において提供されるストレージデバイス、コンピューティングリソース６２４によって提供されるデータ転送デバイス等を含んでよい。幾つかの実施態様において、コンピューティングリソース６２４は、有線接続、無線接続、又は、有線接続と無線接続との組み合わせを介して、他のコンピューティングリソース６２４と通信してよい。

更に図６に示されるように、コンピューティングリソース６２４は、１つ以上のアプリケーション（「ＡＰＰ」）６２４－１、１つ以上の仮想マシン（「ＶＭ」）６２４－２、仮想化ストレージ（「ＶＳ」）６２４－３、１つ以上のハイパーバイザー（「ＨＹＰ」）６２４－４等のクラウドリソース群を含む。

アプリケーション６２４－１は、ユーザーデバイス１１０又はネットワーク要素１１５に提供されうる又はこれらによりアクセスされうる、１つ以上のソフトウェアアプリケーションを含む。アプリケーション６２４－１によって、ユーザーデバイス１１０又はネットワーク要素１１５にソフトウェアアプリケーションをインストールして実行する必要をなくしてよい。例えば、アプリケーション６２４－１は、プラットフォーム６２０に関連するソフトウェア及び／又はクラウドコンピューティング環境６２２を介して提供可能な他の任意のソフトウェアを含んでよい。幾つかの実装において、１つのアプリケーション６２４－１は、仮想マシン６２４－２を介して、１つ以上の他のアプリケーション６２４－１との間で情報を送信／受信してよい。

仮想マシン６２４－２は、物理マシンのようにプログラムを実行するマシン（例えば、コンピューター）のソフトウェア実装を含む。仮想マシン６２４－２は、用途、及び仮想マシン６２４－２による任意の実マシンへの対応度に応じて、システム仮想マシン又はプロセス仮想マシンのいずれであってもよい。システム仮想マシンは、完全なオペレーティングシステム（「ＯＳ」）の実行をサポートする、完全なシステムプラットフォームを提供することができる。プロセス仮想マシンは、単一プログラムを実行してよく、単一プロセスをサポートしてよい。幾つかの実装において、仮想マシン６２４－２は、ユーザー（例えば、ユーザーデバイス１１０）の代わりに実行してよく、データ管理、同期、又は長時間のデータ転送等の、クラウドコンピューティング環境６２２のインフラストラクチャを管理してよい。

仮想化ストレージ６２４－３は、コンピューティングリソース６２４のストレージシステム又はデバイス内で仮想化技術を使用する１つ以上のストレージシステム及び／又は１つ以上のデバイスを含む。幾つかの実装において、ストレージシステムの文脈では、仮想化の種類には、ブロック仮想化及びファイル仮想化が含まれてよい。ブロック仮想化とは、物理ストレージ又は異種構造とは関係なく、ストレージシステムがアクセスされてよいように、物理ストレージから論理ストレージを抽象化（又は分離）することを称してよい。この分離により、ストレージシステムの管理者は、エンドユーザー用にストレージを管理する方法について、柔軟性を得ることができる。ファイル仮想化は、ファイルレベルでアクセスされるデータと、ファイルが物理的に記憶されている場所との依存関係をなくしてよい。これにより、ストレージの使用、サーバーの統合及び／又は無停止ファイル移行の性能の最適化を可能にしてよい。

ハイパーバイザー６２４－４は、コンピューティングリソース６２４等のホストコンピューター上で複数のオペレーティングシステム（例えば、「ゲストオペレーティングシステム」）を同時に実行可能にするハードウェア仮想化技術を提供してよい。ハイパーバイザー６２４－４は、ゲストオペレーティングシステムに仮想オペレーティングプラットフォームを提供してよく、ゲストオペレーティングシステムの実行を管理してよい。種々のオペレーティングシステムの複数のインスタンスは、仮想化されたハードウェアリソースを共有してよい。

ネットワーク６３０は、１つ以上の有線ネットワーク及び／又は無線ネットワークを含む。例えば、ネットワーク６３０は、セルラーネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワーク等）、公衆陸上移動ネットワーク（ＰＬＭＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話ネットワーク（例えば、公衆交換電話網（ＰＳＴＮ））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバーベースのネットワーク等、及び／又はこれらの種類又は他の種類のネットワークの組み合わせを含んでよい。

図６に示すデバイスとネットワークの数及び配置は、一例として提供されるものである。実際には、図６に示したデバイス及び／又はネットワークよりも多いデバイス及び／又はネットワーク、少ないデバイス及び／又はネットワーク、異なるデバイス及び／又はネットワーク、又は、異なって配置されたデバイス及び／又はネットワークが存在してもよい。さらに、図６に示した２つ以上のデバイスが１つのデバイス内に実装され、又は、図６に示した単一デバイスが複数の分散したデバイスとして実装されてもよい。付加的又は代替的に、環境６００のデバイスのセット（例えば、１つ以上のデバイス）は、環境６００のデバイスの別のセットによって実行されるものとして記述された、１つ以上の機能を実行してもよい。

図７は、図１～図５の１つ以上のデバイス、動作、ニューラルネットワーク、及び／又はフレームワークを実装する、図６の１つ以上のデバイスの例示のコンポーネントの図である。

図７は、ユーザーデバイス１１０の例示的コンポーネントの図である。ユーザーデバイス１１０は、認可されたユーザー、セルの事業者又はＲＦエンジニアに関連するデバイスに対応してよい。ユーザーデバイス１１０が使用されて、ネットワーク要素１１５を介してクラウドプラットフォーム６２０と通信してよい。図７に示されるように、ユーザーデバイス１１０は、バス７１０、プロセッサ７２０、メモリ７３０、ストレージコンポーネント７４０、入力コンポーネント７５０、出力コンポーネント７６０、及び通信インターフェイス７７０を含んでよい。

バス７１０は、ユーザーデバイス１１０のコンポーネント間の通信を可能とするコンポーネントを含んでよい。プロセッサ７２０は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせで実装されてよい。プロセッサ７２０は、ＣＰＵ（central processing unit）、ＧＰＵ（graphics processing unit）、ＡＰＵ（accelerated processing unit）、マイクロプロセッサ、マイクロコントローラー、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は、別の種類の処理コンポーネントでよい。幾つかの実装において、プロセッサ７２０は、機能を実行するようにプログラムされ得る１つ以上のプロセッサを含む。メモリ７３０は、プロセッサ７２０が使用するための情報及び／又は命令を記憶する、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、及び／又は別の種類の動的又は静的ストレージデバイス（例えば、フラッシュメモリ、磁気メモリ及び／又は光メモリ）を含む。

ストレージコンポーネント７４０は、ユーザーデバイス１１０の動作と使用に関連する情報及び／又はソフトウェアを記憶する。例えば、ストレージコンポーネント７４０は、対応するドライブと合わせて、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、及び／又はソリッドステートディスク）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、カートリッジ、磁気テープ、及び／又は、別の種類の非一時的コンピューター可読媒体を含んでよい。入力コンポーネント７５０は、ユーザー入力（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び／又はマイク）を介して等、ユーザーデバイス１１０が情報を受け取ることを可能にするコンポーネントを含む。付加的又は代替的に、入力コンポーネント７５０は、情報を検知するセンサー（例えば、全地球測位システム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ、及び／又はアクチュエータ）を含み得る。出力コンポーネント７６０は、ユーザーデバイス１１０（例えば、ディスプレイ、スピーカー、及び／又は１つ以上の発光ダイオード（ＬＥＤ））から出力情報を提供するコンポーネントを含む。

通信インターフェイス７７０は、有線接続、無線接続、又は有線接続と無線接続との組み合わせを介して等、ユーザーデバイス１１０が他のデバイスと通信可能にするトランシーバの様なコンポーネント（例えば、トランシーバ及び／又は別個の受信器と送信器）を含む。通信インターフェイス７７０は、ユーザーデバイス１１０が他のデバイスから情報を受信すること及び／又は他のデバイスに情報を提供することを可能にしてよい。例えば、通信インターフェイス７７０は、イーサネットインターフェイス、光インターフェイス、同軸インターフェイス、赤外線インターフェイス、無線周波数（ＲＦ）インターフェイス、ユニバーサルシリアルバス（ＵＳＢ）インターフェイス、Ｗｉ－Ｆｉインターフェイス、セルラーネットワークインターフェイス等を含むことができる。

ユーザーデバイス１１０は、本明細書に記載の１つ以上の処理を実行してよい。ユーザーデバイス１１０は、プロセッサ７２０が、メモリ７３０及び／又はストレージコンポーネント７４０等の非一時的コンピューター可読媒体によって記憶されたソフトウェア命令を実行することに反応して、これらの処理を実行してよい。本明細書において、コンピューター可読媒体を、非一時的メモリデバイスとして定義してよい。メモリデバイスは、単一物理的ストレージデバイス内のメモリ空間、又は複数の物理的ストレージデバイスにまたがるメモリ空間を含む。

ソフトウェア命令は、通信インターフェイス７７０を介して別のデバイスから又は別のコンピューター可読媒体から、メモリ７３０及び／又はストレージコンポーネント７４０に読み込まれてよい。メモリ７３０及び／又はストレージコンポーネント７４０に記憶されたソフトウェア命令は、実行されると、プロセッサ７２０に対して、本明細書に記載された１つ以上の処理を実行させてよい。

本明細書に記載のシステム及び／又は方法は、異なる形態のハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせで実装されてもよいことが明らかとなるであろう。これらのシステム及び／又は方法を実装するために使用される実際の専用制御ハードウェア又はソフトウェアコードは、実装を限定するものではない。したがって、本明細書では、特定のソフトウェアコードを参照せずに、システム及び／又は方法の動作及び挙動について説明した。理解すべき点として、本明細書の記載に基づくシステム及び／又は方法を実装するために、ソフトウェア及びハードウェアは設計されてよい。

当該分野の慣例として、実施形態は、説明した単数又は複数の機能を実行するブロックの観点から説明及び図示され得る。本明細書においてユニット又はモジュール等と称され得るこれらのブロックは、論理ゲート、集積回路、マイクロプロセッサ、マイクロコントローラー、メモリ回路、受動電子部品、能動電子部品、光学部品、ハードワイヤード回路等のアナログ又はデジタル回路によって物理的に実装されてよく、さらに、ファームウェア及びソフトウェアによって駆動されてよい。回路は、例えば、１つ以上の半導体チップ、又はプリント回路基板等の基板支持体上に具現化されてよい。ブロックに含まれる回路は、専用ハードウェアによって、又はプロセッサ（例えば、１つ以上のプログラムされたマイクロプロセッサ及び関連回路）によって、又は、ブロックの一部の機能を実行する専用ハードウェアとブロックの他の機能を実行するプロセッサとの組み合わせによって実装されてもよい。実施形態の各ブロックは、２つ以上の相互作用する離散ブロックへと物理的に分離してもよい。同様に、本実施形態のブロックは物理的に組み合わせて、より複雑なブロックにしてもよい。

特徴の特定の組み合わせが、特許請求の範囲に記載されている、及び／又は本明細書に開示されているが、これらの組合せは、想定される実装の開示を限定することを意図したものではない。実際、特許請求の範囲に具体的に記載されていない方法及び／又は本明細書に開示されていない方法で、これらの特徴の多くが組み合わせてもよい。以下で列挙する各従属請求項は、１つの請求項のみにしか直接従属できないが、想定される実装の開示は、請求項の集合における他の全ての請求項と組み合わせた各従属請求項を含むものである。

本明細書で使用される要素、行為、又は命令は、いずれも重要又は不可欠であると明示的に記載されていない限り、そのように解釈されるべきではない。また、本明細書において使用する場合、冠詞「a」及び「an」は、１つ以上の品目を含むことを意図しており、「１つ以上」と同じ意味で使用されてもよい。１つの品目のみを意図している場合は、「１つ」又はそれに類する言葉を使用する。さらに、本明細書において使用する場合、「有する（has,have,having）」、「含む（include,including）」等の用語は、非限定的な用語であることを意図している。また、「基づく」という語句は、特に明示的に述べられていない限り、「少なくとも部分的に基づく」という意味であることを意図している。

Claims (20)

1. マルチタスクニューラルネットワークフレームワークを使用する画像処理の方法であって、前記方法は、１つ以上のプロセッサにより実行され、
   入力画像を受け取ることと、
   前記マルチタスクニューラルネットワークフレームワークを使用して、前記入力画像に基づいて、画像処理タスクを実行することと、
   前記マルチタスクニューラルネットワークフレームワークの出力をアップサンプリングすることに基づいて、前記画像処理タスクの出力を生成することと、
   を含み、
   前記マルチタスクニューラルネットワークフレームワークにおける複数のタスクヘッドのそれぞれが画像処理タスクを実行し、
   当該複数のタスクヘッドのそれぞれが実行する画像処理タスクは、複数のシングルタスクニューラルネットワークモデルのいずれかのタスクヘッドが実行する画像処理タスクに対応し、
   前記マルチタスクニューラルネットワークフレームワークは、タスク固有損失の組み合わせを使用して訓練され、前記タスク固有損失は、前記マルチタスクニューラルネットワークフレームワークに関連する複数の第１の損失と、前記複数のシングルタスクニューラルネットワークモデルに関連する複数の第２の損失とを含む、
   方法。
2. 前記タスク固有損失の組み合わせは、複数のタスク重みに基づいており、前記複数のタスク重みは、前記マルチタスクニューラルネットワークフレームワークのそれぞれのタスクヘッドに対応し、前記複数のタスク重みのうち第１のタスク重みは、前記複数の第１の損失からの第１の損失と、前記複数の第２の損失からの第１の損失との比較に基づく、請求項１に記載の方法。
3. 前記タスク固有損失の組み合わせは、前記複数の第１の損失と前記複数の第２の損失との線形結合である、請求項１に記載の方法。
4. 前記マルチタスクニューラルネットワークフレームワークは、共有トランスフォーマーバックボーンネットワーク及び複数のタスク固有ヘッドを含む、請求項１に記載の方法。
5. 前記マルチタスクニューラルネットワークフレームワーク及び前記複数のシングルタスクニューラルネットワークモデルは、同時に訓練される、請求項１に記載の方法。
6. 同一の損失関数は、前記複数のシングルタスクニューラルネットワークモデルのそれぞれのシングルタスクニューラルネットワークモデル、及び前記マルチタスクニューラルネットワークフレームワークのタスクヘッドに関連付けられる、請求項１に記載の方法。
7. 前記画像処理タスクは、セマンティックセグメンテーション、深度推定、表面法線推定、画像分類、又は顔ランドマーク位置特定の１つを含む、請求項１に記載の方法。
8. 前記画像処理タスクは、前記入力画像のセマンティックセグメンテーションを含み、前記方法は、
   前記マルチタスクニューラルネットワークフレームワークの前記出力のアップサンプリング及び再形成に基づいて、前記画像処理タスクの前記出力として、前記入力画像と同じサイズの複数のクラスマップを生成すること、を更に含む、請求項１に記載の方法。
9. 前記画像処理タスクは、深度予測又は表面法線予測の一方を含み、前記方法は、
   前記マルチタスクニューラルネットワークフレームワークの前記出力のアップサンプリング及び再形成に基づいて、前記画像処理タスクの前記出力として、前記入力画像と同じサイズの１つ以上の再構成済み画像を生成すること、
   を更に含む、請求項１に記載の方法。
10. マルチタスクニューラルネットワークフレームワークを使用する画像処理の装置であって、前記装置は、
    プログラムコードを記憶するように構成された少なくとも１つのメモリと、
    前記プログラムコードを読み取り、前記プログラムコードによる指示のとおりに動作するように構成された少なくとも１つのプロセッサと、
    を備え、
    前記プログラムコードは、
    前記少なくとも１つのプロセッサに対して、入力画像を受け取らせるように構成された受け取りコードと、
    前記少なくとも１つのプロセッサに対して、前記マルチタスクニューラルネットワークフレームワークを使用して、前記入力画像に基づいて、画像処理タスクを実行させるように構成された実行コードと、
    前記少なくとも１つのプロセッサに対して、前記マルチタスクニューラルネットワークフレームワークの出力のアップサンプリングに基づいて、前記画像処理タスクの出力を生成させるように構成された生成コードと、
    を含み、
    前記マルチタスクニューラルネットワークフレームワークにおける複数のタスクヘッドのそれぞれが画像処理タスクを実行し、
    当該複数のタスクヘッドのそれぞれが実行する画像処理タスクは、複数のシングルタスクニューラルネットワークモデルのいずれかのタスクヘッドが実行する画像処理タスクに対応し、
    前記マルチタスクニューラルネットワークフレームワークは、タスク固有損失の組み合わせを使用して訓練され、前記タスク固有損失は、前記マルチタスクニューラルネットワークフレームワークの複数のタスクヘッドに関連する複数の第１の損失、及び前記複数のシングルタスクニューラルネットワークモデルに関連する複数の第２の損失を含む、
    装置。
11. 前記タスク固有損失の組み合わせは、複数のタスク重みに基づいており、前記複数のタスク重みは、前記マルチタスクニューラルネットワークフレームワークのそれぞれのタスクヘッドに対応し、前記複数のタスク重みのうち第１のタスク重みは、前記複数の第１の損失からの第１の損失と、前記複数の第２の損失からの第１の損失との比較に基づく、請求項１０に記載の装置。
12. 前記タスク固有損失の組み合わせは、前記複数の第１の損失と前記複数の第２の損失との線形結合である、請求項１０に記載の装置。
13. 前記マルチタスクニューラルネットワークフレームワーク及び前記複数のシングルタスクニューラルネットワークモデルは、同時に訓練される、請求項１０に記載の装置。
14. 同一の損失関数は、前記複数のシングルタスクニューラルネットワークモデルのそれぞれのシングルタスクニューラルネットワークモデル、及び前記マルチタスクニューラルネットワークフレームワークのタスクヘッドに関連付けられる、請求１０に記載の装置。
15. 前記画像処理タスクは、前記入力画像のセマンティックセグメンテーションを含み、前記プログラムコードは、
    前記少なくとも１つのプロセッサに対して、前記マルチタスクニューラルネットワークフレームワークの前記出力のアップサンプリング及び再形成に基づいて、前記画像処理タスクの前記出力として、前記入力画像と同じサイズの複数のクラスマップを生成させるように構成された出力生成コード、
    を更に含む、請求項１０に記載の装置。
16. 前記画像処理タスクは、深度予測又は表面法線予測のうち一方を含み、前記プログラムコードは、
    前記少なくとも１つのプロセッサに対して、前記マルチタスクニューラルネットワークフレームワークの前記出力のアップサンプリング及び再形成に基づいて、前記画像処理タスクの前記出力として、前記入力画像と同じサイズの１つ以上の再構成済み画像を生成させるように構成された出力生成コードを更に含む、請求項１０に記載の装置。
17. 画像処理向けのマルチタスクニューラルネットワークフレームワークを訓練する命令を記憶する非一時的コンピューター可読媒体であって、前記命令は、１つ以上の命令を含み、前記１つ以上の命令は、１つ以上のプロセッサにより実行されると、前記１つ以上のプロセッサに対して、
    複数のシングルタスクニューラルネットワークモデルを使用して、前記マルチタスクニューラルネットワークフレームワークを訓練することを実行させ、
    前記マルチタスクニューラルネットワークフレームワークにおける複数のタスクヘッドのそれぞれが画像処理タスクを実行し、
    当該複数のタスクヘッドのそれぞれが実行する画像処理タスクは、前記複数のシングルタスクニューラルネットワークモデルのいずれかのタスクヘッドが実行する画像処理タスクに対応し、
    前記訓練することは、
    前記マルチタスクニューラルネットワークフレームワークの前記複数のタスクヘッドに関連する複数の第１の損失を決定することと、
    前記複数のシングルタスクニューラルネットワークモデルに関連する複数の第２の損失を決定することと、
    前記複数の第１の損失及び前記複数の第２の損失の組み合わせに基づいて、前記マルチタスクニューラルネットワークフレームワークを訓練することと、
    を含む、非一時的コンピューター可読媒体。
18. 前記複数の第１の損失及び前記複数の第２の損失の前記組み合わせは、複数のタスク重みに基づいており、前記複数のタスク重みは、前記マルチタスクニューラルネットワークフレームワークのそれぞれのタスクヘッドに対応し、前記複数のタスク重みの第１のタスク重みは、前記複数の第１の損失からの第１の損失と、前記複数の第２の損失からの第１の損失との比較に基づく、請求項１７に記載の非一時的コンピューター可読媒体。
19. 前記複数の第１の損失及び前記複数の第２の損失の前記組み合わせは、前記複数の第１の損失と前記複数の第２の損失との線形結合である、請求項１７に記載の非一時的コンピューター可読媒体。
20. 同一の損失関数は、前記複数のシングルタスクニューラルネットワークモデルのそれぞれのシングルタスクニューラルネットワークモデル、及び前記マルチタスクニューラルネットワークフレームワークのタスクヘッドに関連付けられる、請求項１７に記載の非一時的コンピューター可読媒体。