JP7715533B2 - 差分に予測可能に応答する機能のトレーニング - Google Patents

Description

本発明は、機械学習可能な機能をトレーニングするコンピュータ実装方法及び対応するシステムに関する。さらに、本発明は、命令及び／又は機能パラメータを含むコンピュータ可読媒体に関する。

発明の背景
機械学習可能な機能は、手動で設計されたアルゴリズムよりもはるかに正確にタスクを実行する潜在力を有する。例を挙げると、機械学習可能な機能は、例えば畳み込みニューラルネットワーク又は類似の技術に基づいて、数字の認識、猫と犬との間の区別など、種々の画像分類タスクに対して高いレベルの正確性を達成し得ることを示している。典型的には、このような機械学習可能な機能は、例えば所望の分類によるラベル付き画像を含むトレーニングデータセットに基づいてトレーニングされる。一般に、トレーニング例が多いほど、トレーニング済み機能の結果の正確性は高くなる。

多くの実用的状況においては、充分に広範な入力を担保するトレーニングデータを取得することの実行可能性が主要な障害であり、機械学習解決法の実用における採用を妨げている。例を挙げると、（半）自律走行車両の分野においては、機械学習可能な機能は、例えば危険な交通状況を警告するために、車両を制御又は監視するために必要とされる種々のタスク、例えば車両環境のカメラ画像の画像解析を実行する潜在力を有する。しかし、このようなタスクのためのトレーニングデータを取得するには、車両を乗り回すことを必要とする。これは費用が掛かり、危険でさえあり得る。さらに、例えば、シーンの一般的構成（前方に他の車があるか否か、付近に歩行者がいるか否かなど）に関してのみならず、多くの他の側面（例えば、車が走行している道路の区分、国ごとに異なる交通標識の様式、気象状況など）に関しても、車両環境の画像はさまざまに異なる場合がある。

これにより、車両が直面し得る可能性がある総ての状況の組合せ、特に境界条件の場合を担保するトレーニングデータセットを取得することは、ほぼ不可能である。他方、特に自動運転の決定を行うために用いられる場合、特にこのような境界条件の場合に確実に対処することは機械学習可能な機能にとって不可欠である。従って、高いレベルの一般化可能性を有し、例えばトレーニングデータセットにおいて直接的に担保されない入力にも、正確な結果を提供する機能を用いることが望ましい。

一般化可能性の一助となることが知られている１つの機械学習技術は、例えば、T. Cohenら著、“Group Equivariant Convolutional Networks”（参照により本明細書に組み込まれ、https://arxiv.org/abs/1602.07576にて入手可能である）に説明されている、いわゆる群同変畳み込みネットワークである。群同変畳み込みネットワークは、複数のそれぞれのパラメータ化層に、入力、この場合には画像を通過させることにより処理する深層ニューラルネットワーク即ち機能である。群同変畳み込みネットワークにおいては、これらのそれぞれの層における表現が線形Ｇ空間としてモデリングされる。Ｇは、適用可能な変換のセットを表す所定の数学的群（即ち、閉包性、結合性、単位元及び可逆性を満たす二項演算を用いるセット）である。同変性は、層入力の変換Ｔ_ｇ及び層出力の変換
を所与として、ｇ∈Ｇであるとき、恒等式
が適用されることを意味する。例えば、入力を回転又はミラーリングすると、出力に対応する回転が生じるはずである。ニューラルネットワークに与えられるこうした追加の構造により、データがより効率的にモデル化され、一般化可能性が向上する。なぜなら、実質的に、所望の機能出力に関する知識が入力と当該入力の変換された変種との間において共有可能となるからである。

残念ながら、機能を同変にする既存の技術にはいくつかの欠点がある。変換群Ｇの複雑な解析的定式化が必要とされ、さらに、これらの変換を予め既知とし、モデルアーキテクチャへとハードコード化しなければならない。また、当該機能が使用される場合、変換群が用いられ、モデルアーキテクチャが、トレーニングに用いられる変換の種類に依存するようになり、このため、機械学習技術を適用する標準的ツール、例えば標準的構成の畳み込みニューラルネットワークと非互換となる。また、当該変換は、変換群Ｇの群公理に一致する必要がある。従って、（幾何学型の）変換の限定されたセットしか指定することができない。

T. Cohenら著、"Group Equivariant Convolutional Networks"（https://arxiv.org/abs/1602.07576にて入手可能）

発明の概要
変換をモデルアーキテクチャに組み込む必要なく一般化可能性が向上するように、機械学習可能な機能、例えば画像分類器又は画像特徴抽出器をトレーニングすることが望ましい。特に、数学的な群構造に従って動作しない入力観察の変化量の予測可能性に報酬を与えることが望ましい。また、例えばトレーニング済み機能が標準的な畳み込みニューラルネットワークなどになるように、モデルアーキテクチャに影響を与えることなく機械学習可能な機能の一般化可能性が向上することも望ましい。

本発明の一態様によれば、請求項１及び１４にそれぞれ規定されるように、機械学習可能な機能をトレーニングするコンピュータ実装方法及び対応するシステムが提供される。本発明の一態様によれば、請求項１５に規定されるように、コンピュータ可読媒体が記載される。

種々の態様が、目的関数を最適化することによる機械学習可能な機能のトレーニング（換言すれば、機械学習可能な機能をパラメータ化するパラメータのセットの学習）に関する。多くの種類の機械学習可能な機能及びこれらの機械学習可能な機能をトレーニングするために好適な目的関数が知られている。例えば、学習タスクは、分類又は回帰であるものとしてよい。トレーニングは、例えばトレーニング入力観察及び対応するトレーニング出力のラベル付きデータセットに基づく教師ありのものであってよく、目的関数は、機械学習可能な機能の機能出力と、対応するトレーニング出力との間の差分を最小化するように構成されるものとしてよい。トレーニングは、例えば特徴抽出器の教師なしのものであってもよい（特徴抽出も表現学習として知られている）。いずれの場合も、畳み込み目的関数が用いられ得る。

興味深いことに、一般化可能性を向上させるために、機械学習可能な機能の層において入力観察間の差分セットに予測可能に応答する機械学習可能な機能に報酬が与えられるものとしてよい。これは、所与のＧ作用の入力観察への適用により、対応するＧ作用の層の出力への適用をもたらすことを実施する群同変畳み込みニューラルネットワークに類似する。しかし、興味深いことに、発明者らは、特定のセットの変換をモデルアーキテクチャにハードコード化することではなく、機械学習可能な機能をトレーニングするために用いられる目的関数に正則化目的を含めることにより予測可能性に報酬を与えることを考察した。例えば、予測可能性のレベルを下げる正則化目的が最小化されるべき損失関数に含まれるものとしてよく、又は、予測可能性を高める正則化目的が最大化されるべき目的関数に含まれるものとしてよい。

特に、目的関数は、第１の入力観察及び第２の入力観察のペア、並びに、これら第１の観察と第２の観察との間の差分を示す差分ラベルに基づくものとしてよい。例えば、第１の観察及び第２の観察は、全体として対応するシーンの画像であるものとしてよく、例えば両方が交通信号で停止している車両の環境であるものとしてよい。差分ラベルは、例えば気象条件、上記車両の前の車両の種類、画像が取得された国（従って、存在する交通信号及び／又は交通標識の種類）などの観点から第１の観察と第２の観察との間の特定の差分を選び出すものとしてもよい。差分ラベルにより示される差分は別として、観察のペアは、観察のペアが可能な限り互いに対応するように選択されることが好ましい。

特に、差分ラベルは、第２の観察が第１の観察から（少なくとも近似的に）得られ得ることに応じた変換を表すものとしてよい。従って、典型的には、第１及び第２の観察を交換すると、他の差分ラベルをもたらす。しかし、興味深いことに、差分ラベルが選択される差分セットは、いずれの特定の数学的構造も有する必要がなく、特に、数学的意味における群である必要はない。

特定の層において予測可能性を促進する正則化目的を評価するために、機械学習可能な機能が第１及び第２の観察に適用され、当該層におけるそれぞれの表現を取得することができる。次に、正則化目的は、差分ラベルを所与としてこれらの表現間の相互の統計的依存性を促進することにより、予測可能性に報酬を与えることができる。換言すれば、差分ラベルを所与として、一方の表現が他方の表現について提供する情報量が目的関数により最大化されるものとしてよい。このような相互の統計的依存性は、以下により詳細に考察するように、例えば条件付き相互情報量又はインタラクション情報量の観点から演算され得る。

差分ラベルを所与として表現の相互の統計的依存性を促進することにより、トレーニング済み機能の一般化可能性及び堅牢性を向上させる正則化器が得られる。即ち、あるペアの入力観察の間の差分が機能出力にどのように影響を与えるかを学習する機能に効果的に報酬が与えられる。従って、見られていない観察にも同一の差分が適用されれば、機能は、この差分により良好に対応することができる。

これは、達成される結果の観点からは、群同変畳み込みネットワークにより提供される向上した一般化可能性に類似しており、本発明者らは、条件付き相互情報量の観点から言うならば、群同変畳み込みネットワークが正則化目的の最適解を提供したことを確かに示すことができた。しかし、興味深いことに、提供される技術は、群同変畳み込みネットワークよりもはるかに多くの柔軟性を提供し、いくつかの実用的な利点をもたらす。

相互の統計的依存性に基づく差分を用いることにより、広範なセットの差異に適用可能な尺度が得られ、例えば特定の数学的群構造が想定される必要はない。これにより、実用的状況で発生する様々な種類の差分、例えば観察が行われた国における気象条件の差分などを捕捉することが可能になる。差分が１つの入力をどのように他の入力に変換しているかを明確に規定する必要もない。入力観察のペア及び付随する差分ラベルを有すれば充分であり、また、差分ラベルでさえもデータから学習され得る。また、ペアが完全に異なる必要はなく、差分の種類に従うだけである。例えば、（より近い対応関係があれば、トレーニングはより効果的になるが）観察の間の他の差分があるものとしてもよい。正則化目的が適用される表現には、入力として変換が与えられる必要は全くなく、従って、機能自体が入力を表す最適な方法を学習することができる。

さらに、目的関数に含まれることにより、予測可能性を他のトレーニング目的とバランスさせることを可能にする。実質的に、相互の統計的依存性は、予測不可能性と予測可能性との間の連続体とみなされるものとしてよい。正則化項は典型的には目的関数の他の項と比較して重み付けされるので、機能自体は、いかなる場合においても同変性を厳格に実行することを強制されずに、現今の学習タスクに適した統計的依存性の量に到達することができる。これにより、同変性をあまりに厳格に実行することによって性能が低下する状況へのこの機能の適用可能性も向上させる。

（例えば、モデルアーキテクチャではなく）目的関数を適応化することにより予測可能性を促進する他の利点は、アーキテクチャが、トレーニング中に考慮される差分の種類に依存しないトレーニング済み機能が得られ得ることであり、例えば、トレーニング済み機能を適用するために用いられるハードウェア／ソフトウェアは、このような差分を提供する様々な種類の変換に依存し、又は、サポートする必要がない。従って、機械学習機能を適用する畳み込みソフトウェア／ハードウェア、例えば畳み込みニューラルネットワーク評価ソフトウェア／ハードウェアとの互換性が向上する。

正則化目的が適用される層に関して、いくつかの選択肢が考えられる。機械学習可能な機能の種類にかかわらず、この目的は、出力層に適用されるものとしてよい。これは、機械学習可能な機能が層構造にしたがわない場合には、例えば非ニューラルネットワークにも当てはまる。出力層は、機械学習可能な機能が特徴抽出器、例えば画像特徴抽出器である場合に特に良い選択肢である。なぜなら、この場合に正則化目的により提供される予測可能性は、予測可能性を用いる他の構成要素により完全に用いられ得るからである。これに代えて又はこれに加えて、ニューラルネットワーク及び深層ガウシアン過程などの内部層を有する機械学習可能な機能については、正則化目的を機能の内部層に適用し、又は、それぞれの正則化目的を複数のそれぞれの内部層に適用することが可能である。機械学習可能な機能及び／又は層を正則化するという有益な選択肢を、全体にわたって考察する。

任意選択的に、機械学習可能な機能は、画像分類器又は画像特徴抽出器であるものとしてよい。このような画像処理モデルは特に入力変動の問題に対処しなければならず、従って、向上した一般化可能性を有することから特段の利益を得る。一般に、画像分類器は、入力画像を１つ以上の分類出力に写像し得る。例えば、画像分類器は検出モデル、例えばオブジェクトが画像全体又は画像のセグメント内に存在するかどうかを示す分類出力を提供する機能であるものとしてよい。画像分類器は、セマンティックセグメンテーションモデル、例えば画像のそれぞれの画素又はセグメント内のオブジェクトの存在を示す複数の分類出力を提供する機能であるものとしてよい。画像特徴抽出器は、例えば、分類又は他の下流用途において用いるために、入力画像を画像特徴のベクトルに写像するものとしてよい。説明するトレーニング技術を用いて、より効果的かつ堅牢な画像処理モデルが取得され得る。

任意選択的に、機械学習可能な機能は、包括的画像分類器に用いられる画像特徴抽出器であるものとしてよい。この場合、ラベルなしトレーニングデータセットに基づいて画像特徴をトレーニングし（即ち、トレーニングはいずれの利用可能な分類ラベルも用いない）、その後、ラベル付きトレーニングデータセットに基づいて包括的画像分類器をトレーニングすることが可能である。ラベル付きデータセットは、例えば、ラベルが利用可能であるラベルなしトレーニングデータセットの部分集合であるものとしてよく又は別個のデータセットであるものとしてもよい。典型的には、ラベルなしデータは、ラベル付きデータよりも取得がはるかに容易である。特徴抽出器のトレーニングを分類器のトレーニングから分離することにより、ラベルを有しないデータを用いて特徴抽出器をトレーニングすることができる。特徴抽出器を別個にトレーニングする場合、一般化可能な特徴を学習することが特に重要であり、従って、提供される正則化目的は有利である。正則化目的は、この例において典型的には、特徴抽出器の出力層に適用される。分類器をトレーニングする場合、特徴抽出器も微調整されるものとしてよいが（正則化目的の使用を含むものとしてよく又は含まないものとしてよい）、これは必須ではない。

任意選択的に、目的関数は、機械学習可能な機能の複数のそれぞれの層に対する複数のそれぞれの正則化目的を含み得る。ニューラルネットワークなどの機能の異なる層は、異なる抽象化レベルの入力観察を表す傾向がある。従って、いくつかの層に正則化目的を適用することにより、いくつかの層の抽象化レベルにおける一般化可能性に報酬が与えられ得る。例えばそれぞれの層におけるトレーニング中に、正則化目的は、当該層において有利な効果を有するか否かを知るために、目的関数に含められるものとしてよく、又は、目的関数から削除されるものとしてよい。

任意選択的に、第１の入力観察及び第２の入力観察は、同様の種類のシーン、例えば、類似のオブジェクト又は複数のオブジェクトの類似の配置を含むシーンを表す画像である。例として、両方の画像は、例えば（半）自律走行車両の視覚モデルに用いられる車両環境を表すものとしてよい。例えば、ペアになっている両方の画像が、車両が高速道路を運行している、車両が交通信号で停止している、歩行者が予想外に道路を横断しているなどのシーンを表し得る。しかし、変換に対する堅牢性が必要とされる他の用途分野も考えられる。

このような場合、差分ラベルは、当該シーンのオブジェクト又は当該シーン自体の特性の差分を示すものとしてよい（例えば、車のブランド、車の種類、車が左側走行すべきか若しくは右側走行すべきか、又は、画像が撮影された国。これらはいくつかのシーンの特性のプロキシとみなされるものとしてよい）。差分ラベルは、シーンの観察条件の差分も示すものとしてよく、例えば気象条件、画像により捕捉されたオブジェクトのオクルージョンレベル、画像中のオブジェクトの位置又は向きなどの差分である。このような意味的に重要な差分について正則化目的を含めることにより、これらの差分及び機能出力に対する差分の効果について論理的に考えるように、機能に報酬が与えられて、これらの差分についてより良好に一般化する機能をもたらすものとしてよい。

任意選択的に、機械学習可能な機能は、畳み込みネットワークであるものとしてよい。畳み込みネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）としても知られており、種々の学習タスク、特に画像解析において効果的であることが判明している。畳み込みニューラルネットワークのそれぞれの層は、典型的にはそれぞれの抽象化レベルの入力観察を表す。ＣＮＮの内部層を選択することにより、入力観察の間の様々な種類の差分が正則化目的において適当に考慮され得る。

任意選択的に、正則化目的の評価は、差分ラベルを所与として第１の表現と第２の表現との間の相互情報量を推定することを含み得る。当該いわゆる条件付き相互情報量は、入力観察の表現間の相互の統計的依存性を決定する好適で、情報理論を動機とする方法を提供する。しかし、これらの３つの変数に関する他の相互情報量、例えば、第２の表現を所与とする第１の表現と差分ラベルとの間の相互情報量、又は、第１の表現を所与とする第２の表現と差分ラベルとの間の相互情報量も推定されるものとしてよい。例えば、正則化目的は、これらの相互情報量に基づき得る、以下においても説明されるインタラクション情報量を含み得る。相互情報量に基づく尺度を用いるのではなく、相互の統計的依存性という他の尺度、例えば、第１の表現及び差分ラベルを所与とする第２の観察の条件付きエントロピー、即ち、情報の変化量も考えられる。

（条件付き）相互情報量の使用が特に有利である１つの理由は、相互情報量がトレーニング可能な相互情報量推定モデルに従って効率的に推定され得ることである。（条件付き）相互情報量又は関連する物理量、例えば条件付きエントロピーを直接的に演算又は推定することも可能であるが、トレーニング可能な推定モデルを用いると、性能を大きく向上させる。興味深いことに、例えば、目的関数に相互情報量推定モデルの学習目的を含めることにより、知られている相互情報量推定モデルは、機械学習可能な機能と同時にトレーニングされ得る。このように、相互情報量を推定する機能は、機械学習可能な機能が変更される度にスクラッチから学習される必要はなく、機械学習可能な機能のトレーニングが進行する際に漸進的に更新され得る。

任意選択的に、正則化目的は、差分ラベルを条件とせずに、第１の表現と第２の表現との間の相互依存性、例えば第１の表現と第２の表現との間の相互情報量（差分ラベルを条件としない）により測定された相互依存性を抑制するようにさらに構成可能である。このように、両方の入力観察に同様の表現を提供するために機能が抑制され得る。換言すれば、機能は、単に同変であるばかりでなく不変でもある表現を決定することにつき抑制され得る。このような不変な表現は、正則化目的の局所最適解になる可能性がある。しかし、不変性は、機能の一般化可能性には好ましくない場合がある。なぜなら、不変性は、どのようにラベル付き差分に非自明に応答するかを学習せずに機能に効果的に報酬を与え、ラベル付き差分に関する情報を破棄するからである。これは、ネットワーク構造の機能においては、変換情報がネットワーク内により深く伝搬し、かつ、整然と構造化されているためであり、不変なネットワークは変換情報を破棄してしまう場合がある。従って、特に境界条件の場合におけるトレーニングデータがあまりない場合に、このように不変性にペナルティを与えることにより、より良好な一般化可能性が達成されるものとしてよい。

特に、正則化目的は、差分ラベルを条件とする相互情報量と、差分ラベルを条件としない相互情報量との間の差分を含み得る。当該差分は、第１の表現と、第２の表現と、差分ラベルとの間のインタラクション情報量としても知られている。なお、上述の相互情報量を明確に演算しなくても、インタラクション情報量は演算され得る。しかし、いずれの方法によりインタラクション情報量が演算されるにせよ、通常は両方の方法とも差分ラベルを所与として第１の表現と第２の表現との間の相互の統計的依存性に報酬を与え、かつ、差分ラベルを条件とせずに表現間の相互依存性を抑制することが理解されるであろう。

入力観察のペア及び対応する差分ラベルを取得するいくつかの選択肢が考えられる。典型的には、第１の入力観察は、トレーニングデータセットから生じる。任意選択的に、第２の入力観察は、差分ラベルを所与として第１の入力観察及び差分ラベルから生成されるものとしてもよい。例えば、差分ラベルに従う変換が適用され得るものであり、例えば画像中のオブジェクトが部分的にオクルージョンを被ることがあり、例えば雪又は雨などを追加することにより気象条件の差分がシミュレーションされ得る。機械学習可能なラベル付け機能を用いて観察のペアを所与として差分ラベルを決定することも可能である。例えば、いくつかのペアの観察のラベルを用いて、他のペアをラベル付けするラベル付け機能をトレーニングし、これにより、必要とされるラベル付けの労力を低減することができる。あるいは、ラベル付け機能が教師なしでトレーニングされることもあり、そのため、ラベルが手動では全く指定されないこともある。

本明細書において説明する技術は、様々な種類の入力観察に適用され得る。これは、画像のみならず、レーダデータ、超音波データ、ＬｉＤＡＲデータ、動作データなどを含む様々な種類のセンサデータを含む。例えば、コンピュータ制御システムとの関連においては、センサデータはコンピュータ制御システム及び／又はその環境の観察を提供するものとしてよい。このような場合、コンピュータ制御システムは、機械学習可能な機能の出力に基づいて監視及び／又は制御されるものとしてよい。コンピュータ制御システムの例としては、ロボット、（半又は完全）自律走行車両、家電装置、電動工具、製造機械、パーソナルアシスタント、及び、アクセス制御システムが挙げられる。監視され得るシステムとしては、例えばサーベイランスシステム及び医療（撮像）システムが挙げられる。

当業者には、本発明の上述の実施形態、実現例及び／又は任意の態様のうちの２つ以上が、有用と考えられるいずれかの方法によって組合せ可能であることが理解されるであろう。

任意のシステム及び／又は任意のコンピュータ可読媒体の変更例及び改変例が、対応するコンピュータ実装方法の記載の変更例及び改変例に対応し、本明細書に基づいて当業者により実施可能である。

本発明のこれらの態様及び他の態様は、以下の説明において例として説明される各実施形態と添付の図面とを参照することによって明らかとなりかつより深く理解される。

機械学習可能な機能をトレーニングするシステムを示す。 機械学習可能な機能を適用するシステムを示す。 （半）自律走行車両の一部としての機械学習可能な機能を適用するシステムを示す。 機械学習可能な畳み込みネットワークの詳細な例を示す。 正則化目的を用いて機械学習可能な機能をトレーニングする詳細な例を示す。 機械学習可能な機能をトレーニングする際に用いられる第２の入力観察を生成する詳細な例を示す。 包括的画像分類器で用いられる画像特徴抽出器である機械学習可能な機能をトレーニングする詳細な例を示す。 機械学習可能な機能をトレーニングするコンピュータ実装方法を示す。 データを含むコンピュータ可読媒体を示す。

これらの図面は、単に図示を目的としており、縮尺通りに描かれていないことに留意されたい。図面において、既に説明した要素に対応する要素には同一の符号を付している場合がある。

実施形態の詳細な説明
図１に機械学習可能な機能をトレーニングするシステム１００を示す。機械学習可能な機能は、入力観察を機能出力に写像するものであってよい。機械学習可能な機能は、１つ以上の内部層及び／又は１つの出力層を含み得る。本機能は、機械学習可能な機能を適用するシステム、例えば図２のシステム２００により用いられるためにトレーニングされ、特に機械学習可能な機能の出力に基づいてコンピュータ制御システムの監視及び／又は制御を可能にするものとしてよい。

システム１００は、データインタフェース１２０を備えていてよい。データインタフェース１２０は、複数のトレーニング入力観察を含むトレーニングデータセット０３０にアクセスするためのものであってよい。また、データインタフェース１２０は、トレーニングされる機械学習可能な機能のパラメータ０４０のセットにアクセスするためのものであってよい。図２を参照して考察されるように、学習された時点で、パラメータ０４０は機械学習可能な機能を観察に適用するために用いられ得る。例えば、図１に示すように、データインタフェースは、データ通信１２２を介してデータストレージ０２１からデータ０３０，０４０にアクセスし得るデータストレージインタフェース１２０により構成可能である。例えば、データストレージインタフェース１２０は、メモリインタフェース又は持続的なストレージインタフェース、例えばハードディスク若しくはＳＳＤインタフェースのみならず、Ｂｌｕｅｔｏｏｔｈインタフェース、Ｚｉｇｂｅｅインタフェース若しくはＷｉ－Ｆｉインタフェースなどのパーソナルインタフェース、ローカルネットワークインタフェース又は広域ネットワークインタフェース、又は、ｅｔｈｅｒｎｅｔインタフェース若しくは光ファイバインタフェースであるものとしてもよい。データストレージ０２１は、ハードドライブ又はＳＳＤなど、システム１００の内部データストレージのみならず、外部データストレージ、例えばネットワークアクセス可能なデータストレージであるものとしてもよい。いくつかの実施形態においては、例えばデータストレージインタフェース１２０の異なるサブシステムを介して、異なるデータストレージから、データ０３０，０４０にそれぞれアクセス可能である。それぞれのサブシステムは、データストレージインタフェース１２０に関して上述した種類のものであってよい。

システム１００は、システム１００の動作中に目的関数を最適化することにより機械学習可能な機能のパラメータのセットを学習するように構成され得るプロセッササブシステム１４０をさらに備えていてよい。当該最適化は、機械学習可能な機能の層（例えば内部層又は出力層）において入力観察間の差分セットに予測可能に応答する機械学習可能な機能に報酬を与えることを含み得る。ここでの最適化は、目的関数に含まれる正則化目的を用いて当該予測可能性に報酬を与えることができる。

最適化を実行するために、プロセッササブシステム１４０は、トレーニングデータセットからの第１の入力観察、対応する第２の入力観察、及び、第１の入力観察と第２の入力観察との間の差分を示す差分セットの差分ラベルを取得することができる。さらに、プロセッササブシステム１４０は、機械学習可能な機能を適用し、機械学習可能な機能の層で第１の入力観察の第１の表現及び第２の入力観察の第２の表現をそれぞれ決定し得る。さらに、プロセッササブシステム１４０は正則化目的を評価し得る。正則化目的は、第１の入力観察と第２の入力観察との間の差分ラベルを所与として、第１の表現と第２の表現との間の相互の統計的依存性に報酬を与えるように構成されていてよい。システム１００は、例えばデータインタフェース１２０を介してストレージ０２１内のパラメータのセットを更新し、通信インタフェースを介してパラメータのセットを第三者に提供することなどにより、出力インタフェースを介してパラメータの学習済みセットを出力し得る。

例えば、図１のシステム１００又は図６のコンピュータ実装方法６００により本明細書に説明するようにトレーニングされる機械学習可能な機能を適用するシステム２００を図２に示す。例えば、システム２００は、車両制御システム、ロボット制御システムシステム、製造制御システム又は建築制御システムであるものとしてよい。また、システム２００は、トレーニングを任意に実行することができる。例えば、システム２００は、システム１００と組合せ可能である。

システム２００は、トレーニング済みの機械学習可能な機能のパラメータ０４０のセットにアクセスするデータインタフェース２２０を備えていてよい。図１のデータインタフェース１２０に対するのと同様の考慮及び構成選択肢が適用される。図１のストレージ０２１及びデータ通信１２２と同様に、ストレージ０２２からデータ通信２２２を介してパラメータ０４０にアクセスするデータインタフェース２２０を図に示す。

システム２００は、システム２００の動作中に、コンピュータ制御システム及び／又はその環境の観察に、パラメータ０４０によりパラメータ化された機械学習可能な機能を適用するように構成され得るプロセッササブシステム２４０をさらに備えていてよい。機械学習可能な機能の出力に基づいて、コンピュータ制御システムは、従来の方法により監視及び／又は制御され得る。図１のプロセッササブシステム１４０に対するのと同様の考慮及び構成選択肢が適用される。

図２に、システム２００の種々の任意の構成要素をさらに示す。例えば、いくつかの実施形態においては、システム２００は、コンピュータ制御システム及び／又はその環境の観察を提供するセンサデータ２２４に直接的にアクセスするセンサインタフェース２６０を備えていてよい。例えば、センサデータ２２４は、環境０８２内においてセンサ０７２により得ることができる。センサは、環境０８２内に配置されるものとしてもよいが、例えば量が遠隔から測定され得る場合には環境０８２の遠隔に配置されるものとしてもよい。しかし、センサ０７２は、システム２００の一部でなくてもよい場合がある。センサ０７２は、画像センサ、ＬｉＤＡＲセンサ、レーダセンサ、圧力センサ、内蔵温度センサなどの任意の好適な形態を有するものとしてよい。センサインタフェース２６０は、例えば、Ｉ２Ｃデータ通信若しくはＳＰＩデータ通信に基づく低レベル通信インタフェース、又は、データインタフェース２２０に関連して説明した種類のデータストレージインタフェースを含むが、これらに限定されない種類のセンサに対応する任意の好適な形態を有するものとしてよい。

いくつかの実施形態においては、システム２００は、環境０８２内のアクチュエータ０９２に制御データ２２６を提供するアクチュエータインタフェース２８０を備えてよい。当該制御データ２２６は、機械学習可能な機能の出力に基づいてアクチュエータを制御するためにプロセッササブシステム２４０により生成可能である。アクチュエータは、システム２００の一部であるものとしてもよいが、システム２００の一部でなくてもよい。例えば、アクチュエータは、電気アクチュエータ、油圧アクチュエータ、空気圧アクチュエータ、熱アクチュエータ、磁気アクチュエータ、及び／又は、機械アクチュエータであるものとしてよい。具体的であるが非限定的例としては、電気モータ、電気活性高分子、油圧シリンダ、圧電アクチュエータ、空気圧アクチュエータ、サーボ機構、ソレノイド、ステッピングモータなどが挙げられる。このような種類の制御を、図３を参照して（半）自律走行車両に関連して説明する。

他の実施形態（図２には図示せず）においては、システム２００は、機能出力に基づいて生成され得るセンサ感応出力信号を生成するために用いられ得るディスプレイ、光源、拡声器、振動モータなどのレンダリングデバイスに接続された出力インタフェースを備える。センサ感応出力信号は機能出力を直接的に示すことができるが、例えばコンピュータ制御システムのガイダンス、ナビゲーション、又は、他の種類の制御において用いられる派生のセンサ感応出力信号を表すこともできる。

一般に、本明細書において説明する図１のシステム１００及び図２のシステム２００を含むがこれらに限定されるものではないそれぞれのシステムは、ワークステーション若しくはサーバなどの単一のデバイス若しくは装置として、又は、単一のデバイス若しくは装置内において具現化され得る。当該デバイスは、埋込デバイスであるものとしてよい。当該デバイス又は装置は、適当なソフトウェアを実行する１つ以上のマイクロプロセッサを備えていてよい。例えば、それぞれのシステムのプロセッササブシステムは、単一の中央処理装置（ＣＰＵ）のみならず、このようなＣＰＵ及び／又は他の種類の処理装置の組合せ若しくはシステムにより具現化され得る。ソフトウェアは、対応するメモリ、例えば、ＲＡＭなどの揮発性メモリ、又は、フラッシュメモリなどの不揮発性メモリ内にダウンロード及び／又は格納され得る。代替的に、それぞれのシステムのプロセッササブシステムは、デバイス又は装置内にプログラムマブルロジックの形態において、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実装されるものとしてもよい。一般に、それぞれのシステムの各機能装置は、回路の形態において実装可能である。それぞれのシステムは、例えば、分散されたローカルサーバ、又は、クラウドに基づくサーバなど、異なるデバイス又は装置を伴う、分散された形態において実装されるものとしてもよい。いくつかの実施形態においては、システム２００は、車両、ロボット若しくは類似のコンピュータ制御システムの一部であるものとしてよく、及び／又は、このようなシステムを制御するように構成された制御システムを表し得る。

図３に上記の例を示す。環境５０内において動作する（半）自律走行車両６２の制御システムとしてシステム２００を示す。自律走行車両６２は、自律走行運転システム又は運転支援システムを備え得る点において自律走行式であるものとしてよく、後者は半自律走行システムとも称される。この例においては、システム２００により用いられる入力観察は、車両環境の画像であるものとしてよい。トレーニングで用いられる差分ラベルは、例えば、気象条件及び／又は環境内のオブジェクトのオクルージョンレベル及び／又は位置及び／又は向きの差分を示すことができる。

例えば、自律走行車両６２はシステム２００を組み込み、車両６２内に一体化されたビデオカメラ２２から得られたセンサデータに基づいて自律走行車両の操縦及び制動を制御することができる。例えば、自律走行車両６２が交通参加者と衝突することが予期される場合に、システム２００は、電気モータ４２を制御し、（回生）制動を実行し得る。システム２００は、操縦及び／又は制動を制御し、交通参加者との衝突を回避し得る。この目的のために、システム２００は、車両６２の周囲の交通状況の画像をカメラ２２から取得して、交通状況が安全かどうかに応じて当該画像を分類し得る。交通状況が安全でないと考えられる場合、システム２００は対応する措置を取ることができる。安全でない交通状況の画像は、通常は取得が難しいので、画像認識を学習する場合に、一般化可能性は特に重要である。

種々の実施形態は、正則化目的を用いて機能の特定の層において入力観察間の差分セットに予測可能に応答する機械学習可能な機能に報酬を与えることを含む。具体的には、当該正則化目的は、入力観察の間の差分ラベルを所与として当該層における入力観察の表現間の相互情報量の評価、及び／又は、表現と差分ラベルの間のインタラクション情報量の評価を含み得る。ここで、T. Cohenらによる“Group Equivariant Convolutional Networks”に説明されている同変性の概念を参照して、特に、正則化目的のこれらの選択肢が妥当である根拠が数学的観点から示される。

Cohenの参照文献に説明されているように、ある空間を他の空間に写像する写像Φ、即ち、Φ：Ｘ→Ｚ、群Ｇ中の群要素ｇ及び群作用・において、写像及び変換が可換である場合、即ち、Φ（ｇ・ｘ）＝ｇ・Φ（ｘ）である場合、写像Φは、Ｇ同変又は群Ｇの作用に対して同変であると称され得る。特に、Ｚ空間内における変換の作用が、恒等変換、即ち、Φ（ｇ・ｘ）＝Φ（ｘ）である場合、写像ΦはＧ不変と称され得る。従って、同変写像は、その入力に対する既知の差分に予測可能に応答する写像の例であり、この場合、入力は、入力の既知の変換の適用により、互いに関係付けられる。

しかし、興味深いことに、本発明者らは、例えば確率変数間の関係の観点からこのような予測可能性を統計的に規定することを考察した。このようにして、あまり厳格でなく、群構造に従う変換を必要としない、より一般的な規定が得られる。予測可能性の統計に基づくこの規定は、「情報量同変性」と称され得る。当該規定は以下を動機とし得る。

同変性に関する類似の表記法を用いて、空間Ｘ内における確率変数ｘにより機械学習可能な機能に対する入力観察を示す。確率変数
は第２の入力観察を示し、さらに、確率変数ｇは、ｘと
との間の差分を示すものとする。例えば同変性の設定において、ｇはＧからサンプリングされた群要素であるものとしてよく、
は、
即ち、空間Ｘ内の群作用によりｇ及び
の決定性の組合せとして規定される変換済み入力観察であるものとしてよい。ｇがｘから独立している場合、
からのサンプルは、Ｘからの他の独立同分布（ｉ．ｉ．ｄ）サンプルとみなされ得ることに留意されたい。確率的写像又は決定論的写像Φ：Ｘ→Ｚを所与として、当該写像に従う第１及び第２の入力観察の表現は、ｚ＝Φ（ｘ）及び
としてそれぞれ示され得る。ここでは、ｚは、例えばΦが決定性である場合の確率変数であり、その条件付き分布Ｐ（ｚ｜ｘ）は、Φ（ｘ）における質点である。当該概念を用いて、写像がどのように入力観察間の差分に応答するかの予測可能性は、ｚ及びｇを条件とする
のエントロピー
の観点から規定され得る。即ち、エントロピーが小さくなるほど、予測可能性が高くなる。特に、群ＧのＧ同変性が最小の条件付きエントロピーを示唆することが数学的に示され得る。

既知の恒等式を用いて、ｇはｘ及びｚから独立であって、ゆえにこれらと相互情報量を共有しないと仮定すると、条件付き相互エントロピーは、
として分解され得る。従って、条件付きエントロピーを最小化することに代えて、差分ラベルｇを所与として、第１及び第２の表現
間の条件付き相互情報量
を最大化することができる。これにより、他の箇所で説明するように、例えば相互情報量推定モデルの使用が可能になる。なお、Φが決定性の場合、ｚ（及び
）のエントロピーは、エントロピーｘの上界であるものとしてもよく、よって、このような最大化も、ｚ及び
の両方のエントロピーを明示的に最大化することができる。なぜなら、これらの相互情報量は、個々のエントロピーが最大化された場合にのみ最大化されるからである。

さらに、取り得る縮退した最適解が、ｇ、例えばΦ（ｇ・ｘ）＝Φ（ｘ）により示される差分に不変な写像であることに注意されたい。当該解が全域最適解になることは、
のエントロピーの最大化によって防止され得るが、特に相互情報量推定モデルを用いて相互情報量を推定する場合には、局所最適解として取得される可能性がなおも存在する。また、不変性のみが種々の識別学習タスクを解決するために必要とされるので、当該局所最適解の発生が予期され得る。しかし、当該局所最適解は一般化可能性の観点からは望ましくない。

トレーニング済みの機械学習可能な機能における不変性を抑制し、従って、一般化可能性をさらに向上させるため、差分ラベルを条件とせずに第１の表現と第２の表現との間の相互依存性を抑制する追加の項が正則化目的に含まれるものとしてよい。具体的には、
とｚとの間の相互情報量（ｇを条件としない）が最小化され得る。例えば、以下の正則化目的、即ち、
が用いられ得る。興味深いことに、当該正則化目的は、変数Φ
と、Φ（ｘ）と、ｇとの間のインタラクション情報量の既知の統計的尺度に対応する。当該尺度は、これら３つに連帯して含まれ、２つの部分集合には含まれない情報の量を実質的に表す。当該インタラクション情報量を用いることにより、情報量同変写像が不変解なしで得られ、ｚ及び
は独立のものとして報酬を与えられ得る。

図４に、機械学習可能な機能ＭＬＦ０４０、この場合には畳み込みネットワークの詳細で非限定的な例を示す。このような畳み込みネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）とも称される。畳み込みネットワークは、特別な種類のニューラルネットワークである。ニューラルネットワークは、人工ニューラルネットワークとしても知られている。ニューラルネットワークは、典型的には複数の後続する層のノードを備える。ニューラルネットワークのパラメータは、典型的にはニューラルネットワークのノードの重みを含む。例えば、ネットワークの層の数は、少なくとも５個若しくは少なくとも１０個であるものとしてよく、ノードの数及び／又は重みは、少なくとも１０００個若しくは少なくとも１００００個であるものとしてよい。

概して言えば、畳み込みネットワークは、以下において考察するように、少なくとも１つの層が畳み込み層であるニューラルネットワークである。ネットワークのそれぞれの層が畳み込み層であるいわゆる完全畳み込みネットワークを含む種々の畳み込みネットワークアーキテクチャが知られている。多くの場合、このアーキテクチャは、例えば画像分類におけるセマンティックセグメンテーションタスクに用いられる。知られているもう１つのアーキテクチャは、図に示したものであり、ＣＮＮは２つの構成要素、即ち、少なくとも１つの畳み込み層を備える畳み込み部分と、少なくとも１つの高密度層を備える高密度（例えば完全接続された）部分とを備える。多くの場合、このアーキテクチャは、例えば画像分類における検出タスクに用いられる。

例示のために、このようなＣＮＮを用いて入力観察ＩＯ２１０に対する機能出力ＦＯ２３０をどのように取得することができるかを、ここで説明する。典型的には、ＣＮＮに対する入力は、空間的に例えばＭ×Ｎ×ｄの大きさのボリュームとして表される。ここで、次元ｄ＝１は、例えばグレースケール画像に用いられ、次元ｄ＝３は、多くの場合に色画像に用いられる。同様に、次元ｄは、他の種類のデータ、例えばオーディオデータ、従って、ボリュームを表すことが知られている。

図に示しているように、入力観察ＩＯは、機械学習可能な機能ＭＬＦ、より具体的には複数のフィルタ（又はいくつかの場合には単一のフィルタ）の第１の層ＣＬ１，２１２－１に入力され得る。これらのフィルタのそれぞれは、入力観察ＩＯを畳み込み、協力して活性化ボリューム即ち「潜在表現」を生成し得る。活性化ボリュームのそれぞれの「スライス」は、当該複数のフィルタのうちの１つの出力であり得る。潜在表現は、入力観察ＩＯの大きさＭ×Ｎとは異なる大きさ、例えば空間分解能を有し得る。次に、潜在表現は、後続の層ＣＬ２，２１２－２に対する入力として用いられ得る。次に、ＣＬ２のフィルタが、第１の層ＣＬ１により出力された潜在表現を畳み込み、第２の潜在表現を生成し得る。当該処理は、さらなる層２１２に対して継続し得る。ＣＮＮのこの畳み込み部分により、入力観察に対する潜在表現の空間的関係が通常は保たれるが、潜在表現の空間次元は、潜在表現ごとに、入力観察の空間次元とは異なっているものとしてもよい。

ＣＮＮの畳み込み部分の最後の層ＣＬｋ，２１２－ｋ（多くの場合、最後の畳み込み層と称されるが、いくつかの実施形態においては、畳み込み部分の最後の層ＣＬｋは、必ずしも畳み込み層でなくてもよい。ただし、最後の層ＣＬｋは上記で考察したように空間的関係を保持する）の後に生じる潜在表現ＬＲｋ２２２が、この例においては、複数の高密度層のうちの第１の高密度層ＤＬ１，２１４－１に入力される。高密度層２１４は、完全接続層であるものとしてよく、それぞれの完全接続層のニューロンは、他の層のニューロンの総てに接続されている。ＣＮＮの高密度部分を通過した後、機能出力ＦＯ、例えば１つの分類スコア又は分類スコアのセットが入力され得る。

図５ａに、正則化目的を用いて機械学習可能な機能をトレーニングする、詳細で非限定的な例を示す。

機械学習可能な機能Ｍｌｆ，５２０を示す。機械学習可能な機能Ｍｌｆは、入力観察を機能出力に写像することができる。一般には、機械学習可能な機能Ｍｌｆは決定性機能（例えば、畳み込みニューラルネットワーク）であるものとしてよいが、機械学習可能な機能は統計的なもの（例えば、ベイジアンニューラルネットワーク）であるものとしてもよい。

例えば、入力観察は、画像、又は、画像として表される他の種類のセンサデータ若しくは異なる方法により表されるセンサデータであるものとしてよい。例えば、入力観察は、特定の物理量の（直接若しくは間接の）測定値の１つの時系列、又は、複数のこのような時系列を含むものとしてよい。画像に関して種々の特徴を以下に説明するが、他の種類のセンサデータにも同様に適用可能である。

機能出力は、様々な種類のものであってよい。例えば、機能出力は、画像又は画像の１つ以上のセグメントが１つ以上の所与のクラスに属するか否かを示す画像分類入力を含み得る。機械学習可能な機能Ｍｌｆは、画像分類器、例えば検出モデル又はセマンティックセグメンテーションモデルであるものとしてよい。検出モデルについては、出力は１つ以上の分類スコアを含むものとしてよい。セマンティックセグメンテーションモデルについては、出力は、入力画像のそれぞれのセグメントの存在情報を表す入力と類似の次元の分類出力を含み得る。また、機械学習可能な機能Ｍｌｆは、例えば画像特徴抽出器であるものとしてよく、この場合には機能出力は、抽出された特徴のベクトルであるものとしてよい。

機械学習可能な機能Ｍｌｆの機能出力は、本明細書において機械学習可能な機能の「出力層」と称され、この機能出力は、出力層における入力観察の表現である。例えば、出力層における入力観察の表現は、少なくとも１０個、少なくとも１００個、又は、少なくとも１０００個の特徴を含むものとしてよい。入力観察は、少なくとも１００個、少なくとも１０００個、又は、少なくとも１００００個の特徴を含むものとしてもよい。いくつかの実施形態においては、例えばオブジェクト検出モデルでは、出力表現は入力観察よりも少ない特徴を有するが、例えばセマンティックセグメンテーションモデルの場合、出力表現の特徴の数及び／又は空間次元は、入力観察の空間次元と同一であるものとしてもよい。

出力層とは別に、機械学習可能な機能Ｍｌｆは、１つ以上の内部層を有するものとしてよい。即ち、機械学習可能な機能Ｍｌｆの評価は、１つ以上の層を連続的に評価することを含むものとしてよく、前の層の出力は、次の層の入力として用いられる。層を有する機械学習可能な機能は、ニューラルネットワーク（特に深層ニューラルネットワーク）及び深層ガウシアン過程を含む。例えば、機械学習可能な機能Ｍｌｆは、例えば図４に関連して説明した畳み込みネットワーク、特に完全畳み込みネットワークであるものとしてよい。しかし、機械学習可能な機能Ｍｌｆが層構造を有することは必要とされない。例えば、機械学習可能な機能は、サポートベクトルマシンなどであるものとしてよい。

機械学習可能な機能Ｍｌｆは、機械学習可能な機能をトレーニングするときに学習され得るパラメータのセット（図面には図示せず）によりパラメータ化可能である。例えば、パラメータはニューラルネットワークの重みなどを含むものとしてよい。パラメータの数は、例えば少なくとも１０００個又は少なくとも１００００個であるものとしてよい。

パラメータは、目的関数を最適化することにより最適化演算Ｏｐｔ５７０において学習されるものとしてよい。それぞれの学習タスク、例えば分類、回帰、特徴抽出、自動符号化などに適した種々の目的関数が知られており、ここで用いられ得る。目的関数の反復的最適化を含む畳み込みトレーニング技術が用いられ得る。例えば、Kingma and Ba著、“Adam: A Method for Stochastic Optimization”（https://arxiv.org/abs/1412.6980で入手可能であり、参照により本明細書に組み込まれる）に開示されているアダムオプティマイザを用いる確率的勾配降下法などの確率的最適化技術が用いられ得る。知られているように、このような最適化の方法は、帰納的なものであることがあり、及び／又は、局所最適解に到達し得る。トレーニングは、インスタンスごとに、又は、例えば、最大若しくは少なくとも６４個のインスタンス又は最大若しくは少なくとも２５６個のインスタンスのバッチにより、実行され得る。

図に、複数の入力観察及び対応するトレーニング出力のトレーニングデータセットに基づく教師あり学習を示す。この場合、最適化Ｏｐｔにより評価される目的関数は、典型的には機械学習可能な機能の機能出力と対応するトレーニング出力との間の差分に基づいて最小化されるべきトレーニングロス（復元ロスと称される場合がある）を含む。図に、対応する機能出力ＦＯ_１，５３１’を得るために機械学習可能な機能に入力される入力観察ＩＯ_１，５１１を示す。最適化Ｏｐｔは、入力観察の機能出力ＦＯ_１をトレーニング出力ＴＯ_１，５３１と比較し、この比較に基づいて機械学習可能な機能Ｍｌｆのパラメータを調整し得る。最適化Ｏｐｔは、教師なし学習を実行し得る。この場合、機械学習可能な機能は典型的には、トレーニングインスタンスに適応されるが、目的関数はトレーニング出力に基づかない。トレーニングが教師ありであるか又は教師なしであるかにかかわらず、トレーニング入力観察の数は、例えば、少なくとも１０００個、少なくとも１００００個又は少なくとも１０００００個である。

興味深いことに、機械学習可能な機能の層において入力観察間の差分セットに予測可能に応答する機械学習可能な機能Ｍｌｆに報酬を与えるために、正則化目的Ｒｅｇ，５６０を、最適化される目的関数に含めることができる。正則化目的が適用される層は、出力層又は内部層であるものとしてよい。機械学習可能な機能の複数のそれぞれの層（例えば、内部層又は出力層）に対して複数のそれぞれの正則化目的を含めることも可能である。説明を容易にするために、ここでは、単一の正則化目的を考察する。用いられる正則化目的ごとに説明する演算を繰り返すことにより、複数の正則化目的が構成され得る。

正則化目的Ｒｅｇは、所与の差分ラベルＤＩＦ，５１３に応じて異なる入力観察ＩＯ_１，５１１及びＩＯ_２，５１２のペアに、機械学習可能な機能を適用する結果の観点から規定されるものとしてよい。当該ペアＩＯ_１，ＩＯ_２、及び、対応する差分ラベルＤＩＦを取得するための選択肢については、他の箇所で考察する。差分ラベルのセットは、典型的には離散的となるように選択され、例えば、最大若しくは少なくとも５個、最大若しくは少なくとも１０個、又は、最大若しくは少なくとも２５個の考えられる差分を含む。しかし、原則として連続した差分ラベルの使用も可能である。入力観察ＩＯ_１及びＩＯ_２を所与として、機械学習可能な機能Ｍｌｆは、正則化目的Ｒｅｇが規定されている層において入力観察の対応する表現Ｒ_１，５４１及びＲ_２，５４２を取得するために、（少なくとも部分的に）適用可能である。表現Ｒ_１及びＲ_２並びに差分ラベルＤＩＦに基づいて（典型的には、Ｒ_１，Ｒ_２，ＤＩＦのこのような複数のトリプレットに基づいて）、正則化目的Ｒｅｇが評価可能となる。

正則化目的Ｒｅｇは、差分ラベルＤＩＦを所与として第１の表現Ｒ_１と第２の表現Ｒ_２との間の相互の統計的依存性に報酬を与えるように構成され得る。他の箇所において説明したように、Ｒ_１及びＤＩＦを所与としてＲ_２の条件付きエントロピーを最小化することによるもの、並びに、ＤＩＦを所与としてＲ_１及びＲ_２の相互情報量を最大化することによるもの、例えば、
を含めて、当該正則化目的を規定する種々の選択肢がある。さらに、正則化目的Ｒｅｇは、例えば差分ラベルＤＩＦを条件とせずに第１の表現Ｒ_１と第２の表現Ｒ_２との間の相互情報量を最小化すること、例えば、
により、差分ラベルＤＩＦを条件とせずにＲ_１とＲ_２との間の相互依存性を抑制し得る。例えば、正則化目的はＲ_１，Ｒ_２とＤＩＦとの間のインタラクション情報量、例えば、
を含み得る。また、例えば、ハイパーパラメータλにより、項
に異なる重み付けをすること、例えば、
も可能である。

正則化目的Ｒｅｇを評価するために、それぞれの統計量を計算又は推定する種々の畳み込み技術が用いられ得る。しかし、この図には、（条件付き）相互情報量に基づく正則化目的を示す。（条件付き）相互情報量は、トレーニング可能な相互情報量推定モデルＭｉｅ５５０に従って推定される。このようなトレーニング可能な相互情報量推定モデルの例は、M. Belghazi et al.著、“MINE: Mutual Information Neural Estimation”（https://arxiv.org/abs/1801.04062にて入手可能であり、参照により本明細書に組み込まれる）に開示されている。それぞれの相互情報量推定モデルを用いて、差分ラベルＤＩＦを条件とする相互情報量、例えば、
、及び、差分ラベルを条件としない相互情報量、例えば、
を推定することができる。前者については、MINEの技術は、差分ラベルを条件として分布からサンプリングすることにより、直接的に条件付き相互情報量を推定するように適応化可能である。興味深いことに、相互情報量推定モデルは、例えば単一の目的関数に基づいて機械学習可能な機能Ｍｌｆのトレーニングと同時に最適化Ｏｐｔにおいて最適化され得る。これにより、機械学習可能な機能が更新される際に相互情報量の推定が漸進的に適応化される。

なお、相互情報量の恒等式Ｉ（Ｘ；Ｙ｜Ｚ）－Ｉ（Ｘ；Ｙ）＝Ｉ（Ｘ；Ｚ｜Ｙ）－Ｉ（Ｘ；Ｚ）＝Ｉ（Ｙ；Ｚ｜Ｘ）－Ｉ（Ｙ；Ｚ）を考慮して、インタラクション情報量は、例えば上記の相互情報量推定モデルを用いて、
又は
としても推定され得る。

ここで、入力観察のトリプレットＩＯ_１，ＩＯ_２，ＤＩＦ、及び、対応する差分ラベルの取得の仕方に進むが、いくつかの可能性が考えられる。いくつかの実施形態においては、このようなトリプレットは、トレーニングデータセットの一部として利用可能であるものとしてよい。これは、教師あり設定と称され得る。図５ｂに示すもう１つの可能性は、入力観察ＩＯ_２が生成演算Ｇｅｎ５８０において入力観察ＩＯ_１及び差分の種類ＤＩＦから生成されるというものである。これは、自己教師あり設定と称され得る。現今の用途に好適な任意の生成演算Ｇｅｎが用いられるものとしてよい。差分の種類ＤＩＦは、入力観察ＩＯ_１に適用されるべき変換を示し得る。当該変換は、例えば、回転及び／又は平行移動などの幾何学的変換のみならず、シーン内のオブジェクトの特性を変更し又は観察条件を変更する、入力観察ＩＯ_１に対する総合的変更であるものとしてよい。例えば、車両環境の画像は、雪又は雨を導入する、昼間のシーンを夜のシーンに変更するなどのように適応化可能である。

図には示していないが、第３の選択肢は、機械学習可能なラベル付け機能を用いて入力観察ＩＯ_１及びＩＯ_２から差分ラベルＤＩＦを決定することである。当該機能は、最適化Ｏｐｔを実行する前にトレーニングされ得るが、（例えばマルチタスク学習を用いて）機能Ｍｌｆと同時にこの機能を学習することが、一般には好ましい。ラベル付け機能のトレーニングは、教師ありのものであってよい。例えば、差分ラベルが入力観察の部分集合に利用可能である場合、当該部分集合についてラベル付け機能が学習され、かつ、ラベルが利用可能でないペアに適用され得る。興味深いことに、トレーニングは、教師なしのものであってもよく、ラベル付けの労力を完全になくすことを可能にする。例えば、ラベル付け機能は、M. Caron et al.著、“Deep Clustering for Unsupervised Learning of Visual Features”（https://arxiv.org/abs/1807.05520で入手可能であり、参照により本明細書に組み込まれる）に説明されているようにトレーニング可能である。

図５ｃに、トレーニングされる機械学習可能な機能が包括的画像分類器Ｃｌ５９０に用いられる画像特徴抽出器である、詳細であるが非限定的な例を示す。即ち、包括的画像分類器Ｃｌは、機械学習可能な機能Ｍｌｆを適用して入力観察ＩＯから抽出された特徴のベクトルを提供する機能出力ＦＯを取得すること、及び、さらなる機械学習可能な機能を用いて分類Ｃｌを、生じる抽出特徴ＦＯに対して実行することにより、入力観察ＩＯ、例えば入力画像を分類し得る。この場合、包括的画像分類器をトレーニングするために、本明細書に説明するように分類ラベルを用いることなく機械学習可能な機能がまずトレーニングされ得る。従って、分類ラベルが利用可能でない入力観察ＩＯも用いられ得る。

その後、最適化演算Ｏｐｔ２，５７９において、包括的画像分類器が所望のトレーニング分類出力ＴＣＯ５９５’でラベル付けされたトレーニング例ＩＯに基づいてトレーニングされ得る。当該最適化演算Ｏｐｔ２は、分類を出力するさらなる機械学習可能な機能Ｃｌのパラメータを少なくとも学習する。任意選択的に、最適化Ｏｐｔ２は、機械学習可能な機能Ｍｌｆを微調整するものとしてもよい。この目的のために、任意選択的に、機械学習可能な機能Ｍｌｆの正則化目的Ｒｅｇが、包括的分類器をトレーニングする目的関数に含まれるものとしてもよい。

図６に、機械学習可能な機能をトレーニングするコンピュータ実装方法６００のブロック図を示す。機械学習可能な機能は、入力観察を機能出力に写像することができる。機械学習可能な機能は、１つ以上の内部層及び／又は出力層を備えていてよい。方法６００は、図１のシステム１００の動作に対応し得る。しかし、これは、方法６００が他のシステム、装置又はデバイスを用いて実施されるものとしてもよいという点において、限定されるものではない。

方法６００は、「トレーニングデータ、パラメータにアクセスする」と表題される動作において、複数のトレーニング入力観察を含むトレーニングデータセット、及び、機械学習可能な機能のパラメータのセットにアクセスすること６１０を含み得る。

方法６００は、「パラメータを学習する」と表題される動作において、目的関数を最適化することにより機械学習可能な機能のパラメータのセットを学習すること６２０を含み得る。最適化は、機械学習可能な機能の層において入力観察間の差分セットに予測可能に応答する機械学習可能な機能に報酬を与えることを含み得る。最適化は、目的関数に含まれる正則化目的により、上記の予測可能性に報酬を与えることができる。

学習動作６２０で実行される最適化は、「観察、差分ラベルを取得する」と表題される動作において、トレーニングデータセットの第１の入力観察、対応する第２の入力観察、及び、第１の入力観察と第２の入力観察との間の差分を示す差分セットの差分ラベルを取得すること６２２を含み得る。最適化はさらに、「機能を適用して表現を決定する」と表題される動作において、機械学習可能な機能を適用して、機械学習可能な機能の層において第１の入力観察の第１の表現及び第２の入力観察の第２の表現をそれぞれ決定すること６２４を含み得る。最適化はさらに、「差分ラベルを所与として表現の依存性に報酬を与える」と表題される動作において、正則化目的を評価すること６２６を含み得る。正則化目的は、第１の入力観察と第２の入力観察との間の差分ラベルを所与として第１の表現と第２の表現との間の相互の統計的依存性に報酬を与えるように構成されていてよい。

一般に、図６の方法６００の動作は、適用可能な場合に、例えば入力／出力関係により必要とされる特定の順序に応じて任意の好適な順序、例えば、連続的、同時、又は、これらの組合せにより実施可能であることが理解されるであろう。

方法は、コンピュータ実装方法、専用ハードウェア、又は、両方の組合せとしてコンピュータ上に実装可能である。また、図７に示すように、コンピュータの命令、例えば実行可能なコードが、異なる電気的な特性、例えば磁気的又は光学的な特性又は値を有する一連の機械可読物理マーク７１０及び／又は一連の要素の形態においてコンピュータ可読媒体７００に格納されるものとしてもよい。実行可能なコードは、一時的に又は非一時的に格納されるものとしてよい。コンピュータ可読媒体の例としては、メモリデバイス、光ストレージデバイス、集積回路、サーバ、オンラインソフトウェアなどが挙げられる。図７には、光ディスク７００を示す。代替的に、コンピュータ可読媒体７００は、本明細書において提供されるコンピュータ実装方法によりトレーニングされる機械学習可能な機能のパラメータのセットを表す一時的又は非一時的なデータ７１０を含むものとしてもよい。

非限定的であるかどうかにかかわらず、例、実施形態、又は、任意の特徴は、特許請求される本発明を限定するものとして理解されるべきではない。

上述の実施形態は、本発明を限定するのではなく例示するものであり、当業者は、添付の特許請求の範囲から逸脱することなく多くの代替的な実施形態を設計することができることに留意されたい。特許請求の範囲においては、括弧の間に配置されたいかなる符号も特許請求の範囲を限定するものとは解釈されないものとする。動詞「備える（comprise）」及びその活用形を用いても、請求項に記載されるもの以外の要素又は段階の存在を排除しない。要素に先行する冠詞「１つの（a，an）」は、複数のこのような要素の存在を排除しない。要素の列挙又は群に先行する場合には、「のうちの少なくとも１つ」などの表現は、要素の列挙又は群の総て又は任意の部分集合の選択を表す。例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つ」という表現は、Ａのみ、Ｂのみ、Ｃのみ、Ａ及びＢの両方、Ａ及びＣの両方、Ｂ及びＣの両方、又は、Ａ、Ｂ及びＣの総てを含むものとして理解されるべきである。本発明は、いくつかの個別の要素を含むハードウェア及び好適にプログラミングされたコンピュータにより実装されるものとしてよい。いくつかの手段を列挙するデバイスの請求項においては、これらの手段のうちのいくつかは、単一かつ同一の製品のハードウェアにより具現化されるものとしてよい。特定の方策が互いに異なる従属請求項に列挙されているという単なる事実は、利点を得るためにこれらの方策の組合せを用いることができないことを示すものではない。

Claims (15)

1. 機械学習可能な機能をトレーニングするコンピュータ実装方法（６００）であって、前記機械学習可能な機能は、入力観察を機能出力に写像し、前記機械学習可能な機能は、１つ以上の内部層及び／又は出力層を備え、前記方法は、
   ‐複数のトレーニング入力観察を含むトレーニングデータセット、及び、前記機械学習可能な機能のパラメータのセットにアクセスすること（６１０）と、
   ‐目的関数を最適化することにより前記機械学習可能な機能のパラメータの前記セットを学習すること（６２０）であって、前記最適化は、前記機械学習可能な機能の層において入力観察間の差分セットに予測可能に応答する前記機械学習可能な機能に報酬を与えることを含み、前記最適化は、前記目的関数に含まれる正則化目的により予測可能性に報酬を与える、こと（６２０）と、
   を含み、前記最適化は、
   ‐前記トレーニングデータセットの第１の入力観察、対応する第２の入力観察、及び、前記第１の入力観察と前記第２の入力観察との間の差分を示す前記差分セットの差分ラベルを取得すること（６２２）と、
   ‐前記機械学習可能な機能を適用して、前記機械学習可能な機能の前記層において前記第１の入力観察の第１の表現及び前記第２の入力観察の第２の表現をそれぞれ決定すること（６２４）と、
   ‐前記第１の入力観察と前記第２の入力観察との間の前記差分ラベルを所与として前記第１の表現と前記第２の表現との間の相互の統計的依存性に報酬を与えるように構成された前記正則化目的を評価すること（６２６）と、
   を含む方法（６００）。
2. 前記機械学習可能な機能は、画像分類器又は画像特徴抽出器である、請求項１に記載の方法（６００）。
3. 前記機械学習可能な機能は、包括的画像分類器に用いられる画像特徴抽出器であり、前記画像特徴抽出器は、ラベルなしトレーニングデータセットに基づいてトレーニングされ、前記方法は、前記包括的画像分類器をラベル付きトレーニングデータセットに基づいてトレーニングすることをさらに含む、請求項２に記載の方法（６００）。
4. 前記目的関数は、複数のそれぞれの層に対する複数のそれぞれの正則化目的を含む、請求項２又は３に記載の方法（６００）。
5. 前記第１の入力観察及び前記第２の入力観察は、同様の種類のシーンを表す第１の画像及び第２の画像であり、前記差分ラベルは、前記シーン内のオブジェクトの特性の差分、及び／又は、前記シーン内の観察条件の差分を示す、請求項２乃至４のいずれか一項に記載の方法（６００）。
6. 前記第１の画像及び前記第２の画像は、車両の周囲の環境を表し、前記差分ラベルは、
   ‐気象条件の差分、
   ‐前記環境内のオブジェクトのオクルージョンレベルの差分、
   ‐前記環境内のオブジェクトの位置の差分、及び、
   ‐前記環境内のオブジェクトの向きの差分、
   の群のうちの少なくとも１つを示す、請求項５に記載の方法（６００）。
7. 前記機械学習可能な機能は、畳み込みネットワークである、請求項１乃至６のいずれか一項に記載の方法（６００）。
8. 前記正則化目的を評価することは、前記第１の表現及び前記第２の表現並びに前記差分ラベルに基づいて、条件付き相互情報量を推定することを含む、請求項１乃至７のいずれか一項に記載の方法（６００）。
9. 前記相互情報量は、トレーニング可能な相互情報量推定モデルに従って推定され、前記方法は、前記相互情報量推定モデルを前記機械学習可能な機能と同時にトレーニングすることをさらに含む、請求項８に記載の方法（６００）。
10. 前記正則化目的は、前記差分ラベルを条件とせずに前記第１の表現と前記第２の表現との間の相互依存性を抑制するようにさらに構成されている、請求項１乃至９のいずれか一項に記載の方法（６００）。
11. 前記第１の入力観察及び前記差分ラベルから前記第２の入力観察を生成することを含む、請求項１乃至１０のいずれか一項に記載の方法（６００）。
12. 機械学習可能なラベル付け機能を前記第１の入力観察及び前記第２の入力観察に適用することにより前記差分ラベルを決定することを含む、請求項１乃至１１のいずれか一項に記載の方法（６００）。
13. センサインタフェースを介して、コンピュータ制御システム及び／又は前記コンピュータ制御システムの環境の観察を提供するセンサデータを取得することと、前記機械学習可能な機能を前記観察に適用することと、前記機械学習可能な機能の前記出力に基づいて前記コンピュータ制御システムを監視及び／又は制御することとをさらに含む、請求項１乃至１２のいずれか一項に記載の方法（６００）。
14. 機械学習可能な機能をトレーニングするシステム（１００）であって、前記機械学習可能な機能は、入力観察を機能出力に写像し、前記機械学習可能な機能は、１つ以上の内部層及び／又は出力層を備え、前記システムは、
    ‐複数のトレーニング入力観察を含むトレーニングデータセット（０３０）、及び、前記機械学習可能な機能のパラメータ（０４０）のセットにアクセスするデータインタフェース（１２０）と、
    ‐目的関数を最適化することにより前記機械学習可能な機能のパラメータの前記セットを学習するように構成されたプロセッササブシステム（１４０）であって、前記最適化は、前記機械学習可能な機能の層において入力観察間の差分セットに予測可能に応答する前記機械学習可能な機能に報酬を与えることを含み、前記最適化は、前記目的関数に含まれる正則化目的により予測可能性に報酬を与える、プロセッササブシステム（１４０）と
    を備え、前記最適化は、
    ‐前記トレーニングデータセットの第１の入力観察、対応する第２の入力観察、及び、前記第１の入力観察と前記第２の入力観察との間の差分を示す前記差分セットの差分ラベルを取得することと、
    ‐前記機械学習可能な機能を適用して、前記機械学習可能な機能の前記層において前記第１の入力観察の第１の表現及び前記第２の入力観察の第２の表現をそれぞれ決定することと、
    ‐前記第１の入力観察と前記第２の入力観察との間の前記差分ラベルを所与として前記第１の表現と前記第２の表現との間の相互の統計的依存性に報酬を与えるように構成された前記正則化目的を評価することと、
    を含む、システム（１００）。
15. プロセッサシステムにより実行される際に、前記プロセッサシステムに、請求項１に記載のコンピュータ実装方法を実施させるための命令を表す非一時的なデータ（７１０）を含むコンピュータ可読媒体（７００）。