JP7802251B2 - マルチモーダル画像を処理するためのシステムおよび方法 - Google Patents

Description

本開示は、概して、画像処理システムおよび方法に関し、より詳細には、マルチモーダル画像のレジストレーションのためにニューラルネットワークをトレーニングするためのシステムおよび方法に関する。本開示はまた、そのようなマルチモーダル画像のレジストレーションのためのシステムおよび方法に関する。

画像レジストレーションは、対応する画素が同じ対象物および／または特徴を表すように、異なる観視幾何学的形状および／または異なる変形を有する２つの画像を同じ座標系に幾何学的に整列させる。正確な画像対画像レジストレーションは、地理参照、変化検出および時系列分析、データ融合、画像モザイクの形成、デジタル標高モデル（ＤＥＭ）抽出、３Ｄモデリング、ビデオ圧縮および動き分析などを含む多くの用途における有用性を改善する。シーンを撮像するために、いくつかの撮像技術が利用可能である。各撮像技術は、それ自体の強みおよび弱みを有し、異なるタイプの情報を提供し得るため、実際には、シーンの特徴を正確に描写するために異なる撮像技術を組み合わせることが有利であり得る。２つ以上の撮像システムを首尾よく統合し、および／または別個のシステムによって提供される情報を組み合わせるために、異なるモダリティにおいて取得されることが多い場合がある画像データを位置合わせすることは必要である。

従来の画像レジストレーション方法は、共通のレジームおよびタイプからの画像に適用可能である。例えば、画像が共通のレジームに属さない場合（例えば、それらが異なるモダリティであるとき）、従来の方法を使用したレジストレーションは、非実用的および／または計算が困難であり得る。

従来の画像レジストレーション方法は、通常、２つの画像（例えば、第１の画像および第２の画像）を整列させるが、それは、まず、特徴抽出方法を定義して画像内の各画素について特徴ベクトルを抽出し、次いで、第１の画像における各画素について、第２の画像内のその対応する画素が、その特徴ベクトルが（ユークリッド距離などの何らかの距離によって測定されて）第１の画像内のその画素の特徴ベクトルに最も近い画素として定義されることにより、行われる（この手順は特徴マッチングと呼ばれる）。このレジストレーション方法は、特徴ベクトルが、対応する画素の特徴ベクトル間の距離が、対応しない画素の特徴ベクトル間の距離よりも小さい、という特性を有する場合に、成功し得る。この特性を有する特徴ベクトルは、同じ撮像技術によって形成される画像に対して定義することがより容易である。例えば、グレースケール光学画像の場合、各画素における画像勾配のヒストグラムは、一般に使用されるタイプの特徴ベクトルである（例えば、ＳＩＦＴ特徴は、このタイプに属する）。しかしながら、位置合わせされる画像が異なる撮像技術によって形成される場合、２つの画像内の画素値は異なる物理量を表し、所望の特性を有する特徴ベクトルを定義することは困難である。例えば、光学画像では、画素値は光学反射率を表し、レーダ画像では、画素値は誘電率を表す。光学画像およびレーダ画像は、それらが共通のシーンの画像であっても外観が非常に異なる場合があり、そのような場合、画像勾配のヒストグラムは、特徴マッチングのための所望の特性を有しない。

したがって、現代の撮像用途の要件を満たすためには、３次元（３Ｄ）シーンのマルチモーダル画像に適した普遍的に適用可能な画像レジストレーションシステムおよび方法を開発する必要がある。また、過度の処理負担を回避し、代わりにマルチモーダル画像を処理するための単純化されたパイプラインを利用する、そのようなシステムおよび方法を開発する必要性もある。

画像レジストレーションは、異なるデータのセットを１つの座標系に変換するプロセスである。データは、複数の写真、異なるセンサからのデータ、時間、深さ、または視点であり得る。これは、コンピュータビジョン、医用イメージング、空中写真撮影、遠隔感知（地図製作法更新）、ならびに衛星からの画像ならびにデータのコンパイルおよび分析において使用される。例えば、異なる照明スペクトル帯域を有する異なる視野角から撮影された３次元シーンの画像は、それらの画像を効率的に融合することができるという条件で、そのシーンに関する豊富な情報を潜在的に捕捉することができる。これらの画像のレジストレーションは、成功裏な融合のため、および／またはこれらの異なる測定から得られたデータを比較または統合するための重要なステップである。

画像が、異なるドメインに由来し、異なるモダリティのものである場合、マルチモーダル画像を、または正確に位置合わせするための画像レジストレーション方法の適用は、煩雑な作業である。あるシーンの画像は、異なるプラットフォームおよびセンサから、ならびに／または異なる撮像技術を使用して取得されるとき、異なるモダリティのものであり得る。画像のモダリティは、主に、画像における光の測定されたスペクトルによって支配される。例えば、光学センサは典型的には可視光スペクトル内で動作するのに対して、レーダは典型的にはマイクロ波スペクトル内で動作する。したがって、光学画像は、シーンの色（例えば、赤、緑、青）を表示するが、レーダ画像は、シーンの素材（例えば、水、金属、土壌）を表示する。そのような画像は、異なるモダリティのものであり、従来のレジストレーションアプローチは、それらに直接適用することはできない。光学画像とは異なるモダリティのそのような画像の一例は、合成開口レーダ（ＳＡＲ）画像である。合成開口レーダ（ＳＡＲ）遠隔感知撮像は、全日および全天候状態において大きな利点を有する。ＳＡＲ画像は、概して、マッピングおよび軍事等を含む種々の適用において重要かつ緊急に必要とされる、幾何学的構造および材料特性等の豊富な情報を含む。しかしながら、ＳＡＲ画像は、あまり可読ではなく、コンテキスト依存である。

いくつかの例示的な実施形態は、ＳＡＲおよび光学画像などのマルチモーダル画像の可読性を改善することを試みる。１つの作業内容は、光学画像を、ＳＡＲ画像上に、それら２つの画像の画像レジストレーションによって重ね合わせることに焦点を当てる。しかしながら、利用可能なレジストレーション技術は、異なるモダリティの画像間の直接的な画像レジストレーションを可能にしないので、それらの技術を使用するためには、位置合わせ方法は、画像レジストレーションが実行される前にＳＡＲ画像および光学画像を共通空間に変換する必要がある。しかしながら、そのような変換は困難であり、変換された画像にノイズおよびアーチファクトを加える可能性がある。

例えば、いくつかの実施形態例は、異なるモダリティの非光学画像から完全な光学画像（または人工的光学画像）を生成することは、ニューラルネットワークおよび／またはニューラルネットワークの複雑なアーキテクチャをトレーニングするために非常に大きいデータセットを必要とする、という認識に基づく。いくつかのニューラルネットワークベースのＳＡＲ－光学画像変換方法がある。しかしながら、対象光学画像と生成された人工的光学画像とのつながりは、あまり強くない。加えて、対象光学画像の輝度およびスペクトル情報は、そのようなアプローチでは総合的には考慮されていない。さらに、生成された人工的光学画像は、元のＳＡＲ画像の幾何学的情報を確実に保持しない場合がある。そのために、いくつかの実施形態の目的は、共通ドメインへの画像変換を必要としない画像レジストレーションのための代替方法を提供することである。

いくつかの実施形態は、特定の用途において、画像レジストレーションの根本の目的は、単に異なるモダリティの画像の整列であり得る、という理解に基づく。いくつかの例示的な実施形態は、そのような用途では、異なるモダリティの非光学画像からの人工的光学画像の生成は必要とされず、実際に不必要である、という認識にも基づく。ネットワーク生成特徴を使用して人工的光学画像を生成する代わりに、そのような整列は、異なるモダリティに共通の特徴に基づいて実行することができる。そのような特徴は、本明細書ではドメイン不変特徴と呼ばれる。これらのドメイン不変特徴を異なるモダリティの画像から抽出すると、特徴マッチングを直接実行することができる。

いくつかの例示的な実施形態は、位置合わせされるべき画像の幾何学的形状は２次元（２Ｄ）ホモグラフィによって関係付けられ得る、という考察に基づく。したがって、同じシーンの画像が同じモダリティのものである場合、ホモグラフィの原理に基づく様々なニューラルネットワーク構造を特徴レジストレーションに使用することができる。そのようなホモグラフィベースのネットワークは、本明細書ではホモグラフィネットと呼ばれる。ホモグラフィネットニューラルネットワークのアーキテクチャの例は、特徴抽出、変換、パターン分析、および分類を実行するために多層非線形情報処理を利用する畳み込みニューラルネットワーク（ＣＮＮ）を含む。ホモグラフィネットの別の例は、実数値ホモグラフィパラメータを直接推定する回帰ネットワーク、および量子化されたホモグラフィにわたる分布を生成する分類ネットワークである、２つのアーキテクチャを有する深層ＣＮＮ（ＤＣＮＮ）フィードフォワードネットワークである。

ホモグラフィおよび／またはホモグラフィネットは、マルチモーダル画像に直接適用可能ではない。しかしながら、いくつかの実施形態は、マルチモーダル画像レジストレーションに対して問題を生じさせるホモグラフィネットのこの欠点が、ドメイン不変特徴を抽出するための利点になり得る、という認識に基づく。これは、このホモグラフィネットの欠点を、抽出された画像の不変性のテストとして利用できるためである。実際に、抽出された特徴がドメイン不変である場合、ホモグラフィは可能となる。そうでない場合、それらの特徴はドメイン特有である。

この理解とともに、いくつかの実施形態は、マルチモーダル画像についてドメイン不変特徴を抽出することに対して特徴抽出ネットワークをトレーニングするためにホモグラフィネットを使用する。この目的を達成するために、いくつかの実施形態は、特徴抽出ネットワークをホモグラフィネットとあわせてトレーニングして、埋め込み損失を最小限にすることに加えて、またはその代わりに、抽出された特徴のホモグラフィ損失を最小限する。

いくつかの例示的な実施形態では、ドメイン不変特徴を抽出するための特徴抽出サブネットと、入力画像の抽出された特徴間のホモグラフィを推定するためのホモグラフィネットとを含むニューラルネットワークが利用される。キーポイントマッチング機能をサポートするために、ニューラルネットワークは、ドメイン特有の特徴を抽出するための別の特徴抽出サブネットで補完され得る。この点に関して、ドメイン不変特徴は、２つの画像の直接比較され得る特徴と見なされ得るが、ドメイン特有の特徴は、直接比較され得ない特徴である。

より正確には、いくつかの実施形態例によれば、２つの異なるモダリティからの２つの画像について、ドメイン不変特徴は、第１の画像内の画素の特徴ベクトルと第２の画像内の画素の特徴ベクトルとの間の距離を計算する際、２つの画素が対応する画素であればその距離は小さく、２つの画素が対応しない画素であればその距離は大きい、同じ次元のベクトルである。したがって、これらの特徴ベクトルは、異なる画像モダリティにわたって不変であり、特徴マッチングの目的で直接比較することができる。

他方、ドメイン特有の特徴は、これらの特徴ベクトルが異なるモダリティ間で共有されない情報を含み得るので、直接比較されるように設計されない。ドメイン特有の特徴の特性は、トレーニング中に使用されるこれらの特徴ベクトルの埋め込み損失に依存する。例えば、ｐ_１およびｐ_２を第１の画像における画素の対の特徴ベクトルとし、ｄ_１（ｐ_１，ｐ_２）を第１の画像における対の特徴距離とする。同様に、ｑ_１およびｑ_２を第２の画像における画素の対の特徴ベクトルとし、ｄ_２（ｑ_１，ｑ_２）を第２の画像における対の特徴距離とする。その場合、埋め込み損失は、ｙ＊Ｄ（ｄ_１（ｐ_１，ｐ_２），ｄ_２（ｑ_１，ｑ_２））＋（１－ｙ）＊ｍａｘ（０，Ｃ－Ｄ（ｄ_１（ｐ_１，ｐ_２），ｄ_２（ｑ_１，ｑ_２）））によって与えられることができ、ここで、ｐ_１がｑ_１に対応し、ｐ_２がｑ_２に対応する場合、ｙ＝１であり、そうでない場合、ｙ＝０である。ここで、ｄ_１は第１画像の特徴空間上で定義される距離であり、ｄ_２は第２画像の特徴空間上で定義される距離であり、Ｄは実数上で定義される距離であり、Ｃは定数である。ニューラルネットワークは、ｐ_１がｐ_２に対応し、ｑ_１がｑ_２に対応する場合、Ｄ（ｄ_１（ｐ_１，ｐ_２），ｄ_２（ｑ_１，ｑ_２））は小さく、そうでなければＤ（ｄ_１（ｐ_１，ｐ_２），ｄ_２（ｑ_１，ｑ_２））はより大きくなるように、ｐ_１、ｐ_２、ｑ_１、ｑ_２を生成するようトレーニングされるので、この埋め込み損失を用いて、Ｄ（ｄ_１（ｐ_１，ｐ_２），ｄ_２（ｑ_１，ｑ_２））を特徴マッチングのための類似性尺度として使用することができる。

また、いくつかの実施形態例によれば、ホモグラフィは、３×３行列であり、ホモグラフィ損失は、行列について定義された任意の距離であり得、例えば、グラウンドトゥルースホモグラフィとニューラルネットワークによって推定されるホモグラフィとの間のフロベニウスノルムであり得る。ドメイン不変特徴の埋め込み損失に関しては、ｙ＊ｄ（ｐ，ｑ）＋（１－ｙ）＊ｍａｘ（０，Ｃ－ｄ（ｐ，ｑ））と定義することができ、式中、ｄは、ユークリッド距離などの、ベクトルについて定義された距離であり、ｐ，ｑが対応する点である場合はｙ＝１であり、そうでない場合はｙ＝０である。ネットワークは、ｐがｑに対応する場合はｄ（ｐ，ｑ）は小さく、ｐがｑに対応しない場合はｄ（ｐ，ｑ）は大きくなるように特徴ｐ，ｑを生成するようトレーニングされるので、この埋め込み損失を用いて、ｄ（ｐ，ｑ）を特徴マッチングのための類似性尺度として使用することができる。

いくつかの実施形態例は、トレーニング済みニューラルネットワークを利用して、マルチモーダル画像のセットからドメイン不変特徴を求める。いくつかの例示的な実施形態によれば、ニューラルネットワークは、高確率対応点を生成するためにfused Gromov-Wasserstein（ＧＷ）距離において利用されるのに適したドメイン不変特徴およびドメイン特有の特徴の両方を生成するように設計される。

これらの目的のために、いくつかの例示的な実施形態は、画像レジストレーションに適したドメイン不変特徴を抽出するためにニューラルネットワークをトレーニングするための、コンピュータにより実現される方法を提供する。この点に関して、本方法は、第１のモダリティの少なくとも第１の画像と、第１のモダリティとは異なる第２のモダリティの少なくとも１つの対応する第２の画像とを含むマルチモーダル画像の第１のセットを収集することを含む。本方法はさらに、ニューラルネットワークの第１の特徴抽出サブネットを使用して、少なくとも１つの第１の画像から第１の特徴を抽出することと、ニューラルネットワークの第２の特徴抽出サブネットを使用して、少なくとも１つの第２の画像から第２の特徴を抽出することとを含む。本方法はさらに、第１の特徴を第２の特徴と比較して、マルチモーダル画像の第１のセットの抽出された特徴のドメイン不変埋め込み損失を推定することと、第１の特徴および第２の特徴をニューラルネットワークのホモグラフィネットにサブミットして、マルチモーダル画像の第１のセットの抽出された特徴のホモグラフィ損失を推定することとを含む。本方法はさらに、ニューラルネットワークの第１の特徴抽出サブネット、第２の特徴抽出サブネット、およびホモグラフィネットをトレーニングして、ドメイン不変埋め込み損失およびホモグラフィ損失を含む多目的損失関数をあわせて最小化するようにすることを含む。

いくつかの例示的な実施形態はまた、画像レジストレーションに適したドメイン不変特徴を抽出するためにニューラルネットワークをトレーニングするためのシステムも提供する。本システムは、メモリに記憶された命令を実行して、システムに、第１のモダリティの少なくとも第１の画像および第２のモダリティの少なくとも１つの対応する第２の画像を含むマルチモーダル画像の第１のセットを収集させるよう構成されるプロセッサを備える。本システムはまた、ニューラルネットワークの第１の特徴抽出サブネットを使用して、少なくとも１つの第１の画像から第１の特徴を抽出し、ニューラルネットワークの第２の特徴抽出サブネットを使用して、少なくとも１つの第２の画像から第２の特徴を抽出する。第１の特徴は、マルチモーダル画像の第１のセットの抽出された特徴のドメイン不変埋め込み損失を推定するために、第２の特徴と比較され、第１の特徴および第２の特徴は、マルチモーダル画像の第１のセットの抽出された特徴のホモグラフィ損失を推定するために、ニューラルネットワークのホモグラフィネットモジュールにサブミットされる。本システムは、ドメイン不変埋め込み損失およびホモグラフィ損失を含む多目的損失関数をあわせて最小化するよう、ニューラルネットワークの第１の特徴抽出サブネットおよび第２の特徴抽出サブネットならびにホモグラフィネットをトレーニングすることによって、ニューラルネットワークをトレーニングする。

いくつかの例示的な実施形態はまた、コンピュータによって実行されると、画像レジストレーションに適したドメイン不変特徴を抽出するためにニューラルネットワークをトレーニングするための方法をコンピュータに実行させるコンピュータ実行可能な命令を記憶した非一時的なコンピュータ可読媒体を提供する。この点に関して、本方法は、第１のモダリティの少なくとも第１の画像と、第１のモダリティとは異なる第２のモダリティの少なくとも１つの対応する第２の画像とを含むマルチモーダル画像のセットを収集することを含む。本方法はさらに、ニューラルネットワークの第１の特徴抽出サブネットを使用して、少なくとも１つの第１の画像から第１の特徴を抽出することと、ニューラルネットワークの第２の特徴抽出サブネットを使用して、少なくとも１つの第２の画像から第２の特徴を抽出することとを含む。本方法はさらに、第１の特徴を第２の特徴と比較して、マルチモーダル画像のセットの抽出された特徴のドメイン不変埋め込み損失を推定することと、第１の特徴および第２の特徴をニューラルネットワークのホモグラフィネットにサブミットして、マルチモーダル画像の第２のセットの抽出された特徴のホモグラフィ損失を推定することとを含む。本方法はさらに、ニューラルネットワークの第１の特徴抽出サブネット、第２の特徴抽出サブネット、およびホモグラフィネットをトレーニングして、ドメイン不変埋め込み損失およびホモグラフィ損失を含む多目的損失関数をあわせて最小化するようにすることを含む。

以下、ここに開示される実施形態について、以下の図面を参照してさらに説明する。示される図面は必ずしも縮尺通りではなく、代わりに、概して、本開示の実施形態の原理を説明することに重点が置かれる。

いくつかの例示的な実施形態による、マルチモーダル画像のドメイン不変特徴を予測するためにニューラルネットワークをトレーニングする例示的な方法を示す。 いくつかの例示的な実施形態による、一対のマルチモーダル画像間のドメイン不変埋め込み損失を計算するためのプロセスを示す。 いくつかの例示的な実施形態による、一対のマルチモーダル画像間のホモグラフィ損失を推定するためのプロセスを示す。 いくつかの例示的な実施形態による、図１Ａのニューラルネットワークのホモグラフィネットの例示的な構造を示す。 いくつかの例示的な実施形態による、ホモグラフィ推定のために単一のトレーニング例を作成するためのプロセスを示す。 いくつかの例示的な実施形態による、図１Ｄのホモグラフィネットによって推定されるホモグラフィのパラメータ化を示す。 いくつかの例示的な実施形態による、図１Ａのニューラルネットワークをトレーニングするために利用される多目的損失関数の一例を示す。 いくつかの例示的な実施形態による、トレーニング済みニューラルネットワークを使用してマルチモーダル画像のセットを位置合わせするためのマルチモーダル画像レジストレーション方法を示す。 いくつかの例示的な実施形態による、マルチモーダル画像のセットの抽出された特徴を使用してホモグラフィを推定するための例示的な方法を示す。 いくつかの例示的な実施形態による、一対のマルチモーダル画像間のドメイン不変埋め込み損失を計算するためのプロセスを示す。 いくつかの例示的な実施形態による、トレーニングパイプラインおよび予測パイプラインにおけるニューラルネットワークの動作を記述するワークフローを示す図である。 いくつかの例示的な実施形態による、図３のニューラルネットワークを使用した最適な輸送を介した画像整列を示すワークフローを示す図である。 いくつかの例示的な実施形態による、制御タスクのためのニューラルネットワークの適用を示すブロック図である。 いくつかの例示的な実施形態による、図２Ａの画像レジストレーション方法を使用して画像を向上させるためのシステムを示す概略図である。 いくつかの例示的な実施形態による、雲除去アプリケーションのための、図５Ｂのシステムのフロー図である。 いくつかの例示的実施形態による、代替コンピュータまたはプロセッサを使用して実現され得る、ニューラルネットワークをトレーニングするためのシステムならびに画像レジストレーションおよび融合のためのシステムのブロック図を示す。

上記で特定された図面は、ここに開示されている実施形態を記載しているが、議論で述べられているように、他の実施形態も企図される。本開示は、例示的な実施形態を、限定ではなく代表として提示する。当業者は、本開示の実施形態の原理の範囲および精神内に入る多数の他の修正および実施形態を考案することができる。

以下の記載は、例示的な実施形態のみを与え、本開示の範囲、適用性、または構成を限定することを意図しない。むしろ、例示的な実施形態の以下の説明は、１つ以上の例示的な実施形態を実現するための実施可能な説明を当業者に提供する。企図されるのは、特許請求の範囲に記載されるように開示される主題の精神および範囲から逸脱することなく、要素の機能および構成において行われ得るさまざまな変更である。

以下の説明では、実施形態の完全な理解のために、具体的な詳細が与えられる。しかしながら、当業者によって理解されることは、実施形態がこれらの具体的な詳細なしで実施され得ることであり得る。たとえば、開示される主題におけるシステム、プロセス、および他の要素は、不必要な詳細で実施形態を不明瞭にしないように、ブロック図の形態の構成要素として示される場合がある。他の例では、周知のプロセス、構造、および技術は、実施形態を不明瞭にすることを回避するために、不必要な詳細を伴わずに示される場合がある。さらに、さまざまな図面における同様の参照番号および名称は、同様の要素を示す。

また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明されてもよい。フローチャートは、動作を順次プロセスとして説明し得るが、動作の多くは、並列にまたは同時に実行することができる。加えて、動作の順序は並べ替えられてもよい。プロセスは、その動作が完了したときに終了されてもよいが、論じられていない、または図に含まれていない追加のステップを有してもよい。さらに、特に説明される任意のプロセスにおけるすべての動作が、すべての実施形態において生じ得るわけではない。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラムなどに対応してもよい。プロセスが関数に対応するとき、関数の終了は、呼び出し関数またはメイン関数への関数の復帰に対応することができる。

さらに、開示される主題の実施形態は、少なくとも部分的に、手動または自動のいずれかで実現されてもよい。手動または自動の実現例は、マシン、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、もしくはそれらの任意の組み合わせを用いて実行されてもよく、または少なくとも支援されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実現される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、機械可読媒体に格納されてもよい。必要なタスクはプロセッサが実行してもよい。

画像レジストレーションは、異なるデータのセットを１つの座標系に変換するプロセスである。データは、複数の写真、異なるセンサからのデータ、時間、深さ、または視点であり得る。これは、コンピュータビジョン、医用イメージング、空中写真撮影、遠隔感知（地図製作法更新）、ならびに衛星からの画像ならびにデータのコンパイルおよび分析において使用される。例えば、異なる照明スペクトル帯域を有する異なる視野角から撮影された３次元シーンの画像は、それらの画像を効率的に融合することができるという条件で、そのシーンに関する豊富な情報を潜在的に捕捉することができる。これらの画像のレジストレーションは、成功裏な融合のため、および／またはこれらの異なる測定から得られたデータを比較または統合するための重要なステップである。

マルチモーダル画像を位置合わせするための、すなわち、画像が異なるドメインからのものである場合の、画像レジストレーション方法の適用は、煩雑なタスクである。あるシーンの画像は、異なるプラットフォームおよびセンサから、ならびに／または異なる撮像技術を使用して取得されるとき、異なるモダリティのものであり得る。画像のモダリティは、その画像における光の測定されたスペクトルによって支配され得る。異なるモダリティの非光学画像から完全な光学画像（または人工的光学画像）を生成することは、ニューラルネットワークおよび／またはニューラルネットワークの複雑なアーキテクチャをトレーニングするために非常に大きいデータセットを必要とする。従来の画像レジストレーション技術は、異なるモダリティの画像に直接適用できないことが認識されている。本明細書に記載の例示的な実施形態は、異なるモダリティに共通の特徴に基づいてマルチモーダル画像を整列させる画像レジストレーション技術を提供する。そのような特徴は、ドメイン不変特徴と呼ばれ得る。これらのドメイン不変特徴を異なるモダリティの画像から抽出すると、特徴マッチングを直接実行することができる。この点に関して、例示的な実施形態は、マルチモーダル画像からの画像レジストレーションに適したそのようなドメイン不変特徴を提供することができるニューラルネットワークを提供する。マルチモーダル画像からの画像レジストレーションのためのドメイン不変特徴を提供することができる、そのようなロバストなニューラルネットワークを取得することは、ニューラルネットワークのサブネットのロバストな設計と、そのようなニューラルネットワークをトレーニングする新規な方法とを必要とする。

図１Ａは、いくつかの例示的な実施形態による、マルチモーダル画像のドメイン不変特徴を予測するためにニューラルネットワーク１００Ａをトレーニングする例示的な方法１０Ａを示す。方法１０Ａは、ニューラルネットワークをトレーニングするためのシステムによって実行され得る。いくつかの例示的な実施形態では、このシステムは、データ取得、データ処理、データ送信、および１つまたは複数の構成要素の制御に適した回路を備えることができる。処理回路は、１つまたは複数のプロセッサ１１０およびメモリ１１２によって実現され得る。メモリ１１２は、１つまたは複数のプロセッサ１１０によって実行され得る実行可能な命令を記憶することができる。加えて、または随意に、いくつかの例示的実施形態では、本システムはまた、ニューラルネットワーク１００Ａ等のニューラルネットワークを備えてもよい。ニューラルネットワーク１００Ａは、ニューラルネットワーク１００Ａの何らかの機能または特定の機能を実行するよう各々が構成される複数のサブネットを備え得る。たとえば、いくつかの例示的な実施形態によれば、ニューラルネットワーク１００Ａは、第１のサブネット１０４Ａ、第２のサブネット１０６Ａ、第３のサブネット１０８Ａを備え得る。いくつかの例示的な実施形態によれば、第３のサブネット１０８Ａはホモグラフィネットであり得る。意図される用途および必要性に従って、より少ないまたはより多いサブネットが選択され得る。

方法１０Ａは、マルチモーダル画像のセットを収集するステップ３を含む。これに関して、システム１００Ａは、あるシーンの画像を提供する複数のセンサ、および／または複数のセンサから入手されたそのシーンの画像データを記憶する１つまたは複数のデータストレージに結合され得る。画像のソースにかかわらず、収集されたマルチモーダル画像のセットは、シーンの、異なるモダリティの画像を含むことが企図され得る。いくつかの実施形態例によれば、シーンの画像は、異なるプラットフォームおよびセンサから、ならびに／または異なる撮像技術を使用して取得されるとき、異なるモダリティのものであり得る。異なるモダリティを伴う画像のいくつかの例は、光学カラー画像、光学グレースケール画像、深度画像、赤外線画像、およびＳＡＲ画像を含む。画像のモダリティは、主に、画像における光の測定されたスペクトルによって支配される。例えば、光学センサは典型的には可視光スペクトル内で動作するのに対して、レーダは典型的にはマイクロ波スペクトル内で動作する。したがって、光学画像は、シーンの色（例えば、赤、緑、青）を表示するが、レーダ画像は、シーンの素材（例えば、水、金属、土壌）を表示する。

いくつかの例示的な実施形態によれば、プロセッサ１１０は、少なくとも第１の画像と少なくとも第２の画像とをマルチモーダル画像のセットとして収集することができる。第１の画像は、第１のモダリティのものであり得、第２の画像は、第１のモダリティとは異なる第２のモダリティのものであり得る。例えば、非限定的に、第１の画像は光学画像であってもよく、第２の画像はＳＡＲ画像であってもよい。プロセッサ１１０は、第１の画像に対応する第１の特徴と、第２の画像に対応する第２の特徴とを取得し得る。この目的のために、プロセッサ１１０は、第１の画像から第１の特徴を抽出する（５）ために第１の特徴抽出サブネット１０４Ａを呼び出し、第２の画像から第２の特徴を抽出する（７）ために第２の特徴抽出サブネット１０６Ａを呼び出すことができる。第１の特徴および第２の特徴は、第１のモダリティおよび第２のモダリティに共通であってもよい。言い換えれば、第１の特徴および第２の特徴は、それぞれ、第１の画像および第２の画像についてドメイン不変特徴であり得る。

ニューラルネットワーク１００Ａはこれまでトレーニングされていないので、抽出された第１の特徴および第２の特徴は、第１の画像および第２の画像について完全にドメイン不変ではない場合がある。したがって、トレーニング段階は、抽出された第１の特徴および第２の特徴に対応するドメイン不変損失の量を考慮する必要がある。この目的のために、方法１０Ａは、マルチモーダル画像のセットの抽出された特徴のドメイン不変埋め込み損失を推定するために、第１の特徴を第２の特徴と比較すること（９）を含む。次に、抽出された特徴のドメイン不変埋め込み損失の計算に関する詳細な説明を提供する。

図１Ｂは、いくつかの例示的な実施形態による、一対のマルチモーダル画像間のドメイン不変埋め込み損失を計算するためのプロセス１０Ｂを示す。ドメイン不変特徴の埋め込み損失に関しては、ｙ＊ｄ（ｐ，ｑ）＋（１－ｙ）＊ｍａｘ（０，Ｃ－ｄ（ｐ，ｑ））と定義することができ、Ｃは手動で調整される定数であり、ｄはユークリッド距離などの、ベクトルに対して定義された距離であり、ｐは第１の画像内の画素の特徴ベクトルを表し、ｑは第２の画像内の画素の特徴ベクトルを表し、ｐ、ｑが対応する点の特徴ベクトルである場合はｙ＝１であり、ｐ、ｑが対応しない点の特徴ベクトルである場合はｙ＝０である。ネットワークは、ｐがｑに対応する場合にはｄ（ｐ，ｑ）は小さく、ｐがｑに対応しない場合にはｄ（ｐ，ｑ）は大きくなるように、特徴ｐ，ｑを生成するようトレーニングされるため、この埋め込み損失を用いて、ｄ（ｐ，ｑ）は特徴マッチングのための類似性尺度として使用され得る。

マルチモーダル画像１５０Ａ、１５０Ｂの対は、プロセッサ（図１Ａのプロセッサ１１０など）によって画像１および画像２として収集され得る。プロセッサは、両方のモダリティに共通の特徴（すなわち、ドメイン不変特徴）を抽出する（１５２）ために、マルチモーダル画像１５０Ａ、１５０Ｂの対をニューラルネットワーク（ニューラルネットワーク１００Ａなど）にサブミットする。ニューラルネットワークは、第１の画像１５０Ａおよび第２の画像１５０Ｂ内のすべての画素にそれぞれ対応する特徴ベクトル１５４Ａ、１５４Ｂを提供する。次いで、プロセッサは、第１の画像と第２の画像との間において、対応する画素および対応しない画素を、画素についてのグラウンドトゥルースデータに基づいて、サンプリングする（１５６）。この目的のために、プロセッサは、画素のグラウンドトルースデータを記憶するメモリまたはデータベースに結合され得る。次いで、サンプリングされた画素に基づいて、２つの画像についてドメイン不変埋め込み損失が計算される（１５８）。

図１Ａを再び参照して、プロセッサは、ニューラルネットワーク１０Ａのホモグラフィネットモジュール１０８Ａを並列に呼び出して、マルチモーダル画像のセットの抽出された特徴のホモグラフィ損失を推定する（１１）。この点に関して、ホモグラフィネット１０８Ａは、ニューラルネットワーク１０Ａの第１のサブネット１０４Ａおよび第２のサブネット１０６Ａから、抽出された第１の特徴および第２の特徴を取得し得る。次に、抽出された特徴のホモグラフィ損失の推定に関して詳細に説明する。

図１Ｃは、いくつかの例示的な実施形態による、一対のマルチモーダル画像間のホモグラフィ損失を推定するためのプロセス１０Ｃを示す。マルチモーダル画像１５０Ａ、１５０Ｂの対は、プロセッサ（図１Ａのプロセッサ１１０など）によって画像１および画像２として収集され得る。プロセッサは、両方のモダリティに共通の特徴（すなわち、ドメイン不変特徴）を抽出する（１５２）ために、マルチモーダル画像１５０Ａ、１５０Ｂの対をニューラルネットワーク（ニューラルネットワーク１００Ａなど）にサブミットする。ニューラルネットワークは、第１の画像１５０Ａおよび第２の画像１５０Ｂ内のすべての画素にそれぞれ対応する特徴ベクトル１５４Ａ、１５４Ｂを提供する。マルチモーダル画像の対（１５０Ａ、１５０Ｂ）の抽出された特徴ベクトルを使用して、プロセッサは、マルチモーダル画像の対間のホモグラフィを、３×３実数値行列として推定する（１６０）。ホモグラフィの推定については、図１Ｄを参照して後述する。プロセッサはまた、例えばメモリまたはデータベースから、グラウンドトゥルースホモグラフィデータを、３×３実数値行列として取得する（１６２）。プロセッサは、ステップ１６０で推定されたホモグラフィとステップ１６２で取得されたグラウンドトゥルースホモグラフィデータとを比較して（１６４）、抽出された特徴についてホモグラフィ損失を推定する（１６６）。

図１Ｄは、いくつかの例示的な実施形態による、図１Ａのニューラルネットワーク１００Ａのホモグラフィネット１０８Ａの例示的な構造を示す。いくつかの例示的な実施形態では、ホモグラフィネットは、２つの画像を関係付けるホモグラフィを直接生成する深層畳み込みニューラルネットワーク（ＣＮＮ）である。図示のように、ホモグラフィネットは、８つの畳み込み層（１７２Ａ～１７２Ｈ）を含むＶＧＧ型ネットワークである。最大プーリング層（１７４、１７６、１７８）は、２つの畳み込み層ごとの後に使用され得る。畳み込み層の後には、２つの全結合層（１７９Ａおよび１７９Ｂ）が続いてもよい。最後の層１７９Ｂは、ホモグラフィの８つのパラメータを表す８つの要素を含む。二乗ユークリッド損失を用いて、ネットワークの重みをトレーニングしてもよい。ホモグラフィネット１０８Ａは、一対の画像１７０Ａおよび１７０Ｂに対して動作してもよい。

２つの画像（例えば、画像１７０Ａおよび１７０Ｂ）を関係付けるホモグラフィは、カメラ中心の周りの回転を経る、２つの画像を関係付ける射影変換と見なされ得る。正確には、ホモグラフィは、３×３行列であり、ホモグラフィ損失は、行列について定義された任意の距離であり得、例えば、それは、グラウンドトゥルースホモグラフィデータ１６２とニューラルネットワークによって推定されるホモグラフィ１６０との間のフロベニウスノルムであり得る。ホモグラフィ推定問題全体は、深層畳み込みニューラルネットワークによって解決され、より速いターンアラウンドを達成し、計算の複雑さを低減することができる。

深層畳み込みネットワークを一からトレーニングすることは、大量のデータを必要とし得る。この要件を満たすために、無制限数に近いラベル付けされたトレーニング例が、自然画像の大きなデータセットにランダムな射影変換を適用することによって生成されてもよい。図１Ｅは、いくつかの例示的な実施形態による、単一のトレーニング例を作成するためのプロセスを示す。カメラ１８０などの画像センサは、画像Ｉ（１８２Ａとラベル付けされる）を提供してもよい（１８Ａ）。単一のトレーニング例を生成するために、正方形パッチ１８４が、まず、画像Ｉ（１８２Ａ）から位置ｐでクロッピングされてもよい（境界は、後でデータ生成パイプラインにおいて境界アーチファクトを防止するために、回避されてもよい）。このランダムにクロッピングされたものは、Ｉ_ｐである。次いで、パッチ１８４の４つの角は、図１Ｅに摂動１８６Ａ、１８６Ｂ、１８６Ｃ、および１８６Ｄとして示される、範囲［－ρ，ρ］内の値によって、ランダムに摂動される（１８Ｂ）。４つの対応関係は、１８Ｃで計算されるホモグラフィＨ^ＡＢを定義する。次いで、このホモグラフィの逆数Ｈ^ＢＡ＝（Ｈ^ＡＢ）^－１が画像１８２Ａに適用されて、１８Ｄで画像Ｉ’（１８２Ｂとラベル付けされる）が生成される。第２のパッチＩ’_ｐ（１８９とラベル付けされる）が、Ｉ’（１８２Ｂ）から位置ｐにおいてクロッピングされる。

次いで、２つのパッチＩ_ｐおよびＩ’_ｐ（１８４および１８９）は、チャネルごとに積み重ねられて（１８Ｅ）、２チャネル画像を作成し、それは、ホモグラフィネット１０８Ａに直接供給される（１８Ｆ）。次いで、Ｈ^ＡＢの４点パラメータ化が、関連付けられるグラウンドトルーストレーニングラベルとして使用される。このようにして、サブネットは、好適な入力画像を使用した所望の出力に従ってトレーニングされてもよい。トレーニングパイプラインに対する制御は、所望の視覚効果のタイプ、所望の特徴のタイプ、およびニューラルネットワークからの推定されるホモグラフィの粒度に関して柔軟性を提供する。

図１Ｆは、いくつかの例示的な実施形態による、ホモグラフィネットによって推定されるホモグラフィのパラメータ化を示す。ホモグラフィＨは、２つの画像が、異なる視野角から撮影された共通平面シーンの写真であるという仮定の下で、１つの画像から別の画像に点を転送する３×３行列１９Ａである。３Ｄシーンは、シーン内のオブジェクトが同じ深さである場合、平面であると言われる。両方の画像においてキャプチャされる３Ｄシーンにおける各点について、（ｘ，ｙ）を第１の画像におけるこの点の画素位置とし、（ｘ’，ｙ’）を第２の画像におけるこの点の画素位置とすると、（ｘ，ｙ）および（ｘ’，ｙ’）は、ホモグラフィＨによって、（ｘ’，ｙ’，１）＝Ｈ（ｘ，ｙ，１）として関係付けられ、ここで、（ｘ，ｙ，１）および（ｘ’，ｙ’，１）は列ベクトルと見なされ、Ｈ（ｘ，ｙ，１）は標準行列－ベクトル乗算である。共通のホモグラフィＨが、２つの画像内のすべての対応する画素の対に当てはまることに留意されたい。表現の便宜上、ホモグラフィ行列Ｈ１９Ａは、Ｈの行をベクトルＨ＿ｖｅｃ１９Ｂに連結することによってベクトル化される。Ｈ＿ｖｅｃの最後の要素は定数１であるので、ホモグラフィネットは、Ｈ’＿ｖｅｃ１９Ｃである、Ｈ＿ｖｅｃの最初の８つの要素を学習するだけでよい。

再び図１Ａを参照すると、抽出された特徴についてステップ９におけるドメイン不変埋め込み損失およびステップ１１におけるホモグラフィ損失を取得した後、プロセッサは、ニューラルネットワーク１００Ａの第１の特徴抽出サブネット１０４Ａ、第２の特徴抽出サブネット１０６Ａおよびホモグラフィネット１０８Ａをトレーニングすることにより、ニューラルネットワーク１００Ａをトレーニングして、ドメイン不変埋め込み損失およびホモグラフィ損失を含む多目的損失関数をあわせて最小化する（１３）ようにする。これに関して、プロセッサは、多目的損失関数を、抽出された特徴について計算された損失の関数として定式化する。例えば、いくつかの例示的実施形態では、プロセッサは、個々の重みを各構成要素損失に割り当てることによって、多目的損失関数を定式化してもよい。

図１Ｇは、割り当てられた重みを各々が有するＮ個の損失関数によって定義される多目的損失関数１９９の１つのそのような例を示す。各損失関数（１９２Ａ、１９２Ｂ、．．．１９２Ｎ）は、対応する割り当てられた重み（１９４Ａ、１９４Ｂ、．．．１９４Ｎ）を有する。各損失関数（１９２Ａ、１９２Ｂ、．．．、１９２Ｎ）に対する加重損失（１９６Ａ、１９６Ｂ、．．．、１９６Ｎ）が計算および合計されて（１９８）、総損失または多目的損失関数１９９を得る。損失関数（１９２Ａ、１９２Ｂ、．．．、１９２Ｎ）のいくつかの例は、マルチモーダル画像の対についての抽出された特徴のドメイン不変埋め込み損失、マルチモーダル画像の対間のホモグラフィ損失、マルチモーダル画像の対についての抽出された特徴のドメイン特有の埋め込み損失などを含む。

図１Ａに戻って参照すると、プロセッサは、このように定式化された多目的損失関数をあわせて最小化するよう、ニューラルネットワーク１００Ａのサブネットをトレーニングする。多目的損失関数の特定の構成要素損失を最小化することは、対応する損失または加重損失を対応する閾値と比較することを含む。サブネットは、対応する損失または加重損失の量が、その損失に対するそれぞれの閾値未満であるとき、トレーニング済みと見なされてもよい。いくつかの他の例示的実施形態では、サブネットは、対応する損失または加重損失の量が、その損失に対するそれぞれの閾値を上回るとき、トレーニング済みと見なされてもよい。さらにいくつかの他の例示的な実施形態では、サブネットは、対応する損失または加重損失の量が、その損失に対するそれぞれの閾値に等しいとき、トレーニング済みと見なされてもよい。

このようにして、例示的な実施形態は、マルチモーダル画像についてドメイン不変特徴を予測するためにニューラルネットワーク１００Ａをトレーニングするためのシステムおよび方法を提供する。マルチモーダル画像について許容可能な精度のドメイン不変特徴を提供することができる、そのようなトレーニング済みニューラルネットワークは、マルチモーダル画像の画像レジストレーションを実行するために利用され得る。いくつかの例示的な実施形態は、次に説明する、マルチモーダル画像のセットからそのようなドメイン不変特徴を提供するようにトレーニングされたニューラルネットワークを使用する画像レジストレーションのための方法およびシステムを提供する。

図２Ａは、いくつかの例示的な実施形態による、トレーニング済みニューラルネットワーク１００Ｂを使用してマルチモーダル画像のセットを位置合わせするためのマルチモーダル画像レジストレーション方法２０Ａを示す。ニューラルネットワーク１００Ｂは、図１Ａに示す方法１０Ａに従ってトレーニングされている。レジストレーション方法２０Ａは、プロセッサ、およびプロセッサによって実行可能な命令を記憶するメモリなどの、好適な処理回路によって実行されてもよい。プロセッサは、あるシーンのマルチモーダル画像のセットを収集する（２２）。いくつかの例示的な実施形態によれば、画像のセットは、第１のモダリティの第１のテスト画像と、第２のモダリティの第２のテスト画像とを含んでもよい。たとえば、いくつかの例示的な実施形態では、第１のテスト画像は、あるシーンのＳＡＲ画像であり得、第２のテスト画像は、同じシーンの光学画像であり得る。

次いで、プロセッサは、特徴抽出２４のためにトレーニング済みニューラルネットワーク１００Ｂを呼び出す。この点に関して、プロセッサは、トレーニング済みニューラルネットワーク１００Ｂの第１の特徴抽出サブネット１０４Ｂを呼び出して、第１のテスト画像から２５個の第１のテスト特徴を抽出してもよい。いくつかの例示的な実施形態では、トレーニング済みの第１の特徴抽出サブネット１０４Ｂは、第１のテスト画像からドメイン不変特徴を提供する。プロセッサは、トレーニング済みニューラルネットワーク１００Ｂの第２の特徴抽出サブネット１０６Ｂを、同時にまたは連続的に呼び出して、第２のテスト画像から２７個の第２のテスト特徴を抽出してもよい。いくつかの例示的な実施形態では、トレーニング済みの第２の特徴抽出サブネット１０６Ｂは、第２のテスト画像からドメイン不変特徴を提供する。

キーポイントマッチング機能をサポートするために、トレーニング済みニューラルネットワーク１００Ｂは、特徴抽出２４の一部としてマルチモーダル画像の各々についてドメイン特有の特徴を抽出するために別のセットの特徴抽出サブネットで補完され得る。この点に関して、プロセッサは、トレーニング済みニューラルネットワーク１００Ｂの第３の特徴抽出サブネット１１０Ｂを呼び出して、第１のテスト画像から２９個の第３のテスト特徴を抽出してもよい。いくつかの例示的な実施形態では、第３の特徴抽出サブネット１１０Ｂは、第１のテスト画像からドメイン特有の特徴を提供する。さらに、プロセッサは、トレーニング済みニューラルネットワーク１００Ｂの第４の特徴抽出サブネット１１２Ｂを呼び出して、第２のテスト画像から３１個の第４のテスト特徴を抽出してもよい。いくつかの例示的な実施形態では、第４の特徴抽出サブネット１１２Ｂは、第２のテスト画像からドメイン特有の特徴を提供する。

ブロック２４でテスト画像から特徴のセットを取得すると、２つのテスト画像を関係付けるホモグラフィを推定してもよい（３２）。この目的のために、いくつかの例示的な実施形態では、抽出された第１のテスト特徴および抽出された第２のテスト特徴をトレーニング済みのホモグラフィネット１０８Ｂに送って、第１のテスト画像と第２のテスト画像との間に、推定されるホモグラフィを生成してもよい。代替的または追加的に、いくつかの実施形態例によれば、潜在的により信頼性のあるホモグラフィを得るために、プロセッサは、ドメイン不変特徴に加えてドメイン特有の特徴を利用して、２つのテスト画像を関係付けるホモグラフィを推定してもよい。図２Ｂは、マルチモーダル画像の抽出された特徴を使用してホモグラフィを推定するための例示的な方法を示す。マルチモーダル画像の抽出された特徴２４の中から、プロセッサは、抽出された第１のテスト特徴を抽出された第２のテスト特徴と比較する（３３）と同時に、抽出された第３のテスト特徴を抽出された第４のテスト特徴と比較して（３５）、２つのテスト画像について８つ以上の対応する点を求める（３７）。これらの対応する点を使用して、ホモグラフィを推定する（３９）。再び図２Ａを参照すると、ホモグラフィネットから推定されたホモグラフィを取得し、および／または図２Ｂの方法を使用して、プロセッサは、推定されたホモグラフィに基づいて第１のテスト画像および第２のテスト画像を位置合わせする（３４）。

前述のように、キーポイントマッチング機能をサポートするために、ニューラルネットワークは、ドメイン特有の特徴を抽出するために別のセットの特徴抽出サブネットで補足され得る。マルチモーダル画像の各々のドメイン特有の特徴は、マルチモーダル画像に対するドメイン特有の埋め込み損失を計算するために利用され得る。図２Ｃは、いくつかの例示的な実施形態による、一対のマルチモーダル画像間のドメイン不変埋め込み損失を計算するためのプロセスを示す。マルチモーダル画像２５０Ａ、２５０Ｂの対が、プロセッサによって画像１および画像２として収集され得る。プロセッサは、モダリティの各々に特有の特徴（すなわち、ドメイン特有の特徴）を抽出する（２５２）ために、マルチモーダル画像２５０Ａ、２５０Ｂの対をニューラルネットワークにサブミットする。ニューラルネットワークは、第１の画像２５０Ａおよび第２の画像２５０Ｂ内のすべての画素にそれぞれ対応する特徴ベクトル２５４Ａ、２５４Ｂを提供する。

これらの特徴ベクトルは、異なるモダリティ間で共有されない情報を含み得るため、２つの画像のドメイン特有の特徴は、直接比較されるようには設計されない。ドメイン特有の特徴の特性は、トレーニング中に使用されるこれらの特徴ベクトルの埋め込み損失に依存する。例えば、ｐ_１およびｐ_２を第１の画像における画素の対の特徴ベクトルとし、ｄ_１（ｐ_１，ｐ_２）を第１の画像における対の特徴距離とする。同様に、ｑ_１およびｑ_２を第２の画像における画素の対の特徴ベクトルとし、ｄ_２（ｑ_１，ｑ_２）を第２の画像における対の特徴距離とする。その場合、埋め込み損失は、ｙ＊Ｄ（ｄ_１（ｐ_１，ｐ_２），ｄ_２（ｑ_１，ｑ_２））＋（１－ｙ）＊ｍａｘ（０，Ｃ－Ｄ（ｄ_１（ｐ_１，ｐ_２），ｄ_２（ｑ_１，ｑ_２）））によって与えられることができ、ここで、ｐ_１がｑ_１に対応し、ｐ_２がｑ_２に対応する場合、ｙ＝１であり、そうでない場合、ｙ＝０である。ここで、ｄ_１は第１画像の特徴空間上で定義される距離であり、ｄ_２は第２画像の特徴空間上で定義される距離であり、Ｄは実数上で定義される距離であり、Ｃは定数である。ニューラルネットワークは、ｐ_１がｐ_２に対応し、ｑ_１がｑ_２に対応する場合、Ｄ（ｄ_１（ｐ_１，ｐ_２），ｄ_２（ｑ_１，ｑ_２））は小さく、そうでなければＤ（ｄ_１（ｐ_１，ｐ_２），ｄ_２（ｑ_１，ｑ_２））はより大きくなるように、ｐ_１、ｐ_２、ｑ_１、ｑ_２を生成するようトレーニングされるので、この埋め込み損失を用いて、Ｄ（ｄ_１（ｐ_１，ｐ_２），ｄ_２（ｑ_１，ｑ_２））を特徴マッチングのための類似性尺度として使用することができる。

図２Ｃを参照すると、プロセッサは、第１の画像２５０Ａと第２の画像２５０Ｂとの間において、２５６個の対応する画素および対応しない画素を、画素のグラウンドトルースデータに基づいてサンプリングする。この目的のために、プロセッサは、画素のグラウンドトルースデータを記憶するメモリまたはデータベースに結合され得る。次いで、サンプリングされた画素に基づいて、２つの画像についてドメイン特有の埋め込み損失が計算される（２５８）。

図３は、いくつかの例示的な実施形態による、トレーニングパイプラインおよび予測パイプラインにおけるニューラルネットワークの動作を記述するワークフローを示す図である。ニューラルネットワークへの入力は、マルチモーダル画像の対、例えば、ＳＡＲ画像３０２Ａおよび光学画像３０２Ｂである。２つのオートエンコーダ、Ｕ－ｎｅｔ３０４およびＵ－ｎｅｔ３０６は、ＳＡＲ画像３０２Ａについて画素単位の特徴を生成するために使用される。画素単位の特徴とは、画像の画素ごとに高次元の特徴ベクトルが生成されることを意味する。同様に、Ｕ－ｎｅｔ３１０およびＵ－ｎｅｔ３１２は、光学画像３０２Ｂについて画素単位の特徴を生成するために使用される。Ｕ－ｎｅｔ３０４およびＵ－ｎｅｔ３１０は、同じ構造を有し、重みを共有し、すなわち、それらは同一であり、ドメイン特有の特徴を抽出する特徴抽出関数を表す。サンプリングモジュール３２２は、対応する画素の対および対応しない画素の対をサンプリングする。具体的には、まず、ＳＡＲ画像内の画素の対をランダムに選択し、次いで、グラウンドトゥルース対応関係に従って、光学画像において、２つの対応する画素を見つけるか（対応する対をサンプリングする場合）、または２つの対応しない画素をランダムに選択する（対応しない対をサンプリングする場合）。次いで、これらのサンプリングされた対のドメイン特有の特徴ベクトルが、ドメイン特有の埋め込み損失を計算するためにモジュール３２４に送られる。同様に、Ｕ－ｎｅｔ３０６とＵ－ｎｅｔ３１２とは同一であり、ドメイン不変特徴を抽出する特徴抽出関数を表す。サンプリングモジュール３２８は、対応する画素および対応しない画素をサンプリングする。具体的には、まずＳＡＲ画像内の画素をランダムに選択し、次いでグラウンドトルース対応関係に従って、光学画像において、対応する画素を見つけるか（対応する画素をサンプリングする場合）、または対応しない画素をランダムに選択する（対応しない画素をサンプリングする場合）。次いで、これらのサンプリングされた画素のドメイン不変特徴ベクトルが、ドメイン不変埋め込み損失を計算するためにモジュール３３０に送られる。さらに、生成された画素単位のドメイン不変特徴ベクトルは、ホモグラフィを学習するためにホモグラフィネット３０８にも送信される。ホモグラフィネット３０８の出力は、推定されるホモグラフィである。グラウンドトゥルースホモグラフィ３３２と共に、ホモグラフィ損失がモジュール３２６で計算される。総損失は、ドメイン特有の損失（３２４の出力）、ドメイン不変損失（３３０の出力）、およびホモグラフィ損失（３２６の出力）を合計する（３３２）ことによって得られる。目標は、総損失（合計演算３３２の出力）を最小化することによって、４つのＵ－ｎｅｔ３０４、３１０、３０６、３１２における重みおよびホモグラフィネット３０８における重みを推定することである。

図４は、いくつかの例示的な実施形態による、図３のニューラルネットワークを使用した最適な輸送を介した画像レジストレーションを示すワークフローを示す図である。図３のネットワークがトレーニングされた後、トレーニング済みのＵネット３０４、３１０、３０６、３１２を使用して、整列されるべき２つの画像について画素単位の特徴抽出４０４を実行することができる。Harrisコーナーなどの標準的なキーポイント検出方法４０２を使用して画素を選択し、それらの画素の特徴ベクトル（ドメイン不変およびドメイン特有の両方を含む）を使用して、キーポイントマッチング４０６としての役割を果たす均一な周辺分布を有するfused Gromov-Wasserstein距離の２つのコスト項を計算する。具体的には、１つのコスト項は、第１の画像内の対から抽出されたドメイン特有の特徴の輸送コスト距離が、対応する対について第２の画像内の対から抽出されたドメイン特有の特徴の輸送コストに類似するように、１つの画像内のキーポイントの対を他の画像内のキーポイントの対にマッチングすることを試み、他のコスト項は、第１の画像内の点から抽出されたドメイン不変特徴が、対応する点について第２の画像内の点から抽出されたドメイン不変特徴に類似するように、１つの画像内のキーポイントを他の画像内のキーポイントにマッチングすることを試みる。類似度は、輸送コストごとに、対応する閾値に対して判定されてもよい。さらに、対応する閾値は、必要に応じて設定可能であってもよい。fused Gromov-Wasserstein距離を計算することは、最適な結合を見つけることを含み、これは、一方の画像内の各キーポイントが他方の画像内のキーポイントに対応する確率を与え、２つのコスト項の組み合わせを最小化する。最適な結合に従って高い確率で推定された対応する点を選択するために、後選択プロセス４０８が実行される。選択されるべき点の数は、ユーザ定義されてもよく、高い確率を定義する閾値も、設定可能であってもよい。次いで、選択された対応する点を使用して、例えばＲＡＮＳＡＣアルゴリズムによってホモグラフィを推定する（４１０）。最後に、推定されたホモグラフィを使用して、一方の画像をワープして（４１２）他方の画像にマッチングする。

図５Ａは、いくつかの例示的実施形態による、制御タスクのためのトレーニング済みニューラルネットワークの適用を描写する、ブロック図５００Ａを示す。マルチモーダル画像５０２のセットが、プロセッサ５０４によって取得され得、ニューラルネットワーク５０６とともに、プロセッサは、マルチモーダル画像５０２のセットについて画像レジストレーションを実行して、位置合わせされた画像５０８を生成してもよい。これらの位置合わせされた画像５０８はさらに、プロセッサ５０４によって内部的に、または１つ以上の外部プロセッサによって処理されて（５１０）、１つ以上の制御アプリケーション５１２のための制御コマンドを生成してもよい。したがって、プロセッサ５０４は、他の態様ではブロック５１０において制御アプリケーション５１２のために適切に処理され得なかったであろうマルチモーダル画像５０２のセットを位置合わせするのに役立つ。制御アプリケーション５１２は、例えば、入力画像が異なるモダリティでキャプチャされる組立ラインにおいてロボットを制御することを含むことができる。いくつかの例示的な実施形態では、制御アプリケーション５１２は、道路データをキャプチャするために複数の画像センサ（ＣＣＤ、ＬｉＤＡＲ）を有する車両における１つまたは複数の動作を制御することを含み得る。車両は、手動で駆動されてもよく、完全に自律的であってもよく、半自律的であってもよい。さらにいくつかの他の例示的な実施形態では、制御アプリケーション５１２は、あるシーンの第１のモダリティのいくつかの画像を、当該シーンの第２のモダリティのいくつかの画像を使用して向上させることを含み得る。

図５Ｂは、実施形態による、図２Ａの画像レジストレーション方法を使用して画像を向上させるためのシステム５００Ｂを示す概略図である。センサ５２２Ａ、５２２Ｂ、すなわち衛星内の画像センサは、順次または非順次で、シーン５２３の入力画像５２４のセットを取り込む。いくつかの例示的な実施形態では、入力画像５２４に現れるシーンは平面として近似され得ることが企図され得る。例えば、画像センサは、（衛星／航空機に基づく画像の場合のように）シーンに近くない場合があり、および／またはシーン内のオブジェクトは、入力画像５２４に現れるような有意に異なる高さを有さず、および／または画像は低解像度である。カメラ５２２Ａ、５２２Ｂは、シーン５２３の写真を撮ることを可能にする、移動する航空機、衛星、またはデバイスを担持する何らかの他のセンサ内にあってもよい。さらに、センサ５２２Ａ、５２２Ｂの数は、限定されず、センサ５２２Ａ、５２２Ｂの数は、特定の用途に基づき得る。

入力画像５２４は、単一の移動センサによって、時間ステップｔで、または複数のセンサ５２２Ａ、５２２Ｂによって、異なる時間、異なる角度で、遠く離れた距離から、取得され得る。入力画像５２４は、１つまたは複数のセンサ５２２Ａ、５２２Ｂによって取得され、プロセッサ５３４によって受信されるとき、オンラインで処理することができるので、逐次取得は、画像５２４を記憶するためのメモリ要件を低減する。プロセッサ５３４は、図５Ａのプロセッサ５０４と同様であり得、他の構成要素の中でもとりわけ、図５Ａのニューラルネットワーク５０６と結合され得る。入力画像５２４は、画像を互いに位置合わせするのを容易にするために重なり合うことができる。入力画像５２４は、グレースケール画像またはカラー画像またはＳＡＲ画像であり得る。また、入力画像５２４は、順次取得される多時期画像、マルチモーダル画像、マルチアングルビュー画像であってもよい。

１つまたは複数のセンサ５２２Ａ、５２２Ｂは、移動空間または空中プラットフォーム（衛星、航空機、またはドローン）内に配置することができ、シーン５２３は、地形または地球の表面上もしくは地球の表面の上方に位置する何らかの他のシーンとすることができる。シーン５２３は、建物など、シーン５２３内の構造物に起因するオクルージョン、およびシーン５２３と１つまたは複数のセンサ５２２Ａ、５２２Ｂとの間の雲を含むことができる。とりわけ、本開示の少なくとも１つの目標は、オクルージョンなしに、向上した出力画像のセット５２５を生成することであり得る。副産物として、システムはまた、オクルージョン、例えば、雲のみを含む、疎画像のセット５２６を生成する。

図６は、いくつかの例示的な実施形態による、ベクトル化された、整列されたマルチアングルビューのマルチモーダル画像、および行列補完を使用して、行列を形成する詳細を提供する、図５Ｂのシステムのフロー図である。図６に示すように、本システムは、電気的にまたは無線でセンサ６０２Ａ、６０２Ｂに結合され得るプロセッサ６１４において動作する。

入力画像６０４のセットは、プロセッサ６１４によって直接的または間接的に取得され（６１０）、例えば、画像は、センサ６０２Ａ、６０２Ｂ、すなわち、カメラ、ビデオカメラによって取得されてもよく、または他の手段によって、もしくは他のソース、例えば、メモリ転送、もしくは有線もしくは無線通信から取得されてもよい。プロセッサおよびコンピュータ可読メモリと通信するユーザインターフェースは、ユーザによるユーザインターフェースの表面からの入力を受信すると、マルチアングルビューのマルチモーダル画像のセットを取得し、コンピュータ可読メモリに記憶することができる可能性がある。画像６０４は、例えば、異なるモダリティで捕捉された地域の、３次元平面シーンのマルチアングルビュー画像を含んでもよい。

マルチモーダル画像６０４は、図２Ａおよび図５Ａに示す位置合わせプロセスに基づいてシーンの目標視野角に整列され得る。マルチアングルビュー画像６０４のそのような整列は、シーンの目標視点を表す整列されたマルチアングルビューのマルチモーダル画像のセットを形成するために実行され得る。これらの画像６０４がシーンの空中画像に対応する例示的な実施形態では、マルチアングルビューのマルチモーダル画像の少なくとも１つの整列されたマルチアングルビュー画像は、曇った領域に起因して欠落画素を有する場合がある。

曇検出６２０が、小さいパッチの強度および全変動、すなわち、全変動閾値化に基づいて行われてもよい。具体的には、画像をパッチに分割し、各パッチの平均強度および全変動を計算することによって、特定の条件下で、各パッチを雲または雲の陰としてラベル付けすることができる。小さな面積を有する検出された領域は、建物表面または建物の影といった他の平坦なオブジェクトである可能性が高いので、雲マスクから除去することができる。最後に、雲マスクは、薄い雲で覆われた領域の境界も雲マスクによって覆われるように、膨張されることができる。上述のように雲で汚染された画像のセットを取得した後、目標は、汚染された領域内の欠落画素を、当該シーンの対応する部分が汚染されていない、セット内の他の画像から取得されたそれらの部分を示す画素で置き換えることである。これは、画像のセットの整列を必要とし、それは、次いで、画像の対を関係付けるホモグラフィを必要とする。

これに関して、図６の方法６００は、シーンのマルチモーダル画像のセットを収集することを提供する。シーンの各部分について、画像セットからの画像のうちの少なくとも１つは、シーンのその部分について非汚染画素を含む。画像セットからの任意の画像をターゲット画像、すなわち、目標視野角を有する画像として選択することができ、次いで、画像セットからの他のすべての画像がこのターゲット画像と整列される。毎回、テスト画像は、ターゲット画像と整列するよう選択される。トレーニング済みニューラルネットワークを使用して、第１のテスト特徴がターゲット画像から抽出され得（６３４）、第２のテスト特徴がテスト画像から抽出され得る（６３４）。加えて、ニューラルネットワークを使用して、第３のテスト特徴が、ターゲット画像から抽出されてもよく（６３４Ｃ）、第４のテスト特徴が、テスト画像から抽出されてもよい（６３４Ｄ）。本方法はまた、第１のテスト特徴を第２のテスト特徴と比較し、第３のテスト特徴を第４のテスト特徴と比較して（６３５）、ホモグラフィ推定のために８つ以上の対応する点を見つける（６３７）ことも含む。次いで、ターゲット画像およびテスト画像は、推定されたホモグラフィを使用して位置合わせ／整列される。このプロセスは、画像セット内のすべての画像がターゲット画像と整列されるまで繰り返される。

画像整列の後、整列された画像の収集物が利用可能である。整列された画像は、ベクトル化された、十分に整列された画像を連結することによって形成される行列が低ランク６４０を有すると仮定して、行列補完技術を使用して画像融合を達成することができるように、雲汚染またはオクルージョンによる欠落画素を含む。低ランク行列補完は、復元される行列が低ランクを有するという仮定の下で行列の欠落エントリを推定する。直接ランク最小化は計算的に扱いにくい、凸状または非凸状であるので、通常は緩和を使用して問題を再定式化することができる。かくして、雲のない画像が生成される（６５０）。

本開示の上述の実施形態は、多数の方法のうちのいずれかで実現され得る。たとえば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組合せを使用して実現され得る。ソフトウェアで実現されるとき、ソフトウェアコードは、単一のコンピュータで提供されるか、または複数のコンピュータ間で分散されるかにかかわらず、任意の好適なプロセッサまたはプロセッサの集合上で実行され得る。そのようなプロセッサは、集積回路構成要素中の１つまたは複数のプロセッサとともに集積回路として実現され得る。しかしながら、プロセッサは、任意の適切なフォーマットの回路を使用して実現され得る。

図７は、いくつかの例示的実施形態による、代替コンピュータまたはプロセッサを使用して実現され得る、ニューラルネットワークをトレーニングするためのシステムならびに画像レジストレーションおよび融合のためのシステムのブロック図を示す。コンピュータ７１１は、プロセッサ７４０と、コンピュータ可読メモリ７１２と、ストレージ７５８と、ディスプレイ７５２およびキーボード７５１を伴うユーザインターフェース７４９とを含み、それらはバス７５６を介して接続される。たとえば、プロセッサ７４０およびコンピュータ可読メモリ７１２と通信するユーザインターフェース７６４は、ユーザによるユーザインターフェース７５７の表面、キーボード７５３からの入力を受信すると、画像データを取得してコンピュータ可読メモリ７１２に記憶する。

コンピュータ７１１は、用途に応じて電源７５４を含むことができ、電源７５４は、任意選択でコンピュータ７１１の外部に位置してもよい。バス７５６を介して、表示装置７４８に接続するように適合されるユーザ入力インターフェース７５７がリンクされることができ、表示装置７４８は、とりわけ、コンピュータモニタ、カメラ、テレビ、プロジェクタ、またはモバイルデバイスを含むことができる。プリンタインターフェース７５９も、バス７５６を介して接続され、印刷装置７３２に接続するように適合されることができ、印刷装置７３２は、とりわけ、液体インクジェットプリンタ、固体インクプリンタ、大規模商用プリンタ、サーマルプリンタ、ＵＶプリンタ、または昇華染料プリンタを含むことができる。ネットワークインターフェースコントローラ（ＮＩＣ）７３４は、バス７５６を介してネットワーク７３６に接続するように適合され、画像データまたは他のデータは、とりわけ、コンピュータ７１１の外部の第三者表示装置、第三者撮像装置、および／または第三者印刷装置上にレンダリングすることができる。

依然として図７を参照すると、画像データまたは他のデータは、とりわけ、ネットワーク７３６の通信チャネルを介して伝送され、ならびに／または記憶および／もしくはさらなる処理のために記憶システム７５８内に記憶されてもよい。さらに、時系列データまたは他のデータは、受信機７４６（もしくは外部受信機７３８）から無線もしくは有線で受信されてもよく、または送信機７４７（もしくは外部送信機７３９）を介して無線または有線で送信されてもよく、受信機７４６および送信機７４７は両方ともバス７５６を介して接続される。コンピュータ７１１は、入力インターフェース７０８を介して外部感知装置７４４および外部入力／出力装置７４１に接続されてもよい。例えば、外部感知装置７４４は、機械の収集された時系列データの前、中、後にデータを収集するセンサを含んでもよい。コンピュータ７１１は、他の外部コンピュータ７４２に接続されてもよい。出力インターフェース７０９は、プロセッサ７４０から処理されたデータを出力するために使用されてもよい。プロセッサ７４０および非一時的なコンピュータ可読記憶媒体７１２と通信するユーザインターフェース７４９は、ユーザによるユーザインターフェース７４９の表面７５２から入力を受信すると、領域データを取得し、非一時的なコンピュータ可読記憶媒体７１２に記憶することに留意されたい。

また、本明細書で概説される様々な方法またはプロセスは、様々なオペレーティングシステムまたはプラットフォームのいずれか１つを使用する１つまたは複数のプロセッサ上で実行可能なソフトウェアとしてコード化され得る。加えて、そのようなソフトウェアは、いくつかの好適なプログラミング言語および／またはプログラミングもしくはスクリプトツールのうちのいずれかを使用して書かれてもよく、また、フレームワークまたは仮想マシン上で実行される実行可能機械言語コードまたは中間コードとしてコンパイルされてもよい。典型的には、プログラムモジュールの機能は、様々な実施形態において所望に応じて組み合わせられるかまたは分散されてもよい。

このように、本開示の例示的な実施形態は、多くの有用な最終使用事例において適用を見出すものであり、なぜならば、画像整列はそのような画像処理ベースの適用にとって重要な構成要素であるからである。本明細書に図示および説明される態様で、異なるモダリティの画像の画像整合を達成することは、計算がより高速になり、計算複雑性がより低減され、それによって、意図されるタスクの全体的なターンアラウンドタイムを向上させる。したがって、ドメイン不変特徴を予測するためのニューラルネットワークのトレーニングは、いくつかの実用的用途に結び付けられ、また、いくつかの技術的改善にもつながる。ニューラルネットワークの提案されたトレーニングおよび実行を組み込む画像処理方法およびシステムは、新規なトレーニングおよびレジストレーションアプローチによって導かれる新たな能力およびパフォーマンスインセンティブで利益をもたらし、それによって、基礎をなす画像処理技術の改善につながる。

また、本開示の実施形態は、なんらかの例が提供されている方法として具体化されてもよい。方法の一部として実行される行為は、任意の好適な方法で順序付けされてもよい。したがって、例示的な実施形態において連続的な行為として示されているいくつかの行為を同時に実行することを含むことができる、例示とは異なる順序で行為が実行される実施形態を構築してもよい。さらに、請求項において請求項の要素を修飾するための「第１の」、「第２の」などの序数の文言の使用は、それ自体は、ある請求項の要素の優先度、先行性もしくは順序が、別の請求項の要素のそれを超えること、または方法の動作が実行される時間的順序を意味するものではなく、単に、ある名称を有する１つの請求項要素を、同じ名称を有する（ただし序数の文言を使用するための）別の要素から区別して、それら請求項要素を区別するためのラベルとして使用される。

本開示を特定の好ましい実施形態を参照して説明してきたが、本開示の精神および範囲内で様々な他の適応および変更を行い得ることを理解されたい。したがって、特許請求の範囲の局面は、本開示の真の精神および範囲内にあるそのようなすべての変形および修正を包含することである。

Claims (14)

1. 画像レジストレーションに適したドメイン不変特徴を抽出するためにニューラルネットワークをトレーニングするための、コンピュータにより実現される方法であって、前記方法は、命令を記憶するメモリと結合されたプロセッサを使用し、前記方法は、
   第１のモダリティの少なくとも第１の画像と第２のモダリティの少なくとも１つの対応する第２の画像とを含むマルチモーダル画像の第１のセットを収集することと、
   前記ニューラルネットワークの第１の特徴抽出サブネットを使用して、前記少なくとも１つの第１の画像から第１の特徴を抽出することと、
   前記ニューラルネットワークの第２の特徴抽出サブネットを使用して、前記少なくとも１つの第２の画像から第２の特徴を抽出することと、
   前記ニューラルネットワークの第３の特徴抽出サブネットを使用して、前記少なくとも１つの第１の画像から第３の特徴を抽出することと、
   前記ニューラルネットワークの第４の特徴抽出サブネットを使用して、前記少なくとも１つの第２の画像から第４の特徴を抽出することと、
   前記第１の特徴を前記第２の特徴と比較して、前記マルチモーダル画像の第１のセットの抽出された前記第１の特徴および前記第２の特徴のドメイン不変埋め込み損失を推定することと、
   前記第１の特徴および前記第２の特徴を前記ニューラルネットワークのホモグラフィネットにサブミットして、前記マルチモーダル画像の第１のセットの前記抽出された特徴のホモグラフィ損失を推定することとを含み、前記ホモグラフィネットは、前記ホモグラフィ損失を、前記抽出された前記第１の特徴および前記第２の特徴の各特徴対のホモグラフィと、前記マルチモーダル画像の第１のセットのためのグラウンドトゥルースホモグラフィデータとの間の差として推定する、前記ニューラルネットワークのサブネットであり、前記方法はさらに、
   前記第３の特徴を前記第４の特徴と比較して、前記マルチモーダル画像の第１のセットのドメイン特有の埋め込み損失を推定することと、
   前記ニューラルネットワークの前記第１の特徴抽出サブネットおよび前記第２の特徴抽出サブネットならびに前記ホモグラフィネットをトレーニングすることによって前記ニューラルネットワークをトレーニングして、前記ドメイン不変埋め込み損失、前記ドメイン特有の埋め込み損失および前記ホモグラフィ損失を含む多目的損失関数をあわせて最小化するようにすることとを含み、
   前記マルチモーダル画像の第１のセットの抽出された特徴の前記ドメイン不変埋め込み損失を推定することは、
   抽出された前記第１の特徴に基づいて、前記少なくとも１つの第１の画像のすべての画素について第１の特徴ベクトルを取得することと、
   抽出された前記第２の特徴に基づいて、前記少なくとも１つの第２の画像のすべての画素について第２の特徴ベクトルを取得することと、
   グラウンドトゥルースデータに基づいて、前記少なくとも１つの第１の画像と前記少なくとも１つの第２の画像との間の対応する画素および対応しない画素をサンプリングすることと、
   サンプリングされた前記対応する画素および前記対応しない画素に基づいて、前記マルチモーダル画像の第１のセットの抽出された特徴の前記ドメイン不変埋め込み損失を計算することとを含み、
   前記ドメイン不変埋め込み損失は、ｙ＊ｄ（ｐ，ｑ）＋（１－ｙ）＊ｍａｘ（０，Ｃ－ｄ（ｐ，ｑ））と定義され、Ｃは手動で調整される定数であり、ｄはユークリッド距離であり、ｐは第１の特徴ベクトルを表し、ｑは第２の特徴ベクトルを表し、ｐ、ｑが対応する点の特徴ベクトルである場合はｙ＝１であり、ｐ、ｑが対応しない点の特徴ベクトルである場合はｙ＝０であり、
   画素単位のドメイン不変特徴ベクトルが、前記ホモグラフィを学習するために前記ホモグラフィネットに送信され、
   前記ドメイン特有の埋め込み損失は、ｙ＊Ｄ（ｄ _１ （ｐ _１ ，ｐ _２ ），ｄ _２ （ｑ _１ ，ｑ _２ ））＋（１－ｙ）＊ｍａｘ（０，Ｃ－Ｄ（ｄ _１ （ｐ _１ ，ｐ _２ ），ｄ _２ （ｑ _１ ，ｑ _２ ）））として定義され、ｐ _１ およびｐ _２ は、前記少なくとも１つの第１の画像における画素の対の特徴ベクトルを示し、ｄ _１ （ｐ _１ ，ｐ _２ ）は、前記少なくとも１つの第１の画像における対の特徴距離を示し、ｑ _１ およびｑ _２ は、前記少なくとも１つの第２の画像における画素の対の特徴ベクトルを示し、ｄ _２ （ｑ _１ ，ｑ _２ ）は、前記少なくとも１つの第２の画像における対の特徴距離を示し、ｐ _１ がｑ _１ に対応し、ｐ _２ がｑ _２ に対応する場合、ｙ＝１であり、そうでない場合、ｙ＝０であり、Ｄは実数上で定義される距離であり、Ｃは定数である、方法。
2. 前記第１のモダリティおよび前記第２のモダリティは、光学カラー画像、光学グレースケール画像、深度画像、赤外線画像、およびＳＡＲ画像からなる群から選択される、請求項１に記載の方法。
3. 請求項１に記載のトレーニング済みの前記ニューラルネットワークを使用してマルチモーダル画像の第２のセットを位置合わせするためのマルチモーダル画像レジストレーション方法であって、
   前記第１のモダリティの第１のテスト画像および前記第２のモダリティの第２のテスト画像を含む、シーンの前記マルチモーダル画像の第２のセットを収集することと、
   トレーニング済みの前記ニューラルネットワークの前記第１の特徴抽出サブネットを使用して前記第１のテスト画像から第１のテスト特徴を抽出することと、
   トレーニング済みの前記ニューラルネットワークの前記第２の特徴抽出サブネットを使用して前記第２のテスト画像から第２のテスト特徴を抽出することと、
   前記第１のテスト特徴を前記第２のテスト特徴と比較することによって、前記第１のテスト画像と前記第２のテスト画像とを位置合わせすることとを含む、方法。
4. 前記方法はさらに、
   トレーニング済みの前記ニューラルネットワークの第３の特徴抽出サブネットを使用して、前記第１のテスト画像から第３のテスト特徴を抽出することと、
   トレーニング済みの前記ニューラルネットワークの第４の特徴抽出サブネットを使用して、前記第２のテスト画像から第４のテスト特徴を抽出することと、
   前記第３のテスト特徴内の１つ以上のキーポイントを前記第４のテスト特徴内の１つ以上のキーポイントとマッチングすることと、
   前記マッチングに基づいて前記テスト画像の対を位置合わせすることとを含む、請求項３に記載のマルチモーダル画像レジストレーション方法。
5. 前記方法はさらに、
   前記第１のテスト画像から抽出された前記第３のテスト特徴の第１の輸送コスト距離を計算することと、
   前記第２のテスト画像から抽出された前記第４のテスト特徴の第２の輸送コスト距離を計算することと、
   前記第１の輸送コスト距離および前記第２の輸送コスト距離に基づいて、第１の輸送コスト項を求めることと、
   前記第１のテスト画像から抽出された前記第１のテスト特徴の第３の輸送コスト距離を計算することと、
   前記第２のテスト画像から抽出された前記第２のテスト特徴の第４の輸送コスト距離を計算することと、
   前記第１の輸送コスト距離および前記第２の輸送コスト距離に基づいて、第２の輸送コスト項を求めることと、
   前記第１の輸送コスト項と前記第２の輸送コスト項との組み合わせの最小値を求めるコスト関数を最適化することによって、最適輸送（ＯＴ）問題を解いてレジストレーションマップを生成することとを含む、請求項４に記載のマルチモーダル画像レジストレーション方法。
6. 前記マルチモーダル画像の第１のセットの前記抽出された特徴の前記ホモグラフィ損失を推定することは、
   抽出された前記第１の特徴および前記第２の特徴に基づいて、前記少なくとも１つの第１の画像と前記少なくとも１つの第２の画像との間のホモグラフィを推定することと、
   前記少なくとも１つの第１の画像および前記少なくとも１つの第２の画像についてグラウンドトゥルースホモグラフィデータを取得することと、
   推定された前記ホモグラフィおよび前記グラウンドトゥルースホモグラフィデータに基づいて、前記抽出された特徴の前記ホモグラフィ損失を計算することとを含む、請求項１に記載の方法。
7. 推定された前記ホモグラフィは、３×３実数値行列である、請求項６に記載の方法。
8. 画像レジストレーションに適したドメイン不変特徴を抽出するためにニューラルネットワークをトレーニングするためのシステムであって、
   実行可能な命令を記憶するよう構成されるメモリと、
   プロセッサとを備え、前記プロセッサは、前記命令を実行して、
   第１のモダリティの少なくとも第１の画像と第２のモダリティの少なくとも１つの対応する第２の画像とを含むマルチモーダル画像の第１のセットを収集するよう構成され、
   前記ニューラルネットワークの第１の特徴抽出サブネットを使用して、前記少なくとも１つの第１の画像から第１の特徴を抽出するよう構成され、
   前記ニューラルネットワークの第２の特徴抽出サブネットを使用して、前記少なくとも１つの第２の画像から第２の特徴を抽出するよう構成され、
   前記ニューラルネットワークの第３の特徴抽出サブネットを使用して、前記少なくとも１つの第１の画像から第３の特徴を抽出するよう構成され、
   前記ニューラルネットワークの第４の特徴抽出サブネットを使用して、前記少なくとも１つの第２の画像から第４の特徴を抽出するよう構成され、
   前記第１の特徴を前記第２の特徴と比較して、前記マルチモーダル画像の第１のセットの抽出された前記第１の特徴および前記第２の特徴のドメイン不変埋め込み損失を推定するよう構成され、
   前記第１の特徴および前記第２の特徴を前記ニューラルネットワークのホモグラフィネットにサブミットして、前記マルチモーダル画像の第１のセットの前記抽出された特徴のホモグラフィ損失を推定するよう構成され、前記ホモグラフィネットは、前記ホモグラフィ損失を、前記抽出された前記第１の特徴および前記第２の特徴の各特徴対のホモグラフィと、前記マルチモーダル画像の第１のセットのためのグラウンドトゥルースホモグラフィデータとの間の差として推定する、前記ニューラルネットワークのサブネットであり、前記プロセッサはさらに、前記命令を実行して、
   前記第３の特徴を前記第４の特徴と比較して、前記マルチモーダル画像の第１のセットのドメイン特有の埋め込み損失を推定するよう構成され、
   前記ニューラルネットワークの前記第１の特徴抽出サブネットおよび前記第２の特徴抽出サブネットならびに前記ホモグラフィネットをトレーニングすることによって前記ニューラルネットワークをトレーニングして、前記ドメイン不変埋め込み損失、前記ドメイン特有の埋め込み損失および前記ホモグラフィ損失を含む多目的損失関数をあわせて最小化するよう構成され、
   前記マルチモーダル画像の第１のセットの抽出された特徴の前記ドメイン不変埋め込み損失を推定するために、前記プロセッサはさらに、
   抽出された前記第１の特徴に基づいて、前記少なくとも１つの第１の画像のすべての画素について第１の特徴ベクトルを取得するよう構成され、
   抽出された前記第２の特徴に基づいて、前記少なくとも１つの第２の画像のすべての画素について第２の特徴ベクトルを取得するよう構成され、
   グラウンドトゥルースデータに基づいて、前記少なくとも１つの第１の画像と前記少なくとも１つの第２の画像との間の対応する画素および対応しない画素をサンプリングするよう構成され、
   サンプリングされた前記対応する画素および前記対応しない画素に基づいて、前記マルチモーダル画像の第１のセットの抽出された特徴の前記ドメイン不変埋め込み損失を計算するよう構成され、
   前記ドメイン不変埋め込み損失は、ｙ＊ｄ（ｐ，ｑ）＋（１－ｙ）＊ｍａｘ（０，Ｃ－ｄ（ｐ，ｑ））と定義され、Ｃは手動で調整される定数であり、ｄはユークリッド距離であり、ｐは第１の特徴ベクトルを表し、ｑは第２の特徴ベクトルを表し、ｐ、ｑが対応する点の特徴ベクトルである場合はｙ＝１であり、ｐ、ｑが対応しない点の特徴ベクトルである場合はｙ＝０であり、
   前記プロセッサは、画素単位のドメイン不変特徴ベクトルを、前記ホモグラフィを学習するために、前記ホモグラフィネットに送信するよう構成され、
   前記ドメイン特有の埋め込み損失は、ｙ＊Ｄ（ｄ _１ （ｐ _１ ，ｐ _２ ），ｄ _２ （ｑ _１ ，ｑ _２ ））＋（１－ｙ）＊ｍａｘ（０，Ｃ－Ｄ（ｄ _１ （ｐ _１ ，ｐ _２ ），ｄ _２ （ｑ _１ ，ｑ _２ ）））として定義され、ｐ _１ およびｐ _２ は、前記少なくとも１つの第１の画像における画素の対の特徴ベクトルを示し、ｄ _１ （ｐ _１ ，ｐ _２ ）は、前記少なくとも１つの第１の画像における対の特徴距離を示し、ｑ _１ およびｑ _２ は、前記少なくとも１つの第２の画像における画素の対の特徴ベクトルを示し、ｄ _２ （ｑ _１ ，ｑ _２ ）は、前記少なくとも１つの第２の画像における対の特徴距離を示し、ｐ _１ がｑ _１ に対応し、ｐ _２ がｑ _２ に対応する場合、ｙ＝１であり、そうでない場合、ｙ＝０であり、Ｄは実数上で定義される距離であり、Ｃは定数である、システム。
9. 前記第１のモダリティおよび前記第２のモダリティは、光学カラー画像、光学グレースケール画像、深度画像、赤外線画像、およびＳＡＲ画像からなる群から選択される、請求項８に記載のシステム。
10. 請求項８に記載のトレーニング済みの前記ニューラルネットワークを使用して前記マルチモーダル画像の第１のセットを位置合わせするためのマルチモーダル画像レジストレーションシステムであって、回路を含み、前記回路は、
    前記第１のモダリティの第１のテスト画像および前記第２のモダリティの第２のテスト画像を含むシーンのマルチモーダル画像の第２のセットを収集するよう構成され、
    トレーニング済みの前記ニューラルネットワークの前記第１の特徴抽出サブネットを使用して、前記第１のテスト画像から第１のテスト特徴を抽出するよう構成され、
    トレーニング済みの前記ニューラルネットワークの前記第２の特徴抽出サブネットを使用して、前記第２のテスト画像から第２のテスト特徴を抽出するよう構成され、
    前記第１のテスト特徴を前記第２のテスト特徴と比較することによって、前記第１のテスト画像および前記第２のテスト画像を位置合わせするよう構成される、マルチモーダル画像レジストレーションシステム。
11. 前記回路はさらに、
    トレーニング済みの前記ニューラルネットワークの第３の特徴抽出サブネットを使用して、前記第１のテスト画像から第３のテスト特徴を抽出するよう構成され、
    トレーニング済みの前記ニューラルネットワークの第４の特徴抽出サブネットを使用して、前記第２のテスト画像から第４のテスト特徴を抽出するよう構成され、
    前記第１のテスト画像および前記第２のテスト画像において複数の対応する点を求めるよう構成され、
    前記複数の対応する点に基づいて、前記第１のテスト画像と前記第２のテスト画像とを関係付けるホモグラフィを推定するよう構成され、
    推定された前記ホモグラフィに基づいて前記テスト画像の対を位置合わせするよう構成される、請求項１０に記載のマルチモーダル画像レジストレーションシステム。
12. 前記前記マルチモーダル画像の第１のセットの前記抽出された特徴の前記ホモグラフィ損失を推定するために、前記プロセッサは、さらに、
    抽出された前記第１の特徴および前記第２の特徴に基づいて、前記少なくとも１つの第１の画像と前記少なくとも１つの第２の画像との間のホモグラフィを推定するよう構成され、
    前記少なくとも１つの第１の画像および前記少なくとも１つの第２の画像についてグラウンドトゥルースホモグラフィデータを取得するよう構成され、
    推定された前記ホモグラフィおよび前記グラウンドトゥルースホモグラフィデータに基づいて、前記抽出された特徴の前記ホモグラフィ損失を計算するよう構成される、請求項８に記載のシステム。
13. 推定された前記ホモグラフィは、３×３実数値行列である、請求項１２に記載のシステム。
14. コンピュータによって実行されると、前記コンピュータに、画像レジストレーションに適したドメイン不変特徴を抽出するためにニューラルネットワークをトレーニングするための方法を実行させるコンピュータ実行可能な命令を記憶した、非一時的なコンピュータ可読媒体であって、前記方法は、
    第１のモダリティの少なくとも第１の画像と第２のモダリティの少なくとも１つの対応する第２の画像とを含むマルチモーダル画像の第１のセットを収集することと、
    前記ニューラルネットワークの第１の特徴抽出サブネットを使用して、前記少なくとも１つの第１の画像から第１の特徴を抽出することと、
    前記ニューラルネットワークの第２の特徴抽出サブネットを使用して、前記少なくとも１つの第２の画像から第２の特徴を抽出することと、
    前記ニューラルネットワークの第３の特徴抽出サブネットを使用して、前記少なくとも１つの第１の画像から第３の特徴を抽出することと、
    前記ニューラルネットワークの第４の特徴抽出サブネットを使用して、前記少なくとも１つの第２の画像から第４の特徴を抽出することと、
    前記第１の特徴を前記第２の特徴と比較して、前記マルチモーダル画像の第１のセットの抽出された前記第１の特徴および前記第２の特徴のドメイン不変埋め込み損失を推定することと、
    前記第１の特徴および前記第２の特徴を前記ニューラルネットワークのホモグラフィネットにサブミットして、前記マルチモーダル画像の第１のセットの前記抽出された特徴のホモグラフィ損失を推定することとを含み、前記ホモグラフィネットは、前記ホモグラフィ損失を、前記抽出された前記第１の特徴および前記第２の特徴の各特徴対のホモグラフィと、前記マルチモーダル画像の第１のセットのためのグラウンドトゥルースホモグラフィデータとの間の差として推定する、前記ニューラルネットワークのサブネットであり、前記方法はさらに、
    前記第３の特徴を前記第４の特徴と比較して、前記マルチモーダル画像の第１のセットのドメイン特有の埋め込み損失を推定することと、
    前記ニューラルネットワークの前記第１の特徴抽出サブネットおよび前記第２の特徴抽出サブネットならびに前記ホモグラフィネットをトレーニングすることによって前記ニューラルネットワークをトレーニングして、前記ドメイン不変埋め込み損失、前記ドメイン特有の埋め込み損失および前記ホモグラフィ損失を含む多目的損失関数をあわせて最小化するようにすることとを含み、
    前記マルチモーダル画像の第１のセットの抽出された特徴の前記ドメイン不変埋め込み損失を推定することは、
    抽出された前記第１の特徴に基づいて、前記少なくとも１つの第１の画像のすべての画素について第１の特徴ベクトルを取得することと、
    抽出された前記第２の特徴に基づいて、前記少なくとも１つの第２の画像のすべての画素について第２の特徴ベクトルを取得することと、
    グラウンドトゥルースデータに基づいて、前記少なくとも１つの第１の画像と前記少なくとも１つの第２の画像との間の対応する画素および対応しない画素をサンプリングすることと、
    サンプリングされた前記対応する画素および前記対応しない画素に基づいて、前記マルチモーダル画像の第１のセットの抽出された特徴の前記ドメイン不変埋め込み損失を計算することとを含み、
    前記ドメイン不変埋め込み損失は、ｙ＊ｄ（ｐ，ｑ）＋（１－ｙ）＊ｍａｘ（０，Ｃ－ｄ（ｐ，ｑ））と定義され、Ｃは手動で調整される定数であり、ｄはユークリッド距離であり、ｐは第１の特徴ベクトルを表し、ｑは第２の特徴ベクトルを表し、ｐ、ｑが対応する点の特徴ベクトルである場合はｙ＝１であり、ｐ、ｑが対応しない点の特徴ベクトルである場合はｙ＝０であり、
    画素単位のドメイン不変特徴ベクトルが、前記ホモグラフィを学習するために前記ホモグラフィネットに送信され、
    前記ドメイン特有の埋め込み損失は、ｙ＊Ｄ（ｄ _１ （ｐ _１ ，ｐ _２ ），ｄ _２ （ｑ _１ ，ｑ _２ ））＋（１－ｙ）＊ｍａｘ（０，Ｃ－Ｄ（ｄ _１ （ｐ _１ ，ｐ _２ ），ｄ _２ （ｑ _１ ，ｑ _２ ）））として定義され、ｐ _１ およびｐ _２ は、前記少なくとも１つの第１の画像における画素の対の特徴ベクトルを示し、ｄ _１ （ｐ _１ ，ｐ _２ ）は、前記少なくとも１つの第１の画像における対の特徴距離を示し、ｑ _１ およびｑ _２ は、前記少なくとも１つの第２の画像における画素の対の特徴ベクトルを示し、ｄ _２ （ｑ _１ ，ｑ _２ ）は、前記少なくとも１つの第２の画像における対の特徴距離を示し、ｐ _１ がｑ _１ に対応し、ｐ _２ がｑ _２ に対応する場合、ｙ＝１であり、そうでない場合、ｙ＝０であり、Ｄは実数上で定義される距離であり、Ｃは定数である、非一時的なコンピュータ可読媒体。