JP7334141B2 - マルチモーダル密対応関係画像処理システム、レーダー撮像システム、方法およびブログラム - Google Patents

Description

本発明は、概して画像処理に関し、より具体的には運動シーケンスのデジタル画像のペアにおける画素の密対応関係（dense correspondence）を推定することに関する。

背景
画像間の対応関係を明らかにすることは、その範囲がモーション解析、トラッキングおよびステレオのような従来のタスクから、３次元再構成、オブジェクト検出および検索を経て、画像向上および編集に及ぶ、コンピュータビジョンおよびグラフィックスにおける多数のアプリケーションの、長年にわたる課題である。対応関係のほとんどの方法は、多種多様なシナリオの扱いという点において限界がある。たとえば、あるシナリオでは、時間および視点が画像間で相互に近い。別のシナリオでは、画像間の視点の差は大きいかもしれないがそのシーンは大部分が固定対象物で構成されている。さらにもう１つのシナリオでは、入力画像は、何らかの共通する内容を共有しているが、シーンの非固定的変化、照明および／またはトーンマッピングの変化、ならびにカメラおよびレンズの違いのような、さまざまな要因のために、大きく異なる。最後のシナリオは、典型的には異なる条件で撮影された同じ被写体を含む個人の写真アルバムではよくあることである。現在の方法は、これらのタイプのシナリオのうちの１つ以上の扱いに苦心している。

密対応関係撮像システムの一般的なシナリオの一例は、運動シーケンスの連続画像における、歩行運動時の人間の特徴間の密対応関係の推定であり、これは、上記連続画像における、人間の姿勢と姿勢との間の画素ごとの対応関係を定める。人間は非固定的な対象物であることを考慮すると、このような、ある画像における人間の特徴の表面上の画素ごとに、次の画像における人間の特徴の表面上の対応する画素を決定する、密対応関係のシナリオは、複数の課題を提起する。

最も高い精度をもたらす、この密対応関係の課題に対する現在の解決策は、学習に基づく手法であり、たとえば、密対応関係の推定について訓練されたニューラルネットワーク（複数のニューラルネットワーク）を使用する手法である。しかしながら、適切なニューラルネットワーク（複数のニューラルネットワーク）の訓練は難しい課題であり、現在最も精度が高い解決策であっても、その精度は、人間の特徴の末端、すなわち腕と手および脚と足に近いほど、低下する傾向がある。

それゆえに、運動シーケンスの連続するデジタル画像における画素の密対応関係を推定するためのシステムおよび方法が必要とされている。

概要
いくつかの実施形態の目的は、学習に基づく密対応関係技術を、同一シーンのマルチモーダル画像に拡張することである。たとえば、ある実施形態の目的は、運動シーケンスの連続するデジタル画像における密対応関係を定めるマルチモーダル撮像システムを提供することである。このような運動シーケンスの例は、深度（depth）画像のシーケンスと対応するカラー画像のシーケンスとを含むデジタルマルチモーダル画像を含む。いくつかの実施形態は、マルチモーダル画像は異なるモーダル固有情報を相互に補完することによって密対応関係の精度を高めることができる、という理解に基づいている。

しかしながら、マルチモーダル学習に基づく密対応関係システムを提供するには、基礎となるニューラルネットワーク（複数のニューラルネットワーク）を、モダリティが異なる画像について訓練する必要がある。密対応関係という文脈において、このような訓練は難しい。なぜなら、モダリティが異なる画像は外観が異なるので、結果として、モダリティが異なる、異なる画素の、異なる対応関係が生じるからである。たとえば、密対応関係についてニューラルネットワークを訓練するためのある方法は、類似する画素は同一領域に分類する必要があるという原則を用いてニューラルネットワークを訓練する分類手法である。この分類手法において、ニューラルネットワークおよび分類器は、個々の画像に基づいて、ともに訓練される、すなわち、各入力画像を用いて、ニューラルネットワークおよび分類器を、その他いずれの入力画像とも無関係に訓練する。しかしながら、この分類手法は、外観の相違のため、マルチモーダル密対応関係に拡張できないので、モダリティが異なる画像、たとえば深度画像およびカラー画像の分類には拡張できない。

いくつかの実施形態は、個々の画像についての、分類に基づく訓練は、連続画像における密対応関係の推定の性質に適合しないという認識に基づく。密対応関係の目的は、運動（および運動によって生じる変形）を捉えることなので、運動（および変形）を捉えた連続画像の対応画素に基づくＮＮの訓練のための訓練メトリック（損失関数）を定義する必要がある。

いくつかの実施形態は、連続画像における運動を捉える異なるメトリックを特定する。たとえば、いくつかの実施形態において、第１のメトリックは埋め込み損失に基づき、第２のメトリックはオプティカルフロー（optical flow）に基づく。埋め込み損失メトリックは、運動を捉えた連続画像の対応画素は同じポイントに属しているので、これらの画素の値が、元の空間では異なっていても、同一である、埋め込み空間が存在する、という仮定に基づいている。よって、埋め込み損失メトリックを用いることにより、同じポイントの対応画素に対して類似する特徴ベクトルを生成するニューラルネットワークを、たとえこれらの対応画素の値が運動によって異なることになったとしても、訓練することが可能である。

オプティカルフローメトリックは、分類と比較して、連続画像の対応画素が密対応関係の性質により適合するオプティカルフローを定めるという理解に基づく。よって、オプティカルフローメトリックを用いることにより、ニューラルネットワークを訓練して、グラウンドトゥルース（ground truth）・オプティカルフローを再構成するのに使用することが可能な特徴ベクトルを生成することができる。

これらのメトリックは、異なるモダリティに対してより有効となり得る。たとえば、埋め込み損失メトリックは、光の飛行時間を測定することによって形成する深度画像に対してより好都合であり、オプティカルフローメトリックは、光の屈折または反射によって形成された光画像に対してより適切である。しかしながら、分類に基づく訓練とは異なり、これらのメトリックは、異なる画像モダリティに対して運動に基づく同様の結果を生むことができ、補完し合い、マルチモーダル画像からの密対応関係推定に適用可能である。加えて、このような運動に基づくメトリックは、デジタル画像の異なるモダリティについてニューラルネットワークを訓練することを可能にするので、我々の知る限り、最高のマルチモーダル密対応関係撮像システムを提供する。

たとえば、ある実施形態はマルチモーダル画像処理システムを開示し、このマルチモーダル画像処理システムは、運動シーケンスの連続するデジタル画像を受けるように構成された入力インターフェイスを備え、上記デジタル画像は深度画像のシーケンスと対応するカラー画像のシーケンスとを含むマルチモーダル画像であり、上記システムはさらに、深度画素から深度特徴ベクトルを抽出するように訓練された第１のサブネットワークとカラー画素からカラー特徴ベクトルを抽出するように訓練された第２のサブネットワークとを含むニューラルネットワークを格納するように構成されたメモリを備える。

第１のサブネットワークは第２のサブネットワークとともに訓練される。たとえば、ニューラルネットワークは、連続デジタル画像のシーケンスを用いて訓練されることにより、連続デジタル画像の各ペアにおける同一ポイントの画素の特徴ベクトル間の距離と、連続デジタル画像の各ペアの画素の特徴ベクトルから再構成されたオプティカルフローにおける誤差とのうちの一方またはこれらの組み合わせを低減する、各デジタル画像の画素の特徴ベクトルを出力する。

マルチモーダル画像処理システムはプロセッサをさらに備え、プロセッサは、（１）連続マルチモーダル画像の各ペアをニューラルネットワークに与えて、上記ペアにおける各マルチモーダル画像の画素ごとの深度特徴ベクトルおよびカラー特徴ベクトルを生成し、（２）上記ペアにおける各マルチモーダル画像の対応画素の深度特徴ベクトルとカラー特徴ベクトルとを組み合わせることにより、上記ペアにおける各マルチモーダル画像の画素ごとに組み合わされた特徴ベクトルを生成し、（３）上記ペアにおける異なるマルチモーダル画像の組み合わされた特徴ベクトルを比較することにより、上記ペアにおける上記異なるマルチモーダル画像の画素間の密対応関係を推定し、上記ペアにおけるマルチモーダル画像の画素間の密対応関係を、出力インターフェイスを介して出力するように、構成されている。

実際、モダリティが異なる画像についてともに訓練された複数のサブネットワークを使用するマルチモーダル画像処理システムは、密対応関係推定の精度を高める。

したがって、ある実施形態はマルチモーダル密対応関係画像処理システムを開示し、このシステムは、マルチモーダル画像の運動シーケンスを受けるように構成された入力インターフェイスを備え、各マルチモーダル画像は、第１のモダリティの画像と、対応する、第１のモダリティと異なる第２のモダリティの画像とを含み、モダリティが異なる、対応する画像は、同一シーンの画像であり、マルチモーダル密対応関係画像処理システムはさらに、第１のモダリティの画素から第１の特徴を抽出するように訓練された第１のサブネットワークと、第２のモダリティの画素から第２の特徴を抽出するように訓練された第２のサブネットワークと、第１の特徴と第２の特徴とを組み合わせてマルチモーダル画像のマルチモーダル特徴を生成するように構成されたコンバイナとを含むニューラルネットワークを格納するように構成されたメモリと、マルチモーダル画像をニューラルネットワークに与えてマルチモーダル画像各々の画素ごとにマルチモーダル特徴を生成するように構成され、かつ、マルチモーダル画像のペアのマルチモーダル特徴を比較することにより、上記ペアのマルチモーダル画像の画素間の密対応関係を推定するように構成されたプロセッサと、上記ペアにおけるマルチモーダル画像の画素間の密対応関係を出力するように構成された出力インターフェイスとを備える。

別の実施形態はマルチモーダル密対応関係再構成のための方法を開示し、方法は、この方法を実現する格納された命令と結合されたプロセッサを使用し、命令はプロセッサによって実行されると方法のステップを実行させる。この方法は、マルチモーダル画像の運動シーケンスを受けるステップを含み、各マルチモーダル画像は、第１のモダリティの画像と、対応する、第１のモダリティと異なる第２のモダリティの画像とを含み、モダリティが異なる、対応する画像は、同一シーンの画像であり、この方法はさらに、マルチモーダル画像をニューラルネットワークに与えてマルチモーダル画像各々の画素ごとにマルチモーダル特徴を生成するステップを含み、ニューラルネットワークは、第１のモダリティの画素から第１の特徴を抽出するように訓練された第１のサブネットワークと、第２のモダリティの画素から第２の特徴を抽出するように訓練された第２のサブネットワークと、第１の特徴と第２の特徴とを組み合わせてマルチモーダル画像のマルチモーダル特徴を生成するように構成されたコンバイナとを含み、この方法はさらに、マルチモーダル画像のペアのマルチモーダル特徴を比較することにより、上記ペアのマルチモーダル画像の画素間の密対応関係を推定するステップと、上記ペアにおけるマルチモーダル画像の画素間の密対応関係を出力するステップとを含む。

もう１つの実施形態は、非一時的なコンピュータ読取可能記憶媒体を開示し、この媒体には、方法を実行するためにプロセッサが実行可能なプログラムが実装されている。この方法は、マルチモーダル画像の運動シーケンスを受けるステップを含み、各マルチモーダル画像は、第１のモダリティの画像と、対応する、第１のモダリティと異なる第２のモダリティの画像とを含み、この方法はさらに、マルチモーダル画像をニューラルネットワークに与えてマルチモーダル画像各々の画素ごとにマルチモーダル特徴を生成するステップを含み、ニューラルネットワークは、第１のモダリティの画素から第１の特徴を抽出するように訓練された第１のサブネットワークと、第２のモダリティの画素から第２の特徴を抽出するように訓練された第２のサブネットワークと、第１の特徴と第２の特徴とを組み合わせてマルチモーダル画像のマルチモーダル特徴を生成するように構成されたコンバイナとを含み、この方法はさらに、マルチモーダル画像のペアのマルチモーダル特徴を比較することにより、上記ペアのマルチモーダル画像の画素間の密対応関係を推定するステップと、上記ペアにおけるマルチモーダル画像の画素間の密対応関係を出力するステップとを含む。

いくつかの実施形態に係る、マルチモーダル密対応関係を計算するための画像処理システム１００のブロック図を示す。 いくつかの実施形態で使用される人間の歩行運動シーケンスの一例を示す図である。 いくつかの実施形態に係る、画像のシーケンスを生成する、モダリティが異なる２つのセンサの概略図を示す。 いくつかの実施形態に係る、各時間ステップにおいてモダリティセンサの各々が同時におよび／または並行して画像を生成することを表している概略図を示す。 いくつかの実施形態に係る、異なる時間ステップのうちの１つにおけるマルチモーダル特徴の計算を示す図である。 いくつかの実施形態に係る、異なる時間ステップのうちの１つにおけるマルチモーダル特徴の計算を示す図である。 いくつかの実施形態に係る、マルチモーダル入力画像から画素ごとの特徴を計算することおよび画素ごとの各モダリティ特徴の連結の概略図を示す。 いくつかの実施形態に係る、異なる２つの時間ステップにおけるマルチモーダル入力画像間の密対応関係を計算する方法のフローチャートを示す。 いくつかの実施形態に係る、ニューラルネットワークのサブネットワークの共同訓練の概略図を示す。 いくつかの実施形態に係る、推定された対応する２つの画素に対するオプティカルフローベクトルの概略図を示す。 いくつかの実施形態に係る、一例としてのオプティカルフロー画像を示す図である。 いくつかの実施形態で使用される訓練の概略図を示す。 ある実施形態に係る訓練システムのブロック図を示す。 ある実施形態に係るレーダー反射画像の再構成の概略図を示す。

詳細な説明
図１は、いくつかの実施形態に係る、マルチモーダル密対応関係を計算するための画像処理システム１００のブロック図を示す。画像処理システム１００は、いくつかの実施形態に従い、人間の歩行シーケンスのマルチモーダル画像間の密対応関係を求めるために、マルチモーダル画像の特徴ベクトル、略して特徴を生成するように構成されている。画像処理システム１００は、格納されている命令を実行するように構成されたプロセッサ１０２と、プロセッサが実行可能な命令を格納するメモリ１０４とを含む。プロセッサ１０２は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数のその他の構成であってもよい。メモリ１０４は、ランダムアクセスメモリ（ＲＡＭ）、読出専用メモリ（ＲＯＭ）、フラッシュメモリ、または任意の他の適切なメモリシステムであってもよい。プロセッサ１０２は、バス１０６を通して入力および出力デバイスのうちの１つ以上に接続される。

これらの命令は、マルチモーダル画像の画素ごとの特徴を計算する方法を実現する。これらの特徴は、人体の同一部分に属するマルチモーダル画像のペアにおける画素について特徴が同様になるように計算される。言い換えると、何らかのメトリックに従うと、異なるマルチモーダル画像から得られたこれらの特徴間の距離は小さい。たとえば、ある実施形態において、マルチモーダル画像は深度画像およびカラー（ＲＧＢ）画像である。

画像処理システム１００は、ペアを構成するマルチモーダル画像間の特徴計算および対応関係計算を実行するように構成されている。画像処理システム１００は、訓練に使用されるグラウンドトゥルースデータ１３１と、ニューラルネットワーク重み１３２と、特徴計算１３３と、対応関係計算１３４とを格納するように構成された記憶装置１０８を含み得る。記憶装置１０８は、ハードドライブ、光学ドライブ、サムドライブ、ドライブのアレイ、またはこれらの任意の組み合わせを用いて実現することができる。画像処理システム１００の異なる実装形態はモジュール１３１～１３４の異なる組み合わせを有し得る。たとえば、ある実施形態は、事前に訓練されたニューラルネットワーク１３２を使用する。この実施形態において、グラウンドトゥルースデータ１３１はなくてもよい。

画像処理システム１００内のヒューマンマシンインターフェイス（human machine interface）１１０は、システムをキーボード１１１およびポインティングデバイス１１２に接続することができ、ポインティングデバイス１１２は、とりわけ、マウス、トラックボール、タッチパッド、ジョイスティック、ポインティングスティック、スタイラス、またはタッチスクリーンを含み得る。画像処理システム１００は、画像処理システム１００をディスプレイ装置１５０に接続するように構成されたディスプレイインターフェイス１４０にバス１０６を介して接続することができ、ディスプレイ装置１５０は、とりわけ、コンピュータモニタ、カメラ、テレビ、プロジェクタ、またはモバイル装置を含み得る。

画像処理システム１００は、マルチモーダル画像を提供する撮像装置１３０にこのシステムを接続するように構成された撮像インターフェイス１２８にも接続することができる。ある実施形態において、密対応関係計算のための画像を撮像装置から受ける。撮像装置１３０は、ＲＧＢＤカメラ、深度カメラ、サーマルカメラ、ＲＧＢカメラ、コンピュータ、スキャナ、モバイル装置、ウェブカム、またはこれらの任意の組み合わせを含み得る。

ネットワークインターフェイスコントローラ（network interface controller）１６０は、画像処理システム１００をバス１０６を介してネットワーク１９０に接続するように構成されている。ネットワーク１９０を介して、特徴および撮像入力ドキュメントならびにニューラルネットワーク重みのうちの１つまたはその組み合わせを含む画像１９５をダウンロードし、記憶および／またはさらに他の処理のためにコンピュータの記憶システム１０８に格納することができる。

いくつかの実施形態において、画像処理システム１００は、画像比較の結果に基づいて動作することが可能なアプリケーション装置１８５に画像処理システム１００を接続するように構成されたアプリケーションインターフェイス１８０にバス１０６を介して接続される。たとえば、装置１８５は、動いている人々のレーダー画像を再構成するために密対応関係を用いることにより、スループットが高いアクセスセキュリティを提供するシステムである。

図２は、いくつかの実施形態で使用される人間の歩行運動シーケンスの一例を示す。この運動は連続しているが、離散した時間ステップにおいてマルチモーダル画像を取得する。たとえば時間ステップｔ_ｉとｔ_ｊである。いくつかの実施形態において、画像処理システム１００は、マルチモーダル画像の運動シーケンスを受けるように構成されており、たとえば、各マルチモーダル画像は、第１のモダリティの画像と、対応する、第１のモダリティと異なる第２のモダリティの画像とを含む。いくつかの実装形態において、運動シーケンスは、連続するデジタルマルチモーダル画像のシーケンスを含む。代替の実装形態において、運動シーケンスは、連続するデジタルマルチモーダル画像のシーケンスにおける時間のしきい値以内の画像であるマルチモーダル画像のシーケンスを含む。しかしながら、この実装形態において、すべての画像が時間的に連続している必要はない。

図３Ａは、いくつかの実施形態に係る、画像のシーケンスを生成する、モダリティが異なる２つのセンサの概略図を示す。画像のシーケンスは複数の画像を含み、複数の画像の各々は、ある時間ステップで取り込まれる。明確にするために、各モダリティを個々のセンサとして表す。第１のモダリティは、モダリティ１センサ３０１を使用することにより、マルチモーダル画像シーケンス３１１を取得する。第２のモダリティは、モダリティ２センサ３０２を使用することにより、マルチモーダル画像シーケンス３１２を取得する。１つのセンサで２つのモダリティを取得してから画像シーケンス３１１および３１２に分けることも可能であることが理解される。

図３Ｂは、いくつかの実施形態に係る、各時間ステップにおいてモダリティセンサの各々が同時におよび／または並行して画像を生成することを表している概略図を示す。このようにすると、モダリティが異なる、対応する画像は、同一シーンの画像である。したがって、各モダリティ画像の内容は、ある時点における、人間である被写体を表しており、モダリティ画像間の時間的相違は最小である。時間ステップｔ_０は、センサ（複数のセンサ）による取得が開始される時点を表す。この時間ステップは、他の点では大きな意味はない。複数のモダリティの一例は、カラー（ＲＧＢ）および深度である。その他のモダリティは、赤外線（熱を含む）、推定された骨格の姿勢、マルチスペクトルであってもよい。

たとえば、いくつかの実施形態において、第１のモダリティは、第１のモダリティの画像が光の飛行時間に基づいて形成されるように、深度モダリティから選択され、第２のモダリティは、第２のモダリティの画像が光の屈折または反射で形成されるように、光学モダリティから選択される。これに加えてまたはこれに代えて、いくつかの実施形態において、光学モダリティの画像は、Ｘ線撮影画像、超音波画像、核画像（nuclear image）、コンピュータ断層撮影画像、核磁気共鳴画像、赤外線画像、熱画像、および可視光画像のうちの１つまたはこれらの組み合わせである。

これに加えてまたはこれに代えて、いくつかの実施形態において、画像のモダリティは、画像を取得するセンサのタイプによって定められ、たとえば、第１のモダリティの画像は、第２のモダリティの画像を取得したセンサのタイプと異なるタイプのセンサによって取得される。これに加えてまたはこれに代えて、いくつかの実施形態において、第１のモダリティの画像は深度画像であり、第２のモダリティの画像はカラー画像である。

図４Ａは、いくつかの実施形態に係る、時間ステップｔ_ｉにおける複数のモダリティ画像に対するニューラル（サブ）ネットワークを用いた特徴の計算、および、マルチモーダル特徴にするための連結を示す。各種実施形態において、マルチモーダル密対応関係画像処理システム１００は、マルチモーダル画像をニューラルネットワークに与えてマルチモーダル画像各々の画素ごとにマルチモーダル特徴を生成するように構成されており、ニューラルネットワークは、第１のモダリティの画素から第１の特徴を抽出するように訓練された第１のサブネットワークと、第２のモダリティの画素から第２の特徴を抽出するように訓練された第２のサブネットワークと、第１の特徴と第２の特徴とを組み合わせてマルチモーダル画像のマルチモーダル特徴を生成するように構成されたコンバイナとを含む。

このように、ニューラルネットワークは、密対応関係の精度を改善するのに適したマルチモーダル特徴を生成するように訓練される。そのために、マルチモーダル密対応関係画像処理システム１００は、マルチモーダル画像のペアのマルチモーダル特徴を比較することにより、このペアのマルチモーダル画像の画素間の密対応関係を推定し、このペアにおけるマルチモーダル画像の画素間の密対応関係を出力するように構成されている。

特徴計算１３３はいくつかの構成要素を含む。時間ステップｔ_ｉにおける第１のモダリティ画像４０１がニューラルネットワーク４１１に入力される。ニューラルネットワーク４１１は、特徴ベクトルを、または簡単に言うと特徴４２１を、計算する。同じ時間ステップｔ_ｉにおける第２のモダリティ画像４０２がニューラルネットワーク４１２に入力される。ニューラルネットワーク４１２は特徴４２２を計算する。連結モジュール４３０は、特徴ベクトルの連結により、特徴４２１と特徴４２２とを組み合わせて時間ステップｔ_ｉにおけるマルチモーダル特徴４２３にする。

図４Ｂは、いくつかの実施形態に係る、時間ステップｔ_ｉ＋１における複数のモダリティ画像に対するニューラル（サブ）ネットワークを用いた特徴の計算、および、マルチモーダル特徴にするための連結を示す。特徴計算１３３はいくつかの構成要素を含む。時間ステップｔ_ｉ＋１における第１のモダリティ画像４０３がニューラルネットワーク４１１に入力される。ニューラルネットワーク４１１は、特徴ベクトルを、または簡単に言うと特徴４４１を、計算する。同じ時間ステップｔ_ｉ＋１における第２のモダリティ画像４０４がニューラルネットワーク４１２に入力される。ニューラルネットワーク４１２は特徴４４２を生成する。連結モジュール４３０は、特徴ベクトルの連結により、特徴４４１と特徴４４２とを組み合わせて時間ステップｔ_ｉ＋１におけるマルチモーダル特徴４４３にする。

第１のモダリティ画像４０１の、たとえばモダリティ画像４０３の、異なる画像内容は、異なる特徴４２１、たとえば特徴４４１になることが、理解されるはずである。同様に、第２のモダリティ画像４０２の、たとえばモダリティ画像４０４の、異なる画像内容は、異なる特徴４２２、たとえば特徴４４２になる。

図５は、いくつかの実施形態に係る、マルチモーダル入力画像から画素ごとの特徴を計算することおよび画素ごとの各モダリティ特徴の連結の概略図を示す。図５は、時間ステップｔ_ｉにおける特徴４２３の計算を示す。同様の手順が時間ステップｔ_ｉ＋１における特徴４４３の計算のために実行される。

第１のモダリティの入力画像４０１は、画素のアレイ５１０を含む。明確にするために、モダリティ画像４０１には画素の小さなサブセット５１０のみが示されている。第１のモダリティの入力画像４０１は、高さ（height）（Ｈ）５１６×幅（width）（Ｗ）５１７×モダリティチャネル深度（depth）（Ｄ_１）５１８の解像度５１５を有する。第２のモダリティの入力画像４０２は画素のアレイ５２０を含む。明確にするために、モダリティ画像４０２には画素の小さなサブセット５２０のみが示されている。第２のモダリティの入力画像４０２は、高さ（Ｈ）５１６×幅（Ｗ）５１７×モダリティチャネル深度（Ｄ_２）５２８の解像度５２５を有する。

第１のモダリティの特徴４２１は、画素のアレイ５３０から求められる。明確にするために、特徴４２１の画素の小さなサブセット５３０のみが示されている。特徴４２１は、高さ（Ｈ）５１６×幅（Ｗ）５１７×特徴チャネル深度（Ｄ’_１）５３８の解像度５３５を有する。第２のモダリティの特徴４２２は、画素のアレイ５４０から求められる。明確にするために、特徴４２２の画素の小さなサブセット５４０のみが示されている。特徴４２２は、高さ（Ｈ）５１６×幅（Ｗ）５１７×特徴チャネル深度（Ｄ’_２）５４８の解像度５４５を有する。

マルチモーダル特徴４２３は、画素のアレイ５５０から求められる。明確にするために、マルチモーダル特徴４２３において１つの画素５５０のみが示されている。マルチモーダル特徴４２３は、高さ（Ｈ）５１６×幅（Ｗ）５１７×特徴チャネル深度（Ｄ’）５５８の解像度５５５を有する。マルチモーダル特徴４２３は、特徴４２１と特徴４２２との連結４３０によって形成される。したがって、マルチモーダル特徴４２３のチャネル深度Ｄ’５５８は、チャネル深度５３８（Ｄ’_１）と５４８（Ｄ’_２）との和、すなわちＤ’＝Ｄ’_１＋Ｄ’_２である。特徴４２１、４２２および４２３のＨおよびＷは、入力４０１および４０２のＨおよびＷと同一であるので、本開示は、これらを、それぞれチャネル深度Ｄ’_１、Ｄ’_２、Ｄ’を有する画素ごとの特徴としてラベル付けする。

図６は、いくつかの実施形態に係る、異なる２つの時間ステップにおけるマルチモーダル入力画像間の密対応関係を計算する方法のフローチャートを示す。時間ステップｔ_ｉで求められたマルチモーダル特徴４２３と、時間ステップｔ_ｉ＋１で求められたマルチモーダル特徴４４３とが対応関係計算１３４に入力される。ある実施形態において、対応関係計算１３４は特徴４２３の画素全体にわたって反復され、これは反復１としてラベル付けされる。反復１の画素ごとに、第２の反復がマルチモーダル特徴４４３の画素全体にわたって反復され、これは反復２としてラベル付けされる。反復１における検討中の画素の特徴と、反復２における検討中の画素の特徴とを比較することにより、類似性を判断する。反復１における画素の特徴に最も類似する反復２における画素の特徴が、対応関係として割り当られる。この類似性は、特徴間のＬ２距離として計算される。密対応関係６０１は、反復１の最後に出力される。

このように、システム１００は、入れ子型（nested）反復比較を用いて異なる画素のマルチモーダル特徴を比較するように構成されている。入れ子型反復比較は、ペアにおける第１のマルチモーダル画像のマルチモーダル特徴全体にわたって第１の反復を実行し、第１の反復における現在の画素の第１のマルチモーダル画像の特徴の各組み合わせごとに、このペアにおける第２のマルチモーダル画像のマルチモーダル特徴全体にわたって第２の反復を実行することにより、第１のマルチモーダル画像の現在の画素と、現在の画素のマルチモーダル特徴に最も近いマルチモーダル特徴を有する第２のマルチモーダル画像の画素との対応関係を定める。

これに加えてまたはこれに代えて、いくつかの実施形態は、ペアにおける第１のマルチモーダル画像のすべての画素のマルチモーダル特徴と、このペアにおける第２のマルチモーダル画像のすべての画素のマルチモーダル特徴の置換（permutation）との差を最小にする最適化問題を解き、それにより、この置換が、上記ペアのマルチモーダル画像の対応する画素を定める。たとえば、ある実施形態は、対応関係計算１３４を、以下の最適化問題として提示する。

画素ごとのマルチモーダル特徴４２３を積み重ねて行列Ｆ_１にし、画素ごとのマルチモーダル特徴４４３を積み重ねて行列Ｆ_２にする。行列Ｍは置換行列である。行列Ｗは最適化中に行列Ｍに対して制約を課すことができる。そうすると、上記最適化の終了後に、密対応関係６０１が置換行列Ｍによって決定される。

訓練
図７は、いくつかの実施形態に係る、ニューラルネットワークのサブネットワークの共同訓練の概略図を示す。ニューラルネットワーク７８０のサブネットワークをともに訓練することにより、マルチモダリティ入力画像のマルチモーダル特徴４２３および／または４４３を生成する。ニューラルネットワーク７８０は、ニューラルネットワーク重み１３２を形成するいくつかのニューラルサブネットワークを含む。ニューラルネットワーク７８０の訓練は、マルチモーダル入力画像の異なるペアを使用する。たとえば、マルチモーダル入力画像のペアは、入力モダリティ画像７０１および入力モダリティ画像７０２からなる第１のマルチモーダル入力画像と、入力モダリティ画像７１１および入力モダリティ画像７１２からなる第２のマルチモーダル入力画像とを含む。

先に述べたように、特徴計算１３３は、サブネットワーク４１１および４１２を連結４３０とともに用いることにより、各マルチモーダル画像のマルチモーダル特徴４２３および４４３を生成する。マルチモーダル特徴４２３および４４３は、埋め込み損失７２０に入力され、別のオプティカルフローニューラルネットワーク７３０にも入力される。オプティカルフローネットワーク７３０は、オプティカルフロー予測７４０を生成する。埋め込み予測をグラウンドトゥルースデータ１３１と比較することによって埋め込み損失を求める。オプティカルフロー予測をグラウンドトゥルース・オプティカルフロー１３１と比較することによってオプティカルフロー損失を求める。

損失は関数によって計算される誤差である。ある実施形態において、埋め込み損失７２０の関数は次のように定められる。

上記式（１）の関数Ｄ_１（）およびＤ_２（）はそれぞれマルチモーダル特徴４２３および４４３を生成するステップを表す。所定の画素ｐ_ｉについて、特徴４２３からの対応する特徴は、Ｄ_１（ｐ_ｉ）で示される。所定の画素ｐ’_ｉについて、特徴４４３からの対応する特徴は、Ｄ_２（ｐ’_ｉ）で示される。画素が対応関係にある場合（ｐ_ｉ⇔ｐ’_ｉであり、したがって式（２）のｙ_ｉ＝１）、式（１）における損失は「＋」記号の左側に従って計算される。上記画素が対応関係にない場合（式（２）のｙ_ｉ＝０）、式（１）における損失は「＋」記号の右側に従って計算される。口語体で記述すると、式（１）で特定された損失関数は、対応関係にある画素に対して類似する特徴を、対応関係にない画素に対して類似しない特徴を、実現しようと試みる。

訓練は、マルチモーダル入力画像７０１および７０２からＰ個の画素をランダムに選択し、訓練のためにグラウンドトゥルース・オプティカルフローデータ１３１を用いて７１１および７１２における対応する画素を求める。訓練はさらに、Ｑ個の非対応関係を選択する。対応関係および非対応関係の和は、Ｎ＝Ｐ＋Ｑである。画素の選択は、埋め込み損失７２０の計算のためのデータ７６０を提供している。

図８Ａは、いくつかの実施形態に係る、推定された対応する２つの画素に対するオプティカルフローベクトルの概略図を示す。ある画像８０１における画素ｐ_ｉは、もう１つの画像８０２における画素ｐ’_ｉと対応関係にある。オプティカルフローベクトルは、画像内で画素ｐ_ｉがｐ’_ｉに移動する方向である。オプティカルフローベクトルは、オプティカルフロー画像８１０に保存される。オプティカルフローベクトルは、画素ごとにオプティカルフロー画像８１０に保存される。

図８Ｂは、いくつかの実施形態に係る、一例としてのオプティカルフロー画像を示す。オプティカルフロー画像８１０は、高さ（Ｈ_ｆ）８２１×幅（Ｗ_ｆ）８２２×チャネル深度（Ｄ_ｆ）８２３の解像度を有する。チャネル深度８２３は２であり、Ｄ_ｆ＝２である。オプティカルフロー画像８１０の各チャネルは、フローベクトルの１つの成分を保存する。第１のチャネルＤ_ｆ，ｘ８３１は、水平方向の変化に相当するｘ成分を保存する。第２のチャネルＤ_ｆ，ｙ８３２は、鉛直方向の変化に相当するｙ成分を保存する。

いくつかの実施形態において、オプティカルフロー損失７５０は、予測されたオプティカルフロー画像の画素のフロー値と、グラウンドトゥルース・オプティカルフロー画像の画素のフロー値との差として計算される。

図９は、いくつかの実施形態で使用される訓練の概略図を示す。訓練９１０は、マルチモーダル画像ペア７００の訓練セット９０１と、対応する、グラウンドトゥルース・オプティカルフロー画像のセット９０２とを使用することにより、ニューラルネットワーク７８０の重み９２０を生成する。一般的に、人工ニューラルネットワークを訓練することは、訓練セットに鑑みて、「学習」アルゴリズムと呼ばれることもある訓練アルゴリズムを人工ニューラルネットワークに適用することを含む。訓練セットは、入力の１つ以上のセットと、出力の１つ以上のセットとを含み、入力の各セットは出力のセットに対応する。訓練セットにおける出力のセットは、対応する入力のセットが人工ニューラルネットワークに入力されたときに人工ニューラルネットワークが生成するのが望ましい出力のセットを含み、人工ニューラルネットワークはその後フィードフォワード方式で動作する。

ニューラルネットワークを訓練することは、人工ニューラルネットワーク内の接続に対応付けられる重みの値を計算することを含む。そのために、本明細書では特に明記しない限り、訓練は、完全に接続されたネットワークにおける接続、補間、および畳み込みのための重みの値を電子的に計算することを含む。埋め込み損失７２０およびオプティカルフロー損失７５０を合計し、確率的勾配降下法に基づく方法を用いてニューラルネットワークの重みを更新する。訓練は、何らかの望ましいパフォーマンスしきい値に到達するまで続く。

図１０は、ある実施形態に係る訓練システムのブロック図を示す。訓練システムは、バス３６によって読出専用メモリ（ＲＯＭ）２２に接続されたプロセッサ２０と、メモリ３８とを含む。訓練システムはまた、情報をユーザに対して示すためのディスプレイ２６と、複数の入力デバイスとを含み得るものであり、複数の入力デバイスは、キーボード２４、マウス３２、および、入出力ポート２８を介して装着し得るその他のデバイスを含む。その他のポインティングデバイス等のその他の入力デバイスまたは音声センサもしくは画像センサも装着することができる。その他のポインティングデバイスは、タブレット、数値キーパッド、タッチスクリーン、タッチスクリーンオーバーレイ、トラックボール、ジョイスティック、ライトペン、サムホイールその他を含む。Ｉ／Ｏ２８は、通信ライン、ディスク記憶装置３０、入力デバイス、出力デバイス、またはその他の入出力機器に接続することができる。メモリ３８は、表示画面の画素輝度値を含むディスプレイバッファ７２を含む。ディスプレイ２６は、ディスプレイバッファ７２から画素値を周期的に読み出してこれらの値を表示画面に表示する。画素輝度値はグレーレベルまたは色を表し得る。

メモリ３８は、データベース９０と、トレイナー８２と、ニューラルネットワーク７８０と、プリプロセッサ８４とを含む。データベース９０は、履歴データ１０６と、訓練データ８８と、テストデータ９２と、グラウンドトゥルースデータ９４とを含み得る。データベースは、ニューラルネットワーク７８０を用いる演算モード、訓練モードまたは保存モードからの結果も含み得る。これらの要素は先に詳述した通りである。

メモリ３８の中にはオペレーティングシステム７４も示されている。オペレーティングシステムの例は、ＡＩＸ、ＯＳ／２、およびＤＯＳを含む。メモリ３８の中に示されているその他の要素は、キーボードおよびマウス等の装置が生成した電気信号を解釈する装置ドライバ７６を含む。メモリ３８の中にはワーキングメモリ領域７８も示されている。メモリ３８の中に示されている要素のうちのいずれの要素もワーキングメモリ領域７８を利用することができる。ニューラルネットワーク７８０、トレイナー８２、オペレーティングシステム７４およびその他の機能が、ワーキングメモリ領域を利用することができる。ワーキングメモリ領域７８を、複数の要素間および１つの要素の中で分割してもよい。ワーキングメモリ領域７８は、プログラムの実行中に、通信、バッファリング、一時的な記憶、またはデータの記憶のために利用することができる。

図１１は、ある実施形態に係るレーダー反射画像の再構成の概略図を示す。この実施形態において、レーダー撮像システムは、マルチモーダル画像の運動シーケンスについて求めた密対応関係を用いて、動いている対象物のレーダー反射画像を再構成するように構成されている。この実施形態において、レーダー撮像システムは、レーダーアレイ１１１０および１つ以上の光センサ１１２０等の１つ以上の電磁センサを含む。たとえば人間である対象物１１３０は、レーダーおよび光センサの前で移動および変形し、その間にセンサがスナップショットを取得する。密対応関係システム１１４０は、光センサが取得したデータを処理し、対象物のトラッキングおよびスナップショット間の変形を生成する。密対応関係システム１１４０はまた、この変形の、対象物の基本姿勢に対するマッピングを提供する。このマッピングを、各レーダースナップショットで取得したデータとともに使用することにより、対象物のレーダー反射画像１１８０を再構成する１１７０。再構成したレーダー反射画像は、システムにより、基本姿勢で示されてもよく、変換され任意の姿勢で示されて、たとえばさらに他の検討用に画像の一部を強調表示１１９０するために、システムまたはそのユーザにとって好適な任意の修正が施されてもよい。

本発明の上記実施形態は、数々の方法のうちのいずれかで実現することが可能である。たとえば、上記実施形態は、ハードウェア、ソフトウェア、またはこれらを組み合わせたものを用いて実現することができる。ソフトウェアで実現する場合、ソフトウェアコードは、１つのコンピュータに設けられているかまたは複数のコンピュータに分散している任意の適切なプロセッサまたは一群のプロセッサ上で実行することが可能である。このようなプロセッサは、１つ以上のプロセッサが１つの集積回路コンポーネント内にある集積回路として実現することができる。しかしながら、プロセッサを任意の適切なフォーマットの回路を用いて実現してもよい。

また、本発明の実施形態は、その例を先に示した方法として実施することができる。この方法の一部として実行される動作の順序は任意の適切な方法で決定することができる。したがって、実施形態を、動作が例示された順序と異なる順序で実行されるように構成してもよく、これは、いくつかの動作を、例示した実施形態では一連の動作として示されているが、同時に実行することを含み得る。

請求項において、ある請求項の要素を修飾する「第１」、「第２」のような順序を表す用語は、それ自体が、請求項のある要素の、別の要素に対する優位、先行、もしくは順序、または、方法の動作を実行する時間的順序を内包している訳ではなく、単に、請求項の要素を区別するために、（順序を表す用語が使用されていない場合に）特定の名称を有する請求項のある要素を同じ名称を有する別の要素と区別するためのラベルとして使用されているにすぎない。

本発明を好ましい実施形態の例によって説明してきたが、その他さまざまな適合化および修正を本発明の精神および範囲の中で実施可能であることが理解されねばならない。したがって、添付の請求項の目的は、本発明の真の精神および範囲に含まれるこのような変形および修正すべてを網羅することである。

Claims (18)

1. マルチモーダル密対応関係画像処理システムであって、
   マルチモーダル画像の運動シーケンスを受けるように構成された入力インターフェイスを備え、各前記マルチモーダル画像は、第１のモダリティの画像と、対応する、第１のモダリティと異なる第２のモダリティの画像とを含み、モダリティが異なる、対応する画像は、同一シーンの画像であり、前記マルチモーダル密対応関係画像処理システムはさらに、
   前記第１のモダリティの画素から第１の特徴を抽出するように訓練された第１のサブネットワークと、前記第２のモダリティの画素から第２の特徴を抽出するように訓練された第２のサブネットワークと、前記第１の特徴と前記第２の特徴とを組み合わせて前記マルチモーダル画像のマルチモーダル特徴を生成するように構成されたコンバイナとを含むニューラルネットワークを格納するように構成されたメモリと、
   前記マルチモーダル画像を前記ニューラルネットワークに与えて前記マルチモーダル画像各々の画素ごとに前記マルチモーダル特徴を生成するように構成されたプロセッサとを備え、前記マルチモーダル画像の各々が、前記ニューラルネットワークに別々に与えられてそのマルチモーダル特徴が生成され、それにより、前記ニューラルネットワークは、複数回実行され、前記マルチモーダル画像の各々について一回実行され、前記プロセッサはさらに、前記マルチモーダル画像のペアのマルチモーダル特徴間の距離を計算することによって前記マルチモーダル画像の画素間の密対応関係を推定するように構成され、前記マルチモーダル密対応関係画像処理システムはさらに、
   前記ペアにおける前記マルチモーダル画像の画素間の前記密対応関係を出力するように構成された出力インターフェイスを備える、マルチモーダル密対応関係画像処理システム。
2. 前記第１のサブネットワークは前記第２のサブネットワークとともに訓練されて、前記マルチモーダル画像の前記マルチモーダル特徴とグラウンドトゥルースデータとの間の誤差を減じる、請求項１に記載のマルチモーダル密対応関係画像処理システム。
3. 前記誤差は、埋め込み損失とオプティカルフロー損失とを含み、前記埋め込み損失は、異なるマルチモーダル画像からなるペアにおける同一ポイントの対応する画素について前記ニューラルネットワークが生成したマルチモーダル特徴間の距離であり、オプティカルフロー損失は、前記異なるマルチモーダル画像からなるペアにおける前記同一ポイントの対応する画素について前記ニューラルネットワークが生成した前記マルチモーダル特徴から再構成されたオプティカルフローの誤差である、請求項２に記載のマルチモーダル密対応関係画像処理システム。
4. 前記ニューラルネットワークは、埋め込み損失サブネットワークとともに訓練され、かつ、オプティカルフローサブネットワークとともに訓練され、前記埋め込み損失サブネットワークは、異なるマルチモーダル画像からなる訓練ペアにおける同一ポイントの対応する画素について前記ニューラルネットワークが生成したマルチモーダル特徴間の距離を低減するように訓練され、前記オプティカルフローサブネットワークは、前記異なるマルチモーダル画像からなる訓練ペアにおける画素の前記マルチモーダル特徴から前記オプティカルフローサブネットワークが再構成したオプティカルフローの誤差を低減するように訓練される、請求項１に記載のマルチモーダル密対応関係画像処理システム。
5. 前記プロセッサは、前記マルチモーダル画像のペアにおける異なる画素の前記マルチモーダル特徴間の計算された距離を比較することによって前記密対応関係を推定し、マルチモーダル特徴間の距離が最小である画素間の対応関係を発見するように構成されている、請求項１に記載のマルチモーダル密対応関係画像処理システム。
6. 前記プロセッサは、入れ子型反復を用いて異なる画素のマルチモーダル特徴を比較するように構成されており、前記入れ子型反復は、前記ペアにおける第１のマルチモーダル画像のマルチモーダル特徴全体にわたって第１の反復を実行し、前記第１の反復における前記第１のマルチモーダル画像の現在の画素ごとに、前記ペアにおける第２のマルチモーダル画像のマルチモーダル特徴全体にわたって第２の反復を実行することにより、前記第１のマルチモーダル画像の前記現在の画素と、前記現在の画素のマルチモーダル特徴に最も近いマルチモーダル特徴を有する前記第２のマルチモーダル画像の画素との対応関係を定める、請求項５に記載のマルチモーダル密対応関係画像処理システム。
7. 前記プロセッサは、前記ペアにおける第１のマルチモーダル画像のすべての画素のマルチモーダル特徴と、前記ペアにおける第２のマルチモーダル画像のすべての画素のマルチモーダル特徴の置換との差を最小にする最適化問題を解き、それにより、前記置換が、前記ペアのマルチモーダル画像の対応する画素を定める、請求項５に記載のマルチモーダル密対応関係画像処理システム。
8. 前記第１のモダリティは、前記第１のモダリティの画像が光の飛行時間に基づいて形成されるように、深度モダリティから選択され、前記第２のモダリティは、前記第２のモダリティの画像が光の屈折または反射で形成されるように、光学モダリティから選択される、請求項１に記載のマルチモーダル密対応関係画像処理システム。
9. 前記光学モダリティの画像は、Ｘ線撮影画像、超音波画像、核画像、コンピュータ断層撮影画像、核磁気共鳴画像、赤外線画像、熱画像、および可視光画像のうちの１つまたはこれらの組み合わせである、請求項８に記載のマルチモーダル密対応関係画像処理システム。
10. 画像のモダリティは、画像を取得するセンサのタイプによって定められ、前記第１のモダリティの画像は、前記第２のモダリティの画像を取得したセンサのタイプと異なるタイプのセンサによって取得される、請求項１に記載のマルチモーダル密対応関係画像処理システム。
11. 前記第１のモダリティの画像は深度画像であり、前記第２のモダリティの画像はカラー画像である、請求項１に記載のマルチモーダル密対応関係画像処理システム。
12. 前記運動シーケンスは、連続するデジタルマルチモーダル画像のシーケンスを含む、請求項１に記載のマルチモーダル密対応関係画像処理システム。
13. 前記運動シーケンスは、連続するデジタルマルチモーダル画像のシーケンスにおける時間のしきい値以内の画像である前記マルチモーダル画像のシーケンスを含む、請求項１に記載のマルチモーダル密対応関係画像処理システム。
14. 請求項１に記載のマルチモーダル密対応関係画像処理システムが求めた前記密対応関係を用いて、前記マルチモーダル画像の前記運動シーケンスから、動いている対象物のレーダー反射画像を再構成するように構成された、レーダー撮像システム。
15. マルチモーダル密対応関係再構成のための方法であって、前記方法は、前記方法を実現する格納された命令と結合されたプロセッサを使用し、前記命令は前記プロセッサによって実行されると前記方法のステップを実行させ、前記方法は、
    マルチモーダル画像の運動シーケンスを受けるステップを含み、各前記マルチモーダル画像は、第１のモダリティの画像と、対応する、第１のモダリティと異なる第２のモダリティの画像とを含み、モダリティが異なる、対応する画像は、同一シーンの画像であり、前記方法はさらに、
    前記マルチモーダル画像をニューラルネットワークに与えて前記マルチモーダル画像各々の画素ごとにマルチモーダル特徴を生成するステップを含み、前記ニューラルネットワークは、前記第１のモダリティの画素から第１の特徴を抽出するように訓練された第１のサブネットワークと、前記第２のモダリティの画素から第２の特徴を抽出するように訓練された第２のサブネットワークと、前記第１の特徴と前記第２の特徴とを組み合わせて前記マルチモーダル画像のマルチモーダル特徴を生成するように構成されたコンバイナとを含み、前記マルチモーダル画像の各々が、前記ニューラルネットワークに別々に与えられてそのマルチモーダル特徴が生成され、それにより、前記ニューラルネットワークは、複数回実行され、前記マルチモーダル画像の各々について一回実行され、前記方法はさらに、
    前記マルチモーダル画像のペアの前記マルチモーダル特徴を比較することにより、前記ペアの前記マルチモーダル画像の画素間の密対応関係を推定するステップと、
    前記ペアにおける前記マルチモーダル画像の画素間の前記密対応関係を出力するステップとを含む、方法。
16. 前記第１のサブネットワークは前記第２のサブネットワークとともに訓練されて、前記マルチモーダル画像の前記マルチモーダル特徴とグラウンドトゥルースデータとの間の誤差を減じ、前記誤差は、埋め込み損失とオプティカルフロー損失とを含み、前記埋め込み損失は、異なるマルチモーダル画像からなるペアにおける同一ポイントの対応する画素について前記ニューラルネットワークが生成したマルチモーダル特徴間の距離であり、オプティカルフロー損失は、前記異なるマルチモーダル画像からなるペアにおける前記同一ポイントの対応する画素について前記ニューラルネットワークが生成した前記マルチモーダル特徴から再構成されたオプティカルフローの誤差である、請求項１５に記載の方法。
17. 前記第１のモダリティは、前記第１のモダリティの画像が光の飛行時間に基づいて形成されるように、深度モダリティから選択され、前記第２のモダリティは、前記第２のモダリティの画像が光の屈折または反射で形成されるように、光学モダリティから選択される、請求項１５に記載の方法。
18. 方法を実行するためにプロセッサが実行可能なプログラムであって、前記方法は、
    マルチモーダル画像の運動シーケンスを受けるステップを含み、各前記マルチモーダル画像は、第１のモダリティの画像と、対応する、第１のモダリティと異なる第２のモダリティの画像とを含み、前記方法はさらに、
    前記マルチモーダル画像をニューラルネットワークに与えて前記マルチモーダル画像各々の画素ごとにマルチモーダル特徴を生成するステップを含み、前記ニューラルネットワークは、前記第１のモダリティの画素から第１の特徴を抽出するように訓練された第１のサブネットワークと、前記第２のモダリティの画素から第２の特徴を抽出するように訓練された第２のサブネットワークと、前記第１の特徴と前記第２の特徴とを組み合わせて前記マルチモーダル画像のマルチモーダル特徴を生成するように構成されたコンバイナとを含み、前記マルチモーダル画像の各々が、前記ニューラルネットワークに別々に与えられてそのマルチモーダル特徴が生成され、それにより、前記ニューラルネットワークは、複数回実行され、前記マルチモーダル画像の各々について一回実行され、前記方法はさらに、
    前記マルチモーダル画像のペアの前記マルチモーダル特徴を比較することにより、前記ペアの前記マルチモーダル画像の画素間の密対応関係を推定するステップと、
    前記ペアにおける前記マルチモーダル画像の画素間の前記密対応関係を出力するステップとを含む、プログラム。

Images