JP6289564B2 - 構造物に対する変化を検出するための方法、装置およびコンピュータ可読媒体 - Google Patents

Description

この開示は、変化検出に関連する。特に、この開示は、構造物における時間的変化の検出に関連するが、制限はない。

トンネル、橋、ダム、道路および建物などの物理的構造物は、時がたつにつれて変化することがある。パイプの水位標による色の変化などのいくつかの変化は、エンジニアにとって重要でない。しかしながら、トンネルにおけるひびまたは漏れの出現などのいくつかの変化は、エンジニアにとって非常に重要であるし、それ故に構造物は、当該構造物に対する変化を識別するために定期的に監視される必要があり得る。構造物の外観検査は、当該構造物における変化を識別するよい方法であるが、非常に労働集約的となる傾向があるし、観察者不整合に影響されやすい傾向がある。

人手の検査の労働集約的な性質を弱めるアプローチは、初期の期間中の構造物の状態を記録するために、カメラなどの１つ以上の画像キャプチャデバイスを当該構造物に沿って動かすことである。そして、その後に取得される構造物の画像は、初期の期間中に取得された画像と比較することができる。

（関連出願の相互参照）
この出願は、２０１５年９月４日に提出された英国特許出願第１５１５７４２．３号に基づいていて、かつ、この優先権の利益を主張するものであって、その全内容が参照によってここに組み込まれる。

発明の態様および特徴は、特許請求の範囲において述べられる。

本開示の例が、以下の添付図面を参照してこれから説明されることになる。
図１は、画像キャプチャデバイスが配置されるトンネル覆工の断面図を示す。 図２は、コンピュータのマクロコンポーネントの典型的なブロック図を示す。 図３は、本開示に従う方法のステップを図解するフロー図を示す。 図４は、本開示に従うマシンビジョンシステムの概観を示している。ステージ４において、位置合わせされた、異なる時間にキャプチャされた画像モザイクのセットの間で変化が検出される。アプローチは、２チャンネル畳み込みニューラルネットワーク（ＣＮＮ）を変化検出のために使用する。偽陽性のより少ない異常な変化を検出するために、このネットワークは正常モードの画像変動に対してモデルを学習する。 図５は、以下のものを示す。（ａ）データセットから無作為にサンプリングされた６４×６４画素パッチの配列。（ｂ）（ａ）と同じであるが、自然な画像変動および位置合わせエラーを図解するために、各行が９個の異なる視点の同一の不変パッチを含む。（ｃ）変化したパッチの例：最上行はｔ_ｒからの異なる視点であり、最下行はｔ_ｑからの異なる視点である。 図６は、タイムラインを示し、ここで記述されるアプローチの評価のために収集されるデータセットを説明する。 図７は、ここで記述されるニューラルネットワークのためのトレーニングペア例を示す。 図８は、ここで記述されるニューラルネットワークをトレーニングするために使用されるポジティブ画像例を示す。 図９は、Ｄ_ｌｏｎｇデータセットに対する変化検出アプローチの評価の結果を示す。 図１０は、Ｄ_{ｓｈｏｒｔ}データセットに対する変化検出アプローチの評価の結果を示す。

現在の開示において、２つの画像（例えば異なる期間中に撮られた構造物の画像）が、構造物における変化を識別するために使用される。これは、画像における変化を識別するようにトレーニングされたニューラルネットワークを使用することによって達成される。ニューラルネットワークは、従来の完全接続ニューラルネットワークに比較して、はるかに使用のための計算が激しくないＣＮＮコンポーネントを持つ。ニューラルネットワークは、構造物に対する変化によらない（例えば、画像を取得するために異なるカメラを使用することから生じる、または、照明強度における変化から生じる）画像の差に対して無関心となるようにトレーニングされる。例として、同一の期間中だが異なるカメラを用いて取得された画像のペアが、ニューラルネットワークが係る変化に無関心となるようにトレーニングするために用いられ得る。一般に構造物における変化はめったに生じないので変化を示す画像例は不足し、変化を識別するようにニューラルネットワークをトレーニングするために人工的な変化が使用され得る。

図１は、画像キャプチャデバイス１１２の例が配置されるトンネル覆工の断面図を示す。画像キャプチャデバイス１１２は、当該画像キャプチャデバイス１１２のボディ１１６に据え付けられ、当該画像キャプチャデバイス１１２がトンネル覆工内に存在するときにトンネル覆工１１０のオーバーラップする複数の画像をキャプチャするように手配される、複数のカメラ１１４を備える。画像キャプチャデバイス１１２は、平台型トロリー（トンネル覆工１１０を長軸方向に沿って移動するために当該画像キャプチャデバイス１１２がこれに乗り得、それによって半径方向および長軸方向の両方でオーバーラップする複数の画像のキャプチャを可能にする）１１８をさらに備える。画像キャプチャデバイス１１２は、キャプチャされた画像を記録し、その後にそれらを無線でコンピュータ１２２へと伝達するように手配されたメモリおよび通信モジュール１２０をさらに備える。

図２は、コンピュータ１２２のマクロコンポーネントの典型的なブロック図を示す。コンピュータ１２２は、次のうち１つ以上を介して当該コンピュータ１２２に提供され得る場合にコンピュータ可読命令を実行するように手配されるマイクロプロセッサ２１０を備える：マイクロプロセッサ２１０に外部ネットワーク（例えばインターネット）と通信できるようにするように手配されたネットワークインターフェース２１２；無線インターフェース２１４；キーボード、マウス、ディスクドライブおよびＵＳＢ接続を含む複数の入力インターフェース２１６；ならびに、メモリ２１８中に格納された命令およびデータの両方を検索してマイクロプロセッサ２１０へと提供できるように手配されたメモリ２１８。さらに、マイクロプロセッサ２１０は、ユーザインターフェースが表示され得、さらに処理作業の結果が提示され得る、モニタ２２０に連結される。

作業中に、画像キャプチャデバイス１１２は、トンネル覆工１１０に沿ってトラバースし、また、画像が複数のカメラ１１４によって取得されメモリおよび通信モジュール１２０に格納される。その後に、キャプチャデバイスに記録された画像は、コンピュータ１２２へと送信され、そのメモリ２１８に格納される。トンネル覆工１１０の係る初期スキャンに続いて、その後の期間中（例えば、トンネル覆工を再度検査する時であると考えられる時）に、画像キャプチャデバイス１１２はトンネル覆工１１０内に再度配置され、１つ以上のさらなる画像が要求される。トンネル覆工１１０に対する何らかの変化が生じたか否かを識別するために、さらなる画像が初期に取得された画像と比較することができるように、当該さらなる画像はコンピュータ１２２へと送信される。

初期に取得された画像とその後に取得された画像との差は、構造物への根本的な変化によることに加えて、画像間の位置合わせ不良（例えば、異なる位置から撮られた画像により、または、異なる時点に撮られたが適切に位置合わせされていない画像により生じる）、画像キャプチャ中に用いられた光源の方向および強度（異なる照明用具が用いられる場合、閃光電球がその耐用期間中に衰える場合、または、異なる閃光電球が異なる量の光を生み出す場合（異なる画像に異なる陰影をもたらすことがある）に生じ得る）、などの多くの他の要因によることもあり得る。ここに記述されるアプローチは、トレーニングされたＣＮＮを用いて、構造物に対する変化によらない画像の差の存在に関わらず構造物における変化を識別する。

図３は、本開示に従う方法のステップを図解するフロー図である。ステップＳ３１０では、画像キャプチャデバイス１１２は、構造物（この場合にはトンネル覆工１１０）に沿ってトラバースし、この間に複数のカメラ１１４によって第１の画像セットがキャプチャされ、コンピュータ１２２へと伝達され、当該コンピュータ１２２によって受信される。第１の画像セットは、第１の期間中にキャプチャされ（それ故に当該第１の期間に関連付けられ）、初回におけるトンネル覆工１１０の状態の記録を表す。第１の画像セットは、複数のカメラ１１４のうちの異なるカメラを用いて取得される。第１の画像セットのいくつかの画像の部分はオーバーラップすることになり、またそうである場合には複数の画像がトンネル（または構造物）の同一部分をキャプチャすることになる。しかしながら、少なくともカメラ構成における不整合により、トンネルの同一部分のものである画像の部分は、たとえそれらが同時に取得されたとしても、おそらく異なる。

続いて、画像キャプチャデバイス１１２は、第２の期間中に、構造物に沿って再度トラバースし、第２の画像セットが第２の期間と関連付けられるように、当該第２の期間中のトンネル覆工１１０の状態の記録を表す第２の画像セットをキャプチャする。第２の画像セットは、それから、コンピュータ１２２へと伝達され、当該コンピュータ１２２によって受信される。

ステップＳ３１２では、第１の画像セットは、構造物内の画像キャプチャデバイス１１２のトラバースのセクションに関連付けられるチャンクで互いに対して処理される。特に、点群およびカメラ姿勢推定を返すＳｆＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）分析が使用される。同じことが第２の画像セットに対してもなされる。第１および第２の画像セットの画像同士の粗い位置合わせを提供するために、第１の画像セットのチャンクに関連付けられる点群が第２の画像セットのチャンクに関連付けられる点群に精密に位置合わせされる前に。この場合には、プロクルステス位置合わせアプローチが用いられるが、他の位置合わせアプローチ（チャンクベースまたは別のアプローチ）が同様に用いられ得る。ステップＳ３１４では、コンピュータ１２２内で受信される変換画像セットを形成するために、第２の画像セットの各チャンクの画像が位置合わせの結果によって変換される。第２の画像セットは第２の期間に関連付けられるので、変換画像セットも第２の期間に関連付けられる。

観察者に位置合わせされた画像セットを視覚化できるようにするために、変換された画像は単一の画像へとモザイク化される。これは、構造物（トンネルの場合にはシリンダ）の表面の形状について幾何学的な仮定をし、変換された画像を混合する前に当該変換された画像を当該表面に投影することで達成される。

ステップＳ３１６では、第１の画像セットからの画像と、変換画像セットから選択される空間的に対応する画像とが、２チャンネルＣＮＮへの第１および第２のチャンネル入力として提供される。空間的に対応する画像を選択するために、変換画像セットにおいて、第１の画像セットからの画像と重複する画像が探索され、オプションとして探索は第１の画像セットからの画像と最も大きなオーバーラップを持つ画像を探し得る。第１および第２のチャネルの提供の結果、ＣＮＮは第１および第２の期間の間での構造物に対する変化の存在／不存在を示す変化マスクを出力する。１つの可能性として、変化マスクは第１および第２のチャンネル入力として用いられた画像の一方または両方と同じサイズの２進配列であって、画素毎に「１」で変化の存在および「０」で変化の不存在（逆もまた同様）を示す。第１および第２のチャンネル入力として用いられた画像が、部分的にのみオーバーラップし、または、異なるサイズである場合に、変化マスクは、第１および第２のチャンネル入力として用いられた画像の１つに対する変化の存在／不存在を示すように手配され得る。

オプションとして、ステップＳ３１８では、第１および第２のチャンネル入力として用いられた画像の一方または両方が、構造に対する変化に関連付けられる、または、変化に関連付けられない、のどちらかとして分類される。そのように分類されない画像は、それから人手で検査され得る。さらなる可能性として、ＣＮＮは、様々な種別の変化を示す様々な出力をマスクにおいて提供するようにトレーニングされ得る。例えば、ＣＮＮは、ひび変化を示すマスクにおいて値を提供するために人工的なひび画像を用いてトレーニングされ得、同様に変色変化を示すマスクにおいて値を提供するために人工的な変色画像を用いてトレーニングされ得る。

用いられるＣＮＮのアーキテクチャは、２チャンネルアプローチを使用し、ここで、第１の層は、フィルタが第１および第２のチャンネル入力の両方の画像の両方の画素に作用するように手配される、畳み込み層である。オプションとして、第１の畳み込み層に３つのさらなる畳み込み層が続き、最初の４つの層の深さはそれぞれ３２、６４、１２８および５１２であり得る。オプションとして、畳み込み層（または複数の畳み込み層）に２つの全結合層が続き、これらは、深さ５１２であり得、変化ありの状態と変化なしの状態との間で入力ペアを分類するソフトマックス層が続き得る。最初の３つの畳み込み層に、それぞれ、２×２ マックス・プーリングが続き得る。および／または、全ての隠れ層は、ＲｅＬＵ非線形性によって抑えられ得る。第１のレイヤのフィルタは、両方の入力チャンネルの６４×６４画素グレースケールパッチ入力に直接的に作用する７×７×２画素フィルタであり得、ここで、各入力はゼロ平均および単位分散を持つように正規化される。

１つの可能性として、変化マスクにおいて変化の不存在を示すようにＣＮＮをトレーニングするために、ＣＮＮは、同じ期間（共通の期間）中にキャプチャされた画像のペア（ネガティブトレーニング画像）を提供される。例えば、オーバーラップし、トンネルのトラバース中に隣接カメラによってキャプチャされた画像。画像は同じ期間中にキャプチャされたので、画像化された構造物の一部におけるどのような差異も、変化によるものとなることはなく、その代わりに他の要因（例えば、カメラ構成、センサ応答、照明角度などにおける差異）によるものとなる。係るアプローチは、それ故、構造物に対する変化によらない画像差へのＣＮＮの感度を弱めるのに役立つ。

１つの可能性として、変化マスクにおいて変化の存在を示すようにＣＮＮをトレーニングするために、ＣＮＮは、（画像のうち一方は変化をシミュレートするように修正された）画像のペア（ポジティブトレーニング画像）を提供される。例えば、ひびの出現、広がり、および／または、伸長、および／または、変色した水位標若しくは領域の出現または拡大が、修正された画像においてシミュレートされ得る。修正は、摩損、エンジニアからのマーキング、メンテナンス・ステッカー、剥落、汚れ、植物／かびの成長、漏れ、昆虫、足跡などを、追加的にまたは代替的に、シミュレートするために行われることがある。シミュレーションは、並進、回転、反転、およびまたは、テクスチャ、ノイズ、照明勾配、照明バイアスの画像への適用、および／または、背景画像と画像を混合すること、をさらに備え得る。図８は、シミュレートされた変化（第２行）が加えられることで後に修正された例画像を第１行に示し、最初の２つの行の差画像を第３行に示す。シミュレートされた変化の方向およびサイズは、乱数若しくは擬似乱数生成器、または、フラクタルブラウン運動シミュレータなどの別のアプローチを用いて決定され得る。シミュレートされた変化を用いることの利点は、実データにおける変化の発生率が非常に小さくなり得るということである。例えば、およそ１２００万枚の画像をもたらすかもしれない非常に大きな構造物の画像化が、変化を持つ数千枚（これはニューラルネットワークのトレーニングに使用するのに十分でないかもしれない）の画像を生み出すだけとなるかもしれない。

期間がここで言及された場合に、所与の期間は、複数の画像が瞬間的に取得される場合には、単一の時点のみを指す程度に短くなり得るが、大きな構造物（例えば、数十キロメートル以上のトンネル）について画像が取得されることになるのに要する時間量を反映するために、幾らかの分、時間または日にすらもおよび得る。さらに、第１および第２の期間の間には一般的には時間ギャップが存在することになる。例えば、急速な構造変化が予想されるケースでは１日またはそれ未満の時間ギャップ、または、他のケースでは数週間、数ヶ月または数年もの時間ギャップの後に、第２の期間は第１の期間に続いて起こり得る。

ＣＮＮは第１の画像セットからの画像と変換画像セットからの空間的に対応する画像とを提供されることに関して上述したが、ＣＮＮは、第１および第２の画像セットからの画像、または、単に異なる時間に取得された構造物の２つの画像、を同様に提供される可能性がある。

変換画像セットを形成するために第２の画像セットの画像が変換されることに関して上述したが、別の可能性として、第１の画像セットが代わりに変換されるかもしれず、ＣＮＮは第２の画像セットからの画像と変換画像セットからの空間的に対応する画像とを提供される。

トンネルに関して上述したが、ここで記述されるアプローチは、他の種別の構造物、例えば、水路、道路、ダムおよびブリッジなどに同様に提供されるかもしれない。

ここで記述されるアプローチは、トンネルに沿って平台型のトロリーを動かすことによるのとは異なるやり方（例えば、１つ以上のカメラが、モノレールからつり下げられ得、または、平底荷船に浮かべられ得る）で取得される画像を用いて使用され得る。同様に、画像セットのチャンクの位置合わせを上述したが、異なる位置合わせアプローチが同様に使用されるかもしれず、位置合わせステージは省略すらされ得る。さらに、画像は、１つのパーティ（例えば、下水の画像を収集することを割り当てられた契約者）によって取得され得、それから第２のパーティによって処理され、ここで記述されるアプローチのいくつかは、画像を取得するパーティを伴わないパーティによって行われ得る。

カメラを用いて取得された画像に関連して上述した。そのように、画像は、人間の可視スペクトル内で取得され得、および／または、人間の目に見える範囲を越えて取得された光（例えば、（おそらく、取得時の構造物の予測温度について補償が適用された）赤外線または熱画像）を含み得る。１つの可能性として、画像は、１つまたは複数のガンマカメラまたはガイガーカウンタを用いて得られたかもしれない。カメラが画像を独力で取得するのに十分な環境光が存在しない状況では、カメラは１つ以上の光源（例えば常設光、時限フラッシュ）を提供され得る。

例としてトンネル覆工に関して上述したが、ここで記述されるアプローチは、橋、ダム、道路および建物に限られないがこれらを含む他の構造物に適用されるかもしれない。画像キャプチャデバイスが平台型のトロリーに据えられた複数のカメラを備える図１に関して上述したが、ここで記述されるアプローチは、他の画像キャプチャおよび／または作成デバイスを用いて取得される画像に適用されるかもしれない。さらに、図１の画像キャプチャデバイスは、キャプチャした画像を記録し、その後にそれらを無線でコンピュータへと伝達するように手配されるとして記述されたが、コンピュータへの伝達は、他の手段（例えば、ケーブル転送、および／または、コンピュータ可読媒体の物理的移動など）によりなされ得る。

ここでは、構造物に対する変化による構造物の画像ペア間の差異と、構造物に対する変化によらない差異とを区別するための２チャンネルＣＮＮのトレーニングが記述される。それから、ニューラルネットワークは、構造物における変化を識別するために当該構造物の画像に適用される。

ここで記述されるアプローチは、コンピュータ可読媒体（これは非一時的なコンピュータ可読媒体であり得る）上で具体化され得る。ここで記述される方法のいずれかまたは全てをプロセッサに実行させるように、当該プロセッサでの実行のために手配されるコンピュータ可読命令を保持するコンピュータ可読媒体。

ここで使用される場合のコンピュータ可読媒体という用語は、プロセッサに特定のやり方で動作をさせるためのデータおよび／または命令を格納する任意の媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。不揮発性媒体は、例えば、光学または磁気ディスクを含み得る。揮発性媒体は、ダイナミックメモリを含み得る。記憶媒体の典型的な形態は、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、任意の他の磁気的なデータ記憶媒体、ＣＤ−ＲＯＭ、任意の他の光学的なデータ記憶媒体、穴または突起の１以上のパターンを持つ任意の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、ＮＶＲＡＭ、任意の他のメモリチップまたはカートリッジを含む。

構造物に対する変化に言及される場合に、変化は、構造物自体の内部にある（大量の構造物に浸透するひび）かもしれないし、構造物の表面にある（構造物の表面上の変色、堆積物または他の蓄積物）かもしれない。

さらに、制限的でない実施例が以下に記述される。
（実施例）
トンネル表面の多視点における変化の検出のためのシステムがここでは記述される。ロボット的な検査装置によって収集されたデータから、表面のパノラマを構築し、異なる時間インスタンスからの画像を位置合わせするために、ＳｆＭパイプラインが用いられる。位置合わせされた画像の間で、細いひび、水の進入および他の表面損傷などの変化を高い信頼度で検出することは、難しい問題（所与のデータセットに対するできる限り最高の性能を達成するには、以前は、サブピクセル精度およびノイズ源の注意深いモデル化を必要とした）である。不可避の位置決めエラーおよびイメージセンサ、キャプチャ設定および照明における変化などの要因により、タスクはさらに複雑となる。

ここに記述されるアプローチは、２チャンネルＣＮＮを用いて変化を検出することである。ネットワークは、略位置合わせされた、異なる時間に撮られた画像パッチのペアを受理し、異常な変化を検出するために当該ペアを分類する。ネットワークをトレーニングするために、人工的に生成されたトレーニング例およびトンネル表面の同質性が利用され、手作業でラベリングする労力のほとんどが省かれる。方法は、数ヶ月に亘って本物のトンネルから収集されたフィールドデータについて評価され、既存のアプローチをしのぐことを実証する。

（１ 導入）
移動カメラによって異なる時間に撮られた画像のペアの間での変化検出の問題が、ここでは取り組まれる。動機付けは、表面上の異常な視覚的変化を検出するために用いられることになる非接触検査システムの発展であり、特に、トンネル覆工およびアプローチが図４に要約される。この適用は、インフラストラクチャ時代のため社会的な重要性を増しており、既存の、労働集約的であることが多い方法が提供できるよりも効率的なメンテナンスを必要とする。問題は、いくつかの理由のために難しい。

ｉ）変化のサイズおよび性質。関心のある変化（例えば、細いひび、または、水進入、有機体の成長、さび付きおよび／またはコンクリート剥落によって生じる変色のパッチの幅の肥大化）は、しばしば小さくかつ微妙である。この特性は、変化検出問題の性質から持ち上がる。変化が測定される期間が減少するにつれ、どのアルゴリズムも画像解像度およびセンサノイズによって定められた固有限界に押し当てられる。ここで調べられたデータセットでは、画素の０．０７％未満が関心のある変化としてラベリングされた。異なるシナリオでは、比率は数桁低くなるかもしれない。さらに、ひびなどのいくらかの変化は、事前に知られておりはっきりと検出され得るが、他の変化ははっきりとモデル化するには稀すぎるかもしれないし、画像変動の正常モードに対して異常であるとして検出可能であるに過ぎないかもしれない。

ｉｉ）迷惑要因。観察される経時的変化の相当な部分が、取得システムの内部の（異なる画像センサ、キャプチャ設定または照明設備など）、または、外的な原因による（例えば、温度および湿度の季節的変化）、迷惑因子によって生じている。トンネルはアウトドアシーンなどの他の環境に比べて相対的に静的であるが、湿度およびほこりのレベルなどの外的条件は、視覚的外観において十分な変動を生じさせ得、より重要な関心のある構造変化を覆い隠す。図５（ｂ）は、異なる時間および条件で撮られた、対応する不変の画像パッチのランダムセットからの外観における変動を図解する。

ｉｉｉ）位置合わせエラー。センサ位置およびトンネル形状のどちらも高い信頼度で決定することができないので、変化検出に必要とされる画素精度位置合わせを実現することは難しい。不正確またはモデル化されていない形状は、画像が再投影される時に視差エラーを引き起こす。加えて、（例えばトンネルの湿度レベルにおける変化によって生じた）シーン中の全面的な変化は、いかなる単一の画像の特徴ベースの位置合わせも不可能にするかもしれない。

ここに記述されるアプローチは、機械学習を通じて、位置合わせと迷惑源への鈍感さとの両方を改善することの必要性を逃れる。アプローチにおいて、トレーニングされた２−ＣＮＮは、画像パッチのペアを入力として取り、差異または変化の大きさを返す。ＣＮＮは、画像変動性のいくつかのモードに対する不変性の学習において非常に効率的となることを近年示された。ＣＮＮは、しかしながら、大量のラベリングされた画像データを必要とする。同じ時間の異なるカメラからの視点の位置合わせを取ることで、ネガティブペア（すなわち、異常な変化が生じていないパッチ）への略無制限のアクセスが提供される。これは、関心のある変化の生じていない領域からの異なるテスト時間に亘るネガティブペアのより小さなデータセットで補うことができる。これは、テストデータの小さなサブセットを粗くラベリングするという限られた労力を必要とする。同時に、これらのネガティブペアは、照明、位置合わせエラーおよびカメラ姿勢変動からの自然な迷惑変動の多くをキャプチャする。ポジティブ（変化した）ペアの生成のために、人工的に生成された変化と共に、無作為にサンプリングされたペアが使用される。（図５（ａ）に図解される）トンネル環境の同質性は、ネットワークが、扱いやすい量のラベリングされたグラウンドトルースからうまく一般化することを可能にする。

アプローチは、異なる時間にキャプチャされた本物のトンネルからの３つのデータセットを用いて評価された。トレーニングされた検査官は、キャプチャと、テスト用のグラウンドトルース変化画像のセットとの間でトンネルにおける実際の変化をシミュレートすることを課せられた。我々は、既知の実装に対する比較をし、また、現場において第２のトレーニングされた検査官によって行われた人手の検査の結果に対する比較をする。後者は一般に依然としてトンネル検査のための最適な方法であるから、産業に特に重要である。我々の知るところでは、これはこの種の比較の最初の報告である。

（２ 背景）
多視点表面検査に関する変化検出の問題の定義が続く。時間ｔｒおよびｔｑに異なる位置および異なるイメージング条件でそれぞれ表面を撮った参照画像Ｉｒおよびクエリ画像Ｉｑを仮定すると、関心のある変化を受けたＩｑ内の全ての位置では１であって他の位置では０である２進の変化マスクＣが求められる。実際には、２つの画像は、この場合にはＳｔｒｕｃｔｕｒｅ−ｆｒｏｍ−Ｍｏｔｉｏｎ（ＳｆＭ）から回復された形状上での表面フィッティングを介して取得されるシーンの表面モデルを用いて、共通の２Ｄ座標フレームへと位置合わせされたと仮定される。

従って、変化検出の問題は、画素パッチの任意の画素ｐについて、以下を判定することである。

関数ｆは、２つの画像パッチの間の変化の尺度であって、ドメイン知識を用いて設計されることもあるし、所与のデータセットから学習されることもある。変化の定義は、常に問題に特有である。このアプローチでは、ひび、水の進入、さびおよび表面損傷などの構造物の状態における局所変化が求められる。

画素精度の位置合わせは、構造変化検出のものを含む多くの状況で、実現するのが非常に困難である。都市の変化検出において、例えば、カメラ姿勢、形状および放射計の変動は多くの場合かなり厳しい。ここで記述されるアプローチは前処理ステップとしておおよその位置合わせのために形状モデルを使用し得るが、粗く位置合わせされた画像パッチのペアの間で不自然な変化を検出するようにトレーニングされたＣＮＮを用いることで、より細かい位置合わせまたは放射量補正のいくらかの必要性が避けられる。特に、類似性関数ｆは、例えば６４×６４画素のパッチを用いて画像パッチを分類するように学習される。ＣＮＮは、変化を検出するために、タスクおよび人工的なデータの混合で直接的にトレーニングされる。１つの可能性として、使用されるパッチペアの全てが設計により同様のサイズ（およそ２０×２０ｍｍに対応）を持つので、より大きなスケールからの追加のパッチは、別個の入力チャンネルに組み入れられない。

（３ システム記述）
変化検出ステージを伴い得る、アプローチのメインステップの概略が、これから図４を参照して記述されることになる。

（画像キャプチャ） ステージ１では、オーバーラップする３６０度の画像リングが、モノレールに沿って走行する自律較正カメラシステムによって収集される。画像は、シーン鏡面性による画像変動モードを除去または減じるために、偏光された照明および直交偏光されたレンズフィルタを用いて撮られる。

（再構成および位置合わせ） ステージ２において、異なる時間からの画像は、疎な点群（側面図が示される）およびカメラ姿勢推定を返すＳｔｒｕｃｔｕｒｅ−ｆｒｏｍ−Ｍｏｔｉｏｎ（ＳｆＭ）を介して独立に処理される。データは、およそ３メートル長の断片に対応する、オーバーラップする並列のサブセットで処理される。３Ｄ再構成のための最適なパイプラインは、マッチングのためにＡｃｃｅｌｅｒａｔｅｄ ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を用い、完全な再構築を保証するために閉環チェックを加えるＶｉｓｕａｌＳＦＭシステムである。画像のリングは、再構成中の効率性およびロバスト性の両方を保証するために、既知のそれらのすぐ隣のリングと独立に扱われる。隣接する再構成されたサブセットは、確実な特徴対応のサブセットへのプロクルステス位置合わせを介して推定される相似変換を用いて、区分的に厳格な方法で時間を越えて位置合わせされる。大きな画像セットへのこの大域的な位置合わせは、単一の画像が、外観において大きな変化がある状態でさえも依然としてうまく位置合わせすることができることを保証する。

（視覚化のためのモザイク化） 次に、円筒形の仮定を用いて、ｔ_ｒからの再構築されたサブセット毎に表面モデルが推定される。表面の近くにある点は当該表面に直接的に投影され、別個のカメラ姿勢はモザイク位置合わせエラーを低減させるために改良（後方交会法）される。モザイクは、全ての画像を表面モデルへと再投影し、それらを混合することで得られる。これは、表面からはずれた領域に対してゴースト・アーチファクトを結果として生じることがあるが、そうでなければ画素幅（０．３ｍｍ幅）のひびの外観検査に対して十分に正確な結果を生み出す。

（変化検出方法） 変化検出のために、モザイク化領域を６４×６４画素パッチへと分割し、それからパッチ毎に最近隣のカメラからの画像のみを投影することにより、第２のモザイクセットが生成される。そのようにすることで、２つの目標が達成される。第１に、各ブロック内でパッチはアーチファクトの合成を免れ、第２に、利用可能なオーバーラップ画像ペアの全てを独立に処理するために必要な計算コストを回避する。

ＣＮＮアーキテクチャは、変化した状態と不変の状態との間で入力ペアを分類するソフトマックス層と共に、深さが３２、６４、１２８および５１２である４つの畳み込み層と、それから深さ５１２の２つの全結合層とを備える、２チャンネルアプローチである。２×２ マックス・プーリング、そしてＲｅＬＵ非線形性による全ての隠れ層が、最初の３つの畳み込み層に続く。入力は２チャンネルであって、７×７×２画素フィルタの第１の層が、ゼロ平均および単位分散を持つように正規化された６４×６４画素のグレースケールパッチ入力に直接的に作用する。これは、より深い層まで分離を維持することに比べて実際は好ましいかもしれない。これについての１つの信じられ得る理由は、高周波数情報がパッチ間で直ちに比較でき、そうでなければプーリングで失われたかもしれない価値のある類似性情報を提供することである。

（４．１ 人工的なひび生成） 人工的なひび画像は、本物の画像パッチにひびマスクを混合することによって、トレーニング用に生成される。各マスクは、画像パッチを包含する領域内のひびサポート点の小さなセットを無作為にサンプリングすることによって作成される。最小全域木がサポート点に亘って形成され、木からの枝は新たなサポート点を生成するために再帰的に再分割され、これらの各々は予め生成されたパーリンノイズマップに従って無作為に摂動させられる。結果として生じるひびマップは、ラスター化され、第２のパーリンノイズマップによって決定される幅を持ち、結果として現実的なランダムひび画像発生器になる。

（５ データセット）
（テスト） ２つの異なるテストデータセットを生み出すために現場からデータが収集および処理された。スケジュールは、タイムラインおよび評価のために収集されるデータセットを示す図６において詳述される。ひび、漏れ、さびおよびステッカーなどの人工的な変化が、Ｉ_ｔｉおよびＩ_ｔ２のキャプチャの前にトンネル表面に加えられた。いくつかの例が図５（ｃ）に示される。変化は、専門の検査官によって加えられ、可能な限り現実的となるように設計された。９０個の変化が、合計で（各インスタンスにおいて４５個）加えられ、テストセットにおける全てのモザイク化画素の合計０．０７％未満に及ぶ。

結果として生じる変化検出データセットＤ_ｌｏｎｇおよびＤ_{ｓｈｏｒｔ}は、２ヶ月および１日に亘る変化をそれぞれ比較する。より短い時間フレームでは、テストプロトコルの一部として故意に加えられたもの以外の新たな欠陥が生じる可能性がより低いので、１日のデータセットＤ_{ｓｈｏｒｔ}は、自動変化検出にとって扱いやすい。このインスタンスにおいて加えられた変化は、ひびの幅および長さの変動を含んでおり、微妙で人間の観察者には検出するのがより困難であった。Ｄ_ｌｏｎｇは、より難しいデータセットであって、異なるカメラ、照明設備および２ヶ月に亘るより現実的な時間的変化を用いる。ここでの変化も、新たなひび、物体または欠陥の出現を含む。

人手の検査は、Ｉ_ｔｉおよびＩ_ｔ２のそれぞれのキャプチャの前に第２の専門の検査官によって行われた。検査官は、各テストの前にどのような種類の変化が認識されるかを知らされていて、第２の検査中には第１の検査からの彼独自のノートを参考にすることが認められた。

（ＣＮＮのトレーニング） ｔ_ｒおよびｔ_ｑからのモザイク化画像の単一の対応ペアをトレーニングセットとして取り、４個の別個のネットワークが、それぞれテーブル１から１つのトレーニングセット（ｉ、ｉｉ、ｉｖおよびｖ）を用いて、ランダムな初期化からセクション４において記述されたアーキテクチャを用いてトレーニングされた。トレーニングセットは、ポジティブ（変化した）サンプルとネガティブ（不変の）サンプルとに等分され、ネガティブサンプルは、比較の公平のためにトレーニングセット（ｉ−ｉｖ）に亘って再使用され、ポジティブペアサンプリングのために異なる戦略を用いることのネットワーク性能に対する効果を評価する。

テーブル１：使用されるＣＮＮトレーニングセット。（ｉ−ｉｖ）は、異なるポジティブペア生成方法の効果を比較する。（ｖ）は、（ｉｖ）に対してトレーニングセットのサイズの効果を比較する。

図７は、様々なトレーニングペアのセットとそれらの相違を図解する。（ａ）においてネガティブ（不変の）ペアの各列を生成するために、ランダム位置がサンプリングされ、２つのオーバーラップ画像パッチがｔ_ｒおよびｔ_ｑの画像データセットの各々から引き出された。変化したサンプリング位置を回避するために、グラウンドトルースが必要とされる。グラウンドトルースを作成するために、トレーニングモザイクは粗いラベルを割り当てられ、これらは別個の変化マスクへと収集される。特に、図７は、異なるトレーニングセットからのサンプルトレーニングペア（行１＋２）（（ａ）ネガティブ（不変の）ペア、（ｂ）両方の構成要素がランダムに選択された、ポジティブ（変化した）ランダムペア（ＴＳ−Ｒ）、（ｃ）（ａ）および（ｂ）の組み合わせである、セミランダムポジティブペア（ＴＳ−ＳＲ）、（ｄ）ひびの出現／消失、伸長および広がりを含む、ポジティブひびペア（ＴＳ−Ｃ）、（ｅ）ネガティブひびペア（ＴＳ−Ｃ））およびそれらの差画像（行３）を示す。

（ｂ）における各ポジティブペアを生成するために、ｔ_ｒおよびｔ_ｑの画像データセットの各々から新たなランダム位置が選択され、パッチが抽出される。（ｃ）におけるセミランダムパッチは、（ｂ）からのランダムパッチの半分と、（ａ）からのネガティブパッチの半分とを取り、故に、ポジティブサンプルがデータセットにおけるあらゆるネガティブサンプルに結び付けられることを保証する。最後に、（ｄ）および（ｅ）が、セクション４．１において記述された人工的なひび発生器を用いて生成される。（ａ）から画像ペアのどちらかが選び取られペアの一方にひびが加えられ、または、２つのパッチを生成するために任意に並進させられる単一のベース画像が使用される。並進は、経験的に表面位置合わせエラーの大部分を占める、ｘおよびｙの±７画素上の一様分布から得られる。並進は既知であり、どちらかの画像におけるひびの外観は、ひびの伸長または広がりをシミュレートするために修正され得る。

各ネットワークは、ソフトマックス出力での対数損失コスト関数の収束まで同様にトレーニングされた。確率的勾配降下法が最適化のためのモーメンタムと共に使用され、過適合を弱めるために２つの全結合層において５０％のドロップアウトが適用された。ネットワークは、ＣｕＤＮＮサポート付きのＭａｔＣｏｎｖＮｅｔで実装された。

（評価および論考）
人手の検査結果と、高解像度のテストデータセット上で実行するために修正された既知のアプローチとの両方に対して我々の方法の結果が比較された。全ての方法において、トンネル表面の画像のセグメントに変化検出を制限するために、形状の事前確率が使用された。

（定量的評価） 図９および図１０は、２つのテストデータセットに亘る変化検出性能を図解する。ｘ軸は、偽陽性率（ＦＰＲ）（ポジティブに誤って割り当てられている実際のネガティブの割合）を表す。ｙ軸は、変化したとして正しくラベリングされた各グラウンドトルース変化における画素の平均比率を示す。変化の領域の分布は広い（例えば、非常に小さく細いひびから大きな漏れまで）ので、このメトリックは、全ての変化を公平に表し、かつ、人間の検査官に対して公平であるために選択された。人手は、トレーニングされた検査官による人手の検査を指し、これはＤ_{ｓｈｏｒｔ}における変化の２９％およびＤ_ｌｏｎｇにおける変化の５８％を発見した。ＲＧＢは、画素対画素の絶対差分法の性能を示す。既知の方法は、５×５から１５×１５画素までサイズを変えるＮＣＣ窓を用いて適用される。

両方のデータセットにおいて、ＣＮＮアプローチは、素朴なやり方でトレーニングされた場合でさえも、かなりの差で既存の方法をしのぐ。ＲＧＢおよびＮＣＣの方法は、両方とも良好な位置合わせを必要とし、これはデータベースの全体に亘って等しく信頼できない（特にキャプチャ設備が大きく変化したＤ_ｌｏｎｇにおいて）。人手の方法は、非常に低いＦＰＲでは我々の方法をしのいでいるが、ＴＰＲのためにＦＰＲを遡及的に犠牲にすることは不可能なので、性能はＣＮＮが理論上達成可能なもの以下に制限される。

ＣＮＮの方法の中で、ランダムまたはセミランダムなポジティブペアを用いるトレーニング間の性能差は無視できる（ＣＮＮ−ＴＳ−Ｒ対ＣＮＮ−ＴＳ−ＳＲ）ものの、データが人工的なひびデータ（ＣＮＮ−ＴＳ−ＳＭ）を用いて補われた場合に性能が改善することが分かる。これは、変化の２７％がひびの広がりまたは伸長を伴う（対してＤ_ｌｏｎｇでは０％）Ｄ_{ｓｈｏｒｔ}に特に当てはまる。トレーニングセットのサイズを増加させること（ＣＮＮ−ＴＳ−ＳＭからＣＮＮ−ＴＳ−ＬＭへと）は、Ｄ_ｌｏｎｇでは性能をかなり改善するが、Ｄ_{ｓｈｏｒｔ}ではほとんど効果がない。１つの可能性のある説明は、より長い期間に亘ってキャプチャされ、異なるキャプチャ設備を備えるＤ_ｌｏｎｇは、より多くの迷惑変動を含んでいてそれ故により大きなトレーニングセットから学習することで利益を得る、ということである。

テーブル２は、様々な方法についての様々なＦＰＲ閾値において検出された変化のパーセンテージを示す。検出された変化は、ポジティブ画素の５０％超を含むものとして定義される。人手の検査は非常に低いＦＰＲ設定ではより多くの変化を発見するが、記述されるアプローチは、両方のデータセットにおいて既知のアプローチを上回るかなりの改善を示し、Ｄ_{ｓｈｏｒｔ}において人手の検査を上回るかなりの改善を示す。全ての偽陽性が厳密な誤分類とは限らないことに注目すべきである。多くは、ラベリングされた関心のある変化の一部ではなかった実際の異常な変化と対応する。

テーブル２：様々な偽陽性率における、比較されるシステムによって検出された人工変化のパーセンテージ。変化は、当該変化がポジティブにラベリングされたものの５０％よりも大きければ検出されたとみなされる。

（自動化および人手のアプローチ間の定性評価） テスト済みのアプローチを比較する場合に、いくつかのさらなる要素が注目に値する。（ｉ）必要時間。人手の検査は、結果を処理するために必要な追加の数時間と共に、Ｄ_ｌｏｎｇに対して７０分かかり、Ｄ_{ｓｈｏｒｔ}に対して３０分かかった。自動化処理は、テストデータセットに対して単一のストリームで排他的に端から端まで実行されなかったが、有意な並列化を用いない単一のデスクトップマシン上では当該データセットを処理することは１桁余分に時間をとるだろう。（ｉｉ）客観性。処理のためのコストおよび時間にも関わらず、自動化アプローチは多数の長所を持つ（主要なものは、自動化アプローチが完全に客観的であるということである）。アプローチは、不注意による盲目をこうむらず、同じ解像度でトンネル内の全ての点を検査できる。（ｉｉｉ）スケーラビリティ。図１０が実証するように、自動化アプローチの性能は、データサイズに対して有利に高まる。人手の検査性能は、反復タスクでの人間の疲労により、スケールに比例して低くなる。（ｉｖ）視覚化。自動化は、任意の後日にデータが視覚化されることを可能にする。対照的に、人手検査のノートは、手で集められ、コンピュータにタイプされ、時を越えて相互に参照するのが難しい。

（７ 結論）
上記において、２チャンネルＣＮＮを用いた変化検出の新規なアプローチが提示され、競合の解決法に対して当該アプローチのフィールドデータへの良好な性能が実証された。

アプローチは、異なるテクスチャ付けされた表面および最低限のトレーニング労力を備える新たなシナリオに対して直接に適用することができる。アプローチは、調査対象の数キロメートルのデータがあり得る、動作中のシステムの規模のデータを処理するのに非常に効率的である。

Claims (12)

1. 構造物に対する変化を検出するための方法であって、
   前記方法は、構造物の少なくとも一部を表す第１の画像および第２の画像を受け取ることを具備し、
   前記第１の画像および前記第２の画像は、第１の期間および第２の期間にそれぞれ関連付けられ、
   前記方法は、前記第１の期間と前記第２の期間との間の前記構造物に対する変化の存在／不存在を示す変化マスクを出力するようにトレーニングされた２チャンネルＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）への第１のチャンネル入力および第２のチャンネル入力として、前記第１の画像および前記第２の画像を提供することを具備し、
   前記ＣＮＮは、前記変化の不存在を前記変化マスクにおいて示すために、第１のネガティブトレーニング画像および第２のネガティブトレーニング画像のペアを用いてトレーニングされており、
   前記第１のネガティブトレーニング画像および前記第２のネガティブトレーニング画像の各ペアのうちの前記第１のネガティブトレーニング画像および前記第２のネガティブトレーニング画像は、それぞれ共通の期間に関連付けられる、
   方法。
2. 前記第１のネガティブトレーニング画像および前記第２のネガティブトレーニング画像のペアのうちの前記第１のネガティブトレーニング画像および前記第２のネガティブトレーニング画像は、それぞれ異なる画像取得デバイスを用いて取得された画像を表す、請求項１に記載の方法。
3. 構造物に対する変化を検出するための方法であって、
   前記方法は、構造物の少なくとも一部を表す第１の画像および第２の画像を受け取ることを具備し、
   前記第１の画像および前記第２の画像は、第１の期間および第２の期間にそれぞれ関連付けられ、
   前記方法は、前記第１の期間と前記第２の期間との間の前記構造物に対する変化の存在／不存在を示す変化マスクを出力するようにトレーニングされた２チャンネルＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）への第１のチャンネル入力および第２のチャンネル入力として、前記第１の画像および前記第２の画像を提供することを具備し、
   前記変化マスクは、前記第１の画像および前記第２の画像の一方に関して画素毎に構造物に対する変化の存在または不存在を示す、
   方法。
4. 前記ＣＮＮは、前記変化の存在を前記変化マスクにおいて示すために、第１のポジティブトレーニング画像および第２のポジティブトレーニング画像のペアを用いてトレーニングされており、
   前記第１のポジティブトレーニング画像および前記第２のポジティブトレーニング画像の各ペアのうちの前記第１のポジティブトレーニング画像および前記第２のポジティブトレーニング画像の一方において１つ以上の変化がシミュレートされている、
   請求項１乃至請求項３のいずれか１項記載の方法。
5. 前記１つ以上の変化は、ひびの出現、ひびの広がり、ひびの伸長、変色の領域の出現、変色の領域の拡大、および／または、変色の領域の色変化のうち１つ以上である、請求項４に記載の方法。
6. ＣＮＮは、４つの畳み込み層を持つ、請求項１乃至請求項５のいずれか１項に記載の方法。
7. 第１の畳み込み層は、前記第１のチャンネル入力および前記第２のチャンネル入力の両方にそれぞれ作用する複数のフィルタを備える、請求項６に記載の方法。
8. 前記ＣＮＮは、前記畳み込み層に続く２つの全結合層を持つ、請求項６または請求項７に記載の方法。
9. 前記第２の期間は、前記第１の期間に続いて起こり、時間ギャップだけ前記第１の期間から離れている、請求項１乃至請求項８のいずれか１項に記載の方法。
10. 前記構造物は、トンネルである、請求項１乃至請求項９のいずれか１項に記載の方法。
11. プロセッサによる実行時に、当該プロセッサに請求項１乃至請求項１０のいずれか１項に記載の方法を実行させる機械可読命令を保持する機械可読記憶媒体。
12. 請求項１乃至請求項１０のいずれか１項に記載の方法を実行する装置。