JP5888043B2 - プログラム、情報処理方法及び情報処理装置 - Google Patents

Description

本発明は、２つの画像間の差分画像から変更領域を検出するプログラム、情報処理方法及び情報処理装置に関する。

近年、撮影時点が異なる２つの航空画像を照合する技術がある。例えば、二つの画像上で同一被写体が同一箇所になるように位置合わせを行う場合、二つの画像の夫々において特徴点を求め、新画像上と旧画像上との特徴点の位置を合わせることにより行われる。

一方、二つの画像間で位置合わせを行った後に求められる差分には、被写体形状の変更に起因して生じた差分と、天候や季節や角度の違いにより生じた見え方の違いに起因して生じた差分とが含まれることになる。「見え方の違い」には、建物自体の影の位置や濃さや、雲などによる影の位置や濃さ、雨で濡れた状態と乾いた状態との見え方の色味の違いなどがある。

そのため、二つの画像の見え方の違いに起因して発生する画素値の差分を除外することで、二つの画像間での被写体形状の変更に起因する差分を適切に求めることができる。

撮影日時の違いにより影の大きさや位置が変化することに着目し、この影部分を差分として抽出しないようにする技術がある。

特開２００５−１７３１２８号公報 特開平１０−２６９３４７号公報

しかしながら、市街地のように建物が多い画像に対し、それぞれの影領域を算出するためには、膨大な計算量が必要となってしまう。また、影以外にも見え方の違いを発生させる要因はあるため、被写体形状の変更に起因する差分を適切に検出することができない。つまり、従来技術では、二つの画像間での被写体形状の変更に起因する差分を検出する際、画像間の見え方の違いなどに起因する差分が多く検出され、誤検出が多く含まれてしまうという問題点があった。

そこで、開示の技術は、二つの画像間での被写体形状の変更に起因する差分を検出する際、誤検出を減らすことができるプログラム、情報処理方法及び情報処理装置を提供することを目的とする。

開示の技術における一態様のプログラムは、第一の画像と、前記第一の画像とは撮影時が異なる第二の画像とを取得し、前記第一の画像の各特徴点に対してペアとなる前記第二の画像の特徴点を、前記第一の画像の特徴点の位置に対応する前記第二の画像の位置を含む所定範囲内から抽出し、前記第一の画像と前記第二の画像との差分画像を生成し、前記差分画像から差分が所定の閾値以上の部分を特定してポリゴンを生成し、前記生成されたポリゴンのうち、前記抽出されたペアの特徴点を含むポリゴン以外のポリゴンに基づく領域を検出する処理をコンピュータに実行させる。

開示の技術によれば、二つの画像間での被写体形状の変更に起因する差分を検出する際、誤検出を減らすことができる。

実施例における変更領域検出システムの一例を示す図。 実施例における情報処理装置のハードウェア構成の一例を示すブロック図。 実施例における情報処理装置の機能的構成の一例を示すブロック図。 第一の画像の一例を示す図。 第二の画像の一例を示す図。 色被り補正後における第一の画像の一例を示す図。 色簡易補正後における第一の画像の一例を示す図。 色被り補正後における第二の画像の一例を示す図。 色簡易補正後における第二の画像の一例を示す図。 色正規化前後の第一の画像を示す図。 色正規化前後の第二の画像を示す図。 テンプレートマッチング結果の一例を示す図。 差分画像の一例を示す図。 拡大領域に対する移動ベクトルの一例を示す図。 検出される領域と削除される領域との一例を示す図。 検出結果の一例を示す図。 実施例における変更領域検出処理の一例を示すフローチャート。 実施例における特徴点ペア抽出処理の一例を示すフローチャート。

まず、以下に説明する実施例では、衛星や航空機などから撮影された、固定資産を含む画像同士を比較して差分を抽出することで、固定資産の変更箇所を特定する。比較対象の画像としては、航空画像や衛星画像などを用いるとよい。また、固定資産は、例えば土地や家屋などの有形固定資産であり、特に、家屋には好適に適用できうる。

そこで、二つの画像を比較することで固定資産の変更箇所を検出する場合に、誤検出の低減を図る実施例について、添付図面を参照しながら説明する。

［実施例］
＜システム＞
図１は、実施例における変更領域検出システム１の一例を示す図である。図１に示す変更領域システム１は、クラウドコンピューティングシステムを用いて実装されうる。図１に示す変更領域検出システム１は、サーバとしての情報処理装置１０と、クライアントとしての情報処理装置２０、３０、４０とがネットワークを介して接続されている。サーバやクライアントの数は、図１に示す例に限られない。

この変更領域検出システム１では、クラウドのサービス利用形態として、次の２つが考えられる。１つ目が、クライアント側で衛星画像や航空画像などを取得し、その画像をサーバ側に送信することで、サーバ側で衛星画像や航空画像から固定資産などの変更領域を抽出し、その抽出結果をクライアントに通知するサービスである。

２つ目が、サーバ側で衛星画像や航空画像などを保持し、クライアントに指定された二つの画像に対して固定資産などの変更領域を抽出し、クライアントに抽出結果を通知するサービスである。

情報処理装置１０は、少なくとも二つの画像から、固定資産などの変更領域を抽出する処理を行う。情報処理装置２０〜４０は、固定資産などの変更領域検出サービスを利用する。次に、情報処理装置１０について説明する。

＜ハードウェア＞
図２は、実施例における情報処理装置１０のハードウェア構成の一例を示すブロック図である。図２に示す情報処理装置１０は、制御部１０１、主記憶部１０２、補助記憶部１０３、通信部１０４、及び記録媒体Ｉ／Ｆ部１０５を少なくとも有する。各部は、バスを介して相互にデータ送受信可能に接続されている。

制御部１０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたプログラムを実行する演算装置であり、通信部１０４や各記憶部からデータを受け取り、演算、加工した上で、出力部や各記憶部に出力する。

また、制御部１０１は、例えば補助記憶部１０３に記憶される変更領域検出プログラムを実行することで、変更領域検出機能を果たす。

主記憶部１０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部１０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部１０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。また、補助記憶部１０３は、記録媒体１０６などから取得された変更領域検出プログラムや複数の衛星画像又は航空画像を記憶しておいてもよい。

通信部１０４は、有線又は無線で通信を行う。通信部１０４は、例えば、情報処理装置２０〜４０から画像を取得したり、サービスの利用指示を受けたりする。

記録媒体Ｉ／Ｆ（インターフェース）部１０５は、ＵＳＢ（Universal Serial Bus）などのデータ伝送路を介して接続された記録媒体１０６（例えば、フラッシュメモリなど）と情報処理装置１０とのインターフェースである。

また、記録媒体１０６に、所定のプログラムを格納し、この記録媒体１０６に格納されたプログラムは記録媒体Ｉ／Ｆ部１０５を介して情報処理装置１０にインストールされる。インストールされた所定のプログラムは、情報処理装置１０により実行可能となる。

なお、記録媒体１０６を例えばＳＤカードとした場合は、記録媒体Ｉ／Ｆ部１０５は、ＳＤカードスロットである。

＜機能＞
図３は、実施例における情報処理装置１０の機能的構成の一例を示すブロック図である。図３に示す例では、情報処理装置１０は、画像取得部２００と、位置合わせ部２０１と、色正規化部２０２、差分画像生成部２０３と、ポリゴン生成部２０４と、特徴点ペア抽出部２０５と、検出部２０６とを有する。

画像取得部２００は、第一の画像と、この第一の画像とは撮影時が異なる第二の画像とを取得する。画像取得部２００は、補助記憶部１０３に記憶されている画像を取得してもよいし、通信部１０４を介して情報処理装置１０などから送信される画像を取得してもよい。

また、画像取得部２００は、好ましくは、同じカメラを用いて同じ位置で撮影された画像を取得するとよい。画像取得部２００は、例えば、衛星画像や航空画像のように、上空から家屋や土地などの固定資産を撮影した画像を取得する。画像取得部２００は、取得した第一の画像及び第二の画像を、位置合わせ部２０１、色正規化部２０２、特徴点ペア抽出部２０５に出力する。

位置合わせ部２０１は、例えば、第二の画像の中心をｉｎｉファイルで指定された％で切り抜き、第一の画像とテンプレートマッチングを行う。第一の画像と第二の画像と、どちらを基準にするかは、適宜変更可能である。位置合わせ部２０１は、位置合わせした情報を差分画像生成部２０３に通知する。

また、位置合わせ部２０１は、後述する色正規化された第一の画像と第二の画像とに対して位置合わせを行ってもよい。また、位置合わせ部２０１は、二つの画像が同じカメラで撮影され、その位置や角度が変更されていなければ、位置合わせを行う必要はない。

色正規化部２０２は、撮影時期や撮影時間などの違いによる差分を少なくするため、例えば、色被り補正を行う色被り補正部２２１と、色簡易補正を行う色簡易補正部２２２とを有する。色被り補正とは、例えば、夕焼けなどで全体的に赤くなった画像を補正する技術である。

色被り補正部２２１は、ＲＧＢの各ヒストグラムの例えば０．３％が０，２５５に含まれるようにストレッチをかける。例えば、色被り補正部２２１は、画像が赤被りをしていると、ＧＢの上位０．３％程度が２３０程度となるので、これを引き延ばす。なお、色被り補正部２２１は、上記以外にも公知の色被り補正を行ってもよい。

色簡易補正部２２２は、例えば、ＲＧＢ各ヒストグラムを算出した後、カラーバランス補正、ＲＧＢ平均から最適なＹ値を計算し、ＬＵＴ（ルックアップテーブル）変換を行う。この色被り補正及び色簡易補正は、画像間の色の差を抑えるために、色正規化を行う処理である。なお、色被り補正及び色簡易補正は、同じ時期、同じ天候などで撮影された画像は、画像間の色の差が少ないため、このような場合には必ずしも必要な処理ではない。

また、色正規化部２０２は、色の正規化のために、ヒストグラム平均化（平坦化）、ぼかし、メジアン拡張、色被り補正、色簡易補正などを適切に組み合わせて処理を行ってもよい。

差分画像生成部２０３は、色正規化部２０２から取得した第一の画像と第二の画像との差分画像を生成する。差分画像生成部２０３は、例えば、位置合わせ部２０１により位置合わせされた画像同士の各画素の距離を計算して差分画像を生成する。差分画像生成部２０３は、生成した差分画像をポリゴン生成部２０４に出力する。

ポリゴン生成部２０４は、差分画像生成部２０３から取得した差分画像からポリゴンを生成する。ポリゴン生成部２０４は、例えば差分画像の差分の値が所定の閾値以上である部分をラベリングし、ポリゴンを生成する。ポリゴン生成部２０４は、生成したポリゴンを検出部２０６に出力する。

特徴点ペア抽出部２０５は、色正規化部２０２から取得した二つの画像、又は色正規化が行われなければ画像取得部２００から取得した二つの画像に対し、特徴点を抽出する。特徴点ペア抽出部２０５は、第一の画像の各特徴点に対してペア（組）となる第二の画像の特徴点を、第一の画像の特徴点の位置に対応する第二の画像の位置を含む所定範囲内から抽出する。特徴点のペアの抽出の仕方は後述する。特徴点ペア抽出部２０５は、抽出した特徴点のペアを検出部２０６に出力する。

検出部２０６は、ポリゴン生成部２０４で生成されたポリゴンのうち、特徴点ペア抽出部２０５により抽出されたペアとなる特徴点を含むポリゴン以外のポリゴンに基づく領域を検出する。

検出部２０６は、例えば、ペア領域削除部２６１と、形状判定部２６２とを有する。ペア領域削除部２６１は、特徴点ペア抽出部２０５により抽出されたペアの特徴点を含むポリゴンを、検出対象から削除する。これは、近い領域内に特徴点のペアがあるということは、わずかにその特徴点がずれていることを示すと考えられるので、特徴点のペアがある領域は、固定資産の変更ではないとみなす。

また、特徴点のペアがない領域は、近い領域で同じような特徴点が二つの画像に無いことを表し、この領域を固定資産の変更の可能性がある領域とする。

形状判定部２６２は、ポリゴンの面積が、所定の下限値（第１閾値）以下であり、所定の上限値（第２閾値）以上であるか否かを判定する。形状判定部２６２は、ポリゴンの面積が、下限値から上限値までの範囲に入らなければ、検出対象から削除する。これは、固定資産として適切な面積でははいものを検出しないようにするためである。

形状判定部２６２は、ポリゴンの形状が、所定の形状であるか否かを判定する。形状判定部２６２は、ポリゴンが所定の形状に該当すれば、このポリゴンを検出対象から削除する。形状判定部２６２は、ポリゴンに対し、充填率が第３閾値より小さい、正方率が第４閾値より小さい場合、検出対象から削除する。

充填率が第３閾値より小さい場合は、そのポリゴンは中空の矩形になっている可能性があり、正方率が第４閾値より小さい場合は、そのポリゴンは鍵形やＬ時形などになっている可能性があり、これらの形状は、固定資産として適切ではない。

よって、形状判定部２６２は、ポリゴンが、固定資産の形状として適切か否かを判定し、適切ではないポリゴンを検出対象から削除する。

検出部２０６は、生成されたポリゴンのうち、削除されずに残ったポリゴンを、固定資産の変更の可能性がある領域として検出する。なお、図３に示す各部は、例えば図２に示す制御部１０１及びワークメモリとしての主記憶部１０２により実現されうる。

以上の構成を有することで、明らかに、固定資産の変更による差分ではない領域を検出対象から削除することで、固定資産の変更領域を検出する際、誤検出を減らすことができる。

＜各部の具体的な処理例＞
次に、各部の具体的な処理例について説明する。以降で説明する例では、家屋が変更（改築、増築、新築）された領域などを検出する場合を例とする。また、以降で説明する例では、撮影時が異なる次の二つの画像を用いる。

図４は、第一の画像の一例を示す図である。図４に示す例では、第一の画像は、市街地が上空から撮影された画像である。第一の画像は、２０１０年５月３１日に撮影された画像である。第一の画像は、若干青被りをしている画像である。

図５は、第二の画像の一例を示す図である。図５に示す例では、第二の画像は、第一の画像とほぼ同じ位置で、撮影時が異なる画像である。第二の画像は、２００７年３月３１日に撮影された画像である。第二の画像は、若干緑被りをしている画像である。

第一の画像と第二の画像とは、同じカメラで撮影されることが好ましいが、異なるカメラであっても、同じような位置で撮影された画像であればよい。画像取得部２００は、図４に示す画像と、図５に示す画像とを取得したとする。

《色の正規化処理》
次に、各画像の色の差を抑えるために、色被り補正と、色簡易補正を行う場合について説明する。

（第一の画像）
色被り補正部２２１は、第一の画像に対し、色被り補正を行う。図６は、色被り補正後における第一の画像の一例を示す図である。図６に示す例では、色被り補正後の第一の画像は、全体的に少し暗くなるが、領域ａｒ１０１の青被りが消える。

色簡易補正部２２２は、色被り補正後の第一の画像に対し、色簡易補正を行う。図７は、色簡易補正後における第一の画像の一例を示す図である。図７に示す例では、色簡易補正後の第一の画像は、色被り補正で暗くなった画像が、少し明るくなる。

（第二の画像）
色被り補正部２２１は、第二の画像に対し、色被り補正を行う。図８は、色被り補正後における第二の画像の一例を示す図である。図８に示す例では、色被り補正後の第二の画像は、全体的な緑被りが消える。

色簡易補正部２２２は、色被り補正後の第二の画像に対し、色簡易補正を行う。図９は、色簡易補正後における第二の画像の一例を示す図である。図９に示す例では、色簡易補正後の第二の画像は、色被り補正で暗くなった画像が、少し明るくなる。

図１０は、色正規化前後の第一の画像を示す図である。図１０（Ａ）は、色正規化前の第一の画像を示し、図１０（Ｂ）は、色正規化後の第一の画像を示す。図１０（Ａ）に示す色正規化前の第一の画像と比べて、図１０（Ｂ）に示す色正規化後の第一の画像は、青被りが消え、全体的に明るくなっている。

図１１は、色正規化前後の第二の画像を示す図である。図１１（Ａ）は、色正規化前の第二の画像を示し、図１１（Ｂ）は、色正規化後の第二の画像を示す。図１１（Ａ）に示す色正規化前の第二の画像と比べて、図１１（Ｂ）に示す色正規化後の第二の画像は、緑被りが消え、全体的に明るくなっている。

《位置合わせ処理》
位置合わせ部２０１は、第一の画像と第二の画像とに対し、ＲＧＢを用いてテンプレートマッチングを行う。なお、第一の画像と第二の画像とは、正規化後の画像でもよい。

図１２は、テンプレートマッチング結果の一例を示す図である。図１２に示すように、同じ領域を撮影した二つの画像でも、撮影時が異なれば、視差などによる小さな誤差が生じてしまう。よって、撮影時が異なる二つの画像は、同じ対象物であっても正確に一致するとは限らない。

《差分画像生成処理》
差分画像生成部２０３は、色の正規化がなされた第一の画像と第二の画像との差分画像を生成する。差分画像は、位置合わせ後の画像同士で生成される。差分画像生成部２０３は、二つの画像において対応する画素同士の距離を計算して差分画像を生成する。

例えば、差分画像生成部２０３は、ＲＧＢ、ＹＣｂＣｒ、ＣｂＣｒのみ、ＹＣｂＣｒからＹを所定量縮小、ＲＧのみなどのいずれかの画像同士で差分画像を生成する。なお、差分画像生成部２０３は、好ましくは、ＲＧＢを色差（ＹＣｂＣｒ）変換して、バンド毎に距離を計測する。このとき、Ｙ同士は、距離を例えば１／４に縮める。

これにより、影の影響と明るさの不一致を抑えることでき、また、明るさの変化はある程度無視して、色差を重点的に判別できるようになる。

図１３は、差分画像の一例を示す図である。図１３に示す例では、差分画像生成部２０３は、ＹＣｂＣｒ変換を行って、Ｙを１／４にして差分を算出する。図１３に示すように、多くの差分が抽出されてしまう。

図１３に示す例では、領域ａｒ１５１が、改変があった領域であり、領域ａｒ１５２は、改変がない領域であるが、見え方などの違いにより差分が検出された領域であり、領域ａｒ１５３は、色味が異なるために差分が検出された領域である。

よって、従来技術では、固定資産の変更を検出しようとしても、領域ａｒ１５２や領域ａｒ２５３のような小さな誤差を検出してしまうため、誤検出が多かった。しかし、実施例では、この画像間の見え方の違いなどに起因する誤差（領域ａｒ１５２など）をなるべく減らすために、以下に示すように、特徴点のペアを抽出する。

《特徴点のペア抽出処理》
次に、特徴点のペアを抽出する処理について説明する。そもそも二つの画像は、同じような領域を撮影しているため、固定資産に変更がなければ、その特徴点同士は所定範囲内でペアがとれるはずである。よって、所定範囲内で特徴点のペアがとれる領域については、固定資産の変更による差分ではなく、画像の見え方の違いによる差分であると推定する。

特徴点ペア抽出部２０５は、二つの画像それぞれから、特徴点を抽出する。例えば、特徴点ペア抽出部２０５は、各画像に対し、ＳＵＲＦ（Speeded Up Robust Features）特徴量を５００点ずつ抽出する。

また、特徴点ペア抽出部２０５は、抽出した特徴点に関連する情報を保持する。特徴点に関連する情報とは、特徴点を一方の端点とするエッジ、及びこのエッジの方向を含むエッジ情報と、特徴点の周辺の色を示す色情報とを含む。色情報は、エッジにより領域が区切られ、特徴点の周囲に複数の色が存在する場合は、特徴点を基準にどの位置にどの色があるかの情報を色情報に含める。

特徴点ペア抽出部２０５は、二つの画像からそれぞれ抽出した特徴点に対し、所定の条件を満たす特徴点のペアを抽出する。所定の条件とは、次の通りである。
（１）特徴点同士が所定範囲内にあること、
（２）特徴点同士が類似すること
条件（１）は、同じ対象物であれば、同じ特徴点は近い範囲に存在するはずである、という考えに基づく条件である。特徴点ペア抽出部２０５は、第一の画像の特徴点に対応する第二の画像の特徴点を探す際、第一の画像の特徴点からｘ方向、ｙ方向とも例えば３０ピクセル以内でペアとなる特徴点を探す。

条件（２）は、同じ対象物であれば、特徴点は類似するはずである、という考えに基づく条件である。特徴点ペア抽出部２０５は、条件（１）を満たす特徴点同士について、第一の画像の特徴点に関連する情報と、第二の画像の特徴点に関連する情報とを比較することで、ペアにするか否かを判定する。特徴点ペア抽出部２０５は、比較の結果、各情報の差分絶対値の合計が閾値（第５閾値）以下であれば、それらの特徴点は類似すると判定し、それらの特徴点のペアリングを行う。類似判定の対象は、二乗誤差などを用いてもよい。

以上より、特徴点ペア抽出部２０５は、条件（１）と条件（２）とを満たす特徴点のペアを抽出することができる。以降では、ペアリングされた特徴点同士を線で結んだ線分を移動ベクトルと呼ぶ。

二つの画像それぞれにおける位置について、同じ対象物であればｘ、ｙ方向で大きな違いがないことを前提とし、ｘ、ｙ平面に対して所定範囲内で移動ベクトルを求めることが考えられる。所定範囲は、例えば、対象の特徴点からｘ方向、ｙ方向とも３０ピクセル以内とする。特徴点ペア抽出部２０５は、求めた特徴点のペアを検出部２０６に出力する。

《ポリゴン生成処理》
ポリゴン生成部２０４は、差分画像生成部２０３が生成した差分画像に対し、ラベリングによるベクトル化を行う。ポリゴン生成部２０４は、例えば二値化された画像に対して黒部分に対するラベリングを行う。これにより、ポリゴン生成部２０４は、ラベリングされた領域毎にポリゴンデータを生成することができる。ポリゴンの生成については、公知の技術を適用してもよい。

《検出処理》
次に、固定資産の変更領域の検出処理について説明する。まず、検出部２０６は、ポリゴン生成部２０４により生成されたポリゴンに対し、固定資産の変更によらないで生じたと推定されるポリゴンを検出対象から削除する。

ペア領域削除部２６１は、特徴点ペア抽出部２０５により抽出されたペアの特徴点を含むポリゴンを、検出対象から削除する。また、ペア領域削除部２６１は、抽出されたペアの特徴点が所定値以上含まれるポリゴンを、検出対象から削除するようにしてもよい。

また、ペア領域削除部２６１は、抽出されたペアの特徴点から生成される移動ベクトルに基づいて、抽出されたペアを削除してもよい。これは、移動ベクトルが、周辺の移動ベクトルと同じような向きや大きさではない場合、誤ってペアリングされた可能性があるからである。

図１４は、拡大領域に対する移動ベクトルの一例を示す図である。図１４に示す例では、この画像に対する特徴点を点で表し、この点と、ペアとなった他の画像の特徴点とを線で結び、移動ベクトルを表している。つまり、線分の先が、ペアとなった他の画像の特徴点の位置を示す。

図１４に示す移動ベクトルがある領域は、固定資産に変更がなかった領域であることが実験により分かった。よって、ペア領域削除部２６１は、この実験結果を利用して、特徴点のペアを含む領域を検出対象から削除する。

一方、図１４に示す領域ａｒ２０１のように、移動ベクトルが交差する場合がある。また、図１４に示す領域ａｒ２０２のように、移動ベクトルが逆方向を生成する場合がある。また、図１４に示す領域ａｒ２０３のように、ある移動ベクトルが他の移動ベクトルとは異なる方向を向く場合がある。

図１４に示す領域ａｒ２０１〜２０３に含まれる移動ベクトルは、誤ってペアリングされた結果に生じた移動ベクトルである可能性がある。そこで、ペア領域削除部２６１は、所定の移動ベクトルに対し、この移動ベクトルから所定範囲内にある移動ベクトルの平均ベクトルと類似していなければ、所定の移動ベクトルを形成する特徴点のペアを削除する。

ペア領域削除部２６１は、移動ベクトルの類似性の判断について、移動ベクトルのｘ、ｙ方向の差分絶対値を加算した値（ＳＡＤ）などを求め、この値が所定の閾値以内であれば、類似と判断すればよい。

これにより、画像の違いに起因する差分により生成されたポリゴンの信頼性を高めることができる。

また、形状判定部２６２は、生成されたポリゴンの面積及び形状に基づいて、家屋などの形状に適切でないポリゴンを判定し、検出対象から削除する。形状判定部２６２は、例えば、ポリゴンの面積が下限値から上限値までの所定範囲に入らなかったり、正方率や充填率が所定の閾値よりも低かったりするポリゴンを、検出対象から削除する。

検出部２０６は、検出対象から削除されずに残ったポリゴンを含む領域を、検出結果として出力する。

図１５は、検出される領域と削除される領域との一例を示す図である。図１５に示す例では、差分画像に対し、領域ａｒ３０１は、検出される領域を示し、領域ａｒ３０２は、ポリゴンの面積が条件に該当せずに削除される領域を示し、領域ａｒ３０３は、充填率が閾値より低いために削除される領域を示し、領域ａｒ３０４は、正方率が閾値より低いために削除される領域を示し、領域ａｒ３０５は、移動ベクトルに基づき削除される領域を示す。

「移動ベクトルに基づき削除」とは、例えば移動ベクトルを形成する両方又はいずれかの特徴点を含む領域を削除することをいう。なお、前述したように、周囲の平均ベクトルと類似しない移動ベクトルであれば、ペア領域削除部２６１は、移動ベクトル自体を削除してもよい。

図１５に示す例によれば、領域ａｒ３０５の数は、領域ａｒ３０１の数の約３倍であり、この領域ａｒ３０５を検出対象から削除することで、誤検出を減らすことができる。また、領域ａｒ３０１の中には、固定資産が変更された領域以外の領域も含まれるが、検出部２０６は、領域ａｒ３０２〜ａｒ３０５を削除する分だけ、誤検出を減らすことができる。

＜検出結果＞
次に、情報処理装置１０で検出される結果について説明する。図１６は、検出結果の一例を示す図である。図１６に示す例では、図１５に示す領域ａｒ３０１を第二の画像に適用する。なお、検出部２０６は、検出する領域を、第一の画像に適用してもよい。

図１６に示す領域ａｒ４０１は、第一の画像と第二の画像とで違いがある領域であり、つまり、家屋が改築された領域を示す。図１６に示す領域ａｒ４０１は、図１５に示す領域ａｒ３０１として適切に検出されている。

図１６に示す領域ａｒ４０２は、移動ベクトルに基づき適切に削除された領域を示す。領域ａｒ４０２は、家屋の改築などがない領域であり、画像の見え方の違いにより生じた差分を適切に削除することができていることが分かる。

以上の構成を有することで、情報処理装置１０は、二つの画像間での被写体形状の変更に起因する差分を検出する際、誤検出を減らすことができる。

＜動作＞
次に、情報処理装置１０の動作について説明する。図１７は、実施例における変更領域検出処理の一例を示すフローチャートである。

ステップＳ１０１で、画像取得部２００は、二つの画像を入力する。ここでは、第一の画像を基準画像、第二の画像を比較画像とする。

ステップＳ１０２で、位置合わせ部２０１は、基準画像に対し、比較画像の位置を合わせる。位置合わせ部２０１は、例えば画像の中心の所定領域でテンプレートマッチングを行う。

ステップＳ１０３で、色正規化部２０２は、二つの画像の色を正規化する。これにより、画像間の色の差を抑えることができる。

ステップＳ１０４で、特徴点ペア抽出部２０５は、二つの画像間で、所定の条件を満たす特徴点のペアを抽出する。この処理は、図１８を用いて後述する。この処理により、固定資産（例えば家屋）などに変更がない領域を抽出することができるようになる。

ステップＳ１０５で、差分画像生成部２０３は、二つの画像から、差分画像を生成する。これにより、固定資産が変更された領域を含む領域を検出可能となる。

ステップＳ１０６で、ポリゴン生成部２０４は、差分画像をラベリングすることでポリゴンを生成する。

ステップＳ１０７で、ペア領域削除部２６１は、抽出されたペアの特徴点を含む領域を、検出対象から削除する。これにより、誤検出部分を削除することができる。

ステップＳ１０８で、形状判定部２６２は、ポリゴンの面積、充填率、及び正方率に基づいて判定したポリゴンを、検出対象から削除する。これにより、細長、鍵形、ドーナツ形状、及び面積が所定範囲外のポリゴンを削除することができる。

ステップＳ１０９で、検出部２０６は、検出対象として残ったポリゴンを含む領域を、例えば基準画像に対して線で囲うなどして識別できるようにし、検出された領域が識別可能な基準画像を検出結果として出力する。

なお、ステップＳ１０２、Ｓ１０３は必ずしも必要な処理ではない。また、処理の順番は、図１７に示す順番に限られず、ステップＳ１０２は、ステップＳ１０５より前に行なわれ、ステップＳ１０３とステップＳ１０４とは、ステップＳ１０７より前に行われればよい。

次に、ステップＳ１０４の詳細な処理について説明する。図１８は、実施例における特徴点ペア抽出処理の一例を示すフローチャートである。

ステップＳ２０１で、特徴点ペア抽出部２０５は、第一の画像（基準画像）の特徴点を１つ選択する。

ステップＳ２０２で、特徴点ペア抽出部２０５は、第二の画像（比較画像）に対し、選択された特徴点に対応する位置から所定範囲内にある範囲を設定する。

ステップＳ２０３で、特徴点ペア抽出部２０５は、設定した所定範囲内にある特徴点のうち、第一の画像の選択された特徴点と最も類似する特徴点を抽出する。特徴点ペア抽出部２０５は、特徴点に関連する情報（特徴点情報）を比較することで類似性を判定することができる。

ステップＳ２０４で、特徴点ペア抽出部２０５は、最も類似する特徴点が、上述した条件（２）を満たす否かを判定する。条件（２）を満たせば（ステップＳ２０４−ＹＥＳ）ステップＳ２０５に進み、条件（２）を満たさなければ（ステップＳ２０４−ＮＯ）ステップＳ２０６に進む。

ステップＳ２０５で、特徴点ペア抽出部２０５は、条件（２）を満たす特徴点同士をペアに設定する。

ステップＳ２０６で、特徴点ペア抽出部２０５は、第一の画像の中で、未処理の特徴点が無いかを判定する。未処理の特徴点が無ければ（ステップＳ２０６−ＹＥＳ）この処理を終了し、ステップＳ１０５に進み、未処理の特徴点が有れば（ステップＳ２０６−ＮＯ）ステップＳ２０１に戻り、他の特徴点が選択される。

以上、開示の実施例によれば、二つの画像間での被写体形状の変更に起因する差分を検出する際、誤検出を減らすことができる。

また、開示の実施例によれば、衛星や航空機により撮影された画像データを利用したビジネスを行うことができる。例えば、撮影時の異なる人工衛星や航空機により撮影された二つの画像を比較し、差分を抽出することで、増改築された土地や建物などを特定することができうる。

ここで、開示の技術によれば、固定資産の管理業務や固定資産税の算出を行う自治体職員にとって、管理対象のエリアを撮影した二つの画像に基づいて、特に観察すべき場所を特定することができるので、開示の技術は有用であると考えられる。なお、上述された各閾値は、実験などにより適切な所定値が設定されればよい。

［変形例］
なお、前述した各実施例で説明した処理を実現するためのプログラムを記録媒体に記録することで、各実施例での処理をコンピュータに実施させることができる。例えば、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータに読み取らせて、前述した処理を実現させることも可能である。

なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。この記録媒体には、搬送波は含まれない。

以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。

なお、以上の各実施例に関し、さらに以下の付記を開示する。
（付記１）
第一の画像と、前記第一の画像とは撮影時が異なる第二の画像とを取得し、
前記第一の画像の各特徴点に対してペアとなる前記第二の画像の特徴点を、前記第一の画像の特徴点の位置に対応する前記第二の画像の位置を含む所定範囲内から抽出し、
前記第一の画像と前記第二の画像との差分画像を生成し、
前記差分画像からポリゴンを生成し、
前記生成されたポリゴンのうち、前記抽出されたペアの特徴点を含むポリゴン以外のポリゴンに基づく領域を検出する処理をコンピュータに実行させるためのプログラム。
（付記２）
前記抽出する処理は、
前記第一の画像の特徴点に関連する情報と、前記第二の画像の特徴点に関連する情報とを比較することで、ペアにするか否かを判定する付記１記載のプログラム。
（付記３）
前記特徴点に関する情報は、該特徴点を一方の端点とするエッジのエッジ情報、該特徴点の周辺の色情報を含む付記２記載のプログラム。
（付記４）
前記検出する処理は、
前記ポリゴンの面積、及び形状に基づいて、検出対象から削除するポリゴンを判定する付記１乃至３いずれか一項に記載のプログラム。
（付記５）
前記差分画像を生成する処理は、
前記第一の画像及び前記第二の画像に対して色差変換を行い、輝度を所定量減少させた画像間で前記差分画像を生成する付記１乃至４いずれか一項に記載のプログラム。
（付記６）
前記検出する処理は、
前記抽出されたペアの特徴点同士を結ぶベクトルに基づいて、周囲のベクトルと異なると判定されたベクトルのペアを削除する付記１乃至５いずれか一項に記載のプログラム。
（付記７）
第一の画像と、前記第一の画像とは撮影時が異なる第二の画像とを取得し、
前記第一の画像の各特徴点に対してペアとなる前記第二の画像の特徴点を、前記第一の画像の特徴点の位置に対応する前記第二の画像の位置を含む所定範囲内から抽出し、
前記第一の画像と前記第二の画像との差分画像を生成し、
前記差分画像からポリゴンを生成し、
前記生成されたポリゴンのうち、前記抽出されたペアの特徴点を含むポリゴン以外のポリゴンに基づく領域を検出する処理をコンピュータが実行する情報処理方法。
（付記８）
第一の画像と、前記第一の画像とは撮影時が異なる第二の画像とを取得する取得部と、
前記第一の画像の各特徴点に対してペアとなる前記第二の画像の特徴点を、前記第一の画像の特徴点の位置に対応する前記第二の画像の位置を含む所定範囲内から抽出する抽出部と、
前記第一の画像と前記第二の画像との差分画像を生成する差分画像生成部と、
前記差分画像からポリゴンを生成するポリゴン生成部と、
前記生成されたポリゴンのうち、前記抽出されたペアの特徴点を含むポリゴン以外のポリゴンに基づく領域を検出する検出部と
を備える情報処理装置。
（付記９）
前記第一の画像及び前記第二の画像に色正規化処理を行う色正規化部をさらに備え、
前記抽出部と、前記差分画像生成部とは、
色正規化された第一の画像及び第二の画像に対して処理を行う付記８記載の情報処理装置。

１ 変更領域検出システム
１０情報処理装置
１０１ 制御部
１０２ 主記憶部
１０３ 補助記憶部
２００ 画像取得部
２０１ 位置合わせ部
２０２ 色正規化部
２０３ 差分画像生成部
２０４ ポリゴン生成部
２０５ 特徴点ペア抽出部
２０６ 検出部
２６１ ペア領域削除部
２６２ 形状判定部

Claims (8)

1. 第一の画像と、前記第一の画像とは撮影時が異なる第二の画像とを取得し、
   前記第一の画像の各特徴点に対してペアとなる前記第二の画像の特徴点を、前記第一の画像の特徴点の位置に対応する前記第二の画像の位置を含む所定範囲内から抽出し、
   前記第一の画像と前記第二の画像との差分画像を生成し、
   前記差分画像から差分が所定の閾値以上の部分を特定してポリゴンを生成し、
   前記生成されたポリゴンのうち、前記抽出されたペアの特徴点を含むポリゴン以外のポリゴンに基づく領域を検出する処理をコンピュータに実行させるためのプログラム。
2. 前記抽出する処理は、
   前記第一の画像の特徴点に関連する情報と、前記第二の画像の特徴点に関連する情報とを比較することで、ペアにするか否かを判定する請求項１記載のプログラム。
3. 前記特徴点に関する情報は、該特徴点を一方の端点とするエッジのエッジ情報、該特徴点の周辺の色情報を含む請求項２記載のプログラム。
4. 前記検出する処理は、
   前記ポリゴンの面積、及び形状に基づいて、検出対象から削除するポリゴンを判定する請求項１乃至３いずれか一項に記載のプログラム。
5. 前記差分画像を生成する処理は、
   前記第一の画像及び前記第二の画像に対して色差変換を行い、輝度を所定量減少させた画像間で前記差分画像を生成する請求項１乃至４いずれか一項に記載のプログラム。
6. 前記検出する処理は、
   前記抽出されたペアのうち、特徴点同士を結ぶベクトルに基づいて、周囲のベクトルと異なると判定されたベクトルのペアを削除する請求項１乃至５いずれか一項に記載のプログラム。
7. 第一の画像と、前記第一の画像とは撮影時が異なる第二の画像とを取得し、
   前記第一の画像の各特徴点に対してペアとなる前記第二の画像の特徴点を、前記第一の画像の特徴点の位置に対応する前記第二の画像の位置を含む所定範囲内から抽出し、
   前記第一の画像と前記第二の画像との差分画像を生成し、
   前記差分画像から差分が所定の閾値以上の部分を特定してポリゴンを生成し、
   前記生成されたポリゴンのうち、前記抽出されたペアの特徴点を含むポリゴン以外のポリゴンに基づく領域を検出する処理をコンピュータが実行する情報処理方法。
8. 第一の画像と、前記第一の画像とは撮影時が異なる第二の画像とを取得する取得部と、
   前記第一の画像の各特徴点に対してペアとなる前記第二の画像の特徴点を、前記第一の画像の特徴点の位置に対応する前記第二の画像の位置を含む所定範囲内から抽出する抽出部と、
   前記第一の画像と前記第二の画像との差分画像を生成する差分画像生成部と、
   前記差分画像から差分が所定の閾値以上の部分を特定してポリゴンを生成するポリゴン生成部と、
   前記生成されたポリゴンのうち、前記抽出されたペアの特徴点を含むポリゴン以外のポリゴンに基づく領域を検出する検出部と
   を備える情報処理装置。