JP5234476B2 - グラフ構造を用いてパノラマイメージに対するイメージマッチングを遂行するための方法、システムおよびコンピュータ読取可能な記録媒体 - Google Patents

Description

本発明は、グラフ構造を用いてパノラマイメージに対するイメージマッチングを遂行するための方法、システムおよびコンピュータ読取可能な記録媒体に関する。より詳細には、本発明は、多様な地点で撮影された複数のパノラマイメージのうち、同一のオブジェクトを含んでいる複数のイメージを参照して、所定のグラフ構造を生成し、前記複数のイメージ間の対応関係を提供することにより、クエリ（ｑｕｅｒｙ）イメージに対するイメージマッチングの結果を迅速に提供するための方法、システムおよびコンピュータ読取可能な記録媒体に関する。

最近、インターネットの利用が拡散するにつれ、従来は冊子のような印刷物の形態で提供されてきた地理情報がデジタルデータに変換されて提供されることが一般化されてきた。デジタル化された代表的な地理情報の形態として、オンライン上で提供される電子地図サービス、自動車に設けられるナビゲーションシステムなどを例として挙げることができる。このようにデジタル化された地理情報は、検索機能のようなユーザインタフェースと結合されることにより、多様な便宜機能をユーザに提供することができるという長所があり、地理情報に変更事項が発生する場合、遠隔アップデートなどにより容易に更新可能なため、地理情報の最新性の面においても従来の印刷物に比べて優位にあるのが実情である。

しかし、従来、デジタル地理情報を提供していたサービス業者は、単純な記号の組合せで生成される電子地図画面を検索インタフェースと結合して提供することが一般的であったが、電子地図画面上に表示された情報は当該地域の実際の様子と格段の差があったため、実際の当該地域の様子を確認することが困難であるという短所があった。

このような問題を解決するための試みとして、２００７年１１月８日付で出願され、２００８年６月１９日付で公開された米国公開特許公報第２００８−１４３７２７号は、ユーザに電子地図サービスを提供する過程において、電子地図に示される路地、道路などのような特定地点に対応するパノラマイメージ（ｐａｎｏｒａｍｉｃ ｉｍａｇｅ）データを提供し、ユーザがパノラマイメージデータのうち矢印などで表現される一部の領域を選択する場合、当該ピクセルに示された地点に対応する他のパノラマイメージデータを提供する技術を提案している。これにより、ユーザは、電子地図上の特定地点の実際の様子をパノラマイメージデータを介して確認することができ、パノラマイメージデータの間に生成されたリンクを介して、現在照会しているパノラマイメージデータに示された特定地点の地理情報がより詳細に表現された他のパノラマイメージデータを照会することができる。

また、これに加え、パノラマイメージを用いてビジュアルサーチ（ｖｉｓｕａｌ ｓｅａｒｃｈ）を遂行する技術が紹介されているが、これによれば、ユーザが入力したクエリイメージを参照して、複数のパノラマイメージのうち、前記クエリイメージに含まれているオブジェクトと類似のオブジェクトを含んでいるパノラマイメージを検索し、ユーザに提供することができる。

しかし、従来のパノラマイメージを用いてビジュアルサーチを遂行する技術によれば、任意のクエリイメージにマッチングされる検索結果を提供するために、データベース内に格納されたすべてのパノラマイメージに対するデータを対象としてイメージマッチング演算を行わなければならないため、イメージマッチングの演算速度が遅くなり、正確度も低いという問題があった。

本発明は、上述した問題をすべて解決することを目的とする。
また、本発明は、多様な地点で撮影された複数のパノラマイメージのうち、同一のオブジェクトを含んでいる複数のイメージから所定のグラフ構造を生成することにより、特定のオブジェクトを含むクエリイメージが入力されると、迅速で正確度の高いイメージマッチングの結果を提供できるようにすることを他の目的とする。

さらに、本発明は、一次的にマッチングされたイメージの大多数が特定のグラフ構造に含まれる場合、前記特定のグラフ構造に含まれていない、一次的にマッチングされたイメージをマッチング結果から除去して二次的にマッチングされたイメージを選定することにより、マッチングの正確度を高めることをさらに他の目的とする。

上記の目的を達成するための本発明の代表的な構成は、次のとおりである。
本発明の一態様によれば、パノラマイメージに対するイメージマッチングを遂行するための方法であって、（ａ）複数のパノラマイメージの撮影地点に関する情報および前記複数のパノラマイメージにそれぞれ含まれている特定のオブジェクトの方向を参照して、少なくとも２つのパノラマイメージにそれぞれ含まれる特定のオブジェクトが互いに同一のオブジェクトであると認識されると、前記少なくとも２つのパノラマイメージにそれぞれ含まれる特定のオブジェクトに対するイメージ間の連結構造を生成するステップと、（ｂ）所定のオブジェクトを含むイメージがクエリ（ｑｕｅｒｙ）として入力されると、前記所定のオブジェクトを含むイメージを、前記連結構造を伴う少なくとも１つのイメージとマッチングし、前記マッチング結果および前記連結構造を参照して、前記クエリに対する検索結果を提供するステップとを含む方法が提供される。

本発明の他の態様によれば、パノラマイメージに対するイメージマッチングを遂行するためのシステムであって、複数のパノラマイメージの撮影地点に関する情報および前記複数のパノラマイメージにそれぞれ含まれている特定のオブジェクトの方向を参照して、少なくとも２つのパノラマイメージにそれぞれ含まれる特定のオブジェクトが互いに同一のオブジェクトであると認識されると、前記少なくとも２つのパノラマイメージにそれぞれ含まれる特定のオブジェクトに対するイメージ間の連結構造を生成するグラフ構造生成部と、所定のオブジェクトを含むイメージがクエリ（ｑｕｅｒｙ）として入力されると、前記所定のオブジェクトを含むイメージを、前記連結構造を伴う少なくとも１つのイメージとマッチングし、前記マッチング結果および前記連結構造を参照して、前記クエリに対する検索結果を提供するクエリ実行部とを含むシステムが提供される。

この他にも、本発明を実現するための他の方法、システムおよび前記方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読取可能な記録媒体がさらに提供される。

本発明によれば、パノラマイメージを用いてビジュアルサーチを遂行するにあたり、複数のパノラマイメージに視野を異にして含まれる特定のオブジェクトに対するイメージ間の対応関係を設定するためのグラフ構造を生成した後、特定のオブジェクトを含むクエリイメージが入力されると、特定のオブジェクトに対して予め生成されたグラフ構造に属するイメージを、クエリイメージに対するイメージマッチングの結果として提供することができるため、イメージマッチングの正確度を高め、イメージマッチングの演算速度を画期的に減縮させることができるという効果が達成される。

また、本発明によれば、一次的にマッチングされたイメージの大多数が特定のグラフ構造に含まれる場合、前記特定のグラフ構造に含まれていない、一次的にマッチングされたイメージをノイズと判断してマッチング結果から除去することにより、マッチングの正確度を高めることができる。

本発明の一実施形態に係るグラフ構造を用いてパノラマイメージに対するイメージマッチングサービスを提供するための全体システムの構成を概略的に示す図である。 本発明の一実施形態に係るイメージマッチングシステムの内部構成を例示的に示す図である。 本発明の一実施形態に係る互いに異なる地点で撮影されたパノラマイメージ間の位置関係を示す図である。 本発明の一実施形態に係るグラフ構造の概念図を例示的に示す図である。 本発明の一実施形態に係る入力されるクエリイメージを例示的に示す図である。 本発明の一実施形態に係る図３に示す撮影地点で撮影された第１パノラマイメージを例示的に示す図である。 本発明の一実施形態に係る図３に示す撮影地点で撮影された第２パノラマイメージを例示的に示す図である。 本発明の一実施形態に係る図３に示す撮影地点で撮影された第３パノラマイメージを例示的に示す図である。 本発明の一実施形態に係る図３に示す撮影地点で撮影された第４パノラマイメージを例示的に示す図である。

後述する本発明に関する詳細な説明は、本発明が実施できる特定の実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が本発明を実施できるように十分に詳細に説明される。本発明の多様な実施形態は、互いに異なるが、相互排他的である必要はないことが理解されなければならない。例えば、ここに記載されている特定の形状、構造および特性は一実施形態に関連し、本発明の精神および範囲を逸脱しない範囲内で他の実施形態で実現可能である。また、各々の開示された実施形態における個別構成要素の位置または配置は、本発明の精神および範囲を逸脱しない範囲内で変更可能であることが理解されなければならない。したがって、後述する詳細な説明は限定的な意味として受け止めるものではなく、本発明の範囲は、適切に説明された場合、それら請求項が主張するのと均等のすべての範囲とともに添付した請求項によってのみ限定される。図面において、類似の参照符号は、様々な側面にわたって同一または類似の機能を指し示す。

以下、本発明の属する技術分野における通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施形態について、添付した図面を参照して詳細に説明する。

［本発明の好ましい実施形態］
本明細書において、パノラマ（ｐａｎｏｒａｍｉｃ）イメージとは、任意の地点から見える全景（ｃｏｍｐｌｅｔｅ ｖｉｅｗ）を撮影して得られるイメージを意味するものであり、より具体的には、イメージを構成するピクセルを、前記撮影地点を中心とする仮想の天球上に球面座標系（ｓｐｈｅｒｉｃａｌ ｃｏｏｒｄｉｎａｔｅｓ）により表示することにより、撮影地点から実際に見える四方に対する視覚的情報を立体的で実感溢れるように提供できるようにするイメージの類型を総称するものである。また、本明細書に直接的に例示してはいないが、パノラマイメージは、イメージを構成するピクセルを、円柱座標系（ｃｙｌｉｎｄｒｉｃａｌ ｃｏｏｒｄｉｎａｔｅｓ）により表示したイメージであってもよいことを明らかにする。

全体システムの構成
図１は、本発明の一実施形態に係るグラフ構造を用いてパノラマイメージに対するイメージマッチングサービスを提供するための全体システムの構成を概略的に示す図である。

図１に示すように、本発明の一実施形態に係る全体システムは、通信網１００と、グラフ構造を用いてパノラマイメージに対するイメージマッチングサービスを提供するイメージマッチングシステム２００と、ユーザ端末装置３００とから構成することができる。

まず、通信網１００は、有線および無線など、その通信態様を問わずに構成可能であり、近距離通信網（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、都市圏通信網（ＭＡＮ：Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域通信網（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）など、多様な通信網で構成可能である。好ましくは、本発明における通信網１００は、公知のワールドワイドウェブ（ＷＷＷ：Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）であり得る。

本発明の一実施形態によれば、イメージマッチングシステム２００は、ユーザ端末装置３００に、グラフ構造を用いてパノラマイメージに対するビジュアルサーチサービスを提供するにあたり、複数のパノラマイメージの位置および複数のパノラマイメージにそれぞれ含まれている特定のオブジェクトの方向を参照して、少なくとも２つのパノラマイメージにそれぞれ含まれる特定のオブジェクトが互いに同一のオブジェクトであると認識されると、前記少なくとも２つのパノラマイメージにそれぞれ含まれる特定のオブジェクトに対するイメージ間の対応関係を示すためのグラフ構造を生成する機能を果たすことができる。また、本発明の一実施形態に係るイメージマッチングシステム２００は、所定のオブジェクトを含むイメージがクエリ（ｑｕｅｒｙ）として入力されると、所定のオブジェクトを含むイメージを、任意のグラフ構造に属する少なくとも１つのイメージとマッチングし、マッチング結果を参照して、マッチングされたイメージとマッチングされたイメージとグラフ構造により連結されている少なくとも１つのイメージとを、クエリに対する検索結果として提供する機能を果たすことができる。イメージマッチングシステム２００の内部構成に関する詳細な説明は後述する。

一方、本発明の一実施形態に係るユーザ端末装置３００は、ユーザがイメージマッチングシステム２００に接続した後通信できるようにする機能を含むデジタル機器であって、個人用コンピュータ（例えば、デスクトップコンピュータ、ノート型コンピュータなど）、ワークステーション、ＰＤＡ、ウェブパッド、移動電話などのように、メモリ手段を具備し、マイクロプロセッサを搭載して演算能力を備えたデジタル機器であれば何でも、本発明に係るユーザ端末装置３００として採用可能である。

イメージマッチングシステムの構成
以下では、本発明の実現のために重要な機能を果たすイメージマッチングシステム２００の内部構成および各構成要素の機能について説明する。

図２は、本発明の一実施形態に係るイメージマッチングシステム２００の内部構成を例示的に示す図である。
図２に示すように、本発明の一実施形態に係るイメージマッチングシステム２００は、位置特定部２１０と、グラフ構造生成部２２０と、クエリ実行部２３０と、データベース管理部２４０と、通信部２５０と、制御部２６０とを含むことができ、データベース管理部２４０は、パノラマイメージデータベース２４１およびグラフ構造データベース２４２を含むことができる。本発明の一実施形態によれば、位置特定部２１０、グラフ構造生成部２２０、クエリ実行部２３０、データベース管理部２４０、通信部２５０、および制御部２６０は、それらの少なくとも一部がユーザ端末装置３００と通信するプログラムモジュールであり得る。このようなプログラムモジュールは、運営システム、応用プログラムモジュール、およびその他プログラムモジュールの形態でイメージマッチングシステム２００に含まれてもよく、物理的には様々な公知の記憶装置上に格納可能である。また、このようなプログラムモジュールは、イメージマッチングシステム２００と通信可能な遠隔記憶装置に格納されてもよい。一方、このようなプログラムモジュールは、本発明に係る後述する特定の業務を遂行するか特定の抽象データ類型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これらに限らない。

まず、本発明の一実施形態によれば、位置特定部２１０は、パノラマイメージが撮影された地点の座標（緯度、経度および高度）を参照して、複数のパノラマイメージの撮影位置を特定する機能を果たすことができる。本発明の一実施形態によれば、複数のパノラマイメージおよび複数のパノラマイメージそれぞれの撮影地点の座標（緯度、経度および高度）は互いに連係され、パノラマイメージデータベース２４１内に格納されることができる。

図３は、本発明の一実施形態に係る互いに異なる地点で撮影されたパノラマイメージ間の位置関係を具体的に示すための例示図である。
図３に示すように、本発明の一実施形態に係る互いに異なる地点で４つのパノラマイメージ３１０、３２０、３３０、３４０が撮影され、前記４つのパノラマイメージの位置は、各々の撮影地点の座標により特定されることができる。

次に、本発明の一実施形態によれば、グラフ構造生成部２２０は、位置特定部２１０により特定されたパノラマイメージの位置およびパノラマイメージの撮影地点を中心とするとき、パノラマイメージに含まれているオブジェクト（仮に、建物など）の位置する方向を参照して、少なくとも２つのパノラマイメージに含まれる特定のオブジェクトが互いに同一のオブジェクトであると認識されると、前記少なくとも２つのパノラマイメージにそれぞれ含まれる特定のオブジェクトに対するイメージ間の対応関係を示すためのグラフ構造（ｇｒａｐｈ ｓｔｒｕｃｔｕｒｅ）を生成する機能を果たす。

ここで、グラフ構造とは、特定集団内の複数の対象間の関係をグラフで示した数学的構造を意味するものであり、複数のノード（ｎｏｄｅ）と、互いに異なるノードを連結する線（ｅｄｇｅ）とから構成されることができる。本発明の一実施形態によれば、各ノードが線で連結されたグラフ構造において、各ノードは、複数のパノラマイメージにそれぞれ含まれる特定のオブジェクトに対するイメージを含むことができるが、互いに異なるノードが線で連結されているとは、前記線で連結された各ノードに該当するイメージは、互いに同一のオブジェクトに対するイメージを示していることを意味する。

一方、本発明の一実施形態によれば、任意のオブジェクトに対して生成されたグラフ構造に関する情報は、グラフ構造データベース２４２内に格納されることができる。グラフ構造データベース２４２は、グラフ構造を構成するノードおよび線に関する別個のデータ構造を格納することができるが、必ずしもこれに限定されるものではなく、複数のパノラマイメージにそれぞれ含まれている複数のオブジェクトイメージ自体の連結関係を生成するなどの多様な方法により実現されてもよい。

以下、本発明の一実施形態に係るオブジェクトＡに対する、いわゆる同一のオブジェクト認識過程（すなわち、オブジェクトＡと同一のオブジェクトであると認識できるか否かを判断する過程）およびグラフ構造生成過程をより具体的に説明する。

まず、本発明の一実施形態によれば、複数のパノラマイメージそれぞれに対してオブジェクトＡを含んでいるか否かを判断する。このとき、オブジェクト認識の効率性を向上させるために、パノラマイメージの撮影地点の座標を参照して、オブジェクトＡの位置する地点の周辺で撮影されたパノラマイメージに対してのみオブジェクトＡが含まれているか否かを判断することもできる。次に、本発明の一実施形態によれば、オブジェクトＡを含んでいると判断されたｎ個のパノラマイメージそれぞれに対して当該パノラマイメージの撮影地点を中心とするとき、当該パノラマイメージ上に表示されたオブジェクトＡの方向を算出する。次に、本発明の一実施形態によれば、前記ｎ個のパノラマイメージそれぞれの撮影地点の座標および前記ｎ個のパノラマイメージ上に表示されたオブジェクトＡの方向を参照して、前記ｎ個のパノラマイメージに含まれているオブジェクトＡが実際に互いに同一のオブジェクトであるか否かを決定することができる。

例えば、図３に示すように、第１、第２および第３パノラマイメージ３１０、３２０、３３０は、南北方向に真っ直ぐに伸びた第１道路上で撮影され、その撮影地点が第１道路に沿って同一経度線上で位置しており、第４パノラマイメージ３４０は、前記第１道路と直交する第２道路で撮影され、その撮影地点が第１、第２および第３パノラマイメージとはかけ離れた所に位置しており、オブジェクトＡ３５０が第２パノラマイメージの撮影地点と同一緯度上の東方向に位置し、前記オブジェクトＡ３５０と類似の外形を有するオブジェクトＢ３６０が第４パノラマイメージの撮影地点と同一経度上の南方向に位置する場合を仮定することができる。この場合、オブジェクトＡは、第１パノラマイメージ３１０上で第１パノラマイメージ３１０の撮影地点から東南方向に位置するもの３１５として表示されてもよく、第２パノラマイメージ３２０上で第２パノラマイメージ３２０の撮影地点から東方向に位置するもの３２５として表示されてもよく、第３パノラマイメージ３３０上で第３パノラマイメージ３３０の撮影地点から東北方向に位置するもの３３５として表示されてもよい。また、オブジェクトＡ３５０と類似の外形を有するオブジェクトＢ３６０は、第４パノラマイメージ３４０上に第４パノラマイメージ３４０の撮影地点から南方向に位置するもの３４５として表示されてもよい。したがって、本発明の一実施形態に係るグラフ構造生成部２２０は、第１から第４パノラマイメージの撮影地点の座標および第１から第４パノラマイメージ上に表示されたオブジェクトＡ３５０およびＢ３６０の方向を参照して、第１から第３パノラマイメージに含まれているオブジェクトＡは、すべて同一のオブジェクトであり、第４パノラマイメージに含まれているオブジェクトＢは、オブジェクトＡとは類似の外形を有するものの、オブジェクトＡとは互いに異なるオブジェクトであると判断することができる。

次に、本発明の一実施形態によれば、オブジェクトＡ３５０を含んでいると判断された第１から第３パノラマイメージ３１０、３２０、３３０において、オブジェクトＡ３５０の部分に該当する第１から第３パノラマイメージ３１０、３２０、３３０上の各々のオブジェクトＡイメージ３１５、３２５、３３５間の対応関係を示すグラフ構造を生成することができる。

図４は、本発明の一実施形態に係るグラフ構造の概念図を例示的に示す図である。
図４に示すように、グラフ構造の第１から第３ノード４１５、４２５、４３５は、第１から第３パノラマイメージのオブジェクトＡイメージ３１５、３２５、３３５に関する情報を含むことができ、グラフ構造の第４ノードは、第４パノラマイメージのオブジェクトＢイメージ３４５に関する情報を含むことができる。前述したように、第１から第３パノラマイメージに含まれているオブジェクトＡがすべて同一のオブジェクトであると認識されたため、第１から第３パノラマイメージのオブジェクトＡイメージ３１５、３２５、３３５に該当する第１から第３ノード４１５、４２５、４３５は互いに連結可能である。すなわち、図４に示すグラフ構造において、線によって連結されている複数のノードに属するオブジェクトイメージは、互いに同一のオブジェクトに対するイメージであることを意味する。

一方、上述したように、特定のオブジェクトを多様な角度および距離で撮影して得られる複数のパノラマイメージ上にそれぞれ表示される特定のオブジェクトを同一のオブジェクトとして認識するためには、所定のオブジェクト認識技術が必要とされるが、本発明の一実施形態によれば、このようなオブジェクト認識技術として、Ｋ．ＭＩＫＯＬＡＪＣＺＹＫ外７人が共同で著述し、２００５年１１月「Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ」に記載された「Ａ Ｃｏｍｐａｒｉｓｏｎ ｏｆ Ａｆｆｉｎｅ Ｒｅｇｉｏｎ Ｄｅｔｅｃｔｏｒｓ」という論文などを参照することができる（前記論文の内容はその全体として本明細書に援用されていることが考慮されなければならない）。前記論文には、多様な角度で撮影された同一のオブジェクトを正確に認識するために、アフィン不変量（ａｆｆｉｎｅ ｉｎｖａｒｉａｎｔ）領域を検出する方法について記載されている。もちろん、本発明に適用可能なオブジェクト認識技術は、前記論文に記載された方法にのみ限定されるものではなく、多様な変形例を適用して本発明を実現することができる。

次に、本発明の一実施形態によれば、クエリ実行部２３０は、グラフ構造生成部２２０により予め生成されたグラフ構造を参照して、クエリイメージに対する検索結果を迅速に提供する機能を果たす。より具体的には、本発明の一実施形態に係るクエリ実行部２３０は、特定のオブジェクトを含むイメージがクエリイメージとして入力されると、クエリイメージを、グラフ構造を伴う少なくとも１つのオブジェクトイメージとマッチングし、マッチング結果を参照して、マッチングされたオブジェクトイメージおよびマッチングされたオブジェクトイメージとグラフ構造により連結されている少なくとも１つのオブジェクトイメージを、クエリイメージに対する検索結果として提供することができる。さらに他の例として、本発明の一実施形態に係るクエリ実行部２３０は、特定のオブジェクトを含んでいるイメージがクエリイメージとして入力されると、クエリイメージを、グラフ構造を伴う少なくとも１つのオブジェクトイメージとマッチングし、マッチングされた少なくとも１つのオブジェクトイメージに対するグラフ構造を参照するとき、大多数のオブジェクトイメージが特定のグラフ構造に属する場合、前記特定のグラフ構造に属するオブジェクトイメージに含まれているオブジェクトの情報（テキスト情報、イメージ情報など）を、クエリイメージに対する検索結果として提供することもできるなど、多様な変形例を想定することができる。

図５は、本発明の一実施形態に係る入力されるクエリイメージを例示的に示す図である。そして、図６から図９は、それぞれ本発明の一実施形態に係る図３に示す各撮影地点で撮影された第１から第４パノラマイメージを例示的に示す図である。

本発明の一実施形態によれば、クエリ実行部２３０は、図５のクエリイメージに対するイメージマッチングを行った結果、図６の第１パノラマイメージのオブジェクトＡイメージ６１０が、図５のクエリイメージにマッチングされると判断することができる。この場合、クエリ実行部２３０は、基本的に、図６の第１パノラマイメージのオブジェクトＡイメージ６１０を、クエリに対する検索結果として提供することができる。また、本発明の一実施形態に係るクエリ実行部２３０は、オブジェクトＡに対して生成された図４のグラフ構造を参照して、図６の第１パノラマイメージのオブジェクトＡイメージ６１０とグラフ構造により連結されている図７の第２パノラマイメージのオブジェクトＡイメージ７１０および図８の第３パノラマイメージのオブジェクトＡイメージ８１０を、クエリに対する検索結果として追加的に提供することができ、図６の第１パノラマイメージのオブジェクトＡイメージ６１０とグラフ構造により連結されていない図９の第４パノラマイメージのオブジェクトＢイメージ９１０は、クエリに対する検索結果として提供しない。また、他の例として、本発明の一実施形態によれば、クエリ実行部２３０は、図５のクエリイメージに対するイメージマッチングを行った結果、図６の第１パノラマイメージのオブジェクトＡイメージ６１０、図７の第２パノラマイメージのオブジェクトＡイメージ７１０、図８の第３パノラマイメージのオブジェクトＡイメージ８１０、および図９の第４パノラマイメージのオブジェクトＢイメージ９１０を一次的なマッチング結果として選択することができ、このうち、同一のグラフ構造に属しない図９の第４パノラマイメージのオブジェクトＢイメージ９１０をノイズと判断してマッチング結果から除去した後、残りの同一のグラフ構造に属するオブジェクトＡイメージ６１０、オブジェクトＡイメージ７１０、オブジェクトＡイメージ８１０が同様に指しているオブジェクトＡに関する情報を、クエリに対する検索結果として提供することもできる。

次に、本発明の一実施形態によれば、パノラマイメージデータベース２４１には、多様な撮影地点で撮影された複数のパノラマイメージが撮影地点の座標（緯度、経度および高度）に連係されて格納されることができ、グラフ構造データベース２４２には、本発明により生成されたグラフ構造に関する情報が格納されることができる。

一方、本発明において、データベースとは、狭義のデータベースのみならず、コンピュータファイルシステムに基づいたデータ記録などを含む広義のデータベースまでをも含む概念であり、単純な演算処理ログの集合でも、これを検索して所定のデータを抽出できれば、本発明におけるデータベースに含まれることが理解されなければならない。図２において、データベース２４１、２４２は、イメージマッチングシステム２００に含まれて構成されているとして示されているが、本発明を実現する当業者の必要に応じて、データベース２４１、２４２は、イメージマッチングシステム２００とは別個に構成されてもよい。

以上で説明したように、本発明によれば、パノラマイメージの撮影地点と特定のオブジェクトの位置を参照して、特定のオブジェクトを含む複数のオブジェクトイメージ間の対応関係を含むグラフ構造を予め生成してイメージマッチングに活用することにより、クエリイメージと類似のオブジェクトを含むイメージを検索するために、データベース内に存在するすべてのイメージに対してイメージマッチングを遂行することなく、クエリイメージと類似のオブジェクトを含むイメージであると判断された特定のイメージおよびグラフ構造により特定のイメージと連結されている他のイメージを、クエリイメージに対する検索結果として提供することができるため、イメージマッチングの正確度を高め、イメージマッチングの演算速度を画期的に減縮させることができる。また、本発明によれば、一次的にマッチングされたイメージの大多数が特定のグラフ構造に含まれる場合、前記特定のグラフ構造に含まれない、一次的にマッチングされたイメージをノイズと判断してマッチング結果から除去することにより、マッチングの正確度を高めることができる。仮に、一次的にマッチングされたイメージの大多数が特定のグラフ構造に含まれる場合は、一次的にマッチングされたイメージのうち、特定のグラフ構造に含まれるイメージの占める割合が予め設定された値以上の場合を意味することができる。

一方、本発明の一実施形態に係るイメージマッチングシステム２００は、複数のパノラマイメージにおいて、オブジェクトの認識を妨げる木、自動車、人の顔などの障害物を探索し、このような障害物により遮られた部分を復元する機能を果たす前処理部（図示せず）をさらに含むことができる。道路に沿って移動しながら順次に撮影されるパノラマイメージの特性を考慮するとき、特定のパノラマイメージ上で障害物により遮られた部分は、特定のパノラマイメージが撮影された地点と近接した地点で撮影された他のパノラマイメージ上で正常に表現されていることがあるため、本発明の一実施形態に係る前処理部（図示せず）は、互いに近接した地点で撮影された複数のパノラマイメージを相互参照することにより、障害物により遮られた部分を復元することができる。

より具体的には、本発明の一実施形態に係る前処理部（図示せず）は、パノラマイメージ上で表示された障害物領域を効率的に探索するために、障害物領域の大きさを参照することができる。例えば、遠距離で撮影されたパノラマイメージにおいて、木や人の顔などの障害物領域が相対的に小さく表示されて地平線近傍に集中されている場合を仮定することができるが、この場合、本発明の一実施形態に係る前処理部（図示せず）は、地平線から予め設定されたピクセル数以内でのみ小さい大きさの障害物領域を探索することにより、探索の効率性を向上させることができる。

一方、本発明の一実施形態に係る通信部２５０は、イメージマッチングシステム２００がユーザ端末装置３００などのような外部装置と通信できるようにする機能を果たす。
また、本発明の一実施形態に係る制御部２６０は、位置特定部２１０、グラフ構造生成部２２０、クエリ実行部２３０、データベース管理部２４０、および通信部２５０間のデータの流れを制御する機能を果たす。すなわち、制御部２６０は、外部からの、またはイメージマッチングシステム２００の各構成要素間のデータの流れを制御することにより、位置特定部２１０、グラフ構造生成部２２０、クエリ実行部２３０、データベース管理部２４０、および通信部２５０でそれぞれ固有の機能を果たすように制御する。

上述した本発明に係る実施形態は、多様なコンピュータ構成要素を介して実行可能なプログラム命令語の形態で実現され、コンピュータ読取可能な記録媒体に記録できる。前記コンピュータ読取可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独または組合せて含むことができる。前記コンピュータ読取可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知で使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納し実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラにより作られるような機械語コードのみならず、インタプリタなどを用いてコンピュータにより実行可能な高級言語コードも含まれる。前記ハードウェア装置は、本発明に係る処理を遂行するために、１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

以上、本発明が具体的な構成要素などのような特定の事項と限定された実施形態および図面により説明されたが、これは、本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明が上記の実施形態に限定されるものではなく、本発明の属する技術分野における通常の知識を有する者であれば、このような記載から多様な修正および変形を図ることができる。

したがって、本発明の思想は、上述した実施形態に限って定められてはならず、後述する特許請求の範囲のみならず、この特許請求の範囲と均等または等価的に変形されたすべてのものなどは本発明の思想の範疇に属するというべきである。

１００：通信網
２００：イメージマッチングシステム
２１０：位置特定部
２２０：グラフ構造生成部
２３０：クエリ実行部
２４０：データベース管理部
２４１：地図データベース
２４２：イメージデータベース
２５０：通信部
２６０：制御部
３００：ユーザ端末装置

Claims (19)

1. パノラマイメージに対するイメージマッチングを遂行するための方法であって、
   （ａ）複数のパノラマイメージの撮影地点に関する情報および前記複数のパノラマイメージにそれぞれ含まれている特定のオブジェクトの方向を参照して、少なくとも２つのパノラマイメージにそれぞれ含まれている特定のオブジェクトが互いに同一のオブジェクトであると認識されると、前記少なくとも２つのパノラマイメージにそれぞれ含まれている特定のオブジェクトに対するイメージ間の連結構造を生成するステップと、
   （ｂ）所定のオブジェクトを含んでいるイメージがクエリ（ｑｕｅｒｙ）として入力されると、前記所定のオブジェクトを含んでいるイメージを、前記連結構造を伴う少なくとも１つのイメージとマッチングし、前記マッチング結果および前記連結構造を参照して、前記クエリに対する検索結果を提供するステップとを含み、
   前記パノラマイメージは、特定の撮影地点から見える全景（ｃｏｍｐｌｅｔｅ ｖｉｅｗ）を、前記特定の撮影地点を中心とする仮想の天球上に表現している方法。
2. 前記（ｂ）ステップは、
   特定のマッチングされたイメージおよび前記特定のマッチングされたイメージと前記連結構造により連結されている少なくとも１つのイメージを、前記クエリに対する検索結果として提供することを特徴とする請求項１に記載の方法。
3. 前記（ｂ）ステップは、
   前記マッチングされたイメージのうち、特定の連結構造に含まれているイメージの占める割合が予め設定された値以上であれば、前記マッチングされたイメージから前記特定の連結構造に含まれていないイメージを除去した後、前記クエリに対する検索結果として提供することを特徴とする請求項１または２に記載の方法。
4. 前記（ａ）ステップにおいて、
   前記特定のオブジェクトの方向は、当該パノラマイメージの撮影地点を中心として算出されるものであることを特徴とする請求項１から３のいずれか一項に記載の方法。
5. 前記（ａ）ステップにおいて、
   第１パノラマイメージにおいて、前記特定のオブジェクトであると認識された第１オブジェクトが、前記第１パノラマイメージ上で前記第１パノラマイメージの撮影地点から前記特定のオブジェクトの位置する地点に伸びた半直線上に表示され、第２パノラマイメージにおいて、前記特定のオブジェクトであると認識された第２オブジェクトが、前記第２パノラマイメージ上で前記第２パノラマイメージの撮影地点から前記特定のオブジェクトの位置する地点に伸びた半直線上に表示されると、前記第１オブジェクトおよび前記第２オブジェクトを同一のオブジェクトであると決定して連結構造を生成することを特徴とする請求項１から４のいずれか一項に記載の方法。
6. 前記（ａ）ステップにおいて、
   前記連結構造は、前記少なくとも２つのパノラマイメージにそれぞれ含まれる前記特定のオブジェクトに対するイメージが各ノード（ｎｏｄｅ）に設定され、各ノードは、線（ｅｄｇｅ）によって連結されるグラフ構造（ｇｒａｐｈ ｓｔｒｕｃｔｕｒｅ）であることを特徴とする請求項１から５のいずれか一項に記載の方法。
7. 前記（ａ）ステップの前に、
   前記複数のパノラマイメージから障害物を探索し、前記探索された障害物により遮られ
   た特定のオブジェクトの部分を復元するステップをさらに含む請求項１から６のいずれか一項に記載の方法。
8. 前記パノラマイメージ上における前記障害物領域の位置および前記障害物領域の大きさを参照して、前記障害物領域を決定することを特徴とする請求項７に記載の方法。
9. 前記探索された障害物により遮られた特定のオブジェクトの部分を復元するにあたり、前記特定のオブジェクトが正常に撮影された他のパノラマイメージ上における前記特定のオブジェクトのイメージを参照して復元することを特徴とする請求項７または８に記載の方法。
10. パノラマイメージに対するイメージマッチングを遂行するためのシステムであって、
    複数のパノラマイメージの撮影地点に関する情報および前記複数のパノラマイメージにそれぞれ含まれている特定のオブジェクトの方向を参照して、少なくとも２つのパノラマイメージにそれぞれ含まれている特定のオブジェクトが互いに同一のオブジェクトであると認識されると、前記少なくとも２つのパノラマイメージにそれぞれ含まれている特定のオブジェクトに対するイメージ間の連結構造を生成するグラフ構造生成部と、
    所定のオブジェクトを含んでいるイメージがクエリ（ｑｕｅｒｙ）として入力されると、前記所定のオブジェクトを含んでいるイメージを、前記連結構造を伴う少なくとも１つのイメージとマッチングし、前記マッチング結果および前記連結構造を参照して、前記クエリに対する検索結果を提供するクエリ実行部とを含み、
    前記パノラマイメージは、特定の撮影地点から見える全景（ｃｏｍｐｌｅｔｅ ｖｉｅｗ）を、前記特定の撮影地点を中心とする仮想の天球上に表現しているシステム。
11. 前記クエリ実行部は、
    特定のマッチングされたイメージおよび前記特定のマッチングされたイメージと前記連結構造により連結されている少なくとも１つのイメージを、前記クエリに対する検索結果として提供することを特徴とする請求項１０に記載のシステム。
12. 前記クエリ実行部は、
    前記マッチングされたイメージのうち、特定の連結構造に含まれているイメージの占める割合が予め設定された値以上であれば、前記マッチングされたイメージから前記特定の連結構造に含まれていないイメージを除去した後、前記クエリに対する検索結果として提供することを特徴とする請求項１０または１１に記載のシステム。
13. 前記特定のオブジェクトの方向は、当該パノラマイメージの撮影地点を中心として算出されるものであることを特徴とする請求項１０から１２のいずれか一項に記載のシステム。
14. 前記グラフ構造生成部は、
    第１パノラマイメージにおいて、前記特定のオブジェクトであると認識された第１オブジェクトが、前記第１パノラマイメージ上で前記第１パノラマイメージの撮影地点から前記特定のオブジェクトの位置する地点に伸びた半直線上に表示され、第２パノラマイメージにおいて、前記特定のオブジェクトであると認識された第２オブジェクトが、前記第２パノラマイメージ上で前記第２パノラマイメージの撮影地点から前記特定のオブジェクトの位置する地点に伸びた半直線上に表示されると、前記第１オブジェクトおよび前記第２オブジェクトを同一のオブジェクトであると決定して連結構造を生成することを特徴とする請求項１０から１３のいずれか一項に記載のシステム。
15. 前記連結構造は、前記少なくとも２つのパノラマイメージにそれぞれ含まれる前記特定のオブジェクトに対するイメージが各ノード（ｎｏｄｅ）に設定され、各ノードは、線（
    ｅｄｇｅ）によって連結されるグラフ構造（ｇｒａｐｈ ｓｔｒｕｃｔｕｒｅ）であることを特徴とする請求項１０から１４のいずれか一項に記載のシステム。
16. 前記複数のパノラマイメージから障害物を探索し、前記探索された障害物により遮られた部分を復元することにより、前処理されたパノラマイメージを提供する前処理部をさらに含むことを特徴とする請求項１０から１５のいずれか一項に記載のシステム。
17. 前記前処理部は、
    前記パノラマイメージ上における前記障害物領域の位置および前記障害物領域の大きさを参照して、前記障害物領域を決定することを特徴とする請求項１６に記載のシステム。
18. 前記前処理部は、
    前記探索された障害物により遮られた特定のオブジェクトの部分を復元するにあたり、前記特定のオブジェクトが正常に撮影された他のパノラマイメージ上における前記特定のオブジェクトのイメージを参照して復元することを特徴とする請求項１６または１７に記載のシステム。
19. 請求項１から９のいずれか１項に記載の方法を実行するためのコンピュータプログラムを記録したコンピュータ読取可能な記録媒体。