JP6440539B2

JP6440539B2 - 設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法

Info

Publication number: JP6440539B2
Application number: JP2015050219A
Authority: JP
Inventors: 昌則田正司; 卓嗣川田; 川浦　健央; 健央川浦
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-03-13
Filing date: 2015-03-13
Publication date: 2018-12-19
Anticipated expiration: 2035-03-13
Also published as: JP2016170060A

Description

この発明は、モバイル端末での拡張現実による表示を用いて、プラント設備や公共施設における設備・装置の維持管理を行う設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法に関するものである。

拡張現実ＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）の技術を用いて、現実空間の動画像上に仮想画像をずれなく重畳表示するためには、自己位置と画角を高精度に推定する必要があるが、ＧＰＳ単独では最大１０メートル程度の誤差があり、必要な自己位置精度を確保できない。
このため、移動体に搭載したカメラの実画像から抽出した特徴部（特徴情報）と、付近で撮影された複数の実画像の中から抽出した特徴部（特徴情報）とをマッチングする手法が開示されている。（たとえば、特許文献１）

特開２０１２−１２７８９６号公報（第６〜１０頁、第１図）

従来の自己位置推定方式は、以上のように構成されているので、近辺で撮影された実画像は特徴点を抽出するために十分な光量のもとで撮影したものでなければならず、特徴点抽出に適さない画像を用いた場合に、特徴点不足や誤った特徴点抽出を行い、自己位置を正しく推定できない問題点があった。

この発明は、上述のような課題を解決するためになされたものであり、モバイル端末での拡張現実を用いて、現実空間の映像に設備情報を重畳表示するための自己位置の推定を高精度に行う設備情報表示システム、モバイル端末、サーバおよび設備情報表示方法を得ることを目的とする。

この発明に係わる設備情報表示システムにおいては、設備情報を記憶した設備情報データベースと、ＭＭＳ（ＭｏｂｌｅＭａｐｐｉｎｇＳｙｓｔｅｍ）で計測された所定範囲の３次元座標データを記憶した３次元座標データベースとを有するサーバ、およびこのサーバからの情報を用いて、設備の実画像上に設備情報の３次元画像を重畳表示するモバイル端末を備え、モバイル端末は、モバイル端末周辺の実画像を撮影するカメラと、カメラによって撮影された現在の実画像をオルソ補正したものと、サーバから取得した３次元座標データとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることによりモバイル端末の自己位置を推定する自己位置推定部と、加速度および角速度を含む各種センサ情報に基づき、モバイル端末の移動量を推定する移動量推定部と、推定された移動量により更新された自己位置に基づき、カメラによって撮影された設備の実画像上に、サーバから取得した当該設備情報の３次元画像を重畳表示するＡＲ表示部とを有するものである。

この発明によれば、設備情報を記憶した設備情報データベースと、ＭＭＳで計測された所定範囲の３次元座標データを記憶した３次元座標データベースとを有するサーバ、およびこのサーバからの情報を用いて、設備の実画像上に設備情報の３次元画像を重畳表示するモバイル端末を備え、モバイル端末は、モバイル端末周辺の実画像を撮影するカメラと、カメラによって撮影された現在の実画像をオルソ補正したものと、サーバから取得した３次元座標データとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることによりモバイル端末の自己位置を推定する自己位置推定部と、加速度および角速度を含む各種センサ情報に基づき、モバイル端末の移動量を推定する移動量推定部と、推定された移動量により更新された自己位置に基づき、カメラによって撮影された設備の実画像上に、サーバから取得した当該設備情報の３次元画像を重畳表示するＡＲ表示部とを有するので、重畳表示のための自己位置の推定に当たり、ＭＭＳで取得した３次元座標データから特徴点を抽出するため、処理がし易く、かつ抽出精度が上がり、高精度に自己位置を推定することができる。

この発明の実施の形態１による設備情報表示システムを示すブロック図である。この発明の実施の形態１による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。この発明の実施の形態１による設備情報表示システムの特徴点マッチングを示すイメージ図である。この発明の実施の形態２による設備情報表示システムを示すブロック図である。この発明の実施の形態２による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。この発明の実施の形態３による設備情報表示システムを示すブロック図である。この発明の実施の形態３による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。この発明の実施の形態４による設備情報表示システムを示すブロック図である。この発明の実施の形態４による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。この発明の実施の形態５による設備情報表示システムを示すブロック図である。この発明の実施の形態５による設備情報表示システムの初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示すフローチャートである。

実施の形態１．
以下、この発明の実施の形態１を図に基づいて説明する。
図１は、この発明の実施の形態１による設備情報表示システムを示すブロック図である。
図１において、設備情報表示システムは、モバイル端末１００とサーバ２００により構成される。
モバイル端末１００は、次のように構成されている。
ジャイロ（角速度）センサ１１０は、モバイル端末１００の姿勢変化を計測する。加速度センサ１２０は、モバイル端末１００の加速度を計測する。電子コンパス１３０は、モバイル端末１００の方位を計測する。カメラ１４０は、モバイル端末１００の周辺の実画像（動画像）を撮影する。ＧＰＳ１５０は、誤差１０メートル程度の精度のモバイル端末１００の位置情報を取得する。
ＡＲ表示部１６０は、拡張現実の技術を用いて、カメラ１４０により撮影された設備の動画像上に設備情報の３次元画像（コンピュータグラフィックス画像データ）を重畳表示する。自己位置情報１７０は、モバイル端末１００の現在の自己位置・姿勢情報を保持する。移動量推定部１８０は、各種センサからの情報をもとにモバイル端末１００の移動量を推定する。自己位置推定部１９０は、ＧＰＳ１５０の情報、カメラ１４０の静止画像および後述する３次元地図情報を用いて、モバイル端末１００の現在位置を推定する初期位置合わせを行う。

この初期位置合わせの結果の現在の位置情報、姿勢情報は、自己位置情報１７０に保持され、この現在の位置情報、姿勢情報は、移動量推定部１８０の移動量に基づき、更新されるようになっている。
更新された自己位置情報１７０の現在の位置情報、姿勢情報は、ＡＲ表示部１６０における重畳表示に用いられる。すなわち、重畳表示に当たっては、どの画角で、どの範囲の映像かの情報が必要で、モバイル端末１００側からの見え方も考慮して実行される。

サーバ２００は、次のように構成されている。
設備情報ＤＢ（データベース）２１０は、ＡＲ表示対象の設備情報を保持する。
３次元地図情報ＤＢ２２０（３次元座標データベース）は、ＭＭＳ（ＭｏｂｌｅＭａｐｐｉｎｇＳｙｓｔｅｍ）で計測された、対象設備の周辺を含む所定範囲の（ｘ、ｙ、ｚ）座標値を有する３次元座標データ（３次元点群データ）である３次元地図情報を保持する。
設備情報送信部２３０は、モバイル端末１００からの要求に応じて、設備情報を返す。３次元地図情報送信部２４０は、モバイル端末１００からの要求に応じて、３次元地図情報を返す。

図３は、この発明の実施の形態１による設備情報表示システムの特徴点マッチングを示すイメージ図である。
図３（ａ）はモバイル端末１００の撮影した実画像（静止画像）を示す図、図３（ｂ）は図３（ａ）をオルソ補正したオルソ画像を示す図、図３（ｃ）はオルソ画像から特徴点を抽出したときのイメージ図、図３（ｄ）は３次元地図情報ＤＢ２２０に記憶された３次元座標データのイメージ図、図３（ｅ）は３次元座標データから特徴点を抽出したときのイメージ図である。

次に、動作について図２を用いて説明する。
図２は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
モバイル端末１００の自己位置推定部１９０は、ＧＰＳ１５０から現在の概略位置を取得する（ＳＴ１００１、第一のステップ）。
自己位置推定部１９０は、現在の概略位置を中心に半径２０メートルの領域を含む３次元地図情報の要求を、サーバ２００の３次元地図情報送信部２４０に送信する（ＳＴ１００２）。
３次元地図情報送信部２４０は、要求された領域の３次元地図情報を３次元地図情報ＤＢ２２０から抽出してモバイル端末１００に送信する（ＳＴ１００３、第二のステップ）。
この３次元地図情報は、３次元座標データであり、細かいメッシュ、高精度であるから、特徴点の抽出精度が上がり、マッチングの成功率が上がる。

モバイル端末１００の自己位置推定部１９０は、カメラ１４０から現在の実画像（静止画像）を取得する（ＳＴ１００４）。
自己位置推定部１９０は、現在の実画像（静止画像）に対してオルソ補正（中心投影の歪んだ形状の画像を、正射投影によりその歪みを補正すること）を行った上で、特徴点を抽出する（ＳＴ１００５）。
自己位置推定部１９０は、ＳＴ１００３で取得した３次元地図情報の特徴点を抽出し、この抽出した特徴点と、ＳＴ１００５で抽出した特徴点のマッチングを行い、モバイル端末１００の自己位置を推定する（ＳＴ１００６、第三のステップ）。
自己位置推定部１９０は、初期位置合わせを終了する（ＳＴ１００７）。

次いで、移動量推定部１８０は、ジャイロセンサ１１０および電子コンパス１３０から５ミリ秒周期でモバイル端末１００の角速度および方位を取得する（ＳＴ１００８）。
移動量推定部１８０は、加速度センサ１２０から５ミリ秒周期で加速度を取得する（ＳＴ１００９）。
移動量推定部１８０は、角速度、方位、加速度の変化量から移動速度を算出し、移動量を推定して、自己位置情報１７０に格納されたモバイル端末１００の現在の位置情報、姿勢情報を更新する（ＳＴ１０１０、第四のステップ）。
以降の動作は、ＳＴ１００８〜ＳＴ１０１０を５ミリ秒周期で繰り返す。
更新された自己位置情報１７０の現在の位置情報、姿勢情報を基にして、ＡＲ表示部１６０は、カメラ１４０により撮影された設備の動画像上に、設備情報の３次元画像を重畳表示する（第五のステップ）。

実施の形態１によれば、ＭＭＳで取得した３次元座標データから特徴点を抽出するので、処理がし易く、かつ抽出精度が上がり、従来手法のような付近の実画像から特徴点を抽出する方式に比べ、高精度に自己位置を推定できるという効果がある。

実施の形態２．
図４は、この発明の実施の形態２による設備情報表示システムを示すブロック図である。
図４において、１００〜１７０、１９０、２００〜２４０は図１におけるものと同一のものである。図４では、モバイル端末１００に、各種センサからの情報に加えて、カメラ１４０の静止画像の差分をもとに、移動量を推定する移動量推定部１８１を設けている。

実施の形態２は、実施の形態１に対し、モーションステレオによる移動量の推定を追加したものである。

以下、実施の形態２の動作について図５を用いて説明する。
図５は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
図５において、初期位置合わせの流れは、実施の形態１のＳＴ１００１〜ＳＴ１００７と同様である。
また、移動量推定のうち、角速度、加速度、方位の情報をもとに自己位置情報１７０を更新する流れは、実施の形態１のＳＴ１００８〜ＳＴ１０１０と同様である。

ＳＴ１００７の後、移動量推定部１８１は、５００ミリ秒周期で、カメラ１４０から現在の実画像（静止画像）を取得する（ＳＴ１１００）。
次いで、移動量推定部１８１は、前回取得した実画像（静止画像）と現在の実画像（静止画像）から画像特徴ペアを生成し、５点比較モーション推定で移動量を推定した結果をもとに、自己位置情報１７０の現在の位置情報、姿勢情報を更新する（ＳＴ１１０１）。
以降の動作は、ＳＴ１００８〜ＳＴ１０１０を５ミリ秒周期、ＳＴ１１００〜ＳＴ１１０１を５００ミリ秒周期で繰り返す。

実施の形態２によれば、モーションステレオによる移動量の推定を行うことにより、加速度センサ、ジャイロセンサ、電子コンパスの精度への依存度を下げ、一定の精度での移動量推定を可能にするという効果がある。

実施の形態３．
図６は、この発明の実施の形態３による設備情報表示システムを示すブロック図である。
図６において、１００〜１７０、１８１、１９０、２００〜２４０は図４におけるものと同一のものである。図６では、モバイル端末１００に、ＡＲ表示位置のずれをモバイル端末使用者が手動で補正できるＡＲ操作部１６１を設け、実画像（静止画像）や３次元座標データに特徴がないときなどで、ずれの大きい場合に対処するようにしている。

実施の形態３は、実施の形態２に対し、ＡＲ表示位置のずれをモバイル端末使用者が手動で補正できるＡＲ操作部１６１を設けたものである。

以下、実施の形態３の動作について図７を用いて説明する。
図７は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
図７において、初期位置合わせのうち、周辺の３次元地図情報と現在の実画像（静止画像）の特徴点マッチングで自己位置を推定するまでの流れは、実施の形態１のＳＴ１００１〜ＳＴ１００６と同様である。
また、ＳＴ１００８〜ＳＴ１０１０、ＳＴ１１００〜ＳＴ１１０１は図５における処理と同じ処理である。

モバイル端末１００のＡＲ表示部１６０は、自己位置推定結果をもとに設備の３Ｄ図形（３次元画像）を実画像（動画像）上に重畳表示する（ＳＴ１２００）。
モバイル端末１００のＡＲ操作部１６１は、モバイル端末使用者に設備の３Ｄ図形の表示位置調整を促す。例えば、表示対象の設備にマンホールが含まれる場合、マンホールの３Ｄ図形の表示位置を実画像（動画像）上のマンホールの位置と一致するように位置調整を促す。このとき、３Ｄ図形は、前後・左右・高さ方向の移動に加え、回転も可能なユーザインタフェースを提供する（ＳＴ１２０１）。
ＡＲ操作部１６１は、モバイル端末使用者による表示位置調整の結果をもとに自己位置情報１７０の自己位置・姿勢情報を更新する（ＳＴ１２０２）。
ＡＲ操作部１６１は、初期位置合わせを終了する（ＳＴ１２０３）。
以降の動作は、実施の形態２と同様、ＳＴ１００８〜ＳＴ１０１０を５ミリ秒周期、ＳＴ１１００〜ＳＴ１１０１を５００ミリ秒周期で繰り返す。

実施の形態３によれば、モバイル端末の使用者が表示上のずれをもとに補正が可能なため、初期位置を高精度に補正できるという効果がある。

実施の形態４．
図８は、この発明の実施の形態４による設備情報表示システムを示すブロック図である。
図８において、１００〜１６０、１６１、１７０、１８１、２００〜２４０は図６におけるものと同一のものである。図８では、モバイル端末１００に、オルソ画像との比較による自己位置推定を可能とする自己位置推定部１９１を設けている。また、サーバ２００に、ＭＭＳであらかじめ計測された実画像（静止画像）をオルソ補正して記憶したオルソ画像ＤＢ２２１と、このオルソ画像ＤＢ２２１に記憶されたオルソ画像をモバイル端末１００からの要求に応じて送信するオルソ画像送信部２４１とを設けている。
ＭＭＳの計測では、レーザ照射による３次元座標データの取得とともに、カメラによる実画像（動画像）の撮影が行われる。

実施の形態４は、実施の形態３に対し、モバイル端末１００にオルソ画像との比較による自己位置推定を可能とする自己位置推定部１９１を設け、サーバ２００にオルソ画像ＤＢ２２１とオルソ画像送信部２４１を設けたものである。

以下、実施の形態４の動作について図９を用いて説明する。
図９は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
図９において、初期位置合わせの流れのうち、周辺の３次元地図情報と現在の実画像（静止画像）の特徴点マッチングで自己位置推定するまでの流れは、実施の形態１のＳＴ１００１〜ＳＴ１００６と同様である。
また、ＳＴ１００８〜ＳＴ１０１０、ＳＴ１１００〜ＳＴ１１０１は図５における処理と同じ処理である。

ＳＴ１００６の処理に次いで、モバイル端末１００の自己位置推定部１９１は、現在の自己位置を中心に半径２０メートルの領域を含むオルソ画像の要求を、サーバ２００のオルソ画像送信部２４１に対して送信する（ＳＴ１３００）。
オルソ画像送信部２４１は、要求されたオルソ画像をオルソ画像ＤＢ２２１から取り出して、モバイル端末１００に送信する（ＳＴ１３０１）。

モバイル端末１００の自己位置推定部１９１は、カメラ１４０から現在の実画像（静止画像）を取得する（ＳＴ１３０２）。
自己位置推定部１９１は、現在の実画像（静止画像）に対してオルソ補正を行い、特徴点を抽出する（ＳＴ１３０３）。
自己位置推定部１９１は、ＳＴ１３０１で取得したオルソ画像の特徴点と、ＳＴ１３０３で抽出した特徴点のマッチングを行い、自己位置を推定する（ＳＴ１３０４）。
以降の動作は、実施の形態３と同様に、ＳＴ１２００〜ＳＴ１２０３を行って初期位置合わせを終了し、ＳＴ１００８〜ＳＴ１０１０を５ミリ秒周期、ＳＴ１１００〜ＳＴ１１０１を５００ミリ秒周期で繰り返す。

実施の形態４によれば、ＭＭＳで取得した３次元点群データに加えてオルソ画像との特徴点マッチングを実施するため、河川敷のような３次元点群データ上では特徴の少ない環境でも、オルソ画像で特徴点として抽出可能な道路上の白線やマンホールなどがあれば特徴点マッチングが可能となり、自己位置推定に失敗するケースを軽減する効果がある。

実施の形態５．
図１０は、この発明の実施の形態５による設備情報表示システムを示すブロック図である。
図１０において、１００〜１６０、１６１、１７０、１８１、２００〜２４０は図６におけるものと同一のものである。図１０では、モバイル端末１００に、現在の概略位置と実画像（静止画像）の特徴点情報を取得する自己位置推定部１９２を設け、サーバ２００に、指定された特徴点と３次元地図情報の特徴点マッチングを行い、モバイル端末１００の位置推定を行う位置推定部２５０を設けている。

実施の形態５は、実施の形態３に対し、自己位置を推定する機能をサーバ２００に移したものである。

以下、実施の形態５の動作について図１１を用いて説明する。
図１１は、初期位置合わせを開始してから自己位置情報の定期更新処理までの流れを示している。
図１１において、ＳＴ１００８〜ＳＴ１０１０、ＳＴ１１００〜ＳＴ１１０１、ＳＴ１２００〜ＳＴ１２０３は図７における処理と同じ処理である。
図１１で、モバイル端末１００の自己位置推定部１９２は、ＧＰＳ１５０から現在の概略位置を取得する（ＳＴ１４００）。
自己位置推定部１９２は、カメラ１４０から現在の実画像（静止画像）を取得する（ＳＴ１４０１）。
自己位置推定部１９２は、現在の実画像（静止画像）に対してオルソ補正を行い、特徴点を抽出する（ＳＴ１４０２）。
自己位置推定部１９２は、現在の概略位置と特徴点情報をサーバ２００の位置推定部２５０に送信する（ＳＴ１４０３）。

位置推定部２５０は、指定された特徴点と３次元地図情報の特徴点マッチングを行い、位置推定を行う（ＳＴ１４０４）。
位置推定部２５０は、位置推定結果をモバイル端末１００に送信する（ＳＴ１４０５）。
モバイル端末１００の自己位置推定部１９２は、受信した位置推定結果で自己位置情報１７０を更新する（ＳＴ１４０６）。
以降の動作は、実施の形態３と同様、ＳＴ１２００〜ＳＴ１２０３を行って初期位置合わせを終了し、ＳＴ１００８〜ＳＴ１０１０を５ミリ秒周期、ＳＴ１１００〜ＳＴ１１０１を５００ミリ秒周期で繰り返す。

実施の形態５によれば、演算負荷の高い特徴点マッチングを演算処理能力の高いサーバで行うため、自己位置推定時間を短縮するという効果がある。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

１００モバイル端末、１１０ジャイロセンサ、１２０加速度センサ、
１３０電子コンパス、１４０カメラ、１５０ＧＰＳ、１６０ＡＲ表示部、
１６１ＡＲ操作部、１７０自己位置情報、１８０移動量推定部、
１８１移動量推定部、１９０自己位置推定部、１９１自己位置推定部、
１９２自己位置推定部、２００サーバ、２１０設備情報ＤＢ、
２２０３次元地図情報ＤＢ、２２１オルソ画像ＤＢ、２３０設備情報送信部、
２４０３次元地図情報送信部、２４１オルソ画像送信部、２５０位置推定部

Claims

設備情報を記憶した設備情報データベースと、
ＭＭＳ（ＭｏｂｌｅＭａｐｐｉｎｇＳｙｓｔｅｍ）で計測された所定範囲の３次元座標データを記憶した３次元座標データベースとを有するサーバ、
およびこのサーバからの情報を用いて、設備の実画像上に上記設備情報の３次元画像を重畳表示するモバイル端末を備え、
上記モバイル端末は、
上記モバイル端末周辺の実画像を撮影するカメラと、
上記カメラによって撮影された現在の実画像をオルソ補正したものと、上記サーバから取得した上記３次元座標データとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることにより上記モバイル端末の自己位置を推定する自己位置推定部と、
加速度および角速度を含む各種センサ情報に基づき、上記モバイル端末の移動量を推定する移動量推定部と、
上記推定された移動量により更新された自己位置に基づき、上記カメラによって撮影された上記設備の実画像上に、上記サーバから取得した当該設備情報の３次元画像を重畳表示するＡＲ表示部とを有することを特徴とする設備情報表示システム。
上記移動量推定部は、上記各種センサ情報に基づく移動量の推定と並行して、上記カメラによって撮影された現在の実画像と、直前に撮影された実画像との差分から、上記モバイル端末の移動量を推定することを特徴とする請求項１記載の設備情報表示システム。
上記モバイル端末は、上記ＡＲ表示部により表示された設備情報の３次元画像の位置を手動で補正するＡＲ操作部を有することを特徴とする請求項１または請求項２記載の設備情報表示システム。
上記サーバは、所定範囲に亘って事前に撮影された実画像をオルソ補正したオルソ画像を記憶したオルソ画像データベースを有し、
上記自己位置推定部は、上記３次元座標データに基づく自己位置の推定に加えて、上記オルソ画像データベースに記憶されたオルソ画像と、現在の実画像をオルソ補正したものとの特徴点のマッチングを行い、上記モバイル端末の自己位置を推定することを特徴とする請求項１から請求項３のいずれか一項記載の設備情報表示システム。
設備情報を記憶した設備情報データベースと、
ＭＭＳで計測された所定範囲の３次元座標データを記憶した３次元座標データベースと、
モバイル端末の位置を推定する位置推定部とを有するサーバ、
およびこのサーバからの情報を用いて、設備の実画像上に当該設備情報の３次元画像を重畳表示するモバイル端末を備え、
上記サーバの位置推定部は、上記モバイル端末のカメラによって撮影された現在の実画像の特徴点を上記モバイル端末から取得するとともに、この取得した現在の実画像の特徴点と上記３次元座標データの特徴点をマッチングすることにより、上記モバイル端末の位置を推定し、
上記モバイル端末は、
上記モバイル端末周辺の実画像を撮影するカメラと、
上記カメラによって撮影された現在の実画像をオルソ補正したのち特徴点を抽出するとともに、上記サーバから上記モバイル端末の自己位置を取得する自己位置推定部と、
加速度および角速度を含む各種センサ情報に基づき、上記モバイル端末の移動量を推定する移動量推定部と、
上記推定された移動量により更新された自己位置に基づき、上記カメラによって撮影された上記設備の実画像上に、上記サーバから取得した当該設備情報の３次元画像を重畳表示するＡＲ表示部とを有することを特徴とする設備情報表示システム。
周辺の実画像を撮影するカメラ、
ＧＰＳ装置から取得したモバイル端末の概略位置の周辺の３次元座標データをサーバから取得し、この取得した３次元座標データと、上記カメラによって撮影された現在の実画像をオルソ補正したものとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることにより自己位置を推定する自己位置推定部、
加速度および角速度を含む各種センサ情報に基づき、移動量を推定する移動量推定部、
および上記推定された移動量により更新された自己位置に基づき、上記カメラによって撮影された設備の実画像上に、上記サーバから別途取得した当該設備情報の３次元画像を重畳表示するＡＲ表示部を備えたことを特徴とするモバイル端末。
ＭＭＳで計測された所定範囲の３次元座標データを記憶した３次元座標データベース、
およびモバイル端末のカメラによって撮影された現在の実画像をオルソ補正したものの特徴点を上記モバイル端末から取得するとともに、この取得した現在の実画像の特徴点と上記３次元座標データの特徴点をマッチングすることにより、上記モバイル端末の位置を推定する位置推定部を備えたことを特徴とするサーバ。
モバイル端末のＧＰＳ装置から上記モバイル端末の概略位置を取得する第一のステップ、
上記モバイル端末の概略位置の周辺の３次元座標データをサーバから取得する第二のステップ、
上記モバイル端末の自己位置推定部が、上記モバイル端末のカメラによって撮影された実画像をオルソ補正したものと、第二のステップにより取得された３次元座標データとについて、それぞれ特徴点を抽出し、この抽出した特徴点同士をマッチングすることにより、上記モバイル端末の自己位置を推定する第三のステップ、
上記モバイル端末の移動量推定部が、加速度および角速度を含む各種センサ情報に基づき、上記モバイル端末の移動量を推定し、上記自己位置を更新する第四のステップ、
および上記モバイル端末のＡＲ表示部が、上記更新された自己位置に基づき、上記カメラによって撮影された設備の実画像上に、上記サーバから取得した当該設備情報の３次元画像を重畳表示する第五のステップを含むことを特徴とする設備情報表示方法。