JP7698364B2 - 情報処理システム及び移動体、情報処理方法、プログラム - Google Patents

Description

本発明は、情報処理システム及び移動体、情報処理方法、プログラムに関する。

近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行体」と総称する）や無人地上車両（ＵＧＶ：Ｕｎｍａｎｎｅｄ Ｇｒｏｕｎｄ Ｖｅｈｉｃｌｅ）などの走行体などの自律制御可能な移動体が産業に利用され始めている。こうした中で、特許文献１には、飛行体が予め設定された複数のウェイポイントにおいて撮影対象を順次撮影するシステムが開示されている。

特開２０１４－０８９１６０号公報

しかしながら、上記特許文献１の開示技術は、屋外においてＧＮＳＳ（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）を自己位置推定に使用し、緯度経度情報に基づいて移動体の移動経路を作成するものであり、屋内での移動体の移動経路においては同様の手法を用いることができない。

また、屋内（例えば建物等の構造物内）での移動体の移動経路を生成する場合には、例えばＶｉｓｕａｌ ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）等の技術を用いて、手動で移動制御される移動体に搭載されたセンサのセンサ情報に基づき、屋内の３次元情報を予め取得し、これに基づいてユーザが移動経路の設定作業を行う方法が考えられる。しかしながら、屋外の移動経路の作成手法と屋内の移動経路の作成手法は別個のものであり、構造物の内外で跨る飛行経路を作成したいという要望については、十分に検討されているとはいえない。

本発明はこのような背景を鑑みてなされたものであり、構造物内外に跨る移動経路において自己推定可能な情報処理システム等を提供することを目的とする。

上記課題を解決するための本発明の主たる発明は、衛星測位システムからの受信情報を取得する受信機と、環境情報を取得するセンサと、を備える移動体の自己位置を推定する情報処理システムであって、前記受信情報を表す第１座標系と、前記環境情報を表す第２座標系とを共にベースポイント座標を基準とした基準座標系に変換する基準座標変換部と、前記受信情報が示す第１の自己位置情報と、前記環境情報と基準環境情報との比較によって算出される第２の自己位置情報とに基づき、前記基準座標系で表される第３の自己位置情報を推定する自己位置推定部と、を備える。

本発明によれば、特に、造物内外に跨る移動経路において自己推定可能な情報処理システム等を提供することができる。

本発明の実施の形態にかかる情報処理システムの構成を示す図である。 図１の管理サーバのハードウェア構成を示すブロック図である。 図１のユーザ端末のハードウェア構成を示すブロック図である。 図１の移動体のハードウェア構成を示すブロック図である。 図１の各構成の機能を示すブロック図である。 本発明の実施の形態にかかる座標変換を説明する図である。 本発明の実施の形態にかかる座標変換を説明する図である。 本発明の実施の形態にかかる座標変換を説明する図である。 本発明の実施の形態にかかる環境情報を説明する図である。 本発明の実施の形態にかかる基準環境情報を説明する図である。 本発明の実施の形態にかかる環境情報と基準環境情報との比較を説明する図である。 本発明の実施の形態にかかる自己位置推定を説明する図である。 本発明の実施の形態にかかる自己位置推定を説明する図である。 本発明の実施の形態にかかる自己位置推定を説明する図である。 本発明の実施の形態にかかる第３の自己位置情報の推定の一例を説明する図である。 本発明の実施の形態にかかる移動経路生成方法のフローチャートである。

本発明の実施形態の内容を列記して説明する。本発明の実施の形態による情報処理システム等は、以下のような構成を備える。
［項目１］
衛星測位システムからの受信情報を取得する受信機と、環境情報を取得するセンサと、を備える移動体の自己位置を推定する情報処理システムであって、
前記受信情報を表す第１座標系と、前記環境情報を表す第２座標系とを共にベースポイント座標を基準とした基準座標系に変換する基準座標変換部と、
前記受信情報が示す第１の自己位置情報と、前記環境情報と基準環境情報との比較によって算出される第２の自己位置情報とに基づき、前記基準座標系で表される第３の自己位置情報を推定する自己位置推定部と、
を備える、
ことを特徴とする情報処理システム。
［項目２］
前記自己位置推定部は、前記第１の自己位置情報及び前記第２の自己位置情報が入力され、前記第３の自己位置情報を出力する状態推定フィルタを含む、
ことを特徴とする項目１に記載の情報処理システム。
［項目３］
前記自己位置推定部は、前記受信機の第１の感度と前記センサの第２の感度と各感度に対応する基準感度との比較結果に応じて、前記第１の自己位置情報と前記第２の自己位置情報の少なくともいずれかに基づき、前記基準座標系で表される第３の自己位置情報を推定する、
ことを特徴とする項目１に記載の情報処理システム。
［項目４］
前記受信機は、ＧＰＳ受信機である、
ことを特徴とする項目１ないし３のいずれかに記載の情報処理システム。
［項目５］
前記センサは、ＬｉＤＡＲセンサである、
ことを特徴とする項目１ないし４のいずれかに記載の情報処理システム。
［項目６］
前記センサは、Ｖｉｓｕａｌセンサである、
ことを特徴とする項目１ないし４のいずれかに記載の情報処理システム。
［項目７］
前記基準座標系で表される前記第３の自己位置情報と、前記基準座標系で表される移動経路情報とを比較して、前記移動体の移動を制御する移動制御部をさらに備える、
ことを特徴とする項目１ないし６のいずれかに記載の情報処理システム。
［項目８］
前記センサにより前記移動体の移動経路上に障害物を感知した場合、前記移動経路情報を修正する移動経路情報修正部をさらに備える、
ことを特徴とする項目７に記載の情報処理システム。
［項目９］
衛星測位システムからの受信情報を取得する受信機と、環境情報を取得するセンサと、を備える移動体の自己位置を推定する情報処理システムであって、
前記受信情報を表す第１座標系と、前記環境情報を表す第２座標系とを共にベースポイント座標を基準とした基準座標系に変換する基準座標変換部と、
前記受信情報が示す第１の自己位置情報と、前記環境情報と基準環境情報との比較によって算出される第２の自己位置情報とに基づき、前記基準座標系で表される第３の自己位置情報を推定する自己位置推定部と、
を備える、
ことを特徴とする移動体。
［項目１０］
衛星測位システムからの受信情報を取得する受信機と、環境情報を取得するセンサと、を備える移動体の自己位置を推定する情報処理方法であって、
基準座標変換部により、前記受信情報を表す第１座標系と、前記環境情報を表す第２座標系とを共にベースポイント座標を基準とした基準座標系に変換するステップと、
自己位置推定部により、前記受信情報が示す第１の自己位置情報と、前記環境情報と基準環境情報との比較によって算出される第２の自己位置情報とに基づき、前記基準座標系で表される第３の自己位置情報を推定するステップと、
をコンピュータに実行させることを特徴とする情報処理方法。
［項目１１］
衛星測位システムからの受信情報を取得する受信機と、環境情報を取得するセンサと、を備える移動体の自己位置を推定する情報処理方法をコンピュータに実行させるプログラムであって、
基準座標変換部により、前記受信情報を表す第１座標系と、前記環境情報を表す第２座標系とを共にベースポイント座標を基準とした基準座標系に変換するステップと、
自己位置推定部により、前記受信情報が示す第１の自己位置情報と、前記環境情報と基準環境情報との比較によって算出される第２の自己位置情報とに基づき、前記基準座標系で表される第３の自己位置情報を推定するステップと、
を前記コンピュータに実行させることを特徴とするプログラム。

＜実施の形態の詳細＞
以下、本発明の実施の形態による情報処理システム等についての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。

＜構成＞
図１に示されるように、本実施の形態における情報処理システムは、管理サーバ１と、一以上のユーザ端末２と、一以上の移動体４（例えば、飛行体や走行体など）と、一以上の移動体格納装置５とを有している。管理サーバ１と、ユーザ端末２と、移動体４と、移動体格納装置５は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らず、例えば、移動体格納装置５を有さずに、ユーザにより持ち運びされる構成などでもよい。

＜管理サーバ１＞
図２は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。

図示されるように、管理サーバ１は、ユーザ端末２と、移動体４、移動体格納装置５と接続され本システムの一部を構成する。管理サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。

管理サーバ１は、少なくとも、プロセッサ１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。

プロセッサ１０は、管理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および／またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開された本システムのためのプログラム等を実行して各情報処理を実施する。

メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。

ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。

送受信部１３は、管理サーバ１をネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。

入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。

バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。

＜ユーザ端末２＞
図３に示されるユーザ端末２もまた、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ１と同様に構成することが可能であることから、各要素の詳細な説明は省略する。

ユーザ端末２は、例えば、パーソナルコンピュータやタブレット端末等の情報処理装置であるが、スマートフォンや携帯電話、ＰＤＡ等により構成してもよい。特に、入出力部２４は、ユーザ端末２がパーソナルコンピュータで構成されている場合はディスプレイとキーボードやマウスにより構成され、ユーザ端末２がスマートフォンまたはタブレット端末で構成されている場合はタッチパネル等から構成される。

＜移動体４＞
移動体４は、ドローンや無人航空機などの飛行体や無人地上車両などの走行体などを含む既知の移動体であって、特に自律制御可能な移動体である。移動体４の具体的な例として、飛行体４を例示して以下で説明する。図４は、飛行体４のハードウェア構成を示すブロック図である。フライトコントローラ４１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。

また、フライトコントローラ４１は、メモリ４１１を有しており、当該メモリにアクセス可能である。メモリ４１１は、１つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および／またはプログラム命令を記憶している。また、フライトコントローラ４１は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）等のセンサ類４１２を含みうる。

メモリ４１１は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ／センサ類４２から取得したデータは、メモリ４１１に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、カメラ／センサ４２または内蔵メモリからネットワークＮＷを介して、少なくとも管理サーバ１やユーザ端末２、移動体格納装置５のいずれか１つに記録されてもよい。カメラ４２は飛行体４にジンバル４３を介して設置されてもよい。

フライトコントローラ４１は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θ_ｘ、θ_ｙ及びθ_ｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ４４（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）を経由して飛行体の推進機構（モータ４５等）を制御する。バッテリー４８から給電されるモータ４５によりプロペラ４６が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。

また、フライトコントローラ４１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）４９、管理サーバ１、ユーザ端末２、表示装置、または他の遠隔の制御器）へのデータの送信および／または外部のデバイスからのデータの受信が可能に構成された送受信部４７と通信可能である。送受信機４９は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。

さらに、フライトコントローラ４１は、上述の飛行体の状態の制御などの移動体状態制御機能のみならず、外部のデバイス（特にユーザ端末２）からの指示に応じてアプリケーション・プログラムを実行するなどして、データ処理に関する各種機能を実現するようにしてもよく、例えば後述する移動経路生成部４３０や移動指示部４４０に対応する機能を実行可能であってもよい。なお、フライトコントローラ４１にデータ処理に関する機能を実現して移動体状態制御機能とデータ処理機能とで兼用としてもよいが、これに代えて、データ処理機能専用のプロセッサ（制御部）を別途備えるようにしてもよい。

送受信部４７は、例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。

送受信部４７は、カメラ／センサ類４２で取得したデータ、フライトコントローラ４１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。

本実施の形態によるカメラ／センサ類４２は、慣性センサ（加速度センサ、ジャイロセンサ）、衛星測位システムからの受信情報を取得する受信機（ＲＴＫ－ＧＰＳセンサ）、環境情報を取得するセンサ（近接センサ（例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）等）、またはＶｉｓｕａｌセンサ（例えば、カメラを含む）、イメージセンサ）を含み得る。

＜移動体４の機能＞
図５は、移動体４に実装される機能を例示したブロック図である。本発明の実施の形態においては、衛星測位システムからの受信情報を取得する受信機と環境情報を取得するセンサとを備える移動体の自己位置を推定するものであって、受信情報を表す第１座標系と、環境情報を表す第２座標系とを共にベースポイント座標を基準とした基準座標系に変換する基準座標変換部と、受信情報が示す第１の自己位置情報と、環境情報と基準環境情報との比較によって算出される第２の自己位置情報とに基づき、基準座標系で表される第３の自己位置情報を推定するために各種機能部を有している。なお、各種機能部の一部または全部は、管理サーバ１やユーザ端末２の少なくともいずれかに搭載される情報処理装置（プロセッサ、制御部）にて実現されてもよい。

本実施の形態においては、移動体４は、基準座標変換部４１０、自己位置推定部４２０、移動経路生成部４３０、移動指示部４４０、移動経路修正部４５０、記憶部４７０を備えている。また、記憶部４７０は、移動情報記憶部４７１、移動経路情報記憶部４７２の各種データベースを含む。

基準座標変換部４１０は、移動体４に搭載される受信機により取得する衛星測位システムからの受信情報を表す第１座標系（例えば緯度経度高さ座標系（ＬＬＡ座標系））と、移動体４に搭載されるセンサにより取得される環境情報を表す第２座標系（例えばＰｏｉｎｔ Ｃｌｏｕｄ Ｍａｐ（点群地図）座標系）と、を共にベースポイント座標を基準（例えば原点）とした基準座標系に変換する。より具体的には、例えば事前に記憶される座標間の変換情報（例えば後述の変換情報Ｔ１、Ｔ２）を利用して、第１座標系や第２座標系を基準座標系に変換する。

ここで、基準座標変換部４１０において各座標系を基準座標系に変換するために参照する変換情報Ｔ１の例を示す。図６に例示されるように点群地図座標系と基準座標系は独立に存在している。図中のＰ１乃至Ｐ３は、点群地図がもつ点群（例えば建物などのオブジェクトを示す点群等）を表すものである。基準座標系は、任意の位置を原点Ｏとした三次元座標系（ＸＹＺ座標系）で表現されている。図６の右においては、ＲＴＫ－ＧＰＳの緯度経度高さ座標系が基準座標系との変換情報Ｔ２（不図示）に基づき基準座標系で表現されている。図６の左においては、点群地図座標系が所定の位置（例えば、センサの電源をオンにした位置やリセット処理をした位置、移動体４が移動を開始する位置など）を原点Ｏ’とする三次元座標系（Ｘ’Ｙ’Ｚ’座標系）で表現されている。受信機とセンサの両方が正しく動作している状態で移動体４が移動すると、両者から移動体４の位置を得ることができる。なお、図６に例示されるように、取得した一連の自己位置の結果を軌跡として描くことができる。

そして、現実の世界においては、ある時刻における移動体４の位置は一つに定まるところ、ある時刻において同時に受信機とセンサから取得される移動体４の位置情報を「同じ場所を示す情報同士のペア」として両位置情報を同じ時刻に関連付けて、例えば移動情報記憶部４７１に記憶する。図７においては、特に互いに対応付ける位置がわかりやすい点（例えば、移動体の移動経路上の角にあたる部分など）の位置情報をペアで記憶する例が示されている。図８においては、このような記憶された各ペアの位置情報同士の距離の合計が最小となる位置関係における原点同士の関係性などに基づき変換情報Ｔ１を算出する。この変換情報Ｔ１（及び変換情報Ｔ２）を用いることで、衛星測位システムからの受信情報を表す第１座標系（例えば緯度経度高さ座標系）と、移動体４に搭載されるセンサにより取得される環境情報を表す第２座標系（例えばＰｏｉｎｔ Ｃｌｏｕｄ Ｍａｐ（点群地図）座標系）と、を共にベースポイント座標を基準とした基準座標系に変換することが可能となり、すなわち第１座標系で表現される位置情報と第２座標系で表現される位置情報とを基準座標系に統合することが可能となる。なお、この方法に限らず、第１座標系で表現される位置情報と第２座標系で表現される位置情報とを基準座標系に統合することが可能であればどのような方法であってもよい。また、第１座標系及び第２座標系で表現される各位置情報を基準座標系に変換して統合する構成について説明したが、この時、第１座標系及び第２座標系で表現される各位置における姿勢情報についても同様に基準座標系に変換して統合される。

自己位置推定部４２０は、基準座標系に変換された、受信情報が示す第１の自己位置情報と、環境情報と基準環境情報との比較によって算出される第２の自己位置情報と、に基づき、基準座標系で表される第３の自己位置情報を推定する。第１の自己位置情報は、例えば、ＲＴＫ－ＧＰＳにより取得された位置情報であり得る。第２の自己位置情報は、例えば、ＬｉＤＡＲセンサやＶｉｓｕａｌセンサ（カメラ含む）などにより取得される環境情報（例えば、図９にはＬｉＤＡＲ等で取得した三次元点群地図情報）と、事前に環境情報を取得するセンサにより取得された基準環境情報（例えば、図１０には事前にＬｉＤＡＲ等で取得した基準三次元点群地図情報）とを互いに比較することで判定された位置情報であり、当該比較により何れの観測位置から取得した環境情報であるかを判定し、当該観測位置を第２の自己位置情報とする。環境情報及び基準環境情報が点群地図として表現されている場合には、例えば、ＮＤＴ ｒｅｇｉｓｔｒａｔｉоｎ、ＮＤＴ Ｓｃａｎ Ｍａｔｃｈｉｎｇなどの既知の技術により両環境情報の形状をパズル合わせのように比較し（例えば、図１１には点群地図情報と基準点群地図情報とを重ね合わせた情報が示されている）、両者の一致度が最も高くなる座標変換を求めることで、第２の自己位置情報の推定が可能である。

さらに、具体的な一例としては、自己位置推定部４２０は、例えば、基準座標系に変換された第１の自己位置情報（例えばＲＴＫ－ＧＰＳに基づく自己位置情報）及び第２の自己位置情報（例えばＬｉＤＡＲセンサに基づく自己位置情報）を入力として、第３の自己位置情報を推定するカルマンフィルタやパーティクルフィルタ等の状態推定フィルタを含み得る。このうちカルマンフィルタは、複数の観測値を統合して尤もらしい状態量を推定する機能を持つフィルタであるところ、同一の基準座標系に変換された第１の自己位置情報及び第２の自己位置情報を用いることが可能となることから第３の自己位置情報を推定することが可能となる。なお、第１の自己位置情報または第２の自己位置情報が第３の自己位置情報を推定するために十分な感度（精度）でない場合、すなわち、第１の自己位置情報が例えばＲＴＫ－ＧＰＳに基づくものである形態においてＲＴＫ－ＧＰＳの通信状況に応じて所定値以下の感度となり基準を満たさない場合（例えば図１４には、移動体４が構造物内に入ったためにＲＴＫ－ＧＰＳの感度が０になったことが示されている）や、第２の自己位置情報のために基準環境情報を利用する形態において比較対象となる基準環境情報が十分用意されている位置ではなくＮＤＴ ｒｅｇｉｓｔｒａｔｉоｎ等のスコアが基準を満たさない場合（例えば図１２には、移動体４周辺の基準環境情報が少なく、不一致の指数を示すスコアが高くなっていることが示されている）などにおいては、十分な感度が得られなかった自己位置情報を入力として採用しないようにしてもよい。

また、具体的な他の例としては、自己位置推定部４２０は、第１の自己位置情報または第２の自己位置情報が第３の自己位置情報を推定するために十分な感度でない場合に、上記同様に十分な感度を示している自己位置情報（例えば、図１２では第１の自己位置情報、図１４では第２の自己位置情報）を採用して第３の自己位置情報を推定するが、図１３が示すように両自己位置情報において十分な感度を示している場合には、例えば、ユーザ操作により優先して採用する自己位置情報を事前に設定してもよいし、または、事前に設定された一以上の基準感度と各感度との比較結果に基づいて、より感度が高く示している自己位置情報が信頼性が高いとされるように重みづけをして第３の自己位置情報を推定してもよい（すなわち、図１５の左に例示されるように、両者の感度が同じ程度の信頼性を示す場合には、同等の重みづけであって第１の自己位置情報及び第２の自己位置情報の中央位置を第３の自己位置情報と推定し、一方の感度の信頼性が高いと示される場合には、感度が高く示されている自己位置情報側に寄せた比率の位置を第３の自己位置情報と推定するなど）。

また、自己位置推定部４２０は、第１の自己位置情報及び第２の自己位置情報のいずれも第３の自己位置情報を推定するために十分な感度でないと判定される場合（例えば、上述の基準感度に基づく判定であってもよい）には、後述の移動指示部４４０に対して移動体４の移動を停止させる信号を送信することで緊急停止機能を作動させるようにしてもよい。

このようにして、それぞれ異なる構成から取得され、異なる座標系によって表現された複数の観測情報において、同一の基準座標系に変換された第１の自己位置情報及び第２の自己位置情報を用いることが可能となることから精度の高い第３の自己位置情報を推定することが可能となる。

移動経路生成部４３０は、例えばユーザ端末２上に表示される三次元モデルデータ（例えば、図１０に示されるような基準三次元点群地図情報であってもよい）に対してユーザの選択操作により一以上のウェイポイント情報を始点から終点まで順次に、または、任意の点を任意の順で設定し、当該ウェイポイント情報に基づいて既知の方法により移動経路情報を生成し、移動経路情報記憶部４７２に記憶され、管理するようにしてもよいし、三次元環境データを解析し、例えば構造物内外の特定の又は全ての構成物（例えば、内壁、柱、天井、窓、ドア、階段、内部設備などの内部構成物や、外壁、屋根、外部設備、窓、ドア、階段、道路、線路、駅、街路灯、バス停、橋梁、トンネル、地形、植生、水域、ガスメーターほか計量器類などの外部構成物など）の情報を取得可能なウェイポイント情報を設定した移動経路を算出し、これを移動経路情報として移動経路情報記憶部４７２に記憶され、管理するようにしてもよい。

なお、移動経路は、例えば、移動体格納装置５の位置を移動開始位置及び移動終了位置として、各ウェイポイントを通過する移動経路を生成するようにしてもよいし、逆に移動体格納装置５を有さずに、ユーザにより機体を持ち運びされた位置を移動開始位置としたり、移動終了位置においてユーザが機体を回収したりする構成などでもよいし、管理サーバ１やユーザ端末２、移動体４の記憶部において管理された移動体格納装置５の情報（例えば、位置情報や格納状態情報、格納機情報など）を基に、移動開始位置または移動終了位置として選択された移動体格納装置５の位置も含めた移動経路として生成される構成でもよい。

三次元モデルデータは、上述のとおり基準三次元点群地図情報等の基準環境情報を利用してもよいが、これに限らず、例えば、ＣＡＤ（Ｃｏｍｐｕｔｅｒ―Ａｉｄｅｄ Ｄｅｓｉｇｎ）設計ソフトウェアで作成されたデータを基にして作成されたモデルであって、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データやＣＩＭ（Ｃｏｎｓｔｒｕｃｔｉｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データ、ＣＡＤデータ、ＢＩＭデータ等から再構築された三次元モデルデータなどであってもよいし、二次元の設計図データに基づき所定の高さを有する構成物を生成することで得られた三次元モデルデータであってもよいし、ＣｉｔｙＧＭＬ（Ｇｅｎｅｒａｌｉｚｅｄ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＣｉｔｙＪｓｏｎ、ＧｅｏＴＩＦＦなどの三次元都市モデルデータや本システム外部の三次元都市モデルデータベースに格納される三次元都市モデルデータであってもよい。なお、三次元モデルデータの再構築等は、管理サーバ１やユーザ端末２のプロセッサにおいて実行されてもよいし、管理サーバ１やユーザ端末２の外部で実行されて内部へ取得されてもよい。

また、基準環境情報が基準三次元点群地図情報である場合、基準三次元点群地図情報は、上述のとおり事前にＬｉＤＡＲ等のセンサにより取得した情報であってもよいが、例えば、管理サーバ１やユーザ端末２のプロセッサ等において上述の三次元モデルデータの構造物内外のモデル表面（サーフェス）を点群化した三次元点群モデルデータを用いてもよい。三次元点群モデルデータの生成方法については、例えば、三次元モデルデータの構造物内または構造物外を仮想のセンサ（例えば、仮想のＬｉＤＡＲ）を搭載した仮想の移動体４を移動させることにより構造物内または構造物外の構成物に関する三次元点群モデルデータを生成してもよい。これにより、理論上、構造物内または構造物外を移動体４のセンサで実測した場合の点群センシングデータに近い点群データを生成することができる。また、他の三次元点群モデルデータの生成方法は、三次元モデルデータを所定の間隔で均等に点群化してもよいし、三次元モデルデータがポリゴンデータである場合には各頂点に点を配置して点群化してもよいし、既知の点群化技術（点群データへの変換技術）を用いて点群化してもよい。生成された三次元点群モデルデータは、記憶部４７０や管理サーバ１やユーザ端末２のいずれかの記憶部に記憶される。

移動指示部４４０は、移動経路情報記憶部４７２に記憶される移動経路情報を参照し、移動経路情報が示す座標及び上述のとおり推定される第３の自己位置情報に応じて移動体４の移動を指示する情報を移動体４へ送信する。すなわち、特に構造物（例えば建物など）の外部にて感度が高く、事前の基準情報取得が必須ではない第１の自己位置情報と、事前の基準情報取得が必要ではあるものの構造物の内部でも感度が高い第２の自己位置情報と、をそれぞれ基準座標系に変換し、変換後の自己位置情報に基づき推定される基準座標系で表される第３の自己位置情報を用いることで、構造物内であっても、基準環境情報がない構造物外であっても、移動経路情報が示す情報と第３の自己位置情報を比較することが可能となるため、構造物内外に跨る移動経路においてもシームレスに移動体４の移動指示制御が可能となる。なお、移動経路情報は、上述の移動経路生成部４３０に生成されたものであってもよいし、外部システムで生成されて記憶されたものであってもよい。

ここで、移動体４は、さらに移動経路修正部４５０を備えていてもよい。移動経路修正部４５０は、環境情報を取得するためのセンサにより移動経路近傍（移動経路上を含む移動経路の所定距離範囲内）に障害物が存在することが確認された時に、移動指示部４４０が参照している移動経路情報を修正する。なお、本システムにおいては、移動経路が構造物内外に跨って基準座標系にて表現可能であるところ、例えば構造物の出入り口周辺に障害物がある場合などにおいては、移動経路の修正範囲は構造物内外に跨る移動経路を対象とすることが可能となる。

移動情報記憶部４７１は、移動経路生成部４３０により移動経路を生成する際や、移動指示部４４０により当該移動経路上において自律制御された移動体４の移動が指示される際などに用いられるパラメータ情報や移動経路上で取得した移動時取得情報等を格納している。具体的なパラメータの例としては、例えば、移動速度、飛行高度（移動体４が飛行体である場合）、撮像画像のオーバーラップ率、移動時取得情報（例えば、画像情報や映像情報、環境情報等）などを含む。

移動経路情報記憶部４７２は、移動経路生成部４３０により生成された移動経路上の座標情報（いわゆるウェイポイント情報）等を格納している。なお、上述のとおり、管理サーバ１やユーザ端末２のプロセッサ等や外部システムにより生成された移動経路情報を格納していてもよい。

＜ユーザ端末２の機能＞
図５は、ユーザ端末２に実装される機能も例示したブロック図である。なお、各種機能部の一部または全部は、管理サーバ１または移動体４の少なくともいずれかに搭載される情報処理装置（プロセッサ、制御部）にて実現されてもよい。

本実施の形態においては、ユーザ端末２は、通信部２１０、画面情報生成部２２０、記憶部２７０を備えている。

通信部２１０は、管理サーバ１や、移動体４、移動体格納装置５と通信を行う。通信部２１０は、管理サーバ１や、移動体４、移動体格納装置５からの各種要求やデータ等を受け付ける受付部としても機能する。

画面情報生成部２２０は、ユーザ端末２のユーザインターフェースを介して表示される画面情報を生成する。例えば、所定のレイアウト規則に基づいて、各種画像及びテキストを配置することで生成されるユーザインターフェース画面を構成し、当該ユーザインターフェース画面上で移動体４が取得した各種情報を表示するための画面情報を生成する。

図１６を参照して、本実施形態にかかる情報処理方法について、本実施の形態における情報処理システムの動作も含めて説明する。図１６には、本実施形態にかかる情報処理方法のフローチャートが例示されている。このフローチャートでは、例示的にユーザ端末２上でアプリケーションを起動する構成を示しているが、これに限らず、例えば管理サーバ１や移動体４、移動体格納装置５がアプリケーションを起動可能なプロセッサと入出力装置を有し、各種設定等が可能な構成であってもよい。

まず、ユーザは、例えばユーザ端末２において、移動体４の操作や取得情報の表示を行うアプリケーションを起動する（ＳＱ１０１）。このアプリケーションは、例えばユーザ端末２に記憶されていてもよいし、ネットワークを介して接続される管理サーバ１や移動体４または他の外部サーバ（不図示）から提供されるソフトウェア（いわゆるＳａａＳ）であってもよい。必要に応じてログイン画面が表示され、例えばログインＩＤやパスワードを要求する構成にしてもよい。

次に、ユーザは、新規の移動計画を作成する（ＳＱ１０２）。例えば、「プラン名」や「エリア名」、「住所」などを設定して、ユーザ端末２上に、移動対象となる三次元モデルデータを取得して表示し、新規の移動計画の作成を開始する。

次に、ユーザは、移動体４の移動のための移動経路を生成する（ＳＱ１０３）。例えば、ユーザ端末２上に表示される三次元モデルデータに対してユーザの選択操作により一以上のウェイポイント情報（例えば、ユーザ端末２上では緯度経度高さ座標系で表現される）を設定する。そして、移動体４に三次元モデルデータ及びウェイポイント情報を送信し、移動体４にて三次元モデルデータ及びウェイポイント情報に基づいて既知の方法（例えば設定されたウェイポイント間をそれぞれ直線にて結ぶ等）により移動経路情報が生成される。

次に、ユーザは、移動体４に移動の実行開始を指示する（ＳＱ１０４）。例えば、移動情報記憶部４７１及び移動経路情報記憶部４７２を参照して、点検、警備、建築進捗管理等を目的とする移動体４の移動を実行する。この時、移動体４の受信機により取得される第１の自己位置情報と、センサによる環境情報と基準環境情報とを比較した結果により得られる第２の自己位置情報と、をそれぞれ基準座標系に変換し、変換後の自己位置情報に基づき推定される基準座標系で表される第３の自己位置情報と、移動経路情報のウェイポイント情報等に基づき移動体４の移動が制御される。

次に、ユーザは、ユーザ端末２へ取得情報の出力を指示する（ＳＱ１０５）。例えば、ユーザ端末２上に表示される三次元モデルデータに移動体４が実際に移動した経路情報を重畳して表示してもよい。そのほか、移動経路上にて移動体４により取得された取得情報（静止画像、動画像、音声その他の情報）を表示したり、当該取得情報の位置情報に対応付けられた位置（特にウェイポイントの位置情報）に対応する取得情報を閲覧するためのリンクとなる記号などの印が付されてもよい。そして、当該リンクをユーザ端末２上で選択することで、対応する取得情報が表示されるようにしてもよい。

このように、本発明は、構造物内外に跨る移動経路においてもシームレスに精度の高い自己位置推定を行いながら移動体４の自律移動制御が可能な情報処理システム等を提供することができる。

また、上述の実施例では移動体４による構造物内外での情報取得を具体例としたが、例えば構造物の点検であってもよく、構造物の内壁および／または外壁の所定の事象の有無を点検するために利用される装置、機器等を備えていてもよい。より具体的には、撮像装置（可視光カメラ、赤外線カメラ、金属探知機、超音波測定器等）や、打鍵装置等、探知装置（金属探知機）、集音装置、臭気測定器、ガス検知器、空気汚染測定器、検出装置（宇宙線、放射線、電磁波等を検出するための装置）等の内壁や外壁を有する点検対象構造物の状態を知るために必要な装置は全て採用され得る。

また、実施例は例えば構造物内の警備や監視であってもよく、警備や監視のために利用される装置、機器等を備えていてもよい。より具体的には、撮像装置（可視光カメラ、赤外線カメラ、暗視カメラ、金属探知機、超音波測定器等）や、センサ装置（モーションセンサ、赤外線センサ等）等、警備・監視対象構造物の異常や侵入者等を撮像・検知するために必要な装置は全て採用され得る。

本発明の移動体は、カメラ等を搭載した撮影用の移動体としても好適に使用することができる他、セキュリティ分野、インフラ監視、測量、スポーツ会場・工場・倉庫等の建物や構造物内の点検、災害対応等の様々な産業にも利用することができる。

上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。

１ 管理サーバ
２ ユーザ端末
４ 移動体
５ 移動体格納装置

Claims (11)

1. 衛星測位システムからの受信情報を取得する受信機と、環境情報を取得するセンサと、を備える移動体の自己位置を推定する情報処理システムであって、
   前記受信情報を表す第１座標系で示される第１の自己位置情報と、前記環境情報を表す第２座標系で示され、事前に取得された基準環境情報と前記環境情報との比較によって算出された第２の自己位置情報と、を共にベースポイント座標を基準とした第１座標系及び第２座標系とは異なる基準座標系に変換する基準座標変換部と、
   前記基準座標系に変換された前記第１の自己位置情報と、前記基準座標系に変換された前記第２の自己位置情報とに基づき、前記基準座標系で表される第３の自己位置情報を推定する自己位置推定部と、
   を備える、
   ことを特徴とする情報処理システム。
2. 前記自己位置推定部は、前記基準座標系に変換された前記第１の自己位置情報、及び、前記基準座標系に変換された前記第２の自己位置情報が入力され、前記第３の自己位置情報を出力する状態推定フィルタを含む、
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記自己位置推定部は、前記受信機の第１の感度と前記センサの第２の感度と各感度に対応する基準感度との比較結果に応じて、前記第１の自己位置情報と前記第２の自己位置情報の少なくともいずれかに基づき、前記基準座標系で表される第３の自己位置情報を推定する、
   ことを特徴とする請求項１に記載の情報処理システム。
4. 前記受信機は、ＧＰＳ受信機である、
   ことを特徴とする請求項１ないし３のいずれかに記載の情報処理システム。
5. 前記センサは、ＬｉＤＡＲセンサである、
   ことを特徴とする請求項１ないし３のいずれかに記載の情報処理システム。
6. 前記センサは、Ｖｉｓｕａｌセンサである、
   ことを特徴とする請求項１ないし３のいずれかに記載の情報処理システム。
7. 前記基準座標系で表される前記第３の自己位置情報と、前記基準座標系で表される移動経路情報とを比較して、前記移動体の移動を制御する移動制御部をさらに備える、
   ことを特徴とする請求項１ないし３のいずれかに記載の情報処理システム。
8. 前記センサにより前記移動体の移動経路上に障害物を感知した場合、前記移動経路情報を修正する移動経路情報修正部をさらに備える、
   ことを特徴とする請求項７に記載の情報処理システム。
9. 衛星測位システムからの受信情報を取得する受信機と、環境情報を取得するセンサと、を備える移動体の自己位置を推定する情報処理システムであって、
   前記受信情報を表す第１座標系で示される第１の自己位置情報と、前記環境情報を表す第２座標系で示され、事前に取得された基準環境情報と前記環境情報との比較によって算出された第２の自己位置情報と、を共にベースポイント座標を基準とした第１座標系及び第２座標系とは異なる基準座標系に変換する基準座標変換部と、
   前記基準座標系に変換された前記第１の自己位置情報と、前記基準座標系に変換された前記第２の自己位置情報とに基づき、前記基準座標系で表される第３の自己位置情報を推定する自己位置推定部と、
   を備える、
   ことを特徴とする移動体。
10. 衛星測位システムからの受信情報を取得する受信機と、環境情報を取得するセンサと、を備える移動体の自己位置を推定する情報処理方法であって、
    基準座標変換部により、前記受信情報を表す第１座標系で示される第１の自己位置情報と、前記環境情報を表す第２座標系で示され、事前に取得された基準環境情報と前記環境情報との比較によって算出された第２の自己位置情報と、を共にベースポイント座標を基準とした第１座標系及び第２座標系とは異なる基準座標系に変換するステップと、
    自己位置推定部により、前記基準座標系に変換された前記第１の自己位置情報と、前記基準座標系に変換された前記第２の自己位置情報とに基づき、前記基準座標系で表される第３の自己位置情報を推定するステップと、
    をコンピュータに実行させることを特徴とする情報処理方法。
11. 衛星測位システムからの受信情報を取得する受信機と、環境情報を取得するセンサと、を備える移動体の自己位置を推定する情報処理方法をコンピュータに実行させるプログラムであって、
    基準座標変換部により、前記受信情報を表す第１座標系で示される第１の自己位置情報と、前記環境情報を表す第２座標系で示され、事前に取得された基準環境情報と前記環境情報との比較によって算出された第２の自己位置情報と、を共にベースポイント座標を基準とした第１座標系及び第２座標系とは異なる基準座標系に変換するステップと、
    自己位置推定部により、前記基準座標系に変換された前記第１の自己位置情報と、前記基準座標系に変換された前記第２の自己位置情報とに基づき、前記基準座標系で表される第３の自己位置情報を推定するステップと、
    を前記コンピュータに実行させることを特徴とするプログラム。
    

Images