JP7545290B2 - 移動体制御装置、地上監視装置及びシステム - Google Patents

Description

本発明は、移動体制御装置、地上監視装置及びシステムに関する。

自機の周囲をセンシングしながら自動飛行するeVTOL（electric Vertical Take-Off and Landing）システムにおいて、センシングの性能が低下する環境下では安全性が低下したり、効率が低下したりすることが懸念される。

eVTOLシステムの類似例として、パイロットが乗っていない飛行機とパイロットの乗っている既存の飛行機が同じ航空管制で安全に運行するためのシステムが知られている（例えば、特許文献１参照）。

特開2020-71724号公報

eVTOLはコストや重量の問題があり、高性能なセンサを搭載することができない。そのため、悪天候時にはセンシング範囲が短くなることが想定される。また、周囲に複数の障害物が存在する環境では、ある障害物が死角を作り、その後ろの別の障害物を検出することができない。

このような環境下では、eVTOL単体でのセンシング性能に限りがあるため、飛行速度を低下させる必要がある。しかし、バッテリー残量が限られているeVTOLは、低速飛行が続くとバッテリーが切れてしまい墜落する懸念がある。

そこで、eVTOLが飛行する環境を地上から監視する地上監視装置を用いて周囲の障害物を検出するシステムが考えられる。地上監視装置は重量の課題はなく高性能なセンサを設置できるため、その情報をeVTOLに送信すれば、eVTOLは自動飛行が可能となる。

しかし、地上監視装置にて障害物を検出しeVTOLに送信すると通信遅れ等の遅延が生じるため、安全かつ高効率に飛行をすることは難しい。そのため、eVTOLのセンシングと地上監視装置のセンシングを適切に組み合わせる必要がある。

特に、同じ障害物を地上監視装置とeVTOLが検出した場合、上記の遅延によりeVTOLのセンシング結果と地上監視装置のセンシング結果にずれが生じ、統合が難しい。

本発明の目的は、移動体で検知された障害物と地上監視装置で検知された障害物が同じ物体であるか否かを判定しないで移動体に障害物を回避させることができる移動体制御装置、地上監視装置及びシステムを提供することにある。

上記目的を達成するために、本発明の一例は、飛行可能な移動体に搭載される移動体制御装置であって、前記移動体の周囲の障害物を検知する第１の障害物検知部と、前記移動体の位置を取得する位置取得部と、地上監視装置が備える第２の障害物検知部によって検知された障害物の情報を示す障害物情報を受信する情報受信部と、前記第１の障害物検知部によって検知された障害物の位置、前記位置取得部によって取得された前記移動体の位置、及び前記情報受信部によって受信された障害物情報から、前記移動体の制御に用いる障害物を重複しないように決定する障害物決定部と、決定された障害物を回避するように前記移動体を制御もしくは前記移動体の操作支援を行う制御部と、を備え、前記障害物情報は、前記地上監視装置が備える前記第２の障害物検知部によって検知された障害物の位置を示す位置情報と、２つの障害物の間に視界不良領域があるかに基づき前記地上監視装置が備える前記第２の障害物検知部によって検知された障害物が分類されるグループを識別するグループＩＤと、を含み、前記障害物決定部は、前記地上監視装置が備える前記第２の障害物検知部によって検知された障害物のうち前記位置取得部によって取得された前記移動体の位置から閾値以下の距離の障害物を前記移動体と同定し、前記地上監視装置が備える前記第２の障害物検知部によって検知された障害物から、前記移動体と同定された障害物のグループＩＤ以外の障害物を抽出し、前記移動体が備える前記第１の障害物検知部によって検知された障害物と、前記抽出された障害物を障害物として決定する。

本発明によれば、移動体で検知された障害物と地上監視装置で検知された障害物が同じ物体であるか否かを判定しないで移動体に障害物を回避させることができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

実施例１によるシステムの構成図である。 実施例１によるシステムが適用される想定シーンを示す図である。 実施例１による移動体制御装置を搭載した移動体（自機）が飛行体を検出する例を示す図である。 実施例１による地上監視装置が飛行体を検出する例を示す図である。 地上監視装置の検出結果をそのまま移動体へ送信した場合の課題を説明するための図である。 実施例１の特徴を説明するための図である。 図１に示す障害物検知部の処理を示すフローチャートである。 図１に示す視界不良領域検知部の処理を示すフローチャートである。 図８のＳ３０の処理結果を示す図である。 図８のＳ３５の処理結果を示す図である。 図８のＳ４５の処理結果を示す図である。 図８のＳ６０の処理結果を示す図である。 図１に示す死角障害物抽出部の処理を示すフローチャートである。 地上監視装置による検出例を示す図である。 遮蔽マップを示す模式図である。 障害物をグループ化した結果を示す図である。 図１に示す障害物決定部の処理を示すフローチャートである。 実施例２によるシステムの構成図である。 図１４に示す死角障害物抽出部の処理を示すフローチャートである。 図１４に示す障害物決定部の処理を示すフローチャートである。 実施例３によるシステムの構成図である。 図１７に示す視界不良領域検知部の処理を示すフローチャートである。 図１７に示す死角障害物抽出部の処理を示すフローチャートである。 実施例１の変形例によるシステムの構成図である。 変形例によるシステムが適用される想定シーンを示す図である。 図２０に示す制御部の処理を示すフローチャートである。

以下、図面を用いて、地上監視装置と移動体制御装置を含むシステムの構成及び動作について説明する。なお、各図において、同一符号は同一部分を示す。

［実施例１］
図１は、実施例１によるシステムの構成図である。本実施例のシステムは、地上監視装置１０と移動体制御装置２００を備える。本実施例の目的は、例えば、移動体２０（eVTOL等の飛行体）を制御する移動体制御装置２００のセンシング性能が限定される環境下においても、安全かつ高効率な自動飛行を実現することにある。

（地上監視装置）
図１に示すように、地上監視装置１０は、周辺監視部１０１、障害物検知部１０２、視界不良領域検知部１０３、死角障害物抽出部１０４、障害物情報送信部１０５を備える。

周辺監視部１０１は、路上に設置され、その周囲を監視するセンサ（例えば、カメラ、LiDAR：Light Detection and Ranging等）から構成される。センサから出力される情報を示すセンサ情報sは、センサがカメラの場合は画像であり、センサがLiDARの場合は点群データである。なお、周辺監視部１０１は、後述する移動体２０の周辺監視部２０１よりもセンシング性能が高い。例えばカメラであれば死角が発生しないように監視エリア内に複数台設置する、LiDARであれば波長が長い高出力が可能なものを用いる等である。

障害物検知部１０２は、周辺監視部１０１から得られるセンサ情報sを処理し、所定範囲の障害物（飛行体、鳥等）を検出する。障害物検知部１０２には、センサ情報sが入力され、障害物検知部１０２は、障害物の位置(X,Y,Z)を示す位置情報p_i（i=1,2,…）を出力する。なお、本実施例では、障害物の位置(X,Y,Z)が複数個存在する場合に、障害物検知部１０２はそれぞれの障害物の位置情報にID=i（i=1,2,…）を付与して出力している。

視界不良領域検知部１０３は、各種要因により視界不良となっている領域を検出する。例えば、視界不良領域検知部１０３はカメラ、雲高計等を用いて雲を検出するが、雨雲レーダ等の情報から雲の情報（位置、形状、範囲等の情報）を取得してもよい。視界不良領域検知部１０３には、センサ又は雨雲レーダ等からのセンサ情報が入力され、視界不良領域検知部１０３は、視界不良となる領域の位置情報p_cloudを出力する。

死角障害物抽出部１０４は、障害物の位置情報p_iと視界不良となる領域の位置情報p_cloudから、お互いに死角の位置関係にある障害物をグルーピングする。詳細は後述するが、死角障害物抽出部１０４は、例えば、障害物をグループ１（雲の上）、グループ２（雲の下）、グループ３（雲の中Ａ）、グループ４（雲の中Ｂ）に分類する。死角障害物抽出部１０４には、障害物検知部１０２から障害物の位置情報p_i、視界不良領域の位置情報p_cloudが入力され、死角障害物抽出部１０４は、障害物の位置情報p_iと、死角の位置関係にある障害物のグループを示すグループ情報gid_i（i=1,2,…）を出力する。

障害物情報送信部１０５は、障害物の位置情報p_iとグループ情報gid_iを含む障害物情報を送信する。障害物情報送信部１０５には、死角障害物抽出部１０４から障害物の位置情報p_iと障害物のグループ情報gid_iが入力され、障害物情報送信部１０５は、障害物の位置情報p_iとグループ情報gid_iを含む障害物情報を出力する。

なお、障害物検知部１０２、視界不良領域検知部１０３、死角障害物抽出部１０４は、例えば、プロセッサとメモリが協働することによりソフトウェア的に実現されてもよいし、FPGA等の集積回路によりハードウェア的に実現されてもよい。障害物情報送信部１０５は、無線通信機器から構成される。

（移動体制御装置）
図１に示すように、移動体制御装置２００は、周辺監視部２０１、障害物検知部２０２、位置取得部２０３、障害物情報受信部２０４、障害物決定部２０５、制御部２０６を備える。移動体制御装置２００は、移動体２０に搭載される。

周辺監視部２０１は、移動体２０に設置され、その周囲を監視するセンサ（例えば、カメラ、LiDAR等）から構成される。センサから出力される情報を示すセンサ情報sは、センサがカメラの場合は画像であり、センサがLiDARの場合は点群データである。

障害物検知部２０２は、周辺監視部２０１から得られるセンサ情報を処理し、周囲の障害物（飛行体、鳥等）を検出する。障害物検知部２０２には、センサ情報（画像、点群データ等）が入力され、障害物検知部２０２は、障害物の位置情報p_n（n=1,2,…）を出力する。なお、本実施例では、障害物の位置が複数個存在する場合に、障害物検知部２０２はそれぞれの障害物の位置情報にID=n（n=1,2,…）を付与して出力している。

位置取得部２０３は、GPS（Global Positioning System）などのGNSS（Global Navigation Satellite System）を用いて移動体２０の位置を取得する。位置取得部２０３には、GPS信号（GNSS信号）が入力され、位置取得部２０３は、移動体２０の位置情報p_self（緯度・経度・高度、もしくはある基準点からのX,Y,Z座標）を出力する。

障害物情報受信部２０４は、地上監視装置１０から送信される障害物情報（障害物の位置情報p_iとグループ情報gid_i）を受信する。障害物情報受信部２０４は、地上監視装置１０によって検出された障害物の位置情報p_iおよびグループ情報gid_iを出力する。

障害物決定部２０５は、移動体２０の位置情報p_selfと受信した障害物情報を比較し、死角となる障害物を抽出（決定）する。具体的には、障害物決定部２０５は、移動体位置が含まれる障害物のグループを抽出し、そのグループ以外の障害物を抽出する。

例えば、グループＡ：雲の上、グループＢ：雲の下、グループＣ：雲の中、の３グループで障害物情報が送られてきたときに、移動体２０の位置情報p_selfを用いて、自分がどのグループに属するかを障害物決定部２０５は判定する。地上監視装置１０から見れば自機は障害物として検知されているはずなので、障害物情報（障害物の位置情報）の中の１つは自機の位置情報である。そのため、自機の位置に最も近い障害物を見つけ、その障害物が属するグループがわかれば、自機が属するグループは特定できる。

障害物決定部２０５には、障害物検知部２０２が検知した障害物の位置情報p_nと受信した障害物情報（障害物の位置情報p_iとグループ情報gid_i）と移動体２０の位置情報p_selfが入力され、障害物決定部２０５は、障害物の位置情報p_nと、死角となる障害物の位置情報p_blind_k（k=1,2,…）を出力する。

制御部２０６は、障害物検知部２０２が検知した障害物の位置情報p_nと、死角の障害物の位置情報p_blind_kを用いて、障害物との衝突を回避しながら目的地に向かうための飛行経路を生成し、その制御を実現するアクチュエータへの指令値を算出する。制御部２０６には、障害物検知部２０２が検知した障害物の位置情報p_n、死角の障害物の位置情報p_blind_k、移動体の位置情報p_selfが入力され、アクチュエータへの制御指令値が出力される。

なお、障害物検知部２０２、位置取得部２０３、障害物情報受信部２０４、障害物決定部２０５、制御部２０６は、例えば、プロセッサとメモリが協働することによりソフトウェア的に実現されてもよいし、FPGA等の集積回路によりハードウェア的に実現されてもよい。障害物情報受信部２０４は、無線通信機器から構成される。

（想定シーン）
図２は、実施例１によるシステムが適用される想定シーンを示す図である。移動体２０（自機）と飛行体Ａ（３０Ａ）は、雲４０の上に位置する。飛行体Ｂ（３０）は、雲の中に位置する。飛行体Ｃ（３０Ｃ）と飛行体Ｄ（３０Ｄ）は、雲の下に位置する。

（自機による検出例）
図３は、実施例１による移動体制御装置２００を搭載した移動体２０（自機）が飛行体を検出する例を示す図である。

雲４０の上に位置する移動体２０（自機）は、同じく雲４０の上に位置する飛行体Ａ（３０Ａ）を検出できる。なお、図３では、移動体２０（自機）が検出可能な飛行体を実線で囲んでいる（以下、同じ）。

しかし、移動体２０（自機）は、センシング性能が低いため、雲４０の中に位置する飛行体Ｂ（３０）を検出できない。また、移動体２０（自機）は、雲４０の反対側（雲４０の下）に位置する飛行体Ｃ（３０Ｃ）及び飛行体Ｄ（３０Ｄ）を検出できない。

（地上監視装置による検出例）
図４は、実施例１による地上監視装置１０が飛行体を検出する例を示す図である。

地上監視装置１０は、センシング性能が高いため、図４のすべての飛行体を検知できる。すなわち、地上監視装置１０は、移動体２０、飛行体Ａ（３０Ａ）、飛行体Ｂ（３０）、飛行体Ｃ（３０Ｃ）及び飛行体Ｄ（３０Ｄ）を検出する。なお、図４では、地上監視装置１０が検出可能な飛行体を点線で囲んでいる（以下、同じ）。

（課題）
図５は、地上監視装置１０の検出結果をそのまま移動体２０へ送信した場合の課題を説明するための図である。

飛行体Ａ（３０Ａ）は、移動体２０と地上監視装置１０の両方で検出される。しかし、通信の遅延やセンシングの誤差により、移動体２０によって検出される飛行体Ａ（３０Ａ）の位置情報と地上監視装置１０によって検出される飛行体Ａ（３０Ａ）の位置情報は異なる。

そのため、移動体２０は、自機によって検出された物体（飛行体Ａ）と地上監視装置１０によって検出された物体（飛行体Ａ）が「本当に同じ物体なのか、別の物体なのか」を見極める処理を行う必要がある。

一方、飛行体Ｂ（３０）、飛行体Ｃ（３０Ｃ）及び飛行体Ｄ（３０Ｄ）は、地上監視装置１０のみで検出される。通信の遅延の影響はあるものの移動体２０はそれらの飛行体を検出できないので、それらの位置情報を移動体２０の制御に利用することは有効である。

（本実施例の特徴）
図６は、実施例１の特徴を説明するための図である。

前述したように、地上監視装置１０の検出結果を移動体２０へ送信する際に、通信遅延が生じる。そのため、地上監視装置１０で検出した情報をすべて移動体２０へ送信すると、地上監視装置１０でも移動体２０でも検出できている障害物の情報を移動体２０が受信した場合、移動体２０の側で位置ずれが生じる。

しかし、その２つの物体が同じ物体なのか、異なる物体なのかを判断することは難しい。本実施例では、地上監視装置１０は、死角の関係にある障害物（物体）の位置情報にグループ情報を付与して送信し、移動体２０は、自機が含まれていないグループの障害物情報を参照することにより、移動体２０から見えない障害物の位置情報を取得することができる。

（障害物検知部）
図７は、図１に示す障害物検知部１０２、２０２の処理を示すフローチャートである。

Ｓ１０：点群取得
障害物検知部１０２、２０２は、それぞれ周辺監視部１０１、２０１のLiDARから点群(X,Y,Z)を取得する。

Ｓ１５：3Dグリッド分割処理
障害物検知部１０２、２０２は、検出エリアを所定サイズの3Dグリッドに分割し、各グリッド内に所定数以上のLiDAR点が含まれるグリッドを物体存在グリッドとして抽出する。

Ｓ２０：グルーピング処理
障害物検知部１０２、２０２は、抽出したグリッドに隣接する物体存在グリッドがあれば、同一物体としてグルーピングを行う。このグルーピング処理をすべての物体存在グリッドに対して実施する。

Ｓ２５：物体抽出・追跡処理
障害物検知部１０２、２０２は、グルーピングされたグリッドを物体候補とし、グリッドの重心位置を算出する。障害物検知部１０２、２０２は、今回の検出結果と、過去の物体候補の検出結果を用いて追跡処理を行い、一定回数以上連続して検出されている物体候補を物体として確定する。障害物検知部１０２、２０２は、ここで検出された物体を障害物として出力する。出力する位置は、グリッドの重心位置とする。

（視界不良領域検知部）
図８、図９Ａ～９Ｄを用いて視界不良領域検知部１０３の処理を説明する。図８は、図１に示す視界不良領域検知部１０３の処理を示すフローチャートである。図９Ａ～９Ｄは、図８のＳ３０、Ｓ３５、Ｓ４５、Ｓ６０の処理結果をそれぞれ示す図である。

Ｓ３０：初期化
視界不良領域検知部１０３は、監視エリア（検出エリア）内の3Dマップ（以下、遮蔽マップと呼ぶ）を初期化する。初期化により遮蔽マップ上の物体の位置、形状等の情報は消去される（図９Ａ）。

Ｓ３５：地形情報の配置
視界不良領域検知部１０３は、山や建物等の地形を示す地形情報を３Ｄ地図（データベース）から取得し、地形を遮蔽マップに配置する（図９Ｂ）。

Ｓ４０：点群情報の取得
視界不良領域検知部１０３は、周辺監視部１０１からLiDARの点群情報（点群データ）を取得する。

Ｓ４５：点群の配置
視界不良領域検知部１０３は、LiDARの点群を遮蔽マップへ配置する（図９Ｃ）。

Ｓ５０：センサ情報の取得
視界不良領域検知部１０３は、地上監視装置１０に接続されている雨雲レーダ、雲高計もしくはカメラ、又は気象衛星等からセンサ情報を取得する。

Ｓ５５：雲の検出
視界不良領域検知部１０３は、センサ情報を解析し、雲を検出する。例えば、視界不良領域検知部１０３は、雨雲レーダの情報を用いて雲を特定したり、カメラや衛星の画像を解析し、雲を検出したりする。雲までの高さは雲高計などで計測される。画像を用いた雲の検出には、深層学習を用いたセマンティックセグメンテーションのようなアプローチによる検出などがある。衛星画像を用いる場合は地表面との反射率の違いを用いた検出等が用いられる。

Ｓ６０：雲の配置
視界不良領域検知部１０３は、例えば、カメラ画像の検出結果と、雲高計で計測した高さ情報等から、遮蔽マップ内に雲を配置する（図９Ｄ）。

（死角障害物抽出部）
図１０、１１、１２Ａ、１２Ｂを用いて死角障害物抽出部１０４の処理を説明する。図１０は、図１に示す死角障害物抽出部１０４の処理を示すフローチャートである。図１１は、地上監視装置１０による検出例を示す図である。図１２Ａは、遮蔽マップを示す模式図である。図１２Ｂは、障害物をグループ化した結果を示す図である。

Ｓ７０：位置情報の取得
死角障害物抽出部１０４は、地上監視装置１０によって検出された障害物の位置情報(X,Y,Z)を取得する。図１１の例では、ID=1～5に対応する障害物が地上監視装置１０によって検出されている。

Ｓ７５：障害物の選択
障害物が複数ある場合、死角障害物抽出部１０４は障害物を任意に２つ選択する。

Ｓ８０：遮蔽マップへ投影
死角障害物抽出部１０４は、Ｓ１５で選択した２つの障害物の位置を遮蔽マップ内に投影（配置）する。

Ｓ８５：２点間に遮蔽物あるか否か
死角障害物抽出部１０４は、遮蔽マップ上で２点（２つの障害物の位置）を結ぶ線を求め、線上を探索して間に遮蔽物が存在するかを確認する。図１２Ａでは、例えば、ID=1とID=2に対応する障害物の間に遮蔽物はなく、ID=1とID=3に対応する障害物の間には遮蔽物としての雲４０がある。なお、図１２Ａでは、２点間に遮蔽物がない線に丸印を付し、２点間に遮蔽物がある線にＸ印を付している。

Ｓ９０：異なるグループIDの付与
２点間に遮蔽物がある場合、死角障害物抽出部１０４は異なるグループIDを２つの障害物に付与する。図１２Ｂでは、例えば、ID=1とID=3に対応する障害物にそれぞれGroup=1、Group=2が付与されている。

Ｓ９５：同じグループIDの付与
２点間に遮蔽物がない場合、死角障害物抽出部１０４は同じグループIDを２つの障害物に付与する。図１２Ｂでは、例えば、ID=1とID=2に対応する障害物にGroup=1が付与されている。

Ｓ１００：ループの終了条件
死角障害物抽出部１０４は、すべての障害物の組み合わせについて遮蔽物の有無を確認する。

Ｓ１０５：グループの作成
死角障害物抽出部１０４は、すべての障害物の組み合わせについて遮蔽物の有無を確認した場合、図１２Ｂに示すようにグループを作成する。例えば、死角障害物抽出部１０４は、グループごとに障害物の色を変えてディスプレイへ表示したり、同じグループに含まれる障害物を囲む線を表示したりしてもよい。なお、移動体制御装置２００は、Ｓ９０又はＳ９５で付与されたグループIDにより障害物のグループを識別できる。

（障害物決定部）
図１３は、図１に示す障害物決定部２０５の処理を示すフローチャートである。

Ｓ１１０：自機の位置情報の取得
障害物決定部２０５は、位置取得部２０３から自機位置(X,Y,Z)を示す位置情報を取得する。

Ｓ１１５：障害物情報の取得
障害物決定部２０５は、障害物情報受信部２０４で受信された障害物情報から障害物の位置情報(X[i], Y[i], Z[i])とグループ情報としてのグループID(Group[i])を取得する。なお、障害物の位置情報(X[i], Y[i], Z[i])は図１のp_iに相当し、グループID (Group[i])は図１のgid_iに相当する。

Ｓ１２０：自機に相当する障害物の抽出
障害物決定部２０５は、移動体２０（自機）に最も近い位置情報に対応する障害物i_nearを抽出する。前述したように、地上監視装置１０から見れば移動体２０（自機）は障害物として検知されているはずだからである。

Ｓ１２５：分岐条件
障害物決定部２０５は、移動体２０（自機）と障害物i_nearの距離Lが閾値L1以下であるか否かを判定する。障害物決定部２０５は、距離Lが閾値L1以下の場合、Ｓ１３０へ処理を進め、距離Lが閾値L1を超える場合、Ｓ１４０へ処理を進める。

Ｓ１３０：グループIDの取得
最も近い障害物との距離Lが閾値L1以下のため、障害物i_nearは移動体２０（自機）と同定できる。障害物決定部２０５は、障害物情報から障害物i_nearに対応するグループID(Group[i_near])を取得する。

Ｓ１３５：自機と異なるグループIDの障害物の抽出
障害物決定部２０５は、グループID(Group[i_near])以外のグループIDに対応する障害物の位置情報を障害物情報から抽出する。

Ｓ１４０：すべての障害物の抽出
最も近い障害物との距離Lが閾値L1を超えるため、障害物i_nearは移動体２０（自機）と同定できない。障害物決定部２０５は、グループIDに関わらずすべての障害物の位置情報を障害物情報から抽出する。

Ｓ１４５：障害物の統合
障害物決定部２０５は、移動体２０（自機）で検知された周囲の障害物情報と、Ｓ１３５又はＳ１４０で抽出された障害物情報を統合し、統合された障害物情報を制御部２０６に送信するテーブルに登録する。

本実施例の特徴は、以下のようにまとめることもできる。

＜移動体制御装置＞
障害物検知部２０２（第１の障害物検知部）は、飛行可能な移動体２０の周囲の障害物を検知する。位置取得部２０３は、移動体２０の位置を取得する。障害物情報受信部２０４（情報受信部）は、地上監視装置１０によって検知された障害物の情報を示す障害物情報を受信する。障害物決定部２０５は、障害物検知部２０２によって検知された障害物の位置、位置取得部２０３によって取得された移動体２０の位置、及び障害物情報受信部２０４によって受信された障害物情報から、移動体２０の制御に用いる障害物を重複しないように決定する。制御部２０６は、決定された障害物を回避するように移動体２０を制御もしくは移動体２０の操作支援を行う。これにより、移動体で検知された障害物と地上監視装置で検知された障害物が同じ物体であるか否かを判定しないで移動体に障害物を回避させることができる。

詳細には、障害物情報は、地上監視装置１０によって検知された障害物の位置を示す位置情報と、視界不良領域との位置関係に基づき分類された障害物のグループを示すグループ情報を含む。障害物決定部２０５は、障害物検知部２０２（第１の障害物検知部）によって検知された障害物と、地上監視装置１０によって検知され、かつ移動体２０が属さないグループの障害物を障害物として決定する。これにより、移動体制御装置２００の側で死角の位置にある障害物を特定できる。

＜地上監視装置＞
障害物検知部１０２（第２の障害物検知部）は、移動体２０の飛行経路を含む所定空間内の障害物又は所定空間内に侵入する障害物を検知する。視界不良領域検知部１０３は、視界不良領域を検知する。死角障害物抽出部１０４は、視界不良領域との位置関係に基づき、障害物検知部１０２によって検知された障害物から死角の関係にある障害物を抽出してグループに分類する。障害物情報送信部１０５（情報送信部）は、障害物検知部１０２によって検知された障害物の位置を示す位置情報と、グループを示すグループ情報を含む障害物情報を送信する。これにより、死角の関係にある障害物をグループ化することができる。

本実施例によれば、移動体２０で検知された障害物と地上監視装置１０で検知された障害物が同じ物体であるか否かを判定しないで移動体２０に障害物を回避させることができる。また、移動体２０を制御する移動体制御装置２００のセンシング性能が限定される環境下においても、安全かつ高効率な自動飛行を実現することができる。

［実施例２］
図１４は、実施例２によるシステムの構成図である。本実施例では、地上監視装置１０は受信部１０６を備え、移動体制御装置２００は送信部２０７を備える。以下、主として実施例１との相違点を説明する。

移動体制御装置２００の送信部２０７は、移動体２０の位置情報p_selfを地上監視装置１０へ送信する。

地上監視装置１０の受信部１０６は、移動体制御装置２００から移動体２０の位置情報p_selfを受信する。地上監視装置１０の死角障害物抽出部１０４は、移動体２０から死角となる障害物に対応する障害物情報（障害物の位置情報p_blind_k）のみを送信（出力）する。

移動体制御装置２００の障害物決定部２０５は、障害物検知部２０２で検知された周囲の障害物（位置情報p_nに対応する障害物）と、障害物情報受信部２０４で受信された障害物情報に含まれる位置情報p_blind_kに対応する障害物のすべてを、制御部２０６で用いる障害物とする。

（死角障害物抽出部）
図１５は、図１４に示す死角障害物抽出部１０４の処理を示すフローチャートである。

Ｓ１５０：障害物の位置情報の取得
死角障害物抽出部１０４は、障害物検知部１０２で検知された周囲の障害物の位置情報p_iを取得する。

Ｓ１５５：移動体の位置情報の取得
死角障害物抽出部１０４は、受信部１０６から移動体２０の位置情報p_selfを取得する。

Ｓ１６０：障害物の選択
死角障害物抽出部１０４は、障害物を任意に１つ選択する。

Ｓ１６５：遮蔽マップへ投影
死角障害物抽出部１０４は、Ｓ１５５で取得した位置情報p_selfに対応する移動体２０の位置と、Ｓ１６０で選択した１つの障害物の位置を遮蔽マップ内に投影（配置）する。

Ｓ１７０：２点間に遮蔽物あるか否か
死角障害物抽出部１０４は、遮蔽マップ上で２点（移動体２０の位置と１つの障害物の位置）を結ぶ線を求め、線上を探索して間に遮蔽物が存在するかを確認する。

Ｓ１７５：障害物として登録
２点間に遮蔽物がある場合、死角障害物抽出部１０４は、移動体２０へ送信する障害物情報（障害物の位置情報p_blind_k）としてＳ１６０で選択した障害物の位置情報p_iを登録する。

Ｓ１８０：障害物の位置情報の除外
２点間に遮蔽物がない場合、死角障害物抽出部１０４は、移動体２０へ送信する障害物情報からＳ１６０で選択した障害物の位置情報p_iを除外する。すなわち、死角障害物抽出部１０４は、移動体２０へ送信する障害物情報（障害物の位置情報p_blind_k）としてＳ１６０で選択した障害物の位置情報p_iを登録しない。

Ｓ１８５：ループの終了条件
死角障害物抽出部１０４は、移動体２０と障害物のすべての組み合わせについて遮蔽物の有無を確認する。

（障害物決定部）
図１６は、図１４に示す障害物決定部２０５の処理を示すフローチャートである。

Ｓ１９０：自機の位置情報の取得
障害物決定部２０５は、位置取得部２０３から自機の位置情報p_selfを取得する。

Ｓ１９５：障害物情報の取得
障害物決定部２０５は、障害物情報受信部２０４から障害物情報（障害物の位置情報p_blind_k）を取得する。

Ｓ２００：障害物の統合
障害物決定部２０５は、移動体２０（自機）で検知した周囲の障害物情報（障害物の位置情報p_n）と、Ｓ１９５で取得された障害物情報（障害物の位置情報p_blind_k）を統合し、統合された障害物情報を制御部２０６に送信するテーブルに登録する。

本実施例の特徴は、以下のようにまとめることもできる。

＜移動体制御装置＞
送信部２０７は、移動体２０の位置を示す位置情報を地上監視装置１０に送信する。障害物情報は、地上監視装置１０によって検知され、かつ移動体２０の位置から死角となる障害物の位置を示す位置情報を含む。障害物決定部２０５は、障害物検知部２０２（第１の障害物検知部）によって検知された障害物と、地上監視装置１０によって検知され、かつ移動体２０の位置から死角となる位置の障害物を障害物として決定する。これにより、移動体制御装置２００の側で死角の位置にある障害物を特定する必要がない。

＜地上監視装置＞
受信部１０６は、移動体２０の位置を示す位置情報を受信する。障害物検知部１０２（第２の障害物検知部）は、移動体２０の飛行経路を含む所定空間内の障害物又は所定空間内に侵入する障害物を検知する。視界不良領域検知部１０３は、視界不良領域を検知する。死角障害物抽出部１０４は、視界不良領域との位置関係に基づき、障害物検知部１０２によって検知され、移動体２０の位置から死角となる障害物を抽出する。障害物情報送信部１０５（情報送信部）は、障害物検知部１０２によって検知され、移動体２０の位置から死角となる障害物の位置を示す位置情報を含む障害物情報を送信する。これにより、障害物情報のデータ量を小さくすることができる。

［実施例３］
図１７は、実施例３によるシステムの構成図である。以下、主として実施例２との相違点を説明する。

移動体制御装置２００の送信部２０７は、移動体２０の位置情報p_selfと周囲の障害物の位置情報p_nを地上監視装置１０へ送信する。

地上監視装置１０の受信部１０６は、移動体制御装置２００から移動体２０の位置情報p_selfと障害物の位置情報p_nを受信する。

地上監視装置１０の視界不良領域検知部１０３は、視界不良を発生する状況か否かを検知する。例えば、視界不良領域検知部１０３は、視界不良が発生している場合、フラグflg_cloud=1とし、視界不良が発生していない場合、フラグflg_cloud=0とする。

地上監視装置１０の死角障害物抽出部１０４は、視界不良が発生している場合（flg_cloud=1）、移動体２０の周囲で検知された障害物ではない障害物の位置情報p_not_k（k=1,2,…）を抽出する。一方、地上監視装置１０の死角障害物抽出部１０４は、視界不良が発生していない場合（flg_cloud=0）、障害物の位置情報を抽出（出力）しない。この場合、死角障害物抽出部１０４は、移動体制御装置２００へ障害物の位置情報を送らないことを示す通知を出力したり、空（ヌル値）の位置情報を出力したりしてもよい。

障害物決定部２０５は、障害物検知部２０２で検知された周囲の障害物（位置情報p_nに対応する障害物）と、障害物情報受信部２０４で受信された障害物情報に含まれる位置情報p_not_kに対応する障害物のすべてを、制御部２０６で用いる障害物とする。

（視界不良領域検知部）
図１８は、図１７に示す視界不良領域検知部１０３の処理を示すフローチャートである。

Ｓ２１０：センサ情報の取得
視界不良領域検知部１０３は、地上監視装置１０に接続されている雨雲レーダ、雲高計もしくはカメラ、又は気象衛星等からセンサ情報を取得する。

Ｓ２１５：雲の検出
視界不良領域検知部１０３は、地上監視装置１０に接続されている雨雲レーダ、雲高計もしくはカメラ、又は気象衛星等からセンサ情報を取得する。視界不良領域検知部１０３は、例えば、所定範囲（飛行経路を含む検出可能範囲）に雲があり視界不良が発生している場合、フラグflg_cloud=1とし、所定範囲に雲がなく視界不良が発生していない場合、フラグflg_cloud=0とする。

（死角障害物抽出部）
図１９は、図１７に示す死角障害物抽出部１０４の処理を示すフローチャートである。

Ｓ２２０：障害物の位置情報の取得
死角障害物抽出部１０４は、障害物検知部１０２で検知された周囲の障害物の位置情報p_iを取得する。

Ｓ２２５：移動体の位置情報の取得
死角障害物抽出部１０４は、受信部１０６から移動体２０の位置情報p_selfを取得する。

Ｓ２３０：移動体の周囲の障害物の位置情報の取得
死角障害物抽出部１０４は、受信部１０６から移動体２０の移動体の周囲の障害物の位置情報p_nを取得する。

Ｓ２３５：視界不良があるか否か
死角障害物抽出部１０４は、視界不良があるか否かを判定する。死角障害物抽出部１０４は、視界不良がある場合（flg_cloud=1）、Ｓ２４０へ処理を進め、視界不良がない場合（flg_cloud=0）、Ｓ２４５へ処理を進める。

Ｓ２４０：障害物の一部を除去
視界不良がある場合、死角障害物抽出部１０４は、移動体２０へ送信する障害物情報から移動体２０の周囲の障害物の位置情報p_nを除去（除外）する。すなわち、死角障害物抽出部１０４は、移動体２０へ送信する障害物情報（障害物の位置情報p_not_k）として移動体２０の周囲の障害物の位置情報p_nを登録しない。

Ｓ２４５：障害物のすべてを除去
視界不良がない場合、移動体２０へ送信する障害物情報をすべて削除する。前述したように、死角障害物抽出部１０４は、移動体制御装置２００へ障害物の位置情報p_not_kを送らないことを示す通知を出力したり、空（ヌル値）の位置情報を出力したりしてもよい。

本実施例の特徴は、以下のようにまとめることもできる。

＜移動体制御装置＞
送信部２０７は、移動体２０の位置を示す位置情報と、障害物検知部２０２（第１の障害物検知部）によって検知された障害物の位置を示す位置情報を地上監視装置１０に送信する。障害物情報は、地上監視装置１０によって検知され、かつ障害物検知部２０２によって検知されない障害物の位置を示す位置情報を含む。障害物決定部２０５は、障害物検知部２０２によって検知された障害物と、地上監視装置１０によって検知され、かつ障害物検知部２０２によって検知されない障害物を障害物として決定する。これにより、移動体制御装置２００の計算負荷が小さくなる。

詳細には、障害物情報受信部２０４（情報受信部）は、視界不良領域がある場合のみ、地上監視装置１０によって検知され、かつ障害物検知部２０２によって検知されない障害物の位置を示す位置情報を含む障害物情報を受信する。これにより、移動体制御装置２００の計算負荷がさらに小さくなる。

＜地上監視装置＞
受信部１０６は、移動体２０の位置を示す位置情報と、障害物検知部２０２（第１の障害物検知部）によって検知された障害物の位置を示す位置情報を受信する。障害物検知部１０２（第２の障害物検知部）は、移動体２０の飛行経路を含む所定空間内の障害物又は所定空間内に侵入する障害物を検知する。視界不良領域検知部１０３は、視界不良領域を検知する。障害物情報送信部１０５（情報送信部）は、視界不良領域により視界不良が発生している場合、地上監視装置１０によって検知され、かつ障害物検知部２０２（第１の障害物検知部）によって検知されない障害物の位置を示す位置情報を含む障害物情報を送信する。これにより、通信データ量を低減することができる。

詳細には、視界不良領域検知部１０３は、視界不良領域の透明度が閾値より高い場合、視界不良が発生していると判定する。これにより、カメラの画像から視界不良の有無を判定することができる。

［変形例］
図２０は、実施例１の変形例によるシステムの構成図である。本実施例では、地上監視装置１０は自己診断部１０７を備える。なお、本実施例では、実施例１の障害物情報送信部１０５と障害物情報受信部２０４に代えて、それぞれ情報送信部１０５Ａと情報受信部２０４Ａを備えるが、ハードウェアとしては実施例１と同じである。以下、主として実施例１との相違点を説明する。

地上監視装置１０の自己診断部１０７は、地上監視装置１０が異常か否かを判定する。例えば、周辺監視部１０１からセンサの異常を示す異常通知を受信した場合、周辺監視部１０１のセンサは正常だがセンサ全面にゴミが付着する等により障害物検知部１０２で全く検知できない場合、同じ物体を検知し続けている場合等に、自己診断部１０７は、地上監視装置１０が異常であると判定する。すなわち、地上監視装置１０が異常であるとは、地上監視装置１０において障害物を検知するセンサ又はセンサ信号を処理するプロセッサが機能しない状態を示す。

（想定シーン）
図２１は、変形例によるシステムが適用される想定シーンを示す図である。移動体２０は、予め決められたスカイロード（所定の幅を有する平面又は曲面）を飛行している。地上監視装置１０Ａ～１０Ｄは、それぞれスカイロードの所定範囲にある障害物を検出する。図２１の例では、地上監視装置１０Ａは、地上監視装置１０Ａが異常であることを示す自己診断情報を移動体２０に送信する。

（制御部）
図２２は、図２０に示す制御部２０６の処理を示すフローチャートである。

Ｓ２５０：自己診断情報の取得
制御部２０６は、移動体２０（自機）の飛行経路上で地上監視装置１０Ａ～１０Ｄの自己診断情報を取得する。

Ｓ２５５：分岐条件
制御部２０６は、自己診断情報から地上監視装置１０Ａ～１０Ｄがすべて正常であるか否かを判定する。制御部２０６は、すべて正常である場合、Ｓ２６０へ処理を進め、いずれかが異常である場合、Ｓ２６５へ処理を進める。

Ｓ２６０：飛行を継続
制御部２０６は、予定通り目的地までの飛行を継続させるように移動体２０を制御する。移動体２０は、実施例１で述べた飛行を継続する。

Ｓ２６５：飛行状態の変更
地上監視装置１０Ａ～１０Ｄのいずれかが異常である場合、制御部２０６は、飛行を停止してホバリングに移行するように移動体２０を制御する。図２１の例では、地上監視装置１０Ｃの自己診断情報から地上監視装置１０Ｃが異常であると判定される。

Ｓ２７０：管制センタへ通知
制御部２０６は、管制センタ（不図示）へ地上監視装置１０Ｃが異常であることを通知し、対応を決定する。飛行の目的、バッテリー残量、目的地までの残距離等によって対応は変わるが、元の経路を引き返す、最寄りのスカイポートに緊急着陸する、地上監視装置１０Ｃの情報が不要な速度で飛行する等の対応がある。

本実施例の特徴は、以下のようにまとめることもできる。

＜移動体制御装置＞
情報受信部２０４Ａは、地上監視装置１０から自己診断の結果を示す自己診断情報を受信する。制御部２０６は、自己診断情報から、地上監視装置１０が正常に障害物を検知できない状態であると判定される場合、移動体２０を空中で停止又は減速させる。これにより、移動体２０の飛行の安全性が向上する。

＜地上監視装置＞
自己診断部１０７は、自己診断を行う。情報送信部１０５Ａは、自己診断の結果を示す自己診断情報を送信する。これにより、地上監視装置１０の信頼性が向上する。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。

なお、本発明の実施例は、以下の態様であってもよい。

（１）．地上監視装置１０は、地上に設置され周辺を監視して外界情報を取得する周辺監視部１０１と、前記外界情報から所定範囲（スカイロード）内の空間内の障害物および侵入する障害物を検知し位置情報を取得する障害物検知部１０２と、前記障害物の位置関係や周辺の視界不良が発生する領域を検知する視界不良領域検知部１０３と、前記位置関係や前記視界不良により死角の関係にある障害物を抽出する死角障害物抽出部１０４と、前記抽出結果に基づいて障害物情報を送信する情報送信部（障害物情報送信部１０５）を有する。

移動体制御装置２００は、移動体２０に設置され周辺を監視して外界情報を取得する周辺監視部２０１と、前記外界情報から移動体周囲の障害物を検知する障害物検知部２０２と、移動体の位置を取得する位置取得部２０３と、地上監視装置１０からの障害物情報を受信する情報受信部（障害物情報受信部２０４）と、周囲の検知障害物、移動体の位置および受信した障害物情報に基づき、制御に用いる障害物を決定する障害物決定部２０５と、決定された障害物情報を用いて制御もしくは操作支援（操縦支援）を行う制御部２０６を有する。

（２）．（１）において、地上監視装置１０では、視界不良領域検知部１０３は雲等の視界不良となる物体を検知し、死角障害物抽出部１０４は視界不良物との位置関係に基づき障害物を複数のグループに分類し（例えば、雲の上、雲の中、雲の下）、情報送信部（障害物情報送信部１０５）はグループの情報を付与して（障害物情報を）送信する。移動体制御装置２００では、障害物統合部（障害物決定部２０５）は、自機位置および受信した障害物情報から、自機が属さないグループの障害物情報を抽出し、抽出した障害物情報と自機の障害物検知結果を障害物として決定する。

（３）．（１）において、地上監視装置１０は、移動体制御装置２００から位置情報を受信する移動体位置情報受信部（受信部１０６）を有し、情報送信部（障害物情報送信部１０５）は、移動体位置から死角となる障害物情報のみを送信する。移動体制御装置では、障害物決定部は、周囲の検知障害物と、受信した障害物情報をすべて障害物として用いる。

（４）．（１）において、地上監視装置１０は、移動体制御装置２００から位置情報および周囲障害物情報を受信する位置・障害物情報受信部（受信部１０６）を有し、情報送信部（障害物情報送信部１０５）は、移動体周囲で検知された障害物ではない障害物の障害物情報を送信する。移動体制御装置２００は、自機周囲の障害物を検知する障害物検知部２０２と、自機位置と周囲障害物情報を送信する位置・障害物情報送信部（送信部２０７）を有する。障害物決定部２０５は、周囲の検知障害物と、受信した障害物情報が示す障害物をすべて障害物として用いる。

（５）．視界不良領域検知部１０３は、検出した雲の透明度を計測し、透明度が低い場合は視界不良であるとは判定しない。

（６）．地上監視装置１０は、監視装置内に異常が発生したか否かを診断する自己診断部１０７を有し、自己診断の結果、異常があると診断された場合には、情報送信部１０５Ａにより移動体制御装置２００へ通知する。移動体制御装置２００は、情報受信部２０４Ａにより地上監視装置１０からの自己診断情報を受信し、制御部２０６は、自機が飛行する経路上の地上監視装置から異常があるという診断結果を受信した場合は、第二の飛行手段（例えば、ホバリング、速度を落とす）に切り替える。

すなわち、地上監視装置１０は、地上から自律飛行体が飛行する所定エリアを監視し、障害物を検出し、センシング困難な関係にある障害物を推定し、推定結果として障害物情報を送信する。自律飛行体は、自機のセンシングにより検出した障害物と、地上監視装置１０から取得したセンシング困難な障害物情報を用いて、自律飛行を行う。

（１）－（６）によれば、自律飛行体は、自機に近くて衝突の可能性が高い障害物は自機のセンシング結果を用いることができ、衝突の危険は低いが将来的な衝突のリスクがあるセンシング範囲外の障害物は地上監視装置から送られてきた情報を用いて制御が可能となる。また、自機のセンシング結果と地上監視装置から送られてきた情報の統合が不要となる。

１０…地上監視装置
２０…移動体
３０Ａ、３０Ｂ、３０Ｃ、３０Ｄ…飛行体
４０…雲
１０１…周辺監視部
１０２…障害物検知部
１０３…視界不良領域検知部
１０４…死角障害物抽出部
１０５…障害物情報送信部
１０５Ａ…情報送信部
１０６…受信部
１０７…自己診断部
２００…移動体制御装置
２０１…周辺監視部
２０２…障害物検知部
２０３…位置取得部
２０４…障害物情報受信部
２０４Ａ…情報受信部
２０５…障害物決定部
２０６…制御部
２０７…送信部

Claims (5)

1. 飛行可能な移動体に搭載される移動体制御装置であって、
   前記移動体の周囲の障害物を検知する第１の障害物検知部と、
   前記移動体の位置を取得する位置取得部と、
   地上監視装置が備える第２の障害物検知部によって検知された障害物の情報を示す障害物情報を受信する情報受信部と、
   前記第１の障害物検知部によって検知された障害物の位置、前記位置取得部によって取得された前記移動体の位置、及び前記情報受信部によって受信された障害物情報から、前記移動体の制御に用いる障害物を重複しないように決定する障害物決定部と、
   決定された障害物を回避するように前記移動体を制御もしくは前記移動体の操作支援を行う制御部と、を備え、
   前記障害物情報は、
   前記地上監視装置が備える前記第２の障害物検知部によって検知された障害物の位置を示す位置情報と、
   ２つの障害物の間に視界不良領域があるかに基づき前記地上監視装置が備える前記第２の障害物検知部によって検知された障害物が分類されるグループを識別するグループＩＤと、を含み、
   前記障害物決定部は、
   前記地上監視装置が備える前記第２の障害物検知部によって検知された障害物のうち前記位置取得部によって取得された前記移動体の位置から閾値以下の距離の障害物を前記移動体と同定し、
   前記地上監視装置が備える前記第２の障害物検知部によって検知された障害物から、前記移動体と同定された障害物のグループＩＤ以外の障害物を抽出し、
   前記移動体が備える前記第１の障害物検知部によって検知された障害物と、前記抽出された障害物を障害物として決定する
   ことを特徴とする移動体制御装置。
2. 請求項１に記載の移動体制御装置であって、
   前記視界不良領域は、雲であり、
   前記グループは、障害物が雲の上にあるグループ、障害物が雲の下にあるグループ、又は障害物が雲の中にあるグループである
   ことを特徴とする移動体制御装置。
3. 請求項１に記載の移動体制御装置と通信する前記地上監視装置であって、
   前記移動体の飛行経路を含む所定空間内の障害物又は前記所定空間内に侵入する障害物を検知する第２の障害物検知部と、
   前記視界不良領域を検知する視界不良領域検知部と、
   ２つの障害物の間に前記視界不良領域があるかに基づき前記第２の障害物検知部によって検知された障害物をグループに分類し、分類されたグループを識別するグループＩＤを障害物に付与する死角障害物抽出部と、
   前記第２の障害物検知部によって検知された障害物の位置を示す位置情報と、前記グループＩＤとを含む前記障害物情報を送信する情報送信部と、
   を備えることを特徴とする地上監視装置。
4. 飛行可能な移動体に搭載される移動体制御装置と通信する地上監視装置であって、
   前記移動体の位置を示す位置情報を受信する受信部と、
   前記移動体の飛行経路を含む所定空間内の障害物又は前記所定空間内に侵入する障害物を検知する第２の障害物検知部と、
   視界不良領域を検知する視界不良領域検知部と、
   前記移動体と障害物の間に前記視界不良領域があるかに基づき、前記第２の障害物検知部によって検知された障害物から、前記視界不良領域によって前記移動体の位置から死角となる障害物を抽出する死角障害物抽出部と、
   前記第２の障害物検知部によって検知され、前記移動体の位置から死角となる障害物の位置を示す位置情報を含む障害物情報を送信する情報送信部と、
   を備えることを特徴とする地上監視装置。
5. 請求項１に記載の移動体制御装置と地上監視装置を含むシステム。

Images