JP7362203B2

JP7362203B2 - 無人移動体

Info

Publication number: JP7362203B2
Application number: JP2019095202A
Authority: JP
Inventors: 陽介舘
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2019-05-21
Filing date: 2019-05-21
Publication date: 2023-10-17
Anticipated expiration: 2039-05-21
Also published as: JP2020191523A

Description

本発明は、遠隔操作あるいは自律式の無人移動体に関し、特に、対象物の撮影機能を備えたドローンに関する。

例えば鉄塔に架設された送電線の表面などの点検は、作業者が双眼鏡を使って送電線の表面を直接目視したり、ヘリコプターから目視したり、鉄塔に登った人が電線を伝って確認したり、自走機を利用するなどして行っている。このような高所の構造物の点検に空撮機能を備えたドローンを接近させ、カメラで点検箇所を撮影し、作業者が点検箇所を目視するのと変わらない映像を得ることができれば、点検に要するコストを大幅に削減することが可能となる。また、決められた飛行ルートを決められた速度で飛行して離陸地点まで自動で戻り着陸するように機体を制御する自律制御技術の開発が進められ、実用化されつつある。

特許文献１の空撮方法では、図１に示すように、自立制御により飛行するＡ／Ｃヘリ１は、予め設定された飛行ルートに従い、出発地点である地上局２を離陸した後、鉄塔Ａの上方の（ａ）ポイントまで飛行し、次に、鉄塔Ｂの上方の（ｂ）ポイントまで高架電線Ｗに沿って平行に飛行し、この間、高架電線Ｗがカメラの撮影領域の中心に位置するように高架電線Ｗを追尾しながら高架電線Ｗの映像を連続的に記録する。また、飛行中に高架電線Ｗまでの距離を測定し、測定された距離に応じてカメラのズーム倍率を調整することでカメラフレーム内に十分な大きさに拡大された高精細な高架電線Ｗの映像を記録できるようにしている。また、特許文献２では、無人飛行機に搭載されたマルチスペクトルカメラを用いて植物の生育状況を監視し、画像データが欠落等により異常と判定された場合には、再撮影している。

特開２００６－０２７４４８号公報特開２０１８－１５２７３７号公報

近年では、ドローンのような小型無人飛行機を使った架空地線・電線の点検システムや、ある範囲の地形をくまなく連続撮影することで地形の詳細な形状を得る測量システムの開発、実用化が進められている。ドローンには、点検対象物までの距離および角度を検出する物体検出センサ（例えば、ＬｉＤＡＲ）が搭載され、ドローンは、物体検出センサの検出結果に基づき機体と点検対象物との位置関係が一定に保たれるように自律飛行することで、点検対象物を追尾しつつ点検対象物への接触が防止される。また、ドローンには、点検対象物を撮像するカメラがジンバルを介して搭載される。ジンバルは、カメラの向きを３次元方向で微調整することができるアクチュエータであり、ジンバルは、ドローンの姿勢が変化しても常にカメラがドローンの鉛直方向を撮像するように、物体検出センサの検出結果を利用してカメラの角度を制御する。その結果、撮像フレームの中央に点検対象物が撮像されるように撮像が制御される。

ドローンによる点検撮影実行時、強風などの要因により機体の姿勢や位置が急に変わることがある。このとき、ジンバルは、機体の姿勢変化を吸収するように動作する。図２（Ａ）は、機体１０と高架電線Ｗを側方から模式的に表す図であり、高架電線Ｗの真上を飛行中に横から風Ｋが吹くと、機体１０は風の方に機体を傾け、高架電線Ｗの真上の飛行位置を維持しようとする。このとき、ジンバルは、高架電線Ｗが撮像範囲Ｓに入るようにカメラの角度を制御する。

また、図２（Ｂ）は、機体１０と高架電線Ｗを上方から模式的に表した図であり、風Ｋが吹くなどして、機体１０が高架電線Ｗから離れるように横方向Ｐに流されてしまう場合がある。この場合にも、機体１０が高架電線Ｗの方向Ｑに向かうように飛行制御され、ジンバルも、これらの影響を抑えるようにカメラの角度を制御する。しかしながら、最終的にドローンの急激な姿勢変化を吸収しきれない場合には、図３に示すように、高架電線Ｗが撮影範囲Ｓから逸脱したフレームアウトが生じ、撮影を失敗することがある。

図４は、測量飛行を模式的に示す図である。機体１０は、予め用意された飛行ルートＲに従い標定点２０を基準に地形の測量を行うが、飛行ルート上に木、鉄塔、高い建物、鳥などが存在すると、一時的にそれらに焦点が合ってしまい、検証点２２の撮影に失敗することがある。

上記したようなフレームアウトや焦点ズレによる撮影の失敗は、ドローンの帰還後に、カメラで撮影された映像を再生しこれをチェックすることで判断されていた。このため、再撮影の作業は、同じ飛行をもう一度行う必要があり、手間がかかっていた。また、再飛行のためにドローンのバッテリが追加で必要になることがあり、現場でのやりくりに困る状況が発生する可能性があった、

本発明は、上記従来の課題を解決し、対象物の撮影を失敗した場合に再撮影を容易に行うことができる無人移動体を提供することを目的とする。

本発明に係る無人移動体は、移動体の位置を検出する位置検出手段と、対象物を撮影する撮影手段と、対象物を撮影するために予め用意された移動ルートに従い移動体を移動させる移動手段と、前記撮影手段による対象物の撮影の失敗を検出する検出手段と、前記検出手段により撮影の失敗が検出された場合、前記位置検出手段により検出された撮影が失敗した位置で対象物を再撮影するように前記移動手段および前記撮影手段を制御する制御手段とを有する。

ある実施態様では、前記検出手段は、前記撮影手段による撮影範囲に対象物が含まれているか否かにより撮影の失敗を検出する。ある実施態様では、前記検出手段は、前記撮影手段により撮影された対象物の焦点が合っているか否かにより撮影の失敗を検出する。ある実施態様では、前記検出手段は、前記撮影手段により撮影された映像フレーム単位で撮影の失敗を検出し、前記制御手段は、撮影が失敗した位置で対象物を再撮影した後、前記予め用意された移動ルートに戻るように前記移動手段および前記撮影手段を制御する。ある実施態様では、前記飛行手段は、前記移動ルートの撮影終了地点に到達した後、撮影が失敗した位置で対象物を再撮影するように前記移動手段および前記撮影手段を制御する。ある実施態様では、無人移動体はさらに、基地局とデータ通信する通信手段を含み、前記検出手段は、前記通信手段を介して基地局から送信された情報に基づき撮影の失敗を検出し、前記制御手段は、基地局から送信される情報に基づき前記移動手段および前記撮影手段を制御する。

本発明によれば、対象物の撮影失敗を検出した場合には、撮影失敗が検出された位置から再撮影するようにしたので、撮影が失敗したときに再撮影のための同じ飛行を行う必要がなくなり、かつ再撮影のために消費する無人移動体のエネルギーや飛行時間を削減することができる。

従来の高架電線等を空撮する無人飛行機の例を説明する図である。図２（Ａ）は、機体と高架電線とを側方から模式的に表した図であり、図２（Ｂ）は、機体と高架電線とを上方から模式的に表した図であり、風等により機体の姿勢が変化する様子を説明している。従来の無人飛行機による空撮において点検対象物がフレームから逸脱した例を説明する図である。従来の無人飛行機による測量のための撮影を模式的に示した図である。本発明の無人飛行機の電気的な構成を示すブロック図である。本発明の実施例に係る撮影制御プログラムの機能的な構成を示すブロック図である。図７（Ａ）、（Ｂ）は、映像フレームと高架電線との関係を示し、図７（Ｃ）、（Ｄ）は、撮影失敗の例を説明する図である。本発明の実施例によるフレームアウトの有無の判定方法を説明する図である。本発明の実施例による対象物の第１の撮影制御の動作フローを示す図である。本発明の実施例による撮影失敗時の第１の撮影制御の再撮影を説明する図である。本発明の実施例による対象物の第２の撮影制御の動作フローを示す図である。本発明の実施例による撮影失敗時の第２の撮影制御の再撮影を説明する図である。

次に、本発明の実施の形態について説明する。本発明の無人移動体は、例えば、ドローン、ヘリコプター飛行船のような無人飛行機あるいは車輪で移動するドローン（ローバー）である。本発明の無人移動体は、人間が目視により点検することが難しい、鉄塔に架設された送電線や土砂崩れなどの自然災害現場の点検、あるいは地形の測量などに用いられる。

以下の実施例では、無人移動体として無人飛行機（ドローン）により点検対象物を撮影したり、地形を測量する例を説明する。本実施例の無人飛行機（ドローン）は、機体本体に、点検対象物（例えば、高架電線）や地形を撮影するための撮影カメラを搭載する。撮影カメラは、ジンバルのような角度調整アクチュエータを介して機体本体に取り付けられる。角度調整アクチュエータは、例えば、Ｘ軸、Ｙ軸、Ｚ軸の自由度３で撮影カメラの角度を調整することが可能である。無人飛行機は、例えば、図１に示すように鉄塔に高架された電線Ｗをその上方から鉛直方向に撮影したり、図４に示すように地形を撮影する。撮影された映像データは、高架電線Ｗの点検や地形の測量に供される。

図５は、本実施例に係る無人飛行機の電気的な構成を示すブロック図である。本実施例に係る無人飛行機１００は、ＧＰＳ受信部１１０、自立航法センサ１２０、物体検出部１３０、撮影カメラ１４０、カメラ角度調整部１５０、ロータ駆動部１６０、記憶部１７０、出力部１８０、通信部１９０および制御部２００を含んで構成される。但し、上記構成は一例であり、必ずしもこれに限定されるものではない。

ＧＰＳ受信部１１０は、ＧＰＳ衛星から発せられるＧＰＳ信号を受信し、無人飛行機１００の緯度、経度を含む絶対位置を検出する。無人飛行機１００は、予め用意された飛行情報に従い自律航行することが可能である。飛行情報は、例えば、図１に示すように、出発地点である地上局２、鉄塔Ａの（ａ）ポイント、鉄塔Ｂの（ｂ）ポイント、帰還地点である地上局２を飛行する飛行ルート（緯度、経度の位置情報を含む）、飛行速度、飛行高度などを含む。無人飛行機１００は、ＧＰＳ受信部１１０で検出された位置情報を利用して飛行ルートを追従するように飛行する。

自立航法センサ１２０は、無人飛行機１００が自立航法するために必要なセンサ、例えば、方位センサや高度センサを含む。自立航法センサ１２０のセンサ出力は、飛行情報に従い自律飛行するときの制御に利用される。

物体検出部１３０は、点検対象物までの相対的距離および角度を検出する。物体検出部１３０は、例えば、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）を用いて構成される。ＬｉＤＡＲは、パルス状に発光するレーザーを３６０度の方位で照射し、そのレーザー照射に対する反射光を測定することで、物体までの距離および角度を検出する。物体検出部１３０は、例えば、点検対象物である高架電線Ｗまでの距離および角度を検出したり、測量対象物である検証点２２（図４を参照）までの距離および角度を検出する。なお、物体検出部１３０は、ＬｉＤＡＲに限定されず、これ以外にも複数のステレオカメラを用いて物体までの距離および角度を検出するものであってもよい。無人飛行機１００は、物体検出部１３０の検出結果に基づき、点検対象物である高架電線Ｗと一定の距離および角度を保つように高架電線Ｗを追尾し、あるいは測定対象物である検証点と一定の距離および角度を保つように検証点を追尾する。

撮影カメラ１４０は、上記したように、機体本体の下部に角度調整アクチュエータを介して取り付けられる。撮影カメラ１４０は、点検対象物である高架電線Ｗや測定対象物である検証点２２の動画を撮像し、例えば、１秒間に２４個の映像フレーム（静止画）を生成する。さらに撮影カメラ１４０は、ズーム機能を備え、映像フレーム内に一定の大きさの高架電線Ｗや検証点２２が撮像されるように、その倍率が調整される。

カメラ角度調整部１５０は、制御部２００からの角度調整信号に応答して角度調整アクチュエータを駆動し、撮影カメラ１４０の角度を調整する。制御部２００は、自立航法センサ１２０や物体検出部１３０の検出結果に基づき撮影カメラ１４０の撮像方向（撮影カメラのレンズの光軸）が鉛直方向となる角度を算出し、その算出結果に基づき角度調整信号を生成する。

ロータ駆動部１６０は、制御部２００からの駆動信号に基づきプロペラ等に接続されたロータを回転させる。制御部２００は、ＧＰＳ受信部１１０、自立航法センサ１２０および物体検出部１３０により検出された情報や飛行情報に基づき無人飛行機１００が飛行ルートに沿って自律飛行するための駆動信号を生成する。

記憶部１７０は、無人飛行機１００を動作させるために必要な種々の情報を記憶する。記憶部１７０は、例えば、予め用意された飛行情報を記憶したり、制御部２００が実行するためのプログラムやソフトウエアを記憶したり、撮影カメラ１４０で撮像された点検対象物や測定対象物の映像データを記憶する。さらに本実施例では、記憶部１７０には、撮影カメラ１４０による対象物の撮像が失敗したことを示す撮影失敗情報が記憶される。撮影失敗情報は、撮影カメラ１４０により撮影された映像データを再生することなく、対象物の再撮影が必要であることをユーザーに知らせることができる。

出力部１８０は、記憶部１７０に記憶された情報を読出し、これを外部に出力する。出力部１８０の構成は特に限定されないが、例えば、出力部１８０は、記憶部１７０の映像データを表示する表示部を備えることができ、あるいは通信部１９０を介して接続された外部の基地局に、有線または無線により記憶部１７０から読み出した情報を出力することができる。

通信部１９０は、無人飛行機１００を有線または無線により外部の基地局との間でデータ通信をすることを可能にする。外部の基地局（例えば、コンピュータ装置）は、通信部１９０を介して無人飛行機１００を制御することが可能であり、例えば、飛行情報を無人飛行機１００の記憶部１７０に設定したり、無人飛行機１００で撮影した映像データを受信したり、あるいは制御部２００に対してユーザーからの指示を与えることができる。

制御部２００は、無人飛行機１００の各部を制御する。ある実施態様では、制御部２００は、ＲＯＭ／ＲＡＭを含むマイクロコントローラ、マイクロプロセッサ、画像処理プロセッサ等を含み、記憶部１７０あるいはＲＯＭ／ＲＡＭに格納されたプログラムやソフトウエアを実行することで無人飛行機１００の自律飛行や点検対象物の撮影を制御する。

自律飛行制御プログラムは、ＧＰＳ受信部１１０で検出された絶対位置（緯度、経度、高度）や自立航法センサ１２０で検出された方位や高度等に基づき、予め用意された飛行ルートを無人飛行機１００が飛行するように制御する。この飛行ルートは、点検対象部である高架電線Ｗや測定対象物である検証点２２に沿うルートである。さらに自律飛行制御プログラムは、物体検出部１３０により検出された高架電線Ｗや検証点２２と間の相対的な距離および角度に基づき高架電線Ｗや検証点と一定の距離を保ちながら高架電線Ｗや検証点２２を追尾するように無人飛行機１００の飛行を制御する。

無人飛行機１００が対象物に沿って飛行を続ける間、撮影制御プログラムは、高架電線Ｗや検証点２２が撮影されるように撮影カメラ１４０を制御し、かつ撮影カメラ１４０により撮影された映像データを記憶部１７０に格納する。本実施例の撮影制御プログラムの詳細な構成を図６に示す。同図に示すように、撮影制御プログラム２１０は、カメラ角度算出部２２０、カメラ動作制御部２３０、撮影失敗検出部２４０、再撮影制御部２５０および映像データ記憶部２６０を含んで構成される。

カメラ角度算出部２２０は、撮影カメラ１４０の映像フレーム内に高架電線Ｗや検証点２２が捉えられるようにするため、物体検出部１３０からの検出結果に基づき撮影カメラ１４０の撮影方向の角度を算出する。カメラ角度算出部２２０は、撮影方向の角度を算出すると、その算出結果を表す角度調整信号をカメラ角度調整部１５０に提供し、カメラ角度調整部１５０は、角度調整信号に基づき角度調整アクチュエータを駆動し、撮像カメラ１４０の撮影方向を調整する。本実施例では、カメラ角度算出部２２０は、撮像カメラ１４０の撮影方向（光軸）が鉛直方向になるように角度を算出し、これにより、撮像カメラ１４０は、高架電線Ｗや検証点２２を真上から空撮する。

また、撮影カメラ１４０のズームは、予め決められ倍率に設定され、自律飛行制御プログラムにより無人飛行機１００と高架電線Ｗや検証点２２との間の相対距離が一定になるように飛行が制御される。これらの設定により、撮影カメラ１４０の映像フレームにより撮影される現実空間の範囲（縦方向および横方向の実空間の距離）が決定され、つまり、映像フレームに映される高架電線Ｗの大きさが決定される。例えば、図７（Ａ）に示すように、映像フレームＦ内に、ユーザーによって点検可能な大きさで高架電線Ｗが映される。

図７（Ａ）において、映像フレームＦの長手方向が飛行方向と略平行であるとき、カメラ角度算出部２２０は、物体検出部１３０で検出された高架電線Ｗの相対角度に基づき、映像フレームＦの略中央に高架電線Ｗが捉えられるようにカメラの角度を算出する。また、図７（Ｂ）に示すように、無人飛行機１００が風の影響を受けて、図２（Ａ）に示すように機体の姿勢が変化したり、図２（Ｂ）に示すように高架電線Ｗから離れたとき、映像フレームＦに映される高架電線Ｗが中央から縁部にシフトするが、この場合、カメラ角度算出部２２０は、物体検出部１３０で検出された高架電線Ｗの相対角度の変化量に基づき、高架電線Ｗが中央の方向Ｑに移動するように、カメラの角度を算出する。測定対象物である検証点２２を撮影するときも同様である。

カメラ動作制御部２３０は、撮影カメラ１４０の撮影開始および終了等を制御する。具体的には、飛行ルートに沿って無人飛行機１００が飛行を開始し、高架電線Ｗや検証点２２に接近し撮影開始位置に到達すると、カメラ動作制御部２３０は、撮影カメラ１４０による撮影を開始させ、無人飛行機１００が飛行ルートに従って撮影終了位置に到達すると、撮影カメラ１４０による撮影を終了させる。カメラ動作制御部２３０は、上記以外にも撮影カメラの撮像条件、例えば、倍率等を制御することも可能である。

撮影失敗検出部２４０は、撮影カメラ１４０による高架電線Ｗや検証点２２の撮影が行われている期間中、撮影カメラ１４０による撮影の失敗を検出する。撮影中に、強風などの影響を受けて無人飛行機１００の姿勢が急に変化したり（図２（Ａ）を参照）、あるいは飛行ルートを一時的に逸脱したとき（図２（Ｂ）を参照）、角度調整アクチュエータによる撮影カメラ１４０の角度制御が間に合わないと、図７（Ｃ）に示すように、映像フレームＦから高架電線Ｗがフレームアウトすることがある。撮影失敗検出部２４０は、こうしたフレームアウトを撮影失敗と見做しこれを検出する。フレームアウトの有無は、物体検出部１３０で検出された高架電線Ｗや検証点２２の相対位置と、角度調整アクチュエータの現在の制御された角度と、撮影カメラに設定されている画角から判定することができる。

図８は、フレームアウトの有無の判定方法を説明する図である。無人飛行機１００の飛行方向は、高架電線Ｗの延在する方向と概ね平行であるとする。この状態で、無人飛行機１００の鉛直方向の基準線Ｇに対する高架電線Ｗの相対角度θｗは、物体検出部１３０により検出される。また、撮影カメラ１４０の画角θｃは、ズームの倍率から決定される既知の値であり、画角θｃは、図７に示す映像フレームＦの大きさを規定する。基準線Ｇに対する角度調整アクチュエータの現在の角度がθａであるとき（角度θａは、撮影カメラ１４０の撮影レンズの光軸方向に等しい）、画角θｃは、角度θａによってオフセットされた角度の方向を撮影する。撮影判定部２４０は、θａによりオフセットされた画角θｃの撮影範囲に、高架電線Ｗの角度θｗが含まれるか否かを判定し、両者の差が一定以上である場合には、高架電線Ｗが撮影されていない、すなわち映像フレームＦから高架電線Ｗがフレームアウトしたと判定する。

また、映像フレームＦの外縁に高架電線Ｗが撮影された場合には、高架電線Ｗの一部が欠損したり、あるいは光学歪みにより画像が不鮮明になるおそれがある。このため、図７（Ｄ）に示すように、映像フレームＦの外周に一定のマージンＭを設け、マージンＭの内側に高架電線Ｗが撮影されるか否かを判定するようにしてもよい。この場合には、マージンＭを規定する画角θｃ’（θｃ’＜θｃ）を設定する。なお、測定対象物である検証点２２のフレームアウトの有無の判定も同様に行われる。

さらに撮影カメラ１４０は、１秒間に複数の映像フレームを生成（例えば、１秒間に２４の映像フレームを生成）するため、もし、非常に短い時間で高架電線Ｗのフレームアウトが生じた場合には、前後の映像フレームによりフレームアウトした期間の高架電線Ｗを補間することが可能である。従って、撮影失敗検出部２４０は、フレームアウトが一定期間生じた場合に、撮影失敗と判定する。例えば、１秒間に２４の映像フレームが生成される場合、１２枚の映像フレームにおいてフレームアウトが生じた場合に高架電線Ｗの撮影が失敗したと判定する。

撮影失敗検出部２４０は、フレームアウトの有無を判定する他に、撮影された対象物の焦点ズレ（ピントズレ）が生じたとき、これを撮影失敗と見做すようにしてもよい。例えば、図４に示すように、飛行ルートＲに木や鉄塔などの高い建物があると、検証点２２に焦点が合わずに一時的に木や鉄塔などに焦点が合ってしまう。焦点ズレの有無は、例えば、撮影された映像データのパワースペクトルから判定することができる。対象物の焦点が合っていないとき、対象物の輪郭が不鮮明になり、輪郭を構成する隣接する画素間の画像データの変化量が小さくなり、その周波数が小さくなる。反対に焦点が合っていれば、画素間の画像データの変化量が大きくなり、その周波数が大きくなる。撮影失敗検出部２４０は、撮像された映像データを解析し、そのパワースペクトルから焦点ズレを監視し、焦点が合っていない期間を検出する。

撮影失敗検出部２４０は、撮影失敗を検出したとき、ＧＰＳ受信部１１０で検出された無人飛行機１００の位置情報に基づき飛行ルートのどの位置または区間で撮影が失敗したかを示す撮影失敗位置情報を生成し、これを再撮影制御部２５０へ提供する。

再撮影制御部２５０は、撮影失敗検出部２４０から撮影失敗位置情報を受け取ると、当該撮影失敗位置情報に基づき自律飛行制御プログラムおよびカメラ動作制御部２３０を制御し、無人飛行機１００を撮影失敗した位置に飛行させ、そこで対象物の再撮影を行う。

映像データ記憶部２６０は、撮影カメラ１４０が動作されている期間中に撮影された映像データおよび再撮影制御部２５０により再撮影された映像データを記憶部１７０に記憶する。

次に、本実施例の無人飛行機１００による第１の撮影動作について図９のフローを参照して説明する。ここでは、高架電線Ｗを撮影するものとする。先ず、通信部１９０を介してコンピュータ装置が接続され、コンピュータ装置から無人飛行機１００に飛行ルートを含む飛行情報が入力され（Ｓ１００）、これが記憶部１７０または制御部２００のＲＡＭに格納される。制御部２００の自律飛行制御プログラムは、入力された飛行情報に従い無人飛行機の自律飛行を開始する（Ｓ１１０）。

無人飛行機１００は、物体検出部１３０で検出された高架電線Ｗまでの相対距離および角度に基づき高架電線Ｗと一定の距離を保ちながら高架電線Ｗに沿って自律飛行をし、その間、高架電線Ｗの撮影が行われる。すなわち、カメラ動作制御部２３０は、無人飛行機１００が高架電線Ｗの撮影開始位置に到達すると、撮影カメラ１４０を起動し、高架電線Ｗの撮影を開始する（Ｓ１２０）。

撮影期間中、カメラ角度算出部２２０は、物体検出部１３０で検出された高架電線Ｗまでの距離および角度に基づき撮影カメラ１４０の撮影方向の角度を算出し、算出結果に基づき角度調整信号を角度調整アクチュエータに出力し、角度調整アクチュエータが撮影カメラ１４０の角度を調整する。また、撮影期間中、撮影カメラ１４０によって撮影された高架電線Ｗの映像データは、映像データ記憶部２６０によって記憶部１７０に順次記憶される。また、撮影中、撮影失敗検出部２４０によって、高架電線Ｗの撮影失敗の有無が検出され（Ｓ１３０）、撮影失敗が検出された場合には、撮影失敗位置情報が再撮影制御部２５０に提供され、再撮影制御部２５０は、提供された撮影失敗位置情報を保持する（Ｓ１４０）。

無人飛行機１００が飛行ルートに基づき高架電線Ｗの撮影終了地点に到達すると（Ｓ１５０）、カメラ動作制御部２３０は高架電線の撮影を停止し（Ｓ１６０）、再撮影制御部２５０は、撮影失敗位置情報を保持しているか否かを判定し（Ｓ１７０）、撮影失敗位置情報を保持する場合には、無人飛行機１００が撮影失敗位置に飛行するように自律飛行制御プログラムを制御し、そこでカメラ動作制御部２３０により撮影カメラ１４０を起動させ、高架電線Ｗの再撮影を行う（Ｓ１８０）。再撮影された高架電線Ｗの映像データは記憶部１７０に格納される。複数の撮影失敗位置情報がある場合には、それらの全てについても同様に、無人飛行機１００を撮影失敗位置に飛行させ、そこで高架電線Ｗの再撮影を行う。再撮影が終了すると、カメラ動作制御部２３０は撮影カメラ１４０を停止させ、無人飛行機１００がスタート地点に帰還される（Ｓ１９０）。他方、再撮影制御部２５０に撮影失敗位置情報が保持されていない場合には、再撮影を行うことなく、無人飛行機１００がスタート地点に帰還される（Ｓ１９０）。

図１０に、高架電線Ｗを再撮影するときの無人飛行機の飛行例を示す。無人飛行機１００は、図１０（Ａ）に示すように、飛行ルートＲに沿って連続する高架電線Ｗを撮影し、その途中、撮影失敗検出部２４０によって撮影地点Ｚにおいて撮影範囲Ｓの撮影失敗が検出されると、撮影地点Ｚを含む撮影失敗位置情報が生成され、これが再撮影制御部２５０に保持される。無人飛行機１００は、飛行ルートＲに沿って撮影終了地点Ｅまで高架電線Ｗの撮影を継続する。無人飛行機１００が撮影終了地点Ｅに到達すると、再撮影制御部２５０は、撮影失敗位置情報に基づき飛行ルートＲ１を生成し、この飛行ルートＲ１に沿って無人飛行機１００を撮影失敗地点Ｚまで飛行させ、そこで高架電線Ｗの再撮影を行う。

このように本実施例によれば、対象物の撮影に失敗した場合には、撮影失敗した地点で対象物を自動で再撮影するようにしたので、対象物の撮影の効率化を図ることができる。

次に、本実施例の無人飛行機１００による第２の撮影動作について図１１のフローを参照して説明する。ここでは、検証点のように非連続の測定対象物を撮影するものとする。ステップＳ１００～Ｓ１３０までは、図９と同様であるので説明を省略する。撮影失敗検出部２４０によって撮影失敗が検出されると（Ｓ１３０）、再撮影制御部２５０は、撮影失敗位置情報に基づき無人飛行機１００を撮影が失敗した地点に戻し（Ｓ２００）、そこで測定対象物（例えば、検証点２２）を再撮影する（Ｓ２１０）。再撮影制御部２５０によって再撮影が終了すると、再び飛行ルートに沿って測定対象物が撮影される。無人飛行機１００が飛行ルートに基づき測定対象物の撮影終了地点に到達すると（Ｓ２２０）、カメラ動作制御部２３０は測定対象物の撮影を停止し（Ｓ２３０）、無人飛行機１００がスタート地点に帰還される（Ｓ２４０）。

図１２に、図１１に示す再撮影をするときの無人飛行機の飛行例を示す。無人飛行機１００は、図１２（Ａ）に示すように、映像フレームＦｎ－１、Ｆｎ、Ｆｎ＋１・・・を連続的に撮影する。もし、撮影失敗検出部２４０が映像フレームＦｎの撮影失敗を検出すると、映像フレームＦｎを撮影したときのＧＰＳ受信部１１０で検出された位置情報を含む撮影失敗位置情報が再撮影制御部２５０に提供される。再撮影制御部２５０は、図１２（Ｂ）に示すように撮影失敗位置情報に基づき撮影が失敗した位置に無人飛行機１００を戻し、そこで映像フレームＦｎの再撮影を行う。なお、複数の映像フレームにおいて連続して撮影失敗が検出された場合には、複数の連続する映像フレームの再撮影が行われる。

このように本実施例によれば、対象物の撮影に失敗した場合には、一旦元の撮影失敗した位置に戻り、そこで再撮影してから通常の撮影をするようにしたので、対象物の撮影の効率化を図ることができる。特に、映像フレーム間で対象物の差分または視差を抽出する処理を行うような場合に、本例の撮影方法が適している。

次に、本発明の第２の実施例について説明する。上記実施例では、無人飛行機１００の撮影制御プログラムが撮影失敗を検出し、その後の再撮影を制御する例を示したが、第２の実施例では、地上の基地局が撮影失敗を検出し、再撮影を制御する。

無人飛行機１００は、飛行ルートに沿って対象物を追尾し、撮影カメラ１４０により対象物（高架電線Ｗや検証点など）を撮影すると、通信部１９０は、撮影された映像データを基地局に送信する。送信される映像データには、ＧＰＳ受信部１９０で検出された無人飛行機の現在位置情報が付加される。基地局は、受信した映像データを解析し、撮影失敗の有無を検出する。基地局は、撮影失敗を検出した場合には、再撮影のための飛行情報を生成し、これを無人飛行機１００に送信する。通信部１９０は、受信した再撮影のための飛行情報を制御部２００に提供し、自律飛行制御プログラムは、再撮影のための飛行情報に基づき無人飛行機１００を飛行させ、カメラ動作制御部２３０は、撮影失敗箇所で対象物を再撮影する。

このように本実施例によれば、地上の基地局側で撮影失敗の検出および再撮影の制御を行うことで、無人飛行機１００の処理負担を軽減することができる。

上記実施例では、説明を容易にするため、図７等に示すように、映像フレームＦの短手方向において撮影カメラ１４０の撮影方向を調整する例を示したが、実際には、無人飛行機の飛行方向が高架電線Ｗの方向とズレが生じている場合には、撮像カメラ１４０の撮影方向は、映像フレームの長手方向においても調整され得る。つまり、角度調整アクチュエータは、映像フレームＦの短手方向および長手方向の自由度２でカメラの角度を調整することが可能である。

また、上記実施例では、高架電線や地形を撮影する例を示したが、これは一例であり、本発明は、他の高層建造物、自然災害地などの撮影にも適用することができる。さらに本実施例は、撮影カメラが角度調整アクチュエータを介して機体本体に取り付けられる例を示したが、撮影カメラそのものが電子的または光学的な撮影方向の角度調整機能を備えている場合には、角度調整アクチュエータは必ずしも必須ではない。

さらに上記実施例では、無人飛行機による対象物の撮影を例示したが、本発明はこれに限らず、車輪で移動するドローン（ローバー）にも適用することができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１００：無人飛行機１１０：ＧＰＳ受信部
１２０：自立航法センサ１３０：物体検出部
１４０：撮影カメラ１５０：カメラ角度調整部
１６０：ロータ駆動部１７０：記憶部
１８０：出力部１９０：通信部１９０
２００：制御部

Claims

移動体の位置を検出する位置検出手段と、
対象物を撮影する撮影カメラを含む撮影手段と、
対象物の相対位置を検出する対象物検出手段と、
前記対象物検出手段の検出に基づき前記撮影カメラの撮影方向の角度を調整する角度調整手段と、
対象物を撮影するために予め用意された移動ルートに従い移動体を移動させる移動手段と、
前記撮影手段による対象物の撮影の失敗を検出する検出手段と、
前記検出手段により撮影の失敗が検出された場合、前記位置検出手段により検出された撮影が失敗した位置で対象物を再撮影するように前記移動手段および前記撮影手段を制御する制御手段とを有し、
前記検出手段は、前記対象物検出手段により検出された対象物の相対位置および前記角度調整手段により調整された撮影方向の角度に基づき、前記撮影手段による撮影範囲に対象物が含まれているか否かにより撮影の失敗を検出する、無人移動体。
前記検出手段は、対象物の相対角度、前記角度調整手段により調整された撮影方向の角度、および撮影カメラの画角に基づき、前記撮影手段による撮影範囲に対象物が含まれているか否かにより撮影の失敗を検出する、請求項１に記載の無人移動体。
前記検出手段は、前記撮影手段により撮影された映像フレームの外周に設定された一定のマージンの内側に対象物が含まれているか否かにより撮影の失敗を検出する、請求項１に記載の無人移動体。
前記検出手段は、前記撮影手段により撮影された映像フレーム単位で撮影の失敗を検出し、前記制御手段は、撮影が失敗した位置で対象物を再撮影した後、前記予め用意された移動ルートに戻るように前記移動手段および前記撮影手段を制御する、請求項１に記載の無人移動体。
前記制御手段は、前記移動ルートの撮影終了地点に到達した後、撮影が失敗した位置で対象物を再撮影するように前記移動手段および前記撮影手段を制御する、請求項１に記載の無人移動体。
無人移動体はさらに、基地局とデータ通信する通信手段を含み、
前記通信手段は、前記撮影手段によって撮影された映像データと前記位置検出手段により検出された移動体の位置を基地局に送信し、
基地局は、映像データの解析結果に基づき撮影失敗を検出した場合には、再撮影のための飛行情報を前記通信手段を介して前記制御手段に送信し、
前記制御手段は、基地局から送信される前記飛行情報に基づき前記移動手段および前記撮影手段を制御する、請求項１に記載の無人移動体。