JP7443978B2 - 作業支援装置 - Google Patents

Description

本開示は、作業支援装置に関する。

ショベルの上部旋回体に取り付けられた撮像装置では撮像できない空間を、自律式の飛行体に取り付けられた撮像装置で撮像する技術が知られる（例えば、特許文献１参照）。

国際公開公報ＷＯ２０１７／１３１１９４号

しかしながら、上記のような従来技術では、作業機械の位置及び向きを検出する検出手段は、通信障害や破損の可能性を低減する観点から上部旋回体に取り付けられる傾向がある。従って、直接的に下部走行体の向きを検出できることを前提とした制御は困難である。

そこで、１つの側面では、本発明は、上部旋回体に設けられる検出手段を適切に利用して、飛行体を制御することを目的とする。

１つの側面では、作業機械と、撮像装置を搭載した飛行体との位置関係を制御する作業支援装置であって、
前記作業機械は、
下部走行体と、
前記下部走行体に搭載される上部旋回体と、
前記撮像装置が撮像した画像を表示する表示装置と、
前記上部旋回体に設けられ、作業機械の位置及び向きを検出する検出手段とを有し、
当該作業支援装置は、前記検出手段による検出結果に基づいて、前記下部走行体の後方位置に至るように前記飛行体を制御する、作業支援装置が提供される。

１つの側面では、本発明によれば、上部旋回体に設けられる検出手段を適切に利用して、飛行体を制御することが可能となる。

作業機械及び無人飛行機の構成に関する説明図である。 作業機械の制御系に係るハードウェア構成の一例を示す図である。 作業機械の操作系に係る概略的な説明図である。 各種制御装置により実現される機能を説明する図である。 下部走行体の向きの算出方法の説明図である。 作業機械に対する無人飛行機４０の目標飛行位置の関係を上面視で概略的に示す図である。 作業機械の動きを概略的に説明する側面図である。 下部走行体向き情報の算出に関連して制御装置により実行される処理の一例を示す概略フローチャートである。

以下、添付図面を参照しながら各実施例について詳細に説明する。

図１は、一実施例による作業機械１及び無人飛行機４０の構成に関する説明図である。なお、図１には、作業機械１及び無人飛行機４０に加えて、飛行制御装置５０（作業支援装置の一例）と遠隔操作装置５２が図示されている。

作業機械１は、無人飛行機４０と連携しながら所定の作業を遂行する。作業機械１は、例えば解体作業等に好適な破砕機１４５を備えた建設機械であり、クローラ式の下部走行体１１０と、下部走行体１１０に旋回機構１３０を介して旋回可能に搭載される上部旋回体１２０と、作業機構１４０と、を備えている。上部旋回体１２０の前方左側部にはキャブ（運転室）１２２が設けられる。上部旋回体１２０の前方中央部には作業機構１４０が設けられ、作業機構１４０の先端に破砕機１４５が設けられる。なお、作業機械１は、無人飛行機４０が発着するベースメントを備えてもよい。

作業機構１４０は、上部旋回体１２０に起伏可能に装着されるブーム１４１と、ブーム１４１の先端に回動可能に連結されるアーム１４３と、アーム１４３の先端に取り付けられた破砕機１４５と、を備えている。作業機構１４０には、伸縮可能な油圧シリンダにより形成されるブームシリンダ１４２、アームシリンダ１４４及びバケットシリンダ１４６が装着される。破砕機１４５に代えてバケットなどの他の先端アタッチメントがアーム１４３の先端部に取り付けられていてもよい。

ブームシリンダ１４２は、作動油の供給を受けることにより伸縮してブーム１４１を起伏方向に回動させるようにブーム１４１と上部旋回体１２０との間に介在する。アームシリンダ１４４は、作動油の供給を受けることにより伸縮してアーム１４３をブーム１４１に対して水平軸回りに回動させるようにアーム１４３とブーム１４１との間に介在する。バケットシリンダ１４６は、作動油の供給を受けることにより伸縮して破砕機１４５をアーム１４３に対して水平軸回りに回動させるように破砕機１４５とアーム１４３との間に介在する。破砕機用シリンダ１４７は、作動油の供給を受けることにより伸縮して破砕機１４５を開閉させるように破砕機１４５に設けられる。

無人飛行機４０は、回転翼機であり、複数（例えば、４、６又は８）の羽根、当該複数の羽根を回転させるための電動モータ（アクチュエータ）等に電力を供給するバッテリなどを備える。なお、かかるバッテリに代えて又は加えて、無人飛行機４０は、地上から電力供給線に接続されてもよい。

無人飛行機４０は、制御装置４００と、撮像装置４１０とを備える。

制御装置４００は、後述する飛行制御装置５０からの制御情報（指令）や遠隔操作装置５２からの操作情報に応じて、無人飛行機４０の各種飛行状態（前進状態、後退状態、上昇状態、下降状態、ホバリング等）を実現する。また、制御装置４００は、撮像装置４１０で取得される画像（前方環境画像）を作業機械１に送信する。

撮像装置４１０は、カメラを含む。カメラの種類等は任意であり、例えば広角カメラであってもよい。撮像装置４１０は、取り外し可能に無人飛行機４０に取り付けられてもよいし、無人飛行機４０に強固に固定されてもよい。撮像装置４１０は、ＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）やＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子により、無人飛行機４０の機体前方の前方環境画像を取得する。撮像装置４１０は、例えば、リアルタイムに前方環境画像を取得し、所定のフレーム周期のストリーム形式で制御装置４００に供給するものであってよい。

撮像装置４１０は、好ましくは、ジンバル（図示せず）を備える。ジンバルは、無人飛行機４０の姿勢が変化しても、撮像装置４１０の光軸が一定の向き（例えば水平面内の所定方向）に保つように機能する。

飛行制御装置５０は、無人飛行機４０の各種制御を実行する。一実施例では、飛行制御装置５０は、サーバ（サーバコンピュータ）より実現され、この場合、飛行制御装置５０は、ネットワーク（図示せず）を介して作業機械１及び無人飛行機４０に接続される。この場合、ネットワークは、無線通信網や、インターネット、ＶＰＮ（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、有線ネットワーク、又はこれらの任意の組み合わせ等を含んでもよい。他の実施例では、飛行制御装置５０は、作業機械１の制御装置１０（図２参照）により実現されてもよい。また、他の実施例では、飛行制御装置５０は、無人飛行機４０の制御装置４００により実現されてもよい。あるいは、他の実施例では、飛行制御装置５０の機能は、サーバ、制御装置１０、及び制御装置４００のうちの、いずれか２つの組み合わせ又はすべてにより協動して実現されてもよい。飛行制御装置５０の詳細は後述する。

遠隔操作装置５２は、例えばリモートコントローラの形態であり、ユーザ（例えば、作業機械１の操作者又は操作者とは異なる作業者）により操作されてよい。なお、ユーザが、作業機械１の操作者である場合、遠隔操作装置５２は、キャブ１２２内に持ち込まれうる。遠隔操作装置５２は、無人飛行機４０と無線通信可能であり、ユーザの操作に応じた操作信号を無人飛行機４０に向けて送信する。この場合、無人飛行機４０は遠隔操作装置５２からの操作情報を受信すると、無人飛行機４０の制御装置４００は、操作情報に応じた無人飛行機４０の動き（前進、後退、昇降等）を実現する。なお、変形例では、遠隔操作装置５２は省略されてもよい。また、遠隔操作装置５２は、スマートフォン等により実現されてもよい。

図２は、作業機械１の制御系に係るハードウェア構成の一例を示す図である。

作業機械１は、図２に示すように、電装系装置８と、制御装置１０とを備える。

電装系装置８は、作業機械１に搭載される電子制御可能な機器や各種センサ等である。電装系装置８は、例えば、画像出力装置８０（表示装置の一例）や、ブザー、音声出力装置（図示せず）、旋回機構１３０、作業機構１４０や下部走行体１１０等を作動させる油圧発生装置（図２Ａ参照）、各種操作部材の操作状態を検出する各種センサ類８２等を含んでよい。なお、電装系装置８（特に各種センサ類８２）は、基本的には、上部旋回体１２０に設けられる。これは、下部走行体１１０は、上部旋回体１２０よりも外部環境に晒されやすいためである。

なお、油圧発生装置は、エンジン及び／又は電動モータにより駆動される油圧ポンプ（図２Ａのメインポンプ９１４参照）を含んでよい。電動モータにより駆動される油圧ポンプを利用する場合、油圧発生装置は、電動モータを駆動するためのインバータを更に含んでよい。

各種センサ類８２は、ジャイロセンサや、各種の角度センサ、加速度センサ（傾斜センサ）、油圧発生装置により付与される油圧ライン（図２Ａの高圧油圧ライン９１６参照）の所定箇所の油圧を検出する油圧センサ（図２Ａの圧力センサ９２９参照）等を含んでよい。

本実施例では、特に、センサ類８２は、作業機械１の位置及び向きを検出する検出手段としてのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）コンパス８２１（衛星電波受信機の一例）を含む。ＧＰＳコンパス８２１は、上部旋回体１２０に設けられる２つのアンテナ（図示せず）を含み、２つのアンテナは、互いに離れた位置に設けられ、それぞれ、衛星から電波を受信する。２つのアンテナのそれぞれで受信された衛星信号は、それぞれ、例えば干渉測位法等により測位処理されることで、位置情報（測位情報）に変換される。そして、各アンテナの位置情報に基づいて方位が算出される。このようにして、ＧＰＳコンパス８２１は、当該２つのアンテナの相対的な位置関係に基づいて、向き（方位）を算出する。なお、ＧＰＳコンパス８２１に代えて、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）のうちの、ＧＰＳ以外を利用する同様のコンパスが利用されてもよい。また、アンテナは、２つ以上、上部旋回体１２０に設けられてもよい。

画像出力装置８０（図１参照）は、作業機械１の操作者が視認できるようにキャブ１２２内に設けられる。画像出力装置８０は、任意であるが、例えば液晶ディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等であってよい。なお、変形例では、画像出力装置８０は、作業機械１の操作者によりキャブ１２２に持ち込まれうる携帯型の装置（例えばタブレット端末等）であってもよい。

制御装置１０は、バス１９で接続されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、補助記憶装置１４、ドライブ装置１５、及び通信インターフェース１７、並びに、通信インターフェース１７に接続された有線送受信部２５及び無線送受信部２６を含む。

補助記憶装置１４は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

有線送受信部２５は、有線ネットワークを利用して通信可能な送受信部を含む。有線送受信部２５には、電装系装置８が接続される。ただし、電装系装置８の一部又は全部は、バス１９に接続されてもよいし、無線送受信部２６に接続されてもよい。

無線送受信部２６は、無線ネットワークを利用して通信可能な送受信部である。無線ネットワークは、携帯電話の無線通信網や、インターネット、ＶＰＮ、ＷＡＮ等を含んでよい。また、無線送受信部２６は、近距離無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）部、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ、登録商標）通信部、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ－Ｆｉｄｅｌｉｔｙ）送受信部、赤外線送受信部などを含んでもよい。例えば、無線送受信部２６は、サーバの形態の飛行制御装置５０との間で通信を実現できる。

なお、制御装置１０は、記録媒体１６と接続可能であってもよい。記録媒体１６は、所定のプログラムを格納する。この記録媒体１６に格納されたプログラムは、ドライブ装置１５を介して制御装置１０の補助記憶装置１４等にインストールされる。インストールされた所定のプログラムは、制御装置１０のＣＰＵ１１により実行可能となる。例えば、記録媒体１６は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等であってよい。なお、記録媒体１６には、搬送波は含まれない。

ここでは、図２を参照して、作業機械１の制御系について説明したが、無人飛行機４０についても、電装系装置８に係る構成を除いて、実質的に同様であってよい。例えば、無人飛行機４０の制御系の場合、制御装置４００のハードウェア構成は、制御装置１０と同様であってよい。また、電装系装置８に対応する電装系装置は、撮像装置４１０（図１参照）や各種センサ類を含む。

また、飛行制御装置５０のハードウェア構成についても、図２に示す制御装置１０のハードウェア構成と実質的に同様であってよい。

図２Ａは、作業機械１の操作系に係る概略的な説明図である。図２Ａでは、高圧油圧ラインを実線、パイロットラインを破線でそれぞれ示す。

メインポンプ９１４は、コントロールバルブ９１７に供給するための油圧を発生するポンプである。この油圧は、コントロールバルブ９１７を介して油圧モータ１１０Ａ、１１０Ｂ、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６の各々を駆動するために供給される。

パイロットポンプ９１５は、油圧操作系に必要なパイロット圧を発生するポンプである。

操作装置９２６には、油圧ライン９２７及び９２８を介して、コントロールバルブ９１７及び圧力センサ９２９がそれぞれ接続される。この圧力センサ９２９には、作業機械１の電気系の駆動制御を行う上述した制御装置１０が接続される。

コントロールバルブ９１７には、下部走行体１１０用の油圧モータ１１０Ａ（右用）及び１１０Ｂ（左用）、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６が高圧油圧ライン９１６を介して接続される。

コントロールバルブ９１７は、高圧油圧ライン９１６を介して接続される下部走行体１１０用の油圧モータ１１０Ａ、１１０Ｂ、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６の各々に供給する油圧を運転者の操作入力に応じて制御する。

操作装置９２６は、下部走行体１１０、ブーム１４１、アーム１４３、及び破砕機１４５を操作するための操作装置である。操作装置９２６は、レバー９２６Ａ及び９２６Ｂとレバー９２６Ｃを含む。レバー９２６Ａは、アーム１４３を操作するためのレバーであり、レバー９２６Ｂは、ブーム１４１及び破砕機１４５を操作するためのレバーである。また、レバー９２６Ｃは、下部走行体１１０を操作するための一対のレバーである。具体的には、レバー９２６Ｃは、左側のクローラを駆動回転させる左側レバーと、右側のクローラを駆動回転させる右側レバーとを含む。なお、レバー９２６Ｃは、運転席の足下に設けられる対のペダルの形態であってもよい。

操作装置９２６は、パイロットライン９２５を通じて供給される油圧（１次側の油圧）を運転者の操作量に応じた油圧（２次側の油圧）に変換して出力する。操作装置９２６から出力される２次側の油圧は、油圧ライン９２７を通じてコントロールバルブ９１７に供給されるとともに、圧力センサ９２９によって検出される。

レバー９２６Ａ及び９２６Ｂとレバー９２６Ｃの各々が操作されると、油圧ライン９２７を通じてコントロールバルブ９１７が駆動され、これにより、油圧モータ１１０Ａ、１１０Ｂ、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６内の油圧が制御されることによって、下部走行体１１０、ブーム１４１、アーム１４３、及び破砕機１４５が駆動される。

なお、油圧ライン９２７は、油圧モータ１１０Ａ及び１１０Ｂ、ブームシリンダ１４２、アームシリンダ１４４、及びシリンダ１４６の駆動に必要な油圧をコントロールバルブ９１７に供給する。

圧力センサ９２９は、レバー９２６Ｃの操作による油圧ライン９２８内の油圧の変化を検出する。圧力センサ９２９は、油圧ライン９２８内の油圧を表す電気信号を出力する。この電気信号は、レバー９２６Ｃの操作態様（左側レバー及び右側レバーのそれぞれの操作量と方向）を表す信号を含み、制御装置１０に入力される。なお、レバー９２６Ｃの操作態様は、磁気的に又は光学的に検出されてもよい。

次に、図３以降を参照して、制御装置１０及び制御装置４００とともに、飛行制御装置５０を詳説する。

図３は、制御装置１０、制御装置４００、及び飛行制御装置５０により実現される機能を説明する図である。図３では、主に、後述するホバリング維持制御に関連する機能について図示されている。従って、制御装置１０等は、図示以外の他の機能を適宜備えてよい。図４は、下部走行体１１０の向きの算出方法の説明図であり、上部旋回体１２０及び下部走行体１１０を上面視で概略的に示す図である。図４には、左側に、上部旋回体１２０が旋回していない状態（以下、「中立状態」と称する）が示され、右側に、上部旋回体１２０が、時計まわりに角度αだけ旋回した状態（以下、「旋回状態」と称する）が示されている。

制御装置１０は、図３に示すように、位置情報取得部１５０と、姿勢情報取得部１５１と、向き情報取得部１５２と、通信処理部１５３と、画像出力処理部１５４と、操作情報取得部１５５と、アクチュエータ制御部１５６と、を含む。位置情報取得部１５０のような各機能部は、図２に示したＣＰＵ１１が、図２に示したＲＯＭ１３のような記憶装置内のプログラムを実行することで、実現できる。

位置情報取得部１５０は、センサ類８２のうちの、ＧＰＳコンパス８２１から、作業機械１の位置情報を取得する。作業機械１の位置情報は、緯度、経度、及び高度で表現される。なお、ＧＰＳセンサは、ＧＰＳ受信機を含み、衛星から電波に基づいて、干渉測位等により、緯度、経度、及び高度を算出する。

姿勢情報取得部１５１は、センサ類８２のうちの、作業機械１の姿勢に係るパラメータを取得する各種センサに基づいて、作業機械１の姿勢情報を取得する。この場合、姿勢に係るパラメータを取得する各種センサは、例えば、ブーム角度センサや、アーム角度センサ、バケット角度センサ、機体傾斜センサ等であってよい。なお、ブーム角度センサは、ブーム角度を取得するセンサであり、例えば、ブームフートピンの回転角を検出する回転角センサ、ブームシリンダ１４２のストローク量を検出するストロークセンサ、ブーム１４１の傾斜角度を検出する傾斜（加速度）センサ等を含む。また、アーム角度センサ及びバケット角度センサについても同様である。機体傾斜センサは、機体傾斜角度を取得するセンサであり、例えば、水平面に対する上部旋回体１２０の傾斜角度を検出する。

向き情報取得部１５２は、作業機械１の向き（鉛直軸まわりの向き）に関する情報を取得する。本実施例では、向き情報取得部１５２は、上部旋回体向き算出部１５２０と、下部走行体向き算出部１５２１と、を含む。

上部旋回体向き算出部１５２０は、センサ類８２のうちの、ＧＰＳコンパス８２１から得た向きの計算結果に基づいて、上部旋回体１２０の向きを算出する。なお、ＧＰＳコンパス８２１は、上述したように上部旋回体１２０に設けられるので、上部旋回体１２０とともに旋回する。従って、ＧＰＳコンパス８２１により検出される向き（方位）は、上部旋回体１２０の向きに相関する。なお、本実施例では、一例として、ＧＰＳコンパス８２１は、上部旋回体１２０の向きとして、ブーム１４１を基準とした上部旋回体１２０の中心軸Ｌ０（図４参照）に沿った前方の方位を算出する。すなわち、中心軸Ｌ０が基線の方向である。なお、上部旋回体向き算出部１５２０の算出機能は、ＧＰＳコンパス８２１により実現されてもよい。

下部走行体向き算出部１５２１は、センサ類８２のうちの、回転角センサ８２２からの回転角情報に基づいて、下部走行体１１０の向きを算出する。なお、回転角センサ８２２は、旋回機構１３０の旋回軸まわりの回転角（上部旋回体１２０と下部走行体１１０との間の旋回軸まわりの相対的な回転角）を検出する。ここで、回転角センサ８２２が検出する回転角は、所定の基準位置（ゼロ点）からの回転角である。本実施例では、一例として、所定の基準位置は、上部旋回体１２０の中心軸Ｌ０と、下部走行体１１０の中心軸Ｌ１とが重なる位置である。なお、下部走行体１１０の中心軸Ｌ１は、左右のクローラの回転軸に直交する関係である。例えば、図４の右側の状態では、上部旋回体１２０の中心軸Ｌ０が下部走行体１１０の中心軸Ｌ１に対して、０度より大きい角度αをなしている。この場合、回転角センサ８２２は、係る角度αを検出する。以下、旋回機構１３０の旋回軸まわりの回転角とは、中心軸Ｌ１に対する中心軸Ｌ０のなす角度αを表すものとする。

下部走行体向き算出部１５２１は、上部旋回体１２０の向きを、旋回機構１３０の旋回軸まわりの回転角に対応した分だけ補正することで、下部走行体１１０の向きを算出する。例えば、図４の右側の状態では、上部旋回体１２０の中心軸Ｌ０が下部走行体１１０の中心軸Ｌ１に対して角度αをなしている。この場合、上部旋回体１２０の向き（方位）が真北であるとき、下部走行体１１０の向きは、角度αに対応する方位分だけ西方向に算出（補正）される。

このようにして、本実施例では、向き情報取得部１５２により取得される向き情報は、上部旋回体向き算出部１５２０により算出される上部旋回体１２０の向きを表す情報と、下部走行体向き算出部１５２１により算出される下部走行体１１０の向きを表す情報（以下、「下部走行体向き情報」とも称する）と、を含む。

通信処理部１５３は、位置情報取得部１５０、姿勢情報取得部１５１、及び向き情報取得部１５２により取得される各種情報等を、飛行制御装置５０に送信する。例えば、通信処理部１５３は、飛行制御装置５０からの要求に応じて、所定周期ごとに最新の情報を飛行制御装置５０に送信してもよい。

また、通信処理部１５３は、無人飛行機４０から画像データを受信する。画像データは、撮像装置４１０により撮像される前方環境画像のデータである。

画像出力処理部１５４は、通信処理部１５３により取得される画像データに基づいて、画像出力装置８０上に前方環境画像を出力する。これにより、作業機械１の操作者は、画像出力装置８０上の前方環境画像から、例えば直視では見えない作業現場の状況等を把握できる。

操作情報取得部１５５は、操作装置９２６を介して入力される各種の操作情報（操作入力）を取得する。

アクチュエータ制御部１５６は、操作装置９２６を介して入力される各種の操作情報に基づいて、各種の指令値を発生する。例えば、アクチュエータ制御部１５６は、操作装置９２６を介して入力される各種の操作情報に基づいて、メインポンプ９１４からの吐出圧や吐出量等を制御してよい。

制御装置４００は、図３に示すように、機体情報取得部４０１と、目標飛行状態設定部４０２と、機体制御部４０３と、通信処理部４０４とを含む。機体情報取得部４０１のような各機能部は、図２に示したＣＰＵ１１のようなＣＰＵが、図２に示したＲＯＭ１３のような記憶装置内のプログラムを実行することで、実現できる。

機体情報取得部４０１は、無人飛行機４０の機体に係る各種状態を表す機体情報を取得する。機体情報は、無人飛行機４０の位置情報や、無人飛行機４０の姿勢情報等を含んでよい。無人飛行機４０の位置情報は、例えば、緯度、経度、及び高度で表現されてよい。なお、このような無人飛行機４０の位置情報は、ＧＰＳセンサから取得可能である。無人飛行機４０の姿勢情報は、無人飛行機４０のヨー軸、ロール軸、及びピッチ軸の各軸まわりの回転に関する情報を含んでよい。なお、このような無人飛行機４０の姿勢情報は、無人飛行機４０に搭載される慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）のようなセンサから取得可能である。

目標飛行状態設定部４０２は、飛行制御装置５０からの制御情報（指令）に基づいて、無人飛行機４０の目標飛行状態を設定する。目標飛行状態は、目標飛行位置と目標飛行姿勢とを含む。本実施例では、制御情報が後述のように目標飛行位置と目標飛行姿勢とを含み、この場合、目標飛行状態設定部４０２は、当該目標飛行位置と目標飛行姿勢をそのまま利用してよい。ただし、変形例では、上述したように、目標飛行状態設定部４０２は、飛行制御装置５０に代えて、目標飛行位置及び目標飛行姿勢のうちの少なくとも一方を算出してもよい。

機体制御部４０３は、目標飛行状態設定部４０２により設定された目標飛行状態が実現されるように無人飛行機４０の各種アクチュエータ（図示せず）を制御する。なお、無人飛行機４０の各種アクチュエータは、複数の羽根を回転させるための電動モータ等を含む。

通信処理部４０４は、機体情報取得部４０１により取得される機体情報等を、飛行制御装置５０に送信する。例えば、通信処理部４０４は、飛行制御装置５０からの要求に応じて、所定周期ごとに最新の機体情報を飛行制御装置５０に送信してもよい。

また、通信処理部４０４は、撮像装置４１０により撮像される前方環境画像のデータを、作業機械１に送信する。例えば、通信処理部４０４は、飛行制御装置５０からの要求に応じて、所定周期ごとに前方環境画像のデータを飛行制御装置５０に送信してもよい。

飛行制御装置５０は、図３に示すように、情報取得部５１０と、相対位置関係判定部５１２と、飛行制御部５１４とを含む。情報取得部５１０のような各機能部は、図２に示したＣＰＵ１１のようなＣＰＵが、図２に示したＲＯＭ１３のような記憶装置内のプログラムを実行することで、実現できる。

情報取得部５１０（取得部の一例）は、飛行制御部５１４の各種制御に必要な各種情報を取得する。本実施例では、一例として、情報取得部５１０は、作業機械１の位置情報、姿勢情報、及び向き情報と、無人飛行機４０の機体情報とを取得する。また、情報取得部５１０は、作業機械１の操作情報（特にレバー９２６Ｃに係る操作情報）を適宜取得する。なお、作業機械１の位置情報、姿勢情報、及び向き情報は、作業機械１の制御装置１０の通信処理部１５３から通信により取得できる。また、無人飛行機４０の機体情報は、無人飛行機４０の制御装置４００の通信処理部４０４から取得できる。

相対位置関係判定部５１２は、情報取得部５１０により取得された作業機械１の位置情報及び無人飛行機４０の位置情報（機体情報の一部）に基づいて、作業機械１に対する無人飛行機４０の相対位置関係を把握（判定）する。作業機械１に対する無人飛行機４０の相対位置関係は、高度を考慮した位置関係（すなわち３次元の位置関係）であってもよいし、高度を考慮しない位置関係であってもよい。高度を考慮しない位置関係としては、例えば、所定の基準平面（例えば地表面）に投影したときの位置関係であってよい。

また、作業機械１に対する無人飛行機４０の相対位置関係は、作業機械１の所定部位に対する無人飛行機４０の相対位置関係であってよい。この場合、所定部位は、作業機械１の下部走行体１１０の部位（例えば重心付近の部位）であってもよいし、上部旋回体１２０の部位であってもよいし、旋回機構１３０の部位（例えば破砕機１４５）であってもよい。また、所定部位は、作業モード等に応じて自動的に変化されてもよい。なお、以下では、作業機械１に対する無人飛行機４０の相対位置関係は、単に「相対位置関係」とも称する。

飛行制御部５１４は、情報取得部５１０により取得された各種情報に基づいて、無人飛行機４０に送信する制御情報（指令）を生成する。制御情報は、上述したように、無人飛行機４０の目標飛行状態設定部４０２に目標飛行状態を設定させるための情報である。

飛行制御部５１４は、ホバリング開始条件が成立すると、無人飛行機４０のホバリングが開始されるように、制御情報を生成する。ホバリング開始条件は、例えば、無人飛行機４０の位置が目標飛行位置に到達した場合に満たされてよい。なお、無人飛行機４０の位置が目標飛行位置に到達した否かは、例えば、情報取得部５１０により取得される機体情報に基づいて判断できる。

飛行制御部５１４は、例えば、制御情報を変化させないことで（これに伴い無人飛行機４０の目標飛行位置を変化させないことで）、制御装置４００にホバリングを開始させてもよい。あるいは、飛行制御部５１４は、ホバリングを開始させる指令（例えば、ホバリングモードのようなモードを指示する制御情報）を無人飛行機４０に送信することで、制御装置４００にホバリングを開始させてもよい。

本実施例では、飛行制御部５１４は、無人飛行機４０のホバリング中、相対位置関係が基準の相対位置関係から変化した場合でも、基準の相対位置関係からの変化量が所定閾値Ｔｈ１以下である場合は、無人飛行機４０のホバリングを維持するためのホバリング維持制御を実行してもよい。この場合、基準の相対位置関係は、無人飛行機４０が目標飛行位置に到達した時点又はその前後の相対位置関係であってよく、例えば、ホバリングが開始されたときの相対位置関係であってよい。あるいは、基準の相対位置関係は、ユーザにより設定されてもよい。この場合、例えば、基準の相対位置関係は、ユーザにより所定入力がなされた時点の相対位置関係であってよい。なお、無人飛行機４０がホバリング中であるか否かは、例えば、情報取得部５１０により取得される機体情報に基づいて判断できる。

以下、このようなホバリング維持制御との対比として、相対位置関係の変化に追従して無人飛行機４０の目標飛行位置を動的に変化させる制御を、「位置追従制御」とも称する。

本実施例では、飛行制御部５１４は、目標飛行位置算出部５１４１（後方位置算出部の一例）と、目標飛行姿勢算出部５１４２とを含む。飛行制御部５１４は、目標飛行位置算出部５１４１により算出される目標飛行位置と、目標飛行姿勢算出部５１４２により算出される目標飛行姿勢とに基づいて、これらを含む制御情報を生成する。

本実施例では、目標飛行位置は、下部走行体１１０の後方位置に設定される。なお、目標飛行位置は、例えば、緯度、経度、及び高度で表現されてよい。

この場合、目標飛行位置に係る緯度及び経度は、例えば、作業機械１の下部走行体１１０の前後軸上の位置であって、作業機械１の下部走行体１１０の後部に対して所定距離Ｄ１だけ後方に設定される。下部走行体１１０の前後軸上の位置は、上面視で、上述した下部走行体１１０の中心軸Ｌ１上の位置に対応する。従って、下部走行体１１０の前後軸は、上述した向き情報のうちの、上述した下部走行体向き情報から特定可能である。所定距離Ｄ１は、例えば２０ｍ程度であってよい。また、所定距離Ｄ１は、ユーザにより可変とされてもよい。また、所定距離Ｄ１は、作業モード等に応じて自動的に変化されてもよい。また、目標飛行位置に係る緯度及び経度は、作業機械１の下部走行体１１０の前後軸に対して横方向に所定距離Ｄ２だけオフセットするように設定されてもよい。所定距離Ｄ２は、例えば作業機械１に対して目標飛行位置が後方４５度程度になるように、例えば２０ｍ程度であってもよい。この場合も、所定距離Ｄ２は、ユーザにより可変とされてもよいし、作業モード等に応じて自動的に変化されてもよい。

また、目標飛行位置に係る高度は、一定（例えば３０ｍから４０ｍの範囲内）であってもよい。ただし、目標飛行位置に係る高度は、同様に、ユーザにより可変とされてもよいし、作業モード等に応じて自動的に変化されてもよい。

目標飛行姿勢は、例えば、ヨー軸、ロール軸、及びピッチ軸の各軸まわりの回転に関するパラメータで表現されてよい。目標飛行姿勢は、例えば、無人飛行機４０の機体の前後軸が作業機械１の下部走行体１１０の前後軸に対して平行となり、かつ、無人飛行機４０の機体の前後軸が水平面内に位置するように設定されてもよい。同様に、目標飛行姿勢に係るパラメータは、ユーザにより可変とされてもよいし、作業モード等に応じて自動的に変化されてもよい。あるいは、目標飛行姿勢は、例えば、無人飛行機４０の機体の前後軸がアーム１４３の延在方向に対して平行となり、かつ、無人飛行機４０の機体の前後軸が水平面内に位置するように設定されてもよい。

次に、図５Ａ及び図５Ｂを参照して、本実施例の効果について説明する。

図５Ａ及び図５Ｂは、本実施例の効果の説明図であり、図５Ａは、作業機械１に対する無人飛行機４０の目標飛行位置の関係を上面視で概略的に示す図であり、図５Ｂは、作業機械１の動きを概略的に説明する側面図である。

本実施例では、目標飛行位置に係る緯度及び経度は、上述したように、作業機械１の下部走行体１１０の後方に設定される。従って、図５Ａの左側に示す中立状態のように、上部旋回体１２０の中心軸Ｌ０と下部走行体１１０の中心軸Ｌ１が一致する場合であっても、図５Ａの右側に示す旋回状態のように、上部旋回体１２０の中心軸Ｌ０と下部走行体１１０の中心軸Ｌ１が一致しない場合であっても、目標飛行位置に係る緯度及び経度は、同じように下部走行体１１０の後方に対応する。

このようにして、本実施例では、上述したように、目標飛行位置に係る緯度及び経度を作業機械１の下部走行体１１０の後方に設定するので、下部走行体１１０の中心軸Ｌ１上の後方からの前方環境画像（無人飛行機４０の撮像装置４１０からの前方環境画像）を、無人飛行機４０から安定的に提供できる。

ここで、本実施例とは異なり、上部旋回体１２０の向きに応じて目標飛行位置に係る緯度及び経度が設定される比較例では、旋回状態で作業機械１を走行させると、無人飛行機４０の撮像装置４１０により提供される前方環境画像は、当該作業機械１の走行動作に追従したものとならない。

この点、本実施例によれば、上述したように、作業機械１の下部走行体１１０の向きに応じて目標飛行位置に係る緯度及び経度が設定されるので、旋回状態で作業機械１を走行させると（図５Ｂの矢印Ｒ２参照）、無人飛行機４０の撮像装置４１０により提供される前方環境画像は、当該作業機械１の走行動作に追従したものとなる。これにより、無人飛行機４０の撮像装置４１０により提供される前方環境画像の有用性（ユーザにとっての有用性）を効果的に高めることができる。

ところで、下部走行体１１０は、上部旋回体１２０に比べて、外部環境（例えば作業現場の地面）に近く、粉塵や砂、泥（例えば泥はね時の泥）などが付着しやすい。従って、ＧＰＳコンパス８２１を下部走行体１１０に取り付けることは、ＧＰＳコンパス８２１の耐久性を高める観点からは難しい。

この点、本実施例では、ＧＰＳコンパス８２１を上部旋回体１２０に取り付けるので、ＧＰＳコンパス８２１を下部走行体１１０に取り付ける場合に比べて、ＧＰＳコンパス８２１を適切に保護できる。この結果、ＧＰＳコンパス８２１の耐久性を高めることができる。

その反面、ＧＰＳコンパス８２１を上部旋回体１２０に取り付ける場合は、ＧＰＳコンパス８２１を下部走行体１１０に取り付ける場合とは異なり、下部走行体１１０の向きを直接的に算出できない。

この点、本実施例によれば、上述したように、下部走行体１１０の向きは、ＧＰＳコンパス８２１と回転角センサ８２２とに基づいて算出するので、下部走行体１１０の向きを比較的精度良く算出できる。

このようにして、本実施例によれば、ＧＰＳコンパス８２１を上部旋回体１２０に取り付けることで、ＧＰＳコンパス８２１を適切に保護しつつ、下部走行体１１０の向きを精度良く算出できる。これにより、図５Ａ及び図５Ｂに示したような、無人飛行機４０を下部走行体１１０の後方に位置付ける制御について、その信頼性を高めることができる。

ところで、作業機械１は、作業内容に依存して動きが多様となりうるが、比較的狭い移動範囲内で所定の動き（例えば上部旋回体１２０の正逆交互の細かい旋回）を繰り返す場合がある。かかる場合に、位置追従制御を実行すると、制御装置４００が同様に比較的狭い移動範囲内で無人飛行機４０の同様の動きを繰り返すこととなる。このような動きは、無人飛行機４０の機体に比較的大きい加速度を生みやすい。無人飛行機４０の機体に比較的大きい加速度が生じると、撮像装置４１０に係る撮像範囲に変化（揺れ）が生じ、前方環境画像の視認性が低下しやすくなる。

これに対して、本実施例によれば、相対位置関係の変化量が所定閾値Ｔｈ１以下である期間中は、相対位置関係が変化した場合でも、無人飛行機４０のホバリングが維持される。すなわち、上部旋回体１２０が旋回した場合と（図５Ｂの矢印Ｒ１参照）でも、ホバリングが維持される。これにより、相対位置関係の変化量が所定閾値Ｔｈ１以下である期間中に、上部旋回体１２０の旋回に伴って位置追従制御を実行する場合に比べて、ホバリングの期間を長くすることができる。この結果、無人飛行機４０の機体に比較的大きい加速度が生じる頻度を低減し、前方環境画像の視認性の低下を抑制できる。ただし、変形例では、上部旋回体１２０が所定角度以上旋回した場合や、作業監視モードが選択された場合等には、上部旋回体１２０が旋回した場合に、上部旋回体１２０の旋回に伴って位置追従制御を実行してもよい。例えば、作業監視モードでは、無人飛行機４０は、破砕機１４５の位置に応じた目標飛行位置に位置付けられてもよい。

また、変形例では、作業機械１が後退する場合は、目標飛行位置が前後反転されてもよい。すなわち、下部走行体１１０の後方とは、作業機械１の進行方向を基準としてもよい。この場合、例えば、作業機械１が後退する場合は、下部走行体１１０の進行方向の後方の上空で無人飛行機４０がホバリングするように、目標飛行位置が切り替えられてよい。これにより、作業機械１の操作者に進行方向前方の視界を、撮像装置４１０による前方環境画像により提供できる。

次に、図６を参照して、下部走行体向き情報の算出に関連した制御装置１０の処理例について概説する。

図６は、下部走行体向き情報の算出に関連して制御装置１０により実行される処理の一例を示す概略フローチャートである。図６に示す処理は、例えば所定周期ごとに繰り返し実行されてよい。なお、図６の処理フロー図（フローチャート）においては、各ステップの入力と出力の関係を損なわない限り、各ステップの処理順序を入れ替えてもよい。

ステップＳ３０では、制御装置１０は、ＧＰＳコンパス８２１から向きの算出結果を取得する。

ステップＳ３２では、制御装置１０は、ステップＳ３０で得た算出結果に基づいて、上部旋回体１２０の向きを算出する。

ステップＳ３４は、制御装置１０は、回転角センサ８２２から回転角情報を取得する。

ステップＳ３６では、飛行制御装置５０は、ステップＳ３２で得た上部旋回体１２０の向きと、ステップＳ３４で得た回転角情報とに基づいて、下部走行体１１０の向きを算出する。下部走行体１１０の向きの算出方法は、図４等を参照して上述したとおりである。

ステップＳ３８では、飛行制御装置５０は、ステップＳ３６で算出した下部走行体１１０の向きを表す下部走行体向き情報を、飛行制御装置５０に送信する。この場合、飛行制御装置５０は、下部走行体向き情報を受信すると、上述したように、下部走行体向き情報に基づいて、下部走行体１１０の後方に目標飛行位置に係る緯度及び経度を設定する。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。

１ 作業機械
８ 電装系装置
１０ 制御装置
４０ 無人飛行機
５０ 飛行制御装置
５２ 遠隔操作装置
８０ 画像出力装置
８２ センサ類
８２１ ＧＰＳコンパス
８２２ 回転角センサ
１１０ 下部走行体
１２０ 上部旋回体
１２２ キャブ（運転室）
１３０ 旋回機構
１４０ 作業機構
１４１ ブーム
１４２ ブームシリンダ
１４３ アーム
１４４ アームシリンダ
１４５ 破砕機
１４６ バケットシリンダ
１４７ 破砕機用シリンダ
１５０ 位置情報取得部
１５１ 姿勢情報取得部
１５２ 向き情報取得部
１５２０ 上部旋回体向き算出部
１５２１ 下部走行体向き算出部
１５３ 通信処理部
１５４ 画像出力処理部
４００ 制御装置
４０１ 機体情報取得部
４０２ 目標飛行状態設定部
４０３ 機体制御部
４０４ 通信処理部
４１０ 撮像装置
５１０ 情報取得部
５１２ 相対位置関係判定部
５１４ 飛行制御部
５１４１ 目標飛行位置算出部
５１４２ 目標飛行姿勢算出部

Claims (3)

1. 作業機械と、撮像装置を搭載した飛行体との位置関係を制御する作業支援装置であって、
   前記作業機械は、
   下部走行体と、
   前記下部走行体に搭載される上部旋回体と、
   前記撮像装置が撮像した画像を表示する表示装置と、
   前記上部旋回体に設けられ、作業機械の位置及び向きを検出する検出手段とを有し、
   当該作業支援装置は、前記検出手段による検出結果に基づいて、前記上部旋回体の向きから前記下部走行体の向きを算出して前記下部走行体の後方位置に至るように前記飛行体を制御する、作業支援装置。
2. 前記作業機械は、前記上部旋回体と前記下部走行体との間の旋回軸まわりの相対的な回転角を表す回転角を検出する回転角センサを更に有し、
   前記検出手段は、前記上部旋回体に備えられた衛星電波受信機を含み、
   当該作業支援装置は、前記衛星電波受信機の測位結果と、前記回転角とに基づいて、前記下部走行体の後方位置を算出する後方位置算出部と、を備える、請求項１に記載の作業支援装置。
3. 当該作業支援装置は、
   前記作業機械の状態及び前記飛行体の状態を表す情報を取得する情報取得部と、
   前記情報取得部により取得された前記情報に基づいて、前記飛行体の飛行状態を制御する飛行制御部とを備え、
   前記飛行制御部は、前記下部走行体に対する前記飛行体の相対位置関係が変化した場合であっても、その変化量が閾値以下である場合は、前記飛行体の目標飛行位置又は目標飛行姿勢を変化させないホバリング維持制御を実行する、請求項１又は２に記載の作業支援装置。