JP7605045B2 - 管理システム - Google Patents

Description

本発明は、管理システムに関する。

作業車両に搭載した第一測位装置と無人航空機に搭載した第二測位装置の測位情報を比較して無人航空機に搭載したカメラの撮影方向を調整し、端末装置に作業車両から受信した車速情報を含む車両情報と、無人航空機から受信したカメラ映像を同時に表示する作業車両の管理システムが公知である（たとえば、特許文献１参照）。

特開２０１９－１７６４１８号公報

しかしながら、上記したような従来技術では、カメラ映像を見ても自動運転により走行する作業車両が、走行予定経路に対してどのような位置を走行しているのか容易に確認することができなかった。

本発明は、上記に鑑みてなされたものであって、実際の走行経路に対する作業車両の実際の走行位置を容易に把握することができる管理システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、実施形態に係る管理システムは、第１測位装置を備え、前記第１測位装置により測位しながら予め設定された走行経路を自律的に走行する作業車両と、第２測位装置と、前記第２測位装置の測位結果に基づいて撮影方向を変更可能なカメラとを備える飛行体と、前記第２測位装置に基づく前記飛行体の位置情報と、前記カメラの前記撮影方向とに基づいて、前記カメラの映像に仮想的な前記走行経路である仮想経路を合成した合成画像を表示部に表示する端末装置とを備えることを特徴とする。

実施形態に係る管理システムによれば、実際の走行経路に対する作業車両の実際の走行位置を容易に把握することができる。

図１は、実施形態に係る作業車両を示す概略左側面図である。 図２は、飛行体の外観の一例を示す斜視図である。 図３は、実施形態に係る管理システムを示すブロック図である。 図４は、携帯端末装置の表示部に表示される合成画像の一例を示す図である。 図５は、管理システムの処理手順を示すフローチャートである。

以下、添付図面を参照して本願の開示する管理システムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

＜作業車両（トラクタ）の概要＞
まず、図１を参照して実施形態に係る作業車両１の概要について説明する。図１は、実施形態に係る作業車両１を示す概略左側面図である。なお、以下では、作業車両１としてトラクタを例に説明する。また、作業車両であるトラクタ１は、自走しながら圃場で農作業を行う農業用トラクタである。

また、作業車両であるトラクタ１は、操縦者（作業者ともいう）が搭乗して圃場内を走行しながら所定の作業を実行する他、後述する制御部２００（図３参照）を中心とする制御系による各部の制御により、圃場内を自律走行しながら所定の作業を実行する。

なお、以下の説明において、前後方向とは、トラクタ１の直進時における進行方向であり、進行方向の前方側を「前」、後方側を「後」と規定する。トラクタ１の進行方向とは、トラクタ１の直進時において後述する操縦席８からステアリングホイール９へと向かう方向である。

また、左右方向とは、前後方向に対して水平に直交する方向である。以下では、「前」側へ向けて左右を規定する。すなわち、操縦者が操縦席８に着席して前方を向いた状態で、左手側が「左」、右手側が「右」である。上下方向とは、鉛直方向である。前後方向、左右方向および上下方向は、互いに３次元で直交する。また、以下の説明において、トラクタ１または走行車体２を指して「機体」という場合がある。

図１に示すように、トラクタ１は、走行車体２と、作業機６とを備える。走行車体２は、圃場内を走行可能であり、前輪３と、後輪４とを備える。前輪３は、左右一対で設けられた操舵用の車輪（操舵輪）である。後輪４は、左右一対で設けられた駆動用の車輪（駆動輪）である。なお、走行車体２は、車輪（前輪３および後輪４の少なくともいずれか）に代えてクローラ装置を備えてもよい。この場合、走行クローラが駆動輪である。

駆動輪である後輪４には、ボンネット５内に収容された駆動源であるエンジンＥで発生した回転動力が、動力伝達装置（ミッションケース）１２内に設けられた変速装置（トランスミッション）１２１（図３参照）で適宜減速されて伝達される。後輪４は、エンジンＥから伝達された回転動力によって駆動される。変速装置１２１は、エンジンＥから伝達される回転動力を複数（たとえば、１速～８速）の変速段のうちいずれかの変速段に切り替える。

走行車体２は、エンジンＥで発生し、かつ、変速装置１２１で減速された動力を、４ＷＤクラッチを介して前輪３にも伝達可能に構成される。この場合、４ＷＤクラッチが動力を伝達すると、エンジンＥから伝達される動力によって前輪３および後輪４の四輪が駆動される。また、４ＷＤクラッチが動力の伝達を遮断すると、エンジンＥから伝達される動力によって後輪４のみの二輪が駆動される。このように、走行車体２は、二輪駆動（２ＷＤ）と四輪駆動（４ＷＤ）とを切り替え可能に構成される。

走行車体２の後部には、圃場内で作業を行う作業機６が連結され、作業機６を駆動する動力を伝達するＰＴＯ（Power take-off）軸７１を有するＰＴＯ装置７が設けられる。走行車体２の中央部には、操縦者がトラクタ１を操縦する場合に座る操縦席８が設けられる。

操縦席８の前方には、前輪３の操舵用のハンドルであるステアリングホイール９が設けられる。なお、ステアリングホイール９や、ステアリングホイール９を駆動する駆動部などは、ステアリング装置１２２（図３参照）を構成する。ステアリングホイール９は、ハンドルポスト１０の上端部に設けられる。ハンドルポスト１０の下方であり、操縦席８に操縦者が座った場合における操縦者の足元付近には、各種操作ペダル１１（アクセルペダルやブレーキペダル、クラッチペダル）が設けられる。

また、走行車体２の後部には、作業機６を昇降させる昇降装置１３が設けられる。昇降装置１３は、作業機６を上昇させることで、作業機６を非作業位置に移動させる。また、昇降装置１３は、作業機６を下降させることで、作業機６を対地作業位置に移動させる。昇降装置１３は、油圧式の昇降シリンダ１３１と、リフトアーム１３２と、リフトロッド１３３と、ロアリンク１３４と、トップリンク１３５を備える。

リフトアーム１３２は、昇降シリンダ１３１に作動油が供給されると、軸ＡＸまわりに作業機６を上昇させるように回動し、昇降シリンダ１３１から作動油が排出されると、軸ＡＸまわりに作業機６を下降させるように回動する。なお、リフトアーム１３２の基部（軸ＡＸ付近）には、リフトアーム１３２の回動角度を検出するリフトアームセンサが設けられる。作業機６の高さは、リフトアームセンサの検出値に基づいて算出される。

また、リフトアーム１３２は、リフトロッド１３３を介してロアリンク１３４に連結される。このように、昇降装置１３は、ロアリンク１３４とトップリンク１３５とで、走行車体２に対して作業機６を昇降可能に連結する。

なお、図１に示す例においては、作業機６がロータリ耕耘機の場合を例示している。ロータリ耕耘機は、ＰＴＯ装置７のＰＴＯ軸７１から伝達された動力によって耕耘爪６１が回転することで、圃場面（土壌）を耕起する。

また、トラクタ１は、制御部２００（図３参照）を備える。制御部２００は、エンジンＥを制御するとともに、走行車体２の走行速度を制御する。また、制御部２００は、作業機６を制御する。

また、トラクタ１は、測位装置１５０を備える。測位装置１５０は、第１測位装置であり、走行車体２の上部に設けられ、走行車体２の位置を所定の周期で測定し、走行車体２の自己位置の情報（たとえば、緯度および経度）を取得する。測位装置１５０は、たとえば、ＧＮＳＳ（Global Navigation Satellite System）であり、上空を周回している航法衛星Ｓからの電波を受信して測位および計時することができる。

また、トラクタ１は、作業者による携帯端末装置１６０の操作で特定の圃場における各種作業の設定を行うことができる。携帯端末装置１６０は、たとえば、タブレット端末であり、インターネットなどの通信ネットワークに接続可能であり、通信ネットワークを介して作業管理装置と互いに接続可能である。この場合、作業管理装置は、いわゆるクラウドコンピューティングが可能なシステムである。携帯端末装置１６０と作業管理装置とは、たとえば、無線ＬＡＮ（Local Area Network）で接続される。

携帯端末装置１６０は、たとえば、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される記憶部と、タッチパネルにより構成される表示部および操作部とを備える。なお、操作部として、各種キーやボタンなどが別に設けられてもよい。また、携帯端末装置１６０は、後述する制御部２００と同様、電子制御によって各部を制御可能なように、ＣＰＵ（Central Processing Unit）などを有する処理部を備えてもよい。

作業管理装置は、ＣＰＵなどを有する処理装置やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）などの記憶装置、さらには、入出力装置が設けられたコンピュータなどである。

また、トラクタ１は、方位角取得手段１７０（図２参照）を備える。方位角取得手段１７０は、走行車体の方位角を取得する。方位角取得手段１７０は、たとえば、方位角センサである。以下、方位角取得手段１７０を方位角センサという。

方位角センサ１７０は、たとえば、走行車体２の進行方向の絶対方位角（たとえば、「北」を０°（３６０°）として、「東」を９０°、「南」を１８０°、「西」を２７０°）を検出する。方位角センサ１７０は、一定時間ごとに絶対方位角を検出し、検出した絶対方位角を制御部２００などに送信する。なお、方位角取得手段１７０としては、方位角センサの他、たとえば、地磁気センサなどがある。

また、トラクタ１は、飛行体３００と通信可能に接続される。飛行体３００は、携帯端末装置１６０とも通信可能に接続される。飛行体３００は、例えば、ドローン等の無人の飛行体であり、トラクタ１に追従するよう制御される。飛行体３００は、飛行体３００の周囲を撮像するカメラ３１０を備える。飛行体３００は、測位装置３３０（図３参照）を備える。測位装置３３０は、第２測位装置であり、飛行体３００に設けられ、飛行体３００の位置を所定の周期で測定し、飛行体３００の自己位置の情報（たとえば、緯度および経度）を取得する。測位装置３３０は、たとえば、ＧＮＳＳ（Global Navigation Satellite System）であり、上空を周回している航法衛星Ｓからの電波を受信して測位および計時することができる。

飛行体３００は、トラクタ１の位置と飛行体３００の位置との比較結果に基づいて、トラクタ１を撮像するようにカメラ３１０の撮影方向を調整する。なお、カメラ３１０の撮影方向は、図２に示すような、サーボモータ３２０によって行われる。

図２は、飛行体３００の外観の一例を示す斜視図である。図２に示すように、カメラ３１０は、飛行体３００の下部に設置され、飛行体３００の下方を主に撮像する。サーボモータ３２０は、カメラ３１０の撮影方向を変更する。具体的には、サーボモータ３２０は、互いに直交する２軸の回転軸によりカメラ３１０を回転させることで撮影方向を変更する。これにより、飛行体３００は、トラクタ１との位置関係に応じて撮影方向を変更することで、トラクタ１を常時撮影することができる。

＜作業車両（トラクタ）の管理システム＞
次に、図３を参照して実施形態に係る作業車両の管理システム１００、すなわち、制御部２００を中心とする作業車両（トラクタ）１の制御系について説明する。図３は、実施形態に係る管理システム１００を示すブロック図である。図３に示すように、制御部２００は、エンジンＥＣＵ（Electronic Control Unit）２０１と、走行系ＥＣＵ２０２と、作業機昇降系ＥＣＵ２０３とを備える。

エンジンＥＣＵ２０１は、エンジンＥの回転数を制御する。走行系ＥＣＵ２０２は、駆動輪（後輪４）の回転を制御することで、走行車体２（図１参照）の走行速度を制御する。作業機昇降系ＥＣＵ２０３は、昇降装置１３を制御して作業機６の昇降駆動する。

制御部２００は、電子制御によって各部を制御することが可能であり、ＣＰＵ（Central Processing Unit）などを有する処理部をはじめ、各種プログラムや圃場ごとに予め設定された走行車体２の予定走行経路（以下、走行経路という）などの必要なデータ類が記憶される、たとえば、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される記憶部などを備える。

図３に示すように、制御部２００には、測位装置（ＧＮＳＳ）１５０、方位角センサ１７０、エンジン回転センサ１１０、車速センサ１１１、変速センサ１１２、切れ角センサ１１３などが接続される。また、制御部２００には、エンジンＥ、変速装置１２１、ステアリング装置１２２、昇降装置１３などが接続される。

エンジン回転センサ１１０は、エンジンＥの回転数を検出する。車速センサ１１１は、走行車体２（図１参照）の走行速度（車速）を検出する。変速センサ１１２は、変速装置１２１において複数の変速段のうちいずれの変速段であるかを検出する。切れ角センサ１１３は、操舵輪である前輪３（図１参照）の切れ角を検出する。

制御部２００には、測位装置１５０から圃場などにおける走行車体２の位置（自己位置）情報、エンジン回転センサ１１０からエンジンＥの回転数、車速センサ１１１から走行車体２の車速、変速センサ１１２から現在の変速段、切れ角センサ１１３から前輪３の切れ角がそれぞれ入力される。なお、制御部２００は、走行車体２を自律走行させる場合、上記したように、切れ角センサ１１３の検出値を用いて、前輪３の切れ角をフィードバックしながらステアリングホイール９（図１参照）に連結されたステアリングシリンダを制御することで、ステアリングホイール９を操舵する。

また、制御部２００においては、エンジンＥＣＵ１０１がエンジンＥに接続され、走行系ＥＣＵ１０２が変速装置１２１やステアリング装置１２２に接続され、作業機昇降系ＥＣＵ１０３が昇降装置１３に接続される。なお、作業機昇降系ＥＣＵ１０３は、昇降装置１３を介して作業機を昇降させる。

また、制御部２００においては、走行車体２を自律走行させる場合には、作業機６による作業内容に応じた走行経路が予め圃場ごとに定められ、データ化されて記憶部に記憶される。制御部２００は、測位装置１５０の測定結果に基づいて、記憶部に記憶された走行経路に沿って走行しながら作業を行うように、エンジンＥ、変速装置１２１、ステアリング装置１２２、昇降装置１３などを制御する。走行経路は、圃場の形状、大きさ、圃場内に形成された畝の幅、長さおよび本数、さらには、作物の種類などに応じて設定される。また、制御部２００は、トラクタ１（走行車体２）の圃場内における移動時の旋回半径を予め設定する。

また、上記したように、制御部２００は、たとえば、作業者が携行可能な携帯端末装置（タブレット端末）１６０と無線接続される。制御部２００は、作業者の操作による携帯端末装置１６０からの指示信号に基づいて、トラクタ１の各部を制御する。なお、制御部２００は、トラクタ１の機体情報データベースを有し、型式などの情報の受け渡しを携帯端末装置１６０などから行えるように構成されてもよい。

また、上記したように、制御部２００は、飛行体３００と無線接続される。制御部２００は、測位装置１５０によって測位したトラクタ１の位置情報を飛行体３００へ送信する。

次に、飛行体３００の構成について説明する。図３に示すように、飛行体３００は、カメラ３１０と、サーボモータ３２０と、測位装置３３０（第２測位装置）と、制御部３４０とを備える。制御部３４０は、電子制御によって各部を制御することが可能であり、ＣＰＵ（Central Processing Unit）などを有する処理部をはじめ、各種プログラムなどの必要なデータ類が記憶される、たとえば、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される記憶部などを備える。

制御部３４０は、トラクタ１および飛行体３００の位置情報を比較して、カメラ３１０がトラクタ１を撮像するようにサーボモータ３２０を制御する。また、制御部３４０は、カメラ３１０によって撮像された映像を携帯端末装置１６０へ送信する。

携帯端末装置１６０は、測位装置３３０に基づく飛行体３００の位置情報と、カメラ３１０の撮影方向とに基づいて、カメラ３１０の映像に仮想的な走行経路である仮想経路を合成した合成画像を表示部に表示する。また、携帯端末装置１６０は、図４に示す合成画像５００の生成に必要な各種情報をトラクタ１や飛行体３００から取得する。

図４は、携帯端末装置１６０の表示部に表示される合成画像５００の一例を示す図である。図４に示すように、合成画像５００は、トラクタ画像５１０を含むカメラ３１０の映像に仮想的な走行経路である仮想経路５２０を重畳した画像である。これにより、携帯端末装置１６０を扱う管理者等がトラクタ１が走行経路の上を走行していることを容易に把握することができる。

また、携帯端末装置１６０は、カメラ３１０の映像における色情報（例えば、ＲＧＢ情報）に基づいて、映像から地面が映った領域（地面領域）を抽出し、地面領域における仮想経路５２０と、地面領域以外の非地面領域における仮想経路５２０とで表示形態を変更する。例えば、映像から地面の土の色（例えば、茶色）を地面領域として抽出し、土の色以外の領域を非地面領域として抽出する。

すなわち、図４に示す例では、仮想経路５２０は、トラクタ画像５１０と重なる領域（非地面領域）については破線で表示され、トラクタ画像５１０と重ならない領域（地面領域）については実線で表示される。なお、非地面領域における仮想経路５２０は、一点鎖線等のような破線以外の断続線であってもよい。あるいは、非地面領域における仮想経路５２０は、非表示であってもよい。

このように、地面領域における仮想経路５２０と、非地面領域における仮想経路５２０との表示形態を変更することで、実際に仮想経路５２０が地面に敷かれているような映像（合成画像）を表示できる。

地面領域における仮想経路５２０と、非地面領域における仮想経路５２０とは異なる色の線で表示されたり、異なる太さの線で表示されたりしてもよい。

また、携帯端末装置１６０は、走行経路における起伏情報に応じた仮想経路５２０を合成した合成画像５００を表示してもよい。具体的には、携帯端末装置１６０は、地面に大きな起伏が有る場合、かかる起伏の傾斜に合わせて線の角度を調整した仮想経路５２０を合成する。これにより、実際の走行経路と違和感のない仮想経路５２０を合成することができる。

なお、起伏情報は、事前に計測した情報を不図示の記憶部に記憶して用いてもよく、ＬｉＤＡＲ（Light Detection and Ranging）等によりリアルタイムに起伏を計測するようにしてもよい。

なお、仮想経路５２０は、走行済の経路と走行予定の経路とで表示形態を変更してもよい。つまり、トラクタ画像５１０に対して進行方向側の仮想経路５２０と、進行方向とは反対方向側の仮想経路５２０とで表示形態を変更する。

また、図４に示す例では、圃場全体の走行経路のうち、一部の走行経路に対応する仮想経路５２０のみが表示される。換言すれば、携帯端末装置１６０は、トラクタ１の現在の位置に対して所定時間前後の走行経路に対応する仮想経路５２０を合成した合成画像５００を生成する。これにより、合成画像５００に必要以上に長い仮想経路５２０が表示されなくなるため、走行経路の把握を容易化できる。

また、合成画像５００は、走行経路の進行方向を示す進行方向５３０の表示を含む。図４に示す例では、進行方向５３０は、２つの三角矢印で示されている。このように、進行方向５３０の表示を含むことで、管理者がトラクタ１の進行方向を容易に判別することができる。なお、進行方向５３０の表示は進行方向に向かって動くアニメーションにより表現されてもよい。これにより、進行方向の判別がより容易になる。

また、合成画像５００は、走行経路における旋回の開始位置５４０ａおよび終了位置５４０ｂの表示を含む。これにより、管理者が次の旋回における開始位置５４０ａおよび終了位置５４０ｂを容易に把握することができる。

また、図４に示す例では、開始位置５４０ａに旋回方向を示す吹き出し画像５４１ａが表示される。これにより、旋回方向を容易に把握することができる。また、図４に示す例では、開始位置５４０ａおよび終了位置５４０ｂに作業機６の昇降タイミング（昇降位置）を示す吹き出し画像５４２ａ，５４１ｂが表示される。具体的には、開始位置５４０ａには、作業機６を上昇させるタイミングを示す吹き出し画像５４２ａが表示され、終了位置５４０ｂには、作業機６を下降させるタイミングを示す吹き出し画像５４１ｂが表示される。つまり、開始位置５４０ａおよび終了位置５４０ｂは、作業機６の昇降タイミングを兼ねた表示である。なお、開始位置５４０ａおよび終了位置５４０ｂと、作業機６の昇降タイミングとが異なる場合には、別々の表示（別々の点）がなされてもよい。

管理者はかかるタイミングで操作ボタン５９０を操作して作業機６を昇降させる。これにより、管理者が作業機６の昇降タイミングを間違うことを高精度に回避することができる。

また、合成画像５００は、走行経路における前後進の切替位置５５０ａ，５５０ｂの表示を含む。図４に示す例では、切替位置５５０ａは、前進から後進への切替を示し、切替位置５５０ｂは、後進から前進への切替を示す。また、図４に示す例では、切替位置５５０ａ、５５０ｂそれぞれに、切替先の方向を示す吹き出し画像５５１ａ、５５１ｂが表示される。これにより、管理者が切替方向を容易に把握することができる。

また、図４に示す例において、切替位置５５０ａには、トラクタ１の燃料補給位置の表示である吹き出し画像５５２ａが表示される。つまり、携帯端末装置１６０は、トラクタ１から取得した燃料残量情報に基づいて、トラクタ１の燃料補給位置（切替位置５５０ａ）の表示を含む合成画像５００を生成する。具体的には、携帯端末装置１６０は、燃料残量情報に基づいて、残りの走行可能な距離を算出し、かかる距離に基づいて燃料補給位置を決定する。なお、燃料補給位置は、作業を行う経路上ではなく、開始位置５４０ａから終了位置５４０ｂまでの旋回途中の位置が好ましい。

また、合成画像５００は、トラクタ１に対する飛行体３００（カメラ３１０）の相対位置５６０の表示を含む。図４に示す例では、飛行体３００がトラクタ１の後方に位置してカメラ３１０を撮像している場合を示している。これにより、飛行体３００とトラクタ１との位置関係や、カメラ３１０の撮影方向を容易に把握することができる。

また、合成画像５００は、トラクタ１の走行状態５７０の表示を含む。走行状態５７０には、車速、ＰＴＯ軸の回転数、副変速の変速状態、残燃料、油温、総走行時間、自動運転の有無の情報が表示される。これにより、トラクタ１の走行状態５７０を容易に把握することができる。

また、合成画像５００は、トラクタ１の制御状態５８０の表示を含む。図４では、各制御状態５８０がスライドバーで表示されており、かかるスライドバーを操作することで、各制御状態５８０を変更することができる。

また、合成画像５００は、作業機６の昇降を遠隔操作する操作ボタン５９０の表示を含む。図４に示す例では、作業機６を上昇させるボタンと、下降させるボタンとが表示される。

次に、図５を用いて、実施形態に係る管理システム１００において実行される処理の処理手順について説明する。図５は、管理システム１００の処理手順を示すフローチャートである。

図５に示すように、携帯端末装置１６０は、設定された走行経路の情報を取得する（ステップＳ１０１）。

つづいて、携帯端末装置１６０は、飛行体３００およびトラクタ１の位置情報を取得する（ステップＳ１０２）。

つづいて、携帯端末装置１６０は、カメラ３１０の撮影方向およびカメラ３１０の映像を取得する（ステップＳ１０３）。

つづいて、携帯端末装置１６０は、カメラ３１０の映像に基づいて地面領域と非地面領域とを抽出する（ステップＳ１０４）。

つづいて、携帯端末装置１６０は、ステップＳ１０１～Ｓ１０４で取得（抽出）した情報に基づいて、カメラ３１０の映像に仮想経路を合成した合成画像を生成する（ステップＳ１０５）。

つづいて、携帯端末装置１６０は、生成した合成画像を表示部に表示し（ステップＳ１０６）、処理を終了する。

上述してきた実施形態により、以下の管理システム１００が実現される。

（１）実施形態に係る管理システム１００は、作業車両（トラクタ１）と、飛行体３００と、端末装置（携帯端末装置１６０）を備える。トラクタ１は、第１測位装置１５０を備え、第１測位装置１５０により測位しながら予め設定された走行経路を自律的に走行する。飛行体３００は、第２測位装置３３０と、第２測位装置３３０の測位結果に基づいて撮影方向を変更可能なカメラ３１０とを備える。携帯端末装置１６０は、第２測位装置３３０に基づく飛行体３００の位置情報と、カメラ３１０の撮影方向とに基づいて、カメラ３１０の映像に仮想的な走行経路である仮想経路５２０を合成した合成画像５００を表示部に表示する。

これにより、実際の走行経路に対するトラクタ１の実際の走行位置を容易に把握することができる。

（２）上記（１）において、携帯端末装置１６０は、カメラ３１０の映像における色情報に基づいて、映像から地面領域を抽出し、地面領域における仮想経路５２０と、地面領域以外の非地面領域における仮想経路５２０とで表示形態を変更する。

これにより、仮想経路５２０が実際に地面に敷かれているような合成画像５００を表示することができる。

（３）上記（２）において、携帯端末装置１６０は、非地面領域における仮想経路５２０を非表示とする。

これにより、映像で実際に見える走行経路のみを仮想経路５２０とした合成画像５００を表示することができる。

（４）上記（２）において、携帯端末装置１６０は、地面領域における仮想経路５２０を実線で表示し、非地面領域における仮想経路５２０を断続線で表示する。

これにより、トラクタ１等に重なった走行経路であるか否かを容易に判別することができる。

（５）上記（１）～（４）のいずれか１つにおいて、携帯端末装置１６０は、走行経路における起伏情報に応じた仮想経路５２０を合成した合成画像５００を表示する。

これにより、実際の起伏に合わせた仮想経路５２０を表示できるため、管理者の違和感を低減することができる。

（６）実施形態に係る管理システム１００は、作業車両（トラクタ１）と、飛行体３００と、端末装置（携帯端末装置１６０）を備える。トラクタ１は、第１測位装置１５０を備え、第１測位装置１５０により測位しながら予め設定された走行経路を自律的に走行する。飛行体３００は、第２測位装置３３０と、第２測位装置３３０の測位結果に基づいて撮影方向を変更可能なカメラ３１０とを備える。携帯端末装置１６０は、第２測位装置３３０に基づく飛行体３００の位置情報と、カメラ３１０の撮影方向とに基づいて、カメラ３１０の映像に仮想的な走行経路である仮想経路５２０を合成した合成画像５００を表示部に表示する。携帯端末装置１６０は、走行経路における旋回位置（開始位置５４０ａ、終了位置５４０ｂ）の表示を含む合成画像５００を生成する。

これにより、トラクタ１が次に旋回する位置を容易に把握することができる。

（７）上記（６）において、トラクタ１は、走行経路において作業を行う昇降可能な作業機６を備える。携帯端末装置１６０は、走行経路における作業機６の昇降位置の表示を含む合成画像５００を生成する。

これにより、トラクタ１が次に作業機６を昇降する位置を容易に把握することができる。

（８）上記（７）において、携帯端末装置１６０は、作業機６の昇降を遠隔操作する操作ボタン５９０の表示を含む合成画像５００を生成する。

これにより、管理者がトラクタ１の映像を見つつ作業機６を手動で遠隔操作することができる。

（９）上記（６）～（８）において、携帯端末装置１６０は、トラクタ１から取得した燃料残量情報に基づいて、トラクタ１の燃料補給位置（切替位置５５０ａ）の表示を含む合成画像５００を生成する。

これにより、トラクタ１の映像を見つつ燃料補給が必要となる位置を把握することができる。

（１０）上記（６）～（９）において、携帯端末装置１６０は、トラクタ１の現在の位置に対して所定時間前後の走行経路に対応する仮想経路５２０を合成した合成画像５００を生成する。

これにより、合成画像５００に表示物が多くなることで複雑化することを回避することができる。

（１１）上記（６）～（１０）において、携帯端末装置１６０は、走行経路における進行方向５３０の表示を含む合成画像５００を合成する。

これにより、トラクタ１の進行方向を容易に把握することができる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ トラクタ
２ 走行車体
３ 前輪
４ 後輪
５ ボンネット
６ 作業機
７ ＰＴＯ装置
８ 操縦席
９ ステアリングホイール
１０ ハンドルポスト
１１ 操作ペダル
１３ 昇降装置
６１ 耕耘爪
７１ ＰＴＯ軸
１００ 管理システム
１０１ エンジンＥＣＵ
１０２ 走行系ＥＣＵ
１０３ 作業機昇降系ＥＣＵ
１１０ エンジン回転センサ
１１１ 車速センサ
１１２ 変速センサ
１１３ 切れ角センサ
１２１ 変速装置
１２２ ステアリング装置
１３１ 昇降シリンダ
１３２ リフトアーム
１３３ リフトロッド
１３４ ロアリンク
１３５ トップリンク
１５０ 測位装置
１６０ 携帯端末装置
１７０ 方位角センサ
２００ 制御部
２０１ エンジンＥＣＵ
２０２ 走行系ＥＣＵ
２０３ 作業機昇降系ＥＣＵ
３００ 飛行体
３１０ カメラ
３２０ サーボモータ
３３０ 測位装置
３４０ 制御部
５００ 合成画像
５１０ トラクタ画像
５２０ 仮想経路
５３０ 進行方向
５６０ 相対位置
５７０ 走行状態
５８０ 制御状態
５９０ 操作ボタン
Ｅ エンジン
Ｓ 航法衛星

Claims (5)

1. 第１測位装置を備え、前記第１測位装置により測位しながら予め設定された走行経路を自律的に走行する作業車両と、
   第２測位装置と、前記第２測位装置の測位結果に基づいて撮影方向を変更可能なカメラとを備える飛行体と、
   前記第２測位装置に基づく前記飛行体の位置情報と、前記カメラの前記撮影方向とに基づいて、前記カメラの映像に仮想的な前記走行経路である仮想経路を合成した合成画像を表示部に表示する端末装置と、
   を備え、
   前記端末装置は、
   前記カメラの映像から地面領域を抽出し、地面領域における仮想経路と、地面領域以外の非地面領域における仮想経路とで表示形態を変更すること
   を特徴とする管理システム。
2. 前記端末装置は、
   前記カメラの映像における色情報に基づいて、前記映像から地面領域を抽出し、前記地面領域における前記仮想経路と、前記地面領域以外の非地面領域における前記仮想経路とで表示形態を変更すること
   を特徴とする請求項１に記載の管理システム。
3. 前記端末装置は、
   前記非地面領域における前記仮想経路を非表示とすること
   を特徴とする請求項２に記載の管理システム。
4. 前記端末装置は、
   前記地面領域における前記仮想経路を実線で表示し、前記非地面領域における前記仮想経路を断続線で表示すること
   を特徴とする請求項２に記載の管理システム。
5. 前記作業車両は、
   前記走行経路において作業を行う昇降可能な作業機を備え、
   前記端末装置は、
   前記走行経路における前記作業機の昇降位置の表示と前記作業機の昇降を遠隔操作する操作ボタンの表示を同時に含む前記合成画像を生成すること
   を特徴とする請求項１～４のいずれか１つに記載の管理システム。

Images