JP7355481B2

JP7355481B2 - remote control system

Info

Publication number: JP7355481B2
Application number: JP2021170232A
Authority: JP
Inventors: 彰卯路
Original assignee: Mitsubishi Logisnext Co Ltd
Current assignee: Mitsubishi Logisnext Co Ltd
Priority date: 2021-10-18
Filing date: 2021-10-18
Publication date: 2023-10-03
Anticipated expiration: 2041-10-18
Also published as: JP2023060568A

Description

本発明は、フォークリフトを遠隔から操作するための遠隔操作システムに関する。 The present invention relates to a remote control system for remotely operating a forklift.

フォークリフトは、オペレータが搭乗して荷物を運搬及び積み降ろしする作業を行うものである。そのため、オペレータが迅速かつ的確にフォークリフトを操作するためには、長年の経験が必要である。一方、熟練のオペレータの人数は限られていることから、人口の少ない地方においては、熟練のオペレータの人数が足りないことがある。そのため、熟練のオペレータが多い地域から、熟練のオペレータが遠隔で地方のフォークリフトを操作することが要望されている。 A forklift is used by an operator to transport, load and unload cargo. Therefore, in order for an operator to operate a forklift truck quickly and accurately, many years of experience are required. On the other hand, since the number of skilled operators is limited, there may be a shortage of skilled operators in rural areas with a small population. Therefore, in areas where there are many skilled operators, there is a demand for skilled operators to remotely operate forklifts in rural areas.

また、人体に悪影響を及ぼすガスが充填されたタンクや、落下すると爆発する爆発物を荷役する場合等には、オペレータは、荷役場所である倉庫から離れて遠隔でフォークリフトを操作することが好ましい。 Furthermore, when handling tanks filled with gases that are harmful to the human body or explosives that explode if dropped, it is preferable for the operator to operate the forklift remotely away from the warehouse where the cargo is being handled.

そのため、フォークリフトを遠隔から操作するための遠隔操作システムが知られている（例えば、特許文献１参照）。遠隔操作システムでは、フォークリフトが荷役を行う倉庫から離れた遠隔の基地局に操作装置が設けられており、オペレータが操作装置を使って遠隔の基地局からフォークリフトを操作するように構成されている。 Therefore, a remote control system for remotely operating a forklift is known (for example, see Patent Document 1). In a remote control system, a control device is installed at a remote base station located away from a warehouse where a forklift performs cargo handling, and an operator is configured to use the control device to operate the forklift from the remote base station.

フォークリフトは、制御装置、無線通信装置、カメラ、センサ、車両の走行及び昇降等を作動する駆動装置等を備える。基地局の操作装置は、ハンドル、レバー、ペダル、制御部、表示部等を備える。例えば、表示部は、表示モニタが２つ設けられており、一方の表示モニタには、フォークリフトに搭載されたカメラで撮影される車両前方の画像が表示されて、他方の表示モニタには、センサで検出される情報等が表示される。 A forklift includes a control device, a wireless communication device, a camera, a sensor, a drive device that operates the vehicle to travel, raise and lower the vehicle, and the like. The operating device of the base station includes a handle, a lever, a pedal, a control section, a display section, and the like. For example, the display unit is provided with two display monitors, one display monitor displays an image of the front of the vehicle taken by a camera mounted on a forklift, and the other display monitor displays a sensor. The information detected by is displayed.

フォークリフトで運搬及び積み降ろしを行う際、オペレータは、表示部の画像に基づいて車両前方の荷役対象物を確認しながらハンドルやレバー等を使ってフォークリフトを操作する。一方、フォークリフトの方向によっては、荷役対象物が表示部から見えなくなることがあるため、フォークリフトの操作が難しいという問題がある。さらに、フォークリフトと対象物との間に障害物があると、対象物及び障害物の双方の位置を確認しながら、障害物を避けるように対象物に近づく必要があるため、フォークリフトの操作が難しいという問題がある。 When transporting and loading/unloading with a forklift, the operator operates the forklift using a handle, lever, etc. while confirming the object to be handled in front of the vehicle based on the image on the display. On the other hand, depending on the direction of the forklift, the object to be handled may not be visible from the display section, making it difficult to operate the forklift. Furthermore, if there is an obstacle between the forklift and the object, it is difficult to operate the forklift because it is necessary to approach the object while avoiding the obstacle while checking the position of both the object and the obstacle. There is a problem.

特開２０１４－１１５１８号公報Japanese Patent Application Publication No. 2014-11518

そこで、本発明が解決しようとする課題は、フォークリフトを遠隔で操作する際に、フォークリフトと対象物との間に障害物があっても、フォークリフトの操作を直感的かつ容易に行うことができる遠隔操作システムを提供することである。 Therefore, the problem to be solved by the present invention is to provide a remote control system that allows for intuitive and easy operation of a forklift even if there is an obstacle between the forklift and an object when operating the forklift remotely. The purpose is to provide an operating system.

上記課題を解決するために、本発明に係る遠隔操作システムは、フォークリフトを遠隔から操作する遠隔操作システムにおいて、フォークリフトに設けられたカメラと、カメラによって撮影される画像を表示する表示部と、フォークリフトの座標を取得するフォークリフト座標取得部と、指定された対象物の座標を取得する対象物座標取得部とを備えている。さらに、遠隔操作システムは、フォークリフトと対象物との間に形成される第１判定領域において障害物の有無を判定する第１判定部と、フォークリフトと対象物との間に形成される第２判定領域において障害物の有無を判定する第２判定部とを備えている。
そして、遠隔操作システムは、案内ルート表示部を備えており、案内ルート表示部は、第１判定部によって障害物が有ると判定されたとき、障害物を避けるようにフォークリフトと対象物とを結ぶ案内ルートを表示部に表示し、第１判定部によって障害物が無いと判定されたとき、直線でフォークリフトと対象物とを結ぶ案内ルートを表示部に表示するように構成されている。
また、遠隔操作システムは、報知線表示部を備えており、報知線表示部は、第２判定部によって障害物が有ると判定されたとき、フォークリフトと障害物とを結ぶ報知線を表示部に表示し、第２判定部によって障害物が無いと判定されたとき、報知線を表示部に表示しないように構成されている。 In order to solve the above problems, a remote control system according to the present invention remotely controls a forklift, which includes a camera provided on the forklift, a display section that displays an image taken by the camera, and a remote control system that remotely controls a forklift. The present invention includes a forklift coordinate acquisition section that acquires the coordinates of a specified object, and an object coordinate acquisition section that acquires the coordinates of a specified object. Furthermore, the remote control system includes a first determination section that determines the presence or absence of an obstacle in a first determination area formed between the forklift and the target object, and a second determination section that determines the presence or absence of an obstacle in the first determination area formed between the forklift and the target object. and a second determination unit that determines the presence or absence of an obstacle in the area.
The remote control system includes a guidance route display section, and when the first determination section determines that there is an obstacle, the guidance route display section connects the forklift to the target object so as to avoid the obstacle. The guide route is displayed on the display section, and when the first determination section determines that there is no obstacle, the guide route connecting the forklift and the object in a straight line is displayed on the display section.
The remote control system also includes a notification line display unit, and when the second determination unit determines that there is an obstacle, the notification line display unit displays a notification line connecting the forklift and the obstacle on the display unit. When the second determination section determines that there is no obstacle, the notification line is not displayed on the display section.

また、第１判定部は、フォークリフトと対象物とを直線で結びフォークリフトの幅に相当する幅を有する仮想ルートを第１判定領域とし、第１判定領域の内側において、障害物の全部又は一部が存在しないとき、障害物が無いと判定して、障害物の全部又は一部が存在するとき、障害物が有ると判定し、案内ルート表示部は、案内ルートの内側に障害物の全部又は一部が存在しないように案内ルートを表示することが望ましい。 Further, the first determination section defines a virtual route connecting the forklift and the object in a straight line and having a width equivalent to the width of the forklift as the first determination region, and detects all or part of the obstacle inside the first determination region. When there is no obstacle, it is determined that there is no obstacle, and when all or part of the obstacle exists, it is determined that there is an obstacle, and the guide route display section displays all or part of the obstacle inside the guide route. It is desirable to display the guide route so that some parts do not exist.

好ましくは、第２判定部は、フォークリフトと対象物とを結ぶ直線を直径とする仮想円を第２判定領域とし、第２判定領域の内側において、障害物の全部又は一部が存在しないとき、障害物が無いと判定して、障害物の全部又は一部が存在するとき、障害物が有ると判定する。 Preferably, the second determination section defines a second determination region as a virtual circle whose diameter is a straight line connecting the forklift and the object, and when all or part of the obstacle does not exist inside the second determination region, When it is determined that there is no obstacle and all or part of the obstacle exists, it is determined that there is an obstacle.

そして、案内ルート表示部は、フォークリフトの幅に相当する幅を有する案内ルートを表示することが望ましい。 The guide route display section preferably displays a guide route having a width corresponding to the width of the forklift.

また、好ましくは、案内ルート表示部は、障害物の右側を避ける第１の案内ルートと、障害物の左側を避ける第２の案内ルートと、を表示する。 Preferably, the guide route display section displays a first guide route that avoids the right side of the obstacle and a second guide route that avoids the left side of the obstacle.

本発明に係る遠隔操作システムによると、フォークリフトを遠隔で操作する際に、フォークリフトと対象物との間に障害物があっても、フォークリフトの操作を直感的かつ容易に行うことができる。 According to the remote control system according to the present invention, when operating a forklift remotely, even if there is an obstacle between the forklift and an object, the forklift can be operated intuitively and easily.

遠隔操作システムを示す平面図。FIG. 1 is a plan view showing a remote control system. フォークリフトを示す側面図。A side view showing a forklift. フォークリフトの構成を示すブロック図。A block diagram showing the configuration of a forklift. 操作装置の構成を示すブロック図。FIG. 2 is a block diagram showing the configuration of an operating device. 遠隔操作システムの制御フローを示すフローチャート図。Flowchart diagram showing a control flow of the remote control system. 図５の続きを示すフローチャート図。6 is a flowchart showing a continuation of FIG. 5. FIG. 直線の案内ルートが表示された表示部を示す画像図。FIG. 3 is an image diagram showing a display section on which a straight guide route is displayed. 直線の案内ルートを説明するための平面図。A plan view for explaining a straight guide route. 曲線の案内ルートが表示された表示部を示す画像図。FIG. 3 is an image diagram showing a display section on which a curved guide route is displayed. 曲線の案内ルートを説明するための平面図。A plan view for explaining a curved guide route. 第１及び第２の案内ルートが表示された表示部を示す画像図。An image diagram showing a display section on which first and second guide routes are displayed. 第１及び第２の案内ルートを説明するための平面図。FIG. 3 is a plan view for explaining first and second guide routes.

以下、図面に基づいて、本発明に係る遠隔操作システムの一実施形態を説明する。 DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of a remote control system according to the present invention will be described below based on the drawings.

[遠隔操作システム]
図１のとおり、遠隔操作システムは、施設１００において走行および荷役作業を行うためのフォークリフト１を備える。そして、遠隔操作システムは、施設１００から離れた遠隔地に設けられた基地局２００が設けられる。基地局２００には、操作装置２が設けられており、オペレータが操作装置２を用いて、所定のフォークリフト１を遠隔で操作することができる。 [Remote control system]
As shown in FIG. 1, the remote control system includes a forklift 1 for traveling and performing cargo handling work in a facility 100. The remote control system is provided with a base station 200 located at a remote location away from the facility 100. The base station 200 is provided with an operating device 2, and an operator can use the operating device 2 to remotely operate a predetermined forklift 1.

本実施形態では、施設１００は、倉庫であるが、工場、屋外作業場等でもよい。また、本実施形態では、フォークリフト１は、リーチ式フォークリフトであるが、カウンターバランス式フォークリフト等でもよい。例えば、オペレータが遠隔の基地局２００からフォークリフト１を操作することで、施設１００において、人体に悪影響を及ぼすガスが充填されたタンクや、落下すると爆発する爆発物を荷役することができる。 In this embodiment, the facility 100 is a warehouse, but it may also be a factory, an outdoor workshop, or the like. Further, in this embodiment, the forklift 1 is a reach-type forklift, but it may be a counterbalance-type forklift or the like. For example, by operating the forklift 1 from a remote base station 200, an operator can load or unload tanks filled with gas that is harmful to the human body or explosives that explode if dropped, at the facility 100.

[フォークリフト]
図２のとおり、フォークリフト１は、カメラ１０、障害物センサ１１、レーザースキャナ１２、駆動装置１３、制御部１４、無線通信部１５等を備える。図３のとおり、制御部１４は、画像処理部１４１、フォークリフト座標取得部１４２、駆動コントロール部１４３、障害物座標取得部１４４等を備える。制御部１４は、ＣＰＵ（中央処理装置）、入出力インターフェース、ＲＯＭ、ＲＡＭ等で構成されており、情報を処理するためのプログラムが記憶される。制御部１４には、カメラ１０、障害物センサ１１、レーザースキャナ１２、駆動装置１３、無線通信部１５が接続されている。 [forklift]
As shown in FIG. 2, the forklift 1 includes a camera 10, an obstacle sensor 11, a laser scanner 12, a drive device 13, a control section 14, a wireless communication section 15, and the like. As shown in FIG. 3, the control unit 14 includes an image processing unit 141, a forklift coordinate acquisition unit 142, a drive control unit 143, an obstacle coordinate acquisition unit 144, and the like. The control unit 14 includes a CPU (central processing unit), an input/output interface, a ROM, a RAM, etc., and stores a program for processing information. A camera 10, an obstacle sensor 11, a laser scanner 12, a drive device 13, and a wireless communication section 15 are connected to the control section 14.

駆動装置１３は、車体の後部に設けられた駆動輪１６を駆動するための走行モータ、車体の前部に設けられたフォーク１７を昇降・傾動・進退するための複数の油圧シリンダー等からなる。基地局２００に設けられた操作装置２からの操作信号が無線通信部１５を介して制御部１４に送られて、この操作信号が駆動コントロール部１４３で処理されて、操作装置２の操作に基づいて、走行モータ及び油圧シリンダーの駆動装置１３が駆動されるようになっている。これにより、オペレータによる操作装置２の操作に連動して、走行モータ及び油圧シリンダー等の駆動装置１３が駆動して、フォークリフト１を操作することができる。 The drive device 13 includes a travel motor for driving a drive wheel 16 provided at the rear of the vehicle body, a plurality of hydraulic cylinders for raising/lowering, tilting, advancing and retracting a fork 17 provided at the front of the vehicle body, and the like. An operation signal from the operation device 2 provided in the base station 200 is sent to the control section 14 via the wireless communication section 15, and this operation signal is processed by the drive control section 143. Then, the drive device 13 for the travel motor and hydraulic cylinder is driven. Thereby, in conjunction with the operation of the operating device 2 by the operator, the driving device 13 such as a traveling motor and a hydraulic cylinder is driven, and the forklift 1 can be operated.

カメラ１０は、フォークリフト１に搭乗して操作するオペレータの目線の位置に配置されており、オペレータの目線の位置からフォークリフト１の前方を撮影するようになっている。カメラ１０は、例えば、ＣＣＤイメージセンサ又はＣ－ＭＯＳイメージセンサを備えている。カメラ１０で撮影される画像は、制御部１４の画像処理部１４１で画像処理されて、操作装置２に設けられた表示部２０（図４）に表示されるようになっている。これにより、基地局２００で操作装置２を用いてフォークリフト１を遠隔操作するオペレータは、表示部２０によって、フォークリフト１に搭乗して操作するときと同じ目線でフォークリフト１の前方を確認することができる。 The camera 10 is disposed at the line of sight of an operator who rides and operates the forklift 1, and is configured to photograph the front of the forklift 1 from the line of sight of the operator. The camera 10 includes, for example, a CCD image sensor or a C-MOS image sensor. The image taken by the camera 10 is subjected to image processing by the image processing section 141 of the control section 14, and is displayed on the display section 20 (FIG. 4) provided in the operating device 2. As a result, the operator who remotely controls the forklift 1 using the operating device 2 at the base station 200 can check the front of the forklift 1 from the same line of sight as when operating the forklift 1 while riding on the display unit 20. .

フォークリフト１は、レーザースキャナ１２を備えており、施設１００内には、複数の反射部１０１が設置される。レーザースキャナ１２は、レーザーを水平に３６０度回転しながら反射部１０１に送受信する。その結果、フォークリフト１は、施設１００内の走行経路に沿って配置された複数の反射部１０１をレーザースキャナ１２で認識することができる。ここで、反射部１０１は、施設１００内の壁に固定されており、その位置情報が、制御部１４のフォークリフト座標取得部１４２のマップ上に記憶されている。フォークリフト１は、複数の反射部１０１をレーザースキャナ１２で認識することで、フォークリフト座標取得部１４２が、三角測量の原理に基づいて、フォークリフト１の位置座標を計測および取得することができる。 The forklift 1 is equipped with a laser scanner 12, and a plurality of reflectors 101 are installed within the facility 100. The laser scanner 12 transmits and receives a laser beam to and from the reflection unit 101 while horizontally rotating it 360 degrees. As a result, the forklift 1 can recognize the plurality of reflective parts 101 arranged along the travel route in the facility 100 using the laser scanner 12. Here, the reflecting section 101 is fixed to a wall within the facility 100, and its position information is stored on the map of the forklift coordinate acquisition section 142 of the control section 14. In the forklift 1, by recognizing the plurality of reflection parts 101 with the laser scanner 12, the forklift coordinate acquisition unit 142 can measure and acquire the position coordinates of the forklift 1 based on the principle of triangulation.

また、フォークリフト１は、障害物センサ１１が設けられている。障害物センサ１１は、例えば光学系センサからなる。障害物センサ１１は、フォークリフト１の前方の所定エリアに存在する障害物を検知すると共に、フォークリフト１から障害物までの距離及び方向を計測することができる。制御部１４の障害物座標取得部１４４は、障害物センサ１１の検知信号とフォークリフト１の位置座標とに基づいて、障害物の位置座標を計測および取得することができる。 Further, the forklift 1 is provided with an obstacle sensor 11. The obstacle sensor 11 is composed of, for example, an optical sensor. The obstacle sensor 11 can detect an obstacle existing in a predetermined area in front of the forklift 1 and can measure the distance and direction from the forklift 1 to the obstacle. The obstacle coordinate acquisition unit 144 of the control unit 14 can measure and acquire the position coordinates of the obstacle based on the detection signal of the obstacle sensor 11 and the position coordinates of the forklift 1.

[操作装置]
図４のとおり、操作装置２は、表示部２０、操作部２１、対象物指定部２２、制御部２３、無線通信部２４等を備える。制御部２３は、画像処理部２３１、対象物座標取得部２３２、第１判定部２３４、第２判定部２３５，案内ルート表示部２３６、報知線表示部２３７等を備える。制御部２３は、ＣＰＵ（中央処理装置）、入出力インターフェース、ＲＯＭ、ＲＡＭ等で構成されており、情報を処理するためのプログラムが記憶される。制御部２３には、表示部２０、操作部２１、対象物指定部２２、無線通信部２４が接続されている。 [Operation device]
As shown in FIG. 4, the operating device 2 includes a display section 20, an operating section 21, an object specifying section 22, a control section 23, a wireless communication section 24, and the like. The control unit 23 includes an image processing unit 231, an object coordinate acquisition unit 232, a first determination unit 234, a second determination unit 235, a guide route display unit 236, a notification line display unit 237, and the like. The control unit 23 includes a CPU (central processing unit), an input/output interface, a ROM, a RAM, etc., and stores a program for processing information. A display section 20 , an operation section 21 , an object specifying section 22 , and a wireless communication section 24 are connected to the control section 23 .

表示部２０は、例えば、２つの表示モニタからなり、一方の表示モニタには、フォークリフト１に搭載されたカメラ１０で撮影されている車両の前方の画像が表示されて、他方の表示モニタには、各種センサ類で検出される情報や操作に必要な情報等が表示されるようになっている。 The display unit 20 includes, for example, two display monitors, one display monitor displays an image of the front of the vehicle taken by the camera 10 mounted on the forklift 1, and the other display monitor displays an image of the front of the vehicle taken by the camera 10 mounted on the forklift 1. , information detected by various sensors and information necessary for operation are displayed.

操作部２１は、ハンドル、レバー、ペダル等を備えており、オペレータが、フォークリフトを実際に搭乗して操作する場合と同様に操作できるようになっている。操作部２１からの操作信号は、制御部２３を介して無線通信部２４で送信されて、フォークリフト１の無線通信部１５で受信される。そして、オペレータが操作部２１のハンドルやレバー等を操作することで、上述したとおり、フォークリフト１の駆動装置１３等を遠隔から操作することができる。 The operating unit 21 includes a handle, a lever, a pedal, and the like, and can be operated by an operator in the same manner as when operating the forklift while actually riding on the forklift. An operation signal from the operation unit 21 is transmitted by the wireless communication unit 24 via the control unit 23 and received by the wireless communication unit 15 of the forklift 1. By operating the handle, lever, etc. of the operating unit 21, the operator can remotely operate the drive device 13, etc. of the forklift 1, as described above.

対象物指定部２２は、例えば、マウスからなる。後述するとおり、オペレータが、対象物指定部２２であるマウスを用いて、表示部２０に表示されたポインタ２２０で対象物１１０を指定すると、案内ルート表示部２３６が、指定された対象物１１０とフォークリフト１とを結ぶ案内ルートＧＲ，ＧＲ１，ＧＲ２（図７，図９，図１１）を表示部２０に表示するようになっている。オペレータは、フォークリフト１を対象物１１０まで走行する際に、表示部２０に表示される案内ルートＧＲ，ＧＲ１，ＧＲ２に沿って走行することができるので、フォークリフト１の操作を直感的かつ容易に行うことができる。 The target object specifying unit 22 includes, for example, a mouse. As will be described later, when the operator uses the mouse, which is the object specifying section 22, to specify the object 110 with the pointer 220 displayed on the display section 20, the guidance route display section 236 displays the specified object 110. Guide routes GR, GR1, and GR2 (FIGS. 7, 9, and 11) connecting to the forklift 1 are displayed on the display section 20. When the operator travels the forklift 1 to the object 110, the operator can travel along the guide routes GR, GR1, and GR2 displayed on the display unit 20, so that the operator can operate the forklift 1 intuitively and easily. be able to.

また、指定された対象物１１０以外の障害物１２０について、報知線表示部２３７が、障害物１２０とフォークリフト１とを直線で結ぶ報知線ＤＬ（図９，図１１）を表示部２０に表示するようになっている。オペレータは、フォークリフト１を対象物１１０まで走行する際に、表示部２０に表示される報知線ＤＬによって直感的に障害物１２０の位置を認識することができるので、障害物１２０を避けながら、フォークリフト１の操作を直感的かつ安全に行うことができる。 Furthermore, for obstacles 120 other than the designated object 110, the notification line display section 237 displays on the display section 20 the notification line DL (FIGS. 9 and 11) that connects the obstacle 120 and the forklift 1 in a straight line. It looks like this. When the operator drives the forklift 1 to the target object 110, the operator can intuitively recognize the position of the obstacle 120 by the notification line DL displayed on the display unit 20, so the operator can drive the forklift while avoiding the obstacle 120. Operation 1 can be performed intuitively and safely.

[第１実施形態]
遠隔操作システムの第１実施形態について説明する。 [First embodiment]
A first embodiment of the remote control system will be described.

図５及び図６のとおり、フォークリフト座標取得部１４２によって、常時、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が計測および取得される（ステップＳ１）。そして、表示部２０には、常時、カメラ１０によって撮影される画像が表示されている。オペレータは、表示部２０に表示された画像に基づいて、操作部２１でフォークリフト１を遠隔操作する。 As shown in FIGS. 5 and 6, the forklift coordinate acquisition unit 142 always measures and acquires the absolute coordinates (Fx, Fy) of the forklift 1 (step S1). The display unit 20 always displays images taken by the camera 10. The operator remotely operates the forklift 1 using the operating section 21 based on the image displayed on the display section 20.

図７のとおり、オペレータは、荷役対象となる対象物１１０が表示部２０に表示されると、対象物指定部２２であるマウスを使って、表示部２０に表示されるポインタ２２０で対象物１１０を指定する（ステップＳ２）。具体的には、オペレータは、ポインタ２２０を対象物１１０に重ねてマウスをクリックすると、対象物１１０が指定される。 As shown in FIG. 7, when the object 110 to be handled is displayed on the display section 20, the operator uses the mouse, which is the object specifying section 22, to move the pointer 220 displayed on the display section 20 to the object 110. (Step S2). Specifically, when the operator places the pointer 220 on the target object 110 and clicks the mouse, the target object 110 is designated.

画像処理部２３１は、床面や壁面等との境界を識別して、指定された対象物１１０の形状を認識する（ステップＳ３）。そして、対象物座標取得部２３２は、表示部２０に表示された対象物１１０のカメラ座標を取得して、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）に基づいて、対象物１１０の絶対座標（Ｏｘ，Ｏｙ）が計測および取得される（ステップＳ４）。 The image processing unit 231 recognizes the shape of the designated object 110 by identifying boundaries with the floor surface, wall surface, etc. (step S3). Then, the object coordinate acquisition unit 232 acquires the camera coordinates of the object 110 displayed on the display unit 20, and based on the absolute coordinates (Fx, Fy) of the forklift 1, the absolute coordinates (Ox , Oy) are measured and acquired (step S4).

図８のとおり、第１判定部２３４は、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）と対象物１１０の絶対座標（Ｏｘ，Ｏｙ）とを結び、フォークリフト１の幅Ｗに相当する幅を有する仮想ルートＶＲを形成する。さらに、第１判定部２３４は、仮想ルートＶＲを第１判定領域ＡＲ１とする（ステップＳ５）。また、第２判定部２３５は、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）と対象物１１０の絶対座標（Ｏｘ，Ｏｙ）とを結ぶ直線を直径とする仮想円を第２判定領域ＡＲ２とする（ステップＳ６）。 As shown in FIG. 8, the first determination unit 234 connects the absolute coordinates (Fx, Fy) of the forklift 1 and the absolute coordinates (Ox, Oy) of the object 110, and connects the absolute coordinates (Ox, Oy) of the forklift 1 to a virtual Form a root VR. Furthermore, the first determination unit 234 sets the virtual route VR as the first determination area AR1 (step S5). Further, the second determination unit 235 defines a virtual circle whose diameter is a straight line connecting the absolute coordinates (Fx, Fy) of the forklift 1 and the absolute coordinates (Ox, Oy) of the object 110 as the second determination area AR2 ( Step S6).

そして、障害物センサ１１が、障害物１２０の絶対座標（Ｓｘ，Ｓｙ）を計測および取得すると共に、画像処理部２３１が、床面や壁面等との境界を識別することで、対象物１１０以外で存在する障害物１２０の形状を認識する（ステップＳ７）。その後、第１判定部２３４及び第２判定部２３５は、フォークリフト１と対象物１１０との間における障害物１２０の有無を判定する（ステップＳ８，Ｓ１１）。障害物１２０の有無の判定は、以下のとおり行われる。 The obstacle sensor 11 measures and acquires the absolute coordinates (Sx, Sy) of the obstacle 120, and the image processing unit 231 identifies the boundary between the object 110 and the floor, wall, etc. The shape of the existing obstacle 120 is recognized (step S7). After that, the first determination unit 234 and the second determination unit 235 determine whether or not there is an obstacle 120 between the forklift 1 and the target object 110 (steps S8 and S11). The determination of the presence or absence of the obstacle 120 is performed as follows.

[案内ルート]
第１判定部２３４は、第１判定領域ＡＲ１の内側において、障害物１２０の全部又は一部が存在しないときに、障害物１２０が無いと判定する（ステップＳ８）。フォークリフト１が実際に走行する際、フォークリフト１の幅Ｗに相当する幅を有する走行ルートが形成されるので、幅Ｗを有する仮想ルートＶＲを第１判定領域ＡＲ１とすることによって、フォークリフト１の実際の走行ルートを仮想的かつ直感的に想定することができる。 [Guide route]
The first determination unit 234 determines that there is no obstacle 120 when all or part of the obstacle 120 does not exist inside the first determination area AR1 (step S8). When the forklift 1 actually travels, a travel route having a width corresponding to the width W of the forklift 1 is formed. The driving route can be imagined virtually and intuitively.

そして、図７及び図８のとおり、第１判定部２３４によって障害物１２０が無いと判定されたとき、直線でフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲが形成及び表示される（ステップＳ９）。案内ルートＧＲは、フォークリフト１の幅Ｗに相当する幅を有しており、その結果、障害物１２０が無いと判定されたときは、案内ルートＧＲは、仮想ルートＶＲ及び第１判定領域ＡＲ１と一致することになる。フォークリフト１が実際に走行する際、フォークリフト１の幅Ｗに相当する幅を有する走行ルートが形成されるので、幅Ｗを有する案内ルートＧＲによって、フォークリフト１の実際の走行ルートを仮想的かつ直感的に想定することができるようになっている。 Then, as shown in FIGS. 7 and 8, when the first determination unit 234 determines that there is no obstacle 120, a guide route GR connecting the forklift 1 and the object 110 in a straight line is formed and displayed (step S9 ). The guide route GR has a width equivalent to the width W of the forklift 1, and as a result, when it is determined that there is no obstacle 120, the guide route GR is divided into the virtual route VR and the first determination area AR1. It will match. When the forklift 1 actually travels, a travel route with a width corresponding to the width W of the forklift 1 is formed, so the guide route GR having the width W allows the actual travel route of the forklift 1 to be virtually and intuitively created. It can now be assumed that

図７のとおり、案内ルート表示部２３６は、形成された案内ルートＧＲをカメラ座標に変換して、表示部２０に表示する。そして、フォークリフト１が移動することによって、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が変更されるが、随時変更されるフォークリフト１の絶対座標（Ｆｘ，Ｆｙ）に追従して、案内ルートＧＲが表示部２０に表示されるようになっている。 As shown in FIG. 7, the guide route display section 236 converts the formed guide route GR into camera coordinates and displays them on the display section 20. Then, as the forklift 1 moves, the absolute coordinates (Fx, Fy) of the forklift 1 are changed, but the guide route GR is displayed following the absolute coordinates (Fx, Fy) of the forklift 1 that are changed from time to time. It is displayed in section 20.

一方、第１判定部２３４は、形成された第１判定領域ＡＲ１の内側において、障害物１２０の全部又は一部が存在するとき、障害物１２０が有ると判定する（ステップＳ８）。そして、第１判定部２３４によって障害物１２０が有ると判定されたとき、障害物１２０を避けるようにフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲが形成及び表示される（ステップＳ１０）。図９及び図１０のとおり、案内ルートＧＲは、フォークリフト１の幅Ｗに相当する幅を有しており、認識された障害物１２０と案内ルートＧＲとが重ならない曲線で形成される。例えば、フォークリフト１の両端点と、障害物１２０から所定距離だけ離れた点と、対象物１１０の両端点とをスプライン曲線で結ぶことで案内ルートＧＲを形成及び表示することができる。 On the other hand, the first determination unit 234 determines that the obstacle 120 is present when all or part of the obstacle 120 is present inside the formed first determination area AR1 (step S8). When the first determination unit 234 determines that the obstacle 120 is present, a guide route GR connecting the forklift 1 and the object 110 is formed and displayed so as to avoid the obstacle 120 (step S10). As shown in FIGS. 9 and 10, the guide route GR has a width corresponding to the width W of the forklift 1, and is formed by a curved line in which the recognized obstacle 120 and the guide route GR do not overlap. For example, the guide route GR can be formed and displayed by connecting both end points of the forklift 1, a point a predetermined distance away from the obstacle 120, and both end points of the target object 110 with a spline curve.

図９のとおり、案内ルート表示部２３６は、形成された案内ルートＧＲをカメラ座標に変換して、表示部２０に表示する。そして、フォークリフト１が移動することによって、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が変更されることになるが、随時変更されるフォークリフト１の絶対座標（Ｆｘ，Ｆｙ）に追従して、案内ルートＧＲが表示部２０に表示される。 As shown in FIG. 9, the guide route display section 236 converts the formed guide route GR into camera coordinates and displays them on the display section 20. As the forklift 1 moves, the absolute coordinates (Fx, Fy) of the forklift 1 will change, but the guide route will follow the absolute coordinates (Fx, Fy) of the forklift 1 that are changed from time to time. GR is displayed on the display section 20.

[報知線]
また、第２判定部２３５は、第２判定領域ＡＲ２の内側において、障害物１２０の全部又は一部が存在しないときに、障害物１２０が無いと判定する（ステップＳ１１）。フォークリフト１が実際に走行する際、フォークリフト１と対象物１１０との間の所定の範囲（第２判定領域ＡＲ２）内に障害物１２０が有る場合は、オペレータはフォークリフト１が障害物１２０に衝突しないよう注意する必要があるが、フォークリフト１と対象物１１０との間の所定の範囲（第２判定領域ＡＲ２）内に障害物１２０が無い場合は、フォークリフト１が障害物１２０に衝突する可能性が低いことから、障害物１２０を認識する必要性が低い。そのため、図７及び図８のとおり、第２判定部２３５によって、フォークリフト１と対象物１１０との間の所定の範囲（第２判定領域ＡＲ２）内に障害物１２０が無いと判定されたとき、報知線ＤＬを形成及び表示しないようになっている（ステップＳ１２）。 [Hochi Line]
Further, the second determination unit 235 determines that there is no obstacle 120 when all or part of the obstacle 120 does not exist inside the second determination area AR2 (step S11). When the forklift 1 actually travels, if there is an obstacle 120 within a predetermined range (second determination area AR2) between the forklift 1 and the object 110, the operator can prevent the forklift 1 from colliding with the obstacle 120. However, if there is no obstacle 120 within the predetermined range (second determination area AR2) between the forklift 1 and the object 110, there is a possibility that the forklift 1 will collide with the obstacle 120. Since it is low, there is little need to recognize the obstacle 120. Therefore, as shown in FIGS. 7 and 8, when the second determination unit 235 determines that there is no obstacle 120 within the predetermined range (second determination area AR2) between the forklift 1 and the target object 110, The notification line DL is not formed or displayed (step S12).

一方、第２判定部２３５は、形成された第２判定領域ＡＲ２の内側において、障害物１２０の全部又は一部が存在するとき、障害物１２０が有ると判定する（ステップＳ１１）。そして、図９及び図１０のとおり、第２判定部２３５によって、フォークリフト１と対象物１１０との間の所定の範囲（第２判定領域ＡＲ２）内に障害物１２０が有ると判定されたとき、フォークリフト１と障害物１２０とを直線で結ぶ報知線ＤＬが形成及び表示される（ステップＳ１３）。 On the other hand, the second determination unit 235 determines that the obstacle 120 is present when all or part of the obstacle 120 is present inside the formed second determination region AR2 (step S11). As shown in FIGS. 9 and 10, when the second determination unit 235 determines that the obstacle 120 is within a predetermined range (second determination area AR2) between the forklift 1 and the target object 110, A notification line DL connecting the forklift 1 and the obstacle 120 in a straight line is formed and displayed (step S13).

図９のとおり、報知線表示部２３７は、形成された報知線ＤＬをカメラ座標に変換して、表示部２０に表示する。そして、フォークリフト１が移動することによって、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が変更されることになるが、随時変更されるフォークリフト１の絶対座標（Ｆｘ，Ｆｙ）に追従して、報知線ＤＬが表示部２０に表示される。 As shown in FIG. 9, the notification line display section 237 converts the formed notification line DL into camera coordinates and displays them on the display section 20. As the forklift 1 moves, the absolute coordinates (Fx, Fy) of the forklift 1 will change, but the notification line will follow the absolute coordinates (Fx, Fy) of the forklift 1 that are changed from time to time. DL is displayed on the display section 20.

上記のとおり、第２判定部２３５は、フォークリフト１と対象物１１０とを結ぶ直線を直径とする仮想円を第２判定領域ＡＲ２とする。そのため、オペレータがフォークリフト１を操作する際に、障害物１２０に対する注意が必要な領域が第２判定領域ＡＲ２となるので、フォークリフト１の操作の際に必要な報知線ＤＬのみが形成及び表示されて、不必要な報知線ＤＬが形成及び表示されないようになっており、適切に報知線ＤＬを表示することができる。 As described above, the second determination unit 235 defines a virtual circle whose diameter is the straight line connecting the forklift 1 and the object 110 as the second determination area AR2. Therefore, when the operator operates the forklift 1, the area where the operator needs to be careful about the obstacle 120 becomes the second determination area AR2, so only the notification line DL necessary when operating the forklift 1 is formed and displayed. , unnecessary notification lines DL are not formed and displayed, and the notification lines DL can be appropriately displayed.

[第２実施形態]
遠隔操作システムの第２実施形態について説明する。なお、上記第１実施形態と同様の構成については、重複説明を避けるために、詳細な説明を省略する。 [Second embodiment]
A second embodiment of the remote control system will be described. Note that detailed explanations of the same configurations as those in the first embodiment will be omitted to avoid redundant explanations.

図５のとおり、フォークリフト座標取得部１４２によって、常時、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が計測および取得される（ステップＳ１）。そして、オペレータが、対象物指定部２２で対象物１１０を指定する（ステップＳ２）。 As shown in FIG. 5, the forklift coordinate acquisition unit 142 always measures and acquires the absolute coordinates (Fx, Fy) of the forklift 1 (step S1). Then, the operator specifies the target object 110 using the target object specifying section 22 (step S2).

画像処理部２３１は、指定された対象物１１０の形状を認識する（ステップＳ３）。そして、対象物座標取得部２３２は、対象物１１０の絶対座標（Ｏｘ，Ｏｙ）が計測および取得される（ステップＳ４）。 The image processing unit 231 recognizes the shape of the designated object 110 (step S3). Then, the object coordinate acquisition unit 232 measures and acquires the absolute coordinates (Ox, Oy) of the object 110 (step S4).

第１判定部２３４は、第１判定領域ＡＲ１を形成する（ステップＳ５）。第２判定部２３５は、第２判定領域ＡＲ２を形成する（ステップＳ６）。そして、障害物センサ１１が、障害物１２０の絶対座標（Ｓｘ，Ｓｙ）を計測および取得すると共に、画像処理部２３１が、障害物１２０の形状を認識する（ステップＳ７）。その後、第１判定部２３４及び第２判定部２３５は、フォークリフト１と対象物１１０との間における障害物１２０の有無を判定する（ステップＳ８，Ｓ１１）。 The first determination unit 234 forms a first determination area AR1 (step S5). The second determination unit 235 forms a second determination area AR2 (step S6). Then, the obstacle sensor 11 measures and acquires the absolute coordinates (Sx, Sy) of the obstacle 120, and the image processing unit 231 recognizes the shape of the obstacle 120 (step S7). After that, the first determination unit 234 and the second determination unit 235 determine whether or not there is an obstacle 120 between the forklift 1 and the target object 110 (steps S8 and S11).

第１判定部２３４によって第１判定領域ＡＲ１の内側に障害物１２０が無いと判定されたとき、上記第１実施形態と同様に、フォークリフト１と対象物１１０とを直線で結ぶ案内ルートＧＲが形成及び表示される（ステップＳ９）。 When the first determination unit 234 determines that there is no obstacle 120 inside the first determination area AR1, a guide route GR is formed that connects the forklift 1 and the object 110 in a straight line, similarly to the first embodiment described above. and is displayed (step S9).

一方、第１判定部２３４によって第１判定領域ＡＲ１の内側に障害物１２０が有ると判定されたとき、障害物１２０を避けるようにフォークリフト１と対象物１１０とを結ぶ曲線の案内ルートＧＲが形成及び表示される（ステップＳ１０）。 On the other hand, when the first determination unit 234 determines that there is an obstacle 120 inside the first determination area AR1, a curved guide route GR connecting the forklift 1 and the object 110 is formed so as to avoid the obstacle 120. and is displayed (step S10).

このとき、第２実施形態では、図１１及び図１２のとおり、障害物１２０の右側へ避けるような第１の案内ルートＧＲ１と、障害物１２０の左側へ避けるような第２の案内ルートＧＲ２とからなる２つの案内ルートが形成及び表示される。その結果、オペレータは、路面及び周囲の状況等を確認しながら、障害物１２０の右側を走行するか左側を走行するかを直感的に決定することができる。 At this time, in the second embodiment, as shown in FIGS. 11 and 12, there is a first guide route GR1 that avoids the obstacle 120 to the right, and a second guide route GR2 that avoids the obstacle 120 to the left. Two guide routes are formed and displayed. As a result, the operator can intuitively decide whether to drive on the right side or the left side of the obstacle 120 while checking the road surface, surrounding conditions, etc.

図１１のとおり、案内ルート表示部２３３は、形成された第１及び第２の案内ルートＧＲ１，ＧＲ２をカメラ座標に変換して、表示部２０に表示する。そして、フォークリフト１が移動することによって、フォークリフト１の絶対座標（Ｆｘ，Ｆｙ）が変更されることになるが、随時変更されるフォークリフト１の絶対座標（Ｆｘ，Ｆｙ）に追従して、第１及び第２の案内ルートＧＲ１，ＧＲ２が表示部２０に表示される。なお、第１及び第２の案内ルートＧＲ１，ＧＲ２は、それぞれが異なる色、形状又は点滅度で表示されており、その結果、オペレータは、各案内ルートＧＲ１，ＧＲ２をそれぞれ認識しやすくになっている。 As shown in FIG. 11, the guide route display section 233 converts the formed first and second guide routes GR1 and GR2 into camera coordinates and displays them on the display section 20. As the forklift 1 moves, the absolute coordinates (Fx, Fy) of the forklift 1 will change, but the first and second guide routes GR1 and GR2 are displayed on the display section 20. Note that the first and second guidance routes GR1 and GR2 are displayed in different colors, shapes, or blinking degrees, so that the operator can easily recognize each of the guidance routes GR1 and GR2. There is.

また、上記第１実施形態と同様に、第２判定部２３５によって第２判定領域ＡＲ２の内側に障害物１２０が無いと判定されたとき、報知線ＤＬを形成及び表示しないようになっている（ステップＳ１２）。そして、第２判定部２３５によって第２判定領域ＡＲ２の内側に障害物１２０が有ると判定されたとき、フォークリフト１と障害物１２０とを直線で結ぶ報知線ＤＬが形成及び表示される（ステップＳ１３）。 Further, similarly to the first embodiment, when the second determination unit 235 determines that there is no obstacle 120 inside the second determination area AR2, the notification line DL is not formed or displayed ( Step S12). Then, when the second determination unit 235 determines that the obstacle 120 is present inside the second determination area AR2, a notification line DL connecting the forklift 1 and the obstacle 120 in a straight line is formed and displayed (step S13). ).

以上、本発明の好ましい実施形態を説明したが、本発明の構成はこれらの実施形態に限定されない。例えば、以下のように変更することもできる。
・上記実施形態では、障害物センサ１１は、光学系センサであるが、例えば、カメラ１０で撮影された画像に基づいて、画像処理部１４１で対象物１１０以外の障害物１２０を認識してもよいため、画像処理部１４１で構成されてもよい。
・上記実施形態では、案内ルートＧＲは、フォークリフト１の幅Ｗに相当する幅を有した帯形状であるが、矢印、点滅線、細線等であってもよい。
・上記実施形態では、案内ルートＧＲは、障害物１２０を避けるように、曲線で形成されているが、折れ曲げ線等で形成されてもよい。
・本実施形態では、報知線ＤＬは、直線であるが、矢印、点滅線等であってもよい。
・本実施形態では、第２判定領域ＡＲ２について、フォークリフト１と対象物１１０とを結ぶ直線を直径とする仮想円を第２判定領域ＡＲ２としているが、任意形状の領域を第２判定領域ＡＲ２としてもよく、例えば、フォークリフト１と対象物１１０とを結ぶ直線を対角線とする仮想正方形を第２判定領域ＡＲ２としてもよい。
・本実施形態では、対象物指定部２２は、マウスであるが、例えば、表示モニタ２０がタッチパネルであれば、表示モニタ２０に表示された対象物１１０をオペレータが指で押圧して指定してもよく、タッチセンサーで構成されてもよい。 Although preferred embodiments of the present invention have been described above, the configuration of the present invention is not limited to these embodiments. For example, it can be changed as follows.
- In the above embodiment, the obstacle sensor 11 is an optical sensor, but for example, even if the image processing unit 141 recognizes an obstacle 120 other than the target object 110 based on an image taken by the camera 10. Therefore, it may be configured by the image processing section 141.
- In the above embodiment, the guide route GR has a band shape with a width corresponding to the width W of the forklift 1, but it may also be an arrow, a blinking line, a thin line, etc.
- In the above embodiment, the guide route GR is formed as a curved line so as to avoid the obstacle 120, but it may be formed as a bent line or the like.
- In this embodiment, the notification line DL is a straight line, but it may be an arrow, a blinking line, or the like.
- In this embodiment, regarding the second determination area AR2, a virtual circle whose diameter is the straight line connecting the forklift 1 and the target object 110 is set as the second determination area AR2, but an arbitrarily shaped area may be used as the second determination area AR2. For example, a virtual square whose diagonal is a straight line connecting the forklift 1 and the object 110 may be used as the second determination area AR2.
- In this embodiment, the object specifying unit 22 is a mouse, but if the display monitor 20 is a touch panel, the operator can specify the object 110 displayed on the display monitor 20 by pressing it with a finger. It may also be configured with a touch sensor.

本発明の効果について説明する。 The effects of the present invention will be explained.

本発明は、フォークリフト１を遠隔から操作する遠隔操作システムにおいて、フォークリフト１に設けられたカメラ１０と、カメラ１０によって撮影される画像を表示する表示部２０と、フォークリフト１の座標を取得するフォークリフト座標取得部１４２と、指定された対象物１１０の座標を取得する対象物座標取得部２３２とを備える。さらに、本発明に係る遠隔操作システムは、フォークリフト１と対象物１１０との間に形成される第１判定領域ＡＲ１において障害物１２０の有無を判定する第１判定部２３４と、フォークリフト１と対象物１１０との間に形成される第２判定領域ＡＲ２において障害物１２０の有無を判定する第２判定部２３５とを備える。
本発明に係る遠隔操作システムは、さらに、案内ルート表示部２３６を備える。案内ルート表示部２３６は、第１判定部２３４によって障害物１２０が有ると判定されたとき、障害物１２０を避けるようにフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲを表示部２０に表示し、第１判定部２３４によって障害物１２０が無いと判定されたとき、直線でフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲを表示部２０に表示するように構成されている。
本発明に係る遠隔操作システムは、さらに、報知線表示部２３７を備える。報知線表示部２３７は、第２判定部２３５によって障害物１２０が有ると判定されたとき、フォークリフト１と障害物１２０とを結ぶ報知線ＤＬを表示部２０に表示し、第２判定部２３５によって障害物１２０が無いと判定されたとき、報知線ＤＬを表示部２０に表示しないように構成されている。 The present invention provides a remote control system for remotely operating a forklift 1, which includes a camera 10 provided on the forklift 1, a display unit 20 that displays an image taken by the camera 10, and a forklift coordinate system that obtains the coordinates of the forklift 1. It includes an acquisition unit 142 and an object coordinate acquisition unit 232 that acquires the coordinates of the designated object 110. Furthermore, the remote control system according to the present invention includes a first determination section 234 that determines the presence or absence of the obstacle 120 in the first determination area AR1 formed between the forklift 1 and the target object 110; and a second determination unit 235 that determines the presence or absence of the obstacle 120 in the second determination area AR2 formed between the obstacle 110 and the obstacle 120.
The remote control system according to the present invention further includes a guide route display section 236. When the first determination unit 234 determines that the obstacle 120 is present, the guidance route display unit 236 displays the guidance route GR connecting the forklift 1 and the object 110 so as to avoid the obstacle 120 on the display unit 20. When the first determination unit 234 determines that there is no obstacle 120, the guide route GR connecting the forklift 1 and the object 110 in a straight line is displayed on the display unit 20.
The remote control system according to the present invention further includes a notification line display section 237. The notification line display unit 237 displays the notification line DL connecting the forklift 1 and the obstacle 120 on the display unit 20 when the second determination unit 235 determines that the obstacle 120 is present. When it is determined that there is no obstacle 120, the notification line DL is not displayed on the display unit 20.

上記のとおり、フォークリフト１と対象物１１０との間に障害物１２０が存在するときでも、表示部２０に、障害物１２０を避けるようにフォークリフト１と対象物１１０とを結ぶ案内ルートＧＲが表示される。その結果、オペレータは、フォークリフト１を対象物１１０まで走行する際に、表示部２０に表示される案内ルートＧＲに沿って走行することができるので、フォークリフト１の操作を直感的かつ容易に行うことができる。 As described above, even when the obstacle 120 exists between the forklift 1 and the object 110, the guide route GR connecting the forklift 1 and the object 110 is displayed on the display unit 20 so as to avoid the obstacle 120. Ru. As a result, when the operator travels the forklift 1 to the target object 110, the operator can travel along the guide route GR displayed on the display unit 20, so that the operator can operate the forklift 1 intuitively and easily. I can do it.

また、指定された対象物１１０以外の障害物１２０について、障害物１２０とフォークリフト１とを直線で結ぶ報知線ＤＬが表示部２０に表示される。その結果、オペレータは、フォークリフト１を対象物１１０まで走行する際に、表示部２０に表示される報知線ＤＬによって直感的に障害物１２０の位置を認識することができるので、障害物１２０を避けながら、フォークリフト１の操作を直感的かつ安全に行うことができる。 Further, regarding an obstacle 120 other than the designated object 110, a notification line DL connecting the obstacle 120 and the forklift 1 in a straight line is displayed on the display unit 20. As a result, when the operator drives the forklift 1 to the target object 110, the operator can intuitively recognize the position of the obstacle 120 by the notification line DL displayed on the display unit 20, so that the operator can avoid the obstacle 120. However, the forklift 1 can be operated intuitively and safely.

好ましくは、第１判定部２３４は、フォークリフト１と対象物１１０とを直線で結びフォークリフト１の幅Ｗに相当する幅を有する仮想ルートＶＲを第１判定領域ＡＲ１とし、第１判定領域ＡＲ１の内側において、障害物１２０の全部又は一部が存在しないとき、障害物１２０が無いと判定して、障害物１２０の全部又は一部が存在するとき、障害物１２０が有ると判定し、案内ルート表示部２３６は、案内ルートＧＲの内側に障害物１２０の全部又は一部が存在しないように案内ルートＧＲを表示する。 Preferably, the first determination unit 234 defines a virtual route VR connecting the forklift 1 and the object 110 in a straight line and having a width equivalent to the width W of the forklift 1 as the first determination area AR1, When all or part of the obstacle 120 does not exist, it is determined that there is no obstacle 120, and when all or part of the obstacle 120 exists, it is determined that the obstacle 120 exists, and the guide route is displayed. The section 236 displays the guide route GR so that all or part of the obstacle 120 does not exist inside the guide route GR.

フォークリフト１が実際に走行する際、フォークリフト１の幅Ｗに相当する幅を有する走行ルートが形成されるので、幅Ｗを有する仮想ルートＶＲによって、フォークリフト１の実際の走行ルートを仮想的かつ直感的に想定することができる。 When the forklift 1 actually travels, a travel route with a width corresponding to the width W of the forklift 1 is formed, so the virtual route VR having the width W allows the actual travel route of the forklift 1 to be virtually and intuitively created. It can be assumed that

好ましくは、第２判定部２３５は、フォークリフト１と対象物１１０とを結ぶ直線を直径とする仮想円を第２判定領域ＡＲ２とし、第２判定領域ＡＲ２の内側において、障害物１２０の全部又は一部が存在しないとき、障害物１２０が無いと判定して、障害物１２０の全部又は一部が存在するとき、障害物１２０が有ると判定する。 Preferably, the second determination unit 235 defines a virtual circle whose diameter is a straight line connecting the forklift 1 and the object 110 as the second determination area AR2, and determines whether all or part of the obstacle 120 is inside the second determination area AR2. When the obstacle 120 does not exist, it is determined that the obstacle 120 is absent, and when all or part of the obstacle 120 exists, it is determined that the obstacle 120 exists.

フォークリフト１と対象物１１０とを結ぶ直線を直径とする仮想円を第２判定領域ＡＲ２とすることで、オペレータがフォークリフト１を操作する際に、障害物１２０の注意が必要な領域を第２判定領域ＡＲ２として、その結果、フォークリフト１の操作の際に必要な報知線ＤＬのみが形成及び表示されて、不必要な報知線ＤＬが形成及び表示されないようになっており、適切に報知線ＤＬを表示することができる。 By setting a virtual circle whose diameter is the straight line connecting the forklift 1 and the target object 110 as the second judgment area AR2, the second judgment is made to determine the area where the operator needs to be careful about the obstacle 120 when operating the forklift 1. As a result, only the notification lines DL necessary for operating the forklift 1 are formed and displayed as the area AR2, and unnecessary notification lines DL are not formed and displayed, so that the notification lines DL can be appropriately displayed. can be displayed.

また、案内ルート表示部２３３は、フォークリフト１の幅Ｗに相当する幅を有する案内ルートＧＲを表示することが望ましい。
フォークリフト１が実際に走行する際、フォークリフト１の幅Ｗに相当する幅を有する走行ルートが形成される。案内ルートＧＲが幅Ｗを有することで、オペレータは、フォークリフト１の実際の走行ルートを仮想的かつ直感的に想定することができるため、走行しやすいようになっている。 Further, it is preferable that the guide route display section 233 displays a guide route GR having a width corresponding to the width W of the forklift 1.
When the forklift 1 actually travels, a travel route having a width corresponding to the width W of the forklift 1 is formed. Since the guide route GR has the width W, the operator can virtually and intuitively imagine the actual travel route of the forklift 1, making it easier to travel.

さらにまた、案内ルート表示部２３３は、障害物１２０の右側へ避ける第１の案内ルートＧＲ１と、障害物１２０の左側へ避ける第２の案内ルートＧＲ２とを表示することが好ましい。
オペレータは、路面及び周囲の状況等に応じて、障害物１２０の右側を走行するか左側を走行するかを直感的に決定することができる。 Furthermore, it is preferable that the guide route display section 233 displays a first guide route GR1 that avoids the obstacle 120 to the right and a second guide route GR2 that avoids the obstacle 120 to the left.
The operator can intuitively decide whether to drive on the right side or the left side of the obstacle 120, depending on the road surface, surrounding conditions, etc.

１フォークリフト
１０カメラ
１１０対象物
１２０障害物
１４制御部
１４１画像処理部
１４２フォークリフト座標取得部
１４４障害物座標取得部
２操作装置
２０表示部
２１操作部
２３制御部
２３１画像処理部
２３２対象物座標取得部
２３４第１判定部
２３５第２判定部
２３６案内ルート表示部
２３７報知線表示部
ＡＲ１第１判定領域
ＡＲ２第２判定領域
ＧＲ案内ルート
ＧＲ１第１の案内ルート
ＧＲ２第２の案内ルート
ＶＲ仮想ルート
Ｗフォークリフトの幅
ＤＬ報知線 1 Forklift 10 Camera 110 Object 120 Obstacle 14 Control unit 141 Image processing unit 142 Forklift coordinate acquisition unit 144 Obstacle coordinate acquisition unit 2 Operating device 20 Display unit 21 Operation unit 23 Control unit 231 Image processing unit 232 Object coordinate acquisition unit 234 First judgment section 235 Second judgment section 236 Guide route display section 237 Announcement line display section AR1 First judgment area AR2 Second judgment area GR Guide route GR1 First guide route GR2 Second guide route VR Virtual route W Forklift Width DL Notification line

Claims

In a remote control system that remotely operates a forklift,
a camera provided on the forklift;
a display unit that displays an image taken by the camera;
a forklift coordinate acquisition unit that acquires the coordinates of the forklift;
an object coordinate acquisition unit that acquires the coordinates of a specified object;
a first determination unit that determines the presence or absence of an obstacle in a first determination area formed between the forklift and the target object;
a second determination unit that determines the presence or absence of an obstacle in a second determination area formed between the forklift and the target object;
When the first determining unit determines that the obstacle is present, a guide route connecting the forklift and the object so as to avoid the obstacle is displayed on the display unit; a guide route display section configured to display a guide route connecting the forklift and the object in a straight line on the display section when it is determined that there are no obstacles;
When the second determination section determines that the obstacle is present, a notification line connecting the forklift and the obstacle is displayed on the display section, and when the second determination section determines that there is no obstacle, A remote control system comprising: a notification line display unit configured not to display the notification line on the display unit when the notification line is activated.

The first determination unit defines a virtual route connecting the forklift and the object with a straight line and having a width equivalent to the width of the forklift as the first determination area, and inside the first determination area,
When all or part of the obstacle does not exist, determining that there is no obstacle,
When all or part of the obstacle exists, it is determined that the obstacle exists;
The remote control system according to claim 1, wherein the guide route display section displays the guide route so that all or part of the obstacle does not exist inside the guide route.

The second determination section defines a virtual circle whose diameter is a straight line connecting the forklift and the object as the second determination region, and inside the second determination region,
When all or part of the obstacle does not exist, determining that there is no obstacle,
The remote control system according to claim 1 or 2, wherein when all or part of the obstacle exists, it is determined that the obstacle exists.

The remote control system according to claim 1, wherein the guide route display section displays the guide route having a width corresponding to the width of the forklift.

Claims 1 to 4, wherein the guide route display section displays the first guide route that avoids the right side of the obstacle and the second guide route that avoids the left side of the obstacle. The remote control system described in any of the above.