Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6965852B2 - Remote control system for industrial vehicles - Google Patents
[go: Go Back, main page]

JP6965852B2 - Remote control system for industrial vehicles - Google Patents

Remote control system for industrial vehicles Download PDF

Info

Publication number
JP6965852B2
JP6965852B2 JP2018163147A JP2018163147A JP6965852B2 JP 6965852 B2 JP6965852 B2 JP 6965852B2 JP 2018163147 A JP2018163147 A JP 2018163147A JP 2018163147 A JP2018163147 A JP 2018163147A JP 6965852 B2 JP6965852 B2 JP 6965852B2
Authority
JP
Japan
Prior art keywords
camera
vehicle
image
remote control
infrastructure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018163147A
Other languages
Japanese (ja)
Other versions
JP2020036275A (en
Inventor
琢磨 小野
浩伸 岡本
孝治 比嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2018163147A priority Critical patent/JP6965852B2/en
Publication of JP2020036275A publication Critical patent/JP2020036275A/en
Application granted granted Critical
Publication of JP6965852B2 publication Critical patent/JP6965852B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Forklifts And Lifting Vehicles (AREA)
  • Traffic Control Systems (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、産業車両用遠隔操作システムに関するものである。 The present invention relates to a remote control system for an industrial vehicle.

フォークリフトにおいて周囲の環境を把握すべくカメラを搭載することが行われている(例えば、特許文献1)。 A camera is mounted on a forklift to grasp the surrounding environment (for example, Patent Document 1).

特開2014−11518号公報Japanese Unexamined Patent Publication No. 2014-11518

ところで、産業車両用遠隔操作システムにおいて、産業車両にカメラを搭載して画面を見て操作することになるが、車載カメラとインフラカメラは画像の伝送経路が異なるため、表示する画像に時間差が生じる。 By the way, in a remote control system for an industrial vehicle, a camera is mounted on the industrial vehicle and operated by looking at the screen. However, since the in-vehicle camera and the infrastructure camera have different image transmission paths, there is a time lag between the displayed images. ..

本発明の目的は、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる産業車両用遠隔操作システムを提供することにある。 An object of the present invention is to provide a remote control system for an industrial vehicle capable of reducing a time difference between an in-vehicle camera image and an infrastructure camera image to be displayed.

請求項1に記載の発明では、車両通信部を有する産業車両と、前記車両通信部と無線通信を行う操作装置通信部を有し、前記産業車両を遠隔操作するのに用いられる遠隔操作装置と、を備えた産業車両用遠隔操作システムであって、前記産業車両に搭載され、前記産業車両の周囲を撮像した画像が無線通信により前記遠隔操作装置に伝送される車載カメラと、前記産業車両が走行するインフラ側に設置され、前記産業車両の作業領域を撮像した画像が前記遠隔操作装置に伝送されるインフラカメラと、前記車載カメラ又は前記インフラカメラの撮像領域に時間情報を付加する時間情報付加部と、前記遠隔操作装置に設けられ、前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像を表示するための表示部と、前記車載カメラにより取得した前記時間情報を含む画像と前記インフラカメラにより取得した前記時間情報を含む画像とから時間差を求め、前記時間差に基づいて、前記表示部で表示させる前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のいずれかを加工する画像加工部と、を備えることを要旨とする。 In the invention according to claim 1, an industrial vehicle having a vehicle communication unit and a remote control device having an operation device communication unit that performs wireless communication with the vehicle communication unit and used to remotely control the industrial vehicle. An in-vehicle camera mounted on the industrial vehicle and an image of the surroundings of the industrial vehicle being transmitted to the remote control device by wireless communication, and the industrial vehicle. An infrastructure camera that is installed on the traveling infrastructure side and captures an image of the work area of the industrial vehicle is transmitted to the remote control device, and time information is added to the image pickup area of the in-vehicle camera or the infrastructure camera. A unit, a display unit provided in the remote control device for displaying an image captured by the vehicle-mounted camera and an image captured by the infrastructure camera, and the time information acquired by the vehicle-mounted camera are included. The time difference was obtained from the image and the image including the time information acquired by the infrastructure camera, and based on the time difference, the image captured by the in-vehicle camera displayed on the display unit and the image captured by the infrastructure camera were captured. The gist is to provide an image processing unit for processing any of the images.

請求項1に記載の発明によれば、時間情報付加部により、車載カメラ又はインフラカメラの撮像領域に時間情報が付加される。画像加工部により、車載カメラにより取得した時間情報を含む画像とインフラカメラにより取得した時間情報を含む画像とから時間差が求められ、時間差に基づいて、表示部で表示させる車載カメラにて撮像された画像及びインフラカメラにて撮像された画像のいずれかが加工される。よって、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。 According to the first aspect of the present invention, the time information addition unit adds time information to the imaging region of the vehicle-mounted camera or the infrastructure camera. The image processing unit calculates the time difference between the image including the time information acquired by the in-vehicle camera and the image including the time information acquired by the infrastructure camera, and based on the time difference, the image is captured by the in-vehicle camera displayed on the display unit. Either the image or the image captured by the infrastructure camera is processed. Therefore, it is possible to prevent a time difference between the in-vehicle camera image and the infrastructure camera image to be displayed.

請求項2に記載のように、請求項1に記載の産業車両用遠隔操作システムにおいて、前記インフラカメラによる画像は有線にて前記遠隔操作装置に伝送されるとよい。
請求項3に記載のように、請求項1または2に記載の産業車両用遠隔操作システムにおいて、前記時間情報付加部は前記車載カメラ又は前記インフラカメラの撮像領域に光を照射する照明であり、前記時間情報は前記照明の色彩の変化または照明の輝度の変化であるとよい。
As described in claim 2, in the remote control system for industrial vehicles according to claim 1, the image taken by the infrastructure camera may be transmitted to the remote control device by wire.
As described in claim 3, in the remote control system for industrial vehicles according to claim 1 or 2, the time information addition unit is an illumination that irradiates an imaging region of the vehicle-mounted camera or the infrastructure camera with light. The time information may be a change in the color of the illumination or a change in the brightness of the illumination.

請求項4に記載のように、請求項1または2に記載の産業車両用遠隔操作システムにおいて、前記時間情報付加部は前記車載カメラ又は前記インフラカメラの撮像領域に数字またはパターンを投影する投影機であり、前記時間情報は時刻を表す数字または時刻に応じたパターンであるとよい。 As described in claim 4, in the remote control system for industrial vehicles according to claim 1 or 2, the time information addition unit is a projector that projects a number or a pattern onto the imaging region of the in-vehicle camera or the infrastructure camera. The time information may be a number representing the time or a pattern corresponding to the time.

請求項5に記載のように、請求項1〜4のいずれか1項に記載の産業車両用遠隔操作システムにおいて、前記画像加工部は、前記時間差に応じて蓄積しておいた前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のうち前記遠隔操作装置への伝送遅れ量が少ない方を遅らせて表示させるとよい。 As described in claim 5, in the remote control system for industrial vehicles according to any one of claims 1 to 4, the image processing unit is stored in the in-vehicle camera accumulated according to the time difference. It is preferable to delay and display the image captured by the remote control device and the image captured by the infrastructure camera, whichever has the smaller transmission delay amount to the remote control device.

請求項6に記載のように、請求項1〜5のいずれか1項に記載の産業車両用遠隔操作システムにおいて、前記画像加工部は、前記時間差と操作量に応じた前記産業車両の仮想位置を前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のうち前記遠隔操作装置への伝送遅れ量が多い方に重畳表示させるとよい。 As described in claim 6, in the remote control system for industrial vehicles according to any one of claims 1 to 5, the image processing unit is a virtual position of the industrial vehicle according to the time difference and the amount of operation. Is superimposed and displayed on the image captured by the in-vehicle camera and the image captured by the infrastructure camera, whichever has the larger transmission delay amount to the remote control device.

本発明によれば、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。 According to the present invention, it is possible to reduce a time difference between the in-vehicle camera image and the infrastructure camera image to be displayed.

産業車両用遠隔操作システムの電気的構成を示すブロック図。A block diagram showing an electrical configuration of a remote control system for an industrial vehicle. リーチ式フォークリフトの概略側面図。Schematic side view of a reach forklift. リーチ式フォークリフトの概略平面図。Schematic plan view of a reach forklift. 作業場でのリーチ式フォークリフト及びインフラを説明するための概略側面図。Schematic side view to illustrate reach-type forklifts and infrastructure in the workplace. 表示部での表示内容を説明するための図。The figure for demonstrating the display content on the display part. 表示部での表示内容を説明するための図。The figure for demonstrating the display content on the display part. 作業場でのリーチ式フォークリフト及びインフラを説明するための概略側面図。Schematic side view to illustrate reach-type forklifts and infrastructure in the workplace. 作業場でのリーチ式フォークリフト及びインフラを説明するための概略側面図。Schematic side view to illustrate reach-type forklifts and infrastructure in the workplace. カメラ画像を説明するための図。The figure for demonstrating the camera image. 別例の作業場でのリーチ式フォークリフト及びインフラを説明するための概略側面図。Schematic side view to illustrate a reach forklift and infrastructure in another example workplace. 別例を説明するためのパターンを示す図。The figure which shows the pattern for demonstrating another example. 別例の表示部での表示内容を説明するための図。The figure for demonstrating the display content in the display part of another example.

以下、本発明を具体化した一実施形態を図面に従って説明する。
図1に示すように、産業車両用遠隔操作システム10は、産業車両としてのリーチ式フォークリフト20と、リーチ式フォークリフト20を遠隔操作するのに用いられる遠隔操作装置40と、を備えている。リーチ式フォークリフト20は作業場に配置される。そして、遠隔操作装置40を用いて操作室から作業場のリーチ式フォークリフト20を遠隔操作することができるようになっている、
図4に示すように、作業場においては、棚T1が設置されている。棚T1は2段にわたりパレット80及び荷物Wを配置することができる。つまり、下の段においてパレット80に荷物Wが配置されるとともに、その上の段においてパレット80に荷物Wが配置される。この状態から、操作者はリーチ式フォークリフト20を遠隔操作して荷物を取りに行く。
Hereinafter, an embodiment embodying the present invention will be described with reference to the drawings.
As shown in FIG. 1, the remote control system 10 for an industrial vehicle includes a reach type forklift 20 as an industrial vehicle and a remote control device 40 used for remotely controlling the reach type forklift 20. The reach type forklift 20 is arranged in the workplace. Then, the reach type forklift 20 in the workplace can be remotely controlled from the operation room by using the remote control device 40.
As shown in FIG. 4, a shelf T1 is installed in the workplace. The pallet 80 and the luggage W can be arranged on the shelf T1 in two stages. That is, the luggage W is arranged on the pallet 80 in the lower stage, and the luggage W is arranged on the pallet 80 in the upper stage. From this state, the operator remotely controls the reach type forklift 20 to pick up the luggage.

図4において、各パレット80にはフォーク挿入用穴が形成されており、このフォーク挿入用穴にフォークが差し込まれる。
図2に示すように、リーチ式フォークリフト20の機台21には荷役装置22が設けられている。荷役装置22は前方へ延出している一対のリーチレグ23を備える。各リーチレグ23にはそれぞれ前輪24が設けられている。つまり、機台21の前側に左右一対の前輪24が設けられている。また、機台21の後ろ側には後輪25が設けられている。本実施形態では、後輪25が、操舵輪及び駆動輪となる。
In FIG. 4, each pallet 80 is formed with a fork insertion hole, and the fork is inserted into the fork insertion hole.
As shown in FIG. 2, a cargo handling device 22 is provided on the machine base 21 of the reach type forklift 20. The cargo handling device 22 includes a pair of reach legs 23 extending forward. Each reach leg 23 is provided with a front wheel 24. That is, a pair of left and right front wheels 24 are provided on the front side of the machine base 21. Further, a rear wheel 25 is provided on the rear side of the machine base 21. In the present embodiment, the rear wheels 25 are the steering wheels and the driving wheels.

荷役装置22は、2段式のマスト26を備える。マスト26は、アウタマスト27と、インナマスト28とを備える。
荷役装置22は、一対のフォーク31と、フォーク31をマスト26に固定するリフトブラケット32とを備える。フォーク31及びリフトブラケット32は、インナマスト28の昇降とともに昇降する。
The cargo handling device 22 includes a two-stage mast 26. The mast 26 includes an outer mast 27 and an inner mast 28.
The cargo handling device 22 includes a pair of forks 31 and a lift bracket 32 that fixes the forks 31 to the mast 26. The fork 31 and the lift bracket 32 move up and down as the inner mast 28 moves up and down.

リーチ式フォークリフト20には各種のアクチュエータが備えられている。具体的には例えば、走行用アクチュエータとしての後輪25を駆動させる走行モータ33、昇降用アクチュエータとしてのインナマスト28に連結されたリフトシリンダ29、リーチ用アクチュエータとしてのマスト26に連結されたリーチシリンダ30等が挙げられる。インナマスト28は、リフトシリンダ29への作動油の給排によって昇降する。マスト26は、リーチシリンダ30への作動油の給排によってリーチレグ23に沿って移動する。 The reach type forklift 20 is provided with various actuators. Specifically, for example, a traveling motor 33 for driving the rear wheel 25 as a traveling actuator, a lift cylinder 29 connected to an inner mast 28 as a lifting actuator, and a reach cylinder 30 connected to a mast 26 as a reach actuator. And so on. The inner mast 28 moves up and down by supplying and discharging hydraulic oil to the lift cylinder 29. The mast 26 moves along the reach leg 23 by supplying and discharging hydraulic oil to the reach cylinder 30.

図1に示すように、リーチ式フォークリフト20は、フォークリフト搭載機器50として、コントローラ51と、車両通信部としての無線ユニット52と、画像信号処理部53と、車両通信部としての無線機54と、車載カメラ71を有する。 As shown in FIG. 1, the reach type forklift 20 includes a controller 51 as a forklift-mounted device 50, a radio unit 52 as a vehicle communication unit, an image signal processing unit 53, and a radio 54 as a vehicle communication unit. It has an in-vehicle camera 71.

遠隔操作装置40は、コントローラ61と、操作部62と、表示部(モニタ)63,64と、操作装置通信部としての無線機65,66を有する。遠隔操作装置40において、操作室側機器60として、コントローラ61と操作部62と表示部(モニタ)63,64を備える。 The remote control device 40 includes a controller 61, an operation unit 62, display units (monitors) 63 and 64, and radios 65 and 66 as operation device communication units. The remote control device 40 includes a controller 61, an operation unit 62, and display units (monitors) 63 and 64 as operation room side devices 60.

遠隔操作装置40の無線機65は作業場に配置されている。また、遠隔操作装置40の無線機66は作業場に配置されている。操作室に配置されるコントローラ61は有線L1により作業場に配置した無線機65と接続されている。コントローラ61は有線L2により作業場に配置した無線機66と接続されている。 The radio 65 of the remote control device 40 is arranged in the work place. Further, the radio 66 of the remote control device 40 is arranged in the work place. The controller 61 arranged in the operation room is connected to the radio 65 arranged in the work place by the wired L1. The controller 61 is connected to the radio 66 arranged in the work place by a wired L2.

作業場において、遠隔操作装置40の無線機65とフォークリフト搭載機器50の無線ユニット52とは双方向に無線通信できる。また、作業場において、フォークリフト搭載機器50の無線機54から遠隔操作装置40の無線機66に無線で通信できる。 In the workplace, the wireless device 65 of the remote control device 40 and the wireless unit 52 of the forklift-mounted device 50 can perform wireless communication in both directions. Further, in the workplace, the radio 54 of the forklift-mounted device 50 can wirelessly communicate with the radio 66 of the remote control device 40.

このようにして、リーチ式フォークリフト20は無線ユニット52及び無線機54を有し、遠隔操作装置40は、無線ユニット52及び無線機54と無線通信を行う無線機65,66を有する。 In this way, the reach type forklift 20 has a radio unit 52 and a radio 54, and the remote control device 40 has radios 65 and 66 that perform wireless communication with the radio unit 52 and the radio 54.

遠隔操作装置40のコントローラ61は操作部62及び表示部(モニタ)63,64と接続されている。操作部62は、操作者によりリーチ式フォークリフト20を遠隔操作するためのものであり、操作者によるリーチ式フォークリフト20の操作内容(リフト、リーチ、ティルトの操作指令値、及び、速度、加速度、操舵角の操作指令値等)がコントローラ61に送られる。コントローラ61は、リフト、リーチ、ティルトの操作指令値、及び、速度、加速度、操舵角の操作指令値等の車両制御信号を、無線機65を介してフォークリフト搭載機器50の無線ユニット52に無線送信する。 The controller 61 of the remote control device 40 is connected to the operation unit 62 and the display units (monitors) 63 and 64. The operation unit 62 is for remotely controlling the reach type forklift 20 by the operator, and the operation content of the reach type forklift 20 by the operator (operation command values of lift, reach, tilt, speed, acceleration, steering). The corner operation command value, etc.) is sent to the controller 61. The controller 61 wirelessly transmits vehicle control signals such as lift, reach, and tilt operation command values, speed, acceleration, and steering angle operation command values to the radio unit 52 of the forklift-mounted device 50 via the radio 65. do.

フォークリフト搭載機器50において、コントローラ51と無線ユニット52と画像信号処理部53とは、それぞれ相互に通信(例えばCAN通信)可能に接続されている。コントローラ51は遠隔操作装置40側からの指示により走行系アクチュエータ(走行モータ33、図示しない操舵モータ等)及び荷役系アクチュエータ(リフトシリンダ29、リーチシリンダ30、図示しないティルトシリンダ等)を駆動することができる。 In the forklift-mounted device 50, the controller 51, the wireless unit 52, and the image signal processing unit 53 are connected to each other so as to be able to communicate with each other (for example, CAN communication). The controller 51 can drive a traveling system actuator (traveling motor 33, steering motor (not shown), etc.) and a cargo handling system actuator (lift cylinder 29, reach cylinder 30, tilt cylinder (not shown, etc.)) according to an instruction from the remote control device 40 side. can.

無線ユニット52は、リーチ式フォークリフト20の車速等の車両情報、異常情報(障害物検知情報等)を、無線機65を介してコントローラ61に無線送信する。
図1において、コントローラ61は、無線機65、無線ユニット52及びコントローラ51を介してリーチ式フォークリフト20の走行及び荷役装置22による荷役を遠隔操作することができるようになっている。
The wireless unit 52 wirelessly transmits vehicle information such as the vehicle speed of the reach type forklift 20 and abnormality information (obstacle detection information and the like) to the controller 61 via the radio 65.
In FIG. 1, the controller 61 can remotely control the traveling of the reach type forklift 20 and the cargo handling by the cargo handling device 22 via the radio 65, the radio unit 52, and the controller 51.

そして、遠隔操作装置40において、操作部62を用いて操作者が所望の操作を行うとコントローラ61により操作内容が無線機65を介してリーチ式フォークリフト20側に送られる。リーチ式フォークリフト20において、無線ユニット52で遠隔操作装置40からの操作内容が受信され、コントローラ51によりアクチュエータ部が駆動されて所望の動作が実行される。 Then, in the remote control device 40, when the operator performs a desired operation using the operation unit 62, the operation content is sent to the reach type forklift 20 side by the controller 61 via the radio 65. In the reach type forklift 20, the wireless unit 52 receives the operation content from the remote control device 40, and the controller 51 drives the actuator unit to execute a desired operation.

図2及び図3に示すように、リーチ式フォークリフト20において機台21に車載カメラ71が前方を向くように取り付けられており、車載カメラ71は、リーチ式フォークリフト20の周囲を撮像する。具体的には、車載カメラ71は、リーチ式フォークリフト20の進行方向前方を撮像する。 As shown in FIGS. 2 and 3, in the reach type forklift 20, the vehicle-mounted camera 71 is attached to the machine base 21 so as to face forward, and the vehicle-mounted camera 71 images the surroundings of the reach type forklift 20. Specifically, the vehicle-mounted camera 71 images the front of the reach-type forklift 20 in the traveling direction.

リーチ式フォークリフト20において、車載カメラ71により撮像された画像はコントローラ51により画像信号処理部53及び無線機54を介して遠隔操作装置40側に送られる。つまり、リーチ式フォークリフト20に搭載された車載カメラ71の画像は無線通信により遠隔操作装置40に伝送される。遠隔操作装置40において、無線機66でリーチ式フォークリフト20からの車載カメラ画像が受信されてコントローラ61により表示部63で表示される。図5には表示部63の画面を示す。図5において表示部63はディスクトップ型ディスプレイであって、表示画面63aを有する。 In the reach type forklift 20, the image captured by the in-vehicle camera 71 is sent by the controller 51 to the remote control device 40 side via the image signal processing unit 53 and the radio 54. That is, the image of the in-vehicle camera 71 mounted on the reach type forklift 20 is transmitted to the remote control device 40 by wireless communication. In the remote control device 40, the in-vehicle camera image from the reach type forklift 20 is received by the radio 66 and displayed on the display unit 63 by the controller 61. FIG. 5 shows the screen of the display unit 63. In FIG. 5, the display unit 63 is a desktop type display and has a display screen 63a.

図4に示すように、リーチ式フォークリフト20が走行するインフラ側にはインフラカメラ72が設置されている。具体的には、棚T1の上部にはインフラカメラ72が固定されている。インフラカメラ72は棚T1の前方の床面を向くように取り付けられており、インフラカメラ72は、リーチ式フォークリフト20の作業領域、即ち、棚T1の前方領域を撮像することができる。図1に示すように、インフラカメラ72は有線L3により遠隔操作装置40のコントローラ61と接続されている。インフラカメラ72により撮像した画像は有線L3にて遠隔操作装置40に伝送されて、コントローラ61により表示部64で表示される。図6には表示部64の画面を示す。図6において表示部64はディスクトップ型ディスプレイであって、表示画面64aを有する。 As shown in FIG. 4, an infrastructure camera 72 is installed on the infrastructure side on which the reach type forklift 20 travels. Specifically, the infrastructure camera 72 is fixed to the upper part of the shelf T1. The infrastructure camera 72 is attached so as to face the floor surface in front of the shelf T1, and the infrastructure camera 72 can image the work area of the reach type forklift 20, that is, the front area of the shelf T1. As shown in FIG. 1, the infrastructure camera 72 is connected to the controller 61 of the remote control device 40 by a wired L3. The image captured by the infrastructure camera 72 is transmitted to the remote control device 40 by the wired L3, and is displayed on the display unit 64 by the controller 61. FIG. 6 shows the screen of the display unit 64. In FIG. 6, the display unit 64 is a desktop type display and has a display screen 64a.

インフラカメラ72の視野にリーチ式フォークリフト20が入ってくることにより同じ撮像対象に対して異なるカメラ(車載カメラ71、インフラカメラ72)で撮像しており、遠隔操作装置40に設けられた表示部63において、車載カメラ71にて撮像された画像が表示される。また、遠隔操作装置40に設けられた表示部64において、インフラカメラ72にて撮像された画像が表示される。操作者は表示部63,64における車載カメラ画像及びインフラカメラ画像を見ながら操作することになる。 By entering the reach type forklift 20 into the field of view of the infrastructure camera 72, different cameras (vehicle-mounted camera 71, infrastructure camera 72) are imaging the same image target, and a display unit 63 provided in the remote control device 40. In, the image captured by the in-vehicle camera 71 is displayed. Further, the image captured by the infrastructure camera 72 is displayed on the display unit 64 provided in the remote control device 40. The operator operates while viewing the in-vehicle camera image and the infrastructure camera image on the display units 63 and 64.

図2に示すように、リーチ式フォークリフト20の機台21には照明(ライト)55が取り付けられている。照明55は、リーチ式フォークリフト20の進行方向前方に光を照射できるようになっている。照射範囲は車載カメラ71の撮像領域、インフラカメラ72の撮像領域を含んでいる。照明55は、図1に示すように、赤色光源55aと緑色光源55bを備えており、照明55から赤色光または緑色光を発射することができる。具体的には、無線ユニット52により、照明55から赤色光、緑色光、赤色光、緑色光、・・・というように赤色光と緑色光を交互に発射する。 As shown in FIG. 2, a light 55 is attached to the machine base 21 of the reach type forklift 20. The illumination 55 can irradiate light forward in the traveling direction of the reach type forklift 20. The irradiation range includes the imaging region of the vehicle-mounted camera 71 and the imaging region of the infrastructure camera 72. As shown in FIG. 1, the illumination 55 includes a red light source 55a and a green light source 55b, and can emit red light or green light from the illumination 55. Specifically, the wireless unit 52 alternately emits red light and green light from the illumination 55, such as red light, green light, red light, green light, and so on.

これにより、車載カメラ71による画像は、照明の色彩の変化である時間情報を含むことになる。また、インフラカメラ72による画像は、照明の色彩の変化である時間情報を含むことになる。つまり、車載カメラ画像とインフラカメラ画像とで同期をとるためのトリガとして交互に出力される赤色光/緑色光を用いて時間情報がカメラ画像に含まれるようになっている。 As a result, the image taken by the vehicle-mounted camera 71 includes time information which is a change in the color of the illumination. Further, the image taken by the infrastructure camera 72 includes time information which is a change in the color of the illumination. That is, the time information is included in the camera image by using the red light / green light that are alternately output as a trigger for synchronizing the in-vehicle camera image and the infrastructure camera image.

このように、車載カメラ71又はインフラカメラ72の撮像領域に時間情報を付加する時間情報付加部としての照明55を有し、照明55は車載カメラ71又はインフラカメラ72の撮像領域に光を照射する。時間情報は照明の色彩の変化である。 As described above, the illumination 55 is provided as a time information addition unit that adds time information to the imaging region of the vehicle-mounted camera 71 or the infrastructure camera 72, and the illumination 55 irradiates the imaging region of the vehicle-mounted camera 71 or the infrastructure camera 72 with light. .. Time information is a change in the color of the lighting.

コントローラ61は、画像加工部としてのマイコン61aと、時間情報を含む画像データが記憶されるメモリ61bを有する。
次に、作用について説明する。
The controller 61 has a microcomputer 61a as an image processing unit and a memory 61b for storing image data including time information.
Next, the action will be described.

車載カメラ画像とインフラカメラ画像では遠隔操作装置40への伝送遅れ量が状況によって変わってくるので随時同期をとる必要がある。
リーチ式フォークリフト20は走行しながら、無線ユニット52が、照明55から赤色光、緑色光、赤色光、緑色光、・・・というように赤色光と緑色光を交互に発射させる。
Since the amount of transmission delay to the remote control device 40 varies depending on the situation between the in-vehicle camera image and the infrastructure camera image, it is necessary to synchronize them at any time.
While the reach type forklift 20 is traveling, the wireless unit 52 alternately emits red light and green light from the illumination 55, such as red light, green light, red light, green light, and so on.

つまり、図7に示すように、車載の照明55から赤色光RLが前方の床面に照射される。そして、車載カメラ71及びインフラカメラ72において、撮像された画像には照明55の赤色光RLが捉えられる。また、図8に示すように、車載の照明55から緑色光GLが前方の床面に照射される。そして、車載カメラ71及びインフラカメラ72において、撮像された画像には照明55の緑色光GLが捉えられる。 That is, as shown in FIG. 7, red light RL is emitted from the in-vehicle lighting 55 to the front floor surface. Then, the red light RL of the illumination 55 is captured in the images captured by the in-vehicle camera 71 and the infrastructure camera 72. Further, as shown in FIG. 8, green light GL is emitted from the in-vehicle lighting 55 to the front floor surface. Then, the green light GL of the illumination 55 is captured in the images captured by the in-vehicle camera 71 and the infrastructure camera 72.

車載カメラ71による画像は無線にて遠隔操作装置40に伝送される。インフラカメラ72による画像は有線L3にて遠隔操作装置40に伝送される。
図9に示すように、コントローラ61のマイコン61aは、時間情報(照明の色彩の変化)を含む車載カメラ71による画像と、時間情報(照明の色彩の変化)を含むインフラカメラ72による画像を入力する。そして、画像加工部としてのコントローラ61のマイコン61aは、車載カメラ71により取得した時間情報を含む画像とインフラカメラ72により取得した時間情報を含む画像とから時間差を求め、時間差に基づいて、表示部63,64で表示させる車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のいずれかを加工する。
The image taken by the in-vehicle camera 71 is wirelessly transmitted to the remote control device 40. The image taken by the infrastructure camera 72 is transmitted to the remote control device 40 by the wired L3.
As shown in FIG. 9, the microcomputer 61a of the controller 61 inputs an image by the in-vehicle camera 71 including time information (change in lighting color) and an image by the infrastructure camera 72 including time information (change in lighting color). do. Then, the microcomputer 61a of the controller 61 as the image processing unit obtains a time difference from the image including the time information acquired by the in-vehicle camera 71 and the image including the time information acquired by the infrastructure camera 72, and the display unit is based on the time difference. Either the image captured by the in-vehicle camera 71 displayed by 63 or 64 or the image captured by the infrastructure camera 72 is processed.

このように車載カメラ71の画像とインフラカメラ72の画像とが時間差の少ない画像となるように(詳しくは同期するように)調整することにより、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。 By adjusting the image of the in-vehicle camera 71 and the image of the in-vehicle camera 72 so as to be an image with a small time difference (detailed so as to be synchronized), a time difference is generated between the in-vehicle camera image and the infra-camera image to be displayed. It can be made difficult.

以下、詳しく説明する。
遠隔操作システムにおいて、車載カメラ71で進行方向を撮像して表示することにより進行方向を確認し、インフラカメラ72でリーチ式フォークリフトの周辺を撮像して表示することによりリーチ式フォークリフトの周辺の安全確認を行い、操作性を確保する。ここで、車載カメラ71の画像は無線で無線機66に伝送されて表示部63で表示される。一方、インフラカメラ72の画像は有線L3で遠隔操作装置40に伝送されて表示部64で表示される。車載カメラ71とインフラカメラ72は、画像の伝送経路が異なるため、表示する画像に時間差τが生じる。画像の時間差τにより、視認性と操作性が低下する。つまり、車載カメラ71の画像とインフラカメラ72の画像とでは、時間差τがある画像となってしまい操作がしにくい。
The details will be described below.
In the remote control system, the direction of travel is confirmed by imaging and displaying the direction of travel with the in-vehicle camera 71, and the safety around the reach-type forklift is confirmed by imaging and displaying the area around the reach-type forklift with the infrastructure camera 72. To ensure operability. Here, the image of the vehicle-mounted camera 71 is wirelessly transmitted to the radio 66 and displayed on the display unit 63. On the other hand, the image of the infrastructure camera 72 is transmitted to the remote control device 40 by the wired L3 and displayed on the display unit 64. Since the in-vehicle camera 71 and the infrastructure camera 72 have different image transmission paths, a time difference τ occurs in the displayed images. Visibility and operability are reduced due to the time difference τ of the images. That is, the image of the vehicle-mounted camera 71 and the image of the infrastructure camera 72 are images with a time difference τ, which makes it difficult to operate.

本実施形態では、車載カメラ71から時間情報を含む画像を取得するとともにインフラカメラ72から時間情報を含む画像を取得して、時間差の無い画像に加工する。そのために、リーチ式フォークリフトの機台に照明(ライト)55を設置して、照明(ライト)55の光源は、一定間隔で色を変化させる。車載カメラ71とインフラカメラ72の画像について、それぞれで光源の色を検出し、画像データをメモリ61bに格納する。そして、色情報の変化を基準としてタイミングを合わせて格納した画像データを表示する。つまり、色情報の変化を基準に、図9での色情報の時間差τを無くすべくタイミングを合わせて画像を表示する。 In the present embodiment, an image including time information is acquired from the in-vehicle camera 71, and an image including time information is acquired from the infrastructure camera 72, and the image is processed into an image having no time difference. Therefore, a light 55 is installed on the machine base of the reach type forklift, and the light source of the light 55 changes its color at regular intervals. The color of the light source is detected for each of the images of the vehicle-mounted camera 71 and the infrastructure camera 72, and the image data is stored in the memory 61b. Then, the image data stored at the same timing based on the change in the color information is displayed. That is, based on the change in the color information, the image is displayed at the same timing so as to eliminate the time difference τ of the color information in FIG.

即ち、図9ではインフラカメラ画像に比べ車載カメラ画像が遅れて遠隔操作装置40に伝送されるのでインフラカメラ画像をメモリ61bにバッファリング(保存)しておき、画像の色の変化を判定しながら車載カメラ画像とインフラカメラ画像を同期させた状態で送出して表示部63,64で表示させる。つまり、マイコン61aは、時間差τに応じて蓄積しておいた車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のうち遠隔操作装置40への伝送遅れ量が少ない方(図9ではインフラカメラ画像)を遅らせて表示させる。 That is, in FIG. 9, since the in-vehicle camera image is transmitted to the remote control device 40 later than the infrastructure camera image, the infrastructure camera image is buffered (saved) in the memory 61b, and the change in the color of the image is determined. The in-vehicle camera image and the infrastructure camera image are sent out in a synchronized state and displayed on the display units 63 and 64. That is, the microcomputer 61a has the smaller transmission delay amount to the remote control device 40 among the images captured by the in-vehicle camera 71 and the images captured by the infrastructure camera 72 accumulated according to the time difference τ ( In FIG. 9, the infrastructure camera image) is displayed with a delay.

その結果、表示する車載カメラ画像とインフラカメラ画像の時間差がなくなり、操作性が向上する。
上記実施形態によれば、以下のような効果を得ることができる。
As a result, the time difference between the in-vehicle camera image to be displayed and the infrastructure camera image is eliminated, and the operability is improved.
According to the above embodiment, the following effects can be obtained.

(1)産業車両用遠隔操作システム10の構成として、車両通信部としての無線ユニット52及び無線機54を有する産業車両としてのリーチ式フォークリフト20と、車両通信部としての無線ユニット52及び無線機54と無線通信を行う操作装置通信部としての無線機65,66を有し、リーチ式フォークリフト20を遠隔操作するのに用いられる遠隔操作装置40と、を備える。リーチ式フォークリフト20に搭載され、リーチ式フォークリフト20の周囲を撮像した画像が無線通信により遠隔操作装置40に伝送される車載カメラ71と、リーチ式フォークリフト20が走行するインフラ側に設置され、リーチ式フォークリフト20の作業領域を撮像した画像が遠隔操作装置40に伝送されるインフラカメラ72と、車載カメラ71又はインフラカメラ72の撮像領域に時間情報を付加する時間情報付加部としての照明55と、遠隔操作装置40に設けられ、車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像を表示するための表示部63,64と、車載カメラ71により取得した時間情報を含む画像とインフラカメラ72により取得した時間情報を含む画像とから時間差を求め、時間差に基づいて、表示部63,64で表示させる車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のいずれかを加工する画像加工部としてのマイコン61aと、を備える。よって、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。 (1) As a configuration of the remote control system 10 for an industrial vehicle, a reach type forklift 20 as an industrial vehicle having a radio unit 52 and a radio 54 as a vehicle communication unit, and a radio unit 52 and a radio 54 as a vehicle communication unit The remote control device 40 is used to remotely control the reach type forklift 20 and has radios 65 and 66 as an operation device communication unit that performs wireless communication with the user. The in-vehicle camera 71, which is mounted on the reach-type forklift 20 and images the surroundings of the reach-type forklift 20 and is transmitted to the remote control device 40 by wireless communication, and the reach-type forklift 20 are installed on the infrastructure side where the reach-type forklift 20 runs. An infrastructure camera 72 in which an image of the work area of the forklift 20 is transmitted to the remote control device 40, an illumination 55 as a time information addition unit that adds time information to the image capture area of the in-vehicle camera 71 or the infrastructure camera 72, and a remote camera. Display units 63 and 64 provided in the operation device 40 for displaying the image captured by the vehicle-mounted camera 71 and the image captured by the infrastructure camera 72, and an image including time information acquired by the vehicle-mounted camera 71. The time difference is obtained from the image including the time information acquired by the infrastructure camera 72, and the image captured by the in-vehicle camera 71 and the image captured by the infrastructure camera 72 displayed on the display units 63 and 64 based on the time difference. A microcomputer 61a as an image processing unit for processing either of them is provided. Therefore, it is possible to prevent a time difference between the in-vehicle camera image and the infrastructure camera image to be displayed.

(2)インフラカメラ72による画像は有線L3にて遠隔操作装置40に伝送される場合に有用である。
(3)時間情報付加部は車載カメラ71又はインフラカメラ72の撮像領域に光を照射する照明55であり、時間情報は照明の色彩の変化であるので、時間情報を含むカメラ画像を得ることができる。
(2) The image taken by the infrastructure camera 72 is useful when it is transmitted to the remote control device 40 by the wired L3.
(3) The time information addition unit is an illumination 55 that irradiates the imaging region of the in-vehicle camera 71 or the infrastructure camera 72 with light, and since the time information is a change in the color of the illumination, it is possible to obtain a camera image including the time information. can.

(4)画像加工部としてのマイコン61aは、時間差に応じて蓄積しておいた車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のうち遠隔操作装置40への伝送遅れ量が少ない方を遅らせて表示させるので、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。 (4) The microcomputer 61a as an image processing unit delays transmission of the images captured by the in-vehicle camera 71 and the images captured by the infrastructure camera 72 accumulated according to the time difference to the remote control device 40. Since the smaller amount is displayed with a delay, it is possible to reduce the time difference between the in-vehicle camera image and the infrastructure camera image to be displayed.

実施形態は前記に限定されるものではなく、例えば、次のように具体化してもよい。
○ 照明の色彩の変化により時間情報を含むカメラ画像を得るようにしたが、これに代わり、一色の照明を用いて照明のオン/オフにより時間情報を含むカメラ画像を得るようにしてもよい。
The embodiment is not limited to the above, and may be embodied as follows, for example.
○ A camera image including time information is obtained by changing the color of the lighting, but instead, a camera image including time information may be obtained by turning on / off the lighting using a single color lighting.

○ 時間情報は照明の色彩の変化であったが、これに代わり、時間情報付加部は車載カメラ71又はインフラカメラ72の撮像領域に光を照射する照明であり、時間情報は照明の輝度の変化であってもよい。例えば白色光を用いて輝度を変化させてもよい。 ○ The time information was a change in the color of the lighting, but instead, the time information addition part is the lighting that irradiates the imaging area of the in-vehicle camera 71 or the infrastructure camera 72, and the time information is the change in the brightness of the lighting. It may be. For example, white light may be used to change the brightness.

○ 図7,8に代わり図10に示すように、投影機56を用いて時刻を表す数字を床面に投影して車載カメラ71及びインフラカメラ72で撮影してマイコン61aにおいて画像認識により時刻を読み取って、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくしてもよい(同期させてもよい)。このように、時間情報付加部は車載カメラ71又はインフラカメラ72の撮像領域に数字を投影する投影機56であり、時間情報は時刻を表す数字であってもよい。 ○ As shown in FIG. 10 instead of FIGS. 7 and 8, the projector 56 is used to project a number representing the time on the floor surface, the vehicle-mounted camera 71 and the infrastructure camera 72 are used to take a picture, and the microcomputer 61a recognizes the time by image recognition. The time difference between the in-vehicle camera image and the infrastructure camera image that are read and displayed may be reduced (may be synchronized). As described above, the time information addition unit is the projector 56 that projects a number onto the imaging region of the in-vehicle camera 71 or the infrastructure camera 72, and the time information may be a number representing the time.

○ 他にも、投影機を用いて床面に図11に示すような時刻に応じたパターンを投影して、これを車載カメラ71及びインフラカメラ72で撮影してマイコン61aにおいて画像認識によりパターンを読み取って、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくしてもよい。詳しくは、図11においては、長方形の全体部分100を4つの長方形のブロック101,102,103,104に分割して所定時間毎に(図11では1秒毎に)、ブロック101→ブロック102→ブロック103→ブロック104→ブロック101→・・・を順に投影していく。このようにして、時間情報付加部は車載カメラ71又はインフラカメラ72の撮像領域にパターンを投影する投影機であり、時間情報は時刻に応じたパターンであってもよい。 ○ In addition, a projector is used to project a pattern according to the time as shown in FIG. 11, which is photographed by the in-vehicle camera 71 and the infrastructure camera 72, and the pattern is reproduced by image recognition in the microcomputer 61a. The time difference between the in-vehicle camera image and the infrastructure camera image that are read and displayed may be reduced. Specifically, in FIG. 11, the entire portion 100 of the rectangle is divided into four rectangular blocks 101, 102, 103, 104 and every predetermined time (every second in FIG. 11), block 101 → block 102 → Block 103 → block 104 → block 101 → ... Are projected in order. In this way, the time information addition unit is a projector that projects a pattern onto the imaging region of the in-vehicle camera 71 or the infrastructure camera 72, and the time information may be a pattern according to the time.

○ カメラ画像から画像認識により時間情報を読み取った後の表示のしかたとして、車載カメラ画像については最新の画像に対し予想されるフォーク位置での画像も重ねて表示するようにしてもよい。 ○ As a method of displaying after reading the time information from the camera image by image recognition, the in-vehicle camera image may be displayed by superimposing the image at the expected fork position on the latest image.

例えば、マイコン61aにおいて車載カメラ71により取得した時間情報を含む画像とインフラカメラ72により取得した時間情報を含む画像から時間差(ずれ)τを求めて最新の車載カメラ画像に対し、操作量に応じて予測されるフォークの画像を重ね合わせる。そして、表示画面において、図12に示すように、画像加工部としてのマイコン61aは、時間差τと操作量に応じたリーチ式フォークリフト20の仮想位置(フォークの予想位置)を車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のうち遠隔操作装置40への伝送遅れ量が多い方に重畳表示させる。詳しくは、前のタイミングで撮像したフォーク31aを有するカメラ画像に対し、予想されるフォーク31bの画像を出力し、オーバーレイ画像にする。より詳しくは、時間差からフォークの位置を推定し、カメラ画像にオーバーレイ表示する。具体的には、図12においては、リーチ動作における前後のフォークが重なるように表示する。 For example, in the microcomputer 61a, the time difference (deviation) τ is obtained from the image including the time information acquired by the in-vehicle camera 71 and the image including the time information acquired by the infrastructure camera 72, and the latest in-vehicle camera image is subjected to the operation amount. Overlay the predicted fork image. Then, on the display screen, as shown in FIG. 12, the microcomputer 61a as the image processing unit captures the virtual position (estimated position of the fork) of the reach type forklift 20 according to the time difference τ and the operation amount with the in-vehicle camera 71. Of the images captured and the images captured by the infrastructure camera 72, the one with the larger transmission delay to the remote control device 40 is superimposed and displayed. Specifically, the expected image of the fork 31b is output from the camera image having the fork 31a captured at the previous timing to make an overlay image. More specifically, the position of the fork is estimated from the time difference and displayed as an overlay on the camera image. Specifically, in FIG. 12, the front and rear forks in the reach operation are displayed so as to overlap each other.

このように、オーバーレイ方式を用いて、車載カメラについてはフォークの位置を予測して重畳することとし、そのための加工方法として同期がとれた後において、時間情報からの遅れ(τ)と操作量から予測したフォークも重ねて表示するようにしてもよい。 In this way, using the overlay method, the position of the fork is predicted and superimposed on the in-vehicle camera, and after synchronization is achieved as a processing method for that purpose, the delay (τ) from the time information and the amount of operation are used. The predicted fork may also be displayed in an overlapping manner.

○ 照明55は車両側に設置したが(リーチ式フォークリフトに搭載したが)、インフラ側に設置してもよい。
○ 車載カメラの台数は問わない。
○ Although the lighting 55 was installed on the vehicle side (although it was installed on the reach type forklift), it may be installed on the infrastructure side.
○ The number of in-vehicle cameras does not matter.

○ インフラカメラの台数は問わない。
○ 車載カメラ71は画像を無線通信により遠隔操作装置40に伝送するとともにインフラカメラ72は有線により画像を遠隔操作装置40に伝送したが、これに限るものではない。例えば、インフラカメラ72は無線により画像を遠隔操作装置40に伝送するシステム構成とした場合に適用してもよい。つまり、有線と無線以外にも無線と無線でも画像伝送に遅れが生じるのでインフラカメラ画像も無線で伝送する場合に適用してもよい。また、伝送長さや方式や使用環境が異なる場合にも画像伝送に遅れが生じるのでその場合に適用してもよい。
○ The number of infrastructure cameras does not matter.
○ The in-vehicle camera 71 transmits the image to the remote control device 40 by wireless communication, and the infrastructure camera 72 transmits the image to the remote control device 40 by wire, but the present invention is not limited to this. For example, the infrastructure camera 72 may be applied when the system configuration is such that an image is wirelessly transmitted to the remote control device 40. That is, since the image transmission is delayed not only by wire and wireless but also by wireless and wireless, it may be applied to the case where the infrastructure camera image is also transmitted wirelessly. Further, even if the transmission length, method, or usage environment is different, a delay occurs in image transmission, and this may be applied in that case.

○ 産業車両はリーチ式フォークリフトであったが、これに限るものではなく、リーチ式フォークリフト以外の産業車両であってもよい。例えば牽引車等でもよい。 ○ The industrial vehicle was a reach type forklift, but it is not limited to this, and may be an industrial vehicle other than the reach type forklift. For example, a towing vehicle may be used.

10…産業車両用遠隔操作システム、20…リーチ式フォークリフト、40…遠隔操作装置、52…無線ユニット、54…無線機、55…照明、61a…マイコン、63,64…表示部、65,66…無線機、71…車載カメラ、72…インフラカメラ、L3…有線。 10 ... Remote control system for industrial vehicles, 20 ... Reach type forklift, 40 ... Remote control device, 52 ... Radio unit, 54 ... Radio, 55 ... Lighting, 61a ... Microcomputer, 63, 64 ... Display, 65, 66 ... Radio, 71 ... in-vehicle camera, 72 ... infrastructure camera, L3 ... wired.

Claims (6)

車両通信部を有する産業車両と、
前記車両通信部と無線通信を行う操作装置通信部を有し、前記産業車両を遠隔操作するのに用いられる遠隔操作装置と、
を備えた産業車両用遠隔操作システムであって、
前記産業車両に搭載され、前記産業車両の周囲を撮像した画像が無線通信により前記遠隔操作装置に伝送される車載カメラと、
前記産業車両が走行するインフラ側に設置され、前記産業車両の作業領域を撮像した画像が前記遠隔操作装置に伝送されるインフラカメラと、
前記車載カメラ又は前記インフラカメラの撮像領域に時間情報を付加する時間情報付加部と、
前記遠隔操作装置に設けられ、前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像を表示するための表示部と、
前記車載カメラにより取得した前記時間情報を含む画像と前記インフラカメラにより取得した前記時間情報を含む画像とから時間差を求め、前記時間差に基づいて、前記表示部で表示させる前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のいずれかを加工する画像加工部と、
を備えることを特徴とする産業車両用遠隔操作システム。
Industrial vehicles with a vehicle communication department and
An operation device that has an operation device communication unit that performs wireless communication with the vehicle communication unit, and a remote control device that is used to remotely control the industrial vehicle.
It is a remote control system for industrial vehicles equipped with
An in-vehicle camera mounted on the industrial vehicle and an image of the surroundings of the industrial vehicle being transmitted to the remote control device by wireless communication.
An infrastructure camera that is installed on the infrastructure side on which the industrial vehicle travels and that captures an image of the work area of the industrial vehicle is transmitted to the remote control device.
A time information addition unit that adds time information to the imaging region of the vehicle-mounted camera or the infrastructure camera,
A display unit provided in the remote control device for displaying an image captured by the in-vehicle camera and an image captured by the infrastructure camera.
The time difference is obtained from the image including the time information acquired by the vehicle-mounted camera and the image including the time information acquired by the infrastructure camera, and based on the time difference, the image is captured by the vehicle-mounted camera displayed on the display unit. An image processing unit that processes either the image or the image captured by the infrastructure camera,
A remote control system for industrial vehicles characterized by being equipped with.
前記インフラカメラによる画像は有線にて前記遠隔操作装置に伝送されることを特徴とする請求項1に記載の産業車両用遠隔操作システム。 The remote control system for an industrial vehicle according to claim 1, wherein the image taken by the infrastructure camera is transmitted to the remote control device by wire. 前記時間情報付加部は前記車載カメラ又は前記インフラカメラの撮像領域に光を照射する照明であり、前記時間情報は前記照明の色彩の変化または照明の輝度の変化であることを特徴とする請求項1または2に記載の産業車両用遠隔操作システム。 The time information addition unit is an illumination that irradiates an imaging region of the vehicle-mounted camera or the infrastructure camera with light, and the time information is a change in the color of the illumination or a change in the brightness of the illumination. The remote control system for industrial vehicles according to 1 or 2. 前記時間情報付加部は前記車載カメラ又は前記インフラカメラの撮像領域に数字またはパターンを投影する投影機であり、前記時間情報は時刻を表す数字または時刻に応じたパターンであることを特徴とする請求項1または2に記載の産業車両用遠隔操作システム。 The time information addition unit is a projector that projects a number or a pattern onto the imaging region of the vehicle-mounted camera or the infrastructure camera, and the time information is a number representing a time or a pattern corresponding to the time. Item 2. The remote control system for industrial vehicles according to Item 1 or 2. 前記画像加工部は、前記時間差に応じて蓄積しておいた前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のうち前記遠隔操作装置への伝送遅れ量が少ない方を遅らせて表示させることを特徴とする請求項1〜4のいずれか1項に記載の産業車両用遠隔操作システム。 The image processing unit selects the image captured by the in-vehicle camera and the image captured by the infrastructure camera accumulated according to the time difference, whichever has the smaller transmission delay amount to the remote control device. The remote control system for an industrial vehicle according to any one of claims 1 to 4, wherein the display is delayed. 前記画像加工部は、前記時間差と操作量に応じた前記産業車両の仮想位置を前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のうち前記遠隔操作装置への伝送遅れ量が多い方に重畳表示させることを特徴とする請求項1〜5のいずれか1項に記載の産業車両用遠隔操作システム。
The image processing unit delays transmission of the virtual position of the industrial vehicle according to the time difference and the amount of operation from the image captured by the in-vehicle camera and the image captured by the infrastructure camera to the remote control device. The remote control system for an industrial vehicle according to any one of claims 1 to 5, wherein the image is superimposed on the larger amount.
JP2018163147A 2018-08-31 2018-08-31 Remote control system for industrial vehicles Active JP6965852B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018163147A JP6965852B2 (en) 2018-08-31 2018-08-31 Remote control system for industrial vehicles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018163147A JP6965852B2 (en) 2018-08-31 2018-08-31 Remote control system for industrial vehicles

Publications (2)

Publication Number Publication Date
JP2020036275A JP2020036275A (en) 2020-03-05
JP6965852B2 true JP6965852B2 (en) 2021-11-10

Family

ID=69668837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018163147A Active JP6965852B2 (en) 2018-08-31 2018-08-31 Remote control system for industrial vehicles

Country Status (1)

Country Link
JP (1) JP6965852B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7438017B2 (en) * 2020-05-11 2024-02-26 Go株式会社 Computer program, remote control device, and remote control method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5383121B2 (en) * 2008-08-29 2014-01-08 Jx日鉱日石エネルギー株式会社 Wireless heavy equipment remote control system
JP6063739B2 (en) * 2012-12-27 2017-01-18 株式会社第一興商 Singing video generation system
US20140240506A1 (en) * 2013-02-22 2014-08-28 Caterpillar Inc. Display System Layout for Remote Monitoring of Machines
JP6134301B2 (en) * 2014-09-29 2017-05-24 日立建機株式会社 Video transmission system for remote control of construction machinery
JP6605241B2 (en) * 2015-07-07 2019-11-13 日立建機株式会社 Remote control system

Also Published As

Publication number Publication date
JP2020036275A (en) 2020-03-05

Similar Documents

Publication Publication Date Title
CN110088035B (en) Crane with a movable crane
JP7431047B2 (en) Multifunctional shooting system
JP2019156641A (en) Image processing device for fork lift and control program
WO2019163378A1 (en) Forklift image processing device and control program
WO2018159016A1 (en) Bird's eye view image generation device, bird's eye view image generation system, bird's eye view image generation method and program
WO2021066138A1 (en) Operation assistance device for cargo handling vehicle
JP2020142903A (en) Image processing apparatus and control program
JP2019202877A (en) Remote control system for industrial vehicle
JP6965852B2 (en) Remote control system for industrial vehicles
JP2009227366A (en) Movable truck system
JP2021022802A (en) Industrial vehicle remote operation system
JP2018178878A (en) Industrial vehicle
JP7063283B2 (en) Cargo handling work support device for reach type forklift
JP7107078B2 (en) Cargo handling support device for reach-type forklifts
JP6988713B2 (en) Remote control system for industrial vehicles
JP7544649B2 (en) Cargo Handling System
JP2006273532A (en) Container handling crane
WO2019208266A1 (en) Industrial vehicle remote operation system, industrial vehicle, industrial vehicle remote operation program, industrial vehicle remote operation method, and remote operation device
WO2019208174A1 (en) Industrial vehicle remote system, industrial vehicle, remote device, industrial vehicle remote program, and industrial vehicle remote method
JP6965837B2 (en) Remote control system for forklifts
JP2021020793A (en) Operation supporting device for cargo handling vehicle
JP6464681B2 (en) Operation input device
JP6707601B2 (en) Unmanned transport system
WO2020049924A1 (en) Driving support device for industrial vehicle
EP4242166A1 (en) Industrial truck with display function for showing the driving direction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201109

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211004

R151 Written notification of patent or utility model registration

Ref document number: 6965852

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151