JP6965852B2 - Remote control system for industrial vehicles - Google Patents
Remote control system for industrial vehicles Download PDFInfo
- Publication number
- JP6965852B2 JP6965852B2 JP2018163147A JP2018163147A JP6965852B2 JP 6965852 B2 JP6965852 B2 JP 6965852B2 JP 2018163147 A JP2018163147 A JP 2018163147A JP 2018163147 A JP2018163147 A JP 2018163147A JP 6965852 B2 JP6965852 B2 JP 6965852B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- image
- remote control
- infrastructure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Forklifts And Lifting Vehicles (AREA)
- Traffic Control Systems (AREA)
- Selective Calling Equipment (AREA)
Description
本発明は、産業車両用遠隔操作システムに関するものである。 The present invention relates to a remote control system for an industrial vehicle.
フォークリフトにおいて周囲の環境を把握すべくカメラを搭載することが行われている(例えば、特許文献1)。 A camera is mounted on a forklift to grasp the surrounding environment (for example, Patent Document 1).
ところで、産業車両用遠隔操作システムにおいて、産業車両にカメラを搭載して画面を見て操作することになるが、車載カメラとインフラカメラは画像の伝送経路が異なるため、表示する画像に時間差が生じる。 By the way, in a remote control system for an industrial vehicle, a camera is mounted on the industrial vehicle and operated by looking at the screen. However, since the in-vehicle camera and the infrastructure camera have different image transmission paths, there is a time lag between the displayed images. ..
本発明の目的は、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる産業車両用遠隔操作システムを提供することにある。 An object of the present invention is to provide a remote control system for an industrial vehicle capable of reducing a time difference between an in-vehicle camera image and an infrastructure camera image to be displayed.
請求項1に記載の発明では、車両通信部を有する産業車両と、前記車両通信部と無線通信を行う操作装置通信部を有し、前記産業車両を遠隔操作するのに用いられる遠隔操作装置と、を備えた産業車両用遠隔操作システムであって、前記産業車両に搭載され、前記産業車両の周囲を撮像した画像が無線通信により前記遠隔操作装置に伝送される車載カメラと、前記産業車両が走行するインフラ側に設置され、前記産業車両の作業領域を撮像した画像が前記遠隔操作装置に伝送されるインフラカメラと、前記車載カメラ又は前記インフラカメラの撮像領域に時間情報を付加する時間情報付加部と、前記遠隔操作装置に設けられ、前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像を表示するための表示部と、前記車載カメラにより取得した前記時間情報を含む画像と前記インフラカメラにより取得した前記時間情報を含む画像とから時間差を求め、前記時間差に基づいて、前記表示部で表示させる前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のいずれかを加工する画像加工部と、を備えることを要旨とする。 In the invention according to claim 1, an industrial vehicle having a vehicle communication unit and a remote control device having an operation device communication unit that performs wireless communication with the vehicle communication unit and used to remotely control the industrial vehicle. An in-vehicle camera mounted on the industrial vehicle and an image of the surroundings of the industrial vehicle being transmitted to the remote control device by wireless communication, and the industrial vehicle. An infrastructure camera that is installed on the traveling infrastructure side and captures an image of the work area of the industrial vehicle is transmitted to the remote control device, and time information is added to the image pickup area of the in-vehicle camera or the infrastructure camera. A unit, a display unit provided in the remote control device for displaying an image captured by the vehicle-mounted camera and an image captured by the infrastructure camera, and the time information acquired by the vehicle-mounted camera are included. The time difference was obtained from the image and the image including the time information acquired by the infrastructure camera, and based on the time difference, the image captured by the in-vehicle camera displayed on the display unit and the image captured by the infrastructure camera were captured. The gist is to provide an image processing unit for processing any of the images.
請求項1に記載の発明によれば、時間情報付加部により、車載カメラ又はインフラカメラの撮像領域に時間情報が付加される。画像加工部により、車載カメラにより取得した時間情報を含む画像とインフラカメラにより取得した時間情報を含む画像とから時間差が求められ、時間差に基づいて、表示部で表示させる車載カメラにて撮像された画像及びインフラカメラにて撮像された画像のいずれかが加工される。よって、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。 According to the first aspect of the present invention, the time information addition unit adds time information to the imaging region of the vehicle-mounted camera or the infrastructure camera. The image processing unit calculates the time difference between the image including the time information acquired by the in-vehicle camera and the image including the time information acquired by the infrastructure camera, and based on the time difference, the image is captured by the in-vehicle camera displayed on the display unit. Either the image or the image captured by the infrastructure camera is processed. Therefore, it is possible to prevent a time difference between the in-vehicle camera image and the infrastructure camera image to be displayed.
請求項2に記載のように、請求項1に記載の産業車両用遠隔操作システムにおいて、前記インフラカメラによる画像は有線にて前記遠隔操作装置に伝送されるとよい。
請求項3に記載のように、請求項1または2に記載の産業車両用遠隔操作システムにおいて、前記時間情報付加部は前記車載カメラ又は前記インフラカメラの撮像領域に光を照射する照明であり、前記時間情報は前記照明の色彩の変化または照明の輝度の変化であるとよい。
As described in claim 2, in the remote control system for industrial vehicles according to claim 1, the image taken by the infrastructure camera may be transmitted to the remote control device by wire.
As described in claim 3, in the remote control system for industrial vehicles according to claim 1 or 2, the time information addition unit is an illumination that irradiates an imaging region of the vehicle-mounted camera or the infrastructure camera with light. The time information may be a change in the color of the illumination or a change in the brightness of the illumination.
請求項4に記載のように、請求項1または2に記載の産業車両用遠隔操作システムにおいて、前記時間情報付加部は前記車載カメラ又は前記インフラカメラの撮像領域に数字またはパターンを投影する投影機であり、前記時間情報は時刻を表す数字または時刻に応じたパターンであるとよい。 As described in claim 4, in the remote control system for industrial vehicles according to claim 1 or 2, the time information addition unit is a projector that projects a number or a pattern onto the imaging region of the in-vehicle camera or the infrastructure camera. The time information may be a number representing the time or a pattern corresponding to the time.
請求項5に記載のように、請求項1〜4のいずれか1項に記載の産業車両用遠隔操作システムにおいて、前記画像加工部は、前記時間差に応じて蓄積しておいた前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のうち前記遠隔操作装置への伝送遅れ量が少ない方を遅らせて表示させるとよい。 As described in claim 5, in the remote control system for industrial vehicles according to any one of claims 1 to 4, the image processing unit is stored in the in-vehicle camera accumulated according to the time difference. It is preferable to delay and display the image captured by the remote control device and the image captured by the infrastructure camera, whichever has the smaller transmission delay amount to the remote control device.
請求項6に記載のように、請求項1〜5のいずれか1項に記載の産業車両用遠隔操作システムにおいて、前記画像加工部は、前記時間差と操作量に応じた前記産業車両の仮想位置を前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のうち前記遠隔操作装置への伝送遅れ量が多い方に重畳表示させるとよい。 As described in claim 6, in the remote control system for industrial vehicles according to any one of claims 1 to 5, the image processing unit is a virtual position of the industrial vehicle according to the time difference and the amount of operation. Is superimposed and displayed on the image captured by the in-vehicle camera and the image captured by the infrastructure camera, whichever has the larger transmission delay amount to the remote control device.
本発明によれば、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。 According to the present invention, it is possible to reduce a time difference between the in-vehicle camera image and the infrastructure camera image to be displayed.
以下、本発明を具体化した一実施形態を図面に従って説明する。
図1に示すように、産業車両用遠隔操作システム10は、産業車両としてのリーチ式フォークリフト20と、リーチ式フォークリフト20を遠隔操作するのに用いられる遠隔操作装置40と、を備えている。リーチ式フォークリフト20は作業場に配置される。そして、遠隔操作装置40を用いて操作室から作業場のリーチ式フォークリフト20を遠隔操作することができるようになっている、
図4に示すように、作業場においては、棚T1が設置されている。棚T1は2段にわたりパレット80及び荷物Wを配置することができる。つまり、下の段においてパレット80に荷物Wが配置されるとともに、その上の段においてパレット80に荷物Wが配置される。この状態から、操作者はリーチ式フォークリフト20を遠隔操作して荷物を取りに行く。
Hereinafter, an embodiment embodying the present invention will be described with reference to the drawings.
As shown in FIG. 1, the
As shown in FIG. 4, a shelf T1 is installed in the workplace. The
図4において、各パレット80にはフォーク挿入用穴が形成されており、このフォーク挿入用穴にフォークが差し込まれる。
図2に示すように、リーチ式フォークリフト20の機台21には荷役装置22が設けられている。荷役装置22は前方へ延出している一対のリーチレグ23を備える。各リーチレグ23にはそれぞれ前輪24が設けられている。つまり、機台21の前側に左右一対の前輪24が設けられている。また、機台21の後ろ側には後輪25が設けられている。本実施形態では、後輪25が、操舵輪及び駆動輪となる。
In FIG. 4, each
As shown in FIG. 2, a
荷役装置22は、2段式のマスト26を備える。マスト26は、アウタマスト27と、インナマスト28とを備える。
荷役装置22は、一対のフォーク31と、フォーク31をマスト26に固定するリフトブラケット32とを備える。フォーク31及びリフトブラケット32は、インナマスト28の昇降とともに昇降する。
The
The
リーチ式フォークリフト20には各種のアクチュエータが備えられている。具体的には例えば、走行用アクチュエータとしての後輪25を駆動させる走行モータ33、昇降用アクチュエータとしてのインナマスト28に連結されたリフトシリンダ29、リーチ用アクチュエータとしてのマスト26に連結されたリーチシリンダ30等が挙げられる。インナマスト28は、リフトシリンダ29への作動油の給排によって昇降する。マスト26は、リーチシリンダ30への作動油の給排によってリーチレグ23に沿って移動する。
The
図1に示すように、リーチ式フォークリフト20は、フォークリフト搭載機器50として、コントローラ51と、車両通信部としての無線ユニット52と、画像信号処理部53と、車両通信部としての無線機54と、車載カメラ71を有する。
As shown in FIG. 1, the
遠隔操作装置40は、コントローラ61と、操作部62と、表示部(モニタ)63,64と、操作装置通信部としての無線機65,66を有する。遠隔操作装置40において、操作室側機器60として、コントローラ61と操作部62と表示部(モニタ)63,64を備える。
The
遠隔操作装置40の無線機65は作業場に配置されている。また、遠隔操作装置40の無線機66は作業場に配置されている。操作室に配置されるコントローラ61は有線L1により作業場に配置した無線機65と接続されている。コントローラ61は有線L2により作業場に配置した無線機66と接続されている。
The
作業場において、遠隔操作装置40の無線機65とフォークリフト搭載機器50の無線ユニット52とは双方向に無線通信できる。また、作業場において、フォークリフト搭載機器50の無線機54から遠隔操作装置40の無線機66に無線で通信できる。
In the workplace, the
このようにして、リーチ式フォークリフト20は無線ユニット52及び無線機54を有し、遠隔操作装置40は、無線ユニット52及び無線機54と無線通信を行う無線機65,66を有する。
In this way, the
遠隔操作装置40のコントローラ61は操作部62及び表示部(モニタ)63,64と接続されている。操作部62は、操作者によりリーチ式フォークリフト20を遠隔操作するためのものであり、操作者によるリーチ式フォークリフト20の操作内容(リフト、リーチ、ティルトの操作指令値、及び、速度、加速度、操舵角の操作指令値等)がコントローラ61に送られる。コントローラ61は、リフト、リーチ、ティルトの操作指令値、及び、速度、加速度、操舵角の操作指令値等の車両制御信号を、無線機65を介してフォークリフト搭載機器50の無線ユニット52に無線送信する。
The
フォークリフト搭載機器50において、コントローラ51と無線ユニット52と画像信号処理部53とは、それぞれ相互に通信(例えばCAN通信)可能に接続されている。コントローラ51は遠隔操作装置40側からの指示により走行系アクチュエータ(走行モータ33、図示しない操舵モータ等)及び荷役系アクチュエータ(リフトシリンダ29、リーチシリンダ30、図示しないティルトシリンダ等)を駆動することができる。
In the forklift-mounted
無線ユニット52は、リーチ式フォークリフト20の車速等の車両情報、異常情報(障害物検知情報等)を、無線機65を介してコントローラ61に無線送信する。
図1において、コントローラ61は、無線機65、無線ユニット52及びコントローラ51を介してリーチ式フォークリフト20の走行及び荷役装置22による荷役を遠隔操作することができるようになっている。
The
In FIG. 1, the
そして、遠隔操作装置40において、操作部62を用いて操作者が所望の操作を行うとコントローラ61により操作内容が無線機65を介してリーチ式フォークリフト20側に送られる。リーチ式フォークリフト20において、無線ユニット52で遠隔操作装置40からの操作内容が受信され、コントローラ51によりアクチュエータ部が駆動されて所望の動作が実行される。
Then, in the
図2及び図3に示すように、リーチ式フォークリフト20において機台21に車載カメラ71が前方を向くように取り付けられており、車載カメラ71は、リーチ式フォークリフト20の周囲を撮像する。具体的には、車載カメラ71は、リーチ式フォークリフト20の進行方向前方を撮像する。
As shown in FIGS. 2 and 3, in the
リーチ式フォークリフト20において、車載カメラ71により撮像された画像はコントローラ51により画像信号処理部53及び無線機54を介して遠隔操作装置40側に送られる。つまり、リーチ式フォークリフト20に搭載された車載カメラ71の画像は無線通信により遠隔操作装置40に伝送される。遠隔操作装置40において、無線機66でリーチ式フォークリフト20からの車載カメラ画像が受信されてコントローラ61により表示部63で表示される。図5には表示部63の画面を示す。図5において表示部63はディスクトップ型ディスプレイであって、表示画面63aを有する。
In the
図4に示すように、リーチ式フォークリフト20が走行するインフラ側にはインフラカメラ72が設置されている。具体的には、棚T1の上部にはインフラカメラ72が固定されている。インフラカメラ72は棚T1の前方の床面を向くように取り付けられており、インフラカメラ72は、リーチ式フォークリフト20の作業領域、即ち、棚T1の前方領域を撮像することができる。図1に示すように、インフラカメラ72は有線L3により遠隔操作装置40のコントローラ61と接続されている。インフラカメラ72により撮像した画像は有線L3にて遠隔操作装置40に伝送されて、コントローラ61により表示部64で表示される。図6には表示部64の画面を示す。図6において表示部64はディスクトップ型ディスプレイであって、表示画面64aを有する。
As shown in FIG. 4, an
インフラカメラ72の視野にリーチ式フォークリフト20が入ってくることにより同じ撮像対象に対して異なるカメラ(車載カメラ71、インフラカメラ72)で撮像しており、遠隔操作装置40に設けられた表示部63において、車載カメラ71にて撮像された画像が表示される。また、遠隔操作装置40に設けられた表示部64において、インフラカメラ72にて撮像された画像が表示される。操作者は表示部63,64における車載カメラ画像及びインフラカメラ画像を見ながら操作することになる。
By entering the
図2に示すように、リーチ式フォークリフト20の機台21には照明(ライト)55が取り付けられている。照明55は、リーチ式フォークリフト20の進行方向前方に光を照射できるようになっている。照射範囲は車載カメラ71の撮像領域、インフラカメラ72の撮像領域を含んでいる。照明55は、図1に示すように、赤色光源55aと緑色光源55bを備えており、照明55から赤色光または緑色光を発射することができる。具体的には、無線ユニット52により、照明55から赤色光、緑色光、赤色光、緑色光、・・・というように赤色光と緑色光を交互に発射する。
As shown in FIG. 2, a light 55 is attached to the
これにより、車載カメラ71による画像は、照明の色彩の変化である時間情報を含むことになる。また、インフラカメラ72による画像は、照明の色彩の変化である時間情報を含むことになる。つまり、車載カメラ画像とインフラカメラ画像とで同期をとるためのトリガとして交互に出力される赤色光/緑色光を用いて時間情報がカメラ画像に含まれるようになっている。
As a result, the image taken by the vehicle-mounted
このように、車載カメラ71又はインフラカメラ72の撮像領域に時間情報を付加する時間情報付加部としての照明55を有し、照明55は車載カメラ71又はインフラカメラ72の撮像領域に光を照射する。時間情報は照明の色彩の変化である。
As described above, the
コントローラ61は、画像加工部としてのマイコン61aと、時間情報を含む画像データが記憶されるメモリ61bを有する。
次に、作用について説明する。
The
Next, the action will be described.
車載カメラ画像とインフラカメラ画像では遠隔操作装置40への伝送遅れ量が状況によって変わってくるので随時同期をとる必要がある。
リーチ式フォークリフト20は走行しながら、無線ユニット52が、照明55から赤色光、緑色光、赤色光、緑色光、・・・というように赤色光と緑色光を交互に発射させる。
Since the amount of transmission delay to the
While the
つまり、図7に示すように、車載の照明55から赤色光RLが前方の床面に照射される。そして、車載カメラ71及びインフラカメラ72において、撮像された画像には照明55の赤色光RLが捉えられる。また、図8に示すように、車載の照明55から緑色光GLが前方の床面に照射される。そして、車載カメラ71及びインフラカメラ72において、撮像された画像には照明55の緑色光GLが捉えられる。
That is, as shown in FIG. 7, red light RL is emitted from the in-
車載カメラ71による画像は無線にて遠隔操作装置40に伝送される。インフラカメラ72による画像は有線L3にて遠隔操作装置40に伝送される。
図9に示すように、コントローラ61のマイコン61aは、時間情報(照明の色彩の変化)を含む車載カメラ71による画像と、時間情報(照明の色彩の変化)を含むインフラカメラ72による画像を入力する。そして、画像加工部としてのコントローラ61のマイコン61aは、車載カメラ71により取得した時間情報を含む画像とインフラカメラ72により取得した時間情報を含む画像とから時間差を求め、時間差に基づいて、表示部63,64で表示させる車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のいずれかを加工する。
The image taken by the in-
As shown in FIG. 9, the
このように車載カメラ71の画像とインフラカメラ72の画像とが時間差の少ない画像となるように(詳しくは同期するように)調整することにより、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。
By adjusting the image of the in-
以下、詳しく説明する。
遠隔操作システムにおいて、車載カメラ71で進行方向を撮像して表示することにより進行方向を確認し、インフラカメラ72でリーチ式フォークリフトの周辺を撮像して表示することによりリーチ式フォークリフトの周辺の安全確認を行い、操作性を確保する。ここで、車載カメラ71の画像は無線で無線機66に伝送されて表示部63で表示される。一方、インフラカメラ72の画像は有線L3で遠隔操作装置40に伝送されて表示部64で表示される。車載カメラ71とインフラカメラ72は、画像の伝送経路が異なるため、表示する画像に時間差τが生じる。画像の時間差τにより、視認性と操作性が低下する。つまり、車載カメラ71の画像とインフラカメラ72の画像とでは、時間差τがある画像となってしまい操作がしにくい。
The details will be described below.
In the remote control system, the direction of travel is confirmed by imaging and displaying the direction of travel with the in-
本実施形態では、車載カメラ71から時間情報を含む画像を取得するとともにインフラカメラ72から時間情報を含む画像を取得して、時間差の無い画像に加工する。そのために、リーチ式フォークリフトの機台に照明(ライト)55を設置して、照明(ライト)55の光源は、一定間隔で色を変化させる。車載カメラ71とインフラカメラ72の画像について、それぞれで光源の色を検出し、画像データをメモリ61bに格納する。そして、色情報の変化を基準としてタイミングを合わせて格納した画像データを表示する。つまり、色情報の変化を基準に、図9での色情報の時間差τを無くすべくタイミングを合わせて画像を表示する。
In the present embodiment, an image including time information is acquired from the in-
即ち、図9ではインフラカメラ画像に比べ車載カメラ画像が遅れて遠隔操作装置40に伝送されるのでインフラカメラ画像をメモリ61bにバッファリング(保存)しておき、画像の色の変化を判定しながら車載カメラ画像とインフラカメラ画像を同期させた状態で送出して表示部63,64で表示させる。つまり、マイコン61aは、時間差τに応じて蓄積しておいた車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のうち遠隔操作装置40への伝送遅れ量が少ない方(図9ではインフラカメラ画像)を遅らせて表示させる。
That is, in FIG. 9, since the in-vehicle camera image is transmitted to the
その結果、表示する車載カメラ画像とインフラカメラ画像の時間差がなくなり、操作性が向上する。
上記実施形態によれば、以下のような効果を得ることができる。
As a result, the time difference between the in-vehicle camera image to be displayed and the infrastructure camera image is eliminated, and the operability is improved.
According to the above embodiment, the following effects can be obtained.
(1)産業車両用遠隔操作システム10の構成として、車両通信部としての無線ユニット52及び無線機54を有する産業車両としてのリーチ式フォークリフト20と、車両通信部としての無線ユニット52及び無線機54と無線通信を行う操作装置通信部としての無線機65,66を有し、リーチ式フォークリフト20を遠隔操作するのに用いられる遠隔操作装置40と、を備える。リーチ式フォークリフト20に搭載され、リーチ式フォークリフト20の周囲を撮像した画像が無線通信により遠隔操作装置40に伝送される車載カメラ71と、リーチ式フォークリフト20が走行するインフラ側に設置され、リーチ式フォークリフト20の作業領域を撮像した画像が遠隔操作装置40に伝送されるインフラカメラ72と、車載カメラ71又はインフラカメラ72の撮像領域に時間情報を付加する時間情報付加部としての照明55と、遠隔操作装置40に設けられ、車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像を表示するための表示部63,64と、車載カメラ71により取得した時間情報を含む画像とインフラカメラ72により取得した時間情報を含む画像とから時間差を求め、時間差に基づいて、表示部63,64で表示させる車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のいずれかを加工する画像加工部としてのマイコン61aと、を備える。よって、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。
(1) As a configuration of the
(2)インフラカメラ72による画像は有線L3にて遠隔操作装置40に伝送される場合に有用である。
(3)時間情報付加部は車載カメラ71又はインフラカメラ72の撮像領域に光を照射する照明55であり、時間情報は照明の色彩の変化であるので、時間情報を含むカメラ画像を得ることができる。
(2) The image taken by the
(3) The time information addition unit is an
(4)画像加工部としてのマイコン61aは、時間差に応じて蓄積しておいた車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のうち遠隔操作装置40への伝送遅れ量が少ない方を遅らせて表示させるので、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくすることができる。
(4) The
実施形態は前記に限定されるものではなく、例えば、次のように具体化してもよい。
○ 照明の色彩の変化により時間情報を含むカメラ画像を得るようにしたが、これに代わり、一色の照明を用いて照明のオン/オフにより時間情報を含むカメラ画像を得るようにしてもよい。
The embodiment is not limited to the above, and may be embodied as follows, for example.
○ A camera image including time information is obtained by changing the color of the lighting, but instead, a camera image including time information may be obtained by turning on / off the lighting using a single color lighting.
○ 時間情報は照明の色彩の変化であったが、これに代わり、時間情報付加部は車載カメラ71又はインフラカメラ72の撮像領域に光を照射する照明であり、時間情報は照明の輝度の変化であってもよい。例えば白色光を用いて輝度を変化させてもよい。
○ The time information was a change in the color of the lighting, but instead, the time information addition part is the lighting that irradiates the imaging area of the in-
○ 図7,8に代わり図10に示すように、投影機56を用いて時刻を表す数字を床面に投影して車載カメラ71及びインフラカメラ72で撮影してマイコン61aにおいて画像認識により時刻を読み取って、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくしてもよい(同期させてもよい)。このように、時間情報付加部は車載カメラ71又はインフラカメラ72の撮像領域に数字を投影する投影機56であり、時間情報は時刻を表す数字であってもよい。
○ As shown in FIG. 10 instead of FIGS. 7 and 8, the
○ 他にも、投影機を用いて床面に図11に示すような時刻に応じたパターンを投影して、これを車載カメラ71及びインフラカメラ72で撮影してマイコン61aにおいて画像認識によりパターンを読み取って、表示する車載カメラ画像とインフラカメラ画像に時間差を生じにくくしてもよい。詳しくは、図11においては、長方形の全体部分100を4つの長方形のブロック101,102,103,104に分割して所定時間毎に(図11では1秒毎に)、ブロック101→ブロック102→ブロック103→ブロック104→ブロック101→・・・を順に投影していく。このようにして、時間情報付加部は車載カメラ71又はインフラカメラ72の撮像領域にパターンを投影する投影機であり、時間情報は時刻に応じたパターンであってもよい。
○ In addition, a projector is used to project a pattern according to the time as shown in FIG. 11, which is photographed by the in-
○ カメラ画像から画像認識により時間情報を読み取った後の表示のしかたとして、車載カメラ画像については最新の画像に対し予想されるフォーク位置での画像も重ねて表示するようにしてもよい。 ○ As a method of displaying after reading the time information from the camera image by image recognition, the in-vehicle camera image may be displayed by superimposing the image at the expected fork position on the latest image.
例えば、マイコン61aにおいて車載カメラ71により取得した時間情報を含む画像とインフラカメラ72により取得した時間情報を含む画像から時間差(ずれ)τを求めて最新の車載カメラ画像に対し、操作量に応じて予測されるフォークの画像を重ね合わせる。そして、表示画面において、図12に示すように、画像加工部としてのマイコン61aは、時間差τと操作量に応じたリーチ式フォークリフト20の仮想位置(フォークの予想位置)を車載カメラ71にて撮像された画像及びインフラカメラ72にて撮像された画像のうち遠隔操作装置40への伝送遅れ量が多い方に重畳表示させる。詳しくは、前のタイミングで撮像したフォーク31aを有するカメラ画像に対し、予想されるフォーク31bの画像を出力し、オーバーレイ画像にする。より詳しくは、時間差からフォークの位置を推定し、カメラ画像にオーバーレイ表示する。具体的には、図12においては、リーチ動作における前後のフォークが重なるように表示する。
For example, in the
このように、オーバーレイ方式を用いて、車載カメラについてはフォークの位置を予測して重畳することとし、そのための加工方法として同期がとれた後において、時間情報からの遅れ(τ)と操作量から予測したフォークも重ねて表示するようにしてもよい。 In this way, using the overlay method, the position of the fork is predicted and superimposed on the in-vehicle camera, and after synchronization is achieved as a processing method for that purpose, the delay (τ) from the time information and the amount of operation are used. The predicted fork may also be displayed in an overlapping manner.
○ 照明55は車両側に設置したが(リーチ式フォークリフトに搭載したが)、インフラ側に設置してもよい。
○ 車載カメラの台数は問わない。
○ Although the
○ The number of in-vehicle cameras does not matter.
○ インフラカメラの台数は問わない。
○ 車載カメラ71は画像を無線通信により遠隔操作装置40に伝送するとともにインフラカメラ72は有線により画像を遠隔操作装置40に伝送したが、これに限るものではない。例えば、インフラカメラ72は無線により画像を遠隔操作装置40に伝送するシステム構成とした場合に適用してもよい。つまり、有線と無線以外にも無線と無線でも画像伝送に遅れが生じるのでインフラカメラ画像も無線で伝送する場合に適用してもよい。また、伝送長さや方式や使用環境が異なる場合にも画像伝送に遅れが生じるのでその場合に適用してもよい。
○ The number of infrastructure cameras does not matter.
○ The in-
○ 産業車両はリーチ式フォークリフトであったが、これに限るものではなく、リーチ式フォークリフト以外の産業車両であってもよい。例えば牽引車等でもよい。 ○ The industrial vehicle was a reach type forklift, but it is not limited to this, and may be an industrial vehicle other than the reach type forklift. For example, a towing vehicle may be used.
10…産業車両用遠隔操作システム、20…リーチ式フォークリフト、40…遠隔操作装置、52…無線ユニット、54…無線機、55…照明、61a…マイコン、63,64…表示部、65,66…無線機、71…車載カメラ、72…インフラカメラ、L3…有線。 10 ... Remote control system for industrial vehicles, 20 ... Reach type forklift, 40 ... Remote control device, 52 ... Radio unit, 54 ... Radio, 55 ... Lighting, 61a ... Microcomputer, 63, 64 ... Display, 65, 66 ... Radio, 71 ... in-vehicle camera, 72 ... infrastructure camera, L3 ... wired.
Claims (6)
前記車両通信部と無線通信を行う操作装置通信部を有し、前記産業車両を遠隔操作するのに用いられる遠隔操作装置と、
を備えた産業車両用遠隔操作システムであって、
前記産業車両に搭載され、前記産業車両の周囲を撮像した画像が無線通信により前記遠隔操作装置に伝送される車載カメラと、
前記産業車両が走行するインフラ側に設置され、前記産業車両の作業領域を撮像した画像が前記遠隔操作装置に伝送されるインフラカメラと、
前記車載カメラ又は前記インフラカメラの撮像領域に時間情報を付加する時間情報付加部と、
前記遠隔操作装置に設けられ、前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像を表示するための表示部と、
前記車載カメラにより取得した前記時間情報を含む画像と前記インフラカメラにより取得した前記時間情報を含む画像とから時間差を求め、前記時間差に基づいて、前記表示部で表示させる前記車載カメラにて撮像された画像及び前記インフラカメラにて撮像された画像のいずれかを加工する画像加工部と、
を備えることを特徴とする産業車両用遠隔操作システム。 Industrial vehicles with a vehicle communication department and
An operation device that has an operation device communication unit that performs wireless communication with the vehicle communication unit, and a remote control device that is used to remotely control the industrial vehicle.
It is a remote control system for industrial vehicles equipped with
An in-vehicle camera mounted on the industrial vehicle and an image of the surroundings of the industrial vehicle being transmitted to the remote control device by wireless communication.
An infrastructure camera that is installed on the infrastructure side on which the industrial vehicle travels and that captures an image of the work area of the industrial vehicle is transmitted to the remote control device.
A time information addition unit that adds time information to the imaging region of the vehicle-mounted camera or the infrastructure camera,
A display unit provided in the remote control device for displaying an image captured by the in-vehicle camera and an image captured by the infrastructure camera.
The time difference is obtained from the image including the time information acquired by the vehicle-mounted camera and the image including the time information acquired by the infrastructure camera, and based on the time difference, the image is captured by the vehicle-mounted camera displayed on the display unit. An image processing unit that processes either the image or the image captured by the infrastructure camera,
A remote control system for industrial vehicles characterized by being equipped with.
The image processing unit delays transmission of the virtual position of the industrial vehicle according to the time difference and the amount of operation from the image captured by the in-vehicle camera and the image captured by the infrastructure camera to the remote control device. The remote control system for an industrial vehicle according to any one of claims 1 to 5, wherein the image is superimposed on the larger amount.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018163147A JP6965852B2 (en) | 2018-08-31 | 2018-08-31 | Remote control system for industrial vehicles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018163147A JP6965852B2 (en) | 2018-08-31 | 2018-08-31 | Remote control system for industrial vehicles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020036275A JP2020036275A (en) | 2020-03-05 |
| JP6965852B2 true JP6965852B2 (en) | 2021-11-10 |
Family
ID=69668837
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018163147A Active JP6965852B2 (en) | 2018-08-31 | 2018-08-31 | Remote control system for industrial vehicles |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6965852B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7438017B2 (en) * | 2020-05-11 | 2024-02-26 | Go株式会社 | Computer program, remote control device, and remote control method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5383121B2 (en) * | 2008-08-29 | 2014-01-08 | Jx日鉱日石エネルギー株式会社 | Wireless heavy equipment remote control system |
| JP6063739B2 (en) * | 2012-12-27 | 2017-01-18 | 株式会社第一興商 | Singing video generation system |
| US20140240506A1 (en) * | 2013-02-22 | 2014-08-28 | Caterpillar Inc. | Display System Layout for Remote Monitoring of Machines |
| JP6134301B2 (en) * | 2014-09-29 | 2017-05-24 | 日立建機株式会社 | Video transmission system for remote control of construction machinery |
| JP6605241B2 (en) * | 2015-07-07 | 2019-11-13 | 日立建機株式会社 | Remote control system |
-
2018
- 2018-08-31 JP JP2018163147A patent/JP6965852B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020036275A (en) | 2020-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110088035B (en) | Crane with a movable crane | |
| JP7431047B2 (en) | Multifunctional shooting system | |
| JP2019156641A (en) | Image processing device for fork lift and control program | |
| WO2019163378A1 (en) | Forklift image processing device and control program | |
| WO2018159016A1 (en) | Bird's eye view image generation device, bird's eye view image generation system, bird's eye view image generation method and program | |
| WO2021066138A1 (en) | Operation assistance device for cargo handling vehicle | |
| JP2020142903A (en) | Image processing apparatus and control program | |
| JP2019202877A (en) | Remote control system for industrial vehicle | |
| JP6965852B2 (en) | Remote control system for industrial vehicles | |
| JP2009227366A (en) | Movable truck system | |
| JP2021022802A (en) | Industrial vehicle remote operation system | |
| JP2018178878A (en) | Industrial vehicle | |
| JP7063283B2 (en) | Cargo handling work support device for reach type forklift | |
| JP7107078B2 (en) | Cargo handling support device for reach-type forklifts | |
| JP6988713B2 (en) | Remote control system for industrial vehicles | |
| JP7544649B2 (en) | Cargo Handling System | |
| JP2006273532A (en) | Container handling crane | |
| WO2019208266A1 (en) | Industrial vehicle remote operation system, industrial vehicle, industrial vehicle remote operation program, industrial vehicle remote operation method, and remote operation device | |
| WO2019208174A1 (en) | Industrial vehicle remote system, industrial vehicle, remote device, industrial vehicle remote program, and industrial vehicle remote method | |
| JP6965837B2 (en) | Remote control system for forklifts | |
| JP2021020793A (en) | Operation supporting device for cargo handling vehicle | |
| JP6464681B2 (en) | Operation input device | |
| JP6707601B2 (en) | Unmanned transport system | |
| WO2020049924A1 (en) | Driving support device for industrial vehicle | |
| EP4242166A1 (en) | Industrial truck with display function for showing the driving direction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201109 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210915 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210921 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211004 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6965852 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |