JP6707600B2 - Transport system - Google Patents
Transport system Download PDFInfo
- Publication number
- JP6707600B2 JP6707600B2 JP2018180281A JP2018180281A JP6707600B2 JP 6707600 B2 JP6707600 B2 JP 6707600B2 JP 2018180281 A JP2018180281 A JP 2018180281A JP 2018180281 A JP2018180281 A JP 2018180281A JP 6707600 B2 JP6707600 B2 JP 6707600B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- vehicle
- ceiling
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
本発明は、無人飛行体と、有人無人兼用の搬送車とを用いた搬送システムに関する。 The present invention relates to a transport system using an unmanned aerial vehicle and a guided vehicle for manned and unmanned use.
従来、工場や倉庫内で利用される搬送車として、オペレータの操作によって動作する有人運転モードと、制御手段によって動作する無人運転モードとを備えた有人無人兼用の搬送車が知られている。この種の搬送車の無人運転モード時における誘導方式として、例えば、特許文献1に開示の誘導方式が知られている。この誘導方式では、搬送車が、撮像部を備えており、撮像部によって路面に敷設された誘導ラインを撮像し、撮像された画像内の誘導ラインの位置に基づいて、誘導ライン上を走行する。 2. Description of the Related Art Conventionally, as a carrier used in factories and warehouses, a manned and unmanned carrier that has an attended operation mode operated by an operator and an unattended operation mode operated by a control unit is known. As a guidance system in the unmanned operation mode of this type of transport vehicle, for example, the guidance system disclosed in Patent Document 1 is known. In this guide system, the transport vehicle is provided with an image pickup unit, images the guide line laid on the road surface by the image pickup unit, and travels on the guide line based on the position of the guide line in the captured image. ..
上記誘導ラインは、路面に貼付されたテープや路面に塗布された塗料などからなり、路面とは明確に異なる色彩が着色されている。しかしながら、このような誘導ラインは、路面に敷設されていることから、汚れたり、剥がれたりしやすい。このため、搬送車は、このような誘導ラインの汚れまたは剥がれによって誘導ラインを認識できず、走行を停止するという問題があった。 The guide line is made of a tape attached to the road surface or a paint applied to the road surface, and is colored in a color that is clearly different from the road surface. However, since such a guide line is laid on the road surface, it is easily soiled or peeled off. For this reason, there is a problem that the transport vehicle cannot recognize the guide line due to such dirt or peeling of the guide line and stops traveling.
そこで、このような問題の解決方法として、例えば、電磁誘導による搬送車の誘導方式がある(特許文献2参照)。この誘導方式では、搬送車は、ピックアップコイルを備え、路面に埋設されたトウパスワイヤの誘起磁界をピックアップコイルによって検出し、検出された誘起磁界に基づいて、ステアリングモータを制御することにより、トウパスワイヤに沿って走行する。このため、この誘導方式は、路面の汚れや剥がれの影響を受けにくい。 Therefore, as a method for solving such a problem, for example, there is a guide system for a guided vehicle by electromagnetic induction (see Patent Document 2). In this guidance system, the guided vehicle is equipped with a pickup coil, the induced magnetic field of the tow path wire buried in the road surface is detected by the pickup coil, and the steering motor is controlled based on the detected induced magnetic field, so that the tow path wire is guided. Run. Therefore, this guidance system is not easily affected by dirt and peeling of the road surface.
しかしながら、トウパスワイヤを床に埋設することは、面倒である。また、この誘導方式では、工場や倉庫内のレイアウト変更のたびに、トウパスワイヤを改めて床に埋設しなければならないという問題があった。 However, burying tow path wires in the floor is tedious. Further, this guide system has a problem that the tow path wire has to be buried in the floor again each time the layout in the factory or warehouse is changed.
一方、有人運転モード時においては、未熟なオペレータによる荷役作業が滞るという問題があった。したがって、作業効率の観点から、未熟なオペレータを補助するシステムが望まれていた。 On the other hand, in the manned operation mode, there is a problem that the cargo handling work by an inexperienced operator is delayed. Therefore, a system that assists an inexperienced operator is desired from the viewpoint of work efficiency.
そこで、本発明が解決しようとする課題は、路面に誘導ラインを予め設けることなく、無人運転モード時の搬送車を誘導することができ、しかも、有人運転モード時においては、オペレータの荷役作業を補助することができる搬送システムを提供することにある。 Therefore, the problem to be solved by the present invention is to guide a guided vehicle in an unmanned operation mode without previously providing a guide line on the road surface, and further, in the manned operation mode, the loading and unloading work of the operator is performed. It is to provide a transport system that can assist.
上記課題を解決するために本発明に係る搬送システムは、
無人運転モードおよび有人運転モードで動作する搬送車を備えた搬送システムであって、
ホバリング可能な無人飛行体と、
荷役作業に係る荷物の情報を含む荷役情報を記憶している荷役情報記憶部と、
搬送車の予め定められた走行経路を記憶している走行経路記憶部と、
無人飛行体の位置に対応する走行経路の一部を無人運転モード時の搬送車を誘導する誘導経路として抽出する誘導経路抽出部と、を備え、
無人飛行体は、
自機の位置を検出する自機位置検出部と、
自機の飛行を制御する飛行制御部と、
搬送車の無人運転モード時において、誘導経路抽出部が抽出した誘導経路の画像を路面に投影し、搬送車の有人運転モード時において、誘導経路の画像とは異なるとともに荷役情報を示す画像を路面に投影する投影部と、を有し、
搬送車は、
路面を撮像する路面撮像部と、
路面撮像部によって撮像された路面の画像を解析して誘導経路を検出する誘導経路検出部と、
検出された誘導経路に基づいて、ステアリング制御するステアリング制御部と、を有する、ことを特徴とする。
In order to solve the above problems, the transport system according to the present invention is
A transport system including a transport vehicle that operates in an unmanned operation mode and a manned operation mode,
With an unmanned aerial vehicle capable of hovering,
A cargo- handling information storage unit that stores cargo-handling information including information on luggage related to cargo-handling work ;
A travel route storage unit that stores a predetermined travel route of the transport vehicle;
A guide route extraction unit that extracts a part of the traveling route corresponding to the position of the unmanned air vehicle as a guide route for guiding the guided vehicle in the unmanned operation mode,
Unmanned air vehicles
A position detecting unit for detecting the position of the own device,
A flight control unit that controls the flight of the aircraft,
In the unmanned operation mode of the guided vehicle, the image of the guide route extracted by the guide route extraction unit is projected on the road surface, and in the manned operation mode of the guided vehicle, an image showing the cargo handling information different from the image of the guided route is displayed on the road surface. A projection unit for projecting onto
The carrier is
A road surface imaging unit for imaging the road surface,
A guide route detection unit that detects a guide route by analyzing an image of the road surface captured by the road surface image capturing unit,
A steering control unit that controls steering based on the detected guide route.
上記搬送システムは、好ましくは、
オペレータから搬送車に係る配車予約を受け付ける予約受付部をさらに備え、
投影部は、搬送車の有人運転モード時において、予約受付部が受け付けた配車予約時間を示す画像を路面にさらに投影する。
The transfer system is preferably
Further comprising a reservation reception unit for receiving a vehicle allocation reservation related to a carrier from an operator,
The projection unit further projects an image indicating the vehicle allocation reservation time received by the reservation reception unit on the road surface in the manned driving mode of the transport vehicle.
上記搬送システムでは、好ましくは、
無人飛行体は、
自機の上方を撮像する上方撮像部と、
予め撮像された自機の上方の画像を位置情報と関連付けて記憶している天井画像記憶部と、をさらに有し、
自機位置検出部は、
上方撮像部によって撮像された現在の自機の上方の画像と、天井画像記憶部に記憶されている自機の上方の画像とを照合する照合部と、
照合部が照合した結果に基づいて、自機の位置を特定する自機位置特定部と、を有する。
In the above transfer system, preferably,
Unmanned air vehicles
An upper image pickup unit that picks up an image of the upper part of the aircraft,
A ceiling image storage unit that stores a pre-captured image of the upper side of the aircraft in association with position information,
The own position detector is
A collation unit that collates the current image of the upper side of the own device captured by the upper image capturing unit with the image of the upper side of the own device stored in the ceiling image storage unit,
The own-unit position specifying unit that specifies the position of the own device based on the result of the matching performed by the matching unit.
天井に天井マーカが設けられた屋内において、上記搬送システムでは、好ましくは、
天井画像記憶部は、予め撮像された天井マーカを含む天井の画像を位置情報と関連付けて記憶しており、
照合部は、上方撮像部によって撮像された天井の画像と、天井画像記憶部に記憶されている天井の画像とを照合する。
In the indoor where the ceiling marker is provided on the ceiling, in the above-mentioned transfer system, preferably,
The ceiling image storage unit stores the image of the ceiling including the ceiling marker captured in advance in association with the position information,
The matching unit matches the ceiling image captured by the upper imaging unit with the ceiling image stored in the ceiling image storage unit.
上記搬送システムでは、好ましくは、
無人飛行体は、
天井マーカに赤外線を照射する赤外線照射部をさらに有し、
天井マーカは、再帰性反射材であり、
上方撮像部は、赤外線カメラであり、赤外線で照射された天井マーカを含む天井の画像を撮像する。
In the above transfer system, preferably,
Unmanned air vehicles
Further has an infrared irradiation unit for irradiating the ceiling marker with infrared rays,
The ceiling marker is a retroreflective material,
The upper imaging unit is an infrared camera, and captures an image of the ceiling including the ceiling marker illuminated with infrared light.
上記搬送システムでは、好ましくは、
荷役情報は、荷取位置および荷置位置のいずれか一方または両方をさらに含み、
上記搬送システムは、
荷取位置または荷置位置と、無人飛行体の位置とに基づいて、無人飛行体から荷取位置または荷置位置への方角を特定する方角特定部をさらに備え、
無人飛行体は、
下方を撮像する下方撮像部と、
下方撮像部が撮像した画像に基づいて、搬送車を検出する車検出部と、をさらに有し、
搬送車の有人運転モード時において、
飛行制御部は、無人飛行体の飛行を制御することにより、車検出部によって検出した搬送車に無人飛行体を追従させ、
投影部は、荷役情報とともに、方角特定部が特定した方角を示す画像を路面にさらに投影する。
In the above transfer system, preferably,
The cargo handling information further includes one or both of a pickup position and a pickup position,
The transfer system is
Based on the pickup position or the loading position and the position of the unmanned air vehicle, further comprising a direction specifying unit for specifying the direction from the unmanned air vehicle to the pickup position or the loading position,
Unmanned air vehicles
A lower imaging unit that images the lower part,
A vehicle detection unit that detects a transportation vehicle based on an image captured by the lower imaging unit,
In the manned driving mode of the carrier,
The flight control unit controls the flight of the unmanned aerial vehicle to cause the unmanned aerial vehicle to follow the carrier vehicle detected by the vehicle detection unit,
The projection unit further projects an image indicating the direction specified by the direction specifying unit on the road surface together with the cargo handling information.
上記搬送システムは、好ましくは、
搬送車の有人運転モード時において、下方撮像部が撮像した画像に基づいて、搬送車の走行方向の周囲に人が存在するか否かを判定する人存在判定部と、
人存在判定部によって搬送車の走行方向の周囲に人が存在すると判定されたとき、方角を示す画像の色を所定の色に変更する色変更部と、をさらに備え、
投影部は、色変更部によって変更された色の方角を示す画像を投影する。
The transfer system is preferably
In the manned operation mode of the transport vehicle, based on the image captured by the lower imaging unit, a person presence determination unit that determines whether or not a person is present around the traveling direction of the transport vehicle,
When it is determined by the person presence determination section that a person is present around the traveling direction of the transport vehicle, a color changing section that changes the color of the image indicating the direction to a predetermined color is further provided.
The projection unit projects an image indicating the direction of the color changed by the color changing unit.
本発明に係る搬送システムは、路面に誘導ラインを予め設けることなく、無人運転モード時の搬送車を誘導することができ、しかも、有人運転モード時においては、荷役情報を示す画像を投影させることにより、オペレータの荷役作業を補助することができる。 INDUSTRIAL APPLICABILITY The transport system according to the present invention can guide a transport vehicle in an unmanned operation mode without previously providing a guide line on the road surface, and further, in the manned operation mode, projects an image showing cargo handling information. As a result, the operator's cargo handling work can be assisted.
以下、添付図面を参照しつつ、本発明に係る、無人飛行体と有人無人兼用の搬送車とを備えた搬送システムの一実施形態について説明する。前後、左右および上下の方向X、Y、Zは、添付図面に記載のとおり、搬送車の走行方向を基準にしている。 An embodiment of a transport system including an unmanned air vehicle and a guided vehicle for manned and unmanned vehicles according to the present invention will be described below with reference to the accompanying drawings. The front-rear, left-right, and up-down directions X, Y, and Z are based on the traveling direction of the transport vehicle as described in the accompanying drawings.
<搬送システムの概要>
図1は、本発明に係る搬送システムSの概要図である。この搬送システムSでは、無人飛行体1は、天井Cを撮像し、撮像した画像を解析して自機位置を検出するとともに、搬送車3を誘導するための誘導経路の画像(以下「誘導画像」という)GIを路面Rに投影する。搬送車3は、有人運転モードおよび無人運転モードで動作するフォークリフトであって、無人運転モード時には、無人飛行体1が投影した誘導画像GI中の誘導ラインLに沿って誘導されることにより、予め定められた走行経路を走行する。
<Outline of transport system>
FIG. 1 is a schematic diagram of a transport system S according to the present invention. In this transport system S, the unmanned aerial vehicle 1 captures an image of the ceiling C, analyzes the captured image to detect its own position, and an image of a guide route for guiding the transport vehicle 3 (hereinafter referred to as “guide image”). )) GI is projected on the road surface R. The
<天井の構成>
図2に示すように、天井C全体には、無人飛行体1が自機位置を検出するために用いる、長方形状の天井マーカ4が複数設けられている。天井マーカ4は、再帰性反射材であって、同縦列または同横列において等間隔に整列して配置されている。言い換えると、天井マーカ4は、列ごとに異なる間隔で天井Cに配置されている。例えば、図2の最下段の横列の間隔P3は、すべて同じである。一方、1段目、2段目および3段目の横列の間隔P1、P2、P3の長さは、それぞれ異なっている。また、1段目、2段目および3段目間の間隔P4、P5の長さも、それぞれ異なっている。
<Ceiling composition>
As shown in FIG. 2, the entire ceiling C is provided with a plurality of rectangular ceiling markers 4 used by the unmanned aerial vehicle 1 to detect its own position. The ceiling markers 4 are retroreflective materials, and are arranged at equal intervals in the same row or the same row. In other words, the ceiling markers 4 are arranged on the ceiling C at different intervals for each row. For example, the intervals P3 in the bottom row in FIG. 2 are all the same. On the other hand, the lengths of the intervals P1, P2, and P3 in the first row, the second row, and the third row are different from each other. The lengths of the intervals P4 and P5 between the first, second and third stages are also different.
<無人飛行体>
まず、図3〜図5を参照して、無人飛行体1の外部の構成要素について説明する。図3に示すように、無人飛行体1は、本体20と、本体20の上面から地面と平行に4方に延びる4本のアーム12と、4本のアーム12のそれぞれの先端側に設けられたモータ13と、モータ13に設けられた回転翼14と、4本のアーム12の基部の上側に立設された略八角柱状の上部ユニット15と、本体20の下側に設けられたジンバル16と、ジンバル16に支持されている下部ユニット17と、本体20の周囲かつアーム12の下側に設けられた4本のスキッド18と、を備えている。
<Unmanned aerial vehicle>
First, external components of the unmanned aerial vehicle 1 will be described with reference to FIGS. As shown in FIG. 3, the unmanned aerial vehicle 1 is provided with a
図4に示すように、上部ユニット15は、上部ユニット本体151と、赤外線カメラ(上方撮像部)152と、4つの赤外線照射部153と、を有する。赤外線カメラ152は、上部ユニット本体151の上面の中央に上方を向いて配置されている。4つの赤外線照射部153は、それぞれ赤外線カメラ152の周囲の上下および左右に上方を向いて配置されている。赤外線照射部153は、例えば、赤外LEDでもよい。4つの赤外線照射部153は、天井Cに向けて赤外線を照射し、赤外線カメラ152は、赤外線で照射された天井マーカ4を含む天井Cの画像を撮像して上方画像を生成する。赤外線カメラ152は、無人飛行体1の自律飛行時には、生成した上方画像を後述する照合部231(図6参照)に出力する。
As shown in FIG. 4, the
通常、屋内の天井Cには電灯が設けられているが、天井Cに設けられた天井マーカ4には電灯の光が届きにくい。また、天井Cに設けられた天井マーカ4を撮像する場合、電灯による逆光が撮像の妨げになる。そこで、赤外線照射部153が天井Cに赤外線を照射することにより、赤外線カメラ152は、天井マーカ4を含む天井Cを適切に撮像することができる。また、天井マーカ4が再帰性反射材であることにより、天井マーカ4に照射された赤外線の入射角が大きくても、赤外線カメラ152は、適切に天井マーカ4を撮像することができる。
Normally, an electric light is provided on the ceiling C inside the room, but it is difficult for the light of the electric light to reach the ceiling marker 4 provided on the ceiling C. Further, when the ceiling marker 4 provided on the ceiling C is imaged, the backlight of the electric light interferes with the image pickup. Therefore, the
図5に示すように、ジンバル16は、本体20に回転可能に連結された第1の回転軸161と、第1の回転軸161に連結された円板状の回転台162と、回転台162から下方に延びる左右一対の支持柱163と、支持柱163の内側中央に回転可能に連結された左右一対の第2の回転軸164と、を有する。
As shown in FIG. 5, the
下部ユニット17は、プロジェクタ171および下カメラ172を有するとともに、第2の回転軸164に支持されている。プロジェクタ171は、本発明の「投影部」に相当する。また、下カメラ172は、本発明の「下方撮像部」に相当する。プロジェクタ171および下カメラ172は、ジンバル16によって任意の方向に向くことができる。プロジェクタ171は、記憶部24(図6参照)に記憶されている画像を路面Rに投影する。下カメラ172は、下方を撮像し、下方画像を生成する。
The
図6を参照して、無人飛行体1の内部の構成要素について説明する。本体20は、記憶部24と、自機位置検出部23と、制御部21と、を有する。
The internal components of the unmanned aerial vehicle 1 will be described with reference to FIG. The
記憶部24は、天井画像記憶部241を有し、天井画像記憶部241には、天井C全体の天井全体画像が位置情報と関連付けて記憶されている。
The
自機位置検出部23は、GPSセンサ、ジャイロセンサ、超音波センサ、レーザセンサ、気圧センサ、コンパス、加速度センサといった各種センサ(図示しない)を有する。自機位置検出部23は、屋外においては、これらセンサによって自機位置を検出する。しかしながら、GPSセンサは、屋内においては、GPS信号を適切に受信することができない。そこで、自機位置検出部23は、照合部231と、自機位置特定部232と、をさらに有する。
The own device
照合部231は、入力された上方画像と、天井画像記憶部241に記憶されている天井全体画像とを照合し、天井全体画像の中のどの位置に上方画像が存在するのかを探索するテンプレートマッチングを行う。テンプレートマッチングには、例えば、SSD(「Sum of Squared Difference」)またはSAD(「Sum of Absolute Difference」)を類似度の計算手法として用いてもよい。
The
自機位置特定部232は、照合部231のテンプレートマッチングの結果に基づいて無人飛行体1の位置を特定する。なお、自機位置検出部23は、無人飛行体1の高度に関しては、超音波センサ、レーザセンサ等により検出する。
The own-vehicle
記憶部24は、飛行経路記憶部242をさらに有する。飛行経路記憶部242には、予め定められた無人飛行体1の飛行経路が記憶されている。
The
制御部21は、飛行制御部211を有する。飛行制御部211は、各モータ13の回転数を制御することにより、無人飛行体1のホバリングを可能にするとともに、無人飛行体1の飛行速度、飛行方向、飛行高度を制御する。また、飛行制御部211は、無人飛行体1の自律飛行時、かつ、搬送車3の無人運転モード時には、自機位置検出部23によって検出された無人飛行体1の位置を参照しながら、飛行経路記憶部242に記憶されている飛行経路に沿って無人飛行体1を飛行させる。
The
記憶部24は、走行経路記憶部243をさらに有する。走行経路記憶部243には、搬送車3の予め定められた走行経路が記憶されている。
The
制御部21は、誘導経路抽出部212をさらに有する。誘導経路抽出部212は、走行経路記憶部243に記憶されている走行経路から、自機位置検出部23によって検出された無人飛行体1の位置に対応する走行経路の一部を誘導経路として抽出する。抽出された誘導経路の画像、すなわち誘導画像GIは、後述する補正処理部213を介してプロジェクタ171に出力され、プロジェクタ171によって路面Rに投影される。なお、誘導経路の長さは、特に限定されない。無人飛行体1が飛行制御部211によって安定してホバリングすることができ、プロジェクタ171がジンバル16によって安定して一定の方向を向くことができるので、誘導画像GIは、路面Rの適切な位置に安定して投影される。
The
図7(a)に示すように、誘導画像GIは、一定の幅を有する誘導ラインLが中央に配置されており、誘導ラインLの延びる方向が搬送車3に対する誘導方向を示している。また、誘導ラインLの色は、その両側部分に比して明度・彩度が明らかに異なる。この誘導画像GIは、単なる一例であってこれに限定されない。例えば、路面Rの色と明らかに異なる色の誘導ラインLのみを誘導画像GIとしてもよい。
As shown in FIG. 7A, in the guide image GI, the guide line L having a constant width is arranged in the center, and the extending direction of the guide line L indicates the guide direction with respect to the
図7(b)に示すように、路面Rは、使用状態により汚れや剥がれが発生している場合があり、この場合、部分Aのように誘導画像GIの一部が適切に表示されない。そこで、制御部21は、路面Rに投影された誘導画像GIを解析し、このような路面Rに対応するように誘導画像GIを補正する。以下、具体的に説明する。
As shown in FIG. 7B, the road surface R may be soiled or peeled off depending on the use condition. In this case, a part of the guide image GI is not properly displayed like the part A. Therefore, the
図6に示すように、誘導経路抽出部212によって抽出された誘導画像GI1は、補正処理部213を介して補正係数算出部214およびプロジェクタ171に出力される。プロジェクタ171は、入力された誘導画像GI1を路面Rに投影する。下カメラ172は、投影された誘導画像GI1を撮像し、路面画像を生成して補正係数算出部214に出力する。
As shown in FIG. 6, the guidance image GI1 extracted by the guidance
補正係数算出部214は、誘導画像GI1の各画素の各輝度を色成分ごとに正規化して入力データD1を生成するとともに、下カメラ172から出力された路面画像の各画素の各輝度を各色成分ごとに正規化して出力データD2を生成する。次いで、補正係数算出部214は、入力データD1と出力データD2とを照合し、出力データD2の各画素間の輝度比を入力データD1に適合させるための各画素の各色成分の補正係数を算出し、算出した補正係数を補正処理部213に出力する。
The correction
補正処理部213は、算出された各画素の各色成分の補正係数を使用して、投影する誘導画像GI1の各画素の各色成分の輝度を補正し誘導画像GI2を生成する。次いで、補正処理部213は、生成した誘導画像GI2をプロジェクタ171に出力するとともに、補正係数算出部214に出力する。プロジェクタ171は、入力された誘導画像GI2を路面Rに投影する。下カメラ172は、投影された誘導画像GI2を撮像し、路面画像を生成して補正係数算出部214に出力する。補正係数算出部214は、先程と同様に誘導画像GI2に対応する補正係数を算出する。
The
図7(c)に示すように、この工程が繰り返されることにより、最終的に投影された誘導画像GIは、1色のスクリーンに投影された画像のように表示される。 As shown in FIG. 7C, by repeating this process, the finally projected guide image GI is displayed like an image projected on a one-color screen.
次に、搬送車3が有人運転モード時の無人飛行体1の動作について説明する。
Next, the operation of the unmanned aerial vehicle 1 when the
制御部21は、車検出部216をさらに有する。車検出部216は、下カメラ172が生成した下方画像に基づいて、搬送車3を検出する。
The
飛行制御部211は、車検出部216によって検出した搬送車3に無人飛行体1を追従させる。具体的には、飛行制御部211は、下カメラ172が生成する下方画像内において、搬送車3が下方画像の中心に配置されるよう無人飛行体1の飛行を制御する。
The
記憶部24は、荷役情報記憶部244をさらに有する。荷役情報記憶部244には、荷役情報が記憶されている。荷役情報には、荷役作業に係る荷物ID、荷取位置、荷置位置等が記憶されている。
The
制御部21は、方角特定部215をさらに有する。方角特定部215は、荷役情報記憶部244に記憶されている荷取位置または荷置位置と、無人飛行体1の位置とに基づいて、無人飛行体1から荷取位置または前記荷置位置への方角を特定する。
The
図8(a)に示すように、プロジェクタ171は、荷役情報記憶部244に記憶されている荷役情報を示す画像(以下、「荷役情報画像」という)LIとともに、方角特定部215が特定した方角を指し示す画像(以下、「方角画像」という)DIを搬送車3の前方の路面Rに投影する。これにより、搬送車3を操作中のオペレータOは、荷役情報を認識するとともに、この荷役情報に係る位置へ誘導される。
As illustrated in FIG. 8A, the
搬送システムSは、予約受付部5をさらに有する。予約受付部5は、有人運転モード時において、荷役作業中のオペレータが使用している搬送車3に対する配車予約を受け付ける。予約受付部5は、例えば、無人飛行体1および搬送車3と相互に通信可能な管理サーバに接続されていてもよい。この場合、予約受付部5は、配車予約を受け付けると、管理サーバを介して、配車予約時間を無人飛行体1に送信する。
The transport system S further includes a reservation receiving unit 5. The reservation receiving unit 5 receives a vehicle allocation reservation for the
記憶部24は、無人飛行体1が受信した配車予約時間を記憶する予約情報記憶部245をさらに有する。
The
図8(b)に示すように、プロジェクタ171は、予約情報記憶部245に記憶されている配車予約時間に基づいて、配車予約時間を示す画像(以下、「配車予約画像」という)RIを路面Rに投影する。これにより、搬送車3を操作中のオペレータOは、路面Rに投影された配車予約画像RIから配車予約時間を認識することができる。これにより、オペレータOは、配車予約時間に配慮して荷役作業完了時間を調整することができるので、搬送車3が、配車予約をしたオペレータOに対して配車予約時間どおりに配車される。
As shown in FIG. 8B, the
<搬送車>
再び図1を参照して、搬送車3の構成について説明する。搬送車3は、車体31と、車載カメラ32と、左右一対の前輪33と、後輪34と、前輪33および後輪34のいずれか一方または両方をステアリング制御するステアリング制御部35と、誘導経路検出部36と、フォーク37と、マスト38と、を備える。車載カメラ32は、本発明の「路面撮像部」に相当する。
<Transport vehicle>
The configuration of the
車体31の前面の一部は、透過部材で構成されている。車載カメラ32は、車体31内の前側の上側かつ中央の位置に、透過部材を通して路面Rを向くように設けられている。車載カメラ32の位置は、単なる一例であってこれに限定されない。
A part of the front surface of the
図9に示すように、車載カメラ32は、誘導画像GIを含む路面Rの所定の撮像範囲Tを撮像して路面画像を生成し、誘導経路検出部36に出力する。
As shown in FIG. 9, the vehicle-mounted
誘導経路検出部36は、入力された路面画像を彩度・明度に基づいて解析し、誘導ラインLを検出する。
The guide
ステアリング制御部35は、誘導経路検出部36によって検出された誘導ラインLに基づいて、前輪33および後輪34のいずれか一方または両方をステアリング制御する。具体的には、ステアリング制御部35は、誘導ラインLの位置が撮像範囲Tの中央にくるように車輪33、34の操舵角をフィードバック制御する。これにより、搬送車3は、無人運転モードにおいて、無人飛行体1が投影した誘導経路に沿って誘導され、予め定められた走行経路を走行することができる。
The
搬送システムSによれば、無人飛行体1が誘導画像GIを投影するので、搬送車3を誘導するのに予め誘導ラインを設ける必要がない。また、プロジェクタ171が投影する誘導画像GIは、補正処理部213によって随時補正されるので、投影面である路面Rが部分的に汚れていようと適切に誘導経路を表示することができる。しかも、有人運転モード時においては、無人飛行体1が荷役情報の画像LIおよび方角画像DIを投影させることにより、オペレータOの荷役作業を補助することができる。さらに、搬送車3に配車予約があった場合には、無人飛行体1によって配車予約画像RIが投影されるので、オペレータOは、配車予約時間を確実に認識することができる。
According to the transport system S, since the unmanned aerial vehicle 1 projects the guidance image GI, it is not necessary to previously provide a guidance line to guide the
以上、本発明に係る搬送車3を誘導するシステムの実施形態について説明したが、本発明は上記実施形態に限定されるものではない。
Although the embodiment of the system for guiding the
(1)無人飛行体1が自機位置を検出する方法は、特に限定されない。例えば、SLAM(Simultaneous Localization And Mapping)技術によって、無人飛行体1の位置を検出してもよい。 (1) The method by which the unmanned aerial vehicle 1 detects its own position is not particularly limited. For example, the position of the unmanned aerial vehicle 1 may be detected by SLAM (Simultaneous Localization And Mapping) technology.
(2)自機位置検出部23が上方撮像部の撮像した天井画像から天井マーカ4を認識できるのであれば、赤外線照射部153は、無人飛行体1に設けられていなくてもよい。また、自機位置検出部23が上方撮像部の撮像した天井画像から天井マーカ4を認識することができるのであれば、上方撮像部は、赤外線カメラ152に限定されない。
(2) If the own-vehicle
(3)天井マーカ4には、例えば、2次元バーコードが付されており、この2次元バーコードに位置情報が含まれていてもよい。これにより、自機位置検出部23は、天井画像から天井マーカ4を認識することにより無人飛行体1の位置を直接認識することができる。
(3) For example, a two-dimensional barcode is attached to the ceiling marker 4, and the two-dimensional barcode may include position information. As a result, the own-machine
(4)無人飛行体1は、アーム12の上面にジンバルが設けられ、このジンバルに上部ユニット15が接続される構成であってもよい。これにより、赤外線カメラ152は、無人飛行体1の姿勢に関わらず、常に一定の角度で天井Cを撮像することができる。
(4) The unmanned aerial vehicle 1 may be configured such that a gimbal is provided on the upper surface of the
(5)プロジェクタ171は、複数のプロジェクタから構成されていてもよい。この場合、複数のプロジェクタによって複数の誘導画像GIを同時に投影することにより、複数の搬送車3を同時に誘導してもよい。また、複数のプロジェクタによって同時に複数の誘導画像GIを投影することにより広範囲の誘導経路を路面Rに表示させてもよい。
(5) The
(6)搬送システムSは、有人運転モード時に、プロジェクタ171が撮像した下方画像に基づいて、搬送車3の走行方向の周囲に人が存在するか否かを判定する人存在判定部と、人存在判定部によって搬送車3の走行方向の周囲に人が存在すると判定されたとき、方角画像DIの色を所定の色に変更する色変更部と、をさらに備えてもよい。この場合、人存在判定部によって、搬送車3の走行方向の周囲に人が存在すると判定されたとき、色変更部が方角画像DIの色を変更し、下カメラ172が変更された色の方角画像DIを路面に投影する。これにより、オペレータOは、進行方向の死角に人が存在しても、人の存在を認識することができる。
(6) The transport system S includes a person presence determination unit that determines whether or not a person is present around the traveling direction of the
1 無人飛行体
152 赤外線カメラ(上方撮像部)
153 赤外線照射部
171 プロジェクタ(投影部)
172 下カメラ(下方撮像部)
20 本体
3 搬送車
32 車載カメラ(路面撮像部)
33 前輪
34 後輪
35 ステアリング制御部
36 誘導経路検出部
4 天井マーカ
C 天井
R 路面
S 搬送システム
L 誘導ライン
GI 誘導画像
RI 配車予約画像
LI 荷役情報画像
O オペレータ
T 撮像範囲
1 Unmanned
153
172 Lower camera (lower imaging section)
20
33
Claims (7)
ホバリング可能な無人飛行体と、
荷役作業に係る荷物の情報を含む荷役情報を記憶している荷役情報記憶部と、
前記搬送車の予め定められた走行経路を記憶している走行経路記憶部と、
前記無人飛行体の位置に対応する前記走行経路の一部を前記無人運転モード時の前記搬送車を誘導する誘導経路として抽出する誘導経路抽出部と、を備え、
前記無人飛行体は、
自機の位置を検出する自機位置検出部と、
前記自機の飛行を制御する飛行制御部と、
前記搬送車の前記無人運転モード時において、前記誘導経路抽出部が抽出した前記誘導経路の画像を路面に投影し、前記搬送車の前記有人運転モード時において、前記誘導経路の画像とは異なるとともに前記荷役情報を示す画像を前記路面に投影する投影部と、を有し、
前記搬送車は、
前記路面を撮像する路面撮像部と、
前記路面撮像部によって撮像された前記路面の画像を解析して前記誘導経路を検出する誘導経路検出部と、
検出された前記誘導経路に基づいて、ステアリング制御するステアリング制御部と、を有する
ことを特徴とする搬送システム。 A transport system including a transport vehicle that operates in an unmanned operation mode and a manned operation mode,
With an unmanned aerial vehicle capable of hovering,
A cargo- handling information storage unit that stores cargo-handling information including information on luggage related to cargo-handling work ;
A travel route storage unit that stores a predetermined travel route of the transport vehicle;
A guide route extraction unit that extracts a part of the traveling route corresponding to the position of the unmanned air vehicle as a guide route that guides the guided vehicle during the unmanned operation mode,
The unmanned aerial vehicle is
A position detecting unit for detecting the position of the own device,
A flight control unit that controls the flight of the aircraft,
In the unmanned operation mode of the transport vehicle, the image of the guide route extracted by the guide route extraction unit is projected on the road surface, and in the manned drive mode of the transport vehicle, different from the image of the guide route. A projection unit for projecting an image showing the cargo handling information onto the road surface,
The carrier is
A road surface imaging unit for imaging the road surface,
A guide route detection unit that detects the guide route by analyzing the image of the road surface imaged by the road surface imaging unit;
And a steering control unit that controls steering based on the detected guide route.
前記投影部は、前記搬送車の前記有人運転モード時において、前記予約受付部が受け付けた配車予約時間を示す画像を前記路面にさらに投影する
ことを特徴とする請求項1に記載の搬送システム。 Further comprising a reservation reception unit for receiving a vehicle allocation reservation related to the carrier from the operator,
The transportation system according to claim 1, wherein the projection unit further projects an image indicating a vehicle allocation reservation time received by the reservation reception unit on the road surface in the manned operation mode of the transportation vehicle.
前記自機の上方を撮像する上方撮像部と、
予め撮像された前記自機の上方の画像を位置情報と関連付けて記憶している天井画像記憶部と、をさらに有し、
前記自機位置検出部は、
前記上方撮像部によって撮像された現在の前記自機の上方の画像と、前記天井画像記憶部に記憶されている前記自機の前記上方の画像とを照合する照合部と、
前記照合部が照合した結果に基づいて、前記自機の位置を特定する自機位置特定部と、を有する
ことを特徴とする請求項1または2に記載の搬送システム。 The unmanned aerial vehicle is
An upper image pickup unit for picking up an image of the upper part of the aircraft,
A ceiling image storage unit that stores a pre-captured image of the upper side of the aircraft in association with position information;
The own position detection unit,
A collation unit that collates the current upper image of the own device captured by the upper imaging unit with the upper image of the own device stored in the ceiling image storage unit,
The transport system according to claim 1 or 2, further comprising: an own-machine position identifying unit that identifies a position of the own machine based on a result of the collation performed by the collating unit.
前記天井画像記憶部は、予め撮像された前記天井マーカを含む前記天井の画像を位置情報と関連付けて記憶しており、
前記照合部は、前記上方撮像部によって撮像された前記天井の画像と、前記天井画像記憶部に記憶されている前記天井の画像とを照合する
ことを特徴とする請求項3に記載の搬送システム。 In the above-mentioned indoor transportation system provided with a ceiling marker on the ceiling,
The ceiling image storage unit stores an image of the ceiling including the ceiling marker captured in advance in association with position information,
The transport system according to claim 3, wherein the matching unit matches the image of the ceiling captured by the upper image capturing unit with the image of the ceiling stored in the ceiling image storage unit. ..
前記天井マーカに赤外線を照射する赤外線照射部をさらに有し、
前記天井マーカは、再帰性反射材であり、
前記上方撮像部は、赤外線カメラであり、前記赤外線で照射された前記天井マーカを含む前記天井の画像を撮像する
ことを特徴とする請求項4に記載の搬送システム。 The unmanned aerial vehicle is
The ceiling marker further has an infrared irradiation unit for irradiating infrared rays,
The ceiling marker is a retroreflective material,
The transport system according to claim 4, wherein the upper imaging unit is an infrared camera, and captures an image of the ceiling including the ceiling marker irradiated with the infrared light.
前記搬送システムは、
前記荷取位置または前記荷置位置と、前記無人飛行体の位置とに基づいて、前記無人飛行体から前記荷取位置または前記荷置位置への方角を特定する方角特定部をさらに備え、
前記無人飛行体は、
下方を撮像する下方撮像部と、
前記下方撮像部が撮像した画像に基づいて、前記搬送車を検出する車検出部と、をさらに有し、
前記搬送車の前記有人運転モード時において、
前記飛行制御部は、前記無人飛行体の飛行を制御することにより、前記車検出部によって検出した前記搬送車に前記無人飛行体を追従させ、
前記投影部は、前記荷役情報とともに、前記方角特定部が特定した方角を示す画像を前記路面にさらに投影する
ことを特徴とする請求項1〜3のいずれか1項に記載の搬送システム。 The cargo handling information further includes one or both of a pickup position and a placement position,
The transport system is
Based on the pickup position or the loading position, and the position of the unmanned aerial vehicle, further comprising a direction specifying unit for specifying a direction from the unmanned air vehicle to the pickup position or the loading position,
The unmanned aerial vehicle is
A lower imaging unit that images the lower part,
A vehicle detection unit that detects the transport vehicle based on an image captured by the lower imaging unit,
In the manned operation mode of the carrier,
The flight control unit controls the flight of the unmanned aerial vehicle to cause the unmanned aerial vehicle to follow the carrier vehicle detected by the vehicle detection unit,
The transportation system according to any one of claims 1 to 3, wherein the projection unit further projects an image indicating a direction specified by the direction specification unit together with the cargo handling information onto the road surface.
前記搬送車の前記有人運転モード時において、前記下方撮像部が撮像した画像に基づいて、前記搬送車の走行方向の周囲に人が存在するか否かを判定する人存在判定部と、
前記人存在判定部によって前記搬送車の走行方向の周囲に前記人が存在すると判定されたとき、前記方角を示す画像の色を所定の色に変更する色変更部と、をさらに備え、
前記投影部は、前記色変更部によって変更された色の前記方角を示す画像を投影する
ことを特徴とする請求項6に記載の搬送システム。 The transport system is
In the manned operation mode of the transport vehicle, based on the image captured by the lower imaging unit, a person presence determination unit that determines whether or not a person is present around the traveling direction of the transport vehicle,
When it is determined that the person exists around the traveling direction of the transport vehicle by the person presence determination unit, a color changing unit that changes the color of the image indicating the direction to a predetermined color, further comprising:
The transport system according to claim 6, wherein the projection unit projects an image indicating the direction of the color changed by the color changing unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018180281A JP6707600B2 (en) | 2018-09-26 | 2018-09-26 | Transport system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018180281A JP6707600B2 (en) | 2018-09-26 | 2018-09-26 | Transport system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020052629A JP2020052629A (en) | 2020-04-02 |
| JP6707600B2 true JP6707600B2 (en) | 2020-06-10 |
Family
ID=69997148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018180281A Active JP6707600B2 (en) | 2018-09-26 | 2018-09-26 | Transport system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6707600B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4265857A4 (en) * | 2021-02-02 | 2024-06-26 | Kobelco Construction Machinery Co., Ltd. | Work assistance system and work assistance composite system |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114247071B (en) * | 2020-09-21 | 2023-04-28 | 中联重科股份有限公司 | Method for guiding vehicle to run and method for controlling fire extinguishing of fire truck |
| JP7595744B2 (en) * | 2021-03-11 | 2024-12-06 | 株式会社Fuji | Mobile system and management device |
| CN113917932B (en) * | 2021-12-10 | 2022-03-08 | 季华实验室 | Navigation method, device, electronic device and storage medium based on machine vision |
| JP7478182B2 (en) * | 2022-04-04 | 2024-05-02 | 三菱ロジスネクスト株式会社 | Guidance System |
| JP7452938B2 (en) | 2022-04-28 | 2024-03-19 | 三菱ロジスネクスト株式会社 | guidance system |
| JP7478185B2 (en) | 2022-04-28 | 2024-05-02 | 三菱ロジスネクスト株式会社 | Guidance System |
| JP7452940B2 (en) * | 2022-06-20 | 2024-03-19 | 三菱ロジスネクスト株式会社 | guidance system |
| JP7529724B2 (en) * | 2022-06-27 | 2024-08-06 | 三菱ロジスネクスト株式会社 | Guidance System |
| JP7497951B2 (en) * | 2022-07-11 | 2024-06-11 | 三菱ロジスネクスト株式会社 | Guidance System |
| JP7509511B2 (en) * | 2022-08-10 | 2024-07-02 | 三菱ロジスネクスト株式会社 | Guidance System |
| JP7478200B2 (en) * | 2022-08-18 | 2024-05-02 | 三菱ロジスネクスト株式会社 | Guidance System |
| JP7488016B2 (en) * | 2022-08-25 | 2024-05-21 | 三菱ロジスネクスト株式会社 | Guidance System |
| JP7517785B2 (en) * | 2022-09-05 | 2024-07-17 | 三菱ロジスネクスト株式会社 | Guidance System |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59178712U (en) * | 1983-05-13 | 1984-11-29 | 三菱重工業株式会社 | optical reflector |
| JPH06119036A (en) * | 1992-10-05 | 1994-04-28 | Sumitomo R Kk | Electromagnetic induction method for automated guided vehicles |
| JPH07210246A (en) * | 1994-01-13 | 1995-08-11 | Meidensha Corp | Steering controller for automated guided vehicles |
| JP2002082720A (en) * | 2000-06-29 | 2002-03-22 | Inst Of Physical & Chemical Res | Method for teaching target position of moving object, movement control method, light guiding method, and light guiding system |
| JP4448497B2 (en) * | 2006-03-23 | 2010-04-07 | 本田技研工業株式会社 | Self-position detecting device and position detecting system for moving body |
| JP2010249628A (en) * | 2009-04-15 | 2010-11-04 | Toyota Industries Corp | Moving body position detecting device and moving body position detecting method using camera |
| JP2015032292A (en) * | 2013-08-07 | 2015-02-16 | 日本信号株式会社 | Movement support system |
| JP6519421B2 (en) * | 2015-09-14 | 2019-05-29 | 富士通株式会社 | Arrangement support program, arrangement support method, arrangement support apparatus, and arrangement support system |
| JP6267305B1 (en) * | 2016-10-04 | 2018-01-24 | 三菱ロジスネクスト株式会社 | Management device, control method and program |
| KR20180038884A (en) * | 2016-10-07 | 2018-04-17 | 엘지전자 주식회사 | Airport robot, and method for operating server connected thereto |
| JP6624022B2 (en) * | 2016-11-24 | 2019-12-25 | 株式会社デンソー | Information providing system, vehicle device, information providing program |
| JP2018084955A (en) * | 2016-11-24 | 2018-05-31 | 株式会社小糸製作所 | Unmanned aircraft |
| CN108225340A (en) * | 2016-12-21 | 2018-06-29 | 致伸科技股份有限公司 | Automatic driving assistance system and method thereof |
-
2018
- 2018-09-26 JP JP2018180281A patent/JP6707600B2/en active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4265857A4 (en) * | 2021-02-02 | 2024-06-26 | Kobelco Construction Machinery Co., Ltd. | Work assistance system and work assistance composite system |
| US12436544B2 (en) | 2021-02-02 | 2025-10-07 | Kobelco Construction Machinery Co., Ltd. | Work assistance system and work assistance composite system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020052629A (en) | 2020-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6707600B2 (en) | Transport system | |
| JP6618087B1 (en) | Unmanned air vehicle and unmanned transport system | |
| CN109844674B (en) | Logistics robot with controllable camera and indicator and operation method | |
| JP3745472B2 (en) | Self-propelled vehicle, autonomous guidance device, and automatic transfer device | |
| KR101644270B1 (en) | Unmanned freight transportation system using automatic positioning and moving route correcting | |
| WO2018035482A1 (en) | Robotic drone | |
| EP3662334B1 (en) | Systems and methods for navigation path determination for unmanned vehicles | |
| TWI834828B (en) | Mobile robot, mobile robot control system and mobile robot control method | |
| CN106650873A (en) | Identification code, and automatic guiding vehicle rapid navigation method and system | |
| WO2019187816A1 (en) | Mobile body and mobile body system | |
| CN111771175A (en) | Driving control system for a truck, and driving control method for a truck | |
| JP2019139549A (en) | System and method for controlling travel of transport vehicles | |
| WO2020147048A1 (en) | Unmanned movable platforms | |
| JP6532096B1 (en) | Unmanned carrier system using unmanned air vehicle | |
| JP2014157051A (en) | Position detection device | |
| JP7078343B2 (en) | Automated guided vehicles and automated guided vehicles | |
| JP6684531B2 (en) | Unmanned transport system | |
| JP6684532B2 (en) | Unmanned carrier system using unmanned air vehicle | |
| JP6877071B2 (en) | Automated guided vehicle and automated guided vehicle | |
| JP6593940B1 (en) | Unmanned transport system using unmanned air vehicle | |
| US20230202817A1 (en) | Control method for mobile object, mobile object, and computer-readable storage medium | |
| JP7452940B2 (en) | guidance system | |
| JP2021160860A (en) | Freight handling assistance system | |
| JPWO2019069921A1 (en) | Mobile | |
| WO2024154764A1 (en) | Unmanned conveying system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180927 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191008 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200520 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6707600 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |