Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7761884B2 - Unmanned forklift - Google Patents
[go: Go Back, main page]

JP7761884B2 - Unmanned forklift - Google Patents

Unmanned forklift

Info

Publication number
JP7761884B2
JP7761884B2 JP2022042127A JP2022042127A JP7761884B2 JP 7761884 B2 JP7761884 B2 JP 7761884B2 JP 2022042127 A JP2022042127 A JP 2022042127A JP 2022042127 A JP2022042127 A JP 2022042127A JP 7761884 B2 JP7761884 B2 JP 7761884B2
Authority
JP
Japan
Prior art keywords
pallet
target
unmanned forklift
shape data
target pallet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022042127A
Other languages
Japanese (ja)
Other versions
JP2022179331A5 (en
JP2022179331A (en
Inventor
圭佐 小野田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nakanishi Metal Works Co Ltd
Original Assignee
Nakanishi Metal Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nakanishi Metal Works Co Ltd filed Critical Nakanishi Metal Works Co Ltd
Priority to US17/663,295 priority Critical patent/US12260627B2/en
Publication of JP2022179331A publication Critical patent/JP2022179331A/en
Publication of JP2022179331A5 publication Critical patent/JP2022179331A5/ja
Application granted granted Critical
Publication of JP7761884B2 publication Critical patent/JP7761884B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Forklifts And Lifting Vehicles (AREA)

Description

本発明は、無人で自走して荷役作業を行う無人フォークリフトに関する。 The present invention relates to an unmanned forklift that can self-propel and perform loading and unloading operations.

無人フォークリフトにおいて、パレットの差込口(特許文献1では穴20)に対してフォークを差し込み可能な状態か否かを判断する技術がある(例えば、特許文献1の第1の実施形態参照)。この技術では、無人フォークリフト11は、フォーク14とともに昇降可能なレーザレンジファインダ18を備える。レーザレンジファインダ18は、荷取り位置に配置されたパレット19の開口端面19aにレーザビームを照射しつつ走査し、穴20の縁の線の画像データを入手する。そして、パターンコントローラ21が、無人フォークリフト11に対するパレット19の端面の距離及び傾きを変更した複数の条件で予め撮像した穴20の線の画像データと、入手した穴20の線の画像データを比較することで、パレット19の穴20に対してフォーク14を差し込み可能な状態か否かを判断する。 There is a technology for determining whether an unmanned forklift can insert a fork into a pallet's insertion opening (hole 20 in Patent Document 1) (see, for example, the first embodiment of Patent Document 1). In this technology, the unmanned forklift 11 is equipped with a laser range finder 18 that can be raised and lowered together with the fork 14. The laser range finder 18 scans the opening end surface 19a of the pallet 19 placed at the loading position with a laser beam, obtaining image data of the edge line of the hole 20. A pattern controller 21 then compares the obtained image data of the hole 20 line with image data of the hole 20 line captured in advance under multiple conditions in which the distance and inclination of the end surface of the pallet 19 relative to the unmanned forklift 11 are changed, thereby determining whether the fork 14 can be inserted into the hole 20 in the pallet 19.

また、無人フォークリフトにおいて、パレットの種類を識別し、識別したパレットの差込口(特許文献1では穴20)の間隔に合わせてフォークの間隔を調整する技術がある(例えば、特許文献1の第2の実施形態参照)。この技術では、パレット19として、穴20の間隔の異なる複数種類を使用し、無人フォークリフト11は、一対のフォーク14の間隔を調整可能なフォークシフタを備える。レーザレンジファインダ18による穴20の縁の線の画像データからパターンコントローラ21がパレット19の幅を特定することでパレット19の種類を識別する。そして、識別したパレット19の幅に対応する穴20の間隔に合わせて制御装置17がフォークシフタを制御し、一対のフォーク14の間隔を調整する。 Also, there is technology for unmanned forklifts that identifies the type of pallet and adjusts the spacing of the forks to match the spacing of the insertion openings (holes 20 in Patent Document 1) of the identified pallet (see, for example, the second embodiment of Patent Document 1). With this technology, multiple types of pallets 19 with different spacing between the holes 20 are used, and the unmanned forklift 11 is equipped with a fork shifter that can adjust the spacing between the pair of forks 14. The pattern controller 21 identifies the type of pallet 19 by specifying the width of the pallet 19 from image data of the edge lines of the holes 20 captured by the laser range finder 18. The control device 17 then controls the fork shifter to adjust the spacing between the pair of forks 14 to match the spacing of the holes 20 that corresponds to the identified width of the pallet 19.

さらに、無人フォークリフトにおいて、パレットの種類を識別する技術がある(例えば、特許文献2参照)。この技術では、パレット05にパターン01を設けており、無人フォークリフト5が一対のカメラ3,4を備える。カメラ3,4は、パレット05のパターン01を撮影する。そして、撮影したパターンから位置決定手段がパレット05の位置を定め、照合手段が撮影パターンを参照パターンと照合してパレット05の種類を識別する。 Furthermore, there is technology for identifying the type of pallet in an unmanned forklift (see, for example, Patent Document 2). In this technology, a pattern 01 is provided on the pallet 05, and the unmanned forklift 5 is equipped with a pair of cameras 3 and 4. The cameras 3 and 4 photograph the pattern 01 on the pallet 05. A position determination means then determines the position of the pallet 05 from the photographed pattern, and a comparison means compares the photographed pattern with a reference pattern to identify the type of pallet 05.

特開2017-19596公報JP 2017-19596 A 特開平9-218014公報Japanese Patent Application Publication No. 9-218014

特許文献1の無人フォークリフトにおけるパレットの種類の識別は、レーザによる距離測定でパレットの開口端面の穴の縁の線の画像を検出することにより行われる。したがって、例えば、パレットの真横に荷物や他のパレットがある場合、積荷をパレットに固定するためのストレッチフィルムの一部がパレットの穴を塞いでいる場合、又は異物がパレットの穴に侵入した場合等において、パレットの種類を識別できないおそれやパレットの種類を誤って識別するおそれがある。 The unmanned forklift truck in Patent Document 1 identifies the type of pallet by detecting an image of the line at the edge of the hole in the open end face of the pallet using laser distance measurement. Therefore, there is a risk that the type of pallet cannot be identified or may be identified incorrectly if, for example, there is cargo or another pallet directly next to the pallet, if part of the stretch film used to secure the cargo to the pallet blocks the hole in the pallet, or if a foreign object has entered the hole in the pallet.

特許文献2の無人フォークリフトにおけるパレットの種類の識別は、無人フォークリフトによる荷役作業の対象となるパレットの全てにパターンを貼り付ける必要があるので、コストが増大する。また、形状の異なる多種類のパレットを対象とする場合に、それら全てのパレットに対してパターンを貼り付ける共通の場所が必要となるので、扱えるパレットの種類が制限される。 Identifying the type of pallet in the unmanned forklift described in Patent Document 2 requires attaching a pattern to all pallets that are subject to loading and unloading operations by the unmanned forklift, which increases costs. Furthermore, when dealing with many different types of pallets with different shapes, a common location for attaching patterns to all of those pallets is required, which limits the types of pallets that can be handled.

一方、例えばレーザスキャナ等の距離検出器のみで複数種類のパレットの位置ずれ量を検出する場合には、複数種類のパレットの記憶済みの位置・形状データの全種類に対して前記距離検出器により取得された実測形状データを比較照合することで対応するパレットの種類を識別する必要がある。 On the other hand, when detecting the amount of positional deviation of multiple types of pallets using only a distance detector such as a laser scanner, it is necessary to identify the corresponding type of pallet by comparing the measured shape data acquired by the distance detector with all types of stored position and shape data for the multiple types of pallets.

そのため、距離データのみで測定する前記距離検出器の特性上、対象となるパレットの種類が増えた場合に、床上に置かれたパレット以外の物品(例えば段ボール箱等)を特定種類のパレットとして誤認識する可能性が増大する。 As a result, due to the characteristics of the distance detector, which measures using only distance data, as the number of target pallet types increases, there is an increased possibility that items other than pallets placed on the floor (such as cardboard boxes) will be mistakenly recognized as a specific type of pallet.

その上、複数種類のパレットの形状データとの比較照合の計算負荷が大きいことから、計算に時間が掛かって作業速度が低下したり、処理能力の高い高価な計算機を使用するとコストが増大する。 Furthermore, the computational load involved in comparing and matching the shape data of multiple types of pallets is large, which can take a long time to calculate and slow down work speed, and using expensive computers with high processing power can increase costs.

本発明は、扱えるパレットの種類に制限はなく、作業速度の低下及びコストの増大を抑制でき、パレットの正規位置に対する対象パレットの位置と姿勢のずれ量を高い精度で検出して所要の荷役作業を確実に行える無人フォークリフトを提供することを目的とする。 The present invention aims to provide an unmanned forklift that can handle any type of pallet, minimizes a decrease in work speed and an increase in costs, and detects with high accuracy the amount of deviation in the position and posture of a target pallet relative to the pallet's normal position, enabling the required loading and unloading operations to be carried out reliably.

本発明に係る無人フォークリフトは、前記課題解決のために、
パレットを用いた荷役作業を自動で行う、一対のフォークを備えた無人フォークリフトであって、
前記無人フォークリフトの前方を撮影する撮影装置から撮影画像を取得する画像取得部と、
複数種類の前記パレットについて、各々の前記パレットの画像と前記パレットの種類の組み合わせについての機械学習を行った学習済みの学習モデルを有し、前記画像取得部が取得した対象パレットの前記撮影画像を前記学習モデルに入力することで前記対象パレットの種類を識別するパレット種類識別部と、
前記対象パレットとの距離を測定する距離測定装置から前記対象パレットの位置・形状データを取得するパレット位置・形状取得部と、
複数種類の前記パレットについて、各々の前記パレットの位置・形状データを予め記憶し、前記パレット種類識別部により識別された前記対象パレットの種類に対応した記憶済みの位置・形状データと、前記パレット位置・形状取得部が取得した前記対象パレットの位置・形状データを比較することにより、正規位置に対する前記対象パレットの位置と姿勢のずれ量を検出するパレットずれ量検出部と、
(A)検出された前記ずれ量を用いて、前記対象パレットの差込口に対して前記フォークを差し込む動作を含む作業、
(B)前記フォークを差込口に差し込んで保持しているパレット及び積荷を、前記対象パレットの前記ずれ量に合わせて前記対象パレットの積荷の上に積み込む段積み作業、
の少なくとも一方の作業を行うための走行を制御する走行制御部と、
を備える。
In order to solve the above problems, the unmanned forklift according to the present invention comprises:
An unmanned forklift equipped with a pair of forks that automatically performs loading and unloading work using pallets,
an image acquisition unit that acquires a photographed image from an image acquisition device that photographs a front side of the unmanned forklift;
a pallet type identification unit that has a trained learning model that has undergone machine learning on the combination of each pallet image and the type of pallet for multiple types of pallets, and identifies the type of the target pallet by inputting the photographed image of the target pallet acquired by the image acquisition unit into the learning model;
a pallet position and shape acquisition unit that acquires position and shape data of the target pallet from a distance measurement device that measures the distance to the target pallet;
a pallet deviation amount detection unit that stores position and shape data of each of the plurality of types of pallets in advance, and detects the amount of deviation of the position and posture of the target pallet from its normal position by comparing the stored position and shape data corresponding to the type of target pallet identified by the pallet type identification unit with the position and shape data of the target pallet acquired by the pallet position and shape acquisition unit;
(A) an operation including inserting the forks into the insertion opening of the target pallet using the detected amount of deviation;
(B) a stacking operation in which the pallet and cargo held by the forks inserted into the insertion openings are loaded onto the cargo of the target pallet in accordance with the amount of deviation of the target pallet;
a travel control unit that controls travel to perform at least one of the above tasks;
Equipped with.

このような構成によれば、無人フォークリフトが搬送する対象が、形状が異なる複数種類のパレットである場合であっても、扱えるパレットの種類に制限はなく、各々の前記パレットの画像と前記パレットの種類の組み合わせについての機械学習を行った学習済みの学習モデルに前記撮影画像を入力することで、前記パレット種類識別部が前記対象パレットの種類を高い精度で識別する。そして、パレットずれ量検出部が、前記パレット種類識別部により識別された前記対象パレットの種類に対応した記憶済みの位置・形状データと、パレット位置・形状取得部が得た前記対象パレットの位置・形状データを比較照合することができる。 With this configuration, even if the objects being transported by the unmanned forklift are multiple types of pallets with different shapes, there is no limit to the types of pallets that can be handled. By inputting the captured image into a trained learning model that has undergone machine learning on the combination of each image of the pallet and the pallet type, the pallet type identification unit can identify the type of the target pallet with high accuracy. The pallet misalignment detection unit can then compare and match the stored position and shape data corresponding to the type of target pallet identified by the pallet type identification unit with the position and shape data of the target pallet obtained by the pallet position and shape acquisition unit.

それにより、パレットの正規位置に対する前記対象パレットの位置と姿勢のずれ量を高い精度で検出できるとともに、床上に置かれたパレット以外の物品(例えば、段ボール箱等)を特定種類のパレットとして誤認識してフォークとパレットや物品が干渉するような事故を防ぐことができる。また、パレットの形状データの比較照合の計算が短縮され、作業速度が向上するので、処理能力の高い高価な計算機を使用する必要がない。 This allows for highly accurate detection of the deviation in the position and posture of the target pallet relative to the pallet's normal position, and prevents accidents such as items other than pallets placed on the floor (such as cardboard boxes) being mistakenly recognized as a specific type of pallet, resulting in interference between the forks and the pallet or item. Furthermore, the calculation time required to compare and match pallet shape data is shortened, improving work speed, eliminating the need for expensive computers with high processing power.

前記対象パレットの前記ずれ量を高い精度で検出した上で、無人フォークリフトは、例えば、前記作業(A)として、床上のパレット及び積荷をピックアップして他所に搬送する作業、1段目のパレットの積荷上の2段目のパレット及び積荷をピックアップして他所に搬送する作業、又は前記作業(B)の前記段積み作業等の所要の荷役作業を行うことができる。 After detecting the amount of deviation of the target pallet with high accuracy, the unmanned forklift can perform the required loading and unloading operations, such as operation (A) of picking up the pallet and cargo on the floor and transporting it to another location, or operation (B) of picking up the pallet and cargo on the second layer of cargo on the first layer of pallets and transporting it to another location, or operation (B) of stacking.

ここで、前記位置・形状データは、前記パレットの差込口を含む高さのデータであり、
前記パレットずれ量検出部は、前記対象パレットの種類に対応した記憶済みの前記位置・形状データに基づく線分と、前記パレット位置・形状取得部が取得した前記対象パレットの前記位置・形状データに基づく線分とを重ね合わせて比較するのが好ましい実施態様である。
Here, the position and shape data is data on the height including the insertion opening of the pallet,
In a preferred embodiment, the pallet deviation detection unit superimposes and compares a line segment based on the stored position and shape data corresponding to the type of target pallet with a line segment based on the position and shape data of the target pallet acquired by the pallet position and shape acquisition unit.

このような構成によれば、線分を重ね合わせて比較してずれ量を把握するので、計算コストが抑えられる。その上、水平方向のスキャンだけで前記高さのデータが得られることから、対象パレットとの距離を測定する距離測定装置を上下動させる必要がないので、対象パレットの位置と姿勢のずれ量を検出する時間を短縮できる。 With this configuration, the amount of deviation is determined by overlapping and comparing line segments, reducing calculation costs. Furthermore, because the height data can be obtained by simply scanning horizontally, there is no need to move the distance measuring device that measures the distance to the target pallet up and down, thereby shortening the time it takes to detect the amount of deviation in the position and orientation of the target pallet.

また、前記パレットずれ量検出部により検出された前記ずれ量が所定の閾値より超えた場合にエラー判定をするずれ量エラー判定部をさらに備えるのが好ましい実施態様である。 In another preferred embodiment, the system further includes a deviation error determination unit that determines an error when the deviation detected by the pallet deviation detection unit exceeds a predetermined threshold.

このような構成によれば、前記ずれ量が大きいため対象パレットにフォークを差し込めない場合には、フォーク差込み動作前にエラー判定することで、対象パレットとフォークが干渉する事故を未然に防げる。例えば、前記エラー判定の基準となる前記ずれ量の閾値は、距離測定装置が対象パレットとの距離を測定してパレット位置・形状取得部により対象パレットの位置・形状データを取得する際に無人フォークリフトを停止させる所定停止位置から無人フォークリフトが自走して対象パレットにフォークを差し込み可能な範囲の最大値とする。 With this configuration, if the misalignment is too large to insert the forks into the target pallet, an error determination is made before the fork insertion operation, preventing accidents in which the forks interfere with the target pallet. For example, the threshold misalignment amount that serves as the basis for the error determination is set to the maximum value of the range in which the unmanned forklift can self-propel and insert the forks into the target pallet from the predetermined stopping position at which the unmanned forklift stops when the distance measurement device measures the distance to the target pallet and the pallet position and shape acquisition unit acquires the position and shape data of the target pallet.

さらに、前記パレット位置・形状取得部が取得した前記対象パレットの形状データと、予め記憶された前記対象パレットと同じの種類のパレットの形状データを比較し、それらの差が所定の閾値より大きい場合には、取得した前記対象パレットの形状データに誤りがあると判定するパレット形状判定部をさらに備えるのが好ましい実施態様である。 In a preferred embodiment, the system further includes a pallet shape determination unit that compares the shape data of the target pallet acquired by the pallet position/shape acquisition unit with pre-stored shape data of a pallet of the same type as the target pallet, and if the difference between the two is greater than a predetermined threshold, determines that there is an error in the acquired shape data of the target pallet.

このような構成によれば、例えば対象パレットのすぐ横に別の物品(例えば段ボール箱等)が置かれていた場合に、前記物品の影響で対象パレットの大きさを間違えて検出したとしても、パレット種類識別部により識別された対象パレットの種類に相当する記憶済みのパレットの形状と比較することで誤りを判定することができる。それにより、フォークが対象パレットの差込口に干渉して作業が停止する事故を防ぐことができる。 With this configuration, for example, if another item (such as a cardboard box) is placed right next to the target pallet, and the size of the target pallet is incorrectly detected due to the influence of the other item, the error can be determined by comparing it with the stored pallet shape corresponding to the type of target pallet identified by the pallet type identification unit. This prevents accidents in which the forks interfere with the insertion opening of the target pallet, causing work to stop.

さらにまた、前記画像取得部が取得した前記対象パレットの前記撮影画像を画像処理することにより、前記対象パレットがあると予め設定された特定範囲内のパレットの数量を算出することで段積みの有無を判別するパレット段積み判別部をさらに備えるのが好ましい実施態様である。 Furthermore, in a preferred embodiment, the system further includes a pallet stacking determination unit that determines whether the target pallet is stacked by performing image processing on the photographed image of the target pallet acquired by the image acquisition unit and calculating the number of pallets within a predetermined specific range where the target pallet is present.

このような構成によれば、無人フォークリフトの正面の特定範囲内のパレットの数量のみを算出することにより、対象パレット以外のパレットを誤検出することなく、パレットの段積みの有無を確実に判別できる。例えば、床上の対象パレットの側方に置かれている対象外のパレットも検出してパレット数量が2個であると算出してしまう誤検出が生じないので、段積みできるのに段積みできないとする誤判別がなくなる。 With this configuration, by only calculating the number of pallets within a specific range in front of the unmanned forklift, it is possible to reliably determine whether pallets are stacked or not without erroneously detecting pallets other than the target pallet. For example, there is no erroneous detection that would result in the number of pallets being calculated as two, even though a pallet can be stacked, so there is no erroneous determination that it cannot be stacked.

また、前記パレット段積み判別部は、上下複数段のパレットについて、各々のパレット画像を教師データとして予め機械学習したものであるのが好ましい実施態様である。 In a preferred embodiment, the pallet stacking determination unit is configured to perform machine learning in advance on pallet images of multiple pallets stacked vertically, using them as training data.

このような構成によれば、どの段のパレットかによりパレットの周囲画像が異なる場合に、各々の異なる前記周囲画像を教師データとして学習しているので、パレットの検出精度を向上できる。 With this configuration, if the surrounding images of a pallet differ depending on which tier the pallet is on, each of these different surrounding images is learned as training data, thereby improving the accuracy of pallet detection.

さらに、前記パレット種類識別部から得られた前記対象パレットの種類により、当該対象パレットの差込口の間隔に合わせて前記フォークの間隔を変更するフォーク幅変更装置をさらに備えるのが好ましい実施態様である。 Furthermore, a preferred embodiment further includes a fork width change device that changes the spacing of the forks to match the spacing of the insertion openings of the target pallet based on the type of the target pallet obtained from the pallet type identification unit.

このような構成によれば、差込口の間隔が異なる対象パレット毎に無人フォークリフトを用意する必要がなく、差込口の間隔に対応したフォークの間隔になるようフォーク幅変更装置を動作させることで、1台の無人フォークリフトで複数種類のパレットを搬送できる。 With this configuration, there is no need to prepare an unmanned forklift for each target pallet with different insertion opening spacing. By operating the fork width change device to adjust the fork spacing to correspond to the insertion opening spacing, multiple types of pallets can be transported with a single unmanned forklift.

さらにまた、前記フォークの先端に配置した、前方の物体の有無を検出する距離センサと、
前記フォークが前記パレットを保持しているか否かを検出する在荷センサと、
をさらに備え、
前記距離センサによる前記物体の有無の検出結果、及び前記在荷センサによる前記パレットを保持しているか否かの検出結果を用いて、
1段目のパレットの積荷上に2段目のパレット及び積荷を積み込む段積み作業、及び/又は、
1段目のパレットの積荷上の2段目のパレット及び積荷をピックアップして他所に搬送する段バラシ作業を行うのが好ましい実施態様である。
Furthermore, a distance sensor disposed at the tip of the fork for detecting the presence or absence of an object ahead;
a presence sensor that detects whether the forks are holding the pallet;
Furthermore,
Using the result of detecting the presence or absence of the object by the distance sensor and the result of detecting whether the pallet is being held by the inventory sensor,
Stacking operations in which a second pallet and load are loaded onto the load of the first pallet, and/or
In a preferred embodiment, a de-stack operation is performed in which the second tier pallet and its load on the first tier pallet are picked up and transported to another location.

このような構成によれば、前記段積み作業を行う場合において、前記距離センサにより1段目のパレット上の積荷の高さを検出でき、前記在荷センサにより前記段積み作業後に前記フォークを引き抜く高さを検出できる。また、前記段バラシ作業を行う場合において、前記距離センサにより2段目のパレットの差込口の高さを検出でき、前記在荷センサにより前記段バラシ作業で保持すべきパレット及び積荷を前記フォークが保持した状態を検出できる。したがって、前記距離センサ及び前記在荷センサにより、確実な段積み作業及び又は段バラシ作業を行うことが可能になる。 With this configuration, when performing the stacking operation, the distance sensor can detect the height of the load on the first tier of pallets, and the load presence sensor can detect the height at which the forks are withdrawn after the stacking operation. Furthermore, when performing the unstacking operation, the distance sensor can detect the height of the insertion opening of the second tier of pallets, and the load presence sensor can detect the state in which the forks are holding the pallet and load to be held during the unstacking operation. Therefore, the distance sensor and the load presence sensor enable reliable stacking and/or unstacking operations.

また、第一停止位置で前記撮影装置が前記対象パレットを撮影して前記パレット種類識別部により前記対象パレットの種類を識別し、前記第一停止位置よりも前記対象パレットに接近する第二停止位置で前記距離測定装置が前記対象パレットとの距離を測定して前記パレット位置・形状取得部により前記対象パレットの位置・形状データを取得するのが好ましい実施態様である。 In another preferred embodiment, the photographing device photographs the target pallet at a first stop position and the pallet type identification unit identifies the type of the target pallet, and the distance measuring device measures the distance to the target pallet at a second stop position closer to the target pallet than the first stop position, and the pallet position and shape acquisition unit acquires position and shape data of the target pallet.

このような構成によれば、第一停止位置よりも対象パレットに接近する第二停止位置で距離測定装置が対象パレットとの距離を測定してパレット位置・形状取得部により対象パレットの位置・形状データを取得するので、パレットずれ量検出部による対象パレットの位置と姿勢のずれ量をより精度よく検出することができる。 With this configuration, the distance measuring device measures the distance to the target pallet at the second stop position, which is closer to the target pallet than the first stop position, and the pallet position and shape acquisition unit acquires position and shape data of the target pallet, allowing the pallet deviation amount detection unit to more accurately detect the amount of deviation in the position and posture of the target pallet.

以上のとおり、本発明の無人フォークリフトは、扱えるパレットの種類に制限はなく、作業速度の低下及びコストの増大を抑制でき、パレットの正規位置に対する対象パレットの位置と姿勢のずれ量を高い精度で検出して所要の荷役作業を確実に行うことができる。 As described above, the unmanned forklift of the present invention is not limited in the types of pallets it can handle, can suppress a decrease in work speed and an increase in costs, and can detect with high accuracy the amount of deviation in the position and posture of the target pallet relative to the pallet's normal position, ensuring the required loading and unloading operations can be carried out reliably.

本発明の実施形態に係る無人フォークリフトの斜視図である。1 is a perspective view of an unmanned forklift according to an embodiment of the present invention. パレット及び積荷を保持した前記無人フォークリフトを左方から見た図であり、フォークが差込口に挿入されたパレットを断面図にしている。1 is a left side view of the unmanned forklift truck holding a pallet and a load, showing a cross section of the pallet with the forks inserted into the insertion openings. FIG. 床面上のパレット及び積荷、並びに前記無人フォークリフトを示す斜視図である。FIG. 2 is a perspective view showing a pallet and a load on a floor surface, and the unmanned forklift truck. 機器構成の概要を示すブロック図である。FIG. 2 is a block diagram showing an outline of the device configuration. 右フォークの先端部に配置するセンサを示す要部拡大横断面図である。FIG. 10 is an enlarged cross-sectional view of a main portion showing a sensor disposed at the tip of the right fork. 右フォークの先端部に配置するセンサを示す要部拡大縦断面図である。FIG. 10 is an enlarged longitudinal cross-sectional view of a main portion showing a sensor disposed at the tip of the right fork. 在荷センサまわりを示す左方から見た要部拡大図である。FIG. 10 is an enlarged view of the main part around the inventory sensor as seen from the left. 在荷センサまわりを示す要部拡大横断面図である。This is an enlarged cross-sectional view of the main part around the inventory sensor. パレット種類識別部が対象パレットの種類を識別した状態の画像の例を示す図である。10 is a diagram showing an example of an image in which the palette type identification unit has identified the type of the target palette. FIG. 対象パレットの種類に対応した記憶済みのパレットの点群データに基づく線分を示す平面概略図である。FIG. 10 is a schematic plan view showing line segments based on stored pallet point cloud data corresponding to the type of target pallet. 図8Aの前記線分と、パレット位置・形状取得部が取得した対象パレットの点群データに基づく線分とを重ね合わせた状態を示す平面概略図である。8B is a schematic plan view showing the line segment of FIG. 8A superimposed on the line segment based on the point cloud data of the target pallet acquired by the pallet position/shape acquisition unit. FIG. フォーク幅変更装置の正面図である。FIG. 2 is a front view of the fork width change device. フォーク幅変更装置でフォーク幅を狭める動作説明用の概略平面図である。10 is a schematic plan view illustrating the operation of narrowing the fork width using the fork width changing device. FIG. フォーク幅変更装置でフォーク幅を広げる動作説明用の概略平面図である。FIG. 10 is a schematic plan view illustrating the operation of widening the fork width using the fork width changing device. 段積み作業の動作例の説明図であり、対象パレットに近づいた無人フォークリフトが対象パレットの所定距離手前で停止した状態を示している。FIG. 10 is an explanatory diagram of an example of stacking operation, showing a state in which an unmanned forklift approaches a target pallet and stops a predetermined distance before the target pallet. 段積み作業の動作例の説明図であり、無人フォークリフトのフォークを上昇させて距離センサにより対象パレット上の積荷の高さを検出した後、さらにフォークを所定距離上昇させて停止した状態を示している。This is an explanatory diagram of an example of stacking operation, showing the state in which the forks of an unmanned forklift are raised and the height of the load on the target pallet is detected by a distance sensor, and then the forks are raised a further predetermined distance and stopped. 段積み作業の動作例の説明図であり、無人フォークリフトを所定距離前進させて対象パレット及び積荷の上方に段積みするパレット及び積荷を位置させた状態を示している。FIG. 10 is an explanatory diagram of an example of stacking operation, showing a state in which the unmanned forklift has been advanced a predetermined distance to position a pallet and cargo to be stacked above the target pallet and cargo. 段積み作業の動作例の説明図であり、フォークを下降させて段積みするパレットの下面が対象パレット上の積荷の上面に接触した瞬間の状態を示している。This is an explanatory diagram of an example of stacking operation, showing the state at the moment when the forks are lowered and the underside of the pallet to be stacked comes into contact with the top surface of the load on the target pallet. 段積み作業の動作例の説明図であり、フォークをさらに下降させて在荷センサがフォーク上に積荷が無いことを検出した状態を示している。FIG. 10 is an explanatory diagram of an example of stacking operation, showing a state in which the forks are further lowered and the load sensor detects that there is no load on the forks.

以下、本発明に係る実施形態を図面に基づいて説明する。 Embodiments of the present invention will be described below with reference to the drawings.

以下の実施形態において、無人フォークリフトのフォークの根元側から先端側を見る方向を前、その反対方向を後とし、前方に向かって左右を定義する。 In the following embodiments, the direction from the base of the forks of an unmanned forklift to the tip is defined as the front, and the opposite direction as the rear, with left and right defined as looking forward.

無人フォークリフトについては、フォークがある前面に向かって見た図を正面図とする。対象パレット及び積荷については、対象パレットのフォークの差込口がある面に向かって見た図を正面図とする。 For unmanned forklifts, the front view is the view looking towards the front where the forks are located. For the target pallet and load, the front view is the view looking towards the side of the target pallet where the fork insertion openings are located.

<無人フォークリフト>
図1の斜視図、図2の左方から見た図、図3の斜視図、及び図4の機器構成の概要を示すブロック図に示す本発明の実施形態に係る無人フォークリフト1は、自己位置推定機能を有し、無人フォークリフト1と無線通信を行う管理装置からの行先指示により自走して荷役作業を行う。無人フォークリフト1は、荷役作業を行う荷役装置A、走行動作及び旋回動作を行う移動装置B、荷役装置A及び移動装置Bを制御する制御装置C、フォーク幅変更装置D、並びに処理装置10等を備える。
<Unmanned forklift>
An unmanned forklift 1 according to an embodiment of the present invention, shown in the perspective view of Figure 1, the view from the left in Figure 2, the perspective view of Figure 3, and the block diagram showing an outline of the equipment configuration in Figure 4, has a self-position estimation function and performs loading and unloading work by self-propelling according to destination instructions from a management device that wirelessly communicates with the unmanned forklift 1. The unmanned forklift 1 is equipped with a loading device A that performs loading and unloading work, a moving device B that performs traveling and turning operations, a control device C that controls the loading device A and the moving device B, a fork width changing device D, a processing device 10, etc.

(荷役装置)
荷役装置Aは、昇降するとともに前後方向に傾動するマストM、パレットP及び積荷Wを積載するフォーク2、及び、フォーク2を支持する、マストMに沿って上下するリフトブラケット3を有する。フォーク2は、右フォーク2R及び左フォーク2Lからなる。
(Loading equipment)
The cargo handling device A has a mast M that moves up and down and tilts back and forth, forks 2 that carry a pallet P and cargo W, and a lift bracket 3 that moves up and down along the mast M and supports the forks 2. The forks 2 consist of a right fork 2R and a left fork 2L.

フォーク2及びリフトブラケット3は、リフトチェーン7によりインナマスト4に沿って上下する。マストMは、リフトブラケット3を支持して昇降するインナマスト4、及びインナマスト4を昇降可能にガイドするアウタマスト5からなる。アウタマスト5は、ティルトシリンダ6により前後方向に傾動する。 The fork 2 and lift bracket 3 are moved up and down along the inner mast 4 by a lift chain 7. The mast M consists of the inner mast 4, which supports the lift bracket 3 and moves up and down, and the outer mast 5, which guides the inner mast 4 so that it can be raised and lowered. The outer mast 5 tilts forward and backward by a tilt cylinder 6.

(移動装置)
移動装置Bは、左右一対の前輪、及び駆動輪であるとともに操舵輪である後輪、並びに後輪の駆動装置を有する。
(Mobile device)
The transportation device B has a pair of left and right front wheels, rear wheels which are both drive wheels and steerable wheels, and a drive unit for the rear wheels.

(制御装置)
制御装置Cは、荷役装置Aの昇降駆動装置、移動装置Bの駆動装置、及びティルトシリンダ6の駆動装置を制御するとともに、地上側の管理装置と通信を行う通信装置を有する。また、制御装置Cは、図4に示す処理装置10とのインターフェース並びに距離センサS3及び在荷センサS4とのインターフェースを有する。
(Control device)
The control device C controls the lifting drive device of the cargo handling device A, the drive device of the moving device B, and the drive device of the tilt cylinder 6, and also has a communication device for communicating with a management device on the ground. The control device C also has an interface with the processing device 10 shown in Figure 4, as well as interfaces with the distance sensor S3 and the cargo presence sensor S4.

(フォーク幅変更装置)
フォーク幅変更装置Dは、右フォーク2Rと左フォーク2Lの間隔Fを変更する。
(Fork width change device)
The fork width change device D changes the distance F between the right fork 2R and the left fork 2L.

(処理装置)
図4に示す処理装置10は撮影装置S1とのインターフェースを有し、撮影装置S1に対して撮影の指令を行う。また、処理装置10は、距離測定装置S2とのインターフェースを有し、距離測定装置S2に対して距離測定の指令を行う。
(Processing device)
4 has an interface with the image capture device S1 and issues image capture instructions to the image capture device S1. The processing device 10 also has an interface with the distance measurement device S2 and issues distance measurement instructions to the distance measurement device S2.

<パレット>
図2の左方から見た図、及び図3の斜視図に示すパレットP,P1は、例えば平パレットであり、左右のフォーク2L,2Rの差込口Q,Qを有する。パレットP,P1の上に積荷Wを載せる。
<Palette>
Pallets P, P1 shown in the left view of Figure 2 and the perspective view of Figure 3 are, for example, flat pallets and have insertion openings Q, Q for left and right forks 2L, 2R. A load W is placed on the pallets P, P1.

<センサ群>
図1の斜視図、及び図4の機器構成の概要を示すブロック図に示すように、無人フォークリフト1は、撮影装置S1、距離測定装置S2、距離センサS3、及び在荷センサS4、並びに自己位置認識用センサS5、及び障害物検知センサS6を備える。センサ群S1~S6は、後述する位置に配置される。図4に示す制御装置C及び処理装置10は、図1に示すように、無人フォークリフト1の本体1A内に配置される。
<Sensor group>
As shown in the perspective view of Fig. 1 and the block diagram showing an outline of the equipment configuration of Fig. 4, the unmanned forklift 1 is equipped with an image capture device S1, a distance measurement device S2, a distance sensor S3, a load presence sensor S4, a self-position recognition sensor S5, and an obstacle detection sensor S6. The sensors S1 to S6 are arranged at positions described below. The control device C and processing device 10 shown in Fig. 4 are arranged within the main body 1A of the unmanned forklift 1 as shown in Fig. 1.

(撮影装置、距離測定装置)
図1に示すように、撮影装置S1及び距離測定装置S2は、無人フォークリフト1の本体1Aの前下部の左右方向中央から前方へ突出する支持板Iに取り付けられたブラケットJにより保持される。すなわち、撮影装置S1及び距離測定装置S2は、リフトブラケット3やフォーク2等の本体1Aに対して可動の部材ではなく、本体1Aに対して非可動の部材に設置される。なお、この撮影装置S1及び距離測定装置S2の保持構造は、図9等の他の図面に示す構造にも適用されている。
(photography equipment, distance measuring equipment)
As shown in Fig. 1, the camera device S1 and the distance measurement device S2 are held by a bracket J attached to a support plate I that protrudes forward from the center in the left-right direction of the front lower part of the main body 1A of the unmanned forklift 1. In other words, the camera device S1 and the distance measurement device S2 are not mounted on movable members relative to the main body 1A, such as the lift bracket 3 or the forks 2, but on immovable members relative to the main body 1A. This holding structure for the camera device S1 and the distance measurement device S2 is also applied to the structure shown in other drawings, such as Fig. 9.

撮影装置S1は、例えば単眼カメラであり、無人フォークリフト1を停止させる所定停止位置で無人フォークリフト1の前方を撮影する。距離測定装置S2は、例えば2D-LiDAR(Light Detection And Ranging)又はTOF(Time Of Flight)カメラであり、無人フォークリフト1を停止させる所定停止位置で床N上の対象パレットP1(例えば図2)の距離測定を行う。距離測定装置S2が2D-LiDARである場合、水平方向に方向を変えながらレーザ光をパルス状に照射し、反射して返ってくる散乱光を検出し、物体に反射されて返ってくるまでの時間から対象物までの距離、方向などを測定する。 The image capturing device S1 is, for example, a monocular camera, and captures an image of the area in front of the unmanned forklift 1 at a predetermined stopping position where the unmanned forklift 1 will be stopped. The distance measuring device S2 is, for example, a 2D-LiDAR (Light Detection And Ranging) or TOF (Time Of Flight) camera, and measures the distance to a target pallet P1 (e.g., Figure 2) on the floor N at a predetermined stopping position where the unmanned forklift 1 will be stopped. If the distance measuring device S2 is a 2D-LiDAR, it emits pulsed laser light while changing direction horizontally, detects the scattered light that is reflected and returned, and measures the distance and direction to the target from the time it takes for the light to be reflected by the object and return.

図4に示すように、撮影装置S1により撮影された画像は処理装置10に送られ、距離測定装置S2により測定されたデータは処理装置10に送られる。 As shown in Figure 4, the image captured by the imaging device S1 is sent to the processing device 10, and the data measured by the distance measuring device S2 is sent to the processing device 10.

(距離センサ)
図1の斜視図、並びに図5Aの要部拡大横断面図、及び図5Bの要部拡大縦断面図に示すように、距離センサS3は、取付板19により固定された状態で右フォーク2Rの先端部に配置される。距離センサS3は、左フォーク2Lの先端部に配置してもよい。距離センサS3は、例えば距離設定型光電センサであり、前方の物体の有無を検出する。
(distance sensor)
As shown in the perspective view of Fig. 1, the enlarged horizontal cross-sectional view of a main portion of Fig. 5A, and the enlarged vertical cross-sectional view of a main portion of Fig. 5B, the distance sensor S3 is disposed at the tip of the right fork 2R and fixed by a mounting plate 19. The distance sensor S3 may also be disposed at the tip of the left fork 2L. The distance sensor S3 is, for example, a distance setting type photoelectric sensor, and detects the presence or absence of an object ahead.

図4に示すように、距離センサS3が検出した物体の有無の信号(例えばON/OFF信号)は制御装置Cへ送られる。 As shown in Figure 4, a signal indicating the presence or absence of an object detected by distance sensor S3 (e.g., an ON/OFF signal) is sent to control device C.

(障害物検知センサ)
図1の斜視図、及び図5Aの要部拡大横断面図に示すように、障害物検知センサS6は、取付板20により、左右のフォーク2L,2Rの先端部の左右に配置される。障害物検知センサS6は、例えば光電センサであり、フォーク2の先端部に近接する障害物を検知する。
(obstacle detection sensor)
As shown in the perspective view of Fig. 1 and the enlarged cross-sectional view of the main part of Fig. 5A, the obstacle detection sensors S6 are mounted on the left and right ends of the tips of the left and right forks 2L, 2R by mounting plates 20. The obstacle detection sensors S6 are, for example, photoelectric sensors, and detect obstacles approaching the tips of the forks 2.

障害物検知センサS6が検出した障害物の有無の信号(例えばON/OFF信号)は制御装置Cへ送られる。障害物検知センサS6が障害物を検知した場合、制御装置Cは無人フォークリフト1を例えば非常停止させる。 A signal (e.g., an ON/OFF signal) indicating the presence or absence of an obstacle detected by the obstacle detection sensor S6 is sent to the control device C. If the obstacle detection sensor S6 detects an obstacle, the control device C will, for example, bring the unmanned forklift 1 to an emergency stop.

(在荷センサ)
図2の左方から見た図、並びに図6Aの左方から見た要部拡大図、及び図6Bの要部拡大横断面図に示すように、在荷センサS4は、支持板21により支持された状態で左右のフォーク2L,2Rの根元に配置される。在荷センサS4は、例えば近接スイッチであり、フォーク2がパレットPを保持しているか否かを検出する。
(Cargo sensor)
As shown in the view from the left in Fig. 2, the enlarged view of the main part from the left in Fig. 6A, and the enlarged cross-sectional view of the main part in Fig. 6B, the load presence sensor S4 is disposed at the base of the left and right forks 2L, 2R while being supported by the support plate 21. The load presence sensor S4 is, for example, a proximity switch, and detects whether the forks 2 are holding a pallet P.

図4に示すように、在荷センサS4が検出したフォーク2がパレットPを保持しているか否かの信号(例えばON/OFF信号)は制御装置Cへ送られる。 As shown in Figure 4, a signal (e.g., an ON/OFF signal) indicating whether the fork 2 is holding a pallet P detected by the load sensor S4 is sent to the control device C.

図6A及び図6Bを参照して、左フォーク2Lの根元の在荷センサS4まわりの構造について説明する。左右方向の支軸Rにより支持されたシーソー板22は、当止板23により当て止めされ、引張コイルばね24により弾性付勢される。フォーク2がパレットPを保持していない場合、シーソー板22は、図6Aの実線の位置に静止する。図2のようにフォーク2がパレットPを保持している場合、シーソー板22は、図6Aの仮想線のように操作片22Aが下降して検出片22Bが上昇するように揺動する。それにより、検出片22Bを在荷センサS4が検出するので、フォーク2がパレットPを保持している状態を検出できる。 The structure around the load sensor S4 at the base of the left fork 2L will be described with reference to Figures 6A and 6B. The seesaw plate 22, supported by the left-right support shaft R, is stopped by the stop plate 23 and is elastically biased by the tension coil spring 24. When the fork 2 is not holding a pallet P, the seesaw plate 22 remains stationary in the position shown by the solid line in Figure 6A. When the fork 2 is holding a pallet P as in Figure 2, the seesaw plate 22 swings so that the operating piece 22A descends and the detection piece 22B ascends, as shown by the imaginary line in Figure 6A. As a result, the load sensor S4 detects the detection piece 22B, making it possible to detect that the fork 2 is holding a pallet P.

(自己位置認識用センサ)
図1の斜視図に示すように、自己位置認識用センサS5は、本体1Aから上方へ突出するフレームKの上面に上方へ向けて配置される。すなわち、自己位置認識用センサS5は、本体1Aに対して非可動の部材に設置される。自己位置認識用センサS5は、例えば、水平方向の全方位と垂直視野30°程度の3Dイメージングを行う。自己位置認識用センサS5は、例えば3D-LiDARであり、レーザSLAM(Simultaneously Localization And Mapping)式の自己位置推定方法に用いる。無人フォークリフト1の自己位置推定は、画像SLAM式の自己位置推定方法等であってもよい。
(Self-position recognition sensor)
As shown in the perspective view of FIG. 1 , the self-location recognition sensor S5 is disposed facing upward on the upper surface of a frame K that protrudes upward from the main body 1A. That is, the self-location recognition sensor S5 is installed on a member that is immovable relative to the main body 1A. The self-location recognition sensor S5 performs, for example, 3D imaging in all horizontal directions and with a vertical field of view of approximately 30°. The self-location recognition sensor S5 is, for example, a 3D-LiDAR, and is used for a laser SLAM (Simultaneously Localization And Mapping) type self-location estimation method. The self-location estimation of the unmanned forklift 1 may also be performed using an image SLAM type self-location estimation method, etc.

以上のセンサ群S1~S6を用いて制御される無人フォークリフト1において、本体1Aに対して可動の部材に設置されるセンサS3、S4、S6の信号ケーブル及び給電ケーブルは、図1に示すケーブルベア8を通して本体1A内の制御装置C及び電源に接続される。 In the unmanned forklift 1 controlled using the above group of sensors S1 to S6, the signal cables and power supply cables of sensors S3, S4, and S6, which are installed on movable members relative to the main body 1A, are connected to the control device C and power supply within the main body 1A via the cable bear 8 shown in Figure 1.

<画像取得部>
図4に示すように、処理装置10は画像取得部11を有する。画像取得部11は、撮影装置S1から撮影画像を取得する。撮影装置S1は、例えば、図2又は図3に示す対象パレットP1を撮影する。画像取得部11は、撮影装置S1から対象パレットP1の撮影画像を取得する。
<Image acquisition section>
As shown in Fig. 4, the processing device 10 has an image acquisition unit 11. The image acquisition unit 11 acquires a photographed image from a photographing device S1. The photographing device S1 photographs, for example, a target pallet P1 shown in Fig. 2 or 3. The image acquisition unit 11 acquires the photographed image of the target pallet P1 from the photographing device S1.

<パレット種類識別部>
図4に示すように、処理装置10はパレット種類識別部12を有する。パレット種類識別部12は、複数種類のパレットPについて、各々のパレットPの画像とパレットPの種類の組み合わせについての機械学習を行った学習済みの学習モデルを有する。パレット種類識別部12は、画像取得部11が取得した対象パレットP1の前記撮影画像を前記学習モデルに入力することで対象パレットP1の種類を識別する。
<Pallet type identification unit>
4, the processing device 10 has a pallet type identification unit 12. The pallet type identification unit 12 has a trained learning model that has undergone machine learning on combinations of images of each pallet P and the type of pallet P for multiple types of pallets P. The pallet type identification unit 12 identifies the type of the target pallet P1 by inputting the photographed image of the target pallet P1 acquired by the image acquisition unit 11 into the learning model.

図7は、パレット種類識別部12が対象パレットの種類を識別した状態の画像の例を示している。この例では、パレット種類識別部12が、床N上の対象パレットP1の種類「small」と、対象パレットP1の積荷上の対象パレットP2の種類「small」を識別している。パレット種類識別部12は、例えば、「small」、「medium」、「large」等のパレットの種類を識別できるとともに、図7中の(0.XX)、及び(0.△△)のように識別したパレットの種類の確かさ(確率)を画像上に表示できる。 Figure 7 shows an example of an image in which the pallet type identification unit 12 has identified the type of the target pallet. In this example, the pallet type identification unit 12 has identified the type of target pallet P1 on floor N as "small" and the type of target pallet P2 on the cargo of target pallet P1 as "small." The pallet type identification unit 12 can identify pallet types such as "small," "medium," and "large," and can also display the certainty (probability) of the identified pallet type on the image, such as (0.XX) and (0.△△) in Figure 7.

<パレット位置・形状取得部>
図4に示すように、処理装置10はパレット位置・形状取得部13を有する。パレット位置・形状取得部13は、例えば図2又は図3に示す無人フォークリフト1が対象パレットP1から所定距離E離間した所定停止位置で、対象パレットP1の距離測定を行った距離測定装置S2から対象パレットP1の位置・形状データを取得する。対象パレットP1の位置・形状データは、例えば、対象パレットP1の差込口Qを含む高さの点群データである。
<Pallet position and shape acquisition unit>
As shown in Fig. 4, the processing device 10 has a pallet position/shape acquisition unit 13. The pallet position/shape acquisition unit 13 acquires position/shape data of the target pallet P1 from a distance measurement device S2 that measures the distance to the target pallet P1 when the unmanned forklift 1 shown in Fig. 2 or 3 is at a predetermined stop position that is a predetermined distance E away from the target pallet P1. The position/shape data of the target pallet P1 is, for example, point cloud data of the height including the insertion opening Q of the target pallet P1.

<パレットずれ量検出部>
図4に示すように、処理装置10はパレットずれ量検出部14を有する。パレットずれ量検出部14は、複数種類のパレットPについて、各々のパレットPの位置・形状データを予め記憶している。パレットずれ量検出部14が予め記憶している各々のパレットPの位置・形状データは、無人フォークリフト1の前記所定停止位置で距離測定装置S2が各々のパレットPとの距離を測定し、パレット位置・形状取得部13が取得した各々のパレットPの位置・形状データである。各々のパレットPの位置・形状データは、例えば、パレットPの差込口Qを含む高さの点群データである。
<Pallet deviation amount detection unit>
As shown in Fig. 4, the processing device 10 has a pallet misalignment detection unit 14. The pallet misalignment detection unit 14 stores in advance position and shape data for each of multiple types of pallets P. The position and shape data for each pallet P stored in advance by the pallet misalignment detection unit 14 is the position and shape data for each pallet P acquired by the pallet position and shape acquisition unit 13 when the distance measurement device S2 measures the distance to each pallet P at the predetermined stopping position of the unmanned forklift 1. The position and shape data for each pallet P is, for example, point cloud data of the height including the insertion opening Q of the pallet P.

パレットずれ量検出部14は、パレット種類識別部12により識別された対象パレットP1の種類に対応した記憶済みの位置・形状データ、すなわち、前記のように予め記憶している各々のパレットPの中の、対象パレットP1の種類に対応したパレットPの位置・形状データと、パレット位置・形状取得部13が取得した対象パレットP1の位置・形状データを比較することにより、正規位置に対する対象パレットP1の位置と姿勢のずれ量を検出する。 The pallet deviation amount detection unit 14 detects the amount of deviation in the position and orientation of the target pallet P1 from its normal position by comparing the stored position and shape data corresponding to the type of target pallet P1 identified by the pallet type identification unit 12, i.e., the position and shape data of the pallet P corresponding to the type of target pallet P1 among the pallets P previously stored as described above, with the position and shape data of the target pallet P1 acquired by the pallet position and shape acquisition unit 13.

図8Aの平面概略図のL0は、例えば床N上のパレットについて、図2又は図3の対象パレットP1に対応した記憶済みのパレットPの差込口Qを含む高さの点群データに基づく線分である。前記のとおり、パレットずれ量検出部14は、複数種類のパレットPの各々について、図8Aのような線分L0のデータを記憶している。 L0 in the schematic plan view of Figure 8A is a line segment based on point cloud data of the height including the insertion port Q of the stored pallet P corresponding to the target pallet P1 in Figure 2 or 3, for example, for a pallet on floor N. As described above, the pallet misalignment detection unit 14 stores data for the line segment L0 shown in Figure 8A for each of multiple types of pallets P.

パレットずれ量検出部14は、図8Bの平面概略図に示すように、線分L0と、パレット位置・形状取得部13が取得した対象パレットP1の差込口Qを含む高さの点群データに基づく線分L1とを重ね合わせて比較する。 As shown in the schematic plan view of Figure 8B, the pallet deviation amount detection unit 14 overlays and compares line segment L0 with line segment L1, which is based on point cloud data of the height including the insertion port Q of the target pallet P1 acquired by the pallet position and shape acquisition unit 13.

このようなパレットずれ量検出部14によれば、線分L0,L1を重ね合わせて比較してずれ量を把握するので、計算コストが抑えられる。その上、水平方向のスキャンだけで前記高さの点群データが得られることから、対象パレットP1との距離を測定する距離測定装置S2を上下動させる必要がないので、対象パレットP1の位置と姿勢のずれ量を検出する時間を短縮できる。 This type of pallet misalignment detection unit 14 determines the amount of misalignment by superimposing and comparing line segments L0 and L1, thereby reducing calculation costs. Furthermore, because the height point cloud data can be obtained by simply scanning horizontally, there is no need to move the distance measurement device S2, which measures the distance to the target pallet P1, up and down, thereby reducing the time required to detect the amount of misalignment in the position and orientation of the target pallet P1.

<撮影装置の撮影位置、距離測定装置の距離測定位置>
撮影装置S1が対象パレットP1を撮影してパレット種類識別部12により対象パレットP1の種類を識別する際に無人フォークリフト1が停止する位置を第一停止位置とし、距離測定装置S2が対象パレットP1との距離を測定してパレット位置・形状取得部13により対象パレットP1の位置・形状データを取得する際に無人フォークリフト1が停止する位置を第二停止位置とする。
<Photographing position of the photographing device, distance measurement position of the distance measuring device>
The position where the unmanned forklift 1 stops when the photographing device S1 photographs the target pallet P1 and the pallet type identification unit 12 identifies the type of the target pallet P1 is the first stopping position, and the position where the unmanned forklift 1 stops when the distance measuring device S2 measures the distance to the target pallet P1 and the pallet position/shape acquisition unit 13 acquires the position/shape data of the target pallet P1 is the second stopping position.

例えば、図2及び図3に示す無人フォークリフト1が対象パレットP1から所定距離E離間した位置を前記第一停止位置及び前記第二停止位置として、前記第一停止位置及び前記第二停止位置を同位置にしてもよいし、前記第二停止位置を前記第一停止位置よりも対象パレットP1に接近させた位置にしてもよい。前記第二停止位置を前記第一停止位置よりも対象パレットP1に接近させた位置にすることにより、パレットずれ量検出部14による対象パレットP1の位置と姿勢のずれ量をより精度よく検出することができる。 For example, the first and second stop positions of the unmanned forklift 1 shown in Figures 2 and 3 may be set to positions a predetermined distance E away from the target pallet P1, and the first and second stop positions may be the same, or the second stop position may be closer to the target pallet P1 than the first stop position. By setting the second stop position closer to the target pallet P1 than the first stop position, the pallet deviation amount detection unit 14 can more accurately detect the deviation amount of the position and posture of the target pallet P1.

<エラー判定部>
図4に示すように、処理装置10はずれ量エラー判定部15を有する。ずれ量エラー判定部15は、パレットずれ量検出部14により検出された、正規位置に対する対象パレットP1の位置と姿勢のずれ量が所定の閾値より超えた場合にエラー判定をする。
<Error determination unit>
4, the processing device 10 has a deviation amount error determination unit 15. The deviation amount error determination unit 15 determines that an error has occurred when the deviation amount of the position and posture of the target pallet P1 from the correct position detected by the pallet deviation amount detection unit 14 exceeds a predetermined threshold value.

このようなずれ量エラー判定部15によれば、前記ずれ量が大きいため対象パレットP1にフォーク2を差し込めない場合には、フォーク差込み動作前にエラー判定することで、対象パレットP1とフォーク2が干渉する事故を未然に防げる。例えば、前記エラー判定の基準となる前記ずれ量の閾値は、距離測定装置S2が対象パレットP1との距離を測定してパレット位置・形状取得部13により対象パレットP1の位置・形状データを取得する際に無人フォークリフト1を停止させる所定停止位置から無人フォークリフト1が自走して対象パレットP1にフォーク2を差し込み可能な範囲の最大値とする。 With this type of deviation error determination unit 15, if the deviation is too large to insert the forks 2 into the target pallet P1, an error determination is made before the fork insertion operation, preventing accidents in which the target pallet P1 and the forks 2 interfere with each other. For example, the deviation threshold that serves as the basis for the error determination is the maximum value within the range in which the unmanned forklift 1 can insert the forks 2 into the target pallet P1 while self-propelled from the predetermined stopping position at which the unmanned forklift 1 is stopped when the distance measurement device S2 measures the distance to the target pallet P1 and the pallet position and shape acquisition unit 13 acquires the position and shape data of the target pallet P1.

<パレット形状判定部>
図4に示すように、処理装置10はパレット形状判定部16を有する。パレット形状判定部16は、パレット位置・形状取得部13が取得した対象パレットP1の形状データと、予め記憶された対象パレットP1と同じの種類のパレットの形状データを比較し、それらの差が所定の閾値より大きい場合には、取得した対象パレットP1の形状データに誤りがあると判定する。
<Pallet shape determination unit>
4, the processing device 10 has a pallet shape determination unit 16. The pallet shape determination unit 16 compares the shape data of the target pallet P1 acquired by the pallet position/shape acquisition unit 13 with pre-stored shape data of a pallet of the same type as the target pallet P1, and if the difference between the two is greater than a predetermined threshold, determines that there is an error in the acquired shape data of the target pallet P1.

このようなパレット形状判定部16によれば、例えば対象パレットP1のすぐ横に別の物品(例えば段ボール箱等)が置かれていた場合に、前記物品の影響で対象パレットP1の大きさを間違えて検出したとしても、パレット種類識別部12により識別された対象パレットP1の種類に相当する記憶済みのパレットの形状と比較することで誤りを判定することができる。それにより、フォーク2が対象パレットP1の差込口Qに干渉して作業が停止する事故を防ぐことができる。 With this type of pallet shape determination unit 16, even if the size of the target pallet P1 is incorrectly detected due to the influence of another item (such as a cardboard box) placed right next to the target pallet P1, the error can be determined by comparing it with the stored pallet shape corresponding to the type of target pallet P1 identified by the pallet type identification unit 12. This prevents accidents in which the forks 2 interfere with the insertion opening Q of the target pallet P1, causing work to stop.

<パレット段積み判別部>
図4に示すように、処理装置10はパレット段積み判別部17を有する。パレット段積み判別部17は、画像取得部11が取得した対象パレット(例えば図7のP1,P2)の撮影画像を図7のように画像処理することにより、対象パレットP1,P2があると予め設定された特定範囲内のパレットの数量を算出することで段積みの有無を判別する。
<Pallet stacking determination unit>
As shown in Fig. 4, the processing device 10 has a pallet stacking determination unit 17. The pallet stacking determination unit 17 processes the photographed image of the target pallet (e.g., P1 and P2 in Fig. 7) acquired by the image acquisition unit 11 as shown in Fig. 7, and determines whether the target pallets P1 and P2 are stacked by calculating the number of pallets within a predetermined specific range.

例えば、前記特定範囲内のパレットの数量が図7のように2個であった場合は、1段目のパレット及び積荷の上に他所から搬送してきた2段目のパレット及び積荷を載せる段積み作業不可という判断ができ、前記特定範囲内のパレットの数量が1個であった場合は、前記段積み作業可という判断ができる。また、前記特定範囲内のパレットの数量が1個であった場合は、2段目のパレット及び積荷をピックアップして他所に搬送する段バラシ作業不可という判断ができ、前記特定範囲内のパレットの数量が2個であった場合は、前記段バラシ作業可という判断ができる。また、前記特定範囲内のパレットの数量が2個以上の場合に段積み作業不可と予め設定しておけば、前記特定範囲内のパレットの数量が2個以上であった場合は、段積み作業不可という判断ができる。 For example, if the number of pallets within the specified range is two, as shown in Figure 7, it can be determined that stacking work, in which a second layer of pallets and cargo transported from another location is placed on top of the first layer of pallets and cargo, is not possible; if the number of pallets within the specified range is one, it can be determined that stacking work is possible. Also, if the number of pallets within the specified range is one, it can be determined that unstacking work, in which the second layer of pallets and cargo are picked up and transported to another location, is not possible; if the number of pallets within the specified range is two, it can be determined that unstacking work is possible. Also, if it is preset that stacking work is not possible when the number of pallets within the specified range is two or more, it can be determined that stacking work is not possible when the number of pallets within the specified range is two or more.

このようなパレット段積み判別部17によれば、無人フォークリフト1の正面の特定範囲内のパレットの数量のみを算出することにより、対象パレット以外のパレットを誤検出することなく、パレットの段積みの有無を確実に判別できる。例えば、床N上の対象パレットの側方に置かれている対象外のパレットも検出してパレット数量が2個であると算出してしまう誤検出が生じないので、段積みできるのに段積みできないとする誤判別がなくなる。 By calculating only the number of pallets within a specific range in front of the unmanned forklift 1, this pallet stacking determination unit 17 can reliably determine whether pallets are stacked or not without erroneously detecting pallets other than the target pallet. For example, there is no erroneous detection that would result in the detection of a non-target pallet placed to the side of the target pallet on floor N and the calculation that the number of pallets is two, eliminating the erroneous determination that stacking is not possible when stacking is possible.

例えば図7の画像の例において、床上のパレットP1の周囲画像と上段のパレットP2の周囲画像とは異なる。そのため、例えば床上のパレットが含まれる多数の画像を用意して床上のパレットを教師データとして機械学習を行った学習済みの学習モデルを用いた場合、上段のパレットP2を識別できない場合がある。 For example, in the example image of Figure 7, the image surrounding pallet P1 on the floor is different from the image surrounding pallet P2 on the upper level. Therefore, if a large number of images including pallets on the floor are prepared and a trained learning model is used that has undergone machine learning using the pallets on the floor as training data, it may not be able to identify pallet P2 on the upper level.

したがって、パレット段積み判別部17は、上下複数段のパレットについて、各々のパレット画像を教師データとして予め機械学習したものであるのが好ましい実施態様である。このようなパレット段積み判別部17によれば、どの段のパレットかによりパレットの周囲画像が異なる場合に、各々の異なる前記周囲画像を教師データとして学習しているので、パレットの検出精度を向上できる。 Therefore, in a preferred embodiment, the pallet stacking discrimination unit 17 is one that has previously undergone machine learning for multiple tiers of pallets, using each pallet image as training data. With this type of pallet stacking discrimination unit 17, if the surrounding images of a pallet differ depending on which tier the pallet is on, each of these different surrounding images is learned as training data, thereby improving the accuracy of pallet detection.

<走行制御部>
図4に示すように、制御装置Cは走行制御部18を有する。走行制御部18は、以下の(A)及び(B)の少なくとも一方の作業を行うために、無人フォークリフト1の走行を制御する。走行制御部18を地上側の管理装置に備えるようにしてもよい。
<Travel control unit>
4, the control device C has a travel control unit 18. The travel control unit 18 controls the travel of the unmanned forklift 1 to perform at least one of the following tasks (A) and (B). The travel control unit 18 may be provided in a management device on the ground.

(A)パレットずれ量検出部14により検出された前記ずれ量を用いて、対象パレットの差込口に対してフォーク2を差し込む動作を含む作業。
(B)フォーク2を差込口Qに差し込んで保持しているパレットP及び積荷Wを、対象パレットの前記ずれ量に合わせて前記対象パレットの積荷の上に積み込む段積み作業。
(A) A task that includes inserting the fork 2 into the insertion opening of the target pallet using the amount of deviation detected by the pallet deviation amount detection unit 14.
(B) A stacking operation in which the pallet P and cargo W held by the forks 2 inserted into the insertion openings Q are loaded onto the cargo of the target pallet in accordance with the amount of deviation of the target pallet.

例えば、無人フォークリフト1は、図3のように、床N上の対象パレットP1及び積荷Wをピックアップして他所に搬送する。また、無人フォークリフト1は、図2のように他所から運んできたパレットPを、床N上にある対象パレットP1の積荷Wの上に段積みする。さらに、無人フォークリフト1は、図7のように床N上にある対象パレットP1の積荷W上の対象パレットP2及び積荷Wをピックアップして他所に搬送する。 For example, as shown in Figure 3, the unmanned forklift 1 picks up a target pallet P1 and a load W on floor N and transports them to another location. Also, as shown in Figure 2, the unmanned forklift 1 stacks a pallet P brought from another location on top of the load W on the target pallet P1 on floor N. Furthermore, as shown in Figure 7, the unmanned forklift 1 picks up a target pallet P2 and a load W on the load W on the target pallet P1 on floor N and transports them to another location.

<フォーク幅変更装置の構造例>
図9の正面図に示すように、右フォーク2R及び左フォーク2Lは、リニアガイド25,26により左右方向へ移動可能にガイドされる。右フォーク2Rと左フォーク2Lの間隔Fを変更するフォーク幅変更装置Dのアクチュエータは、例えば、位置センサ付き電動シリンダ27,28である。すなわち、電動シリンダ27を駆動してピストン27Aを進退させることにより、右フォーク2Rは左右方向へ移動し、電動シリンダ28を駆動してピストン28Aを進退させることにより、左フォーク2Lは左右方向へ移動する。位置センサ付き電動シリンダ27,28は、位置センサ付き油圧シリンダ等であってもよい。
<Example of fork width change device structure>
As shown in the front view of Figure 9, the right fork 2R and the left fork 2L are guided by linear guides 25, 26 so that they can move left and right. The actuators of the fork width changing device D, which changes the gap F between the right fork 2R and the left fork 2L, are, for example, electric cylinders 27, 28 with position sensors. That is, by driving the electric cylinder 27 to advance and retract the piston 27A, the right fork 2R moves left and right, and by driving the electric cylinder 28 to advance and retract the piston 28A, the left fork 2L moves left and right. The electric cylinders 27, 28 with position sensors may also be hydraulic cylinders with position sensors, etc.

図10の概略平面図に示すように、対象パレットP1の差込口Q,Q間の幅Gよりもフォークの間隔Fが大きい場合は、フォーク先端の矢印のようにフォークの間隔Fを狭めるようにフォーク幅変更装置Dを動作させる。図11の概略平面図に示すように、対象パレットP1の差込口Q,Q間の幅Gよりもフォークの間隔Fが小さい場合は、フォーク先端の矢印のようにフォークの間隔Fを広げるようにフォーク幅変更装置Dを動作させる。 As shown in the schematic plan view of Figure 10, if the fork spacing F is larger than the width G between the insertion openings Q, Q of the target pallet P1, the fork width change device D operates to narrow the fork spacing F, as indicated by the arrows on the tips of the forks. As shown in the schematic plan view of Figure 11, if the fork spacing F is smaller than the width G between the insertion openings Q, Q of the target pallet P1, the fork width change device D operates to widen the fork spacing F, as indicated by the arrows on the tips of the forks.

パレット種類識別部12から得られた対象パレットP1の種類により、当該対象パレットP1の差込口Q,Qの間隔Gに合わせて、フォーク幅変更装置Dにより左右のフォーク2L,2Rの間隔Fを変更することができる。したがって、差込口Q,Qの間隔Gが異なる対象パレット毎に無人フォークリフト1を用意する必要がなく、差込口Q,Qの間隔Gに対応したフォーク2L,2Rの間隔Fになるようフォーク幅変更装置Dを動作させることで、1台の無人フォークリフト1で複数種類のパレットを搬送できる。 Depending on the type of target pallet P1 obtained from the pallet type identification unit 12, the fork width change device D can change the spacing F between the left and right forks 2L, 2R to match the spacing G between the insertion openings Q, Q of that target pallet P1. Therefore, there is no need to prepare an unmanned forklift 1 for each target pallet with a different spacing G between the insertion openings Q, Q. By operating the fork width change device D to set the spacing F between the forks 2L, 2R to correspond to the spacing G between the insertion openings Q, Q, a single unmanned forklift 1 can transport multiple types of pallets.

<距離センサ及び在荷センサの検出結果を用いた作業>
無人フォークリフト1は、前方の物体の有無を検出する距離センサS3の検出結果、及びフォーク2がパレットPを保持しているか否かを検出する在荷センサS4の検出結果を用いて、例えば以下のような作業を行う。
<Work using the detection results of distance sensors and inventory sensors>
The unmanned forklift 1 performs the following operations, for example, using the detection results of the distance sensor S3, which detects whether or not an object is present ahead, and the detection results of the load sensor S4, which detects whether or not the forks 2 are holding a pallet P.

すなわち、無人フォークリフト1は、図2に示すように、1段目の対象パレットP1の積荷W上に2段目のパレットP及び積荷Wを積み込む段積み作業を行う。また、無人フォークリフト1は、図7に示す1段目のパレットP1の積荷上の2段目のパレットP2及び積荷をピックアップして他所に搬送する段バラシ作業を行う。 That is, as shown in Figure 2, the unmanned forklift 1 performs stacking work by loading the second-tier pallet P and cargo W onto the cargo W of the first-tier target pallet P1. The unmanned forklift 1 also performs unstacking work by picking up the second-tier pallet P2 and cargo from the cargo of the first-tier pallet P1 shown in Figure 7 and transporting them to another location.

前記段積み作業を行う場合において、距離センサS3により1段目のパレットP1上の積荷Wの高さを検出でき、在荷センサS4により前記段積み作業後にフォーク2を引き抜く高さを検出できる。また、前記段バラシ作業を行う場合において、距離センサS3により2段目のパレットP2の差込口の高さを検出でき、在荷センサS4により前記段バラシ作業で保持すべきパレットP2及び積荷をフォーク2が保持した状態を検出できる。したがって、距離センサS3及び在荷センサS4により、確実な段積み作業及び又は段バラシ作業を行うことが可能になる。 When performing the stacking operation, the distance sensor S3 can detect the height of the load W on the first pallet P1, and the load presence sensor S4 can detect the height at which the forks 2 are removed after the stacking operation. Furthermore, when performing the unstacking operation, the distance sensor S3 can detect the height of the insertion opening of the second pallet P2, and the load presence sensor S4 can detect the state in which the forks 2 are holding the pallet P2 and load to be held during the unstacking operation. Therefore, the distance sensor S3 and load presence sensor S4 enable reliable stacking and/or unstacking operations.

(段積み作業の動作例)
無人フォークリフト1は、図2に示す対象パレットP1から所定距離E離間した位置で、撮影装置S1(図1)が前方を撮影し、画像取得部11が撮影装置S1から撮影画像を取得する。画像取得部11が取得した対象パレットP1の撮影画像をパレット種類識別部12の前記学習モデルに入力し、パレット種類識別部12が対象パレットP1の種類を識別する。
(Example of stacking operation)
The unmanned forklift 1 is positioned a predetermined distance E away from the target pallet P1 shown in Figure 2, with the imaging device S1 (Figure 1) capturing an image ahead, and the image acquisition unit 11 acquiring the captured image from the imaging device S1. The captured image of the target pallet P1 acquired by the image acquisition unit 11 is input to the learning model of the pallet type identification unit 12, and the pallet type identification unit 12 identifies the type of the target pallet P1.

距離測定装置S2(図1)が対象パレットP1との距離を測定し、パレット位置・形状取得部13が対象パレットP1の位置・形状データを取得する。パレットずれ量検出部14が、パレット種類識別部12により識別された対象パレットP1の種類に対応した記憶済みの位置・形状データと、パレット位置・形状取得部13が取得した対象パレットP1の位置・形状データを比較することにより、正規位置に対する対象パレットP1の位置と姿勢のずれ量を検出する。 The distance measuring device S2 (Figure 1) measures the distance to the target pallet P1, and the pallet position and shape acquisition unit 13 acquires the position and shape data of the target pallet P1. The pallet deviation amount detection unit 14 detects the amount of deviation in the position and orientation of the target pallet P1 from its correct position by comparing the stored position and shape data corresponding to the type of target pallet P1 identified by the pallet type identification unit 12 with the position and shape data of the target pallet P1 acquired by the pallet position and shape acquisition unit 13.

また、パレット段積み判別部17が、画像取得部11が取得した対象パレットP1の撮影画像を画像処理することにより、対象パレットP1があると予め設定された特定範囲内のパレットの数量を算出することで段積みの有無を判別する。すなわち、図2のように前記特定範囲内のパレットの数量が1個であるので、パレット段積み判別部17は段積みできると判断する。 The pallet stacking determination unit 17 also processes the photographed image of the target pallet P1 acquired by the image acquisition unit 11, and determines whether the target pallet P1 is present by calculating the number of pallets within a predetermined specific range. In other words, as shown in Figure 2, since the number of pallets within the specific range is one, the pallet stacking determination unit 17 determines that stacking is possible.

フォーク2の高さを下げて無人フォークリフト1を前進させて対象パレットP1に近づけ、図12Aのように対象パレットP1とパレットPとが例えば所定距離U離間した位置で無人フォークリフト1を停止させる。この位置では、図12Aの矢印Vに示すように、物体の有無の検出する距離センサS3(図1)が対象パレットP1を検出している。 The height of the forks 2 is lowered and the unmanned forklift 1 is moved forward to approach the target pallet P1, and the unmanned forklift 1 is stopped at a position where the target pallet P1 and pallet P are separated by, for example, a predetermined distance U, as shown in Figure 12A. At this position, the distance sensor S3 (Figure 1), which detects the presence or absence of an object, detects the target pallet P1, as indicated by arrow V in Figure 12A.

次に、図12Aの矢印T1のようにフォーク2を上昇させ、フォーク2先端の距離センサS3が対象パレットP1上の積荷Wを検出しなくなった位置が図12Bに示す対象パレットP1上の積荷Wの高さHである。距離センサS3が積荷Wを検出しなくなった位置からさらに所定距離だけ図12Bのようにフォーク2を上昇させる。 Next, the forks 2 are raised as shown by arrow T1 in Figure 12A, and the position at which the distance sensor S3 at the tip of the forks 2 no longer detects the load W on the target pallet P1 is the height H of the load W on the target pallet P1 shown in Figure 12B. From the position at which the distance sensor S3 no longer detects the load W, the forks 2 are raised a further predetermined distance as shown in Figure 12B.

次に、図12Bの矢印T2のように無人フォークリフト1を前進させ、パレットずれ量検出部14が検出した正規位置に対する対象パレットP1の位置と姿勢のずれ量に合わせて、対象パレットP1の真上にパレットPが重なる図12Cの位置で無人フォークリフト1を停止する。 Next, the unmanned forklift 1 is moved forward as indicated by arrow T2 in Figure 12B, and is stopped at the position shown in Figure 12C where pallet P is superimposed directly on the target pallet P1, in accordance with the amount of deviation in the position and posture of the target pallet P1 from the correct position detected by the pallet deviation amount detection unit 14.

次に、図12Cの矢印T3のようにフォーク2を下降させ、図12Dのように対象パレットP1上の積荷Wの上面にパレットP及び積荷Wを段積みする。図12Dの矢印T4のようにフォーク2をさらに下降させた図12Eの位置では、フォーク2がパレットPを保持しておらず、すなわち在荷センサS4がパレットPを保持していない状態を検出しているのでフォーク2の下降を停止する。 Next, the fork 2 is lowered as indicated by arrow T3 in Figure 12C, and the pallet P and load W are stacked on top of the load W on the target pallet P1 as indicated by arrow T3 in Figure 12D. When the fork 2 is further lowered as indicated by arrow T4 in Figure 12D to the position shown in Figure 12E, the fork 2 is no longer holding the pallet P; in other words, the load sensor S4 detects that the pallet P is not being held, and the lowering of the fork 2 is stopped.

次に、図12Eの状態から図12Eの矢印T5のように無人フォークリフト1を後退させ、パレットPからフォーク2を引き抜くことにより段積み作業が完了する。 Next, the unmanned forklift 1 is moved backward from the state shown in Figure 12E as indicated by arrow T5 in Figure 12E, and the forks 2 are pulled out from the pallet P, completing the stacking operation.

(段バラシ作業の動作例)
例えば図7に示す1段目のパレットP1の積荷上の2段目のパレットP2及び積荷をピックアップして他所に搬送する段バラシ作業を行う場合の例について説明する。
(Example of unstacking work)
For example, an example of unpacking work will be described in which a second pallet P2 and its cargo are picked up from the cargo on the first pallet P1 shown in FIG. 7 and transported to another location.

1段目のパレットP1に合わせて2段目のパレットP2が積まれている場合は、1段目のパレットP1の位置及び姿勢基準で2段目のパレットP2をピックアップすることができる。 When the second pallet P2 is stacked in accordance with the first pallet P1, the second pallet P2 can be picked up based on the position and posture of the first pallet P1.

その場合、図7に示す段積みされたパレットP1,P2及び積荷の手前で無人フォークリフト1を停止させた後、フォーク2を上昇させる。フォーク2の先端にある距離センサS3が前方の物体を検出している状態から前方の物体を検出しなくなった状態でフォーク2の上昇を停止させる。この状態では、2段目のパレットP2の差込口Q,Qの手前に左右のフォーク2L,2Rが位置しているので、無人フォークリフト1を所定距離前進させた後に、フォーク2を所定距離上昇させる。在荷センサS4がパレットP2を検出した状態でフォーク2が積荷を保持しているので、フォーク2を所定距離上昇させた後にフォーク2の上昇を停止し、無人フォークリフト1を後退させる。 In this case, the unmanned forklift 1 is stopped in front of the stacked pallets P1, P2 and the load shown in Figure 7, and then the forks 2 are raised. The lifting of the forks 2 is stopped when the distance sensor S3 at the tip of the forks 2 changes from detecting an object in front to no longer detecting the object in front. In this state, the left and right forks 2L, 2R are positioned in front of the insertion openings Q, Q of the second pallet P2, so the unmanned forklift 1 is moved forward a predetermined distance, and then the forks 2 are raised a predetermined distance. When the load presence sensor S4 detects the pallet P2, the forks 2 are holding the load, so the lifting of the forks 2 is stopped after the predetermined distance, and the unmanned forklift 1 is moved backward.

以上のような段バラシ作業を行う際、例えば図7の画像の例において、パレットP1上の積荷がストレッチフィルムで被われていない場合、積荷である左右の段ボール間の隙間の左右方向の位置がパレットP1,P2の差込口Q,Qの左右方向の位置と同じになる場合がある。そのような場合、フォーク2先端の距離センサS3が、前記左右の段ボール間の隙間の位置で前方の物体を検出しなくなる恐れがある。フォーク2先端の距離センサS3が前方の物体を検出しなくなると、フォーク2の上昇が停止し、左右のフォーク2L,2Rが2段目のパレットP2の差込口Q,Qの手前に位置していると誤って判断してしまう。それにより段バラシ作業を適切に行えなくなるという不具合が生じる。 When performing the above-described unstacking operation, for example, in the example image of Figure 7, if the load on pallet P1 is not covered with stretch film, the left-right position of the gap between the left and right cardboard boxes that make up the load may be the same as the left-right positions of the insertion ports Q, Q of pallets P1, P2. In such a case, there is a risk that the distance sensor S3 at the tip of the fork 2 will no longer detect an object in front of the gap between the left and right cardboard boxes. When the distance sensor S3 at the tip of the fork 2 no longer detects an object in front, the fork 2 will stop rising, and it will be erroneously determined that the left and right forks 2L, 2R are positioned in front of the insertion ports Q, Q of the second tier of pallet P2. This will cause a problem in which unstacking operation cannot be performed properly.

このような不具合を解消するための方策の一つとして、前記第一停止位置でパレット種類識別部12により対象パレットP1,P2の種類を識別する際に2段目のパレットP2の下面の大凡の高さを画像データに基づいて推定することが考えられる。例えば、パレット種類識別部12が対象パレットP1,P2の種類を識別した状態の画像(例えば図7)において、1段目のパレットP1の幅の画素数と、1段目のパレットP1と2段目のパレットP2の上下間隔の画素数との比を求める。また、予め記憶さている対象パレットP1と同じの種類のパレットの形状データに基づいて、パレットP1の幅及び高さの実寸法を得る。前記比及び前記実寸法から、2段目のパレットP2の下面の概略高さを推定できる。 One way to resolve this issue is to estimate the approximate height of the underside of the second-tier pallet P2 based on image data when the pallet type identification unit 12 identifies the types of the target pallets P1 and P2 at the first stop position. For example, in an image (e.g., Figure 7) in which the pallet type identification unit 12 has identified the types of the target pallets P1 and P2, the ratio of the number of pixels in the width of the first-tier pallet P1 to the number of pixels in the vertical space between the first-tier pallet P1 and the second-tier pallet P2 is calculated. Furthermore, the actual width and height dimensions of pallet P1 are obtained based on pre-stored shape data for pallets of the same type as the target pallet P1. The approximate height of the underside of the second-tier pallet P2 can be estimated from this ratio and these actual dimensions.

そして、推定した2段目のパレットP2の下面の概略高さよりも上に2段目のパレットP2の差込口Q,Qがあると認識した上で前記段バラシ作業を行う。すなわち、段積みされたパレットP1,P2及び積荷の手前で無人フォークリフト1を停止させた後、フォーク2を上昇させ、距離センサS3が前方の物体を検出しなくなった状態でフォーク2の上昇を停止させる位置を、推定した2段目のパレットP2の下面の概略高さよりも上の位置にする。このように動作させることで、前記不具合を解消できる。 Then, the unpacking work is performed after recognizing that the insertion openings Q, Q of the second tier of pallet P2 are located above the estimated approximate height of the underside of the second tier of pallet P2. That is, after stopping the unmanned forklift 1 in front of the stacked pallets P1, P2 and the cargo, the forks 2 are raised, and when the distance sensor S3 no longer detects an object ahead, the position at which the forks 2 are stopped from raising is set to a position above the estimated approximate height of the underside of the second tier of pallet P2. By operating in this manner, the above-mentioned problem can be resolved.

(段バラシ作業の別の動作例)
距離測定装置S2である2D-LiDARを、フォーク2とともに昇降するリフトブラケット3に設置し、フォーク2の昇降動作中に2段目のパレットP2の位置・形状データ及び高さを検出する。2D-LiDARは、リフトブラケット3の、フォーク2L,2R各々の根元の中間位置に該当する場所に設置される。あるいは、図1のように無人フォークリフト1の本体1Aに設置された距離測定装置S2を3D-LiDARに変更することで、2段目のパレットP2の位置・形状データ及び高さも検出できるようにする。これらの場合、フォーク2の先端にある距離センサS3は、パレットP1,P2との干渉をチェックするために用いる。
(Another example of unstacking work)
A 2D-LiDAR distance measurement device S2 is installed on the lift bracket 3, which rises and falls together with the forks 2, and detects the position, shape data, and height of the second-stage pallet P2 while the forks 2 are rising and falling. The 2D-LiDAR is installed on the lift bracket 3 at a location midway between the bases of the forks 2L and 2R. Alternatively, as shown in Figure 1, the distance measurement device S2 installed on the main body 1A of the unmanned forklift 1 can be changed to a 3D-LiDAR, so that the position, shape data, and height of the second-stage pallet P2 can also be detected. In these cases, the distance sensor S3 at the tip of the forks 2 is used to check for interference with pallets P1 and P2.

例えば図7に示す段積みされたパレットP1,P2に対して、無人フォークリフト1が2段目のパレットP2の位置・形状データ及び高さを検出した後、フォーク2をパレットP2の差込口Qの高さにした状態で、2段目のパレットP2の差込口Q,Qに左右のフォーク2L,2Rを合わせるように無人フォークリフト1を所定距離前進させる。次にフォーク2を上昇させ、在荷センサS4がパレットP2を検出した状態でフォーク2が積荷を保持しているので、フォーク2を所定距離上昇させた後にフォーク2の上昇を停止し、無人フォークリフト1を後退させる。 For example, for stacked pallets P1 and P2 as shown in Figure 7, the unmanned forklift 1 detects the position, shape data, and height of the second pallet P2, and then, with the forks 2 at the height of the insertion opening Q of pallet P2, the unmanned forklift 1 moves forward a predetermined distance so that the left and right forks 2L and 2R are aligned with the insertion openings Q and Q of the second pallet P2. Next, the forks 2 are raised, and since the load presence sensor S4 detects the pallet P2 and the forks 2 are holding a load, the forks 2 are stopped from raising after being raised a predetermined distance, and the unmanned forklift 1 moves backward.

以上における本発明の実施形態においては、対象パレットが床N上にある場合について説明したが、対象パレットはトラックの荷台上にあってもよい。対象パレットがトラックの荷台上にある場合の作業例を以下に示す。 In the above embodiment of the present invention, we have described a case where the target pallet is on floor N, but the target pallet may also be on the bed of a truck. An example of work when the target pallet is on the bed of a truck is shown below.

(1) トラックの荷台上にある1段のパレット及び積荷のデバンニング
前記「段バラシ作業の別の動作例」における2段目のパレットP2及びその積荷の段バラシと同様の動作で、トラックの荷台上にある1段のパレット及び積荷のデバンニングを行う。
(1) Devanning of the first layer of pallets and cargo on the truck bed Devanning of the first layer of pallets and cargo on the truck bed is performed using the same operation as the devanning of the second layer of pallet P2 and its cargo in the "Another example of devanning operation" above.

(2) トラックの荷台上にある上下2段のパレット及び積荷のうちの上段のパレット及び積荷のデバンニング(段バラシ)
前記「段バラシ作業の別の動作例」における2段目のパレットP2及びその積荷の段バラシと同様の動作で、トラックの荷台上にある上下2段のパレット及び積荷のうちの上段のパレット及び積荷のデバンニング(段バラシ)を行う。
(2) Devanning the upper pallet and cargo of the two-tiered pallets and cargo on the truck bed (tiered disassembly)
The upper pallet and cargo of the two upper and lower tiers of pallets and cargo on the truck bed are devanned (devanned) using the same operation as the devanning of the second tier pallet P2 and its cargo in the "Another example of devanning operation" above.

トラックの荷台上にある上下2段のパレット及び積荷が下段のパレットに合わせて上段のパレットが積まれている場合は、以下のようにトラックの荷台上の上段のパレット及び積荷のデバンニングを行ってもよい。 If the upper pallet is stacked to fit the lower pallet on the truck bed, the upper pallet and cargo on the truck bed may be unloaded as follows:

すなわち、前記「段バラシ作業の別の動作例」における2段目のパレットP2及びその積荷の段バラシと同様の動作で、荷台上の下段のパレットの位置・形状データ及び高さを検出する。そして、上下2段のパレット及び積荷の手前で無人フォークリフト1を停止させた後、フォーク2を上昇させる際に、フォーク2の先端にある距離センサS3が前方の物体を検出している状態から前方の物体を検出しなくなった状態でフォーク2の上昇を停止させる。無人フォークリフト1の所定距離前進、フォーク2の所定距離上昇、在荷センサS4によるフォーク2の上昇停止、及び無人フォークリフト1の後退を行うことで、トラックの荷台上の上段のパレット及び積荷のデバンニングを行う。 That is, the position, shape data, and height of the lower pallet on the truck bed are detected using the same operations as for unloading the second tier of pallet P2 and its cargo in the "Another Operational Example of Unloading Work" described above. Then, after stopping the unmanned forklift 1 in front of the two tiers of pallets and cargo, the forks 2 are raised, and the lifting of the forks 2 is stopped when the distance sensor S3 at the tip of the forks 2 changes from detecting an object in front to no longer detecting an object in front. The unmanned forklift 1 moves forward a predetermined distance, the forks 2 rise a predetermined distance, the load sensor S4 stops the lifting of the forks 2, and the unmanned forklift 1 moves backward, thereby unloading the upper pallet and cargo from the truck bed.

(3) トラックの荷台上にある1段のパレット及び積荷上へのパレット及び積荷のバンニング(段積み)
距離測定装置S2である2D-LiDARを、フォーク2とともに昇降するリフトブラケット3に設置し、フォーク2の昇降動作中にトラックの荷台上にある1段のパレットの位置・形状データ及び高さを検出する。あるいは、図1のように無人フォークリフト1の本体1Aに設置された距離測定装置S2を3D-LiDARに変更することで、トラックの荷台上にある1段のパレットの位置・形状データ及び高さも検出できるようにする。
(3) Vanning (stacking) pallets and cargo onto a single layer of pallets and cargo on the truck bed.
A 2D-LiDAR distance measurement device S2 is installed on the lift bracket 3, which rises and falls together with the forks 2, and detects the position, shape data, and height of a single layer of pallets on the truck bed while the forks 2 are rising and falling. Alternatively, as shown in Figure 1, by changing the distance measurement device S2 installed on the main body 1A of the unmanned forklift 1 to a 3D-LiDAR, it becomes possible to detect the position, shape data, and height of a single layer of pallets on the truck bed.

そして、前記「段積み作業の動作例」において、対象パレットP1をトラックの荷台上にある1段のパレットに置き換え、トラックの荷台上にある1段のパレット及び積荷上へのパレット及び積荷のバンニング(段積み)を行う。 Then, in the "Stacking Operation Example" above, the target pallet P1 is replaced with a single layer of pallets on the truck bed, and the pallet and cargo are vanned (stacking) onto the single layer of pallets and cargo on the truck bed.

前記(1)ないし(3)の作業例において、パレットの種類を識別する際に使用する学習モデルは、トラックの荷台上の1段目のパレット(下段のパレット)又は2段目のパレット(上段のパレット)の画像を教師データとして機械学習を行った学習済みモデルである。 In the work examples (1) to (3) above, the learning model used to identify the type of pallet is a trained model that has undergone machine learning using images of the first pallet (lower pallet) or second pallet (upper pallet) on the truck bed as training data.

<本発明の実施形態に係る無人フォークリフトの作用効果>
無人フォークリフト1が搬送する対象が、形状が異なる複数種類のパレットである場合であっても、扱えるパレットの種類に制限はなく、各々の前記パレットの画像と前記パレットの種類の組み合わせについての機械学習を行った学習済みであるパレット種類識別部12の学習モデルに画像取得部11が取得した対象パレットの撮影画像を入力し、パレット種類識別部12が前記対象パレットの種類を識別する。前記撮影画像を入力することで、パレット種類識別部12が前記対象パレットの種類を高い精度で識別する。そして、パレットずれ量検出部14が、パレット種類識別部12により識別された前記対象パレットの種類に対応した記憶済みの位置・形状データと、パレット位置・形状取得部13が得た前記対象パレットの位置・形状データを比較照合することができる。
<Operation and effect of the unmanned forklift according to the embodiment of the present invention>
Even if the objects to be transported by the unmanned forklift 1 are multiple types of pallets with different shapes, there is no limit to the types of pallets that can be handled, and the photographed image of the target pallet acquired by the image acquisition unit 11 is input to the learning model of the pallet type identification unit 12, which has been trained by machine learning on combinations of images of each pallet and the type of pallet, and the pallet type identification unit 12 identifies the type of the target pallet. By inputting the photographed image, the pallet type identification unit 12 identifies the type of the target pallet with high accuracy. The pallet misalignment detection unit 14 can then compare and collate the stored position and shape data corresponding to the type of target pallet identified by the pallet type identification unit 12 with the position and shape data of the target pallet acquired by the pallet position and shape acquisition unit 13.

それにより、パレットの正規位置に対する前記対象パレットの位置と姿勢のずれ量を高い精度で検出できるとともに、床上に置かれたパレット以外の物品(例えば、段ボール箱等)を特定種類のパレットとして誤認識してフォーク2とパレットや物品が干渉するような事故を防ぐことができる。また、パレットの形状データの比較照合の計算が短縮され、作業速度が向上するので、処理能力の高い高価な計算機を使用する必要がない。 This allows for highly accurate detection of the deviation in the position and posture of the target pallet relative to the pallet's normal position, and prevents accidents such as items other than pallets placed on the floor (such as cardboard boxes) being mistakenly recognized as a specific type of pallet, resulting in interference between the fork 2 and the pallet or item. Furthermore, the calculation time required to compare and collate pallet shape data is shortened, improving work speed, eliminating the need for expensive computers with high processing power.

前記対象パレットの前記ずれ量を高い精度で検出した上で、無人フォークリフト1は、例えば、パレットずれ量検出部14により検出された前記ずれ量を用いて、前記対象パレットの差込口に対してフォーク2を差し込む動作を含む作業として、床上のパレット及び積荷をピックアップして他所に搬送する作業、1段目のパレットの積荷上の2段目のパレット及び積荷をピックアップして他所に搬送する作業を行うことができる。また、無人フォークリフト1は、フォーク2を差込口に差し込んで保持しているパレット及び積荷を、対象パレットの前記ずれ量に合わせて前記対象パレットの積荷の上に積み込む段積み作業等を行うことができる。 After detecting the amount of misalignment of the target pallet with high accuracy, the unmanned forklift 1 can, for example, use the amount of misalignment detected by the pallet misalignment detection unit 14 to perform tasks including inserting the forks 2 into the insertion openings of the target pallet, such as picking up a pallet and cargo from the floor and transporting it to another location, or picking up a pallet and cargo from a second level on top of the load on the first level pallet and transporting it to another location. The unmanned forklift 1 can also perform stacking tasks, such as loading a pallet and cargo held by inserting the forks 2 into the insertion openings onto the load on the target pallet in accordance with the amount of misalignment of the target pallet.

以上の実施形態の記載はすべて例示であり、これに制限されるものではない。本発明の範囲から逸脱することなく種々の改良及び変更を施すことができる。 The above description of the embodiments is by way of example only and is not intended to be limiting. Various improvements and modifications may be made without departing from the scope of the present invention.

1 無人フォークリフト 1A 本体
2 フォーク 2L 左フォーク
2R 右フォーク 3 リフトブラケット
4 インナマスト 5 アウタマスト
6 ティルトシリンダ 7 リフトチェーン
8 ケーブルベア 10 処理装置
11 画像取得部 12 パレット種類識別部
13 パレット位置・形状取得部 14 パレットずれ量検出部
15 ずれ量エラー判定部 16 パレット形状判定部
17 パレット段積み判別部 18 走行制御部
19,20 取付板 21 支持板
22 シーソー板 22A 操作片
22B 検出片 23 当止板
24 引張コイルばね 25,26 リニアガイド
27,28 位置センサ付き電動シリンダ 27A,28A ピストン
A 荷役装置 B 移動装置
C 制御装置 D フォーク幅変更装置
E 所定距離 F フォークの間隔
G 差込口間の幅 H 積荷の高さ
I 支持板 J ブラケット
K フレーム
L0 対象パレットの種類に対応した記憶済みの点群データに基づく線分
L1 パレット位置・形状取得部が取得した対象パレットの点群データに基づく線分
M マスト N 床
P パレット P1,P2 対象パレット
Q 差込口 R 支軸
S1 撮影装置 S2 距離測定装置
S3 距離センサ S4 在荷センサ
S5 自己位置認識用センサ S6 障害物検知センサ
T1~T5 動作 U 所定距離
V 距離センサによる物体検出 W 積荷
DESCRIPTION OF SYMBOLS 1 Unmanned forklift 1A Main body 2 Fork 2L Left fork 2R Right fork 3 Lift bracket 4 Inner mast 5 Outer mast 6 Tilt cylinder 7 Lift chain 8 Cableveyor 10 Processing device 11 Image acquisition unit 12 Pallet type identification unit 13 Pallet position/shape acquisition unit 14 Pallet deviation amount detection unit 15 Deviation amount error determination unit 16 Pallet shape determination unit 17 Pallet stacking determination unit 18 Travel control unit 19, 20 Mounting plate 21 Support plate 22 Seesaw plate 22A Operation piece 22B Detection piece 23 Stop plate 24 Tension coil spring 25, 26 Linear guide 27, 28 Electric cylinder with position sensor 27A, 28A Piston A Load handling device B Moving device C Control device D Fork width change device E Predetermined distance F Fork spacing G Width between insertion openings H Load height I Support plate J Bracket K Frame L0 Line segment L1 based on stored point cloud data corresponding to the type of target pallet Line segment M based on point cloud data of the target pallet acquired by the pallet position and shape acquisition unit Mast N Floor P Pallet P1, P2 Target pallet Q Insertion port R Support shaft S1 Photography device S2 Distance measurement device S3 Distance sensor S4 Load sensor S5 Self-position recognition sensor S6 Obstacle detection sensors T1 to T5 Operation U Predetermined distance V Object detection by distance sensor W Load

Claims (9)

パレットを用いた荷役作業を自動で行う、一対のフォークを備えた無人フォークリフトであって、
前記無人フォークリフトの前方を撮影する撮影装置から撮影画像を取得する画像取得部と、
複数種類の前記パレットについて、各々の前記パレットの画像と前記パレットの種類の組み合わせについての機械学習を行った学習済みの学習モデルを有し、前記画像取得部が取得した対象パレットの前記撮影画像を前記学習モデルに入力することで前記対象パレットの種類を識別するパレット種類識別部と、
前記対象パレットとの距離を測定する距離測定装置から前記対象パレットの位置・形状データを取得するパレット位置・形状取得部と、
複数種類の前記パレットについて、各々の前記パレットの位置・形状データを予め記憶し、前記パレット種類識別部により識別された前記対象パレットの種類に対応した記憶済みの位置・形状データと、前記パレット位置・形状取得部が取得した前記対象パレットの位置・形状データを比較することにより、正規位置に対する前記対象パレットの位置と姿勢のずれ量を検出するパレットずれ量検出部と、
(A)検出された前記ずれ量を用いて、前記対象パレットの差込口に対して前記フォークを差し込む動作を含む作業、
(B)前記フォークを差込口に差し込んで保持しているパレット及び積荷を、前記対象パレットの前記ずれ量に合わせて前記対象パレットの積荷の上に積み込む段積み作業、
の少なくとも一方の作業を行うための走行を制御する走行制御部と、
を備える、
無人フォークリフト。
An unmanned forklift equipped with a pair of forks that automatically performs loading and unloading work using pallets,
an image acquisition unit that acquires a photographed image from an image acquisition device that photographs a front side of the unmanned forklift;
a pallet type identification unit that has a trained learning model that has undergone machine learning on the combination of each pallet image and the type of pallet for multiple types of pallets, and identifies the type of the target pallet by inputting the photographed image of the target pallet acquired by the image acquisition unit into the learning model;
a pallet position and shape acquisition unit that acquires position and shape data of the target pallet from a distance measurement device that measures the distance to the target pallet;
a pallet deviation amount detection unit that stores position and shape data of each of the plurality of types of pallets in advance, and detects the amount of deviation of the position and posture of the target pallet from its normal position by comparing the stored position and shape data corresponding to the type of target pallet identified by the pallet type identification unit with the position and shape data of the target pallet acquired by the pallet position and shape acquisition unit;
(A) an operation including inserting the forks into the insertion opening of the target pallet using the detected amount of deviation;
(B) a stacking operation in which the pallet and cargo held by the forks inserted into the insertion openings are loaded onto the cargo of the target pallet in accordance with the amount of deviation of the target pallet;
a travel control unit that controls travel to perform at least one of the above tasks;
Equipped with
Unmanned forklift.
前記位置・形状データは、前記パレットの差込口を含む高さのデータであり、
前記パレットずれ量検出部は、前記対象パレットの種類に対応した記憶済みの前記位置・形状データに基づく線分と、前記パレット位置・形状取得部が取得した前記対象パレットの前記位置・形状データに基づく線分とを重ね合わせて比較する、
請求項1に記載の無人フォークリフト。
The position and shape data is data on the height of the pallet including its insertion opening,
The pallet deviation amount detection unit superimposes and compares a line segment based on the stored position and shape data corresponding to the type of the target pallet with a line segment based on the position and shape data of the target pallet acquired by the pallet position and shape acquisition unit.
The unmanned forklift according to claim 1.
前記パレットずれ量検出部により検出された前記ずれ量が所定の閾値より超えた場合にエラー判定をするずれ量エラー判定部をさらに備える、
請求項1又は2に記載の無人フォークリフト。
a deviation error determination unit that determines an error when the deviation detected by the pallet deviation detection unit exceeds a predetermined threshold value;
3. The unmanned forklift according to claim 1 or 2.
前記パレット位置・形状取得部が取得した前記対象パレットの形状データと、予め記憶された前記対象パレットと同じの種類のパレットの形状データを比較し、それらの差が所定の閾値より大きい場合には、取得した前記対象パレットの形状データに誤りがあると判定するパレット形状判定部をさらに備える、
請求項1~3の何れかに記載の無人フォークリフト。
The system further includes a pallet shape determination unit that compares the shape data of the target pallet acquired by the pallet position/shape acquisition unit with pre-stored shape data of a pallet of the same type as the target pallet, and determines that there is an error in the acquired shape data of the target pallet if the difference between the shape data and the pre-stored shape data is greater than a predetermined threshold value.
The unmanned forklift according to any one of claims 1 to 3.
前記画像取得部が取得した前記対象パレットの前記撮影画像を画像処理することにより、前記対象パレットがあると予め設定された特定範囲内のパレットの数量を算出することで段積みの有無を判別するパレット段積み判別部をさらに備える、
請求項1~4の何れかに記載の無人フォークリフト。
The system further includes a pallet stacking determination unit that performs image processing on the photographed image of the target pallet acquired by the image acquisition unit to calculate the number of pallets within a specific range that is set in advance to include the target pallet, thereby determining whether or not the target pallet is stacked.
The unmanned forklift according to any one of claims 1 to 4.
前記パレット段積み判別部は、上下複数段のパレットについて、各々のパレット画像を教師データとして予め機械学習したものである、
請求項5に記載の無人フォークリフト。
The pallet stacking determination unit has previously performed machine learning on pallet images of multiple tiers of pallets, using training data.
The unmanned forklift according to claim 5.
前記パレット種類識別部から得られた前記対象パレットの種類により、当該対象パレットの差込口間の幅に合わせて前記フォークの間隔を変更するフォーク幅変更装置をさらに備える、
請求項1~6の何れかに記載の無人フォークリフト。
The system further includes a fork width changer that changes the spacing between the forks to match the width between the insertion openings of the target pallet based on the type of the target pallet obtained from the pallet type identification unit.
The unmanned forklift according to any one of claims 1 to 6.
前記フォークの先端に配置した、前方の物体の有無を検出する距離センサと、
前記フォークが前記パレットを保持しているか否かを検出する在荷センサと、
をさらに備え、
前記距離センサによる前記物体の有無の検出結果、及び前記在荷センサによる前記パレットを保持しているか否かの検出結果を用いて、
1段目のパレットの積荷上に2段目のパレット及び積荷を積み込む段積み作業、及び/又は、
1段目のパレットの積荷上の2段目のパレット及び積荷をピックアップして他所に搬送する段バラシ作業を行う、
請求項1~7の何れかに記載の無人フォークリフト。
a distance sensor disposed at the tip of the fork to detect the presence or absence of an object ahead;
a presence sensor that detects whether the forks are holding the pallet;
Furthermore,
Using the result of detecting the presence or absence of the object by the distance sensor and the result of detecting whether the pallet is being held by the inventory sensor,
Stacking operations in which a second pallet and load are loaded onto the load of the first pallet, and/or
A pallet unpacking operation is performed to pick up the second pallet and cargo on the first pallet and transport it to another location.
The unmanned forklift according to any one of claims 1 to 7.
第一停止位置で前記撮影装置が前記対象パレットを撮影して前記パレット種類識別部により前記対象パレットの種類を識別し、前記第一停止位置よりも前記対象パレットに接近する第二停止位置で前記距離測定装置が前記対象パレットとの距離を測定して前記パレット位置・形状取得部により前記対象パレットの位置・形状データを取得する、
請求項1~8の何れかに記載の無人フォークリフト。
At a first stop position, the photographing device photographs the target pallet and the pallet type identification unit identifies the type of the target pallet, and at a second stop position closer to the target pallet than the first stop position, the distance measuring device measures the distance to the target pallet and the pallet position/shape acquisition unit acquires position/shape data of the target pallet.
The unmanned forklift according to any one of claims 1 to 8.
JP2022042127A 2021-05-19 2022-03-17 Unmanned forklift Active JP7761884B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/663,295 US12260627B2 (en) 2021-05-19 2022-05-13 Unmanned forklift

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021084906 2021-05-19
JP2021084906 2021-05-19

Publications (3)

Publication Number Publication Date
JP2022179331A JP2022179331A (en) 2022-12-02
JP2022179331A5 JP2022179331A5 (en) 2024-12-12
JP7761884B2 true JP7761884B2 (en) 2025-10-29

Family

ID=84239170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022042127A Active JP7761884B2 (en) 2021-05-19 2022-03-17 Unmanned forklift

Country Status (1)

Country Link
JP (1) JP7761884B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7707998B2 (en) * 2022-04-22 2025-07-15 株式会社豊田自動織機 Cargo handling system and cargo handling vehicle
JP7794692B2 (en) * 2022-05-30 2026-01-06 トヨタ自動車株式会社 Control method, control device, and control system
CN115848878B (en) * 2023-02-28 2023-05-26 云南烟叶复烤有限责任公司 AGV-based tobacco frame identification and stacking method and system
JP2025006554A (en) * 2023-06-29 2025-01-17 トヨタ自動車株式会社 Robot System
JP2025034586A (en) * 2023-08-31 2025-03-13 株式会社小松製作所 Identification system, calibration method and work vehicle
JP2026022059A (en) * 2024-07-30 2026-02-12 三菱重工業株式会社 MOBILE BODY, CONTROL METHOD, AND CONTROL PROGRAM
JP2026045841A (en) * 2024-08-30 2026-03-13 三菱重工業株式会社 Mobile device, control method, and program
US12522485B1 (en) * 2025-01-27 2026-01-13 Visionnav Robotics Usa Inc. Aligning method, controller, and material handling equipment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160090283A1 (en) 2014-09-25 2016-03-31 Bt Products Ab Fork-Lift Truck
CN109502513A (en) 2018-12-26 2019-03-22 苏州罗伯特木牛流马物流技术有限公司 Fork-lift type AGV pallet fork is apart from automatic regulating apparatus and method
JP6586497B1 (en) 2018-09-19 2019-10-02 三菱ロジスネクスト株式会社 Plug-in control device and plug-in control method
JP2020109030A (en) 2019-01-04 2020-07-16 三菱ロジスネクスト株式会社 Determination device, determination method and program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0592898A (en) * 1991-03-18 1993-04-16 Caterpillar Ind Inc Device and method for controlling and position- ing fork of vehicle for handling material
JP6893198B2 (en) * 2018-09-11 2021-06-23 三菱ロジスネクスト株式会社 Information processing device and information processing method
JP7272197B2 (en) * 2019-09-13 2023-05-12 株式会社豊田自動織機 Position and orientation estimation device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160090283A1 (en) 2014-09-25 2016-03-31 Bt Products Ab Fork-Lift Truck
JP6586497B1 (en) 2018-09-19 2019-10-02 三菱ロジスネクスト株式会社 Plug-in control device and plug-in control method
CN109502513A (en) 2018-12-26 2019-03-22 苏州罗伯特木牛流马物流技术有限公司 Fork-lift type AGV pallet fork is apart from automatic regulating apparatus and method
JP2020109030A (en) 2019-01-04 2020-07-16 三菱ロジスネクスト株式会社 Determination device, determination method and program

Also Published As

Publication number Publication date
JP2022179331A (en) 2022-12-02

Similar Documents

Publication Publication Date Title
JP7761884B2 (en) Unmanned forklift
US12260627B2 (en) Unmanned forklift
US11970378B2 (en) Warehouse inspection system
EP3718951B1 (en) Load handling module for a material handling vehicle
US11718513B2 (en) Position and posture estimation system
CN104379489B (en) Container crane
EP3309112B1 (en) Forklift truck and method of operating the same
CA3172332A1 (en) Method for controlling an automatic guided vehicle and control system adapted to execute the method
JP2006528122A (en) Movable sensor device on forklift load support means
CN111032561B (en) Crane device
JP7172727B2 (en) self-driving forklift
JP2007269452A (en) Safety device for unmanned fork lift
US12602047B2 (en) Control method for mobile object, mobile object, and computer-readable storage medium
US11530118B2 (en) Container crane comprising reference marker
JP2855147B2 (en) Unmanned car with visual
JP7563224B2 (en) Obstacle Detection Device
JP7471249B2 (en) Cargo Handling System
US20250104267A1 (en) Loaded attitude state detecting device
US20240308827A1 (en) Load Handling Sensors for a Material Handling Vehicle
HK40037444A (en) Load handling module for a material handling vehicle
KR102409821B1 (en) Pallet hole detection device and detection method
JP2024078012A (en) Packing condition detection device
US20250376357A1 (en) Device and method for monitoring freight to be loaded
HK40037444B (en) Load handling module for a material handling vehicle
WO2025150111A1 (en) Automated guided vehicle and carriage connection method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250909

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251003

R150 Certificate of patent or registration of utility model

Ref document number: 7761884

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150