Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7306311B2 - recognition device - Google Patents
[go: Go Back, main page]

JP7306311B2 - recognition device - Google Patents

recognition device Download PDF

Info

Publication number
JP7306311B2
JP7306311B2 JP2020073503A JP2020073503A JP7306311B2 JP 7306311 B2 JP7306311 B2 JP 7306311B2 JP 2020073503 A JP2020073503 A JP 2020073503A JP 2020073503 A JP2020073503 A JP 2020073503A JP 7306311 B2 JP7306311 B2 JP 7306311B2
Authority
JP
Japan
Prior art keywords
pallet
detection
straight line
unit
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020073503A
Other languages
Japanese (ja)
Other versions
JP2021169360A (en
Inventor
宏介 開田
好和 倉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2020073503A priority Critical patent/JP7306311B2/en
Publication of JP2021169360A publication Critical patent/JP2021169360A/en
Application granted granted Critical
Publication of JP7306311B2 publication Critical patent/JP7306311B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/20Means for actuating or controlling masts, platforms, or forks
    • B66F9/24Electrical devices or systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/24Arrangements for determining position or orientation
    • G05D1/242Means based on the reflection of waves generated by the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/60Intended control result
    • G05D1/656Interaction with payloads or external entities
    • G05D1/667Delivering or retrieving payloads
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2101/00Details of software or hardware architectures used for the control of position
    • G05D2101/20Details of software or hardware architectures used for the control of position using external object recognition
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2105/00Specific applications of the controlled vehicles
    • G05D2105/20Specific applications of the controlled vehicles for transportation
    • G05D2105/28Specific applications of the controlled vehicles for transportation of freight
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2107/00Specific environments of the controlled vehicles
    • G05D2107/70Industrial sites, e.g. warehouses or factories
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2109/00Types of controlled vehicles
    • G05D2109/10Land vehicles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D2111/00Details of signals used for control of position, course, altitude or attitude of land, water, air or space vehicles
    • G05D2111/10Optical signals
    • G05D2111/17Coherent light, e.g. laser signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Structural Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Civil Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Forklifts And Lifting Vehicles (AREA)

Description

本発明は、認識装置に関する。 The present invention relates to recognition devices.

従来の認識装置としては、例えば特許文献1に記載されている技術が知られている。特許文献1に記載の認識装置は、レーザ光を照射すると共に、その照射したレーザ光の反射光から周辺物体までの距離を計測する測域センサと、この測域センサにより計測された距離データを、パレットの前面から反射される反射光による観測点群に座標変換し、その観測点群から、パレットの前面をスキャンした結果となる直線を抽出し、観測点群及び直線に基づいて、パレットの前面の中心位置を特定する演算装置とを備えている。 As a conventional recognition device, for example, the technology described in Patent Document 1 is known. The recognition device described in Patent Document 1 includes a range sensor that irradiates a laser beam and measures the distance from the reflected light of the irradiated laser beam to a surrounding object, and the distance data measured by the range sensor. , coordinate transformation to a group of observation points by reflected light reflected from the front surface of the pallet, extract a straight line resulting from scanning the front surface of the pallet from the group of observation points, and based on the group of observation points and the straight line, and an arithmetic device for identifying the center position of the front surface.

特開2017-178567号公報JP 2017-178567 A

上記従来技術においては、パレットの前面からの反射光による観測点群を用いて、パレットの前面の中心位置を特定することで、パレットの位置を認識している。しかし、観測点群を構成する複数の観測点には、例えばセンサ誤差等によるばらつきが含まれている。このため、認識対象物であるパレットの位置を高精度に認識することが困難である。 In the prior art described above, the position of the pallet is recognized by specifying the center position of the front surface of the pallet using the group of observation points based on the light reflected from the front surface of the pallet. However, the plurality of observation points forming the observation point group contain variations due to, for example, sensor errors. Therefore, it is difficult to precisely recognize the position of the pallet, which is the object to be recognized.

本発明の目的は、認識対象物の位置を高精度に認識することができる認識装置を提供することである。 SUMMARY OF THE INVENTION An object of the present invention is to provide a recognition device capable of recognizing the position of an object to be recognized with high accuracy.

本発明の一態様は、移動体の進行方向に存在する認識対象物を認識する認識装置であって、移動体に設けられ、移動体に対する認識対象物の距離及び角度を検出する検出部と、検出部の検出データに基づいて、認識対象物の前面に相当する検出点群を取得する点群取得部と、点群取得部により取得された検出点群に基づいて、認識対象物の前面を表す直線を算出する直線算出部と、直線算出部により算出された直線を用いて、点群取得部により取得された検出点群を補正する点群補正部と、点群補正部により補正された検出点群に基づいて、認識対象物の位置を認識する位置認識部とを備え、点群補正部は、点群取得部により取得された検出点群を構成する複数の検出点を、直線算出部により算出された直線上に検出部が位置する角度方向に投影することにより、検出点群を補正する。 One aspect of the present invention is a recognition device that recognizes a recognition target existing in a traveling direction of a moving body, the detection unit being provided in the moving body and configured to detect the distance and angle of the recognition target with respect to the moving body; A point cloud acquisition unit that acquires a detection point cloud corresponding to the front surface of the recognition target based on detection data from the detection unit, and a point cloud acquisition unit that acquires the front surface of the recognition target based on the detection point cloud acquired by the point cloud acquisition unit. A straight line calculation unit that calculates a straight line that represents a straight line, a point cloud correction unit that corrects the detected point cloud acquired by the point cloud acquisition unit using the straight line calculated by the straight line calculation unit, and a point cloud corrected by the point cloud correction unit a position recognizing unit for recognizing the position of the object to be recognized based on the detected point cloud; The detection point cloud is corrected by projecting in the angular direction where the detection unit is positioned on the straight line calculated by the unit.

このような認識装置においては、検出部により移動体に対する認識対象物の距離及び角度が検出され、検出部の検出データに基づいて認識対象物の前面に相当する検出点群が取得される。そして、検出点群に基づいて認識対象物の前面を表す直線が算出され、その直線を用いて検出点群が補正される。そして、補正された検出点群を用いて、認識対象物の位置が認識される。ここで、例えば検出部の検出誤差等によって、検出点群を構成する複数の検出点の位置がずれることがある。そこで、検出点群を構成する複数の検出点を、直線上に検出部が位置する角度方向に投影することにより、各検出点が適切な位置に補正される。これにより、認識対象物の位置が高精度に認識される。 In such a recognition device, the detection unit detects the distance and angle of the object to be recognized with respect to the moving object, and based on the detection data of the detection unit, a detection point group corresponding to the front surface of the object to be recognized is acquired. Then, a straight line representing the front surface of the recognition object is calculated based on the detection point group, and the detection point group is corrected using the straight line. Then, the position of the recognition target object is recognized using the corrected detection point group. Here, the positions of the plurality of detection points forming the detection point group may shift due to, for example, detection errors of the detection unit. Therefore, each detection point is corrected to an appropriate position by projecting a plurality of detection points forming a detection point group in the angular direction in which the detection unit is positioned on a straight line. As a result, the position of the object to be recognized is recognized with high accuracy.

移動体は、フォークリフトであり、認識対象物は、フォークリフトのフォークが差し込まれるフォーク収容部が設けられたパレットであってもよい。 The moving body may be a forklift, and the recognition target may be a pallet provided with a fork accommodating portion into which the forks of the forklift are inserted.

このような構成では、パレットには、フォークリフトのフォークが差し込まれるフォーク収容部が設けられている。このため、フォークリフトに対するパレットの距離の検出データにずれが生じやすくなり、その結果として検出点群を構成する複数の検出点の位置がずれやすくなる。そこで、検出点群を構成する複数の検出点を、直線上に検出部が位置する角度方向に投影することにより、各検出点が適切な位置に補正される。これにより、パレットの位置が高精度に認識される。 In such a configuration, the pallet is provided with a fork accommodating portion into which the fork of the forklift is inserted. For this reason, the detection data of the distance of the pallet to the forklift tends to deviate, and as a result, the positions of the plurality of detection points forming the detection point group tend to shift. Therefore, each detection point is corrected to an appropriate position by projecting a plurality of detection points forming a detection point group in the angular direction in which the detection unit is positioned on a straight line. As a result, the position of the pallet can be recognized with high accuracy.

認識装置は、点群取得部により取得された検出点群を構成する複数の検出点のうち、フォークの差し込み方向に垂直な方向に相当するパレットの幅方向に沿った複数の端点を抽出する端点抽出部を更に備え、複数の端点は、パレットの前面の端部に位置する検出点と、パレットの前面におけるフォーク収容部との境界部に位置する検出点とを含み、点群補正部は、複数の端点を直線上に検出部が位置する角度方向に投影してもよい。 The recognition device extracts a plurality of end points along the width direction of the pallet corresponding to the direction perpendicular to the inserting direction of the fork, from among the plurality of detection points forming the detection point cloud acquired by the point cloud acquisition unit. Further comprising an extraction unit, the plurality of endpoints include a detection point located at the end of the front surface of the pallet and a detection point located at the boundary between the front surface of the pallet and the fork housing unit, and the point group correction unit includes: A plurality of endpoints may be projected on a straight line in the angular direction where the detector is located.

このような構成では、検出点群を構成する複数の検出点のうち、パレットの幅方向に沿った複数の端点のみが直線上に投影される。従って、検出点群の補正処理の簡略化が図られる。 In such a configuration, among the plurality of detection points forming the detection point group, only the plurality of end points along the width direction of the pallet are projected onto the straight line. Therefore, it is possible to simplify the correction processing of the detected point group.

位置認識部は、点群補正部により補正された検出点群に基づいて、パレットの前面の中心位置を算出してもよい。 The position recognition unit may calculate the center position of the front surface of the pallet based on the detected point group corrected by the point group correction unit.

このような構成では、複数の端点を直線上に検出部が位置する角度方向に投影することにより、各端点が適切な位置に補正される。従って、複数の端点から、パレットの前面の中心位置が正確に算出される。 In such a configuration, each endpoint is corrected to an appropriate position by projecting the plurality of endpoints on a straight line in the angular direction in which the detection unit is positioned. Therefore, the center position of the front face of the pallet can be accurately calculated from the plurality of end points.

本発明によれば、認識対象物の位置を高精度に認識することができる。 According to the present invention, the position of a recognition target can be recognized with high accuracy.

本発明の一実施形態に係る認識装置を備えた自動走行制御装置の構成を概略的に示すブロック図である。1 is a block diagram schematically showing the configuration of an automatic cruise control device provided with a recognition device according to one embodiment of the present invention; FIG. 自動走行制御装置が搭載されるリーチ式のフォークリフトの側面図である。1 is a side view of a reach-type forklift equipped with an automatic travel control device; FIG. 認識装置により認識されるパレットの斜視図である。FIG. 4 is a perspective view of a pallet recognized by a recognition device; レーザセンサからパレットに向けてレーザ光が照射される様子を示す概略平面図である。FIG. 4 is a schematic plan view showing how laser light is emitted from a laser sensor toward a pallet; 点群取得部により取得される検出点群及び直線算出部により算出される直線の一例を示す図である。It is a figure which shows an example of the straight line calculated by the detection point group and straight line calculation part which are acquired by a point cloud acquisition part. 直線算出部により実行される直線算出処理の手順を示すフローチャートである。5 is a flowchart showing a procedure of straight line calculation processing executed by a straight line calculation unit; RANSACを用いて、検出点群を構成する複数の検出点からパレットの前面に近い直線を抽出する様子を示す図である。FIG. 10 is a diagram showing how RANSAC is used to extract a straight line near the front surface of the pallet from a plurality of detection points forming a detection point group; 最小二乗法を用いて、RANSACにより抽出された直線付近に存在する複数の検出点から誤差が最小となるような直線を抽出する様子を示す図である。FIG. 10 is a diagram showing how a straight line with a minimum error is extracted from a plurality of detection points existing near a straight line extracted by RANSAC using the least squares method. 図5に示された検出点群を構成する複数の検出点から端点が抽出される様子を示す図である。FIG. 6 is a diagram showing how endpoints are extracted from a plurality of detection points forming the detection point group shown in FIG. 5; レーザセンサから照射されたレーザ光がパレットに当たる位置と、パレットの認識に必要な検出点とを示す断面図である。FIG. 4 is a cross-sectional view showing positions where laser light emitted from a laser sensor hits the pallet and detection points necessary for recognizing the pallet; 点群補正部によって検出点群を構成する複数の検出点のうちの複数の端点が直線上に投影される様子を示す図である。FIG. 5 is a diagram showing how a plurality of end points among a plurality of detection points forming a detection point group are projected onto a straight line by a point group correction unit; 位置認識部によってパレットの前面の中心位置が算出される手法を示す正面図である。FIG. 11 is a front view showing a method of calculating the center position of the front surface of the pallet by the position recognition unit; 経路生成部により生成される走行経路を示す概略平面図である。4 is a schematic plan view showing a travel route generated by a route generation unit; FIG. レーザセンサから照射されたレーザ光がパレットの2箇所に当たることで、レーザセンサにより誤った検出点が得られる一例を示す断面図である。FIG. 4 is a cross-sectional view showing an example in which erroneous detection points are obtained by a laser sensor because a laser beam emitted from a laser sensor hits two spots on a pallet; 点群補正部において、端点が直線上にレーザ光の光軸方向に投影される様子と、端点が直線上に垂直に投影される様子とを比較して示す断面図である。FIG. 10 is a cross-sectional view showing a comparison between how end points are projected onto a straight line in the optical axis direction of a laser beam and how the end points are projected vertically onto a straight line in a point group correction unit;

以下、本発明の実施形態について図面を参照して詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は、本発明の一実施形態に係る認識装置を備えた自動走行制御装置の構成を概略的に示すブロック図である。図1において、自動走行制御装置1は、図2に示すようなリーチ式のフォークリフト2(移動体)に搭載されている。 FIG. 1 is a block diagram schematically showing the configuration of an automatic cruise control system equipped with a recognition device according to one embodiment of the present invention. In FIG. 1, an automatic travel control device 1 is mounted on a reach-type forklift 2 (moving body) as shown in FIG.

フォークリフト2は、車体3と、この車体3の前側に配置された左右1対のレグ4(図4参照)と、各レグ4間に配置され、前後方向に移動なマスト5と、このマスト5に昇降可能に取り付けられた左右1対のフォーク6(図4参照)と、各レグ4の先端部にそれぞれ配設された前輪7と、車体3の左側下部に配設された後輪8と、車体3の右側下部に配設されたキャスタ輪9とを有している。フォーク6は、パレット10(図3参照)を持ち上げる荷役用部材である。車体3は、運転席11と、この運転席11の上方に配置されたヘッドガード12とを有している。 The forklift 2 includes a vehicle body 3, a pair of left and right legs 4 (see FIG. 4) arranged on the front side of the vehicle body 3, a mast 5 arranged between the legs 4 and movable in the front-rear direction, and the mast 5. A pair of left and right forks 6 (see FIG. 4) attached so as to be able to move up and down, a front wheel 7 provided at the tip of each leg 4, and a rear wheel 8 provided at the lower left side of the vehicle body 3. , and a caster wheel 9 disposed on the lower right side of the vehicle body 3 . The fork 6 is a cargo handling member for lifting the pallet 10 (see FIG. 3). The vehicle body 3 has a driver's seat 11 and a head guard 12 arranged above the driver's seat 11 .

パレット10は、図3に示されるような平面視四角形状の平パレットである。パレット10は、荷物を載せるための荷役台である。パレット10は、前面10aと、この前面10aと前後方向(X方向)に対向する後面10bと、前面10a及び後面10bと直交すると共に左右方向(Y方向)に対向する2つの側面10cとを有している。前面10aは、フォークリフト2の各フォーク6によりパレット10を持ち上げる際に、フォークリフト2と向き合う面である。 The pallet 10 is a flat pallet having a square shape in plan view as shown in FIG. The pallet 10 is a loading platform for loading cargo. The pallet 10 has a front surface 10a, a rear surface 10b facing the front surface 10a in the front-rear direction (X direction), and two side surfaces 10c perpendicular to the front surface 10a and the rear surface 10b and facing in the left-right direction (Y direction). are doing. The front surface 10a faces the forklift 2 when the forks 6 of the forklift 2 lift the pallet 10 .

パレット10には、各フォーク6が差し込まれるフォークポケット13,14(フォーク収容部)が設けられている。フォークポケット13,14は、パレット10に2つずつ設けられている。フォークポケット13は、パレット10の前面10aから後面10bまで前後方向に延びている。フォークポケット14は、パレット10の一方の側面10cから他方の側面10cまで左右方向に延びている。フォークポケット13,14は、互いに垂直方向に交差している。フォークポケット13,14の形状は、正面視で矩形状である。なお、パレット10には、フォークポケット14が設けられていなくてもよい。 The pallet 10 is provided with fork pockets 13 and 14 (fork accommodating portions) into which the respective forks 6 are inserted. Two fork pockets 13 and 14 are provided on each pallet 10 . The fork pocket 13 extends in the longitudinal direction from the front surface 10a of the pallet 10 to the rear surface 10b. The fork pocket 14 extends laterally from one side surface 10c of the pallet 10 to the other side surface 10c. The fork pockets 13, 14 cross each other vertically. The shape of the fork pockets 13 and 14 is rectangular when viewed from the front. Note that the pallet 10 may not be provided with the fork pockets 14 .

パレット10の前後方向は、パレット10の前面10a側に位置するフォークリフト2から見たときの前後方向である。パレット10の前後方向は、パレット10におけるフォーク6の差し込み方向に相当する。パレット10の左右方向は、パレット10の前面10a側に位置するフォークリフト2から見たときの左右方向である。パレット10の左右方向は、パレット10の幅方向であり、フォーク6の差し込み方向に垂直な方向に相当する。 The front-rear direction of the pallet 10 is the front-rear direction when viewed from the forklift 2 positioned on the front surface 10 a side of the pallet 10 . The front-rear direction of the pallet 10 corresponds to the insertion direction of the forks 6 in the pallet 10 . The left-right direction of the pallet 10 is the left-right direction when viewed from the forklift 2 located on the front surface 10 a side of the pallet 10 . The horizontal direction of the pallet 10 is the width direction of the pallet 10 and corresponds to the direction perpendicular to the inserting direction of the fork 6 .

図1に戻り、自動走行制御装置1は、フォークリフト2をパレット10の手前まで自動的に走行させる装置である。自動走行制御装置1は、レーザセンサ15,16と、駆動部17と、コントローラ18とを備えている。 Returning to FIG. 1 , the automatic travel control device 1 is a device that automatically travels the forklift 2 to the front of the pallet 10 . The automatic cruise control device 1 includes laser sensors 15 and 16 , a driving section 17 and a controller 18 .

レーザセンサ15は、図2に示されるように、フォークリフト2の上部に設けられている。レーザセンサ15は、例えばヘッドガード12の前端部に取り付けられている。レーザセンサ15は、フォークリフト2の周囲にレーザ光を照射し、そのレーザ光の反射光を受光することにより、フォークリフト2の周囲に存在する物体を検出する。物体は、壁や柱等であり、地図データ(後述)に登録されている。レーザセンサ15としては、例えばレーザレンジファインダが使用される。レーザセンサ15から照射されるレーザ光としては、2Dレーザでもよいし、3Dレーザでもよい。 The laser sensor 15 is provided on the upper part of the forklift 2, as shown in FIG. The laser sensor 15 is attached to the front end of the head guard 12, for example. The laser sensor 15 detects an object existing around the forklift 2 by irradiating a laser beam around the forklift 2 and receiving reflected light of the laser beam. The objects are walls, pillars, etc., and are registered in map data (described later). A laser range finder, for example, is used as the laser sensor 15 . The laser light emitted from the laser sensor 15 may be a 2D laser or a 3D laser.

レーザセンサ15は、レーザ光をフォークリフト2の周囲に扇状に照射する。具体的には、レーザセンサ15は、フォークリフト2の前方直進方向を中心とした規定の角度範囲にレーザ光を照射する。レーザセンサ15から照射されたレーザ光は物体に当たり、その物体で反射したレーザ光がレーザセンサ15で受光される。そして、レーザセンサ15は、フォークリフト2に対する物体の距離及び角度を検出する。フォークリフト2に対する物体の距離及び角度は、レーザセンサ15から照射されたレーザ光が物体に当たる位置及び角度から検出可能である。 The laser sensor 15 irradiates the periphery of the forklift 2 with laser light in a fan shape. Specifically, the laser sensor 15 irradiates a laser beam in a prescribed angular range centered on the straight forward direction of the forklift 2 . A laser beam emitted from the laser sensor 15 hits an object, and the laser beam reflected by the object is received by the laser sensor 15 . A laser sensor 15 detects the distance and angle of the object with respect to the forklift 2 . The distance and angle of the object with respect to the forklift 2 can be detected from the position and angle at which the laser beam emitted from the laser sensor 15 hits the object.

レーザセンサ16は、図2に示されるように、フォークリフト2の下部に設けられている。レーザセンサ16は、例えば一方のレグ4の先端部(前端部)に取り付けられている。レーザセンサ16は、フォークリフト2の前方に存在するパレット10にレーザ光を照射し、パレット10で反射したレーザ光を受光することにより、フォークリフト2に対するパレット10の距離及び角度を検出する検出部である。フォークリフト2に対するパレット10の距離及び角度は、レーザセンサ16から照射されたレーザ光がパレット10に当たる位置及び角度から検出可能である。 The laser sensor 16 is provided below the forklift 2, as shown in FIG. The laser sensor 16 is attached, for example, to the tip (front end) of one leg 4 . The laser sensor 16 is a detection unit that detects the distance and angle of the pallet 10 with respect to the forklift 2 by irradiating the pallet 10 in front of the forklift 2 with laser light and receiving the laser light reflected by the pallet 10 . . The distance and angle of the pallet 10 with respect to the forklift 2 can be detected from the position and angle at which the laser beam emitted from the laser sensor 16 hits the pallet 10 .

レーザセンサ16は、図4に示されるように、レーザ光をフォークリフト2の周囲に扇状に照射する。具体的には、レーザセンサ16は、フォークリフト2の前方直進方向を中心した規定の角度範囲にレーザ光を照射する。レーザセンサ16としては、例えばレーザセンサ15と同様に、レーザレンジファインダが使用される。レーザセンサ16から照射されるレーザとしては、2Dレーザが用いられる。 As shown in FIG. 4, the laser sensor 16 irradiates the periphery of the forklift truck 2 with laser light in a fan shape. Specifically, the laser sensor 16 irradiates a laser beam in a prescribed angular range centered on the forward straight traveling direction of the forklift 2 . As the laser sensor 16, a laser range finder is used like the laser sensor 15, for example. A 2D laser is used as the laser emitted from the laser sensor 16 .

駆動部17は、特に図示はしないが、例えば駆動輪である後輪8を回転させる走行モータと、操舵輪でもある後輪8を転舵させる操舵モータとを有している。 Although not shown, the drive unit 17 has, for example, a travel motor that rotates the rear wheels 8 that are driving wheels, and a steering motor that steers the rear wheels 8 that are steering wheels.

コントローラ18は、CPU、RAM、ROM及び入出力インターフェース等により構成されている。コントローラ18は、自己位置推定部20と、点群取得部21と、直線算出部22と、端点抽出部23と、点群補正部24と、位置認識部25と、経路生成部26と、駆動制御部27とを有している。 The controller 18 is composed of a CPU, RAM, ROM, input/output interfaces, and the like. The controller 18 includes a self-position estimation unit 20, a point group acquisition unit 21, a straight line calculation unit 22, an end point extraction unit 23, a point group correction unit 24, a position recognition unit 25, a route generation unit 26, and a driving unit. and a control unit 27 .

ここで、レーザセンサ16、点群取得部21、直線算出部22、端点抽出部23、点群補正部24及び位置認識部25は、本実施形態の認識装置28を構成している。認識装置28は、フォークリフト2の進行方向に存在する認識対象物であるパレット10を認識する装置である。 Here, the laser sensor 16, the point group acquisition unit 21, the straight line calculation unit 22, the end point extraction unit 23, the point group correction unit 24, and the position recognition unit 25 constitute a recognition device 28 of this embodiment. The recognition device 28 is a device that recognizes the pallet 10, which is the object to be recognized, existing in the traveling direction of the forklift 2. As shown in FIG.

自己位置推定部20は、レーザセンサ15の検出データとフォークリフト2の周囲環境の地図データとを用いて、フォークリフト2の自己位置を推定する。自己位置推定部20は、SLAM(simultaneous localization andmapping)手法を用いて、フォークリフト2の自己位置を推定する。SLAMは、センサデータ及び地図データを使って自己位置推定を行う自己位置推定技術である。SLAMは、レーザセンサ等を利用して、自己位置推定と環境地図の作成とを同時に行う。 The self-position estimation unit 20 estimates the self-position of the forklift 2 using the detection data of the laser sensor 15 and the map data of the surrounding environment of the forklift 2 . The self-position estimation unit 20 estimates the self-position of the forklift 2 using a SLAM (simultaneous localization and mapping) technique. SLAM is a self-localization technique that uses sensor data and map data to estimate self-localization. SLAM uses a laser sensor or the like to simultaneously estimate its own position and create an environment map.

具体的には、自己位置推定部20は、レーザセンサ15の検出データとフォークリフト2の周囲環境の地図データとをマッチングさせて、フォークリフト2の自己位置の推定演算を行う。なお、フォークリフト2の自己位置は、位置座標(XY座標)及び向き(角度)で表される。 Specifically, the self-position estimating unit 20 matches the detection data of the laser sensor 15 with the map data of the surrounding environment of the forklift 2 to estimate the self-position of the forklift 2 . The self-position of the forklift 2 is represented by position coordinates (XY coordinates) and orientation (angle).

点群取得部21は、レーザセンサ16の検出データに基づいて、パレット10の前面10aに相当する検出点群を取得する。検出点群は、複数の検出点から構成される。検出点は、レーザセンサ16から照射されたレーザ光がパレット10に当たる点(反射点)である。検出点は、位置座標(XY座標)で表される。 The point group acquisition unit 21 acquires a detection point group corresponding to the front surface 10 a of the pallet 10 based on the detection data of the laser sensor 16 . A detection point group is composed of a plurality of detection points. A detection point is a point (reflection point) at which the laser beam emitted from the laser sensor 16 hits the pallet 10 . A detection point is represented by position coordinates (XY coordinates).

このとき、パレット10のフォークポケット13では、パレット10の前面10aに比べて、パレット10の奥側の位置(レーザセンサ16から遠い位置)にレーザ光が当たる。このため、図5(a)に示されるように、パレット10の前面10aで生じる検出点P1の密度がフォークポケット13で生じる検出点P2の密度に比べて高くなるような検出点群Pgが得られる。 At this time, in the fork pocket 13 of the pallet 10 , the laser beam hits a position on the far side of the pallet 10 (a position farther from the laser sensor 16 ) than the front face 10 a of the pallet 10 . Therefore, as shown in FIG. 5A, a detection point group Pg is obtained in which the density of detection points P1 generated on the front surface 10a of the pallet 10 is higher than the density of detection points P2 generated on the fork pocket 13. be done.

直線算出部22は、点群取得部21により取得された検出点群に基づいて、パレット10の前面10aを表す直線を算出する。パレット10の前面10aを表す直線は、パレット10の左右方向に延在する線である。このとき、図5(b)に示されるように、検出点群Pgを構成する各検出点Pの誤差が最小となるような直線Sが算出される。 The straight line calculator 22 calculates a straight line representing the front surface 10 a of the pallet 10 based on the detected point group acquired by the point group acquirer 21 . A straight line representing the front surface 10a of the pallet 10 is a line extending in the left-right direction of the pallet 10 . At this time, as shown in FIG. 5(b), a straight line S is calculated such that the error of each detection point P constituting the detection point group Pg is minimized.

図6は、直線算出部22により実行される直線算出処理の手順を示すフローチャートである。図6において、直線算出部22は、まずRANSAC(Random Sample Consensus)を用いて、検出点群を構成する複数の検出点からパレット10の前面10aに近い直線を抽出する(手順S101)。 FIG. 6 is a flowchart showing the procedure of straight line calculation processing executed by the straight line calculation unit 22. As shown in FIG. In FIG. 6, the straight line calculator 22 first uses RANSAC (Random Sample Consensus) to extract a straight line close to the front surface 10a of the pallet 10 from a plurality of detection points forming a detection point group (step S101).

RANSACは、点群から直線を抽出する手法である。具体的には、RANSACは、点群において任意の2点を結ぶ直線を設定し、直線の近傍に存在する点の数を求め、近傍に存在する点の数が最多となる直線を抽出する。 RANSAC is a technique for extracting straight lines from a point group. Specifically, RANSAC sets a straight line connecting any two points in a point group, obtains the number of points existing in the vicinity of the straight line, and extracts the straight line with the largest number of points existing in the vicinity.

例えば図7に示されるような検出点群Pgにおいて、任意の2つの検出点Pを結ぶ直線S1の近傍範囲に存在する検出点Pの数を求める場合、図7(a)で選択された2つの検出点Psを結ぶ直線S1の近傍に存在する検出点Psの数よりも、図7(b)で選択された2つの検出点Psを結ぶ直線S1の近傍に存在する検出点Psの数のほうが多く、図7(c)で選択された2つの検出点Psを結ぶ直線S1の近傍に存在する検出点Psの数のほうが更に多い。このため、図8(a)に示されるように、図7(c)で選択された2つの検出点Psを結ぶ直線S1がパレット10の前面10aに最も近い直線S2として抽出される。 For example, in a detection point group Pg as shown in FIG. The number of detection points Ps existing near the straight line S1 connecting the two detection points Ps selected in FIG. The number of detection points Ps present in the vicinity of the straight line S1 connecting the two detection points Ps selected in FIG. 7C is even greater. Therefore, as shown in FIG. 8A, the straight line S1 connecting the two detection points Ps selected in FIG.

続いて、直線算出部22は、最小二乗法を用いて、RANSACにより抽出された直線付近に存在する複数の検出点から誤差が最小となるような直線を抽出する(手順S102)。具体的には、直線算出部22は、RANSACにより抽出された直線付近に存在する全ての検出点との距離を加算した値が最小となるような直線を抽出する。 Subsequently, the straight line calculator 22 uses the least squares method to extract a straight line that minimizes the error from a plurality of detection points existing near the straight line extracted by RANSAC (step S102). Specifically, the straight line calculator 22 extracts a straight line that minimizes the sum of distances to all detection points existing near the straight line extracted by RANSAC.

例えば図8(a)に示されるように、RANSACにより抽出された直線S2付近に存在する複数の検出点Pに対して、最小二乗法を採用した場合には、図8(b)に示されるように、RANSACにより抽出された直線S2(2点鎖線参照)よりも、パレット10の前面10aに近い直線Sが得られる。 For example, as shown in FIG. 8(a), when the least squares method is applied to a plurality of detection points P existing near the straight line S2 extracted by RANSAC, the result shown in FIG. 8(b) Thus, a straight line S closer to the front surface 10a of the pallet 10 than the straight line S2 (see the two-dot chain line) extracted by RANSAC is obtained.

端点抽出部23は、点群取得部21により取得された検出点群を構成する複数の検出点のうち、パレット10の左右方向(幅方向)に沿った複数の端点を抽出する。ここで、複数の端点は、パレット10の前面10aの端部に位置する検出点と、パレット10の前面10aにおけるフォークポケット13との境界部に位置する検出点とを含んでいる。 The endpoint extraction unit 23 extracts a plurality of endpoints along the left-right direction (width direction) of the pallet 10 from among the plurality of detection points forming the detection point group acquired by the point cloud acquisition unit 21 . Here, the plurality of end points include detection points located at the ends of the front surface 10 a of the pallet 10 and detection points located at the boundary between the front surface 10 a of the pallet 10 and the fork pockets 13 .

具体的には、複数の端点Ptとしては、図9に示されるように、パレット10の前面10aの両端部に位置する端点Pt1と、パレット10の前面10aにおけるフォークポケット13の左右方向外側の縁部との境界点に位置する端点Pt2と、パレット10の前面10aにおけるフォークポケット13の左右方向内側の縁部との境界点に位置する端点Pt3とが含まれる。隣り合う端点Pt同士は、互いに離間している。 Specifically, as the plurality of end points Pt, as shown in FIG. 9, end points Pt1 located at both ends of the front surface 10a of the pallet 10 and edges of the fork pockets 13 on the front surface 10a of the pallet 10 on the left-right direction outer side of the fork pocket 13 and an end point Pt3 positioned at a boundary point between the front surface 10a of the pallet 10 and the inner edge of the fork pocket 13 in the left-right direction. Adjacent end points Pt are separated from each other.

点群補正部24は、直線算出部22により算出された直線を用いて、点群取得部21により取得された検出点群を補正する。点群補正部24は、点群取得部21により取得された検出点群を構成する複数の検出点のうち、端点抽出部23により抽出された複数の端点を、直線算出部22により算出された直線上に投影することにより、検出点群を補正する。 The point cloud correction unit 24 corrects the detection point cloud acquired by the point cloud acquisition unit 21 using the straight line calculated by the straight line calculation unit 22 . The point cloud correction unit 24 calculates the plurality of endpoints extracted by the endpoint extraction unit 23 from among the plurality of detection points forming the detection point cloud acquired by the point cloud acquisition unit 21 and the straight line calculation unit 22. The detected point cloud is corrected by projecting it onto a straight line.

ここで、レーザセンサ16から照射されたレーザ光がパレット10のフォークポケット13に達する場合には、図10(a)に示されるように、レーザ光がパレット10の前面10aよりも奥側に位置するパレット10の内壁面に当たって反射する。このとき、得られる検出点Pの位置は、パレット10の前面10aよりもレーザセンサ16から遠いパレット10の内壁面となる。しかし、パレット10の位置の認識に必要な検出点Pは、図10(b)に示されるように、パレット10の前面10aに位置する点である。従って、点群取得部21により取得された検出点群を補正する必要がある。 Here, when the laser beam irradiated from the laser sensor 16 reaches the fork pocket 13 of the pallet 10, the laser beam is positioned behind the front surface 10a of the pallet 10 as shown in FIG. 10(a). The light hits the inner wall surface of the pallet 10 and is reflected. At this time, the position of the obtained detection point P is the inner wall surface of the pallet 10 which is farther from the laser sensor 16 than the front surface 10 a of the pallet 10 . However, the detection point P necessary for recognizing the position of the pallet 10 is the point located on the front surface 10a of the pallet 10, as shown in FIG. 10(b). Therefore, it is necessary to correct the detected point cloud acquired by the point cloud acquisition unit 21 .

そこで、点群補正部24は、検出点群を構成する複数の検出点のうち複数の端点を、直線算出部22により算出された直線上にレーザセンサ16から照射されるレーザ光の光軸方向に投影することにより、検出点群を補正する。レーザ光の光軸方向は、端点(検出点)から見てレーザセンサ16が位置する角度方向に相当する。つまり、複数の端点は、直線算出部22により算出された直線上にレーザセンサ16と端点とを直線的に結ぶ仮想線に沿って投影される。 Therefore, the point group correction unit 24 aligns a plurality of end points of the plurality of detection points forming the detection point group on the straight line calculated by the straight line calculation unit 22 in the optical axis direction of the laser light emitted from the laser sensor 16. The detected point cloud is corrected by projecting to . The optical axis direction of the laser light corresponds to the angular direction in which the laser sensor 16 is positioned when viewed from the end point (detection point). That is, the plurality of endpoints are projected onto the straight line calculated by the straight line calculator 22 along a virtual line that linearly connects the laser sensor 16 and the endpoints.

これにより、図11に示されるように、端点抽出部23により抽出された複数の端点Ptが直線算出部22により算出された直線S上に存在していなくても、複数の端点Ptが直線S上にレーザ光の光軸方向に投影される。つまり、複数の端点Ptは、パレット10の前面10aを表す直線S上に位置することになる。 As a result, as shown in FIG. 11, even if the plurality of endpoints Pt extracted by the endpoint extractor 23 do not exist on the straight line S calculated by the straight line calculator 22, the plurality of endpoints Pt are located on the straight line S. It is projected upward in the direction of the optical axis of the laser beam. That is, the plurality of end points Pt are positioned on the straight line S representing the front surface 10a of the pallet 10. As shown in FIG.

位置認識部25は、点群補正部24により補正された検出点群に基づいて、パレット10の位置を認識する。具体的には、位置認識部25は、直線算出部22により算出された直線上に投影された複数の端点に基づいて、パレット10の前面10aの中心位置を算出する。パレット10の前面10aの中心位置は、パレット10の左右方向(幅方向)における前面10aの中心位置である。 The position recognition section 25 recognizes the position of the pallet 10 based on the detected point group corrected by the point group correction section 24 . Specifically, the position recognizing unit 25 calculates the center position of the front surface 10 a of the pallet 10 based on the plurality of end points projected onto the straight line calculated by the straight line calculating unit 22 . The center position of the front surface 10a of the pallet 10 is the center position of the front surface 10a of the pallet 10 in the left-right direction (width direction).

このとき、図12に示されるように、2つの端点Pt1間の中心点Aと、2つの端点Pt2間の中心点Bと、2つの端点Pt3間の中心点Cとの平均値が計算される。そして、中心点A~Cの平均値がパレット10の前面10aの中心位置Gとして得られる。 At this time, as shown in FIG. 12, the average value of the center point A between the two end points Pt1, the center point B between the two end points Pt2, and the center point C between the two end points Pt3 is calculated. . Then, the average value of the center points A to C is obtained as the center position G of the front surface 10a of the pallet 10. FIG.

なお、中心点A~Cのうち2つの平均値をパレット10の前面10aの中心位置Gとしてもよいし、中心点A~Cの何れか1つをパレット10の前面10aの中心位置Gとしてもよい。 The average value of two of the center points A to C may be used as the center position G of the front surface 10a of the pallet 10, or any one of the center points A to C may be used as the center position G of the front surface 10a of the pallet 10. good.

経路生成部26は、自己位置推定部20により推定されたフォークリフト2の自己位置と位置認識部25により算出されたパレット10の前面10aの中心位置とに基づいて、フォークリフト2からパレット10の手前までの走行経路Rを生成する。走行経路Rは、例えば図13に示されるように、パレット10の左右方向中央部の手前位置においてフォークリフト2の各フォーク6をそれぞれフォークポケット13に差し込むことが可能となるような経路である。 Based on the self-position of the forklift 2 estimated by the self-position estimation unit 20 and the center position of the front surface 10a of the pallet 10 calculated by the position recognition unit 25, the route generation unit 26 generates a path from the forklift 2 to the front of the pallet 10. to generate a travel route R of For example, as shown in FIG. 13 , the travel route R is a route that allows the forks 6 of the forklift 2 to be inserted into the fork pockets 13 in front of the central portion of the pallet 10 in the left-right direction.

駆動制御部27は、経路生成部26により生成された走行経路Rに従ってフォークリフト2をパレット10に向けて走行させるように駆動部17を制御する。 The drive control unit 27 controls the drive unit 17 so that the forklift 2 travels toward the pallet 10 according to the travel route R generated by the route generation unit 26 .

ところで、図14に示されるように、レーザセンサ16から照射されるレーザ光は、光ぼうHを有している。光ぼうHとは、レーザ光の幅のことである。このため、レーザセンサ16から照射されたレーザ光が、パレット10の前面10aとフォークポケット13を形成するパレット10の内壁面との2箇所に当たることがある。この場合には、レーザセンサ16により得られる検出点としては、レーザ光がパレット10の前面10aに当たる点F1及びレーザ光がパレット10の内壁面に当たる点F2ではなく、当該点F1,F2の間におけるレーザ光の光軸上の任意の点Fに誤検出されてしまう。また、レーザセンサ16自体の検出誤差も、レーザセンサ16により得られる検出点の位置がずれる要因となり得る。 By the way, as shown in FIG. 14, the laser light emitted from the laser sensor 16 has a beam H. As shown in FIG. The light beam H is the width of the laser beam. For this reason, the laser beam emitted from the laser sensor 16 may hit two points, the front surface 10 a of the pallet 10 and the inner wall surface of the pallet 10 forming the fork pocket 13 . In this case, the detection points obtained by the laser sensor 16 are not the point F1 where the laser beam hits the front surface 10a of the pallet 10 and the point F2 where the laser beam hits the inner wall surface of the pallet 10, but the points between the points F1 and F2. An arbitrary point F on the optical axis of the laser beam is erroneously detected. Further, the detection error of the laser sensor 16 itself can also be a factor causing the position of the detection point obtained by the laser sensor 16 to shift.

そこで、点群補正部24により検出点群を補正する際には、図15(a)に示されるように、複数の検出点Pの一部である端点Ptを、直線算出部22により算出された直線S上に垂直に投影することが考えられる。しかし、この場合には、直線S上に投影された端点Ptがレーザ光の光軸上にないため、端点Ptの位置がパレット10の左右方向にずれることになる。このため、パレット10の前面10aの中心位置Gを正しく算出することができない。その結果、フォークリフト2のフォーク6がパレット10のフォークポケット13に差し込まれると、フォーク6がパレット10に干渉してしまう。 Therefore, when correcting the detection point group by the point group correction unit 24, as shown in FIG. It is conceivable to project perpendicularly onto the straight line S. However, in this case, since the end point Pt projected onto the straight line S is not on the optical axis of the laser beam, the position of the end point Pt is shifted in the horizontal direction of the pallet 10 . Therefore, the center position G of the front surface 10a of the pallet 10 cannot be calculated correctly. As a result, when the fork 6 of the forklift 2 is inserted into the fork pocket 13 of the pallet 10 , the fork 6 interferes with the pallet 10 .

そのような不具合に対し、本実施形態では、図15(b)に示されるように、複数の検出点Pの一部である端点Ptは、直線算出部22により算出された直線S上にレーザセンサ16から照射されるレーザ光の光軸方向に投影される。従って、端点Ptがレーザ光の光軸上の適切な位置に補正されることになる。これにより、パレット10の前面10aの中心位置Gを正しく算出することができる。 In order to deal with such a problem, in the present embodiment, as shown in FIG. It is projected in the optical axis direction of the laser light emitted from the sensor 16 . Therefore, the end point Pt is corrected to an appropriate position on the optical axis of the laser beam. Thereby, the center position G of the front surface 10a of the pallet 10 can be calculated correctly.

以上のように本実施形態によれば、レーザセンサ16によりフォークリフト2に対するパレット10の距離及び角度が検出され、レーザセンサ16の検出データに基づいて、パレット10の前面10aに相当する検出点群が取得される。そして、検出点群に基づいてパレット10の前面10aを表す直線が算出され、その直線を用いて検出点群が補正される。そして、補正された検出点群を用いて、パレット10の位置が認識される。ここで、例えばレーザセンサ16の検出誤差等によって、検出点群を構成する複数の検出点の位置がずれることがある。また、パレット10にはフォークポケット13が設けられているため、フォークリフト2に対するパレット10の距離の検出データにずれが生じやすくなり、その結果として検出点群を構成する複数の検出点の位置がずれやすくなる。そこで、検出点群を構成する複数の検出点を、直線上にレーザセンサ16が位置する角度方向に投影することにより、各検出点が適切な位置に補正される。これにより、パレット10の位置が高精度に認識される。 As described above, according to this embodiment, the distance and angle of the pallet 10 with respect to the forklift 2 are detected by the laser sensor 16, and based on the detection data of the laser sensor 16, the detection point group corresponding to the front surface 10a of the pallet 10 is detected. is obtained. Then, a straight line representing the front surface 10a of the pallet 10 is calculated based on the detected point group, and the detected point group is corrected using the straight line. Then, the position of the pallet 10 is recognized using the corrected detection point group. Here, the positions of the plurality of detection points forming the detection point group may shift due to, for example, detection errors of the laser sensor 16 . Further, since the pallet 10 is provided with a fork pocket 13, the detection data of the distance of the pallet 10 from the forklift 2 tends to deviate. easier. Therefore, each detection point is corrected to an appropriate position by projecting a plurality of detection points forming a detection point group on a straight line in the angular direction in which the laser sensor 16 is positioned. Thereby, the position of the pallet 10 is recognized with high accuracy.

また、本実施形態では、検出点群を構成する複数の検出点のうち、パレット10の左右方向に沿った複数の端点が抽出される。そして、複数の検出点のうち複数の端点のみが直線上に投影される。従って、検出点群の補正処理の簡略化が図られる。 Further, in the present embodiment, a plurality of end points along the left-right direction of the pallet 10 are extracted from among the plurality of detection points forming the detection point group. Only a plurality of end points of the plurality of detection points are projected onto the straight line. Therefore, it is possible to simplify the correction processing of the detected point group.

また、本実施形態では、補正された検出点群に基づいて、パレット10の前面10aの中心位置が算出される。このとき、複数の端点を直線上にレーザセンサ16が位置する角度方向に投影することにより、各端点が適切な位置に補正される。従って、複数の端点から、パレット10の前面10aの中心位置が正確に算出される。これにより、フォークリフト2のフォーク6がパレット10のフォークポケット13に差し込まれる際に、フォーク6がパレット10に干渉することが防止される。 Further, in the present embodiment, the center position of the front surface 10a of the pallet 10 is calculated based on the corrected detection point group. At this time, each endpoint is corrected to an appropriate position by projecting the plurality of endpoints on the straight line in the angular direction where the laser sensor 16 is positioned. Therefore, the central position of the front surface 10a of the pallet 10 can be accurately calculated from the plurality of end points. This prevents the forks 6 from interfering with the pallet 10 when the forks 6 of the forklift 2 are inserted into the fork pockets 13 of the pallet 10 .

なお、本発明は、上記実施形態には限定されない。例えば上記実施形態では、RANSAC及び最小二乗法を用いて、検出点群からパレット10の前面10aを表す直線が算出されているが、特にそのような形態には限られない。例えば、RANSACのみを用いて、パレット10の前面10aを表す直線を算出してもよいし、或いは最小二乗法のみを用いて、パレット10の前面10aを表す直線を算出してもよい。 In addition, this invention is not limited to the said embodiment. For example, in the above-described embodiment, a straight line representing the front surface 10a of the pallet 10 is calculated from the detected point group using RANSAC and the method of least squares, but the method is not particularly limited to such a form. For example, the straight line representing the front surface 10a of the pallet 10 may be calculated using only RANSAC, or the straight line representing the front surface 10a of the pallet 10 may be calculated using only the least squares method.

また、上記実施形態では、検出点群を構成する複数の検出点のうち、パレット10の左右方向に沿った複数の端点が抽出され、複数の端点を直線上にレーザセンサ16によるレーザ光の光軸方向に投影することにより、検出点群が補正されているが、特にそのような形態には限られない。例えば、検出点群を構成する複数の検出点を直線上にレーザセンサ16によるレーザ光の光軸方向に投影することにより、検出点群を補正した後、補正された検出点群を構成する複数の検出点のうち、パレット10の左右方向に沿った複数の端点を抽出してもよい。 Further, in the above embodiment, a plurality of end points along the left-right direction of the pallet 10 are extracted from the plurality of detection points forming the detection point group, and the plurality of end points are aligned on a straight line by the laser beam emitted by the laser sensor 16. Although the detected point group is corrected by projecting in the axial direction, it is not particularly limited to such a form. For example, by projecting a plurality of detection points forming the detection point group on a straight line in the optical axis direction of the laser beam from the laser sensor 16, the detection point group is corrected, and then a plurality of detection points forming the corrected detection point group are projected. , a plurality of end points along the horizontal direction of the pallet 10 may be extracted.

また、上記実施形態では、レーザ光を照射するレーザセンサ16によって、フォークリフト2に対するパレット10の距離及び角度が検出されているが、特にレーザセンサ16には限られず、例えば赤外線を照射する赤外線センサ等を使用して、フォークリフト2に対するパレット10の距離及び角度を検出してもよい。 In the above embodiment, the distance and angle of the pallet 10 with respect to the forklift 2 are detected by the laser sensor 16 that emits laser light. may be used to detect the distance and angle of the pallet 10 relative to the forklift 2 .

また、上記実施形態では、パレット10が平パレットであり、そのパレット10の前面10aの中心位置が算出されているが、パレット10としては、特に平パレットには限られず、フォークリフト2のフォーク6が差し込まれるフォーク収容部を有するパレットであればよい。そのようなパレットとしては、例えば少なくとも1対の脚部を有する網パレット等であってもよい。 In the above embodiment, the pallet 10 is a flat pallet, and the center position of the front surface 10a of the pallet 10 is calculated. Any pallet having a fork receiving portion to be inserted may be used. Such a pallet may be, for example, a mesh pallet having at least one pair of legs.

また、上記実施形態では、フォークリフト2によって荷すくいが行われるパレット10の位置が認識されているが、例えば移動体がフォークリフト以外の車両等である場合には、認識対象物としては、パレット以外の物体であってもよい。この場合、本発明は、認識対象物の前面の中心位置の認識には限られず、例えば認識対象物の前面の端部や角部の認識にも適用可能である。 In the above embodiment, the position of the pallet 10 scooped up by the forklift 2 is recognized. It can be an object. In this case, the present invention is not limited to recognizing the center position of the front surface of the recognition target object, and can be applied to, for example, recognizing edges and corners of the front surface of the recognition target object.

また、上記実施形態では、フォークリフト2がパレット10に向かって前進する際に、フォークリフト2の前方に存在するパレット10の位置が認識されているが、本発明は、移動体の後進時に、移動体の後方に存在する認識対象物の位置を認識する場合にも適用可能である。 In the above embodiment, the position of the pallet 10 in front of the forklift 2 is recognized when the forklift 2 moves forward toward the pallet 10. It can also be applied to the case of recognizing the position of a recognition object that exists behind.

2…フォークリフト(移動体)、6…フォーク、10…パレット(認識対象物)、10a…前面、13…フォークポケット(フォーク収容部)、16…レーザセンサ(検出部)、21…点群取得部、22…直線算出部、23…端点抽出部、24…点群補正部、25…位置認識部、28…認識装置、Pg…検出点群、P…検出点、Pt…端点、S…直線、G…中心位置。 2... Forklift (moving body), 6... Fork, 10... Pallet (recognition target object), 10a... Front surface, 13... Fork pocket (fork storage part), 16... Laser sensor (detection part), 21... Point cloud acquisition part , 22... straight line calculation unit, 23... end point extraction unit, 24... point group correction unit, 25... position recognition unit, 28... recognition device, Pg... detection point group, P... detection point, Pt... end point, S... straight line, G...Center position.

Claims (4)

移動体の進行方向に存在する認識対象物を認識する認識装置であって、
前記移動体に設けられ、前記移動体に対する前記認識対象物の距離及び角度を検出する検出部と、
前記検出部の検出データに基づいて、前記認識対象物の前面に相当する検出点群を取得する点群取得部と、
前記点群取得部により取得された検出点群に基づいて、前記認識対象物の前面を表す直線を算出する直線算出部と、
前記直線算出部により算出された直線を用いて、前記点群取得部により取得された検出点群を補正する点群補正部と、
前記点群補正部により補正された検出点群に基づいて、前記認識対象物の位置を認識する位置認識部とを備え、
前記点群補正部は、前記点群取得部により取得された検出点群を構成する複数の検出点を、前記直線算出部により算出された直線上に前記検出部が位置する角度方向に投影することにより、前記検出点群を補正する認識装置。
A recognition device for recognizing a recognition target existing in a moving direction of a moving object,
a detection unit provided in the moving body for detecting the distance and angle of the recognition target object with respect to the moving body;
a point cloud acquisition unit that acquires a detection point cloud corresponding to the front surface of the recognition target based on the detection data of the detection unit;
a straight line calculation unit that calculates a straight line representing the front surface of the recognition target based on the detection point cloud acquired by the point cloud acquisition unit;
a point cloud correction unit that corrects the detected point cloud acquired by the point cloud acquisition unit using the straight line calculated by the straight line calculation unit;
a position recognition unit that recognizes the position of the recognition target based on the detection point cloud corrected by the point cloud correction unit;
The point cloud correction unit projects a plurality of detection points forming the detection point cloud acquired by the point cloud acquisition unit in an angular direction in which the detection unit is positioned on the straight line calculated by the straight line calculation unit. A recognition device that corrects the detected point group by
前記移動体は、フォークリフトであり、
前記認識対象物は、前記フォークリフトのフォークが差し込まれるフォーク収容部が設けられたパレットである請求項1記載の認識装置。
The moving body is a forklift,
2. The recognition device according to claim 1, wherein the object to be recognized is a pallet provided with a fork accommodating portion into which a fork of the forklift is inserted.
前記点群取得部により取得された検出点群を構成する前記複数の検出点のうち、前記フォークの差し込み方向に垂直な方向に相当する前記パレットの幅方向に沿った複数の端点を抽出する端点抽出部を更に備え、
前記複数の端点は、前記パレットの前面の端部に位置する検出点と、前記パレットの前面における前記フォーク収容部との境界部に位置する検出点とを含み、
前記点群補正部は、前記複数の端点を前記直線上に前記検出部が位置する角度方向に投影する請求項2記載の認識装置。
End points for extracting a plurality of end points along the width direction of the pallet corresponding to a direction perpendicular to the inserting direction of the fork, from among the plurality of detection points forming the detection point group acquired by the point cloud acquisition unit. further comprising an extractor,
The plurality of end points include a detection point located at the end of the front surface of the pallet and a detection point located at the boundary between the front surface of the pallet and the fork housing,
3. The recognition device according to claim 2, wherein the point group correction unit projects the plurality of end points onto the straight line in an angular direction in which the detection unit is positioned.
前記位置認識部は、前記点群補正部により補正された検出点群に基づいて、前記パレットの前面の中心位置を算出する請求項3記載の認識装置。 4. The recognition device according to claim 3, wherein the position recognition unit calculates the center position of the front surface of the pallet based on the detected point group corrected by the point group correction unit.
JP2020073503A 2020-04-16 2020-04-16 recognition device Active JP7306311B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020073503A JP7306311B2 (en) 2020-04-16 2020-04-16 recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020073503A JP7306311B2 (en) 2020-04-16 2020-04-16 recognition device

Publications (2)

Publication Number Publication Date
JP2021169360A JP2021169360A (en) 2021-10-28
JP7306311B2 true JP7306311B2 (en) 2023-07-11

Family

ID=78119364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020073503A Active JP7306311B2 (en) 2020-04-16 2020-04-16 recognition device

Country Status (1)

Country Link
JP (1) JP7306311B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7086148B2 (en) * 2020-08-31 2022-06-17 三菱ロジスネクスト株式会社 Pallet detectors, forklifts, pallet detection methods, and programs
JP7661870B2 (en) * 2021-11-24 2025-04-15 株式会社豊田自動織機 Position and orientation estimation device
JP7693264B2 (en) 2023-03-29 2025-06-17 三菱ロジスネクスト株式会社 Transport vehicle, connector, distance determination method, and distance determination program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017019596A (en) 2015-07-08 2017-01-26 株式会社豊田自動織機 Travel control method and travel control device in load taking in unmanned fork lift
JP2017151650A (en) 2016-02-23 2017-08-31 村田機械株式会社 Object state specification method, object state specification apparatus, and conveyance vehicle
JP2017178567A (en) 2016-03-30 2017-10-05 株式会社豊田中央研究所 forklift
US20190194005A1 (en) 2017-12-22 2019-06-27 X Development Llc Pallet Tracking During Engagement and Disengagement

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017019596A (en) 2015-07-08 2017-01-26 株式会社豊田自動織機 Travel control method and travel control device in load taking in unmanned fork lift
JP2017151650A (en) 2016-02-23 2017-08-31 村田機械株式会社 Object state specification method, object state specification apparatus, and conveyance vehicle
JP2017178567A (en) 2016-03-30 2017-10-05 株式会社豊田中央研究所 forklift
US20190194005A1 (en) 2017-12-22 2019-06-27 X Development Llc Pallet Tracking During Engagement and Disengagement

Also Published As

Publication number Publication date
JP2021169360A (en) 2021-10-28

Similar Documents

Publication Publication Date Title
JP7306311B2 (en) recognition device
JP7257257B2 (en) Road surface detection system, personal mobility and obstacle detection method
US12421838B2 (en) Wall detection device, transport vehicle, and wall detection method
JP7259634B2 (en) travel control device
Baglivo et al. Autonomous pallet localization and picking for industrial forklifts: a robust range and look method
JP2022124817A (en) Moving vehicle control method, moving vehicle, and program
JP7287329B2 (en) forklift
JP2022124865A (en) Mobile body, mobile control system, mobile body control method and program
KR102564663B1 (en) Coordinates recognition apparatus of automatic guided vehicle and method thereof
JP5851715B2 (en) Autonomous traveling device, autonomous traveling method, and program thereof
WO2017086131A1 (en) Moving body
JP7259662B2 (en) travel control device
JP7690915B2 (en) Stacking control device
JP7275973B2 (en) position estimator
JP7459732B2 (en) Self-location estimation system
JP7056591B2 (en) Driving control system
JP7283085B2 (en) travel control device
JP2022051191A (en) Self-position estimation device
JP7257431B2 (en) Mobile object control method, mobile object and program
JP7831124B2 (en) Obstacle detection device
JP7661870B2 (en) Position and orientation estimation device
JP7459733B2 (en) Self-location estimation device
JP7669902B2 (en) Position and orientation estimation device
JP7524725B2 (en) Travel route generation method and device
JP6539958B2 (en) Carrier

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230612

R151 Written notification of patent or utility model registration

Ref document number: 7306311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151