JP7065632B2

JP7065632B2 - Box-shaped object picking device and its method

Info

Publication number: JP7065632B2
Application number: JP2018023430A
Authority: JP
Inventors: エドモンド蘇; 暁明牛; 剛徐; 朋弘仲道; 克英鈴木; 淳司三宅; 勉石田
Original assignee: Kyoto Robotics Corp
Current assignee: Kyoto Robotics Corp
Priority date: 2018-02-13
Filing date: 2018-02-13
Publication date: 2022-05-12
Anticipated expiration: 2038-02-13
Also published as: JP2019136828A

Description

本発明は、箱状物ピッキング装置及びその方法に関する。 The present invention relates to a box-shaped object picking device and a method thereof.

近年、物流業界において、倉庫内の仕分け、積込み、荷卸し等の作業の自動化が求められており、様々な自動化システムの導入が進められている（例えば、特許文献１参照）。 In recent years, in the logistics industry, automation of operations such as sorting, loading, and unloading in warehouses has been required, and various automation systems have been introduced (see, for example, Patent Document 1).

特開平０６－０５５４７７号公報Japanese Unexamined Patent Publication No. 06-055477

しかしながら、パレット上に積まれた荷物を一つ一つ取り分ける作業、すなわち、デパレタイズ作業工程、或いは、ケース（外箱）内にパッケージ単位（或いは、小箱単位）で詰められたものを個別に移載する工程では、次のような問題があり、自動化のネックとなっていた。 However, the work of separating the packages loaded on the pallet one by one, that is, the depalletization work process, or the individual packages packed in the case (outer box) in package units (or small box units) are transferred individually. In the mounting process, there were the following problems, which was a bottleneck for automation.

（１）ほぼ同じ形状の箱状の荷物が密に積み付けられているため、自動的に個々の箱を見分けるのは困難であるという問題があった。
（２）多種類の箱状物が存在しているため、各種の箱状物のサイズや重さをデータベース内に登録するのは非常に手間がかかるといった問題があった。
（３）同じ商品であっても梱包される搬送用ケース（外箱）のサイズは変わるため、商品ごとに事前に登録したサイズを前提に把持を行うと、把持できない、或いは、移載中に箱をぶつける等の不具合が生じるといった問題があった。
（４）箱状物ごとの重さに合わせて適切な加速度で運ばなければ、箱状物を落としたり、必要以上に移載に時間がかかったり、といった問題があった。 (1) Since box-shaped packages having almost the same shape are densely stacked, there is a problem that it is difficult to automatically distinguish individual boxes.
(2) Since there are many types of box-shaped objects, there is a problem that it is very troublesome to register the sizes and weights of various box-shaped objects in the database.
(3) Since the size of the transport case (outer box) to be packed changes even if the same product is used, if the product is gripped on the premise of the size registered in advance for each product, it cannot be gripped or is being transferred. There was a problem that problems such as hitting the box occurred.
(4) If the box-shaped object is not carried at an appropriate acceleration according to the weight of each box-shaped object, there are problems that the box-shaped object is dropped and it takes longer to transfer than necessary.

そこで、本発明は、上記問題に鑑み、物流現場において、把持対象となる箱状ピッキング対象物を自動的に確認・計測することができる箱ピッキング装置及びその方法を提供することを目的としている。 Therefore, in view of the above problems, it is an object of the present invention to provide a box picking device and a method thereof that can automatically confirm and measure a box-shaped picking object to be gripped at a distribution site.

上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。 The above object of the present invention is achieved by the following means. In addition, although the reference numerals of the embodiments described later are added in parentheses, the present invention is not limited thereto.

請求項１の発明に係る箱状物ピッキング装置は、荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報を生成する第１生成手段（例えば、図１に示すカメラ４）と、
前記複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の二次元画像を生成する第２生成手段（例えば、図１に示すカメラ４）と、
前記第１生成手段（例えば、図１に示すカメラ４）にて生成された三次元点群情報と前記第２生成手段（例えば、図１に示すカメラ４）にて生成された二次元画像に基づき、前記複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）から所定の平面画像（例えば、図４（ａ）に示す最上面ＨＭの画像）を切り出す切り出し手段（例えば、図２に示すステップＳ２）と、
前記切り出し手段（例えば、図２に示すステップＳ２）にて切り出された所定の平面画像（例えば、図４（ａ）に示す最上面ＨＭの画像）を正面画像（例えば、図４（ｂ）に示す画像）に変換する変換手段（例えば、図２に示すステップＳ３）と、
前記変換手段（例えば、図２に示すステップＳ３）にて変換された正面画像（例えば、図４（ｂ）に示す画像）から共通のパターンを見つけ出し、箱状物の領域を決定する領域決定手段（例えば、図２に示すステップＳ４）と、
前記領域決定手段（例えば、図２に示すステップＳ４）にて決定された箱状物の領域のＸ軸方向の長さ（例えば、図５（ｄ）に示す横Ｌのサイズ）とＹ軸方向の長さ（例えば、図５（ｄ）に示す縦Ｔのサイズ）を計測する長さ計測手段（例えば、図２に示すステップＳ５）と、
前記長さ計測手段（例えば、図２に示すステップＳ５）にて計測した長さ（例えば、図５（ｄ）に示す横Ｌ、縦Ｔのサイズ）を持つ箱状物の領域に属する前記第１生成手段（例えば、図１に示すカメラ４）にて生成された三次元点群情報に基づき、把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）の三次元位置姿勢を出力する位置姿勢出力手段（例えば、図２に示すステップＳ６）と、
前記位置姿勢出力手段（例えば、図２に示すステップＳ６）にて出力された三次元位置姿勢に基づき、前記把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）を把持し、移載するロボット（例えば、図１に示すロボット２）と、
前記ロボット（例えば、図１に示すロボット２）を用いて、前記把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）を把持し、移載する際、再度、荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報を生成し（例えば、図６（ｂ）参照）、前記把持し、移載する前の荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報（例えば、図６（ａ）参照）と、前記把持し、移載する際の荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報（例えば、図６（ａ）参照）とを比較した際の差を、前記把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）のＺ軸方向の高さ（例えば、図６（ｂ）に示す高さＨ）として計測する高さ計測手段と、を備えてなることを特徴としている。なお、第１生成手段と、第２生成手段は、異なっても良いし、同一でも良い。 The box-shaped object picking device according to the invention of claim 1 obtains three-dimensional point cloud information of a plurality of loaded box-shaped picking objects (for example, the box-shaped object picking object Wa shown in FIG. 1) as a whole (W). The first generation means to generate (for example, the camera 4 shown in FIG. 1) and
A second generation means (for example, the camera 4 shown in FIG. 1) for generating a two-dimensional image of the entire (W) of the plurality of box-shaped picking objects (for example, the box-shaped picking object Wa shown in FIG. 1).
The three-dimensional point group information generated by the first generation means (for example, the camera 4 shown in FIG. 1) and the two-dimensional image generated by the second generation means (for example, the camera 4 shown in FIG. 1). Based on this, a predetermined plane image (for example, an image of the uppermost surface HM shown in FIG. 4A) is obtained from the entire (W) of the plurality of box-shaped picking objects (for example, the box-shaped picking object Wa shown in FIG. 1). A cutting means for cutting out (for example, step S2 shown in FIG. 2) and
A predetermined plane image (for example, an image of the uppermost surface HM shown in FIG. 4A) cut out by the cutting means (for example, step S2 shown in FIG. 2) is displayed on a front image (for example, FIG. 4B). A conversion means (for example, step S3 shown in FIG. 2) for converting into the image shown) and
Area determining means for finding a common pattern from the front image (for example, the image shown in FIG. 4B) converted by the conversion means (for example, step S3 shown in FIG. 2) and determining the area of the box-shaped object. (For example, step S4 shown in FIG. 2) and
The length of the region of the box-shaped object determined by the region determining means (for example, step S4 shown in FIG. 2) in the X-axis direction (for example, the size of the lateral L shown in FIG. 5D) and the Y-axis direction. (For example, the size of the vertical T shown in FIG. 5D) and a length measuring means (for example, step S5 shown in FIG. 2).
The first belonging to the region of the box-shaped object having the length measured by the length measuring means (for example, step S5 shown in FIG. 2) (for example, the horizontal L and vertical T sizes shown in FIG. 5 (d)) . 1 A box-shaped picking object to be gripped (for example, the box-shaped picking object Wa shown in FIG. 1) based on the three-dimensional point cloud information generated by the generation means (for example, the camera 4 shown in FIG. 1). A position / attitude output means for outputting a three-dimensional position / orientation (for example, step S6 shown in FIG. 2) and
Based on the three-dimensional position / orientation output by the position / attitude output means (for example, step S6 shown in FIG. 2), the box-shaped picking object to be gripped (for example, the box-shaped picking object Wa shown in FIG. 1). ) To be gripped and transferred (for example, robot 2 shown in FIG. 1) and
When the box-shaped picking object (for example, the box-shaped picking object Wa shown in FIG. 1) to be gripped is grasped and transferred again by using the robot (for example, the robot 2 shown in FIG. 1). , Generates three-dimensional point group information of the entire (for example, the box-shaped picking object Wa shown in FIG. 1) (W) of a plurality of loaded box-shaped picking objects (see, for example, FIG. 6 (b)). Three-dimensional point group information (for example, FIG. 6 (for example)) of the entire (W) of the plurality of box-shaped picking objects (for example, the box-shaped picking object Wa shown in FIG. 1) loaded before being grasped and transferred. a)) and the three-dimensional point group information of the entire (W) of the plurality of box-shaped picking objects (for example, the box-shaped picking object Wa shown in FIG. 1) loaded at the time of grasping and transferring. (For example, see FIG. 6A), the difference when compared with the box-shaped picking object to be gripped (for example, the broken line portion of the box-shaped picking object Wa shown in FIG. 6B). It is characterized by comprising a height measuring means for measuring the height in the Z-axis direction (for example, the height H shown in FIG. 6B) . The first generation means and the second generation means may be different or the same.

一方、請求項２の発明に係る箱状物ピッキング方法は、荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報を生成し（例えば、図３（ａ）参照）、
前記複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の二次元画像を生成し（例えば、図３（ａ）参照）、
前記生成された三次元点群情報と二次元画像に基づき、前記複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）から所定の平面画像（例えば、図４（ａ）に示す最上面ＨＭの画像）を切り出し（例えば、図２に示すステップＳ２）、
前記切り出した所定の平面画像（例えば、図４（ａ）に示す最上面ＨＭの画像）を正面画像（例えば、図４（ｂ）に示す画像）に変換し（例えば、図２に示すステップＳ３）、
前記変換した正面画像（例えば、図４（ｂ）に示す画像）から共通のパターンを見つけ出し、箱状物の領域を決定し（例えば、図２に示すステップＳ４）、
前記決定した箱状物の領域のＸ軸方向の長さ（例えば、図５（ｄ）に示す横Ｌのサイズ）とＹ軸方向の長さ（例えば、図５（ｄ）に示す縦Ｔのサイズ）を計測し（例えば、図２に示すステップＳ５）、
前記計測した長さを持つ箱状物の領域に属する前記生成された三次元点群情報に基づき、把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）の三次元位置姿勢を出力し（例えば、図２に示すステップＳ６）、
前記出力した三次元位置姿勢に基づき、ロボット（例えば、図１に示すロボット２）を用いて、前記把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）を把持し、移載する際、再度、荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報を生成し（例えば、図６（ｂ）参照）、
前記把持し、移載する前の荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報（例えば、図６（ａ）参照）と、前記把持し、移載する際の荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報（例えば、図６（ａ）参照）とを比較した際の差を、前記把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）のＺ軸方向の高さ（例えば、図６（ｂ）に示す高さＨ）としてなることを特徴としている。
On the other hand, the box-shaped object picking method according to the invention of claim 2 is a three-dimensional point group of a plurality of loaded box-shaped picking objects (for example, the box-shaped object picking object Wa shown in FIG. 1) as a whole (W). Generate information (see, eg, FIG. 3A) and
A two-dimensional image of the entire box-shaped picking object (for example, the box-shaped picking object Wa shown in FIG. 1) (W) is generated (see, for example, FIG. 3A).
Based on the generated three-dimensional point cloud information and the two-dimensional image, a predetermined plane image (for example, for example) from the entire box-shaped picking object (for example, the box-shaped picking object Wa shown in FIG. 1) (W). An image of the top surface HM shown in FIG. 4A) is cut out (for example, step S2 shown in FIG. 2).
The cut-out predetermined plane image (for example, the image of the uppermost surface HM shown in FIG. 4A) is converted into a frontal image (for example, the image shown in FIG. 4B) (for example, step S3 shown in FIG. 2). ),
A common pattern is found from the converted front image (for example, the image shown in FIG. 4B), a region of the box-shaped object is determined (for example, step S4 shown in FIG. 2), and the common pattern is found.
The length of the determined box-shaped area in the X-axis direction (for example, the size of the horizontal L shown in FIG. 5D) and the length in the Y-axis direction (for example, the length T shown in FIG. 5D). Measure the size (for example, step S5 shown in FIG. 2),
Based on the generated three-dimensional point cloud information belonging to the region of the box-shaped object having the measured length, the box-shaped picking object to be gripped (for example, the box-shaped picking object Wa shown in FIG. 1). The three-dimensional position and orientation are output (for example, step S6 shown in FIG. 2).
Based on the output three-dimensional position and orientation, a robot (for example, the robot 2 shown in FIG. 1) is used to hold the box-shaped picking object (for example, the box-shaped picking object Wa shown in FIG. 1) to be gripped. When grasping and transferring, the three-dimensional point group information of the entire loaded box-shaped picking object (for example, the box-shaped picking object Wa shown in FIG. 1) (W) is generated again (for example). , See FIG. 6 (b)),
Three-dimensional point group information (for example, FIG. 6 (for example)) of the entire (W) of the plurality of box-shaped picking objects (for example, the box-shaped picking object Wa shown in FIG. 1) loaded before being grasped and transferred. a)) and the three-dimensional point group information of the entire (W) of the plurality of box-shaped picking objects (for example, the box-shaped picking object Wa shown in FIG. 1) loaded at the time of grasping and transferring. (For example, see FIG. 6A), the difference when compared with the box-shaped picking object to be gripped (for example, the broken line portion of the box-shaped picking object Wa shown in FIG. 6B). It is characterized by having a height in the Z-axis direction (for example, the height H shown in FIG. 6B) .

また、請求項３の発明によれば、上記請求項２に記載の箱状物ピッキング方法において、前記把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）の正確なサイズを事前に入力不要であることを特徴としている。 Further, according to the invention of claim 3, in the box-shaped object picking method according to claim 2, the box-shaped picking object to be gripped (for example, the box-shaped object picking object Wa shown in FIG. 1). The feature is that it is not necessary to enter the exact size in advance.

またさらに、請求項４の発明によれば、上記請求項２～３の何れか１項に記載の箱状物ピッキング方法において、前記変換した正面画像（例えば、図４（ｂ）に示す画像）に対してフーリエ変換を行い、その変換したフーリエ変換画像におけるピーク値を抽出することで、共通のパターンを見つけ出し、箱状物の領域を決定し（例えば、図２に示すステップＳ４）てなることを特徴としている。 Furthermore, according to the invention of claim 4 , the transformed front image (for example, the image shown in FIG. 4B) in the box-shaped object picking method according to any one of claims 2 to 3 above. By performing a Fourier transform on the image and extracting the peak value in the transformed Fourier transform image, a common pattern is found and the region of the box-shaped object is determined (for example, step S4 shown in FIG. 2). It is characterized by.

また、請求項５の発明によれば、上記請求項２～４の何れか１項に記載の箱状物ピッキング方法において、前記計測した長さ（例えば、図５（ｄ）に示す横Ｌ、縦Ｔのサイズ）、並びに、前記把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の高さ（例えば、図６（ｂ）に示す高さＨ）を出力してなることを特徴としている。 Further, according to the invention of claim 5 , in the box-shaped object picking method according to any one of claims 2 to 4, the measured length (for example, the lateral L shown in FIG. 5D). The size of the vertical T) and the height of the box-shaped picking object to be gripped (for example, the broken line portion of the box-shaped picking object Wa shown in FIG. 6 (b)) (for example, FIG. 6 (b)). It is characterized in that the indicated height H) is output.

一方、請求項６の発明によれば、上記請求項２～５の何れか１項に記載の箱状物ピッキング方法において、前記出力した三次元位置姿勢に基づき、ロボット（例えば、図１に示すロボット２）を用いて、前記把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を把持した際、該把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の重量を計測してなることを特徴としている。 On the other hand, according to the invention of claim 6 , in the box-shaped object picking method according to any one of claims 2 to 5 , the robot (for example, shown in FIG. 1) is based on the output three-dimensional position / orientation. When the box-shaped picking object to be gripped (for example, the broken line portion of the box-shaped picking object Wa shown in FIG. 6B) is gripped by the robot 2), the box-shaped picking to be gripped is performed. It is characterized in that the weight of the object (for example, the broken line portion of the box-shaped picking object Wa shown in FIG. 6B) is measured.

さらに、請求項７の発明によれば、上記請求項６に記載の箱状物ピッキング方法において、前記計測した把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の重量に基づき、前記ロボット（例えば、図１に示すロボット２）を用いて、前記把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を移載する際の加速度を制御してなることを特徴としている。 Further, according to the invention of claim 7 , in the box-shaped object picking method according to claim 6 , the box-shaped picking object to be gripped (for example, the box-shaped picking shown in FIG. 6B) is measured. Based on the weight of the object Wa (the broken line portion), the box-shaped picking object (for example, the box-shaped object shown in FIG. 6B) to be gripped is used by the robot (for example, the robot 2 shown in FIG. 1). It is characterized in that the acceleration at the time of transferring (the broken line portion of the picking object Wa) is controlled.

一方、請求項８の発明によれば、上記請求項２～７の何れか１項に記載の箱状物ピッキング方法において、前記計測した長さ（例えば、図５（ｄ）に示す横Ｌ、縦Ｔのサイズ）に基づき、前記ロボット（例えば、図１に示すロボット２）を用いて、前記把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を移載する際の経路を設定して制御してなることを特徴としている。 On the other hand, according to the invention of claim 8 , in the box-shaped object picking method according to any one of claims 2 to 7, the measured length (for example, the lateral L shown in FIG. 5D). Based on the vertical T size), the box-shaped picking object (for example, the box-shaped picking object Wa shown in FIG. 6B) to be gripped is used by using the robot (for example, the robot 2 shown in FIG. 1). It is characterized by setting and controlling the route when transferring (the broken line part of).

次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。 Next, the effect of the present invention will be described with reference to reference numerals in the drawings. In addition, although the reference numerals of the embodiments described later are added in parentheses, the present invention is not limited thereto.

請求項１又は請求項２に係る発明によれば、物流現場において、把持対象となる箱状ピッキング対象物を自動的に確認・計測することができる。これにより、把持対象となる箱状ピッキング対象物のサイズの入力をする必要がなくなり、もって、データベースへの登録（マスター登録）の必要性がなくなる。また、請求項１又は請求項２に係る発明によれば、さらに、決定した箱状物の領域のＸ軸方向の長さ（例えば、図５（ｄ）に示す横Ｌのサイズ）とＹ軸方向の長さ（例えば、図５（ｄ）に示す縦Ｔのサイズ）を計測し（例えば、図２に示すステップＳ５）、該計測した長さ（例えば、図５（ｄ）に示す横Ｌ、縦Ｔのサイズ）を持つ箱状物の領域に属する生成された三次元点群情報に基づき、把持対象となる箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）の三次元位置姿勢を出力し（例えば、図２に示すステップＳ６）ているから、正確にロボット（例えば、図１に示すロボット２）にて箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）を把持させることができる。また、請求項１又は請求項２に係る発明によれば、さらに、把持し、移載する前の荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報（例えば、図６（ａ）参照）と、前記把持し、移載する際の荷積みされた複数の箱状ピッキング対象物（例えば、図１に示す箱状ピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報（例えば、図６（ａ）参照）とを比較した際の差を、前記把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の高さ（例えば、図６（ｂ）に示す高さＨ）としているから、簡単容易に、箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の高さを計測することができる。また、請求項３に係る発明によれば、把持対象となる箱状ピッキング対象物のサイズの正確な入力をしなくとも良い。 According to the first or second aspect of the present invention, the box-shaped picking object to be gripped can be automatically confirmed and measured at the distribution site. This eliminates the need to input the size of the box-shaped picking object to be gripped, and thus eliminates the need for registration in the database (master registration). Further, according to the invention according to claim 1 or 2, further, the length of the determined box-shaped object region in the X-axis direction (for example, the size of the lateral L shown in FIG. 5D) and the Y-axis. The length in the direction (for example, the size of the vertical T shown in FIG. 5D) is measured (for example, step S5 shown in FIG. 2), and the measured length (for example, the horizontal L shown in FIG. 5D) is measured. , Vertical T size) of the box-shaped picking object (for example, the box-shaped picking object Wa shown in FIG. 1) to be gripped based on the generated three-dimensional point group information belonging to the region of the box-shaped object. Since the three-dimensional position / orientation is output (for example, step S6 shown in FIG. 2), the box-shaped picking object (for example, the box-shaped object shown in FIG. 1) is accurately used by the robot (for example, the robot 2 shown in FIG. 1). The picking object Wa) can be gripped. Further, according to the invention according to claim 1 or 2, further, a plurality of loaded box-shaped picking objects (for example, the box-shaped picking object Wa shown in FIG. 1) before being grasped and transferred. ) The entire (W) three-dimensional point group information (see, for example, FIG. 6A) and a plurality of loaded box-shaped picking objects (for example, shown in FIG. 1) for grasping and transferring. The difference when comparing the three-dimensional point group information (for example, see FIG. 6A) of the entire box-shaped picking object Wa) (W) is the difference between the box-shaped picking object (for example, FIG. Since the height (for example, the height H shown in FIG. 6 (b)) of the box-shaped picking object Wa shown in 6 (b) is set, the box-shaped picking object (for example, FIG. The height of the box-shaped picking object Wa (broken line portion) shown in 6 (b) can be measured. Further, according to the third aspect of the present invention, it is not necessary to accurately input the size of the box-shaped picking object to be gripped.

またさらに、請求項４に係る発明によれば、変換した正面画像（例えば、図４（ｂ）に示す画像）に対してフーリエ変換を行い、その変換したフーリエ変換画像におけるピーク値を抽出することで、簡単容易に、共通のパターンを見つけ出し、箱状物の領域を決定する（例えば、図２に示すステップＳ４）ことができる。 Further, according to the invention of claim 4 , a Fourier transform is performed on the converted front image (for example, the image shown in FIG. 4B), and the peak value in the converted Fourier transformed image is extracted. Then, it is possible to easily and easily find a common pattern and determine the region of the box-shaped object (for example, step S4 shown in FIG. 2).

また、請求項５の発明によれば、計測した長さ（例えば、図５（ｄ）に示す横Ｌ、縦Ｔのサイズ）、並びに、把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の高さ（例えば、図６（ｂ）に示す高さＨ）を出力しているから、箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の長さ（例えば、図５（ｄ）に示す横Ｌ、縦Ｔのサイズ）、並びに、高さ（例えば、図６（ｂ）に示す高さＨ）が自動で計測されることとなる。 Further, according to the invention of claim 5 , the measured length (for example, the size of the horizontal L and the vertical T shown in FIG. 5D) and the box-shaped picking object to be gripped (for example, FIG. 6). Since the height (for example, the height H shown in FIG. 6B) of the box-shaped picking object Wa shown in (b) is output, the box-shaped picking object (for example, FIG. 6 (for example) The length (for example, the size of the horizontal L and the vertical T shown in FIG. 5 (d)) and the height (for example, the size of the vertical T shown in FIG. 5 (d)) of the box-shaped picking object Wa shown in b) are shown in FIG. 6 (b). Height H) will be measured automatically.

一方、請求項６に係る発明によれば、出力した三次元位置姿勢に基づき、ロボット（例
えば、図１に示すロボット２）を用いて、把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を把持した際、該把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の重量を計測しているから、自動で箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の重量を計測することができる。 On the other hand, according to the invention of claim 6 , a box-shaped picking object (for example, FIG. 6) to be gripped by using a robot (for example, the robot 2 shown in FIG. 1) based on the output three-dimensional position / orientation. When the box-shaped picking object Wa shown in (b) is gripped (for example, the broken line portion of the box-shaped picking object Wa shown in FIG. 6B). Since the weight of the box-shaped picking object (for example, the broken line portion of the box-shaped picking object Wa shown in FIG. 6B) can be automatically measured.

さらに、請求項７に係る発明によれば、計測した把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）の重量に基づき、ロボット（例えば、図１に示すロボット２）を用いて、把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を移載する際の加速度を制御しているから、把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を、所定箇所（例えば、コンベア）に移載させる途中で、落下させてしまう事態を低減させることができる。 Further, according to the invention of claim 7 , based on the weight of the measured box-shaped picking object (for example, the broken line portion of the box-shaped picking object Wa shown in FIG. 6B), the robot ( For example, using the robot 2) shown in FIG. 1, the acceleration when the box-shaped picking object to be gripped (for example, the broken line portion of the box-shaped picking object Wa shown in FIG. 6B) is transferred. Since it is controlled, the box-shaped picking object to be gripped (for example, the broken line portion of the box-shaped picking object Wa shown in FIG. 6B) is being transferred to a predetermined place (for example, a conveyor). , It is possible to reduce the situation of dropping.

一方、請求項８に係る発明によれば、計測した長さ（例えば、図５（ｄ）に示す横Ｌ、縦Ｔのサイズ）に基づき、ロボット（例えば、図１に示すロボット２）を用いて、把持対象となる箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を移載する際の経路を設定して制御しているから、安全に箱状ピッキング対象物（例えば、図６（ｂ）に示す箱状ピッキング対象物Ｗａの破線部分）を所定箇所（例えば、コンベア）に移載させることができる。 On the other hand, according to the invention of claim 8 , a robot (for example, the robot 2 shown in FIG. 1) is used based on the measured length (for example, the sizes of the horizontal L and the vertical T shown in FIG. 5 (d)). Since the path for transferring the box-shaped picking object to be gripped (for example, the broken line portion of the box-shaped picking object Wa shown in FIG. 6B) is set and controlled, it is safe. The box-shaped picking object (for example, the broken line portion of the box-shaped picking object Wa shown in FIG. 6B) can be transferred to a predetermined place (for example, a conveyor).

本発明の一実施形態に係る箱状物ピッキング装置の概略全体図である。It is a schematic whole view of the box-shaped object picking apparatus which concerns on one Embodiment of this invention. 同実施形態に係る箱状物ピッキング装置の制御手順を示すフローチャート図である。It is a flowchart which shows the control procedure of the box-shaped object picking apparatus which concerns on the same embodiment. （ａ）は、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標を備えた三次元点群情報が表わされた隣接して荷積された複数の箱状ピッキング対象物全体の斜視図、（ｂ）は、（ａ）に示す隣接して荷積された複数の箱状ピッキング対象物全体の二次元画像を示す図である。(A) is a perspective view of a plurality of adjacent box-shaped picking objects in which three-dimensional point cloud information having three-dimensional coordinates in the X-direction, Y-direction, and Z-direction is represented. b) is a diagram showing a two-dimensional image of the entire plurality of box-shaped picking objects stacked adjacent to each other as shown in (a). （ａ）は、図３（ｂ）に示す二次元画像の最上面を切り出すことを説明した説明図、（ｂ）は、（ａ）に示す最上面を切り出した際の二次元画像の正面図である。(A) is an explanatory view explaining that the uppermost surface of the two-dimensional image shown in FIG. 3 (b) is cut out, and (b) is a front view of the two-dimensional image when the uppermost surface shown in (a) is cut out. Is. （ａ）は、図４（ａ）に示す最上面を切り出した際の二次元画像の正面図、（ｂ）は、（ａ）に示す二次元画像から見つけ出した共通のパターンを示す正面図、（ｃ－１）は、基準となる基準箱を縮小して、（ｂ）に示す二次元画像に一致させようとしていることを示す説明図、（ｃ－２）は、基準となる基準箱を拡大して、（ｂ）に示す二次元画像に一致させようとしていることを示す説明図、（ｄ）は、基準となる基準箱と（ｂ）に示す二次元画像とが一致したことを示す正面図である。(A) is a front view of a two-dimensional image when the uppermost surface shown in FIG. 4 (a) is cut out, and (b) is a front view showing a common pattern found from the two-dimensional image shown in (a). (C-1) is an explanatory diagram showing that the reference reference box is reduced to match the two-dimensional image shown in (b), and (c-2) is a reference reference box. An explanatory diagram showing that the image is being enlarged to match the two-dimensional image shown in (b), (d) shows that the reference box as a reference and the two-dimensional image shown in (b) match. It is a front view. （ａ）は、箱状ピッキング対象物把持前のＸ方向，Ｙ方向，Ｚ方向の三次元座標を備えた三次元点群情報が表わされた隣接して荷積された複数の箱状ピッキング対象物全体の斜視図、（ｂ）は、箱状ピッキング対象物把持後のＸ方向，Ｙ方向，Ｚ方向の三次元座標を備えた三次元点群情報が表わされた隣接して荷積された複数の箱状ピッキング対象物全体の斜視図である。In (a), a plurality of box-shaped pickings loaded adjacent to each other representing three-dimensional point cloud information having three-dimensional coordinates in the X-direction, Y-direction, and Z-direction before gripping the box-shaped picking object. A perspective view of the entire object, (b), shows adjacent loading showing 3D point cloud information with 3D coordinates in the X, Y, and Z directions after gripping the box-shaped picking object. It is a perspective view of the whole of a plurality of box-shaped picking objects.

以下、本発明に係る箱状物ピッキング装置の一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。 Hereinafter, an embodiment of the box-shaped object picking device according to the present invention will be specifically described with reference to the drawings. In the following description, when the directions of up, down, left, and right are shown, it means up, down, left, and right when viewed from the front of the illustration.

図１に示すように、箱状物ピッキング装置１は、ロボット２と、このロボット２を制御するロボット制御装置３と、カメラ４と、画像処理装置５と、で構成されている。なお、符号Ｗは、パレットＰ上に、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体を示すものである。 As shown in FIG. 1, the box-shaped object picking device 1 includes a robot 2, a robot control device 3 for controlling the robot 2, a camera 4, and an image processing device 5. The reference numeral W indicates the entire Wa of a plurality of box-shaped picking objects loaded adjacently on the pallet P.

ロボット２は、床や壁等の設置面に固定される土台２０と、土台２０に対して基端が回転可能に連結されているロボットアーム部２１と、ロボットアーム部２１の先端に取り付けられ、箱状ピッキング対象物Ｗａを吸着・挟み込み・支持等によって把持することができるロボットハンド２２とを備えている。なお、このロボットハンド２２には、箱状ピッキング対象物Ｗａを把持した際の当該箱状ピッキング対象物Ｗａの重量を計測する歪ゲージ等の重量センサが設けられており、重量センサの計測情報は、ロボット制御装置３に出力される。また、重量センサに代えて、基端が回転可能に連結されているロボットアーム部２１のモータ駆動に必要な電流を検出し、その検出情報から、箱状ピッキング対象物Ｗａの重量を推定することもできる。すなわち、基端が回転可能に連結されているロボットアーム部２１を同姿勢にして静止させた際の無負荷のモータのトルクと、箱状ピッキング対象物Ｗａを把持した際のモータのトルクとの差を用いて、箱状ピッキング対象物Ｗａの重量を推定するようにすれば良い。なお、推定された重量情報は、重量センサの計測情報同様、ロボット制御装置３に出力される。 The robot 2 is attached to a base 20 fixed to an installation surface such as a floor or a wall, a robot arm portion 21 whose base end is rotatably connected to the base 20, and a box attached to the tip of the robot arm portion 21. It is equipped with a robot hand 22 capable of gripping the shape-picking object Wa by suction, pinching, support, or the like. The robot hand 22 is provided with a weight sensor such as a strain gauge that measures the weight of the box-shaped picking object Wa when the box-shaped picking object Wa is gripped. , Is output to the robot control device 3. Further, instead of the weight sensor, the current required for driving the motor of the robot arm portion 21 whose base end is rotatably connected is detected, and the weight of the box-shaped picking object Wa is estimated from the detected information. You can also. That is, the torque of the no-load motor when the robot arm portion 21 whose base end is rotatably connected is placed in the same posture and stationary, and the torque of the motor when the box-shaped picking object Wa is gripped. The difference may be used to estimate the weight of the box-shaped picking object Wa. The estimated weight information is output to the robot control device 3 as well as the measurement information of the weight sensor.

一方、ロボット制御装置３は、画像処理装置５より出力されるデータ、又は、ロボット２より出力されるデータに基づき、ロボット２の稼動を制御するものである。 On the other hand, the robot control device 3 controls the operation of the robot 2 based on the data output from the image processing device 5 or the data output from the robot 2.

カメラ４は、パレットＰ上に、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報と、パレットＰ上に、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像を取得できるものである。 The camera 4 is loaded adjacently on the pallet P with the three-dimensional point cloud information indicating the three-dimensional coordinates of the entire Wa of the plurality of box-shaped picking objects W loaded adjacently on the pallet P. It is possible to acquire a two-dimensional image of the entire Wa of a plurality of box-shaped picking objects W.

画像処理装置５は、ＣＰＵ５０と、マウスやキーボード、タッチパネル等にて外部から所定データを画像処理装置５に入力することができる入力部５１と、画像処理装置５外に所定データを出力することができる出力部５２と、所定のプログラム等を格納した書込み可能なフラッシュＲＯＭ等からなるＲＯＭ５３と、作業領域やバッファメモリ等として機能するＲＡＭ５４と、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等からなる表示部５５と、で構成されている。 The image processing device 5 may output predetermined data to the outside of the image processing device 5, the CPU 50, the input unit 51 capable of inputting predetermined data to the image processing device 5 from the outside using a mouse, keyboard, touch panel, or the like. A possible output unit 52, a ROM 53 composed of a writable flash ROM containing a predetermined program or the like, a RAM 54 functioning as a work area or a buffer memory, and a display unit 55 composed of an LCD (Liquid Crystal Display) or the like. It is composed of.

かくして、上記のような箱状物ピッキング装置を使用するにあたっては、作業者が、図１に示す画像処理装置５の入力部５１を用いて、図１に示すＲＯＭ５３内に格納されているプログラムの起動を指示する。これにより、画像処理装置５のＣＰＵ５０（図１参照）は、図２に示すような処理を行う。以下、図２を参照して説明する。なお、図２に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。 Thus, when using the box-shaped object picking device as described above, the operator uses the input unit 51 of the image processing device 5 shown in FIG. 1 to display the program stored in the ROM 53 shown in FIG. Instruct to start. As a result, the CPU 50 (see FIG. 1) of the image processing device 5 performs the processing as shown in FIG. Hereinafter, it will be described with reference to FIG. The processing content of the program shown in FIG. 2 is merely an example, and is not limited thereto.

まず、ＣＰＵ５０（図１参照）は、カメラ４にて取得された隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報と、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像を取得する（ステップＳ１）。より詳しく説明すると、カメラ４にて取得された隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報は、図３（ａ）に示すように、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標で表される複数の三次元点群ＴＧとして、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの全体に亘って表わされる。なお、複数の三次元点群ＴＧは、それぞれ、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）（ｎ≧１の整数）を備えている。 First, the CPU 50 (see FIG. 1) is adjacent to the three-dimensional point cloud information indicating the three-dimensional coordinates of the entire Wa of a plurality of adjacent box-shaped picking objects W acquired by the camera 4. A two-dimensional image of the entire Wa of the plurality of loaded box-shaped picking objects W is acquired (step S1). More specifically, the three-dimensional point cloud information indicating the three-dimensional coordinates of the entire Wa of the plurality of adjacent box-shaped picking objects W acquired by the camera 4 is as shown in FIG. 3 (a). In addition, as a plurality of three-dimensional point cloud TGs represented by three-dimensional coordinates in the X-direction, Y-direction, and Z-direction, they are represented over the entire Wa of a plurality of box-shaped picking objects stacked adjacent to each other. Is done. The plurality of three-dimensional point cloud TGs have three-dimensional coordinates (X _n , Y _n , Zn) (integer of _n ≧ 1) in the X direction, the Y direction, and the Z direction, respectively.

一方、カメラ４にて取得された隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像は、図３（ｂ）に示すようなものとなる。なお、ＣＰＵ５０（図１参照）は、取得した隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報と、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像と、を一時的にＲＡＭ５４内に記憶する。 On the other hand, the two-dimensional image of the entire Wa of the plurality of box-shaped picking objects W acquired by the camera 4 and stacked adjacent to each other is as shown in FIG. 3 (b). The CPU 50 (see FIG. 1) includes three-dimensional point cloud information indicating the three-dimensional coordinates of the acquired plurality of box-shaped picking objects Wa as a whole W, and a plurality of adjacently loaded objects. A two-dimensional image of the entire Wa of the box-shaped picking object W and the box-shaped picking object Wa are temporarily stored in the RAM 54.

次いで、ＣＰＵ５０（図１参照）は、ＲＡＭ５４内に記憶された隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報と、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像と、を読みだし、図４（ａ）に示すように、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像から最上面ＨＭの画像を切り出す（ステップＳ２）。より具体的に説明すると、ＣＰＵ５０（図１参照）は、図３（ａ）に示す、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標で表される複数の三次元点群ＴＧから、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標の変化を確認する。これより、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの奥行き（Ｘ方向、又は、Ｙ方向）、深さ（Ｚ方向）が分かることとなる。しかして、ＣＰＵ５０（図１参照）は、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗが把握できることとなる。また、図３（ｂ）に示す隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像から最外周のエッジ部分Ｅａが分かるため、ＣＰＵ５０（図１参照）は、把握した隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗと、二次元画像から抽出した最外周のエッジ部分Ｅａとに基づき、図４（ａ）に示すように、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの二次元画像から最上面ＨＭの画像を切り出すことができる。なお、ＣＰＵ５０（図１参照）は、切り出した最上面ＨＭの画像を、一時的にＲＡＭ５４内に記憶する。 Next, the CPU 50 (see FIG. 1) is adjacently loaded with the three-dimensional point group information indicating the three-dimensional coordinates of the entire Wa of the plurality of box-shaped picking objects W stored adjacently and stored in the RAM 54. A two-dimensional image of the entire Wa of the plurality of box-shaped picking objects stacked and the entire W of the plurality of box-shaped picking objects W loaded adjacent to each other are read out, and as shown in FIG. 4A. The image of the top surface HM is cut out from the two-dimensional image of (step S2). More specifically, the CPU 50 (see FIG. 1) has the X direction from the plurality of three-dimensional point cloud TGs represented by the three-dimensional coordinates of the X direction, the Y direction, and the Z direction shown in FIG. 3 (a). Check the changes in the three-dimensional coordinates in the Y and Z directions. From this, it is possible to know the depth (X direction or Y direction) and the depth (Z direction) of the entire Wa of the plurality of box-shaped picking objects loaded adjacent to each other. Therefore, the CPU 50 (see FIG. 1) can grasp the entire Wa of the plurality of box-shaped picking objects loaded adjacent to each other. Further, since the outermost edge portion Ea can be seen from the two-dimensional image of the entire Wa of the plurality of box-shaped picking objects W shown in FIG. 3B, the CPU 50 (see FIG. 1) can be grasped. As shown in FIG. 4A, the packages are adjacent to each other based on the entire Wa of the plurality of box-shaped picking objects loaded adjacently and the outermost edge portion Ea extracted from the two-dimensional image. An image of the uppermost surface HM can be cut out from a two-dimensional image of the entire Wa of a plurality of stacked box-shaped picking objects W. The CPU 50 (see FIG. 1) temporarily stores the cut-out image of the uppermost surface HM in the RAM 54.

次いで、ＣＰＵ５０（図１参照）は、ＲＡＭ５４内に記憶された切り出した最上面ＨＭの画像を図４（ｂ）に示すように正面画像に変換する（ステップＳ３）。より具体的に説明すると、ＣＰＵ５０（図１参照）は、切り出した最上面ＨＭの画像に対する視線方向（奥行方向、すなわち、Ｘ方向、Ｙ方向）を、図３（ａ）に示す、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標で表される複数の三次元点群ＴＧを確認することによって認識することができる。そして、ＣＰＵ５０（図１参照）は、切り出した最上面ＨＭの画像に対して認識した視線方向（奥行方向）のＸ方向，Ｙ方向に対して、垂直な法線方向（Ｚ方向）を検出し、その視線方向（奥行方向）のＸ方向，Ｙ方向に対して、検出した垂直な法線方向（Ｚ方向）から見た正面画像に変換する。これにより、ＲＡＭ５４内に記憶された切り出した最上面ＨＭの画像は、図４（ｂ）に示すように正面画像に変換されることとなる。なお、ＣＰＵ５０（図１参照）は、図４（ｂ）に示すように変換した正面画像を、一時的にＲＡＭ５４内に記憶する。 Next, the CPU 50 (see FIG. 1) converts the cut-out top surface HM image stored in the RAM 54 into a front image as shown in FIG. 4 (b) (step S3). More specifically, the CPU 50 (see FIG. 1) indicates the line-of-sight direction (depth direction, that is, the X direction, the Y direction) with respect to the image of the top surface HM cut out in the X direction, as shown in FIG. 3A. It can be recognized by confirming a plurality of three-dimensional point cloud TGs represented by three-dimensional coordinates in the Y direction and the Z direction. Then, the CPU 50 (see FIG. 1) detects the normal direction (Z direction) perpendicular to the X direction and the Y direction of the line-of-sight direction (depth direction) recognized with respect to the image of the top surface HM cut out. , It is converted into a front image viewed from the detected normal normal direction (Z direction) with respect to the X direction and the Y direction of the line-of-sight direction (depth direction). As a result, the cut-out top surface HM image stored in the RAM 54 is converted into a front image as shown in FIG. 4 (b). The CPU 50 (see FIG. 1) temporarily stores the converted front image as shown in FIG. 4B in the RAM 54.

次いで、ＣＰＵ５０（図１参照）は、ＲＡＭ５４内に記憶された図４（ｂ）に示すように変換した正面画像を読み出し、図５（ａ）に示す正面画像から繰り返しがある部分（共通のパターン）を抽出する。具体的には、ＣＰＵ５０（図１参照）は、図５（ａ）に示す正面画像をフーリエ変換し、そのフーリエ変換した正面画像のピーク値を抽出する。これにより、簡単容易に、図５（ａ）に示す正面画像から繰り返しがある部分（共通のパターン）を抽出することができ、もって、図５（ｂ）に示すように、箱状ピッキング対象物Ｗａの領域を決定することができる（ステップＳ４）。なお、フーリエ変換した正面画像のピーク値を抽出する方法以外としては、従来周知の方法、例えば、フーリエ変換を用いたテクスチャの構造解析（松山隆司他、１９８２年３月情報処理学会論文誌）を用いて行うようにすることもできる。 Next, the CPU 50 (see FIG. 1) reads out the converted front image as shown in FIG. 4 (b) stored in the RAM 54, and repeats from the front image shown in FIG. 5 (a) (common pattern). ) Is extracted. Specifically, the CPU 50 (see FIG. 1) Fourier transforms the front image shown in FIG. 5A, and extracts the peak value of the Fourier transformed front image. As a result, a portion (common pattern) having repetition can be easily and easily extracted from the front image shown in FIG. 5 (a), and as shown in FIG. 5 (b), a box-shaped picking object is obtained. The area of Wa can be determined (step S4). In addition to the method of extracting the peak value of the front image subjected to the Fourier transform, a conventionally known method, for example, structural analysis of the texture using the Fourier transform (Takashi Matsuyama et al., Journal of Information Processing Society of Japan, March 1982) is used. It can also be done using.

次いで、ＣＰＵ５０（図１参照）は、上記決定した箱状ピッキング対象物Ｗａの領域を用いて、箱状ピッキング対象物Ｗａの縦、横のサイズを計測する（ステップＳ５）。具体的に説明すると、ＲＯＭ５３内に予め基準となる基準箱ＫＡ（図５（ｃ－１）参照）のサイズ（例えば、縦４８０ｍｍ，横３７０ｍｍ）を記憶、又は、ＲＯＭ５３内に予め基準となる基準箱ＫＢ（図５（ｃ－２）参照）のサイズ（例えば、縦２３５ｍｍ，横１５０ｍｍ）を記憶しておく。そして、ＣＰＵ５０（図１参照）は、ＲＯＭ５３内に予め基準となる基準箱ＫＡ（図５（ｃ－１）参照）のサイズ（例えば、縦４８０ｍｍ，横３７０ｍｍ）が記憶されていると、ＲＯＭ５３よりその記憶されている基準箱ＫＡ（図５（ｃ－１）参照）を読み出し、図５（ｃ－１）に示すように、上記ステップＳ４にて決定した箱状ピッキング対象物Ｗａの領域に重ね合わせる。そして、ＣＰＵ５０（図１参照）は、上記ステップＳ４にて決定した箱状ピッキング対象物Ｗａの領域と、基準箱ＫＡ（図５（ｃ－１）参照）とが一致するように、図５（ｃ－１）に示す矢印Ｙ１方向に、基準箱ＫＡ（図５（ｃ－１）参照）を縮小させる。これにより、図５（ｄ）に示すように、上記ステップＳ４にて決定した箱状ピッキング対象物Ｗａの領域と、基準箱ＫＡ（図５（ｃ－１）参照）とが一致することとなるから、ＣＰＵ５０（図１参照）は、基準箱ＫＡ（図５（ｃ－１）参照）のサイズが分かっているため、箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズを縮小率から算出することができる。 Next, the CPU 50 (see FIG. 1) measures the vertical and horizontal sizes of the box-shaped picking object Wa using the determined area of the box-shaped picking object Wa (step S5). Specifically, the size (for example, length 480 mm, width 370 mm) of the reference box KA (see FIG. 5 (c-1)) that serves as a reference in advance is stored in the ROM 53, or the reference that serves as a reference in advance in the ROM 53. The size of the box KB (see FIG. 5 (c-2)) (for example, 235 mm in length and 150 mm in width) is stored. Then, when the size (for example, length 480 mm, width 370 mm) of the reference box KA (see FIG. 5 (c-1)) as a reference is stored in the ROM 53 in advance, the CPU 50 (see FIG. 1) is stored in the ROM 53. The stored reference box KA (see FIG. 5 (c-1)) is read out and superimposed on the area of the box-shaped picking object Wa determined in step S4 above, as shown in FIG. 5 (c-1). match. Then, in the CPU 50 (see FIG. 1), FIG. 5 (see FIG. 5 (c-1)) coincides with the region of the box-shaped picking object Wa determined in step S4 and the reference box KA (see FIG. 5 (c-1)). The reference box KA (see FIG. 5 (c-1)) is reduced in the direction of the arrow Y1 shown in c-1). As a result, as shown in FIG. 5 (d), the region of the box-shaped picking object Wa determined in step S4 and the reference box KA (see FIG. 5 (c-1)) coincide with each other. Therefore, since the CPU 50 (see FIG. 1) knows the size of the reference box KA (see FIG. 5 (c-1)), the sizes of the vertical T and the horizontal L of the box-shaped picking object Wa are calculated from the reduction ratio. can do.

一方、ＣＰＵ５０（図１参照）は、ＲＯＭ５３内に予め基準となる基準箱ＫＢ（図５（ｃ－２）参照）のサイズ（例えば、縦２３５ｍｍ，横１５０ｍｍ）が記憶されていると、ＲＯＭ５３よりその記憶されている基準箱ＫＢ（図５（ｃ－２）参照）を読み出し、図５（ｃ－２）に示すように、上記ステップＳ４にて決定した箱状ピッキング対象物Ｗａの領域に重ね合わせる。そして、ＣＰＵ５０（図１参照）は、上記ステップＳ４にて決定した箱状ピッキング対象物Ｗａの領域と、基準箱ＫＢ（図５（ｃ－２）参照）とが一致するように、図５（ｃ－２）に示す矢印Ｙ２方向に、基準箱ＫＢ（図５（ｃ－１）参照）を拡大させる。これにより、図５（ｄ）に示すように、上記ステップＳ４にて決定した箱状ピッキング対象物Ｗａの領域と、基準箱ＫＢ（図５（ｃ－２）参照）とが一致することとなるから、ＣＰＵ５０（図１参照）は、基準箱ＫＢ（図５（ｃ－２）参照）のサイズが分かっているため、箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズを拡大率から算出することができる。 On the other hand, when the size (for example, length 235 mm, width 150 mm) of the reference box KB (see FIG. 5 (c-2)) as a reference is stored in the ROM 53 in advance, the CPU 50 (see FIG. 1) is stored in the ROM 53. The stored reference box KB (see FIG. 5 (c-2)) is read out and superimposed on the area of the box-shaped picking object Wa determined in step S4 above, as shown in FIG. 5 (c-2). match. Then, in the CPU 50 (see FIG. 1), FIG. 5 (see FIG. 5 (c-2)) coincides with the region of the box-shaped picking target Wa determined in step S4 and the reference box KB (see FIG. 5 (c-2)). The reference box KB (see FIG. 5 (c-1)) is enlarged in the direction of arrow Y2 shown in c-2). As a result, as shown in FIG. 5 (d), the region of the box-shaped picking object Wa determined in step S4 and the reference box KB (see FIG. 5 (c-2)) coincide with each other. Therefore, since the size of the reference box KB (see FIG. 5 (c-2)) is known for the CPU 50 (see FIG. 1), the sizes of the vertical T and the horizontal L of the box-shaped picking object Wa are calculated from the enlargement ratio. can do.

しかして、このようにして、ＣＰＵ５０（図１参照）は、上記決定した箱状ピッキング対象物Ｗａの領域を用いて、箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズを計測することができる。なお、本実施形態においては、ＲＯＭ５３内に予め基準となる基準箱ＫＡ（図５（ｃ－１）参照）のサイズ（例えば、縦４８０ｍｍ，横３７０ｍｍ）を記憶、又は、ＲＯＭ５３内に予め基準となる基準箱ＫＢ（図５（ｃ－２）参照）のサイズ（例えば、縦２３５ｍｍ，横１５０ｍｍ）を記憶しておく例を示したが、それに限らず、作業者が、図１に示す画像処理装置５の入力部５１を用いて、基準箱の任意のサイズを入力できるようにしても良い。なお、ＣＰＵ５０（図１参照）は、算出した箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズを、一時的にＲＡＭ５４内に記憶する。 Thus, in this way, the CPU 50 (see FIG. 1) can measure the sizes of the vertical T and the horizontal L of the box-shaped picking object Wa by using the region of the box-shaped picking object Wa determined above. can. In this embodiment, the size (for example, length 480 mm, width 370 mm) of the reference box KA (see FIG. 5 (c-1)) as a reference in advance is stored in the ROM 53, or the reference is stored in the ROM 53 in advance. An example of storing the size (for example, length 235 mm, width 150 mm) of the reference box KB (see FIG. 5 (c-2)) is shown, but the present invention is not limited to this, and the operator can perform the image processing shown in FIG. An arbitrary size of the reference box may be input by using the input unit 51 of the device 5. The CPU 50 (see FIG. 1) temporarily stores the calculated vertical T and horizontal L sizes of the box-shaped picking object Wa in the RAM 54.

次いで、ＣＰＵ５０（図１参照）は、上記ステップＳ４にて決定した箱状ピッキング対象物Ｗａの領域に属する図３（ａ）に示す、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標で表される複数の三次元点群ＴＧからＸ方向，Ｙ方向，Ｚ方向の三次元座標の変化を確認し、箱状ピッキング対象物Ｗａの位置姿勢を算出する。そして、ＣＰＵ５０（図１参照）は、その算出した位置姿勢を、出力部５２（図１参照）を介してロボット制御装置３に出力する（ステップＳ６）。これを受けて、ロボット制御装置３は、その位置姿勢に基づいて、ロボット２（図１参照）を制御し、もって、ロボット２（図１参照）のロボットハンド２２（図１参照）にて箱状ピッキング対象物Ｗａ（図１参照）を把持させる。これにより、正確にロボット２（図１参照）のロボットハンド２２（図１参照）にて箱状ピッキング対象物Ｗａ（図１参照）を把持させることができる。なおこの際、ロボット制御装置３は、ロボット２（図１参照）にて箱状ピッキング対象物Ｗａ（図１参照）を把持させたことを画像処理装置５（図１参照）に出力する。 Next, the CPU 50 (see FIG. 1) is represented by the three-dimensional coordinates in the X direction, the Y direction, and the Z direction shown in FIG. 3A belonging to the region of the box-shaped picking object Wa determined in step S4. The changes in the three-dimensional coordinates in the X, Y, and Z directions are confirmed from the plurality of three-dimensional point clouds TG, and the position and orientation of the box-shaped picking object Wa are calculated. Then, the CPU 50 (see FIG. 1) outputs the calculated position / orientation to the robot control device 3 via the output unit 52 (see FIG. 1) (step S6). In response to this, the robot control device 3 controls the robot 2 (see FIG. 1) based on its position and posture, and thus the robot hand 22 (see FIG. 1) of the robot 2 (see FIG. 1) makes a box. The shape picking object Wa (see FIG. 1) is gripped. As a result, the box-shaped picking object Wa (see FIG. 1) can be accurately grasped by the robot hand 22 (see FIG. 1) of the robot 2 (see FIG. 1). At this time, the robot control device 3 outputs to the image processing device 5 (see FIG. 1) that the robot 2 (see FIG. 1) grips the box-shaped picking object Wa (see FIG. 1).

次いで、ＣＰＵ５０（図１参照）は、ロボット制御装置３より出力されたロボット２（図１参照）にて箱状ピッキング対象物Ｗａ（図１参照）を把持させたことを示す情報を、入力部５１（図１参照）を介して受け取ると、カメラ４（図１参照）にて、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を取得するよう出力部５２（図１参照）を介してカメラ４に出力する。これを受けて、カメラ４は、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を取得する。すなわち、ロボット２（図１参照）にて箱状ピッキング対象物Ｗａを把持させる前は、図６（ａ）に示すように、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を取得している。これは、上記ステップＳ１にて説明した通りである。一方、今回は、ロボット２（図１参照）にて箱状ピッキング対象物Ｗａを把持させた後、図６（ｂ）に示すように、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を取得することとなる。すなわち、図６（ｂ）に示すように、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗのうち、図示正面から見て左上隅に位置する箱状ピッキング対象物Ｗａ（破線部分参照）が把持された際、その把持された箱状ピッキング対象物Ｗａ（破線部分参照）部分を除く、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を取得することとなる。なお、カメラ４にて取得された隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報は、図６（ａ），（ｂ）に示すように、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標で表される複数の三次元点群ＴＧとして、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの全体に亘って表わされている。 Next, the CPU 50 (see FIG. 1) inputs information indicating that the robot 2 (see FIG. 1) output from the robot control device 3 grips the box-shaped picking object Wa (see FIG. 1). When received via 51 (see FIG. 1), the camera 4 (see FIG. 1) displays three-dimensional point cloud information indicating the three-dimensional coordinates of the entire Wa of a plurality of box-shaped picking objects stacked adjacent to each other. Is output to the camera 4 via the output unit 52 (see FIG. 1) so as to acquire. In response to this, the camera 4 acquires three-dimensional point cloud information indicating the three-dimensional coordinates of the entire Wa of the plurality of box-shaped picking objects W loaded adjacently. That is, before the robot 2 (see FIG. 1) grips the box-shaped picking object Wa, as shown in FIG. 6A, the entire W of the plurality of box-shaped picking objects W loaded adjacent to each other. The 3D point cloud information indicating the 3D coordinates of is acquired. This is as described in step S1 above. On the other hand, this time, after the box-shaped picking object Wa is gripped by the robot 2 (see FIG. 1), as shown in FIG. 6 (b), a plurality of box-shaped picking objects stacked adjacent to each other. The three-dimensional point cloud information indicating the three-dimensional coordinates of the entire Wa W will be acquired. That is, as shown in FIG. 6B, among the plurality of box-shaped picking objects Wa that are loaded adjacent to each other, the box-shaped picking object Wa (broken line) located in the upper left corner when viewed from the front of the drawing. When the part) is grasped, the three-dimensional coordinates of the entire W of the plurality of box-shaped picking objects W loaded adjacently except for the grasped box-shaped picking object Wa (see the broken line part) are obtained. The 3D point cloud information to be shown will be acquired. The three-dimensional point cloud information indicating the three-dimensional coordinates of the entire Wa of the plurality of adjacent box-shaped picking objects W acquired by the camera 4 is shown in FIGS. 6 (a) and 6 (b). As described above, as a plurality of three-dimensional point cloud TGs represented by three-dimensional coordinates in the X-direction, Y-direction, and Z-direction, the entire Wa of a plurality of box-shaped picking objects stacked adjacent to each other is spread over the entire W. It is represented.

しかして、ＣＰＵ５０（図１参照）は、カメラ４（図１参照）にて取得された、図６（ｂ）に示す、隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を、入力部５１（図１参照）を介して受け取ると、ＲＡＭ５４内に記憶されている、図６（ａ）に示す隣接して荷積された複数の箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報とを比較する。この際、図６（ｂ）に示すように、図示正面から見て左上隅に位置する箱状ピッキング対象物Ｗａ（破線部分参照）が存在していない分、Ｚ方向の三次元座標が変化しているため、ＣＰＵ５０（図１参照）は、深さの変化を計測することができる。これにより、ＣＰＵ５０（図１参照）は、その計測した深さを把持された箱状ピッキング対象物Ｗａ（図６（ｂ）に示す破線部分参照）の高さＨ（図６（ｂ）参照）として、出力部５２（図１参照）を介してロボット制御装置３に出力する（ステップＳ７）。しかして、このようにすれば、簡単容易に、箱状ピッキング対象物Ｗａの高さを計測することができる。なお、この際、ＲＡＭ５４内に記憶されている上記ステップＳ５にて算出した箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズも、出力部５２（図１参照）を介してロボット制御装置３に出力される。これにより、箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌ、高さＨが自動で計測されることとなる。なお、ＣＰＵ５０は、この高さＨ（図６（ｂ）参照）を、一時的にＲＡＭ５４内に記憶する。 Then, the CPU 50 (see FIG. 1) is the entire Wa of the plurality of box-shaped picking objects W that are adjacently loaded as shown in FIG. 6 (b) acquired by the camera 4 (see FIG. 1). When the three-dimensional point cloud information indicating the three-dimensional coordinates is received via the input unit 51 (see FIG. 1), a plurality of adjacently loaded pluralityes stored in the RAM 54, as shown in FIG. 6A. The box-shaped picking object is compared with the three-dimensional point cloud information indicating the three-dimensional coordinates of the entire Wa. At this time, as shown in FIG. 6B, the three-dimensional coordinates in the Z direction change due to the absence of the box-shaped picking object Wa (see the broken line portion) located in the upper left corner when viewed from the front of the drawing. Therefore, the CPU 50 (see FIG. 1) can measure the change in depth. As a result, the CPU 50 (see FIG. 1) has a height H (see FIG. 6 (b)) of the box-shaped picking object Wa (see the broken line portion shown in FIG. 6 (b)) grasping the measured depth. As a result, the robot is output to the robot control device 3 via the output unit 52 (see FIG. 1) (step S7). By doing so, the height of the box-shaped picking object Wa can be easily and easily measured. At this time, the sizes of the vertical T and the horizontal L of the box-shaped picking target Wa calculated in step S5 stored in the RAM 54 are also determined by the robot control device 3 via the output unit 52 (see FIG. 1). Is output to. As a result, the vertical T, horizontal L, and height H of the box-shaped picking object Wa are automatically measured. The CPU 50 temporarily stores this height H (see FIG. 6B) in the RAM 54.

かくして、ロボット制御装置３は、上記出力された箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズ並びに高さＨに基づいて、ロボット２（図１参照）を制御し、もって、ロボット２（図１参照）のロボットハンド２２（図１参照）にて把持させた箱状ピッキング対象物Ｗａ（図１参照）を、所定箇所（例えば、コンベア）に移載させることとなる。より詳しく説明すると、ロボット制御装置３は、箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズから、所定箇所（例えば、コンベア）の長さ，幅を考慮（所定箇所（例えば、コンベア）の長さ，幅の情報は予め記憶されている）して、ロボットハンド２２（図１参照）にて把持させている箱状ピッキング対象物Ｗａ（図１参照）を移載させる際の経路設定を行う。そしてさらに、ロボット制御装置３は、箱状ピッキング対象物Ｗａの高さＨから、所定箇所（例えば、コンベア）の高さ、並びに、箱状ピッキング対象物Ｗａを安全に載置できるためのクリアランス等を考慮（所定箇所（例えば、コンベア）の高さの情報は予め記憶されている）して、ロボットハンド２２（図１参照）にて把持させている箱状ピッキング対象物Ｗａ（図１参照）を移載させる際の経路設定を行う。しかして、このように設定した経路設定に基づいて、ロボット２（図１参照）を制御し、もって、ロボット２（図１参照）のロボットハンド２２（図１参照）にて把持させた箱状ピッキング対象物Ｗａ（図１参照）を、所定箇所（例えば、コンベア）に移載させることとなる。これにより、安全に箱状ピッキング対象物Ｗａ（図１参照）を所定箇所（例えば、コンベア）に移載させることができる。 Thus, the robot control device 3 controls the robot 2 (see FIG. 1) based on the size and height H of the vertical T and the horizontal L of the box-shaped picking object Wa output, and thus the robot 2 (see FIG. 1). The box-shaped picking object Wa (see FIG. 1) gripped by the robot hand 22 (see FIG. 1) of FIG. 1) is transferred to a predetermined location (for example, a conveyor). More specifically, the robot control device 3 considers the length and width of a predetermined location (for example, a conveyor) from the sizes of the vertical T and the horizontal L of the box-shaped picking object Wa (for example, the conveyor). The length and width information is stored in advance), and the route setting when transferring the box-shaped picking object Wa (see FIG. 1) held by the robot hand 22 (see FIG. 1) is set. conduct. Further, the robot control device 3 has a height H of the box-shaped picking object Wa, a height of a predetermined location (for example, a conveyor), a clearance for safely placing the box-shaped picking object Wa, and the like. (For example, information on the height of a predetermined location (for example, a conveyor) is stored in advance), and the box-shaped picking object Wa (see FIG. 1) held by the robot hand 22 (see FIG. 1). Set the route when transferring. Then, based on the route setting set in this way, the robot 2 (see FIG. 1) is controlled, and the robot hand 22 (see FIG. 1) of the robot 2 (see FIG. 1) grips the robot 2 (see FIG. 1). The picking object Wa (see FIG. 1) will be transferred to a predetermined location (for example, a conveyor). As a result, the box-shaped picking object Wa (see FIG. 1) can be safely transferred to a predetermined location (for example, a conveyor).

また、ロボットハンド２２（図１参照）には、箱状ピッキング対象物Ｗａを把持した際、当該箱状ピッキング対象物Ｗａの重量を計測する歪ゲージ等の重量センサが設けられているから、重量センサの計測情報は、ロボット制御装置３に出力される。これにより、自動で箱状ピッキング対象物Ｗａの重量を計測することができる。 Further, since the robot hand 22 (see FIG. 1) is provided with a weight sensor such as a strain gauge that measures the weight of the box-shaped picking object Wa when the box-shaped picking object Wa is gripped, the weight of the robot hand 22 (see FIG. 1). The measurement information of the sensor is output to the robot control device 3. As a result, the weight of the box-shaped picking object Wa can be automatically measured.

一方、ロボット制御装置３は、これを受けて、計測された重量が予め設定しておいた重量よりも大きければ、ロボットハンド２２（図１参照）にて把持させている箱状ピッキング対象物Ｗａ（図１参照）を移載させる際の加速度を予め設定されている加速度よりも低く設定し、計測された重量が予め設定しておいた重量より小さければ、ロボットハンド２２（図１参照）にて把持させている箱状ピッキング対象物Ｗａ（図１参照）を移載させる際の加速度を予め設定されている加速度よりも高く設定し、計測された重量が予め設定しておいた重量と同一であれば、ロボットハンド２２（図１参照）にて把持させている箱状ピッキング対象物Ｗａ（図１参照）を移載させる際の加速度を予め設定されている加速度に設定する。 On the other hand, in response to this, if the measured weight is larger than the preset weight, the robot control device 3 holds the box-shaped picking object Wa held by the robot hand 22 (see FIG. 1). If the acceleration when transferring (see FIG. 1) is set lower than the preset acceleration and the measured weight is smaller than the preset weight, the robot hand 22 (see FIG. 1) is used. The acceleration when transferring the box-shaped picking object Wa (see FIG. 1) to be gripped is set higher than the preset acceleration, and the measured weight is the same as the preset weight. If so, the acceleration at the time of transferring the box-shaped picking object Wa (see FIG. 1) held by the robot hand 22 (see FIG. 1) is set to a preset acceleration.

しかして、このように設定した加速度に基づいて、ロボット２（図１参照）を制御し、もって、ロボット２（図１参照）のロボットハンド２２（図１参照）にて把持させた箱状ピッキング対象物Ｗａ（図１参照）を、所定箇所（例えば、コンベア）に移載させることとなる。これにより、把持させた箱状ピッキング対象物Ｗａ（図１参照）を、所定箇所（例えば、コンベア）に移載させる途中で、落下させてしまう事態を低減させることができる。なお、重量センサに代えて、基端が回転可能に連結されているロボットアーム部２１のモータ駆動に必要な電流を検出し、その検出情報から箱状ピッキング対象物Ｗａの重量を推定するようにした際も、同様の処理を行うことができる。 Then, based on the acceleration set in this way, the robot 2 (see FIG. 1) is controlled, and the box-shaped picking held by the robot hand 22 (see FIG. 1) of the robot 2 (see FIG. 1). The object Wa (see FIG. 1) will be transferred to a predetermined location (for example, a conveyor). As a result, it is possible to reduce the situation where the gripped box-shaped picking object Wa (see FIG. 1) is dropped while being transferred to a predetermined location (for example, a conveyor). Instead of the weight sensor, the current required to drive the motor of the robot arm portion 21 whose base end is rotatably connected is detected, and the weight of the box-shaped picking object Wa is estimated from the detection information. When this is done, the same processing can be performed.

しかして、以上説明した本実施形態によれば、物流現場において、把持対象となる箱状ピッキング対象物を自動的に確認・計測することができることとなる。これにより、多種の箱のサイズや重量をデータベース内に事前に登録する必要がなくなる。また、多種の箱のサイズや重量をデータベース内に事前に登録しなくとも、安定して把持対象となる箱状ピッキング対象物を把持できることとなる。 Therefore, according to the present embodiment described above, it is possible to automatically confirm and measure the box-shaped picking target to be gripped at the distribution site. This eliminates the need to pre-register the sizes and weights of various boxes in the database. Further, the box-shaped picking object to be gripped can be stably gripped without registering the sizes and weights of various boxes in the database in advance.

すなわち、従来であれば、多種の箱のサイズをデータベース内に事前に登録する必要があるため、把持対象となる箱状ピッキング対象物のサイズを正確に登録する必要があるものの、本実施形態によれば、把持対象となる箱状ピッキング対象物を自動的に確認・計測することができるため、このような正確な登録が不要となる。また、仮に、把持対象となる箱状ピッキング対象物のサイズを入力（登録）したとしても、正確な入力（登録）は必要なく、概略（例えば、箱状ピッキング対象物の縦横高さの基準、又は、縦横高さが取りえる数値範囲、或いは、直方体，八角柱等の形状等）だけ入力（登録）するだけで良い。 That is, conventionally, since it is necessary to register the sizes of various boxes in advance in the database, it is necessary to accurately register the sizes of the box-shaped picking objects to be gripped. According to this, since the box-shaped picking object to be gripped can be automatically confirmed and measured, such accurate registration becomes unnecessary. Further, even if the size of the box-shaped picking object to be gripped is input (registered), accurate input (registration) is not required, and an outline (for example, a reference for the vertical and horizontal height of the box-shaped picking object). Alternatively, it is only necessary to input (register) only the numerical range in which the vertical and horizontal heights can be taken, or the shape of a rectangular parallelepiped, octagonal pillar, etc.).

なお、本実施形態にて例示した内容は、あくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変形・変更が可能である。 The contents exemplified in the present embodiment are merely examples, and various modifications and changes can be made within the scope of the gist of the present invention described in the claims.

例えば、ＲＡＭ５４内に記憶した箱状ピッキング対象物Ｗａの縦Ｔ、横Ｌのサイズ並びに高さＨを図示しないデータベースに記憶し、次回以降のピッキング作業（デパレタイズ作業）に使用することができる。 For example, the vertical T, horizontal L size, and height H of the box-shaped picking object Wa stored in the RAM 54 can be stored in a database (not shown) and used for the next and subsequent picking operations (deparating operation).

また、本実施形態においては、箱状ピッキング対象物Ｗａを上面からピッキングすることを想定して最上面ＨＭの画像を切り出す例を示したが、それに限らず、側面（例えば、図４（ａ）を正面から見た際の左側面、又は、右側面）、又は、正面、或いは、背面の画像を切り出すようにしても良い。 Further, in the present embodiment, an example of cutting out an image of the uppermost surface HM on the assumption that the box-shaped picking object Wa is picked from the upper surface is shown, but the present invention is not limited to this, and the side surface (for example, FIG. 4A) is shown. The left side surface or the right side surface when viewed from the front), or the front or back image may be cut out.

また、本実施形態においては、箱状ピッキング対象物Ｗａとして無地のものを例示したが、それに限らず、ガムテープが貼り付いていたり、ロゴやバーコード等が印字されていたりする箱等、どのような箱にも適用可能である。 Further, in the present embodiment, a plain object is exemplified as a box-shaped picking object Wa, but the present invention is not limited to this, and any method such as a box to which a gum tape is attached or a logo, a bar code, or the like is printed is used. It can also be applied to various boxes.

また、本実施形態においては、箱状ピッキング対象物Ｗａとして矩形状のものを例示したが、それに限らず、八角形状等、どのような形状の箱にも適用可能である。 Further, in the present embodiment, the box-shaped picking object Wa is exemplified as a rectangular object, but the present invention is not limited to this, and can be applied to a box having any shape such as an octagonal shape.

また、本実施形態においては、箱状ピッキング対象物Ｗａとして、荷積みされている箱を１箱そのままピッキングする例を示したが、それに限らず、１ケース（外箱）内に入っている缶コーヒーや缶ビールなどを１パックしたものをピッキングする際にも適用可能であり、或いは、１ケース（外箱）内に入っている複数の小箱をピッキングする際にも適用可能である。 Further, in the present embodiment, an example of picking a loaded box as it is is shown as a box-shaped picking object Wa, but the present invention is not limited to this, and a can contained in one case (outer box). It can also be applied when picking a pack of coffee or canned beer, or when picking a plurality of small boxes contained in one case (outer box).

また、本実施形態においては、箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報と二次元画像をカメラ４にて取得できる例を示したが、それに限らず、カメラ４は単なる撮像機能だけにし、画像処理装置５（図１参照）のＣＰＵ５０（図１参照）にて、箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を生成し、箱状ピッキング対象物Ｗａ全体Ｗの二次元画像を生成するようにしても良い。またさらに、カメラ４，画像処理装置５（図１参照）のＣＰＵ５０（図１参照）の何れか一方で、箱状ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を生成し、他方のカメラ４又は画像処理装置５（図１参照）のＣＰＵ５０（図１参照）にて箱状ピッキング対象物Ｗａ全体Ｗの二次元画像を生成するようにしても良い。 Further, in the present embodiment, an example is shown in which the three-dimensional point group information indicating the three-dimensional coordinates of the entire Wa of the box-shaped picking object W and the two-dimensional image can be acquired by the camera 4, but the present invention is not limited to this. Is merely an image pickup function, and the CPU 50 (see FIG. 1) of the image processing device 5 (see FIG. 1) generates three-dimensional point group information indicating the three-dimensional coordinates of the entire W of the box-shaped picking object, and the box. A two-dimensional image of the entire Wa of the shape picking object W may be generated. Further, on one of the CPU 50 (see FIG. 1) of the camera 4 and the image processing device 5 (see FIG. 1), three-dimensional point group information indicating the three-dimensional coordinates of the entire W of the box-shaped picking object Wa is generated. The other camera 4 or the CPU 50 (see FIG. 1) of the image processing device 5 (see FIG. 1) may generate a two-dimensional image of the entire Wa of the box-shaped picking object W.

一方、本実施形態においては、カメラ４を別に設ける例を示したが、それに限らず、カメラ４をロボット２に組み込むようにしても良い。また、ロボット制御装置３と画像処理装置５とを別々に設ける例を示したが、ロボット制御装置３と画像処理装置５を一体化しても良い。 On the other hand, in the present embodiment, an example in which the camera 4 is separately provided is shown, but the present invention is not limited to this, and the camera 4 may be incorporated into the robot 2. Further, although the example in which the robot control device 3 and the image processing device 5 are separately provided is shown, the robot control device 3 and the image processing device 5 may be integrated.

１箱状物ピッキング装置
２ロボット
３ロボット制御装置
４カメラ（第１生成手段、第２生成手段）
５画像処理装置
５０ＣＰＵ
Ｗ（複数の箱状ピッキング対象物の）全体
Ｗａ箱状ピッキング対象物
ＨＭ最上面（所定の平面画像）
Ｌ横（決定した箱領域の長手方向）
Ｔ縦（決定した箱領域の幅方向） 1 Box-shaped object picking device 2 Robot 3 Robot control device 4 Camera (1st generation means, 2nd generation means)
5 Image processing device 50 CPU
W (Multiple box-shaped picking objects) Whole Wa Box-shaped picking objects HM Top surface (predetermined plane image)
L horizontal (longitudinal direction of the determined box area)
T vertical (width direction of the determined box area)

Claims

A first generation means for generating three-dimensional point cloud information for a plurality of loaded box-shaped picking objects, and
A second generation means for generating a two-dimensional image of the entire plurality of box-shaped picking objects,
A cutting means for cutting out a predetermined plane image from the entire plurality of box-shaped picking objects based on the three-dimensional point cloud information generated by the first generation means and the two-dimensional image generated by the second generation means. When,
A conversion means for converting a predetermined plane image cut out by the cutting means into a front image, and a conversion means.
A region determination means for finding a common pattern from the front image converted by the conversion means and determining a region of the box-shaped object,
A length measuring means for measuring the length of the box-shaped object region determined by the region determining means in the X-axis direction and the length in the Y-axis direction, and
Three-dimensional of the box-shaped picking object to be gripped based on the three-dimensional point cloud information generated by the first generation means belonging to the region of the box-shaped object having the length measured by the length measuring means. Position / posture output means for outputting position / posture and
A robot that grips and transfers the box-shaped picking object to be gripped based on the three-dimensional position / posture output by the position / posture output means.
When the box-shaped picking object to be gripped is grasped and transferred by using the robot, the three-dimensional point cloud information of the entire loaded box-shaped picking object is generated again. Three-dimensional point cloud information of the entire loaded box-shaped picking object before grasping and transferring, and the entire loaded box-shaped picking object at the time of grasping and transferring. A height measuring means for measuring the difference when compared with the three-dimensional point cloud information as the height in the Z-axis direction of the box-shaped picking object to be gripped.
A box-shaped picking device that is equipped with.

Generates 3D point cloud data for the entire loaded box-shaped picking object,
A two-dimensional image of the entire box-shaped picking object is generated.
Based on the generated three-dimensional point cloud information and the two-dimensional image, a predetermined plane image is cut out from the entire plurality of box-shaped picking objects.
The predetermined plane image cut out is converted into a front image, and the image is converted into a front image.
A common pattern was found from the converted front image, the area of the box-shaped object was determined, and the area was determined.
The length of the determined box-shaped object region in the X-axis direction and the length in the Y-axis direction are measured, and the length is measured.
Based on the generated three-dimensional point cloud information belonging to the box region having the measured length , the three-dimensional position and orientation of the box-shaped picking object to be gripped are output.
When the box-shaped picking object to be gripped is grasped and transferred by using a robot based on the output three-dimensional position and orientation, the tertiary of the entire loaded box-shaped picking object is again performed. Generates the original point cloud information and
The three-dimensional point cloud information of the entire loaded box-shaped picking object before grasping and transferring, and the entire loaded box-shaped picking object at the time of grasping and transferring. A box-shaped object picking method in which the difference when compared with the three-dimensional point cloud information of the above is used as the height of the box-shaped picking object to be gripped in the Z-axis direction .

The box-shaped object picking method according to claim 2, wherein it is not necessary to input the exact size of the box-shaped object to be gripped in advance.

Claims 2 to 3 obtained by performing a Fourier transform on the transformed front image and extracting the peak value in the transformed Fourier transformed image to find a common pattern and determine a region of a box-shaped object. The box-shaped object picking method according to any one item.

The box-shaped object picking method according to any one of claims 2 to 4, wherein the measured length and the height of the box-shaped picking object to be gripped are output.

Claim 2 is obtained by measuring the weight of the box-shaped picking object to be gripped when the box-shaped picking object to be gripped is gripped by a robot based on the output three-dimensional position / posture. The box-shaped object picking method according to any one of 5 to 5 .

The sixth aspect of claim 6 , wherein the robot is used to control the acceleration when the box-shaped picking object to be gripped is transferred based on the measured weight of the box-shaped picking object to be gripped. Box-shaped object picking method.

According to any one of claims 2 to 7, the path for transferring the box-shaped picking object to be gripped is set and controlled by using the robot based on the measured length. The described box-shaped object picking method.