JP6708142B2

JP6708142B2 - Robot controller

Info

Publication number: JP6708142B2
Application number: JP2017017544A
Authority: JP
Inventors: 修平宮崎
Original assignee: Toyota Auto Body Co Ltd
Current assignee: Toyota Auto Body Co Ltd
Priority date: 2017-02-02
Filing date: 2017-02-02
Publication date: 2020-06-10
Anticipated expiration: 2037-02-02
Also published as: JP2018122409A

Description

本発明は、ワークの位置姿勢を画像認識し、当該ワークに対して所定の作業を行うロボットの制御装置に関する。 The present invention relates to a robot control device that performs image recognition of a position and orientation of a work and performs a predetermined work on the work.

例えば、図７に示すように、コンベア１０１によって搬送されてきたトレー１０２内にバラ積みされているワークＷ（認識対象物）に対して作業を行うロボット１０３を有する生産システム内で、ワークＷを所定の方向からカメラで撮影して画像を取得する画像取得部１０４と、画像取得部１０４が取得した画像を用いてワークＷの位置姿勢を求める物体認識部１０５と、物体認識部１０５によって求められるワークＷの位置姿勢の結果に基づいてロボット１０３の動作を制御し、且つ、生産システム内に設けられる各部の動作を制御する動作制御部とを有する制御部１０６と、を備えることを特徴とする物体認識に基づく制御装置１００が、特許文献１に開示されている。 For example, as shown in FIG. 7, in a production system having a robot 103 that works on workpieces W (recognition target objects) that are stacked in a tray 102 conveyed by a conveyor 101, the workpieces W are An image acquisition unit 104 that captures an image by shooting with a camera from a predetermined direction, an object recognition unit 105 that determines the position and orientation of the work W using the image acquired by the image acquisition unit 104, and an object recognition unit 105. A control unit 106 having an operation control unit for controlling the operation of the robot 103 based on the result of the position and orientation of the work W and for controlling the operation of each unit provided in the production system. Patent Document 1 discloses a control device 100 based on object recognition.

特開２０１６−１４７３３０号公報JP, 2016-147330, A

しかしながら、特許文献１の制御装置１００では、バラ積みされ不特定な姿勢で配置されているワークＷに対して、所定の方向から撮影する画像取得部１０４のカメラによって取得したカメラ画像データを用いて、物体認識部１０５がワークＷの位置姿勢を求めるので、カメラ画像データからワークＷの輪郭全てが抽出されず、ワークＷの位置姿勢を誤って認識したり、隠れた作業部位が認識できないという問題があった。 However, in the control device 100 of Patent Document 1, using the camera image data acquired by the camera of the image acquisition unit 104 that images the workpieces W stacked in bulk and arranged in an unspecified posture from a predetermined direction. Since the object recognition unit 105 obtains the position and orientation of the work W, all the contours of the work W are not extracted from the camera image data, and the position and orientation of the work W are erroneously recognized, or hidden work parts cannot be recognized. was there.

これに対して、例えば、画像取得部１０４のカメラが、ワークＷの輪郭全てを特定できるように、専用のワーク搬送治具や専用の照明等を備えることも考えられるが、周辺装置を含め設備費の大幅な増加につながることから、実際の生産ラインに導入するには課題が多かった。 On the other hand, for example, the camera of the image acquisition unit 104 may be equipped with a dedicated work transfer jig, a dedicated illumination, or the like so that the outline of the work W can be specified. There were many problems in introducing it to an actual production line because it would lead to a large increase in costs.

また、物体認識部１０５によるワークＷの位置姿勢を求める方法として、カメラ画像データとワークＷの３次元点群データ（例えば、３次元ＣＡＤデータ）とをマッチング（合成）して、カメラ画像データから抽出できない輪郭や隠れた作業部位の形状を仮想する方法も考えられるが、実際のワーク形状と異なる形状に仮想した場合には、ロボット１０３などの設備破損につながる恐れがあり、問題があった。 Further, as a method of obtaining the position and orientation of the work W by the object recognition unit 105, the camera image data and the three-dimensional point cloud data (for example, three-dimensional CAD data) of the work W are matched (combined), and the camera image data is extracted. A method of imagining a contour that cannot be extracted or the shape of a hidden work part is also conceivable. However, if the shape is assumed to be a shape different from the actual shape of the work, there is a risk that equipment such as the robot 103 may be damaged, which is a problem.

本発明は、上記問題点を解決するためになされたものであり、不特定な姿勢で配置されたワークの位置姿勢を簡単かつ正確に画像認識して、ワークに対して所定の作業を正常に行い得るロボットの制御装置を提供することを目的とする。 The present invention has been made to solve the above problems, and it is possible to easily and accurately perform image recognition of the position and orientation of a work placed in an unspecified posture to normally perform a predetermined work on the work. An object of the present invention is to provide a control device of a robot that can perform.

上記課題を解決するために、本発明に係るロボットの制御装置は、次のような構成を有している。
（１）ワークを複数のカメラで撮影してカメラ画像を取得する画像取得部と、当該画像取得部が取得した前記カメラ画像を用いて前記ワークの位置姿勢を求める物体認識部と、当該物体認識部によって求められる前記ワークの位置姿勢の結果に基づいてロボットの動作を制御する制御部とを備えたロボットの制御装置であって、
前記画像取得部が、第１の撮影位置で前記ワークの立体画像を取得し、前記物体認識部が、前記立体画像に基づいて前記ワークの概略位置姿勢を求めること、
前記画像取得部が、前記ワークの概略位置姿勢を基準に移動した第２の撮影位置で前記ワークの作業域画像を取得し、前記物体認識部が、前記作業域画像に基づいて前記ワークの作業位置姿勢を求めること、
前記制御部が、前記作業位置姿勢の結果に基づいて前記ロボットの動作を制御することを特徴とする。 In order to solve the above problems, a robot control device according to the present invention has the following configuration.
(1) An image acquisition unit that acquires a camera image by shooting a work with a plurality of cameras, an object recognition unit that obtains the position and orientation of the work using the camera image acquired by the image acquisition unit, and the object recognition A controller for controlling the operation of the robot based on the result of the position and orientation of the work piece obtained by the unit,
The image acquisition unit acquires a stereoscopic image of the work at a first shooting position, and the object recognition unit obtains a rough position and orientation of the work based on the stereoscopic image,
The image acquisition unit acquires a work area image of the work at a second imaging position that is moved based on the approximate position and orientation of the work, and the object recognition unit performs work of the work based on the work area image. Seeking position and orientation,
The control unit controls the operation of the robot based on the result of the work position and orientation.

本発明においては、画像取得部が、第１の撮影位置でワークの立体画像を取得し、物体認識部が、その立体画像に基づいてワークの概略位置姿勢（大凡の位置及び大凡の姿勢）を求めるので、画像取得部が取得したカメラ画像（立体画像）からワークの輪郭全てを抽出できなくても、物体認識部はワークの概略位置姿勢を求めることができる。この場合、ワークの立体画像は、物体認識部がワークの概略位置姿勢を求めることができる程度の画像であれば良く、ワーク全体の立体画像である必要はない。また、ワークは、不特定な姿勢で配置されていても良い。 In the present invention, the image acquisition unit acquires the stereoscopic image of the work at the first photographing position, and the object recognition unit determines the approximate position and orientation (approximate position and approximate orientation) of the work based on the stereoscopic image. Since the image is obtained, the object recognition unit can obtain the approximate position and orientation of the workpiece even if the outline of the workpiece cannot be extracted from the camera image (stereoscopic image) obtained by the image obtaining unit. In this case, the stereoscopic image of the work is not limited to the stereoscopic image of the entire work as long as the object recognition unit can determine the approximate position and orientation of the work. Further, the work may be arranged in an unspecified posture.

また、画像取得部が、ワークの概略位置姿勢を基準に移動した第２の撮影位置でワークの作業域画像を取得し、物体認識部が、作業域画像に基づいてワークの作業位置姿勢を求めるので、ワークの概略位置姿勢に多少の誤差があっても、画像取得部のカメラは、第２の撮影位置に移動してワークの作業域を確実に撮影することができ、物体認識部は、画像取得部のカメラが第２の撮影位置で撮影した作業域画像に基づいてワークの作業位置姿勢を正確に求めることができる。そして、制御部が、正確に求めたワークの作業位置姿勢の結果に基づいてロボットの動作を制御するので、ロボットが、ワークと衝突等することなく正常に作動することができる。 Further, the image acquisition unit acquires the work area image of the work at the second photographing position that is moved with reference to the rough position and orientation of the work, and the object recognition unit obtains the work position and orientation of the work based on the work area image. Therefore, even if there is some error in the approximate position and orientation of the work, the camera of the image acquisition unit can move to the second shooting position to reliably shoot the work area of the work, and the object recognition unit The work position/orientation of the work can be accurately obtained based on the work area image taken by the camera of the image acquisition unit at the second shooting position. Since the control unit controls the operation of the robot based on the result of the work position and orientation of the work that is accurately obtained, the robot can operate normally without colliding with the work.

したがって、画像取得部が、第１の撮影位置でワークの立体画像を取得した後、第２の撮影位置に移動してワークの作業域を撮影するという簡単な方法であるので、画像取得部のカメラがワークの輪郭全てを特定できるように、専用のワーク搬送治具や専用の照明等を備える必要がなく、設備費の大幅な増加につながる恐れがない。また、正確に求めたワークの作業位置姿勢の結果に基づいてロボットが正常に動作することができるので、ロボットなどの設備破損につながる恐れもない。 Therefore, since the image acquisition unit acquires a stereoscopic image of the work at the first shooting position and then moves to the second shooting position to shoot the work area of the work, a simple method is used. In order for the camera to identify all the contours of the work, there is no need to provide a dedicated work transfer jig, a dedicated illumination, etc., and there is no risk of a significant increase in equipment costs. Further, since the robot can normally operate based on the result of the work position and orientation of the work that has been accurately obtained, there is no fear of damage to equipment such as the robot.

よって、本発明によれば、不特定な姿勢に配置されたワークの位置姿勢を簡単かつ正確に画像認識して、ワークに対して所定の作業を正常に行い得るロボットの制御装置を提供することができる。 Therefore, according to the present invention, it is possible to provide a robot control device capable of easily and accurately image-recognizing the position and orientation of a work placed in an unspecified posture and normally performing a predetermined work on the work. You can

（２）（１）に記載されたロボットの制御装置において、
前記立体画像は、前記第１の撮影位置で複数の前記カメラが撮影した２次元カメラ画像データとワークの３次元ＣＡＤデータとを合成して形成し、前記作業域画像は、前記第２の撮影位置で前記カメラが単独で撮影した２次元カメラ画像データから形成することを特徴とする。 (2) In the robot controller described in (1),
The three-dimensional image is formed by synthesizing two-dimensional camera image data captured by a plurality of the cameras at the first photographing position and three-dimensional CAD data of a work, and the work area image is formed by the second photographing. It is characterized in that it is formed from two-dimensional camera image data taken by the camera alone at a position.

本発明においては、ワークの立体画像は、第１の撮影位置で複数のカメラが撮影した２次元カメラ画像データとワークの３次元ＣＡＤデータとを合成して形成するので、第１の撮影位置でカメラが撮影できないワークの隠れた輪郭等を３次元ＣＡＤデータによって補完することができ、物体認識部が演算するワークの概略位置姿勢の精度を高めることができる。 In the present invention, the three-dimensional image of the work is formed by synthesizing the two-dimensional camera image data taken by a plurality of cameras at the first shooting position and the three-dimensional CAD data of the work. The hidden contour of the work that cannot be captured by the camera can be complemented by the three-dimensional CAD data, and the accuracy of the approximate position and orientation of the work calculated by the object recognition unit can be improved.

また、立体画像は、第１の撮影位置で複数のカメラが撮影した２次元カメラ画像データとワークの３次元ＣＡＤデータとを合成して形成し、作業域画像は、第２の撮影位置でカメラが単独で撮影した２次元カメラ画像データから形成するので、画像取得部の複数のカメラは、いずれも２次元カメラ画像を撮影する単眼カメラでもよい。また、画像取得部の複数のカメラが第１の撮影位置でワークの２次元カメラ画像を撮影した後に、ワークの作業位置に対向する第２の撮影位置に移動したカメラが、単独で２次元カメラ画像からなる作業域画像を撮影すればよい。したがって、画像取得部のカメラをより一層簡単な構造とし、また、カメラの移動機構を簡単に構成することができ、設備費の更なる低減につなげることができる。 Further, the stereoscopic image is formed by synthesizing the two-dimensional camera image data captured by a plurality of cameras at the first photographing position and the three-dimensional CAD data of the work, and the work area image is formed by the camera at the second photographing position. Since it is formed from the two-dimensional camera image data photographed alone, each of the plurality of cameras of the image acquisition unit may be a monocular camera that photographs a two-dimensional camera image. In addition, after the plurality of cameras of the image acquisition unit shoot the two-dimensional camera image of the work at the first shooting position, the camera that has moved to the second shooting position opposite to the work position of the work is the only two-dimensional camera. A work area image composed of images may be taken. Therefore, the camera of the image acquisition unit can have a simpler structure, and the moving mechanism of the camera can be easily configured, which leads to further reduction of the equipment cost.

（３）（１）又は（２）に記載されたロボットの制御装置において、
前記ロボットは、アーム部の先端部にそれぞれ作業ツールを装着した双腕型ロボット又は複数の単腕型ロボットであることを特徴とする。 (3) In the robot controller according to (1) or (2),
The robot is a double-arm robot or a plurality of single-arm robots in which work tools are attached to the distal ends of the arms.

本発明においては、ロボットは、アーム部の先端部にそれぞれ作業ツールを装着した双腕型ロボット又は複数の単腕型ロボットであるので、ワークが複雑な形状、又は長尺な形状であっても、アーム部の先端部に装着した各作業ツールが、ワークの作業域に対する所定の作業を行うことができる。 In the present invention, the robot is a dual-arm robot or a plurality of single-arm robots in which work tools are attached to the distal ends of the arms, so that even if the work has a complicated shape or a long shape, Each work tool attached to the tip of the arm portion can perform a predetermined work on the work area of the work.

（４）（１）乃至（３）のいずれか１つに記載されたロボットの制御装置において、
前記画像取得部の複数のカメラの内、少なくとも１つのカメラは、前記ロボットのアーム部に装着されていることを特徴とする。 (4) In the robot controller according to any one of (1) to (3),
At least one camera of the plurality of cameras of the image acquisition unit is attached to the arm unit of the robot.

本発明においては、画像取得部の複数のカメラの内、少なくとも１つのカメラは、ロボットのアーム部に装着されているので、アーム部等が移動することによって、当該アーム部に装着されたカメラを第１の撮影位置及び第２の撮影位置に移動させ、ワークの立体画像と作業域画像とを簡単に撮影することができる。そのため、画像取得部のカメラを移動させる専用の移動機構を不要又は簡略化することができ、設備の簡素化を図ることができる。なお、例えば、ロボットが１台の単腕型ロボットである場合、単腕型ロボットのアーム部にカメラを１つ装着し、別に設ける固定台等に他のカメラを装着しても良い。また、例えば、ロボットが２つのアーム部を有する双腕型ロボットである場合、各アーム部にカメラをそれぞれ装着しても良い。 In the present invention, at least one camera among the plurality of cameras of the image acquisition unit is attached to the arm portion of the robot, so that the camera attached to the arm portion can be moved by moving the arm portion or the like. The stereoscopic image of the work and the work area image can be easily photographed by moving to the first photographing position and the second photographing position. Therefore, a dedicated moving mechanism for moving the camera of the image acquisition unit can be omitted or simplified, and the facility can be simplified. If the robot is a single-arm robot, for example, one camera may be attached to the arm of the single-arm robot, and another camera may be attached to a separately provided fixed base or the like. Further, for example, when the robot is a dual-arm robot having two arm units, each arm unit may be equipped with a camera.

本発明によれば、不特定な姿勢に配置されたワークの位置姿勢を簡単かつ正確に画像認識して、ワークに対して所定の作業を正常に行い得るロボットの制御装置を提供することができる。 According to the present invention, it is possible to provide a control device for a robot that can easily and accurately perform image recognition of the position and orientation of a work placed in an unspecified posture, and normally perform a predetermined work on the work. ..

本発明に係る実施形態であるロボットの制御装置の概略構成図の一例である。FIG. 1 is an example of a schematic configuration diagram of a robot controller according to an embodiment of the present invention. 図１に示すロボットの動作範囲とカメラ方位等を示す斜視図である。FIG. 3 is a perspective view showing an operation range, a camera direction, and the like of the robot shown in FIG. 1. 図１に示すロボットのアーム部に装着したカメラが第１の撮影位置でワークの立体画像を撮影するときの概略斜視図である。FIG. 2 is a schematic perspective view when a camera mounted on an arm part of the robot shown in FIG. 1 shoots a stereoscopic image of a work at a first shooting position. 図１に示すロボットのアーム部に装着したカメラが第２の撮影位置でワークの作業域画像を撮影するときの概略斜視図である。FIG. 3 is a schematic perspective view when a camera mounted on an arm part of the robot shown in FIG. 1 shoots a work area image of a work at a second shooting position. 図１に示すロボットの制御装置の動作フロー図である。FIG. 3 is an operation flowchart of the control device for the robot shown in FIG. 1. 図１に示すロボットの制御装置の比較例を示す斜視図である。It is a perspective view which shows the comparative example of the control apparatus of the robot shown in FIG. 特許文献１に記載された物体認識に基づく制御装置の概略構成図である。It is a schematic block diagram of the control apparatus based on the object recognition described in patent document 1.

次に、本発明に係る実施形態であるロボットの制御装置について、図面を参照して詳細に説明する。はじめに、本実施形態に係るロボットの制御装置の構造と動作方法を説明する。次に、本ロボットの制御装置の変形例について説明する。 Next, a robot controller according to an embodiment of the present invention will be described in detail with reference to the drawings. First, the structure and operating method of the robot control apparatus according to the present embodiment will be described. Next, a modified example of the control device of the present robot will be described.

＜ロボットの制御装置の構造と動作方法＞
まず、本実施形態に係るロボットの制御装置の構造と動作方法を、図１〜図５を用いて説明する。図１に、本発明に係る実施形態であるロボットの制御装置の概略構成図の一例を示す。図２に、図１に示すロボットの動作範囲とカメラ方位等を示す斜視図を示す。図３に、図１に示すロボットのアーム部に装着したカメラが第１の撮影位置でワークの立体画像を撮影するときの概略斜視図を示す。図４に、図１に示すロボットのアーム部に装着したカメラが第２の撮影位置でワークの作業域画像を撮影するときの概略斜視図を示す。図５に、図１に示すロボットの制御装置の動作フロー図を示す。 <Structure and operating method of robot controller>
First, the structure and operating method of the robot control apparatus according to the present embodiment will be described with reference to FIGS. FIG. 1 shows an example of a schematic configuration diagram of a robot controller according to an embodiment of the present invention. FIG. 2 is a perspective view showing the operation range of the robot shown in FIG. FIG. 3 shows a schematic perspective view when the camera mounted on the arm part of the robot shown in FIG. 1 shoots a stereoscopic image of the work at the first shooting position. FIG. 4 is a schematic perspective view when the camera mounted on the arm part of the robot shown in FIG. 1 shoots a work area image of a work at the second shooting position. FIG. 5 shows an operation flow chart of the control device of the robot shown in FIG.

図１〜図４に示すように、本実施形態に係るロボットの制御装置１０には、ワークＷを複数（例えば、２つ）のカメラ１１、１２で撮影してカメラ画像を取得する画像取得部１と、当該画像取得部１が取得したカメラ画像を用いてワークＷの位置姿勢を求める物体認識部２と、当該物体認識部２によって求められるワークＷの位置姿勢の結果に基づいてロボット３、４の動作を制御する制御部５とを備えている。物体認識部２及び制御部５は、他の生産設備と接続する制御盤７に接続されている。ここでは、カメラ１１、１２は２つであるが、３つ以上でも良い。 As shown in FIGS. 1 to 4, the robot control device 10 according to the present embodiment includes an image acquisition unit that acquires a camera image by capturing an image of a work W with a plurality (for example, two) of cameras 11 and 12. 1, an object recognition unit 2 that obtains the position and orientation of the work W using the camera image acquired by the image acquisition unit 1, and a robot 3 based on the result of the position and orientation of the work W that is obtained by the object recognition unit 2. And a control unit 5 for controlling the operation of No. 4 of FIG. The object recognition unit 2 and the control unit 5 are connected to a control panel 7 that is connected to another production facility. Here, the number of cameras 11 and 12 is two, but the number may be three or more.

また、ロボット３、４は、例えば、２つの単腕型多関節ロボットであり、例えば、コンベア６上に載置されたワークＷを両側から挟持するように把持して、所定の加工ステーション（図示しない）へ搬送できるように、互いに隣接した位置に配置されている。両ロボット３、４のアーム部３１、４１の先端部には、作業ツール（把持用ツール）３２、４２がそれぞれ装着されている。なお、ロボット３、４は、２つのアーム部３１、４１を有する双腕型ロボットでもよい。また、ロボット３、４は、２つであるが、３つ以上でも良い。 Further, the robots 3 and 4 are, for example, two single-arm type multi-joint robots, and, for example, grip the work W placed on the conveyor 6 from both sides and hold it at a predetermined processing station (illustration). It is placed in a position adjacent to each other so that it can be transported to (No). Work tools (grasping tools) 32 and 42 are attached to the tip ends of the arm portions 31 and 41 of the robots 3 and 4, respectively. The robots 3 and 4 may be dual-arm robots having two arm portions 31 and 41. Further, although the number of robots 3 and 4 is two, it may be three or more.

ここで、ワークＷは、特に制限されるものではないが、例えば、所定の半径Ｒを有する球体の外周面にＶ字状切込み部Ｋが形成された立体物であるとする。このワークＷのＶ字状切込み部Ｋが、一方（右）のロボット４の把持用ツール４２が当接する作業域に相当する。また、ワークＷのＶ字状切込み部Ｋと反対側の外周面Ｐが、他方（左）のロボット３の把持用ツール３２が当接する作業域に相当する。ワークＷは、コンベア６上に載置されているが、Ｖ字状切込み部Ｋの向きは不特定である。 Here, the work W is not particularly limited, but is, for example, a three-dimensional object in which a V-shaped cut portion K is formed on the outer peripheral surface of a sphere having a predetermined radius R. The V-shaped notch K of the work W corresponds to a work area where the gripping tool 42 of the robot 4 on one side (right) contacts. Further, the outer peripheral surface P of the work W on the side opposite to the V-shaped cut portion K corresponds to a work area where the gripping tool 32 of the other (left) robot 3 comes into contact. The work W is placed on the conveyor 6, but the direction of the V-shaped cutout K is unspecified.

また、画像取得部１のカメラ１１、１２は、いずれも２次元カメラ画像を撮影する単眼カメラである。また、カメラ１１、１２は、各ロボット３、４のアーム部３１、４１に、カメラ方位（撮影方向）１１１、１２１がアーム部３１、４１の長手方向と略平行になるように、それぞれ装着されている。各ロボット３、４のアーム部３１、４１等の移動に伴って、カメラ１１、１２の位置及びカメラ方位１１１，１２１を変更させることができる。カメラ１１、１２の視野角θ１、θ２は、ワークＷの大きさ等に応じて調整されている。カメラ１１、１２の焦点位置は、撮影する際に自動的に調整される機能を備えている。 The cameras 11 and 12 of the image acquisition unit 1 are both monocular cameras that capture a two-dimensional camera image. The cameras 11 and 12 are attached to the arm portions 31 and 41 of the robots 3 and 4 such that the camera orientations (imaging directions) 111 and 121 are substantially parallel to the longitudinal directions of the arm portions 31 and 41. ing. The positions of the cameras 11 and 12 and the camera orientations 111 and 121 can be changed as the arm portions 31 and 41 of the robots 3 and 4 move. The viewing angles θ1 and θ2 of the cameras 11 and 12 are adjusted according to the size of the work W and the like. The focal positions of the cameras 11 and 12 have a function of being automatically adjusted when taking a picture.

また、画像取得部１のカメラ１１、１２は、図３に示す第１の撮影位置でワークＷの全体又は部分に対する立体画像を撮影する。すなわち、ワークＷの立体画像は、異なるカメラ方位１１１、１２１から撮影する複数（２つ）のカメラ１１、１２の２次元カメラ画像がワーク上面ＷＧで互いに重なるように撮影して、重なる２次元カメラ画像を立体的に合成することによって形成する。このとき、ワークＷの立体画像には、ワークＷの作業域となるＶ字状切込み部Ｋ（特異点）の一部が含まれていることが好ましい。また、ワークＷの立体画像は、第１の撮影位置で複数のカメラ１１、１２が撮影した２次元カメラ画像データとワークＷの３次元ＣＡＤデータとを合成して形成しても良い。２次元カメラ画像データとワークＷの３次元ＣＡＤデータとを合成することによって、第１の撮影位置でカメラ１１、１２が撮影できないワークＷの隠れた輪郭等を３次元ＣＡＤデータによって補完することができる。 In addition, the cameras 11 and 12 of the image acquisition unit 1 shoot a stereoscopic image of the whole or part of the work W at the first shooting position shown in FIG. That is, the stereoscopic image of the work W is captured so that the two-dimensional camera images of the plurality (two) of cameras 11 and 12 captured from different camera orientations 111 and 121 overlap each other on the work upper surface WG, and the two-dimensional cameras overlap. It is formed by synthesizing images in three dimensions. At this time, it is preferable that the stereoscopic image of the work W includes a part of the V-shaped cutout portion K (singular point) serving as a work area of the work W. Further, the stereoscopic image of the work W may be formed by combining the two-dimensional camera image data captured by the plurality of cameras 11 and 12 at the first shooting position and the three-dimensional CAD data of the work W. By synthesizing the two-dimensional camera image data and the three-dimensional CAD data of the work W, the hidden contour of the work W or the like which the cameras 11 and 12 cannot photograph at the first photographing position can be complemented by the three-dimensional CAD data. it can.

また、物体認識部２は、画像取得部１が取得する画像データ及びワークＷの３次元ＣＡＤデータ等を記憶する記憶部２１と、画像データ及び３次元ＣＡＤデータ等からワークＷの位置や姿勢（輪郭）等を演算する画像処理部２２とを備えている。そして、物体認識部２は、第１の撮影位置で画像取得部１が取得した立体画像データ、又は第１の撮影位置でカメラ１１、１２が撮影した２次元カメラ画像データとワークＷの３次元ＣＡＤデータとを合成して補正した後の立体画像データを受領し、画像処理部２２がその立体画像に基づいて、ワークＷの概略位置姿勢を求める。ワークＷの概略位置姿勢は、ワークＷの大凡の位置、及び大凡の姿勢（輪郭）でよいので、多少の誤差があっても構わない。 Further, the object recognition unit 2 stores the image data acquired by the image acquisition unit 1, the three-dimensional CAD data of the work W, and the like, and the position and orientation of the work W from the image data and the three-dimensional CAD data ( The image processing unit 22 for calculating the contour) and the like. Then, the object recognition unit 2 uses the stereoscopic image data acquired by the image acquisition unit 1 at the first shooting position, or the two-dimensional camera image data captured by the cameras 11 and 12 at the first shooting position and the three-dimensional work W. The stereoscopic image data after being combined with the CAD data and corrected is received, and the image processing unit 22 obtains the approximate position and orientation of the work W based on the stereoscopic image. Since the approximate position and orientation of the work W may be the approximate position and the approximate posture (contour) of the work W, there may be some error.

また、画像取得部１のカメラ１１、１２は、ワークＷの概略位置姿勢を基準に第２の撮影位置へ移動し、第２の撮影位置でワークＷの作業域画像を撮影する。第２の撮影位置は、カメラがワークＷの作業域全体を撮影することができる位置として、予め設定しておくことも、カメラ画像からその都度設定することもできる。ワークの作業域画像は、それぞれのカメラ１１、１２が単独でワークＷの作業域を２次元カメラ画像として詳細に撮影することによって形成する。また、物体認識部２は、画像取得部１から作業域画像データを受領し、画像処理部２２が作業域画像に基づいてワークＷの作業位置姿勢を求める。ワークＷの作業位置姿勢は、ロボット等の破損を防止するため、ワークＷの作業域における正確な位置、及び正確な姿勢（輪郭）を必要とし、できる限り誤差が生じないように詳細に演算する。 In addition, the cameras 11 and 12 of the image acquisition unit 1 move to the second shooting position based on the rough position and orientation of the work W, and shoot the work area image of the work W at the second shooting position. The second shooting position can be set in advance as a position where the camera can shoot the entire work area of the work W, or can be set each time from the camera image. The work area image of the work is formed by each of the cameras 11 and 12 individually capturing the work area of the work W in detail as a two-dimensional camera image. Further, the object recognition unit 2 receives the work area image data from the image acquisition unit 1, and the image processing unit 22 obtains the work position and orientation of the work W based on the work area image. The work position/work posture of the work W requires an accurate position and a work posture (contour) in the work area of the work W in order to prevent damage to the robot and the like, and is calculated in detail so that an error does not occur as much as possible. ..

なお、カメラ１１、１２は、ロボット３、４のアーム部３１、４１に装着されているので、アーム部３１、４１等が移動することによって、当該カメラを第１の撮影位置及び第２の撮影位置に移動させる。また、カメラ１１、１２の位置情報及び撮影したワークＷの位置情報は、カメラ１１、１２を装着したアーム部３１、４１のロボット座標データを活用して演算する。また、ワークＷの３次元ＣＡＤデータは、制御盤７を介して予め入力し、物体認識部２の記憶部２１に記憶させておく。画像取得部１は、２次元カメラ画像データとワークＷの３次元ＣＡＤデータとを合成する際、記憶部２１から３次元ＣＡＤデータを受領する。 Since the cameras 11 and 12 are attached to the arm portions 31 and 41 of the robots 3 and 4, the movement of the arm portions 31 and 41 causes the cameras to take a first photographing position and a second photographing position. Move to position. Further, the position information of the cameras 11 and 12 and the position information of the photographed work W are calculated by utilizing the robot coordinate data of the arm portions 31 and 41 equipped with the cameras 11 and 12. Further, the three-dimensional CAD data of the work W is input in advance via the control panel 7 and stored in the storage unit 21 of the object recognition unit 2. When synthesizing the two-dimensional camera image data and the three-dimensional CAD data of the work W, the image acquisition unit 1 receives the three-dimensional CAD data from the storage unit 21.

また、制御部５は、ロボット３、４のアーム部３１、４１の揺動・回転、把持用ツール３２、４２の動作、台座部３３、４３の旋回等を制御する。そして、制御部５は、物体認識部２が演算したワークＷの概略位置姿勢及び作業位置姿勢の結果に基づいて、ロボット３、４の各動作を制御する。なお、ロボット３、４の各動作は、予め教示して制御部５に記憶させているので、物体認識部２が演算したワークＷの概略位置姿勢及び作業位置姿勢の結果に基づいて、制御部５は、教示データを自動的に補正する。 Further, the control unit 5 controls the swing/rotation of the arm units 31 and 41 of the robots 3 and 4, the operation of the gripping tools 32 and 42, the turning of the pedestal units 33 and 43, and the like. Then, the control unit 5 controls each operation of the robots 3 and 4 based on the result of the rough position/posture and the work position/posture of the work W calculated by the object recognition unit 2. Since each operation of the robots 3 and 4 is taught in advance and stored in the control unit 5, the control unit is based on the result of the rough position/orientation and the work position/orientation of the work W calculated by the object recognition unit 2. In step 5, the teaching data is automatically corrected.

次に、ロボットの制御装置１０の動作フローの一例を、図５を用いて説明する。図５に示すように、はじめに、ロボット３、４のアーム部３１、４１等を移動して、画像取得部１のカメラ１１、１２が第１の撮影位置でワークＷの２次元カメラ画像を撮影する（ステップ：Ｓ１、図３参照）。 Next, an example of the operation flow of the robot controller 10 will be described with reference to FIG. As shown in FIG. 5, first, the arms 31 and 41 of the robots 3 and 4 are moved so that the cameras 11 and 12 of the image acquisition unit 1 capture a two-dimensional camera image of the work W at the first imaging position. (Step: S1, see FIG. 3).

次に、物体認識部２が第１の撮影位置で撮影した２次元カメラ画像データとワークＷの３次元ＣＡＤデータとを合成して、３次元画像データからなるワークＷの立体画像を作成する（ステップ：Ｓ２）。第１の撮影位置で撮影した２次元カメラ画像データでは、ワークＷの作業域であるＶ字状切込み部Ｋの輪郭を抽出できない場合があっても、２次元カメラ画像データとワークＷの３次元ＣＡＤデータとを合成することによって、Ｖ字状切込み部Ｋの大凡の輪郭を特定することができる。 Next, the object recognition unit 2 synthesizes the two-dimensional camera image data captured at the first imaging position and the three-dimensional CAD data of the work W to create a three-dimensional image of the work W composed of the three-dimensional image data ( Step: S2). With the two-dimensional camera image data taken at the first shooting position, even if the contour of the V-shaped notch K, which is the work area of the work W, cannot be extracted, the two-dimensional camera image data and the three-dimensional work W By synthesizing with the CAD data, it is possible to identify the approximate contour of the V-shaped notch K.

次に、物体認識部２がワークＷの立体画像に基づいてワークＷの概略位置姿勢を演算し、ワークＷとロボット３、４との大凡の相対位置関係を確定する（ステップ：Ｓ３）。すなわち、物体認識部２は、ワークＷの立体画像と制御部５に有するロボット座標データとを基にして、Ｖ字状切込み部Ｋの輪郭位置を含めてワークＷの外周位置、重心位置等を概略的に抽出する。 Next, the object recognition unit 2 calculates the approximate position and orientation of the work W based on the stereoscopic image of the work W, and determines the approximate relative positional relationship between the work W and the robots 3 and 4 (step: S3). That is, the object recognition unit 2 determines the outer peripheral position of the work W, the position of the center of gravity, and the like including the contour position of the V-shaped cut K based on the stereoscopic image of the work W and the robot coordinate data stored in the control unit 5. Extract roughly.

次に、ロボット３、４のアーム部３１、４１等を移動してカメラ１１、１２が第２の撮影位置でワークＷの作業域画像を撮影する（ステップ：Ｓ４、図４参照）。第２の撮影位置は、カメラ１１、１２がワークＷの作業域全体を撮影することができる位置として、予め設定しておくこともできるが、ここでは、ワークＷは、コンベア６上に載置されて搬送され、Ｖ字状切込み部Ｋの向きは不特定であるので、カメラ画像からワークＷの作業域全体が撮影できる位置であることを物体認識部２が判断して、第２の撮影位置を設定しても良い。 Next, the arms 31 and 41 of the robots 3 and 4 are moved so that the cameras 11 and 12 capture the work area image of the work W at the second capturing position (step: S4, see FIG. 4). The second photographing position can be set in advance as a position where the cameras 11 and 12 can photograph the entire work area of the work W, but here, the work W is placed on the conveyor 6. Since the orientation of the V-shaped notch K is unspecified, the object recognition unit 2 determines from the camera image that the entire work area of the workpiece W can be photographed, and the second photographing is performed. The position may be set.

次に、物体認識部２が作業域画像に基づいてワークＷの作業位置姿勢を演算し、ロボット３、４が作動する詳細位置を確定する（ステップ：Ｓ５）。作業域画像は、各カメラ１１、１２が単独で撮影する２次元カメラ画像であるが、物体認識部２は、立体画像データ及びロボット座標データを基に、Ｖ字状切込み部Ｋの輪郭位置を含めてワークＷの外周位置、重心位置等を概略的に抽出し、ワークＷとロボット３、４との大凡の相対位置関係をすでに確定している。そのため、作業域画像が２次元カメラ画像であっても、物体認識部２は、Ｖ字状切込み部Ｋの輪郭位置、ワークＷの外周位置、重心位置等を作業域画像に基づいて補正することによって、ワークＷの作業位置姿勢を正確に演算し、ロボット３、４が作動する詳細位置を精度よく確定することができる。 Next, the object recognition unit 2 calculates the work position and orientation of the work W based on the work area image, and determines the detailed position where the robots 3 and 4 operate (step: S5). The work area image is a two-dimensional camera image captured by each of the cameras 11 and 12 independently, but the object recognition unit 2 determines the contour position of the V-shaped notch K based on the stereoscopic image data and the robot coordinate data. The outer peripheral position of the work W, the position of the center of gravity, etc. are roughly extracted, and the approximate relative positional relationship between the work W and the robots 3 and 4 has already been determined. Therefore, even if the work area image is a two-dimensional camera image, the object recognition unit 2 corrects the contour position of the V-shaped cut portion K, the outer peripheral position of the work W, the center of gravity position, and the like based on the work area image. Thus, the work position and orientation of the work W can be accurately calculated, and the detailed position where the robots 3 and 4 operate can be accurately determined.

次に、制御部５がロボット３、４の教示位置を詳細位置に基づいて補正して、ロボット３、４のアーム部３１、４１等を移動させる（ステップ：Ｓ６）。次に、ロボット３、４のアーム部３１、４１に装着した作業ツール３２、４２がワークＷの作業域に対して所定の作業を行う（ステップ：Ｓ７）。以上のように、ロボットの制御装置１０が動作することによって、不特定な姿勢で配置されたワークＷの位置姿勢を簡単かつ正確に画像認識して、ロボット３、４がワークＷに対して所定の作業を正常に行うことができる。 Next, the control unit 5 corrects the teaching positions of the robots 3 and 4 based on the detailed positions and moves the arm units 31 and 41 of the robots 3 and 4 (step: S6). Next, the work tools 32 and 42 mounted on the arm portions 31 and 41 of the robots 3 and 4 perform a predetermined work on the work area of the work W (step: S7). As described above, the robot control device 10 operates to easily and accurately recognize the position and orientation of the work W arranged in an unspecified posture, and the robots 3 and 4 perform the predetermined recognition on the work W. Can work normally.

＜作用効果＞
以上、詳細に説明したように、本実施形態に係るロボットの制御装置１０によれば、画像取得部１が、第１の撮影位置でワークＷの立体画像を取得し、物体認識部２が、その立体画像に基づいてワークＷの概略位置姿勢（大凡の位置及び大凡の姿勢）を求めるので、画像取得部１が取得したカメラ画像（立体画像）からワークＷの輪郭全てを抽出できなくても、物体認識部２はワークＷの概略位置姿勢を求めることができる。この場合、ワークＷの立体画像は、物体認識部２がワークＷの概略位置姿勢を求めることができる程度の画像であれば良く、ワーク全体の立体画像である必要はない。また、ワークＷは、不特定な姿勢で配置されていても良い。 <Effect>
As described above in detail, according to the robot control device 10 of the present embodiment, the image acquisition unit 1 acquires the stereoscopic image of the work W at the first photographing position, and the object recognition unit 2 Since the approximate position and orientation (general position and approximate posture) of the work W is obtained based on the stereoscopic image, even if all the contours of the work W cannot be extracted from the camera image (stereoscopic image) acquired by the image acquisition unit 1. The object recognition unit 2 can determine the approximate position and orientation of the work W. In this case, the stereoscopic image of the work W need only be an image that allows the object recognition unit 2 to determine the approximate position and orientation of the work W, and does not have to be a stereoscopic image of the entire work. Further, the work W may be arranged in an unspecified posture.

また、画像取得部１が、ワークＷの概略位置姿勢を基準に移動した第２の撮影位置でワークＷの作業域画像を取得し、物体認識部２が、作業域画像に基づいてワークＷの作業位置姿勢を求めるので、ワークＷの概略位置姿勢に多少の誤差があっても、画像取得部１のカメラ１１、１２は、第２の撮影位置に移動してワークＷの作業域を確実に撮影することができ、物体認識部２は、画像取得部１のカメラ１１、１２が第２の撮影位置で撮影した作業域画像に基づいてワークＷの作業位置姿勢を正確に求めることができる。そして、制御部５が、正確に求めたワークＷの作業位置姿勢の結果に基づいてロボット３、４の動作を制御するので、ロボット３、４が、ワークＷと衝突等することなく正常に作動することができる。 In addition, the image acquisition unit 1 acquires a work area image of the work W at the second photographing position that is moved based on the approximate position and orientation of the work W, and the object recognition unit 2 calculates the work area W based on the work area image. Since the work position/posture is obtained, even if there is some error in the rough position/posture of the work W, the cameras 11 and 12 of the image acquisition unit 1 move to the second imaging position to ensure the work area of the work W. The object recognition unit 2 can accurately determine the work position/posture of the work W based on the work area image taken by the cameras 11 and 12 of the image acquisition unit 1 at the second shooting position. Then, the control unit 5 controls the operations of the robots 3 and 4 based on the result of the work position and orientation of the work W that is accurately obtained, so that the robots 3 and 4 operate normally without colliding with the work W. can do.

したがって、画像取得部１が、第１の撮影位置でワークＷの立体画像を取得した後、第２の撮影位置に移動してワークＷの作業域を撮影するという簡単な方法であるので、画像取得部１のカメラ１１、１２がワークＷの輪郭全てを特定できるように、専用のワーク搬送治具や専用の照明等を備える必要がなく、設備費の大幅な増加につながる恐れがない。また、正確に求めたワークＷの作業位置姿勢の結果に基づいてロボット３、４が正常に動作することができるので、ロボット３、４などの設備破損につながる恐れもない。 Therefore, the image acquisition unit 1 is a simple method of acquiring a stereoscopic image of the work W at the first shooting position and then moving to the second shooting position to shoot the work area of the work W. In order that the cameras 11 and 12 of the acquisition unit 1 can specify all the contours of the work W, there is no need to provide a dedicated work transfer jig, a dedicated illumination, and the like, and there is no fear that the facility cost will increase significantly. In addition, since the robots 3 and 4 can operate normally based on the result of the work position and orientation of the work W that has been accurately obtained, there is no fear that the equipment of the robots 3 and 4 will be damaged.

よって、本実施形態によれば、不特定な姿勢に配置されたワークＷの位置姿勢を簡単かつ正確に画像認識して、ワークＷに対して所定の作業を正常に行い得るロボットの制御装置１０を提供することができる。 Therefore, according to the present embodiment, the robot control device 10 that can easily and accurately image-recognize the position and orientation of the work W arranged in an unspecified posture and normally perform a predetermined work on the work W. Can be provided.

また、本実施形態によれば、ワークＷの立体画像は、第１の撮影位置で複数（２つ）のカメラ１１、１２が撮影した２次元カメラ画像データとワークＷの３次元ＣＡＤデータとを合成して形成するので、第１の撮影位置でカメラ１１、１２が撮影できないワークＷの隠れた輪郭等を３次元ＣＡＤデータによって補完することができ、物体認識部２が演算するワークＷの概略位置姿勢の精度を高めることができる。 Further, according to the present embodiment, the stereoscopic image of the work W includes two-dimensional camera image data captured by the plurality (two) of cameras 11 and 12 at the first shooting position and three-dimensional CAD data of the work W. Since they are formed by synthesizing, hidden contours of the work W that cannot be photographed by the cameras 11 and 12 at the first photographing position can be complemented by three-dimensional CAD data, and the outline of the work W calculated by the object recognition unit 2 can be obtained. The accuracy of position and orientation can be improved.

また、立体画像は、第１の撮影位置で複数（２つ）のカメラ１１、１２が撮影した２次元カメラ画像データとワークＷの３次元ＣＡＤデータとを合成して形成し、作業域画像は、第２の撮影位置でカメラ１１、１２が単独で撮影した２次元カメラ画像データから形成するので、画像取得部１の複数のカメラ１１、１２は、いずれも２次元カメラ画像を撮影する単眼カメラでもよい。また、画像取得部１の複数のカメラ１１、１２が第１の撮影位置でワークＷの２次元カメラ画像を撮影した後に、ワークＷの作業位置（Ｋ、Ｐ）に対向する第２の撮影位置に移動したカメラ１１、１２が、単独で２次元カメラ画像からなる作業域画像を撮影すればよい。したがって、画像取得部１のカメラ１１、１２をより一層簡単な構造とし、また、カメラ１１、１２の移動機構を簡単に構成することができ、設備費の更なる低減につなげることができる。 Further, the stereoscopic image is formed by synthesizing the two-dimensional camera image data captured by the plurality (two) of cameras 11 and 12 at the first imaging position and the three-dimensional CAD data of the work W, and the work area image is , The plurality of cameras 11 and 12 of the image acquisition unit 1 are both monocular cameras that capture a two-dimensional camera image because they are formed from the two-dimensional camera image data captured by the cameras 11 and 12 alone at the second capturing position. But it's okay. In addition, after the plurality of cameras 11 and 12 of the image acquisition unit 1 shoot the two-dimensional camera image of the work W at the first shooting position, the second shooting position facing the work position (K, P) of the work W. It suffices for the cameras 11 and 12 that have moved to 1 to independently capture a work area image formed of a two-dimensional camera image. Therefore, the cameras 11 and 12 of the image acquisition unit 1 can have a simpler structure, and the moving mechanism of the cameras 11 and 12 can be easily configured, which leads to a further reduction in equipment cost.

また、本実施形態によれば、ロボット３、４は、アーム部３１、４１の先端部にそれぞれ作業ツール３２、４２を装着した双腕型ロボット又は複数の単腕型ロボットであるので、ワークＷが複雑な形状、又は長尺な形状であっても、アーム部３１、４１の先端部に装着した各作業ツール３２、４２が、ワークＷの作業域に対する所定の作業を行うことができる。 In addition, according to the present embodiment, the robots 3 and 4 are dual-arm robots in which the work tools 32 and 42 are attached to the tip ends of the arm portions 31 and 41, respectively, or a plurality of single-arm robots. The work tools 32 and 42 attached to the tip ends of the arm portions 31 and 41 can perform a predetermined work on the work area of the work W even if the work tool has a complicated shape or a long shape.

また、本実施形態によれば、画像取得部１の複数のカメラ１１、１２は、ロボット３、４のアーム部３１、４１にそれぞれ装着されているので、アーム部３１、４１等が移動することによって、当該アーム部３１、４１に装着されたカメラ１１、１２を第１の撮影位置及び第２の撮影位置に移動させ、ワークＷの立体画像と作業域画像とを簡単に撮影することができる。そのため、画像取得部１のカメラ１１、１２を移動させる専用の移動機構を不要又は簡略化することができ、設備の簡素化を図ることができる。 Further, according to the present embodiment, the plurality of cameras 11 and 12 of the image acquisition unit 1 are attached to the arm units 31 and 41 of the robots 3 and 4, respectively, so that the arm units 31 and 41 and the like may move. Thus, the cameras 11 and 12 mounted on the arm portions 31 and 41 can be moved to the first photographing position and the second photographing position to easily photograph the stereoscopic image of the work W and the work area image. .. Therefore, a dedicated moving mechanism for moving the cameras 11 and 12 of the image acquisition unit 1 can be omitted or simplified, and the facility can be simplified.

＜変形例＞
上述した実施形態は、本発明の要旨を変更しない範囲で変更することができる。例えば、上記実施形態では、画像取得部１の複数（２つ）のカメラ１１、１２は、ロボット３、４のアーム部３１、４１にそれぞれ装着されているが、必ずしもこれに限る必要はない。例えば、ロボットが２つのアーム部を有する双腕型ロボットである場合、各アーム部にカメラをそれぞれ装着しても良い。ただし、図６に示すように、ロボット４が１つの単腕型ロボットであって、単腕型ロボット４のアーム部４１にカメラ１２を１つ装着し、別に設ける固定台８等に他のカメラ１３を装着した比較例は、本発明の範囲から除かれる。 <Modification>
The embodiments described above can be modified within the scope of the present invention. For example, in the above-described embodiment, the plurality (two) of cameras 11 and 12 of the image acquisition unit 1 are attached to the arm units 31 and 41 of the robots 3 and 4, respectively, but the invention is not necessarily limited to this . For example , when the robot is a dual-arm robot having two arm parts, a camera may be attached to each arm part. However, as shown in FIG. 6, the robot 4 is a single-arm robot, one camera 12 is attached to the arm portion 41 of the single-arm robot 4, and another camera is attached to a fixed stand 8 or the like provided separately. The comparative example in which 13 is mounted is excluded from the scope of the present invention.

本発明は、例えば、ワークの位置姿勢を画像認識し、当該ワークに対して所定の作業を行うロボットの制御装置として利用できる。 INDUSTRIAL APPLICABILITY The present invention can be used, for example, as a control device for a robot that performs image recognition of the position and orientation of a work and performs a predetermined work on the work.

１画像取得部
２物体認識部
３、４ロボット
５制御部
６コンベア
７制御盤
１０ロボットの制御装置
１１、１２カメラ
３１、４１アーム部
３２、４２作業ツール（把持用ツール）
Ｗワーク 1 Image Acquisition Unit 2 Object Recognition Unit 3, 4 Robot 5 Control Unit 6 Conveyor 7 Control Panel 10 Robot Control Device 11, 12 Camera 31, 41 Arm Unit 32, 42 Work Tool (Grip Tool)
W work

Claims

An image acquisition unit that captures a camera image by shooting a work with a plurality of cameras, an object recognition unit that obtains the position and orientation of the work using the camera image acquired by the image acquisition unit, and an object recognition unit that obtains the position and orientation of the work. A control device for a robot, comprising: a control unit that controls the operation of the robot based on the result of the position and orientation of the workpiece,
Each of the plurality of cameras is a monocular camera that captures a two-dimensional camera image, and is attached to different arm portions of the robot such that camera orientations are substantially parallel to the longitudinal direction of each arm portion. thing,
A work tool is attached to the tip of each arm,
The image acquisition unit acquires a stereoscopic image of the work taken at the first imaging position where the cameras have moved along with the movement of the arms , and the object recognition unit uses the stereoscopic image based on the stereoscopic image. Determining the approximate position and orientation of the work,
The stereoscopic image is formed by stereoscopically synthesizing the overlapping two-dimensional camera images by photographing the two-dimensional camera images of the plurality of cameras photographed from different camera directions so as to overlap each other on the work upper surface.
The stereoscopic image includes a part of a singular point that is a work area in which the work tool contacts the work.
A work area image formed by the image acquisition unit by each camera independently shooting the entire work area of the work as a two-dimensional camera image at a second shooting position that is moved with reference to the general position and orientation of the work. The object recognition unit, the outline position of the singular point, the outer peripheral position of the workpiece, the position of the center of gravity, which is roughly extracted based on the data of the stereoscopic image and the coordinate data of the robot, the work area image. Determining the working position and orientation of the work by correcting the work based on
The control device for a robot, wherein the control unit controls the operation of the robot based on a result of the work position and orientation.

The robot controller according to claim 1,
The control device for a robot, wherein the stereoscopic image is formed by combining two-dimensional camera image data captured by a plurality of the cameras at the first imaging position and three-dimensional CAD data of a work.