JP7587448B2

JP7587448B2 - ROBOT SYSTEM AND METHOD FOR CONTROLLING ROBOT SYSTEM

Info

Publication number: JP7587448B2
Application number: JP2021042526A
Authority: JP
Inventors: 翔一半田; 俊晴菅原; 毅北村; 貴臣西垣戸
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2021-03-16
Filing date: 2021-03-16
Publication date: 2024-11-20
Anticipated expiration: 2041-03-16
Also published as: WO2022195944A1; JP2022142376A

Description

本発明は、ロボットシステム、およびロボットシステムの制御方法に関する。 The present invention relates to a robot system and a method for controlling a robot system.

ロボットが自ら認知、判断、および操作を行うロボットシステムに関する技術として、下記特許文献１に開示の技術がある。この特許文献１には、「ロボットシステム１は、スキャナ２、ロボット３、制御装置５を備え、エンドエフェクタ４０に固定した球体７０を用いることで、スキャナ座標系からロボット座標系へのキャリブレーションを高精度且つ自動で行う。…制御装置５は、ハンド部４２を様々な位置姿勢に移動させたときの球体７０の点群データをスキャナ２から取得し、球体７０の位置を推定する。制御装置５は、各算出処理で推定された球体７０の位置データに基づき、キャリブレーションの回転成分ＲＶと並進成分ＳＶを推定する。」と記載されている。 The following Patent Document 1 discloses a technology relating to a robot system in which the robot recognizes, judges, and operates on its own. This Patent Document 1 states, "The robot system 1 includes a scanner 2, a robot 3, and a control device 5, and uses a sphere 70 fixed to the end effector 40 to perform automatic calibration from the scanner coordinate system to the robot coordinate system with high accuracy. ... The control device 5 acquires from the scanner 2 point cloud data of the sphere 70 when the hand unit 42 is moved to various positions and postures, and estimates the position of the sphere 70. The control device 5 estimates the rotational component RV and translational component SV of the calibration based on the position data of the sphere 70 estimated in each calculation process."

特開２０１７－１００２０２号公報JP 2017-100202 A

上述した技術では、ハンド部を様々な位置姿勢に移動させたときの球体の点群データをスキャナから取得している。このためスキャナから得られるデータは、スキャナを構成するレンズのひずみを含む値となり、キャリブレーションの精度を低下させる要因となっている。 In the above-mentioned technology, spherical point cloud data is obtained from the scanner when the hand unit is moved to various positions and orientations. As a result, the data obtained from the scanner contains values that include distortion of the lens that makes up the scanner, which is a factor that reduces the accuracy of the calibration.

そこで本発明は、高精度なキャリブレーションが可能なロボットシステムおよびロボットシステムの制御方法を提供することを目的とする。 The present invention aims to provide a robot system and a control method for a robot system that allows for highly accurate calibration.

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、複数のエンコーダを備えた多関節型のロボットと、前記ロボットによる作業範囲を撮像するセンサと、前記センサからの情報に基づいて前記ロボットの駆動を制御する制御装置とを有するロボットシステムであって、前記制御装置は、前記ロボットに装着した作業用のツールの先端のセンサ座標系における座標を、前記センサからの情報に基づいて認識する認識部と、前記ロボットに対する前記ツールの先端位置をツールオフセットとし、前記ツールの先端が前記センサ座標系に設定した基準座標に一致するように、前記ツールオフセットと前記認識部からの情報に基づいて前記ロボットの姿勢を変更する制御部と、前記変更した各姿勢のロボットのエンコーダからエンコーダ値を読み取るエンコーダ読取部と、前記エンコーダ読取部で読み取った前記各姿勢においてのエンコーダ値に基づいて、前記ツールオフセットの校正値を算出するツールオフセット算出部とを備えたロボットシステムである。 In order to solve the above problems, for example, the configurations described in the claims are adopted.
The present application includes multiple means for solving the above-mentioned problems. One example is a robot system having a multi-jointed robot equipped with multiple encoders, a sensor that captures an image of a working range of the robot, and a control device that controls driving of the robot based on information from the sensor, wherein the control device is a robot system including a recognition unit that recognizes coordinates in a sensor coordinate system of a tip of a work tool attached to the robot based on the information from the sensor, a control unit that sets the tip position of the tool relative to the robot as a tool offset and changes the posture of the robot based on the tool offset and the information from the recognition unit so that the tip of the tool coincides with a reference coordinate set in the sensor coordinate system, an encoder reading unit that reads encoder values from an encoder of the robot in each of the changed postures, and a tool offset calculation unit that calculates a calibration value of the tool offset based on the encoder values in each of the postures read by the encoder reading unit.

本発明によれば、高精度なキャリブレーションが可能なロボットシステムおよびロボットシステムの制御方法を提供することができる。 The present invention provides a robot system capable of high-precision calibration and a method for controlling the robot system.

第１実施形態に係るロボットシステムの構成図である。1 is a configuration diagram of a robot system according to a first embodiment. FIG. 第１実施形態に係るロボットシステムの要部の構成図である。FIG. 1 is a configuration diagram of a main part of a robot system according to a first embodiment. 第１実施形態に係るロボットシステムの機能ブロック図である。FIG. 1 is a functional block diagram of a robot system according to a first embodiment. 第１実施形態に係るロボットシステムの先端座標記憶部が保存するツールの先端の座標データの一例を示す図である。4 is a diagram showing an example of coordinate data of a tip of a tool stored in a tip coordinate storage unit of the robot system according to the first embodiment. FIG. 第１実施形態に係るロボットの姿勢制御の第１の例を示す図である。FIG. 4 is a diagram illustrating a first example of posture control of the robot according to the first embodiment. 第１実施形態に係るロボットの姿勢制御の第２の例を示す図である。FIG. 11 is a diagram illustrating a second example of posture control of the robot according to the first embodiment. 第１実施形態に係るロボットの各姿勢においてのツール先端の制御の一例を示す図である。5A to 5C are diagrams illustrating an example of control of the tool tip in each posture of the robot according to the first embodiment. 第１実施形態に係るロボットシステムのロボット姿勢記憶部が保存するロボット姿勢データの一例を示す図である。4 is a diagram showing an example of robot posture data stored in a robot posture memory unit of the robot system according to the first embodiment. FIG. 第１実施形態に係るロボットシステムの制御方法を示すフローチャートである。4 is a flowchart showing a control method of the robot system according to the first embodiment. 第１実施形態の制御方法において基準座標にツールの先端位置のＸ座標を一致させる手順を示す図である。11A to 11C are diagrams illustrating a procedure for making the X coordinate of the tip position of the tool coincide with the reference coordinate in the control method of the first embodiment. 第１実施形態の制御方法において基準座標にツールの先端位置のＹ座標を一致させる手順を示す図である。11A to 11C are diagrams illustrating a procedure for matching the Y coordinate of the tip position of the tool with the reference coordinate in the control method of the first embodiment. 第１実施形態の制御方法において基準座標にツールの先端位置のＺ座標を一致させる手順を示す図である。11A to 11C are diagrams illustrating a procedure for matching the Z coordinate of the tip position of the tool with the reference coordinate in the control method of the first embodiment. 第２実施形態に係るロボットシステムの要部の構成図（その１）である。FIG. 11 is a configuration diagram (part 1) of a main part of a robot system according to a second embodiment. 第２実施形態に係るロボットシステムの要部の構成図（その２）である。FIG. 13 is a configuration diagram (part 2) of a main part of a robot system according to a second embodiment. 第３実施形態に係るロボットシステムの要部の構成図である。FIG. 11 is a configuration diagram of a main part of a robot system according to a third embodiment. 第３実施形態に係るロボットシステムの要部を説明するための図である。FIG. 13 is a diagram for explaining a main part of a robot system according to a third embodiment.

以下、本発明を適用した実施の形態を図面に基づいて詳細に説明する。なお、各実施の形態においては、同様の構成要素には同一の符号を付し、同様の構成要素についての重複する説明は省略する。 The following describes in detail the embodiments of the present invention with reference to the drawings. Note that in each embodiment, the same components are given the same reference numerals, and duplicate descriptions of the same components are omitted.

≪第１実施形態≫
－ロボットシステム－
図１は、第１実施形態に係るロボットシステム１の構成図である。この図に示すロボットシステム１は、ロボットが自ら認知、判断および操作する自律ロボットにより、ターゲットとなるワーク［Ｗ］をピック＆プレイスするピッキングシステムである。ピック＆プレイスとは、ターゲットとなるワーク［Ｗ］を保持（ピック）して移動し、所望の位置に置く（プレシス）一連の動作である。このようなロボットシステム１は、ロボット１０、センサ２０、入力装置３０、制御装置４０、供給コンベア５０、および載置台６０を備えている。次にこれらの構成を順に説明する。 First Embodiment
-Robot System-
FIG. 1 is a configuration diagram of a robot system 1 according to a first embodiment. The robot system 1 shown in this figure is a picking system in which a target workpiece [W] is picked and placed by an autonomous robot that recognizes, judges, and operates itself. Pick and place is a series of operations in which the target workpiece [W] is held (picked), moved, and placed (placed) in a desired position. Such a robot system 1 includes a robot 10, a sensor 20, an input device 30, a control device 40, a supply conveyor 50, and a placement table 60. Next, the configurations of these components will be described in order.

＜ロボット１０＞
ロボット１０は、供給コンベア５０から供給されたワーク［Ｗ］を保持し、保持したワーク［Ｗ］を移動して載置台６０の上部に載置する。このロボット１０は、一例として３つの関節１１，１２，１３と、３つのアーム１４，１５，１６を交互につなぎ合わせた多関節型のロボットである。また、ロボット１０は、ここでの図示を省略したエンコーダを備え、エンコーダで測定した測定値（エンコーダ値）のフィードバックにより、各関節１１，１２，１３の回転方向および揺動方向の角度が自在に制御される６軸ロボットである。 <Robot 10>
The robot 10 holds a workpiece [W] supplied from a supply conveyor 50, and moves the held workpiece [W] to place it on the top of a mounting table 60. As an example, the robot 10 is a multi-joint robot in which three joints 11, 12, and 13 and three arms 14, 15, and 16 are alternately connected. The robot 10 is also a six-axis robot that includes an encoder (not shown) and in which the angles of the rotational and swinging directions of the joints 11, 12, and 13 are freely controlled by feedback of measurements (encoder values) measured by the encoder.

このようなロボット１０は、ワーク［Ｗ］を保持するための様々なツール１００が装着される。ロボット１０において、ツール１００が装着される位置は、例えばロボット１０における先端側のアーム１６の末端であって、手首と呼ばれる部位が挙げられるが、他の部位でもよい。 Such a robot 10 is equipped with various tools 100 for holding a workpiece [W]. In the robot 10, the position where the tool 100 is attached is, for example, the end of the arm 16 at the tip side of the robot 10, which is a part called the wrist, but it may be another part.

図２は、第１実施形態に係るロボットシステムの要部の構成図であり、ロボット１０に装着するツール１００の構成を説明する図である。ツール１００は、ワーク［Ｗ］を保持可能な構成のものであればよく、ここでは例えばワーク［Ｗ］を吸着によって保持するベローズであることとする。このツール１００は、ロボット１０の先端側のアーム１６から延設された円柱状の外径形状を有し、その先端側の底面を吸着面１０１としている。吸着面１０１は、中央部に吸引開口１０２を有し、吸引開口１０２からの吸引によってワーク［Ｗ］（図１参照）を吸着面１０１に保持する。 Figure 2 is a configuration diagram of the main parts of the robot system according to the first embodiment, and is a diagram explaining the configuration of a tool 100 attached to the robot 10. The tool 100 may be any configuration capable of holding a workpiece [W], and in this example, it is assumed to be a bellows that holds the workpiece [W] by suction. This tool 100 has a cylindrical outer diameter shape extended from the arm 16 on the tip side of the robot 10, and the bottom surface on the tip side serves as an suction surface 101. The suction surface 101 has a suction opening 102 in the center, and holds the workpiece [W] (see Figure 1) on the suction surface 101 by suction from the suction opening 102.

＜センサ２０＞
図１に戻り、センサ２０は、供給コンベア５０から供給されたワーク［Ｗ］の位置および形状に関する情報を取得するためのものである。このようなセンサ２０は、レンズを有し、例えば周辺の映像を二次元または三次元で認識するカメラであって、位置情報の精度の点からは二次元カメラであることが好ましい。二次元カメラは、例えばＲＧＢ画像をセンシングデータとして出力する。センサ２０は、ロボット１０、供給コンベア５０、および載置台６０の設置個所を位置測定の範囲とし、例えば天井や壁などに設置されていることとする。また複数のセンサ２０によって、位置測定の範囲の情報を取得する構成であってもよい。さらにカメラ以外の他のセンサがついていてもよい。 <Sensor 20>
Returning to FIG. 1, the sensor 20 is for acquiring information on the position and shape of the workpiece [W] supplied from the supply conveyor 50. Such a sensor 20 is a camera having a lens, for example, that recognizes the surrounding image in two or three dimensions, and is preferably a two-dimensional camera in terms of the accuracy of the position information. The two-dimensional camera outputs, for example, an RGB image as sensing data. The sensor 20 has the location of the robot 10, the supply conveyor 50, and the placement table 60 as the position measurement range, and is installed, for example, on a ceiling or wall. In addition, a configuration in which information on the position measurement range is acquired by multiple sensors 20 may be used. Furthermore, sensors other than cameras may be attached.

＜入力装置３０＞
入力装置３０は、ロボット１０の動作を指示するための入力を行う装置であり、例えばタッチパネル型の入力端末、キーボード、または操作ボタンなどである。入力装置３０が指示するロボット１０の動作は、ここでは少なくともピッキング動作およびツール１００のキャリブレーション動作である。ここでツール１００のキャリブレーション動作とは、ロボット１０におけるツール１００の取り付け位置に対するツール１００の先端位置、すなわちツールオフセットの校正（誤差補正）を行うための動作である。このような入力装置３０は、ロボット１０と一体に形成されているか、次に説明する制御装置４０と一体に形成されていてもよい。 <Input Device 30>
The input device 30 is a device for inputting instructions for the operation of the robot 10, and is, for example, a touch panel type input terminal, a keyboard, or an operation button. The operations of the robot 10 instructed by the input device 30 are, here, at least a picking operation and a calibration operation of the tool 100. Here, the calibration operation of the tool 100 is an operation for calibrating (correcting errors) the tip position of the tool 100 relative to the attachment position of the tool 100 in the robot 10, i.e., the tool offset. Such an input device 30 may be formed integrally with the robot 10, or may be formed integrally with a control device 40 described next.

＜制御装置４０＞
制御装置４０は、入力装置３０から入力された情報と、センサ２０で取得した情報とに基づいて、ピッキング動作またはキャリブレーション動作を実行するための制御を実施する。このような制御装置４０は、計算機によって構成されている。計算機は、いわゆるコンピュータとして用いられるハードウェアである。計算機は、ＣＰＵ（Central Processing Unit：中央処理装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備える。さらに、計算機は、不揮発性ストレージおよびネットワークインタフェースとを備える。 <Control device 40>
The control device 40 performs control for executing a picking operation or a calibration operation based on information input from the input device 30 and information acquired by the sensor 20. Such a control device 40 is configured by a calculator. The calculator is hardware used as a so-called computer. The calculator includes a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory). Furthermore, the calculator includes a non-volatile storage and a network interface.

図３は、第１実施形態に係るロボットシステム１の機能ブロック図であり、主として制御装置４０の機能構成を説明するためのブロック図である。以下、図３に基づき、先の図１、図２および他の必要図を参照し、制御装置４０の構成を説明する。なお、制御装置４０を構成する各部は、その一部、または全部がロボット１０と一体に形成されていてもよく、クラウドに設けられていてもよい。 Figure 3 is a functional block diagram of the robot system 1 according to the first embodiment, and is a block diagram mainly for explaining the functional configuration of the control device 40. Below, the configuration of the control device 40 will be explained based on Figure 3, with reference to Figures 1 and 2 and other necessary figures. Note that each part constituting the control device 40 may be formed integrally with the robot 10 in part or in whole, or may be provided in the cloud.

制御装置４０は、ロボット１０と、センサ２０と、入力装置３０とに、それぞれ接続されている。この接続は、有線接続でも無線接続でもよい。また制御装置４０は、認識部４１、基準座標保持部４２、軌道計画部４３、制御部４４、エンコーダ読取部４５、ロボット姿勢記憶部４６、およびツールオフセット算出部４７を有する。これらの各機能部分は、制御装置４０を構成する計算機のＣＰＵがＲＯＭに記憶されているプログラムを読み出すことにより、以下のような各機能を実行する。 The control device 40 is connected to the robot 10, the sensor 20, and the input device 30. This connection may be wired or wireless. The control device 40 also has a recognition unit 41, a reference coordinate holding unit 42, a trajectory planning unit 43, a control unit 44, an encoder reading unit 45, a robot posture storage unit 46, and a tool offset calculation unit 47. Each of these functional parts executes the following functions by the CPU of the computer constituting the control device 40 reading out a program stored in the ROM.

［認識部４１］
認識部４１は、センサ２０から取得した情報（センシングデータ）に基づいて、センサ２０によって認識された各部についてのセンサ座標系の位置を認識する。 [Recognition unit 41]
The recognition unit 41 recognizes the position in the sensor coordinate system of each part recognized by the sensor 20 based on the information (sensing data) acquired from the sensor 20 .

このような認識部４１は、入力装置３０からピッキング動作の指示が入力された場合には、センサ２０から取得した情報に基づいて、センサ座標系におけるワーク［Ｗ］（図１参照）の位置を認識し、認識した位置情報を軌道計画部４３に送る。 When a picking operation instruction is input from the input device 30, the recognition unit 41 recognizes the position of the workpiece [W] (see FIG. 1) in the sensor coordinate system based on the information acquired from the sensor 20, and sends the recognized position information to the trajectory planning unit 43.

また認識部４１は、入力装置３０からキャリブレーション動作の指示が入力された場合には、センサ２０から取得した情報に基づいて、ロボット１０に装着したツール１００の先端［Ｐ］についての、センサ座標系における位置を認識する。この場合、ツール１００の先端［Ｐ］（図２参照）は、ツール１００の先端側の任意の設定点であって、図示した例においては、例えばツール１００の吸着面１０１の中心点であり、吸引開口１０２の中心点であることとする。 When an instruction for a calibration operation is input from the input device 30, the recognition unit 41 recognizes the position of the tip [P] of the tool 100 attached to the robot 10 in the sensor coordinate system based on the information acquired from the sensor 20. In this case, the tip [P] of the tool 100 (see FIG. 2) is an arbitrary set point on the tip side of the tool 100, and in the illustrated example, it is, for example, the center point of the suction surface 101 of the tool 100 and the center point of the suction opening 102.

認識部４１は、ツール１００の先端［Ｐ］を認識するのに際して、先ずセンサ２０から取得したセンシングデータに基づいて、先端［Ｐ］を中心とする吸着面１０１の周縁をマーカ［Ｍ］として認識する。なお、マーカ［Ｍ］となる吸着面１０１の周縁は、センサ２０によって認識し易いように着色してもよい。認識部４１はマーカ［Ｍ］を認識した後、例えば事前の入力によって保持しているマーカ［Ｍ］と先端［Ｐ］との位置関係の情報に基づいて、センサ座標系における先端［Ｐ］の位置を算出し、算出した位置を先端［Ｐ］の座標（先端座標）として認識する。 When recognizing the tip [P] of the tool 100, the recognition unit 41 first recognizes the periphery of the suction surface 101 centered on the tip [P] as a marker [M] based on the sensing data acquired from the sensor 20. The periphery of the suction surface 101 that becomes the marker [M] may be colored so that it is easily recognized by the sensor 20. After recognizing the marker [M], the recognition unit 41 calculates the position of the tip [P] in the sensor coordinate system based on information on the positional relationship between the marker [M] and the tip [P] that is held by, for example, prior input, and recognizes the calculated position as the coordinates of the tip [P] (tip coordinates).

また、認識部４１は、入力装置３０からキャリブレーション動作の指示が入力された場合において、初回に認識した先端座標を基準座標保持部４２に送信する。さらに、初回以外の回で認識した先端座標を軌道計画部４３に送信する。なお、キャリブレーション動作の際の、認識部４１によるツール１００の先端［Ｐ］の位置（先端座標）の認識のタイミングは、以降のロボットシステムの制御方法において詳細に説明する。 When an instruction for a calibration operation is input from the input device 30, the recognition unit 41 transmits the tip coordinates recognized the first time to the reference coordinate holding unit 42. Furthermore, the recognition unit 41 transmits the tip coordinates recognized in times other than the first time to the trajectory planning unit 43. Note that the timing of recognition of the position (tip coordinates) of the tip [P] of the tool 100 by the recognition unit 41 during the calibration operation will be described in detail in the control method of the robot system below.

［基準座標保持部４２］
基準座標保持部４２は、認識部４１から送信された先端座標を、ツール１００の先端［Ｐ］の基準座標［Ｓｐ］として保持する。図４は、第１実施形態に係るロボットシステム１の基準座標保持部４２が保存するツール１００の先端［Ｐ］の基準座標［Ｓｐ］の一例を示す図である。この図４に示す基準座標［Ｓｐ］は、例えばセンサ２０内の基準点からのずれとして認識される。基準座標保持部４２は、センサ２０内の基準点、およびセンサ２０内で定義された姿勢データにおいて、Ｘ、Ｙ、およびＺ方向に何センチメートル離れた位置に先端［Ｐ］が認識されたかを記憶する。なお、基準座標保持部４２による基準座標［Ｓｐ］の保存のタイミングは、以降のロボットシステムの制御方法において詳細に説明する。 [Reference coordinate holding unit 42]
The reference coordinate holding unit 42 holds the tip coordinates transmitted from the recognition unit 41 as the reference coordinates [Sp] of the tip [P] of the tool 100. 4 is a diagram showing an example of the reference coordinates [Sp] of the tip [P] of the tool 100 stored in the coordinate storage unit 42. The reference coordinates [Sp] shown in FIG. 4 may include, for example, a deviation from a reference point in the sensor 20. The reference coordinate holding unit 42 determines how many centimeters away the tip [P] is in the X, Y, and Z directions in the reference point in the sensor 20 and in the attitude data defined in the sensor 20. The timing at which the reference coordinate holding unit 42 stores the reference coordinate [Sp] will be described in detail later in the description of the control method for the robot system.

［軌道計画部４３（ロボット制御部）］
軌道計画部４３は、次の制御部４４とともにロボット制御部を構成する部分である。この軌道計画部４３は、入力装置３０からの指示と、認識部４１から取得した先端座標、および基準座標保持部４２から取得した基準座標とに基づいて、ロボット１０の軌道を計画する。軌道計画部４３は、計画した軌道を制御部４４に送信する。 [Trajectory planning unit 43 (robot control unit)]
The trajectory planning unit 43 constitutes the robot control unit together with the next control unit 44. This trajectory planning unit 43 plans a trajectory of the robot 10 based on instructions from the input device 30, the tip coordinates acquired from the recognition unit 41, and the reference coordinates acquired from the reference coordinate holding unit 42. The trajectory planning unit 43 transmits the planned trajectory to the control unit 44.

このような軌道計画部４３は、入力装置３０からピッキング動作の指示が入力された場合には、認識部４１から取得したワーク［Ｗ］の位置情報に基づいて、ワーク［Ｗ］をピック＆プレイスするためのロボット１０の軌道を計画する。 When a picking operation instruction is input from the input device 30, the trajectory planning unit 43 plans the trajectory of the robot 10 for picking and placing the workpiece [W] based on the position information of the workpiece [W] acquired from the recognition unit 41.

また軌道計画部４３は、入力装置３０からキャリブレーション動作の指示が入力された場合には、基準座標保持部４２に保存された基準座標［Ｓｐ］に対してツール先端［Ｐ］を一致させるためのロボット１０の軌道を計画する。なお、軌道計画部４３によるキャリブレーション動作の際のロボット１０の軌道計画の詳細は、以降のロボットシステムの制御方法において詳細に説明する。 When an instruction for a calibration operation is input from the input device 30, the trajectory planning unit 43 plans a trajectory of the robot 10 for aligning the tool tip [P] with the reference coordinate [Sp] stored in the reference coordinate holding unit 42. Details of the trajectory planning of the robot 10 during the calibration operation by the trajectory planning unit 43 will be described in detail in the following robot system control method.

［制御部４４（ロボット制御部）］
制御部４４は、先の軌道計画部４３とともにロボット制御部を構成する部分であり、軌道計画部４３から取得した軌道と、予め保持しているツールオフセットとに基づいて、ロボット１０の動作を制御する。 [Control unit 44 (robot control unit)]
The control unit 44 constitutes a robot control unit together with the trajectory planning unit 43, and controls the operation of the robot 10 based on the trajectory acquired from the trajectory planning unit 43 and a tool offset stored in advance.

制御部４４は、入力装置３０からピッキング動作の指示が入力された場合には、ツール１００の先端［Ｐ］がワーク［Ｗ］をピック＆プレイスするように、ロボット１０の動作を制御する。 When a picking operation instruction is input from the input device 30, the control unit 44 controls the operation of the robot 10 so that the tip [P] of the tool 100 picks up and places the workpiece [W].

また制御部４４は、入力装置３０からキャリブレーション動作の指示が入力された場合に、ロボット１０のキャリブレーション動作のための制御を実施する。の場合、制御部４４は、ツール１００の先端［Ｐ］が、センサ２０においてセンシング可能な所定位置となるように、軌道計画部４３から取得した軌道計画に基づいてロボット１０の動作を制御する。なお、制御装置４０が、ピッキング動作の失敗を検知する検知部、さらにはピッキング動作をしていないアイドルタイムの発生を判断する判断部を有している場合、制御部４４は、これらの検知部での検知および判断部での判断に基づいて、ロボット１０のキャリブレーション動作のための制御を自動的に開始してもよい。 When an instruction for a calibration operation is input from the input device 30, the control unit 44 performs control for the calibration operation of the robot 10. In this case, the control unit 44 controls the operation of the robot 10 based on the trajectory plan acquired from the trajectory planning unit 43 so that the tip [P] of the tool 100 is at a predetermined position that can be sensed by the sensor 20. In addition, when the control device 40 has a detection unit that detects a failure of the picking operation and a judgment unit that judges the occurrence of idle time when no picking operation is performed, the control unit 44 may automatically start control for the calibration operation of the robot 10 based on the detection by these detection units and the judgment by the judgment unit.

さらにこの場合、制御部４４は、基準座標保持部４２に保存された基準座標［Ｓｐ］に対して先端［Ｐ］を一致させた異なる各姿勢となるように、ロボット１０の姿勢を制御する。図５および図６は、第１実施形態に係るロボット１０の姿勢制御の第１の例および第２の例を示す図である。これらの図に示すように、制御部４４は、ツール１００の先端［Ｐ］を、センサ２０の座標系における基準座標［Ｓｐ］に一致させるように、ロボット１０の姿勢を変化させる。 Furthermore, in this case, the control unit 44 controls the posture of the robot 10 so that the robot 10 assumes different postures in which the tip [P] is aligned with the reference coordinate [Sp] stored in the reference coordinate holding unit 42. Figures 5 and 6 are diagrams showing a first example and a second example of posture control of the robot 10 according to the first embodiment. As shown in these figures, the control unit 44 changes the posture of the robot 10 so that the tip [P] of the tool 100 is aligned with the reference coordinate [Sp] in the coordinate system of the sensor 20.

またこの場合、制御部４４は、ロボット１０を異なる各姿勢に変化させた状態において、基準座標保持部４２に保存された基準座標［Ｓｐ］に対してツール１００の先端［Ｐ］を一致させるように、各姿勢に変化させたロボット１０の動作を制御する。図７は、第１実施形態に係るロボットの各姿勢においてのツール１００の先端［Ｐ］の制御の一例を示す図である。この図に示すように、制御部４４は、姿勢を変化させたロボット１０におけるツール１００の先端［Ｐ］を、センサ座標系における基準座標［Ｓｐ］に一致させるように、ロボット１０の動作を制御する。なお、制御部４４によるロボット１０の動作制御の詳細は、以降のロボットシステムの制御方法において詳細に説明する。 In this case, the control unit 44 controls the operation of the robot 10 changed into each different posture so that the tip [P] of the tool 100 coincides with the reference coordinate [Sp] stored in the reference coordinate holding unit 42 when the robot 10 is changed into each different posture. FIG. 7 is a diagram showing an example of the control of the tip [P] of the tool 100 in each posture of the robot according to the first embodiment. As shown in this figure, the control unit 44 controls the operation of the robot 10 so that the tip [P] of the tool 100 in the robot 10 whose posture has been changed coincides with the reference coordinate [Sp] in the sensor coordinate system. Details of the operation control of the robot 10 by the control unit 44 will be described in detail later in the control method of the robot system.

［エンコーダ読取部４５］
エンコーダ読取部４５は、ロボット１０に設けられた各エンコーダの測定値（エンコーダ値）を読み取る。このエンコーダ読取部４５は、読み取った複数のエンコーダ値を、制御部４４に送信する。 [Encoder reading unit 45]
The encoder reader 45 reads the measurement values (encoder values) of the encoders provided on the robot 10. The encoder reader 45 transmits the plurality of read encoder values to the control unit 44.

［ロボット姿勢記憶部４６］
ロボット姿勢記憶部４６は、ロボット１０の姿勢データを記憶する。ロボット姿勢記憶部４６が記憶するロボット１０の姿勢データは、基準座標保持部４２に保存された基準座標［Ｓｐ］に対して、ツール１００の先端［Ｐ］の座標を一致させた各姿勢においてのエンコーダ値である。 [Robot posture storage unit 46]
The robot posture storage unit 46 stores posture data of the robot 10. The posture data of the robot 10 stored in the robot posture storage unit 46 is an encoder value in each posture in which the coordinates of the tip [P] of the tool 100 are matched with the reference coordinates [Sp] stored in the reference coordinate holding unit 42.

図８は、第１実施形態に係るロボットシステムのロボット姿勢記憶部が保存するロボットの姿勢データの一例を示す図である。図８に示すように、ロボット姿勢記憶部４６は、後で説明するツールオフセットを求めるために必要な数の姿勢データを保存する。ここで各姿勢データは、ロボット１０の姿勢を変更した各状態において、ツール１００の先端［Ｐ］を基準座標［Ｓｐ］に対して一致せた状態においての各エンコーダ値である。一例としてロボット１０が６軸ロボットであるとすると、１つ（各回）の姿勢データは、６軸（ｊ１～ｊ６）の角度データ（エンコーダ値）によって構成される。この場合、ツールオフセットを求めるために必要な姿勢データ数は３以上である。なお、ロボット姿勢記憶部４６による姿勢データの保持のタイミングの詳細は、以降のロボットシステムの制御方法において詳細に説明する。 Figure 8 is a diagram showing an example of robot posture data stored in the robot posture storage unit of the robot system according to the first embodiment. As shown in Figure 8, the robot posture storage unit 46 stores the number of posture data required to obtain the tool offset described later. Here, each posture data is each encoder value in a state in which the tip [P] of the tool 100 is aligned with the reference coordinate [Sp] in each state in which the posture of the robot 10 is changed. As an example, if the robot 10 is a six-axis robot, one (each time) posture data is composed of angle data (encoder values) of six axes (j1 to j6). In this case, the number of posture data required to obtain the tool offset is three or more. Details of the timing at which the robot posture storage unit 46 holds the posture data will be described in detail in the control method of the robot system below.

［ツールオフセット算出部４７］
ツールオフセット算出部４７は、ロボット姿勢記憶部４６に保存されている複数の姿勢データに基づいて、例えば特許文献１に記載の方法により、ツールオフセットを算出する。ここでツールオフセットとは、ロボット１０に装着された状態においてのロボット１０に対するツール１００の先端［Ｐ］の位置である。ツールオフセットに誤差が生じている場合には、ツール１００の先端［Ｐ］が同一点に配置されるようにロボット１０の駆動を制御した場合であっても、ロボット１０の姿勢によってツール１００の先端が配置される位置にも差が生じてしまう。なおツールオフセット算出部４７は、算出したツールオフセットを、ツールオフセットの校正値として制御部４４に送信する。制御部４４は、もともと保持しているツールツールオフセットを、受信したツールオフセットの校正値で上書きする。 [Tool offset calculation unit 47]
The tool offset calculation unit 47 calculates a tool offset based on a plurality of posture data stored in the robot posture storage unit 46, for example, by the method described in Patent Document 1. Here, the tool offset is the position of the tip [P] of the tool 100 relative to the robot 10 when the tool 100 is attached to the robot 10. If an error occurs in the tool offset, even if the drive of the robot 10 is controlled so that the tip [P] of the tool 100 is placed at the same point, a difference occurs in the position where the tip of the tool 100 is placed depending on the posture of the robot 10. The tool offset calculation unit 47 transmits the calculated tool offset to the control unit 44 as a calibration value of the tool offset. The control unit 44 overwrites the originally held tool offset with the received calibration value of the tool offset.

＜供給コンベア５０＞
供給コンベア５０は、ピッキングのターゲットであるワーク［Ｗ］を、ロボット１０がワーク［Ｗ］を保持し易い位置に運搬する。ワーク［Ｗ］は、図示したような箱［Ｗ１］などに入っているものに限定されず、供給コンベア５０から単体で供給されてもよい。 <Supply Conveyor 50>
The supply conveyor 50 transports the workpiece [W], which is the target of picking, to a position where the robot 10 can easily hold the workpiece [W]. The workpiece [W] is not limited to being contained in a box [W1] as shown in the figure, and may be supplied from the supply conveyor 50 as a single piece.

＜載置台６０＞
載置台６０は、ロボット１０が保持したワーク［Ｗ］を載置するための台である。 <Placement table 60>
The placement table 60 is a table for placing the workpiece [W] held by the robot 10.

－ロボットシステム１の制御方法－
図９は、第１実施形態に係るロボットシステムの制御方法を示すフローチャートであって、図１～図８を用いて説明した制御装置４０に保持された制御プログラムによって実行されるツール１００のキャリブレーションの手順を示している。以下、図９のフローチャートに沿って、先の図１～図８、および必要に応じた他の図を参照しつつ、ロボットシステムの制御方法を説明する。なお、このフローは、例えば入力装置３０にいて、キャリブレーションの指示が入力されたこと、または制御装置４０が、ピッキング動作の失敗を検知したこと、さらにはピッキング動作をしていないアイドルタイムの発生を判断したことをトリガーとして開始される。 -Control method of robot system 1-
Fig. 9 is a flowchart showing a control method of the robot system according to the first embodiment, and shows the procedure for calibrating the tool 100 executed by the control program stored in the control device 40 described with reference to Figs. 1 to 8. The control method of the robot system will be described below with reference to the flowchart of Fig. 9, Figs. 1 to 8, and other figures as necessary. Note that this flow is triggered by, for example, inputting a calibration instruction to the input device 30, or by the control device 40 detecting a failure in a picking operation, or by determining the occurrence of an idle time during which no picking operation is being performed.

＜ステップＳ１０１＞
先ず、ステップＳ１０１において、制御部４４はツール１００のマーカ［Ｍ］（図２参照）が、センサ２０の画角に入るよう、ロボット１０を制御する。このときのロボット１０の姿勢は任意である。 <Step S101>
First, in step S101, the control unit 44 controls the robot 10 so that the marker [M] (see FIG. 2) of the tool 100 is within the angle of view of the sensor 20. The posture of the robot 10 at this time is arbitrary.

＜ステップＳ１０２＞
Ｓ１０２において、認識部４１は、センサ２０から取得したセンシングデータから、ツール１００に設定したマーカ［Ｍ］の位置を認識する。ここで認識するマーカ［Ｍ］の位置は、センサ座標系における位置である。 <Step S102>
In S102, the recognition unit 41 recognizes the position of the marker [M] set on the tool 100 from the sensing data acquired from the sensor 20. The position of the marker [M] recognized here is a position in the sensor coordinate system.

＜ステップＳ１０３＞
ステップＳ１０３において、認識部４１は、マーカ［Ｍ］の位置から、ツール１００の先端［Ｐ］の位置、すなわち先端座標を認識する。この際、認識部４１は、例えば事前の入力によって保持しているマーカ［Ｍ］と先端［Ｐ］との位置関係の情報に基づいて、センサ座標系における先端［Ｐ］の座標を、先端座標として算出し、先端座標を認識する。認識した先端座標は、基準座標保持部４２に送信する。 <Step S103>
In step S103, the recognition unit 41 recognizes the position of the tip [P] of the tool 100, i.e., the tip coordinates, from the position of the marker [M]. At this time, the recognition unit 41 calculates the coordinates of the tip [P] in the sensor coordinate system as the tip coordinates based on information on the positional relationship between the marker [M] and the tip [P] that is held by, for example, prior input, and recognizes the tip coordinates. The recognized tip coordinates are transmitted to the reference coordinate holding unit 42.

なお、ここでは、ステップＳ１０２において認識したマーカ［Ｍ］におけるマーカ像の寸法を測長しておく。ツール１００が円柱形状であれば、マーカ像は円または楕円であるため、マーカ像の寸法としては、少なくとも長辺の長さ、短辺の長さ、および円の直径の何れかであることとする。 Note that here, the dimensions of the marker image of the marker [M] recognized in step S102 are measured. If the tool 100 is cylindrical, the marker image is a circle or an ellipse, so the dimensions of the marker image are at least the length of the long side, the length of the short side, and the diameter of the circle.

＜ステップＳ１０４＞
ステップＳ１０４において、認識部４１は、先のステップＳ１０３におけるツール１００の先端座標の認識が、本キャリブレーションのフローにおける初回の認識であるか否かの判定を実施する。初回である（ＹＥＳ）と判定した場合、認識部４１は、ステップＳ１０３で認識したツール１００の先端座標とマーカ像の寸法を、基準座標保持部４２に送信してステップＳ１０５に進む。一方、初回ではない（ＮＯ）と判定した場合、認識部４１は、ステップＳ１０３で認識したツール１００の先端座標を、軌道計画部４３に送信してステップＳ２０１に進む。 <Step S104>
In step S104, the recognition unit 41 determines whether the recognition of the tip coordinates of the tool 100 in the previous step S103 is the first recognition in this calibration flow. If it is determined that it is the first recognition (YES), the recognition unit 41 transmits the tip coordinates of the tool 100 recognized in step S103 and the dimensions of the marker image to the reference coordinate holding unit 42 and proceeds to step S105. On the other hand, if it is determined that it is not the first recognition (NO), the recognition unit 41 transmits the tip coordinates of the tool 100 recognized in step S103 to the trajectory planning unit 43 and proceeds to step S201.

＜ステップＳ１０５＞
ステップＳ１０５において、基準座標保持部４２は、認識部４１から受信した先端座標とマーカ像の寸法を、ツールの先端［Ｐ］の基準座標［Ｓｐ］として保存する（図４参照）。その後、ステップＳ１０６に進む。 <Step S105>
In step S105, the reference coordinate holding unit 42 stores the tip coordinates and the dimensions of the marker image received from the recognition unit 41 as the reference coordinates [Sp] of the tip [P] of the tool (see FIG. 4). Then, the process proceeds to step S106.

＜ステップＳ１０６＞
ステップＳ１０６において、ロボット姿勢記憶部４６は、エンコーダ読取部４５で読み取った複数（ここでは６個）のエンコーダの測定値を、ロボット１０の姿勢データとして保存する（図８参照）。 <Step S106>
In step S106, the robot posture storage unit 46 stores the measurement values of the multiple (six in this case) encoders read by the encoder reading unit 45 as posture data of the robot 10 (see FIG. 8).

＜ステップＳ１０７＞
ステップＳ１０７において、ロボット姿勢記憶部４６は、ステップＳ１０６で姿勢データを保存した回数が、所定回数に達したか否かの判定を実施する。ここで所定回数は、以降に実施するツールオフセットの算出（ステップＳ３０２）に必要な姿勢データ数以上に設定される。ロボット１０が６軸ロボットの場合には、ツールオフセットの算出に必要な姿勢データ数は３以上であり、例えば所定回数が４回に設定されていることとする。ロボット姿勢記憶部４６は、所定回数に達した（ＹＥＳ）と判断した場合にはステップＳ３０１に進み、所定回数に達していない（ＮＯ）と判断した場合にはステップＳ１０８に進む。 <Step S107>
In step S107, the robot posture storage unit 46 judges whether the number of times the posture data was saved in step S106 has reached a predetermined number. Here, the predetermined number is set to be equal to or greater than the number of posture data required for the subsequent calculation of the tool offset (step S302). In the case where the robot 10 is a six-axis robot, the number of posture data required for the calculation of the tool offset is three or more, and the predetermined number is set to four, for example. If the robot posture storage unit 46 judges that the predetermined number has been reached (YES), the process proceeds to step S301, and if it judges that the predetermined number has not been reached (NO), the process proceeds to step S108.

＜ステップＳ１０８＞
ステップＳ１０８において、制御部４４は、ロボット１０の姿勢を変更し、変更した姿勢においてツール１００の先端［Ｐ］が、基準座標保持部４２に保持された基準座標［Ｓｐ］となるようにロボット１０の姿勢を制御する。ここでの姿勢の制御は、エンコーダ値に基づく制御であることとする。その後、ステップＳ１０２に戻り、ステップＳ１０２およびステップＳ１０３を順に実施してツール１００の先端座標を認識し、ステップＳ１０４に進んで先端座標を軌道計画部４３に送信してステップＳ２０１に進む。 <Step S108>
In step S108, the control unit 44 changes the attitude of the robot 10, and controls the attitude of the robot 10 so that in the changed attitude, the tip [P] of the tool 100 is at the reference coordinate [Sp] held in the reference coordinate holding unit 42. The attitude control here is assumed to be control based on the encoder value. Thereafter, the process returns to step S102, and steps S102 and S103 are carried out in order to recognize the tip coordinates of the tool 100, and the process proceeds to step S104, where the tip coordinates are transmitted to the trajectory planning unit 43, and the process proceeds to step S201.

＜ステップＳ２０１＞
一方、Ｓ２０１は、ステップＳ１０４において、ツール１００の先端座標の認識が初回の認識ではないと判断して進んだステップである。この場合、軌道計画部４３は、姿勢を変更したロボット１０におけるツール１００の先端座標を、認識部４１から受信した状態となっている。このステップＳ２０１において、軌道計画部４３は、基準座標保持部４２に保持されている先端［Ｐ］の基準座標［Ｓｐ］を取得し、ステップＳ２０２に進む。 <Step S201>
On the other hand, S201 is a step to which the process proceeds after determining in step S104 that the recognition of the tip coordinates of the tool 100 is not the first recognition. In this case, the trajectory planning unit 43 is in a state of having received the tip coordinates of the tool 100 in the robot 10 whose posture has been changed from the recognition unit 41. In this step S201, the trajectory planning unit 43 acquires the reference coordinates [Sp] of the tip [P] held in the reference coordinate holding unit 42, and proceeds to step S202.

＜ステップＳ２０２＞
ステップＳ２０２において、軌道計画部４３は、ステップＳ１０８において姿勢を変更したロボット１０におけるツール１００の先端［Ｐ］を、基準座標［Ｓｐ］に一致させるための軌道を計画する。また、制御部４４は、軌道の計画に基づいてロボット１０を制御することで、ツール１００の先端［Ｐ］を基準座標［Ｓｐ］に一致させる。 <Step S202>
In step S202, the trajectory planning unit 43 plans a trajectory for aligning the tip [P] of the tool 100 in the robot 10, whose posture has been changed in step S108, with the reference coordinate [Sp]. The control unit 44 also controls the robot 10 based on the trajectory plan to align the tip [P] of the tool 100 with the reference coordinate [Sp].

ここで軌道計画部４３は、基準座標保持部４２から取得した基準座標［Ｓｐ］と、認識部４１から受信した先端座標との差分がゼロとなるような軌道を計画する。認識部４１から受信した先端座標は、ステップＳ１０８において姿勢を変更したロボット１０におけるツール１００の先端座標である。軌道計画部４３は、計画した軌道を制御部４４に送信する。制御部４４は、軌道計画部４３から送信された軌道の計画に基づいてロボット１０を制御し、ツール１００の先端［Ｐ］を基準座標［Ｓｐ］に一致させる（図７参照）。この際、制御部４４は、逐次に修正された軌道計画に基づいて、ロボット１０を制御する構成とする構成としてもよい。この場合、軌道計画部４３は、認識部４１からツール１００の先端［Ｐ］のセンサ座標系上の位置を周期的に取得し、逐次に軌道を修正することにより、軌道計画の精度を向上させることができる。 Here, the trajectory planning unit 43 plans a trajectory such that the difference between the reference coordinate [Sp] acquired from the reference coordinate holding unit 42 and the tip coordinate received from the recognition unit 41 is zero. The tip coordinate received from the recognition unit 41 is the tip coordinate of the tool 100 in the robot 10 whose posture has been changed in step S108. The trajectory planning unit 43 transmits the planned trajectory to the control unit 44. The control unit 44 controls the robot 10 based on the trajectory plan transmitted from the trajectory planning unit 43, and causes the tip [P] of the tool 100 to coincide with the reference coordinate [Sp] (see FIG. 7). At this time, the control unit 44 may be configured to control the robot 10 based on the trajectory plan that is successively corrected. In this case, the trajectory planning unit 43 periodically acquires the position of the tip [P] of the tool 100 on the sensor coordinate system from the recognition unit 41, and successively corrects the trajectory, thereby improving the accuracy of the trajectory plan.

ここで、図１０～図１２は、第１実施形態の制御方法において基準座標［Ｓｐ］にツール１００の先端位置のＸ座標、Ｙ座標、およびＺ座標を一致させる手順を示す図である。これらの図は、それぞれ二次元カメラを用いたセンサ２０（図５、図６参照）での撮像画９０であり、ツール１００の先端［Ｐ］を中心にしたマーカ［Ｍ］（図２参照）の像（マーカ像９０ｍ）が認識できている状態を示している。ここでマーカ［Ｍ］は、図２に示したように円柱形状のツール１００の先端［Ｐ］を中心とする吸着面１０１の周縁である。したがって図１０～図１２に示すように、マーカ像９０ｍは、円または楕円の像として認識される。以下、これらの図１０～図１２に基づいて、ステップＳ２０１およびステップＳ２０２において、ツール１００の先端［Ｐ］を基準座標［Ｓｐ］に一致させる手順の具体的な一例を説明する。 Here, Figs. 10 to 12 are diagrams showing the procedure for matching the X-coordinate, Y-coordinate, and Z-coordinate of the tip position of the tool 100 with the reference coordinate [Sp] in the control method of the first embodiment. These figures are images 90 captured by the sensor 20 (see Figs. 5 and 6) using a two-dimensional camera, and show a state in which an image (marker image 90m) of the marker [M] (see Fig. 2) centered on the tip [P] of the tool 100 can be recognized. Here, the marker [M] is the periphery of the suction surface 101 centered on the tip [P] of the cylindrical tool 100 as shown in Fig. 2. Therefore, as shown in Figs. 10 to 12, the marker image 90m is recognized as an image of a circle or an ellipse. Below, a specific example of the procedure for matching the tip [P] of the tool 100 with the reference coordinate [Sp] in steps S201 and S202 will be described based on these Figs. 10 to 12.

先ず図１０に示すように、基準座標［Ｓｐ］と、現時点で認識されているツール１００のマーカ像９０ｍから算出されるツール１００の先端座標とのＸ座標の差がゼロとなるように、軌道計画部４３が軌道を計画する。この計画にしたがって、制御部４４がロボット１０の駆動を制御する。この際、ランダムな軌道によってロボット１０を制御してＸ座標の差が０になった瞬間にロボット１０の動作を止めるよう制御してもよいし、Ｘ方向の差を動的に監視しながら、Ｘ座標の差が０になるようにフィードバック制御をしてもよいし、他の方法でもよい。 First, as shown in FIG. 10, the trajectory planning unit 43 plans a trajectory so that the difference in the X coordinate between the reference coordinate [Sp] and the tip coordinate of the tool 100 calculated from the currently recognized marker image 90m of the tool 100 becomes zero. The control unit 44 controls the drive of the robot 10 according to this plan. At this time, the robot 10 may be controlled according to a random trajectory so that the robot 10 stops moving the moment the difference in the X coordinate becomes zero, or feedback control may be performed while dynamically monitoring the difference in the X direction so that the difference in the X coordinate becomes zero, or other methods may be used.

次に、以上と同様の手順で、図１１に示すように、基準座標［Ｓｐ］と、現時点で認識されているツール１００のマーカ像９０ｍから算出されるツール１００の先端座標とのセンサ座標系におけるＹ座標の差をゼロとする。 Next, following the same procedure as above, as shown in FIG. 11, the difference in Y coordinate in the sensor coordinate system between the reference coordinate [Sp] and the tip coordinate of the tool 100 calculated from the currently recognized marker image 90m of the tool 100 is set to zero.

その後、図１２示すように、現時点で認識されているツール１００のマーカ像９０ｍの長辺の長さ［Ｌ９０］が、初回に認識された基準座標［Ｓｐ］のマーカ像の長辺の長さと、同じ大きさとなるように、軌道計画部４３が軌道を計画する。なお、初回に認識された基準座標［Ｓｐ］のマーカ像の寸法は、ステップＳ１０２において測長され、ステップＳ１０５において基準座標保持部４２に合わせて保存しておくこととする。 Then, as shown in FIG. 12, the trajectory planning unit 43 plans a trajectory so that the length [L90] of the long side of the marker image 90m of the tool 100 currently recognized is the same as the length of the long side of the marker image of the reference coordinate [Sp] recognized initially. The dimensions of the marker image of the reference coordinate [Sp] recognized initially are measured in step S102, and are stored in accordance with the reference coordinate holding unit 42 in step S105.

この計画にしたがって、制御部４４がロボット１０の駆動を制御し、センサ座標系におけるＺ座標の差をゼロとする。なお、上述したＺ座標の調整は、マーカ像の短辺の長さを一致させるようにしてもよい。 According to this plan, the control unit 44 controls the driving of the robot 10 to set the difference in the Z coordinate in the sensor coordinate system to zero. Note that the above-mentioned Z coordinate adjustment may be made so that the lengths of the short sides of the marker images are consistent.

以上のような制御は、高精度にセンシングが可能な二次元カメラをセンサ２０として用いた制御であるため、ツール１００の先端［Ｐ］の位置を高精度に制御することが可能である。さらに比較的、高精度な認識手法が存在する楕円もしくは円を対象に認識し、先端［Ｐ］位置を求めるので、より高精度な位置合わせが可能である。 The above-described control uses a two-dimensional camera capable of highly accurate sensing as the sensor 20, making it possible to control the position of the tip [P] of the tool 100 with high precision. Furthermore, since an ellipse or circle, for which there are relatively high-precision recognition methods, is recognized as the target and the tip [P] position is determined, more accurate alignment is possible.

なお以上説明した座標の差が０となる座標の一致の判断は、軌道計画部４３で実施してもよい。また、一致の判定部を制御装置４０内に実装し、判定部において、認識部４１で認識された先端［Ｐ］の位置と、基準座標保持部４２から取得した先端［Ｐ］の基準座標［Ｓｐ］との重なりを判定してもよい。また、他の方法で実施してもよい。 The determination of the coincidence of coordinates where the coordinate difference is zero as described above may be performed by the trajectory planning unit 43. Also, a coincidence determination unit may be implemented in the control device 40, and the determination unit may determine whether the position of the tip [P] recognized by the recognition unit 41 overlaps with the reference coordinate [Sp] of the tip [P] obtained from the reference coordinate holding unit 42. It may also be performed by other methods.

制御部４４は、ツール１００の先端［Ｐ］が、基準座標［Ｓｐ］に一致したことが判断された後、先に説明したステップＳ１０６に進む。これにより、ロボット姿勢記憶部４６は、この時点においてエンコーダ読取部４５で読み取ったエンコーダ値を、ロボット１０の姿勢データとして保存する（ステップＳ１０６、図８参照）。 After the control unit 44 determines that the tip [P] of the tool 100 coincides with the reference coordinate [Sp], the process proceeds to step S106 described above. As a result, the robot posture storage unit 46 stores the encoder value read by the encoder reading unit 45 at this point in time as posture data of the robot 10 (step S106, see FIG. 8).

＜ステップＳ３０１＞
一方、ステップＳ３０１は、ステップＳ１０７において、姿勢データを保存した回数が、所定回数に達した（ＹＥＳ）と判断して進んだステップである。このステップＳ３０１において、ツールオフセット算出部４７は、ロボット姿勢記憶部４６に保存されている複数の姿勢データに基づいて、ツールオフセットを算出する。この際、ツールオフセット算出部４７は、ロボット姿勢記憶部４６に保存されている複数の姿勢データに基づいて、ツール１００の各先端座標を算出し、基準座標［Ｓｐ］との差（誤差）が最小となるようなツールオフセットを算出する。ツールオフセット算出部４７は、算出したツールオフセットを、ツールオフセットの校正値とし制御部４４に送信する。 <Step S301>
On the other hand, step S301 is a step to which the process proceeds after determining in step S107 that the number of times the posture data has been stored has reached a predetermined number (YES). In this step S301, the tool offset calculation unit 47 calculates a tool offset based on the plurality of posture data stored in the robot posture storage unit 46. At this time, the tool offset calculation unit 47 calculates each tip coordinate of the tool 100 based on the plurality of posture data stored in the robot posture storage unit 46, and calculates a tool offset that minimizes the difference (error) from the reference coordinate [Sp]. The tool offset calculation unit 47 transmits the calculated tool offset to the control unit 44 as a calibration value of the tool offset.

＜ステップＳ３０２＞
ステップＳ３０２において、制御部４４は、もともと保持しているツールオフセットの初期値を、受信したツールオフセットの校正値で上書きし、ツールオフセットを更新してキャリブレーションを終了させる。 <Step S302>
In step S302, the control unit 44 overwrites the initial value of the tool offset that is originally held with the received calibrated value of the tool offset, updates the tool offset, and ends the calibration.

なお以上の説明においては、ツールオフセットは、制御部４４が予め保持していることとしたが、ツールオフセットは軌道計画部４３が予め保持していてもよい。この場合、軌道計画部４３は、入力装置３０からの指示と、認識部４１から取得した先端座標、および基準座標保持部４２から取得した基準座標と、保持しているツールオフセットとに基づいて、ロボット１０の軌道を計画する。 In the above description, the control unit 44 has been described as having previously stored the tool offset, but the tool offset may be previously stored by the trajectory planning unit 43. In this case, the trajectory planning unit 43 plans the trajectory of the robot 10 based on instructions from the input device 30, the tip coordinates acquired from the recognition unit 41, the reference coordinates acquired from the reference coordinate storage unit 42, and the stored tool offset.

またこの場合、先のステップＳ３０１においてツールオフセット算出部４７は、ツールオフセットの校正値を軌道計画部４３に送信する。また本ステップＳ３０２においては、軌道計画部４３が、もともと保持しているツールオフセットの初期値を、受信したツールオフセットの校正値で上書きし、ツールオフセットを更新してキャリブレーションを終了させる。 In this case, in the previous step S301, the tool offset calculation unit 47 transmits the calibration value of the tool offset to the trajectory planning unit 43. In this step S302, the trajectory planning unit 43 overwrites the initial value of the tool offset that is originally held with the received calibration value of the tool offset, updates the tool offset, and ends the calibration.

－第１実施形態の効果－
以上説明した第１実施形態は、ツール１００の先端［Ｐ］をセンサ座標系における基準座標［Ｓｐ］に一致させるように各姿勢のロボット１０を制御し、各姿勢においてのロボット１０の姿勢データに基づいて、ツールオフセットを算出する構成である。このため、各姿勢のロボット１０の制御においては、センサ２０を構成するレンズのひずみの影響を受けることなく、ツール１００の先端［Ｐ］をセンサ座標系における基準座標［Ｓｐ］に一致させることができる。これによりセンサ２０を構成するレンズのひずみを考慮することなく各姿勢のロボットを制御することができ、この結果ひずみの影響を含まない姿勢データに基づいて精度の良いツールオフセットを算出し、キャリブレーションの精度の向上を図ることが可能である。 --Effects of the First Embodiment--
The first embodiment described above is configured to control the robot 10 in each posture so that the tip [P] of the tool 100 coincides with the reference coordinate [Sp] in the sensor coordinate system, and calculate the tool offset based on the posture data of the robot 10 in each posture. Therefore, in controlling the robot 10 in each posture, the tip [P] of the tool 100 can be coincided with the reference coordinate [Sp] in the sensor coordinate system without being affected by the distortion of the lens constituting the sensor 20. This makes it possible to control the robot in each posture without considering the distortion of the lens constituting the sensor 20, and as a result, it is possible to calculate a highly accurate tool offset based on posture data that does not include the influence of the distortion, and improve the accuracy of the calibration.

また、人手を介さずに自動でキャリブレーションを遂行することが可能である。したがって、ピッキング失敗やピッキングのアイドルタイムの発生を検知し、自動的にキャリブレーション動作を開始する構成とすることも可能である。これにより、ピッキングの失敗率の削減やスループットの向上を図ることができる。 It is also possible to perform calibration automatically without human intervention. Therefore, it is possible to configure the system to detect picking failures or the occurrence of picking idle time and automatically start the calibration operation. This can reduce the picking failure rate and improve throughput.

≪第２実施形態≫
－ロボットシステム－
図１３および図１４は、第２実施形態に係るロボットシステム２の要部の構成図（その１）および（その２）である。これらの図に示すロボットシステム２が、図１～図１２を用いて説明した第１実施形態のロボットシステム１と異なるところは、ロボット１０に装着されるツール２００の構成にある。またセンサ２０は、三次元カメラである。さらに以降のロボットシステムの制御方法で説明するように、図３に示した制御装置４０の認識部４１におけるツール２００の先端の認識の手順が異なる。他の構成は、第１実施形態のロボットシステム１と同様である。 Second Embodiment
-Robot System-
Figures 13 and 14 are configuration diagrams (part 1) and (part 2) of the main parts of a robot system 2 according to the second embodiment. The robot system 2 shown in these figures differs from the robot system 1 of the first embodiment described with reference to Figures 1 to 12 in the configuration of the tool 200 attached to the robot 10. The sensor 20 is a three-dimensional camera. Furthermore, as will be described in the control method of the robot system below, the procedure for recognizing the tip of the tool 200 in the recognition unit 41 of the control device 40 shown in Figure 3 is different. The other configurations are similar to those of the robot system 1 of the first embodiment.

図１３、図１４に示すツール２００は、グリッパであって、複数本の指２０１を有し、複数本の指２０１によってここでの図示を省略したワークを保持する。ツール２００が有する指２０１の本数は、図面においては２本であるが、３本またはそれ以上であってもよい。 The tool 200 shown in Figures 13 and 14 is a gripper that has multiple fingers 201 and holds a workpiece (not shown here) with the multiple fingers 201. The number of fingers 201 on the tool 200 is two in the drawings, but it may be three or more.

認識部４１（図３参照）は、例えば複数の指２０１の先端の中心位置をツール２００の先端［Ｐ］として認識する。認識部４１は、先ずセンサ２０から取得したセンシングデータに基づいて、ツール２００を構成する各指２０１の先端をマーカ［Ｍ］として認識する。なお、マーカ［Ｍ］となる各指２０１の先端は、センサ２０によって認識し易いように着色してもよい。認識部４１はマーカ［Ｍ］を認識した後、例えば事前の入力によって保持しているマーカ［Ｍ］と先端［Ｐ］との位置関係の情報に基づいて、センサ座標系における先端［Ｐ］の位置を算出し、算出した位置を先端［Ｐ］の座標（先端座標）として認識する。 The recognition unit 41 (see FIG. 3) recognizes, for example, the center position of the tips of the multiple fingers 201 as the tip [P] of the tool 200. The recognition unit 41 first recognizes the tips of the fingers 201 constituting the tool 200 as markers [M] based on the sensing data acquired from the sensor 20. The tips of the fingers 201 that become the markers [M] may be colored so that they can be easily recognized by the sensor 20. After recognizing the marker [M], the recognition unit 41 calculates the position of the tip [P] in the sensor coordinate system based on information on the positional relationship between the marker [M] and the tip [P] that is held by prior input, for example, and recognizes the calculated position as the coordinates of the tip [P] (tip coordinates).

－ロボットシステムの制御方法－
第２実施形態におけるロボットシステムの制御方法は、図９を用いて説明した第１実施形態のロボットシステムの制御方法において、ステップＳ１０２およびステップＳ２０２が異なるのみである。 -Method for controlling a robot system-
The control method for the robot system in the second embodiment is different from the control method for the robot system in the first embodiment described with reference to FIG. 9 only in steps S102 and S202.

すなわち、ステップＳ１０２において、認識部４１（図３参照）は、センシングデータから、指２０１の先端をマーカ［Ｍ］（図１３，図１４参照）の位置として認識する。なお、次のステップＳ１０３においては、認識部４１は、複数のマーカ［Ｍ］の位置から、ツール２００の先端［Ｐ］の位置、すなわち先端座標を認識すればよい。この際、認識部４１は、例えば事前の入力によって保持している複数のマーカ［Ｍ］と先端［Ｐ］との位置関係の情報に基づいて、センサ座標系における先端［Ｐ］の座標を、先端座標として算出し、先端座標を認識する。認識した先端座標は、基準座標保持部４２に送信する。 That is, in step S102, the recognition unit 41 (see FIG. 3) recognizes the tip of the finger 201 as the position of the marker [M] (see FIGS. 13 and 14) from the sensing data. In the next step S103, the recognition unit 41 recognizes the position of the tip [P] of the tool 200, i.e., the tip coordinates, from the positions of the multiple markers [M]. At this time, the recognition unit 41 calculates the coordinates of the tip [P] in the sensor coordinate system as the tip coordinates based on information on the positional relationship between the multiple markers [M] and the tip [P] that is held, for example, by prior input, and recognizes the tip coordinates. The recognized tip coordinates are transmitted to the reference coordinate holding unit 42.

またステップＳ２０２において、ツール２００の先端［Ｐ］を基準座標［Ｓｐ］に一致させる場合、軌道計画部４３は、センサ２０として用いた三次元カメラからのセンシングデータに基づく制御を実施すればよい。すなわち、認識部４１で認識された先端座標のＸ座標、Ｙ座標、およびＺ座標を、基準座標［Ｓｐ］のＸ座標、Ｙ座標、およびＺ座標に一致させるように軌道を計画すればよい。 In addition, in step S202, when the tip [P] of the tool 200 is to be aligned with the reference coordinate [Sp], the trajectory planning unit 43 may perform control based on sensing data from the three-dimensional camera used as the sensor 20. In other words, the trajectory may be planned so that the X-coordinate, Y-coordinate, and Z-coordinate of the tip coordinate recognized by the recognition unit 41 are aligned with the X-coordinate, Y-coordinate, and Z-coordinate of the reference coordinate [Sp].

－第２実施形態の効果－
このような第２実施形態であっても、第１実施形態と同様に、センサ２０を構成するひずみの影響を含まない姿勢データに基づいて、精度の良いツールオフセットを算出し、キャリブレーションの精度の向上を図ることが可能である。また、自動的にキャリブレーション動作を開始する構成とすることも可能であり、ピッキングの失敗率の削減やスループットの向上を図ることができる。 --Effects of the second embodiment--
In the second embodiment, as in the first embodiment, it is possible to improve the accuracy of calibration by calculating a highly accurate tool offset based on the attitude data that does not include the influence of distortion constituting the sensor 20. In addition, it is also possible to configure the calibration operation to start automatically, which makes it possible to reduce the picking failure rate and improve the throughput.

≪第３実施形態≫
－ロボットシステム－
図１５は、第３実施形態に係るロボットシステム３の要部の構成図である。この図に示すロボットシステム３が、図１～図１２を用いて説明した第１実施形態のロボットシステム１と異なるところは、ロボット１０に装着されるツール３００の構成にある。またセンサ２０は、二次元カメラを用いることが好ましい。さらに以降のロボットシステムの制御方法で説明するように、図３に示した制御装置４０の認識部４１におけるツール３００の先端の認識の手順が異なる。他の構成は、第１実施形態のロボットシステム１と同様である。 Third Embodiment
-Robot System-
Fig. 15 is a configuration diagram of the main parts of a robot system 3 according to the third embodiment. The robot system 3 shown in this figure differs from the robot system 1 of the first embodiment described with reference to Figs. 1 to 12 in the configuration of the tool 300 attached to the robot 10. Also, it is preferable to use a two-dimensional camera as the sensor 20. Furthermore, as will be described in the control method of the robot system below, the procedure for recognizing the tip of the tool 300 in the recognition unit 41 of the control device 40 shown in Fig. 3 is different. The other configurations are similar to those of the robot system 1 of the first embodiment.

図１５に示すツール３００は、グリッパであって、複数本の指３０１を有し、複数本の指３０１によってここでの図示を省略したワークを保持する。ツール３００が有する指３０１の本数は、図面においては２本であるが、３本またはそれ以上であってもよい。また特に、これらの指３０１のうちの少なくとも１つは、ワークを保持する面に窪み３０１ａを有する。 The tool 300 shown in FIG. 15 is a gripper having multiple fingers 301, which hold a workpiece (not shown here). The number of fingers 301 on the tool 300 is two in the drawing, but it may be three or more. In particular, at least one of these fingers 301 has a recess 301a on the surface that holds the workpiece.

図１６は、第３実施形態に係るロボットシステム３の要部を説明するための図であって、ツール３００の構成を説明するための図である。図１５および図１６に示すように、窪み３０１ａは、以降に説明するキャリブレーション動作において、マーカ［Ｍ］となる所定の径を有する球体を所定状態で確実に保持することが可能な形状を有している。 Figure 16 is a diagram for explaining the main parts of the robot system 3 according to the third embodiment, and is a diagram for explaining the configuration of the tool 300. As shown in Figures 15 and 16, the recess 301a has a shape that can reliably hold in a predetermined state a sphere having a predetermined diameter that serves as a marker [M] in the calibration operation described below.

認識部４１（図３参照）は、ツール３００においてワークを保持する面側に設定した任意の一点を、ツール３００の先端［Ｐ］（図１５参照）として認識する。例えばここでは、１つの指３０１に設けた窪み３０１ａの中心を、先端［Ｐ］とする。認識部４１は、先ずセンサ２０から取得したセンシングデータに基づいて、ツール３００に所定状態で保持された所定の径を有する球体を、マーカ［Ｍ］として認識する。認識部４１はマーカ［Ｍ］を認識した後、例えば事前の入力によって保持しているマーカ［Ｍ］と先端［Ｐ］との位置関係の情報に基づいて、センサ座標系における先端［Ｐ］の位置を算出し、算出した位置を先端［Ｐ］の座標（先端座標）として認識する。 The recognition unit 41 (see FIG. 3) recognizes an arbitrary point set on the surface side of the tool 300 that holds the workpiece as the tip [P] (see FIG. 15) of the tool 300. For example, here, the center of the depression 301a provided in one finger 301 is set as the tip [P]. The recognition unit 41 first recognizes a sphere having a predetermined diameter held in a predetermined state by the tool 300 as a marker [M] based on the sensing data acquired from the sensor 20. After recognizing the marker [M], the recognition unit 41 calculates the position of the tip [P] in the sensor coordinate system based on information on the positional relationship between the marker [M] and the tip [P] that is held by, for example, prior input, and recognizes the calculated position as the coordinates of the tip [P] (tip coordinates).

－ロボットシステムの制御方法－
第３実施形態におけるロボットシステムの制御方法は、図９を用いて説明した第１実施形態のロボットシステムの制御方法において、ステップＳ１０１の前に、マーカ［Ｍ］となる所定の径を有する球体をツール３００で保持するステップを有する。マーカ［Ｍ］となる球体は、ロボット１０の手の届く範囲で、かつ通常のピッキング動作に影響のない場所に配置されていることとする。ツールオフセットの誤差が大きい場合、マーカ［Ｍ］を保持する際に、ツール３００によるマーカ［Ｍ］の保持位置にずれが生じるが、ツール３００に設けた窪み３０１ａによってそのずれは吸収され、マーカ［Ｍ］を所定状態で保持することができる。 -Method for controlling a robot system-
The control method of the robot system in the third embodiment includes a step of holding a sphere having a predetermined diameter to become the marker [M] by the tool 300 before step S101 in the control method of the robot system in the first embodiment described with reference to FIG. 9. The sphere to become the marker [M] is placed within the reach of the robot 10 and in a location that does not affect normal picking operations. If the error in the tool offset is large, a deviation occurs in the holding position of the marker [M] by the tool 300 when holding the marker [M], but the deviation is absorbed by the recess 301a provided in the tool 300, and the marker [M] can be held in a predetermined state.

またその後は、ステップＳ１０２が異なるのみである。すなわち、ステップＳ１０２において、認識部４１（図３参照）は、センシングデータから、球体からなるマーカ［Ｍ］の位置を認識すればよい。なお、次のステップＳ１０３においては、認識部４１は、複数のマーカ［Ｍ］の位置から、ツール３００の先端［Ｐ］の位置、すなわち先端座標を認識すればよい。この際、認識部４１は、例えば事前の入力によって保持している複数のマーカ［Ｍ］と先端［Ｐ］との位置関係の情報に基づいて、センサ座標系における先端［Ｐ］の座標を、先端座標として算出し、先端座標を認識する。認識した先端座標は、基準座標保持部４２に送信する。 Then, the only difference thereafter is step S102. That is, in step S102, the recognition unit 41 (see FIG. 3) recognizes the position of a marker [M] consisting of a sphere from the sensing data. In the next step S103, the recognition unit 41 recognizes the position of the tip [P] of the tool 300, i.e., the tip coordinate, from the positions of the multiple markers [M]. At this time, the recognition unit 41 calculates the coordinates of the tip [P] in the sensor coordinate system as the tip coordinate based on information on the positional relationship between the multiple markers [M] and the tip [P] that is held, for example, by prior input, and recognizes the tip coordinate. The recognized tip coordinate is transmitted to the reference coordinate holding unit 42.

ただし、ステップＳ１０１およびステップＳ１０８においては、マーカ［Ｍ］がセンサ２０によって確認できるように、ロボット１０の姿勢を制御する。またステップＳ２０２において、ツール２００の先端［Ｐ］を基準座標［Ｓｐ］に一致させる場合には、第１実施形態において図１０～図１２を用いて説明した手順で、センサ２０として用いた二次元カメラからのセンシングデータに基づく制御を実施すればよい。 However, in steps S101 and S108, the posture of the robot 10 is controlled so that the marker [M] can be confirmed by the sensor 20. Also, in step S202, when the tip [P] of the tool 200 is to be aligned with the reference coordinate [Sp], control based on sensing data from the two-dimensional camera used as the sensor 20 can be performed in the procedure described in the first embodiment using Figures 10 to 12.

－第３実施形態の効果－
このような第３実施形態であっても、第１実施形態と同様に、センサ２０を構成するひずみの影響を含まない姿勢データに基づいて、精度の良いツールオフセットを算出し、キャリブレーションの精度の向上を図ることが可能である。また自動的にキャリブレーション動作を開始する構成とすることも可能であり、ピッキングの失敗率の削減やスループットの向上を図ることができる。 --Effects of the third embodiment--
In the third embodiment, as in the first embodiment, it is possible to improve the accuracy of calibration by calculating a precise tool offset based on the attitude data that does not include the influence of the distortion constituting the sensor 20. In addition, it is possible to configure the calibration operation to start automatically, which makes it possible to reduce the picking failure rate and improve the throughput.

なお、本発明は上記した各実施形態に限定されるものではなく、さらに様々な変形例が含まれる。例えば、上記した実施形態は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、ロボット１０に装着する作業用のツールは、ベローズやグリッパに限定さえることはなく、他のツールであってもよい。また、マーカ［Ｍ］は、先端［Ｐ］を認識することを補助するものであればよく、円形や球に限定さえることはなく、他の形状（四角、三角など）の印や、他の形状（立方体、円錐、四角錘、円柱など）の立体でもよい。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 The present invention is not limited to the above-described embodiments, and further includes various modified examples. For example, the above-described embodiments have been described in detail to clearly explain the present invention, and are not necessarily limited to those having all of the configurations described. For example, the work tool attached to the robot 10 is not limited to a bellows or a gripper, and may be other tools. In addition, the marker [M] is not limited to a circle or a sphere, and may be a mark of other shapes (such as a square or a triangle) or a solid shape of other shapes (such as a cube, a cone, a square pyramid, or a cylinder) as long as it assists in recognizing the tip [P]. In addition, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment. In addition, it is possible to add, delete, or replace a part of the configuration of each embodiment with another configuration.

１，２，３…ロボットシステム
１０…ロボット
２０…センサ
４０…制御装置
４１…認識部
４２…基準座標保持部
４３…軌道計画部（ロボット制御部）
４４…制御部（ロボット制御部）
４５…エンコーダ読取部
４６…ロボット姿勢記憶部
４７…ツールオフセット算出部
１００，２００，３００…ツール
［Ｐ］…先端
［Ｍ］…マーカ REFERENCE SIGNS LIST 1, 2, 3... Robot system 10... Robot 20... Sensor 40... Control device 41... Recognition unit 42... Reference coordinate holding unit 43... Trajectory planning unit (robot control unit)
44: Control unit (robot control unit)
45: Encoder reading unit 46: Robot posture storage unit 47: Tool offset calculation unit 100, 200, 300: Tool [P]: Tip [M]: Marker

Claims

A robot system including a multi-joint robot equipped with a plurality of encoders, a sensor for capturing an image of a work area of the robot, and a control device for controlling the operation of the robot based on information from the sensor,
The control device includes:
a recognition unit that recognizes coordinates in a sensor coordinate system of a tip of a work tool attached to the robot based on information from the sensor;
a robot control unit that defines a tip position of the work tool relative to the robot as a tool offset, and changes the posture of the robot based on the tool offset and information from the recognition unit so that the tip of the work tool coincides with a reference coordinate set in the sensor coordinate system;
an encoder reading unit that reads an encoder value from an encoder of the robot in each of the changed postures;
a tool offset calculation unit that calculates a calibration value of the tool offset based on the encoder value in each of the attitudes read by the encoder reading unit ,
the work tool includes a marker that assists the recognition unit in recognizing a tip of the work tool,
The recognition unit recognizes the marker based on information from the sensor, and recognizes the tip based on the recognized marker.
Robot system.

The work tool is a bellows having a columnar tip surface as an adsorption surface,
The robot system according to claim 1 , wherein the recognition unit recognizes a periphery of the suction surface based on information from the sensor, and recognizes a center of the suction surface as a tip of the work tool based on the recognized periphery.

the work tool being a multi-fingered gripper;
The robot system according to claim 1 , wherein the recognition unit recognizes an arbitrary point set on any one of the plurality of fingers as a tip of the work tool.

The robot system according to any one of claims 1 to 3 , wherein the sensor is a two-dimensional camera.

The robot system according to any one of claims 1 to 4 , wherein the robot control unit performs control to change the posture of the robot when it detects an idle time during which no work is being performed by the work tool .

The robot system according to claim 1 , wherein the robot control unit performs control to change the posture of the robot when a failure in the work performed by the work tool is detected.

A method for controlling a robot system having a multi-joint robot equipped with a plurality of encoders, a sensor for capturing an image of a working range of the robot, and a control device for controlling driving of the robot based on information from the sensor, comprising:
a recognition unit of the control device recognizes coordinates in a sensor coordinate system of a tip of a work tool attached to the robot based on information from the sensor;
a robot control unit of the control device defines a tip position of the work tool relative to the robot as a tool offset, and changes the posture of the robot based on the tool offset and information from the recognition unit so that the tip of the work tool coincides with a reference coordinate set in the sensor coordinate system;
an encoder reading unit of the control device reads an encoder value from an encoder of the robot for each of the changed postures;
a tool offset calculation unit of the control device calculates a calibration value of the tool offset based on the encoder value in each of the attitudes read by the encoder reading unit,
The recognition unit of the control device recognizes a marker provided on the work tool to assist in recognition of the tip when recognizing the coordinates of the tip of the work tool in a sensor coordinate system, and recognizes the tip based on the recognized marker.
A method for controlling a robot system.