JP6907526B2 - Robot and imaging method - Google Patents
Robot and imaging method Download PDFInfo
- Publication number
- JP6907526B2 JP6907526B2 JP2016248823A JP2016248823A JP6907526B2 JP 6907526 B2 JP6907526 B2 JP 6907526B2 JP 2016248823 A JP2016248823 A JP 2016248823A JP 2016248823 A JP2016248823 A JP 2016248823A JP 6907526 B2 JP6907526 B2 JP 6907526B2
- Authority
- JP
- Japan
- Prior art keywords
- area sensor
- image
- robot
- sub
- relative movement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 30
- 238000000034 method Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 32
- 238000005096 rolling process Methods 0.000 claims description 20
- 230000009467 reduction Effects 0.000 claims description 16
- 230000032258 transport Effects 0.000 description 83
- 238000012546 transfer Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 20
- 230000007246 mechanism Effects 0.000 description 16
- 238000004519 manufacturing process Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 238000003780 insertion Methods 0.000 description 7
- 230000037431 insertion Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000036544 posture Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Studio Devices (AREA)
Description
本発明は、ロボットおよび撮像方法に関する。 The present invention relates to robots and imaging methods.
エリアセンサーの方式として、グローバルシャッター方式とローリングシャッター方式とが知られている。グローバルシャッター方式は、全ての素子が同時に露光され、一括で読み出される方式である。ローリングシャッター方式はライン方向（主走査方向）に垂直な副走査方向において、ライン毎に少しずつ異なるタイミングで露光が行われ、露光が完了したラインから順次読み出されるライン露光順次読み出方式である。 As the area sensor method, a global shutter method and a rolling shutter method are known. The global shutter method is a method in which all the elements are exposed at the same time and read out all at once. The rolling shutter method is a line exposure sequential reading method in which exposure is performed at slightly different timings for each line in the sub-scanning direction perpendicular to the line direction (main scanning direction), and the exposure is sequentially read from the completed line.
ローリングシャッター方式においては、副走査方向に位置が異なる各ラインにおいて露光のタイミングが異なるため、各ラインで撮像された被写体の画像は、異なるタイミングで撮像された被写体の画像である。従って、ローリングシャッター方式においては、露光タイミングが異なることに起因して副走査方向に画像が歪む場合があり、被写体とエリアセンサーとが相対的に移動している場合、相対速度が速くなると特に顕著に歪みが表れる。このような歪みは、例えば、特許文献１に開示されている。
In the rolling shutter method, since the exposure timing is different for each line whose position is different in the sub-scanning direction, the image of the subject captured in each line is an image of the subject captured at different timings. Therefore, in the rolling shutter method, the image may be distorted in the sub-scanning direction due to different exposure timings, and it is particularly remarkable when the relative speed is increased when the subject and the area sensor are relatively moving. Distortion appears in. Such distortion is disclosed in, for example,
一方、グローバルシャッター方式においては、ローリングシャッター方式のような副走査方向の画像の歪みは発生しない。このような事情から、エリアセンサーでワークなどの被写体を撮像し、撮像された画像に基づいて教示やピックアップ動作などの高度な位置等の制御を行うロボットにおいては、グローバルシャッター方式のエリアセンサーが用いられるのが常識とされていた。 On the other hand, in the global shutter method, distortion of the image in the sub-scanning direction does not occur unlike the rolling shutter method. Under these circumstances, the global shutter type area sensor is used in robots that image a subject such as a work with an area sensor and control advanced positions such as teaching and pickup operations based on the captured image. It was common sense to be done.
上述のようにグローバルシャッター方式のエリアセンサーを用いると、露光タイミングずれによる副走査方向の画像の歪みが発生しないが、グローバルシャッター方式のエリアセンサーはローリングシャッター方式のエリアセンサーに比較して非常に高価である。また、ローリングシャッター方式のエリアセンサーで撮像された画像の歪みを補正する技術は、例えば、特許文献１に開示されているように非常に複雑である。従って、相対移動する被写体を扱って高速に作業を進めるロボットにローリングシャッター方式のエリアセンサーを適用することは困難であった。
As described above, when the global shutter type area sensor is used, the image in the sub-scanning direction is not distorted due to the exposure timing shift, but the global shutter type area sensor is much more expensive than the rolling shutter type area sensor. Is. Further, the technique for correcting the distortion of the image captured by the rolling shutter type area sensor is very complicated as disclosed in
上記課題の少なくとも一つを解決するために、本発明のロボットは、ローリングシャッター方式のエリアセンサーを有するロボットであり、エリアセンサーに対して相対移動する被写体を撮像する場合、相対移動の方向とエリアセンサーの副走査方向とが平行であるように構成されている。ローリングシャッター方式のエリアセンサーに対して被写体が相対移動する場合、エリアセンサーと被写体との相対位置が異なる状態で各ラインにおける撮像が行われる。 In order to solve at least one of the above problems, the robot of the present invention is a robot having a rolling shutter type area sensor, and when imaging a subject that moves relative to the area sensor, the direction and area of the relative movement. It is configured to be parallel to the sub-scanning direction of the sensor. When the subject moves relative to the rolling shutter type area sensor, imaging is performed on each line with the relative positions of the area sensor and the subject different.
例えば、相対移動の方向が主走査方向に平行である場合、各ラインの露光タイミングにおける被写体とエリアセンサーとの相対位置は主走査方向において異なっており、撮像画像は主走査方向に歪んでしまう。このため、この歪みを解消しようとすれば、ライン毎に異なる補正量で被写体の位置を修正するなどの処理が必要になる。 For example, when the direction of relative movement is parallel to the main scanning direction, the relative positions of the subject and the area sensor at the exposure timing of each line are different in the main scanning direction, and the captured image is distorted in the main scanning direction. Therefore, in order to eliminate this distortion, it is necessary to perform processing such as correcting the position of the subject with a different correction amount for each line.
しかし、相対移動の方向が副走査方向に平行である場合、露光タイミングずれに起因した画像の歪みが主走査方向には発生せず、副走査方向に発生する。この結果、歪みの発生方向が単純になり、歪みの低減が容易になり、エリアセンサーで撮像された画像に基づいて教示やピックアップ動作を行うことが容易になる。このため、ローリングシャッター方式のエリアセンサーを備えるロボットを提供することが可能になり、グローバルシャッター方式のエリアセンサーを利用したロボットよりも低コストでロボットを提供することができる。 However, when the direction of relative movement is parallel to the sub-scanning direction, image distortion due to the exposure timing shift does not occur in the main scanning direction, but occurs in the sub-scanning direction. As a result, the direction in which the distortion is generated becomes simple, the distortion can be easily reduced, and the teaching and the pickup operation can be easily performed based on the image captured by the area sensor. Therefore, it becomes possible to provide a robot equipped with a rolling shutter type area sensor, and it is possible to provide a robot at a lower cost than a robot using a global shutter type area sensor.
さらに、エリアセンサーで撮像された画像に対して、副走査方向のみを縮小または伸張する画像処理が行われる構成であっても良い。この構成によれば、簡易な画像処理によって露光タイミングずれに起因した画像の歪みを低減することができる。 Further, the image captured by the area sensor may be subjected to image processing in which only the sub-scanning direction is reduced or expanded. According to this configuration, image distortion due to exposure timing deviation can be reduced by simple image processing.
さらに、相対移動の速度に応じて画像処理における縮小および伸張の比率を変化させる構成であっても良い。この構成によれば、相対移動速度が異なる場合であっても露光タイミングずれに起因した画像の歪みを低減することができる。 Further, the ratio of reduction and expansion in image processing may be changed according to the speed of relative movement. According to this configuration, it is possible to reduce image distortion due to exposure timing deviation even when the relative moving speeds are different.
さらに、ロボットが、相対移動の方向を取得する相対移動方向取得部と、取得された相対移動の方向に基づいて、エリアセンサーの副走査方向を相対移動の方向に平行にする駆動部と、を備えていても良い。この構成によれば、相対移動の方向が変化し得る構成においても、露光タイミングずれに起因する画像の歪みを低減することができる。 Further, the robot has a relative movement direction acquisition unit that acquires the relative movement direction, and a drive unit that makes the sub-scanning direction of the area sensor parallel to the relative movement direction based on the acquired relative movement direction. You may have it. According to this configuration, it is possible to reduce image distortion due to an exposure timing shift even in a configuration in which the direction of relative movement can be changed.
以下、本発明の実施形態について添付図面を参照しながら以下の順に説明する。なお、各図において対応する構成要素には同一の符号が付され、重複する説明は省略される。
（１）ロボットの構成：
（２）制御装置の構成：
（３）撮像装置の構成：
（４）教示処理：
（５）製造処理：
（６）他の実施形態：
Hereinafter, embodiments of the present invention will be described in the following order with reference to the accompanying drawings. The corresponding components in each figure are designated by the same reference numerals, and duplicate description is omitted.
(1) Robot configuration:
(2) Control device configuration:
(3) Configuration of imaging device:
(4) Teaching process:
(5) Manufacturing process:
(6) Other embodiments:
（１）ロボットの構成：
図１および図２は本発明の一実施形態にかかるロボット１の利用態様を示す図である。本実施形態にかかるロボット１は、水平多関節ロボット（ＳＣＡＲＡ型ロボット）である。本実施形態にかかるロボット１は水平面（ｘ−ｙ平面）に設置されており、水平面内においてｙ方向に平行な方向にワークを搬送可能な搬送装置２０，２１の間に設置されている。
(1) Robot configuration:
1 and 2 are diagrams showing a usage mode of the
ロボット１は、ベース１０とアーム１１とアーム１２とを備えており、ベース１０は、ｘ−ｙ平面に対して垂直な方向（ｚ軸方向）に向けて延び、上端（ｚ軸正方向の端部）においてアーム１１を回転可能に支持している。アーム１１は、ｘ−ｙ平面に対して平行に延びる部材であり、ベース１０と逆側の端部の上端でアーム１２を回転可能に支持している。すなわち、アーム１１は、ｚ軸に平行な回転軸Ａ1を中心にしてベース１０に対して回転可能であり、アーム１２は、ｚ軸に平行な回転軸Ａ2を中心にしてアーム１１に対して回転可能である。従って、ロボット１は、アーム１１，１２がｘ−ｙ平面内で回転可能な水平多関節ロボットである。
The
アーム１２の先端にはピックアップ部材３０と撮像装置３１とが取り付けられている。ピックアップ部材３０は、アーム１２に対してｚ軸方向に移動可能に支持されている。z軸方向への移動は種々の機構によって実現されて良く、例えば、ボールネジ機構やソレノイド等によって実現可能である。ピックアップ部材３０の下部には図示しない吸着機構が備えられており、真空ポンプ４５の動作による減圧が吸着機構の下方に存在する部品に作用することで、当該部品をピックアップ部材３０の下部に吸着することができる。従って、ピックアップ部材３０が部品上端まで近づけられた状態で吸着機構において減圧が行われると当該部品がピックアップされる。
A
撮像装置３１は、ピックアップ部材３０の下方に存在し得るワーク（被写体：部品や製造品等）を含む視野内の画像を撮像できるように、アーム１２の先端に取り付けられている。従って、撮像装置３１においては、ピックアップ部材３０によってピックアップされるワークやワークによる作業対象とそれらの周辺の画像を撮像することができる。また、撮像装置３１は、撮像エリアがｘ−ｙ平面に平行に向けられたエリアセンサー（不図示）と、当該エリアセンサーをｚ軸に平行な回転軸Ａ3で回転させる駆動部（不図示）を備えており、駆動部が駆動することによってエリアセンサーの向きをｘ−ｙ平面内で回転させることができる。なお、本実施形態において撮像装置３１に備えられたエリアセンサーは、ローリングシャッター方式のエリアセンサーである。
The
搬送装置２０は、複数の部品Ｗ1をｙ軸正方向に向けて搬送可能なコンベヤーであり、搬送装置２１は、複数の製造品Ｗ2をｙ軸正方向に向けて搬送可能なコンベヤーである。本実施形態において、搬送装置２０，２１は制御装置４０によって制御される。すなわち、制御装置４０は、図示しない制御部を備えており、当該制御部において実行するプログラムにより、搬送装置２０，２１に対して搬送速度を指示し、また、当該搬送速度を検出することができる。そして、制御部は、当該検出された搬送速度が指示通りの搬送速度となるように、搬送装置２０，２１の図示しないモーターを制御する。
The
以上のように、本実施形態においては、ロボット１の両側に配置された搬送装置２０，２１で部品Ｗ1および製造品Ｗ2が搬送されている。制御装置４０は、ロボット１の動作も制御可能であり、制御装置４０は、搬送装置２０上を流れる部品Ｗ1をピックアップする動作と、搬送装置２１上を流れる製造品Ｗ2に部品Ｗ1を嵌め込む組立動作とを、ロボット１に実行させる。
As described above, in the present embodiment, the parts W 1 and the manufactured product W 2 are transported by the
（２）制御装置の構成：
制御装置４０は、搬送装置２０，２１とロボット１とを制御することが可能である。以下、ロボット１を制御するために制御装置４０が備える構成を説明する。制御装置４０は、図示しないプログラムの実行部（ＣＰＵ，ＲＡＭ，ＲＯＭ等）を備えている。本実施形態においては、制御装置４０が制御プログラムを実行することにより、制御装置４０が相対移動方向取得部４１および駆動制御部４２として機能する。
(2) Control device configuration:
The
制御装置４０は、図示しないインタフェースを介して信号の入出力を行うことが可能であり、当該インタフェースを介してロボット１内のモーターと真空ポンプ４５と撮像装置３１とに接続されている。
The
制御装置４０は、駆動制御部４２の機能により、ロボット１と真空ポンプ４５と撮像装置３１とを制御することができる。すなわち、制御装置４０は、駆動制御部４２の機能により、アーム１１，１２およびピックアップ部材３０を駆動するための各モーターに制御信号を出力する。当該制御信号により、制御装置４０は、アーム１１，１２の角度を可動範囲内で任意の角度に調整することができ、アーム１２の先端に取り付けられたピックアップ部材３０を可動範囲内で任意の位置に移動させることができる。
The
制御装置４０は、真空ポンプ４５に対して制御信号を出力することにより、任意のタイミングでピックアップ部材３０内の圧力調整空間内を減圧させることができ、ピックアップ部材３０の下部の吸着機構に当該減圧を作用させてワークを吸着させることができる。また、制御装置４０は、ピックアップ部材３０に対して制御信号を出力することにより、任意のタイミングにおいて可動範囲内で任意の量だけピックアップ部材３０を上下動させることができる。
By outputting a control signal to the
さらに、制御装置４０は、撮像装置３１に対して制御信号を出力することにより、任意のタイミングで撮像装置３１内のエリアセンサーを動作させ、視野内の被写体を撮像させることができる。撮像された画像データは制御装置４０によって取得され、図示しない記録媒体に記録される。
Further, by outputting the control signal to the
本実施形態において、ロボット１は、任意の作業を行うために事前に教示が行われる。すなわち、作業の開始から終了までの動作が複数の工程に分割され、各工程が開始される際のロボット１の目標位置（アーム１１，１２の角度およびピックアップ部材３０の位置）が予め規定され、教示情報として図示しない記録媒体に記録されている。制御装置４０は、駆動制御部４２の機能により、当該教示情報を参照し、アーム１１，１２およびピックアップ部材３０に制御信号を出力することにより、アーム１１，１２の角度およびピックアップ部材３０の位置を教示情報が示す目標位置とする。なお、本実施形態においては、搬送装置２０，２１における部品Ｗ1および製造品Ｗ2の搬送方向が予め特定され、教示情報に含まれている。
In the present embodiment, the
また、制御装置４０は、駆動制御部４２の機能により、目標位置に達した後にピックアップ部材３０や真空ポンプ４５を既定の順序で動作させる。以上の処理を繰り返すことにより、制御装置４０は、ロボット１を既定の順序通りに動作させ、搬送装置２０上を流れる部品Ｗ1をピックアップ部材３０によってピックアップする動作と、搬送装置２１上を流れる製造品Ｗ2にピックアップした部品Ｗ1を嵌め込む組立動作とを実行させる。
Further, the
なお、本実施形態におけるロボット１は、撮像装置３１が撮像した画像に基づいて、搬送装置２０上を流れる部品Ｗ1の位置や、搬送装置２１上を流れる製造品Ｗ2の位置（部品Ｗ1を嵌め込む位置）を決定する。例えば、部品Ｗ1は、ｘ軸方向に複数個（図２では３個）並べられ、ｙ軸方向にも複数個並べられた状態で搬送装置２０によって搬送される。そして、ロボット１は、ｘ軸方向、ｙ軸方向に並べられた部品Ｗ1の中から１個を選択してピックアップして搬送装置２１側に運び、搬送装置２１によって搬送される製造品Ｗ2に取り付ける。
In the robot 1 of the present embodiment, the position of the component W 1 flowing on the
本実施形態において制御装置４０は、部品Ｗ1をピックアップする際、撮像装置３１によって搬送装置２０上を搬送される部品Ｗ1を撮像する。制御装置４０は、当該撮像画像を解析することにより、ピックアップ対象となる部品Ｗ1を特定し、搬送装置２０による搬送に伴う当該部品Ｗ1の位置変化を搬送装置２０の搬送速度に基づいて特定する。むろん、部品Ｗ1の位置変化は撮像画像に基づいて特定されても良い。そして、制御装置４０は、搬送装置２０によって搬送されている部品Ｗ1をピックアップできるようにアーム１１，１２を駆動し、特定された位置で吸着できるようにピックアップ部材３０および真空ポンプ４５を駆動することで、部品Ｗ1を１個ずつピックアップしていく。
In the present embodiment, when the
また、制御装置４０は、部品Ｗ1を製造品Ｗ2に取り付ける際、撮像装置３１によって搬送装置２１上を搬送される製造品Ｗ2を撮像する。制御装置４０は、当該撮像画像を解析することにより、製造品Ｗ2上での部品Ｗ1の嵌め込み位置を特定し、搬送装置２１による搬送に伴って変化する当該部品Ｗ1の嵌め込み位置を搬送装置２１の搬送速度（撮像画像が利用されても良い）に基づいて特定する。そして、制御装置４０は、特定された位置に部品Ｗ1を嵌め込むことができるようにアーム１１，１２を駆動し、特定された位置に部品Ｗ1を嵌め込むようにピックアップ部材３０および真空ポンプ４５を駆動することで、部品Ｗ1を１個ずつ嵌め込んでいく。
Further, when the component W 1 is attached to the manufactured product W 2 , the
（３）撮像装置の構成：
以上のように、本実施形態においてロボット１は、搬送装置２０，２１によってｙ軸方向に移動し得る部品Ｗ1や製造品Ｗ2を撮像し、撮像画像に基づいてロボット１の動作を調整する。従って、撮像画像内の被写体（部品Ｗ1および製造品Ｗ2）の位置や形状を正確に解析する必要がある。当該解析は、被写体の像に歪みがあると正確に実施することができない。そして、本実施形態におけるエリアセンサーはローリングシャッター方式のエリアセンサーであるため、露光タイミングずれに起因する画像の歪みが副走査方向に沿って発生し得る。
(3) Configuration of imaging device:
As described above, in the present embodiment, the robot 1 images the parts W 1 and the manufactured products W 2 that can move in the y-axis direction by the
図４は、撮像装置３１が備えるエリアセンサーの撮影範囲３１ｃ１を模式的に示した図である。図４の左側はエリアセンサーの撮影範囲３１ｃ１を模式的に示し、当該撮影範囲３１ｃ１の図の中に撮影範囲３１ｃ１に撮影されながら移動している被写体を模式的に示している。さらに、図４の右側には当該被写体がエリアセンサーの撮影範囲３１ｃ１で撮影された場合の撮像画像Ｉ1を模式的に示している。図４において、エリアセンサーの撮影範囲３１ｃ１は直交する２軸（ｉ軸およびｊ軸）に平行な２辺を有する矩形の範囲である。具体的には、エリアセンサーはｉ軸方向に複数の素子が並ぶことによって１ラインを構成し、各ラインがｊ方向に並んでいる。
FIG. 4 is a diagram schematically showing an imaging range 31c1 of an area sensor included in the
本実施形態において、エリアセンサーの撮影範囲３１ｃ１はローリングシャッター方式のエリアセンサーで撮影されるため、１ラインを構成する全素子の露光は同時に開始され、同時に終了する。一方、異なるラインにおける露光の開始タイミングは異なっており、ｊ軸方向の一方の端に存在するラインＬ1から露光が開始され、所定期間経過後に次のラインＬ2（不図示）の露光が開始される。以後、隣接するラインにおける露光開始タイミングが所定期間ずつずれながらライン順次に露光が開始され、やがて最終ラインＬnの露光が開始される。このように、各ラインで所定期間だけずれたタイミングで露光が開始され、各ラインで所定の露光期間だけ露光が行われると、各ラインにおいて順次露光が終了する。従って、本実施形態においてはｉ軸方向が主走査方向、ｊ軸方向が副走査方向となる。 In the present embodiment, since the photographing range 31c1 of the area sensor is photographed by the rolling shutter type area sensor, the exposure of all the elements constituting one line is started and ended at the same time. On the other hand, the start timing of exposure in different lines is different, the exposure is started from the line L 1 existing at one end in the j-axis direction, and the exposure of the next line L 2 (not shown) starts after a predetermined period of time has elapsed. Will be done. After that, the exposure of the adjacent lines is started sequentially while the exposure start timings are shifted by a predetermined period, and then the exposure of the final line Ln is started. In this way, the exposure is started at the timing deviated by a predetermined period in each line, and when the exposure is performed in each line for a predetermined exposure period, the exposure is sequentially completed in each line. Therefore, in the present embodiment, the i-axis direction is the main scanning direction and the j-axis direction is the sub-scanning direction.
ローリングシャッター方式においては、以上のように、ライン毎に露光開始タイミングがずれているため、各ラインにおいて撮像する時刻が異なっている。従って、エリアセンサーに対して相対的に移動する被写体が撮像される場合、異なる位置に存在する被写体が異なるラインで撮像されることになる。例えば、図４に示す例においてはｊ軸方向に副走査が行われるため、図４の上部に存在するラインは下部に存在するラインよりも早い時刻で被写体を撮像していることを示す。 In the rolling shutter method, as described above, since the exposure start timing is deviated for each line, the imaging time is different for each line. Therefore, when a subject moving relative to the area sensor is imaged, subjects existing at different positions are imaged on different lines. For example, in the example shown in FIG. 4, since the sub-scanning is performed in the j-axis direction, the line existing in the upper part of FIG. 4 shows that the subject is imaged at an earlier time than the line existing in the lower part.
ここで、図４に示すように、エリアセンサーの撮影範囲３１ｃ１が正方形の被写体Ｗを撮像する場合を考える。この被写体Ｗが、図４において破線の矢印で示すようにｉ軸の負方向に相対移動している場合、図４に示すエリアセンサーの撮影範囲３１ｃ１の下部に存在するラインは、上部に存在するラインよりも遅い時刻における被写体を撮像する。従って、図４の撮像画像Ｉ1として示されるように、被写体Ｗの像Ｉwの下部が上部よりもｉ軸の負方向に遷移した状態で画像が撮像される。 Here, as shown in FIG. 4, consider a case where the shooting range 31c1 of the area sensor captures a square subject W. When the subject W moves relative to the negative direction of the i-axis as shown by the broken line arrow in FIG. 4, the line existing in the lower part of the photographing range 31c1 of the area sensor shown in FIG. 4 exists in the upper part. Image the subject at a time later than the line. Therefore, as shown as the captured image I 1 in FIG. 4, the image is captured in a state where the lower portion of the image I w of the subject W transitions in the negative direction of the i-axis from the upper portion.
被写体Ｗの像Ｉwにおいては、副走査方向に沿って歪みの量が拡大していくため、当該歪みを補正しようとすると、ライン毎に異なる量の歪みを解消する必要があり、複雑な補正が必要になる。また、被写体Ｗの移動方向がｊ軸と非平行（例えば、ｊ軸に対して斜め）である場合、より複雑な歪みを含む画像が撮像されるため、歪みを解消するために極めて複雑な補正が必要になる。 In the image Iw of the subject W, the amount of distortion increases along the sub-scanning direction. Therefore, when trying to correct the distortion, it is necessary to eliminate a different amount of distortion for each line, which requires complicated correction. You will need it. Further, when the moving direction of the subject W is non-parallel to the j-axis (for example, oblique to the j-axis), an image including more complicated distortion is captured, so that extremely complicated correction is made to eliminate the distortion. Is required.
一方、被写体Ｗの移動方向が副走査方向であるｊ軸方向と平行である場合、歪みが単純になる。図５は、エリアセンサーの撮影範囲３１ｃ１が正方形の被写体Ｗを撮像する例であって、被写体Ｗが、図５の左側において破線の矢印で示すようにｊ軸の正方向に相対移動している例における撮像画像Ｉ2を模式的に示している。この例においても副走査方向はｊ軸の正方向であり、図５の下部に存在するラインは、上部に存在するラインよりも遅い時刻における被写体を撮像する。 On the other hand, when the moving direction of the subject W is parallel to the j-axis direction which is the sub-scanning direction, the distortion becomes simple. FIG. 5 shows an example in which the shooting range 31c1 of the area sensor captures a square subject W, and the subject W moves relative to the left side of FIG. 5 in the positive direction of the j-axis as shown by the broken line arrow. The captured image I 2 in the example is schematically shown. Also in this example, the sub-scanning direction is the positive direction of the j-axis, and the line existing in the lower part of FIG. 5 images the subject at a time later than the line existing in the upper part.
従って、図５の撮像画像Ｉ2として示されるように、被写体Ｗの像Ｉwがｊ軸の正方向に伸張した状態で画像が撮像される。この像Ｉwにおいて、ｉ軸方向において歪みの影響は現れず、ｊ軸方向のみに影響がある。従って、副走査方向のみを縮小する画像処理によって当該歪みを補正することができる。なお、副走査方向または被写体Ｗの移動方向が図５に示す例と逆方向である場合、撮像される画像は副走査方向に縮小された画像になる。従って、副走査方向のみを伸張する画像処理によって歪みを補正することができる。 Therefore, as shown as the captured image I 2 in FIG. 5, the image is captured in a state where the image I w of the subject W is extended in the positive direction of the j-axis. In this image Iw, the effect of distortion does not appear in the i-axis direction, but only in the j-axis direction. Therefore, the distortion can be corrected by image processing that reduces only the sub-scanning direction. When the sub-scanning direction or the moving direction of the subject W is opposite to the example shown in FIG. 5, the captured image becomes an image reduced in the sub-scanning direction. Therefore, the distortion can be corrected by the image processing that stretches only the sub-scanning direction.
そこで、本実施形態において、制御装置４０は、エリアセンサーに対して相対移動する被写体（部品Ｗ1や製造品Ｗ2）を撮像する場合に、相対移動の方向とエリアセンサーの副走査方向とが平行になるようにエリアセンサーの向きを制御する。このために、本実施形態にかかる撮像装置３１は、エリアセンサーの副走査方向を、被写体の相対移動の方向に平行にする駆動部を備えている。
Therefore, in the present embodiment, when the
図６は、撮像装置３１の構成例を示すブロック図である。図６に示すように、撮像装置３１は、相対移動方向受信部３１ａと駆動部３１ｂとエリアセンサー３１ｃとレンズ機構３１ｄを備えている。相対移動方向受信部３１ａは、被写体が搬送される搬送方向を示す情報を制御装置４０から受信することができる。
FIG. 6 is a block diagram showing a configuration example of the
すなわち、制御装置４０は、図示しないプログラムの実行部によって相対移動方向取得部４１として機能し、制御装置４０は相対移動方向取得部４１によって教示情報を参照し搬送装置２０，２１における部品Ｗ1，製造品Ｗ2の搬送方向を取得して撮像装置３１に対して送信する。撮像装置３１においては、相対移動方向受信部３１ａが当該搬送方向を取得する。当該搬送方向が特定されると、エリアセンサー３１ｃが搬送装置２０，２１の上空に存在する場合において、エリアセンサー３１ｃからみた被写体の移動方向が特定されることになる。従って、撮像装置３１は相対移動方向受信部３１ａによって、エリアセンサー３１ｃに対して被写体が相対移動する方向を取得することになる。駆動部３１ｂは、エリアセンサー３１ｃを当該エリアセンサー３１ｃの撮像面に平行な面内で回転させる機構を備えている。
That is, the
図６においては、駆動部３１ｂによってエリアセンサー３１ｃが回転可能であることが破線の矢印によって模式的に示されている。相対移動方向受信部３１ａが搬送装置２０における部品Ｗ1の搬送方向を取得すると、相対移動方向受信部３１ａが当該搬送方向に平行な方向を特定し、駆動部３１ｂに制御信号を出力する。この結果、駆動部３１ｂが回転機構を駆動してエリアセンサー３１ｃを回転させ、部品Ｗ1の搬送方向とエリアセンサー３１ｃの副走査方向とを平行にする。例えば、図１、図２に示す例であれば、ピックアップ部材３０において部品Ｗ1をピックアップする際に、ピックアップ部材３０が搬送装置２０の上空の教示位置に配置されると、エリアセンサー３１ｃの副走査方向がｙ軸に平行になる。
In FIG. 6, it is schematically indicated by the broken line arrow that the
相対移動方向受信部３１ａが搬送装置２１における製造品Ｗ2の搬送方向を取得すると、総体移動方向受信部３１ａが当該搬送方向に平行な方向を特定し、駆動部３１ｂに制御信号を出力する。この結果、駆動部３１ｂが回転機構を駆動してエリアセンサー３１ｃを回転させ、製造品Ｗ2の搬送方向とエリアセンサー３１ｃの副走査方向とを平行にする。例えば、図１、図２に示す例であれば、ピックアップ部材３０において部品Ｗ1を製造品Ｗ2に嵌め込む際に、ピックアップ部材３０が搬送装置２１の上空の教示位置に配置されると、エリアセンサー３１ｃの副走査方向がｙ軸に平行になる。なお、レンズ機構３１ｄは、被写体の像をエリアセンサー３１ｃの撮影範囲３１ｃ１に結像させる機構であれば良く、図６に示す例においては、二点鎖線で示すように被写体領域３１ｃ２を縮小してエリアセンサー３１ｃの撮影範囲３１ｃ１に結像させる縮小光学系である。また、レンズ機構３１ｄは、エリアセンサー３１ｃの回転とともに回転されても良いし、エリアセンサー３１ｃがレンズ機構３１ｄと独立に回転されてもよい。後者の場合、エリアセンサー３１ｃの回転軸はレンズ機構における光軸と一致していることが好ましい。
When the relative moving
エリアセンサー３１ｃによって撮像が行われると、撮像された画像を示す画像データは制御装置４０に送信され、図示しない記録媒体に記録される。制御装置４０は、駆動制御部４２の機能により、画像データが示す撮像画像に対して副走査方向のみを縮小または伸張する画像処理を行う。そして、制御装置４０は、画像処理後の画像を解析することにより、ピックアップ部材３０の位置を特定し、アーム１１，１２を駆動して特定された位置にピックアップ部材３０を配置する。
When the image is taken by the
本実施形態においては、露光タイミングずれに起因した画像の歪みが主走査方向には発生せず、副走査方向のみに発生するため、副走査方向のみを縮小または伸張する単純な画像処理によって歪みを補正することができる。従って、ロボット１は、撮像画像に基づいて正確な位置にピックアップ部材３０を配置しながら作業を行うことができる。以上の構成によれば、ローリングシャッター方式のエリアセンサーを利用して実用的なロボットを提供することができる。従って、グローバルシャッター方式のエリアセンサーを利用したロボットよりも低コストで実用的なロボットを提供することができる。
In the present embodiment, image distortion due to exposure timing deviation does not occur in the main scanning direction, but occurs only in the sub-scanning direction. Therefore, distortion is caused by simple image processing that reduces or expands only the sub-scanning direction. It can be corrected. Therefore, the
（４）教示処理：
次に、本実施形態にかかるロボット１に教示を行う際の教示処理を説明する。図７は、教示処理を示すフローチャートである。教示処理において、利用者は、部品のピックアップ工程の教示位置を教示する（ステップＳ１００）。すなわち、利用者は、ティーチングペンダント等を利用して、部品をピックアップする工程の初期位置にアーム１１，１２およびピックアップ部材３０を移動させる。例えば、搬送装置２０の上空にピックアップ部材３０が配置された教示位置において撮像装置３１で撮影された撮像画像に基づいて、ピックアップ対象の部品Ｗ1が選定され、吸着される工程がピックアップ工程である例を想定する。この場合、利用者は、ｘ軸方向に並ぶ部品Ｗ1の全列（図２に示す例であれば３列）が撮像装置３１の視野に含まれる角度にアーム１１，１２を回転させ、ピックアップ部材３０を最上部まで上昇させる。
(4) Teaching process:
Next, the teaching process when teaching the
そして、利用者は、ティーチングペンダント等を操作し、アーム１１，１２の角度とピックアップ部材３０の位置を教示位置とし、図示しない記録媒体に記録する。むろん、教示位置はより多数であっても良く、例えば、各部品Ｗ1がピックアップ部材３０で吸着される位置が教示され、撮像装置３１の撮像画像に基づいて当該位置が補正されながらピックアップが行われる構成等であっても良い。
Then, the user operates the teaching pendant or the like, sets the angles of the
教示情報が記録媒体に記録されると、次に、利用者は、部品の搬送方向を教示する（ステップＳ１０５）。すなわち、利用者は、搬送装置２０による部品Ｗ1の搬送方向を特定し、ロボット１のベース１０が設置された設置位置に対して固定されたロボット座標系（図１、図２に示すｘｙｚ座標系）における搬送方向を特定する。そして、利用者は、ティーチングペンダント等を操作し、当該搬送方向を教示情報として図示しない記録媒体に記録させる。例えば、図１，図２に示す例であれば、ｙ軸の正方向が搬送方向として教示される。
When the teaching information is recorded on the recording medium, the user then teaches the transport direction of the parts (step S105). That is, the user specifies the transport direction of the component W 1 by the
次に利用者は、製造品に対する部品の嵌め込み工程の教示位置を教示する（ステップＳ１１０）。すなわち、利用者は、ティーチングペンダント等を利用して、部品を製造品に嵌め込む工程の初期位置にアーム１１，１２およびピックアップ部材３０を移動させる。例えば、搬送装置２１の上空にピックアップ部材３０が配置された教示位置において撮像装置３１で撮影された撮像画像に基づいて、製造品Ｗ2に対して部品Ｗ1を嵌め込む凹部の位置が特定され、当該凹部に部品Ｗ1が嵌め込まれる工程が嵌め込み工程である例を想定する。
Next, the user teaches the teaching position of the part fitting process to the manufactured product (step S110). That is, the user uses the teaching pendant or the like to move the
この場合、利用者は、製造品Ｗ2の上部に存在する凹部が撮像装置３１の視野に含まれる角度にアーム１１，１２を回転させ、ピックアップ部材３０を最上部まで上昇させる。そして、利用者は、ティーチングペンダント等を操作し、アーム１１，１２の角度とピックアップ部材３０の位置を教示位置とし、図示しない記録媒体に記録する。むろん、教示位置がより多数であるなど、他の構成が採用されてもよい。
In this case, the user rotates the arms 11 and 12 at an angle in which the recess existing in the upper portion of the manufactured product W 2 is included in the field of view of the
教示情報が記録媒体に記録されると、次に、利用者は、製造品の搬送方向を教示する（ステップＳ１１５）。すなわち、利用者は、搬送装置２１による製造品Ｗ2の搬送方向を特定し、ロボット座標系（図１、図２に示すｘｙｚ座標系）における搬送方向を特定する。そして、利用者は、ティーチングペンダント等を操作し、当該搬送方向を教示情報として図示しない記録媒体に記録させる。例えば、図１，図２に示す例であれば、ｙ軸の正方向が搬送方向として教示される。以上のようにして任意の作業に関する教示情報が生成されると、制御装置４０は、当該教示情報に基づいて当該作業を実行することができる。
When the teaching information is recorded on the recording medium, the user then teaches the transport direction of the manufactured product (step S115). That is, the user specifies the transport direction of the manufactured product W 2 by the
（５）製造処理：
次に、製造処理を詳細に説明する。図８は、製造処理を示すフローチャートである。当該製造処理は、搬送装置２０によって部品Ｗ1が既定の搬送速度で搬送され、搬送装置２１によって製造品Ｗ2が既定の搬送速度で搬送されている状況で実行される。製造処理が開始されると、制御装置４０は、駆動制御部４２の機能により、部品のピックアップ工程の教示位置へアームを移動させる（ステップＳ２００）。すなわち、制御装置４０は、教示情報を参照し、ステップＳ１００で教示された教示位置にアーム１１，１２およびピックアップ部材３０を移動させるための制御信号を出力する。この結果、アーム１１，１２が回転し、教示位置とされた角度となって停止する。また、ピックアップ部材３０が最上部まで移動して停止する。
(5) Manufacturing process:
Next, the manufacturing process will be described in detail. FIG. 8 is a flowchart showing the manufacturing process. The manufacturing process is executed in a situation where the
次に、制御装置４０は、相対移動方向取得部４１の機能により、部品の搬送方向とエリアセンサーの副走査方向とを平行化させる（ステップＳ２０５）。すなわち、制御装置４０は、教示情報を参照して搬送装置２０の搬送方向を取得し、当該搬送方向を撮像装置３１に対して送信する。搬送方向が送信されると、撮像装置３１の相対移動方向受信部３１ａは、当該搬送方向を受信する。そして、相対移動方向受信部３１ａは当該搬送方向を特定し、駆動部３１ｂに制御信号を出力する。駆動部３１ｂは回転機構を駆動してエリアセンサー３１ｃを回転させる。この結果、部品Ｗ1の搬送方向とエリアセンサー３１ｃの副走査方向とが平行になる。
Next, the
次に、制御装置４０は、エリアセンサー３１ｃによる撮像を行う（ステップＳ２１０）。すなわち、制御装置４０は、駆動制御部４２の機能により、撮像装置３１に制御信号を出力し、エリアセンサー３１ｃの撮像画像を取得する。次に、制御装置４０は、駆動制御部４２の機能により、当該撮像画像に対して補正を行う（ステップＳ２１５）。すなわち、本実施形態においては、部品Ｗ1の移動方向とエリアセンサーの副走査方向とが平行であるため、部品Ｗ1の像は副走査方向に歪み、主走査方向には歪まない。そこで、制御装置４０は、撮像された画像に対して副走査方向のみを縮小または伸張する画像処理を行う。より具体的には、相対移動の速度に応じた比率で縮小または伸張を実行する。
Next, the
本実施形態においては、相対移動の速度毎の比率（相対移動速度の大きさおよび方向に対応づけられた比率）が予め決められており、図示しない記録媒体に記録されている。そこで、制御装置４０は、当該記録媒体を参照して搬送装置２０による搬送速度および方向に基づいて、相対移動の速度に応じた比率を取得する。すなわち、本実施形態においてエリアセンサー３１ｃは静止した状態で撮像されるため、制御装置４０は、搬送速度の方向と光学系による像の逆転とに基づいて、搬送装置２０の搬送速度および方向からエリアセンサー３１ｃ上での被写体の相対移動速度の大きさおよび方向を特定することができる。そして、制御装置４０は、エリアセンサー３１ｃ上での被写体の相対移動方向が副走査方向と一致する場合、相対移動速度の大きさおよび方向に対応した比率で縮小を行う。一方、エリアセンサー３１ｃ上での像の移動方向が副走査方向と逆向きである場合、制御装置４０は、対移動速度の大きさおよび方向に対応した比率で伸張を行う。
In the present embodiment, the ratio for each relative movement speed (ratio associated with the magnitude and direction of the relative movement speed) is predetermined and is recorded on a recording medium (not shown). Therefore, the
なお、相対移動の速度に応じた比率は、種々の手法で特定されて良い。例えば、相対移動速度毎の歪みの量は複数の相対速度および方向によって被写体を撮像するなどして予め特定することができる。そこで、複数の相対移動速度および方向、相対移動速度０で部品を撮像し、各相対移動速度および方向で撮像された部品の像の副走査方向の長さを相対移動速度０で撮影された部品の像の副走査方向の長さで除することより、各相対移動速度の比率が予め特定される。そして、各相対移動速度と比率とを対応づけたテーブル情報や、相対移動速度から比率を算出する関数情報が生成され、図示しない記録媒体に記録すれば良い。以上の構成によれば、縮小または伸張といった極めて単純な画像処理によって露光タイミングずれに起因した画像の歪みを補正することができる。 The ratio according to the relative movement speed may be specified by various methods. For example, the amount of distortion for each relative moving speed can be specified in advance by imaging a subject with a plurality of relative speeds and directions. Therefore, the component is imaged at a plurality of relative movement speeds and directions and the relative movement speed is 0, and the length of the image of the component imaged at each relative movement speed and direction in the sub-scanning direction is photographed at the relative movement speed of 0. The ratio of each relative moving speed is specified in advance by dividing by the length of the image in the sub-scanning direction. Then, table information in which each relative movement speed and the ratio are associated with each other and function information for calculating the ratio from the relative movement speed may be generated and recorded on a recording medium (not shown). According to the above configuration, image distortion caused by exposure timing deviation can be corrected by extremely simple image processing such as reduction or expansion.
次に、制御装置４０は、補正後の画像に基づいて部品をピックアップする（ステップＳ２２０）。すなわち、制御装置４０は、補正後の画像に基づいて、ピックアップ対象の部品Ｗ1を特定し、補正後の画像に基づいて当該ピックアップ対象の部品Ｗ1の正確な位置を特定する。また、制御装置４０は、搬送装置２０の搬送速度とピックアップ部材３０の動作（移動、下降、吸着）に要する時間に基づいて、当該時間が経過した後における部品Ｗ1の位置を特定する。そして、制御装置４０は、駆動制御部４２の機能により、ロボット１のモーターに制御信号を出力し、アーム１１，１２を移動させ、当該位置の上空にピックアップ部材３０を配置する。さらに、制御装置４０は、ロボット１のモーターに制御信号を出力し、ピックアップ部材３０を下降させる。そして、真空ポンプ４５に制御信号を出力することにより、ピックアップ部材３０に部品Ｗ1を吸着させる。
Next, the
次に、制御装置４０は、駆動制御部４２の機能により、製造品に対する嵌め込み工程の教示位置へアームを移動させる（ステップＳ２２５）。すなわち、制御装置４０は、教示情報を参照し、ステップＳ１１０で教示された教示位置にアーム１１，１２およびピックアップ部材３０を移動させるための制御信号を出力する。この結果、アーム１１，１２が回転し、教示位置とされた角度となって停止する。また、ピックアップ部材３０が最上部まで移動して停止する。
Next, the
次に、制御装置４０は、相対移動方向取得部４１の機能により、製造品の搬送方向とエリアセンサーの副走査方向とを平行化させる（ステップＳ２３０）。すなわち、制御装置４０は、教示情報を参照して搬送装置２１の搬送方向を取得し、当該搬送方向を撮像装置３１に対して送信する。搬送方向が送信されると、撮像装置３１の相対移動方向受信部３１ａは、当該搬送方向を受信する。そして、相対移動方向受信部３１ａは当該搬送方向に平行な方向を特定し、駆動部３１ｂに制御信号を出力する。この結果、製造品Ｗ2の搬送方向とエリアセンサー３１ｃの副走査方向とが平行になる。
Next, the
次に、制御装置４０は、エリアセンサー３１ｃによる撮像を行う（ステップＳ２３５）。すなわち、制御装置４０は、駆動制御部４２の機能により、撮像装置３１に制御信号を出力し、エリアセンサー３１ｃの撮像画像を取得する。次に、制御装置４０は、駆動制御部４２の機能により、当該撮像画像に対して補正を行う（ステップＳ２４０）。すなわち、制御装置４０は、記録媒体を参照して搬送装置２１による搬送速度に応じた比率を取得する。そして、搬送方向が副走査方向と一致している場合、制御装置４０は、当該比率で撮像画像を縮小する。一方、搬送方向が副走査方向と逆向きである場合、制御装置４０は、当該比率で撮像画像を伸張させる。ここでも、縮小または伸張といった極めて単純な画像処理によって露光タイミングずれに起因した画像の歪みを補正することができる。
Next, the
次に、制御装置４０は、補正後の画像に基づいて部品を製造品に挿入する（ステップＳ２４５）。すなわち、制御装置４０は、補正後の画像に基づいて、挿入対象の製造品Ｗ2を特定し、補正後の画像に基づいて当該挿入対象の製造品Ｗ2における挿入部の正確な位置を特定する。また、制御装置４０は、搬送装置２０の搬送速度とピックアップ部材３０の動作（移動、下降、吸着の解除）に要する時間に基づいて、当該時間が経過した後における挿入部の位置を特定する。
Next, the
そして、制御装置４０は、駆動制御部４２の機能により、ロボット１のモーターに制御信号を出力し、アーム１１，１２を移動させ、当該位置の上空にピックアップ部材３０を配置する。さらに、制御装置４０は、ロボット１のモーターに制御信号を出力し、ピックアップ部材３０を下降させる。そして、真空ポンプ４５に制御信号を出力することにより、ピックアップ部材３０による部品Ｗ1の吸着を解除して挿入部に対する挿入を完了させる。
Then, the
次に、制御装置４０は、製造が完了したか否かを判定する（ステップＳ２５０）。すなわち、製造の完了条件は予め特定されており、当該完了条件が満たされた場合、制御装置４０は、製造が完了したと判定する。なお、製造の完了条件は、種々の条件によって定義可能であり、例えば、製造品に対する既定回数の挿入の完了や、部品または製造品が搬送装置で搬送されない状態になったことなど、種々の条件が設定されて良い。ステップＳ２５０において、製造が完了したと判定されない場合、制御装置４０は、ステップＳ２００以降の処理を繰り返す。ステップＳ２５０において、製造が完了したと判定された場合、制御装置４０は、製造処理を終了する。
Next, the
（６）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、他にも種々の実施形態を採用可能である。例えば、制御装置は、ロボットに内蔵されていても良いし、ロボットの設置場所と異なる場所、例えば外部のサーバ等に備えられていても良い。さらに、制御装置が複数のロボットを制御するように構成されていても良い。むろん、制御装置が複数の装置に分散して配置されていても良い。例えば、制御装置の一部がロボットに内蔵され、他の一部がロボットの外部のサーバ等に配置されていても良い。さらに、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。
(6) Other embodiments:
The above embodiment is an example for carrying out the present invention, and various other embodiments can be adopted. For example, the control device may be built in the robot, or may be provided in a place different from the place where the robot is installed, for example, an external server. Further, the control device may be configured to control a plurality of robots. Of course, the control devices may be distributed and arranged in a plurality of devices. For example, a part of the control device may be built in the robot, and the other part may be arranged in a server or the like outside the robot. Further, some configurations of the above-described embodiments may be omitted, and the order of processing may be changed or omitted.
ロボットは、ローリングシャッター方式のエリアセンサーを有していれば良い。すなわち、ロボットは、エリアセンサーで撮像された画像に基づいて動作可能であれば良い。エリアセンサーの被写体は、種々の被写体を想定可能であるが、ロボットによる作業の対象となるワーク等が被写体となり得る。ワークは、ロボットによってピックアップされる部品等であっても良いし、ロボットによって部品等が取り付けられる取付対象品や組立対象品等であっても良いし、ロボットによる作業（ネジ締め、研磨、バリ取り等）が行われる作業対象品であっても良く、種々のワークが想定可能である。 The robot may have a rolling shutter type area sensor. That is, the robot may operate based on the image captured by the area sensor. Various subjects can be assumed as the subject of the area sensor, but a work or the like that is the target of work by the robot can be the subject. The work may be a part or the like picked up by the robot, an attachment target item or an assembly target item to which the parts or the like are attached by the robot, or work by the robot (screw tightening, polishing, deburring). Etc.) may be performed on the work target product, and various works can be assumed.
ローリングシャッター方式のエリアセンサーは複数のラインが並び、各ラインが複数の素子を備えている。そして、ライン毎に異なるタイミングで露光が開始され、ライン順次に各素子の露光結果が読み出されれば良い。エリアセンサーは、被写体を視野に含むように設置されればよく、ロボットがエリアセンサーの位置や姿勢を変化させることが可能な駆動部を備えていても良いし、固定的に設置されても良い。 The rolling shutter type area sensor has a plurality of lines lined up, and each line has a plurality of elements. Then, the exposure may be started at different timings for each line, and the exposure result of each element may be read out in sequence for each line. The area sensor may be installed so as to include the subject in the field of view, and may be provided with a drive unit capable of changing the position or posture of the area sensor by the robot, or may be installed fixedly. ..
また、エリアセンサーは種々の態様で提供されて良く、ロボットの構造体（アーム等）に内蔵されても良いし、エリアセンサーを含む撮像装置がエンドエフェクターや他の部位（人型ロボットの頭部等）に対して着脱可能であっても良い。ロボットにおいて、駆動部の移動方向や可動軸の数などは任意であり、任意の態様のロボットが採用されてよい。従って、上述のような水平多関節ロボットの他にも、直交ロボット、垂直多関節ロボット、双腕ロボットなど、種々の態様のロボットを本発明の実施形態とすることができる。 Further, the area sensor may be provided in various forms, may be built in a robot structure (arm or the like), or an imaging device including the area sensor may be provided as an end effector or another part (head of a humanoid robot). Etc.), it may be removable. In the robot, the moving direction of the drive unit, the number of movable axes, and the like are arbitrary, and a robot of any aspect may be adopted. Therefore, in addition to the above-mentioned horizontal articulated robots, various modes of robots such as Cartesian robots, vertical articulated robots, and dual-arm robots can be the embodiments of the present invention.
図９は、直交ロボット２の例を示す図である。直交ロボット２は、ベース２００、アーム２１０，２２０、ハンド２３０，撮像装置２３１を備えている。アーム２１０はベース２００に形成された溝２００ａに沿ってｙ軸方向に移動可能であり、アーム２２０はアーム２１０に形成された図示しない溝に沿ってｚ軸方向に移動可能である。ハンド２３０はアーム２２０に形成された図示しない溝に沿ってｘ軸方向に移動可能である。
FIG. 9 is a diagram showing an example of the
直交ロボット２は、図示しない制御装置によって制御され、ハンド２３０を可動範囲内の任意の位置に移動させ、種々の作業を行うことができる。図９は、部品Ｗ3をハンド２３０によってピックアップし、部品Ｗ4に組み付ける組立作業を行う例である。この実施形態においても、撮像装置２３１にはエリアセンサーが組み込まれており、エリアセンサーはｘ−ｙ平面に平行に配向されているとともに、ｚ軸に平行な回転軸を中心に回転可能である。
The
制御装置は、ハンド２３０の移動の過程で撮像装置２３１によって部品Ｗ3を撮像しながら、ハンド２３０によって部品Ｗ3をピックアップするためにハンド２３０を配置すべき位置を特定する。また、ピックアップした部品Ｗ3を部品Ｗ4に対して組み付けるためにハンド２３０を配置すべき位置を特定する。この際、制御装置は、撮像装置２３１の図示しない駆動部に制御信号を出力し、部品Ｗ3や部品Ｗ4のエリアセンサーに対する相対移動方向に対して、エリアセンサーの副走査方向が平行になるようにエリアセンサーの向きを調整する。
The control device identifies the position where the
すなわち、制御装置は、ハンド２３０の移動方向に対して平行になるようにエリアセンサーの向きを調整する。制御装置は、エリアセンサーの向きが調整された後に撮像された画像を補正し、補正後の画像に基づいてハンド２３０を配置すべき位置を特定する。この実施形態においても、部品Ｗ3や部品Ｗ4のエリアセンサーに対する相対移動方向に、エリアセンサーの副走査方向が平行であるため、制御装置は、単純な画像処理によって露光タイミングずれによる画像の歪みを低減した上で画像を解析することができる。
That is, the control device adjusts the direction of the area sensor so as to be parallel to the moving direction of the
図１０は、垂直多関節ロボット３の例を示す図である。垂直多関節ロボット３は、ベース３００とベース３００から延びる複数のアームを備えている。アームは、曲げ関節（回転軸に垂直な方向に延びるアームが回転する関節）および捻り関節（回転軸に平行な方向に延びるアームが回転する関節）の少なくとも一方を複数個備えていれば良く、種々の構成を使用可能である。
FIG. 10 is a diagram showing an example of a vertical articulated
アームの先端にはハンド３３０と撮像装置３３１とが備えられている。垂直多関節ロボット３は、図示しない制御装置によって制御され、アームが種々の方向に回転することにより、可動範囲内において種々の位置にハンド３３０を配置し、ハンド３３０の姿勢が種々の姿勢になるように調整することができる。
A
図１０は、部品Ｗ5をハンド３３０によってピックアップし、部品Ｗ6の挿入穴Ｈに挿入する作業を行う例である。この実施形態においても、撮像装置３３１にはエリアセンサーが組み込まれており、エリアセンサーは撮像装置３３１が延びる方向Ａｘに垂直に配向されているとともに、当該方向Ａｘに平行な回転軸を中心に回転可能である。
FIG. 10 shows an example in which the component W 5 is picked up by the
制御装置は、ハンド３３０の移動の過程で撮像装置３３１によって部品Ｗ5を撮像しながら、ハンド３３０によって部品Ｗ5をピックアップするためにハンド３３０を配置すべき位置を特定する。また、ピックアップした部品Ｗ5を部品Ｗ6の挿入穴Ｈに挿入するためにハンド３３０を配置すべき位置を特定する。この際、制御装置は、撮像装置３３１の図示しない駆動部に制御信号を出力し、部品Ｗ5や部品Ｗ6のエリアセンサーに対する相対移動方向に対して、エリアセンサーの副走査方向が平行になるようにエリアセンサーの向きを調整する。
The control device identifies the position where the
すなわち、制御装置は、ハンド３３０の移動方向に対して平行になるようにエリアセンサーの向きを調整する。制御装置は、エリアセンサーの向きが調整された後に撮像された画像を補正し、補正後の画像に基づいてハンド３３０を配置すべき位置を特定する。この実施形態においても、部品Ｗ5や部品Ｗ6のエリアセンサーに対する相対移動方向に、エリアセンサーの副走査方向が平行であるため、制御装置は、単純な画像処理によって露光タイミングずれによる画像の歪みを低減した上で画像を解析することができる。
That is, the control device adjusts the direction of the area sensor so as to be parallel to the moving direction of the
さらに、当該実施形態にかかる垂直多関節ロボット３は、ハンド３３０の移動軌跡および姿勢の選択自由度が高いため、各種の軌跡及び姿勢で部品Ｗ5や部品Ｗ6にハンド３３０を近づけることができる。そこで、軌跡が柔軟に変化したとしても、制御装置が被写体の相対移動方向に平行になるようにエリアセンサーの副走査方向を追従させて変化させる構成とすれば、移動過程において撮像された各撮像画像を単純な画像処理によって処理することで歪みを低減することが可能になる。
Further, since the vertical articulated
エリアセンサーにおいては各種の被写体を撮像することが可能であり、エリアセンサーに対して相対移動する被写体が撮像可能であればよい。相対移動は、エリアセンサーと被写体との少なくとも一方が移動することによって実現されれば良い。従って、搬送装置等によって移動する被写体がエリアセンサーによって撮像されても良いし、固定的に存在する被写体が移動するエリアセンサーによって撮像されても良いし、移動する被写体が移動するエリアセンサーによって撮像されても良い。 The area sensor can image various subjects, and it is sufficient that a subject moving relative to the area sensor can be imaged. Relative movement may be realized by moving at least one of the area sensor and the subject. Therefore, a moving subject by a transport device or the like may be imaged by an area sensor, a fixedly existing subject may be imaged by a moving area sensor, or a moving subject may be imaged by a moving area sensor. You may.
相対移動の方向は一定であっても良いし、変化しても良い。すなわち、相対移動の方向が一定である場合、当該直線的な相対移動の方向に対してエリアセンサーの副走査方向が平行であれば良い。相対移動の方向が変化する場合、当該相対移動の方向の変化に追従するようにエリアセンサーの位置および向きが変化し、副走査方向が平行になるように構成されていても良い。 The direction of relative movement may be constant or may change. That is, when the direction of relative movement is constant, the sub-scanning direction of the area sensor may be parallel to the linear relative movement direction. When the direction of relative movement changes, the position and direction of the area sensor may change so as to follow the change in the direction of relative movement, and the sub-scanning directions may be parallel to each other.
エリアセンサーの向きは、その副走査方向が相対移動の方向と平行であることにより、露光タイミングずれに起因した画像の歪みが単純になり、ロボットでの使用に耐えない程の歪みが生じることが防止できれば（または補正で低減できる程度の歪みであれば）良い。従って、ロボットでの使用に耐えない歪みが生じないのであれば、平行から微小な範囲で角度がずれていても良い。すなわち、露光タイミングずれに起因した画像の歪みが単純になり、撮像された画像をそのまま使用可能であるか、単純な画像処理で歪みを低減して撮像された画像を使用可能である場合には、相対移動の方向とエリアセンサーの副走査方向とが平行であるといえる。 Since the direction of the area sensor is parallel to the direction of relative movement in the sub-scanning direction, the distortion of the image due to the exposure timing shift becomes simple, and the distortion that cannot be used by the robot may occur. It is good if it can be prevented (or if the distortion can be reduced by correction). Therefore, the angle may deviate in a minute range from parallel as long as the distortion that cannot be used by the robot does not occur. That is, when the distortion of the image due to the exposure timing shift becomes simple and the captured image can be used as it is, or when the image captured with the distortion reduced by simple image processing can be used. It can be said that the direction of relative movement and the sub-scanning direction of the area sensor are parallel.
さらに、補正で低減できる程度の歪みにするために、エリアセンサーに対する被写体の相対移動方向が変化し得る構成のロボットにおいて、常にエリアセンサーに対する被写体の相対移動方向とエリアセンサーの副走査方向とが（平行に近い）一定の関係になるように制御されている構成であっても良い。この構成によれば、継続的にまたは間欠的に撮像された画像に対し、同種の画像処理（特定方向への縮小や伸張等）を行うことにより、歪みを低減することが可能になる。また、この場合において、相対移動速度が一定であれば、補正のパラメータ（比率の値等）も共通にすることができる。 Further, in a robot having a configuration in which the relative movement direction of the subject with respect to the area sensor can be changed in order to reduce the distortion by correction, the relative movement direction of the subject with respect to the area sensor and the sub-scanning direction of the area sensor are always (). The configuration may be controlled so as to have a constant relationship (close to parallel). According to this configuration, distortion can be reduced by performing the same type of image processing (reduction, expansion, etc. in a specific direction) on images captured continuously or intermittently. Further, in this case, if the relative movement speed is constant, the correction parameters (ratio value, etc.) can be made common.
単純な画像処理としては、相対移動の方向とエリアセンサーの副走査方向とが平行であることに応じて生じる副走査方向の歪みを、当該歪みの影響がないといえる程度に低減できる処理であればよい。このための構成例としては、エリアセンサーで撮像された画像に対して副走査方向のみを縮小または伸張する画像処理を行う構成が挙げられる。すなわち、相対移動の方向とエリアセンサーの副走査方向とが平行である場合、露光タイミングずれに起因した歪みは副走査方向のみに生じると考えられる。そこで、副走査方向のみを縮小または伸張する画像処理を行えば、露光タイミングずれに起因した画像の歪みを補正することができる。従って、極めて単純な画像処理によって露光タイミングずれに起因した画像の歪みを補正することができる。この構成によれば、画像処理時間が極めて短くなるため、エリアセンサーにおける継続的な撮像が行われ、歪みを低減する補正が行われた画像を実質的にリアルタイムに取得することが可能である。 As a simple image processing, the distortion in the sub-scanning direction caused by the parallel movement of the relative movement direction and the sub-scanning direction of the area sensor can be reduced to the extent that the distortion does not affect the image processing. Just do it. As a configuration example for this purpose, there is a configuration in which image processing is performed on the image captured by the area sensor so that only the sub-scanning direction is reduced or expanded. That is, when the direction of relative movement and the sub-scanning direction of the area sensor are parallel, it is considered that the distortion caused by the exposure timing deviation occurs only in the sub-scanning direction. Therefore, if image processing is performed to reduce or expand only the sub-scanning direction, it is possible to correct the distortion of the image due to the deviation of the exposure timing. Therefore, it is possible to correct image distortion caused by exposure timing deviation by extremely simple image processing. According to this configuration, since the image processing time is extremely short, continuous imaging is performed by the area sensor, and it is possible to acquire a corrected image that reduces distortion in substantially real time.
画像処理は、副走査方向のみの縮小または伸張であれば良く、相対移動の方向が副走査方向と一致している場合は、被写体が副走査方向に伸びた歪みのある画像が撮像されるため、縮小が行われる。一方、相対移動の方向が副走査方向と逆向きである場合は、被写体が副走査方向に縮められた歪みのある画像が撮像されるため、伸張が行われる。なお、画像処理は、上述の実施形態のように、制御装置４０で行われても良いし、撮像装置３１に内蔵された制御部等で行われてもよい。
The image processing may be reduced or expanded only in the sub-scanning direction, and if the relative movement direction coincides with the sub-scanning direction, a distorted image in which the subject extends in the sub-scanning direction is captured. , Shrinking is done. On the other hand, when the direction of relative movement is opposite to the sub-scanning direction, a distorted image in which the subject is shrunk in the sub-scanning direction is captured, so that stretching is performed. The image processing may be performed by the
縮小および伸張は、副走査方向の画像の歪みを低減できるように実施されれば良く、例えば、相対移動の速度に応じて縮小および伸張の比率を変化させる構成が採用されてもよい。すなわち、相対移動の速度が速いほど画像の歪みは大きくなるので、相対移動の速度が速いほど補正による変化率（補正前後の大きさの変化／補正前の大きさ）が大きくなるように構成されていれば良い。すなわち、縮小であれば相対移動の速度が速いほど縮小率（補正後の大きさ／補正前の大きさ）が小さくなり、伸張であれば相対移動の速度が速いほど伸張率（補正後の大きさ／補正前の大きさ）が大きくなるように構成されていれば良い。 The reduction and expansion may be performed so as to reduce the distortion of the image in the sub-scanning direction. For example, a configuration in which the ratio of reduction and expansion is changed according to the speed of relative movement may be adopted. That is, the faster the relative movement speed, the larger the distortion of the image. Therefore, the faster the relative movement speed, the larger the rate of change due to the correction (change in size before and after correction / size before correction). I just need to be there. That is, in the case of reduction, the faster the relative movement speed, the smaller the reduction ratio (size after correction / size before correction), and in the case of expansion, the faster the relative movement speed, the smaller the expansion ratio (size after correction). It suffices if it is configured so that the speed / size before correction) becomes large.
むろん、副走査方向における部品の搬送速度や走査速度等に基づいて縮小および伸張の比率が変化しても良い。図１１は、搬送装置２０と撮像装置３１とを模式的に示す図である。当該図１１においては、搬送装置２０によって部品Ｗがｙ軸正方向に搬送速度ｖで搬送され、撮像装置３１のエリアセンサー３１ｃはｙ軸負方向に走査速度ｕで副走査する例が想定されている。また、撮像装置３１の光学系において、焦点距離はｆ、レンズから部品Ｗまでの距離はＬである。なお、走査速度ｕは、単位時間あたりの走査ライン数ｎとエリアセンサー３１ｃのラインピッチｐとによってｕ＝ｐ・ｎと表現することもできる。
Of course, the ratio of reduction and expansion may change based on the transport speed and scanning speed of parts in the sub-scanning direction. FIG. 11 is a diagram schematically showing the
この例において部品Ｗはｆ／Ｌに縮小されてエリアセンサー３１ｃ上に結像する。従って、ｙ軸方向に長さＳの部品Ｗが静止している場合、エリアセンサー３１ｃ上ではＳ・ｆ／Ｌの長さになる。エリアセンサー３１ｃにおいて、部品Ｗの撮像が開始されてから撮像が終了するまでの期間、すなわち、図１１に示す二点鎖線の範囲が走査される期間をΔｔとすると、この間にエリアセンサー３１ｃはｙ軸方向にｕ・Δｔの長さの範囲を走査する。一方、当該期間Δｔにおいて部品Ｗは距離ｖ・Δｔだけ移動するため、期間Δｔにおいて搬送装置２０上で部品が存在するｙ軸方向の長さは（Ｓ＋ｖ・Δｔ）となる。従って、ｙ軸方向の本来の長さがＳの部品Ｗが長さ（Ｓ＋ｖ・Δｔ）として撮影されていたと見なすと、撮影された像をｙ軸方向にＳ／（Ｓ＋ｖ・Δｔ）倍すれば像の歪みが除去される。ここでは当該Ｓ／（Ｓ＋ｖ・Δｔ）を変形率Ａと呼ぶ。
In this example, the component W is reduced to f / L and imaged on the
一方、ｙ軸方向の長さが（Ｓ＋ｖ・Δｔ）である物体Ｗをエリアセンサー３１ｃで撮像すると、エリアセンサー３１ｃ上ではｙ軸方向の像の長さは（Ｓ＋ｖ・Δｔ）・ｆ／Ｌとなる。当該ｙ軸方向の像の長さは、上述のように、ｕ・Δｔであるため、両者が等しいとすると、ｕ・Δｔ＝（Ｓ＋ｖ・Δｔ）・ｆ／Ｌとなり、Ｓ＝Δｔ・（ｕ・Ｌ／ｆ−ｖ）、（Ｓ＋ｖ・Δｔ）＝ｕ・Δｔ・Ｌ／ｆとなる。
On the other hand, when an object W having a length in the y-axis direction (S + v · Δt) is imaged by the
当該Ｓおよび（Ｓ＋ｖ・Δｔ）を上述の変形率Ａに代入すると、Ａ＝Δｔ・（ｕ・Ｌ／ｆ−ｖ）／（ｕ・Δｔ・Ｌ／ｆ）である。この式を整理すると、Ａ＝１−（ｖ／ｕ）・（ｆ／Ｌ）となる。従って、変形率Ａは、搬送速度ｖと走査速度ｕとの比を光学系による縮小率に乗じた値を１から減じた値となる。なお、ここでは、搬送速度ｖがｙ軸正方向を向いている場合に正、走査速度ｕがｙ軸負方向を向いている場合に正としているため、搬送方向と副走査方向とが逆方向である場合には変形率ＡがＡ＝１−｜（ｖ／ｕ）・（ｆ／Ｌ）｜となり、搬送方向と副走査方向とが同一方向である場合には変形率ＡがＡ＝１＋｜（ｖ／ｕ）・（ｆ／Ｌ）｜となる。 Substituting the S and (S + v · Δt) into the above-mentioned deformation rate A, A = Δt · (u · L / fv) / (u · Δt · L / f). When this equation is rearranged, A = 1- (v / u) · (f / L). Therefore, the deformation rate A is a value obtained by subtracting the value obtained by multiplying the ratio of the transport speed v and the scanning speed u by the reduction rate by the optical system from 1. Here, since it is positive when the transport speed v is oriented in the positive direction of the y-axis and positive when the scanning speed u is oriented in the negative direction of the y-axis, the transport direction and the sub-scanning direction are opposite directions. If, the deformation rate A is A = 1-| (v / u) · (f / L) |, and if the transport direction and the sub-scanning direction are the same direction, the deformation rate A is A = 1 +. | (V / u) · (f / L) |
いずれにしても、この例において変形率Ａ内のパラメーターであるｕ，ｆ，Ｌは予め測定可能である。また、搬送速度ｖは予め測定したり、搬送装置２０への制御によって特定したり、センサーによって計測するなどして特定可能である。そこで、図１に示す構成において制御装置４０が、いずれかの手法によって搬送速度ｖを取得し、既知の測定値としてのパラメーターｕ，ｆ，Ｌを取得すれば、取得した値を代入することによって変形率Ａを取得することができる。そして、制御装置４０が、撮像装置３１での撮像結果をｙ軸方向に沿って変形率Ａで縮小または伸張させることにより、副走査方向の画像の歪みを低減する。
In any case, in this example, the parameters u, f, and L in the deformation rate A can be measured in advance. Further, the transport speed v can be specified by measuring in advance, specifying by controlling the
むろん、エリアセンサー３１ｃにおいて副走査方向の走査速度が可変である場合には、調整された走査速度の値を制御装置４０が取得して変形率Ａを決定してもよい。また、撮像装置３１がズームレンズを備えている場合には、ズーム後の縮小率（部品Ｗの副走査方向の実際の長さと副走査方向の像の長さとの比率（上述の例におけるｆ／Ｌ））を制御装置４０が取得して変形率を決定してもよい。以上の構成によれば、搬送装置２０における搬送速度ｖやエリアセンサー３１ｃにおける副走査方向の走査速度ｕや、光学系における縮小率が可変である構成において、可変の要素の変化に応じて動的に副走査方向の画像の歪みを低減することが可能である。
Of course, when the scanning speed in the sub-scanning direction is variable in the
さらに、相対移動の方向を取得する相対移動方向取得部と、取得された相対移動の方向に基づいて、エリアセンサーの副走査方向を相対移動の方向に平行にする駆動部とが備えられていても良い。すなわち、相対移動の方向が動的に変化し得る状況において、当該相対移動の方向の変化に合わせてエリアセンサーの副走査方向を変化させる構成であっても良い。この構成によれば、相対移動の方向が変化し得る構成においても、露光タイミングずれに起因する画像の歪みを低減することが可能なロボットを提供することができる。 Further, a relative movement direction acquisition unit for acquiring the relative movement direction and a drive unit for making the sub-scanning direction of the area sensor parallel to the relative movement direction based on the acquired relative movement direction are provided. Is also good. That is, in a situation where the relative movement direction can change dynamically, the sub-scanning direction of the area sensor may be changed according to the change in the relative movement direction. According to this configuration, it is possible to provide a robot capable of reducing image distortion due to an exposure timing shift even in a configuration in which the direction of relative movement can be changed.
なお、相対移動方向取得部は、相対移動の方向を取得することができればよく、エリアセンサーによって撮像された複数の画像に基づいて相対移動の方向が検出されても良いし、ロボットや被写体の移動方向が予め特定され、当該特定された方向に基づいて相対移動の方向が取得されても良く、種々の構成が採用可能である。 The relative movement direction acquisition unit may acquire the relative movement direction, and the relative movement direction may be detected based on a plurality of images captured by the area sensor, or the movement of the robot or the subject. The direction may be specified in advance, and the direction of relative movement may be acquired based on the specified direction, and various configurations can be adopted.
１…ロボット、２…直交ロボット、３…垂直多関節ロボット、１０…ベース、１１、１２…アーム、２０、２１…搬送装置、３０…ピックアップ部材、３１…撮像装置、３１ａ…相対移動方向受信部、３１ｂ…駆動部、３１ｃ…エリアセンサー、４０…制御装置、４１…相対移動方向取得部、４２…駆動制御部、４５…真空ポンプ 1 ... Robot, 2 ... Orthogonal robot, 3 ... Vertical articulated robot, 10 ... Base, 11, 12 ... Arm, 20, 21 ... Transfer device, 30 ... Pickup member, 31 ... Imaging device, 31a ... Relative movement direction receiver , 31b ... Drive unit, 31c ... Area sensor, 40 ... Control device, 41 ... Relative movement direction acquisition unit, 42 ... Drive control unit, 45 ... Vacuum pump
Claims (6)
前記エリアセンサーに対して相対移動する被写体を撮像する場合、前記エリアセンサーは前記相対移動する方向に副走査を行い、
前記相対移動の方向を取得する相対移動方向取得部と、
取得された前記相対移動の方向に基づいて、前記エリアセンサーの前記副走査方向を調整する駆動部と、
を備えるロボット。 A robot with a rolling shutter type area sensor
When imaging an object moves relative to the area sensor, wherein the area sensor have a row in the sub-scanning in the direction of the relatively moving,
A relative movement direction acquisition unit that acquires the relative movement direction, and a relative movement direction acquisition unit.
A drive unit that adjusts the sub-scanning direction of the area sensor based on the acquired relative movement direction.
A robot equipped with.
前記エリアセンサーを回転させて副走査方向を調整し、
前記エリアセンサーは前記相対移動する方向に前記副走査を行う、撮像方法。 A method in which a robot having a rolling shutter type area sensor images a subject moving relative to the area sensor.
The area sensor is rotated to adjust the sub-scanning direction,
The area sensor performs sub scanning in a direction to move the relative imaging method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016248823A JP6907526B2 (en) | 2016-12-22 | 2016-12-22 | Robot and imaging method |
| JP2021099221A JP7205569B2 (en) | 2016-12-22 | 2021-06-15 | Robotic system, working method and pick-up method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016248823A JP6907526B2 (en) | 2016-12-22 | 2016-12-22 | Robot and imaging method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021099221A Division JP7205569B2 (en) | 2016-12-22 | 2021-06-15 | Robotic system, working method and pick-up method |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018103268A JP2018103268A (en) | 2018-07-05 |
| JP2018103268A5 JP2018103268A5 (en) | 2019-11-21 |
| JP6907526B2 true JP6907526B2 (en) | 2021-07-21 |
Family
ID=62786424
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016248823A Active JP6907526B2 (en) | 2016-12-22 | 2016-12-22 | Robot and imaging method |
| JP2021099221A Active JP7205569B2 (en) | 2016-12-22 | 2021-06-15 | Robotic system, working method and pick-up method |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021099221A Active JP7205569B2 (en) | 2016-12-22 | 2021-06-15 | Robotic system, working method and pick-up method |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP6907526B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4125264B2 (en) * | 2003-11-18 | 2008-07-30 | キヤノン株式会社 | Image acquisition apparatus and image acquisition method |
| JP2008064624A (en) * | 2006-09-07 | 2008-03-21 | Toyo Inspections Kk | Imaging apparatus and imaging method |
| JP2009241247A (en) * | 2008-03-10 | 2009-10-22 | Kyokko Denki Kk | Stereo-image type detection movement device |
| JP2014131177A (en) * | 2012-12-28 | 2014-07-10 | Nikon Corp | Image processing device, camera, image processing method, and image processing program |
-
2016
- 2016-12-22 JP JP2016248823A patent/JP6907526B2/en active Active
-
2021
- 2021-06-15 JP JP2021099221A patent/JP7205569B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021154487A (en) | 2021-10-07 |
| JP7205569B2 (en) | 2023-01-17 |
| JP2018103268A (en) | 2018-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6734253B2 (en) | Imaging device including a visual sensor for imaging a workpiece | |
| JP5685027B2 (en) | Information processing apparatus, object gripping system, robot system, information processing method, object gripping method, and program | |
| JP5582126B2 (en) | Work take-out system, robot apparatus, and workpiece manufacturing method | |
| CN111905983B (en) | Vision following-based dispensing track correction method, device, system and medium | |
| JP7027299B2 (en) | Calibration and operation of vision-based operation system | |
| JP6661028B2 (en) | Work position correction method | |
| CN111331592A (en) | Tool center point correction device for robotic arm, method thereof, and robotic arm system | |
| US11173608B2 (en) | Work robot and work position correction method | |
| JP2015000454A (en) | Robot apparatus and robot control method | |
| JP2003211381A (en) | Robot controller | |
| CN106826207A (en) | Robot system | |
| CN104039511A (en) | Imaging inspection device, and control device and control method therefor | |
| CN112566758A (en) | Robot control device, robot control method, and robot control program | |
| US12128571B2 (en) | 3D computer-vision system with variable spatial resolution | |
| CN107921643A (en) | Robot system | |
| JP2682763B2 (en) | Automatic measurement method of operation error of robot body | |
| JP2017168619A (en) | Component mounting method and component mounting apparatus | |
| CN111730626A (en) | Motion adjusting device and motion adjusting method for adjusting motion of robot | |
| CN118478389A (en) | Calibration method, calibration device and robot system | |
| JP6907526B2 (en) | Robot and imaging method | |
| JP2018107488A (en) | Imaging apparatus and imaging method | |
| CN115592662B (en) | Picking method, picking system and picking control device | |
| JP2010214546A (en) | Assembly apparatus and assembly method | |
| JP6238629B2 (en) | Image processing method and image processing apparatus | |
| CN115397626A (en) | Coordinate system setting system and position and orientation measuring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20180910 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190402 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191008 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191008 |
|
| RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20200803 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200915 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210601 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210614 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6907526 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |