JP3675680B2 - Welding line position detection device - Google Patents
Welding line position detection device Download PDFInfo
- Publication number
- JP3675680B2 JP3675680B2 JP24340599A JP24340599A JP3675680B2 JP 3675680 B2 JP3675680 B2 JP 3675680B2 JP 24340599 A JP24340599 A JP 24340599A JP 24340599 A JP24340599 A JP 24340599A JP 3675680 B2 JP3675680 B2 JP 3675680B2
- Authority
- JP
- Japan
- Prior art keywords
- sectional shape
- line
- cross
- workpiece
- welding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003466 welding Methods 0.000 title claims description 100
- 238000001514 detection method Methods 0.000 title claims description 38
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 62
- 238000010586 diagram Methods 0.000 description 22
- 239000000463 material Substances 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000005452 bending Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、アーク溶接ロボットに備えられて好適な溶接線位置検出装置に関し、溶接線を横切って延びるワーク表面の断面形状データを得る光学式のワーク断面形状計測手段を有し、そのワーク断面形状データに基づいて溶接線位置を自動検出するようにした溶接線位置検出装置に関するものである。
【0002】
【従来の技術】
記憶・再生型のアーク溶接ロボットでは、あらかじめ、基準となるワークの溶接線位置をティーチングしてメモリに記憶させておき、次いで、前記基準ワークと同形のワークを次々に溶接する際には、前記ティーチングされた溶接線位置データに基づき溶接トーチを溶接線に沿って移動させ、各ワークを自動溶接するようにしている。ところで、(イ)ワーク(溶接すべき溶接継手)には組立誤差があったり、また溶接すべきワークをポジショナに固定するときにワークの取付け誤差があったりすることから、基準ワークにてティーチングされた溶接線位置とこれから溶接しようとしているワークの溶接線位置との間に位置ずれが生じることがある。また、(ロ)溶接中のワークの熱歪みによる該ワークの変形により位置ずれが生じることがある。
【0003】
そのため、前記位置ずれを解消するために、各ワーク毎にその溶接開始に先立ちワークの所要箇所(例えば溶接開始設定箇所及び溶接停止設定箇所)の溶接線位置を自動検出したり、アークが発生している溶接中において所要箇所におけるアーク発生点前方の溶接線位置を自動検出するための溶接線位置検出装置が備えられている。そして、アーク溶接ロボットでは、溶接線位置検出装置により検出した所要箇所の実際の溶接線位置データに基づいて前記ティーチングされている溶接線の位置データを修正することにより、これから溶接しようとしているワークの溶接線の正しい真の位置データを得るようにしている。
【0004】
このような溶接線位置検出装置の一例として、従来、ワーク表面に該ワークWの溶接線WLを横切るようにレーザスポット光を走査しながら照射して照射方向と異なる方向においてその反射光を検出することにより、溶接線WLを横切って延びるワーク表面の断面形状を示す2次元のワーク断面形状データを得るレーザ式形状計測器51を有し、ワーク断面形状データに基づいて溶接線WLの位置を検出するようにしたものが知られている。
【0005】
この従来の溶接線位置検出装置は、ワーク断面形状データに基づいて2本の直線によりワークWの断面形状を近似し、該2本の直線の交点を溶接線位置として検出するようにしたものである。したがって、すみ肉のT継手(下板と立板により構成されるすみ肉継手)の場合、図20に示すように、ワーク断面形状は2本の直線で近似でき、この2本の直線の交点qを溶接線位置として求めることができる。なお、図20(b)に示すワーク断面形状データは、実際は2次元座標(Y,Z)を持つ点データの多数の集まりであるが(図2参照)、理解を容易にするため連続する実線で示してある。
【0006】
【発明が解決しようとする課題】
しかし前記従来の溶接線位置検出装置では、溶接ロボットの対象ワークとして最も多用されるすみ肉溶接を行う継手に適用するに際し、次のような▲1▼〜▲4▼の場合には溶接線位置を検出できないという問題点がある。
【0007】
▲1▼ 図21(a)に示すように、レーザ式形状計測器51の視野内にワークWの溶接線WLの形成に関与しない無関係な第3部材W3が入るような場合には、図21(b)に示すように、ワーク断面形状が2本の直線により近似できず、2つの交点(屈曲点)q,q’が存在することとなり、ワークWを構成する第1部材W1と第3部材W3との継ぎ目であって、偽りの溶接線位置を示す交点q’を除外することができない。
【0008】
▲2▼ 図22(a)に示すように仮付け溶接部における溶接線位置を検出しようとする場合には、図22の(b)に示すように、ワーク断面形状データにおける仮付け溶接部の部分が曲線(上に凸の円弧)を示すものとなるので、溶接線位置を検出することができない。
【0009】
▲3▼ 図23(a)に示すように、すみ肉T継手(ワークW)において溶接部の強度を高めるために第1部材(立板)W1に開先面WGが設けられている場合には、図23の(b)に示すように、ワーク断面形状が2本の直線により近似できず、2つの交点q,q’が存在することとなり、ワークWを構成する第1部材W1と第2部材W2とにより形成される溶接線WLの位置を示す交点qを検出することができない。また、鋼板表面の酸化皮膜を除去すべく開先面WGがグラインダ等で磨かれて鏡面状態になっていると、レーザ式形状計測器51の配置位置によっては計測器51の2次元受光アレイに開先面WGから十分な反射光が返ってこなくなり、図23の(c)に示すように、ワーク断面形状データにおける開先面WG部分のデータ欠落が発生する。このため、溶接線WLの位置を検出することができない。
【0010】
▲4▼ 図24(a)に示すようにワークWが円形パイプ材W1と平板W2とにより構成されている場合には、図24の(b)に示すように、ワーク断面形状データにおける円形パイプ材W1部分が直線でなく曲線(上に凸の円弧)を示すものとなるので、溶接線位置を検出することができない。また、図25(a)に示すようにワークWが第1部材である円形パイプ材W1と第2部材である円形パイプ材W2とにより構成されている場合には、図25(b)に示すように、ワーク断面形状データにおける両方の円形パイプ材W1,W2部分が直線でなく曲線(上に凸の円弧)を示すものとなるので、溶接線位置を検出することができない。
【0011】
そこで本発明の目的は、前記従来の問題点を解消し、溶接線を横切って延びるワーク表面の断面形状データを得る光学式のワーク断面形状計測手段を有し、前記ワーク断面形状データに基づいて溶接線位置を検出する溶接線位置検出装置において、対象ワークとしてすみ肉溶接を行うワークに適用するに際し、前記光学式の計測手段の視野内にワークの溶接線の形成に関与しない無関係な第3の部材が入るような場合でも該第3の部材に邪魔されて誤ることなく溶接線位置を検出でき、また、仮付け溶接部がある箇所の場合でも該仮付け溶接部における溶接線位置を検出でき、また、開先が設けられている場合や該開先の断面形状データが得られないような場合でも溶接線位置を検出でき、さらにワークが中空あるいは中実の円柱状部材で構成され、ワーク断面形状が直線でなく上に凸の円弧を示すものになる場合でも溶接線位置を検出することができる溶接線位置検出装置を提供することにある。
【0012】
【課題を解決するための手段】
前記の目的を達成するために、請求項1の発明は、(a)光を照射して照射方向と異なる方向においてその反射光を検出することにより、溶接線を横切って延びるワーク表面の断面形状を示す2次元の断面形状データを得るワーク断面形状計測手段と、(b)前記ワーク断面形状計測手段により得られた2次元のワーク断面形状データに基づいて、複数個の線分によりワーク断面形状を近似する線分近似手段と、(c)前記線分近似手段による前記複数個の線分を所定の規則に従ってグループ化する線分グルーピング手段と、(d)前記線分グルーピング手段によりグループ化された線分グループから長さの長い順に2つの線分グループを抽出することにより、前記ワークの前記溶接線を形成する一方の部材の断面形状パターンを示す第1部材断面形状パターンと、前記溶接線を形成する他方の部材の断面形状パターンを示す第2部材断面形状パターンとを得る溶接線位置絞込み手段と、(e)前記第1部材断面形状パターンの前記第2部材断面形状パターン側に位置する端点と、該端点近傍のワーク断面形状データと、前記第2部材断面形状パターンの前記第1部材断面形状パターン側に位置する端点と、該端点近傍のワーク断面形状データとに基づいて、前記溶接線の位置を演算し検出する溶接線位置演算検出手段と、を備えていることを特徴とする溶接線位置検出装置である。
【0013】
請求項2の発明は、請求項1記載の溶接線位置検出装置において、前記溶接線演算検出手段は、前記第1部材断面形状パターンにおける前記端点の近傍部分に沿って延びる第1直線を演算するとともに、前記第2部材断面形状パターンにおける前記端点の近傍部分に沿って延びる第2直線を演算し、次いで前記両直線の交点を演算してから、前記2つの端点及び前記交点のこれら3点の位置関係を判定し、前記溶接線の位置を検出するものであることを特徴とするものである。
【0014】
本発明による溶接線位置検出装置においては、まず、光学式のワーク断面形状計測手段により、ワークWの溶接線WLを横切って延びるワーク表面の断面形状を示す2次元断面形状データを得る。線分近似手段は、このワーク断面形状計測手段からの2次元断面形状データに基づいて、一連をなす複数個の線分により、ワーク断面形状を該ワーク断面形状の直線性はもとより屈曲性,曲線性をも反映しうる程度に近似する(図10,図11参照)。
【0015】
次いで線分グルーピング手段は、前記線分近似手段にて求めた複数個の線分について、隣り合う2つの線分がなす角度差(屈曲度合い)と、隣り合う2つの線分が上あるいは下のいずれに凸をなしているかとを解析することにより、2つ以上の線分グループにグループ化する(図12参照)。線分グループそれぞれは、一連をなす複数個の線分で構成される。これにより、線分近似手段にて求めた複数個の線分は、ワークWの溶接線WLを形成する一方の部材W1の断面形状を示す部分と、該溶接線WLを形成する他方の部材W2の断面形状を示す部分と、これら以外の部位(溶接線WLの形成に関与しない無関係な第3部材W3や、溶接線WLの部位にある仮付け溶接部など)を示す部分とにグループ分けがなされる。このグループ化の際には、すみ肉溶接を行う継手を対象ワークとすると、溶接線WLを形成する部材W1,W2の断面形状が、長さの長い直線、あるいは長さが長く上に凸の円弧になるという特性(性質)を利用している。
【0016】
このグループ化の後、溶接線位置絞込み手段により、前記2つ以上の線分グループから長さの長い順に2つの線分グループを抽出することにより、溶接線WLの位置検出に支障となる前記第3部材W3や仮付け溶接部などの部分を除外し、溶接線WLを形成する一方の部材W1の断面形状パターンを示す第1部材断面形状パターンPS1と、該溶接線WLを形成する他方の部材W2の断面形状パターンを示す第2部材断面形状パターンPS2とを得ることができる。
【0017】
これにより、第1部材断面形状パターンPS1の第2部材断面形状パターンPS2側の端点(溶接線側に位置する端点)をP1Lとする一方、第2部材断面形状パターンPS2の第1部材断面形状パターンPS1側の端点(溶接線側に位置する端点)をP2Rとすると、検出すべき溶接線位置は、前記両方の端点P1L,P2Rが重なり同一位置にある場合にはこの位置となり、そうでない場合にはこれらの端点P1L,P2Rの近傍に存在することから、溶接線位置の存在範囲を絞り込むことができる。
【0018】
次いで、溶接線位置演算検出手段は、第1部材断面形状パターンPS1における端点P1L近傍部分に沿って延びる第1直線L1を演算するとともに、第2部材断面形状パターンPS2における端点P2R近傍部分に沿って延びる第2直線L2を演算し、しかる後に前記両直線L1,L2の交点Qを演算して求める。そして溶接線位置演算検出手段により、2つの端点P1L,P2R及び交点Qのこれら3点の位置関係を解析し判定することにより、ワークの溶接線位置を検出することができる(図14〜図19参照)。例えば、3点P1L,P2R,Qが同一位置にある場合、交点Qを溶接線位置とする。
【0019】
なお、前記の線分近似手段、線分グルーピング手段、線分グルーピング手段、溶接線位置絞込み手段及び溶接線位置演算検出手段は、プログラムされたコンピュータにより実現することができる。
【0020】
このように本発明による溶接線位置検出装置によると、溶接線を横切って延びるワーク表面の断面形状データを得る光学式のワーク断面形状計測手段を有し、前記ワーク断面形状データに基づいて溶接線位置を検出するに際し、前記光学式の計測手段の視野内にワークの溶接線の形成に関与しない無関係な第3の部材が入るような場合(図21参照)でも該第3の部材に邪魔されて誤ることなく溶接線位置を検出でき、また、仮付け溶接部がある箇所の場合(図22参照)でも該仮付け溶接部における溶接線位置を検出でき、また、開先が設けられている場合(図23参照)や該開先の断面形状データが得られないような場合(図23(c)参照)でも溶接線位置を検出でき、さらにワークが中空あるいは中実の円柱状部材で構成され、ワーク断面形状が直線でなく上に凸の円弧を示すものになる場合(図24,25参照)でも溶接線位置を検出することができる。
【0021】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。図1は本発明の一実施形態による溶接線位置検出装置の全体構成を示す図である。
【0022】
図1に示すように、溶接線位置検出装置は、レーザ式形状計測器(ワーク断面形状計測手段)1とコンピュータ2とにより構成されている。レーザ式形状計測器1は、後述するアーク溶接ロボット3の手先部に溶接トーチとともに搭載され、すみ肉溶接を行うワークWの近くに位置決めされる。このレーザ式形状計測器1は、レーザスポット光を発射するレーザ投光器11と、レーザ投光器11からのレーザスポット光をワークWの表面上を移動させるためのミラー12付きの回動可能なスキャナ13と、ミラー12による照射方向とは異なる方向においてワーク表面からの反射光を受光レンズ14を通して集めて検出するCCD(受光素子)よりなる2次元受光アレイ15とを有している。ここで、ミラー12を介してワークWの表面にレーザスポット光を照射し、ワーク表面からのその反射光を2次元受光アレイ15で検出すると、ミラー12の角度,2次元受光アレイ15におけるレーザスポット光の受光位置などから、三角測量法の原理により、ワーク表面における照射されたレーザスポット光の位置を求めることができる。このレーザ式形状計測器1では、スキャナ13でミラー12を回動させ、ワーク表面に該ワークWの溶接線WLを横切るようにレーザスポット光を移動させながら照射し、その反射光を検出することにより、溶接線WLを横切って延びるワーク表面の断面形状を示す2次元のワーク断面形状データが得られるようになっている。
【0023】
コンピュータ2は、線分近似手段、線分グルーピング手段、溶接線位置絞込み手段及び溶接線位置演算検出手段を構成し、レーザ式形状計測器1からのワーク断面形状データが入力され、出力として検出した溶接線WLの位置データを後述のロボット制御盤4に出力するものである。
【0024】
図2は図1におけるレーザ式形状計測器により得られ、2次元座標(Y,Z)を持つ点位置のデータよりなるワーク断面形状データを模式的に示す図である。ここでYZの座標系については、レーザ式形状計測器1に向かう方向にZ軸、その直交方向にY軸を設定している。
【0025】
図3は図1に示す溶接線位置検出装置が備えられたアーク溶接ロボットを説明するための図である。同図に示すように、アーク溶接ロボット3の手先部にレーザ式形状計測器1が搭載されている。溶接線位置検出装置のコンピュータ2により演算されて求められた溶接線位置データは、ロボット制御盤4に与えられる。ロボット制御盤4では、先に説明したように、溶接線位置検出装置のコンピュータ2からの溶接線位置データに基づいて、これから溶接しようとしているワークWについて予めティーチングされている溶接線位置の誤差を修正し、アーク溶接ロボット3には位置ずれのない実際の溶接線位置を示す位置データが与えられるようになっている。
【0026】
以下、図1に示すように構成される溶接線位置検出装置において、コンピュータ2による溶接線位置検出について図面を参照して説明する。図4は図1におけるコンピュータ2による溶接線位置検出手順を説明するための図であり、同図に示すように、コンピュータ2はレーザ式形状計測器1からの2次元ワーク断面形状データを受けて、線分近似処理、線分グルーピング処理、溶接線位置絞込み処理及び溶接線位置演算検出処理を実施し、溶接線位置の検出を行うようにしている。
【0027】
まず、線分近似処理を図5及び図10を参照して説明する。線分近似処理は、レーザ式形状計測器1により得られ、YZ座標系の2次元座標値を持つ多数個の点である位置Pk,k=1〜nよりなるワーク断面形状データを処理し、複数個の線分(S1,S2,…)によりワーク断面形状をこれを倣うように近似する処理である。ここで、線分近似する手法としては、文献「T.Pavlidis and S.L.Horowitz ,“Segmentation of Planes Curves ”,IEEE Trans.Comput.,vol.c-23,pp.860-870,August 1974 」に開示されたものが知られており、この手法を利用している。図5は図4における線分近似処理の手順を示すフローチャートである。ここで図5、及び後記の図6〜図9中に使用されているN1,N2,…は手順(ステップ)の番号を示すものである。図10は線分近似処理を説明するための図である。
【0028】
本実施例ではワーク断面形状データは、YZ座標系の2次元座標値を持つn個の位置Pk,k=1〜nのデータよりなっている。まず、ステップN1では、i=1、j=nという初期設定が行われる。次いでステップN2では、ワーク断面形状データにおける区間(Pi,Pj)の一方の端点Piと他方の端点Pj(PjのY座標値>PiのY座標値)とを結ぶ直線Eの式が計算により求められる。1回目は始点P1と終点Pnとを結ぶ直線Eの式が求められる(図10(a)参照)。次のステップN3では、各点ごとに各点から直線Eまでの距離D(Pk),k=i〜jがそれぞれ算出される。ここでD(Pk)は位置Pkにおける直線Eまでの距離の値を示し、1回目は始点P1から直線Eまでの距離の値D(P1),点P2から直線Eまでの距離の値D(P2),……,終点Pnから直線Eまでの距離の値D(Pn)が算出される(図10(b)参照)。
【0029】
次いでステップN4では、ステップN3で算出された距離D(Pk),k=i〜jのうちから距離D(Pk)の最大値を求め、そのときの点をPkmax 、距離をD(Pkmax )とする(図10(c)参照)。そしてステップN5において、最大距離D(Pkmax )が予め定められた距離のしきい値Lthより大きいか否かが判定される。最大距離D(Pkmax )がしきい値Lthより大きい場合にはステップN6に進み、点Pkmax を屈曲点として登録する(図10(d)参照)。
【0030】
屈曲点が得られるとステップN7では、i=i、j=kmaxとし、区間(Pi,Pkmax )において前記のステップN2からステップN6までと同内容の処理がなされる一方、ステップN8では、i=kmax、j=jとし、区間(Pkmax ,Pj)において前記のステップN2からステップN6までと同内容の処理がなされる(図10(e)参照)。そして各区間での最大距離D(Pkmax )がしきい値Lth以下であると、その区間には屈曲点は存在しないとして線分近似のための屈曲点の抽出は終了となる(ステップN9)。
【0031】
このようにして抽出された屈曲点Pkmax を結ぶ複数個の線分S1,S2,…によりワーク断面形状が線分近似される(図11参照)。前記のステップN1〜N9のようにレーザ式形状計測器1により得られた2次元座標値を持つワーク断面形状データ(Pk,k=1〜n)に基づいて、複数個の線分によりワーク断面形状をこれを倣うように近似する手順を実行するのが線分近似手段である。
【0032】
次に、ワーク断面形状を近似する図11に示すような複数個の線分S1,S2,…について2つ以上の線分グループにグループ化する。グループ化の目的は、前記の線分近似処理で得られた複数個の線分S1,S2,…を、ワークWの溶接線WLを形成する一方の部材W1の断面形状を示す部分と、該溶接線WLを形成する他方の部材W2の断面形状を示す部分と、これら以外の部位(溶接線WLの形成に関与しない無関係な第3部材W3や、溶接線WLの部位にある仮付け溶接部など)を示す部分とに分けることにある。グループ化においては、溶接線WLを形成する部材W1,W2の断面形状が、長さの長い直線、あるいは長さが長く上に凸の円弧になるという性質を利用し、隣り合う2つの線分Si,Si+1の角度差Δθが小さいとき、又は隣り合う2つの線分Si,Si+1が上に凸をなしているときには、2つの線分Si,Si+1は同一グループに属するとしてグループ化している。
【0033】
図6は図4における線分グルーピング処理の手順を示すフローチャート、図12は線分グルーピング処理を説明するための図、図13は線分Siと線分Si+1との角度差Δθの説明図である。以下、線分グルーピング処理について説明する。
【0034】
はじめに、隣り合う2つの線分Si,Si+1がなす角度差Δθについて図13を参照して説明しておく。図13に示すように、線分Siを構成する点列を用いて最小二乗法にて直線Siを計算により求める。同様に、線分Si+1を構成する点列を用いて最小二乗法にて直線Si+1を求める。そして、求めた直線Siと直線Si+1との角度差Δθを算出する。角度差Δθの値は、図13に示すように反時計回り方向を正(プラス)と定めている。このように求められた角度差Δθを線分Si,Si+1の角度差としている。
【0035】
さてまず、ステップN10では、i=1、g=1という初期設定が行われる。次のステップN11では、線分Siが属する線分グループの番号をgと定める初期設定が行われ、線分S1は線分グループ1に属するものとして設定される。
【0036】
次いでステップN12では、線分Siと線分Si+1との前記した角度差Δθが算出される。そして次のステップN13において、角度差Δθが予め設定されたしきい値θthより小さいか否か、又は線分Siと線分Si+1とが上に凸(角度差Δθ≧0)をなしているか否かが判定される。ここで、角度差Δθ<θth、又は角度差Δθ≧0を満足する場合(ステップN13でYES)には、線分Si+1が線分Siと同一グループに属するので、ステップN14に進み、線分Si+1が属する線分グループの番号をgとする。1回目(i=1)は線分S2は線分グループ1に属するものとなされる。一方、角度差Δθ<θth、又は角度差Δθ≧0を満たさない場合(ステップN13でNO)には、線分Si+1は線分Siと同一グループに属さないので、ステップN15において線分グループ番号gを+1だけインクリメントしてから、前記のステップN14に進む。例えば1回目(i=1)においてステップN13でNOの場合には、線分S2は線分グループ2に属するものとなされる。
【0037】
次いでステップN16においてiを+1してからステップN17に進み、ステップN17で最終線分Snまで線分グループ番号を付与した否かをチェックしてステップN12へ戻る。
【0038】
このようにして線分S1,S2,…,Snのグループ化がなされる。例えば図12に示す例では、線分S4と線分S5とは、前記した角度差Δθ<θth、又は角度差Δθ≧0を満足しておらず、下に凸をなすことから同一グループに属さず、よって線分S1〜S6は、線分S1〜S4よりなる線分グループ1と、線分S5,S6よりなる線分グループ2との2つの線分グループにグループ化される。前記のN10〜N17のように線分近似処理による複数個の線分S1,S2,…,Snを所定の規則に従ってグループ化する手順を実行するのが線分グルーピング手段である。
【0039】
次に溶接線位置絞込み処理について説明する。図7は図4における溶接線位置絞込み処理の手順を示すフローチャートである。溶接線位置絞込み処理は、前記線分グルーピング処理で得られた2つ以上の線分グループから長さの長い順に2つの線分グループを抽出することにより、溶接線WLの位置検出に支障となる第3部材W3や仮付け溶接部などの部分を除外し、溶接線WLを形成する一方の部材W1の断面形状パターンを示す第1部材断面形状パターンPS1と、該溶接線WLを形成する他方の部材W2の断面形状パターンを示す第2部材断面形状パターンPS2とを得るための処理である。
【0040】
まずステップN18では、各線分グループの長さ(当該線分グループに属する線分の長さの総和)が算出される。次いでステップN19では、予め所定長さの値のしきい値を設定し、各線分グループについて該しきい値との比較を行い、これらの線分グループのなかから所定長さ以上のものを抽出する。そして次のステップN20において、前記ステップN19で抽出された線分グループの数が2個以上であるか否かが判定される。ここで2個以上ある場合(ステップN20でYES)にはステップN21に進む。
【0041】
ステップN21ではこれらの線分グループから長さの長い順に2つの線分グループを抽出する。そしてステップN22において、前記抽出された2つの線分グループから、ワークWの溶接線WLを形成する一方の部材W1の断面形状パターンを示す第1部材断面形状パターンPS1と、溶接線WLを形成する他方の部材W2の断面形状パターンを示す第2部材断面形状パターンPS2とを得る。本例ではY座標値の小さい方を第1部材断面形状パターンPS1とし、これよりもY座標値が大きい方を第2部材断面形状パターンPS2とする(図14参照)。
【0042】
一方、前記ステップN19で抽出された線分グループの数が2個未満の場合(ステップN20でNO)には溶接線位置が存在しないこととなり、例えば、ワークWに対するレーザ式形状計測器1の位置決めが不適切である場合を含めてレーザ式形状計測器1に不具合が発生していると考えられるので、本例ではエラー表示を行って処理を停止するようにしている。
【0043】
前記のステップN18〜N22のように線分グルーピング処理によりグループ化された線分グループから長さの長い順に2つの線分グループを抽出することにより、溶接線WLを形成する一方の部材W1の断面形状パターンを示す第1部材断面形状パターンPS1と、溶接線WLを形成する他方の部材W2の断面形状パターンを示す第2部材断面形状パターンPS2とを得る手順を実行するのが溶接線位置絞込み手段である。そしてこれにより、第1部材断面形状パターンPS1の第2部材断面形状パターンPS2側の端点(溶接線側に位置する端点)をP1Lとし、第2部材断面形状パターンPS2の第1部材断面形状パターンPS1側の端点(溶接線側に位置する端点)をP2Rとすると、検出すべき溶接線位置は、前記両方の端点P1L,P2Rが重なり同一位置にある場合にはこの位置となり、そうでない場合にはこれらの端点P1L,P2Rの近傍に存在することから、溶接線位置の存在範囲を絞り込むことができる(図14参照)。
【0044】
図8及び図9は図4における溶接線位置演算検出処理の手順を示すフローチャートである。溶接線位置演算検出処理は、前記溶接線位置絞込み処理により得られた溶接線位置の存在範囲を解析し、該溶接線WLの位置を検出する処理を行うものである。
【0045】
ステップN23〜N27については図14を参照しながら説明する。まず、ステップN23では、第1部材断面形状パターンPS1の前記パターンPS2側の端点をP1Lとし、第2部材断面形状パターンPS2の前記パターンPS1側の端点をP2Rとする。次いでステップN24では、第1部材断面形状パターンPS1における端点P1Lの近傍部分Dthに沿って延びる第1直線L1(直線式:A1・Y+B1・Z=C1)を計算により求める。この第1直線L1の算出は所定長さの前記近傍部分Dthにおける断面形状データを用いて最小二乗法にてなされる。同様に、次のステップN25では、第2部材断面形状パターンPS2における端点P2Rの近傍部分Dth’に沿って延びる第2直線L2(直線式:A2・Y+B2・Z=C2)を計算により求める。第2直線L2の算出は所定長さの前記近傍部分Dth’における断面形状データを用いて最小二乗法にてなされる。ここでステップN24,N25において、部材断面形状パターンPS1,PS2が曲線形状を線分近似してなるものの場合、近傍部分Dth,Dth’の長さは、大きな値にすると本来の断面形状との間に誤差が発生することになるので、該断面形状を反映し、かつ誤差が許容できる程度に小さな値に設定されている。また、近傍部分Dth,Dth’の長さは開先面幅よりも小さい値に設定される。
【0046】
次いでステップN26において第1直線L1と第2直線L2との交点Qを算出し、次のステップN27に進む。ステップN27では、第1部材断面形状パターンPS1の端点P1Lと交点Qとの距離D1、及び、第2部材断面形状パターンPS2の端点P2Rと交点Qとの距離D2が算出される。
【0047】
次にステップN28〜N35において、このようにして求められた端点P1L、端点P2R及び交点Qの3点のついての位置関係を解析し、溶接線WLの位置を検出する。まずステップN28では、前記両距離D1,D2のうちの小さい方が予め設定されたしきい値LENthより小さいか否かが判定される。ここでしきい値LENthより小さい場合(ステップN28でYES)には、ステップN29に進み、端点P1L、端点P2R及び交点Qの3点が極めて接近していることから(3点が重なっている場合を含む)、図15に示すように、すみ肉T継手による溶接線WLを有するワークW(図20、図21(a)参照)、円形パイプ材W1と円形パイプ材W2とによる溶接線WLを有するワークW(図25参照)又は円形パイプ材W1と平板W2とによる溶接線WLを有するワークW(図24参照)、あるいは、図16に示すように、開先を有するすみ肉T継手(図23(a)参照)よりなるワークW、であると判定する。そしてこれらの場合は先に算出された交点Qを溶接線位置とする。この交点Qを溶接線位置としてロボット制御盤4に出力する。
【0048】
距離D1,D2のうちの小さい方がしきい値LENth以上である場合(ステップN28でNO)にはステップN30に進み、端点P1LのY座標値<交点QのY座標値<端点P2RのY座標値、という関係を満足しているか否かが判定される。ここで当該関係を満たしている場合(ステップN30でYES)には、ステップN31に進み、図17に示すように仮付け溶接部の箇所(図22(a)参照)であると判定し、先に算出された交点Qを溶接線位置とする。この交点Qを溶接線位置としてロボット制御盤4に出力する。
【0049】
一方、前記の関係を満たしていない場合(ステップN30でNO)にはステップN32に進み、端点P2RのY座標値<交点QのY座標値、という関係を満足しているか否かが判定される。ここで当該関係を満たしている場合(ステップN32でYES)にはステップN33に進み、図18に示すように、開先を有し且つ該開先の断面形状データが得られないワークWであると判定し(図23(c)参照)、前記端点P2Rを溶接線位置とする。この端点P2Rを溶接線位置としてロボット制御盤4に出力する。
【0050】
次いで、前記の関係を満たしていない場合(ステップN32でNO)にはステップN34に進み、端点P1LのY座標値>交点QのY座標値、という関係を満足しているか否かが判定される。ここで当該関係を満たしている場合(ステップN34でYES)にはステップN35に進み、図19に示すように、開先を有し且つ該開先の断面形状データが得られないワークWであると判定し、前記端点P1Lを溶接線位置とする。この端点P1Lを溶接線位置としてロボット制御盤4に出力する。一方、ステップN34でNOの場合には例えばレーザ式形状計測器1に不具合が発生していると考えられるので、本例ではエラー表示を行って処理を停止するようにしている。
【0051】
前記のステップN23〜N35のように第1部材断面形状パターンPS1の第2部材断面形状パターンPS2側に位置する端点P1Lと、該端点P1L近傍のワーク断面形状データと、第2部材断面形状パターンPS2の第1部材断面形状パターンPS1側に位置する端点P2Rと、該端点P2R近傍のワーク断面形状データとに基づいて、溶接線WL位置を演算し検出する手順を実行するのが溶接線位置演算検出手段である。
【0052】
このように以上説明した一実施形態による溶接線位置検出装置によると、対象ワークWとしてすみ肉溶接を行うワークに適用するに際し、レーザ式形状計測器1の視野内にワークの溶接線WLの形成に関与しない無関係な第3の部材W3が入るような場合(図21参照)でも該第3の部材W3に邪魔されて誤ることなく溶接線WLの位置を検出でき、また、仮付け溶接部がある箇所の場合(図22参照)でも該仮付け溶接部における溶接線位置を検出でき、また、開先が設けられている場合(図23参照)や該開先の断面形状データが得られないような場合(図23(c)参照)でも溶接線位置を検出でき、さらにワークが中空あるいは中実の円柱状部材で構成され、ワーク断面形状が直線でなく上に凸の円弧を示すものになる場合(図24,25参照)でも溶接線位置を検出することができる。
【0053】
【発明の効果】
以上述べたように、本発明による溶接線位置検出装置によると、溶接線を横切って延びるワーク表面の断面形状データを得る光学式のワーク断面形状計測手段を有し、前記ワーク断面形状データに基づいて溶接線位置を検出するに際し、前記光学式の計測手段の視野内にワークの溶接線の形成に関与しない無関係な第3の部材が入るような場合でも該第3の部材に邪魔されて誤ることなく溶接線位置を検出でき、また、仮付け溶接部がある箇所の場合でも該仮付け溶接部における溶接線位置を検出でき、また、開先が設けられている場合や該開先の断面形状データが得られないような場合でも溶接線位置を検出でき、さらにワークが中空あるいは中実の円柱状部材で構成され、ワーク断面形状が直線でなく上に凸の円弧を示すものになる場合でも溶接線位置を検出することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態による溶接線位置検出装置の全体構成を示す図である。
【図2】図1におけるレーザ式形状計測器により得られ、2次元座標(Y,Z)を持つ点位置のデータよりなるワーク断面形状データを模式的に示す図である。
【図3】図1に示す溶接線位置検出装置が備えられたアーク溶接ロボットを説明するための図である。
【図4】図1におけるコンピュータによる溶接線位置検出手順を説明するための図である。
【図5】図4における線分近似処理の手順を示すフローチャートである。
【図6】図4における線分グルーピング処理の手順を示すフローチャートである。
【図7】図4における溶接線位置絞込み処理の手順を示すフローチャートである。
【図8】図4における溶接線位置演算検出処理の手順を示すフローチャートである。
【図9】図4における溶接線位置演算検出処理の手順を示すフローチャートである。
【図10】線分近似処理を説明するための図である。
【図11】複数個の線分S1,S2,…により近似されたワーク断面形状を示す図である。
【図12】線分グルーピング処理を説明するための図である。
【図13】線分Siと線分Si+1との角度差Δθの説明図である。
【図14】溶接線位置演算検出処理を説明するための図である。
【図15】溶接線位置演算検出処理を説明するための図である(すみ肉T継手による溶接線を有するワーク、円形パイプ材と円形パイプ材とによる溶接線を有するワーク又は円形パイプ材と平板とによる溶接線を有するワークの場合)。
【図16】溶接線位置演算検出処理を説明するための図である(開先を有するすみ肉T継手よりなるワークの場合)。
【図17】溶接線位置演算検出処理を説明するための図である(仮付け溶接部での場合)。
【図18】溶接線位置演算検出処理を説明するための図である(開先を有し且つ該開先の断面形状データが得られないワークの場合)。
【図19】溶接線位置演算検出処理を説明するための図である(開先を有し且つ該開先の断面形状データが得られないワークの場合)。
【図20】すみ肉T継手の場合においてレーザ式形状計測器によるワーク断面形状を説明するための図である。
【図21】溶接線の形成に関与しない第3部材を有するすみ肉T継手の場合においてレーザ式形状計測器によるワーク断面形状を説明するための図である。
【図22】仮付け溶接部での溶接線位置を検出しようとする場合においてレーザ式形状計測器によるワーク断面形状を説明するための図である。
【図23】立板に開先面が設けられている場合においてレーザ式形状計測器によるワーク断面形状を説明するための図である。
【図24】ワークが円形パイプ材と平板とにより構成されている場合においてレーザ式形状計測器によるワーク断面形状を説明するための図である。
【図25】ワークが円形パイプ材と円形パイプ材とにより構成されている場合においてレーザ式形状計測器によるワーク断面形状を説明するための図である。
【符号の説明】
1…レーザ式形状計測器 11…レーザ投光器 12…ミラー 13…スキャナ 14…受光レンズ 15…2次元受光アレイ 2…コンピュータ 3…アーク溶接ロボット 4…ロボット制御盤 W…ワーク W1…第1部材 W2…第2部材 W3…第3部材 WL…溶接線 WG…開先面 PS1…第1部材断面形状パターン PS2…第2部材断面形状パターン[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a welding line position detection apparatus suitable for use in an arc welding robot, and has an optical workpiece sectional shape measuring means for obtaining sectional shape data of a workpiece surface extending across the welding line, and the workpiece sectional shape. The present invention relates to a welding line position detection apparatus that automatically detects a welding line position based on data.
[0002]
[Prior art]
In the memory / regenerative type arc welding robot, the welding line position of a reference workpiece is taught in advance and stored in a memory, and then when welding workpieces having the same shape as the reference workpiece one after another, Each workpiece is automatically welded by moving the welding torch along the welding line based on the teaching line data of the teaching line. By the way, (a) There is an assembly error in the workpiece (welded joint to be welded), and there is an error in workpiece installation when fixing the workpiece to be welded to the positioner. There may be a displacement between the weld line position and the weld line position of the workpiece to be welded. In addition, (b) misalignment may occur due to deformation of the workpiece due to thermal distortion of the workpiece during welding.
[0003]
For this reason, in order to eliminate the positional deviation, a welding line position of a required part (for example, a welding start setting part and a welding stop setting part) of the work is automatically detected or an arc is generated for each work prior to the start of welding. A welding line position detecting device is provided for automatically detecting the position of the welding line ahead of the arc generation point at a required location during welding. Then, the arc welding robot corrects the position data of the teaching weld line based on the actual weld line position data detected by the welding line position detection device, so that the workpiece to be welded is corrected. The correct true position data of the weld line is obtained.
[0004]
As an example of such a weld line position detection device, conventionally, a laser beam is irradiated while scanning a workpiece surface across the weld line WL of the workpiece W, and the reflected light is detected in a direction different from the irradiation direction. Thus, it has a laser-type
[0005]
This conventional weld line position detection device approximates the cross-sectional shape of the workpiece W by two straight lines based on the cross-sectional shape data of the workpiece, and detects the intersection of the two straight lines as the weld line position. is there. Therefore, in the case of a fillet T-joint (fillet joint composed of a lower plate and a standing plate), as shown in FIG. 20, the workpiece cross-sectional shape can be approximated by two straight lines, and the intersection of the two straight lines. q can be determined as a weld line position. The workpiece cross-sectional shape data shown in FIG. 20B is actually a large collection of point data having two-dimensional coordinates (Y, Z) (see FIG. 2), but continuous solid lines for easy understanding. It is shown by.
[0006]
[Problems to be solved by the invention]
However, when the conventional welding line position detecting device is applied to a joint that performs fillet welding most frequently used as a workpiece of a welding robot, in the following cases (1) to (4), the welding line position is There is a problem that cannot be detected.
[0007]
(1) As shown in FIG. 21A, when an unrelated third member W3 not involved in the formation of the weld line WL of the workpiece W enters the field of view of the laser type
[0008]
(2) As shown in FIG. 22 (a), when trying to detect the position of the weld line in the tack welded portion, as shown in FIG. 22 (b), as shown in FIG. Since the portion shows a curved line (an upwardly convex arc), the weld line position cannot be detected.
[0009]
(3) As shown in FIG. 23 (a), when a groove surface WG is provided on the first member (standing plate) W1 in order to increase the strength of the welded portion in the fillet T joint (work W). 23 (b), the workpiece cross-sectional shape cannot be approximated by two straight lines, and there are two intersections q and q ', and the first member W1 constituting the workpiece W and the first The intersection point q indicating the position of the weld line WL formed by the two members W2 cannot be detected. Further, when the groove surface WG is polished by a grinder or the like to remove the oxide film on the steel plate surface, the two-dimensional light receiving array of the
[0010]
(4) When the workpiece W is constituted by the circular pipe material W1 and the flat plate W2 as shown in FIG. 24A, the circular pipe in the workpiece cross-sectional shape data is shown in FIG. Since the material W1 portion shows a curve (upwardly convex arc) instead of a straight line, the weld line position cannot be detected. In addition, as shown in FIG. 25 (a), when the work W is constituted by a circular pipe material W1 as a first member and a circular pipe material W2 as a second member, the workpiece W is shown in FIG. 25 (b). As described above, since both the circular pipe members W1 and W2 in the workpiece cross-sectional shape data indicate a curve (an upwardly convex arc) instead of a straight line, the position of the weld line cannot be detected.
[0011]
Therefore, an object of the present invention is to provide an optical workpiece cross-sectional shape measuring means for solving the conventional problems and obtaining cross-sectional shape data of a work surface extending across a weld line, and based on the work cross-sectional shape data. In a welding line position detecting device for detecting a welding line position, when applied to a workpiece to be subjected to fillet welding as a target workpiece, an irrelevant third that does not participate in the formation of the welding line of the workpiece within the field of view of the optical measuring means. Even when a member is inserted, the position of the weld line can be detected without being disturbed by the third member, and the position of the weld line at the tack welded portion can be detected even when there is a tack welded portion. It is possible to detect the position of the weld line even when a groove is provided or when the cross-sectional shape data of the groove cannot be obtained, and the work is composed of a hollow or solid cylindrical member. It is to provide a weld line position detection device workpiece cross section can detect the weld line position even when made to show the arc upwardly convex rather than straight.
[0012]
[Means for Solving the Problems]
In order to achieve the above object, the invention of
[0013]
According to a second aspect of the present invention, in the welding line position detecting device according to the first aspect, the welding line calculation detecting means calculates a first straight line extending along a portion in the vicinity of the end point in the first member sectional shape pattern. And calculating a second straight line extending along the vicinity of the end point in the second member cross-sectional shape pattern, calculating an intersection of the two straight lines, and then calculating the two end points and the three intersection points. The positional relationship is determined, and the position of the weld line is detected.
[0014]
In the welding line position detection apparatus according to the present invention, first, two-dimensional sectional shape data indicating the sectional shape of the workpiece surface extending across the welding line WL of the workpiece W is obtained by the optical workpiece sectional shape measuring means. Based on the two-dimensional cross-sectional shape data from the work cross-sectional shape measuring means, the line segment approximating means converts the work cross-sectional shape into a flexible, curved line as well as the linearity of the work cross-sectional shape by a series of line segments. Approximate to the extent that can also reflect the nature (see FIGS. 10 and 11).
[0015]
Next, the line segment grouping means, for a plurality of line segments obtained by the line segment approximation means, the angle difference (degree of bending) formed by two adjacent line segments, and the two adjacent line segments being above or below. By analyzing which is convex, it is grouped into two or more line segment groups (see FIG. 12). Each line segment group is composed of a plurality of line segments. As a result, the plurality of line segments obtained by the line segment approximating means include a portion indicating the cross-sectional shape of one member W1 forming the weld line WL of the workpiece W and the other member W2 forming the weld line WL. The section showing the cross-sectional shape and the other parts (the irrelevant third member W3 not involved in the formation of the weld line WL, the tack welded part at the site of the weld line WL, etc.) are grouped into groups. Made. In this grouping, if the joint for fillet welding is a target workpiece, the cross-sectional shape of the members W1 and W2 forming the weld line WL is a straight line having a long length or a long and convex upward shape. The characteristic (property) of becoming an arc is used.
[0016]
After this grouping, the two line segment groups are extracted in descending order from the two or more line segment groups by the welding line position narrowing means, thereby obstructing the position detection of the weld line WL. The first member cross-sectional shape pattern PS1 indicating the cross-sectional shape pattern of one member W1 forming the weld line WL, excluding the parts such as the three members W3 and the tack welded portion, and the other member forming the weld line WL The second member cross-sectional shape pattern PS2 showing the cross-sectional shape pattern of W2 can be obtained.
[0017]
Thus, the end point on the second member cross-sectional pattern PS2 side of the first member cross-sectional shape pattern PS1 (end point located on the welding line side) is set to P1L, while the first member cross-sectional shape pattern of the second member cross-sectional shape pattern PS2 Assuming that the end point on the PS1 side (end point located on the weld line side) is P2R, the weld line position to be detected is this position when both the end points P1L and P2R overlap and are at the same position, and otherwise Exists in the vicinity of these end points P1L and P2R, so that the existence range of the weld line position can be narrowed down.
[0018]
Next, the weld line position calculation detection means calculates the first straight line L1 extending along the vicinity of the end point P1L in the first member cross-sectional shape pattern PS1, and along the vicinity of the end point P2R in the second member cross-sectional shape pattern PS2. The extended second straight line L2 is calculated, and thereafter the intersection point Q of the two straight lines L1 and L2 is calculated. Then, the welding line position of the workpiece can be detected by analyzing and determining the positional relationship between the two end points P1L and P2R and the intersection point Q by the welding line position calculation detection means (FIGS. 14 to 19). reference). For example, when the three points P1L, P2R, and Q are at the same position, the intersection point Q is set as the weld line position.
[0019]
The line segment approximation means, line segment grouping means, line segment grouping means, weld line position narrowing means, and weld line position calculation detecting means can be realized by a programmed computer.
[0020]
As described above, according to the welding line position detecting device of the present invention, the apparatus has optical workpiece cross-sectional shape measuring means for obtaining cross-sectional shape data of the work surface extending across the weld line, and the welding line is based on the work cross-sectional shape data. When detecting the position, even when an irrelevant third member not involved in the formation of the weld line of the workpiece enters the field of view of the optical measuring means (see FIG. 21), the third member is obstructed. The position of the weld line can be detected without error, and the position of the weld line in the tack welded portion can be detected even in the case where there is a tack welded portion (see FIG. 22), and a groove is provided. In this case (see FIG. 23) or when the sectional shape data of the groove cannot be obtained (see FIG. 23 (c)), the weld line position can be detected, and the work is constituted by a hollow or solid cylindrical member. And work Cross section can detect the weld line position even when made to show the arc upwardly convex rather than straight (see FIG. 24 and 25).
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an overall configuration of a welding line position detection apparatus according to an embodiment of the present invention.
[0022]
As shown in FIG. 1, the welding line position detection apparatus is configured by a laser type shape measuring instrument (work section shape measuring means) 1 and a
[0023]
The
[0024]
FIG. 2 is a diagram schematically showing workpiece cross-sectional shape data obtained from the laser-type shape measuring instrument in FIG. 1 and including point position data having two-dimensional coordinates (Y, Z). Here, regarding the YZ coordinate system, the Z axis is set in the direction toward the laser type
[0025]
FIG. 3 is a view for explaining an arc welding robot provided with the welding line position detecting device shown in FIG. As shown in the figure, a laser-type
[0026]
Hereinafter, in the welding line position detection apparatus configured as shown in FIG. 1, the welding line position detection by the
[0027]
First, line segment approximation processing will be described with reference to FIGS. The line segment approximation processing is obtained by the laser
[0028]
In the present embodiment, the workpiece cross-sectional shape data includes data of n positions Pk, k = 1 to n having a two-dimensional coordinate value in the YZ coordinate system. First, in step N1, initial setting i = 1 and j = n is performed. Next, at step N2, an equation of a straight line E connecting one end point Pi of the section (Pi, Pj) and the other end point Pj (Pj Y coordinate value> Pi Y coordinate value) in the workpiece cross-sectional shape data is obtained by calculation. It is done. In the first time, an equation of a straight line E connecting the start point P1 and the end point Pn is obtained (see FIG. 10A). In the next step N3, the distance D (Pk) from each point to the straight line E, k = i to j is calculated for each point. Here, D (Pk) indicates the distance value from the point Pk to the straight line E, and the first time is the distance value D (P1) from the starting point P1 to the straight line E, and the distance value D (P1) from the point P2 to the straight line E. P2),..., A distance value D (Pn) from the end point Pn to the straight line E is calculated (see FIG. 10B).
[0029]
Next, at step N4, the maximum value of the distance D (Pk) is obtained from the distance D (Pk), k = i to j calculated at step N3, the point at that time is Pkmax, and the distance is D (Pkmax). (See FIG. 10C). In step N5, it is determined whether or not the maximum distance D (Pkmax) is greater than a predetermined distance threshold value Lth. If the maximum distance D (Pkmax) is larger than the threshold value Lth, the process proceeds to step N6, and the point Pkmax is registered as a bending point (see FIG. 10D).
[0030]
When the inflection point is obtained, i = i, j = kmax is set in step N7, and the same processing as in steps N2 to N6 is performed in the section (Pi, Pkmax), while in step N8, i = kmax, j = j, and in the section (Pkmax, Pj), the same processing as in Step N2 to Step N6 is performed (see FIG. 10E). If the maximum distance D (Pkmax) in each section is equal to or less than the threshold value Lth, the inflection point extraction for the line segment approximation is terminated because there is no inflection point in that section (step N9).
[0031]
The workpiece cross-sectional shape is approximated by a plurality of line segments S1, S2,... Connecting the bending points Pkmax extracted in this way (see FIG. 11). Based on the workpiece cross-sectional shape data (Pk, k = 1 to n) having the two-dimensional coordinate values obtained by the laser type
[0032]
Next, a plurality of line segments S1, S2,... That approximate the workpiece cross-sectional shape are grouped into two or more line segment groups. The purpose of the grouping is that a plurality of line segments S1, S2,... Obtained by the above-described line segment approximation process, a portion showing the cross-sectional shape of one member W1 forming the weld line WL of the workpiece W, A portion showing the cross-sectional shape of the other member W2 that forms the weld line WL, and other parts (an irrelevant third member W3 not involved in the formation of the weld line WL, or a temporary welded part at the site of the weld line WL Etc.). In grouping, using the property that the cross-sectional shape of the members W1 and W2 forming the weld line WL is a long straight line or a long long convex arc, two adjacent line segments are used. When the angle difference Δθ between Si and Si + 1 is small, or when two adjacent line segments Si and Si + 1 are convex upward, the two line segments Si and Si + 1 belong to the same group. Grouped.
[0033]
6 is a flowchart showing the procedure of the line segment grouping process in FIG. 4, FIG. 12 is a diagram for explaining the line segment grouping process, and FIG. 13 is an explanatory diagram of the angle difference Δθ between the line segment Si and the line segment Si + 1. It is. Hereinafter, the line segment grouping process will be described.
[0034]
First, the angle difference Δθ formed by two adjacent line segments Si and Si + 1 will be described with reference to FIG. As shown in FIG. 13, a straight line Si is calculated by the least square method using a point sequence constituting the line segment Si. Similarly, a straight line Si + 1 is obtained by a least square method using a point sequence constituting the line segment Si + 1. Then, the angle difference Δθ between the obtained straight line Si and straight line Si + 1 is calculated. As for the value of the angle difference Δθ, the counterclockwise direction is defined as positive (plus) as shown in FIG. The angle difference Δθ obtained in this way is the angle difference between the line segments Si and Si + 1.
[0035]
First, in step N10, initial settings of i = 1 and g = 1 are performed. In the next step N11, initial setting is performed to set the line group number to which the line segment Si belongs to g, and the line segment S1 is set to belong to the
[0036]
Next, at step N12, the aforementioned angle difference Δθ between the line segment Si and the line segment Si + 1 is calculated. In the next step N13, whether or not the angle difference Δθ is smaller than a preset threshold value θth, or the line segment Si and the line segment Si + 1 are convex upward (angle difference Δθ ≧ 0). It is determined whether or not there is. Here, when the angle difference Δθ <θth or the angle difference Δθ ≧ 0 is satisfied (YES in step N13), the line segment Si + 1 belongs to the same group as the line segment Si. Let g be the line group number to which the segment Si + 1 belongs. In the first time (i = 1), the line segment S2 belongs to the
[0037]
Next, in step N16, i is incremented by 1 and then the process proceeds to step N17. In step N17, it is checked whether or not the line segment group number has been assigned up to the final line segment Sn, and the process returns to step N12.
[0038]
In this way, the line segments S1, S2,..., Sn are grouped. For example, in the example shown in FIG. 12, the line segment S4 and the line segment S5 do not satisfy the angle difference Δθ <θth or the angle difference Δθ ≧ 0, and belong to the same group because they protrude downward. Therefore, the line segments S1 to S6 are grouped into two line segment groups, that is, a
[0039]
Next, the welding line position narrowing process will be described. FIG. 7 is a flowchart showing the procedure of the welding line position narrowing process in FIG. The weld line position narrowing process hinders the position detection of the weld line WL by extracting two line segment groups in order of length from two or more line segment groups obtained by the line segment grouping process. The first member cross-sectional shape pattern PS1 indicating the cross-sectional shape pattern of one member W1 forming the weld line WL, excluding the third member W3 and the tack welded portion, and the other forming the weld line WL This is a process for obtaining the second member cross-sectional shape pattern PS2 indicating the cross-sectional shape pattern of the member W2.
[0040]
First, in step N18, the length of each line segment group (total length of line segments belonging to the line segment group) is calculated. Next, in step N19, a threshold value having a predetermined length is set in advance, each line segment group is compared with the threshold value, and those having a predetermined length or more are extracted from these line segment groups. . In the next step N20, it is determined whether or not the number of line segment groups extracted in step N19 is two or more. If there are two or more (YES in step N20), the process proceeds to step N21.
[0041]
In step N21, two line segment groups are extracted from these line segment groups in order of length. In Step N22, a first member cross-sectional shape pattern PS1 indicating a cross-sectional shape pattern of one member W1 forming the weld line WL of the workpiece W and a weld line WL are formed from the two extracted line segment groups. A second member cross-sectional shape pattern PS2 indicating the cross-sectional shape pattern of the other member W2 is obtained. In this example, the smaller Y coordinate value is defined as a first member sectional shape pattern PS1, and the larger Y coordinate value is defined as a second member sectional shape pattern PS2 (see FIG. 14).
[0042]
On the other hand, when the number of line segment groups extracted in step N19 is less than 2 (NO in step N20), no weld line position exists. For example, positioning of the laser-type
[0043]
A cross section of one member W1 forming the weld line WL by extracting two line segment groups in order of length from the line segment groups grouped by the line segment grouping process as in steps N18 to N22. The welding line position narrowing means executes the procedure of obtaining the first member sectional shape pattern PS1 showing the shape pattern and the second member sectional shape pattern PS2 showing the sectional shape pattern of the other member W2 forming the weld line WL. It is. As a result, the end point on the second member cross-sectional shape pattern PS2 side (end point located on the weld line side) of the first member cross-sectional shape pattern PS1 is defined as P1L, and the first member cross-sectional shape pattern PS1 of the second member cross-sectional shape pattern PS2 If the end point on the side (end point located on the weld line side) is P2R, the weld line position to be detected is this position when both of the end points P1L and P2R overlap and are in the same position, otherwise Since it exists in the vicinity of these end points P1L and P2R, the existence range of the weld line position can be narrowed down (see FIG. 14).
[0044]
8 and 9 are flowcharts showing the procedure of the welding line position calculation detection process in FIG. The weld line position calculation detection process analyzes the existence range of the weld line position obtained by the welding line position narrowing process and performs a process of detecting the position of the weld line WL.
[0045]
Steps N23 to N27 will be described with reference to FIG. First, in step N23, the end point on the pattern PS2 side of the first member cross-sectional pattern PS1 is set to P1L, and the end point on the pattern PS1 side of the second member cross-sectional shape pattern PS2 is set to P2R. Next, at step N24, a first straight line L1 (linear equation: A1 · Y + B1 · Z = C1) extending along the vicinity Dth of the end point P1L in the first member cross-sectional shape pattern PS1 is obtained by calculation. The calculation of the first straight line L1 is performed by the least square method using the cross-sectional shape data in the vicinity portion Dth having a predetermined length. Similarly, in the next step N25, a second straight line L2 (linear equation: A2 · Y + B2 · Z = C2) extending along the vicinity Dth ′ of the end point P2R in the second member cross-sectional shape pattern PS2 is obtained by calculation. The calculation of the second straight line L2 is performed by the least square method using the cross-sectional shape data in the vicinity portion Dth ′ having a predetermined length. Here, in step N24, N25, when the member cross-sectional shape patterns PS1, PS2 are obtained by approximating the curve shape to a line segment, if the lengths of the neighboring portions Dth, Dth ′ are large values, Therefore, the value is set to a value that is small enough to reflect the cross-sectional shape and tolerate the error. Further, the lengths of the adjacent portions Dth and Dth ′ are set to values smaller than the groove surface width.
[0046]
Next, at step N26, an intersection point Q between the first straight line L1 and the second straight line L2 is calculated, and the process proceeds to the next step N27. In step N27, the distance D1 between the end point P1L of the first member cross-sectional shape pattern PS1 and the intersection point Q, and the distance D2 between the end point P2R of the second member cross-sectional shape pattern PS2 and the intersection point Q are calculated.
[0047]
Next, in steps N28 to N35, the positional relationship of the three points of the end point P1L, the end point P2R, and the intersection point Q thus obtained is analyzed, and the position of the weld line WL is detected. First, in step N28, it is determined whether or not the smaller one of the distances D1 and D2 is smaller than a preset threshold value LENth. If it is smaller than the threshold value LENth (YES in step N28), the process proceeds to step N29, where the end point P1L, the end point P2R, and the intersection point Q are very close (when the three points overlap). 15), as shown in FIG. 15, a workpiece W (see FIGS. 20 and 21A) having a weld line WL by a fillet T joint, and a weld line WL by a circular pipe material W1 and a circular pipe material W2. The workpiece W (see FIG. 25) or the workpiece W (see FIG. 24) having the weld line WL by the circular pipe member W1 and the flat plate W2, or the fillet T joint having a groove as shown in FIG. 23 (a)). In these cases, the previously calculated intersection point Q is the weld line position. The intersection point Q is output to the robot control panel 4 as a welding line position.
[0048]
If the smaller one of the distances D1 and D2 is equal to or greater than the threshold value LENth (NO in step N28), the process proceeds to step N30, where the Y coordinate value of the end point P1L <the Y coordinate value of the intersection point Q <the Y coordinate of the end point P2R. It is determined whether or not the relationship of value is satisfied. Here, if the relationship is satisfied (YES in step N30), the process proceeds to step N31, where it is determined that it is a place of a tack welded portion (see FIG. 22A) as shown in FIG. Let the intersection point Q calculated in
[0049]
On the other hand, if the above relationship is not satisfied (NO in step N30), the process proceeds to step N32 to determine whether or not the relationship of the Y coordinate value of the end point P2R <the Y coordinate value of the intersection point Q is satisfied. . If this relationship is satisfied (YES in step N32), the process proceeds to step N33, and as shown in FIG. 18, the workpiece W has a groove and the sectional shape data of the groove cannot be obtained. (See FIG. 23C), and the end point P2R is set as the weld line position. This end point P2R is output to the robot control panel 4 as a welding line position.
[0050]
Next, if the above relationship is not satisfied (NO in step N32), the process proceeds to step N34, and it is determined whether or not the relationship of Y coordinate value of the end point P1L> Y coordinate value of the intersection point Q is satisfied. . If the relationship is satisfied (YES in step N34), the process proceeds to step N35, and as shown in FIG. 19, the workpiece W has a groove and the sectional shape data of the groove cannot be obtained. And the end point P1L is set as the weld line position. This end point P1L is output to the robot control panel 4 as a welding line position. On the other hand, in the case of NO in step N34, for example, it is considered that a problem has occurred in the laser type
[0051]
As in steps N23 to N35, the end point P1L located on the second member cross-sectional shape pattern PS2 side of the first member cross-sectional shape pattern PS1, the workpiece cross-sectional shape data near the end point P1L, and the second member cross-sectional shape pattern PS2 Based on the end point P2R positioned on the first member cross-sectional shape pattern PS1 side and the work cross-sectional shape data in the vicinity of the end point P2R, the procedure for calculating and detecting the position of the weld line WL is executed. Means.
[0052]
As described above, according to the welding line position detecting device according to the embodiment, when the workpiece W is applied to a workpiece to be subjected to fillet welding, the welding line WL of the workpiece is formed in the field of view of the laser-type
[0053]
【The invention's effect】
As described above, according to the welding line position detection device of the present invention, the apparatus has an optical workpiece sectional shape measuring means for obtaining sectional shape data of the workpiece surface extending across the welding line, and based on the workpiece sectional shape data. When detecting the position of the weld line, even if an irrelevant third member not involved in the formation of the weld line of the workpiece enters the field of view of the optical measuring means, the third member is disturbed and erroneous. The position of the weld line can be detected without being detected, and the position of the weld line in the tack welded portion can be detected even in the case where there is a tack welded portion. Even when shape data cannot be obtained, the position of the weld line can be detected, and the workpiece is composed of a hollow or solid cylindrical member, and the workpiece cross-sectional shape is not a straight line but an upwardly convex arc It is also possible to detect the weld line position.
[Brief description of the drawings]
FIG. 1 is a diagram showing an overall configuration of a welding line position detection apparatus according to an embodiment of the present invention.
2 is a diagram schematically showing workpiece cross-sectional shape data obtained by the laser type shape measuring instrument in FIG. 1 and including point position data having two-dimensional coordinates (Y, Z). FIG.
FIG. 3 is a view for explaining an arc welding robot provided with the welding line position detection device shown in FIG. 1;
4 is a view for explaining a welding line position detection procedure by the computer in FIG. 1; FIG.
FIG. 5 is a flowchart showing a procedure of line segment approximation processing in FIG. 4;
6 is a flowchart showing a procedure of line segment grouping processing in FIG. 4; FIG.
7 is a flowchart showing a procedure of welding line position narrowing processing in FIG. 4;
8 is a flowchart showing a procedure of welding line position calculation detection processing in FIG. 4. FIG.
FIG. 9 is a flowchart showing a procedure of welding line position calculation detection processing in FIG. 4;
FIG. 10 is a diagram for explaining line segment approximation processing;
FIG. 11 is a diagram showing a workpiece cross-sectional shape approximated by a plurality of line segments S1, S2,.
FIG. 12 is a diagram for explaining line segment grouping processing;
FIG. 13 is an explanatory diagram of an angle difference Δθ between a line segment Si and a line segment Si + 1.
FIG. 14 is a diagram for explaining a welding line position calculation detection process;
FIG. 15 is a diagram for explaining welding line position calculation detection processing (a work having a weld line by a fillet T joint, a work having a weld line by a circular pipe material and a circular pipe material, or a circular pipe material and a flat plate; For workpieces with weld lines).
FIG. 16 is a diagram for explaining a welding line position calculation detection process (in the case of a workpiece made of a fillet T joint having a groove);
FIG. 17 is a diagram for explaining a welding line position calculation detection process (in the case of a tack welded portion).
FIG. 18 is a diagram for explaining a welding line position calculation detection process (in the case of a workpiece having a groove and from which the cross-sectional shape data of the groove cannot be obtained).
FIG. 19 is a diagram for explaining a welding line position calculation detection process (in the case of a workpiece having a groove and from which cross-sectional shape data of the groove cannot be obtained).
FIG. 20 is a view for explaining a workpiece cross-sectional shape by a laser type shape measuring instrument in the case of a fillet T joint.
FIG. 21 is a view for explaining a workpiece cross-sectional shape by a laser-type shape measuring instrument in the case of a fillet T joint having a third member not involved in the formation of a weld line.
FIG. 22 is a diagram for explaining a workpiece cross-sectional shape by a laser-type shape measuring instrument in a case where a weld line position in a tack welding portion is to be detected.
FIG. 23 is a diagram for explaining a workpiece cross-sectional shape by a laser-type shape measuring instrument when a groove surface is provided on a standing plate.
FIG. 24 is a diagram for explaining a cross-sectional shape of a workpiece by a laser-type shape measuring instrument when the workpiece is composed of a circular pipe material and a flat plate.
FIG. 25 is a diagram for explaining a cross-sectional shape of a workpiece by a laser-type shape measuring instrument when the workpiece is composed of a circular pipe material and a circular pipe material.
[Explanation of symbols]
DESCRIPTION OF
Claims (2)
(b) 前記ワーク断面形状計測手段により得られた2次元のワーク断面形状データに基づいて、複数個の線分によりワーク断面形状を近似する線分近似手段と、
(c) 前記線分近似手段による前記複数個の線分を所定の規則に従ってグループ化する線分グルーピング手段と、
(d) 前記線分グルーピング手段によりグループ化された線分グループから長さの長い順に2つの線分グループを抽出することにより、前記ワークの前記溶接線を形成する一方の部材の断面形状パターンを示す第1部材断面形状パターンと、前記溶接線を形成する他方の部材の断面形状パターンを示す第2部材断面形状パターンとを得る溶接線位置絞込み手段と、
(e) 前記第1部材断面形状パターンの前記第2部材断面形状パターン側に位置する端点と、該端点近傍のワーク断面形状データと、前記第2部材断面形状パターンの前記第1部材断面形状パターン側に位置する端点と、該端点近傍のワーク断面形状データとに基づいて、前記溶接線の位置を演算し検出する溶接線位置演算検出手段と、を備えていることを特徴とする溶接線位置検出装置。(A) a workpiece cross-sectional shape measuring means for obtaining two-dimensional cross-sectional shape data indicating a cross-sectional shape of a work surface extending across the weld line by irradiating light and detecting the reflected light in a direction different from the irradiation direction; ,
(B) line segment approximating means for approximating the work cross-sectional shape by a plurality of line segments based on the two-dimensional work cross-sectional shape data obtained by the work cross-sectional shape measuring means;
(C) line segment grouping means for grouping the plurality of line segments by the line segment approximation means according to a predetermined rule;
(D) By extracting two line segment groups in order of length from the line segment groups grouped by the line segment grouping means, a sectional shape pattern of one member forming the weld line of the workpiece is obtained. Welding line position narrowing means for obtaining a first member cross-sectional shape pattern and a second member cross-sectional shape pattern indicating a cross-sectional shape pattern of the other member forming the weld line;
(E) An end point located on the second member cross-sectional shape side of the first member cross-sectional shape pattern, workpiece cross-sectional shape data in the vicinity of the end point, and the first member cross-sectional shape pattern of the second member cross-sectional shape pattern Welding line position comprising: a welding line position calculation detecting means for calculating and detecting the position of the welding line based on the end point located on the side and the workpiece cross-sectional shape data in the vicinity of the end point Detection device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24340599A JP3675680B2 (en) | 1999-08-30 | 1999-08-30 | Welding line position detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24340599A JP3675680B2 (en) | 1999-08-30 | 1999-08-30 | Welding line position detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001062566A JP2001062566A (en) | 2001-03-13 |
| JP3675680B2 true JP3675680B2 (en) | 2005-07-27 |
Family
ID=17103379
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24340599A Expired - Lifetime JP3675680B2 (en) | 1999-08-30 | 1999-08-30 | Welding line position detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3675680B2 (en) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003126963A (en) * | 2001-10-24 | 2003-05-08 | Kobe Steel Ltd | Teaching route correction device for welding robot |
| WO2005088244A1 (en) * | 2004-03-17 | 2005-09-22 | Sony Corporation | Plane detector, plane detecting method, and robot apparatus with plane detector |
| JP2007275952A (en) * | 2006-04-10 | 2007-10-25 | Universal Shipbuilding Corp | Non-contact automatic method for detecting welding line and apparatus therefor |
| JP6798388B2 (en) * | 2017-03-29 | 2020-12-09 | 株式会社デンソー | Welding position detection device for members and welding position detection method for members |
| CN107044826B (en) * | 2017-04-25 | 2023-04-21 | 东莞台一盈拓科技股份有限公司 | Laser relative position measuring instrument |
| JP6713953B2 (en) * | 2017-06-15 | 2020-06-24 | 日本電信電話株式会社 | Shape estimating device, shape estimating method and program |
| CN107199423B (en) * | 2017-07-10 | 2022-11-25 | 大连华锐重工数控设备有限公司 | Non-programming teaching-free intelligent welding robot |
| JP6924378B2 (en) * | 2017-08-23 | 2021-08-25 | 株式会社Ihi | Welding position correction method and welding equipment |
| JP7040932B2 (en) * | 2017-12-19 | 2022-03-23 | 株式会社ダイヘン | Welding position detection device, welding position detection method and welding robot system |
| JP6941899B1 (en) * | 2020-11-20 | 2021-09-29 | 計測技研株式会社 | Clearance measurement system and clearance measurement method |
| JP6946540B1 (en) * | 2020-12-17 | 2021-10-06 | 日鉄エンジニアリング株式会社 | Welding system and steel pipe shape identification method |
| US20230096097A1 (en) * | 2021-09-24 | 2023-03-30 | Daihen Corporation | Welding Line Detection System |
| JP7176148B1 (en) * | 2021-09-24 | 2022-11-21 | 株式会社ダイヘン | Weld line detection system |
-
1999
- 1999-08-30 JP JP24340599A patent/JP3675680B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001062566A (en) | 2001-03-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3675680B2 (en) | Welding line position detection device | |
| JP2612131B2 (en) | Visual guide laser welding | |
| CN110064819B (en) | Cylindrical surface longitudinal weld characteristic region extraction and weld tracking method and system based on structured light | |
| JP5217221B2 (en) | Method for detecting surface defect shape of welded portion and computer program | |
| US20080056446A1 (en) | Tire inspection method | |
| JP2016149501A (en) | Substrate detection apparatus, substrate detection method, and substrate processing system | |
| JP2002229185A (en) | How to fix photomask | |
| US10054515B2 (en) | Focusing state measuring apparatus | |
| JPH1094874A (en) | Automatic welding method for tube joint | |
| CN121074107B (en) | A method and system for feature extraction and dimensional measurement of saddle-shaped weld grooves in thick plates | |
| CN115890053A (en) | Internal welding machine aligning method and device, internal welding machine and storage medium | |
| CN118032943B (en) | A nozzle fillet weld detection system and method based on phased array ultrasonic system | |
| JP4762851B2 (en) | Cross-sectional shape detection method and apparatus | |
| CN113485240B (en) | Robot online welding path planning method based on hierarchical search tree with flag bit | |
| JP3151790B2 (en) | Method and apparatus for detecting center position of weld groove / bead | |
| JP2007307612A (en) | Automatic welding method and automatic welding equipment, and reference tool used for automatic welding | |
| JPH1177308A (en) | Welding line detection method and apparatus and welding apparatus | |
| Wang et al. | A path correction method based on global and local matching for robotic autonomous systems | |
| KR101650632B1 (en) | Method for generating inspection region of sealing trajectory and apparatus thereof | |
| JPH10281731A (en) | Method of measuring processing position and shape of tube of membrane panel using three-dimensional laser sensor | |
| JPH09101113A (en) | Method and device for measuring groove position and shape | |
| CN106181144B (en) | A kind of detection method of concave welding bead position | |
| CN116967663B (en) | Visual identification method for weld seams in boiler membrane walls | |
| TWI722748B (en) | Method for measuring shape of steel slab | |
| JP2019042827A (en) | Robot trajectory position correction system, and robot trajectory correction method using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050426 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3675680 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080513 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090513 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100513 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110513 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120513 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130513 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140513 Year of fee payment: 9 |
|
| EXPY | Cancellation because of completion of term |