JP3593544B2 - Metal surface defect detection method - Google Patents
Metal surface defect detection method Download PDFInfo
- Publication number
- JP3593544B2 JP3593544B2 JP30322199A JP30322199A JP3593544B2 JP 3593544 B2 JP3593544 B2 JP 3593544B2 JP 30322199 A JP30322199 A JP 30322199A JP 30322199 A JP30322199 A JP 30322199A JP 3593544 B2 JP3593544 B2 JP 3593544B2
- Authority
- JP
- Japan
- Prior art keywords
- defect
- standard deviation
- inspection
- correlation
- engraved
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、金属表面の欠陥検出方法に関し、特に、ベアリングの端面に代表されるような面取り部を有する金属表面における欠陥を検出するための欠陥検出方法に関する。
【0002】
【従来の技術】
近年の部品生産ラインにおいては、加工工程の終わりに被加工物表面の欠陥検査を画像処理技術により行うものが増えてきた。具体的には、少なくとも画像処理装置、照明、及びTVカメラを有する構成とし、被加工物表面にて反射された照明光をTVカメラにより捉え、この撮影画像に対して画像処理装置において様々な画像処理技術を適用し、欠陥有無の判定を行うようにしている。この場合の画像処理技術としては、テンプレートマッチング法や面積等の画像特徴量を抽出する方法が一般的となっている。
【0003】
ベアリングの内外輪(内輪及び外輪)においては、その軌道面(玉やころ等の転動体と接する面)や端面の欠陥検査が行われることになる。ここで、ベアリングの内外輪端面を考えると、図3に示すように、端面における外周面と内周面のそれぞれの境界部には面取りが施されている。この面取りはベアリングの生産ライン中の面取り加工工程において施されたものであるが、一般に、面取りは加工精度に大きく影響しないので、面取り加工は比較的ラフに行われる場合が多い。そのため、端面部と面取り部のそれぞれの大きさは被加工物によってかなり異なる場合もある。
【0004】
【発明が解決しようとする課題】
ここで、画像処理技術として最もよく利用されているテンプレートマッチング法を、ベアリングの内外輪端面の欠陥検査に適用した場合の問題点について述べる。第1に、前述したように、ベアリングの内外輪端面には面取りが施されており、この面取量の公差は大きいために、検査を行うべき端面部と面取り部のそれぞれの大きさは被加工物によってかなり変動することになり、その結果、検査部位の大きさが一定であることを前提としたテンプレートマッチング法では良好な検査が行えないことになる。第2に、テンプレートマッチング法では、取得した被加工物とテンプレートのそれぞれの画像データ同士を比較するために、微小傷などの小さな欠陥を検出しにくい。第3に、端面を加工した研削砥石の種類やその摩耗の度合いなどにより、加工された端面の面粗さが被加工物によって異なることがあり、この場合、欠陥判定のしきい値の設定によっては、面粗さが悪いものを欠陥と誤認識することがある。
【0005】
さらに、端面に刻印がある場合には、上記の問題点に加えて以下の問題点も生ずる。第1に、刻印の欠落の検査や刻印を除いた箇所の欠陥の検査を行うことになるので、まず刻印の位相合わせをしなければならないが、この場合、マスタパターンとの位相合わせを行った後、テンプレートマッチングを行うことになるので、特に、検出精度を上げるために画像サイズを大きくすると検査時間が非常に長くなる。第2に、刻印の深さによって取得画像における刻印の大きさや長さが変化することになるので、これを欠陥と誤認識することがある。第3に、テンプレートマッチング法における欠陥検査では、刻印を含む一定範囲を不感帯としてマスキングする必要があるので、刻印近傍の欠陥が検出できなくなる。
【0006】
本発明は前述の問題点を解決するためになされたものであり、その目的は、(1)面取り量の大きさに依存せず良好な検査が行えること、(2)微小傷などの小さな欠陥も確実に検出できること、(3)面粗さに依存せず良好な検査ができること、 (4)刻印の位相合わせを含む検査時間を短縮すること、(5)刻印の深さに依存せず良好な検査が行えること、(6)刻印近傍の欠陥も検出できることである。
【0007】
【課題を解決するための手段】
前記(1)乃至(3)の目的を達成するために、請求項1にかかる発明では、被検査物をTVカメラにより撮影し、この撮影画像に対して画像処理を施すことにより被検査物表面の欠陥を検出するようにした金属表面の欠陥検出方法において、被検査物表面の検査領域を複数個の微小領域に分割し、この微小領域のそれぞれにおいて輝度に関する標準偏差を測定し、この標準偏差と予め測定し登録しておいた欠陥のないマスターワークにおける標準偏差との相関度を算出し、この相関度を予め設定しておいた欠陥検出用のしきい値と比較することにより、被検査物表面の欠陥の有無を検出するようにしている。
【0008】
係る手順としたことにより、マスターワークと被検査物との間で対応する領域内における輝度に関する標準偏差を比較しているので、テンプレートマッチング法のように両者の比較対象領域の大きさは必ずしも等しくなくてもよい。また、標準偏差を用いることにより、分割する領域の大きさを小さくすれば、微小傷などの小さい欠陥の検出にも容易に対応できる。さらに、標準偏差を用いることにより、面粗さを加味した欠陥の検出ができるので、面粗さが悪いことのみをもって欠陥が存在すると誤判定することはなくなる。
【0009】
さらに、前記(4)乃至(6)の目的をも達成するために、この請求項1にかかる発明では、前記被検査物表面の微小領域毎の標準偏差のうち予め設定しておいた刻印認識レベル以上の標準偏差が存在した場合は、刻印の欠陥についても検査するようにした。その具体的な処理手順は、まず、前記被検査物表面における微小領域毎の標準偏差とマスターワークにおける微小領域毎の標準偏差との相関度から位置ずれ量を算出することにより、被検査物表面とマスターワークとのデータの位置合わせを行い、この位置合わせの後に、被検査物及びマスターワークのそれぞれについて刻印認識レベル以上の標準偏差を有する箇所を刻印ブロックとして認識させ、被検査物及びマスターワークの対応する刻印ブロック毎に前記相関度と刻印ブロックの幅の差異を求め、相関度が予め設定しておいたしきい値よりも小さいか、刻印ブロック幅の差異が予め設定しておいた許容値よりも大きいかのいずれかの場合は、刻印部に欠陥が存在するものと判定するようにした。
【0010】
ここで、係る手順としたことによる作用について説明する。刻印が存在する箇所と存在しない箇所とでは輝度に関する標準偏差は大きく異なるので、刻印の欠陥検査においては、まず、被検査物表面とマスターワークとのデータの位置合わせを行うことになる。次いで、被検査物及びマスターワークのそれぞれについて刻印認識レベル以上の標準偏差を有する箇所を刻印ブロックとして認識させる。そして、被検査物及びマスターワークの対応する刻印ブロック毎に被検査物表面における微小領域毎の標準偏差とマスターワークにおける微小領域毎の標準偏差との相関度を求め、この相関度が予め設定しておいたしきい値よりも小さい場合は、刻印部に欠陥が存在するものと判定する。さらに、被検査物及びマスターワークの対応する刻印ブロック毎に刻印ブロックの幅の差異を求め、この差異が予め設定しておいた許容値よりも大きい場合についても、刻印部に欠陥が存在するものと判定する。
【0011】
請求項1にかかる発明によれば、被検査物表面とマスターワークとのデータの位置合わせについては双方の輝度に関する標準偏差の相関度により行っているので、検査精度を上げるために画像サイズを大きく設定する必要はなく、よってテンプレートマッチング法よりも刻印の位置合わせの時間が短くなる。また、被検査物及びマスターワークのそれぞれについて刻印認識レベル以上の標準偏差を有する箇所を刻印ブロックとして認識させ、被検査物及びマスターワークの対応する刻印ブロック毎に被検査物表面における微小領域毎の標準偏差とマスターワークにおける微小領域毎の標準偏差との相関度及び刻印ブロックの幅の差異に基づいて刻印の欠陥を検出するようにしているので、テンプレートマッチング法のように刻印の深さに依存することなく、良好な検査が行える。さらに、刻印以外の検査領域の欠陥検査については全検査領域の標準偏差のデータから刻印ブロックとして認識させた箇所の標準偏差のデータをキャンセル(削除)したものを利用すればよいので、テンプレートマッチング法のように刻印近傍の検査領域も含めた一定範囲をマスキングする必要はなく、よって刻印近傍の検査領域についても欠陥の検出が行える。
【0012】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。図2は、本発明の欠陥検査方法が適用される画像処理装置を含むシステム構成の一例を示したものである。検査対象物としてのベアリング22は、検査面としての端面が上になるようにして検査台21に載置される。ベアリング22の上部には、CCDカメラ等のTVカメラ24が設けられており、その光軸は検査面としてのベアリング22の端面と垂直となるようにされている。検査台21とTVカメラ24の間には照明装置としてのリング照明23が設けられており、このリング照明23の環状部のほぼ中心にTVカメラ24の光軸が通るようにされている。かかる構成とする理由は、環状の検査面に対して一様に照明を照射し、その反射光を効率的に受光するためである。
【0013】
画像処理装置25はTVカメラ24により捉えられた撮影画像を入手し、後述する画像処理を施している。また、画像処理装置25は、撮影画像やマスター画像等の画像データを記憶しておくための記憶装置を有している。パネルキー26は作業者が画像処理装置25に対してデータや指令コード等を入力するために使用する。モニタTV27は撮影画像や画像処理済み画像等の各種画像を表示する他、各種設定パラメータや検査結果の表示にも使用される。その他、必要に応じて、検査対象物としてのベアリング22を検査台21上に自動的に搬入出するためのローダを装備するようにしてもよい。
【0014】
ここで、画像処理装置25内の制御回路を示す図12を参照して、画像処理装置25内で行われる処理について簡単に説明する。外部から動作指令が入力されると、制御プロセッサとしてのCPU37は、VRAM33へのアドレス発生とこれを制御するアドレス発生回路34、及びTVカメラ24の同期信号を制御する同期制御回路32に信号を送る。TVカメラ24は、同期制御回路32からの信号を受け被検査物を撮影し、この撮影画像をA/Dコンバータ31に送信する。A/Dコンバータ31では、入力映像信号を8ビット・256階調のデータに変換し、これを画像メモリとしてのVRAM33へ格納する。
【0015】
次いで、CPU37は、指定された領域をアドレス発生回路34にセットし、計算内容を画像演算回路35にセットすることにより、指定領域のデータが自動的にVRAM33から画像演算回路35に転送される。画像演算回路35において指定された演算が実行され終了すると、アドレス発生回路34はCPU37へ終了信号を送信し、これを受けてCPU37は画像演算回路35から演算結果を受信する。なお、D/Aコンバータ36は前述の8ビット・256階調のデータを画像表示用のアナログデータに変換し、RAM38は良品データ等の登録データの保存及び作業用メモリとして使用され、ROM39は制御プログラムの格納用メモリであり、I/O40は外部機器とのインターフェースである。
【0016】
以下、本実施形態におけるベアリング22の欠陥検査の手順について、図1に示したフローチャート、及び図3〜図11を参照して説明する。
【0017】
ステップ1:画像を入力する。
このステップでは、TVカメラ24から画像を入力する。TVカメラ24で撮影された画像はアナログデータであるが、これをA/D(アナログ・デジタル)変換処理により、256階調のデジタルデータに変換し、記憶する。なお、ベアリング22の内輪についても外輪と同様の手順で欠陥検査を行うが、ここでは外輪についてのみ説明を行う。
【0018】
ステップ2:エッジ位置を検出する。
このステップでは、ベアリング22の外輪に対して、端面と外周面取りとの境界(エッジ)と、端面と内周面取りとの境界(エッジ)とをそれぞれ設定する。ベアリング22の外輪では、端面における外周面と内周面のそれぞれの境界部には面取りが施されており、これを外周面取り、内周面取りとそれぞれ呼ぶことにする。本実施形態では、端面、外周面取り、内周面取りのそれぞれの領域において検査を行うようにする。したがって、TVカメラ24により捉えられた撮影画像に対して、まず、端面、外周面取り、内周面取りのそれぞれの領域に分割する処理を行うことになる。この処理の具体的な手順は、まず、図3(b)に示すように良品のベアリング22の外輪に対して、端面と外周面取りとの境界(エッジ)と、端面と内周面取りとの境界(エッジ)とをそれぞれ設定しておき、次いで、このデータとTVカメラ24により捉えられた撮影画像データとを比較し、最も類似する箇所をエッジ検出点とし、この検出点を各領域の境界(エッジ位置)として設定する。なお、良品のベアリング22のデータについては、欠陥のないマスターワークについて予め測定し、このデータをRAM38に登録しておく。
【0019】
ステップ3:検査領域を設定する。
このステップでは、ステップ2で求めたエッジ位置とベアリング22の外輪の外径及び内径の大きさに基づいて、図4に示すように、3つの領域、すなわち面取りが施された領域(外周面取り部A及び内周面取り部C)とこれ以外の領域(端面部B)に分割する。
【0020】
ステップ4:端面部Bの幅をチェックする。
このステップでは、ステップ3で設定された端面部Bに基づいて、この端面部Bの幅を算出し、これが許容値の範囲外であったならば面取り不良と判断し、ステップ16の判定NG処理に移行する。これは、面取り量が多い場合には端面部Bの幅が小さくなり、一方、面取り量が小さい場合には端面部Bの幅が大きくなることによるものである。なお、端面部Bの幅については、ステップ2で求めた端面と外周面取りとの境界のエッジ位置、及び端面と内周面取りとの境界のエッジ位置に基づいて、容易に求めることができる。
【0021】
ステップ5:全周の標準偏差を計測する。
このステップでは、ステップ4で面取り不良と判断されなかった場合は、各検査領域(外周面取り部A、端面部B及び内周面取り部C)のそれぞれについて微小領域に分割した後、ベアリング22の外輪の端面全周について、各微小領域における標準偏差を計測する。具体的には、分割された3つの領域に対して、図4のハッチング領域に示すように微小領域を設定し、この微小領域を環状の検査領域に沿って1度ずつ回転移動させながら、光の反射の強さのばらつき(標準偏差)を計測する。
【0022】
図5は各検査領域における計測データの一例を示したものである。(a)、(b)、(c)の各図は、それぞれ外周面取り部A、端面部B、内周面取り部Cの計測データであり、いずれも横軸は回転角度位置であり、縦軸は標準偏差である。なお、後述する図6〜図8および図10〜図11についても、横軸は回転角度位置、縦軸は標準偏差を示している。(b)図については、刻印(「NACHI」の文字)が存在する箇所の標準偏差が高く現れている。本実施形態においては、端面部Bの計測データについては刻印の欠陥検査及び刻印以外の欠陥検査に使用し、一方、外周面取り部A及び内周面取り部Cの計測データについては、うねりや傷の検査に使用する。なお、図6は、(a)図が検査領域にうねりが存在する場合、(b)図が検査領域に傷が存在する場合の計測データの一例をそれぞれ示している。
【0023】
ステップ6:端面部Bについて刻印が施されているか否かを判定する。
このステップでは、ステップ5で計測した端面部Bの微小領域における標準偏差において、図7(b)に示すように、予め設定された刻印認識レベル以上の標準偏差が存在した場合は、端面部Bに刻印が存在するものと判断し、刻印の欠陥について検査するステップ7以降の処理に移行する。一方、端面部Bに刻印認識レベル以上の標準偏差が存在しない場合は、端面部Bに刻印が存在しないものと判断し、ステップ7〜11の処理を飛ばし、ステップ12へ進む。また、外周面取り部A及び内周面取り部Cについては、この検査領域については当然のことながら刻印が存在しないから、同様にして、ステップ7〜11の処理を飛ばし、ステップ12へ進む。
【0024】
ステップ7:刻印の位置合わせを行う。
このステップでは、ステップ6において端面部Bに刻印が施されていると判定された場合に、予め登録してある端面部Bにおける良品データ(図7(a))と、計測データ(図7(b))との位置合わせを行う。これは、刻印の欠陥を検査するためには、まず、良品データと計測データの刻印部の位置(位相)を合わせる必要があるからである。この位置合わせの詳細については、外輪の中心位置(円環の中心位置)を中心として良品データに対して計測データを1度ずつずらしながら、正規化相関により両データの相関度を求めていき、相関度が最も大きくなる位置に基づき両者の位相のずれ量を算出し、この位相のずれ量分だけ計測データ位置を補正することにより位置合わせを行う。
【0025】
ステップ8:刻印部のチェックを行う。
このステップでは、図7(b)に示す予め設定しておいた前述の刻印認識レベル以上の部分の個々を刻印ブロックと呼ぶことにし、この刻印ブロック毎に、欠陥のないマスターワークについて予め測定し登録しておいた良品データと計測データとの相関度、及び各刻印ブロックの始点と終点から刻印ブロック幅を求め、良品デ−タと計測デ−タの差異を求める。そして、相関度と幅の差異と予め設定されている許容値とを比較することにより、刻印部の欠陥判定を行う。
【0026】
ステップ9:差異が許容範囲内であるか否か。
このステップでは、ステップ8における良品データと計測データの相関度が予め設定されているしきい値よりも小さいか、各刻印ブロック幅の差異が予め設定されている許容値よりも大きいかのいずれかの場合は、刻印部に欠陥が存在するものと判定し、欠陥が存在すると判定した刻印ブロックについては次のステップ10のマスキング処理を行わない。一方、良品データと計測データの相関度が予め設定されているしきい値よりも大きく、かつ各刻印ブロック幅の差異が予め設定されている許容値よりも小さい場合は、刻印部に欠陥が存在しないものと判定し、ステップ10に進む。
【0027】
ステップ10:刻印部のマスキングを行う。
このステップでは、ステップ9において刻印部に欠陥が存在しないものと判定された場合に、刻印と認識された部分についてマスキングを行う。図9にマスキングの一例を示す。これは、この後の刻印部以外の検査においては、刻印部のデータをマスキングしておく必要があるためである。この刻印部のマスキングを図で示すと、計測データ図8(b)から刻印部をキャンセルすることにより図8(c)が得られる。なお、刻印部に欠陥があると判断された場合の例を図8(e)及び図8(f)に示す。
【0028】
ステップ11:標準偏差を再計測する。
このステップでは、ステップ10において刻印部をマスキングした後の検査領域について、微小領域毎の標準偏差を再度計測する。
【0029】
ステップ12〜14:相関度を計算し、欠陥の有無を判定する。
これらのステップでは、ステップ5あるいはステップ11において計測された微小領域毎の標準偏差デ−タ、及びステップ6からジャンプされた外周面取り部A及び内周面取り部Cの標準偏差デ−タについて、欠陥の有無を判定する。具体的には、許容できる面粗さに基づいて予め設定されるレベルとしての相関度計算基準レベルを基準として、図10に示すように、設定された比較範囲毎に良品データと計測デ−タの相関度を算出し(ステップ12)、これを全比較範囲について算出し(ステップ13)、全比較範囲中で相関度の最も低いものを全体の相関度とし、これと予め設定しておいた欠陥検出用のしきい値とを比較し(ステップ14)、全体の相関度がしきい値を下回った場合は検査領域内に欠陥が存在するものと判定し、ステップ16の判定NG処理に移行し、一方、全体の相関度がしきい値を下回らなかった場合は検査領域内に欠陥が存在しないものと判定し、ステップ15の判定OK処理に移行する。なお、欠陥検出用のしきい値を下回った相関度を有する比較範囲内に、欠陥が存在するものと判定することもできる。このように、マスターワークと被検査物との間で対応する領域内における輝度に関する標準偏差を比較しているので、テンプレートマッチング法のように両者の比較対象領域の大きさは必ずしも等しくなくてもよい。
【0030】
ところで、図10は比較範囲として端面全周を12分割にした場合を示したが、分割数を大きく設定ことにより小さな欠陥も検出可能となる。これは、分割数を大きく設定することにより比較範囲が狭くなるので、当該比較範囲における欠陥が相対的に強調されることになり、この結果、小さな欠陥でも見落とされることなく、当該比較範囲の相関度が小さくなって現れることによるものである。なお、面粗さが粗いものについては、図11(b)に示すように測定した輝度に関する標準偏差が、面粗さが細かい図11(a)の登録画像として示したものに比して、全体的に大きくなるので、面粗さに関して不良品と判定することもできる。
【0031】
ステップ15〜16:判定OK及び判定NG。
これらのステップでは、前述の比較処理の結果に基づいて、判定OKあるいは判定NGを出力する。これらの出力は、モニタTV27に表示されたり、画像処理装置25内のI/O40を経由して外部機器に送られる。
【0032】
以上説明したように、本実施形態では、予め設定しておく刻印認識レベル、相関度計算基準レベル、及び欠陥検出用のしきい値を、面取り部及び端面部の各領域毎に任意に設定でき、かつ全体を相関度計算を行う範囲を任意に設定できるので、高精度に欠陥検査を行うことができる。前述の一連の処理に要する時間は、ベアリング端面全周の分割数にもよるが、内、外輪両方で0.5秒程度で済むので、従来のテンプレートマッチング法に比して短時間で高精度に欠陥検査を行うことができる。
【0033】
【発明の効果】
本発明によれば、被検査物をTVカメラにより撮影し、この撮影画像に対して画像処理を施すことにより被検査物表面の欠陥を検出するようにした金属表面の欠陥検出方法において、被検査物表面の検査領域を複数個の微小領域に分割し、この微小領域のそれぞれにおいて輝度に関する標準偏差を測定し、この標準偏差と予め測定し登録しておいた欠陥のないマスターワークにおける標準偏差との相関度を算出し、この相関度を予め設定しておいた欠陥検出用のしきい値と比較することにより、被検査物表面の欠陥の有無を検出するようにした。これにより、マスターワークと被検査物との間で対応する領域内における輝度に関する標準偏差を比較しているので、テンプレートマッチング法のように両者の比較対象領域の大きさは必ずしも等しくなくてもよく、その結果、被検査物が面取りを施されたものであっても、面取り量の大きさに依存せず良好な検査が行えるものとなった。また、標準偏差を用いることにより、分割する領域の大きさを小さくすれば、微小傷などの小さい欠陥も確実に検出できるものとなった。さらに、標準偏差を用いることにより、面粗さを加味した欠陥の検出ができるので、面粗さが悪いことのみをもって欠陥が存在すると誤判定することはなくなり、その結果、面粗さに依存せず良好な検査が行えるものとなった。
【0034】
さらに、本発明によれば、被検査物表面における微小領域毎の標準偏差とマスターワークにおける微小領域毎の標準偏差との相関度から双方の位置合わせを行い、双方のそれぞれについて刻印認識レベル以上の標準偏差を有する箇所を刻印ブロックとして認識させ、双方の対応する刻印ブロック毎に前記相関度と刻印ブロックの幅の差異を求め、これらに基づいて刻印部の欠陥を検出するようにした。そのため、刻印の位相合わせを含む検査時間を短縮でき、刻印の深さに依存せず良好な検査が行うことができ、さらに刻印近傍の欠陥をも検出できるものとなった。
【図面の簡単な説明】
【図1】本発明の一実施形態における、画像処理装置25において行われる欠陥検査の手順を示すフローチャートである。
【図2】本発明の欠陥検査方法が適用される画像処理装置25を含むシステム構成の一例を示した図である。
【図3】被検査物22としてのベアリングの端面を示す図であり、検査領域の特定に際してのエッジ検出点について示している。
【図4】本発明の一実施形態における、被検査物22としてのベアリング外輪の検査領域を示す図である。
【図5】本発明の一実施形態における、各検査領域における計測データの一例を示す図である。
【図6】本発明の一実施形態における、検査領域にうねりや傷が存在する場合の計測データの一例を示す図である。
【図7】本発明の一実施形態における、検査領域に刻印が存在する場合の計測データ、良品データ、及び判定データの一例を示す図である。
【図8】本発明の一実施形態における、検査領域に刻印が存在する場合の計測データ、良品データ、及び判定データのうち、図7とは異なる例を示した図である。
【図9】本発明の一実施形態における、刻印部のマスキングの一例を示す図である。
【図10】本発明の一実施形態における、刻印が存在しない検査領域における検査方法を示す図である。
【図11】本発明の一実施形態における、面粗さの違いによる計測データの差異について示した図である。
【図12】本発明の一実施形態における、画像処理装置25の内部構成について示したブロック図である。
【符号の説明】
21 検査台
22 ベアリング外輪(被検査物)
23 リング照明(照明装置)
24 TVカメラ
25 画像処理装置
26 パネルキー
27 モニタTV
31 A/Dコンバータ
32 同期制御回路
33 VRAM
34 アドレス発生回路
35 画像演算回路
36 D/Aコンバータ
37 CPU
38 RAM
39 ROM
40 I/O[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a defect detection method for a metal surface, and more particularly to a defect detection method for detecting a defect on a metal surface having a chamfered portion typified by an end face of a bearing.
[0002]
[Prior art]
2. Description of the Related Art In recent component production lines, there has been an increase in the number of inspections performed on a surface of a workpiece by an image processing technique at the end of a processing step. Specifically, the image processing apparatus includes at least an image processing device, illumination, and a TV camera, captures illumination light reflected on the surface of the workpiece by the TV camera, and converts the captured image into various images in the image processing device. The processing technology is applied to determine the presence or absence of a defect. As an image processing technique in this case, a template matching method or a method of extracting an image feature amount such as an area has been generally used.
[0003]
With respect to the inner and outer races (the inner race and the outer race) of the bearing, a defect inspection of the raceway surface (the surface in contact with the rolling elements such as balls and rollers) and the end surface is performed. Here, considering the inner and outer ring end surfaces of the bearing, as shown in FIG. 3, the respective boundary portions between the outer peripheral surface and the inner peripheral surface of the end surface are chamfered. This chamfering is performed in a chamfering process in a bearing production line. However, in general, chamfering does not greatly affect machining accuracy, and thus chamfering is often performed relatively rough. Therefore, the size of each of the end face portion and the chamfered portion may vary considerably depending on the workpiece.
[0004]
[Problems to be solved by the invention]
Here, a problem when the template matching method most frequently used as an image processing technique is applied to the defect inspection of the inner and outer ring end faces of the bearing will be described. First, as described above, the end faces of the inner and outer rings of the bearing are chamfered, and since the tolerance of the chamfer amount is large, the size of each of the end face portion to be inspected and the chamfered portion is limited. The results vary considerably depending on the workpiece, and as a result, a good inspection cannot be performed by the template matching method on the assumption that the size of the inspection portion is constant. Second, in the template matching method, it is difficult to detect a small defect such as a minute flaw because the acquired image data of the workpiece and the image data of the template are compared with each other. Third, the surface roughness of the processed end surface may vary depending on the workpiece depending on the type of the grinding wheel that has processed the end surface, the degree of wear, and the like. In this case, depending on the setting of the threshold value for defect determination, In some cases, those having poor surface roughness may be erroneously recognized as defects.
[0005]
Further, when there is a mark on the end face, the following problem occurs in addition to the above problem. First, since the inspection for missing a mark or the inspection for a defect other than the mark is performed, the phase of the mark must be firstly adjusted. In this case, the phase matching with the master pattern is performed. Thereafter, template matching is performed. In particular, if the image size is increased to increase the detection accuracy, the inspection time becomes extremely long. Second, since the size and length of the stamp in the acquired image change depending on the depth of the stamp, this may be erroneously recognized as a defect. Third, in the defect inspection in the template matching method, it is necessary to mask a certain range including the stamp as a dead zone, so that a defect near the stamp cannot be detected.
[0006]
The present invention has been made to solve the above-mentioned problems, and its purpose is to(1)Good inspection can be performed regardless of the amount of chamfer,(2)Small defects such as small scratches can be detected reliably,(3)Good inspection can be performed regardless of surface roughness, (Four)Shortening the inspection time including the phase alignment of the stamp,(Five)Good inspection can be performed regardless of the depth of the stamp,(6)Defects near the stamp can also be detectedIt is.
[0007]
[Means for Solving the Problems]
Said(1)Or(3)In order to achieve the object of the invention, in the invention according to
[0008]
By adopting such a procedure,Since the standard deviation of the luminance in the corresponding area between the master work and the inspection object is compared, the sizes of the comparison target areas do not necessarily have to be the same as in the template matching method. If the size of the divided area is reduced by using the standard deviation, detection of a small defect such as a minute flaw can be easily dealt with. Further, the use of the standard deviation makes it possible to detect a defect in consideration of the surface roughness, so that there is no erroneous determination that a defect exists only due to poor surface roughness.
[0009]
further,Said(Four)Or(6)In order to achieve the purpose ofIn the invention according to
[0010]
here,Due to this procedureThe operation will be described. Since the standard deviation regarding the luminance is greatly different between the place where the marking is present and the place where the marking is not present, first, in the defect inspection of the marking, data alignment between the surface of the inspection object and the master work is performed. Next, a portion having a standard deviation equal to or higher than the stamp recognition level for each of the inspection object and the master work is recognized as a stamp block. Then, the correlation between the standard deviation of each minute region on the surface of the inspection object and the standard deviation of each minute region of the master work is obtained for each of the corresponding engraved blocks of the inspection object and the master work. If it is smaller than the threshold value, it is determined that a defect exists in the engraved portion. Further, a difference in the width of the engraved block is obtained for each of the corresponding engraved blocks of the inspection object and the master work. Even when the difference is larger than a preset allowable value, a defect in the engraved portion is determined. Is determined.
[0011]
Claim 1According to the invention, since the alignment of the data between the surface of the inspection object and the master work is performed based on the correlation between the standard deviations of the two luminances, it is necessary to set a large image size in order to increase the inspection accuracy. Therefore, the time required for positioning the stamp is shorter than that of the template matching method.Also,A part having a standard deviation equal to or higher than the marking recognition level for each of the inspection object and the master work is recognized as a marking block, and the standard deviation of each minute area on the surface of the inspection object for each corresponding marking block of the inspection object and the master work. The defect of the marking is detected based on the correlation between the standard deviation and the standard deviation of each minute area in the master work, and the difference of the width of the marking block. Therefore, depending on the depth of the marking as in the template matching method And good inspection can be performed.further,As for the defect inspection of the inspection area other than the engraved area, the data obtained by canceling (deleting) the data of the standard deviation of the part recognized as the engraved block from the data of the standard deviation of the entire inspection area may be used. It is not necessary to mask a certain range including the inspection area near the marking, and therefore, the defect can be detected also in the inspection area near the marking.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 2 shows an example of a system configuration including an image processing apparatus to which the defect inspection method of the present invention is applied. The bearing 22 as the inspection object is placed on the inspection table 21 with the end surface as the inspection surface facing upward. A
[0013]
The
[0014]
Here, processing performed in the
[0015]
Next, the
[0016]
Hereinafter, the procedure of the defect inspection of the bearing 22 in the present embodiment will be described with reference to the flowchart shown in FIG. 1 and FIGS.
[0017]
Step 1: Input an image.
In this step, an image is input from the
[0018]
Step 2: detect an edge position.
In this step, the boundary (edge) between the end face and the outer peripheral chamfer and the boundary (edge) between the end face and the inner peripheral chamfer are set for the outer ring of the bearing 22. In the outer ring of the bearing 22, each boundary between the outer peripheral surface and the inner peripheral surface at the end surface is chamfered, and these are referred to as an outer peripheral chamfer and an inner peripheral chamfer, respectively. In the present embodiment, the inspection is performed in each area of the end face, the outer peripheral chamfering, and the inner peripheral chamfering. Accordingly, a process of dividing the captured image captured by the
[0019]
Step 3: Set an inspection area.
In this step, as shown in FIG. 4, based on the edge position obtained in
[0020]
Step 4: Check the width of the end face B.
In this step, the width of the end face B is calculated based on the end face B set in
[0021]
Step 5: Measure the standard deviation of the entire circumference.
In this step, if it is not determined in step 4 that the chamfering is defective, each of the inspection areas (the outer chamfer A, the end face B, and the inner chamfer C) is divided into minute areas. The standard deviation in each minute area is measured for the entire circumference of the end face of. Specifically, a minute area is set for each of the three divided areas as shown by a hatched area in FIG. 4, and the minute area is rotated and moved once by one along the ring-shaped inspection area. The variation (standard deviation) in the reflection intensity of the light is measured.
[0022]
FIG. 5 shows an example of measurement data in each inspection area. (A), (b), and (c) are measurement data of the outer peripheral chamfered portion A, the end surface portion B, and the inner peripheral chamfered portion C, respectively. Is the standard deviation. 6 to 8 and 10 to 11 described later, the horizontal axis represents the rotational angle position, and the vertical axis represents the standard deviation. (B) In the figure, the standard deviation of the location where the inscription (the character of “NACHI”) exists is high. In the present embodiment, the measurement data of the end face portion B is used for the defect inspection of the stamp and the defect inspection other than the stamp, while the measurement data of the outer peripheral chamfered portion A and the inner peripheral chamfered portion C are used for undulations and scratches. Used for inspection. FIGS. 6A and 6B show examples of measurement data when the swell is present in the inspection area and FIG. 6B is when there is a flaw in the inspection area.
[0023]
Step 6: It is determined whether or not the end face B is engraved.
In this step, as shown in FIG. 7B, if the standard deviation in the minute area of the end face B measured in
[0024]
Step 7: Align the marking.
In this step, if it is determined in step 6 that the end face B is engraved, the non-defective data (FIG. 7A) and the measurement data (FIG. b)) and alignment. This is because, in order to inspect a mark defect, it is necessary to first match the position (phase) of the mark portion of the non-defective product data with the measurement data. As for the details of the alignment, the correlation between the two data is obtained by the normalized correlation while shifting the measurement data by one degree with respect to the non-defective data around the center position of the outer ring (center position of the ring). The amount of phase shift between the two is calculated based on the position where the degree of correlation is the largest, and the position of the measurement data is corrected by the amount of phase shift to perform positioning.
[0025]
Step 8: Check the engraved part.
In this step, each of the portions that are equal to or higher than the above-described stamp recognition level set in advance as shown in FIG. 7B is referred to as a stamp block, and a master work having no defect is measured in advance for each stamp block. The engraved block width is obtained from the registered degree of correlation between the non-defective data and the measured data, and the start point and end point of each engraved block, and the difference between the non-defective data and the measured data is obtained. Then, by comparing the difference between the correlation degree and the width with a preset allowable value, the defect determination of the engraved portion is performed.
[0026]
Step 9: Whether the difference is within the allowable range.
In this step, either the degree of correlation between the non-defective data and the measurement data in step 8 is smaller than a preset threshold value, or the difference between the engraved block widths is larger than a preset allowable value. In the case of (1), it is determined that a defect exists in the engraved portion, and the masking process of the next step 10 is not performed on the engraved block determined to have the defect. On the other hand, if the degree of correlation between the non-defective data and the measured data is larger than the preset threshold value and the difference between the engraved block widths is smaller than the preset allowable value, a defect exists in the engraved part. It is determined not to be performed, and the process proceeds to step 10.
[0027]
Step 10: Mask the engraved part.
In this step, when it is determined in step 9 that there is no defect in the engraved part, masking is performed on the part recognized as the engraved part. FIG. 9 shows an example of masking. This is because it is necessary to mask the data of the engraved part in the inspection other than the engraved part thereafter. FIG. 8C shows the masking of the engraved portion by canceling the engraved portion from the measured data of FIG. 8B. FIG. 8E shows an example in which it is determined that the engraved portion has a defect.FIG. 8 (f)Shown in
[0028]
Step 11: Remeasure the standard deviation.
In this step, the standard deviation for each minute area is measured again for the inspection area after the masking of the engraved portion in step 10.
[0029]
Steps 12 to 14: Calculate the degree of correlation and determine the presence or absence of a defect.
In these steps, the standard deviation data of each minute area measured in
[0030]
By the way, FIG. 10 shows a case where the entire circumference of the end face is divided into 12 as a comparison range, but a small defect can be detected by setting a large number of divisions. This is because the comparison range is narrowed by setting a large number of divisions, so that defects in the comparison range are relatively emphasized. As a result, even if a small defect is not overlooked, the correlation of the comparison range can be reduced. This is due to the fact that the degree is reduced. In the case of a surface having a rough surface, the standard deviation of the luminance measured as shown in FIG. 11B is smaller than that of the registered image in FIG. Since the overall size is large, it can be determined that the surface roughness is defective.
[0031]
In these steps, judgment OK or judgment NG is output based on the result of the above-described comparison processing. These outputs are displayed on the
[0032]
As described above, in the present embodiment, it is possible to arbitrarily set the stamp recognition level, the correlation calculation reference level, and the threshold value for defect detection, which are set in advance, for each area of the chamfered part and the end face part. In addition, since the range in which the correlation calculation is performed can be arbitrarily set, the defect inspection can be performed with high accuracy. The time required for the above-mentioned series of processing depends on the number of divisions of the entire circumference of the bearing end face, but it takes only about 0.5 seconds for both the inner and outer rings. Defect inspection can be performed.
[0033]
【The invention's effect】
The present inventionAccording to the method for detecting a defect on a metal surface, an object to be inspected is photographed by a TV camera, and the photographed image is subjected to image processing to detect a defect on the surface of the object to be inspected. The inspection area is divided into a plurality of minute areas, and a standard deviation relating to luminance is measured in each of the minute areas, and a correlation between the standard deviation and the standard deviation of a master work having no defect previously measured and registered. The degree of correlation is calculated, and the degree of correlation is compared with a preset threshold value for defect detection to detect the presence or absence of a defect on the surface of the inspection object. Thus, since the standard deviation regarding the luminance in the corresponding region between the master work and the inspection object is compared, the sizes of the comparison target regions may not necessarily be the same as in the template matching method. As a result, even if the inspected object has been chamfered, a good inspection can be performed without depending on the magnitude of the chamfer amount. Also, by using the standard deviation, if the size of the region to be divided is reduced, a small defect such as a small flaw can be reliably detected. Furthermore, by using the standard deviation, it is possible to detect a defect in consideration of the surface roughness, so that it is not erroneously determined that a defect exists due only to poor surface roughness. And a good inspection can be performed.
[0034]
Furthermore, according to the present invention,Based on the degree of correlation between the standard deviation of each minute area on the surface of the inspection object and the standard deviation of each minute area in the master work, both positions are aligned, and a point having a standard deviation equal to or higher than the mark recognition level for each of both is marked. The difference between the correlation degree and the width of the engraved block is obtained for each of the corresponding engraved blocks, and a defect of the engraved portion is detected based on the difference. Therefore, the inspection time including the phase alignment of the mark can be shortened, good inspection can be performed regardless of the depth of the mark, and a defect near the mark can be detected.
[Brief description of the drawings]
FIG. 1 is a flowchart illustrating a procedure of a defect inspection performed in an
FIG. 2 is a diagram showing an example of a system configuration including an
FIG. 3 is a diagram showing an end face of a bearing as an inspection object 22, showing an edge detection point when specifying an inspection area.
FIG. 4 is a diagram showing an inspection area of a bearing outer ring as an inspection object in one embodiment of the present invention.
FIG. 5 is a diagram illustrating an example of measurement data in each inspection area according to the embodiment of the present invention.
FIG. 6 is a diagram illustrating an example of measurement data when an swell or a flaw exists in an inspection area according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating an example of measurement data, non-defective data, and determination data when a mark is present in an inspection area according to an embodiment of the present invention.
FIG. 8 is a diagram showing an example different from FIG. 7 among the measurement data, the non-defective data, and the determination data when an inscription is present in the inspection area according to the embodiment of the present invention.
FIG. 9 is a diagram illustrating an example of masking of an engraved portion according to an embodiment of the present invention.
FIG. 10 is a diagram showing an inspection method in an inspection area where no stamp is present, according to an embodiment of the present invention.
FIG. 11 is a diagram showing a difference in measurement data due to a difference in surface roughness in one embodiment of the present invention.
FIG. 12 is a block diagram showing an internal configuration of an
[Explanation of symbols]
21 Inspection table
22 Bearing outer ring (inspection object)
23 Ring lighting (lighting equipment)
24 TV camera
25 Image processing device
26 Panel key
27 Monitor TV
31 A / D converter
32 Synchronous control circuit
33 VRAM
34 Address Generation Circuit
35 Image operation circuit
36 D / A converter
37 CPU
38 RAM
39 ROM
40 I / O
Claims (1)
被検査物表面の検査領域を複数個の微小領域に分割し、
該微小領域のそれぞれにおいて輝度に関する標準偏差を測定し、
該標準偏差と予め測定し登録しておいた欠陥のないマスターワークにおける標準偏差との相関度を算出し、
該相関度を予め設定しておいた欠陥検出用のしきい値と比較することにより、被検査物表面の欠陥の有無を検出するようにした金属表面の欠陥検出方法において、
前記被検査物表面の微小領域毎の標準偏差のうち予め設定しておいた刻印認識レベル以上の標準偏差が存在した場合は、刻印の欠陥についても検査するようにし、この刻印の欠陥検査についての処理手順は、
前記被検査物表面における微小領域毎の標準偏差とマスターワークにおける微小領域毎の標準偏差との相関度から位置ずれ量を算出することにより位置合わせを行い、
該位置合わせの後に、被検査物及びマスターワークのそれぞれについて前記刻印認識レベル以上の標準偏差を有する箇所を刻印ブロックとして認識させ、被検査物及びマスターワークの対応する刻印ブロック毎に前記相関度と刻印ブロックの幅の差異を求め、相関度が予め設定しておいたしきい値よりも小さいか、刻印ブロック幅の差異が予め設定しておいた許容値よりも大きいかのいずれかの場合は、刻印部に欠陥が存在するものと判定するようにしたことを特徴とする金属表面の欠陥検出方法。 A defect detection method for detecting a defect on a surface of a test object by photographing the test object with a TV camera and performing image processing on the photographed image, the method comprising :
Divide the inspection area on the surface of the inspection object into a plurality of minute areas,
Measuring a standard deviation relating to luminance in each of the minute regions,
Calculate the degree of correlation between the standard deviation and the standard deviation in the master work having no defect that has been measured and registered in advance,
By comparing the degree of correlation with a predetermined threshold value for defect detection, a defect detection method for a metal surface that detects the presence or absence of a defect on the surface of an inspection object ,
If there is a standard deviation equal to or greater than the preset marking recognition level among the standard deviations for each minute area on the surface of the inspection object, the defect of the marking is also inspected. The processing procedure is
Alignment is performed by calculating the amount of misalignment from the degree of correlation between the standard deviation of each minute region on the surface of the inspection object and the standard deviation of each minute region in the master work,
After the alignment, a point having a standard deviation equal to or more than the above-described marking recognition level is recognized as a marking block for each of the inspection object and the master work. Determine the difference in the width of the engraved block, if the correlation degree is smaller than a preset threshold, or if the difference in the engraved block width is larger than a preset allowable value, A method for detecting a defect on a metal surface, characterized in that it is determined that a defect is present in the engraved portion.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30322199A JP3593544B2 (en) | 1999-10-26 | 1999-10-26 | Metal surface defect detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30322199A JP3593544B2 (en) | 1999-10-26 | 1999-10-26 | Metal surface defect detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001126064A JP2001126064A (en) | 2001-05-11 |
| JP3593544B2 true JP3593544B2 (en) | 2004-11-24 |
Family
ID=17918345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30322199A Expired - Fee Related JP3593544B2 (en) | 1999-10-26 | 1999-10-26 | Metal surface defect detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3593544B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5368247B2 (en) * | 2009-10-16 | 2013-12-18 | Ntn株式会社 | Thrust bearing inspection method and inspection apparatus |
| JP6859627B2 (en) * | 2016-08-09 | 2021-04-14 | 株式会社ジェイテクト | Visual inspection equipment |
| JP7188930B2 (en) * | 2018-07-27 | 2022-12-13 | 株式会社Screenホールディングス | Engraving inspection device, engraving inspection method, and article inspection device |
| CN109544513A (en) * | 2018-10-24 | 2019-03-29 | 广州霞光技研有限公司 | A kind of steel pipe end surface defect extraction knowledge method for distinguishing |
| CN110363756A (en) * | 2019-07-18 | 2019-10-22 | 佛山市高明金石建材有限公司 | A kind of wear detecting system and detection method for bistrique |
| CN111047574B (en) * | 2019-12-12 | 2024-06-18 | 苏州韦士肯检测科技有限公司 | Visual inspection defect identification method for cylindrical workpiece |
| WO2021192376A1 (en) * | 2020-03-24 | 2021-09-30 | 日本電産株式会社 | Visual inspection system and computer program |
| CN113030422B (en) * | 2021-03-02 | 2022-12-16 | 成都积微物联电子商务有限公司 | Cold-rolled strip steel quality judgment method based on meter detection instrument detection |
| CN113205499B (en) * | 2021-04-30 | 2024-11-26 | 聚时科技(上海)有限公司 | Bearing defect modular detection device and method based on machine vision |
-
1999
- 1999-10-26 JP JP30322199A patent/JP3593544B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001126064A (en) | 2001-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102138068B (en) | Visual examination apparatus | |
| US9230318B2 (en) | Analysis of the digital image of the external surface of a tyre and processing of false measurement points | |
| US7187436B2 (en) | Multi-resolution inspection system and method of operating same | |
| JP3593544B2 (en) | Metal surface defect detection method | |
| JP2005265661A (en) | Image processing method and image processing device | |
| JPH10132537A (en) | Method for inspecting part surface having u-shaped groove form | |
| JP4739044B2 (en) | Appearance inspection device | |
| JPS63222245A (en) | Defect inspector for mouth of bottle | |
| US9230337B2 (en) | Analysis of the digital image of the internal surface of a tyre and processing of false measurement points | |
| JP2003247954A (en) | Defect detection method at the periphery of a circular body | |
| JP2004170394A (en) | Plate inspection device and plate inspection system | |
| JP4577717B2 (en) | Bump inspection apparatus and method | |
| JP2007071661A (en) | Appearance inspection device | |
| JP4029975B2 (en) | Measuring method of shoulder arc radius of notch of semiconductor wafer | |
| JP2561193B2 (en) | Print pattern inspection device | |
| JP2004170374A (en) | Surface defect detection device and surface defect detection method | |
| JPH10115512A (en) | Horizontal hole recognition device for cylindrical members | |
| JPH05203584A (en) | Device for detecting characteristic amount on work surface | |
| JP2018146553A (en) | Apparatus and method for detecting sliding surface width of trolley wire | |
| JP2638121B2 (en) | Surface defect inspection equipment | |
| JP7338769B1 (en) | inspection equipment | |
| JPH04145308A (en) | Inspecting method of bolt hole for pipe joint | |
| JPH01207878A (en) | Contour inspection device | |
| JP4889018B2 (en) | Appearance inspection method | |
| JPH0238957A (en) | Surface defect inspection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040528 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040720 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20040723 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040723 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040723 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070910 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |