JP4479073B2 - Surface defect inspection equipment - Google Patents
Surface defect inspection equipment Download PDFInfo
- Publication number
- JP4479073B2 JP4479073B2 JP2000225549A JP2000225549A JP4479073B2 JP 4479073 B2 JP4479073 B2 JP 4479073B2 JP 2000225549 A JP2000225549 A JP 2000225549A JP 2000225549 A JP2000225549 A JP 2000225549A JP 4479073 B2 JP4479073 B2 JP 4479073B2
- Authority
- JP
- Japan
- Prior art keywords
- workpiece
- imaging
- angle
- detection sensor
- curved
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、光学的センサを用いてワークの表面欠陥を検査する装置であり、例えば自動車の製造において、プレス形成された車体パネルの表面における凹凸等の表面欠陥を検査するのに利用される表面欠陥検査装置に関するものである。
【0002】
【従来の技術】
従来の表面欠陥検査装置としては、例えば、特開平8−5573号公報などに示されたものがあった。
【0003】
同公報に開示された表面欠陥検査装置は、ワークの一方側斜め上方に位置してワークに面状の照明光を照射する光源と、ワークの他方側斜め上方に位置してワークの表面を撮像するエリアセンサカメラを備えており、カメラにより撮像した受光画像を画像処理してワークの表面に存在する凹凸等の表面欠陥を検出するものである。このとき、照明光の照射角度およびカメラによる撮像角度は、ワークの表面を基準として10度以下の低角度であると共に、いずれもほぼ一定の角度になっている。したがって、カメラにより撮像した受光画像としては、照明光の正反射光を捕らえることになり、ワークの表面欠陥を影すなわち明部中の暗点として撮像したものとなる。
【0004】
【発明が解決しようとする課題】
ところで、上記したような従来の表面欠陥検査装置にあっては、ワークの表面が平坦である場合には良好な表面欠陥検出を行うことができるが、自動車の車体パネルのように表面が平面部と曲面部を有する場合には、照明光の照射角度やカメラの撮像角度を一定にすると、とくに曲面部に対する検出エリアが極端に狭くなる検出限界があり、曲面部の表面欠陥検査を充分に行うことが困難である。
【0005】
そこで、自動車の車体パネルの表面欠陥検査では、光源およびカメラを角度調整可能に設け、一定速度で搬送されるワークの表面に対して照射角度および撮像角度が一定となるように光源およびカメラの角度を制御することが提案されている。しかし、現状の車体パネルの生産タクトは数秒単位であり、ワークを搬送するコンベアにも搬送速度の速いものが使用されることから、搬送速度の増大に伴ってワークの曲面部に対する検査性能を充分に確保することが困難になり、搬送速度がさらに増大すればワークの平面部に対する検査性能にも影響が生じる恐れがある。このため、従来では、コンベアの高速化に伴って発生する検査の面での不具合を解決することが要望されていた。
【0006】
【発明の目的】
本発明は、上記従来の状況に鑑みて成されたもので、平面部と平面部に連続する曲面部を有するワークの表面を光学的センサで走査して表面欠陥を検査する装置において、ワークを間欠的に搬送するワーク搬送手段を使用し、ワーク搬送の高速化を実現すると共に、平面部および曲面部のいずれに対しても表面欠陥の検査を高精度に行うことができる表面欠陥検査装置を提供することを目的としている。
【0007】
【課題を解決するための手段】
本発明に係わる表面欠陥検査装置は、請求項1として、平面部と平面部に連続した曲面部を有するワークの表面を光学的センサで走査して表面欠陥を検査する装置であって、ワークを一定の方向に間欠的に搬送するワーク搬送手段と、ワーク搬送手段により搬送して所定位置に停止させたワークに対して、移動しながら平面部を所定の撮像角度で撮像する平面部検出センサと、同じくワーク搬送手段により搬送して所定位置に停止させたワークに対して、曲面部の湾曲断面の連続方向に移動しながら曲面部を所定の撮像角度で撮像する曲面部検出センサと、平面部検出センサおよび曲面部検出センサから得た画像を処理してワークの表面欠陥を抽出する画像処理手段を備え、ワーク搬送手段が、その搬送方向に対して曲面部の湾曲断面の連続方向を直交させた姿勢でワークを搬送しており、平面部検出センサおよび曲面部検出センサが、ワーク搬送手段による搬送方向に対して直交する方向に移動可能に設けてある構成とし、請求項2として、平面部検出センサおよび曲面部検出センサが、ワークの表面に対して照明光を所定の照射角度で照射する照明手段と、照明手段に対向して配置され且つ照射角度よりも大きい撮像角度で照明光の反射光を撮像する撮像手段を各々備えており、予め設定されたワークの形状データとワーク搬送手段により所定位置に停止したワークの位置データに基づいてワークの表面に対する照射角度および撮像角度が一定となるように照明手段の角度および高さならびに撮像手段の角度および高さを制御するセンサ制御手段を備えた構成としており、上記構成をもって従来の課題を解決するための手段としている。
【0008】
なお、上記構成において、ワークの平面部は、完全に平面を成すものだけでなく、比較的曲率の小さい湾曲面も含むものとする。これに対して曲面部は、平面部に比べて曲率が明らかに大きく変化している面とする。
【0009】
【発明の作用】
本発明の請求項1に係わる表面欠陥検査装置では、平面部と平面部に連続する曲面部を有するワークの表面を光学的センサで走査して表面欠陥を検査する装置において、ワークを一定の方向に間欠的に搬送するワーク搬送手段を採用し、ワーク搬送手段によりワークを搬送して所定位置に停止させ、そのワークに対して表面欠陥の検査を行うことから、ワーク搬送手段としては例えば高速の間欠式コンベアを用いることが可能となる。そして、所定位置に停止したワークに対して、移動する平面部検出センサにより平面部を所定の撮像角度で撮像するので、ワーク搬送速度に左右されることなく平面部に対する撮像が行われる。
【0010】
ところで、ワークの曲面部の表面欠陥を検査する場合では、光学的センサによる走査を湾曲に沿う方向に行うと、検出エリアが極端に狭くなり、ましてワークを搬送しながらでは充分な検査を行うことが困難である。これに対して、当該表面欠陥検査装置では、所定位置に停止したワークに対して、曲面部の湾曲断面の連続方向(湾曲断面に直角な方向)に移動する曲面部検出センサにより曲面部を所定の撮像角度で撮像することから、ワーク搬送速度に左右されることなく曲面部に対する撮像が行われ、しかも、曲面部の曲率に左右されることもなく、撮像角度をほぼ一定にし且つ充分な検出エリアを確保した状態で撮像が行われる。
【0011】
また、当該表面欠陥検査装置では、ワーク搬送手段が、その搬送方向に対して曲面部の湾曲断面の連続方向を直交させた姿勢でワークを搬送しており、平面部検出センサおよび曲面部検出センサが、ワーク搬送方向に対して直交する方向に移動可能に設けてあることから、所定位置に停止したワークの平面部に対しては、平面部検出センサが移動しながら撮像を行う。また、同ワークの曲面部に対しては、曲面部の湾曲断面の連続方向と曲面部検出センサの移動方向とが一致した状態になるので、曲面部の曲率に左右されることなく、曲面部検出センサが移動しながら撮像を行う。
【0012】
そして、当該表面欠陥検査装置では、画像処理手段において、平面部検出センサおよび曲面部検出センサから入力した画像に対して、エッジ抽出のための微分処理、ノイズ除去のための平滑化処理、および表面欠陥を孤立点として検出するための二値化処理などを行って表面欠陥を抽出する。なお、表面欠陥の抽出結果は、CRTやプリンタなどの表示手段に表示することが可能である。
【0013】
本発明の請求項2に係わる表面欠陥検査装置では、平面部検出センサおよび曲面部検出センサにおいて、照明手段により、ワークの一方側斜め上方から照明光を所定の照射角度で照射し、撮像手段により、ワークの他方側斜め上方から照射角度よりも大きい撮像角度で照明光の反射光を撮像する。このとき、照明手段による照射角度は、例えばワークの表面に対して10度以下とし、撮像手段による撮像角度は、例えば10〜30度の範囲とする。したがって、所定の照射角度で照射された照明光のうち、表面欠陥の無い部分に当たった光は、照射角度と同じ角度で反射するので撮像手段には撮像されず、表面欠陥に当たって照射角度よりも大きい角度で乱反射した光のみが撮像手段に撮像される。これにより、撮像手段では、表面欠陥を高輝度で捕らえた受光画像が形成される。
【0014】
さらに、当該表面欠陥検査装置では、例えばワークが車体パネルである場合には各種類の諸寸法が予め設定されており、また、例えばワーク搬送手段においてワークの停止位置を検出することが可能であるから、上記の如くワークの表面を撮像するに際して、センサ制御手段において、予め設定されたワークの形状データとワークの位置データに基づいてワークの表面に対する照射角度および撮像角度が一定となるように照明手段の角度および高さならびに撮像手段の角度および高さを制御する。これにより、各種ワークに対する照明手段の照射角度および撮像手段の撮像角度が常に最適なものとなる。
【0015】
【発明の効果】
本発明の請求項1に係わる表面欠陥検査装置によれば、平面部と平面部に連続する曲面部を有するワークの表面を光学的センサで走査して表面欠陥を検査する装置において、ワークを間欠的に搬送するワーク搬送手段と、所定位置に停止したワークに対して移動しながら撮像を行う平面部検出センサおよび曲面部検出センサを採用したことにより、ワーク搬送手段として高速の間欠式コンベアを用いることができると共に、ワーク搬送速度に何ら左右されることなくワークの平面部および曲面部のいずれに対しても表面欠陥の検査を高精度に行うことができ、とくに曲面部に対しては、曲面部の湾曲断面の連続方向に移動する曲面部検出センサにより、曲面部の曲率に左右されることもなく、充分な検出エリアを確保して表面欠陥の検査を高精度に行うことができる。したがって、ワークの搬送処理機能を向上させたうえで、ワークの平面部および曲面部に対する充分な検査性能を確保することができる。
【0016】
更に、搬送方向に対して曲面部の湾曲断面の連続方向が直交する姿勢にしてワークを搬送し、その搬送方向に直交する方向に移動する平面部検出センサおよび曲面部検出センサを採用したことにより、同一方向に移動する平面部検出センサと曲面部検出センサを並べて配置することで省スペース化を実現することができ、また、各センサと接続する画像処理手段等の周辺機器を含めて装置全体をまとまりの良いものにすることができ、メンテナンス等の作業が行いやすいといった利点がある。
【0017】
上記のワークとしては、例えば自動車の車体パネルが挙げられる。車体パネルは、フード、フェンダあるいはドアパネルなどに見られるように、平面部とその端部に連続する曲面部を有するものとなっており、トランスファプレスにより順次成形されたのち表面欠陥検査装置に搬送される。この際、車体パネルは、縦横の寸法やトランスファプレスにおける各成形型の配置の都合により、搬送方向に対して曲面部の湾曲断面の連続方向を直交する姿勢で搬送せざるを得ない場合がある。このような状況で当該表面欠陥検査装置を用いれば、トランスファプレスから搬出されたワークをそのままの姿勢で検査することができ、プレスのインラインにおいて表面欠陥検査を高精度に且つ迅速に行うことができる。
【0018】
本発明の請求項2に係わる表面欠陥検査装置によれば、請求項1と同様の効果を得ることができるうえに、全体の諸寸法や曲面部の曲率等が異なる各種ワークに対して、照明手段による照射角度や撮像手段による撮像角度を常に最適なものにすることができ、各種ワークの表面欠陥検査をより一層高精度に行うことができる。
【0019】
【実施例】
以下、図面に基づいて、本発明に係わる表面欠陥検査装置の一実施例を説明する。
【0020】
図1に示す表面欠陥検査装置は、光学的センサを用いてパネル状ワークWの表面における凹凸等の表面欠陥を検査する装置である。ワークWは、平面矩形状を成しており、平面部Fとその一辺に連続する曲面部Rを有している。曲面部Rは平面部Fの辺に沿う方向に湾曲断面が連続している。
【0021】
表面欠陥検査装置は、図1中のY方向にワークWを水平搬送するワーク搬送手段1を備えると共に、光学的センサとして、ワークWの平面部Fを所定の撮像角度で撮像する平面部検出センサ2と、平面部検出センサ2の下流側でワークWの曲面部Rを所定の撮像角度で撮像する曲面部検出センサ3を備えている。
【0022】
また、表面欠陥検査装置は、予め設定されたワークWの諸寸法等を形状データとして出力するワーク形状出力手段4と、各検出センサ2,3に対応する所定の位置でワークWを検出するワーク位置検出手段5A,5Bと、ワーク形状出力手段4からの形状データおよびワーク位置検出手段5A,5Bからの位置データに基づいて各検出センサ2,3を制御するセンサ制御手段6と、各検出センサ2.3から得た画像を処理してワークWの表面欠陥を抽出する画像処理手段7と、抽出した表面欠陥を表示する表示手段8を備えている。
【0023】
ワーク搬送手段1は、搬送速度が例えば75m/min程度の高速の間欠式コンベアである。ここで、ワークWは、例えば自動車の車体パネルであり、トランスファプレスにより順次成形された後、当該表面欠陥検査装置に搬送される。この際、ワークWは、トランスファプレスにおいて、各成形型の配置等の都合により、曲面部Rの湾曲断面の連続方向(湾曲断面に直角な方向)に対して直交する方向に順に送られる。このため、ワーク搬送手段1は、トランスファプレスから受けたワークWをそのままの姿勢すなわち搬送方向(Y方向)に対して曲面部Rの湾曲断面の連続方向が直角方向(X方向)となる姿勢で搬送する。
【0024】
平面部検出センサ2は、図2に示す照明手段2Aと、図3に示す撮像手段2Bとで構成してある。照明手段2Aは、ワーク搬送方向を直角に横切る方向において、その一方側の斜め上方からワーク搬送方向に直交する方向に照明光を照射するものであって、ワーク搬送方向に沿ったライン状の照明光を形成する照射手段12と、照射手段12からの照明光を反射してワークWに照射する鏡面反射手段13と、鏡面反射手段13を回転させて照明光の照射角度を変化させる照明用回転駆動手段14と、各手段12,13,14を一体的に昇降させる照明用昇降動手段15を備えている。
【0025】
照明用昇降駆動手段15は、ワーク搬送手段1の上側を跨ぐ状態に架設した梁9に、スライド体16を上下動させる駆動機構17を水平移動可能に備えている。スライド体16の下端部には、フレーム(図示略)が設けてあり、このフレームにより照射手段2、鏡面反射手段13および照明用回転駆動手段14を保持している。
【0026】
照射手段12は、図示しない光源からの光を伝送する光ファイバーケーブル18と、レンズによる光学機構を内蔵し且つ光ファイバーケーブル18からの光をライン状に集光するライトガイド19とを4組備えると共に、これらを直列に配置したものであって、ライン状に形成した照明光を下向きに照射する。このように、別の固定部位に設置した光源から光ファイバーケーブル18でライトガイド19に光を伝送して、ライン状の照明光を形成する照射手段12とすることにより、照明手段2Aにおける可動部位の構造の簡略化や軽量化が成されていると共に、広範囲の検査に対処し得るようになっている。
【0027】
この照射手段12には、例えば、メタルハライドやキセノンメタルハライド等の強力(例えば180W)な光源が用いられる。また、比較的大きい幅(200〜300mm程度)のライトガイド19を用いることにより、ライトガイド19の数自体も少なく抑えるようにしている。
【0028】
鏡面反射手段13は、鏡面体を主体とする軽量なものであって、照射手段12の下側すなわち照明光の照射口に沿って配置され、フレームに設けた照明用回転駆動手段14によって一端部が保持してあると共に、同じくフレームに設けたベアリング20によって他端部が回転自在に保持してある。照明用回転駆動手段14には、モータ類が用いられ、鏡面反射手段13をその長手方向の軸回りに回転させる。
【0029】
上記構成を備えた照明手段2Aは、梁9に沿ってワーク搬送方向に直交する方向(X方向)に移動可能であり、センサ制御手段6からの信号により、照明用回転駆動手段14および照明用昇降駆動手段15が所定の方向に駆動され、ワークWの平面部Fに対して照明光の照射角度が10度以下となるように高さおよび角度の調整が行われる。
【0030】
他方、撮像手段2Bは、ワーク搬送方向を直角に横切る方向において、照明手段2Aに相対向する状態に配置され、斜め上方からワークWの撮像を行うものであって、照明光の反射光を受光する複数のCCDカメラ21と、各CCDカメラ21を回動させて撮像方向を変化させる撮像用回転駆動手段22と、各CCDカメラ21および撮像用回転駆動手段22を一体的に昇降させる撮像用昇降駆動手段23を備えている。
【0031】
撮像用昇降駆動手段23は、ワーク搬送手段1の上側における先述の梁9に、モータ24を含む駆動機構25を水平移動可能に備えると共に、駆動機構25によって上下に駆動されるフレーム26を備え、フレーム26によってワーク搬送方向に沿う方向に配置したビーム27を保持している。このビーム27は、フレーム26の一方側において、撮像用回転駆動手段22により一端部が保持してあると共に、フレーム26の他端側において、他端部が回動自在に保持してあって、その上面に、4個のCCDカメラ21が撮像方向を同一にして等間隔で設けてある。撮像用回転駆動手段22は、モータ類が用いられ、ビーム27とともに各CCDカメラ21を一斉に回動させる。このように、複数のCCDカメラ21を用いることにより、撮像手段2Bの構造の簡略化や軽量化が成されていると共に、広範囲の検査に対処し得るようになっている。
【0032】
上記の構成を備えた撮像手段2Bは、梁9に沿ってワーク搬送方向に直交する方向(X方向)に移動可能であり、センサ制御手段6からの信号により、撮像用回転駆動手段22および撮像用昇降駆動手段23が所定の方向に駆動され、ワークWの平面部Fに対して撮像角度が10〜30度以下の範囲となるように高さおよび角度の調整が行われる。
【0033】
つまり、上記照明手段2Aおよび撮像手段2Bは、梁9に沿って所定の間隔を保ちながらワーク搬送方向に直交する方向に移動可能であって、照明光の照射角度(10度以下)よりも撮像角度(10〜30度)が大きくなるように設定してあり、ワークWの平面部Fにおける反射光のうちの表面欠陥による乱反射光、すなわち正反射光よりも大きい角度で反射する光を高輝度で捕らえるようにしている。
【0034】
曲面部検出センサ3は、平面部検出センサ2と同様に、図4に示す如く照明手段3Aと撮像手段3Bを備えている。この曲面部検出センサ3は、図4(a)に示すように、ワークWの搬送方向(Y方向)に対して直交する方向(X方向)に往復動可能なセンサ移動手段31を備え、センサ移動手段31に照明手段3Aおよび撮像手段3Bを一体的に設けることでコンパクトに構成されている。
【0035】
照明手段3Aは、センサ移動手段31の往復動方向の一方側から、ワーク搬送方向に沿ったライン状の照明光を照射するものであって、図4(c)に示すように、センサ移動手段31側に固定される保持板32と、保持板32に対して昇降駆動されるスライド板33と、スライド板33に取付けたライトガイド34と、ライトガイド34の下側で回転駆動される鏡面照射手段35を備えている。
【0036】
この照明手段3Aは、先の平面部検出センサ2の照明手段2Aと同様に、図示しない光源から光ファイバーケーブル18を通してライトガイド34に光を伝送し、ライトガイド34から下向きに照射した照明光を鏡面照射手段35によりワークW側へ反射させるものである。そして、先のセンサ制御手段6により、ワークWの曲面部Rに対して所定の照射角度となるように高さや照射方向が制御される。
【0037】
これに対して、撮像手段3Bは、センサ移動手段31の往復動方向の他方側において照明手段3Aに相対向する配置としてあり、図4(b)に示すように、センサ移動手段31に固定される保持部材36に、高さおよび角度の調整が可能なチルト制御手段37を介してCCDカメラ38を取付けた構成になっている。この撮像手段3Bは、先の平面部検出センサ2の撮像手段2Bと同様に、先のセンサ制御手段6により、ワークWの曲面部Rに対して所定の撮像角度となるように高さや照射方向が制御される。
【0038】
また、曲面部検出センサ3の照明手段3Aおよび撮像手段3Bにあっても、照明光の照射角度(10度以下)よりも撮像角度(10〜30度)が大きくなるように設定してあり、ワークWの曲面部Rにおける反射光のうちの表面欠陥による乱反射光、すなわち正反射光よりも大きい角度で反射する光を高輝度で捕らえるようにしている。
【0039】
ワーク形状出力手段4は、ワークWが車体パネルである場合には、フェンダパネル、ドアパネル、ルーフパネルおよびフードパネル等の部位別の車体パネルならびに車種別の車体パネルについて各々の諸寸法を形状データとして有するものであり、具体的には車体パネルの設計に用いたCADデータを利用することができる。また、ワーク位置検出手段5A,5Bには、接触式あるいは非接触式のスイッチ類が用いられる。
【0040】
上記構成を備えた表面欠陥検査装置は、ワーク搬送手段1によってワークWを間欠式に搬送し、まず、平面部検出センサ2に対応する位置にワークWを停止させる。このとき、センサ制御手段6は、ワーク形状出力手段4からの形状データおよびワーク位置検出手段5Aからの位置データに基づいて、平面部Fに対する照射角度および撮像角度が所定値となるように、平面部検出センサ2の照明手段2Aおよび撮像手段2Bの高さや角度の制御特性を決定する。これにより、平面部検出センサ2は、ワーク搬送方向に直交する方向に照明手段2Aおよび撮像手段2Bを移動させながら、センサ制御手段6からの制御特性に基づいてワークWの平面部Fを撮像する。
【0041】
上記の如く平面部Fの撮像が終了すると、ワーク搬送手段1によってワークWを曲面部検出センサ3に対応する位置まで搬送して停止させる。このとき、センサ制御手段6は、ワーク形状出力手段4からの形状データおよびワーク位置検出手段5Bからの位置データに基づいて、曲面部Rに対する照射角度および撮像角度が所定値となるように、曲面部検出センサ3の照明手段3Aおよび撮像手段3Bの高さや角度の制御特性を決定する。これにより、曲面部検出センサ3は、ワーク搬送方向に直交する方向に移動しながら、センサ制御手段6からの制御特性に基づいてワークWの曲面部Rを撮像する。
【0042】
また、平面部検出センサ2および曲面部検出センサ3の各撮像手段2B,3Bにより撮像した画像は、画像処理手段7に入力し、画像処理手段7では、エッジ抽出のための微分処理、ノイズ除去のための平滑化処理、および表面欠陥を孤立点として検出するための二値化処理などを行って表面欠陥を抽出する。また、表面欠陥の抽出結果は、表示手段8に表示して容易に認識することができる。
【0043】
ここで、当該表面欠陥検査装置は、ワーク搬送手段1により、複数のワークWを一定間隔で順次搬送しており、曲面部Rの検査を行っているときに次のワークWの平面部Fの検査を同時に行うことが可能であって、検査処理能力がきわめて高いものとなっている。
【0044】
また、上記の検査後においては、例えば画像処理手段7あるいは表示手段8からの出力に基づいて駆動されるロボットを使用して、表面欠陥が検出されたワークWをNGパレット10Aに移動させ、あるいは表面欠陥が検出されないワークWをOKパレット10Bに移動させる。なお、表面欠陥が検出されなかったワークWに関しては、ワーク搬送手段1により次の工程に送るようにすることも当然可能である。
【0045】
以上のように、上記実施例で説明した表面欠陥検査装置では、ワーク搬送手段1として高速の間欠式コンベアを採用すると共に、同一方向に移動する平面部検出センサ2と曲面部検出センサ3を並べて配置することで装置全体の省スペース化が図られており、所定位置に停止したワークWに対して、移動する平面部検出センサ2により平面部Fを撮像するので、ワーク搬送速度に左右されることなく平面部Fに対する撮像を行う。また、所定位置に停止したワークWに対して、曲面部Rの湾曲断面の連続方向に移動する曲面部検出センサ3により曲面部Rを撮像するので、ワーク搬送速度に左右されることなく曲面部Rに対する撮像を行うと共に、曲面部Rの曲率に左右されることもなく、撮像角度をほぼ一定にし且つ充分な検出エリアを確保した状態で撮像を行うこととなる。
【0046】
そして、上記表面欠陥検査装置は、全体の諸寸法や曲面部Rの曲率等が異なる各種ワークWに対して、照明手段2A,3Aによる照射角度や撮像手段2B,3Bによる撮像角度を常に最適に制御するので、より高精度な検査が可能となり、ワーク搬送手段1によりワークWの搬送処理機能を向上させたうえで、ワークWの平面部Fおよび曲面部Rに対する充分な検査性能を有するものとなる。
【0047】
図5は、本発明に係わる表面欠陥検査装置のさらに他の実施例において、曲面部検出センサ3を説明する図である。
【0048】
図示の曲面部検出センサ3は、先の実施例と同様に、照明手段3A、撮像手段3B、センサ移動手段31およびセンサ傾動手段39を備えている。撮像手段3Bは、保持部材36、チルト制御手段37およびCCDカメラ38で構成されている。これに対して、照明手段3Aは、照明光の照射角度を変化させる照明用回転駆動手段71と、湾曲対応照射手段72を備えている。この湾曲対応照射手段72は、先の実施例のように照明光を直線のライン状に照射するのではなく、照明光を曲面部Rに対応する湾曲のライン状に照射するものとなっている。この湾曲対応照射手段72を用いることにより、曲面部Rの両側における照明光の落ち込みが防止され、広い検出エリアがより確実に得られることとなる。
【図面の簡単な説明】
【図1】本発明に係わる表面欠陥検査装置の一実施例を示す説明図である。
【図2】平面部検出センサの照明手段を説明する斜視図である。
【図3】平面部検出センサの撮像手段を説明する斜視図である。
【図4】曲面部検出センサを示す斜視図(a)、曲面部検出センサの撮像手段を示す斜視図(b)、および曲面部検出センサの照明手段を示す斜視図(c)である。
【図5】本発明に係わる表面欠陥検査装置の他の実施例における曲面部検出センサを示す斜視図(a)、曲面部検出センサの撮像手段を示す斜視図(b)、および曲面部検出センサの照明手段を示す斜視図(c)である。
【符号の説明】
F 平面部
R 曲面部
W ワーク
1 ワーク搬送手段
2 平面部検出センサ
2A 照明手段
2B 撮像手段
3 曲面部検出センサ
3A 照明手段
3B 撮像手段
6 センサ制御手段
7 画像処理手段[0001]
BACKGROUND OF THE INVENTION
The present invention is an apparatus for inspecting a surface defect of a workpiece using an optical sensor. For example, a surface used for inspecting a surface defect such as irregularities on a surface of a press-formed body panel in manufacturing an automobile. The present invention relates to a defect inspection apparatus.
[0002]
[Prior art]
As a conventional surface defect inspection apparatus, for example, there is one disclosed in Japanese Patent Laid-Open No. 8-5573.
[0003]
The surface defect inspection apparatus disclosed in the publication discloses a light source that is positioned obliquely above one side of the workpiece and irradiates the workpiece with planar illumination light, and an image of the surface of the workpiece that is positioned diagonally above the other side of the workpiece. An area sensor camera is provided, and a received light image captured by the camera is subjected to image processing to detect surface defects such as irregularities present on the surface of the workpiece. At this time, the irradiation angle of the illumination light and the imaging angle by the camera are low angles of 10 degrees or less with respect to the surface of the workpiece, and both are substantially constant angles. Accordingly, the received light image captured by the camera captures the specularly reflected light of the illumination light and captures the surface defect of the workpiece as a shadow, that is, a dark spot in the bright part.
[0004]
[Problems to be solved by the invention]
By the way, in the conventional surface defect inspection apparatus as described above, when the surface of the workpiece is flat, good surface defect detection can be performed, but the surface is a flat portion like a vehicle body panel. If the illumination angle of the illumination light or the imaging angle of the camera is constant, there is a detection limit that makes the detection area for the curved surface extremely narrow, and surface defect inspection of the curved surface is sufficiently performed. Is difficult.
[0005]
Therefore, in surface defect inspection of automobile body panels, the angle of the light source and camera is set so that the angle of the light source and camera can be adjusted, and the irradiation angle and imaging angle are constant with respect to the surface of the workpiece conveyed at a constant speed. It has been proposed to control. However, the current production tact time of the body panel is in units of several seconds, and the conveyor that transports the workpiece also has a high transport speed, so the inspection performance for the curved part of the workpiece is sufficient as the transport speed increases. If the conveying speed is further increased, the inspection performance for the flat portion of the workpiece may be affected. For this reason, conventionally, it has been desired to solve the problems in the inspection that occur as the conveyor speed increases.
[0006]
OBJECT OF THE INVENTION
The present invention has been made in view of the above-described conventional situation, and in an apparatus for inspecting a surface defect by scanning the surface of a workpiece having a flat surface portion and a curved surface portion continuous with the flat surface portion with an optical sensor. A surface defect inspection apparatus that uses a workpiece conveyance means that intermittently conveys, achieves high-speed workpiece conveyance, and can accurately inspect surface defects on both flat and curved surfaces. It is intended to provide.
[0007]
[Means for Solving the Problems]
A surface defect inspection apparatus according to the present invention is an apparatus for inspecting a surface defect by scanning an optical sensor with the surface of a workpiece having a flat surface portion and a curved surface portion continuous to the flat surface portion, as claimed in
[0008]
In the above configuration, the plane portion of the workpiece includes not only a completely flat surface but also a curved surface having a relatively small curvature. On the other hand, the curved surface portion is a surface in which the curvature is clearly changed as compared with the flat surface portion.
[0009]
[Effects of the Invention]
In the surface defect inspection apparatus according to
[0010]
By the way, in the case of inspecting the surface defect of the curved surface portion of the workpiece, if the scanning by the optical sensor is performed in the direction along the curve, the detection area becomes extremely narrow, and further sufficient inspection should be performed while conveying the workpiece. Is difficult. On the other hand, in the surface defect inspection apparatus, the curved surface portion is predetermined by a curved surface detection sensor that moves in a continuous direction of the curved cross section of the curved surface portion (a direction perpendicular to the curved cross section) with respect to the workpiece stopped at a predetermined position. Since the image is picked up at an image pickup angle, the curved surface portion is picked up without being influenced by the workpiece conveyance speed, and the image pickup angle is made substantially constant and is sufficiently detected without being influenced by the curvature of the curved surface portion. Imaging is performed with the area secured.
[0011]
Further, in the surface defect inspection apparatus, the workpiece conveyance means conveys the workpiece in a posture in which the continuous direction of the curved cross section of the curved surface portion is orthogonal to the conveyance direction, and the flat surface portion detection sensor and the curved surface portion detection sensor However, since it is provided so as to be movable in a direction orthogonal to the workpiece conveyance direction, the plane portion detection sensor moves and images the plane portion of the workpiece stopped at a predetermined position. In addition, since the continuous direction of the curved section of the curved surface portion and the moving direction of the curved surface portion detection sensor coincide with the curved surface portion of the workpiece, the curved surface portion is not affected by the curvature of the curved surface portion. Imaging is performed while the detection sensor moves.
[0012]
In the surface defect inspection apparatus, in the image processing means, differential processing for edge extraction, smoothing processing for noise removal, and surface processing are performed on images input from the flat surface detection sensor and the curved surface detection sensor. Surface defects are extracted by performing binarization processing for detecting defects as isolated points. The surface defect extraction result can be displayed on a display means such as a CRT or a printer.
[0013]
Claims of the invention2In the surface defect inspection apparatus according to the above, in the plane portion detection sensor and the curved surface portion detection sensor, the illumination unit irradiates illumination light from a diagonally upper side of the workpiece at a predetermined irradiation angle, and the imaging unit oscillates the other side of the workpiece. The reflected light of the illumination light is imaged from above at an imaging angle larger than the irradiation angle. At this time, the irradiation angle by the illumination unit is, for example, 10 degrees or less with respect to the surface of the workpiece, and the imaging angle by the imaging unit is, for example, in the range of 10 to 30 degrees. Therefore, of the illumination light irradiated at a predetermined irradiation angle, the light that hits a portion without a surface defect is reflected at the same angle as the irradiation angle, so it is not imaged by the imaging means, but hits the surface defect and is more than the irradiation angle. Only the light irregularly reflected at a large angle is imaged by the imaging means. Thereby, in the imaging means, a received light image in which surface defects are captured with high luminance is formed.
[0014]
Further, in the surface defect inspection apparatus, for example, when the workpiece is a vehicle body panel, various types of dimensions are set in advance, and for example, it is possible to detect the stop position of the workpiece in the workpiece conveyance means. From the above, when imaging the surface of the workpiece as described above, the sensor control means performs illumination so that the irradiation angle and imaging angle with respect to the workpiece surface are constant based on preset workpiece shape data and workpiece position data. Control the angle and height of the means and the angle and height of the imaging means. Thereby, the irradiation angle of the illumination unit and the imaging angle of the imaging unit with respect to various workpieces are always optimal.
[0015]
【The invention's effect】
According to the surface defect inspection apparatus of the first aspect of the present invention, in the apparatus for inspecting a surface defect by scanning the surface of a work having a flat surface portion and a curved surface portion continuous with the flat surface with an optical sensor, the work is intermittently provided. A high-speed intermittent conveyor is used as the work conveying means by adopting a workpiece conveying means that conveys automatically and a flat surface detection sensor and a curved surface detection sensor that perform imaging while moving with respect to the work stopped at a predetermined position. In addition, the surface defects can be inspected with high accuracy on both the flat and curved surfaces of the workpiece without being affected by the workpiece conveyance speed. The curved surface detection sensor that moves in the continuous direction of the curved section of the surface ensures a sufficient detection area and is highly sensitive to surface defects without being affected by the curvature of the curved surface. It can be carried out every time. Therefore, it is possible to ensure a sufficient inspection performance for the flat surface portion and the curved surface portion of the work after improving the work transfer processing function.
[0016]
MoreBy adopting a flat surface detection sensor and a curved surface detection sensor that conveys a workpiece in a posture in which the continuous direction of the curved cross section of the curved surface portion is orthogonal to the conveyance direction, and moves in a direction orthogonal to the conveyance direction.,sameSpace saving can be realized by arranging the flat surface detection sensor and the curved surface detection sensor arranged side by side, and the entire apparatus including peripheral devices such as image processing means connected to each sensor can be realized. There is an advantage that it is possible to make it well-organized and it is easy to perform work such as maintenance.
[0017]
As said workpiece | work, the vehicle body panel of a motor vehicle is mentioned, for example. As seen in hoods, fenders, door panels, etc., the vehicle body panel has a flat part and a curved part that continues to the end part, and after being sequentially molded by transfer press, it is transported to the surface defect inspection device. The At this time, the vehicle body panel may be transported in a posture orthogonal to the continuous direction of the curved cross section of the curved surface portion with respect to the transport direction due to the dimensions of the vertical and horizontal dimensions and the arrangement of the molding dies in the transfer press. . If the surface defect inspection apparatus is used in such a situation, the work carried out from the transfer press can be inspected as it is, and surface defect inspection can be performed with high accuracy and speed in-line in the press. .
[0018]
Claims of the invention2According to the surface defect inspection apparatus according to claim1 andIn addition to obtaining the same effect, the irradiation angle by the illumination means and the imaging angle by the imaging means can always be optimized for various workpieces having different overall dimensions and curvature of the curved surface. In addition, surface defect inspection of various workpieces can be performed with higher accuracy.
[0019]
【Example】
Hereinafter, an embodiment of a surface defect inspection apparatus according to the present invention will be described with reference to the drawings.
[0020]
The surface defect inspection apparatus shown in FIG. 1 is an apparatus that inspects surface defects such as irregularities on the surface of the panel-like workpiece W using an optical sensor. The workpiece W has a planar rectangular shape, and has a planar portion F and a curved surface portion R that is continuous on one side thereof. The curved surface portion R has a continuous curved cross section in a direction along the side of the flat surface portion F.
[0021]
The surface defect inspection apparatus includes a workpiece conveyance means 1 that horizontally conveys the workpiece W in the Y direction in FIG. 1 and a planar portion detection sensor that images the planar portion F of the workpiece W at a predetermined imaging angle as an optical sensor. 2 and a curved surface
[0022]
In addition, the surface defect inspection apparatus includes a workpiece shape output means 4 that outputs various dimensions of the workpiece W set in advance as shape data, and a workpiece that detects the workpiece W at a predetermined position corresponding to each of the
[0023]
The work conveyance means 1 is a high-speed intermittent conveyor whose conveyance speed is about 75 m / min, for example. Here, the workpiece W is, for example, a vehicle body panel of an automobile, and is sequentially formed by a transfer press and then conveyed to the surface defect inspection apparatus. At this time, the workpiece W is sequentially transferred in a direction perpendicular to the continuous direction of the curved cross section of the curved surface portion R (direction perpendicular to the curved cross section) in the transfer press due to the arrangement of each molding die. For this reason, the workpiece conveyance means 1 is in the posture in which the continuous direction of the curved section of the curved surface portion R is perpendicular to the conveyance direction (Y direction) with respect to the workpiece W received from the transfer press as it is. Transport.
[0024]
The flat surface detection sensor 2 includes an
[0025]
The
[0026]
The irradiation means 12 includes four sets of an
[0027]
For the irradiation means 12, for example, a powerful (for example, 180 W) light source such as metal halide or xenon metal halide is used. Further, by using the light guides 19 having a relatively large width (about 200 to 300 mm), the number of light guides 19 is suppressed to a small value.
[0028]
The specular reflection means 13 is a lightweight body mainly composed of a specular body. The specular reflection means 13 is disposed below the irradiation means 12, that is, along the irradiation port of the illumination light, and has one end portion by an illumination rotation driving means 14 provided on the frame. And the other end is rotatably held by a
[0029]
The illuminating means 2A having the above-described configuration is movable along the beam 9 in a direction (X direction) orthogonal to the workpiece conveyance direction, and by means of a signal from the sensor control means 6, the illuminating rotation driving means 14 and the illuminating means The elevation drive means 15 is driven in a predetermined direction, and the height and angle are adjusted so that the illumination angle of the illumination light with respect to the plane portion F of the workpiece W is 10 degrees or less.
[0030]
On the other hand, the imaging means 2B is arranged in a state opposite to the illuminating means 2A in a direction perpendicular to the workpiece conveyance direction, and images the workpiece W from obliquely above, and receives reflected illumination light. A plurality of
[0031]
The imaging elevating drive means 23 includes a
[0032]
The image pickup means 2B having the above-described configuration is movable along the beam 9 in a direction (X direction) orthogonal to the workpiece transfer direction, and by means of a signal from the sensor control means 6, the image pickup rotation drive means 22 and the image pickup means 2B. The elevating drive means 23 is driven in a predetermined direction, and the height and angle are adjusted so that the imaging angle is in the range of 10 to 30 degrees or less with respect to the plane portion F of the workpiece W.
[0033]
That is, the
[0034]
Similar to the flat surface detection sensor 2, the curved
[0035]
The illuminating means 3A irradiates linear illumination light along the workpiece transfer direction from one side of the reciprocating direction of the sensor moving means 31, and as shown in FIG. 4 (c), the sensor moving means A holding
[0036]
This illuminating means 3A transmits light from a light source (not shown) to the
[0037]
On the other hand, the imaging means 3B is arranged opposite to the illumination means 3A on the other side in the reciprocating direction of the sensor moving means 31, and is fixed to the sensor moving means 31 as shown in FIG. A
[0038]
Further, even in the
[0039]
When the workpiece W is a vehicle body panel, the workpiece shape output means 4 uses various dimensions of the vehicle body panel for each part, such as a fender panel, a door panel, a roof panel, and a hood panel, and the vehicle body panel for each vehicle as shape data. Specifically, CAD data used for designing the vehicle body panel can be used. Further, contact type or non-contact type switches are used for the work position detecting means 5A, 5B.
[0040]
The surface defect inspection apparatus having the above configuration conveys the workpiece W intermittently by the workpiece conveyance means 1 and first stops the workpiece W at a position corresponding to the flat surface detection sensor 2. At this time, the sensor control means 6 is arranged so that the irradiation angle and the imaging angle with respect to the flat surface portion F become predetermined values based on the shape data from the work shape output means 4 and the position data from the work position detection means 5A. Control characteristics of the height and angle of the illumination means 2A and the imaging means 2B of the part detection sensor 2 are determined. Thereby, the plane part detection sensor 2 images the plane part F of the workpiece W based on the control characteristics from the
[0041]
When the imaging of the plane portion F is completed as described above, the workpiece W is conveyed to a position corresponding to the curved surface
[0042]
Further, the images picked up by the image pickup means 2B and 3B of the flat surface detection sensor 2 and the curved
[0043]
Here, in the surface defect inspection apparatus, a plurality of workpieces W are sequentially conveyed by the workpiece conveyance means 1 at regular intervals, and the surface portion F of the next workpiece W is inspected when the curved surface portion R is inspected. Inspection can be performed simultaneously, and the inspection processing capability is extremely high.
[0044]
Further, after the above inspection, for example, using a robot driven based on the output from the image processing means 7 or the display means 8, the work W in which the surface defect is detected is moved to the
[0045]
As described above, in the surface defect inspection apparatus described in the above embodiment, a high-speed intermittent conveyor is adopted as the
[0046]
And the said surface defect inspection apparatus always optimizes the irradiation angle by illumination means 2A, 3A, and the imaging angle by imaging means 2B, 3B with respect to the various workpiece | work W from which the various dimensions, the curvature of the curved-surface part R, etc. differ. Since the control is performed, more accurate inspection is possible, and the work transfer means 1 improves the transfer processing function of the work W, and has sufficient inspection performance for the flat surface portion F and the curved surface portion R of the work W. Become.
[0047]
FIG. 5 is a diagram for explaining the curved
[0048]
The curved
[Brief description of the drawings]
FIG. 1 is an explanatory view showing an embodiment of a surface defect inspection apparatus according to the present invention.
FIG. 2 is a perspective view illustrating illumination means of a flat surface detection sensor.
FIG. 3 is a perspective view illustrating imaging means of a flat surface detection sensor.
4A is a perspective view showing a curved surface portion detection sensor, FIG. 4B is a perspective view showing imaging means of the curved surface portion detection sensor, and FIG. 4C is a perspective view showing illumination means of the curved surface portion detection sensor.
5A is a perspective view showing a curved surface portion detection sensor in another embodiment of the surface defect inspection apparatus according to the present invention, FIG. 5B is a perspective view showing an imaging means of the curved surface portion detection sensor, and the curved surface portion detection sensor; It is a perspective view (c) which shows the illumination means.
[Explanation of symbols]
F plane part
R Curved surface
W Work
1 Work transfer means
2 Flat surface detection sensor
2A Illumination means
2B imaging means
3 Curved surface detection sensor
3A lighting means
3B imaging means
6 Sensor control means
7 Image processing means
Claims (2)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000225549A JP4479073B2 (en) | 2000-07-26 | 2000-07-26 | Surface defect inspection equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000225549A JP4479073B2 (en) | 2000-07-26 | 2000-07-26 | Surface defect inspection equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002039946A JP2002039946A (en) | 2002-02-06 |
| JP4479073B2 true JP4479073B2 (en) | 2010-06-09 |
Family
ID=18719302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000225549A Expired - Lifetime JP4479073B2 (en) | 2000-07-26 | 2000-07-26 | Surface defect inspection equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4479073B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002082060A (en) * | 2000-06-30 | 2002-03-22 | Nissan Motor Co Ltd | Surface defect inspection method and surface defect inspection device |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100437137B1 (en) * | 2002-04-11 | 2004-06-23 | (학)창성학원 | Acoustic Emission Explorating Device With Changeable Jig |
| US7692778B2 (en) | 2004-08-27 | 2010-04-06 | Tsukuba Seiko Ltd. | Transfer/inspection apparatus and transfer apparatus |
| JP4655644B2 (en) * | 2005-01-26 | 2011-03-23 | 凸版印刷株式会社 | Periodic pattern unevenness inspection system |
| JP4609089B2 (en) * | 2005-01-31 | 2011-01-12 | 凸版印刷株式会社 | Periodic pattern unevenness inspection apparatus and periodic pattern imaging method |
| JP2006258688A (en) * | 2005-03-18 | 2006-09-28 | Toppan Printing Co Ltd | Periodic pattern unevenness inspection device |
| JP5013058B2 (en) * | 2006-11-09 | 2012-08-29 | 三井造船株式会社 | Defect detection method and apparatus |
| CN108535444B (en) * | 2018-07-06 | 2023-09-29 | 国网浙江省电力有限公司营销服务中心 | A system for rapid non-destructive automatic detection of metal elements in electric energy metering boxes |
| CN111595849A (en) * | 2020-04-26 | 2020-08-28 | 深圳市联得自动化装备股份有限公司 | Defect detecting device |
| CN117191807B (en) * | 2023-11-06 | 2024-01-30 | 常州讯磊电子科技有限公司 | Product on-line defect detection device based on industrial camera |
-
2000
- 2000-07-26 JP JP2000225549A patent/JP4479073B2/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002082060A (en) * | 2000-06-30 | 2002-03-22 | Nissan Motor Co Ltd | Surface defect inspection method and surface defect inspection device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002039946A (en) | 2002-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4670180B2 (en) | Surface defect inspection method and surface defect inspection apparatus | |
| JP7277996B2 (en) | Surface defect inspection device and inspection method using image sensor | |
| US5963328A (en) | Surface inspecting apparatus | |
| JP2004514882A (en) | Method and apparatus for scanning substrate surface | |
| KR101954416B1 (en) | Inspection apparatus | |
| JP3600010B2 (en) | Appearance inspection method and device for inspection object | |
| JP4479073B2 (en) | Surface defect inspection equipment | |
| JP4190636B2 (en) | Surface inspection device | |
| KR20200014863A (en) | An Apparatus and Method for Inspecting Surface Defect using Image Sensor | |
| JP2002131238A (en) | Appearance inspection device | |
| JP3510468B2 (en) | Surface defect inspection equipment | |
| JPH08210827A (en) | Surface inspection method and apparatus | |
| JPH1172439A (en) | Surface inspection equipment | |
| JP2001289788A (en) | Surface defect inspection equipment | |
| JP3513903B2 (en) | Inspection apparatus and method | |
| JP2005083906A (en) | Defect detector | |
| JP4756299B2 (en) | Surface defect inspection equipment | |
| CN119998623A (en) | Pallet Management System and Pallet Inspection Method | |
| KR20150017231A (en) | Inspection system for the external appearance of panel having scan structure | |
| KR20150017222A (en) | Inspection system for the external appearance of panel having emproved transfer structure | |
| JP2000241147A (en) | Surface defect inspection equipment | |
| JP3609136B2 (en) | Semiconductor device inspection method and apparatus | |
| JP4084150B2 (en) | Bumper coating inspection equipment | |
| JPH11194021A (en) | Fruit and vegetable measuring device | |
| JP2026047723A (en) | Inspection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070629 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100223 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100308 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130326 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |