JP7610255B2 - Visual inspection method and visual inspection device - Google Patents
Visual inspection method and visual inspection device Download PDFInfo
- Publication number
- JP7610255B2 JP7610255B2 JP2021066957A JP2021066957A JP7610255B2 JP 7610255 B2 JP7610255 B2 JP 7610255B2 JP 2021066957 A JP2021066957 A JP 2021066957A JP 2021066957 A JP2021066957 A JP 2021066957A JP 7610255 B2 JP7610255 B2 JP 7610255B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- slit
- light
- illumination
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 55
- 238000011179 visual inspection Methods 0.000 title claims description 9
- 238000007689 inspection Methods 0.000 claims description 112
- 238000005286 illumination Methods 0.000 claims description 93
- 238000003384 imaging method Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 230000007547 defect Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 239000000203 mixture Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本願発明は、検査ワークの外観不良を検査する外観検査方法及び外観検査装置に関する。特に、検査ワークの表面汚れと凹凸不良を同時に検査する外観検査方法及び外観検査装置に関する。 The present invention relates to an appearance inspection method and an appearance inspection device for inspecting the appearance of an inspection workpiece. In particular, the present invention relates to an appearance inspection method and an appearance inspection device for simultaneously inspecting the surface of an inspection workpiece for surface contamination and irregularity defects.
検査対象の製品である検査ワークの表面のキズや凹凸や汚れや色ムラ等の外観上の不具合を検査する外観検査装置がある。表面の凹凸はスリット光を検査ワークの検査対象面に照射し、その反射光を撮像装置で撮像し、その撮像画像に写る線の曲がり具合から検査ワークの凹凸を測定する光切断法が採用されている（特許文献１）。また、表面の汚れや色ムラは、拡散照明に代表されるエリア光を検査ワークの検査対象面に照射し、表面汚れによる輝度値変化を２次元画像として検出する方法が採用されている（特許文献２，３）。 There is an appearance inspection device that inspects the surface of the workpiece, which is the product being inspected, for defects in appearance such as scratches, unevenness, dirt, and color unevenness. For surface unevenness, a light-section method is used in which slit light is irradiated onto the surface of the workpiece to be inspected, the reflected light is captured by an imaging device, and the unevenness of the workpiece is measured from the degree of curvature of the lines captured in the captured image (Patent Document 1). For surface dirt and color unevenness, a method is used in which area light, typically diffuse lighting, is irradiated onto the surface of the workpiece to be inspected, and the change in brightness value due to surface dirt is detected as a two-dimensional image (Patent Documents 2 and 3).
検査ワークの表面の凹凸と汚れを検査面に対する互いの照射範囲を重ねたエリア光源と、スリット光源とを有する照明手段のエリア光源及びスリット光源の点灯／消灯の切り替えを制御して撮像する検査ワークの表面の凹凸と汚れとを簡易な構成で検査する方法が開示されている（特許文献４）。これは、色ムラ等の外観上の不具合を検査するにはスリット光影像が検査に邪魔となるからである。
しかしながら、エリア光源及びスリット光源の点灯／消灯の切り替えを要するため、表面の凹凸の検査ための撮像と表面の汚れの検査のための撮像とで２回撮像する必要があり、高速移動体の検査や、エリア全体を縦横のグリッド線を用いた検査に採用することができないという問題がある。
A method for inspecting the unevenness and dirt on the surface of an inspection workpiece with a simple configuration has been disclosed, in which the unevenness and dirt on the surface of the inspection workpiece are imaged by controlling the switching on and off of the area light source and the slit light source of an illumination means having an area light source and a slit light source whose irradiation ranges on the inspection surface overlap each other (Patent Document 4). This is because the slit light image is an obstacle to the inspection for inspecting defects in appearance such as color unevenness.
However, because the area light source and the slit light source need to be switched on and off, it is necessary to take two images, one to inspect the surface unevenness and one to inspect the surface dirt, which means that it cannot be used for inspecting fast moving objects or inspecting the entire area using vertical and horizontal grid lines.
本願発明は、スリット光とエリア光を同時に照射することで、スリット光を用いた光切断法による表面凹凸の検査と、エリア光を用いた表面汚れ等の外観検査とを照射光を切り替えることなく、同時に検査できる検査方法を提供することにある。 The present invention aims to provide an inspection method that can simultaneously inspect surface irregularities using the light-section method with slit light and visual inspection of surface dirt, etc., using area light without switching between illumination lights by irradiating slit light and area light simultaneously.
本願発明の課題は、以下の態様（１）乃至（４）により解決できる。具体的には、 The problem of the present invention can be solved by the following aspects (1) to (4). Specifically,
（態様１） 検査ワークの検査面を撮像する撮像手段と、前記検査面に対する互いの照射範囲を重ねたエリア照明及びスリット照明からなる照明手段と、前記撮像手段が取得した映像信号に基づく画像を処理する画像処理手段と、を備える外観検査装置による外観検査方法であって、検査ワークに、エリア照明からのＲＧＢ成分で構成された白色拡散光、スリット照明からのＲＧＢ成分のいずれかを選択した単色スリット光を同時に照射して、前記撮像手段により、検査ワークのエリア光反射映像信号及びスリット光反射映像信号が重畳した映像信号を取得して重畳画像を作成する工程と、前記重畳画像をＲＧＢ分解処理して、スリット照明と同一の成分を抽出したスリット光成分抽出画像、及びスリット光除外成分抽出画像を作成する工程と、前記スリット光成分抽出画像を二値化処理してスリット光強調画像を作成する工程と、前記スリット光強調画像に基づいて光切断法により検査ワークの凹凸を検査する工程と、前記スリット光成分抽出画像の輝度補正を行い、スリット光成分補正画像を作成する工程と、前記スリット光除外成分抽出画像と前記スリット光成分補正画像とをＲＧＢ合成処理して、スリット光消去画像を作成する工程と、前記スリット光消去画像に基づいて検査ワークのムラを検査する工程と、を含む外観検査方法である。 (Aspect 1) An appearance inspection method using an appearance inspection device equipped with an imaging means for imaging the inspection surface of an inspection workpiece, an illumination means consisting of area illumination and slit illumination whose illumination ranges on the inspection surface are overlapped, and an image processing means for processing an image based on a video signal acquired by the imaging means, comprising the steps of simultaneously irradiating the inspection workpiece with white diffuse light composed of RGB components from the area illumination and monochromatic slit light selected from RGB components from the slit illumination, acquiring a video signal in which the area light reflection video signal and the slit light reflection video signal of the inspection workpiece are superimposed by the imaging means to create a superimposed image, and performing RGB decomposition processing on the superimposed image to obtain a slit light reflection video signal. The method includes the steps of: creating a slit light component extraction image in which the same components as those in the slit illumination are extracted; and creating a slit light excluded component extraction image; binarizing the slit light component extraction image to create a slit light enhanced image; inspecting the unevenness of the inspection workpiece by a light section method based on the slit light enhanced image; correcting the brightness of the slit light component extraction image to create a slit light component corrected image; performing RGB synthesis of the slit light excluded component extraction image and the slit light component corrected image to create a slit light eliminated image; and inspecting the unevenness of the inspection workpiece based on the slit light eliminated image.
（態様２） 前記照明手段がスリットパターンを投射する投影装置であって、エリア照明及びスリット照明を一体とした照明手段であること特徴とする（態様１）に記載の外観検査方法である。 (Aspect 2) This is an appearance inspection method described in (Aspect 1), characterized in that the illumination means is a projection device that projects a slit pattern and is an illumination means that combines area illumination and slit illumination.
（態様３） 検査ワークの検査面を撮像する撮像手段と、前記検査面に対する互いの照射範囲を重ねたエリア照明及びスリット照明からなる照明手段と、前記撮像手段が取得した映像信号に基づく画像を処理する画像処理手段と、を備える外観検査装置であって、前記画像処理手段が、前記撮像手段により、検査ワークのエリア光反射映像信号及びスリット光反射映像信号が重畳した映像信号を取得して重畳画像を作成し、前記重畳画像をＲＧＢ分解処理して、スリット照明と同一の成分を抽出したスリット光成分抽出画像、及びスリット光除外成分抽出画像を作成し、前記スリット光成分抽出画像を二値化処理してスリット光強調画像を作成し、前記スリット光強調画像に基づいて光切断法により検査ワークの凹凸を検査し、前記スリット光成分抽出画像の輝度補正を行い、スリット光成分補正画像を作成し、前記スリット光除外成分抽出画像と前記スリット光成分補正画像とをＲＧＢ合成処理して、スリット光消去画像を作成し、前記スリット光消去画像に基づいて検査ワークのムラを検査する実行プログラムを備える処理装置であることを特徴とする外観検査装置である。 (Aspect 3) An appearance inspection device comprising an imaging means for imaging the inspection surface of an inspection workpiece, an illumination means consisting of area illumination and slit illumination whose irradiation ranges on the inspection surface overlap, and an image processing means for processing an image based on a video signal acquired by the imaging means, wherein the image processing means is a processing device having an execution program for acquiring a video signal in which the area light reflection video signal and the slit light reflection video signal of the inspection workpiece are superimposed by the imaging means to create a superimposed image, performing RGB decomposition processing on the superimposed image to create a slit light component extraction image in which the same components as those of the slit illumination are extracted, and a slit light excluded component extraction image, performing binarization processing on the slit light component extraction image to create a slit light enhanced image, inspecting the unevenness of the inspection workpiece by a light section method based on the slit light enhanced image, performing luminance correction on the slit light component extraction image, creating a slit light component corrected image, performing RGB composition processing on the slit light excluded component extraction image and the slit light component corrected image to create a slit light eliminated image, and inspecting unevenness of the inspection workpiece based on the slit light eliminated image.
（態様４） 前記照明手段がスリットパターンを投射する投影装置であって、エリア照明及びスリット照明を一体とした照明手段であること特徴とする（態様３）に記載の外観検査装置である。 (Aspect 4) This is an appearance inspection device as described in (Aspect 3), characterized in that the illumination means is a projection device that projects a slit pattern and is an illumination means that combines area illumination and slit illumination.
本願発明によれば、スリット光を用いた光切断法による表面凹凸の検査と、エリア光を用いた表面汚れ等の外観検査とを照射光を切り替えることなく、同時に検査できるため、搬送手段を介して搬送される帯状体の外観検査を照明手段の切り替えを行うことなく、連続して行うことができる。照明手段を投影装置とすることで、ライン状、格子状等種々のスリットパターンを高速で投射することが可能となり、計測時間の短時間化、多様な検査対象を検査することができる。 According to the present invention, inspection of surface irregularities using the light-section method with slit light and appearance inspection of surface dirt, etc. using area light can be performed simultaneously without switching the illumination light, so that appearance inspection of a strip transported via a transport means can be performed continuously without switching the illumination means. By using a projection device as the illumination means, it becomes possible to project various slit patterns such as line patterns and grid patterns at high speed, shortening the measurement time and enabling inspection of a variety of inspection objects.
本願発明を実施するための形態を図１～図７に基づいて説明する。ただし、図１～図７は実施形態の一例であり、これに限定されるものではない。 The embodiment of the present invention will be described with reference to Figs. 1 to 7. However, Figs. 1 to 7 are merely examples of the embodiment, and the present invention is not limited to these.
１．検査装置
（１）検査装置の構成
図１は、本願発明の第１の実施態様に用いる検査装置の全体構成図である。本願発明の検査方法に用いる外観検査装置１００は、撮像部２０と制御部３０で構成されている。
撮像部２０は、検査ワーク１０の検査面に拡散照明光２１を照射するエリア照明２２及び検査ワーク１０の検査面にスリット光２３を照射するスリット照明２４からなる照明手段（２２，２４）と、検査ワーク１０の検査面からの反射光を映像信号に変換する撮像手段２５と、照明手段（２２，２４）及び撮像手段２５を制御する制御部３０を備える。
制御部３０は、撮像手段２５から検査画像を取得する画像取得部３１と、撮像手段２５が取得した映像信号に基づく検査画像を画像処理する画像処理部３２、画像処理を実行する処理プログラムやプログラム実行時に必要なデータを記憶する記憶部３３と、検査ワーク１０に照射する拡散照明光２１及びスリット光２３からなる照明手段またはスリットパターンを投射する投影装置２６を制御する照明制御部３４と、画像処理した画像に基づいて検査ワーク１０に生じた欠陥を判定する判定部３５と、を備える。
なお、エリア照明２２の照射範囲とスリット照明２４の照射範囲は、重なっており、撮像手段２５は、照射範囲の反射映像を取得する。
1 is a diagram showing the overall configuration of an inspection device used in a first embodiment of the present invention. A visual inspection device 100 used in the inspection method of the present invention is composed of an imaging unit 20 and a control unit 30.
The imaging unit 20 includes an illumination means (22, 24) consisting of an area illumination 22 that irradiates the inspection surface of the inspection work 10 with diffuse illumination light 21 and a slit illumination 24 that irradiates the inspection surface of the inspection work 10 with slit light 23, an imaging means 25 that converts reflected light from the inspection surface of the inspection work 10 into a video signal, and a control unit 30 that controls the illumination means (22, 24) and the imaging means 25.
The control unit 30 includes an image acquisition unit 31 that acquires an inspection image from the imaging means 25, an image processing unit 32 that performs image processing on the inspection image based on the video signal acquired by the imaging means 25, a memory unit 33 that stores a processing program that executes the image processing and data required when the program is executed, an illumination control unit 34 that controls an illumination means consisting of diffuse illumination light 21 and slit light 23 that is irradiated onto the inspection work 10 or a projection device 26 that projects a slit pattern, and a judgment unit 35 that judges defects that have occurred in the inspection work 10 based on the image-processed image.
The illumination range of the area illumination 22 and the illumination range of the slit illumination 24 overlap, and the imaging means 25 captures a reflected image of the illumination range.
図２は、本願発明の第２の実施態様に用いる検査装置の撮像部２０を示す要部構成図である。照明手段がエリア照明２１及びスリット照明２３を一体としたスリットパターンを投射する投影装置２６である点で第１の実施態様とは異なる。 Figure 2 is a diagram showing the main components of the imaging unit 20 of an inspection device used in a second embodiment of the present invention. This differs from the first embodiment in that the illumination means is a projection device 26 that projects a slit pattern that combines an area illumination 21 and a slit illumination 23.
（２）検査ワーク
本願発明の検査方法の検査対象となる検査ワーク１０としては、外表面に凹凸のある模様を形成した鋼板、敷物、フィルム等の帯状体が好適である。本願発明の検査方法は、スリット光を用いた光切断法による表面凹凸の検査と、エリア光を用いた表面汚れ等の外観検査とを照射光を切り替えることなく、同時に検査できるため、搬送手段を介して搬送される帯状体の外観検査を照明手段の切り替えを行うことなく、連続して行うことができるからである。
(2) Inspection Work The inspection work 10 to be inspected by the inspection method of the present invention is preferably a strip-shaped object such as a steel plate, a carpet, a film, etc., having an uneven pattern formed on its outer surface. The inspection method of the present invention can simultaneously inspect for surface unevenness by a light-section method using slit light and for appearance inspection of surface dirt, etc., using area light without switching the illumination light, so that the appearance inspection of the strip-shaped object transported by the transport means can be performed continuously without switching the illumination means.
（３）照明手段
本願発明の検査方法に用いる照明手段は、エリア照明、スリット照明、エリア照明及びスリット照明を一体化した投影装置である。
(3) Illumination Means The illumination means used in the inspection method of the present invention is an area illumination, a slit illumination, or a projection device that combines area illumination and slit illumination.
（３－１）エリア照明
本願発明の検査方法に用いるエリア照明２２は、検査ワーク１０の検査面に拡散照明光２１を照射する光源である。光源としては、白色発光ダイオード（Light-Emitting Diode）が好適に用いられる。白色ＬＥＤとしては、蛍光体を用いた白色ＬＥＤ、具体的には、青色ＬＥＤと黄色に発光する蛍光体を組み合わせたもの、紫外または紫ＬＥＤと青・緑・赤に発光する３種類の蛍光体を組み合わせたものがある。また、蛍光体を用いない白色ＬＥＤ、具体的には青（Ｂ）・緑（Ｇ）・赤（Ｒ）ＬＥＤを一つのパッケージ内に並べ、これらを同時に発光させることによって白色光を得るものがある。
エリア照明２２は、撮像手段２５の斜め上方から検査面に照射する。図３に示すように、エリア照明２２は、検査面が同一輝度条件となるように対称となる位置に複数配置することが好ましい。
(3-1) Area Illumination The area illumination 22 used in the inspection method of the present invention is a light source that irradiates the inspection surface of the inspection work 10 with diffuse illumination light 21. A white light-emitting diode (LED) is preferably used as the light source. White LEDs include white LEDs using phosphors, specifically, a combination of a blue LED and a phosphor that emits yellow light, and a combination of an ultraviolet or purple LED and three types of phosphors that emit blue, green, and red light. There are also white LEDs that do not use phosphors, specifically, blue (B), green (G), and red (R) LEDs that are arranged in one package and emit light simultaneously to obtain white light.
The area light 22 illuminates the inspection surface from obliquely above the imaging means 25. As shown in Fig. 3, it is preferable to arrange a plurality of area lights 22 at symmetrical positions so that the inspection surface has the same luminance conditions.
（３－２）スリット照明
本願発明の検査方法に用いるスリット照明２４は、検査ワーク１０の検査面に光切断法による高さ演算を行うための幅の狭いスリット光２３を照射する光源である。撮像手段２５の光軸Ｌに対して角度θでライン状のスリット光を照射すると、検査面の凹凸に応じてスリット光は移動する。凹凸の高さ（ｈ）と移動量（ｘ）との関係は、ｈ＝ｘ／ｔａｎθの関係があるため、光切断法では、撮像手段２５で撮像した画像に含まれるスリット光の移動量を検出することで、検査ワーク１０の凹凸（三次元高さデータ）を演算できる。
ここで、光切断法（スリット光投影法ともいう）は、物体を光学的に走査して距離画像（３次元画像）を得る方法であり、特定の参照光を投射して物体を撮影する能動的計測方法の一種である。距離画像は、物体上の複数の部位の３次元位置を示す画素の集合である。スリット光投影法では、参照光として投射ビームの断面が直線帯状であるスリット光が用いられる。走査中のある時点では物体の一部が照射され、撮像面には照射部分の起伏に応じて曲がった輝線が現れる。したがって、走査中に周期的に撮像面の各画素の輝度をサンプリングすることにより、物体形状を特定する一群の３次元データを得ることができる。
(3-2) Slit Illumination The slit illumination 24 used in the inspection method of the present invention is a light source that irradiates the inspection surface of the inspection workpiece 10 with a narrow slit light 23 for performing height calculation by the light section method. When a line-shaped slit light is irradiated at an angle θ with respect to the optical axis L of the imaging means 25, the slit light moves according to the unevenness of the inspection surface. Since the relationship between the height (h) of the unevenness and the amount of movement (x) is h = x / tan θ, in the light section method, the unevenness (three-dimensional height data) of the inspection workpiece 10 can be calculated by detecting the amount of movement of the slit light included in the image captured by the imaging means 25.
Here, the light section method (also called the slit light projection method) is a method of obtaining a distance image (three-dimensional image) by optically scanning an object, and is a type of active measurement method in which a specific reference light is projected to capture an image of the object. A distance image is a set of pixels that indicate the three-dimensional positions of multiple parts on the object. In the slit light projection method, a slit light whose projection beam has a linear strip-like cross section is used as the reference light. At a certain point during scanning, a part of the object is illuminated, and a curved bright line appears on the imaging surface according to the undulations of the illuminated part. Therefore, by periodically sampling the brightness of each pixel on the imaging surface during scanning, a group of three-dimensional data that identifies the object shape can be obtained.
また、スリット照明２４は、ＲＧＢ成分のいずれかの単色光を用いる。撮像手段２５が撮像した検査ワークからのエリア光反射映像及びスリット光反射映像が重畳した映像に基づく画像からＲＧＢ成分を分解して、スリット光成分を抽出した場合に、スリット光として用いたＲＧＢ成分が強調されて、光切断法による凹凸（三次元データ）演算前の画像の２値化処理が容易となるからである。
本願発明の検査方法に用いるスリット照明２４としては、ライン状、格子状等種々のスリットパターンのみを投射した投影装置を好適に用いることができる。光切断法による凹凸（三次元データ）演算を多様な方向で適用できるからである。
Moreover, the slit illumination 24 uses monochromatic light of any one of RGB components. When the RGB components are resolved from an image based on an image in which the area light reflection image and the slit light reflection image from the inspection work captured by the imaging means 25 are superimposed, and the slit light component is extracted, the RGB components used as the slit light are emphasized, facilitating the binarization process of the image before the unevenness (three-dimensional data) calculation by the light section method.
As the slit illumination 24 used in the inspection method of the present invention, a projection device that projects only various slit patterns such as a line pattern, a grid pattern, etc. can be suitably used, because the unevenness (three-dimensional data) calculation by the light section method can be applied in various directions.
（３－３）投影装置
本願発明の検査方法に用いる投影装置２６は、エリア照明２２とスリット照明２４を一体化した光源として用いる照明手段であり、例えば、ＲＧＢいずれかのパターンを形成した白色ＬＥＤ投影装置である。ライン状、格子状等種々のスリットパターンがスリット光としての機能を担い、スリットパターン以外がエリア光としての機能を担う。投影装置は、特に限定されるものではない。例えば、ＤＬＰ（Digital Light Processing）プロジェクタや液晶プロジェクタ等がある。投影装置は、ライン状、格子状等種々のスリットパターンを高速で投射することが可能であり、計測時間の短時間化を図ることができ、搬送される検査ワークの外観検査に好適である。
図４は、投影装置によるスリットパターンを例示したものである。（ａ）は、赤（Ｒ）のパターンのみを表示したものであり、スリット照明としての機能を有する。（ｂ）は、白地（Ｗ）に赤（Ｒ）のパターンを表示したものであり、エリア照明とスリット照明を一体化した照明としての機能を有する。
(3-3) Projection Device The projection device 26 used in the inspection method of the present invention is an illumination means using the area illumination 22 and the slit illumination 24 as an integrated light source, and is, for example, a white LED projection device forming any of RGB patterns. Various slit patterns such as line and lattice patterns function as slit lights, and patterns other than the slit patterns function as area lights. The projection device is not particularly limited. For example, there are DLP (Digital Light Processing) projectors and liquid crystal projectors. The projection device is capable of projecting various slit patterns such as line and lattice patterns at high speed, and can shorten the measurement time, making it suitable for visual inspection of the transported inspection workpiece.
Fig. 4 shows examples of slit patterns produced by a projection device. (a) shows only a red (R) pattern, and functions as a slit illumination. (b) shows a red (R) pattern on a white background (W), and functions as an illumination that combines area illumination and slit illumination.
（４）撮像手段
本願発明の検査方法に用いる撮像手段２５は、照明手段の後方に設けられている。撮像手段２５は、反射光を光電変換して映像信号とする集積回路（IC：integrated circuits）を用いた撮像素子、具体的には、多数のホトダイオードを平面状のシリコン基板に並べたものが使われ、転送には電荷結合素子（CCD：charge-coupled device）または相補型金属酸化膜半導体（CMOS （シーモス） ：complementary metal oxide semiconductor）等の集積回路が使われる。および、検査ワークの像を固体撮像素子の撮像面に結像させる光学系、固体撮像素子の出力を信号処理して画素ごとの輝度値を得る信号処理回路等で構成されているエリアカメラである。撮像をＲＧＢ成分に分解処理を行うため、カラーカメラが好適である。
(4) Imaging Means The imaging means 25 used in the inspection method of the present invention is provided behind the illumination means. The imaging means 25 is an imaging element using integrated circuits (ICs) that photoelectrically convert reflected light into a video signal, specifically, a number of photodiodes arranged on a planar silicon substrate, and integrated circuits such as charge-coupled devices (CCDs) or complementary metal oxide semiconductors (CMOSs) are used for transfer. It is an area camera that is composed of an optical system that forms an image of the inspection work on the imaging surface of the solid-state imaging element, a signal processing circuit that processes the output of the solid-state imaging element to obtain a luminance value for each pixel, etc. A color camera is preferable because the image is decomposed into RGB components.
（５）制御部
本願発明の検査方法に用いる制御部３０は、画像取得部３１、画像処理部３２、記憶部３３、照明制御部３４、判定部３５を備える。
(5) Control Unit The control unit 30 used in the inspection method of the present invention includes an image acquisition unit 31, an image processing unit 32, a storage unit 33, an illumination control unit 34, and a determination unit 35.
（５－１）画像取得部
画像取得部３１は、撮像手段２５が取得した検査ワーク１０からのエリア光２１反射映像及びスリット光２３反射映像が重畳した映像に基づく画像（以下、「重畳画像」という。）の画像情報を取得し記憶部３３に記憶する機能を有する。また、ＲＳ２３２ＣやＵＳＢ（Universal Serial Bus）等の汎用通信インターフェースを介して撮像手段２５の撮像のタイミング等の動作を制御する機能も有する。
(5-1) Image Acquisition Unit The image acquisition unit 31 has a function of acquiring image information of an image (hereinafter referred to as a "superimposed image") based on an image in which the reflected image of the area light 21 and the reflected image of the slit light 23 from the inspection work 10 are superimposed, acquired by the imaging means 25, and storing the image information in the storage unit 33. In addition, the image acquisition unit 31 also has a function of controlling operations such as the timing of imaging of the imaging means 25 via a general-purpose communication interface such as RS232C or USB (Universal Serial Bus).
（５-２）画像処理部
画像処理部３２は、撮像手段２５からの映像信号（画像情報）に対して各種の画像処理する機能を有する。ＣＰＵ（Central Processing Unit）、メモリ、ディスプレイ、ハードディスク等の記憶装置、入出力用の各種インターフェース等を備える情報処理装置により構成される。また、後述する本願発明の検査方法を実行させるプログラムを備え、ＣＰＵがプログラムを実行することにより検査方法に必要な演算等を実行する。
(5-2) Image Processing Unit The image processing unit 32 has a function of performing various image processing on the video signal (image information) from the imaging means 25. It is composed of an information processing device equipped with a CPU (Central Processing Unit), memory, a display, a storage device such as a hard disk, various interfaces for input and output, etc. It also has a program for executing the inspection method of the present invention described later, and the CPU executes the program to perform calculations and the like required for the inspection method.
（５－３）記憶部
記憶部３３は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を備える。ＲＯＭは、ＣＰＵによって実行される検査方法プログラム等各種プログラムやこれらプログラムの実行時に必要なデータ（例、撮像手段２５が取得した画像）を格納する。ＲＯＭに格納された各種プログラムやデータは、ＲＡＭにロードされて実行される。
(5-3) Storage Unit The storage unit 33 includes a ROM (Read Only Memory) and a RAM (Random Access Memory). The ROM stores various programs, such as an inspection method program, executed by the CPU, and data required when executing these programs (e.g., images acquired by the imaging means 25). The various programs and data stored in the ROM are loaded into the RAM and executed.
（５－４）照明制御部
照明制御部３４は、検査ワーク１０に投射するスリットパターンを生成し、記憶部３３に記憶する機能を有する。記憶部３３に記憶されたスリットパターンのデータを、ＤＶＩ（Digital Visual Interface）等の汎用ディスプレイ用インターフェースを介して投影装置へ伝送する機能を有する。また、ＲＳ２３２ＣやＵＳＢ等の汎用通信インターフェースを介して投影装置の光源の点灯・消灯や光量調整等の動作を制御する機能も有する。
(5-4) Illumination control unit The illumination control unit 34 has a function of generating a slit pattern to be projected onto the inspection work 10 and storing it in the memory unit 33. It has a function of transmitting the slit pattern data stored in the memory unit 33 to the projection device via a general-purpose display interface such as a DVI (Digital Visual Interface). It also has a function of controlling operations such as turning on and off the light source of the projection device and adjusting the light amount via a general-purpose communication interface such as RS232C or USB.
（５－５）判定部
判定部３５は、画像処理部３２で二値化処理等の処理画像について、記憶部３３に保存された判断情報に基づいて、検査ワーク１０生じた凹凸欠陥及び汚れ（輝度ムラ）欠陥を判定する。
(5-5) Judgment Unit The judgment unit 35 judges unevenness defects and dirt (brightness unevenness) defects that have occurred on the inspection workpiece 10 based on the judgment information stored in the memory unit 33 for the processed images, such as those subjected to binarization processing by the image processing unit 32.
２．検査方法
図５は、本願発明の外観検査方法の手順を示すフロー図であり、図６は、本願発明の外観検査方法による処理画像を検査手順に従って示した説明図である。以下、図５、図６に基づいて本願発明の検査方法を説明する。
2. Inspection method Fig. 5 is a flow diagram showing the procedure of the appearance inspection method of the present invention, and Fig. 6 is an explanatory diagram showing the processed images by the appearance inspection method of the present invention according to the inspection procedure. The inspection method of the present invention will be described below with reference to Figs. 5 and 6.
（１）重畳映像信号取得
ＲＧＢ成分で構成された白色ＬＥＤからなるエリア照明２２から検査ワーク１０へ照射されるエリア光２１と、ＲＧＢ成分のいずれかを選択した単色光からなるスリット照明２４から検査ワーク１０へ照射されるスリット光２３が検査ワーク上の照射範囲に同時に照射され、撮像手段２５は検査ワーク１０のエリア光２１反射映像信号及びスリット光２３反射映像信号が重畳した映像信号を取得し、「重畳画像」を作成する（Ｓ０１）。
なお、第１の実施態様では、エリア照明２２は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色を同時に発光する白色（Ｗ）ＬＥＤ照明であり、スリット照明２４は赤（Ｒ）ストライプのみを投射する投影装置２６であり、第２の実施態様では、白（Ｗ）地に赤（Ｒ）ストライプを投射するエリア照明（Ｗ）とスリット照明（Ｒ）を一体化した投影装置２６である。
(1) Obtaining superimposed video signal Area light 21 is irradiated onto the inspection work 10 from area lighting 22 consisting of white LEDs composed of RGB components, and slit light 23 is irradiated onto the inspection work 10 from slit lighting 24 consisting of monochromatic light selected from any of the RGB components. These are simultaneously irradiated onto an irradiation range on the inspection work, and the imaging means 25 acquires a video signal in which the area light 21 reflected video signal and the slit light 23 reflected video signal of the inspection work 10 are superimposed, and a "superimposed image" is created (S01).
In the first embodiment, the area lighting 22 is a white (W) LED lighting that simultaneously emits three colors, red (R), green (G), and blue (B), and the slit lighting 24 is a projection device 26 that projects only red (R) stripes, while in the second embodiment, the projection device 26 is an integrated area lighting (W) and slit lighting (R) that projects red (R) stripes onto a white (W) background.
（２）ＲＧＢ分解処理
「重畳画像」にＲＧＢ分解処理を行い、Ｒ画素、Ｇ画素、Ｂ画素を作成する。スリット照明と同一の画素成分を抽出して、「スリット光成分抽出画像」とし、残りを「スリット光除外成分抽出画像」とする（Ｓ０２）。
例えば、スリット照明が赤（Ｒ）ストライプである場合は、Ｒ画素成分を抽出した画像が「スリット光成分抽出画像」となり、残りのＧ画素及びＢ画素からなる画像が「スリット光除外成分抽出画像」となる。
(2) RGB Decomposition Processing The "superimposed image" is subjected to RGB decomposition processing to generate R pixels, G pixels, and B pixels. The pixel components identical to the slit illumination are extracted and made into a "slit-light component extracted image," and the remaining is made into a "slit-light excluded component extracted image" (S02).
For example, if the slit illumination is a red (R) stripe, an image with the R pixel component extracted becomes the "slit light component extracted image", and an image consisting of the remaining G and B pixels becomes the "slit light excluded component extracted image".
（３）二値化処理
「スリット光成分抽出画像」を所定の閾値をパラメータとして二値化処理を行い、「スリット光強調画像」を作成する（Ｓ０３）。
(3) Binarization The "slit beam component extracted image" is binarized using a predetermined threshold as a parameter to generate a "slit beam enhanced image" (S03).
（４）凹凸欠陥判定
「スリット光強調画像」に基づき、光切断法による凹凸（三次元データ）演算を行って、凹凸欠陥判定を行う（Ｓ０４）。図８は、凹凸判定に供する二値化処理した「スリット光強調画像」を例示した模式図である。
(4) Irregularity Defect Judgment Based on the "slit light enhanced image", irregularity (three-dimensional data) calculation is performed by the light cutting method to judge irregularity defects (S04). Fig. 8 is a schematic diagram illustrating a binarized "slit light enhanced image" used for irregularity judgment.
（５）スリット光成分輝度補正
「スリット光成分抽出画像」のスリット光成分（画素）の輝度を「スリット光除外成分抽出画像」のスリット光成分（画素）の輝度に合わせる補正を行う（Ｓ０５）。これは、スリット光成分（画素）を相殺して「スリット光消去画像」を作成するための前処理である。「スリット光成分抽出画像」は、エリア照明成分に加えてスリット照明成分を含むため高輝度となっているため、「スリット光除外成分抽出画像」の輝度に合わせるためである。
具体的には、図７に示すように、「重畳画像」からＲＧＢ分解処理により作成した「スリット光成分抽出画像」のスリット光成分（画素）の輝度は、エリア照明の白色光に含まれるスリット光成分（画素）と、スリット照明のスリット光成分（画素）とが合算されたものとなるため、「スリット光成分除去画像」のスリット光成分（画素）の輝度より高くなる。このため、ＲＧＢ合成処理の前に輝度補正をする必要がある。
なお、図７では、Ａ－Ａ´断面の輝度を模式的に表示している。
(5) Slit light component luminance correction A correction is performed to match the luminance of the slit light component (pixels) in the "slit light component extracted image" to the luminance of the slit light component (pixels) in the "slit light excluded component extracted image" (S05). This is preprocessing for creating a "slit light eliminated image" by offsetting the slit light component (pixels). The "slit light component extracted image" has high luminance because it contains a slit illumination component in addition to an area illumination component, so this is to match the luminance of the "slit light excluded component extracted image".
Specifically, as shown in Fig. 7, the luminance of the slit light component (pixel) in the "slit light component extracted image" created from the "superimposed image" by RGB separation processing is a sum of the slit light component (pixel) contained in the white light of the area illumination and the slit light component (pixel) of the slit illumination, and therefore is higher than the luminance of the slit light component (pixel) in the "slit light component removed image." For this reason, luminance correction is required before RGB composition processing.
In addition, in FIG. 7, the luminance of the cross section taken along line AA' is shown diagrammatically.
（６）ＲＧＢ合成処理
輝度補正を行った「スリット光成分抽出画像」と「スリット光除外成分抽出画像」を合成して、Ｒ画素、Ｇ画素、Ｂ画素からなる「スリット光消去画像」を作成する（Ｓ０６）。
(6) RGB Composition Processing The luminance-corrected "slit-light component extracted image" and "slit-light excluding component extracted image" are combined to generate a "slit-light eliminated image" consisting of R pixels, G pixels, and B pixels (S06).
（７）二値化処理
「スリット光成分消去画像」を所定の閾値をパラメータとして二値化処理を行う（Ｓ０７）。図９は、汚れ判定に供する二値化処理した「スリット光消去画像」を例示した模式図である。
(7) Binarization Processing The "slit light component removed image" is binarized using a predetermined threshold as a parameter (S07). Fig. 9 is a schematic diagram illustrating a binarized "slit light removed image" to be used for stain determination.
（８）汚れ欠陥判定
二値化処理した「スリット光消去画像」に基づき、汚れ（輝度ムラ）欠陥の判定を行う（Ｓ０８）。
(8) Dirt Defect Judgment Based on the binarized "slit-light-erased image", a dirt (brightness unevenness) defect is judged (S08).
本願発明により、検査ワークの凹凸欠陥及び汚れ欠陥を同時に検査する外観検査方法を提供できる。 The present invention provides a visual inspection method that simultaneously inspects the workpiece for unevenness defects and dirt defects.
１００ 外観検査装置
１０ 検査ワーク
２０ 撮像部
２１ 拡散照明光
２２ エリア照明
２３ スリット光
２４ スリット照明
２５ 撮像手段
２６ 投影装置
３０ 制御部
３１ 画像取得部
３２ 画像処理部
３３ 記憶部
３４ 照明制御部
３５ 判定部
REFERENCE SIGNS LIST 100 Appearance inspection device 10 Inspection work 20 Imaging unit 21 Diffuse illumination light 22 Area illumination 23 Slit light 24 Slit illumination 25 Imaging means 26 Projection device 30 Control unit 31 Image acquisition unit 32 Image processing unit 33 Storage unit 34 Illumination control unit 35 Determination unit
Claims (4)
検査ワークに、エリア照明からのＲＧＢ成分で構成された白色拡散光、スリット照明からのＲＧＢ成分のいずれかを選択した単色スリット光を同時に照射して、前記撮像手段により、検査ワークのエリア光反射映像信号及びスリット光反射映像信号が重畳した映像信号を取得して重畳画像を作成する工程と、
前記重畳画像をＲＧＢ分解処理して、スリット照明と同一の成分を抽出したスリット光成分抽出画像、及びスリット光除外成分抽出画像を作成する工程と、
前記スリット光成分抽出画像を二値化処理してスリット光強調画像を作成する工程と、
前記スリット光強調画像に基づいて光切断法により検査ワークの凹凸を検査する工程と、
前記スリット光成分抽出画像の輝度補正を行い、スリット光成分補正画像を作成する工程と、
前記スリット光除外成分抽出画像と前記スリット光成分補正画像とをＲＧＢ合成処理して、スリット光消去画像を作成する工程と、
前記スリット光消去画像に基づいて検査ワークのムラを検査する工程と、
を含む外観検査方法。 An appearance inspection method using an appearance inspection device including an imaging means for imaging an inspection surface of an inspection workpiece, an illumination means consisting of area illumination and slit illumination whose irradiation ranges on the inspection surface are overlapped, and an image processing means for processing an image based on a video signal acquired by the imaging means,
A step of simultaneously irradiating the inspection work with white diffuse light composed of RGB components from the area lighting and monochromatic slit light selected from either the RGB components from the slit lighting, and acquiring a video signal in which the area light reflection video signal and the slit light reflection video signal of the inspection work are superimposed by the imaging means to create a superimposed image;
a step of subjecting the superimposed image to RGB decomposition processing to generate a slit light component extracted image in which the same component as the slit illumination is extracted, and a slit light excluded component extracted image;
a step of binarizing the slit beam component extracted image to generate a slit beam enhanced image;
A step of inspecting unevenness of an inspection workpiece by a light section method based on the slit light enhanced image;
performing luminance correction on the slit beam component extracted image to generate a slit beam component corrected image;
a step of performing RGB synthesis processing on the slit light excluded component extracted image and the slit light component corrected image to generate a slit light removed image;
A step of inspecting unevenness of an inspection workpiece based on the slit light erased image;
A visual inspection method comprising:
前記画像処理手段が、前記撮像手段により、検査ワークのエリア光反射映像信号及びスリット光反射映像信号が重畳した映像信号を取得して重畳画像を作成し、
前記重畳画像をＲＧＢ分解処理して、スリット照明と同一の成分を抽出したスリット光成分抽出画像、及びスリット光除外成分抽出画像を作成し、
前記スリット光成分抽出画像を二値化処理してスリット光強調画像を作成し、
前記スリット光強調画像に基づいて光切断法により検査ワークの凹凸を検査し、
前記スリット光成分抽出画像の輝度補正を行い、スリット光成分補正画像を作成し、
前記スリット光除外成分抽出画像と前記スリット光成分補正画像とをＲＧＢ合成処理して、スリット光消去画像を作成し、
前記スリット光消去画像に基づいて検査ワークのムラを検査する実行プログラムを備える処理装置、
であることを特徴とする外観検査装置。 An appearance inspection device comprising: an imaging means for imaging an inspection surface of an inspection workpiece; an illumination means consisting of area illumination and slit illumination whose illumination ranges on the inspection surface overlap; and an image processing means for processing an image based on a video signal acquired by the imaging means,
The image processing means obtains an image signal in which the area light reflection image signal and the slit light reflection image signal of the inspection work are superimposed by the imaging means, and creates a superimposed image;
The superimposed image is subjected to RGB decomposition processing to generate a slit light component extraction image in which the same component as the slit illumination is extracted, and a slit light excluded component extraction image;
The slit light component extracted image is subjected to a binarization process to generate a slit light enhanced image;
Inspecting the unevenness of the inspection workpiece by a light section method based on the slit light enhanced image;
performing luminance correction on the slit light component extracted image to generate a slit light component corrected image;
a slit-light-eliminated image is generated by subjecting the slit-light-excluded component extracted image and the slit-light component corrected image to RGB synthesis processing;
A processing device including an execution program for inspecting unevenness of an inspection workpiece based on the slit light-eliminated image;
1. A visual inspection apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021066957A JP7610255B2 (en) | 2021-04-12 | 2021-04-12 | Visual inspection method and visual inspection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021066957A JP7610255B2 (en) | 2021-04-12 | 2021-04-12 | Visual inspection method and visual inspection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022162244A JP2022162244A (en) | 2022-10-24 |
| JP7610255B2 true JP7610255B2 (en) | 2025-01-08 |
Family
ID=83720921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021066957A Active JP7610255B2 (en) | 2021-04-12 | 2021-04-12 | Visual inspection method and visual inspection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7610255B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006162386A (en) | 2004-12-06 | 2006-06-22 | Canon Inc | 3D model generation apparatus, 3D model generation system, and 3D model generation program |
| CN102288613A (en) | 2011-05-11 | 2011-12-21 | 北京科技大学 | Surface defect detecting method for fusing grey and depth information |
| JP2013242257A (en) | 2012-05-22 | 2013-12-05 | Ricoh Elemex Corp | Inspection method and visual inspection apparatus |
| CN107945268A (en) | 2017-12-15 | 2018-04-20 | 深圳大学 | A kind of high-precision three-dimensional method for reconstructing and system based on binary area-structure light |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07280737A (en) * | 1994-04-08 | 1995-10-27 | Osaka Gas Co Ltd | In-pipe lighting system |
-
2021
- 2021-04-12 JP JP2021066957A patent/JP7610255B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006162386A (en) | 2004-12-06 | 2006-06-22 | Canon Inc | 3D model generation apparatus, 3D model generation system, and 3D model generation program |
| CN102288613A (en) | 2011-05-11 | 2011-12-21 | 北京科技大学 | Surface defect detecting method for fusing grey and depth information |
| JP2013242257A (en) | 2012-05-22 | 2013-12-05 | Ricoh Elemex Corp | Inspection method and visual inspection apparatus |
| CN107945268A (en) | 2017-12-15 | 2018-04-20 | 深圳大学 | A kind of high-precision three-dimensional method for reconstructing and system based on binary area-structure light |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022162244A (en) | 2022-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9756314B2 (en) | Three-dimensional image processing apparatus, three-dimensional image processing method, three-dimensional image processing program, computer-readable recording medium, and recording device | |
| JP3826849B2 (en) | Defect inspection method and defect inspection apparatus | |
| JP4707605B2 (en) | Image inspection method and image inspection apparatus using the method | |
| JPWO2016121878A1 (en) | Optical appearance inspection apparatus and optical appearance inspection system using the same | |
| JP2015148447A (en) | Automatic visual inspection apparatus | |
| KR101679205B1 (en) | Device for detecting defect of device | |
| TWI588468B (en) | Method for searching for area of interest of electronic components and method and device for detecting defect of electronic components using the same | |
| JP6092602B2 (en) | Defect inspection apparatus and defect inspection method | |
| JP2018084431A (en) | Inspection device and inspection method | |
| JP5830229B2 (en) | Wafer defect inspection system | |
| CN101443649A (en) | Surface inspection device | |
| US10410336B2 (en) | Inspection device, storage medium, and program | |
| JP3989739B2 (en) | Inspection device | |
| JP2009097928A (en) | Defect inspecting device and defect inspection method | |
| JP4146678B2 (en) | Image inspection method and apparatus | |
| JP7610255B2 (en) | Visual inspection method and visual inspection device | |
| JP2009042093A (en) | Electronic component inspection device and electronic component inspection method | |
| KR100633798B1 (en) | Semiconductor seating state and external shape inspection device | |
| JP2022138855A (en) | Semiconductor chip inspection method and apparatus | |
| JP2014062837A (en) | Defect inspection device and defect reviewing device | |
| TW201910748A (en) | Optical inspection system and image processing method thereof | |
| JP5959430B2 (en) | Bottle cap appearance inspection device and appearance inspection method | |
| JP2017138246A (en) | Inspection device, inspection method, and image sensor | |
| JPH04216445A (en) | Device for inspecting bottle | |
| JP2006145377A (en) | Paint surface defect detection method and apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240312 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20241128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241213 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7610255 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |