JP7499337B2 - Inspection system, learning method, inspection method, and storage medium - Google Patents
Inspection system, learning method, inspection method, and storage medium Download PDFInfo
- Publication number
- JP7499337B2 JP7499337B2 JP2022539856A JP2022539856A JP7499337B2 JP 7499337 B2 JP7499337 B2 JP 7499337B2 JP 2022539856 A JP2022539856 A JP 2022539856A JP 2022539856 A JP2022539856 A JP 2022539856A JP 7499337 B2 JP7499337 B2 JP 7499337B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- abnormal
- inspection
- processing target
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Description
本発明は、検査システム、学習方法、検査方法、及び記憶媒体に関する。 The present invention relates to an inspection system, a learning method, an inspection method, and a storage medium.
近年、製造業等においては、深層学習(Deep Learning)を活用した外観検査が行われている。具体的には、深層学習させた学習済みモデルを用いて検査対象(製造部品等)の外観検査が行われている。In recent years, deep learning has been used for visual inspection in the manufacturing industry. Specifically, a trained model based on deep learning is used to perform visual inspection of the inspection target (manufactured parts, etc.).
この場合の深層学習では、正常な検査対象の画像のみを用いた教師なし学習が行われる。その理由は、製造現場等では、正常な検査対象の発生数に比べて、異常な検査対象(外観上にキズ等の異常を有する検査対象)の発生数が遥かに少ないために、異常な検査対象の画像を多く収集することができないからである。また、検査対象に生じ得る異常(外観上のキズ等)が未知であるからである。In this case, deep learning involves unsupervised learning using only images of normal inspection objects. The reason for this is that in manufacturing sites, etc., the number of abnormal inspection objects (inspection objects with external defects such as scratches) is far less than the number of normal inspection objects, so it is not possible to collect many images of abnormal inspection objects. Also, the abnormalities (external defects, etc.) that may occur in the inspection objects are unknown.
教師なし学習が行われた学習済みモデルの代表例として、オートエンコーダ(AE:AutoEncorder)が知られている。外観検査に用いられるオートエンコーダでは、学習時に正常な検査対象の画像のみを用いて学習が行われるために、正常な検査対象の画像の特徴のみが抽出される。そのため、正常な検査対象の画像が入力された場合には、その正常な検査対象の画像が出力され、異常な検査対象の画像が入力された場合には、異常箇所が復元されない画像(正常な検査対象の画像ともいえる)が出力される。そして、オートエンコーダを用いた外観検査では、例えば、オートエンコーダに入力した検査対象の画像と、オートエンコーダから出力された画像との差分をとり、その差分に基づいて、検査対象の異常の有無が判定される。例えば、その差分が大きい場合には、検査対象に異常有り(異常な検査対象である)と判定される。An autoencoder (AE: AutoEncorder) is known as a representative example of a trained model that has undergone unsupervised learning. In an autoencoder used in visual inspection, learning is performed using only images of normal inspection objects during learning, so only the features of the images of normal inspection objects are extracted. Therefore, when an image of a normal inspection object is input, the image of the normal inspection object is output, and when an image of an abnormal inspection object is input, an image in which the abnormal part is not restored (which can also be said to be an image of a normal inspection object) is output. In visual inspection using an autoencoder, for example, the difference between the image of the inspection object input to the autoencoder and the image output from the autoencoder is taken, and the presence or absence of an abnormality in the inspection object is determined based on the difference. For example, if the difference is large, it is determined that the inspection object has an abnormality (is an abnormal inspection object).
オートエンコーダを用いた外観検査に関する技術として、その他、例えば、特許文献1に記載の外観検査装置が知られている。この外観検査装置では、良品画像に欠陥を表す画像を合成した擬似欠陥画像を用いて学習が行われている。Other known techniques for visual inspection using autoencoders include the visual inspection device described in
上述の、正常な検査対象の画像のみを用いて学習が行われたオートエンコーダでは、異常な検査対象の画像が入力された場合に、本来ならば、異常箇所が復元されない画像が出力されるべきところ、その異常箇所も復元された画像が出力されてしまう場合がある。例えば、異常箇所が、スクラッチ箇所や低コントラスト箇所といった場合である。この場合は、オートエンコーダに入力された画像とオートエンコーダから出力された画像との差分がほぼ0になってしまうことから、本来は異常な検査対象(異常有り)と判定されるべきところ、正常な検査対象(異常なし)と誤判定されてしまい、検査対象の正確な異常判定を行うことができない。In the above-mentioned autoencoder that has been trained using only images of normal test objects, when an image of an abnormal test object is input, an image in which the abnormal part is also restored may be output, even though an image in which the abnormal part is not restored should be output. For example, when the abnormal part is a scratch or a low-contrast part. In this case, the difference between the image input to the autoencoder and the image output from the autoencoder is almost zero, so that what should be judged as an abnormal test object (abnormality present) is erroneously judged as a normal test object (no abnormality), and an accurate abnormality judgment cannot be made for the test object.
一方、上述の特許文献1に記載の外観検査装置では、良品画像に合成される欠陥が、現実に生じ得る欠陥と乖離する場合が多いことから、検査対象の正確な異常判定を行うことができるとは言い難い。On the other hand, in the visual inspection device described in the above-mentioned
本発明は、上記実状に鑑み、検査対象の正確な異常判定を行うことができる検査システム、学習方法、検査方法、及び記憶媒体を提供することを目的とする。In view of the above-mentioned circumstances, the present invention aims to provide an inspection system, a learning method, an inspection method, and a storage medium capable of accurately determining abnormalities in an object to be inspected.
本発明の一態様は、検査システムであって、学習済みモデルを記憶するメモリと、プロセッサと、検査対象が撮像された画像である処理対象画像を前記プロセッサに入力する入力インタフェースと、ユーザの入力操作に応じた信号を出力するユーザインタフェースと、を備え、前記学習済みモデルは、多層ニューラルネットワークであって、前記処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造とを有し、学習時に、正常画像が入力された場合に前記正常画像を出力するように深層学習され、第1の異常画像が入力された場合に第2の異常画像を出力するように深層学習された学習済みモデルであって、前記正常画像は、正常な検査対象が撮像された画像であって、前記第1の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、前記第2の異常画像は、前記第1の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であって、前記プロセッサは、検査時に、前記学習済みモデルに前記処理対象画像を入力し、前記エンコーダ構造が抽出した特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対して出力された出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行い、前記プロセッサは、前記処理対象画像の異常を検出することを行った後、前記処理対象画像における未検出の異常を少なくとも含む領域に対するユーザの入力操作に応じて前記ユーザインタフェースが出力した信号が入力され、当該信号に応じてマスク処理を行うことにより、前記処理対象画像における異常領域を特定し、前記処理対象画像から、前記学習済みモデルの追加学習時又は再学習時に用いる第2の異常画像を生成する、ことを特徴とする。 One aspect of the present invention is an inspection system comprising: a memory for storing a trained model; a processor; an input interface for inputting a processing target image, which is an image of an inspection target, to the processor; and a user interface for outputting a signal in response to a user's input operation, wherein the trained model is a multi-layer neural network having an encoder structure for extracting features of the processing target image by encoding the processing target image, and a decoder structure for generating an image having the same number of pixels and pixel size as the processing target image using the features, and during learning, the trained model is deep-trained to output a normal image when a normal image is input, and to output a second abnormal image when a first abnormal image is input, wherein the normal image is an image of a normal inspection target, the first abnormal image is an image of an inspection target having an abnormal portion, or an image based on the image, and the second abnormal image is an image of the abnormal portion in the first abnormal image, and a processor for detecting an abnormality in the image to be processed according to the detected abnormality, the processor inputs the image to be processed into the trained model during inspection, acquires features extracted by the encoder structure, and determines whether the image to be processed contains an abnormality based on the features; and/or acquires an output image output in response to the input of the image to be processed, calculates a difference in pixel values between the image to be processed and the output image, and detects an abnormality in the image to be processed according to the difference . After detecting the abnormality in the image to be processed, the processor receives as input a signal output by the user interface in response to a user's input operation for a region in the image to be processed that contains at least an undetected abnormality, and performs mask processing in response to the signal to identify the abnormal region in the image to be processed, and generates from the image to be processed a second abnormal image to be used during additional training or re-training of the trained model .
本発明の他の一態様は、検査方法であって、学習用モデルを深層学習させる学習方法が、正常画像が入力された場合に前記正常画像を出力するように前記学習用モデルを深層学習させるステップと、第1の異常画像が入力された場合に第2の異常画像を出力するように前記学習用モデルを深層学習させるステップと、を含み、前記正常画像は、正常な検査対象が撮像された画像であって、前記第1の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、前記第2の異常画像は、前記第1の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であって、前記学習方法により前記学習用モデルを深層学習させた学習済みモデルが、多層ニューラルネットワークであって、検査対象が撮像された画像である処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造と、を有し、前記学習済みモデルに、前記処理対象画像を入力するステップと、前記エンコーダ構造により抽出された特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対する出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行うステップと、前記処理対象画像の異常を検出することを行った後、前記処理対象画像における未検出の異常を少なくとも含む領域に対するユーザの入力操作に応じてマスク処理を行うことにより、前記処理対象画像における異常領域を特定し、前記処理対象画像から、前記学習済みモデルの追加学習時又は再学習時に用いる第2の異常画像を生成するステップと、を含むことを特徴とする。 Another aspect of the present invention is an inspection method, the learning method for deep learning a learning model includes a step of deep learning the learning model so as to output a normal image when a normal image is input, and a step of deep learning the learning model so as to output a second abnormal image when a first abnormal image is input, the normal image being an image of a normal inspection target, the first abnormal image being an image of an inspection target having an abnormal portion, or an image based on said image, the second abnormal image being an image in which pixel values of an abnormal region in the first abnormal image, the abnormal region being a region including at least a region corresponding to the abnormal portion, are changed to different pixel values, and a trained model obtained by deep learning the learning model by the learning method is a multi-layer neural network, and an encoder structure for extracting feature quantities of a processing target image, which is an image of an inspection target, by encoding the processing target image. and a decoder structure that uses the feature quantities to generate an image having the same number of pixels and pixel size as the image to be processed, the trained model comprising the steps of: inputting the image to be processed to the trained model; acquiring the feature quantities extracted by the encoder structure and determining whether or not the image to be processed contains an anomaly based on the feature quantities, and/or acquiring an output image in response to the input of the image to be processed, calculating a difference in pixel values between the image to be processed and the output image , and detecting an anomaly in the image to be processed according to the difference; and after detecting the anomaly in the image to be processed, performing a mask process in response to a user's input operation on an area in the image to be processed that contains at least an undetected anomaly, thereby identifying an anomaly area in the image to be processed, and generating from the image to be processed a second anomaly image to be used during additional training or re-training of the trained model .
本発明に依れば、検査対象の正確な異常判定を行うことができる。 The present invention makes it possible to accurately determine abnormalities in the test subject.
以下、図面を参照しながら、本発明の実施の形態について説明する。
図1は、一実施の形態に係る検査システムの構成を例示する図である。
図1に例示した検査システム1は、製造現場にて製造される製造部品等の外観検査に使用されるシステムであって、工業用の顕微鏡装置10と、当該顕微鏡装置10に接続された検査装置20と、当該検査装置20に接続されたキーボード30、マウス40、及び表示装置50とを含む。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a configuration of an inspection system according to an embodiment.
The
顕微鏡装置10は、検査対象(例えば製造部品S)が載置されるステージ11と、検査対象からの光を集光する対物レンズ12と、光路上に配置する対物レンズを切り替えるレボルバ13と、撮像装置14とを備える。撮像装置14は、例えば、入射した観察光を電気信号に変換するイメージセンサを含むデジタルカメラである。撮像装置14は、検査対象を撮像して、検査対象画像を生成する。検査対象画像は、例えば処理対象画像として、撮像装置14から検査装置20へ出力される。The
検査装置20は、顕微鏡装置10(撮像装置14)から入力された処理対象画像に基づいて、検査対象の外観検査を行う検査処理を行う。この検査処理では、学習済みモデルを用いて、検査対象の異常有無判定や、検査対象の異常検出等が行われる。また、検査装置20は、検査処理に用いられる学習済みモデルを生成するために、学習用モデル(学習前モデル)を深層学習させる学習処理等も行う。The
キーボード30及びマウス40は、ユーザの入力操作に応じた信号を検査装置20に入力する。表示装置50は、例えばLCD(Liquid Crystal Display)であり、検査装置20の判定結果や検出結果等を表示する。The
なお、検査システム1は、更に、検査装置20に接続されるタッチパネルを備えてもよい。この場合、タッチパネルは、表示装置50の表示画面上に設けられてもよい。また、検査システム1は、更に、検査装置20に接続されるスピーカを備えてもよい。この場合、スピーカは、検査装置20の判定結果や検出結果等を音声により出力してもよい。The
図2は、検査装置のハードウェア構成を例示する図である。なお、図2に例示したハードウェア構成は、コンピュータのハードウェア構成を例示するものでもあり、このように、検査装置20は、コンピュータにより実現されてもよい。
Figure 2 is a diagram illustrating an example of the hardware configuration of an inspection device. Note that the hardware configuration illustrated in Figure 2 also illustrates the hardware configuration of a computer, and thus the
図2に例示した検査装置20は、プロセッサ21、メモリ22、記憶装置23、入出力インタフェース24、可搬型記憶媒体駆動装置25、及び通信インタフェース26を備え、その各々は、バス27に接続されて互いに信号(データ)の送受信が可能である。The
プロセッサ21は、CPU(Central Processing Unit)を含んで構成され、OS(Operating System)のプログラムやアプリケーションプログラム(検査処理や学習処理を行うためのプログラムを含む)を実行することにより、検査装置20が行う各種処理(検査処理や学習処理を含む)を制御する。なお、プロセッサ21は、更に、GPU(Graphics Processing Unit)等を含んで構成されてもよい。The
メモリ22は、RAM(Random Access Memory)及びROM(Read Only Memory)を含む。RAMは、プロセッサ21が実行するプログラムの一部が一時的に格納されたり、プロセッサ21の作業用記憶領域として使用されたりする。ROMは、プロセッサ21が実行するプログラム、プログラムの実行に必要な各種データ、及び学習済みモデル等が記憶される。ROMは、マスクROM、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)、又はフラッシュメモリ等である。
The
記憶装置23は、HDD(Hard Disk Drive)、又はSSD(Solid State Drive)等である。記憶装置23には、プロセッサ21が実行するプログラム、プログラムの実行に必要な各種データ、及び学習済みモデル等が記憶されてもよい。The
入出力インタフェース24は、入力装置及び出力装置との間のインタフェースである。入力装置は、顕微鏡装置10、キーボード30、マウス40、及びタッチパネル等である。キーボード30、マウス40、及びタッチパネル等は、ユーザの入力操作に応じた信号を出力するユーザインタフェースの一例である。入出力インタフェース24は、例えば、顕微鏡装置10(撮像装置14)が出力した処理対象画像をプロセッサ21に入力したり、ユーザインタフェースが出力した信号をプロセッサ21に入力したりする。出力装置は、表示装置50、及びスピーカ等である。The input/
可搬型記憶媒体駆動装置25は、可搬型記憶媒体25aを駆動し、その記憶内容にアクセスする。可搬型記憶媒体25aには、プロセッサ21が実行するプログラム、プログラムの実行に必要な各種データ、及び学習済みモデル等が記憶されてもよい。可搬型記憶媒体25aは、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等であり、CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、ブルーレイディスク、USB(Universal Serial Bus)メモリ等も含まれる。The portable storage
なお、メモリ22、記憶装置23、及び可搬型記憶媒体25aは、非一時的なコンピュータ読取可能な記憶媒体の一例である。また、記憶装置23及び可搬型記憶媒体25aは、メモリとも称し得る。Note that the
通信インタフェース26は、図示しないネットワークに接続され、当該ネットワークに接続された外部装置(サーバ装置等)との間で通信を行うためのインタフェースである。The
なお、検査装置20は、図2に例示したハードウェア構成に限らず、図2に例示した各構成要素を1つ又は複数備えて構成されてもよいし、一部の構成要素を備えずに構成されてもよい。例えば、1つのプロセッサ21に限らず、複数のプロセッサを備えてもよい。また、処理は、1つのプロセッサにより実行されてもよいし、処理が同時に、逐次的に、又は他の方式で、1以上のプロセッサにより実行されてもよい。
The
また、検査装置20は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されてもよい。例えば、プロセッサ21は、これらのハードウェアの少なくとも1つを用いて実装されてもよい。In addition, the
次に、検査装置20が行う検査処理に用いられる学習済みモデルについて説明する。
検査処理に用いられる学習済みモデルは、多層ニューラルネットワークであって、エンコーダ構造とデコーダ構造とを有する。エンコーダ構造は、学習済みモデルに入力された処理対象画像をエンコードすることにより、その処理対象画像の特徴量を抽出する。デコーダ構造は、エンコーダ構造が抽出した特徴量を用いて、入力された処理対象画像と同じ画素数及び画素サイズの画像を生成する。すなわち、この学習済みモデルは、オートエンコーダと同様の構造を有する。
Next, a trained model used in the inspection process performed by the
The trained model used in the inspection process is a multi-layer neural network and has an encoder structure and a decoder structure. The encoder structure extracts features of a target image input to the trained model by encoding the target image. The decoder structure uses the features extracted by the encoder structure to generate an image with the same number of pixels and pixel size as the input target image. In other words, the trained model has a structure similar to that of an autoencoder.
また、検査処理に用いられる学習済みモデルは、例えば、検査装置20のプロセッサ21が行う学習処理により生成される。
図3は、プロセッサが行う学習処理の流れを例示するフローチャートである。なお、このフローチャートは、学習方法を例示するものでもある。
In addition, the trained model used in the inspection process is generated, for example, by a learning process performed by the
3 is a flowchart illustrating the flow of a learning process performed by a processor. This flowchart also illustrates a learning method.
図3に例示した学習処理では、プロセッサ21は、まず、正常画像が入力された場合に、入力された正常画像を出力するように、学習用モデルを深層学習させる(ステップS11)。ここで、正常画像は、正常な検査対象が撮像された画像、例えば、正常な検査対象が顕微鏡装置10の撮像装置14により撮像された画像である。ステップS11では、このような正常画像を複数用いて深層学習が行われる。In the learning process illustrated in Fig. 3, the
次に、プロセッサ21は、第1の異常画像が入力された場合に、第2の異常画像を出力するように、学習用モデルを更に深層学習させる(ステップS12)。ここで、第1の異常画像は、異常箇所を有する検査対象が撮像された画像、例えば、異常箇所を有する検査対象が顕微鏡装置10の撮像装置14により撮像された画像である。又は、第1の異常画像は、異常箇所を有する検査対象が撮像された画像に基づく画像、例えば、異常箇所を有する検査対象が撮像された画像を回転、縮小、拡大等の1つ以上をさせた画像である。異常箇所とは、例えば、スクラッチ箇所及び又は低コントラスト箇所のことであり、従来の、オートエンコーダを用いた外観検査では、検出することが困難な異常箇所のことである。低コントラスト箇所とは、周辺に対してコントラストが低い箇所、又は、正常な検査対象の対応箇所に対してコントラストが低い箇所のことである。第2の異常画像は、第1の異常画像における、検査対象の異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像である。異常領域の画素値を異なる画素値に変更するとは、例えば、異常領域の画素値を、当該画素値との差分が最大又は所定値以上になる画素値へ変更すること、又は、異常領域の画素値を輝度反転すること、のことである。ステップS12では、このような第1の異常画像と第2の異常画像のペアを複数用いて深層学習が行われる。Next, the
このような図3に例示した学習処理により、検査処理に用いられる学習済みモデルが生成される。そして、生成された学習済みモデルは、例えば、メモリ22のROMに記憶される。
By the learning process illustrated in Fig. 3, a trained model to be used in the inspection process is generated. The trained model thus generated is then stored, for example, in the ROM of the
なお、ステップS12で用いられる第2の異常画像は、例えば、ユーザインタフェース(キーボード30、マウス40、タッチパネル等)を用いたユーザの入力操作に応じて、プロセッサ21が生成してもよい。この場合、プロセッサ21は、ユーザインタフェースを用いたユーザの入力操作に応じた信号が入力され、当該信号に応じてマスク処理を行うことにより、第1の異常画像における異常領域を特定し、当該異常領域の画素値を異なる画素値に変更することにより第2の異常画像を生成してもよい。The second abnormal image used in step S12 may be generated by the
図4は、プロセッサが行う第2の異常画像の生成例を模式的に示す図である。
図4に示した生成例は、スクラッチ箇所を有する検査対象が撮像された画像である第1の異常画像61の異常領域(スクラッチ箇所に対応する領域61aを少なくとも含む領域)が、ユーザインタフェースを用いたユーザの入力操作に応じたマスク処理(ユーザによるアノテーション)により特定され、その異常領域の画素値が輝度反転されることにより、第2の異常画像62が生成された例である。この輝度反転により、第2の異常画像62は、第1の異常画像61の異常領域が強調された画像となる。
FIG. 4 is a diagram illustrating an example of generation of a second abnormality image performed by the processor.
4 is an example in which an abnormal area (at least an
次に、検査装置20のプロセッサ21が行う検査処理について説明する。
図5は、プロセッサが行う検査処理の流れを例示するフローチャートである。なお、この検査処理は、検査方法を例示するものでもある。
Next, the inspection process performed by the
5 is a flowchart illustrating the flow of the inspection process performed by the processor. Note that this inspection process also illustrates an inspection method.
図5に例示した検査処理では、プロセッサ21は、まず、顕微鏡装置10から、撮像装置14により検査対象が撮像された画像である検査対象画像を、処理対象画像として取得する(ステップS21)。In the inspection process illustrated in Figure 5, the
次に、プロセッサ21は、例えばメモリ22のROMに記憶されている学習済みモデルを読み出し、当該学習済みモデルに、ステップS21で取得した処理対象画像を入力する(ステップS22)。Next, the
次に、プロセッサ21は、異常有無判定処理及び又は異常検出処理を行う(ステップS23)。異常有無判定処理では、プロセッサ21は、学習済みモデルのエンコーダ構造が抽出した処理対象画像の特徴量を取得し、当該特徴量に基づいて、処理対象画像に異常が含まれているか否かを判定する。この判定では、例えば、取得した特徴量と基準特徴量との相違度を算出し、当該相違度が所定閾値以上であるか否かに応じて処理対象画像に異常が含まれているか否かを判定してもよい。基準特徴量は、正常な検査対象が撮像された画像が学習済みモデルに入力された場合にエンコーダ構造が抽出し得る特徴量であり、また、処理対象画像に異常が含まれていないと判定され得る特徴量でもある。Next, the
また、ステップS23において、異常検出処理では、ステップS22での処理対象画像の入力に対して学習済みモデルから出力された出力画像を取得し、処理対象画像と出力画像との画素値の相違度を算出し、当該相違度に応じて処理対象画像の異常(異常領域)を検出する。この検出では、画素値の相違度が所定閾値以上の領域を異常として検出してもよい。また、画素値の相違度を、処理対象画像と出力画像との差分画像を取得することにより、算出してもよい。In addition, in step S23, the anomaly detection process obtains an output image output from the trained model in response to the input of the image to be processed in step S22, calculates the difference in pixel values between the image to be processed and the output image, and detects an anomaly (abnormal area) in the image to be processed according to the difference. In this detection, an area where the difference in pixel values is equal to or greater than a predetermined threshold may be detected as an anomaly. The difference in pixel values may also be calculated by obtaining a difference image between the image to be processed and the output image.
次に、プロセッサ21は、ステップS23での異常有無判定処理及び又は異常検出処理の処理結果を表示装置50に表示する(ステップS24)。具体的には、異常有無判定処理の処理結果の表示では、処理対象画像に異常が含まれているか否かの判定結果(即ち、処理対象画像とされた検査対象画像が撮像されたときの検査対象に異常箇所が含まれているか否かの判定結果)を表示する。異常検出処理の処理結果の表示では、処理対象画像における異常の検出結果(即ち、処理対象画像とされた検査対象画像が撮像されたときの検査対象における異常箇所の検出結果)を表示する。この表示では、処理対象画像において、異常領域が検出されなかった場合にはその旨の表示を行い、異常領域が検出された場合には、その異常領域を他の領域と区別可能に表示してもよい。Next, the
図6、図7、及び図8は、処理対象画像と、当該処理対象画像が入力された場合の学習済みモデルの出力画像とを模式的に例示する図である。
図6は、正常な検査対象が撮像された検査対象画像である処理対象画像71と、当該処理対象画像71が入力された場合の学習済みモデル72の出力画像73とを例示する。この場合、出力画像73は、処理対象画像71と同一の画像となるので、処理対象画像71に対して画素値の相違度が所定閾値以上の領域が存在せず、処理対象画像71の異常は検出されない。
6, 7, and 8 are diagrams illustrating schematic examples of a processing target image and an output image of the trained model when the processing target image is input.
6 illustrates a
一方、図7は、スクラッチ箇所を有する検査対象(異常な検査対象)が撮像された検査対象画像である処理対象画像74と、当該処理対象画像74が入力された場合の学習済みモデル72の出力画像75とを例示する。この場合、出力画像75は、処理対象画像74における、スクラッチ箇所に対応する領域74aを少なくとも含む領域(異常領域)が強調された画像となるので、処理対象画像74に対して画素値の相違度が所定閾値以上となる領域が存在することとなり、処理対象画像74の異常が検出される。なお、この場合の画素値の相違度は、例えば、処理対象画像74と出力画像75との差分画像76を取得することにより、算出される。
On the other hand, FIG. 7 illustrates a
図8は、低コントラスト箇所を有する検査対象(異常な検査対象)が撮像された検査対象画像である処理対象画像77と、当該処理対象画像77が入力された場合の学習済みモデル72の出力画像78とを例示する。この場合、出力画像78は、処理対象画像77における、低コントラスト箇所に対応する領域77aを少なくとも含む領域(異常領域)が強調された画像となるので、処理対象画像77に対して画素値の相違度が所定閾値以上となる領域が存在することとなり、処理対象画像77の異常が検出される。8 illustrates an example of a
以上のとおり、検査システム1によれば、例えば、図3に例示した学習処理により深層学習させた学習済みモデルを用いて図5に例示した検査処理により検査対象の外観検査を行うことにより、従来のオートエンコーダを用いた外観検査では検出することが困難な異常箇所(例えばスクラッチ箇所や低コントラスト箇所)の検出が可能となり、検査対象の正確な異常検出が可能になる。As described above, according to the
なお、検査システム1は、次のように構成されてもよい。
例えば、プロセッサ21は、図5に例示した検査処理のステップS23にて、異常検出処理を行った処理対象画像について、S24にて表示された処理結果をユーザが確認し、未検出の異常箇所があった場合、未検出の異常箇所のある当該処理対象画像(第1の異常画像に相当)から、学習済みモデルの追加学習時又は再学習時に用いる第2の異常画像を生成してもよい。この場合、プロセッサ21は、当該処理対象画像において未検出の異常箇所を少なくとも含む領域を、ユーザインタフェースを用いたユーザの入力操作に応じたマスク処理により異常領域として特定し、当該異常領域の画素値を異なる画素値に変更することにより、第2の異常画像を生成してもよい。この場合の画素値の変更も、図3のステップS12で説明したものと同様に、異常領域の画素値を、当該画素値との差分が最大又は所定値以上になる画素値へ変更することでもよいし、異常領域の画素値を輝度反転することでもよい。上記の追加学習又は再学習により検査性能が向上する。
The
For example, in step S23 of the inspection process illustrated in FIG. 5, the
また、プロセッサ21が行う検査処理に用いられる学習済みモデルは、外部装置(サーバ装置等)が生成したものであってもよい。この場合は、図3に例示した学習処理と同様の処理を実行する外部装置が生成した学習済みモデルが、図示しないネットワーク及び通信インタフェース26を経由して、メモリ22のROMに記憶されてもよい。また、この場合は、図4に例示したような第2の異常画像の生成も、外部装置が行ってもよい。In addition, the trained model used in the inspection process performed by the
また、検査システム1は、製造業の分野での使用に限らず、生物や医療等、製造業以外の分野で使用されてもよい。例えば、生物の分野にて使用される場合、検査システム1は、工業用の顕微鏡装置10の代わりに、撮像装置を備えた生物用顕微鏡装置を含んでもよい。In addition, the
また、検査システム1は、図1に例示した構成に限らず、少なくとも検査装置20を含んでいれば、一部の装置を備えずに構成されてもよいし、他の装置を更に含んで構成されてもよい。
Furthermore, the
以上、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせに依り、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 As mentioned above, the present invention is not limited to the above-described embodiment, and in the implementation stage, the components can be modified and embodied without departing from the gist of the invention. Furthermore, various inventions can be formed by appropriate combinations of multiple components disclosed in the above-described embodiment. For example, some of the components shown in the embodiment may be deleted. Furthermore, components from different embodiments may be appropriately combined.
1 検査システム
10 顕微鏡装置
11 ステージ
12 対物レンズ
13 レボルバ
14 撮像装置
20 検査装置
21 プロセッサ
22 メモリ
23 記憶装置
24 入出力インタフェース
25 可搬型記憶媒体駆動装置
25a 可搬型記憶媒体
26 通信インタフェース
27 バス
30 キーボード
40 マウス
50 表示装置
61 第1の異常画像
61a 領域
62 第2の異常画像
71 処理対象画像
72 学習済みモデル
73 出力画像
74 処理対象画像
74a 領域
75 出力画像
76 差分画像
77 処理対象画像
77a 領域
78 出力画像
1
Claims (9)
プロセッサと、
検査対象が撮像された画像である処理対象画像を前記プロセッサに入力する入力インタフェースと、
ユーザの入力操作に応じた信号を出力するユーザインタフェースと、
を備え、
前記学習済みモデルは、
多層ニューラルネットワークであって、
前記処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、
前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造とを有し、
学習時に、
正常画像が入力された場合に前記正常画像を出力するように深層学習され、
第1の異常画像が入力された場合に第2の異常画像を出力するように深層学習された学習済みモデルであって、
前記正常画像は、正常な検査対象が撮像された画像であって、
前記第1の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、
前記第2の異常画像は、前記第1の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であって、
前記プロセッサは、
検査時に、
前記学習済みモデルに前記処理対象画像を入力し、
前記エンコーダ構造が抽出した特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対して出力された出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行い、
前記プロセッサは、前記処理対象画像の異常を検出することを行った後、前記処理対象画像における未検出の異常を少なくとも含む領域に対するユーザの入力操作に応じて前記ユーザインタフェースが出力した信号が入力され、当該信号に応じてマスク処理を行うことにより、前記処理対象画像における異常領域を特定し、前記処理対象画像から、前記学習済みモデルの追加学習時又は再学習時に用いる第2の異常画像を生成する、
ことを特徴とする検査システム。 A memory for storing a trained model;
A processor;
an input interface for inputting a processing target image, which is an image of an inspection target, to the processor;
a user interface that outputs a signal in response to an input operation by a user;
Equipped with
The trained model is
1. A multi-layer neural network, comprising:
an encoder structure for extracting features of the processing target image by encoding the processing target image;
a decoder structure for generating an image having the same number of pixels and the same pixel size as the processing target image by using the feature amount;
When studying,
Deep learning is performed so that, when a normal image is input, the normal image is output;
A trained model that is deep-trained to output a second abnormal image when a first abnormal image is input,
The normal image is an image of a normal test subject,
The first abnormality image is an image of an inspection object having an abnormality or an image based on the image,
The second abnormal image is an image in which pixel values of an abnormal region in the first abnormal image, which is a region including at least a region corresponding to the abnormal portion, are changed to different pixel values,
The processor,
During the inspection,
The processing target image is input to the trained model;
acquiring a feature amount extracted by the encoder structure, and determining whether or not the target image includes an abnormality based on the feature amount; and/or acquiring an output image output in response to an input of the target image, calculating a difference in pixel values between the target image and the output image, and detecting an abnormality in the target image based on the difference amount ;
After detecting an anomaly in the processing target image, the processor receives a signal output by the user interface in response to a user's input operation on an area in the processing target image that includes at least an undetected anomaly, and performs mask processing in response to the signal to identify an abnormal area in the processing target image, and generates a second abnormal image from the processing target image to be used during additional learning or re-learning of the trained model.
1. An inspection system comprising:
前記正常画像、前記異常箇所を有する検査対象が撮像された画像である前記第1の異常画像、及び前記処理対象画像は、前記顕微鏡装置が取得した画像であることを特徴とする請求項1に記載の検査システム。 The microscope device further includes an imaging device.
2. The inspection system according to claim 1, wherein the normal image, the first abnormal image which is an image of an inspection object having the abnormal area, and the processing object image are images acquired by the microscope device.
正常画像が入力された場合に前記正常画像を出力するように前記学習用モデルを深層学習させるステップと、
第1の異常画像が入力された場合に第2の異常画像を出力するように前記学習用モデルを深層学習させるステップと、
を含み、
前記正常画像は、正常な検査対象が撮像された画像であって、
前記第1の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、
前記第2の異常画像は、前記第1の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であって、
前記学習方法により前記学習用モデルを深層学習させた学習済みモデルが、
多層ニューラルネットワークであって、
検査対象が撮像された画像である処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、
前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造と、
を有し、
前記学習済みモデルに、前記処理対象画像を入力するステップと、
前記エンコーダ構造が抽出した特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対する出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行うステップと、
前記処理対象画像の異常を検出することを行った後、前記処理対象画像における未検出の異常を少なくとも含む領域に対するユーザの入力操作に応じてマスク処理を行うことにより、前記処理対象画像における異常領域を特定し、前記処理対象画像から、前記学習済みモデルの追加学習時又は再学習時に用いる第2の異常画像を生成するステップと、
を含むことを特徴とする検査方法。 The learning method for deep learning the learning model is
A step of deep learning the learning model so as to output a normal image when a normal image is input;
A step of deep learning the learning model so as to output a second abnormal image when a first abnormal image is input;
Including,
The normal image is an image of a normal test subject,
The first abnormality image is an image of an inspection object having an abnormality or an image based on the image,
The second abnormal image is an image in which pixel values of an abnormal region in the first abnormal image, which is a region including at least a region corresponding to the abnormal portion, are changed to different pixel values,
A trained model obtained by deep learning the learning model by the learning method,
1. A multi-layer neural network, comprising:
an encoder structure for extracting features of a processing target image, the processing target image being an image of an inspection target, by encoding the processing target image;
a decoder structure for generating an image having the same number of pixels and pixel size as the target image using the feature amount;
having
Inputting the target image to the trained model;
acquiring features extracted by the encoder structure, and determining whether or not the image to be processed includes an abnormality based on the features; and/or acquiring an output image in response to an input of the image to be processed, calculating a degree of difference in pixel values between the image to be processed and the output image, and detecting an abnormality in the image to be processed based on the degree of difference ;
After detecting an anomaly in the processing target image, a mask process is performed in response to a user's input operation on an area in the processing target image that includes at least an undetected anomaly, thereby identifying an anomaly area in the processing target image, and generating a second anomaly image from the processing target image to be used during additional learning or re-learning of the trained model;
An inspection method comprising:
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/028998 WO2022024245A1 (en) | 2020-07-29 | 2020-07-29 | Inspection system, learning method, inspection method, and storage medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2022024245A1 JPWO2022024245A1 (en) | 2022-02-03 |
| JP7499337B2 true JP7499337B2 (en) | 2024-06-13 |
Family
ID=80035445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022539856A Active JP7499337B2 (en) | 2020-07-29 | 2020-07-29 | Inspection system, learning method, inspection method, and storage medium |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7499337B2 (en) |
| WO (1) | WO2022024245A1 (en) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017094267A1 (en) | 2015-12-01 | 2017-06-08 | 株式会社Preferred Networks | Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model |
| JP2018101317A (en) | 2016-12-21 | 2018-06-28 | ホーチキ株式会社 | Anomaly monitoring system |
| JP2018116672A (en) | 2017-01-18 | 2018-07-26 | 株式会社リコー | Information processing apparatus, information processing method, and program |
| JP2018120300A (en) | 2017-01-23 | 2018-08-02 | 株式会社リコー | Information processing apparatus, information processing method, and program |
| WO2018225745A1 (en) | 2017-06-06 | 2018-12-13 | 株式会社デンソー | External appearance examination device, conversion data generation device, and program |
| JP2019009919A (en) | 2017-06-26 | 2019-01-17 | 株式会社東芝 | Patrol inspection support system and patrol inspection support control program |
| US20190287230A1 (en) | 2018-03-19 | 2019-09-19 | Kla-Tencor Corporation | Semi-supervised anomaly detection in scanning electron microscope images |
| WO2020031984A1 (en) | 2018-08-08 | 2020-02-13 | Blue Tag株式会社 | Component inspection method and inspection system |
| JP2020035097A (en) | 2018-08-28 | 2020-03-05 | 株式会社モルフォ | Image identification device, image identification method, and image identification program |
| JP2020067865A (en) | 2018-10-25 | 2020-04-30 | 株式会社アルム | Image processing device, image processing system, and image processing program |
| JP2020071808A (en) | 2018-11-02 | 2020-05-07 | 株式会社Ihi | Learning device and learning method |
| JP2020187735A (en) | 2019-05-13 | 2020-11-19 | 富士通株式会社 | Surface defect identification method and apparatus |
| JP2021534523A (en) | 2018-08-10 | 2021-12-09 | レイドス・セキュリティ・ディテクション・アンド・オートメーション・インコーポレイテッド | Systems and methods for image processing |
-
2020
- 2020-07-29 WO PCT/JP2020/028998 patent/WO2022024245A1/en not_active Ceased
- 2020-07-29 JP JP2022539856A patent/JP7499337B2/en active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017094267A1 (en) | 2015-12-01 | 2017-06-08 | 株式会社Preferred Networks | Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model |
| JP2018101317A (en) | 2016-12-21 | 2018-06-28 | ホーチキ株式会社 | Anomaly monitoring system |
| JP2018116672A (en) | 2017-01-18 | 2018-07-26 | 株式会社リコー | Information processing apparatus, information processing method, and program |
| JP2018120300A (en) | 2017-01-23 | 2018-08-02 | 株式会社リコー | Information processing apparatus, information processing method, and program |
| WO2018225745A1 (en) | 2017-06-06 | 2018-12-13 | 株式会社デンソー | External appearance examination device, conversion data generation device, and program |
| JP2019009919A (en) | 2017-06-26 | 2019-01-17 | 株式会社東芝 | Patrol inspection support system and patrol inspection support control program |
| US20190287230A1 (en) | 2018-03-19 | 2019-09-19 | Kla-Tencor Corporation | Semi-supervised anomaly detection in scanning electron microscope images |
| WO2020031984A1 (en) | 2018-08-08 | 2020-02-13 | Blue Tag株式会社 | Component inspection method and inspection system |
| JP2021534523A (en) | 2018-08-10 | 2021-12-09 | レイドス・セキュリティ・ディテクション・アンド・オートメーション・インコーポレイテッド | Systems and methods for image processing |
| JP2020035097A (en) | 2018-08-28 | 2020-03-05 | 株式会社モルフォ | Image identification device, image identification method, and image identification program |
| JP2020067865A (en) | 2018-10-25 | 2020-04-30 | 株式会社アルム | Image processing device, image processing system, and image processing program |
| JP2020071808A (en) | 2018-11-02 | 2020-05-07 | 株式会社Ihi | Learning device and learning method |
| JP2020187735A (en) | 2019-05-13 | 2020-11-19 | 富士通株式会社 | Surface defect identification method and apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022024245A1 (en) | 2022-02-03 |
| JPWO2022024245A1 (en) | 2022-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114743102B (en) | Flaw detection method, system and device for furniture plate | |
| JP2018005639A (en) | Image classification device, image inspection device, and program | |
| CN110763706B (en) | System and method for analyzing crystal defects | |
| US11615520B2 (en) | Information processing apparatus, information processing method of information processing apparatus, and storage medium | |
| CN106839976A (en) | A kind of method and device at detector lens center | |
| JP7393313B2 (en) | Defect classification device, defect classification method and program | |
| CN119643567B (en) | A method for detecting forming defects of titanium alloy | |
| JP2019211415A (en) | Appearance inspection device and method | |
| CN114113101A (en) | Abnormality determination model generation method, abnormality determination model generation device, and inspection device | |
| JP7453813B2 (en) | Inspection equipment, inspection methods, programs, learning devices, learning methods, and learned datasets | |
| CN119246535B (en) | Display screen defect detection method and system based on machine vision | |
| CN116152191A (en) | Display crack defect detection method, device and equipment based on deep learning | |
| JP6786015B1 (en) | Motion analysis system and motion analysis program | |
| CN115953403B (en) | Defect detection method and device | |
| JP7499337B2 (en) | Inspection system, learning method, inspection method, and storage medium | |
| EP4318391A1 (en) | Information processing device, control program, and control method | |
| CN113554645B (en) | Industrial anomaly detection method and device based on WGAN | |
| JP7360092B2 (en) | Inspection equipment, inspection method, and inspection program | |
| WO2022130814A1 (en) | Index selection device, information processing device, information processing system, inspection device, inspection system, index selection method, and index selection program | |
| TWI493177B (en) | Method of detecting defect on optical film with periodic structure and device thereof | |
| CN118521568A (en) | A method and device for detecting nut appearance defects based on neural network | |
| JP7445154B2 (en) | Fin inspection system, fin inspection method, and program | |
| CN117788444A (en) | SMT patch offset detection method, SMT patch offset detection device and SMT patch offset detection system | |
| WO2023243202A1 (en) | Image generation method and external appearance inspection device | |
| Khemani et al. | Novel Optimized Image Enhancement and Deep Learning Based Crack Detection Algorithm in Non-Destructive Testing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231219 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240215 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20240215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240415 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240507 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240603 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7499337 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |