Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7499337B2 - Inspection system, learning method, inspection method, and storage medium - Google Patents
[go: Go Back, main page]

JP7499337B2 - Inspection system, learning method, inspection method, and storage medium - Google Patents

Inspection system, learning method, inspection method, and storage medium Download PDF

Info

Publication number
JP7499337B2
JP7499337B2 JP2022539856A JP2022539856A JP7499337B2 JP 7499337 B2 JP7499337 B2 JP 7499337B2 JP 2022539856 A JP2022539856 A JP 2022539856A JP 2022539856 A JP2022539856 A JP 2022539856A JP 7499337 B2 JP7499337 B2 JP 7499337B2
Authority
JP
Japan
Prior art keywords
image
abnormal
inspection
processing target
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022539856A
Other languages
Japanese (ja)
Other versions
JPWO2022024245A1 (en
Inventor
隼一 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evident Corp
Original Assignee
Evident Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evident Corp filed Critical Evident Corp
Publication of JPWO2022024245A1 publication Critical patent/JPWO2022024245A1/ja
Application granted granted Critical
Publication of JP7499337B2 publication Critical patent/JP7499337B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Description

本発明は、検査システム、学習方法、検査方法、及び記憶媒体に関する。 The present invention relates to an inspection system, a learning method, an inspection method, and a storage medium.

近年、製造業等においては、深層学習(Deep Learning)を活用した外観検査が行われている。具体的には、深層学習させた学習済みモデルを用いて検査対象(製造部品等)の外観検査が行われている。In recent years, deep learning has been used for visual inspection in the manufacturing industry. Specifically, a trained model based on deep learning is used to perform visual inspection of the inspection target (manufactured parts, etc.).

この場合の深層学習では、正常な検査対象の画像のみを用いた教師なし学習が行われる。その理由は、製造現場等では、正常な検査対象の発生数に比べて、異常な検査対象(外観上にキズ等の異常を有する検査対象)の発生数が遥かに少ないために、異常な検査対象の画像を多く収集することができないからである。また、検査対象に生じ得る異常(外観上のキズ等)が未知であるからである。In this case, deep learning involves unsupervised learning using only images of normal inspection objects. The reason for this is that in manufacturing sites, etc., the number of abnormal inspection objects (inspection objects with external defects such as scratches) is far less than the number of normal inspection objects, so it is not possible to collect many images of abnormal inspection objects. Also, the abnormalities (external defects, etc.) that may occur in the inspection objects are unknown.

教師なし学習が行われた学習済みモデルの代表例として、オートエンコーダ(AE:AutoEncorder)が知られている。外観検査に用いられるオートエンコーダでは、学習時に正常な検査対象の画像のみを用いて学習が行われるために、正常な検査対象の画像の特徴のみが抽出される。そのため、正常な検査対象の画像が入力された場合には、その正常な検査対象の画像が出力され、異常な検査対象の画像が入力された場合には、異常箇所が復元されない画像(正常な検査対象の画像ともいえる)が出力される。そして、オートエンコーダを用いた外観検査では、例えば、オートエンコーダに入力した検査対象の画像と、オートエンコーダから出力された画像との差分をとり、その差分に基づいて、検査対象の異常の有無が判定される。例えば、その差分が大きい場合には、検査対象に異常有り(異常な検査対象である)と判定される。An autoencoder (AE: AutoEncorder) is known as a representative example of a trained model that has undergone unsupervised learning. In an autoencoder used in visual inspection, learning is performed using only images of normal inspection objects during learning, so only the features of the images of normal inspection objects are extracted. Therefore, when an image of a normal inspection object is input, the image of the normal inspection object is output, and when an image of an abnormal inspection object is input, an image in which the abnormal part is not restored (which can also be said to be an image of a normal inspection object) is output. In visual inspection using an autoencoder, for example, the difference between the image of the inspection object input to the autoencoder and the image output from the autoencoder is taken, and the presence or absence of an abnormality in the inspection object is determined based on the difference. For example, if the difference is large, it is determined that the inspection object has an abnormality (is an abnormal inspection object).

オートエンコーダを用いた外観検査に関する技術として、その他、例えば、特許文献1に記載の外観検査装置が知られている。この外観検査装置では、良品画像に欠陥を表す画像を合成した擬似欠陥画像を用いて学習が行われている。Other known techniques for visual inspection using autoencoders include the visual inspection device described in Patent Document 1. This visual inspection device learns using pseudo-defect images that combine images of non-defective products with images that show defects.

国際公開第2018/225745号International Publication No. 2018/225745

上述の、正常な検査対象の画像のみを用いて学習が行われたオートエンコーダでは、異常な検査対象の画像が入力された場合に、本来ならば、異常箇所が復元されない画像が出力されるべきところ、その異常箇所も復元された画像が出力されてしまう場合がある。例えば、異常箇所が、スクラッチ箇所や低コントラスト箇所といった場合である。この場合は、オートエンコーダに入力された画像とオートエンコーダから出力された画像との差分がほぼ0になってしまうことから、本来は異常な検査対象(異常有り)と判定されるべきところ、正常な検査対象(異常なし)と誤判定されてしまい、検査対象の正確な異常判定を行うことができない。In the above-mentioned autoencoder that has been trained using only images of normal test objects, when an image of an abnormal test object is input, an image in which the abnormal part is also restored may be output, even though an image in which the abnormal part is not restored should be output. For example, when the abnormal part is a scratch or a low-contrast part. In this case, the difference between the image input to the autoencoder and the image output from the autoencoder is almost zero, so that what should be judged as an abnormal test object (abnormality present) is erroneously judged as a normal test object (no abnormality), and an accurate abnormality judgment cannot be made for the test object.

一方、上述の特許文献1に記載の外観検査装置では、良品画像に合成される欠陥が、現実に生じ得る欠陥と乖離する場合が多いことから、検査対象の正確な異常判定を行うことができるとは言い難い。On the other hand, in the visual inspection device described in the above-mentioned Patent Document 1, the defects synthesized into the image of a good product often deviate from defects that may actually occur, so it is difficult to say that the device can accurately determine whether the object being inspected is abnormal.

本発明は、上記実状に鑑み、検査対象の正確な異常判定を行うことができる検査システム、学習方法、検査方法、及び記憶媒体を提供することを目的とする。In view of the above-mentioned circumstances, the present invention aims to provide an inspection system, a learning method, an inspection method, and a storage medium capable of accurately determining abnormalities in an object to be inspected.

本発明の一態様は、検査システムであって、学習済みモデルを記憶するメモリと、プロセッサと、検査対象が撮像された画像である処理対象画像を前記プロセッサに入力する入力インタフェースと、ユーザの入力操作に応じた信号を出力するユーザインタフェースと、を備え、前記学習済みモデルは、多層ニューラルネットワークであって、前記処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造とを有し、学習時に、正常画像が入力された場合に前記正常画像を出力するように深層学習され、第1の異常画像が入力された場合に第2の異常画像を出力するように深層学習された学習済みモデルであって、前記正常画像は、正常な検査対象が撮像された画像であって、前記第1の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、前記第2の異常画像は、前記第1の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であって、前記プロセッサは、検査時に、前記学習済みモデルに前記処理対象画像を入力し、前記エンコーダ構造が抽出した特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対して出力された出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行い、前記プロセッサは、前記処理対象画像の異常を検出することを行った後、前記処理対象画像における未検出の異常を少なくとも含む領域に対するユーザの入力操作に応じて前記ユーザインタフェースが出力した信号が入力され、当該信号に応じてマスク処理を行うことにより、前記処理対象画像における異常領域を特定し、前記処理対象画像から、前記学習済みモデルの追加学習時又は再学習時に用いる第2の異常画像を生成する、ことを特徴とする。 One aspect of the present invention is an inspection system comprising: a memory for storing a trained model; a processor; an input interface for inputting a processing target image, which is an image of an inspection target, to the processor; and a user interface for outputting a signal in response to a user's input operation, wherein the trained model is a multi-layer neural network having an encoder structure for extracting features of the processing target image by encoding the processing target image, and a decoder structure for generating an image having the same number of pixels and pixel size as the processing target image using the features, and during learning, the trained model is deep-trained to output a normal image when a normal image is input, and to output a second abnormal image when a first abnormal image is input, wherein the normal image is an image of a normal inspection target, the first abnormal image is an image of an inspection target having an abnormal portion, or an image based on the image, and the second abnormal image is an image of the abnormal portion in the first abnormal image, and a processor for detecting an abnormality in the image to be processed according to the detected abnormality, the processor inputs the image to be processed into the trained model during inspection, acquires features extracted by the encoder structure, and determines whether the image to be processed contains an abnormality based on the features; and/or acquires an output image output in response to the input of the image to be processed, calculates a difference in pixel values between the image to be processed and the output image, and detects an abnormality in the image to be processed according to the difference . After detecting the abnormality in the image to be processed, the processor receives as input a signal output by the user interface in response to a user's input operation for a region in the image to be processed that contains at least an undetected abnormality, and performs mask processing in response to the signal to identify the abnormal region in the image to be processed, and generates from the image to be processed a second abnormal image to be used during additional training or re-training of the trained model .

本発明の他の一態様は、検査方法であって、学習用モデルを深層学習させる学習方法が、正常画像が入力された場合に前記正常画像を出力するように前記学習用モデルを深層学習させるステップと、第1の異常画像が入力された場合に第2の異常画像を出力するように前記学習用モデルを深層学習させるステップと、を含み、前記正常画像は、正常な検査対象が撮像された画像であって、前記第1の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、前記第2の異常画像は、前記第1の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であって、前記学習方法により前記学習用モデルを深層学習させた学習済みモデルが、多層ニューラルネットワークであって、検査対象が撮像された画像である処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造と、を有し、前記学習済みモデルに、前記処理対象画像を入力するステップと、前記エンコーダ構造により抽出された特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対する出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行うステップと、前記処理対象画像の異常を検出することを行った後、前記処理対象画像における未検出の異常を少なくとも含む領域に対するユーザの入力操作に応じてマスク処理を行うことにより、前記処理対象画像における異常領域を特定し、前記処理対象画像から、前記学習済みモデルの追加学習時又は再学習時に用いる第2の異常画像を生成するステップと、を含むことを特徴とする。 Another aspect of the present invention is an inspection method, the learning method for deep learning a learning model includes a step of deep learning the learning model so as to output a normal image when a normal image is input, and a step of deep learning the learning model so as to output a second abnormal image when a first abnormal image is input, the normal image being an image of a normal inspection target, the first abnormal image being an image of an inspection target having an abnormal portion, or an image based on said image, the second abnormal image being an image in which pixel values of an abnormal region in the first abnormal image, the abnormal region being a region including at least a region corresponding to the abnormal portion, are changed to different pixel values, and a trained model obtained by deep learning the learning model by the learning method is a multi-layer neural network, and an encoder structure for extracting feature quantities of a processing target image, which is an image of an inspection target, by encoding the processing target image. and a decoder structure that uses the feature quantities to generate an image having the same number of pixels and pixel size as the image to be processed, the trained model comprising the steps of: inputting the image to be processed to the trained model; acquiring the feature quantities extracted by the encoder structure and determining whether or not the image to be processed contains an anomaly based on the feature quantities, and/or acquiring an output image in response to the input of the image to be processed, calculating a difference in pixel values between the image to be processed and the output image , and detecting an anomaly in the image to be processed according to the difference; and after detecting the anomaly in the image to be processed, performing a mask process in response to a user's input operation on an area in the image to be processed that contains at least an undetected anomaly, thereby identifying an anomaly area in the image to be processed, and generating from the image to be processed a second anomaly image to be used during additional training or re-training of the trained model .

本発明に依れば、検査対象の正確な異常判定を行うことができる。 The present invention makes it possible to accurately determine abnormalities in the test subject.

一実施の形態に係る検査システムの構成を例示する図である。FIG. 1 is a diagram illustrating a configuration of an inspection system according to an embodiment. 検査装置のハードウェア構成を例示する図である。FIG. 2 is a diagram illustrating an example of a hardware configuration of an inspection device. プロセッサが行う学習処理の流れを例示するフローチャートである。11 is a flowchart illustrating the flow of a learning process performed by a processor. プロセッサが行う第2の異常画像の生成例を模式的に示す図である。FIG. 13 is a diagram illustrating an example of generation of a second abnormality image performed by the processor. プロセッサが行う検査処理の流れを例示するフローチャートである。11 is a flowchart illustrating a flow of an inspection process performed by a processor. 処理対象画像と、当該処理対象画像が入力された場合の学習済みモデルの出力画像とを模式的に例示する図(その1)である。FIG. 1 is a schematic diagram (part 1) illustrating an example of an image to be processed and an output image of the trained model when the image to be processed is input. 処理対象画像と、当該処理対象画像が入力された場合の学習済みモデルの出力画像とを模式的に例示する図(その2)である。FIG. 2 is a schematic diagram (part 2) illustrating an example of an image to be processed and an output image of the trained model when the image to be processed is input. 処理対象画像と、当該処理対象画像が入力された場合の学習済みモデルの出力画像とを模式的に例示する図(その3)である。FIG. 3 is a schematic diagram (part 3) illustrating an example of an image to be processed and an output image of the trained model when the image to be processed is input.

以下、図面を参照しながら、本発明の実施の形態について説明する。
図1は、一実施の形態に係る検査システムの構成を例示する図である。
図1に例示した検査システム1は、製造現場にて製造される製造部品等の外観検査に使用されるシステムであって、工業用の顕微鏡装置10と、当該顕微鏡装置10に接続された検査装置20と、当該検査装置20に接続されたキーボード30、マウス40、及び表示装置50とを含む。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a configuration of an inspection system according to an embodiment.
The inspection system 1 illustrated in Figure 1 is a system used for visual inspection of manufactured parts and the like produced at a manufacturing site, and includes an industrial microscope device 10, an inspection device 20 connected to the microscope device 10, and a keyboard 30, a mouse 40, and a display device 50 connected to the inspection device 20.

顕微鏡装置10は、検査対象(例えば製造部品S)が載置されるステージ11と、検査対象からの光を集光する対物レンズ12と、光路上に配置する対物レンズを切り替えるレボルバ13と、撮像装置14とを備える。撮像装置14は、例えば、入射した観察光を電気信号に変換するイメージセンサを含むデジタルカメラである。撮像装置14は、検査対象を撮像して、検査対象画像を生成する。検査対象画像は、例えば処理対象画像として、撮像装置14から検査装置20へ出力される。The microscope device 10 includes a stage 11 on which an inspection object (e.g., manufactured part S) is placed, an objective lens 12 that collects light from the inspection object, a revolver 13 that switches between the objective lenses arranged on the optical path, and an imaging device 14. The imaging device 14 is, for example, a digital camera that includes an image sensor that converts incident observation light into an electrical signal. The imaging device 14 captures an image of the inspection object to generate an inspection object image. The inspection object image is output from the imaging device 14 to the inspection device 20, for example, as an image to be processed.

検査装置20は、顕微鏡装置10(撮像装置14)から入力された処理対象画像に基づいて、検査対象の外観検査を行う検査処理を行う。この検査処理では、学習済みモデルを用いて、検査対象の異常有無判定や、検査対象の異常検出等が行われる。また、検査装置20は、検査処理に用いられる学習済みモデルを生成するために、学習用モデル(学習前モデル)を深層学習させる学習処理等も行う。The inspection device 20 performs an inspection process to inspect the appearance of the inspection object based on the processing target image input from the microscope device 10 (imaging device 14). In this inspection process, a trained model is used to determine whether the inspection object has an abnormality or not, detect an abnormality in the inspection object, etc. In addition, the inspection device 20 also performs a learning process to deep-learn a learning model (pre-learning model) in order to generate a trained model to be used in the inspection process.

キーボード30及びマウス40は、ユーザの入力操作に応じた信号を検査装置20に入力する。表示装置50は、例えばLCD(Liquid Crystal Display)であり、検査装置20の判定結果や検出結果等を表示する。The keyboard 30 and mouse 40 input signals corresponding to user input operations to the inspection device 20. The display device 50 is, for example, an LCD (Liquid Crystal Display) and displays the judgment results and detection results of the inspection device 20.

なお、検査システム1は、更に、検査装置20に接続されるタッチパネルを備えてもよい。この場合、タッチパネルは、表示装置50の表示画面上に設けられてもよい。また、検査システム1は、更に、検査装置20に接続されるスピーカを備えてもよい。この場合、スピーカは、検査装置20の判定結果や検出結果等を音声により出力してもよい。The inspection system 1 may further include a touch panel connected to the inspection device 20. In this case, the touch panel may be provided on the display screen of the display device 50. The inspection system 1 may further include a speaker connected to the inspection device 20. In this case, the speaker may output the judgment results, detection results, etc. of the inspection device 20 by voice.

図2は、検査装置のハードウェア構成を例示する図である。なお、図2に例示したハードウェア構成は、コンピュータのハードウェア構成を例示するものでもあり、このように、検査装置20は、コンピュータにより実現されてもよい。 Figure 2 is a diagram illustrating an example of the hardware configuration of an inspection device. Note that the hardware configuration illustrated in Figure 2 also illustrates the hardware configuration of a computer, and thus the inspection device 20 may be realized by a computer.

図2に例示した検査装置20は、プロセッサ21、メモリ22、記憶装置23、入出力インタフェース24、可搬型記憶媒体駆動装置25、及び通信インタフェース26を備え、その各々は、バス27に接続されて互いに信号(データ)の送受信が可能である。The inspection device 20 illustrated in Figure 2 comprises a processor 21, a memory 22, a storage device 23, an input/output interface 24, a portable storage medium drive device 25, and a communication interface 26, each of which is connected to a bus 27 and capable of sending and receiving signals (data) to and from each other.

プロセッサ21は、CPU(Central Processing Unit)を含んで構成され、OS(Operating System)のプログラムやアプリケーションプログラム(検査処理や学習処理を行うためのプログラムを含む)を実行することにより、検査装置20が行う各種処理(検査処理や学習処理を含む)を制御する。なお、プロセッサ21は、更に、GPU(Graphics Processing Unit)等を含んで構成されてもよい。The processor 21 includes a CPU (Central Processing Unit) and executes an OS (Operating System) program and application programs (including programs for performing inspection and learning processes) to control various processes (including inspection and learning processes) performed by the inspection device 20. The processor 21 may further include a GPU (Graphics Processing Unit) or the like.

メモリ22は、RAM(Random Access Memory)及びROM(Read Only Memory)を含む。RAMは、プロセッサ21が実行するプログラムの一部が一時的に格納されたり、プロセッサ21の作業用記憶領域として使用されたりする。ROMは、プロセッサ21が実行するプログラム、プログラムの実行に必要な各種データ、及び学習済みモデル等が記憶される。ROMは、マスクROM、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)、又はフラッシュメモリ等である。 The memory 22 includes a RAM (Random Access Memory) and a ROM (Read Only Memory). The RAM temporarily stores parts of the programs executed by the processor 21 and is used as a working memory area for the processor 21. The ROM stores the programs executed by the processor 21, various data required for executing the programs, trained models, etc. The ROM may be a mask ROM, an EPROM (Erasable Programmable ROM), an EEPROM (Electrically EPROM), a flash memory, etc.

記憶装置23は、HDD(Hard Disk Drive)、又はSSD(Solid State Drive)等である。記憶装置23には、プロセッサ21が実行するプログラム、プログラムの実行に必要な各種データ、及び学習済みモデル等が記憶されてもよい。The storage device 23 is a hard disk drive (HDD) or a solid state drive (SSD), etc. The storage device 23 may store the program executed by the processor 21, various data required for executing the program, a trained model, etc.

入出力インタフェース24は、入力装置及び出力装置との間のインタフェースである。入力装置は、顕微鏡装置10、キーボード30、マウス40、及びタッチパネル等である。キーボード30、マウス40、及びタッチパネル等は、ユーザの入力操作に応じた信号を出力するユーザインタフェースの一例である。入出力インタフェース24は、例えば、顕微鏡装置10(撮像装置14)が出力した処理対象画像をプロセッサ21に入力したり、ユーザインタフェースが出力した信号をプロセッサ21に入力したりする。出力装置は、表示装置50、及びスピーカ等である。The input/output interface 24 is an interface between an input device and an output device. The input devices are the microscope device 10, the keyboard 30, the mouse 40, a touch panel, etc. The keyboard 30, the mouse 40, the touch panel, etc. are examples of a user interface that outputs a signal in response to a user's input operation. The input/output interface 24, for example, inputs an image to be processed output by the microscope device 10 (imaging device 14) to the processor 21, and inputs a signal output by the user interface to the processor 21. The output devices are the display device 50, a speaker, etc.

可搬型記憶媒体駆動装置25は、可搬型記憶媒体25aを駆動し、その記憶内容にアクセスする。可搬型記憶媒体25aには、プロセッサ21が実行するプログラム、プログラムの実行に必要な各種データ、及び学習済みモデル等が記憶されてもよい。可搬型記憶媒体25aは、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等であり、CD-ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)、ブルーレイディスク、USB(Universal Serial Bus)メモリ等も含まれる。The portable storage medium drive device 25 drives the portable storage medium 25a and accesses the stored contents. The portable storage medium 25a may store the program executed by the processor 21, various data required for executing the program, and trained models. The portable storage medium 25a is a memory device, a flexible disk, an optical disk, a magneto-optical disk, etc., and also includes a CD-ROM (Compact Disc Read Only Memory), a DVD (Digital Versatile Disc), a Blu-ray disk, a USB (Universal Serial Bus) memory, etc.

なお、メモリ22、記憶装置23、及び可搬型記憶媒体25aは、非一時的なコンピュータ読取可能な記憶媒体の一例である。また、記憶装置23及び可搬型記憶媒体25aは、メモリとも称し得る。Note that the memory 22, the storage device 23, and the portable storage medium 25a are examples of non-transitory computer-readable storage media. The storage device 23 and the portable storage medium 25a may also be referred to as memories.

通信インタフェース26は、図示しないネットワークに接続され、当該ネットワークに接続された外部装置(サーバ装置等)との間で通信を行うためのインタフェースである。The communication interface 26 is connected to a network (not shown) and is an interface for communicating with an external device (such as a server device) connected to the network.

なお、検査装置20は、図2に例示したハードウェア構成に限らず、図2に例示した各構成要素を1つ又は複数備えて構成されてもよいし、一部の構成要素を備えずに構成されてもよい。例えば、1つのプロセッサ21に限らず、複数のプロセッサを備えてもよい。また、処理は、1つのプロセッサにより実行されてもよいし、処理が同時に、逐次的に、又は他の方式で、1以上のプロセッサにより実行されてもよい。 The inspection device 20 is not limited to the hardware configuration illustrated in FIG. 2, but may be configured to include one or more of the components illustrated in FIG. 2, or may be configured to exclude some of the components. For example, the inspection device 20 is not limited to one processor 21, but may include multiple processors. Furthermore, the processing may be performed by one processor, or the processing may be performed by one or more processors simultaneously, sequentially, or in other manners.

また、検査装置20は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されてもよい。例えば、プロセッサ21は、これらのハードウェアの少なくとも1つを用いて実装されてもよい。In addition, the inspection device 20 may be configured to include hardware such as a microprocessor, a digital signal processor (DSP), an application specific integrated circuit (ASIC), a programmable logic device (PLD), a field programmable gate array (FPGA), etc. For example, the processor 21 may be implemented using at least one of these pieces of hardware.

次に、検査装置20が行う検査処理に用いられる学習済みモデルについて説明する。
検査処理に用いられる学習済みモデルは、多層ニューラルネットワークであって、エンコーダ構造とデコーダ構造とを有する。エンコーダ構造は、学習済みモデルに入力された処理対象画像をエンコードすることにより、その処理対象画像の特徴量を抽出する。デコーダ構造は、エンコーダ構造が抽出した特徴量を用いて、入力された処理対象画像と同じ画素数及び画素サイズの画像を生成する。すなわち、この学習済みモデルは、オートエンコーダと同様の構造を有する。
Next, a trained model used in the inspection process performed by the inspection device 20 will be described.
The trained model used in the inspection process is a multi-layer neural network and has an encoder structure and a decoder structure. The encoder structure extracts features of a target image input to the trained model by encoding the target image. The decoder structure uses the features extracted by the encoder structure to generate an image with the same number of pixels and pixel size as the input target image. In other words, the trained model has a structure similar to that of an autoencoder.

また、検査処理に用いられる学習済みモデルは、例えば、検査装置20のプロセッサ21が行う学習処理により生成される。
図3は、プロセッサが行う学習処理の流れを例示するフローチャートである。なお、このフローチャートは、学習方法を例示するものでもある。
In addition, the trained model used in the inspection process is generated, for example, by a learning process performed by the processor 21 of the inspection device 20.
3 is a flowchart illustrating the flow of a learning process performed by a processor. This flowchart also illustrates a learning method.

図3に例示した学習処理では、プロセッサ21は、まず、正常画像が入力された場合に、入力された正常画像を出力するように、学習用モデルを深層学習させる(ステップS11)。ここで、正常画像は、正常な検査対象が撮像された画像、例えば、正常な検査対象が顕微鏡装置10の撮像装置14により撮像された画像である。ステップS11では、このような正常画像を複数用いて深層学習が行われる。In the learning process illustrated in Fig. 3, the processor 21 first deep-learns the learning model so that when a normal image is input, the model outputs the input normal image (step S11). Here, the normal image is an image of a normal inspection object, for example, an image of a normal inspection object captured by the imaging device 14 of the microscope device 10. In step S11, deep learning is performed using multiple such normal images.

次に、プロセッサ21は、第1の異常画像が入力された場合に、第2の異常画像を出力するように、学習用モデルを更に深層学習させる(ステップS12)。ここで、第1の異常画像は、異常箇所を有する検査対象が撮像された画像、例えば、異常箇所を有する検査対象が顕微鏡装置10の撮像装置14により撮像された画像である。又は、第1の異常画像は、異常箇所を有する検査対象が撮像された画像に基づく画像、例えば、異常箇所を有する検査対象が撮像された画像を回転、縮小、拡大等の1つ以上をさせた画像である。異常箇所とは、例えば、スクラッチ箇所及び又は低コントラスト箇所のことであり、従来の、オートエンコーダを用いた外観検査では、検出することが困難な異常箇所のことである。低コントラスト箇所とは、周辺に対してコントラストが低い箇所、又は、正常な検査対象の対応箇所に対してコントラストが低い箇所のことである。第2の異常画像は、第1の異常画像における、検査対象の異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像である。異常領域の画素値を異なる画素値に変更するとは、例えば、異常領域の画素値を、当該画素値との差分が最大又は所定値以上になる画素値へ変更すること、又は、異常領域の画素値を輝度反転すること、のことである。ステップS12では、このような第1の異常画像と第2の異常画像のペアを複数用いて深層学習が行われる。Next, the processor 21 further performs deep learning on the learning model so that the second abnormal image is output when the first abnormal image is input (step S12). Here, the first abnormal image is an image of an inspection object having an abnormal part, for example, an image of an inspection object having an abnormal part captured by the imaging device 14 of the microscope device 10. Or, the first abnormal image is an image based on an image of an inspection object having an abnormal part, for example, an image obtained by rotating, reducing, enlarging, or the like an image of an inspection object having an abnormal part. An abnormal part is, for example, a scratch part and/or a low contrast part, which is an abnormal part that is difficult to detect by a conventional appearance inspection using an autoencoder. A low contrast part is a part with low contrast relative to the surroundings, or a part with low contrast relative to the corresponding part of a normal inspection object. The second abnormal image is an image in which the pixel values of an abnormal area, which is an area that includes at least an area corresponding to the abnormal part of the inspection object in the first abnormal image, are changed to different pixel values. Changing the pixel values of the abnormal region to different pixel values means, for example, changing the pixel values of the abnormal region to pixel values whose difference from the pixel values is maximum or equal to or greater than a predetermined value, or inverting the luminance of the pixel values of the abnormal region. In step S12, deep learning is performed using multiple pairs of such first and second abnormal images.

このような図3に例示した学習処理により、検査処理に用いられる学習済みモデルが生成される。そして、生成された学習済みモデルは、例えば、メモリ22のROMに記憶される。 By the learning process illustrated in Fig. 3, a trained model to be used in the inspection process is generated. The trained model thus generated is then stored, for example, in the ROM of the memory 22.

なお、ステップS12で用いられる第2の異常画像は、例えば、ユーザインタフェース(キーボード30、マウス40、タッチパネル等)を用いたユーザの入力操作に応じて、プロセッサ21が生成してもよい。この場合、プロセッサ21は、ユーザインタフェースを用いたユーザの入力操作に応じた信号が入力され、当該信号に応じてマスク処理を行うことにより、第1の異常画像における異常領域を特定し、当該異常領域の画素値を異なる画素値に変更することにより第2の異常画像を生成してもよい。The second abnormal image used in step S12 may be generated by the processor 21 in response to, for example, a user's input operation using a user interface (keyboard 30, mouse 40, touch panel, etc.). In this case, the processor 21 may receive a signal corresponding to the user's input operation using the user interface, perform a mask process in response to the signal, identify an abnormal area in the first abnormal image, and generate the second abnormal image by changing the pixel values of the abnormal area to different pixel values.

図4は、プロセッサが行う第2の異常画像の生成例を模式的に示す図である。
図4に示した生成例は、スクラッチ箇所を有する検査対象が撮像された画像である第1の異常画像61の異常領域(スクラッチ箇所に対応する領域61aを少なくとも含む領域)が、ユーザインタフェースを用いたユーザの入力操作に応じたマスク処理(ユーザによるアノテーション)により特定され、その異常領域の画素値が輝度反転されることにより、第2の異常画像62が生成された例である。この輝度反転により、第2の異常画像62は、第1の異常画像61の異常領域が強調された画像となる。
FIG. 4 is a diagram illustrating an example of generation of a second abnormality image performed by the processor.
4 is an example in which an abnormal area (at least an area 61a corresponding to the scratched area) of a first abnormal image 61, which is an image of an inspection object having a scratched area, is identified by a mask process (user annotation) in response to a user's input operation using a user interface, and the pixel values of the abnormal area are inverted in luminance to generate a second abnormal image 62. Due to this luminance inversion, the second abnormal image 62 becomes an image in which the abnormal area of the first abnormal image 61 is emphasized.

次に、検査装置20のプロセッサ21が行う検査処理について説明する。
図5は、プロセッサが行う検査処理の流れを例示するフローチャートである。なお、この検査処理は、検査方法を例示するものでもある。
Next, the inspection process performed by the processor 21 of the inspection device 20 will be described.
5 is a flowchart illustrating the flow of the inspection process performed by the processor. Note that this inspection process also illustrates an inspection method.

図5に例示した検査処理では、プロセッサ21は、まず、顕微鏡装置10から、撮像装置14により検査対象が撮像された画像である検査対象画像を、処理対象画像として取得する(ステップS21)。In the inspection process illustrated in Figure 5, the processor 21 first acquires an inspection object image, which is an image of the inspection object captured by the imaging device 14, from the microscope device 10 as an image to be processed (step S21).

次に、プロセッサ21は、例えばメモリ22のROMに記憶されている学習済みモデルを読み出し、当該学習済みモデルに、ステップS21で取得した処理対象画像を入力する(ステップS22)。Next, the processor 21 reads out a trained model stored, for example, in the ROM of the memory 22, and inputs the image to be processed obtained in step S21 into the trained model (step S22).

次に、プロセッサ21は、異常有無判定処理及び又は異常検出処理を行う(ステップS23)。異常有無判定処理では、プロセッサ21は、学習済みモデルのエンコーダ構造が抽出した処理対象画像の特徴量を取得し、当該特徴量に基づいて、処理対象画像に異常が含まれているか否かを判定する。この判定では、例えば、取得した特徴量と基準特徴量との相違度を算出し、当該相違度が所定閾値以上であるか否かに応じて処理対象画像に異常が含まれているか否かを判定してもよい。基準特徴量は、正常な検査対象が撮像された画像が学習済みモデルに入力された場合にエンコーダ構造が抽出し得る特徴量であり、また、処理対象画像に異常が含まれていないと判定され得る特徴量でもある。Next, the processor 21 performs an anomaly determination process and/or anomaly detection process (step S23). In the anomaly determination process, the processor 21 acquires the feature of the processing target image extracted by the encoder structure of the trained model, and determines whether the processing target image contains an anomaly based on the feature. In this determination, for example, the difference between the acquired feature and the reference feature may be calculated, and whether the processing target image contains an anomaly may be determined depending on whether the difference is equal to or greater than a predetermined threshold. The reference feature is a feature that can be extracted by the encoder structure when an image of a normal inspection target is input to the trained model, and is also a feature that can be used to determine that the processing target image does not contain an anomaly.

また、ステップS23において、異常検出処理では、ステップS22での処理対象画像の入力に対して学習済みモデルから出力された出力画像を取得し、処理対象画像と出力画像との画素値の相違度を算出し、当該相違度に応じて処理対象画像の異常(異常領域)を検出する。この検出では、画素値の相違度が所定閾値以上の領域を異常として検出してもよい。また、画素値の相違度を、処理対象画像と出力画像との差分画像を取得することにより、算出してもよい。In addition, in step S23, the anomaly detection process obtains an output image output from the trained model in response to the input of the image to be processed in step S22, calculates the difference in pixel values between the image to be processed and the output image, and detects an anomaly (abnormal area) in the image to be processed according to the difference. In this detection, an area where the difference in pixel values is equal to or greater than a predetermined threshold may be detected as an anomaly. The difference in pixel values may also be calculated by obtaining a difference image between the image to be processed and the output image.

次に、プロセッサ21は、ステップS23での異常有無判定処理及び又は異常検出処理の処理結果を表示装置50に表示する(ステップS24)。具体的には、異常有無判定処理の処理結果の表示では、処理対象画像に異常が含まれているか否かの判定結果(即ち、処理対象画像とされた検査対象画像が撮像されたときの検査対象に異常箇所が含まれているか否かの判定結果)を表示する。異常検出処理の処理結果の表示では、処理対象画像における異常の検出結果(即ち、処理対象画像とされた検査対象画像が撮像されたときの検査対象における異常箇所の検出結果)を表示する。この表示では、処理対象画像において、異常領域が検出されなかった場合にはその旨の表示を行い、異常領域が検出された場合には、その異常領域を他の領域と区別可能に表示してもよい。Next, the processor 21 displays the results of the abnormality determination process and/or abnormality detection process in step S23 on the display device 50 (step S24). Specifically, the display of the results of the abnormality determination process displays the result of the determination as to whether or not the image to be processed contains an abnormality (i.e., the result of the determination as to whether or not the inspection target contains an abnormality when the inspection target image set as the image to be processed is captured). The display of the results of the abnormality detection process displays the result of the detection of an abnormality in the image to be processed (i.e., the result of the detection of an abnormality in the inspection target when the inspection target image set as the image to be processed is captured). In this display, if no abnormal area is detected in the image to be processed, a message to that effect is displayed, and if an abnormal area is detected, the abnormal area may be displayed so as to be distinguishable from other areas.

図6、図7、及び図8は、処理対象画像と、当該処理対象画像が入力された場合の学習済みモデルの出力画像とを模式的に例示する図である。
図6は、正常な検査対象が撮像された検査対象画像である処理対象画像71と、当該処理対象画像71が入力された場合の学習済みモデル72の出力画像73とを例示する。この場合、出力画像73は、処理対象画像71と同一の画像となるので、処理対象画像71に対して画素値の相違度が所定閾値以上の領域が存在せず、処理対象画像71の異常は検出されない。
6, 7, and 8 are diagrams illustrating schematic examples of a processing target image and an output image of the trained model when the processing target image is input.
6 illustrates a processing target image 71, which is an inspection target image obtained by capturing an image of a normal inspection target, and an output image 73 of a trained model 72 when the processing target image 71 is input. In this case, the output image 73 is the same image as the processing target image 71, and therefore there is no region in which the difference in pixel values with respect to the processing target image 71 is equal to or greater than a predetermined threshold, and no abnormality in the processing target image 71 is detected.

一方、図7は、スクラッチ箇所を有する検査対象(異常な検査対象)が撮像された検査対象画像である処理対象画像74と、当該処理対象画像74が入力された場合の学習済みモデル72の出力画像75とを例示する。この場合、出力画像75は、処理対象画像74における、スクラッチ箇所に対応する領域74aを少なくとも含む領域(異常領域)が強調された画像となるので、処理対象画像74に対して画素値の相違度が所定閾値以上となる領域が存在することとなり、処理対象画像74の異常が検出される。なお、この場合の画素値の相違度は、例えば、処理対象画像74と出力画像75との差分画像76を取得することにより、算出される。 On the other hand, FIG. 7 illustrates a processing target image 74, which is an image of an inspection target (abnormal inspection target) having a scratch, and an output image 75 of the trained model 72 when the processing target image 74 is input. In this case, the output image 75 is an image in which an area (abnormal area) including at least an area 74a corresponding to the scratch in the processing target image 74 is emphasized, so that an area exists in which the difference in pixel value with respect to the processing target image 74 is equal to or greater than a predetermined threshold, and an abnormality in the processing target image 74 is detected. Note that the difference in pixel value in this case is calculated, for example, by obtaining a difference image 76 between the processing target image 74 and the output image 75.

図8は、低コントラスト箇所を有する検査対象(異常な検査対象)が撮像された検査対象画像である処理対象画像77と、当該処理対象画像77が入力された場合の学習済みモデル72の出力画像78とを例示する。この場合、出力画像78は、処理対象画像77における、低コントラスト箇所に対応する領域77aを少なくとも含む領域(異常領域)が強調された画像となるので、処理対象画像77に対して画素値の相違度が所定閾値以上となる領域が存在することとなり、処理対象画像77の異常が検出される。8 illustrates an example of a processing target image 77, which is an image of an inspection target having a low contrast area (an abnormal inspection target), and an output image 78 of the trained model 72 when the processing target image 77 is input. In this case, the output image 78 is an image in which an area (an abnormal area) in the processing target image 77 that includes at least an area 77a corresponding to the low contrast area is emphasized, and therefore there is an area in which the difference in pixel value with respect to the processing target image 77 is equal to or greater than a predetermined threshold, and an abnormality in the processing target image 77 is detected.

以上のとおり、検査システム1によれば、例えば、図3に例示した学習処理により深層学習させた学習済みモデルを用いて図5に例示した検査処理により検査対象の外観検査を行うことにより、従来のオートエンコーダを用いた外観検査では検出することが困難な異常箇所(例えばスクラッチ箇所や低コントラスト箇所)の検出が可能となり、検査対象の正確な異常検出が可能になる。As described above, according to the inspection system 1, for example, by performing visual inspection of the inspection object by the inspection process illustrated in Figure 5 using a trained model that has been deep-learned by the learning process illustrated in Figure 3, it becomes possible to detect abnormalities (e.g., scratches and low-contrast areas) that are difficult to detect by visual inspection using conventional autoencoders, thereby enabling accurate detection of abnormalities in the inspection object.

なお、検査システム1は、次のように構成されてもよい。
例えば、プロセッサ21は、図5に例示した検査処理のステップS23にて、異常検出処理を行った処理対象画像について、S24にて表示された処理結果をユーザが確認し、未検出の異常箇所があった場合、未検出の異常箇所のある当該処理対象画像(第1の異常画像に相当)から、学習済みモデルの追加学習時又は再学習時に用いる第2の異常画像を生成してもよい。この場合、プロセッサ21は、当該処理対象画像において未検出の異常箇所を少なくとも含む領域を、ユーザインタフェースを用いたユーザの入力操作に応じたマスク処理により異常領域として特定し、当該異常領域の画素値を異なる画素値に変更することにより、第2の異常画像を生成してもよい。この場合の画素値の変更も、図3のステップS12で説明したものと同様に、異常領域の画素値を、当該画素値との差分が最大又は所定値以上になる画素値へ変更することでもよいし、異常領域の画素値を輝度反転することでもよい。上記の追加学習又は再学習により検査性能が向上する。
The inspection system 1 may be configured as follows.
For example, in step S23 of the inspection process illustrated in FIG. 5, the processor 21 may generate a second abnormal image to be used when additionally learning or re-learning the trained model from the processing target image (corresponding to the first abnormal image) having the undetected abnormal part when the user checks the processing result displayed in S24 for the processing target image on which the abnormality detection process has been performed and an undetected abnormal part is found. In this case, the processor 21 may identify an area including at least an undetected abnormal part in the processing target image as an abnormal area by masking in response to an input operation by the user using a user interface, and may generate a second abnormal image by changing the pixel value of the abnormal area to a different pixel value. In this case, the pixel value may be changed to a pixel value whose difference from the pixel value is maximum or equal to or greater than a predetermined value, as described in step S12 of FIG. 3, or the pixel value of the abnormal area may be inverted in luminance. The inspection performance is improved by the additional learning or re-learning.

また、プロセッサ21が行う検査処理に用いられる学習済みモデルは、外部装置(サーバ装置等)が生成したものであってもよい。この場合は、図3に例示した学習処理と同様の処理を実行する外部装置が生成した学習済みモデルが、図示しないネットワーク及び通信インタフェース26を経由して、メモリ22のROMに記憶されてもよい。また、この場合は、図4に例示したような第2の異常画像の生成も、外部装置が行ってもよい。In addition, the trained model used in the inspection process performed by the processor 21 may be generated by an external device (such as a server device). In this case, the trained model generated by an external device that executes a process similar to the learning process illustrated in FIG. 3 may be stored in the ROM of the memory 22 via a network and communication interface 26 (not shown). In this case, the second abnormal image as illustrated in FIG. 4 may also be generated by the external device.

また、検査システム1は、製造業の分野での使用に限らず、生物や医療等、製造業以外の分野で使用されてもよい。例えば、生物の分野にて使用される場合、検査システム1は、工業用の顕微鏡装置10の代わりに、撮像装置を備えた生物用顕微鏡装置を含んでもよい。In addition, the inspection system 1 is not limited to use in the manufacturing field, and may be used in fields other than the manufacturing field, such as biology and medicine. For example, when used in the biology field, the inspection system 1 may include a biological microscope device equipped with an imaging device instead of the industrial microscope device 10.

また、検査システム1は、図1に例示した構成に限らず、少なくとも検査装置20を含んでいれば、一部の装置を備えずに構成されてもよいし、他の装置を更に含んで構成されてもよい。 Furthermore, the inspection system 1 is not limited to the configuration illustrated in FIG. 1, and as long as it includes at least the inspection device 20, it may be configured without some of the devices, or may be configured to further include other devices.

以上、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせに依り、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 As mentioned above, the present invention is not limited to the above-described embodiment, and in the implementation stage, the components can be modified and embodied without departing from the gist of the invention. Furthermore, various inventions can be formed by appropriate combinations of multiple components disclosed in the above-described embodiment. For example, some of the components shown in the embodiment may be deleted. Furthermore, components from different embodiments may be appropriately combined.

1 検査システム
10 顕微鏡装置
11 ステージ
12 対物レンズ
13 レボルバ
14 撮像装置
20 検査装置
21 プロセッサ
22 メモリ
23 記憶装置
24 入出力インタフェース
25 可搬型記憶媒体駆動装置
25a 可搬型記憶媒体
26 通信インタフェース
27 バス
30 キーボード
40 マウス
50 表示装置
61 第1の異常画像
61a 領域
62 第2の異常画像
71 処理対象画像
72 学習済みモデル
73 出力画像
74 処理対象画像
74a 領域
75 出力画像
76 差分画像
77 処理対象画像
77a 領域
78 出力画像

1 Inspection system 10 Microscope device 11 Stage 12 Objective lens 13 Revolver 14 Imaging device 20 Inspection device 21 Processor 22 Memory 23 Storage device 24 Input/output interface 25 Portable storage medium drive device 25a Portable storage medium 26 Communication interface 27 Bus 30 Keyboard 40 Mouse 50 Display device 61 First abnormal image 61a Area 62 Second abnormal image 71 Processing target image 72 Learned model 73 Output image 74 Processing target image 74a Area 75 Output image 76 Difference image 77 Processing target image 77a Area 78 Output image

Claims (9)

学習済みモデルを記憶するメモリと、
プロセッサと、
検査対象が撮像された画像である処理対象画像を前記プロセッサに入力する入力インタフェースと、
ユーザの入力操作に応じた信号を出力するユーザインタフェースと、
を備え、
前記学習済みモデルは、
多層ニューラルネットワークであって、
前記処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、
前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造とを有し、
学習時に、
正常画像が入力された場合に前記正常画像を出力するように深層学習され、
第1の異常画像が入力された場合に第2の異常画像を出力するように深層学習された学習済みモデルであって、
前記正常画像は、正常な検査対象が撮像された画像であって、
前記第1の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、
前記第2の異常画像は、前記第1の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であって、
前記プロセッサは、
検査時に、
前記学習済みモデルに前記処理対象画像を入力し、
前記エンコーダ構造が抽出した特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対して出力された出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行い、
前記プロセッサは、前記処理対象画像の異常を検出することを行った後、前記処理対象画像における未検出の異常を少なくとも含む領域に対するユーザの入力操作に応じて前記ユーザインタフェースが出力した信号が入力され、当該信号に応じてマスク処理を行うことにより、前記処理対象画像における異常領域を特定し、前記処理対象画像から、前記学習済みモデルの追加学習時又は再学習時に用いる第2の異常画像を生成する、
ことを特徴とする検査システム。
A memory for storing a trained model;
A processor;
an input interface for inputting a processing target image, which is an image of an inspection target, to the processor;
a user interface that outputs a signal in response to an input operation by a user;
Equipped with
The trained model is
1. A multi-layer neural network, comprising:
an encoder structure for extracting features of the processing target image by encoding the processing target image;
a decoder structure for generating an image having the same number of pixels and the same pixel size as the processing target image by using the feature amount;
When studying,
Deep learning is performed so that, when a normal image is input, the normal image is output;
A trained model that is deep-trained to output a second abnormal image when a first abnormal image is input,
The normal image is an image of a normal test subject,
The first abnormality image is an image of an inspection object having an abnormality or an image based on the image,
The second abnormal image is an image in which pixel values of an abnormal region in the first abnormal image, which is a region including at least a region corresponding to the abnormal portion, are changed to different pixel values,
The processor,
During the inspection,
The processing target image is input to the trained model;
acquiring a feature amount extracted by the encoder structure, and determining whether or not the target image includes an abnormality based on the feature amount; and/or acquiring an output image output in response to an input of the target image, calculating a difference in pixel values between the target image and the output image, and detecting an abnormality in the target image based on the difference amount ;
After detecting an anomaly in the processing target image, the processor receives a signal output by the user interface in response to a user's input operation on an area in the processing target image that includes at least an undetected anomaly, and performs mask processing in response to the signal to identify an abnormal area in the processing target image, and generates a second abnormal image from the processing target image to be used during additional learning or re-learning of the trained model.
1. An inspection system comprising:
前記プロセッサは、前記相違度が所定閾値以上の領域を異常として検出することを特徴とする請求項1に記載の検査システム。 The inspection system according to claim 1, characterized in that the processor detects an area where the degree of difference is equal to or greater than a predetermined threshold as an abnormality. 前記プロセッサは、前記処理対象画像と前記出力画像との差分画像を取得することにより、前記相違度を算出することを特徴とする請求項1に記載の検査システム。 The inspection system of claim 1, characterized in that the processor calculates the degree of difference by obtaining a difference image between the image to be processed and the output image. 前記第2の異常画像は、前記第1の異常画像における前記異常領域の画素値を、当該画素値との差分が最大又は所定値以上になる画素値へ変更した画像であることを特徴とする請求項1に記載の検査システム。 The inspection system according to claim 1, characterized in that the second abnormal image is an image in which the pixel values of the abnormal region in the first abnormal image are changed to pixel values whose difference from the pixel values is maximum or equal to or greater than a predetermined value. 前記第2の異常画像は、前記第1の異常画像における前記異常領域の画素値を輝度反転した画像であることを特徴とする請求項1に記載の検査システム。 The inspection system according to claim 1, characterized in that the second abnormal image is an image in which the pixel values of the abnormal area in the first abnormal image are inverted in brightness. 前記異常箇所は、スクラッチ箇所であることを特徴とする請求項1に記載の検査システム。 The inspection system according to claim 1, characterized in that the abnormality is a scratch. 前記異常箇所は、低コントラスト箇所であることを特徴とする請求項1に記載の検査システム。 The inspection system according to claim 1, characterized in that the abnormal area is a low-contrast area. 撮像装置を有する顕微鏡装置を更に備え、
前記正常画像、前記異常箇所を有する検査対象が撮像された画像である前記第1の異常画像、及び前記処理対象画像は、前記顕微鏡装置が取得した画像であることを特徴とする請求項1に記載の検査システム。
The microscope device further includes an imaging device.
2. The inspection system according to claim 1, wherein the normal image, the first abnormal image which is an image of an inspection object having the abnormal area, and the processing object image are images acquired by the microscope device.
学習用モデルを深層学習させる学習方法が、
正常画像が入力された場合に前記正常画像を出力するように前記学習用モデルを深層学習させるステップと、
第1の異常画像が入力された場合に第2の異常画像を出力するように前記学習用モデルを深層学習させるステップと、
を含み、
前記正常画像は、正常な検査対象が撮像された画像であって、
前記第1の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、
前記第2の異常画像は、前記第1の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であって、
前記学習方法により前記学習用モデルを深層学習させた学習済みモデルが、
多層ニューラルネットワークであって、
検査対象が撮像された画像である処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、
前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造と、
を有し、
前記学習済みモデルに、前記処理対象画像を入力するステップと、
記エンコーダ構造が抽出した特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対する出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行うステップと
前記処理対象画像の異常を検出することを行った後、前記処理対象画像における未検出の異常を少なくとも含む領域に対するユーザの入力操作に応じてマスク処理を行うことにより、前記処理対象画像における異常領域を特定し、前記処理対象画像から、前記学習済みモデルの追加学習時又は再学習時に用いる第2の異常画像を生成するステップと、
を含むことを特徴とする検査方法。
The learning method for deep learning the learning model is
A step of deep learning the learning model so as to output a normal image when a normal image is input;
A step of deep learning the learning model so as to output a second abnormal image when a first abnormal image is input;
Including,
The normal image is an image of a normal test subject,
The first abnormality image is an image of an inspection object having an abnormality or an image based on the image,
The second abnormal image is an image in which pixel values of an abnormal region in the first abnormal image, which is a region including at least a region corresponding to the abnormal portion, are changed to different pixel values,
A trained model obtained by deep learning the learning model by the learning method,
1. A multi-layer neural network, comprising:
an encoder structure for extracting features of a processing target image, the processing target image being an image of an inspection target, by encoding the processing target image;
a decoder structure for generating an image having the same number of pixels and pixel size as the target image using the feature amount;
having
Inputting the target image to the trained model;
acquiring features extracted by the encoder structure, and determining whether or not the image to be processed includes an abnormality based on the features; and/or acquiring an output image in response to an input of the image to be processed, calculating a degree of difference in pixel values between the image to be processed and the output image, and detecting an abnormality in the image to be processed based on the degree of difference ;
After detecting an anomaly in the processing target image, a mask process is performed in response to a user's input operation on an area in the processing target image that includes at least an undetected anomaly, thereby identifying an anomaly area in the processing target image, and generating a second anomaly image from the processing target image to be used during additional learning or re-learning of the trained model;
An inspection method comprising:
JP2022539856A 2020-07-29 2020-07-29 Inspection system, learning method, inspection method, and storage medium Active JP7499337B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/028998 WO2022024245A1 (en) 2020-07-29 2020-07-29 Inspection system, learning method, inspection method, and storage medium

Publications (2)

Publication Number Publication Date
JPWO2022024245A1 JPWO2022024245A1 (en) 2022-02-03
JP7499337B2 true JP7499337B2 (en) 2024-06-13

Family

ID=80035445

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022539856A Active JP7499337B2 (en) 2020-07-29 2020-07-29 Inspection system, learning method, inspection method, and storage medium

Country Status (2)

Country Link
JP (1) JP7499337B2 (en)
WO (1) WO2022024245A1 (en)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094267A1 (en) 2015-12-01 2017-06-08 株式会社Preferred Networks Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model
JP2018101317A (en) 2016-12-21 2018-06-28 ホーチキ株式会社 Anomaly monitoring system
JP2018116672A (en) 2017-01-18 2018-07-26 株式会社リコー Information processing apparatus, information processing method, and program
JP2018120300A (en) 2017-01-23 2018-08-02 株式会社リコー Information processing apparatus, information processing method, and program
WO2018225745A1 (en) 2017-06-06 2018-12-13 株式会社デンソー External appearance examination device, conversion data generation device, and program
JP2019009919A (en) 2017-06-26 2019-01-17 株式会社東芝 Patrol inspection support system and patrol inspection support control program
US20190287230A1 (en) 2018-03-19 2019-09-19 Kla-Tencor Corporation Semi-supervised anomaly detection in scanning electron microscope images
WO2020031984A1 (en) 2018-08-08 2020-02-13 Blue Tag株式会社 Component inspection method and inspection system
JP2020035097A (en) 2018-08-28 2020-03-05 株式会社モルフォ Image identification device, image identification method, and image identification program
JP2020067865A (en) 2018-10-25 2020-04-30 株式会社アルム Image processing device, image processing system, and image processing program
JP2020071808A (en) 2018-11-02 2020-05-07 株式会社Ihi Learning device and learning method
JP2020187735A (en) 2019-05-13 2020-11-19 富士通株式会社 Surface defect identification method and apparatus
JP2021534523A (en) 2018-08-10 2021-12-09 レイドス・セキュリティ・ディテクション・アンド・オートメーション・インコーポレイテッド Systems and methods for image processing

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094267A1 (en) 2015-12-01 2017-06-08 株式会社Preferred Networks Abnormality detection system, abnormality detection method, abnormality detection program, and method for generating learned model
JP2018101317A (en) 2016-12-21 2018-06-28 ホーチキ株式会社 Anomaly monitoring system
JP2018116672A (en) 2017-01-18 2018-07-26 株式会社リコー Information processing apparatus, information processing method, and program
JP2018120300A (en) 2017-01-23 2018-08-02 株式会社リコー Information processing apparatus, information processing method, and program
WO2018225745A1 (en) 2017-06-06 2018-12-13 株式会社デンソー External appearance examination device, conversion data generation device, and program
JP2019009919A (en) 2017-06-26 2019-01-17 株式会社東芝 Patrol inspection support system and patrol inspection support control program
US20190287230A1 (en) 2018-03-19 2019-09-19 Kla-Tencor Corporation Semi-supervised anomaly detection in scanning electron microscope images
WO2020031984A1 (en) 2018-08-08 2020-02-13 Blue Tag株式会社 Component inspection method and inspection system
JP2021534523A (en) 2018-08-10 2021-12-09 レイドス・セキュリティ・ディテクション・アンド・オートメーション・インコーポレイテッド Systems and methods for image processing
JP2020035097A (en) 2018-08-28 2020-03-05 株式会社モルフォ Image identification device, image identification method, and image identification program
JP2020067865A (en) 2018-10-25 2020-04-30 株式会社アルム Image processing device, image processing system, and image processing program
JP2020071808A (en) 2018-11-02 2020-05-07 株式会社Ihi Learning device and learning method
JP2020187735A (en) 2019-05-13 2020-11-19 富士通株式会社 Surface defect identification method and apparatus

Also Published As

Publication number Publication date
WO2022024245A1 (en) 2022-02-03
JPWO2022024245A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
CN114743102B (en) Flaw detection method, system and device for furniture plate
JP2018005639A (en) Image classification device, image inspection device, and program
CN110763706B (en) System and method for analyzing crystal defects
US11615520B2 (en) Information processing apparatus, information processing method of information processing apparatus, and storage medium
CN106839976A (en) A kind of method and device at detector lens center
JP7393313B2 (en) Defect classification device, defect classification method and program
CN119643567B (en) A method for detecting forming defects of titanium alloy
JP2019211415A (en) Appearance inspection device and method
CN114113101A (en) Abnormality determination model generation method, abnormality determination model generation device, and inspection device
JP7453813B2 (en) Inspection equipment, inspection methods, programs, learning devices, learning methods, and learned datasets
CN119246535B (en) Display screen defect detection method and system based on machine vision
CN116152191A (en) Display crack defect detection method, device and equipment based on deep learning
JP6786015B1 (en) Motion analysis system and motion analysis program
CN115953403B (en) Defect detection method and device
JP7499337B2 (en) Inspection system, learning method, inspection method, and storage medium
EP4318391A1 (en) Information processing device, control program, and control method
CN113554645B (en) Industrial anomaly detection method and device based on WGAN
JP7360092B2 (en) Inspection equipment, inspection method, and inspection program
WO2022130814A1 (en) Index selection device, information processing device, information processing system, inspection device, inspection system, index selection method, and index selection program
TWI493177B (en) Method of detecting defect on optical film with periodic structure and device thereof
CN118521568A (en) A method and device for detecting nut appearance defects based on neural network
JP7445154B2 (en) Fin inspection system, fin inspection method, and program
CN117788444A (en) SMT patch offset detection method, SMT patch offset detection device and SMT patch offset detection system
WO2023243202A1 (en) Image generation method and external appearance inspection device
Khemani et al. Novel Optimized Image Enhancement and Deep Learning Based Crack Detection Algorithm in Non-Destructive Testing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240215

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20240215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240603

R150 Certificate of patent or registration of utility model

Ref document number: 7499337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150