JP7807718B2 - Surface inspection device and surface inspection method - Google Patents
Surface inspection device and surface inspection methodInfo
- Publication number
- JP7807718B2 JP7807718B2 JP2025184860A JP2025184860A JP7807718B2 JP 7807718 B2 JP7807718 B2 JP 7807718B2 JP 2025184860 A JP2025184860 A JP 2025184860A JP 2025184860 A JP2025184860 A JP 2025184860A JP 7807718 B2 JP7807718 B2 JP 7807718B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- model
- task model
- learning
- downstream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Description
本開示は、表面検査装置及び表面検査方法に関する。 This disclosure relates to a surface inspection device and a surface inspection method.
近年、多くの産業分野において、機械学習手法によって学習された識別器を用いることで、膨大なデータから経験や知識を抽出して自動化に繋げる動きが活発である。特に製造業における表面検査では、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）モデルに代表される機械学習モデルが数多く導入され、人手に依存した検査を効率化する取り組みが進んでいる。 In recent years, many industrial fields have been actively using classifiers trained using machine learning techniques to extract experience and knowledge from massive amounts of data and use this knowledge to automate processes. In particular, in the manufacturing industry, many machine learning models, such as deep learning models, have been introduced, and efforts are underway to improve the efficiency of inspections that previously relied on manual labor.
しかしながら、従来の深層学習モデルの構築においては、人手により大量の教師データを準備する必要があり、多大な労力を要する。ここで言う教師データとは、画像と人が付与した正解のペアである。 However, building traditional deep learning models requires the manual preparation of large amounts of training data, which is extremely labor-intensive. Training data here refers to pairs of images and human-annotated correct answers.
本開示は、上述した事情に鑑みてなされたものであって、深層学習モデルの構築に要するコストを低減するとともに、深層学習モデルによる高精度な検査を実施する技術を提供することを目的とする。 This disclosure has been made in light of the above-mentioned circumstances, and aims to provide technology that reduces the cost required to build deep learning models and enables highly accurate testing using deep learning models.
上記課題を解決するために、本開示の一態様によれば、対象物の表面を検査する表面検査装置であって、前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、入力された前記撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、深層学習モデルからなる下流タスク用モデルと、を有し、前記上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズにおいて、前記画像取得部は、前記対象物を撮像することで得られた撮像画像である第１学習用撮像画像と第２学習用画像とを取得し、前記上流タスク用モデルは、前記第１学習用画像を入力することで、学習がなされ、前記下流タスク用モデルは、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、学習がなされ、前記上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズにおいて、前記画像取得部は、前記検査の対象となる対象物を撮像することで得られた撮像画像である検査用画像を取得し、前記上流タスク用モデルは、前記検査用画像を入力することで、前記検査用画像に対応する特徴量を出力し、前記下流タスク用モデルは、前記検査用画像に対応する特徴量を入力することで、前記検査の対象となる対象物の表面の状態を出力する、表面検査装置が提供される。
上記課題を解決するために、本開示の他の一態様によれば、対象物の表面を検査する表面検査装置であって、前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、入力された前記撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、深層学習モデルからなる下流タスク用モデルと、を有し、前記上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズにおいて、前記画像取得部は、前記対象物を撮像することで得られた撮像画像である第１学習用撮像画像と第２学習用画像とを取得し、前記上流タスク用モデルは、前記第１学習用画像を入力することで、学習がなされ、前記下流タスク用モデルは、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、学習がなされる、表面検査装置が提供される。
上記課題を解決するために、本開示の更に他の一態様によれば、対象物の表面を検査する表面検査装置であって、前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、入力された前記撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、深層学習モデルからなる下流タスク用モデルと、を取得するモデル取得部と、を有し、前記モデル取得部は、前記対象物を撮像することで得られた撮像画像である第１学習用撮像画像と第２学習用画像とを取得し、前記第１学習用画像を入力することで、学習がなされた前記上流タスク用モデルと、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、学習がなされた前記下流タスク用モデルと、を取得し、前記上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズにおいて、前記画像取得部は、前記検査の対象となる対象物を撮像することで得られた撮像画像である検査用画像を取得し、前記上流タスク用モデルは、前記検査用画像を入力することで、前記検査用画像に対応する特徴量を出力し、前記下流タスク用モデルは、前記検査用画像に対応する特徴量を入力することで、前記検査の対象となる対象物の表面の状態を出力する。
前記上流タスク用モデル及び前記下流タスク用モデルは、前記上流タスク用モデル及び前記下流タスク用モデルを深層学習モデルにおける蒸留又は量子化の手法を用いて小型化したモデルによって代替されてもよい。
上記課題を解決するために、本開示の一態様によれば、対象物の表面を検査する表面検査方法であって、前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、入力された前記撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、深層学習モデルからなる下流タスク用モデルと、を有する表面検査装置を用い、前記上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズにおいて、前記画像取得部を用いて、前記対象物を撮像することで得られた撮像画像である第１学習用撮像画像と第２学習用画像とを取得する学習用画像取得ステップと、前記上流タスク用モデルに、前記第１学習用画像を入力することで、学習がなされる上流タスク用モデル学習ステップと、前記下流タスク用モデルに、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、学習がなされる下流タスク用モデル学習ステップと、前記上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズにおいて、前記画像取得部を用いて、前記検査の対象となる対象物を撮像することで得られた撮像画像である検査用画像を取得する検査用画像取得ステップと、前記上流タスク用モデルを用いて、前記検査用画像を入力することで、前記検査用画像に対応する特徴量を出力する上流タスク用モデル推論ステップと、前記下流タスク用モデルを用いて、前記検査用画像に対応する特徴量を入力することで、前記検査の対象となる対象物の表面の状態を出力する下流タスク用モデル推論ステップと、を有する、表面検査方法が提供される。
In order to solve the above problem, according to one aspect of the present disclosure, there is provided a surface inspection device for inspecting the surface of an object, the surface inspection device including: an image acquisition unit that acquires captured images obtained by capturing images of the surface of the object; an upstream task model consisting of a base model that is a deep learning neural network intended to extract features of the input captured images; and a downstream task model consisting of a deep learning model, wherein in a learning phase in which the upstream task model and the downstream task model are optimized, the image acquisition unit acquires first learning captured images and second learning images that are captured images obtained by capturing images of the object, and the upstream task model learns by inputting the first learning images; The downstream task model is trained by inputting feature amounts obtained by inputting the second learning image into the upstream task model and labels indicating the surface condition of the object corresponding to the feature amounts, and in an inference phase in which inference is made using the upstream task model and the downstream task model, the image acquisition unit acquires an inspection image which is an image obtained by imaging the object to be inspected, the upstream task model receives the inspection image as an input and outputs feature amounts corresponding to the inspection image, and the downstream task model receives the feature amounts corresponding to the inspection image as an input and outputs the surface condition of the object to be inspected, thereby providing a surface inspection device.
In order to solve the above-described problems, according to another aspect of the present disclosure, there is provided a surface inspection device for inspecting the surface of an object, the surface inspection device including: an image acquisition unit that acquires captured images obtained by capturing images of the surface of the object; an upstream task model consisting of a base model that is a deep learning neural network intended to extract features of the input captured images; and a downstream task model that is a deep learning model, wherein in a learning phase in which the upstream task model and the downstream task model are optimized, the image acquisition unit acquires first learning captured images and second learning images that are captured images obtained by capturing images of the object, the upstream task model learns by inputting the first learning images, and the downstream task model learns by inputting feature amounts obtained by inputting the second learning images into the upstream task model and labels that indicate the surface condition of the object corresponding to the feature amounts.
In order to solve the above problem, according to yet another aspect of the present disclosure, there is provided a surface inspection device for inspecting a surface of an object, the surface inspection device including: an image acquisition unit that acquires captured images obtained by capturing an image of the surface of the object; and a model acquisition unit that acquires an upstream task model consisting of a base model that is a deep learning neural network intended to extract features of the input captured images; and a downstream task model consisting of a deep learning model, wherein the model acquisition unit acquires first learning captured images and second learning images that are captured images obtained by capturing an image of the object, and inputs the first learning images to acquire the upstream task model that has been trained and the second learning images. In an inference phase in which inference is performed using the upstream task model and the downstream task model, the image acquisition unit acquires an inspection image, which is an image obtained by capturing an image of the object to be inspected, and the upstream task model receives the inspection image and outputs the feature values corresponding to the inspection image, and the downstream task model receives the feature values corresponding to the inspection image and outputs the surface condition of the object to be inspected.
The model for the upstream task and the model for the downstream task may be replaced by a model obtained by compacting the model for the upstream task and the model for the downstream task using a distillation or quantization technique in a deep learning model.
In order to solve the above-described problems, according to one aspect of the present disclosure, there is provided a surface inspection method for inspecting the surface of an object, using a surface inspection device having an image acquisition unit that acquires captured images obtained by capturing an image of the surface of the object, an upstream task model consisting of a base model that is a deep learning neural network intended to extract features of the input captured images, and a downstream task model consisting of a deep learning model, and in a learning phase in which the upstream task model and the downstream task model are optimized, the method includes: an image acquisition step for acquiring first and second captured images for learning, which are captured images obtained by capturing images of the object, using the image acquisition unit; an upstream task model learning step for inputting the first learning image into the upstream task model to perform learning; The present invention provides a surface inspection method, comprising: a downstream task model learning step in which learning is performed by inputting feature amounts obtained by inputting a learning image into the upstream task model and labels indicating the surface state of the object corresponding to the feature amounts; an inspection image acquisition step in an inference phase in which inference is performed using the upstream task model and the downstream task model, using the image acquisition unit to acquire an inspection image, which is an image obtained by imaging the object to be inspected; an upstream task model inference step in which the inspection image is input using the upstream task model and the feature amounts corresponding to the inspection image are output; and a downstream task model inference step in which the downstream task model is input using the downstream task model and the feature amounts corresponding to the inspection image are output.
本開示によれば、深層学習モデルの構築に要する負荷を低減するとともに、深層学習モデルによる高精度な検査を実施することができる。 This disclosure reduces the workload required to build a deep learning model and enables highly accurate testing using the deep learning model.
図１は、従来の表面検査向けの深層学習モデルの構築方法を示す概念図である。従来、画像により、欠陥をはじめとする対象物の表面の状態（表面性状）を検査する際には、深層学習モデル４００に対し、大量の教師ありデータ２２０を入力することで、画像に写る表面性状を推定可能な深層学習モデル４００を構築することがあった。
より具体的には、教師ありデータ２２０は、対象物の表面の画像と、画像に写った対象物の表面性状をオペレータや検査員が確認することで得られた、表面性状の種類の正解を示す情報（ラベル）とから構成される。深層学習モデル４００は、教師ありデータ２２０に含まれる対象物の表面の画像が入力されると、当該画像に対して複数の階層に付与された重み付け係数に基づく重み付け演算を行い、推論結果を出力する。そして、出力された推論結果と、教師ありデータ２２０に含まれるラベルとを比較し、出力された推論結果がラベルと合致するように、重み付け係数を最適するよう最適化演算する。こうした最適化演算を繰り返すことで、深層学習モデル４００は学習され、入力された画像に写った表面性状の種類を推論することができるように、深層学習モデル４００が構築される。
このような方法では、表面検査の現場で使用可能な精度の学習モデル４００を構築しようとすると、数千～数万単位もの個数の大量の教師ありデータ２２０（画像とラベルのペア）が必要となることがある。一般に、教師データ（教師ありデータ２２０）は、人手により作成されるため、大量の教師データの収集には多大な労力を要する。
1 is a conceptual diagram showing a conventional method for constructing a deep learning model for surface inspection. Conventionally, when inspecting the surface condition (surface texture) of an object, including defects, using images, a deep learning model 400 capable of estimating the surface texture shown in the image is constructed by inputting a large amount of supervised data 220 into the deep learning model 400.
More specifically, the supervised data 220 is composed of an image of the object's surface and information (labels) indicating the correct type of surface texture obtained by an operator or inspector confirming the surface texture of the object in the image. When the deep learning model 400 receives an image of the object's surface included in the supervised data 220, it performs a weighting calculation on the image based on weighting coefficients assigned to multiple layers and outputs an inference result. The deep learning model 400 then compares the output inference result with the label included in the supervised data 220 and performs an optimization calculation to optimize the weighting coefficients so that the output inference result matches the label. By repeating this optimization calculation, the deep learning model 400 learns and is constructed so that it can infer the type of surface texture shown in the input image.
In such a method, in order to build a learning model 400 with enough accuracy to be used in the field of surface inspection, a large amount of supervised data 220 (pairs of images and labels) of several thousand to several tens of thousands may be required. Generally, the supervised data 220 is created manually, and therefore collecting a large amount of supervised data requires a great deal of effort.
そこで本発明者らは、教師ありデータ２２０の準備に要する負荷を低減することを目的として、「基盤モデル」に着目した。図２は、本開示における表面検査向けの深層学習モデルの構築方法を示す概念図である。本発明者らは、基盤モデル１２に対して、ラベルが付与されていない画像である教師なしデータ２１０を入力して学習（教師なし学習）を実施し、学習を進めることで、入力された画像の特徴を抽出する能力を獲得した基盤モデル（学習済み基盤モデル）１２を生成するようにして、学習済み基盤モデル１２を前段に、従来から知られているような教師ありデータ２２０を用いて学習された深層学習モデルである検査用モデル１３を後段として、組み合わせることに想到した。こうすることで、学習時に教師ありデータ２２０が不要な（即ち、教師ありデータ２２０の構築に必要な労力が少ない）基盤モデル１２で、検査用の画像の特徴を抽出できるので、教師ありデータ２２０による学習（教師あり学習）を行うモデルを、検査用モデル１３だけに限定できると考えた。即ち、これにより、従来のように、表面検査に係る処理全体を１つの深層学習モデルのみで学習させるのではなく、基盤モデル１２を学習させる上流タスク１１０と、検査用モデル１３を学習させる下流タスク１２０の２つに区別して、検査精度を落とすことなく、学習に必要な労力（教師ありデータ２２０取得の労力）を低減させて、表面検査用の欠陥判別モデルを作ることができると考えた。 Therefore, the inventors focused on "base models" with the aim of reducing the burden required for preparing supervised data 220. Figure 2 is a conceptual diagram illustrating a method for constructing a deep learning model for surface inspection according to the present disclosure. The inventors conceived the idea of combining the base model 12 with unsupervised data 210, which is an unlabeled image, for training (unsupervised learning), to generate a base model (trained base model) 12 capable of extracting features from the input image. The trained base model 12 is then combined with the inspection model 13, a deep learning model trained using conventionally known supervised data 220, in the latter stage. This allows features of inspection images to be extracted using the base model 12, which does not require supervised data 220 during training (i.e., less effort is required to construct the supervised data 220). Therefore, it was thought possible to limit the models that perform supervised learning using supervised data 220 to the inspection model 13 alone. In other words, rather than training the entire process related to surface inspection using only one deep learning model, as was done conventionally, by separating the task into two - an upstream task 110 that trains the base model 12, and a downstream task 120 that trains the inspection model 13 - it is thought that this will reduce the effort required for training (the effort required to obtain supervised data 220) without compromising inspection accuracy, making it possible to create a defect discrimination model for surface inspection.
以下、図面を参照し、本開示に係る表面検査装置１を説明する。なお、以下の説明において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する場合がある。 The surface inspection device 1 according to the present disclosure will be described below with reference to the drawings. Note that in the following description, components that have substantially the same functional configuration will be assigned the same reference numerals, and duplicate descriptions may be omitted.
（表面検査装置１の構成）
本開示に係る表面検査装置１は、対象物の表面を検査するために用いられる装置である。即ち、表面検査装置１は、対象物の表面の表面性状を検査する装置である。
図３に、実施形態に係る表面検査装置１の構成を示す概略ブロック図を示す。図３に示すように、表面検査装置１は、画像取得部１１と、上流タスク用モデル１２と、下流タスク用モデル１３と、を有する。
表面検査装置１が取り扱う対象物は、表面性状を検査する際の検査対象となる物であれば、特に限定されるものではないが、例えば、製鉄分野における、鋼板、スラブ、ビレット、形鋼、鋼管等の鉄鋼製品を挙げることができる。
(Configuration of surface inspection device 1)
The surface inspection device 1 according to the present disclosure is a device used to inspect the surface of an object, that is, the surface inspection device 1 is a device that inspects the surface texture of the surface of an object.
3 is a schematic block diagram showing the configuration of a surface inspection apparatus 1 according to an embodiment. As shown in FIG. 3, the surface inspection apparatus 1 includes an image acquisition unit 11, an upstream task model 12, and a downstream task model 13.
The objects handled by the surface inspection device 1 are not particularly limited as long as they are objects that can be inspected when inspecting surface properties, but examples include steel products such as steel plates, slabs, billets, structural steel, and steel pipes in the steelmaking industry.
画像取得部１１は、対象物の表面を撮像することで得られた撮像画像を取得する機能部である。即ち、画像取得部１１は、カメラを備えるように構成されており、対象物の表面性状を検査するために予め対象物の表面に設定された検査位置を、当該カメラで撮像できるように、検査位置に対向する位置（搬送装置を俯瞰する位置）に設置される。画像取得部１１は、例えば（図示しない）搬送装置で搬送されている対象物について、対象物の表面の検査位置を撮像することで撮像画像を生成し取得する。画像取得部１１が取得した撮像画像は、後述するように対象物の表面検査に用いられる。
なお、画像取得部１１は、上述のように自らカメラを備え、画像取得部１１自体で撮像画像を生成することで撮像画像を取得してもよいが、自ら撮像するのと同様の撮像画像を、ネットワークを介して表面検査装置１の外部から取得（入手）するようにしてもよい。画像取得部１１は、例えば、検査の対象となる対象物を製造する製造拠点（製造ライン）とは異なる製造拠点（製造ライン）で撮像された画像を、撮像画像として取得するようにしてもよい。
The image acquisition unit 11 is a functional unit that acquires captured images obtained by capturing images of the surface of an object. That is, the image acquisition unit 11 is configured to include a camera, and is installed at a position opposite an inspection position (a position overlooking the conveying device) that is set in advance on the surface of the object so that the camera can capture an image of the inspection position on the surface of the object to inspect the surface texture of the object. The image acquisition unit 11 generates and acquires captured images, for example, of an object being conveyed by a conveying device (not shown), by capturing an image of the inspection position on the surface of the object. The captured images acquired by the image acquisition unit 11 are used for surface inspection of the object, as described below.
As described above, the image acquisition unit 11 may be provided with its own camera and acquire the captured image by generating the captured image by itself, but it may also acquire (obtain) an image similar to the one captured by the image acquisition unit 11 itself via a network from outside the surface inspection device 1. For example, the image acquisition unit 11 may acquire, as the captured image, an image captured at a manufacturing base (manufacturing line) different from the manufacturing base (manufacturing line) that manufactures the object to be inspected.
また、画像取得部１１は、後述する学習フェーズ（上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズ）において、対象物を撮像することで得られた撮像画像である第１学習用画像と第２学習用画像とを取得する機能部でもある。即ち、画像取得部１１は、対象物を撮像した撮像画像（第１学習用画像）を取得し、後述するように学習に用いることができる。また、画像取得部１１は、第１学習用画像と同様に、第２学習用画像を取得し、後述するように学習に用いることもできる。
第１学習用画像は、後述する学習フェーズにおいて、上流タスク用モデル１２の学習に用いられる画像である。第１学習用画像として用いられる画像は限定されないが、例えば、インターネット上の画像データを選別せずに第１学習用画像として用いてもよい。インターネット上の画像データを選別せずに第１学習用画像として用いる場合、表面検査の対象となる対象物とは無関係の画像を含んでいてもよい。第１学習用画像は、対象物が製造される複数の製造拠点又は複数の製造ラインの少なくともいずれか一つにおいて得られた画像であってもよい。第１学習用画像は、例えば、対象物と同じ産業分野の画像であってもよく、対象物と同じ素材の物品を撮像することで得られた画像であってもよい。なお、詳細は後述するが、第１学習用画像は、第２学習用画像とは異なり、ラベルを付与する必要がないため、容易かつ大量に準備することが可能である。
第２学習用画像は、後述する学習フェーズにおいて、下流タスク用モデル１３の学習に用いられる画像である。第２学習用画像は、対象物の表面を撮像することで得られた撮像画像であって、ラベルと組み合わされることで、教師ありデータ２２０を構成する画像である。
なお、第１学習用画像と第２学習用画像とは、互いに、全て異なる画像で構成されていてもよく、第１学習用画像と第２撮像画像の一部が、同一の画像で構成されていてもよい。
また、画像取得部１１は、後述する推論フェーズ（上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズ）において、検査の対象となる対象物を撮像することで得られた撮像画像である検査用画像を取得する機能部でもある。即ち、撮像画像取得部１１は、検査工程に搬送されてきた対象物等のように、表面性状を検査する必要がある対象物を検査する際に、その着目する検査対象物の表面の検査位置を撮像して、撮像画像を生成し、取得することもできる。この際取得される表面検査に供される撮像画像を、以下では検査用画像と称する。後述するように、検査用画像は、着目する検査対象物の表面性状検査に用いられる。
上流タスク用モデル１２は、入力された対象物の表面を撮像することで得られた撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる機能部である。即ち、上流タスク用モデル１２は、基盤モデルを備えるように構成されている。
基盤モデルは、極めて大量の画像や、画像に限らず文章でも音でもよい、種々のデータで構成された（ラベルが付与されていない）教師なしデータ２１０が入力されることで、教師なし学習がなされた大規模なニューラルネットワークである。基盤モデルの学習の手法としては、深層学習の分野で公知の種々の手法を用いることができるため、特に限定はされないが、例えば、入力する画像や中間特徴量の一部をマスクした場合の再構成誤差を最小化する手法が考えられる。このような学習により、（学習済みの）基盤モデルは、画像の持つ本質的な特徴を、抽出できるようになることが期待できる。
上流タスク用モデル１２は、こうした基盤モデルを備えていることで、画像が入力されれば、その画像の持つ本質的な特徴を抽出することが可能であるが、好ましくは、各製造拠点又は製造ラインにおける対象物の表面性状に係る画像である第１撮像画像を用いて学習をするようにしておくことで、製造拠点や製造ライン毎における対象物の表面性状に係る特徴量を、高精度に抽出することもできる。
また、上流タスク用モデル１２は、後述する学習フェーズ（上流タスク用モデル及び前記下流タスク用モデルの最適化を行うフェーズ）において、第１学習用画像を入力することで、学習がなされる機能部でもある。即ち、上流タスク用モデル１２は、基盤モデルを備えて構成されており、基盤モデルは教師なし学習で学習がなされることから、上流タスク用モデル１２は、（取得するのに人手等の労力を要する）教師ありデータ２２０を必要とすることなく、教師なしデータ２１０である第１学習用画像だけを用いて、基盤モデルの学習を進めることができる。そのため、上流タスク用モデル１２の学習では、教師ありデータ２２０を取得する労力を必要としないことから、従来の教師あり学習で学習された深層学習モデルを用いる場合に比べて、容易に、画像の特徴を抽出する機能を得ることができる。
また、上流タスク用モデル１２は、後述する推論フェーズ（上流タスク用モデル及び前記下流タスク用モデルにより推論を行うフェーズ）において、検査用画像を入力することで、前記検査用画像に対応する特徴量を出力する機能部でもある。
即ち、上流タスク用モデル１２は、推論フェーズの段階では、学習フェーズを経ることで、特徴量を抽出できるようになった学習済みの基盤モデルから構成されており、対象物の表面性状を検査するにあたって、検査したい対象物を撮像した検査用画像を、学習済みの基盤モデルに入力することで、その特徴量を取得する。つまり、上流タスク用モデル１２は、検査用画像の持つ本質的な情報を維持したまま、画像という多次元データを、特徴量へ低次元化することができる。つまり、上流タスク用モデル１２は、検査用画像を入力として、検査用画像から抽出された特徴量を出力する。
下流タスク用モデル１３は、深層学習モデルからなる機能部である。即ち、下流タスク用モデル１３も、上流タスク用モデル１２と同様に深層学習モデルを備えているが、上流タスク用モデル１２が、特徴量を出力する基盤モデルとしてのニューラルネットワークを備えているのに対し、下流タスク用モデル１３は、教師あり学習で学習させる従来型のニューラルネットワークを備えている点で相違している。
下流タスク用モデル１３は、後述する学習フェーズ（上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズ）において、第２学習用画像を上流タスク用モデル１２に入力して得られた特徴量と、特徴量に対応する対象物の表面の状態を示すラベルと、を入力することで、教師あり学習による学習がなされる機能部でもある。
下流タスク用モデル１３に含まれる深層学習モデルが学習に用いる教師ありデータ２２０は、上流用タスクモデル１２から得られた特徴量と、特徴量の抽出に使用した画像に写った対象物の表面性状をオペレータや検査員が確認することで得られた、表面性状の種類の正解を示す情報（ラベル）と、を組み合わせることで構成されている。
即ち、下流タスク用モデル１３は、深層学習モデルを学習させる学習フェーズにおいては、第２学習用画像を上流タスク用モデル１２に入力することで得られた特徴量を、深層学習モデルに入力することで推論させ、その推論結果と、第２撮像画像を検査員やオペレータが確認して付与した当該特徴量に対応する正解（ラベル）との差異を、最小化するような最適化演算による学習がなされる。
そのため、学習が進んだ後には、下流タスク用モデル１３が備える学習済みの深層学習モデルは、入力された特徴量から対象物の表面の状態を推論することができる、検査用モデルとしての機能を有することになる。
また、下流タスク用モデル１３は、後述する推論フェーズ（上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズ）において、検査用画像に対応する特徴量を入力することで、検査の対象となる対象物の表面の状態を出力する機能部でもある。即ち、下流タスク用モデル１３は、入力された特徴量から対象物の表面の状態を推論することができる深層学習モデルから構成されており、表面性状を検査する際には、検査したい対象物を撮像した検査用画像に基づいて上流タスク用モデル１２が出力した特徴量を、深層学習モデル（検査用モデル）に入力することで、対象物の表面の状態を推論し、出力する。
そのため、下流タスク用モデル１３は、上流タスク用モデル１２で低次元化された特徴量に基づいて、表面検査に係る推論を実行することになる。即ち、下流タスク用モデル１３には、画像の本質的な情報が凝縮された特徴量が入力されるため、下流タスク用モデル１３は、精度良く対象物の表面の状態（特に、欠陥の種類）を推論することができる。
なお、学習フェーズとは、深層学習の分野でよく知られているように、最適化が進んでいない深層学習モデルの各階層を構成する重み付け係数を最適化する（学習させる）段階のことであり、より具体的には、上流タスク用モデル１２に含まれる基盤モデルであれば、例えば、基盤モデルに第１学習用画像からなる教師なしデータ２１０を入力し、基盤モデルの最適化演算を繰り返す段階のことをいい、下流タスク用モデル１３に含まれる検査用モデルであれば、例えば、検査用モデルに第２学習用画像に基づいて上流タスク用モデル１２から出力された特徴量に係る教師ありデータ２２０を入力し、検査用モデルの最適化演算を繰り返す段階のことをいう。
また、推論フェーズとは、深層学習の分野でよく知られているように、学習フェーズを経ることで最適化が進んだ学習済み深層学習モデルを用い、入力される画像や特徴量に基づいて推論を行う段階のことであり、より具体的には、上流タスク用モデル１２に含まれる基盤モデルであれば、例えば、学習済みの基盤モデルに検査用画像を入力し、検査用画像に写った対象物の表面の表面性状に係る特徴量を推論する段階のことをいい、下流タスク用モデル１３に含まれる検査用モデルであれば、例えば、学習済みの検査用モデルに検査用画像に基づいて上流タスク用モデル１２から出力された特徴量を入力し、検査用画像に写った対象物の表面の状態を推論する段階のことをいう。
The image acquisition unit 11 also functions as a functional unit that acquires first learning images and second learning images, which are captured images of an object, in a learning phase (a learning phase in which the upstream task model and the downstream task model are optimized), which will be described later. That is, the image acquisition unit 11 acquires captured images of an object (first learning images), which can be used for learning, as will be described later. Similarly to the first learning images, the image acquisition unit 11 can also acquire second learning images, which can be used for learning, as will be described later.
The first training images are images used to train the upstream task model 12 in the training phase, which will be described later. Images used as the first training images are not limited. For example, image data on the Internet may be used as the first training images without being selected. When image data on the Internet is used as the first training images without being selected, images unrelated to the object to be surface inspected may be included. The first training images may be images obtained at at least one of multiple manufacturing sites or multiple production lines where the object is manufactured. The first training images may be, for example, images from the same industry as the object, or images obtained by capturing images of an item made of the same material as the object. Unlike the second training images, the first training images do not require labeling, which will be described in detail later, and therefore can be easily prepared in large quantities.
The second training images are images used in the training phase described below for training the downstream task model 13. The second training images are captured images obtained by capturing images of the surface of an object, and are images that constitute supervised data 220 when combined with labels.
The first learning image and the second learning image may be composed entirely of different images, or a portion of the first learning image and a portion of the second captured image may be composed of the same image.
The image acquisition unit 11 is also a functional unit that acquires inspection images, which are captured images obtained by capturing images of objects to be inspected in the inference phase (the inference phase in which inference is performed using the upstream task model and the downstream task model) described below. That is, when inspecting an object whose surface texture needs to be inspected, such as an object transported to an inspection process, the captured image acquisition unit 11 can also capture an inspection position on the surface of the target object to generate and acquire the captured image. The captured image used for surface inspection acquired in this case is hereinafter referred to as the inspection image. As described below, the inspection image is used to inspect the surface texture of the target object.
The upstream task model 12 is a functional unit that includes a base model, which is a deep learning neural network that aims to extract features of an image obtained by capturing an image of the surface of an input object. That is, the upstream task model 12 is configured to include the base model.
The base model is a large-scale neural network that has undergone unsupervised learning by inputting (unlabeled) unsupervised data 210 consisting of an extremely large number of images and various data, including not only images but also text and sound. The training method for the base model is not particularly limited, and various well-known methods in the field of deep learning can be used. For example, a method that minimizes reconstruction errors when a portion of the input image or intermediate feature is masked can be considered. Through such learning, the (trained) base model is expected to be able to extract essential features of the image.
Since the upstream task model 12 is equipped with such a base model, when an image is input, it is possible to extract the essential features of the image. Preferably, by having the model 12 learn using the first captured image, which is an image relating to the surface properties of the object at each manufacturing site or manufacturing line, it is also possible to extract with high accuracy feature quantities relating to the surface properties of the object at each manufacturing site or manufacturing line.
Furthermore, the upstream task model 12 is also a functional unit that learns by inputting first training images during the learning phase (a phase in which the upstream task model and the downstream task model are optimized), which will be described later. That is, the upstream task model 12 is configured with a base model, and the base model is trained using unsupervised learning. Therefore, the upstream task model 12 can proceed with training the base model using only the first training images, which are unsupervised data 210, without requiring supervised data 220 (which requires manual or other effort to acquire). Therefore, training the upstream task model 12 does not require the effort of acquiring supervised data 220, and therefore, the function of extracting image features can be more easily obtained compared to using a deep learning model trained using conventional supervised learning.
The upstream task model 12 is also a functional unit that, in the inference phase (a phase in which inference is performed using the upstream task model and the downstream task model) described below, receives an inspection image as an input and outputs feature quantities corresponding to the inspection image.
That is, in the inference phase, the upstream task model 12 is composed of a trained base model that has gone through the learning phase and is capable of extracting features, and when inspecting the surface texture of an object, an inspection image of the object to be inspected is input to the trained base model to obtain its features. In other words, the upstream task model 12 can reduce the dimension of the image, which is multidimensional data, to features while maintaining the essential information contained in the inspection image. In other words, the upstream task model 12 receives an inspection image as input and outputs features extracted from the inspection image.
The downstream task model 13 is a functional unit consisting of a deep learning model. That is, the downstream task model 13 also includes a deep learning model like the upstream task model 12. However, the downstream task model 13 differs in that the upstream task model 12 includes a neural network as a base model that outputs feature quantities, whereas the downstream task model 13 includes a conventional neural network that is trained by supervised learning.
The downstream task model 13 is also a functional unit that performs supervised learning by inputting the feature values obtained by inputting the second learning image into the upstream task model 12 and the label indicating the surface condition of the object corresponding to the feature values in the learning phase (a learning phase in which the upstream task model and the downstream task model are optimized) described below.
The supervised data 220 used for learning by the deep learning model included in the downstream task model 13 is composed of a combination of features obtained from the upstream task model 12 and information (labels) indicating the correct type of surface texture obtained by an operator or inspector checking the surface texture of the object shown in the image used to extract the features.
That is, in the learning phase in which the deep learning model is trained, the downstream task model 13 performs inference by inputting the feature values obtained by inputting the second learning image into the upstream task model 12 into the deep learning model, and learns by an optimization calculation that minimizes the difference between the inference result and the correct answer (label) corresponding to the feature value assigned by an inspector or operator after checking the second captured image.
Therefore, after the learning process has progressed, the trained deep learning model provided in the downstream task model 13 will function as an inspection model, capable of inferring the surface condition of an object from the input features.
Furthermore, the downstream task model 13 is also a functional unit that outputs the surface condition of the object to be inspected by inputting feature quantities corresponding to an inspection image in an inference phase (an inference phase in which inference is performed using the upstream task model and the downstream task model) described below. That is, the downstream task model 13 is composed of a deep learning model that can infer the surface condition of the object from the input feature quantities, and when inspecting the surface texture, the feature quantities output by the upstream task model 12 based on an inspection image of the object to be inspected are input to the deep learning model (inspection model), thereby inferring and outputting the surface condition of the object.
Therefore, the downstream task model 13 performs inference related to surface inspection based on the feature quantities reduced in dimension by the upstream task model 12. In other words, the downstream task model 13 receives feature quantities that condense essential information about the image, and therefore the downstream task model 13 can infer the surface condition of the object (in particular, the type of defect) with high accuracy.
As is well known in the field of deep learning, the learning phase refers to a stage in which weighting coefficients constituting each layer of a deep learning model that has not yet been optimized are optimized (trained). More specifically, in the case of a base model included in upstream task model 12, this refers to a stage in which, for example, unsupervised data 210 consisting of a first training image is input to the base model and optimization calculations for the base model are repeated. In the case of an inspection model included in downstream task model 13, this refers to a stage in which, for example, supervised data 220 relating to the feature quantities output from upstream task model 12 based on the second training image is input to the inspection model and optimization calculations for the inspection model are repeated.
As is well known in the field of deep learning, the inference phase refers to a stage in which inference is made based on input images and feature quantities using a trained deep learning model that has been optimized through the training phase. More specifically, in the case of a base model included in the upstream task model 12, this refers to a stage in which, for example, an inspection image is input into the trained base model and feature quantities related to the surface properties of the surface of the object depicted in the inspection image are inferred. In the case of an inspection model included in the downstream task model 13, this refers to a stage in which, for example, feature quantities output from the upstream task model 12 based on the inspection image are input into the trained inspection model and the surface condition of the object depicted in the inspection image is inferred.
また補足すると、一般に、基盤モデルをはじめとしたニューラルネットワークモデルは、多段の階層構造を有し、極めて多数の重み付け係数を含むため、製造ラインで要求される高速な判定（例えば、リアルタイムの判定）に適用しようとしても、処理時間やハードウェア負荷の面から、困難となることがあった。また、これらの課題を解決するために、計算資源を導入することは、コストが増加するという問題があった。
そのため、学習フェーズにおいて生成した学習モデル（上流タスク用モデル１２、下流タスク用モデル１３）は、例えば、学習済み上流タスク用モデル１２及び学習済み下流タスク用モデル１３の全体に対し、深層学習の分野で公知である、蒸留又は量子化といったモデル小型化技術を用いるようにしてもよい。
Furthermore, neural network models, including basic models, generally have a multi-stage hierarchical structure and include an extremely large number of weighting coefficients, which makes it difficult to apply them to the high-speed judgments (e.g., real-time judgments) required on production lines in terms of processing time and hardware load. Furthermore, introducing computational resources to solve these problems increases costs.
Therefore, the learning models (upstream task model 12, downstream task model 13) generated in the learning phase may be subjected to model downsizing techniques such as distillation or quantization, which are well known in the field of deep learning, for example, for the entire trained upstream task model 12 and the entire trained downstream task model 13.
蒸留は、大規模な教師モデルの知識を小型の生徒モデルに転移させる方法である。まず教師モデルが訓練され、各入力データに対して確率分布（soft targets）を生成する。生徒モデルは、この確率分布を用いて訓練されることで、教師モデルに近い精度を維持しながらも、より軽量で効率的なモデルとなる。
量子化は、モデルのパラメータや中間層の出力を低精度の値に変換する技術である。量子化によりモデルのメモリ使用量と計算量が大幅に削減され、リアルタイム推論が求められる環境やリソースが限られたデバイスで利用することができる。
Distillation is a method for transferring knowledge from a large teacher model to a smaller student model. The teacher model is first trained to generate a probability distribution (soft targets) for each input data. The student model is then trained using this probability distribution, resulting in a lighter, more efficient model that maintains accuracy close to that of the teacher model.
Quantization is a technique that converts model parameters and intermediate layer outputs into lower-precision values. Quantization significantly reduces the memory usage and computational complexity of models, allowing them to be used in environments requiring real-time inference or on devices with limited resources.
上記のように、学習済みモデル（学習済みの上流タスク用モデル１２（の基盤モデル）、及び、学習済みの下流タスク用モデル１３（の検査用モデル））を、蒸留又は量子化といったモデル小型化技術を用いて小型化したモデルによって代替することで、推論速度を向上させ、表面検査に要求される実装性を向上させることができる。 As described above, by replacing the trained models (the trained upstream task model 12 (base model) and the trained downstream task model 13 (inspection model)) with miniaturized models using model miniaturization techniques such as distillation or quantization, it is possible to improve inference speed and the implementability required for surface inspection.
また、表面検査装置１は、以上に説明した構成に加え、（図示しない）表面検査部を備えていてもよい。
表面検査部は、下流タスク用モデル１３（即ち、検査用モデル）から出力された検査の対象となる対象物の表面の状態に基づいて、検査の対象となる対象物を検査する機能部である。即ち、表面検査部は、対象物に生じた欠陥に基づいて、対象物が出荷できるか等に関し、対象物の良否を判定する。
また、表面検査部は、推論フェーズにおいて下流タスク用モデル１３から出力された推定結果を出力する出力部として機能してもよい。
また、以上では、表面検査装置１がそれ単体で、学習フェーズと推論フェーズの両方を実施する装置である場合を例に説明を行ったが、この場合に限定されず、表面検査装置１が、それ単体では学習フェーズだけを行う装置であったり、表面検査装置１が、それ単体では推論フェーズだけを行う装置であったりしてもよい。
Furthermore, the surface inspection device 1 may be provided with a surface inspection unit (not shown) in addition to the configuration described above.
The surface inspection unit is a functional unit that inspects the object to be inspected based on the surface condition of the object to be inspected output from the downstream task model 13 (i.e., the inspection model). That is, the surface inspection unit judges whether the object is pass or fail, such as whether the object can be shipped, based on defects that have occurred on the object.
The surface inspection unit may also function as an output unit that outputs the estimation results output from the downstream task model 13 in the inference phase.
Furthermore, in the above, an example has been described in which the surface inspection device 1 is a device that performs both the learning phase and the inference phase on its own, but this is not limited to this case, and the surface inspection device 1 may be a device that performs only the learning phase on its own, or the surface inspection device 1 may be a device that performs only the inference phase on its own.
（機器の構成）
本開示に係る表面検査装置１は、例えばパーソナルコンピューター等の情報機器を用いて構成される。表面検査装置１は、情報機器がバスで接続されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサとメモリとを備え、予め構成された制御プログラムを実行することで、それぞれの機能を担保するようにしてもよい。また、表面検査装置１は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを用いて実現されてもよい。また、制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。
(Device configuration)
The surface inspection device 1 according to the present disclosure is configured using an information device such as a personal computer. The surface inspection device 1 may include a processor such as a CPU (Central Processing Unit) and memory connected to the information device via a bus, and each function may be ensured by executing a preconfigured control program. The surface inspection device 1 may also be implemented using hardware such as an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), or an FPGA (Field Programmable Gate Array). The control program may also be recorded on a computer-readable recording medium. Examples of computer-readable recording media include portable media such as a flexible disk, a magneto-optical disk, a ROM, and a CD-ROM, and storage devices such as a hard disk built into a computer system. The program may also be transmitted via a telecommunications line.
（表面検査装置１の動作）
次に、本実施形態に係る表面検査装置１の動作を、図４Ａ及び図４Ｂに基づき、学習フェーズと推論フェーズとに分けて説明する。表面検査装置１は、下記の処理を行うことで、対象物の表面を検査する表面検査方法を実現する。
以下では、対象物が製造ラインで製造される鋼板であり、表面検査装置１が、当該鋼板の表面の欠陥を推定する場合を例として説明する。
(Operation of surface inspection device 1)
Next, the operation of the surface inspection apparatus 1 according to this embodiment will be described, divided into a learning phase and an inference phase, with reference to Figures 4A and 4B. The surface inspection apparatus 1 performs the following processes to realize a surface inspection method for inspecting the surface of an object.
In the following, an example will be described in which the object is a steel plate manufactured on a production line, and the surface inspection device 1 estimates defects on the surface of the steel plate.
（学習フェーズの動作）
図４Ａに、本実施形態に係る表面検査装置１の学習フェーズの動作を示すフローチャートを示す。表面検査装置１において、図４Ａに示す学習フェーズの処理が開始されると、ステップＳ１１に進む。
(Learning phase operation)
Fig. 4A shows a flowchart illustrating the operation of the learning phase of the surface inspecting apparatus 1 according to this embodiment. When the surface inspecting apparatus 1 starts the processing of the learning phase shown in Fig. 4A, the process proceeds to step S11.
ステップＳ１１では、画像取得部１１を用いて、対象物を撮像することで得られた撮像画像である第１学習用画像と第２学習用画像とを取得する（学習用画像取得ステップ）。 In step S11, the image acquisition unit 11 is used to acquire a first learning image and a second learning image, which are captured images of the object (learning image acquisition step).
第１学習用画像は、鋼板表面を撮像した画像であって、後で基盤モデルの学習のための教師なしデータ２１０となる画像である。第１学習用画像は、対象物が製造される拠点又はラインにおいて、対象物を撮像することで得られた撮像画像である。なお、第１学習用画像は、鋼板表面を撮像した画像であればよく、欠陥の有無や、鋼板の種類は限定されない。第１学習用画像は、表面検査装置１で判定する欠陥以外の欠陥を含む画像であってもよく、表面検査装置１で判定する鋼板（対象物）とは異なる種類の鋼板の画像を含んでいてもよい。なお、表面検査装置１で判定する鋼板（対象物）とは異なる種類の鋼板とは、表面検査装置１で判定する鋼板（対象物）と化学組成、金属組織及び製造条件の少なくともいずれか一つが異なる鋼板である。 The first training image is an image of the steel plate surface, which will later become unsupervised data 210 for training the base model. The first training image is an image obtained by imaging the object at the base or line where the object is manufactured. Note that the first training image may be an image of the steel plate surface, and there are no limitations on the presence or absence of defects or the type of steel plate. The first training image may be an image containing defects other than those determined by the surface inspection device 1, or may include an image of a steel plate of a different type from the steel plate (object) determined by the surface inspection device 1. Note that a steel plate of a different type from the steel plate (object) determined by the surface inspection device 1 is a steel plate that differs from the steel plate (object) determined by the surface inspection device 1 in at least one of chemical composition, metal structure, and manufacturing conditions.
第２学習用画像は、対象物となる鋼板の表面を撮像した画像であって、後で検査用モデルの学習のために、ラベルと組み合わされることで、教師ありデータ２２０となる画像である。第２学習用画像は、表面検査装置１で判定する欠陥のいずれかに対応する欠陥を含む画像であって、表面検査装置１で検査を行う鋼板（対象物）の画像である。
ステップＳ１１での処理が終わると、ステップＳ１２に進む。
The second learning image is an image of the surface of a steel plate that is an object, and is an image that will later be combined with a label for learning an inspection model to become supervised data 220. The second learning image is an image that includes a defect that corresponds to one of the defects determined by the surface inspection device 1, and is an image of the steel plate (object) that is to be inspected by the surface inspection device 1.
When the processing in step S11 is completed, the process proceeds to step S12.
ステップＳ１２では、上流タスク用モデル１２に、第１学習用画像を入力することで、学習がなされる（上流タスク用モデル学習ステップ）。ステップＳ１２では、上流タスク用モデル１２（より具体的には、上流タスク用モデル１２に含まれる基盤モデル）に、ステップＳ１１で取得した第１学習用画像を教師なしデータ２１０として入力することで、教師なし学習がなされる。ステップＳ１２では、上流タスク用モデル１２に対して教師なし学習を実施することで、上流タスク用モデル１２に含まれる基盤モデルの最適化を進めることで、上流タスク用モデル１２が画像データ（多次元データ）を特徴量のデータに低次元化する能力を向上させる。 In step S12, the first training image is input into the upstream task model 12, thereby performing learning (upstream task model learning step). In step S12, the first training image acquired in step S11 is input as unsupervised data 210 into the upstream task model 12 (more specifically, the base model included in the upstream task model 12), thereby performing unsupervised learning. In step S12, unsupervised learning is performed on the upstream task model 12, thereby optimizing the base model included in the upstream task model 12, thereby improving the ability of the upstream task model 12 to reduce image data (multidimensional data) to feature data.
ステップＳ１２では、上流タスク用モデル１２に、様々な鋼板表面を撮像した画像を第１学習用画像として入力する。これにより、上流タスク用モデル１２に、鋼板表面の特徴量の抽出に特化した、学習済み基盤モデルを構築する。第１学習用画像に基づき、鋼板表面の特徴量の抽出に特化した学習済み上流タスク用モデル１２を構築することを、学習フェーズの上流タスク１１０と称する。
ここでは、基盤モデルを、自ら第１学習用画像を用いて学習させることで、上流タスク用モデル１２に学習済みの基盤モデルを構築しているが、上流タスク用モデル１２を構成する基盤モデルとして、公知の画像認識向けの基盤モデルを外部から入手し、用いるようにしてもよい。
ステップＳ１２での処理が終わると、ステップＳ１３に進む。
In step S12, images of various steel plate surfaces are input as first learning images to the upstream task model 12. This constructs a trained base model specialized for extracting feature amounts of the steel plate surface in the upstream task model 12. The construction of the trained upstream task model 12 specialized for extracting feature amounts of the steel plate surface based on the first learning images is referred to as an upstream task 110 of the learning phase.
Here, the base model is trained using the first training image, thereby constructing a trained base model for the upstream task model 12. However, a well-known base model for image recognition may be obtained from outside and used as the base model that constitutes the upstream task model 12.
When the process in step S12 is completed, the process proceeds to step S13.
ステップＳ１３では、下流タスク用モデル１３に、第２学習用画像を上流タスク用モデル１２に入力して得られた特徴量と、特徴量に対応する対象物の表面の状態を示すラベルと、を入力することで、教師あり学習による学習がなされる（下流タスク用モデル学習ステップ）。なお、第２学習用画像を上流タスク用モデル１２に入力して得られた特徴量と、特徴量に対応する対象物の表面の状態を示すラベルとに基づき、学習済み下流タスク用モデル１３を構築することを、学習フェーズの下流タスク１２０と称する。
即ち、ステップＳ１３では、まず、ステップＳ１２において、対象の製造ラインで製造された鋼板の表面を撮像した画像である第２学習用画像を、上流タスク用モデル１２に入力することで得られた特徴量を取得する。次に、当該第２学習用画像を、検査員又はオペレータが確認することで、第２学習用画像に写った対象物の表面の状態を示す正解であるラベル（即ち、取得した特徴量に対応する対象物の表面の状態を示すラベル）を、取得する。そして、取得した特徴量を、下流タスク用モデル１３に入力することで、下流タスク用モデル１３から推論結果を取得し、推論結果と、特徴量に対応するラベルとが合致するように、下流タスク用モデル１３の重み付け係数を最適化する最適化演算を行う。こうした処理を繰り返すことで、鋼板の表面検査に適した学習済み下流タスク用モデル１３を構築する。
ステップＳ１３での処理が終わると、学習フェーズの処理が終了となる。
以上に説明した、ステップＳ１１～ステップＳ１３の処理が、表面検査装置１の学習フェーズの動作に相当する。表面検査装置１は、ステップＳ１１～ステップＳ１３の学習フェーズの動作だけを行うようにしてもよい。また、表面検査装置１は、ステップＳ１１～ステップＳ１３の学習フェーズの処理を行った後に、学習フェーズの処理に続けて、以下に説明するステップＳ１４～ステップＳ１６の推論フェーズの動作をするようにしてもよい。
In step S13, the downstream-task model 13 is trained by supervised learning by inputting the feature amounts obtained by inputting the second training images into the upstream-task model 12 and the labels indicating the surface conditions of the object corresponding to the feature amounts (downstream-task model training step). Note that the construction of the trained downstream-task model 13 based on the feature amounts obtained by inputting the second training images into the upstream-task model 12 and the labels indicating the surface conditions of the object corresponding to the feature amounts is referred to as a downstream task 120 of the training phase.
That is, in step S13, first, feature quantities obtained in step S12 by inputting second training images, which are images of the surface of a steel plate manufactured on a target production line, into the upstream task model 12 are acquired. Next, an inspector or operator checks the second training images to acquire labels that are correct answers indicating the surface condition of the object depicted in the second training images (i.e., labels indicating the surface condition of the object corresponding to the acquired feature quantities). The acquired feature quantities are then input into the downstream task model 13, whereby an inference result is obtained from the downstream task model 13. An optimization calculation is then performed to optimize the weighting coefficients of the downstream task model 13 so that the inference result matches the label corresponding to the feature quantities. By repeating this process, a trained downstream task model 13 suitable for surface inspection of steel plates is constructed.
When the process in step S13 is completed, the learning phase process is completed.
The processing of steps S11 to S13 described above corresponds to the operation of the learning phase of the surface inspection apparatus 1. The surface inspection apparatus 1 may be configured to perform only the operation of the learning phase of steps S11 to S13. Furthermore, after performing the processing of the learning phase of steps S11 to S13, the surface inspection apparatus 1 may perform the operation of the inference phase of steps S14 to S16 described below following the processing of the learning phase.
（推論フェーズの動作）
図４Ｂに、本実施形態に係る表面検査装置１の推論フェーズの動作を示すフローチャートを示す。表面検査装置１において、図４Ｂに示す推論フェーズの処理が開始されると、ステップＳ１４に進む。
ステップＳ１４では、画像取得部１１を用いて、検査の対象となる対象物を撮像することで得られた撮像画像である検査用画像を取得する（検査用画像取得ステップ）。ステップＳ１４で取得する検査用画像は、検査の対象となる対象物の表面を撮像して得られた画像である。即ち、ステップＳ１４では、表面検査を行うのに用いる画像を検査用画像として取得する。
ステップＳ１４での処理が終わると、ステップＳ１５に進む。
(Inference phase operation)
Fig. 4B is a flowchart showing the operation of the inference phase of the surface inspecting apparatus 1 according to this embodiment. When the processing of the inference phase shown in Fig. 4B is started in the surface inspecting apparatus 1, the process proceeds to step S14.
In step S14, an inspection image is acquired, which is an image obtained by imaging the object to be inspected, using the image acquisition unit 11 (inspection image acquisition step). The inspection image acquired in step S14 is an image obtained by imaging the surface of the object to be inspected. That is, in step S14, an image to be used for surface inspection is acquired as the inspection image.
When the process in step S14 is completed, the process proceeds to step S15.
ステップＳ１５では、上流タスク用モデル１２を用いて、検査用画像を入力することで、検査用画像に対応する特徴量を出力する（上流タスク用モデル推論ステップ）。即ち、ステップＳ１５では、ステップＳ１４で取得した検査用画像を、ステップＳ１２で構築された学習済みの上流タスク用モデル１２（特に、上流タスク用モデル１２に含まれる学習済みの基盤モデル）に入力することで、推論を行い、対象物の表面の状態の推定に用いられる特徴量を出力する。ここで出力される特徴量は、多次元データである検査用画像を、検査用画像の持つ本質的な情報を維持したまま、低次元化した情報に相当する。
ステップＳ１５での処理が終わると、ステップＳ１６に進む。
In step S15, an inspection image is input using the upstream task model 12, and feature quantities corresponding to the inspection image are output (upstream task model inference step). That is, in step S15, the inspection image acquired in step S14 is input to the trained upstream task model 12 constructed in step S12 (particularly the trained base model included in the upstream task model 12), whereby inference is performed and feature quantities used to estimate the surface condition of the object are output. The feature quantities output here correspond to information obtained by reducing the dimensionality of the inspection image, which is multidimensional data, while maintaining the essential information contained in the inspection image.
When the process in step S15 is completed, the process proceeds to step S16.
ステップＳ１６では、下流タスク用モデル１３を用いて、検査用画像に対応する特徴量を入力することで、検査の対象となる対象物の表面の状態を出力する（下流タスク用モデル推論ステップ）。即ち、ステップＳ１６では、上流タスク用モデル推論ステップＳ１５で得られた検査用画像の特徴量を、学習済みの下流タスク用モデル１３（特に、下流タスク用モデル１３に含まれる検査用モデル）に入力し、下流タスク用モデル１３は、特徴量に基づいて対象物の表面の状態を推定する。
ステップＳ１６での処理が終わると、推論フェーズの処理が終了となる。
以上に説明した、ステップＳ１４～ステップＳ１６の処理が、表面検査装置１の推論フェーズの動作に相当する。表面検査装置１は、ステップＳ１４～ステップＳ１６の推論フェーズの動作だけを行い、学習済みの上流タスク用モデル１２及び学習済みの下流タスク用モデル１３を用いて、それぞれの推論を行えるようにしてもよい。また、表面検査装置１は、ステップＳ１１～ステップＳ１３の学習フェーズの処理を行った後に、学習フェーズの処理に続けて、ステップＳ１４～ステップＳ１６の推論フェーズの動作をするようにしてもよい。ステップＳ１６の処理が終わると、表面検査装置１の処理が終了となる。
In step S16, the downstream task model 13 is used to input feature amounts corresponding to the inspection image, thereby outputting the surface state of the object to be inspected (downstream task model inference step). That is, in step S16, the feature amounts of the inspection image obtained in the upstream task model inference step S15 are input to the trained downstream task model 13 (particularly, the inspection model included in the downstream task model 13), and the downstream task model 13 estimates the surface state of the object based on the feature amounts.
When the process in step S16 is completed, the process of the inference phase is completed.
The processing of steps S14 to S16 described above corresponds to the operation of the inference phase of the surface inspection device 1. The surface inspection device 1 may perform only the operation of the inference phase of steps S14 to S16, and may perform each inference using the trained upstream task model 12 and the trained downstream task model 13. Furthermore, the surface inspection device 1 may perform the processing of the learning phase of steps S11 to S13, and then perform the operation of the inference phase of steps S14 to S16 following the processing of the learning phase. When the processing of step S16 is completed, the processing of the surface inspection device 1 ends.
なお、ステップＳ１６の処理が完了した時点では、表面検査装置１の処理を終了とはせず、ステップＳ１６での処理の後に、（図示しない）対象物検査ステップを行うようにしてもよい。対象物検査ステップでは、表面検査装置１は、下流タスク用モデル１３から出力された対象物の表面の状態に基づいて、表面検査部を用いて、検査の対象となる対象物を検査する。対象物検査ステップを実行した場合は、対象物検査ステップの終了後に、表面検査装置１の処理が終了となる。 Note that the processing of the surface inspection device 1 does not end when the processing of step S16 is completed, and an object inspection step (not shown) may be performed after the processing of step S16. In the object inspection step, the surface inspection device 1 inspects the object to be inspected using the surface inspection unit based on the surface state of the object output from the downstream task model 13. If the object inspection step is performed, the processing of the surface inspection device 1 ends after the object inspection step is completed.
（まとめ）
以上に説明したように、本実施形態の表面検査装置１では、学習フェーズの上流タスク１１０において、上流タスク用モデル１２に含まれる基盤モデルが、教師なし学習を通じて画像（多次元データ）の持つ本質的な情報を維持したまま特徴量に低次元化できる能力を獲得する。また、下流タスク１２０においては、教師ありデータ２２０による下流タスク用モデル１３に含まれる検査用モデルの学習が行われる。このとき、画像が持つ多次元データの本質的な情報は劣化することはなく、また、取得に労力を有する教師ありデータ２２０を必要とするのは、下流タスク１２０における検査用モデルだけである。そのため、従来の深層学習モデルと比べて、大幅に少ない量の教師ありデータ２２０で処理を実行できるため、従来の深層学習モデルより少ない労力で、従来の深層学習モデルと同等、もしくはそれ以上の精度の表面検査を実現することができる。
(summary)
As described above, in the surface inspection apparatus 1 of this embodiment, in the upstream task 110 of the learning phase, the base model included in the upstream task model 12 acquires the ability to reduce the dimension of an image (multidimensional data) to feature quantities through unsupervised learning while maintaining the essential information contained in the image. Furthermore, in the downstream task 120, the inspection model included in the downstream task model 13 is trained using supervised data 220. During this process, the essential information of the multidimensional data contained in the image is not degraded, and only the inspection model in the downstream task 120 requires the supervised data 220, which requires a lot of effort to acquire. Therefore, processing can be performed with a significantly smaller amount of supervised data 220 than conventional deep learning models, thereby achieving surface inspection with the same or higher accuracy as conventional deep learning models, but with less effort than conventional deep learning models.
また、従来の深層学習モデルは製造拠点や製造ラインに特化した専用の学習モデルであるため、他ラインへ移管して使うことは困難であるという課題があった。これに対し、第１学習用画像として、様々な画像で教師なし学習された基盤モデルは、汎用的な画像特徴抽出能力を獲得している。このため、拠点間やライン間で、背景、明暗、及び画質等が異なることによる多少の画像の差があっても、学習済み基盤モデルは、特定の対象物に関して汎用的な画像特徴抽出能力を獲得しているため、欠陥の本質的な特徴に係る特徴量を抽出することができる。このため、類似の製品を製造する他拠点や他ラインでも同一の学習済み基盤モデルを使うことができる。 Furthermore, conventional deep learning models are specialized learning models for specific manufacturing sites or production lines, making them difficult to transfer and use on other lines. In contrast, a base model that has undergone unsupervised training using a variety of images as first learning images has acquired the ability to extract general-purpose image features. Therefore, even if there are slight differences in images between sites or lines due to differences in background, brightness, image quality, etc., the trained base model has acquired the ability to extract general-purpose image features for specific objects, making it possible to extract feature quantities related to the essential characteristics of defects. This means that the same trained base model can be used at other sites or lines that manufacture similar products.
そのため、本実施形態における学習済みモデルを、類似の製品を製造する他拠点や他ラインに移管して使用する際は、下流タスク１２０における検査用モデル（下流タスク用モデル１３）のみを、少量の教師ありデータ２２０で追加学習し直すだけでよい。 Therefore, when the trained model in this embodiment is transferred and used at another site or line that manufactures similar products, it is only necessary to retrain the inspection model (downstream task model 13) in the downstream task 120 using a small amount of supervised data 220.
したがって、本実施形態の深層学習モデルによれば、基盤モデルの汎用性を生かして、複数拠点で同一の学習済み基盤モデルが使えることに加え、どの拠点においても、従来の深層学習モデルに比べて大幅に少ない教師ありデータ２２０で必要な検査性能を満たすことができる。 Therefore, with the deep learning model of this embodiment, the versatility of the base model is exploited, allowing the same trained base model to be used at multiple locations, and at any location, the required inspection performance can be achieved with significantly less supervised data 220 than with conventional deep learning models.
また、本開示の表面検査装置１では、第２学習用画像として、複数の製造拠点又は複数の製造ラインにおいて、対象物を撮像することで得られた撮像画像を用いてもよい。
複数拠点のデータ（撮像画像）をまとめて下流タスク１２０を実行することで、教師ありデータ２２０を取得するための負荷を低減することができる。例えば、製造業では、同一もしくは類似の製品を別拠点・別ラインで製造することがある。その場合は、別拠点・別ラインで製造した製品であっても、判別したい欠陥は共通であることがある。そのため、複数拠点のデータ（撮像画像）を一纏めにすることで、複数拠点またはラインにおいて共同で教師ありデータ２２０を作成できる。これにより、１拠点あたりで準備すべき教師ありデータ２２０の数を単一拠点で全数準備する場合に比べ削減できる。
Furthermore, in the surface inspection device 1 of the present disclosure, captured images obtained by capturing images of objects at multiple manufacturing sites or multiple manufacturing lines may be used as the second learning images.
By collecting data (captured images) from multiple locations and executing the downstream task 120, the load required to acquire the supervised data 220 can be reduced. For example, in the manufacturing industry, identical or similar products may be manufactured at different locations or on different lines. In such cases, even products manufactured at different locations or on different lines may share the same defects to be identified. Therefore, by collecting data (captured images) from multiple locations, the supervised data 220 can be jointly created at multiple locations or lines. This reduces the amount of supervised data 220 that needs to be prepared per location compared to preparing all data at a single location.
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、既に学習が完了した学習モデルを用いて、推論フェーズのみが実施される場合、表面検査装置は、入力された前記対象物の表面を撮像することで得られた撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、深層学習モデルからなる下流タスク用モデルと、を取得するモデル取得部を有していてもよい。
Although an embodiment of the present invention has been described in detail above with reference to the drawings, the specific configuration is not limited to this embodiment, and includes designs within the scope of the gist of the present invention.
For example, when only the inference phase is performed using a learning model that has already completed learning, the surface inspection device may have a model acquisition unit that acquires a model for an upstream task consisting of a base model that is a deep learning neural network intended to extract features of an image obtained by imaging the surface of the input object, and a model for a downstream task consisting of a deep learning model.
次に、本開示の実施例について説明するが、実施例での条件は、本開示の実施可能性及び効果を確認するために採用した一条件例であり、本開示は、この一条件例に限定されるものではない。本開示は、本開示の要旨を逸脱せず、本開示の目的を達成する限りにおいて、種々の条件を採用し得るものである。 Next, we will explain an example of the present disclosure. However, the conditions in the example are merely an example of conditions adopted to confirm the feasibility and effects of the present disclosure, and the present disclosure is not limited to these examples. Various conditions may be adopted in the present disclosure as long as they do not deviate from the gist of the present disclosure and achieve the objectives of the present disclosure.
本実施例では、製鉄プロセスで発生する６種類の代表的な欠陥を分類するタスクを下流タスクとして設定した。画像分類を実施するため、第２学習用画像には、予めラベルを付与した。評価用画像（検査用画像）として、画像を３３１４枚用意し、以下の３つの方法で学習させた学習済みモデルに入力し、鋼板表面の欠陥を推定した場合の正解率を算出した。 In this example, the downstream task was set to classify six types of typical defects that occur in the steelmaking process. To perform image classification, labels were assigned to the second training images in advance. 3,314 images were prepared as evaluation images (inspection images), and these were input into a trained model trained using the following three methods. The accuracy rate for estimating defects on the steel plate surface was calculated.
比較例：基盤モデルを使用しない、全て教師ありデータで学習した従来の深層学習モデルを用いた。教師データとして人手で正解のラベルを付与した１２４１２枚の学習用画像を入力し、学習済みモデルを生成した。
発明例１：一般ドメイン画像で構築された基盤モデルを上流タスク用モデルとして使用した。上流タスクでは、一般ドメイン画像を第１学習用画像として教師なし学習した汎用型基盤モデル（Dino-v2）を使用した。下流タスクでは、下流タスク用モデルに対し、教師ありデータ（第２学習用画像）の数を３５枚～９８９４枚で変えながら追加学習した。ここで、一般ドメイン画像とは、インターネット上にある多種多様な画像を示し、鋼板とは無関係の画像を含む。
発明例２：製造ラインの画像で構築された基盤モデルを上流タスク用モデルとして使用した。上流タスクでは、製鉄プロセスで撮影された画像約３０万枚を第１学習用画像として教師なし学習した基盤モデルを使用した。下流タスクでは、下流タスク用モデルに対し、発明例１と同様の方法で追加学習を実施した。
Comparative example: A conventional deep learning model was used, which did not use a base model and was trained entirely with supervised data. 12,412 training images with manually assigned correct labels were input as training data, and a trained model was generated.
Invention Example 1: A base model constructed using general domain images was used as the model for the upstream task. For the upstream task, a general-purpose base model (Dino-v2) was used, which underwent unsupervised learning using general domain images as first training images. For the downstream task, the model for the downstream task was additionally trained with supervised data (second training images) while varying the number of images from 35 to 9,894. Here, the general domain images refer to a wide variety of images available on the Internet, including images unrelated to steel sheets.
Example 2: A base model constructed using images from a production line was used as the model for the upstream task. For the upstream task, a base model was used that had undergone unsupervised learning using approximately 300,000 images taken during the steelmaking process as the first learning images. For the downstream task, additional learning was performed on the model for the downstream task using the same method as in Example 1.
図５に実施例の結果を示すグラフを示す。
比較例の学習モデルを用いた場合、１２４１２枚の教師ありデータを入力した結果、評価用画像３３１４枚に対する正解率８５％の学習済みモデルが生成された。
発明例１の学習済みモデル（一般画像で構築された基盤モデルを含む学習モデル）を用いた場合、比較例と同等の正解率（８５％）を得るために要する教師ありデータの数は８０００～９０００枚程度となった。また、発明例１の学習モデルの下流タスクの学習において、９８９４枚の教師ありデータを入力した結果、正解率８７％の学習済みモデルが生成された。
発明例２の学習済みモデル（製造ラインの画像で構築された基盤モデルを含む学習モデル）を用いた場合、比較例と同等の正解率（８５％）を得るために要する教師ありデータの数は３５０枚程度となった。また、発明例２の学習モデルの下流タスクの学習において、９８９４枚の教師ありデータを入力した結果、正解率９２％の学習済みモデルが生成された。
FIG. 5 shows a graph showing the results of the example.
When the learning model of the comparative example was used, 12,412 supervised data were input, and a learned model with an accuracy rate of 85% was generated for 3,314 evaluation images.
When the trained model of Example 1 (a training model including a base model constructed from general images) was used, the number of supervised data required to obtain the same accuracy rate (85%) as the comparative example was approximately 8,000 to 9,000 images. Furthermore, when 9,894 images of supervised data were input in training the downstream task of the training model of Example 1, a trained model with an accuracy rate of 87% was generated.
When the trained model of Example 2 (a training model including a base model constructed from images of the production line) was used, the number of supervised data required to obtain the same accuracy rate (85%) as the comparative example was approximately 350. Furthermore, when 9,894 supervised data were input in training the downstream task of the training model of Example 2, a trained model with an accuracy rate of 92% was generated.
この結果から、本開示の学習モデルのように、基盤モデルを教師なしデータにより学習させる上流タスクと、検査用モデルを教師ありデータにより学習させる下流タスクとに分離して表面検査用の学習モデル（欠陥判別モデル）を構築することで、所定の正解率を達成するために要する教師ありデータを削減することができる、または、従来と同等の量の教師ありデータによって、より高精度な学習モデルを構築することができることが明らかとなった。また、発明例２のように、対象物に関連する画像（本実施例では製造ラインの画像）で構築された基盤モデルを含む学習モデルは、一般画像で構築された基盤モデルを含む学習モデルと比較して、所定の正解率を達成するために要する教師ありデータを削減することができる、または、より高精度な学習モデルを構築することができることが明らかとなった。 These results demonstrate that by constructing a learning model (defect discrimination model) for surface inspection by separating the upstream task of training the base model using unsupervised data from the downstream task of training the inspection model using supervised data, as in the learning model disclosed herein, it is possible to reduce the amount of supervised data required to achieve a predetermined accuracy rate, or to construct a more accurate learning model using the same amount of supervised data as in the past. Furthermore, it is clear that a learning model including a base model constructed using images related to the object (in this example, images of the production line) as in Example 2 of the present invention can reduce the amount of supervised data required to achieve a predetermined accuracy rate, or to construct a more accurate learning model, compared to a learning model including a base model constructed using general images.
１ 表面検査装置
１１ 画像取得部
１２ 上流タスク用モデル
１３ 下流タスク用モデル
１１０ 上流タスク
１２０ 下流タスク
２１０ 教師なしデータ
２２０ 教師ありデータ
４００ 深層学習モデル（従来）
1 Surface inspection device 11 Image acquisition unit 12 Upstream task model 13 Downstream task model 110 Upstream task 120 Downstream task 210 Unsupervised data 220 Supervised data 400 Deep learning model (conventional)
Claims (5)
前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、
入力された前記対象物の表面を撮像することで得られた撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、
深層学習モデルからなる下流タスク用モデルと、
を有し、
前記上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズにおいて、
前記画像取得部は、前記対象物を撮像することで得られた撮像画像である第１学習用画像と第２学習用画像とを取得し、
前記上流タスク用モデルは、前記第１学習用画像を入力することで、学習がなされ、
前記下流タスク用モデルは、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、学習がなされ、
前記上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズにおいて、
前記画像取得部は、検査の対象となる前記対象物を撮像することで得られた撮像画像である検査用画像を取得し、
前記上流タスク用モデルは、前記検査用画像を入力することで、前記検査用画像に対応する特徴量を出力し、
前記下流タスク用モデルは、前記検査用画像に対応する前記特徴量を入力することで、前記検査の対象となる前記対象物の表面の状態を出力する、表面検査装置。 A surface inspection device for inspecting a surface of an object, comprising:
an image acquisition unit that acquires a captured image obtained by capturing an image of the surface of the object;
an upstream task model consisting of a base model that is a deep learning neural network intended to extract features of an image obtained by imaging the surface of the input object;
a model for downstream tasks consisting of a deep learning model;
and
In a learning phase in which the upstream task model and the downstream task model are optimized,
the image acquisition unit acquires a first learning image and a second learning image, which are captured images obtained by capturing images of the object;
the upstream task model is trained by inputting the first training image;
the downstream task model is trained by inputting feature amounts obtained by inputting the second training image into the upstream task model and labels indicating the surface state of the object corresponding to the feature amounts;
In an inference phase in which inference is performed using the upstream task model and the downstream task model,
the image acquisition unit acquires an inspection image, which is an image obtained by capturing an image of the object to be inspected;
the upstream task model receives the test image as input and outputs a feature quantity corresponding to the test image;
a downstream task model that outputs a surface state of the object to be inspected by inputting the feature amount corresponding to the inspection image;
前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、
入力された前記対象物の表面を撮像することで得られた撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、
深層学習モデルからなる下流タスク用モデルと、
を有し、
前記上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズにおいて、
前記画像取得部は、前記対象物を撮像することで得られた撮像画像である第１学習用画像と第２学習用画像とを取得し、
前記上流タスク用モデルは、前記第１学習用画像を入力することで、学習がなされ、
前記下流タスク用モデルは、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、学習がなされる、表面検査装置。 A surface inspection device for inspecting a surface of an object, comprising:
an image acquisition unit that acquires a captured image obtained by capturing an image of the surface of the object;
an upstream task model consisting of a base model that is a deep learning neural network intended to extract features of an image obtained by imaging the surface of the input object;
a model for downstream tasks consisting of a deep learning model;
and
In a learning phase in which the upstream task model and the downstream task model are optimized,
the image acquisition unit acquires a first learning image and a second learning image, which are captured images obtained by capturing images of the object;
the upstream task model is trained by inputting the first training image;
the downstream task model is trained by inputting feature amounts obtained by inputting the second training image into the upstream task model, and labels indicating the surface condition of the object corresponding to the feature amounts.
前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、
入力された前記対象物の表面を撮像することで得られた撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、深層学習モデルからなる下流タスク用モデルと、を取得するモデル取得部と、
を有し、
前記モデル取得部は、
前記対象物を撮像することで得られた撮像画像である第１学習用画像と第２学習用画像とを取得し、前記第１学習用画像を入力することで、学習がなされた前記上流タスク用モデルと、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、学習がなされた前記下流タスク用モデルと、を取得し、
前記上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズにおいて、
前記画像取得部は、前記検査の対象となる前記対象物を撮像することで得られた撮像画像である検査用画像を取得し、
前記上流タスク用モデルは、前記検査用画像を入力することで、前記検査用画像に対応する特徴量を出力し、
前記下流タスク用モデルは、前記検査用画像に対応する前記特徴量を入力することで、前記検査の対象となる前記対象物の表面の状態を出力する、表面検査装置。 A surface inspection device for inspecting a surface of an object, comprising:
an image acquisition unit that acquires a captured image obtained by capturing an image of the surface of the object;
a model acquisition unit that acquires an upstream task model consisting of a base model that is a deep learning neural network intended to extract features of an image obtained by imaging the surface of the input object, and a downstream task model consisting of a deep learning model;
and
The model acquisition unit
acquiring a first learning image and a second learning image, which are captured images obtained by capturing an image of the object, and acquiring the upstream task model trained by inputting the first learning image; and acquiring the downstream task model trained by inputting feature amounts obtained by inputting the second learning image into the upstream task model and labels indicating the surface state of the object corresponding to the feature amounts;
In an inference phase in which inference is performed using the upstream task model and the downstream task model,
the image acquisition unit acquires an inspection image, which is an image obtained by capturing an image of the object to be inspected;
the upstream task model receives the test image as input and outputs a feature quantity corresponding to the test image;
a downstream task model that outputs a surface state of the object to be inspected by inputting the feature amount corresponding to the inspection image;
前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、
入力された前記対象物の表面を撮像することで得られた撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、
深層学習モデルからなる下流タスク用モデルと、
を有する表面検査装置を用い、
前記上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズにおいて、
前記画像取得部を用いて、前記対象物を撮像することで得られた撮像画像である第１学習用画像と第２学習用画像とを取得する学習用画像取得ステップと、
前記上流タスク用モデルに、前記第１学習用画像を入力することで、学習がなされる上流タスク用モデル学習ステップと、
前記下流タスク用モデルに、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、教師あり学習による学習がなされる下流タスク用モデル学習ステップと、
前記上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズにおいて、
前記画像取得部を用いて、前記検査の対象となる前記対象物を撮像することで得られた撮像画像である検査用画像を取得する検査用画像取得ステップと、
前記上流タスク用モデルを用いて、前記検査用画像を入力することで、前記検査用画像に対応する特徴量を出力する上流タスク用モデル推論ステップと、
前記下流タスク用モデルを用いて、前記検査用画像に対応する前記特徴量を入力することで、前記検査の対象となる前記対象物の表面の状態を出力する下流タスク用モデル推論ステップと、
を有する、表面検査方法。 A surface inspection method for inspecting a surface of an object, comprising:
an image acquisition unit that acquires a captured image obtained by capturing an image of the surface of the object;
an upstream task model consisting of a base model that is a deep learning neural network intended to extract features of an image obtained by imaging the surface of the input object;
a model for downstream tasks consisting of a deep learning model;
Using a surface inspection device having
In a learning phase in which the upstream task model and the downstream task model are optimized,
a learning image acquisition step of acquiring, using the image acquisition unit, a first learning image and a second learning image, which are captured images obtained by capturing images of the object;
an upstream task model learning step in which the first learning image is input to the upstream task model to perform learning;
a downstream task model learning step in which the downstream task model is learned by supervised learning by inputting, into the downstream task model, feature amounts obtained by inputting the second learning image into the upstream task model and labels indicating the surface state of the object corresponding to the feature amounts;
In an inference phase in which inference is performed using the upstream task model and the downstream task model,
an inspection image acquisition step of acquiring an inspection image, which is an image obtained by imaging the object to be inspected using the image acquisition unit;
an upstream task model inference step of inputting the test image using the upstream task model and outputting feature quantities corresponding to the test image;
a downstream task model inference step of outputting a surface state of the object to be inspected by inputting the feature amount corresponding to the inspection image using the downstream task model;
A surface inspection method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2025184860A JP7807718B2 (en) | 2025-10-31 | 2025-10-31 | Surface inspection device and surface inspection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2025184860A JP7807718B2 (en) | 2025-10-31 | 2025-10-31 | Surface inspection device and surface inspection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2026009282A JP2026009282A (en) | 2026-01-19 |
| JP7807718B2 true JP7807718B2 (en) | 2026-01-28 |
Family
ID=98434951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2025184860A Active JP7807718B2 (en) | 2025-10-31 | 2025-10-31 | Surface inspection device and surface inspection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7807718B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018120300A (en) | 2017-01-23 | 2018-08-02 | 株式会社リコー | Information processing apparatus, information processing method, and program |
| JP2021167991A (en) | 2020-04-08 | 2021-10-21 | Ａｒｉｔｈｍｅｒ株式会社 | Vehicle damage estimation device, estimation program therefor and estimation method therefor |
| JP2022066637A (en) | 2020-10-19 | 2022-05-02 | 日立交通テクノロジー株式会社 | Foreign matter detection device, foreign matter detection system, and foreign matter detection method |
| JP2025167282A (en) | 2024-04-25 | 2025-11-07 | 日本製鉄株式会社 | Defect inspection device and defect inspection method |
-
2025
- 2025-10-31 JP JP2025184860A patent/JP7807718B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018120300A (en) | 2017-01-23 | 2018-08-02 | 株式会社リコー | Information processing apparatus, information processing method, and program |
| JP2021167991A (en) | 2020-04-08 | 2021-10-21 | Ａｒｉｔｈｍｅｒ株式会社 | Vehicle damage estimation device, estimation program therefor and estimation method therefor |
| JP2022066637A (en) | 2020-10-19 | 2022-05-02 | 日立交通テクノロジー株式会社 | Foreign matter detection device, foreign matter detection system, and foreign matter detection method |
| JP2025167282A (en) | 2024-04-25 | 2025-11-07 | 日本製鉄株式会社 | Defect inspection device and defect inspection method |
Non-Patent Citations (1)
| Title |
|---|
| 元田 智大ほか，イマドキノ Ｒｏｂｏｔ Ｌｅａｒｎｉｎｇ 基盤モデルからマニピュレーションへ，コンピュータビジョン最前線 Ｓｕｍｍｅｒ ２０２４，日本，共立出版株式会社，2024年06月10日，第31-34頁 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2026009282A (en) | 2026-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7657036B2 (en) | Product classification system and method of classifying products | |
| Yang et al. | An intelligent fault diagnosis approach based on transfer learning from laboratory bearings to locomotive bearings | |
| US12056210B2 (en) | AI-based pre-training model determination system, and AI-based vision inspection management system using same for product production lines | |
| Gupta et al. | Deep learning model for defect analysis in industry using casting images | |
| US11663815B2 (en) | System and method for inspection of heat recovery steam generator | |
| JP2021190716A (en) | Detection of failure in semiconductor specimen using weak labeling | |
| CN110648310A (en) | Weakly Supervised Casting Defect Recognition Method Based on Attention Mechanism | |
| Kim et al. | An oversampling method for wafer map defect pattern classification considering small and imbalanced data | |
| CN116070083A (en) | An Intelligent Identification Algorithm for Wire Rope Faults Based on Convolutional Neural Network | |
| CN112561035A (en) | Fault diagnosis method based on CNN and LSTM depth feature fusion | |
| CN116108346A (en) | A Lifelong Learning Method for Incremental Bearing Fault Diagnosis Based on Generative Feature Replay | |
| CN117330314A (en) | A bearing fault diagnosis method based on two-dimensional grayscale image and Swin-Transformer | |
| CN114818116A (en) | Aircraft engine failure mode identification and service life prediction method based on joint learning | |
| CN112508950B (en) | Anomaly detection method and device | |
| WO2022264824A1 (en) | Anomaly determination calculator and anomaly determination method | |
| CN118981679A (en) | A domain-adaptive remaining life prediction method based on attention | |
| JP7807718B2 (en) | Surface inspection device and surface inspection method | |
| Harishyam et al. | Visual inspection of mechanical components using visual imaging and machine learning | |
| CN113554645B (en) | Industrial anomaly detection method and device based on WGAN | |
| JP2023128940A (en) | Appearance analysis system, appearance analysis method, and program | |
| US20250095129A1 (en) | Method and device for automatic optical inspection | |
| Oz et al. | A nested autoencoder approach to automated defect inspection on textured surfaces | |
| CN119851224A (en) | Road abnormality detection method for small sample condition | |
| CN114692887A (en) | Semi-supervised learning system and semi-supervised learning method | |
| Landgraf et al. | Computer vision for industrial defect detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20251031 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20251031 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20251216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20251229 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7807718 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |