JP7807718B2 - 表面検査装置及び表面検査方法 - Google Patents

Description

本開示は、表面検査装置及び表面検査方法に関する。

近年、多くの産業分野において、機械学習手法によって学習された識別器を用いることで、膨大なデータから経験や知識を抽出して自動化に繋げる動きが活発である。特に製造業における表面検査では、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）モデルに代表される機械学習モデルが数多く導入され、人手に依存した検査を効率化する取り組みが進んでいる。

特許第６６２４９６３号公報 特開２０２２－０１５５７５号公報 特表２０２４－５４１０４０号公報

しかしながら、従来の深層学習モデルの構築においては、人手により大量の教師データを準備する必要があり、多大な労力を要する。ここで言う教師データとは、画像と人が付与した正解のペアである。

本開示は、上述した事情に鑑みてなされたものであって、深層学習モデルの構築に要するコストを低減するとともに、深層学習モデルによる高精度な検査を実施する技術を提供することを目的とする。

上記課題を解決するために、本開示の一態様によれば、対象物の表面を検査する表面検査装置であって、前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、入力された前記撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、深層学習モデルからなる下流タスク用モデルと、を有し、前記上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズにおいて、前記画像取得部は、前記対象物を撮像することで得られた撮像画像である第１学習用撮像画像と第２学習用画像とを取得し、前記上流タスク用モデルは、前記第１学習用画像を入力することで、学習がなされ、前記下流タスク用モデルは、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、学習がなされ、前記上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズにおいて、前記画像取得部は、前記検査の対象となる対象物を撮像することで得られた撮像画像である検査用画像を取得し、前記上流タスク用モデルは、前記検査用画像を入力することで、前記検査用画像に対応する特徴量を出力し、前記下流タスク用モデルは、前記検査用画像に対応する特徴量を入力することで、前記検査の対象となる対象物の表面の状態を出力する、表面検査装置が提供される。
上記課題を解決するために、本開示の他の一態様によれば、対象物の表面を検査する表面検査装置であって、前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、入力された前記撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、深層学習モデルからなる下流タスク用モデルと、を有し、前記上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズにおいて、前記画像取得部は、前記対象物を撮像することで得られた撮像画像である第１学習用撮像画像と第２学習用画像とを取得し、前記上流タスク用モデルは、前記第１学習用画像を入力することで、学習がなされ、前記下流タスク用モデルは、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、学習がなされる、表面検査装置が提供される。
上記課題を解決するために、本開示の更に他の一態様によれば、対象物の表面を検査する表面検査装置であって、前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、入力された前記撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、深層学習モデルからなる下流タスク用モデルと、を取得するモデル取得部と、を有し、前記モデル取得部は、前記対象物を撮像することで得られた撮像画像である第１学習用撮像画像と第２学習用画像とを取得し、前記第１学習用画像を入力することで、学習がなされた前記上流タスク用モデルと、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、学習がなされた前記下流タスク用モデルと、を取得し、前記上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズにおいて、前記画像取得部は、前記検査の対象となる対象物を撮像することで得られた撮像画像である検査用画像を取得し、前記上流タスク用モデルは、前記検査用画像を入力することで、前記検査用画像に対応する特徴量を出力し、前記下流タスク用モデルは、前記検査用画像に対応する特徴量を入力することで、前記検査の対象となる対象物の表面の状態を出力する。
前記上流タスク用モデル及び前記下流タスク用モデルは、前記上流タスク用モデル及び前記下流タスク用モデルを深層学習モデルにおける蒸留又は量子化の手法を用いて小型化したモデルによって代替されてもよい。
上記課題を解決するために、本開示の一態様によれば、対象物の表面を検査する表面検査方法であって、前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、入力された前記撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、深層学習モデルからなる下流タスク用モデルと、を有する表面検査装置を用い、前記上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズにおいて、前記画像取得部を用いて、前記対象物を撮像することで得られた撮像画像である第１学習用撮像画像と第２学習用画像とを取得する学習用画像取得ステップと、前記上流タスク用モデルに、前記第１学習用画像を入力することで、学習がなされる上流タスク用モデル学習ステップと、前記下流タスク用モデルに、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、学習がなされる下流タスク用モデル学習ステップと、前記上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズにおいて、前記画像取得部を用いて、前記検査の対象となる対象物を撮像することで得られた撮像画像である検査用画像を取得する検査用画像取得ステップと、前記上流タスク用モデルを用いて、前記検査用画像を入力することで、前記検査用画像に対応する特徴量を出力する上流タスク用モデル推論ステップと、前記下流タスク用モデルを用いて、前記検査用画像に対応する特徴量を入力することで、前記検査の対象となる対象物の表面の状態を出力する下流タスク用モデル推論ステップと、を有する、表面検査方法が提供される。

本開示によれば、深層学習モデルの構築に要する負荷を低減するとともに、深層学習モデルによる高精度な検査を実施することができる。

従来の表面検査向けの深層学習モデルの構築方法を示す概念図である。 本開示における表面検査向けの深層学習モデルの構築方法を示す概念図である。 本開示の実施形態に係る表面検査装置の構成を示す概略ブロック図である。 本開示の実施形態に係る表面検査装置の学習フェーズの動作を示すフローチャートである。 本開示の実施形態に係る表面検査装置の推論フェーズの動作を示すフローチャートである。 実施例の結果を示すグラフである。

図１は、従来の表面検査向けの深層学習モデルの構築方法を示す概念図である。従来、画像により、欠陥をはじめとする対象物の表面の状態（表面性状）を検査する際には、深層学習モデル４００に対し、大量の教師ありデータ２２０を入力することで、画像に写る表面性状を推定可能な深層学習モデル４００を構築することがあった。
より具体的には、教師ありデータ２２０は、対象物の表面の画像と、画像に写った対象物の表面性状をオペレータや検査員が確認することで得られた、表面性状の種類の正解を示す情報（ラベル）とから構成される。深層学習モデル４００は、教師ありデータ２２０に含まれる対象物の表面の画像が入力されると、当該画像に対して複数の階層に付与された重み付け係数に基づく重み付け演算を行い、推論結果を出力する。そして、出力された推論結果と、教師ありデータ２２０に含まれるラベルとを比較し、出力された推論結果がラベルと合致するように、重み付け係数を最適するよう最適化演算する。こうした最適化演算を繰り返すことで、深層学習モデル４００は学習され、入力された画像に写った表面性状の種類を推論することができるように、深層学習モデル４００が構築される。
このような方法では、表面検査の現場で使用可能な精度の学習モデル４００を構築しようとすると、数千～数万単位もの個数の大量の教師ありデータ２２０（画像とラベルのペア）が必要となることがある。一般に、教師データ（教師ありデータ２２０）は、人手により作成されるため、大量の教師データの収集には多大な労力を要する。

そこで本発明者らは、教師ありデータ２２０の準備に要する負荷を低減することを目的として、「基盤モデル」に着目した。図２は、本開示における表面検査向けの深層学習モデルの構築方法を示す概念図である。本発明者らは、基盤モデル１２に対して、ラベルが付与されていない画像である教師なしデータ２１０を入力して学習（教師なし学習）を実施し、学習を進めることで、入力された画像の特徴を抽出する能力を獲得した基盤モデル（学習済み基盤モデル）１２を生成するようにして、学習済み基盤モデル１２を前段に、従来から知られているような教師ありデータ２２０を用いて学習された深層学習モデルである検査用モデル１３を後段として、組み合わせることに想到した。こうすることで、学習時に教師ありデータ２２０が不要な（即ち、教師ありデータ２２０の構築に必要な労力が少ない）基盤モデル１２で、検査用の画像の特徴を抽出できるので、教師ありデータ２２０による学習（教師あり学習）を行うモデルを、検査用モデル１３だけに限定できると考えた。即ち、これにより、従来のように、表面検査に係る処理全体を１つの深層学習モデルのみで学習させるのではなく、基盤モデル１２を学習させる上流タスク１１０と、検査用モデル１３を学習させる下流タスク１２０の２つに区別して、検査精度を落とすことなく、学習に必要な労力（教師ありデータ２２０取得の労力）を低減させて、表面検査用の欠陥判別モデルを作ることができると考えた。

以下、図面を参照し、本開示に係る表面検査装置１を説明する。なお、以下の説明において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する場合がある。

（表面検査装置１の構成）
本開示に係る表面検査装置１は、対象物の表面を検査するために用いられる装置である。即ち、表面検査装置１は、対象物の表面の表面性状を検査する装置である。
図３に、実施形態に係る表面検査装置１の構成を示す概略ブロック図を示す。図３に示すように、表面検査装置１は、画像取得部１１と、上流タスク用モデル１２と、下流タスク用モデル１３と、を有する。
表面検査装置１が取り扱う対象物は、表面性状を検査する際の検査対象となる物であれば、特に限定されるものではないが、例えば、製鉄分野における、鋼板、スラブ、ビレット、形鋼、鋼管等の鉄鋼製品を挙げることができる。

画像取得部１１は、対象物の表面を撮像することで得られた撮像画像を取得する機能部である。即ち、画像取得部１１は、カメラを備えるように構成されており、対象物の表面性状を検査するために予め対象物の表面に設定された検査位置を、当該カメラで撮像できるように、検査位置に対向する位置（搬送装置を俯瞰する位置）に設置される。画像取得部１１は、例えば（図示しない）搬送装置で搬送されている対象物について、対象物の表面の検査位置を撮像することで撮像画像を生成し取得する。画像取得部１１が取得した撮像画像は、後述するように対象物の表面検査に用いられる。
なお、画像取得部１１は、上述のように自らカメラを備え、画像取得部１１自体で撮像画像を生成することで撮像画像を取得してもよいが、自ら撮像するのと同様の撮像画像を、ネットワークを介して表面検査装置１の外部から取得（入手）するようにしてもよい。画像取得部１１は、例えば、検査の対象となる対象物を製造する製造拠点（製造ライン）とは異なる製造拠点（製造ライン）で撮像された画像を、撮像画像として取得するようにしてもよい。

また、画像取得部１１は、後述する学習フェーズ（上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズ）において、対象物を撮像することで得られた撮像画像である第１学習用画像と第２学習用画像とを取得する機能部でもある。即ち、画像取得部１１は、対象物を撮像した撮像画像（第１学習用画像）を取得し、後述するように学習に用いることができる。また、画像取得部１１は、第１学習用画像と同様に、第２学習用画像を取得し、後述するように学習に用いることもできる。
第１学習用画像は、後述する学習フェーズにおいて、上流タスク用モデル１２の学習に用いられる画像である。第１学習用画像として用いられる画像は限定されないが、例えば、インターネット上の画像データを選別せずに第１学習用画像として用いてもよい。インターネット上の画像データを選別せずに第１学習用画像として用いる場合、表面検査の対象となる対象物とは無関係の画像を含んでいてもよい。第１学習用画像は、対象物が製造される複数の製造拠点又は複数の製造ラインの少なくともいずれか一つにおいて得られた画像であってもよい。第１学習用画像は、例えば、対象物と同じ産業分野の画像であってもよく、対象物と同じ素材の物品を撮像することで得られた画像であってもよい。なお、詳細は後述するが、第１学習用画像は、第２学習用画像とは異なり、ラベルを付与する必要がないため、容易かつ大量に準備することが可能である。
第２学習用画像は、後述する学習フェーズにおいて、下流タスク用モデル１３の学習に用いられる画像である。第２学習用画像は、対象物の表面を撮像することで得られた撮像画像であって、ラベルと組み合わされることで、教師ありデータ２２０を構成する画像である。
なお、第１学習用画像と第２学習用画像とは、互いに、全て異なる画像で構成されていてもよく、第１学習用画像と第２撮像画像の一部が、同一の画像で構成されていてもよい。
また、画像取得部１１は、後述する推論フェーズ（上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズ）において、検査の対象となる対象物を撮像することで得られた撮像画像である検査用画像を取得する機能部でもある。即ち、撮像画像取得部１１は、検査工程に搬送されてきた対象物等のように、表面性状を検査する必要がある対象物を検査する際に、その着目する検査対象物の表面の検査位置を撮像して、撮像画像を生成し、取得することもできる。この際取得される表面検査に供される撮像画像を、以下では検査用画像と称する。後述するように、検査用画像は、着目する検査対象物の表面性状検査に用いられる。
上流タスク用モデル１２は、入力された対象物の表面を撮像することで得られた撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる機能部である。即ち、上流タスク用モデル１２は、基盤モデルを備えるように構成されている。
基盤モデルは、極めて大量の画像や、画像に限らず文章でも音でもよい、種々のデータで構成された（ラベルが付与されていない）教師なしデータ２１０が入力されることで、教師なし学習がなされた大規模なニューラルネットワークである。基盤モデルの学習の手法としては、深層学習の分野で公知の種々の手法を用いることができるため、特に限定はされないが、例えば、入力する画像や中間特徴量の一部をマスクした場合の再構成誤差を最小化する手法が考えられる。このような学習により、（学習済みの）基盤モデルは、画像の持つ本質的な特徴を、抽出できるようになることが期待できる。
上流タスク用モデル１２は、こうした基盤モデルを備えていることで、画像が入力されれば、その画像の持つ本質的な特徴を抽出することが可能であるが、好ましくは、各製造拠点又は製造ラインにおける対象物の表面性状に係る画像である第１撮像画像を用いて学習をするようにしておくことで、製造拠点や製造ライン毎における対象物の表面性状に係る特徴量を、高精度に抽出することもできる。
また、上流タスク用モデル１２は、後述する学習フェーズ（上流タスク用モデル及び前記下流タスク用モデルの最適化を行うフェーズ）において、第１学習用画像を入力することで、学習がなされる機能部でもある。即ち、上流タスク用モデル１２は、基盤モデルを備えて構成されており、基盤モデルは教師なし学習で学習がなされることから、上流タスク用モデル１２は、（取得するのに人手等の労力を要する）教師ありデータ２２０を必要とすることなく、教師なしデータ２１０である第１学習用画像だけを用いて、基盤モデルの学習を進めることができる。そのため、上流タスク用モデル１２の学習では、教師ありデータ２２０を取得する労力を必要としないことから、従来の教師あり学習で学習された深層学習モデルを用いる場合に比べて、容易に、画像の特徴を抽出する機能を得ることができる。
また、上流タスク用モデル１２は、後述する推論フェーズ（上流タスク用モデル及び前記下流タスク用モデルにより推論を行うフェーズ）において、検査用画像を入力することで、前記検査用画像に対応する特徴量を出力する機能部でもある。
即ち、上流タスク用モデル１２は、推論フェーズの段階では、学習フェーズを経ることで、特徴量を抽出できるようになった学習済みの基盤モデルから構成されており、対象物の表面性状を検査するにあたって、検査したい対象物を撮像した検査用画像を、学習済みの基盤モデルに入力することで、その特徴量を取得する。つまり、上流タスク用モデル１２は、検査用画像の持つ本質的な情報を維持したまま、画像という多次元データを、特徴量へ低次元化することができる。つまり、上流タスク用モデル１２は、検査用画像を入力として、検査用画像から抽出された特徴量を出力する。
下流タスク用モデル１３は、深層学習モデルからなる機能部である。即ち、下流タスク用モデル１３も、上流タスク用モデル１２と同様に深層学習モデルを備えているが、上流タスク用モデル１２が、特徴量を出力する基盤モデルとしてのニューラルネットワークを備えているのに対し、下流タスク用モデル１３は、教師あり学習で学習させる従来型のニューラルネットワークを備えている点で相違している。
下流タスク用モデル１３は、後述する学習フェーズ（上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズ）において、第２学習用画像を上流タスク用モデル１２に入力して得られた特徴量と、特徴量に対応する対象物の表面の状態を示すラベルと、を入力することで、教師あり学習による学習がなされる機能部でもある。
下流タスク用モデル１３に含まれる深層学習モデルが学習に用いる教師ありデータ２２０は、上流用タスクモデル１２から得られた特徴量と、特徴量の抽出に使用した画像に写った対象物の表面性状をオペレータや検査員が確認することで得られた、表面性状の種類の正解を示す情報（ラベル）と、を組み合わせることで構成されている。
即ち、下流タスク用モデル１３は、深層学習モデルを学習させる学習フェーズにおいては、第２学習用画像を上流タスク用モデル１２に入力することで得られた特徴量を、深層学習モデルに入力することで推論させ、その推論結果と、第２撮像画像を検査員やオペレータが確認して付与した当該特徴量に対応する正解（ラベル）との差異を、最小化するような最適化演算による学習がなされる。
そのため、学習が進んだ後には、下流タスク用モデル１３が備える学習済みの深層学習モデルは、入力された特徴量から対象物の表面の状態を推論することができる、検査用モデルとしての機能を有することになる。
また、下流タスク用モデル１３は、後述する推論フェーズ（上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズ）において、検査用画像に対応する特徴量を入力することで、検査の対象となる対象物の表面の状態を出力する機能部でもある。即ち、下流タスク用モデル１３は、入力された特徴量から対象物の表面の状態を推論することができる深層学習モデルから構成されており、表面性状を検査する際には、検査したい対象物を撮像した検査用画像に基づいて上流タスク用モデル１２が出力した特徴量を、深層学習モデル（検査用モデル）に入力することで、対象物の表面の状態を推論し、出力する。
そのため、下流タスク用モデル１３は、上流タスク用モデル１２で低次元化された特徴量に基づいて、表面検査に係る推論を実行することになる。即ち、下流タスク用モデル１３には、画像の本質的な情報が凝縮された特徴量が入力されるため、下流タスク用モデル１３は、精度良く対象物の表面の状態（特に、欠陥の種類）を推論することができる。
なお、学習フェーズとは、深層学習の分野でよく知られているように、最適化が進んでいない深層学習モデルの各階層を構成する重み付け係数を最適化する（学習させる）段階のことであり、より具体的には、上流タスク用モデル１２に含まれる基盤モデルであれば、例えば、基盤モデルに第１学習用画像からなる教師なしデータ２１０を入力し、基盤モデルの最適化演算を繰り返す段階のことをいい、下流タスク用モデル１３に含まれる検査用モデルであれば、例えば、検査用モデルに第２学習用画像に基づいて上流タスク用モデル１２から出力された特徴量に係る教師ありデータ２２０を入力し、検査用モデルの最適化演算を繰り返す段階のことをいう。
また、推論フェーズとは、深層学習の分野でよく知られているように、学習フェーズを経ることで最適化が進んだ学習済み深層学習モデルを用い、入力される画像や特徴量に基づいて推論を行う段階のことであり、より具体的には、上流タスク用モデル１２に含まれる基盤モデルであれば、例えば、学習済みの基盤モデルに検査用画像を入力し、検査用画像に写った対象物の表面の表面性状に係る特徴量を推論する段階のことをいい、下流タスク用モデル１３に含まれる検査用モデルであれば、例えば、学習済みの検査用モデルに検査用画像に基づいて上流タスク用モデル１２から出力された特徴量を入力し、検査用画像に写った対象物の表面の状態を推論する段階のことをいう。

また補足すると、一般に、基盤モデルをはじめとしたニューラルネットワークモデルは、多段の階層構造を有し、極めて多数の重み付け係数を含むため、製造ラインで要求される高速な判定（例えば、リアルタイムの判定）に適用しようとしても、処理時間やハードウェア負荷の面から、困難となることがあった。また、これらの課題を解決するために、計算資源を導入することは、コストが増加するという問題があった。
そのため、学習フェーズにおいて生成した学習モデル（上流タスク用モデル１２、下流タスク用モデル１３）は、例えば、学習済み上流タスク用モデル１２及び学習済み下流タスク用モデル１３の全体に対し、深層学習の分野で公知である、蒸留又は量子化といったモデル小型化技術を用いるようにしてもよい。

蒸留は、大規模な教師モデルの知識を小型の生徒モデルに転移させる方法である。まず教師モデルが訓練され、各入力データに対して確率分布（soft targets）を生成する。生徒モデルは、この確率分布を用いて訓練されることで、教師モデルに近い精度を維持しながらも、より軽量で効率的なモデルとなる。
量子化は、モデルのパラメータや中間層の出力を低精度の値に変換する技術である。量子化によりモデルのメモリ使用量と計算量が大幅に削減され、リアルタイム推論が求められる環境やリソースが限られたデバイスで利用することができる。

上記のように、学習済みモデル（学習済みの上流タスク用モデル１２（の基盤モデル）、及び、学習済みの下流タスク用モデル１３（の検査用モデル））を、蒸留又は量子化といったモデル小型化技術を用いて小型化したモデルによって代替することで、推論速度を向上させ、表面検査に要求される実装性を向上させることができる。

また、表面検査装置１は、以上に説明した構成に加え、（図示しない）表面検査部を備えていてもよい。
表面検査部は、下流タスク用モデル１３（即ち、検査用モデル）から出力された検査の対象となる対象物の表面の状態に基づいて、検査の対象となる対象物を検査する機能部である。即ち、表面検査部は、対象物に生じた欠陥に基づいて、対象物が出荷できるか等に関し、対象物の良否を判定する。
また、表面検査部は、推論フェーズにおいて下流タスク用モデル１３から出力された推定結果を出力する出力部として機能してもよい。
また、以上では、表面検査装置１がそれ単体で、学習フェーズと推論フェーズの両方を実施する装置である場合を例に説明を行ったが、この場合に限定されず、表面検査装置１が、それ単体では学習フェーズだけを行う装置であったり、表面検査装置１が、それ単体では推論フェーズだけを行う装置であったりしてもよい。

（機器の構成）
本開示に係る表面検査装置１は、例えばパーソナルコンピューター等の情報機器を用いて構成される。表面検査装置１は、情報機器がバスで接続されたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサとメモリとを備え、予め構成された制御プログラムを実行することで、それぞれの機能を担保するようにしてもよい。また、表面検査装置１は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを用いて実現されてもよい。また、制御プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

（表面検査装置１の動作）
次に、本実施形態に係る表面検査装置１の動作を、図４Ａ及び図４Ｂに基づき、学習フェーズと推論フェーズとに分けて説明する。表面検査装置１は、下記の処理を行うことで、対象物の表面を検査する表面検査方法を実現する。
以下では、対象物が製造ラインで製造される鋼板であり、表面検査装置１が、当該鋼板の表面の欠陥を推定する場合を例として説明する。

（学習フェーズの動作）
図４Ａに、本実施形態に係る表面検査装置１の学習フェーズの動作を示すフローチャートを示す。表面検査装置１において、図４Ａに示す学習フェーズの処理が開始されると、ステップＳ１１に進む。

ステップＳ１１では、画像取得部１１を用いて、対象物を撮像することで得られた撮像画像である第１学習用画像と第２学習用画像とを取得する（学習用画像取得ステップ）。

第１学習用画像は、鋼板表面を撮像した画像であって、後で基盤モデルの学習のための教師なしデータ２１０となる画像である。第１学習用画像は、対象物が製造される拠点又はラインにおいて、対象物を撮像することで得られた撮像画像である。なお、第１学習用画像は、鋼板表面を撮像した画像であればよく、欠陥の有無や、鋼板の種類は限定されない。第１学習用画像は、表面検査装置１で判定する欠陥以外の欠陥を含む画像であってもよく、表面検査装置１で判定する鋼板（対象物）とは異なる種類の鋼板の画像を含んでいてもよい。なお、表面検査装置１で判定する鋼板（対象物）とは異なる種類の鋼板とは、表面検査装置１で判定する鋼板（対象物）と化学組成、金属組織及び製造条件の少なくともいずれか一つが異なる鋼板である。

第２学習用画像は、対象物となる鋼板の表面を撮像した画像であって、後で検査用モデルの学習のために、ラベルと組み合わされることで、教師ありデータ２２０となる画像である。第２学習用画像は、表面検査装置１で判定する欠陥のいずれかに対応する欠陥を含む画像であって、表面検査装置１で検査を行う鋼板（対象物）の画像である。
ステップＳ１１での処理が終わると、ステップＳ１２に進む。

ステップＳ１２では、上流タスク用モデル１２に、第１学習用画像を入力することで、学習がなされる（上流タスク用モデル学習ステップ）。ステップＳ１２では、上流タスク用モデル１２（より具体的には、上流タスク用モデル１２に含まれる基盤モデル）に、ステップＳ１１で取得した第１学習用画像を教師なしデータ２１０として入力することで、教師なし学習がなされる。ステップＳ１２では、上流タスク用モデル１２に対して教師なし学習を実施することで、上流タスク用モデル１２に含まれる基盤モデルの最適化を進めることで、上流タスク用モデル１２が画像データ（多次元データ）を特徴量のデータに低次元化する能力を向上させる。

ステップＳ１２では、上流タスク用モデル１２に、様々な鋼板表面を撮像した画像を第１学習用画像として入力する。これにより、上流タスク用モデル１２に、鋼板表面の特徴量の抽出に特化した、学習済み基盤モデルを構築する。第１学習用画像に基づき、鋼板表面の特徴量の抽出に特化した学習済み上流タスク用モデル１２を構築することを、学習フェーズの上流タスク１１０と称する。
ここでは、基盤モデルを、自ら第１学習用画像を用いて学習させることで、上流タスク用モデル１２に学習済みの基盤モデルを構築しているが、上流タスク用モデル１２を構成する基盤モデルとして、公知の画像認識向けの基盤モデルを外部から入手し、用いるようにしてもよい。
ステップＳ１２での処理が終わると、ステップＳ１３に進む。

ステップＳ１３では、下流タスク用モデル１３に、第２学習用画像を上流タスク用モデル１２に入力して得られた特徴量と、特徴量に対応する対象物の表面の状態を示すラベルと、を入力することで、教師あり学習による学習がなされる（下流タスク用モデル学習ステップ）。なお、第２学習用画像を上流タスク用モデル１２に入力して得られた特徴量と、特徴量に対応する対象物の表面の状態を示すラベルとに基づき、学習済み下流タスク用モデル１３を構築することを、学習フェーズの下流タスク１２０と称する。
即ち、ステップＳ１３では、まず、ステップＳ１２において、対象の製造ラインで製造された鋼板の表面を撮像した画像である第２学習用画像を、上流タスク用モデル１２に入力することで得られた特徴量を取得する。次に、当該第２学習用画像を、検査員又はオペレータが確認することで、第２学習用画像に写った対象物の表面の状態を示す正解であるラベル（即ち、取得した特徴量に対応する対象物の表面の状態を示すラベル）を、取得する。そして、取得した特徴量を、下流タスク用モデル１３に入力することで、下流タスク用モデル１３から推論結果を取得し、推論結果と、特徴量に対応するラベルとが合致するように、下流タスク用モデル１３の重み付け係数を最適化する最適化演算を行う。こうした処理を繰り返すことで、鋼板の表面検査に適した学習済み下流タスク用モデル１３を構築する。
ステップＳ１３での処理が終わると、学習フェーズの処理が終了となる。
以上に説明した、ステップＳ１１～ステップＳ１３の処理が、表面検査装置１の学習フェーズの動作に相当する。表面検査装置１は、ステップＳ１１～ステップＳ１３の学習フェーズの動作だけを行うようにしてもよい。また、表面検査装置１は、ステップＳ１１～ステップＳ１３の学習フェーズの処理を行った後に、学習フェーズの処理に続けて、以下に説明するステップＳ１４～ステップＳ１６の推論フェーズの動作をするようにしてもよい。

（推論フェーズの動作）
図４Ｂに、本実施形態に係る表面検査装置１の推論フェーズの動作を示すフローチャートを示す。表面検査装置１において、図４Ｂに示す推論フェーズの処理が開始されると、ステップＳ１４に進む。
ステップＳ１４では、画像取得部１１を用いて、検査の対象となる対象物を撮像することで得られた撮像画像である検査用画像を取得する（検査用画像取得ステップ）。ステップＳ１４で取得する検査用画像は、検査の対象となる対象物の表面を撮像して得られた画像である。即ち、ステップＳ１４では、表面検査を行うのに用いる画像を検査用画像として取得する。
ステップＳ１４での処理が終わると、ステップＳ１５に進む。

ステップＳ１５では、上流タスク用モデル１２を用いて、検査用画像を入力することで、検査用画像に対応する特徴量を出力する（上流タスク用モデル推論ステップ）。即ち、ステップＳ１５では、ステップＳ１４で取得した検査用画像を、ステップＳ１２で構築された学習済みの上流タスク用モデル１２（特に、上流タスク用モデル１２に含まれる学習済みの基盤モデル）に入力することで、推論を行い、対象物の表面の状態の推定に用いられる特徴量を出力する。ここで出力される特徴量は、多次元データである検査用画像を、検査用画像の持つ本質的な情報を維持したまま、低次元化した情報に相当する。
ステップＳ１５での処理が終わると、ステップＳ１６に進む。

ステップＳ１６では、下流タスク用モデル１３を用いて、検査用画像に対応する特徴量を入力することで、検査の対象となる対象物の表面の状態を出力する（下流タスク用モデル推論ステップ）。即ち、ステップＳ１６では、上流タスク用モデル推論ステップＳ１５で得られた検査用画像の特徴量を、学習済みの下流タスク用モデル１３（特に、下流タスク用モデル１３に含まれる検査用モデル）に入力し、下流タスク用モデル１３は、特徴量に基づいて対象物の表面の状態を推定する。
ステップＳ１６での処理が終わると、推論フェーズの処理が終了となる。
以上に説明した、ステップＳ１４～ステップＳ１６の処理が、表面検査装置１の推論フェーズの動作に相当する。表面検査装置１は、ステップＳ１４～ステップＳ１６の推論フェーズの動作だけを行い、学習済みの上流タスク用モデル１２及び学習済みの下流タスク用モデル１３を用いて、それぞれの推論を行えるようにしてもよい。また、表面検査装置１は、ステップＳ１１～ステップＳ１３の学習フェーズの処理を行った後に、学習フェーズの処理に続けて、ステップＳ１４～ステップＳ１６の推論フェーズの動作をするようにしてもよい。ステップＳ１６の処理が終わると、表面検査装置１の処理が終了となる。

なお、ステップＳ１６の処理が完了した時点では、表面検査装置１の処理を終了とはせず、ステップＳ１６での処理の後に、（図示しない）対象物検査ステップを行うようにしてもよい。対象物検査ステップでは、表面検査装置１は、下流タスク用モデル１３から出力された対象物の表面の状態に基づいて、表面検査部を用いて、検査の対象となる対象物を検査する。対象物検査ステップを実行した場合は、対象物検査ステップの終了後に、表面検査装置１の処理が終了となる。

（まとめ）
以上に説明したように、本実施形態の表面検査装置１では、学習フェーズの上流タスク１１０において、上流タスク用モデル１２に含まれる基盤モデルが、教師なし学習を通じて画像（多次元データ）の持つ本質的な情報を維持したまま特徴量に低次元化できる能力を獲得する。また、下流タスク１２０においては、教師ありデータ２２０による下流タスク用モデル１３に含まれる検査用モデルの学習が行われる。このとき、画像が持つ多次元データの本質的な情報は劣化することはなく、また、取得に労力を有する教師ありデータ２２０を必要とするのは、下流タスク１２０における検査用モデルだけである。そのため、従来の深層学習モデルと比べて、大幅に少ない量の教師ありデータ２２０で処理を実行できるため、従来の深層学習モデルより少ない労力で、従来の深層学習モデルと同等、もしくはそれ以上の精度の表面検査を実現することができる。

また、従来の深層学習モデルは製造拠点や製造ラインに特化した専用の学習モデルであるため、他ラインへ移管して使うことは困難であるという課題があった。これに対し、第１学習用画像として、様々な画像で教師なし学習された基盤モデルは、汎用的な画像特徴抽出能力を獲得している。このため、拠点間やライン間で、背景、明暗、及び画質等が異なることによる多少の画像の差があっても、学習済み基盤モデルは、特定の対象物に関して汎用的な画像特徴抽出能力を獲得しているため、欠陥の本質的な特徴に係る特徴量を抽出することができる。このため、類似の製品を製造する他拠点や他ラインでも同一の学習済み基盤モデルを使うことができる。

そのため、本実施形態における学習済みモデルを、類似の製品を製造する他拠点や他ラインに移管して使用する際は、下流タスク１２０における検査用モデル（下流タスク用モデル１３）のみを、少量の教師ありデータ２２０で追加学習し直すだけでよい。

したがって、本実施形態の深層学習モデルによれば、基盤モデルの汎用性を生かして、複数拠点で同一の学習済み基盤モデルが使えることに加え、どの拠点においても、従来の深層学習モデルに比べて大幅に少ない教師ありデータ２２０で必要な検査性能を満たすことができる。

また、本開示の表面検査装置１では、第２学習用画像として、複数の製造拠点又は複数の製造ラインにおいて、対象物を撮像することで得られた撮像画像を用いてもよい。
複数拠点のデータ（撮像画像）をまとめて下流タスク１２０を実行することで、教師ありデータ２２０を取得するための負荷を低減することができる。例えば、製造業では、同一もしくは類似の製品を別拠点・別ラインで製造することがある。その場合は、別拠点・別ラインで製造した製品であっても、判別したい欠陥は共通であることがある。そのため、複数拠点のデータ（撮像画像）を一纏めにすることで、複数拠点またはラインにおいて共同で教師ありデータ２２０を作成できる。これにより、１拠点あたりで準備すべき教師ありデータ２２０の数を単一拠点で全数準備する場合に比べ削減できる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、既に学習が完了した学習モデルを用いて、推論フェーズのみが実施される場合、表面検査装置は、入力された前記対象物の表面を撮像することで得られた撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、深層学習モデルからなる下流タスク用モデルと、を取得するモデル取得部を有していてもよい。

次に、本開示の実施例について説明するが、実施例での条件は、本開示の実施可能性及び効果を確認するために採用した一条件例であり、本開示は、この一条件例に限定されるものではない。本開示は、本開示の要旨を逸脱せず、本開示の目的を達成する限りにおいて、種々の条件を採用し得るものである。

本実施例では、製鉄プロセスで発生する６種類の代表的な欠陥を分類するタスクを下流タスクとして設定した。画像分類を実施するため、第２学習用画像には、予めラベルを付与した。評価用画像（検査用画像）として、画像を３３１４枚用意し、以下の３つの方法で学習させた学習済みモデルに入力し、鋼板表面の欠陥を推定した場合の正解率を算出した。

比較例：基盤モデルを使用しない、全て教師ありデータで学習した従来の深層学習モデルを用いた。教師データとして人手で正解のラベルを付与した１２４１２枚の学習用画像を入力し、学習済みモデルを生成した。
発明例１：一般ドメイン画像で構築された基盤モデルを上流タスク用モデルとして使用した。上流タスクでは、一般ドメイン画像を第１学習用画像として教師なし学習した汎用型基盤モデル（Dino-v2）を使用した。下流タスクでは、下流タスク用モデルに対し、教師ありデータ（第２学習用画像）の数を３５枚～９８９４枚で変えながら追加学習した。ここで、一般ドメイン画像とは、インターネット上にある多種多様な画像を示し、鋼板とは無関係の画像を含む。
発明例２：製造ラインの画像で構築された基盤モデルを上流タスク用モデルとして使用した。上流タスクでは、製鉄プロセスで撮影された画像約３０万枚を第１学習用画像として教師なし学習した基盤モデルを使用した。下流タスクでは、下流タスク用モデルに対し、発明例１と同様の方法で追加学習を実施した。

図５に実施例の結果を示すグラフを示す。
比較例の学習モデルを用いた場合、１２４１２枚の教師ありデータを入力した結果、評価用画像３３１４枚に対する正解率８５％の学習済みモデルが生成された。
発明例１の学習済みモデル（一般画像で構築された基盤モデルを含む学習モデル）を用いた場合、比較例と同等の正解率（８５％）を得るために要する教師ありデータの数は８０００～９０００枚程度となった。また、発明例１の学習モデルの下流タスクの学習において、９８９４枚の教師ありデータを入力した結果、正解率８７％の学習済みモデルが生成された。
発明例２の学習済みモデル（製造ラインの画像で構築された基盤モデルを含む学習モデル）を用いた場合、比較例と同等の正解率（８５％）を得るために要する教師ありデータの数は３５０枚程度となった。また、発明例２の学習モデルの下流タスクの学習において、９８９４枚の教師ありデータを入力した結果、正解率９２％の学習済みモデルが生成された。

この結果から、本開示の学習モデルのように、基盤モデルを教師なしデータにより学習させる上流タスクと、検査用モデルを教師ありデータにより学習させる下流タスクとに分離して表面検査用の学習モデル（欠陥判別モデル）を構築することで、所定の正解率を達成するために要する教師ありデータを削減することができる、または、従来と同等の量の教師ありデータによって、より高精度な学習モデルを構築することができることが明らかとなった。また、発明例２のように、対象物に関連する画像（本実施例では製造ラインの画像）で構築された基盤モデルを含む学習モデルは、一般画像で構築された基盤モデルを含む学習モデルと比較して、所定の正解率を達成するために要する教師ありデータを削減することができる、または、より高精度な学習モデルを構築することができることが明らかとなった。

１ 表面検査装置
１１ 画像取得部
１２ 上流タスク用モデル
１３ 下流タスク用モデル
１１０ 上流タスク
１２０ 下流タスク
２１０ 教師なしデータ
２２０ 教師ありデータ
４００ 深層学習モデル（従来）

Claims (5)

1. 対象物の表面を検査する表面検査装置であって、
   前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、
   入力された前記対象物の表面を撮像することで得られた撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、
   深層学習モデルからなる下流タスク用モデルと、
   を有し、
   前記上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズにおいて、
   前記画像取得部は、前記対象物を撮像することで得られた撮像画像である第１学習用画像と第２学習用画像とを取得し、
   前記上流タスク用モデルは、前記第１学習用画像を入力することで、学習がなされ、
   前記下流タスク用モデルは、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、学習がなされ、
   前記上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズにおいて、
   前記画像取得部は、検査の対象となる前記対象物を撮像することで得られた撮像画像である検査用画像を取得し、
   前記上流タスク用モデルは、前記検査用画像を入力することで、前記検査用画像に対応する特徴量を出力し、
   前記下流タスク用モデルは、前記検査用画像に対応する前記特徴量を入力することで、前記検査の対象となる前記対象物の表面の状態を出力する、表面検査装置。
2. 対象物の表面を検査する表面検査装置であって、
   前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、
   入力された前記対象物の表面を撮像することで得られた撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、
   深層学習モデルからなる下流タスク用モデルと、
   を有し、
   前記上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズにおいて、
   前記画像取得部は、前記対象物を撮像することで得られた撮像画像である第１学習用画像と第２学習用画像とを取得し、
   前記上流タスク用モデルは、前記第１学習用画像を入力することで、学習がなされ、
   前記下流タスク用モデルは、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、学習がなされる、表面検査装置。
3. 対象物の表面を検査する表面検査装置であって、
   前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、
   入力された前記対象物の表面を撮像することで得られた撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、深層学習モデルからなる下流タスク用モデルと、を取得するモデル取得部と、
   を有し、
   前記モデル取得部は、
   前記対象物を撮像することで得られた撮像画像である第１学習用画像と第２学習用画像とを取得し、前記第１学習用画像を入力することで、学習がなされた前記上流タスク用モデルと、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、学習がなされた前記下流タスク用モデルと、を取得し、
   前記上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズにおいて、
   前記画像取得部は、前記検査の対象となる前記対象物を撮像することで得られた撮像画像である検査用画像を取得し、
   前記上流タスク用モデルは、前記検査用画像を入力することで、前記検査用画像に対応する特徴量を出力し、
   前記下流タスク用モデルは、前記検査用画像に対応する前記特徴量を入力することで、前記検査の対象となる前記対象物の表面の状態を出力する、表面検査装置。
4. 前記上流タスク用モデル及び前記下流タスク用モデルは、前記上流タスク用モデル及び前記下流タスク用モデルを深層学習モデルにおける蒸留又は量子化の手法を用いて小型化したモデルによって代替される、請求項１乃至３のいずれか一項に記載の表面検査装置。
5. 対象物の表面を検査する表面検査方法であって、
   前記対象物の表面を撮像することで得られた撮像画像を取得する画像取得部と、
   入力された前記対象物の表面を撮像することで得られた撮像画像の特徴を抽出することを目的とした深層学習ニューラルネットワークである基盤モデルからなる上流タスク用モデルと、
   深層学習モデルからなる下流タスク用モデルと、
   を有する表面検査装置を用い、
   前記上流タスク用モデル及び前記下流タスク用モデルの最適化を行う学習フェーズにおいて、
   前記画像取得部を用いて、前記対象物を撮像することで得られた撮像画像である第１学習用画像と第２学習用画像とを取得する学習用画像取得ステップと、
   前記上流タスク用モデルに、前記第１学習用画像を入力することで、学習がなされる上流タスク用モデル学習ステップと、
   前記下流タスク用モデルに、前記第２学習用画像を前記上流タスク用モデルに入力して得られた特徴量と、前記特徴量に対応する前記対象物の表面の状態を示すラベルと、を入力することで、教師あり学習による学習がなされる下流タスク用モデル学習ステップと、
   前記上流タスク用モデル及び前記下流タスク用モデルにより推論を行う推論フェーズにおいて、
   前記画像取得部を用いて、前記検査の対象となる前記対象物を撮像することで得られた撮像画像である検査用画像を取得する検査用画像取得ステップと、
   前記上流タスク用モデルを用いて、前記検査用画像を入力することで、前記検査用画像に対応する特徴量を出力する上流タスク用モデル推論ステップと、
   前記下流タスク用モデルを用いて、前記検査用画像に対応する前記特徴量を入力することで、前記検査の対象となる前記対象物の表面の状態を出力する下流タスク用モデル推論ステップと、
   を有する、表面検査方法。