Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6597972B2 - 画像処理装置および画像処理方法 - Google Patents
[go: Go Back, main page]

JP6597972B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6597972B2
JP6597972B2 JP2016058644A JP2016058644A JP6597972B2 JP 6597972 B2 JP6597972 B2 JP 6597972B2 JP 2016058644 A JP2016058644 A JP 2016058644A JP 2016058644 A JP2016058644 A JP 2016058644A JP 6597972 B2 JP6597972 B2 JP 6597972B2
Authority
JP
Japan
Prior art keywords
image
defect
images
feature
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016058644A
Other languages
English (en)
Other versions
JP2017173098A (ja
Inventor
明 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2016058644A priority Critical patent/JP6597972B2/ja
Publication of JP2017173098A publication Critical patent/JP2017173098A/ja
Application granted granted Critical
Publication of JP6597972B2 publication Critical patent/JP6597972B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像の分類等を実行する画像処理装置、及び、画像処理方法に関する。
例えば、半導体基板、ガラス基板、プリント基板等の製造技術分野では、製品に含まれる異物や傷、エッチング不良等の欠陥を検出し、分析し、あるいは、評価することが行われる。欠陥の分析と評価のため、評価対象物を光学顕微鏡、または走査型電子顕微鏡等の顕微鏡を用いて外観検査が行われる。外観検査では、顕微鏡等により評価対象物を撮像し、得られた画像について、複数種類の特徴量を算出して自動分類を行うことが研究されている。この種の技術においては、典型的な欠陥を含む基準画像として予め与えられた教師画像に基づく学習アルゴリズムを利用した分類技術が提案されている(特許文献1、2等参照)。従来の技術では、欠陥種別に対応する分類カテゴリの1つ1つに対して、教師画像選定の基準となる複数の典型画像を操作者に指定させ、指定された典型画像に基づく処理を実行することで、分類精度の向上が図られている。しかし、この技術では、操作者が多数の欠陥画像を個々に目視確認して、多数の欠陥画像の中から典型画像を選び出すという作業を行う必要があった。
このような問題に対応するために、複数の欠陥画像を多次元特徴量空間にプロットした場合に互いに近接して塊を形成する画像群を1つのグループとして、大きなグループから順に、当該グループに属する画像を典型画像の候補としてユーザに提示する方法が提案されている。この方法では、収集された多数の欠陥画像がその特徴量に応じて予めいくつかのグループに仕分けられた状態で提示されるので、典型画像を選び出す作業におけるユーザの負荷が軽減される。
特開2010−071826号公報 特開2013−254286号公報 特開2003−317082号公報 特開2013−167545号公報 特開2014−006613号公報
上記した従来技術では、多次元特徴量空間にプロットした場合に互いに近接して塊を形成する画像群を得るため、「近接している」という条件を座標軸ごとに操作者が調整する場合があり、結果的に操作者は試行錯誤で作業を行うこととなる。本発明は、このような課題に鑑みてなされたものである。
本発明の目的は、画像を分類するために学習アルゴリズムに利用される教師画像を選び出す作業、あるいは、教師画像選定の基準となる典型画像と呼ばれる画像を選び出す作業において、操作者を効果的に支援することである。
本発明の一側面は、以下の画像処理装置によって例示される。すなわち、本画像処理装置は、特徴量取得部と、コード化部と、グループ化部と、カテゴリ設定部とを有する。特徴量取得部は、複数の対象画像のそれぞれについて複数種類の特徴量を取得する。コード
化部は、取得した複数種類の特徴量のそれぞれを2以上の段階に区分し、区分に応じた数値を付与し、前記数値を所定順に組み合わせたコード値を生成する。したがって、操作者の試行錯誤を伴う作業によらず、コード値が生成される。
グループ化部は、複数の対象画像のうち、同一のコード値を有する画像を組み合わせて画像グループを形成する。したがって、操作者の試行錯誤を伴う作業によらず、画像グループが形成される。
カテゴリ設定部は、形成された画像グループから少なくとも1つの対象画像を表示するとともに、表示された対象画像が含まれる画像グループのカテゴリを示す情報の設定を受け付ける。したがって、画像処理装置は、対象画像から画像グループを形成し、操作者に表示するので、操作者による画像グループのカテゴリを示す情報の設定を支援できる。このカテゴリは、複数種類の特徴量を算出して自動分類するときの分類カテゴリということができる。また、この画像グループは、典型的な欠陥を含む基準画像として学習アルゴリズムに利用される教師画像、あるいは教師画像を選定するための典型画像として用いることができる。
本発明によれば、画像を分類するために学習アルゴリズムに利用される教師画像を選び出す作業、あるいは、教師画像選定の基準となる典型画像と呼ばれる画像を選び出す作業において、操作者を効果的に支援することができる。
画像分類装置の概略構成を示す図である。 画像分類装置による欠陥画像の分類の流れを示す図である。 ホストコンピュータの構成を示す図である。 分類器を学習させるためのホストコンピュータの構成と構成検査・分類装置との関係を示すブロック図である。 教師データ作成部の機能構成を示すブロック図である。 記憶部内に記憶されている情報の構造の一部を示す図である。 教師データ作成処理を例示するフローチャートである。 欠陥画像のサンプル例である。 画像分類装置によって生成された特徴コードの例を示す図である。 欠陥画像を例示する図である。 最大セルの欠陥画像の特徴コードを例示する図である。 最大セルの欠陥画像を例示する図である。 4番セルの特徴コードを例示する図である。 4番セルに含まれる欠陥画像を例示する図である。 4番セルに属するものと同様の欠陥画像を例示する図である。 7番セルの特徴コードを例示する図である。 7番セルに含まれる欠陥画像を例示する図である。 7番セルの近傍で探索された統合対象のセルの特徴コードを例示する図である。 7番セルの近傍で探索された統合対象のセルに含まれる欠陥画像を例示する図である。 39番セルの欠陥画像を例示する図である。 100番セルの欠陥画像を例示する図である。 39番セルの特徴コードと、100番セルの特徴コードを並べて表示する図である。
図1は本発明の一の実施の形態に係る画像分類装置1の概略構成を示す図である。画像
分類装置1は、画像処理装置の一例として、例えば、半導体基板9(以下、単に「基板9」という。)上の欠陥を示す欠陥画像を分類する。また、本実施の形態で、画像分類装置1が実行する処理は、画像処理方法ということができる。画像分類装置1は撮像装置2、検査・分類装置4、および、ホストコンピュータ5を有する。撮像装置2は、基板9上の検査対象領域を撮像する。検査・分類装置4は、撮像装置2からの画像データに基づいて欠陥を検査し、欠陥が検出された場合に欠陥が属すべきカテゴリへと欠陥を自動分類する。ホストコンピュータ5は、画像分類装置1の全体動作を制御する。なお、図1では、検査・分類装置4と、ホストコンピュータ5は、別体として例示されているが、検査・分類装置4と、ホストコンピュータ5とが同一の筐体に一体として設けられてもよい。また、ホストコンピュータ5が検査・分類装置4の処理の一部またはすべてをコンピュータプログラムにしたがって実行してもよい。基板9上に存在する欠陥の種類は、例えば、欠け、突起、断線、ショート、異物であり、これらが欠陥のカテゴリとされる。また、撮像装置2は基板9の製造ラインに組み込まれ、画像分類装置1はいわゆるインライン型のシステムとなっている。
撮像装置2は、基板9上の検査対象領域を撮像して画像データを取得する撮像部21、基板9を保持するステージ22、および、撮像部21に対してステージ22を相対的に移動するステージ駆動部23を有する。撮像部21は、照明光を出射する照明部211、基板9に照明光を導くとともに基板9からの光が入射する光学系212、および、光学系212により結像された基板9の像を電気信号に変換する撮像デバイス213を有する。ステージ駆動部23はボールねじ、ガイドレール、モータ等により構成される。ホストコンピュータ5がステージ駆動部23および撮像部21を制御することにより、基板9上の検査対象領域が撮像される。
検査・分類装置4は、検査対象領域の画像データを処理しつつ欠陥を検出する欠陥検出部41、および、欠陥画像を分類する欠陥自動分類部42を有する。欠陥検出部41は検査対象領域の画像データを高速に処理する専用の電気的回路を有し、撮像された画像と欠陥が存在しない参照画像との比較や画像処理により検査対象領域の欠陥検査を行う。欠陥自動分類部42は各種演算処理を行うCPUや各種情報を記憶するメモリ等により構成される。欠陥自動分類部42はニューラルネットワーク、決定木、判別分析等を利用する分類器421を用いて欠陥の分類(すなわち、欠陥画像の分類)を実行する。
なお、本実施の形態では、CPUは、MPU(Microprocessor)、プロセッサとも呼ばれる。CPUは、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のCPUがマルチコア構成を有していてもよい。上記検査・分類装置4、および、ホストコンピュータ5の各部の少なくとも一部の処理は、CPU以外のプロセッサ、例えば、Digital Signal Processor(DSP)、Graphics Processing Unit(GPU)、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用プロセッサで行われてもよい。また、上記検査・分類装置4、および、ホストコンピュータ5の少なくとも一部の処理は、集積回路(IC)、その他のデジタル回路で実行されても良い。また、上記各部の少なくとも一部にアナログ回路が含まれても良い。集積回路は、LSI,Application Specific Integrated Circuit(ASIC),プログラマブルロジックデバイス(PLD)を含む。PLDは、例えば、Field-Programmable Gate Array(FPG
A)を含む。すなわち、上記検査・分類装置4、および、ホストコンピュータ5の各部は、プロセッサと集積回路との組み合わせであってもよい。組み合わせは、例えば、マイクロコントローラ(MCU),SoC(System-on-a-chip),システムLS
I,チップセットなどと呼ばれる。
図2は画像分類装置1による欠陥画像の分類の流れを示す図である。本実施の形態では、フローチャートにおける各手順は、ステップ、あるいは工程と呼ばれ、Sで始まる符号が付与される。まず、図1に示す撮像装置2が基板9を撮像することにより検査・分類装置4の欠陥検出部41が画像データを取得する(S11)。次に、欠陥検出部41が検査対象領域の欠陥検査を行い、欠陥が検出されると(S12)、欠陥部分の画像(すなわち、欠陥画像)のデータが欠陥自動分類部42へと送信される。欠陥自動分類部42は欠陥画像の複数種類の特徴量を算出し(S13)、欠陥画像の特徴量が欠陥自動分類部42の分類器421に入力されて分類結果が出力される。すなわち、分類器421により欠陥画像が複数のカテゴリのいずれかに分類される(S14)。画像分類装置1では、欠陥検出部41にて欠陥が検出される毎に特徴量の算出がリアルタイムにて行われ、多数の欠陥画像の自動分類が高速に行われる。ただし、本画像分類装置1の処理がリアルタイム処理に限定される訳ではない。例えば、S11、S12の処理とは切り離されたオフライン処理によって、S13、S14の処理が実行されてもよい。
次に、ホストコンピュータ5による教師データの作成について説明する。図3はホストコンピュータ5の構成を示す図である。ホストコンピュータ5は各種演算処理を行うCPU51、基本プログラムを記憶するROM52および各種情報を記憶するRAM53をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う外部記憶装置が接続される。外部記憶装置としては、例えば、固定ディスク54、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体8から情報の読み取りを行う読取装置57が例示できる。なお、固定ディスク54とともに、あるいは、固定ディスク54に代えて、Solid State Drive(SSD)が設けられてもよい。図では、読取装置57が例示されるが、記録媒体8として書込可能な媒体を用いてもよい。その場合には、読取装置57に代えて、媒体入出力装置が用いられる。
また、バスラインには、操作者とのユーザインターフェースを形成する装置が接続される。例えば、バスラインには、画像等の各種情報の表示を行うディスプレイ55、操作者からの入力を受け付けるキーボード56aおよびマウス56b(以下、「入力部56」と総称する。)等が接続される。ただし、入力部56がキーボード56aおよびマウス56bに限定される訳ではない。例えば、静電パッド等の他のポインティングデバイスを用いてもよい。また、操作者のディスプレイ55上への画面操作を検知するタッチパネルを用いてもよい。さらに、バスラインには、画像分類装置1の他の構成との間で信号を送受信する通信部58が、適宜、インターフェイス(I/F)を介する等して接続される。なお、通信部58は、Local Area Network(LAN)等を介して、画像分類装置1と連携する他のコンピュータ、その他の装置と通信するものであってもよい。
ホストコンピュータ5には、事前に読取装置57を介して記録媒体8または通信部58を介して接続される他のコンピュータからプログラム80が読み出されて固定ディスク54に記憶される。さらに、プログラム80はRAM53にコピーされるとともにCPU51によりRAM53内のプログラムに従って演算処理が実行される。
図4はホストコンピュータ5のCPU51、ROM52、RAM53、固定ディスク54等により実現される分類器を学習させるための構成を示すブロック図であり、検査・分類装置4も示している。ホストコンピュータ5は分類器の学習に使用される教師データを作成する教師データ作成部61および教師データを用いて分類器を学習させる学習部62を有する。なお、図4で例示される各部の構成は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。
教師データ作成部61は、欠陥検出部41で生成された欠陥画像を基に、欠陥画像を分
類する基準となる教師データを作成し、欠陥自動分類部42の分類器421に設定する。分類器421は、設定された教師データを基に、教師データに採用されなかった他の欠陥画像および教師データ設定以降に撮像装置2で取得される画像に含まれる欠陥画像を分類する。教師データは欠陥画像のデータ(教師画像と呼ぶ)、欠陥画像の特徴量および欠陥のカテゴリを示す情報である教示信号を含む。欠陥画像の特徴量として、例えば、欠陥の面積、明度平均、周囲長、扁平度(伸長度ともいう)、欠陥を楕円に近似した場合の長軸の傾き等が採用される。学習部62では、教師データから読み出された欠陥画像の特徴量がホストコンピュータ5内の分類器(図示省略)に入力され、分類器の出力が欠陥のカテゴリを示す教示信号と同じとなるように学習が行われる。学習結果、すなわち、学習後の分類器421(正確には、分類器421の構造や変数の値を示す情報)が欠陥自動分類部42へと転送される。
図5はホストコンピュータ5の教師データ作成部61の機能構成を示すブロック図であり、ディスプレイ55、入力部56および学習部62も示している。CPU51は、RAM53に実行可能に展開されたコンピュータプログラムにしたがって、教師データ作成部61としての処理を実行する。ただし、すでに述べたように、教師データ作成部61の処理の一部が他のプロセッサ、デジタル回路、アナログ回路等によって実行されてもよい。
教師データ作成部61は、記憶部611、特徴量取得部612、およびカテゴリ決定部613を有する。また、カテゴリ決定部613は、特徴量取得部612により取得された欠陥画像の特徴量に基づき、欠陥画像に対してカテゴリを付与する。カテゴリ決定部613は、さらに詳細には、コード化部614、グループ化部615、統合部616、および、カテゴリ設定部617を有する。記憶部611は、欠陥画像の画像データ(以下、単に画像という)および欠陥画像に関する各種情報を記憶する。記憶部611は、例えば、図3のRAM53上または固定ディスク54上に構築される。特徴量取得部612は、欠陥画像の特徴量を取得する。特徴量取得部612は、処理対象の欠陥画像について、上記した欠陥の面積、明度平均、周囲長、扁平度、欠陥を楕円に近似した場合の長軸の傾き等を算出する。
コード化部614は、一の欠陥画像に対して特徴量取得部612で取得された複数種類の特徴量のそれぞれを2以上の段階に区分し、区分に応じた数値を付与し、前記数値を所定順に組み合わせた特徴コードであるコード値を生成する。グループ化部615は、処理対象の複数の画像のうち、同一のコード値を有する画像を組み合わせて画像グループを形成する。統合部616は、一の画像グループの対象画像が有するコード値との差異が1ビットであるコード値を有する1以上の近傍画像を探索し、探索された近傍画像を一の画像グループに統合する処理を実行する。このような近傍画像が一の画像グループに統合されて生成される画像グループを統合画像グループと呼ぶ。また、複数の近傍画像を特に近傍画像グループともいう。
カテゴリ設定部617は、形成された画像グループから少なくとも1つの対象画像をディスプレイ55に表示する。そして、カテゴリ設定部617は、入力部56を介して、表示された画像が含まれる上記画像グループ、または、統合画像グループのカテゴリを示す情報を受け付ける。カテゴリ設定部617は、受け付けたカテゴリを示す情報を画像グループに設定する。なお、欠陥画像は図1に示す撮像装置2および欠陥検出部41を利用して取得されてもよいし、通信部58等を介して、他の装置から送信されてもよいし、記録媒体8等を介して別途オフラインで用意されてもよい。
図6は記憶部611内に記憶されている情報の構造の一部を示す図である。記憶部611では、図5に示す特徴量取得部612にて算出される欠陥画像の特徴量がその種類と共に欠陥画像のデータに関連付けられて記憶される。また、欠陥画像に対してカテゴリが決
定されると当該カテゴリを示すカテゴリ番号が欠陥画像のデータに関連付けられたカテゴリ変数に記憶される。さらに、欠陥画像が典型画像に指定されると欠陥画像のデータに関連付けられた典型画像識別変数に1が記憶される。なお、初期状態ではカテゴリ変数および典型画像識別変数には0が記憶されている。
ただし、教師データを作成する処理において、典型画像を識別する必要がない場合には、典型画像識別変数は省略される。また、図6の情報の構造は例示であって、本発明の実施が図6の情報の構造に限定される訳ではない。例えば、記憶部611内にテーブルを設け、テーブルのエントリに特徴量を格納してもよい。テーブルの行は、欠陥画像を識別するための画像番号によって識別され、テーブルの列は、特徴量の種類を示す特徴番号によって識別されるようにすればよい。教師データ作成部61は、このようなテーブルによって、欠陥画像毎、特徴量の種類毎に、特徴量を保持できる。なお、カテゴリ変数、典型画像識別変数についても、上記テーブルの行を識別する画像番号に対応する表(それぞれ1列の表)に格納すればよい。
図7は、本実施の形態の教師データ作成処理を例示するフローチャートである。図の処理によって、欠陥画像から、典型的な欠陥を含む基準画像として学習アルゴリズムに利用される教師画像あるいは、教師画像を選定する基準となる典型画像が選定される。この意味で、本実施の形態において、教師データ作成部61の処理対象の欠陥画像を教師用データとも呼ぶ。
図のように、教師データ作成部61は、特徴量取得部612により欠陥画像の特徴量を取得する(S21)。教師データ作成部61は、複数の対象画像のそれぞれについて複数種類の特徴量を取得することの一例として、S21の処理を実行する。すなわち、本実施の形態では、欠陥画像は,処理対象の画像という意味で、対象画像と呼ぶことができる。
図8は、記憶部611に記憶される欠陥画像のサンプル例(画像A、画像B)である。図8では、2箇所の欠陥に対応するサンプルとして、画像A、画像Bが例示されている。画像分類装置1の欠陥検出部41は、撮像装置2から得られた1箇所の欠陥画像を基に、図8のような複数の画像(撮影画像、参照画像、マスク画像、差分画像)を生成する。撮影画像は、欠陥箇所において撮像装置2等によって撮像された欠陥画像である。参照画像は対象画像に対応する別のダイ(例えば、別の集積回路チップ)における欠陥箇所に相当する位置の画像である。差分画像は撮影画像と参照画像との差分画像である。マスク画像は差分画像を2値化した処理結果として得られる画像である。
以下の処理では、複数箇所(以下、K箇所という)の欠陥について、それぞれ図8に例示した4つの画像の組(撮影画像、参照画像、マスク画像、差分画像)が得られていることを前提に説明がなされる。また、本実施の形態では、1箇所の欠陥画像から複数種類の特徴量が算出される。すなわち、本実施の形態では、S21の処理によって、教師データ作成部61は、K箇所の欠陥画像から、それぞれN個(次元)の特徴量を算出する。その結果、特徴量はN次元の空間のデータ(以下、N次元の特徴ベクトル)となる。ただし、教師データ作成部61(特徴量取得部612)は、通信部58を介して接続される他の画像分類装置等で算出がされた欠陥画像の特徴量を取得するようにしてもよい。
特徴量の具体例としては、上述したマスク画像から得られる欠陥領域の面積、周囲長、扁平度、モーメントの他、欠陥画像や差分画像から得られる濃度ヒストグラム、平均濃度値、自己相関係数値、空間周波数、差分統計量、濃度共起行列、高次局所自己相関、ランレングス行列、フラクタル特徴などが挙げられる。
次に、教師データ作成部61は、コード化部614により、それぞれの特徴量を各々適
宜定めた閾値によりコード化する(S22)。コード化された特徴量は、特徴コードと呼ばれる。教師データ作成部61は、取得した複数種類の特徴量のそれぞれを2以上の段階に区分し、区分に応じた数値を付与し、数値を所定順に組み合わせたコード値を生成することの一例として、S22の処理を実行する。コード化は、例えば、それぞれの特徴量の種類ごとに設定される1つの閾値により0と1に2値化することで求めることができる。2値化、すなわち、2段階に区分することにより求められる特徴コードは2値化データと呼ばれる。
2値化する場合の各特徴量に関する閾値としては、処理対象のすべての欠陥画像から得た該当特徴量の平均値、分布範囲の中央値、あるいは、累積相対度数がほぼ50パーセントになる値など教師データ作成部61によって自動的に算出される値を用いることができる。また、多数段階にコード化する場合には、例えば、累積相対度数がほぼ33パーセントになる値、67パーセントなる値を用いることによって、特徴量を「大」「中」「小」、あるいは、「高」「中」「低」、さらには、「長」「中」「短」、さらにまた、「濃」「中」「淡」のようにコード化できる。4段階以上にコード化する場合も同様である。
ただし、2つ以上の閾値で3段階以上にコード化することは、実質的に等価な2値化のコード化に変換できる。例えば、特徴量Aを「大」「中」「小」とする3段階にコード化することに代えて、特徴量Aが「大」と判定できるか否か(閾値L以上の値か)という第1の次元、特徴量Aが「中」と判定できるか否か(閾値S以上からLの範囲に入るか値か否か)という第2の次元、特徴量Aが「小」と判定できるか否か(閾値S未満の値か否か)という第3の次元により、2値化してコード化できる。S22において、2値化がされる場合には、S22の処理は、複数種類の特徴量のそれぞれを2段階に区分し、2値化された数値を付与することの一例でもある。
さらにまた、例えば、「面積がa画素以下のものは無条件に誤検出とする」といった運用上の規則がある場合には、「a画素」の面積をコード化する場合の閾値としてもよい。いずれにしても、S22の処理においては、操作者の判断や試行錯誤の作業は必要とされない。S22の処理により、N次元の特徴ベクトルは、所定長のビット列に変換される。例えば、特徴量が2値化によってコード化される場合には、N次元の特徴ベクトルはNビットの数値に変換される。したがって、S22の処理によって、すべての欠陥画像に所定長のビット数(2値化の場合には、Nビット)の特徴コードが付与される。
次に、教師データ作成部61は、グループ化部615により、同一の特徴コードを持つ欠陥画像同士をグループ化する(S23)。教師データ作成部61は、複数の対象画像のうち、同一のコード値を有する画像を組み合わせて画像グループを形成することの一例として、S23の処理を実行する。今、独立した特徴量の種類が十分な数だけ用意されているものとすると、S22の手順で得られる特徴コードにより表現できる欠陥種別は膨大なものとなる。例えば、特徴量の種類が32個であれば、2値化の場合の特徴コードにより、232個(約42億9500万個)の異なる欠陥種別が表現できることになる。これに比べて、実際に準備される教師画像を作成するための欠陥画像の数は高々数万個と少ない。したがって、すべての画像に異なる特徴コードが付与されたとしても不思議はないと理解できる。このような理解にも拘わらず、同一の特徴コードを有する複数の欠陥画像が存在するならば、同一の特徴コードを有する複数の欠陥画像は同一の欠陥種別に分類される画像であると見なしてよい。このような考え方に基づき、同一の特徴コードを持つ欠陥画像をグループ化する。このグループ化は、「仮教示」と呼ばれる。なお、教師データ作成部61は、仮教示のためのラベル(欠陥種別番号)を自動的に生成する。
本手法は、特徴量次元数の増加に伴って特徴量空間の容積が増大し、そのため特徴量空間内に一様に分布すると仮定されるデータの密度が疎になることを利用した、欠陥画像の
クラスタリングと解釈することができる。なお、特徴量次元数(座標軸数)さえ確保できれば、ある1つの特徴量軸を見た時、その特徴量に関する閾値で全欠陥画像を二分できるかどうか(複数段階に区分できるかどうか)は本実施形態では問題にならない。
次に、教師データ作成部61は、欠陥数の多いグループから降順に並べる(S24)。教師データ作成部61は、複数の画像グループのそれぞれに含まれる対象画像数の順に、複数の画像グループを一覧表示することの一例として、S24の処理を実行する。同一の特徴コードを有する欠陥画像が複数存在して1つのグループを形成する場合、そのグループは何らかの欠陥種別の典型である可能性が高い。ただし、S24の処理の時点では、欠陥種別の具体名は不詳のままでよい。すると、特徴量空間で、そのグループの近傍にも、類似する欠陥種別の欠陥画像が分布している可能性がある。そこで、教師データ作成部61は、まず、欠陥画像数の多いグループから順に欠陥画像(または、欠陥画像の特徴量)を一覧表示し、操作者によって一覧表示された中から任意にグループが選択される操作を受ける(S25)。教師データ作成部61は、一覧表示された複数の画像グループのうち、操作者から指定を受けた画像グループを一の画像グループとすることの一例としてS25の処理を実行する。
次に、教師データ作成部61は、統合部616により、選択されたグループ(すなわち、上記の一の画像グループ)に属する欠陥画像の特徴コード近傍に位置する特徴コードの欠陥画像を探索する(S26)。例えば、教師データ作成部61は、選択されたグループの特徴コードとの差が1ビットである特徴コードの欠陥画像、または欠陥画像のグループを探索すればよい。教師データ作成部61は、一の画像グループの対象画像が有するコード値との差異が1ビットであるコード値を有する近傍画像を探索することの一例としてS26の処理を実行する。
本実施の形態では、特徴コードで表される高次元特徴空間内の小領域を「セル」と呼ぶ。セルの寸法に特に制限がある訳ではない。例えば、各次元について、1ビットの差分値で区切られる領域はセルと呼ぶことができる。また、上記S25の操作で選択されたグループに対応するセルを「注目セル」と呼ぶ。さらに、ある注目セルの「N個方向に隣接するセル」を「近傍セル」と定義する。例えば、S21の処理において、2値化によって特徴量がコード化されている場合には、本手法では特徴量軸が閾値で2分されている。したがって、ある注目セルに対応する特徴コードの任意の1ビットだけを反転させてできる特徴コードに対応するセルがすべて近傍セルに対応する。なお、S21の処理において、複数の閾値によって特徴量が多数段階にコード化されている場合には、ある注目セルに含まれる特徴コードの任意の軸に対応するビット列に1を加算または減算してできる特徴コードに対応するセルが近傍セルに該当する。
そこで、教師データ作成部61は、S24の処理で、操作者が選択したグループの近傍に位置する近傍セルにある欠陥画像(または欠陥画像グループ)を一覧表示する(S27)。教師データ作成部61は、探索された近傍画像を表示することの一例として、S27の処理を実行する。S27の処理によって、注目セルに存在する欠陥画像のグループを中心にしたときの統合対象となり得る候補画像が提示されることになる。なお、近傍セルに複数の画像が存在する場合には、存在する複数の画像、すなわち、候補画像のグループが提示されることになる。
すると、操作者は、S27で一覧表示された統合の対象となり得る候補画像(または候補画像のグループ)を見ながら、実際に統合するか否かを判断する。そして、教師データ作成部61は、操作者から統合の可否を受け付ける(S28)。1つ以上の近傍の候補画像(または候補画像グループ)の統合が操作者から指示されると(S29でYES)、教師データ作成部61は、統合部616により、統合処理を実行する(S30)。すなわち
、教師データ作成部61は、注目セルに存在する欠陥画像のグループと、統合が指示された近傍の候補画像(または候補画像のグループ)を統合し、グループを再編する。再編によって、注目セルと、候補画像(または候補画像のグループ)が存在するセルとが統合される。教師データ作成部61は、表示された近傍画像を前記一の画像グループに統合するか否かの指定を受け付けることの一例として、S28、S29の処理を実行する。教師データ作成部61は、探索された近傍画像を一の画像グループに統合することの一例として、S30の処理を実行する。
そして、教師データ作成部61は、統合を継続するか否かの指定を操作者から受け付ける(S31)。統合を継続する指示がなされた場合(S31でYES)、教師データ作成部61は、処理をS24に戻し、再編されたグループにしたがって表示を更新する。このようにして、教師データ作成部61は、操作者の指示にしたがってS25からS31の処理を繰り返す。操作者は、例えば、所望の欠陥種別数になるまで、統合処理を継続する。教師データ作成部61は、近傍画像を前記一の画像グループに統合することによって、近傍画像と一の画像グループとの間で相違する特徴コードのビットに対応する次元を削除し、次元が削除された特徴コードにしたがって、探索する処理と統合する処理とを所定の限度まで繰り返すことの一例として、S30、S31の処理を実行する。
2値化によって特徴コードがコード化されている場合には、近傍セルの統合は、ある特徴量の軸(次元)を削減することと同一である。すなわち、削減される特徴量の値によらずに欠陥種別が決定されることになる。したがって、かりにその特徴量が画像を分類する上でそれほど重要な役割を担っていなければ、その特徴量を削減する統合が実施されても、操作者は目視で不都合を感じない場合が多い。逆に操作者が目視で不都合であることを認識できる場合には、統合によって削減される特徴量は欠陥画像を分類する上で重要な役割を担っていることが推定される。このように、本手法では、教示作業を支援するとともに、分類に有効な特徴量を見出す効果も期待できる。
また、教師データ作成部61がS24からS31の処理を繰り返すことによって、徐々に特徴量次元が削減されつつ、グループの統合が進行していく。例えば、元々2ビットの差異が存在した2つのグループが、統合の結果1ビットの差異しかない近傍に存在する2つのグループになり得る。同様に、元々nビットの差異が存在した2つのグループが、上記処理の繰り返しによって、徐々に、n−1ビットの差異、n―2ビット差異、・・・、1ビットの差異しかない近傍に存在する2つのグループになり得る。
S31の判定で、統合を継続しない指示がなされたと判定された場合、教師データ作成部61は、少なくとも1つのグループについて、当該グループに含まれる少なくとも1つの欠陥画像を教師画像、または教師画像選定の基準となる典型画像の候補として表示する(S32)。そして、操作者は、表示された欠陥画像を教師画像に設定する場合、または教師画像選定の基準となる典型画像に設定する場合には、表示された欠陥画像によって示される画像の特徴を示す名称である欠陥種別名(ラベルともいう)を入力する。この場合には、当該グループが教師データとするグループ(あるいは、教師画像選定の基準となる典型画像含むグループ)ということができる。すると、教師データ作成部61は、カテゴリ設定部617により、操作者の操作にしたがい、欠陥種別名を受け付け、教師データとするグループに欠陥種別名を付与する(S33)。
以上の手順により、グループ内の画像数がある程度の数に達すると、そのグループに欠陥種別名が付与される。このように、欠陥種別名が付与されたグループの画像は教示済み画像と呼ばれる。教師データ作成部61は、形成された画像グループから少なくとも1つの対象画像を表示するとともに、表示された対象画像が含まれる画像グループのカテゴリを示す情報の設定を受け付けることの一例としてS32、S33の処理を実行する。
なお、図7の処理では、グループ化の処理(S23)の次に、S24からS31の処理によって、グループの統合化が実行された。しかし、本発明の実施は、図7の処理に限定される訳ではない。例えば、グループ化の処理(S23)の後、S32、S33の処理によって、操作者の入力にしたがって、グループ化された欠陥画像に欠陥種別を付与するようにしてもよい。すなわち、S24からS31の処理によるグループの統合化は、操作者からの要求により別途実行するようにしてもよい。例えば、グループ化の処理(S23)によってグループ内の画像数がある程度の数に達する場合には、そのようなグループには、欠陥種別が付与されるようにしてもよい。
ところで、教師データ作成部61がS24からS31の処理によって、近傍をたどって徐々に統合するだけでは、統合できないグループが多数の残存することも予想される。なぜなら、欠陥画像の相当数は1つのセルに1個の欠陥画像しか存在しない、いわゆる特徴量空間の「孤立点」であると推測されるからである。そこで、図7による処理の終了後、教師データ作成部61は、例えば、特許第5075070号公報に例示される方法で教示情報の自動付与を実行してもよい。特許第5075070号公報に例示される方法による場合には、図7の処理で欠陥種別が付与されたグループは典型画像とし、図6の典型画像識別変数を1に設定しておけばよい。このような自動付与の結果に対して、操作者が手作業で若干の修正を加えることにより多数の欠陥画像に対する教示を短時間で完了させることができる。
ここで、特許第5075070号公報に例示される方法は以下の通りである。まず、前提として、複数の欠陥種別(カテゴリ)に対応するグループのそれぞれにおいて、予め典型的な欠陥を示す少なくとも1つの典型画像が指定されている。ここでは、典型画像が指定されている複数の欠陥種別(カテゴリ)に対応するグループは、例えば、上記欠陥種別名が付与されたグループに相当する。そして、教師データ作成部61は、以下の処理を実行する。
(a)未分類の欠陥画像である対象欠陥画像から一の種類の特徴量を取得する。
(b)全ての典型画像の前記一の種類の特徴量と前記対象欠陥画像の前記一の種類の特徴量との差を求める。全ての典型画像との差を求める結果、典型画像の数に相当する複数の特徴量差が求められる。
(c)前記複数の特徴量差のうち最も値の小さいものに対応する典型画像が属するカテゴリに投票を行う。
(d)前記対象欠陥画像の特徴量の各種類について前記(a)ないし(c)を行う。
(e)前記複数のカテゴリのうち得票数が最も多いカテゴリを前記対象欠陥画像が属するカテゴリとして決定する。このような処理を繰り返すことで、教示済み画像を増加することができる。
以上の処理が完了すると、教師データ作成部61の記憶部611内に保存される典型画像の画像データおよび教示済み画像の画像データ、並びに、これらの特徴量およびカテゴリの情報が教師データとして学習部62に転送される。そして、学習部62にて教師データを用いて分類器の学習が行われる。すなわち、分類器(図4参照)を構成する変数の値が決定され、分類器の構造が決定されて分類器が生成される。
図9から図22の図面を参照して、本発明の実施例を説明する。パターン付きウェーハ外観検査装置で検査した結果に対して、本画像分類装置1の支援による教示作業を実行した。ここで、教示作業とは、画像をグループに分類し、欠陥種別を付与する作業をいう。欠陥画像の総数は5140点である。これらの欠陥画像について、各々174個の特徴量を計算し、2値化によって特徴コードを生成した。
図9に、画像分類装置1によって生成された特徴コードの例を示す。なお、図9では、ビットパターンが16進数で表示されている。図9では、特徴コードは232ビット例示されているが、このうち、174ビットが有効である。また、これらに含まれる欠陥画像の一部(8点の欠陥画像)を図10に例示する。図9で”file name”は、欠陥画像のファイル名である。また、”Train”は、ラベル、すなわち、欠陥種別名である。欠陥種別名は、本来、図7にしたがった教師データ作成部61の処理によって付与されるものであるが、本実施例では、参照用として、事前に目視による教示作業によって欠陥種別名が欠陥画像に付与されている。また、”code”は、教師データ作成部61が生成する特徴コードである。
5140点の欠陥画像に教師データ作成部61の処理を適用したところ、2つ以上の欠陥画像が含まれるセルが420個生成された。また、これら420セルに属する欠陥画像数は1594点であった。以下、この420セルを全セルという。また、残り、3546点の欠陥画像は1セルに1点しか属しない孤立点であった。全セルのうちで、最も欠陥画像数の多いセル(以下、最大セルという)には、31点の欠陥画像が含まれていた。
図11に、最も欠陥画像数の多い最大セルに含まれる欠陥画像の特徴コードを14点例示する。また、図12に、最大セルに含まれる欠陥画像を8点例示する。図11のように、事前の目視による教示作業で付与された欠陥種別情報のうち、2種類(20と30)の欠陥種別が混在している。そして、操作者がこの最大セルの欠陥画像を目視で分類する場合にも、判断に迷うものが多い。そこで、教師データ作成部61による処理では、図11、図12のようなセルに対しては、「紛らわしいものが集まっている」という情報が付与され、教示作業が後回しにされる。
次に、4番目に画像数の多いセル(以降4番セルという)には、19点の欠陥画像が含まれ、容易に典型画像群であると判断できた。図13に4番セルの特徴コードを14点例示する。また、図14に、4番セルに含まれる欠陥画像を8点例示する。
さらに、他のセルに含まれる欠陥画像を確認してみると、49番目に画像数の多いセル(以下49番セル)に、4番セルに属するものと同様の7点の欠陥画像を見出すことができた。図15に、4番セルに属するものと同様の欠陥画像を4点例示する。なお、4番セルに属するものと同様の7点の欠陥画像の大半には、事前の目視による教示作業によって、4番セルと同一の欠陥種別名が付与されていた。
また、7番目に画像数の多いセル(以下、7番セル)には、17点の欠陥画像が含まれていた。図16では、事前の目視による教示作業により付与された欠陥種別情報のうち、2種類(10と20)の欠陥種別が混在している。そこで、教師データ作成部61の処理によって7番セルに分類された欠陥画像を再度検討したところ、7番セルの欠陥画像は両欠陥種別(10と20)の中間種とでも言うべき典型画像群と判断できるものであり、事前の目視による教示作業で付与された欠陥種別10と20からそれぞれ分離して、新たな欠陥種別(例えば、15)として統合できものであることが分かった。
図18に、7番セルの近傍で探索された統合対象のセルの特徴コードを例示する。また、図19に、7番セルの近傍で探索された統合対象のセルに含まれる欠陥画像を4点例示する。図16と図18を比較すると、右から13番目のコード(矢印の箇所4ビット分)が、図16では”9”であり、図18では、”B”となっている。また、図17の欠陥画像と図19の欠陥画像とは、ほとんど区別できない。したがって、右から13番目のコード(矢印の箇所4ビット分)の相違箇所である183番目のビット、つまり、183番目の特徴量の次元は7番セルの欠陥画像と、その近傍で探索されたセルの欠陥画像の欠陥種
別の分離には寄与していないことが分かる。この例では、183番目の特徴量は、欠陥最大画素値と、背景平均画素値の差の絶対値であった。
同様に、39番目に画像数の多いセル(以下、39番セル)には、9点の欠陥画像が含まれる。39番セルも容易に第3の典型画像群と判定することができた。図20に39番セルの欠陥画像を4点例示する。39番セルに対して、100番目に画像数の多いセル(以下、100番セル)に、類似の欠陥画像が見出された。図21に100番セルの欠陥画像を例示する。ただし、100番セルの欠陥画像では、欠陥の直径が100番セルの欠陥画像とは相違する。図22に、39番セルの特徴コードと、100番セルの特徴コードを並べて表示する。39番セルの画像は、Defect_0000746.tifのファイル名で示される。100番セルの画像は、Defect_0001716.tifのファイル名で示される。図22のように、39番セルと100番セルには、事前の目視による教示作業によって、ともに欠陥種別30が付与されている。しかし、39番セルに属する欠陥画像の特徴コードと、100番セルに属する欠陥画像の特徴コードとは、76ビットの相違がある。したがって、39番セルと100番セルとは統合できない。このような場合には、改めて、100番セルの近傍が探索され、統合が実行される。
以上述べたように、本実施の形態の画像分類装置1によれば、欠陥画像の特徴量が閾値によって特徴コードにコード化される。そして、各欠陥画像は特徴コードによって、特徴量空間に配置される。そして、同一の特徴コードを有する欠陥画像同士がグループ化される。したがって、特徴量空間内で欠陥画像同士の位置が近接しているか否かの条件に依存することなく、欠陥画像のグループが形成可能である。すなわち、画像分類装置1によれば、操作者が近接しているか否かの条件を試行錯誤的に設定する必要がない。つまり、閾値によって特徴量を多段階に分割し、段階に対応した値を付与することで、複数次元の特徴量を特徴コードとしてコード化できる。そして、画像分類装置1は、特徴コードによって欠陥画像をグループ化し、欠陥種別名を付与することで、操作者の試行錯誤による作業を介在させることなく、欠陥画像から教師データを作成できる。また、画像分類装置1は、この処理によって、教師データの1つの要素である教師画像選定の基準となる典型画像を選定できる。
そして、特徴コードで特定されるセルに含まれる欠陥画像が多い順に、それぞれのセルの欠陥画像がユーザに提示される。さらに、特徴コードが2値化によって得られている場合には、操作者によって任意に選択されたセルに対して、特徴コードが1ビットだけ異なるセルが近傍セルとして探索され、統合の対象となる。したがって、画像分類装置1によれば、操作者の作業に依存することなく、セルが統合される。その結果、欠陥画像は、統合されたセルに対応するグループに分類される。このように、特徴量を2値化することによって統合化すると、ビットと次元の関係が明確となり、処理が簡潔になる。
また、本実施の形態の画像分類装置1は、グループの統合において、セルに含まれる欠陥画像数の多い順にユーザに提示し、統合の対象とする注目セルを決定する。セルに含まれる欠陥画像が多いセルほど、典型的な特徴量を有する画像のグループと考えられるので、画像分類装置1は、操作者に効果的に統合の対象を選択させることができる。そして、注目セルである一のセル(画像グループ)に対する近傍セルが探索され、操作者に提示される。したがって、画像分類装置1によれば、欠陥画像が近接しているか否かの条件を調整することなく、欠陥画像は、統合されたグループに分類される。すなわち、画像分類装置1によれば、操作者が近接しているか否かの条件を試行錯誤的に設定する必要がない。さらに、画像分類装置1は、注目セルである一のセル(画像グループ)に対する近傍セルが探索されると、探索された近傍セルを注目セルに統合するか否かの指定を受け付ける。したがって、画像分類装置1は、操作者が統合における最終的な確認をすることを可能にする。
また、本実施の形態の画像分類装置1によれば、特徴コードが1ビットだけ異なるセルが近傍セルとして探索され、グループ化が実行された後、操作者の指示にしたがって、さらに、グループ化の処理が繰り返される。また、グループ化が実行されることによって特徴コードのビット数が1ビット(特徴量の次元が1次元)減少する。つまり、グループ化の繰り返しによって、複数ビット離れた関係にあった欠陥画像のグループを徐々に近づけ1つのグループに統合することが可能となる。特に、2値化によって特徴コードがコード化されている場合には、特徴コードの各ビットが特徴量の次元に対応する。したがって、統合に伴う次元の削減と、次元管理が簡潔になる。なお、複数ビット離れた関係とは、複数のビット位置のビット内容が異なることを意味する。
[変形例]
上記実施の形態では、基板9上の欠陥を示す欠陥画像を分類する画像分類装置1が例示された。しかし、本発明の実施は、画像分類装置1に限定される訳ではない。例えば、本発明の画像処理装置は、細胞を撮影した画像の分類、医療画像その他、様々な用途における画像の分類に適用可能である。
上記実施の形態では、光学系から取得される画像に対する処理が例示された。しかし、本発明の実施は、光学系から取得される画像に限定される訳ではない。例えば、電子顕微鏡、レーザーテラヘルツエミッション顕微鏡(LTEM)、X線画像撮像装置、核磁気共鳴画像法(magnetic resonance imaging, MRI)による診断装置等、様々な装置により生成される画像の分類に適用できる。例えば、検査・分類装置4、ホストコンピュータ5、および、画像の撮像装置をLAN等で接続し、上記実施の形態の処理を実行すればよい。
2 撮像装置
4 検査・分類装置
5 ホストコンピュータ
55 ディスプレイ
56 入力部
61 教師データ作成部
62 学習部
611 記憶部
612 特徴量取得部
614 コード化部
615 グループ化部
615 統合部
617 カテゴリ設定部

Claims (8)

  1. 複数の対象画像のそれぞれについて複数種類の特徴量を取得する特徴量取得部と、
    前記取得した複数種類の特徴量のそれぞれを2以上の段階に区分し、区分に応じた数値を付与し、前記数値を所定順に組み合わせたコード値を生成するコード化部と、
    前記複数の対象画像のうち、同一のコード値を有する画像を組み合わせて画像グループを形成するグループ化部と、
    前記形成された画像グループから少なくとも1つの対象画像を表示するとともに、表示された対象画像が含まれる画像グループのカテゴリを示す情報の設定を受け付けるカテゴリ設定部と、を備える画像処理装置。
  2. 前記コード化部は、前記複数種類の特徴量のそれぞれを2段階に区分し、2値化された数値を付与する請求項1に記載の画像処理装置。
  3. 一の画像グループの対象画像が有するコード値との差異が1ビットであるコード値を有する近傍画像を探索し、前記探索された近傍画像を前記一の画像グループに統合する統合部をさらに備える請求項1または2に記載の画像処理装置。
  4. 前記統合部は、前記探索された近傍画像を表示し、表示された近傍画像を前記一の画像グループに統合するか否かの指定を受け付ける請求項3に記載の画像処理装置。
  5. 前記統合部は、複数の前記画像グループのそれぞれに含まれる対象画像数の順に、前記複数の画像グループの情報を一覧表示し、前記一覧表示された複数の画像グループのうち、操作者から指定を受けた画像グループを前記一の画像グループとする請求項3または4に記載の画像処理装置。
  6. 前記特徴コードは前記複数の特徴量を2段階に区分した2値化データあり、
    前記統合部は、前記近傍画像を前記一の画像グループに統合することによって、前記近傍画像と前記一の画像グループとの間で相違する特徴コードのビットに対応する次元を削除し、前記次元が削除された特徴コードにしたがって、前記探索する処理と前記統合する処理とを所定の限度まで繰り返す請求項3から5のいずれか1項に記載の画像処理装置。
  7. 複数の対象画像のそれぞれについて複数種類の特徴量を取得する工程と、
    前記取得した複数種類の特徴量のそれぞれを2以上の段階に区分し、区分に応じた数値を付与し、前記数値を所定順に組み合わせたコード値を生成する工程と、
    前記複数の対象画像のうち、同一のコード値を有する画像を組み合わせて画像グループを形成する工程と、
    前記形成された画像グループから少なくとも1つの対象画像を表示するとともに、表示された対象画像が含まれる画像グループのカテゴリを示す情報の設定を受け付ける工程と、を実行する画像処理方法。
  8. 一の画像グループの対象画像が有するコード値との差異が1ビットであるコード値を有する近傍画像を探索する工程と、
    前記探索された近傍画像を前記一の画像グループに統合する工程と、をさらに実行する請求項7に記載の画像処理方法。
JP2016058644A 2016-03-23 2016-03-23 画像処理装置および画像処理方法 Active JP6597972B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016058644A JP6597972B2 (ja) 2016-03-23 2016-03-23 画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016058644A JP6597972B2 (ja) 2016-03-23 2016-03-23 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2017173098A JP2017173098A (ja) 2017-09-28
JP6597972B2 true JP6597972B2 (ja) 2019-10-30

Family

ID=59970943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016058644A Active JP6597972B2 (ja) 2016-03-23 2016-03-23 画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP6597972B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6952124B2 (ja) * 2017-10-05 2021-10-20 富士フイルム株式会社 医療画像処理装置
JP7219190B2 (ja) * 2018-08-27 2023-02-07 株式会社Screenホールディングス 教師データ生成方法および吐出状態の判定方法
WO2020045176A1 (ja) * 2018-08-27 2020-03-05 株式会社Screenホールディングス 教師データ生成方法および吐出状態の判定方法
JP7128107B2 (ja) * 2018-12-26 2022-08-30 オムロン株式会社 画像検査器生成装置、画像検査装置、画像検査器生成プログラム、及び画像検査器生成方法
JP2022078377A (ja) * 2019-03-27 2022-05-25 パナソニックIpマネジメント株式会社 学習方法、判定方法、プログラム、学習システム、学習用データセットの生成方法、及び、学習用データセット
JP7536517B2 (ja) 2019-10-08 2024-08-20 キヤノン株式会社 教師データの生成方法、学習済の学習モデル、及びシステム
JP7596697B2 (ja) * 2020-10-05 2024-12-10 富士通株式会社 情報処理装置、生成方法および生成プログラム
KR102704880B1 (ko) * 2021-06-03 2024-09-10 주식회사 데브 딥 러닝 모델에 기반하여 제품의 결함 여부를 유형별로 검사하기 위한 시스템
US12106562B2 (en) * 2021-10-08 2024-10-01 Mitsubishi Electric Research Laboratories, Inc. System and method for anomaly detection of a scene

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL106007A0 (en) * 1993-06-14 1993-10-20 Galai Lab Ltd Automatic inspection system
JP4132229B2 (ja) * 1998-06-03 2008-08-13 株式会社ルネサステクノロジ 欠陥分類方法
JP3834041B2 (ja) * 2004-03-31 2006-10-18 オリンパス株式会社 学習型分類装置及び学習型分類方法
JP4462411B2 (ja) * 2004-06-23 2010-05-12 オムロン株式会社 教師データの登録支援装置
JP4684928B2 (ja) * 2006-03-29 2011-05-18 アンリツ産機システム株式会社 X線検査システム
JP5858817B2 (ja) * 2012-02-16 2016-02-10 株式会社Screenホールディングス 教師データ作成方法、並びに、画像分類方法および画像分類装置
JP5873764B2 (ja) * 2012-06-06 2016-03-01 株式会社Screenホールディングス 欠陥画像の提示方法

Also Published As

Publication number Publication date
JP2017173098A (ja) 2017-09-28

Similar Documents

Publication Publication Date Title
JP6597972B2 (ja) 画像処理装置および画像処理方法
JP6924413B2 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
US6104835A (en) Automatic knowledge database generation for classifying objects and systems therefor
Liu et al. Automated visual inspection system for bogie block key under complex freight train environment
US6941009B2 (en) Method for evaluating pattern defects on a water surface
JP2019109563A (ja) データ生成装置、データ生成方法及びデータ生成プログラム
US6826735B2 (en) Inspection data analysis program, defect inspection apparatus, defect inspection system and method for semiconductor device
JP4374303B2 (ja) 検査方法及びその装置
CN117893817A (zh) 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质
US20060067570A1 (en) Apparatus and method for inspecting pattern
JP6544716B2 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
JP2018005640A (ja) 分類器生成装置、画像検査装置、及び、プログラム
KR20130118275A (ko) 자동 결함 분류를 위한 알려지지 않은 결함 리젝션의 최적화
CN112461839B (zh) 外观检查方法及外观检查装置
CN116109627B (zh) 基于迁移学习和小样本学习缺陷检测方法、装置及介质
RU2648638C2 (ru) Способы и системы эффективного автоматического распознавания символов, использующие множество кластеров эталонов символов
US20240312002A1 (en) Image processing method and system
Li et al. A two-stage crack detection method for concrete bridges using convolutional neural networks
Chang et al. An unsupervised neural network approach for automatic semiconductor wafer defect inspection
JP7404817B2 (ja) 学習装置、検出装置、学習方法、及び学習プログラム
Gonzalez et al. An investigation on the use of local multi-resolution patterns for image classification
CN119049021A (zh) 一种应用于药片缺陷检测的方法、系统、设备及存储介质
Hsieh et al. HEp-2 cell classification in indirect immunofluorescence images
Puspasari et al. EfficientNet-based approach for enhanced sugarcane disease classification: implementation and evaluation
Huang et al. HEp-2 cell images classification based on textural and statistic features using self-organizing map

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190917

R150 Certificate of patent or registration of utility model

Ref document number: 6597972

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250