JP6597972B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP6597972B2 JP6597972B2 JP2016058644A JP2016058644A JP6597972B2 JP 6597972 B2 JP6597972 B2 JP 6597972B2 JP 2016058644 A JP2016058644 A JP 2016058644A JP 2016058644 A JP2016058644 A JP 2016058644A JP 6597972 B2 JP6597972 B2 JP 6597972B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- defect
- images
- feature
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
化部は、取得した複数種類の特徴量のそれぞれを2以上の段階に区分し、区分に応じた数値を付与し、前記数値を所定順に組み合わせたコード値を生成する。したがって、操作者の試行錯誤を伴う作業によらず、コード値が生成される。
グループ化部は、複数の対象画像のうち、同一のコード値を有する画像を組み合わせて画像グループを形成する。したがって、操作者の試行錯誤を伴う作業によらず、画像グループが形成される。
カテゴリ設定部は、形成された画像グループから少なくとも1つの対象画像を表示するとともに、表示された対象画像が含まれる画像グループのカテゴリを示す情報の設定を受け付ける。したがって、画像処理装置は、対象画像から画像グループを形成し、操作者に表示するので、操作者による画像グループのカテゴリを示す情報の設定を支援できる。このカテゴリは、複数種類の特徴量を算出して自動分類するときの分類カテゴリということができる。また、この画像グループは、典型的な欠陥を含む基準画像として学習アルゴリズムに利用される教師画像、あるいは教師画像を選定するための典型画像として用いることができる。
分類装置1は、画像処理装置の一例として、例えば、半導体基板9(以下、単に「基板9」という。)上の欠陥を示す欠陥画像を分類する。また、本実施の形態で、画像分類装置1が実行する処理は、画像処理方法ということができる。画像分類装置1は撮像装置2、検査・分類装置4、および、ホストコンピュータ5を有する。撮像装置2は、基板9上の検査対象領域を撮像する。検査・分類装置4は、撮像装置2からの画像データに基づいて欠陥を検査し、欠陥が検出された場合に欠陥が属すべきカテゴリへと欠陥を自動分類する。ホストコンピュータ5は、画像分類装置1の全体動作を制御する。なお、図1では、検査・分類装置4と、ホストコンピュータ5は、別体として例示されているが、検査・分類装置4と、ホストコンピュータ5とが同一の筐体に一体として設けられてもよい。また、ホストコンピュータ5が検査・分類装置4の処理の一部またはすべてをコンピュータプログラムにしたがって実行してもよい。基板9上に存在する欠陥の種類は、例えば、欠け、突起、断線、ショート、異物であり、これらが欠陥のカテゴリとされる。また、撮像装置2は基板9の製造ラインに組み込まれ、画像分類装置1はいわゆるインライン型のシステムとなっている。
A)を含む。すなわち、上記検査・分類装置4、および、ホストコンピュータ5の各部は、プロセッサと集積回路との組み合わせであってもよい。組み合わせは、例えば、マイクロコントローラ(MCU),SoC(System-on-a-chip),システムLS
I,チップセットなどと呼ばれる。
類する基準となる教師データを作成し、欠陥自動分類部42の分類器421に設定する。分類器421は、設定された教師データを基に、教師データに採用されなかった他の欠陥画像および教師データ設定以降に撮像装置2で取得される画像に含まれる欠陥画像を分類する。教師データは欠陥画像のデータ(教師画像と呼ぶ)、欠陥画像の特徴量および欠陥のカテゴリを示す情報である教示信号を含む。欠陥画像の特徴量として、例えば、欠陥の面積、明度平均、周囲長、扁平度(伸長度ともいう)、欠陥を楕円に近似した場合の長軸の傾き等が採用される。学習部62では、教師データから読み出された欠陥画像の特徴量がホストコンピュータ5内の分類器(図示省略)に入力され、分類器の出力が欠陥のカテゴリを示す教示信号と同じとなるように学習が行われる。学習結果、すなわち、学習後の分類器421(正確には、分類器421の構造や変数の値を示す情報)が欠陥自動分類部42へと転送される。
定されると当該カテゴリを示すカテゴリ番号が欠陥画像のデータに関連付けられたカテゴリ変数に記憶される。さらに、欠陥画像が典型画像に指定されると欠陥画像のデータに関連付けられた典型画像識別変数に1が記憶される。なお、初期状態ではカテゴリ変数および典型画像識別変数には0が記憶されている。
宜定めた閾値によりコード化する(S22)。コード化された特徴量は、特徴コードと呼ばれる。教師データ作成部61は、取得した複数種類の特徴量のそれぞれを2以上の段階に区分し、区分に応じた数値を付与し、数値を所定順に組み合わせたコード値を生成することの一例として、S22の処理を実行する。コード化は、例えば、それぞれの特徴量の種類ごとに設定される1つの閾値により0と1に2値化することで求めることができる。2値化、すなわち、2段階に区分することにより求められる特徴コードは2値化データと呼ばれる。
クラスタリングと解釈することができる。なお、特徴量次元数(座標軸数)さえ確保できれば、ある1つの特徴量軸を見た時、その特徴量に関する閾値で全欠陥画像を二分できるかどうか(複数段階に区分できるかどうか)は本実施形態では問題にならない。
、教師データ作成部61は、注目セルに存在する欠陥画像のグループと、統合が指示された近傍の候補画像(または候補画像のグループ)を統合し、グループを再編する。再編によって、注目セルと、候補画像(または候補画像のグループ)が存在するセルとが統合される。教師データ作成部61は、表示された近傍画像を前記一の画像グループに統合するか否かの指定を受け付けることの一例として、S28、S29の処理を実行する。教師データ作成部61は、探索された近傍画像を一の画像グループに統合することの一例として、S30の処理を実行する。
(a)未分類の欠陥画像である対象欠陥画像から一の種類の特徴量を取得する。
(b)全ての典型画像の前記一の種類の特徴量と前記対象欠陥画像の前記一の種類の特徴量との差を求める。全ての典型画像との差を求める結果、典型画像の数に相当する複数の特徴量差が求められる。
(c)前記複数の特徴量差のうち最も値の小さいものに対応する典型画像が属するカテゴリに投票を行う。
(d)前記対象欠陥画像の特徴量の各種類について前記(a)ないし(c)を行う。
(e)前記複数のカテゴリのうち得票数が最も多いカテゴリを前記対象欠陥画像が属するカテゴリとして決定する。このような処理を繰り返すことで、教示済み画像を増加することができる。
別の分離には寄与していないことが分かる。この例では、183番目の特徴量は、欠陥最大画素値と、背景平均画素値の差の絶対値であった。
上記実施の形態では、基板9上の欠陥を示す欠陥画像を分類する画像分類装置1が例示された。しかし、本発明の実施は、画像分類装置1に限定される訳ではない。例えば、本発明の画像処理装置は、細胞を撮影した画像の分類、医療画像その他、様々な用途における画像の分類に適用可能である。
4 検査・分類装置
5 ホストコンピュータ
55 ディスプレイ
56 入力部
61 教師データ作成部
62 学習部
611 記憶部
612 特徴量取得部
614 コード化部
615 グループ化部
615 統合部
617 カテゴリ設定部
Claims (8)
- 複数の対象画像のそれぞれについて複数種類の特徴量を取得する特徴量取得部と、
前記取得した複数種類の特徴量のそれぞれを2以上の段階に区分し、区分に応じた数値を付与し、前記数値を所定順に組み合わせたコード値を生成するコード化部と、
前記複数の対象画像のうち、同一のコード値を有する画像を組み合わせて画像グループを形成するグループ化部と、
前記形成された画像グループから少なくとも1つの対象画像を表示するとともに、表示された対象画像が含まれる画像グループのカテゴリを示す情報の設定を受け付けるカテゴリ設定部と、を備える画像処理装置。 - 前記コード化部は、前記複数種類の特徴量のそれぞれを2段階に区分し、2値化された数値を付与する請求項1に記載の画像処理装置。
- 一の画像グループの対象画像が有するコード値との差異が1ビットであるコード値を有する近傍画像を探索し、前記探索された近傍画像を前記一の画像グループに統合する統合部をさらに備える請求項1または2に記載の画像処理装置。
- 前記統合部は、前記探索された近傍画像を表示し、表示された近傍画像を前記一の画像グループに統合するか否かの指定を受け付ける請求項3に記載の画像処理装置。
- 前記統合部は、複数の前記画像グループのそれぞれに含まれる対象画像数の順に、前記複数の画像グループの情報を一覧表示し、前記一覧表示された複数の画像グループのうち、操作者から指定を受けた画像グループを前記一の画像グループとする請求項3または4に記載の画像処理装置。
- 前記特徴コードは前記複数の特徴量を2段階に区分した2値化データあり、
前記統合部は、前記近傍画像を前記一の画像グループに統合することによって、前記近傍画像と前記一の画像グループとの間で相違する特徴コードのビットに対応する次元を削除し、前記次元が削除された特徴コードにしたがって、前記探索する処理と前記統合する処理とを所定の限度まで繰り返す請求項3から5のいずれか1項に記載の画像処理装置。 - 複数の対象画像のそれぞれについて複数種類の特徴量を取得する工程と、
前記取得した複数種類の特徴量のそれぞれを2以上の段階に区分し、区分に応じた数値を付与し、前記数値を所定順に組み合わせたコード値を生成する工程と、
前記複数の対象画像のうち、同一のコード値を有する画像を組み合わせて画像グループを形成する工程と、
前記形成された画像グループから少なくとも1つの対象画像を表示するとともに、表示された対象画像が含まれる画像グループのカテゴリを示す情報の設定を受け付ける工程と、を実行する画像処理方法。 - 一の画像グループの対象画像が有するコード値との差異が1ビットであるコード値を有する近傍画像を探索する工程と、
前記探索された近傍画像を前記一の画像グループに統合する工程と、をさらに実行する請求項7に記載の画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016058644A JP6597972B2 (ja) | 2016-03-23 | 2016-03-23 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016058644A JP6597972B2 (ja) | 2016-03-23 | 2016-03-23 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017173098A JP2017173098A (ja) | 2017-09-28 |
| JP6597972B2 true JP6597972B2 (ja) | 2019-10-30 |
Family
ID=59970943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016058644A Active JP6597972B2 (ja) | 2016-03-23 | 2016-03-23 | 画像処理装置および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6597972B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6952124B2 (ja) * | 2017-10-05 | 2021-10-20 | 富士フイルム株式会社 | 医療画像処理装置 |
| JP7219190B2 (ja) * | 2018-08-27 | 2023-02-07 | 株式会社Screenホールディングス | 教師データ生成方法および吐出状態の判定方法 |
| WO2020045176A1 (ja) * | 2018-08-27 | 2020-03-05 | 株式会社Screenホールディングス | 教師データ生成方法および吐出状態の判定方法 |
| JP7128107B2 (ja) * | 2018-12-26 | 2022-08-30 | オムロン株式会社 | 画像検査器生成装置、画像検査装置、画像検査器生成プログラム、及び画像検査器生成方法 |
| JP2022078377A (ja) * | 2019-03-27 | 2022-05-25 | パナソニックIpマネジメント株式会社 | 学習方法、判定方法、プログラム、学習システム、学習用データセットの生成方法、及び、学習用データセット |
| JP7536517B2 (ja) | 2019-10-08 | 2024-08-20 | キヤノン株式会社 | 教師データの生成方法、学習済の学習モデル、及びシステム |
| JP7596697B2 (ja) * | 2020-10-05 | 2024-12-10 | 富士通株式会社 | 情報処理装置、生成方法および生成プログラム |
| KR102704880B1 (ko) * | 2021-06-03 | 2024-09-10 | 주식회사 데브 | 딥 러닝 모델에 기반하여 제품의 결함 여부를 유형별로 검사하기 위한 시스템 |
| US12106562B2 (en) * | 2021-10-08 | 2024-10-01 | Mitsubishi Electric Research Laboratories, Inc. | System and method for anomaly detection of a scene |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL106007A0 (en) * | 1993-06-14 | 1993-10-20 | Galai Lab Ltd | Automatic inspection system |
| JP4132229B2 (ja) * | 1998-06-03 | 2008-08-13 | 株式会社ルネサステクノロジ | 欠陥分類方法 |
| JP3834041B2 (ja) * | 2004-03-31 | 2006-10-18 | オリンパス株式会社 | 学習型分類装置及び学習型分類方法 |
| JP4462411B2 (ja) * | 2004-06-23 | 2010-05-12 | オムロン株式会社 | 教師データの登録支援装置 |
| JP4684928B2 (ja) * | 2006-03-29 | 2011-05-18 | アンリツ産機システム株式会社 | X線検査システム |
| JP5858817B2 (ja) * | 2012-02-16 | 2016-02-10 | 株式会社Screenホールディングス | 教師データ作成方法、並びに、画像分類方法および画像分類装置 |
| JP5873764B2 (ja) * | 2012-06-06 | 2016-03-01 | 株式会社Screenホールディングス | 欠陥画像の提示方法 |
-
2016
- 2016-03-23 JP JP2016058644A patent/JP6597972B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017173098A (ja) | 2017-09-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6597972B2 (ja) | 画像処理装置および画像処理方法 | |
| JP6924413B2 (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
| US6104835A (en) | Automatic knowledge database generation for classifying objects and systems therefor | |
| Liu et al. | Automated visual inspection system for bogie block key under complex freight train environment | |
| US6941009B2 (en) | Method for evaluating pattern defects on a water surface | |
| JP2019109563A (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
| US6826735B2 (en) | Inspection data analysis program, defect inspection apparatus, defect inspection system and method for semiconductor device | |
| JP4374303B2 (ja) | 検査方法及びその装置 | |
| CN117893817A (zh) | 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质 | |
| US20060067570A1 (en) | Apparatus and method for inspecting pattern | |
| JP6544716B2 (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
| JP2018005640A (ja) | 分類器生成装置、画像検査装置、及び、プログラム | |
| KR20130118275A (ko) | 자동 결함 분류를 위한 알려지지 않은 결함 리젝션의 최적화 | |
| CN112461839B (zh) | 外观检查方法及外观检查装置 | |
| CN116109627B (zh) | 基于迁移学习和小样本学习缺陷检测方法、装置及介质 | |
| RU2648638C2 (ru) | Способы и системы эффективного автоматического распознавания символов, использующие множество кластеров эталонов символов | |
| US20240312002A1 (en) | Image processing method and system | |
| Li et al. | A two-stage crack detection method for concrete bridges using convolutional neural networks | |
| Chang et al. | An unsupervised neural network approach for automatic semiconductor wafer defect inspection | |
| JP7404817B2 (ja) | 学習装置、検出装置、学習方法、及び学習プログラム | |
| Gonzalez et al. | An investigation on the use of local multi-resolution patterns for image classification | |
| CN119049021A (zh) | 一种应用于药片缺陷检测的方法、系统、设备及存储介质 | |
| Hsieh et al. | HEp-2 cell classification in indirect immunofluorescence images | |
| Puspasari et al. | EfficientNet-based approach for enhanced sugarcane disease classification: implementation and evaluation | |
| Huang et al. | HEp-2 cell images classification based on textural and statistic features using self-organizing map |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190830 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190917 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6597972 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |