JP7052377B2 - 検査装置及び検査方法 - Google Patents

Description

本発明は、ニューラルネットワークを用いて検査対象物を検査する検査装置及び検査方法に関するものである。

特許文献１には、半導体ウェハの検査を行う際に、ニューラルネットワークを用いて検査する方法が記載されている。

特開２００４－３５４２５１号公報

ニューラルネットワークを用いた検査工程では、半導体ウェハなどの検査対象物を顕微鏡などを用いて視覚的に拡大した後、検査対象物を撮像した検査画像を複数個に分割した入力画像をニューラルネットワークに入力する。

しかし、異物などの不良原因が入力画像中に存在する場合でも、検査対象物における不良原因の位置によって不良と判定すべき場合と不良と判定すべきでない場合とがある。従来技術では、ニューラルネットワークに入力される入力画像には、検査対象物における不良原因の位置に関する情報が含まれていないので、正確な検査が行えない虞があった。このような課題は、半導体ウェハに限らず、検査対象物を示す検査画像の一部が切り出された入力画像を用いて、ニューラルネットワークによって検査を行う際に共通する課題であった。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態（aspect）として実現することが可能である。

（１）本発明の第１の形態によれば、ニューラルネットワークを用いて検査対象物を検査する検査装置が提供される。この検査装置は、前記検査対象物を撮像した検査画像の一部を入力画像として切り出す切出部と、前記入力画像の検査結果に影響を与える検査用マークを、前記検査画像における前記入力画像の切出し位置に応じて前記入力画像に埋め込む埋込部と、前記検査用マークが埋め込まれた前記入力画像を、前記ニューラルネットワークに入力し、前記ニューラルネットワークの出力を用いて前記入力画像の検査結果を判定する検査部と、を備える。
この検査装置によれば、検査画像における入力画像の切出し位置に応じた検査を行うことができる。

（２）上記検査装置において、前記ニューラルネットワークは、畳込みニューラルネットワークであってもよい。
この検査装置によれば、検査画像における入力画像の切出し位置に応じた検査を行うことができる。

（３）上記検査装置において、前記検査用マークは、前記検査画像内の特定の領域を他の領域と区別するための領域マークを含んでもよい。
この検査装置によれば、領域マークを用いて検査画像における入力画像の切出し位置に応じた検査を行うことができる。

（４）上記検査装置において、前記検査用マークは、不良原因のサイズを区別するためのサイズマークを含んでもよい。
この検査装置によれば、サイズマークを用いて検査画像における入力画像の切出し位置に応じた検査を行うことができる。

（５）上記検査装置において、前記検査用マークは、不良原因の形状を区別するための形状マークを含んでもよい。
この検査装置によれば、形状マークを用いて検査画像における入力画像の切出し位置に応じた検査を行うことができる。

本発明は、上記以外の種々の形態で実現することも可能である。例えば、検査対象物を検査する検査方法や検査方法の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

一実施形態における検査システムの構成を示すブロック図。 学習時のフローチャートを示す図。 検査画像と入力画像との関係を説明する図。 入力画像への領域マークの埋め込みを説明するための図。 入力画像への領域マークの埋め込みを説明するための図。 ＣＮＮを説明するための概念図。 検査時のフローチャートを示す図。 サイズマークを説明するための図。 形状マークを説明するための図。

Ａ．第１実施形態
図１は、一実施形態における検査装置３００を含む検査システム１０の構成を示すブロック図である。検査システム１０は、撮像装置１００と、検査画像用データベース２００と、検査装置３００と、入力画像用データベース４００とを備える。本実施形態の検査では、格子状に配列された複数のチップを有する半導体ウェハを用いる。具体的には、本実施形態の検査対象物としてチップを用いる。本実施形態に用いる複数のチップは、いずれも同じ構造である。

撮像装置１００は、検査対象物を撮像する装置である。本実施形態では、撮像装置１００は、対象物を撮像するカメラと、対象物を視覚的に拡大する顕微鏡と、対象物に光を照射する照明装置とを備える。本実施形態では、撮像装置１００は顕微鏡により拡大された検査対象物の画像を撮影する。撮像された検査対象物の画像を、検査画像と呼ぶ。撮像装置１００で撮像した検査画像は、検査画像用データベース２００に保存される。

検査装置３００は、検査対象物の検査を行う装置である。検査装置３００は、ニューラルネットワークを用いて検査対象物を検査する。本実施形態では、ニューラルネットワークとして、畳込みニューラルネットワーク（Convolutional Neural Netork：ＣＮＮ）を用いるが、他の種類のニューラルネットワークを用いてもよい。

検査装置３００は、検査装置３００の使用者との間で情報の入出力を行う情報入出力部３１０と、画像の前処理を行う前処理部３２０と、ニューラルネットワークの学習を行う学習部３３０と、学習済みのニューラルネットワークを用いて検査対象物の検査を行う検査部３４０と、を備える。前処理部３２０により処理された画像は、入力画像用データベース４００に保存される。

図２は、学習時のフローチャートを示す図である。この処理は、情報入出力部３１０により使用者から学習を開始する旨の情報を受け取ることにより実行される。

まず、検査装置３００の前処理部３２０は、検査画像用データベース２００に保存された検査画像の一部を、入力画像として切り出す（工程Ｓ１１０）。なお、工程Ｓ１１０は、前処理部３２０の切出部３２２（図１参照）により行われる。

図３は、検査画像Ｄ１と入力画像Ｄ２との関係を説明する図である。本実施形態では、半導体ウェハＷに格子状に配列された複数のチップＣｈの一つ一つを、検査対象物とする。本実施形態では、撮像装置１００によりチップＣｈごとに撮像された画像が検査画像Ｄ１であり、検査画像の一部として切出部３２２により切り出された画像が入力画像Ｄ２である。入力画像Ｄ２には、それぞれ検査画像Ｄ１における切出し位置の情報が付けられている。本実施形態では、隣接する入力画像Ｄ２は、互いに重なる部分が無いように切り出されるが、互いに重なる部分があってもよい。また、入力画像Ｄ２を切出した後に、データの圧縮や正規化、データ拡張などを行ってもよい。ここで、データ拡張とは、入力画像に回転や反転などの処理を施すことにより、学習用の入力画像を増やすことを言う。本実施形態では、一個の検査画像Ｄ１から１００個の入力画像Ｄ２が切り出される。

また、学習時の入力画像Ｄ２には、入力画像Ｄ２ごとに検査結果ラベルが付されている。ここで、検査結果ラベルとは、各入力画像Ｄ２の検査結果を示すラベルである。この検査結果は、予め検査者が視認により検査した結果である。本実施形態では、検査結果ラベルとして、良品と、異物不良とを用いる。

入力画像Ｄ２を切り出した後（工程Ｓ１１０（図２参照））、前処理部３２０は、入力画像Ｄ２の検査結果に影響を与えるための検査用マークを、検査画像Ｄ１における入力画像Ｄ２の切出し位置に応じて入力画像Ｄ２に埋め込む（工程Ｓ１２０）。本実施形態では、検査用マークとして、検査画像Ｄ１内の特定の領域を他の領域と区別する領域マークを用いる。なお、工程Ｓ１２０は、前処理部３２０の埋込部３２５（図１参照）により行われる。

本実施形態では、検査装置３００の使用者から領域マークを埋め込む位置を、情報入出力部３１０により取得する。具体的には、検査装置３００の使用者は、検査画像Ｄ１の特定の領域を情報入出力部３１０に入力し、埋込部３２５は、検査画像Ｄ１における入力画像Ｄ２の切出し位置に応じて、入力された特定の領域が他の領域と区別できるように入力画像を加工する。

図４及び図５は、入力画像Ｄ２への領域マークＲＭの埋め込みを説明するための図である。図４において、本実施形態では、領域マークＲＭが埋め込まれる特定の領域を、異物等の不良原因が存在した場合に「異物不良」又は「不良」として検査される領域Ｒ１とする。つまり、領域Ｒ１を、異物が存在しても「良品」として検査される他の領域Ｒ２と区別する。本実施形態では、前処理部３２０の埋込部３２５は、領域Ｒ１において輝度変換を行うことによって領域マークＲＭを埋め込む。具体的には、埋込部３２５は、領域Ｒ１において他の領域Ｒ２よりも輝度を小さく設定する。なお、入力画像Ｄ２を加工する方法としては、輝度変換に限られず、例えば、特定の色の濃淡の変更を行ってもよく、ドットパターン等の予め準備されたパターン画像の埋め込みを行ってもよい。

図５は、領域マークＲＭが埋め込まれていない入力画像Ｄ２と、領域マークＲＭが埋め込まれている入力画像Ｄ２との違いを説明する図である。図５の入力画像Ｄ２ａ、Ｄ２ｂ、Ｄ２ｃは、図４の入力画像Ｄ２ａ、Ｄ２ｂ、Ｄ２ｃと対応する。図４及び図５において、入力画像Ｄ２ａ、Ｄ２ｂ、Ｄ２ｃの中心には、それぞれ異物Ｃａ、Ｃｂ、Ｃｃが存在する。なお、異物Ｃａ、Ｃｂ、Ｃｃの形状は、同じとする。

このような場合、図５の上段に示されるように、入力画像Ｄ２に領域マークが埋め込まれていない場合、検査画像Ｄ１内での異物の位置が異なっていても、入力画像Ｄ２における異物の位置が同じである入力画像Ｄ２ａ、Ｄ２ｂ、Ｄ２ｃに対しては、同じ検査結果が得られる。

一方、図５の下段に示されるように、入力画像Ｄ２に領域マークＲＭが埋め込まれている場合、入力画像Ｄ２における異物の位置が同じであっても、領域マークＲＭによって入力画像Ｄ２ａ、Ｄ２ｂ、Ｄ２ｃは異なる画像となる。この結果として、後述する学習工程（工程Ｓ１４０）において、学習部３３０は、領域マークＲＭと異物とをあわせた特徴を学習できるため、領域マークＲＭ内に異物Ｃｃが存在する入力画像Ｄ２ｃが異物不良であると正しく学習できる。なお、領域マークＲＭを領域Ｒ１ではなく、他の領域Ｒ２に埋め込んでもよい。

入力画像Ｄ２に領域マークＲＭが埋め込まれた後（工程Ｓ１２０（図２参照））、前処理部３２０は、複数の入力画像を含む学習用データセットを入力画像用データベース４００に保存する（工程Ｓ１３０）。

その後、学習部３３０は、学習用データセットを用いてＣＮＮの学習を行う（工程Ｓ１４０）。

図６は、ＣＮＮを説明するための概念図である。ＣＮＮは、入力層ＬＩと、畳み込み層ＬＣと、プーリング層ＬＰと、全結合層ＬＦと、出力層ＬＯとを備える。本実施形態では、畳み込み層ＬＣとプーリング層ＬＰは、合計で十数回繰り返される。そして、ＣＮＮにより、入力画像Ｄ２から、検査結果の各分類のスコアが出力される。本実施形態では、検査結果の分類として、良品と、異物不良とを用いるが、形状不良などの他の分類を用いてもよい。本実施形態では、分類のスコアの合計が１となるように分類の各スコアが出力層ＬＯから出力される。学習部３３０による学習は、出力層ＬＯから出力されたスコアと、予め行なわれた検査により得られた正解とをすり合わせることにより行われる。

学習が終了した後（工程Ｓ１４０）、学習部３３０は、学習済みのＣＮＮを入力画像用データベース４００に保存し（工程Ｓ１５０）、学習時の処理を終了する。なお、学習部３３０は、学習済みのＣＮＮの代わりに、学習済みのＣＮＮのパラメーターを入力画像用データベース４００に保存してもよい。次に、検査時について説明する。

図７は、検査時のフローチャートを示す図である。この処理は、情報入出力部３１０により使用者から検査を開始する旨の情報を受け取ることにより実行される。

まず、前処理部３２０は、学習時と同様に、検査画像用データベース２００に保存された検査画像Ｄ１の一部を、入力画像Ｄ２として切り出す（工程Ｓ２１０）。工程Ｓ２１０は、前処理部３２０の切出部３２２により行われる。なお、学習時の入力画像には、入力画像ごとに検査結果ラベルが付されているが、検査時の入力画像Ｄ２には、検査結果ラベルが付されていない点が異なるが、それ以外は同じである。

入力画像Ｄ２が切り出された後（工程Ｓ２１０）、前処理部３２０は、検査画像Ｄ１における入力画像の切出し位置に応じて検査用マークを入力画像に埋め込む（工程Ｓ２２０）。本実施形態では、検査用マークとして、領域マークＲＭを用いる。また、検査用マークを埋め込む位置は、学習時において埋め込まれた位置と同じ位置とする。本実施形態では、領域マークＲＭの埋め込み方法として、学習時と同じ条件の輝度変換を用いる。なお、工程Ｓ２２０は、前処理部３２０の埋込部３２５により行われる。

入力画像Ｄ２に検査用マークが埋め込まれた後（工程Ｓ２２０）、検査部３４０は、学習部３３０が作成した学習済みのＣＮＮを入力画像用データベース４００から読み込む（工程Ｓ２４０）。なお、学習済みのＣＮＮの代わりに、学習済みのＣＮＮのパラメーターが入力画像用データベース４００に保存されている場合、検査部３４０は、このパラメーターを入力画像用データベース４００から読み込む。その後、検査部３４０は、検査用マークが埋め込まれた入力画像Ｄ２を、学習済みのニューラルネットワークに入力し、ニューラルネットワークの出力を用いて、入力画像の検査結果を判定する（工程Ｓ２５０）。

本実施形態では、検査部３４０は、ＣＮＮにより得られたスコアが最も高い検査結果を用いて、入力画像Ｄ２の検査結果を判定する。例えば、検査結果が良品であるというスコアが０．８であり、検査結果が異物不良であるというスコアが０．２だった場合、検査部３４０は、その入力画像Ｄ２の検査結果を良品とする。

検査が終わった後（工程Ｓ２４０）、検査部３４０は、検査結果を情報入出力部３１０により出力し（工程Ｓ２５０）、検査時の処理は終了する。本実施形態では、検査結果の出力として、検査画像Ｄ１を構成する入力画像Ｄ２の少なくとも一つの入力画像Ｄ２において、異物不良という検査結果が得られた場合、情報入出力部３１０は、検査画像Ｄ１に示された検査対象物が異物不良である旨の検査結果を出力する。一方、検査画像Ｄ１を構成するすべての入力画像Ｄ２において、良品という検査結果が得られた場合、情報入出力部３１０は、検査画像に示された検査対象物が良品である旨の検査結果を出力する。

以上のように、本実施形態の検査装置３００によれば、検査画像Ｄ１における入力画像Ｄ２の切出し位置に応じて、検査用マークを入力画像に埋め込むことにより、検査画像における入力画像の位置に応じた検査を行うことができる。このため、本実施形態の検査装置３００によれば、外観上、区別がつかない入力画像Ｄ２同士であっても、検査画像Ｄ１における入力画像の切出し位置に応じた検査を行うことができる。

Ｂ．第２実施形態
第２実施形態は、第１実施形態と比較して、検査用マークが異なるが、それ以外は同じである。第１実施形態では、検査用マークとして領域マークＲＭを用いたが、第２実施形態では、検査用マークとして、不良原因のサイズを区別するためのサイズマークを用いる。

図８は、サイズマークを説明するための図である。第２実施形態では、すべての入力画像Ｄ２にサイズマークＳＭ１又はＳＭ２が埋め込まれる。本実施形態では、サイズマークＳＭ１，ＳＭ２として、円が入力画像Ｄ２に埋め込まれるが、例えば、三角形や四角形などの他の形状でもよく、所定の距離だけ離れた平行線を用いてもよい。本実施形態では、異物不良として厳しく検査される厳格領域におけるサイズマークＳＭ２の直径は、厳格領域以外の領域におけるサイズマークＳＭ２の直径に比べて小さい。厳格領域は、検査装置３００の使用者により情報入出力部３１０から入力される。本実施形態では、サイズマークＳＭ１又はＳＭ２である円よりも大きい異物が存在する入力画像Ｄ２は、異物不良として検査され、それ以外の入力画像Ｄ２は、良品として検査される。本実施形態では、入力画像Ｄ２の中心にサイズマークＳＭ１又はＳＭ２が埋め込まれているが、これに限られず、例えば、入力画像Ｄ２の右下にサイズマークＳＭ１又はＳＭ２が埋め込まれていてもよく、入力画像Ｄ２ごとにサイズマークＳＭ１又はＳＭ２が埋め込まれる位置が異なっていてもよい。

図８において、サイズマークＳＭ１又はＳＭ２が付された入力画像Ｄ２ｄ～Ｄ２ｉが示されている。入力画像Ｄ２ｄと入力画像Ｄ２ｇに存在する異物は同じ形状であり、検査結果もいずれも同じ良品である。同様に、入力画像Ｄ２ｅと入力画像Ｄ２ｈに存在する異物は同じ形状であり、検査結果もいずれも同じ異物不良である。一方、入力画像Ｄ２ｆと入力画像Ｄ２ｉに存在する異物は同じ形状であるが、入力画像Ｄ２ｆの検査結果は良品であるのに対して、入力画像Ｄ２ｉの検査結果は異物不良である。このような場合においても、第２実施形態によれば、学習部３３０は、サイズマークＳＭ１又はＳＭ２と異物等の不良原因とをあわせた特徴を学習できる。このため、第２実施形態によれば、サイズマークＳＭ１又はＳＭ２を用いることにより、検査画像Ｄ１における入力画像Ｄ２の切出し位置に応じた検査を行うことができる。

Ｃ．他の実施形態
上述の実施形態では、検査用マークとして、領域マークやサイズマークを用いるが、これに限定されない。例えば、検査用マークとして、不良原因の形状を区別するための形状マークを用いてもよい。本実施形態では、不良原因として、チップ上に設けられた配線の形状を用いるが、これに限られず、例えば、エッチングされた部分の形状や、絶縁膜の形状などを用いてもよい。本実施形態では、配線の形状が形状不良として検査される領域に、検査用マークが埋め込まれ、この領域は、検査装置３００の使用者により情報入出力部３１０から入力される。

図９は、形状マークを説明するための図である。図９の入力画像Ｄ２ｊ、Ｄ２ｋには、それぞれ配線の形状Ｐ１、Ｐ２が存在するとともに、形状マークＫＭが埋め込まれている。本実施形態では、配線の形状が形状マークと同様の場合に、検査結果が良品となり、配線パターンが形状マークＫＭと異なる場合に、検査結果が形状不良となる。入力画像Ｄ２ｊにおける配線の形状Ｐ１は形状マークＫＭと同様であるため、入力画像Ｄ２ｊの検査結果は良品である。一方、入力画像Ｄ２ｋにおける配線の形状Ｐ２が形状マークＫＭと比較して、紙面右上の角部が異なるため、入力画像Ｄ２ｋの検査結果は形状不良である。このように形状マークＫＭを入力画像Ｄ２に埋め込むことにより、この形態によれば、形状マークＫＭを用いて、検査画像Ｄ１における入力画像Ｄ２の切出し位置に応じた検査を行うことができる。

上述の実施形態では、検査用マークとして、領域マーク、サイズマーク、形状マークのいずれか１つを用いて説明したが、これに限られない。例えば、２つ以上のマークを組み合わせて用いてもよい。

上述の実施形態では、検査画像Ｄ１から入力画像Ｄ２が切り出された後に、入力画像Ｄ２に検査用マークが埋め込まれるが、これに限定されず、検査画像Ｄ１に検査用マークが埋め込まれた後に、検査画像Ｄ１から入力画像Ｄ２が切り出されてもよい。このようにすることにより、入力画像Ｄ２に検査画像Ｄ１における切出し位置の情報が付されていなくても、入力画像Ｄ２に検査用マークを埋め込むことができる。

本発明は、上述の実施形態や実施例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…検査システム、１００…撮像装置、２００…検査画像用データベース、３００…検査装置、３１０…情報入出力部、３２０…前処理部、３２２…切出部、３２５…埋込部、３３０…学習部、３４０…検査部、４００…入力画像用データベース、Ｃａ～Ｃｃ…異物、Ｃｈ…チップ、Ｄ１…検査画像、Ｄ２、Ｄ２ａ～Ｄ２ｉ…入力画像、ＫＭ…形状マーク、ＬＣ…畳込み層、ＬＦ…全結合層、ＬＩ…入力層、ＬＯ…出力層、ＬＰ…プーリング層、Ｐ１、Ｐ２…形状、Ｒ１、Ｒ２…領域、ＲＭ…領域マーク、ＳＭ１，ＳＭ２…サイズマーク、Ｗ…半導体ウェハ

Claims (6)

1. 学習用データセットを用いて出力されたスコアと正解とをすり合わせることにより、予めパラメーターを学習済のニューラルネットワークを用いて検査対象物を検査する検査装置であって、
   前記検査対象物を撮像した検査画像の一部を入力画像として切り出す切出部と、
   前記入力画像の検査結果に影響を与える検査用マークを、前記検査画像における前記入力画像の切出し位置に応じて前記入力画像に埋め込む埋込部と、
   前記検査用マークが埋め込まれた前記入力画像を、前記ニューラルネットワークに入力し、前記ニューラルネットワークの出力を用いて前記入力画像の検査結果を判定する検査部と、を備え
   前記検査用マークは、不良原因のサイズを区別するためのサイズマークを含む検査装置。
2. 学習用データセットを用いて出力されたスコアと正解とをすり合わせることにより、予めパラメーターを学習済のニューラルネットワークを用いて検査対象物を検査する検査装置であって、
   前記検査対象物を撮像した検査画像の一部を入力画像として切り出す切出部と、
   前記入力画像の検査結果に影響を与える検査用マークを、前記検査画像における前記入力画像の切出し位置に応じて前記入力画像に埋め込む埋込部と、
   前記検査用マークが埋め込まれた前記入力画像を、前記ニューラルネットワークに入力し、前記ニューラルネットワークの出力を用いて前記入力画像の検査結果を判定する検査部と、を備え
   前記検査用マークは、不良原因の形状を区別するための形状マークを含む検査装置。
3. 請求項１または２に記載の検査装置であって、
   前記ニューラルネットワークは、畳込みニューラルネットワークである、検査装置。
4. 請求項１ないし請求項３のいずれかに記載の検査装置であって、
   前記検査用マークは、前記検査画像内の特定の領域を他の領域と区別するための領域マークを含む、検査装置。
5. 学習用データセットを用いて出力されたスコアと正解とをすり合わせることにより、予めパラメーターを学習済のニューラルネットワークを用いて検査対象物を検査する検査方法であって、
   前記検査対象物を撮像した検査画像の一部を入力画像として切り出す工程と、
   前記入力画像の検査結果に影響を与える検査用マークを、前記検査画像における前記入力画像の切出し位置に応じて前記入力画像に埋め込む工程と、
   前記検査用マークが埋め込まれた前記入力画像を、前記ニューラルネットワークに入力し、前記ニューラルネットワークの出力を用いて前記入力画像の検査結果を判定する工程と、を備える、検査方法であって、
   前記検査用マークは、不良原因のサイズを区別するためのサイズマークを含む検査方法。
6. 学習用データセットを用いて出力されたスコアと正解とをすり合わせることにより、予めパラメーターを学習済のニューラルネットワークを用いて検査対象物を検査する検査方法であって、
   前記検査対象物を撮像した検査画像の一部を入力画像として切り出す工程と、
   前記入力画像の検査結果に影響を与える検査用マークを、前記検査画像における前記入力画像の切出し位置に応じて前記入力画像に埋め込む工程と、
   前記検査用マークが埋め込まれた前記入力画像を、前記ニューラルネットワークに入力し、前記ニューラルネットワークの出力を用いて前記入力画像の検査結果を判定する工程と、を備える、検査方法であって、
   前記検査用マークは、不良原因の形状を区別するための形状マークを含む検査方法。

Images