Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6827007B2 - 傷検出装置、傷検出方法および傷検出プログラム - Google Patents
[go: Go Back, main page]

JP6827007B2 - 傷検出装置、傷検出方法および傷検出プログラム - Google Patents

傷検出装置、傷検出方法および傷検出プログラム Download PDF

Info

Publication number
JP6827007B2
JP6827007B2 JP2018022723A JP2018022723A JP6827007B2 JP 6827007 B2 JP6827007 B2 JP 6827007B2 JP 2018022723 A JP2018022723 A JP 2018022723A JP 2018022723 A JP2018022723 A JP 2018022723A JP 6827007 B2 JP6827007 B2 JP 6827007B2
Authority
JP
Japan
Prior art keywords
detection target
scratch
detection
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018022723A
Other languages
English (en)
Other versions
JP2019138783A (ja
Inventor
和隆 野々村
和隆 野々村
渡辺 辰巳
辰巳 渡辺
高橋 聡
聡 高橋
康晴 木内
康晴 木内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya Electric Works Co Ltd
Original Assignee
Nagoya Electric Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagoya Electric Works Co Ltd filed Critical Nagoya Electric Works Co Ltd
Priority to JP2018022723A priority Critical patent/JP6827007B2/ja
Publication of JP2019138783A publication Critical patent/JP2019138783A/ja
Application granted granted Critical
Publication of JP6827007B2 publication Critical patent/JP6827007B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、傷検出装置、傷検出方法および傷検出プログラムに関する。
従来、導電粒子を含む異方性導電フィルムを電極に圧着し、導電粒子による圧力が作用することで形成される圧痕を検出し、また、ゴミ等の異物を検出し、圧痕や異物に基づいて良否判定を行う技術が知られている。例えば、特許文献1においては、パターンマッチングによって圧痕を検出し、画像を2値化した部分の面積によって異物を検出する技術が開示されている。
特開2008−76184号公報
しかしながら、電極や基板には傷が発生し得る。すなわち、電極や基板と他の物体とが接触することにより、電極や基板に傷が発生してしまう場合がある。従って、傷と圧痕とを区別せずに圧痕による良否判定を行うと、傷を圧痕と誤認識した状態で良否判定を行うことになる。このため、傷と圧痕とを区別しないと、電極の良否判定に影響を与え得る。
本発明は、上記の問題を解決するものであり、傷を検出することを目的とする。
前記の目的を達成するため、本発明の傷検出装置は、光を透過させる基板と当該基板に対して取り付けられた電極とを含む画像を取得する画像取得部と、前記画像から検出対象を抽出する検出対象抽出部と、前記検出対象の複雑度を取得する複雑度取得部と、前記複雑度が判定基準以上である前記検出対象を傷として検出する傷検出部と、を備える。
すなわち、傷は、電極や基板と他の物体とが接触した状態で擦れるなどして発生し、一般的に、電極や基板に細かい凹凸が生じている。従って、傷の画像は一様ではない。このため、傷であるか否かを判定すべき部分の画像が複雑であれば、当該部分が傷であると判定することができる。
そこで、基板と電極とを含み、傷が含まれ得る画像から検出対象を抽出し、当該検出対象の複雑度を取得すれば、当該複雑度に基づいて検出対象が傷であるか否かを判定することができる。そして、検出対象の複雑度が判定基準以上である場合に、検出対象が傷であると判定する。以上の構成によれば、画像から容易に傷を検出することができる。
傷検出装置のブロック図である。 図2Aは撮像部の斜視図であり、図2Bは基板の断面模式図である。 図3A、図3Bは検出対象の抽出を説明する図であり、図3Cは傷の像が占める領域と異物または圧痕の像が占める領域とを模式的に示す図である。 検査処理のフローチャートである。 図5A〜図5Fは骨格抽出処理を説明する図である。 図6A〜図6Dは第1の実施形態で、骨格線を取得する手順を説明する図である。 第1の実施形態において骨格線を取得する別の方法に使用するフィルタを示す図である。 図8A〜図8Cは第1の実施形態において別の方法で骨格線を取得する手順を説明する図である。 図9A、図9Bは線の長さを求める他の実施形態を説明する図である。
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)傷検出装置の構成:
(2)検査処理:
(3)他の実施形態:
(1)傷検出装置の構成:
図1は、本実施形態にかかる傷検出装置として機能する検査装置10の概略構成を示すブロック図である。同図において、検査装置10は、制御部20と記録媒体30と表示装置40と入力装置50と撮像部60とを備えている。
撮像部60は、照明61と微分干渉顕微鏡62とX−Yステージ63とCCDセンサ64とを備えている。図2Aは、撮像部60の斜視図である。X−Yステージ63は、基板Bが載置されるステージであり、制御部20の制御の下で基板Bを当該基板Bの面に平行な方向に移動させる。X軸とY軸は、X−Yステージ63が移動する方向の軸であり、基板Bと平行な平面上において互いに直交する座標軸である。
基板Bは、液晶ディスプレイのガラス基板に半導体部品を接合した基板である。半導体部品は、例えば液晶ディスプレイの液晶素子を駆動するための駆動信号を生成する液晶ドライバ回路等である。
照明61はリングライトである。CCDセンサ64は、微分干渉顕微鏡62が結像した微分干渉像(視野V内)を撮像するイメージセンサである。微分干渉顕微鏡62は、視野V内の近傍の位置にて反射した偏光同士を干渉させる光学系を有している。微分干渉顕微鏡62は、近傍の位置にて反射した偏光同士を干渉させることにより、当該偏光の位相差に応じて明度が変化する画像である微分干渉像をCCDセンサ64に結像する。視野V内の近傍の位置にて反射した偏光の位相差は、当該偏光の光路長の差に対応するため、微分干渉像は偏光が反射した位置の高さの差を鮮明に示す画像となる。つまり、微分干渉像は、基板B上に存在する光の反射体の段差や傾きを鮮明に示す画像となる。
また、微分干渉像は偏光が反射した位置の高さの差に応じて明度が変化するだけでなく、微分干渉像は偏光が反射した位置の反射率が大きいほど明度が大きくなる。つまり、反射率が高い部分における高さの差に応じた明度の変化は明るい明度域で見られるとともに、反射率が低い部分における高さの差に応じた明度の変化は暗い明度域で見られることとなる。
図1に示す制御部20は、図示しないCPUやROMやRAMで構成されるコンピュータであり、記録媒体30に記録されたプログラム、各種情報を用いて基板の良否の検査に必要な処理を実行する。すなわち、制御部20は、検査プログラム210を実行することによって基板の検査を実行する。本実施形態においては、検査の一項目に傷の検出が含まれており、検査プログラム210に傷検出プログラム21が含まれている。
記録媒体30は、画像30aと2値化閾値30bと判定基準30cと基準面積30dとを記録する。画像30aは、CCDセンサ64が撮像した画像であり、光を透過させる基板(本実施形態においてはガラス基板)と当該基板に対して取り付けられた電極とを含む微分干渉像である。2値化閾値30bは、画像30aから検出対象を抽出するための閾値を示す情報である。画像30aに基づいて決められても良いし、利用者によって決められても良いし、予め決められた固定値であっても良い。
判定基準30cは、検出対象が傷であるか否かを判定するための判定基準を示す情報である。本実施形態においては、検出対象の複雑度に基づいて当該検出対象が傷であるか否か判定される。そして、本実施形態においては、検出対象の形状を代表する線の長さが複雑度として取得される。検出対象の形状を代表する線は、種々の手法で特定可能であるが、本実施形態においては、判定対象に基づいて骨格抽出処理(後述)が行われ、判定対象から抽出された骨格線の長さが複雑度を示していると見なされる。そして、本実施形態においては、骨格線の長さが閾値を超える場合に判定対象が複雑であり、傷であると見なされる。そこで、本実施形態においては、骨格線の長さを示す閾値が判定基準30cとして記録されている。
基準面積30dは、異物の像と圧痕の像とを区別するための基準を示す情報である。すなわち、本実施形態においては、統計的に異物の大きさは圧痕の大きさより大きい。従って、検出対象の中から面積が閾値以上のものを抽出することにより、異物を検出することができる。そこで、本実施形態においては、閾値以上の面積である場合に異物であるとみなすことができるように閾値が予め特定され、基準面積30dとして定義されている。
記録媒体30には、他にも図示しない各種の情報、例えば、制御部20が照明61や微分干渉顕微鏡62、X−Yステージ63、CCDセンサ64等を制御する際の制御情報や、基板Bの設計情報等が記録される。
図2Bは、基板Bの構成を説明する模式図である。基板Bは、液晶ディスプレイのガラス基板B1と電子部品U(フレキシブル基板等の場合もある)とを備える。ガラス基板B1は電極Pを備える。
ガラス基板B1は電子部品UよりもZ軸の正方向側に位置し、電極Pはガラス基板B1上で電子部品U側(ガラス基板B1のZ軸の負方向側の面)に形成されている。電子部品Uはガラス基板B1よりもZ軸方向の負方向側に位置し、電極Iは電子部品U上でガラス基板B1側(電子部品UのZ軸の正方向側の面)に形成されている。Z軸方向において、ガラス基板B1と電子部品Uとの間に異方性導電フィルムFが挟み込まれている。異方性導電フィルムFにおいては、熱硬化バインダー中に導電粒子Eがほぼ均等に分散している。
加熱しながらガラス基板B1と電子部品Uとの間にZ軸方向の圧力を加えると、導電粒子Eを介して電極Pと電極Iとが電気的に接続した状態で異方性導電フィルムFが硬化する。導電粒子Eは、表面が絶縁膜によってコーティングされた導電性の粒子である。ガラス基板B1と電子部品Uとの間に挟まれて導電粒子Eに圧力が加わると、絶縁膜が破壊され、導電粒子Eを介して電極Pと電極Iが電気的に接続する。
図2Bでは電極Pと電極Iとが異方性導電フィルムFによって圧着された状態を示している。導電粒子Eは、電極Pよりも硬く、ガラス基板B1と電子部品Uとを圧着する際に電極Pに導電粒子Eの圧痕Qが形成される。
表示装置40は、制御部20の制御の下で各種画像を表示するディスプレイである。入力装置50は、ユーザの操作を受け付ける装置であり、マウスやキーボードやタッチパネル等であってもよい。
次に、検査プログラム210のソフトウェア構成について説明する。検査プログラム210は、傷検出プログラム21と異物検出部210eと圧痕検出部210fと検査部210gとを備えている。傷検出プログラム21は、画像取得部21aと検出対象抽出部21bと複雑度取得部21cと傷検出部21dとを備えている。
画像取得部21aは、光を透過させるガラス基板B1と、当該ガラス基板B1に対して取り付けられた電極Pと、を含む画像30aを取得する機能を制御部20に実行させるプログラムモジュールである。すなわち、制御部20は、画像取得部21aの機能により、基板Bをガラス基板B1側から撮像し、視野内に電極Pが含まれる画像30aを取得する。
検出対象抽出部21bは、画像30aから検出対象を抽出する機能を制御部20に実行させるプログラムモジュールである。本実施形態において制御部20は、画像30aに含まれる導電粒子Eによって電極Pに形成される圧痕に基づいて電極Pと電極Iとの接合の良否を検査する。このため、制御部20は、画像30aに含まれる電極Pの像を検査対象領域として抽出し、検査対象領域から圧痕、傷、異物のいずれかを検出する対象となる検出対象を抽出する。
検査対象領域は、種々の手法によって取得可能であり、例えば、制御部20が、画像30aを2値化することによって検査対象領域を抽出可能である。むろん、ここでは、電極Pの設計上の位置や大きさ、形状等に基づいて検査対象領域が抽出されても良いし、設計上の形状等に基づいて検査対象領域の形状が補正されても良い。
本実施形態において制御部20は、検査対象領域の像に対してさらに2値化を行うことによって検出対象を抽出する。すなわち、制御部20は、記録媒体30に記録された2値化閾値30bを参照し、検出対象を抽出するための最小閾値と最大閾値を取得する。また、制御部20は、画像30aの各画素から輝度値が最小閾値と最大閾値との間に含まれる画素を抽出し、検出対象とする。最小閾値と最大閾値は、種々の手法で決められて良い。例えば、輝度分布の特徴(平均値や標準偏差等の統計値)に基づいて決定されても良いし、利用者が決定しても良い。
いずれにしても、制御部20は、輝度値が最小閾値と最大閾値との間に含まれる画素を1、最小閾値と最大閾値との間に含まれない画素を0とする2値化(1,0は逆でも良い)を実施することにより、検出対象を抽出する。図3Aおよび図3Bは、検査対象領域から2値化によって抽出された検出対象を示す図である。図3Aおよび図3Bにおいては、電極Pを白、2値化によって抽出された検出領域を黒で示している。
図3Aに示す検出領域の中で、面積が大きい検出領域(領域Zo等)は異物であり、面積が小さい検出領域(領域Ze等)は圧痕である。また、図3Bに示す検出領域(領域Zs等)は傷である。なお、本実施形態において、検出対象抽出部21bの機能によって抽出された検出対象は、傷であるか否かの検出対象となるが、異物、圧痕であるか否かの検出対象にもなる。
複雑度取得部21cは、検出対象の複雑度を取得する機能を制御部20に実行させるプログラムモジュールである。本実施形態において制御部20は、検出対象の形状を代表する線の長さを複雑度として取得する。すなわち、圧痕や異物の像に基づいて抽出された検出領域は、図3Aに示すように外形の形状が単純な図形であり、図形の内部に検出領域以外の領域(欠損領域)は存在しない(またはほとんど存在しない)。一方、傷は、ガラス基板B1や電極Pが他の物体と擦れることによって生じることが多く、ガラス基板B1や電極Pに細かい凹凸が生じた状態となっている。従って、傷の像に基づいて抽出された検出領域は、図3Bに示すように外形の形状が複雑な図形であり、図形の内部に検出領域ではない欠損領域が多数存在し得る。従って、検出領域が複雑である場合には検出領域が傷であり、複雑でない場合には検出領域が傷ではない(異物や圧痕である)と見なすことができる。
そこで、制御部20は、検出対象の形状を代表する線の長さを複雑度として取得する。検出対象の形状を代表する線は、種々の手法で取得されて良く、本実施形態において、制御部20は、検出対象に対して骨格抽出処理を適用し、骨格抽出処理によって抽出した骨格線の長さを複雑度として取得する。なお、骨格抽出処理は、検出対象を構成する連続した部分を結ぶ骨格線として抽出する処理であり、詳細は後述する。ここでは、骨格線の長さによって検出対象の複雑度が示され、複雑度によって傷の像と他の像とを区別可能であることを説明する。
図3Cは、傷の像が占める領域Zsと異物または圧痕の像が占める領域Zeとを模式的に示しており、破線によって骨格線を示している。傷である領域Zsには外周の内部に細かい欠損領域(図3Cに示す領域Zs1等)が存在するが、異物または圧痕である領域Zeは一様であり、欠損領域が存在しない(またはほとんど存在しない)。領域Zsのように欠損領域が存在する場合、骨格抽出処理を適用すると当該欠損領域を避けた状態で連続な領域を結ぶ線が特定されるため、図3Cの領域Zsに示すように、多数の欠損領域の周囲を囲む複雑な骨格線が抽出される。一方、領域Zeのように欠損領域が存在しない場合、骨格抽出処理により単純な骨格線のみが抽出される。従って、骨格線の長さが長いほど複雑度が高い(複雑である)と見なすことができる。
傷検出部21dは、複雑度が判定基準以上である検出対象を傷として検出する機能を制御部20に実行させるプログラムモジュールである。すなわち、検出対象の複雑度が高い場合には検出対象が傷であり、複雑度が低い場合には検出対象が傷ではないとみなすことができるため、複雑度が傷であると見なせるほど高いか否か判定するための判定基準(長さの閾値)が、予め判定基準30cとして記録媒体30に記録されている。そこで、制御部20は、検出対象の複雑度と判定基準30cとを比較し、判定基準30cよりも複雑度が高い検出対象を傷であるとして検出する。
以上の構成においては検出対象の複雑度に基づいて傷を検出している。そして、圧痕や異物などは欠損領域がほとんど見られない一様な像として撮像されるため、複雑度によって傷を検出する構成によれば、圧痕や異物を傷として誤検出する可能性は小さい。従って、本実施形態によれば、画像から容易かつ正確に傷を検出することができる。
異物検出部210eは、検出対象が異物であることを検出する機能を制御部20に実行させるプログラムモジュールである。すなわち、本実施形態において異物の大きさは、統計的に圧痕の大きさよりも大きく、圧痕を排除し、異物であると見なすことができる面積の大きさが予め基準面積30dとして定義されている。そこで、制御部20は、検出対象の面積(例えば、画素数)を取得し、基準面積30dと比較する。そして、基準面積30d以上の検出対象が異物であると検出する。
なお、本実施形態においては、検出対象が傷であると検出されたか否かにかかわらず、全ての検出対象について基準面積30dと比較して異物であるか否かを判定しているが、傷であることが検出されなかった検出対象について基準面積30dと比較して異物であるか否かを判定する構成であっても良い。
圧痕検出部210fは、検出対象から圧痕を検出する機能を制御部20に実行させるプログラムモジュールである。本実施形態においては、検出対象抽出部21bの機能によって抽出された検出対象から傷として検出された検出対象と、異物として検出された検出対象とを除外し、残った検出対象を圧痕として検出する。
検査部210gは、電極の接合状態の検査を行う機能を制御部20に実行させるプログラムモジュールである。本実施形態においては、電極Pに形成された圧痕に基づいて、電極Pと異方性導電フィルムFとの接合状態の良否を検査する。接合状態の検査は、例えば、個別の電極Pにおいて検出された圧痕の個数が閾値以上である場合に、電極Pの接合状態が正常であると判定する構成等を採用可能である。以上の構成によれば、傷や異物等を圧痕であると誤検出した状態で電極の良否が検査される可能性を低減することができるため、正確に良否の検査を行うことができる。
(2)検査処理:
図4は、検査処理のフローチャートである。まず、検査部210gの機能により制御部20は、基板Bの検査対象領域を撮像できる位置にX−Yステージ63を移動させる(ステップS100)。すなわち、制御部20は、図示しない基板Bの設計情報等に基づいて基板B上での電極Pの位置を特定し、これらの電極が視野V(図2A参照)内に入るようにX−Yステージ63を移動させる。
次に、制御部20は、画像取得部21aの機能により、微分干渉顕微鏡62とCCDセンサ64とによって視野Vを撮像した画像30aを撮像する(ステップS105)。すなわち、制御部20は、画像取得部21aの機能により、CCDセンサ64によって撮像された画像30aを取得する。画像30aは、記録媒体30に記録される。
次に制御部20は、検出対象抽出部21bの機能により、画像30aから検査対象領域を抽出する(ステップS110)。すなわち、制御部20は、2値化等によって電極Pの像を検査対象領域として抽出する。この結果、例えば、図3Aや図3Bに示すような電極Pの像を含む検査対象領域が抽出される。
次に、制御部20は、検出対象抽出部21bの機能により、検出対象を抽出する(ステップS115)。すなわち、制御部20は、2値化閾値30bに基づいて、輝度値が特定の範囲である部分を検査対象領域から抽出し、検出対象とする。この結果、図3Aや図3Bにおいては、領域Ze、Zo、Zsのように圧痕、異物または傷である部位が検出対象として抽出される。なお、検出対象が近隣に複数個存在する場合、複数個の検出対象を同一の検出対象であると見なしたり、結合したりする処理が行われてもよい。
次に、制御部20は、検出対象に対して骨格抽出処理を実行する(ステップS120)。本実施形態においては、検出対象を構成する各画素と検出対象の外周との距離を算出し、当該距離が極大になる画素を骨格の一部として抽出し、抽出された骨格を線で結ぶことによって骨格線を抽出する。図5A〜図5Fは、骨格抽出処理を説明するための図である。これらの図においては個々の格子によって1個の画素の位置を示しており、横11個、縦10個の範囲の画素を模式的に示している。
図5Aは、検出対象を模式的に示しており、検出対象として抽出された画素を黒で着色して示している。骨格抽出処理が開始されると、制御部20は、検出対象を構成する各画素と検出対象の外周との距離を算出する。この処理は、例えば、最外周を構成する画素を消去し、残りの画素において再度最外周を構成する画素を消去するという最外周の画素の消去処理を、画素がなくなるまで繰り返すことによって実現される。また、消去される画素には消去回数が対応づけられる。この処理の結果、画素に対応づけられた値が最外周からの距離を示すことになる。
例えば、図5Aに示す検出対象を最外周の画素から順に消去する場合、図5Bに示すがその中でグレーが薄い画素から順に消去される。すなわち、最も薄いグレーの画素が1回目に消去され、次に薄いグレーの画素が2回目に消去され、最も濃いグレー(黒)の画素が3回目に消去される。このため、1回目に消去される画素に1,2回目に消去される画素に2,3回目に消去される画素に3を対応づけると、図5Cに示すような結果となる。
次に、制御部20は、距離が極大となる画素を骨格の一部として抽出する。極大となる画素は種々の手法で特定されて良く、本実施形態においては、注目画素と注目画素の上下左右に存在する画素とで距離の値を比較し、注目画素より大きい値が上下左右に存在しない場合に注目画素を極値と見なす。例えば、図5Cに示す画素Poが注目画素である場合、画素Poの上および左には距離が特定された画素が存在しないため、制御部20は、上および左について比較を行わない。画素Poの右および下の画素の値はともに1である。注目画素である画素Poの値1であるため、この例において、画素Poの上下左右に画素Poより大きい値は存在しない。従って、制御部20は、画素Poを極大であるとみなす。
制御部20は、以上の処理を検出対象の各画素に対して実施し、極大となる画素を特定する。図5Dは、極大として特定された画素を抜き出して示している。次に、制御部20は、極大の画素同士を線で接続することで骨格線を取得する。極大の画素同士を線で接続するための処理としては、種々の処理を採用することが可能であり、例えば、極大の画素同士を最短の線で接続する処理等によって実現可能である。
極大の画素同士を最短の線で接続する処理は、例えば、以下の手順で実施可能である。
1.極大の画素(極値)のそれぞれを起点とする。
(ただし、手順2.〜手順4.は1つの起点毎に処理を行う)
2.起点の画素の周囲(隣接する8画素)に膨張処理を行う。
(ただし、膨張処理の範囲は検出対象として抽出された画素(図5A)の範囲)
3.他の極大の画素が含まれるまで、膨張処理を繰り返す。
ただし、手順3.における1回目の膨張処理は、手順2.の膨張処理で選択された画素の周囲から膨張処理を開始する。2回目以降に膨張処理を行う場合は、直前の膨張処理で選択された画素の周囲から膨張処理を開始する。
4.膨張によって連結された極大の画素同士の最短経路を取得し、最短経路に該当する画素を接続画素とする。
(ただし、同一の極大の画素同士を結ぶ最短経路が複数個である場合は1つを選択する)
5.最短経路で接続された画素を骨格線として取得する。
図5Eは、図5Dに示す例に基づいて取得された骨格線をグレーによって着色して示す図である。図6A〜図6Dは図5Eに示す例の領域Zを抽出し、図6Aは上述の手順1.によって極大の画素PS1,PS2,PS3,PS4,PS5,PS6, PS7が起点となる図を示しており、図6B〜図6Dは極大の画素PS1が起点となって上述の手順2.〜手順4.が適用された場合の手順を示した図である。図6A〜図6Dにおいて、極大の画素はグレーで示し、検出対象として抽出された画素を薄いグレーで示し、膨張処理による膨張後の画素を濃いグレーで示している。
図6Bにおいては、画素PS1が起点となって膨張処理が行われた画素を濃いグレーで示している。膨張処理の範囲は検出対象として抽出された画素の範囲であるため、画素PS1が起点となった場合、図6Bに示すように画素PS1の上の画素が膨張後の画素になる。
図6Bに示す例においては膨張後の画素に極大の画素PS2,PS3,PS4,PS5,PS6, PS7が含まれないため、手順3.によって膨張処理が行われる。膨張処理が行われた後には、膨張処理後の画素が図6Cに濃いグレーで示す状態となる。この段階でも膨張処理後の画素に極大の画素PS2,PS3,PS4,PS5,PS6,PS7が含まれないため、再度手順3.によって膨張処理が行われると図6Dに示す状態となる。この段階で膨張後の画素に極大の画素PS3,PS4,PS6,PS7が含まれるため、画素PS1を起点とした膨張処理は終了する。
画素PS1を起点とする処理が終了すると、手順4.が行われる。手順4.においては最短経路が取得されるが、その手法としては、種々の手法を採用可能である。例えば、極大の画素同士を結ぶ直線に最も近い画素を選択しながら一方の画素から他の画素までの間に存在する画素を膨張後の画素から選択するなどの処理によって実現可能である。この結果、図6Dに示す例であれば、極大の画素PS1とPS3,PS1とPS4,PS1とPS6,PS1とPS7を結ぶ最短経路となる画素Pm1,Pm2,Pm3,Pm4が接続画素の候補として取得される。図6Dに示す例の場合、画素Pm1とPm2,Pm1とPm3,Pm1とPm4のいずれかが接続画素になり得るが、直線上の経路を優先すると、極大の画素間の距離が最も短い経路は極大の画素PS1とPS6間となる。よって、極大の画素PS1とPS6間にある画素Pm1,Pm2が接続画素となり極大の画素PS1とPS6の間が接続される。なお、接続画素の選択において、極大の画素同士が直線上で接続されない場合は、マンハッタン距離を用いても良い。以上のようにして、他の極大の画素PS2,PS3,PS4,PS5,PS6,PS7がそれぞれ起点となった場合ついて手順4.まで実施されると、制御部20は、取得された最短経路によって接続された画素を手順5.によって骨格線として取得する。すなわち、極大の画素と最短経路である画素によって構成される画素(図5Eにグレーで示す画素)が骨格線となる。
ここで、上記の実施形態において極大の画素同士を最短経路の画素で接続する別の方法について説明する。
最短経路の画素で接続する処理は、以下に示すような方法でも実施可能である。
A.極大の画素(極値)のそれぞれを起点とする。
B.極大の画素同士の最短経路を検出対象の画素(図5A)から取得する。
この手順で得られた最短経路で接続された画素を接続画素とする。
(ただし、同一の極大の画素同士を結ぶ最短経路が複数個である場合は1つを選択する)
C.3×3のフィルタリング処理を行い、手順B.で不適切な接続画素が無いか確認を行う。ここでは、幅が2画素以上の線は骨格線として不適切であり、骨格線で他の画素を囲むループが形成される場合に不適切であると見なす。このような不適切な画素を除外する処理は、例えば、図7に示すフィルタを以下のように適用することで実現される。
(1)手順B.完了後の接続画素を検査対象画素Aとして、検査対象画素Aの近傍
1〜8の順に画素の値を検査し、最初に見つかった極値の画素を新たな検査対象画素Aとする。
ただし、検査対象画素Aとした接続画素の上下左右のいずれか3方向以上の画素に極値が存在し、当該接続画素を取り囲む場合は、その接続画素を無効(対象外)とする。
(2)検査対象画素Aの周囲に極値が存在しなくなるまで(1)を繰り返し、接続画素と極値によるループが形成された場合、接続画素を無効とする。
D.手順A.の画素(極値)と手順C.で残った接続画素によって接続された画素を骨格線として取得する。
手順A.においては、極大の画素PS1,PS2,PS3,PS4,PS5,PS6, PS7が起点となる。次に、手順B.においては極大の画素同士を結ぶ最短経路の画素を図5Aの黒で示す検査対象の画素から取得する。この結果、接続画素が得られる。図8Aは、上述の図6Eに示す領域Zについて手順B.が実施された場合の例を示している。図8Aにおいては、極値の画素をグレーで示し、接続画素を薄いグレーで示している。以後、接続画素Pn1,Pn2,Pn3,Pn4,Pn5を例にして骨格線の取得処理を説明する。最短経路の接続画素Pn1,Pn2,Pn3,Pn4,Pn5が取得されると、次に手順C.が行われる。これらの接続画素に図7に示すフィルタを適用すると、接続画素Pn1,Pn2,Pn3,Pn4,Pn5のフィルタリング処理が実行され、各接続画素は検査対象画素Aとなる。接続画素Pn1,Pn2,Pn4,Pn5に関しては、上述のフィルタリング処理によって、接続画素と極大の画素によってループが形成されないため(図示せず)、接続画素として有効と判定される
一方、接続画素Pn3に関して、図7のフィルタを用いた右回りのフィルタリング処理によって極大となる画素との間にループが形成されるため、接続画素として無効と判定される。具体的には、接続画素Pn3に対してフィルタリング処理を実行すると、図8Bに示すように接続画素Pn3が検査対象画素Aとなる。その後、図8Cに示すように検査対象画素Aは接続画素Pn3 → 極大の画素Ps4→Ps5 →Ps6の順に移動する。最後に、極大の画素Ps6の周辺に接続画素Pn3が含まれることでループが形成されるため、フィルタリング処理を終了する。よって、画素Pn3は接続画素として無効と判定する。以上のようにして、処理が手順C.まで実施されると、制御部20は、取得された最短経路によって接続された画素を骨格線として取得する。すなわち、極大の画素と最短経路である画素によって構成される画素(図5Eにグレーで示す画素)が骨格線となる。
図5Fは、骨格線を白以外の色に着色して示している。なお、図5Fに示すように、本実施形態によって得られる骨格線は、骨格線が3方向以上に延びる分岐点を有している。また、骨格線は、分岐点から延びており、延びた先において骨格線の他の部位に接続しない端点を有している。なお、図5Fにおいては、端点を濃いグレー、分岐点を黒で着色して示している。また、分岐点から延びる方向は、画素の周囲の8画素のいずれかである。
すなわち、本実施形態における骨格線は分岐点を有しており、分岐点から3以上の方向に延びることが可能な構造を有している。また、骨格線は端点を有し得るため、閉じた線のみならず、閉じていない線も表現することができる。従って、検出対象の形状が複雑である場合、検出対象の複雑な形状を反映して骨格線の形状も複雑になり得る。この結果、傷のような複雑な検出対象と、異物および圧痕のような単純な検出対象とにおける骨格線の長さには顕著な差異が生じる。
骨格抽出処理によって骨格線が取得されると、制御部20は、傷検出部21dの機能により、骨格線の長さを取得する(ステップS125)。すなわち、制御部20は、ステップS120で取得された骨格線の長さを、例えば、骨格線を構成する画素の数等によって特定する。
次に、制御部20は、傷検出部21dの機能により、傷を検出する(ステップS130)。すなわち、制御部20は、判定基準と骨格線の長さとを比較し、骨格線が判定基準30cより長い場合に、その骨格線の抽出元であった検出対象が傷であると検出する。傷であると検出された検出対象は、傷であることを示す情報が対応づけられる。
次に、制御部20は、異物検出部210eの機能により、検出対象の面積を取得し、基準面積30dと比較する。そして、基準面積30d以上の検出対象が異物であると検出する。異物であると検出された検出対象は、異物であることを示す情報が対応づけられる。
次に、制御部20は、圧痕検出部210fの機能により、圧痕を検出する(ステップS140)。すなわち、制御部20は、ステップS115で抽出された検出対象の中から、傷であることを示す情報が対応づけられた検出対象と、異物であることを示す情報が対応づけられた検出対象とを除外し、残った検出対象を圧痕として検出する。
最後に、制御部20は、検査部210gの機能により、圧痕の検出結果に基づいて検査を行う(ステップS145)。すなわち、制御部20は、圧痕の数等に基づいて、電極Pと異方性導電フィルムFとの接合状態の良否を検査する。
なお、上記の実施形態においては、傷を検出した後に、異物と圧痕を検出する処理方法を提案したが、文中に検出対象が近隣に複数個存在する場合、複数個の検出対象を同一の検出対象であると見なしたり、結合したりする処理が行われてもよいと述べたように、傷を1つの異物として扱うことで、最初に異物か圧痕であるかを面積により比較した後に傷か異物かを検出してもよい。
(3)他の実施形態:
上述の実施形態は一例であり、他にも種々の実施形態が採用されてよい。例えば、画像30aは微分干渉像であることが望ましいが、通常の顕微鏡によって撮像された画像であってもよいし、当該画像に対して微分演算を行った画像であっても良い。
画像取得部は、光を透過させる基板と当該基板に対して取り付けられた電極とを含む画像を取得することができればよい。すなわち、画像取得部は、傷が発生し得る基板と電極とを含む画像を取得することができればよい。例えば、電極を含む基板を視野に含むセンサで撮像された画像を取得する構成等が挙げられる。画像は、例えば、可視光画像であり、各種の光学系で撮像されて良く、微分干渉顕微鏡等が利用されても良いし、他の光学系が利用されても良い。
検出対象抽出部は、画像から検出対象を抽出することができればよい。すなわち、検出対象抽出部は、画像から傷であるか否かを判定すべき部位を検出対象として抽出することができればよい。従って、例えば、一様でない部位が検出対象として抽出される構成等を採用可能であり、多値画像であってもよいし、2値画像であっても良い。むろん、検出対象とすべき部位の形状を、例えば、膨張処理や収縮処理等で加工してもよく、種々の画像処理が行われてよい。
複雑度取得部は、検出対象の複雑度を取得することができればよく、複雑度は、傷の画像であることによって画像が複雑であると複雑度が増加し、傷ではなく圧痕や異物等の画像であることによって画像が一様であると複雑度が減少するように定義されていればよい。
従って、複雑度が、上述の実施形態のように細線化処理の一手法である骨格抽出処理によって抽出された線の長さである構成以外にも、線の長さを求める方法として種々の構成を採用可能である。すなわち、検出対象の形状を代表する線の長さは、種々の手法で特定されて良い。例えば、図9Aのように検出対象の外周に接する接触円(図9A内の破線)を複数個描画し、各円の中心を結ぶ線(中心軸:図9A内の太い実線)によって検出対象の形状を代表する線が特定されても良い。また、図9Bのように検出対象の外周を母点(図9B内の黒点)とし、その垂直二等分線(図9B内の太い実線)によって母点から等距離の点で構成される線を取得し、当該線が検出対象の形状を代表する線であると見なす構成等であっても良い。さらに、図5Cに示す検出対象の最外周の画素「1」の総数を検出対象の形状を代表する線であると見なしても良い。
また、複雑度は、線の長さ以外で表現されても良い。例えば、検出対象を2値化した場合に検出対象の内部に形成される検出対象ではない領域(欠損領域)の数が多いほど画像が複雑であると見なしたり、欠損領域の面積が大きいほど画像が複雑であると見なしたりする構成等が採用されてもよい。この場合、欠損領域の数や面積が複雑度であると見なされる。むろん、欠損領域を検出するために、局所エントロピーが計算されても良いし、ハイパスフィルタ等のフィルタリングが行われてもよい。
さらに、複雑度は、規格化されても良い。すなわち、検出対象の大きさが変化した場合であっても、共通の判定基準で複雑度を評価できるように規格化されていても良い。規格化は、種々の手法で実施されて良く、例えば、分岐点の数を骨格線の長さで除する構成や、骨格線の長さを検出対象の面積や径、長さ等で除する構成等が挙げられる。欠損領域の数や面積で複雑度を評価するのであれば、数や面積を検出対象の面積や径、長さ等で除する構成等が挙げられる。
傷検出部は、複雑度が判定基準以上である検出対象を傷として検出することができればよい。すなわち、傷であると見なすことができる複雑度が予め特定され、判定基準として定義されており、当該判定基準によって傷が検出されれば良い。判定基準は、種々の手法で特定されて良く、例えば、複数のテストケースについて複雑度と傷であるか否かの対応関係を特定し、傷であることが統計的に正しいと推定される複雑度を判定基準とする構成等が挙げられる。むろん、判定基準は、検出対象となる基板や電極、光学系等の取得条件毎に決められても良いし、取得条件によらずに判定可能な判定基準(例えば、上述の規格化が行われたもの)が決められても良い。
10…検査装置、20…制御部、21…傷検出プログラム、21a…画像取得部、21b…検出対象抽出部、21c…複雑度取得部、21d…傷検出部、30…記録媒体、30a…画像、30d…基準面積、40…表示装置、50…入力装置、60…撮像部、61…照明、62…微分干渉顕微鏡、63…X−Yステージ、64…CCDセンサ、210…検査プログラム、210e…異物検出部、210f…圧痕検出部、210g…検査部

Claims (5)

  1. 光を透過させる基板と当該基板に対して取り付けられた電極とを含む画像を取得する画像取得部と、
    前記画像から検出対象を抽出する検出対象抽出部と、
    前記検出対象から骨格抽出処理によって抽出した骨格線を、前記検出対象の形状を代表する線として取得し、前記検出対象の形状を代表する線の長さを前記検出対象の複雑度として取得する複雑度取得部と、
    前記複雑度が判定基準以上である前記検出対象を傷として検出する傷検出部と、
    を備える傷検出装置。
  2. 前記線は、
    分岐点を有しており、前記分岐点から3以上の方向に延びている、
    請求項1に記載の傷検出装置。
  3. 前記線は、
    前記分岐点から延びるとともに前記線の他の部位に接続しない端点を有する、
    請求項2に記載の傷検出装置。
  4. 光を透過させる基板と当該基板に対して取り付けられた電極とを含む画像を取得する画像取得工程と、
    前記画像から検出対象を抽出する検出対象抽出工程と、
    前記検出対象から骨格抽出処理によって抽出した骨格線を、前記検出対象の形状を代表する線として取得し、前記検出対象の形状を代表する線の長さを前記検出対象の複雑度として取得する複雑度取得工程と、
    前記複雑度が判定基準以上である前記検出対象を傷として検出する傷検出工程と、
    を含む傷検出方法。
  5. コンピュータを、
    光を透過させる基板と当該基板に対して取り付けられた電極とを含む画像を取得する画像取得部、
    前記画像から検出対象を抽出する検出対象抽出部、
    前記検出対象から骨格抽出処理によって抽出した骨格線を、前記検出対象の形状を代表する線として取得し、前記検出対象の形状を代表する線の長さを前記検出対象の複雑度として取得する複雑度取得部、
    前記複雑度が判定基準以上である前記検出対象を傷として検出する傷検出部、
    として機能させる傷検出プログラム。
JP2018022723A 2018-02-13 2018-02-13 傷検出装置、傷検出方法および傷検出プログラム Expired - Fee Related JP6827007B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018022723A JP6827007B2 (ja) 2018-02-13 2018-02-13 傷検出装置、傷検出方法および傷検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018022723A JP6827007B2 (ja) 2018-02-13 2018-02-13 傷検出装置、傷検出方法および傷検出プログラム

Publications (2)

Publication Number Publication Date
JP2019138783A JP2019138783A (ja) 2019-08-22
JP6827007B2 true JP6827007B2 (ja) 2021-02-10

Family

ID=67693721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018022723A Expired - Fee Related JP6827007B2 (ja) 2018-02-13 2018-02-13 傷検出装置、傷検出方法および傷検出プログラム

Country Status (1)

Country Link
JP (1) JP6827007B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100567625B1 (ko) * 2004-10-19 2006-04-04 삼성전자주식회사 결함 검사 방법 및 이를 수행하기 위한 장치
JP2010054365A (ja) * 2008-08-28 2010-03-11 Nisshinbo Holdings Inc 太陽電池の検査装置、太陽電池の検査方法、プログラム、太陽電池の検査システム
JP2010135446A (ja) * 2008-12-03 2010-06-17 Nisshinbo Holdings Inc 太陽電池セルの検査装置、検査方法及びそのプログラムを記録した記録媒体
JP2012098045A (ja) * 2010-10-29 2012-05-24 Mitsubishi Electric Corp クラック検出装置及びクラック検出プログラム
JP2014157053A (ja) * 2013-02-15 2014-08-28 Toray Ind Inc パターン検査方法およびパターン検査装置

Also Published As

Publication number Publication date
JP2019138783A (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
CN114897847B (zh) 图像处理方法及装置、计算机可读存储介质、电子设备
CN112577969B (zh) 一种基于机器视觉的缺陷检测方法以及缺陷检测系统
CN117252861B (zh) 一种晶圆表面缺陷的检测方法、装置及系统
US8345951B2 (en) Image binarizing method, image processing device, and computer program
JP2019215336A (ja) 製造時のフラットパネルディスプレイのマスタパネルにおけるムラ不良の検出
CN114004777B (zh) 柔性屏的断裂线检测方法及装置、计算机设备及介质
JP2011008482A (ja) 欠陥検出方法、欠陥検出装置、および欠陥検出プログラム
JP4150390B2 (ja) 外観検査方法及び外観検査装置
CN117576081A (zh) 面板缺陷检测方法及其装置
KR20160095381A (ko) 투명전극 필름의 광학 검사방법
JP6827007B2 (ja) 傷検出装置、傷検出方法および傷検出プログラム
JP2011153874A (ja) 外観検査装置、外観検査システムおよび外観検査方法
JPH06207909A (ja) 表面欠陥検査装置
KR20090018835A (ko) 전자 부품의 장착 상태의 검사 방법
JP2004132950A (ja) 外観検査装置及び外観検査方法
JP5622338B2 (ja) 半導体デバイス製造過程における異物とキズ痕との判別検査方法
KR102583036B1 (ko) 기판 검사 방법
JP4279833B2 (ja) 外観検査方法及び外観検査装置
JP2019002888A (ja) 電極抽出装置、電極抽出方法および電極抽出プログラム
JP5307617B2 (ja) 基板の実装状態検査方法および基板の実装状態検査装置
JP2018136284A (ja) 接合状態検査装置、接合状態検査方法および接合状態検査プログラム
JP2018137413A (ja) 接合状態検査装置、接合状態検査方法および接合状態検査プログラム
JP3581040B2 (ja) 配線パターン検査方法
JP3557965B2 (ja) ワイヤボンデイングにおけるファーストボンディング点の検査方法
JP7750468B2 (ja) 画像処理装置、画像処理方法、及び検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210118

R150 Certificate of patent or registration of utility model

Ref document number: 6827007

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees