JP7809803B2

JP7809803B2 - 検査装置、実装装置および検査方法

Info

Publication number: JP7809803B2
Application number: JP2024528094A
Authority: JP
Inventors: 智也藤本; 貴紘小林; 雄哉稲浦
Original assignee: Individual
Current assignee: Individual
Priority date: 2022-06-20
Filing date: 2022-06-20
Publication date: 2026-02-02
Anticipated expiration: 2042-06-20
Also published as: DE112022007397T5; JPWO2023248281A1; WO2023248281A1

Description

本明細書は、検査装置、実装装置および検査方法を開示する。

従来、基板などに搭載（実装）された部品の有無の検査を、基板を撮像した画像を用いて行う検査装置が提案されている（例えば特許文献１参照）。この検査装置では、部品が搭載される前の搭載前画像から各画素の輝度値を取得し、輝度値毎の画素数を示すヒストグラムを生成して閾値を設定する。そして、搭載前画像の各画素について、閾値以下の輝度値の画素を基板として識別し、閾値よりも大きな輝度値の画素を基板以外として識別することにより、基板以外をマスクするマスク画像を生成する。そのマスク画像を用いて、搭載前画像と搭載後画像の差分画像から部品の載置面に相当する特定領域を抽出し、特定領域における輝度差により部品の搭載有無を判定している。

特開２０１７－０３４２０２号公報

上述した検査装置では、ヒストグラムのピーク値から所定輝度だけ高い輝度値に閾値を設定し、その閾値を用いて基板と基板以外とを識別している。このように輝度値などの特徴値のヒストグラムを用いて部品と部品以外とを識別することにより、部品の有無を判定することが考えられる。しかし、画像を撮像する際の部品や周囲の背景への光の当り具合や反射具合によって輝度のバラツキが大きくなると、似通ったピーク値が複数現れる場合があり、部品の有無を適切に判定できずに誤判定するおそれがある。

本開示は、画像を用いた対象物の有無の判定をより適切に行うことを主目的とする。

本開示は、上述の主目的を達成するために以下の手段を採った。

本開示の検査装置は、
画像処理により対象物の有無を検査する検査装置であって、
対象物の有無が対応付けられた画像を用いた機械学習により、前記画像の各画素における特徴値の度数を対象物の有無別に集計した度数分布を作成または取得し、前記度数分布の各階級のうち一部を判定対象階級に設定する設定部と、
検査の対象画像を取得し、該対象画像の各画素における特徴値のうち前記判定対象階級に属する特徴値の度数を、前記度数分布の前記判定対象階級に属する対象物の有無別の度数と比較することで、前記対象画像内の対象物の有無を判定する判定部と、
を備えることを要旨とする。

本開示の検査装置は、機械学習により画像の各画素における特徴値の度数を対象物の有無別に集計した度数分布を作成または取得し、度数分布の各階級のうち一部を判定対象階級に設定する。そして、検査の対象画像の各画素における特徴値のうち判定対象階級に属する特徴値の度数を、度数分布の判定対象階級に属する対象物の有無別の度数と比較することで、対象画像内の対象物の有無を判定する。このように、対象物の有無別に集計した度数分布の全ての階級を用いずに一部の判定対象階級を用いることで、対象物の有無による度数への影響が顕著な階級に絞った判定が可能となり誤判定を防止することができる。したがって、画像を用いた対象物の有無の判定をより適切に行うことができる。

実装システム１０の構成の概略を示す構成図。実装装置２０の構成の概略を示す構成図。はんだボールＳＢを供給するトレイＴの一例を示す説明図。はんだボールＳＢを吸着する吸着ノズル３３の一例を示す説明図。判定対象階級設定処理の一例を示すフローチャート。部品なしの画像の一例を示す説明図。部品なしの輝度ヒストグラムの一例を示す説明図。部品ありの画像の一例を示す説明図。部品ありの輝度ヒストグラムの一例を示す説明図。判定対象階級ＪＣの一例を示す説明図。部品有無判定処理の一例を示すフローチャート。判定対象階級ＪＣにおける判定の一例を示す説明図。変形例の判定対象階級設定処理を示すフローチャート。

次に、本開示の実施の形態を図面を参照しながら説明する。図１は、実装システム１０の構成の概略を示す構成図である。図２は、実装装置２０の構成の概略を示す構成図である。図３は、はんだボールＳＢを供給するトレイＴの一例を示す説明図である。図４は、はんだボールＳＢを吸着する吸着ノズル３３の一例を示す説明図である。なお、本実施形態において、左右方向（Ｘ軸）、前後方向（Ｙ軸）及び上下方向（Ｚ軸）は、図１，図２に示した通りとする。

実装システム１０は、図１に示すように、印刷装置１１と、印刷検査装置１２と、実装装置２０と、実装検査装置１４と、管理装置１８とを備える。印刷装置１１は、基板Ｂに粘性流体であるはんだペーストなどを印刷する装置である。印刷検査装置１２は、基板Ｂに印刷されたはんだペーストの状態を検査する装置である。実装装置２０は、基板Ｂに部品Ｐを実装する装置である。実装検査装置１４は、基板Ｂに実装された部品Ｐの状態を検査する装置である。なお、実装対象物は、平板状の基板Ｂとするが、これに限られず、３次元形状の基材などでもよい。

実装装置２０は、図２に示すように、基板処理部２１と、部品供給部２２と、制御装置２５と、実装部３０とを備える。実装装置２０は、部品Ｐを基板Ｂに配置する実装処理を実行する機能のほか、部品Ｐが実装された基板Ｂを検査する検査処理を実行する機能も有する。基板処理部２１は、基板Ｂの搬入、搬送、実装位置での固定、搬出を行うユニットである。基板処理部２１は、図２の前後に間隔を開けて設けられ左右方向に架け渡された１対のコンベアベルトを備え、コンベアベルトの駆動により基板Ｂを搬送する。

部品供給部２２は、複数のテープフィーダ２２ａと、トレイフィーダ２２ｂとを備え、実装装置２０の前側に設けられている。テープフィーダ２２ａは、左右方向（Ｘ軸方向）に並ぶように配置され、長手方向に所定間隔をおいて形成された複数の凹部にそれぞれ部品が収容されたテープをリールから前後方向（Ｙ軸方向）に送り出すことにより部品を供給する。トレイフィーダ２２ｂは、部品が収容されたトレイＴを前後方向（Ｙ軸方向）に送り出すことにより部品を供給する。図３に示すように、トレイＴの上面には、例えば格子状に形成された複数の凹部Ｃに部品Ｐとしての球状のはんだボールＳＢが収容されている。トレイフィーダ２２ｂは、このトレイＴを送り出してはんだボールＳＢを供給する。

実装部３０は、部品Ｐを部品供給部２２から採取し、基板処理部２１に固定された基板Ｂへ配置するユニットである。実装部３０は、ヘッド移動部３１と、実装ヘッド３２と、吸着ノズル３３と、マークカメラ３４とを備える。ヘッド移動部３１は、ガイドレールに導かれてＸＹ方向へ移動するスライダと、スライダを駆動するモータとを備える。実装ヘッド３２は、スライダに取り外し可能に装着され、ヘッド移動部３１によりＸＹ方向へ移動する。実装ヘッド３２は、その下面側に１以上の吸着ノズル３３（例えば、１個や４個、８個、１６個など）が取り外し可能に装着される。吸着ノズル３３は、負圧を利用して部品Ｐを採取し保持する保持部材である。

マークカメラ３４は、実装ヘッド３２（又はスライダ）の下面に下方が撮像範囲となるように配設されており、実装ヘッド３２の移動に伴ってＸＹ方向へ移動する。マークカメラ３４は、基板Ｂに付された基準マークや、基板Ｂに実装された部品Ｐなどを上方から撮像し、その画像を制御装置２５へ出力する。

また、実装装置２０は、パーツカメラ２３やノズルストッカ２４、表示操作部２８なども備える。パーツカメラ２３は、部品供給部２２と基板処理部２１との間に上方が撮像範囲となるように配設されている。パーツカメラ２３は、部品Ｐを保持した実装ヘッド３２がパーツカメラ２３の上方を通過する際に部品Ｐを撮像し、その画像を制御装置２５へ出力する。ノズルストッカ２４は、複数種類の吸着ノズル３３をストックするものであり、部品供給部２２と基板処理部２１との間に配設されている。なお、実装ヘッド３２の吸着ノズル３３は、部品Ｐの種類や大きさなどに応じて適宜交換される。例えば、実装対象がはんだボールＳＢの場合、はんだボールＳＢ用の吸着ノズル３３（図４参照）に交換される。この吸着ノズル３３は、複数（図４では１６個）の吸着口３３ａが格子状に形成されており、各吸着口３３ａでトレイＴの凹部Ｃ内のはんだボールＳＢをそれぞれ吸着する。

表示操作部２８は、実装装置２０の前部に設けられており（図１参照）、例えばタッチパネルと操作ボタンなどを備える。この表示操作部２８では、作業者への各種画像や各種情報の表示や、作業者による選択操作などの各種操作指示の入力が行われる。

制御装置２５は、ＣＰＵ２６を中心とするマイクロプロセッサとして構成されており、各種データを記憶する記憶部２７などを備える。制御装置２５は、実装装置２０の装置全体を制御する機能のほか、吸着ノズル３３における部品Ｐの吸着有無や部品Ｐの形状が許容範囲内であるかなどの検査や、基板Ｂへの部品Ｐの実装状態（実装有無）などの検査を実行する。制御装置２５は、基板処理部２１や、部品供給部２２、パーツカメラ２３、表示操作部２８、実装部３０へ制御信号を出力し、基板処理部２１や部品供給部２２、パーツカメラ２３、表示操作部２８、実装部３０から信号を入力する。記憶部２７には、部品Ｐのサイズや形状などに関する情報や、部品Ｐを基板Ｂへ実装する実装順、部品Ｐの配置位置、部品Ｐを採取可能な吸着ノズル３３の種類などが記憶されている。

管理装置１８は、実装システム１０の各装置の情報を管理するコンピュータである。管理装置１８は、制御部と、記憶部と、表示装置と、入力装置とを備える。制御部は、ＣＰＵを中心とするマイクロプロセッサとして構成されている。記憶部には、実装システム１０の生産を管理する情報や各装置で行われる各種処理に関する情報が記憶されている。

以下は、こうして構成された実装装置２０の動作の説明であり、部品ＰとしてはんだボールＳＢの実装処理と実装後の検査処理を例示する。実装処理では、制御装置２５のＣＰＵ２６は、はんだボールＳＢ用の吸着ノズル３３が装着された実装ヘッド３２がトレイフィーダ２２ｂ（トレイＴ）の部品供給位置の上方へ移動するようにヘッド移動部３１を制御する。次に、ＣＰＵ２６は、吸着ノズル３３を下降させてトレイＴの凹部Ｃ内のはんだボールＳＢを吸着するように実装ヘッド３２を制御する。続いて、ＣＰＵ２６は、実装ヘッド３２がパーツカメラ２３の上方に移動するようにヘッド移動部３１を制御し、吸着ノズル３３に吸着されたはんだボールＳＢをパーツカメラ２３に撮像させる。また、ＣＰＵ２６は、撮像された画像を処理して、吸着ノズル３３に吸着された各はんだボールＳＢの位置ずれなどを判定し、位置ずれに基づいて目標実装位置を補正する。例えば、複数のはんだボールＳＢの各々の位置ずれが全体として小さくなるように目標実装位置が補正される。そして、ＣＰＵ２６は、実装ヘッド３２が基板Ｂの上方へ移動するようにヘッド移動部３１を制御し、吸着ノズル３３を下降させて吸着を解除することではんだボールＳＢを基板Ｂ上の目標実装位置に実装するように実装ヘッド３２を制御する。

また、ＣＰＵ２６は、はんだボールＳＢの実装が完了すると、その実装状態を検査する検査処理を行う。検査処理では、はんだボールＳＢの実装後にマークカメラ３４により上方から画像を撮像させ、その画像から取得した画素の輝度値を、予め機械学習により設定された判定対象階級ＪＣにおけるはんだボールＳＢの有無別の輝度値と比較することにより、はんだボールＳＢの有無の検査が行われる。なお、実装完了後に、はんだボールＳＢが基板Ｂ上にない状態は、例えば吸着ノズル３３の吸着口３３ａからはんだボールＳＢが離れずに吸着されたまま（持ち帰り部品）となることなどにより生じる。以下、検査処理の説明の前に、機械学習により判定対象階級ＪＣを設定する処理を説明する。図５は、判定対象階級設定処理の一例を示すフローチャートである。

判定対象階級設定処理では、ＣＰＵ２６は、まず、はんだボールＳＢが実装されていない基板Ｂをマークカメラ３４で撮像した部品なしの学習画像を取得し（Ｓ１００）、部品なしの学習画像のうち検査領域Ａにおける各画素の輝度値を取得する（Ｓ１１０）。なお、ＣＰＵ２６は、部品なしの学習画像を複数取得し、各画像の検査領域Ａからそれぞれ各画素の輝度値を取得すればよい。次に、ＣＰＵ２６は、取得した各画素の輝度値を所定の輝度階級毎に集計して、部品なしの輝度ヒストグラムを作成する（Ｓ１２０）。

続いて、ＣＰＵ２６は、はんだボールＳＢ（部品Ｐ）が実装された基板Ｂをマークカメラ３４で撮像した部品ありの学習画像を取得し（Ｓ１３０）、部品ありの学習画像のうち検査領域Ａにおける各画素の輝度値を取得する（Ｓ１４０）。なお、ＣＰＵ２６は、部品ありの学習画像を複数取得し、各画像の検査領域Ａからそれぞれ各画素の輝度値を取得すればよい。次に、ＣＰＵ２６は、取得した各画素の輝度値を所定の輝度階級毎に集計して、部品ありの輝度ヒストグラムを作成する（Ｓ１５０）。なお、Ｓ１００，Ｓ１３０では、基板ＢへのはんだボールＳＢ（部品Ｐ）の実装前後でマークカメラ３４でそれぞれ画像を撮像することにより、部品なしの学習画像と部品ありの学習画像を取得すればよい。

ここで、図６は、部品なしの画像の一例を示す説明図であり、図７は、部品なしの輝度ヒストグラムの一例を示す説明図である。また、図８は、部品ありの画像の一例を示す説明図であり、図９は、部品ありの輝度ヒストグラムの一例を示す説明図である。図６は、はんだボールＳＢが基板Ｂ上に実装される前に撮像された学習画像を示し、図８は、はんだボールＳＢが基板Ｂ上に実装された後に撮像された学習画像を示す。本実施形態の各画像は、例えば各画素が値０～２５５の２５６階調の輝度値を有するグレースケール画像とし、検査処理における検査領域Ａを点線で示す（図６，図８参照）。検査処理では、検査領域Ａ内の各画素の輝度値を用いてはんだボールＳＢの有無が判定される。検査領域Ａは、実装位置がバラついても領域内にはんだボールＳＢが収まるようにするため、画像に写るはんだボールＳＢよりも若干大きな領域に設定されている（図８参照）。このため、画像内の検査領域Ａには、はんだボールＳＢ以外の背景として、基板Ｂの上面や周りの電極Ｅに印刷（塗布）されたはんだペーストＳＰなどが写り込む。

図６の部品なしの画像では、はんだボールＳＢがない分、検査領域Ａ内の基板Ｂを示す画素から暗い輝度値が多く取得される。また、検査領域Ａ内のはんだペーストＳＰを示す画素から若干明るい輝度値が取得される。一方、図８の部品ありの画像では、はんだボールＳＢがあるため、はんだボールＳＢの中心部分の画素から明るい輝度値が多く取得され、はんだボールＳＢの周縁部分の画素から中心部分よりも若干暗い輝度値が取得される。なお、周縁部分でも、格子状に実装された隣のはんだボールＳＢからの反射光を受けて、所々明るい輝度値が取得される。また、はんだボールＳＢがあっても、それ以外の背景から暗い輝度値が取得される。輝度値の度数分布を示すヒストグラムでは、値０～２５５の輝度値を複数の階級（輝度階級ともいう）に分けて、各階級に属する輝度の度数が集計されている。本実施形態では、輝度値を値３２ずつの８つの輝度階級１～８に分けるものを例示するが、８つに限られない。部品なし場合、図７に示すように、輝度階級４で度数が最も多く、輝度階級１，５，６で比較的度数が多く、その他の輝度階級で度数が少ない学習結果となった。一方、部品ありの場合、図９に示すように、輝度階級８で度数が最も多く、輝度階級５，６で比較的度数が多く、その他の階級で度数が少ない学習結果となった。なお、はんだボールＳＢ以外の背景の影響により、輝度階級１でも度数が現れた。

制御装置２５は、こうして作成した輝度ヒストグラムにおける部品有無の度数差ｄが最大の階級を選択する（Ｓ１６０）。続いて、制御装置２５は、選択した階級を判定対象階級ＪＣに設定し（Ｓ１７０）、その判定対象階級ＪＣと、判定対象階級ＪＣにおける部品有無別の度数Ｎ０，Ｎ１を記憶部２７に記憶して（Ｓ１８０）、本処理を終了する。

図１０は、判定対象階級ＪＣの一例を示す説明図である。図１０では、図７，図８で例示した棒グラフの輝度ヒストグラムを、度数折れ線グラフとしてまとめて表示したものであり、部品なしを点線で示し、部品ありを一点鎖線で示す。また、輝度階級毎に部品ありの度数と部品なしの度数との差分として算出される度数差ｄを度数差ｄ１～ｄ８とするが、度数差ｄ３は略値０であるため図示を省略する。この例では、輝度階級８の度数差ｄ８が最大となり、判定対象階級ＪＣに輝度階級８が設定される。また、輝度階級８における部品なしの度数Ｎ０と、部品ありの度数Ｎ１とが記憶部２７に記憶される。

次に、検査処理における部品有無の判定処理を説明する。図１１は部品有無判定処理の一例を示すフローチャートである。部品有無判定処理では、ＣＰＵ２６は、まず、はんだボールＳＢ（対象部品）が実装された実装後の基板Ｂをマークカメラ３４で撮像して、検査の対象画像を取得する（Ｓ２００）。次に、ＣＰＵ２６は、対象画像における検査領域Ａ内の各画素の輝度値を取得し、輝度値が判定対象階級ＪＣに属する画素の度数Ｎｊをカウントする（Ｓ２１０）。Ｓ２１０では、ＣＰＵ２６は、輝度値が判定対象階級ＪＣに属する画素の度数のみをカウントし、判定対象階級ＪＣ以外の他の階級については度数のカウントを行わない。

続いて、ＣＰＵ２６は、カウントした度数Ｎｊを、学習結果の判定対象階級ＪＣの度数即ち判定対象階級ＪＣにおける部品なしの度数Ｎ０と部品ありの度数Ｎ１と比較して（Ｓ２２０）、度数Ｎｊが部品なしの度数Ｎ０よりも部品ありの度数Ｎ１に近いか否かを判定する（Ｓ２３０）。ＣＰＵ２６は、度数Ｎｊが部品ありの度数Ｎ１に近いと判定すると、対象部品あり即ちはんだボールＳＢが実装されたと判定して（Ｓ２４０）、本処理を終了する。一方、ＣＰＵ２６は、度数Ｎｊが度数Ｎ１ではなく部品なしの度数Ｎ０に近いと判定すると、対象部品なし即ちはんだボールＳＢが実装されておらず実装エラーであると判定して（Ｓ２５０）、本処理を終了する。なお、ＣＰＵ２６は、実装エラーと判定した場合、その旨を表示操作部２８に表示して作業者にエラーを報知する。

図１２は、判定対象階級ＪＣにおける判定の一例を示す説明図である。なお、図１２では、説明の便宜上、図１０で示した学習結果としての度数折れ線グラフと共に、検査対象の画像の度数折れ線グラフを示す。ただし、本実施形態では輝度値が判定対象階級ＪＣ以外の階級に属する画素の度数はカウントしないため、実際には度数折れ線グラフ（度数分布）は作成されない。図示するように、判定対象階級ＪＣの度数Ｎｊは、部品なしの度数Ｎ０よりも部品ありの度数Ｎ１に近いものとなっている。このため、この例では、対象部品あり即ちはんだボールＳＢが実装されたと判定される。

ここで、判定対象階級ＪＣ以外の他の階級の度数を含めた輝度ヒストグラム全体で対象部品の有無を判定することも考えられる。しかし、そのようにすると、例えば図１２の輝度階級２，７では検査対象の度数が部品有無の度数のいずれにも近く、輝度階級３では検査対象の度数が部品有無の度数のいずれとも乖離して、判定が困難となる。また、輝度階級５では検査対象画像の度数が部品なしの度数により近いため、誤判定するおそれがある。そこで、本実施形態では、輝度ヒストグラムのうちはんだボールＳＢの輝度の影響が最も大きい輝度階級８のみを用いて、はんだボールＳＢの有無を判定するのである。これにより、はんだボールＳＢ以外の背景の影響を排除することができるから、誤判定するのを防止して、はんだボールＳＢの有無を精度よく判定することができる。

ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の制御装置２５が本開示の検査装置に相当し、判定対象階級設定処理を実行するＣＰＵ２６が設定部に相当し、部品有無判定処理を実行するＣＰＵ２６が判定部に相当する。吸着ノズル３３が保持部材に相当し、実装部３０（マークカメラ３４を除く）が実装部に相当し、マークカメラ３４が撮像部に相当する。また、判定対象階級設定処理や部品有無判定処理を説明することにより、本開示の検査方法の一例も明らかにしている。

以上説明した実装装置２０の制御装置２５では、機械学習により輝度値の度数をはんだボールＳＢ（部品）の有無別に集計した輝度ヒストグラムを作成し、そのうち一部を判定対象階級ＪＣに設定する。そして、検査の対象画像の各画素における輝度値のうち判定対象階級ＪＣに属する度数Ｎｊを、輝度ヒストグラムの判定対象階級ＪＣの度数Ｎ０，Ｎ１と比較することではんだボールＳＢの有無を判定する。このように、輝度ヒストグラムの一部の判定対象階級ＪＣを用いることで、はんだボールＳＢの有無による度数への影響が顕著な階級に絞った判定が可能となり誤判定を防止することができる。

また、ヒストグラムの各階級に属するはんだボールＳＢの有無別の度数差ｄに基づいて判定対象階級ＪＣを設定するため、はんだボールＳＢの有無による影響が度数差ｄに現れた階級のみを用いて判定することができる。特に、度数差ｄが最大の階級を判定対象階級ＪＣに設定するから、はんだボールＳＢの有無による影響が顕著に現れた階級のみを用いて、はんだボールＳＢの有無を適切に判定することができる。

また、制御装置２５は、対象画像の各画素から判定対象階級ＪＣに属する輝度値の度数Ｎｊをカウントし、他の階級に属する輝度値の度数はカウントしない。このため、判定に必要な輝度値の度数Ｎｊのみをカウントして、不要な輝度値の度数をカウントしないから、はんだボールＳＢの有無を速やかに判定することができる。

また、実装装置２０は、実装部３０の吸着ノズル３３で吸着したはんだボールＳＢを基板Ｂに実装した後に、マークカメラ３４により基板Ｂを撮像して、はんだボールＳＢの実装有無を判定する。このため、はんだボールＳＢの基板Ｂへの実装処理と、確実に実装されたか否かの検査処理とを効率よく行うことができる。

なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

上述した実施形態では、はんだボールＳＢの有無別の度数差ｄが最大となる１の判定対象階級ＪＣを設定したが、これに限られず、部品有無の輝度の傾向即ち度数差ｄに基づいて少なくとも１の判定対象階級ＪＣを設定すればよく、複数の判定対象階級ＪＣを設定してもよい。例えば、度数差ｄが大きい方から所定数の階級を判定対象階級ＪＣに設定してもよい。図１０の例では、大きい方から度数差ｄ８，度数差ｄ４の順であるため、その２つの階級４，８を判定対象階級ＪＣに設定してもよい。また、度数差ｄが所定値以上の１または複数の階級を判定対象階級ＪＣに設定してもよい。複数の判定対象階級ＪＣを用いることにより、部品有無の判定精度をより向上させることができる。

実施形態では、判定対象階級ＪＣに属する輝度値の度数Ｎｊをカウントし、他の階級に属する輝度値の度数はカウントしないものとしたが、これに限られず、各階級の度数を全てカウントした上で、判定対象階級ＪＣの度数のみから部品の有無を判定してもよい。

実施形態では、判定対象階級ＪＣを度数差ｄに基づいて設定したが、これに限られず、以下のようにしてもよい。図１３は、変形例の判定対象階級設定処理を示すフローチャートである。変形例では、実施形態と同じ処理には同じステップ番号を付して説明を省略する。この処理では、ＣＰＵ２６は、輝度ヒストグラムを作成すると、表示操作部２８の表示画面に輝度ヒストグラム（例えば図１０）を表示して判定対象階級ＪＣの設定（選択）を指示し（Ｓ１６２）、設定指示が入力されるのを待つ（Ｓ１６４）。なお、ＣＰＵ２６は、表示操作部２８の表示画面に、１または複数（少なくとも一部）の階級を選択することで判定対象階級ＪＣの設定指示を行うようにメッセージを表示すればよい。

そして、ＣＰＵ２６は、入力された設定指示に基づく１または複数の階級を判定対象階級ＪＣに設定する（Ｓ１７０ｂ）。これにより、作業者（使用者）の意思や経験を判定対象階級ＪＣの設定に反映することができるから、はんだボールＳＢ（部品）の有無の誤判定をより適切に防止することができる。なお、制御装置２５（ＣＰＵ２６）が度数差ｄに基づいて設定した判定対象階級を表示画面に表示して、作業者が変更可能としてもよい。

実施形態では、本開示をはんだボールＳＢの有無の判定に適用したが、これに限られず、基板Ｂに実装された部品Ｐの有無の判定に適用すればよい。あるいは、基板Ｂに実装された部品Ｐの有無に限られず、吸着ノズル３３に吸着されている部品Ｐの有無の判定に適用してもよい。例えば、はんだボールＳＢ用の吸着ノズル３３ではんだボールＳＢを吸着した状態をパーツカメラ２３で撮像した画像を対象画像として、各吸着口３３ａ内のはんだボールＳＢの有無の判定に適用してもよい。また、部品Ｐに限られず、部品Ｐ以外の対象物の有無の検査に適用してもよい。また、各画素の輝度値を用いた判定を例示したが、輝度値に限られず、各画素から取得可能な特徴値を用いればよい。

実施形態では、実装装置２０の制御装置２５が部品有無の検査を行うものを例示したが、これに限られず、実装検査装置１４など検査専用の検査装置が部品有無の検査を行ってもよい。あるいは、実装後の基板Ｂをマークカメラ３４で撮像した対象画像を管理装置１８などの外部の検査装置が取得して、部品有無の検査を行ってもよい。

実施形態では、判定対象階級設定処理と部品有無判定処理とを制御装置２５が行うものを例示したが、両処理を同一の装置が行うものに限られず、別々の装置が行ってもよい。例えば、管理装置１８などの外部の装置が機械学習により輝度ヒストグラムを作成し、その結果を制御装置２５が取得して、判定対象階級ＪＣと度数Ｎ０，Ｎ１とを設定してもよい。あるいは、管理装置１８が判定対象階級設定処理を行い、その結果を制御装置２５が取得してもよい。そして、部品有無判定処理は、実施形態と同様に制御装置２５が行えばよい。このように、判定対象階級設定処理と部品有無判定処理とを複数の装置で分担してもよく、それらの複数の装置を備えた検査システムとしてもよい。

ここで、本開示の検査装置は、以下のように構成してもよい。例えば、本開示の検査装置において、前記設定部は、前記度数分布の各階級に属する対象物の有無別の度数の差に基づいて前記判定対象階級を設定するものとしてもよい。こうすれば、対象物の有無による影響が度数の差に現れた階級のみを用いて判定することができるから、対象物の有無の誤判定をより適切に防止することができる。

本開示の検査装置において、前記度数分布を表示する表示部と、使用者からの設定指示を入力する入力部と、を備え、前記設定部は、前記表示部に表示された前記度数分布の各階級のうち前記入力部に入力された設定指示に基づいて前記判定対象階級を設定するものとしてもよい。こうすれば、使用者の意思や経験を判定対象階級の設定に反映することができるから、対象物の有無の誤判定をより適切に防止することができる。

本開示の検査装置において、前記判定部は、前記対象画像の各画素から前記判定対象階級に属する特徴値の度数をカウントし、前記判定対象階級以外の階級に属する特徴値の度数はカウントしないものとしてもよい。こうすれば、判定に必要な特徴値の度数のみをカウントして、不要な特徴値の度数をカウントしないから、対象物の有無を速やかに判定することができる。

本開示の実装装置は、上述したいずれかの検査装置と、対象物を保持する保持部材を有し、該保持部材で保持した対象物を基板に実装する実装部と、対象物が実装された後の前記基板の画像を前記対象画像として撮像する撮像部と、を備えることを要旨とする。このため、上述した検査装置と同様に、画像を用いた対象物の有無の判定をより適切に行うことができる。

本開示の検査方法は、画像処理により対象物の有無を検査する検査方法であって、（ａ）対象物の有無が対応付けられた画像を用いた機械学習により、前記画像の各画素における特徴値の度数を対象物の有無別に集計した度数分布を作成または取得し、前記度数分布の各階級のうち一部を判定対象階級に設定するステップと、（ｂ）検査の対象画像を取得し、該対象画像の各画素における特徴値のうち前記判定対象階級に属する特徴値の度数を、前記度数分布の前記判定対象階級に属する対象物の有無別の度数と比較することで、前記対象画像内の対象物の有無を判定するステップと、を含むことを要旨とする。本開示の検査方法は、上述した検査装置と同様に、画像を用いた対象物の有無の判定をより適切に行うことができる。この検査方法において、上述した検査装置の種々の態様を採用してもよいし、各機能を実現するようなステップを追加してもよい。

本明細書では、出願当初の請求項５において「請求項１ないし３のいずれか１項に記載の検査装置」を「請求項１ないし４のいずれか１項に記載の検査装置」に変更した技術思想も開示されている。

本開示は、画像処理により対象物の有無を検査する技術分野に利用可能である。

１０実装システム、１１印刷装置、１２印刷検査装置、１４実装検査装置、１８管理装置、２０実装装置、２１基板処理部、２２部品供給部、２２ａテープフィーダ、２２ｂトレイフィーダ、２３パーツカメラ、２４ノズルストッカ、２５制御装置、２６ＣＰＵ、２７記憶部、２８表示操作部、３０実装部、３１ヘッド移動部、３２実装ヘッド、３３吸着ノズル、３３ａ吸着口、３４マークカメラ、Ａ判定領域、Ｂ基板、Ｃ凹部、Ｅ電極、Ｐ部品、ＳＢはんだボール、ＳＰはんだペースト、Ｔトレイ。

Claims

画像処理により対象物の有無を検査する検査装置であって、
対象物の有無が対応付けられた画像を用いた機械学習により、前記画像の各画素における特徴値の度数を対象物の有無別に集計した度数分布を作成または取得し、前記度数分布の各階級のうち一部を判定対象階級に設定する設定部と、
検査の対象画像を取得し、該対象画像の各画素における特徴値のうち前記判定対象階級に属する特徴値の度数を、前記度数分布の前記判定対象階級に属する対象物の有無別の度数と比較することで、前記対象画像内の対象物の有無を判定する判定部と、
を備える検査装置。
前記設定部は、前記度数分布の各階級に属する対象物の有無別の度数の差に基づいて前記判定対象階級を設定する、
請求項１に記載の検査装置。
前記度数分布を表示する表示部と、
使用者からの設定指示を入力する入力部と、
を備え、
前記設定部は、前記表示部に表示された前記度数分布の各階級のうち前記入力部に入力された設定指示に基づいて前記判定対象階級を設定する、
請求項１に記載の検査装置。
前記判定部は、前記対象画像の各画素から前記判定対象階級に属する特徴値の度数をカウントし、前記判定対象階級以外の階級に属する特徴値の度数はカウントしない、
請求項１ないし３のいずれか１項に記載の検査装置。
請求項１ないし３のいずれか１項に記載の検査装置と、
対象物を保持する保持部材を有し、該保持部材で保持した対象物を基板に実装する実装部と、
対象物が実装された後の前記基板の画像を前記対象画像として撮像する撮像部と、
を備える実装装置。
画像処理により対象物の有無を検査する検査方法であって、
（ａ）対象物の有無が対応付けられた画像を用いた機械学習により、前記画像の各画素における特徴値の度数を対象物の有無別に集計した度数分布を作成または取得し、前記度数分布の各階級のうち一部を判定対象階級に設定するステップと、
（ｂ）検査の対象画像を取得し、該対象画像の各画素における特徴値のうち前記判定対象階級に属する特徴値の度数を、前記度数分布の前記判定対象階級に属する対象物の有無別の度数と比較することで、前記対象画像内の対象物の有無を判定するステップと、
を含む検査方法。