JP6246775B2 - ボンディングワイヤの検出装置及びボンディングワイヤの検出方法 - Google Patents

Description

本発明は、ボンディングされたワイヤを３次元的に検出するボンディングワイヤの検出装置及びボンディングワイヤの検出方法に関する。

図７に示されるようなワイヤボンディングが施されている電子部品のワイヤの外観検査を行う場合に、ワイヤ１００、１０１を１本ずつ正確に認識し、ワイヤの形状やワイヤ同士の接触などを検査することがある。ワイヤを認識する方法として、特許文献１に記載された方法がある。

前記特許文献１に記載されているワイヤの認識方法は、複数の方向からワイヤを撮影し、それらを合成して３次元表示する。特定のワイヤを認識したい場合は、ユーザが認識すべきワイヤをマウスクリックすることにより、拡大表示して検査する。

特開２００６−１４７８０８号公報

ところで、図７に示すように、ワイヤ１００、１０１を上下に立体交差させる場合があり、特定すべきワイヤの画像領域に隣のワイヤが入ることがある。このような場合、特許文献１に記載の方法では、ワイヤの重なりを考慮しながら、複数の方向からワイヤを撮影する必要があり、撮影に手間がかかる。また、特定のワイヤを認識したい場合は、ユーザが３次元画像を目視で確認しながら、認識すべきワイヤをマウスクリックする必要があり、１本のワイヤを正確かつ自動的に追跡することができない。

そこで、本発明は斯かる実情に鑑み、検出対象となるワイヤを１本ずつ正確に追跡することができるボンディングワイヤの検出装置及びボンディングワイヤの検出方法を提供しようとするものである。

本発明のボンディングワイヤの検出装置は、接続面にボンディングされたワイヤを３次元的に検出するボンディングワイヤの検出装置であって、ボンディングされたワイヤと相対的に接近及び離間して、焦点の異なるワイヤの画像を複数撮像する撮像手段と、取得した画像において、ワイヤの一方の端部が接続される一方の接続面の領域と、ワイヤの他方の端部が接続される他方の接続面の領域とを特定する接続面領域特定手段と、前記接続面領域特定手段にて特定された２つの接続面の領域の位置に基づいて、追跡始点及び終点の位置を演算する始点・終点演算手段と、前記撮像手段により取得した焦点の異なる夫々の画像に対して合焦度の高い画素位置を示す合焦度分布を表した撮像面合焦度分布が記憶された合焦度３次元分布から、前記接近及び離間方向かつ前記両接続面を結ぶ直線と直交する方向の断面である縦断面上に合焦度分布が切り出された縦断面合焦度分布を形成する縦断面合焦度分布形成手段と、１本のワイヤの範囲内で所定間隔に離間する位置において、夫々の位置に対応する縦断面合焦度分布に基づいて、前記始点・終点演算手段にて演算された追跡始点から終点の位置まで合焦度の高い箇所を追跡することにより、１本のワイヤの一方の端部が接続される一方の接続面から、ワイヤの他方の端部が接続される他方の接続面までの軌跡を追跡する追跡手段とを備えたものである。

本発明のボンディングワイヤの検出装置によれば、撮像手段により、焦点の合った画素位置が夫々異なる複数の画像が取得される。縦断面合焦度分布形成手段は、合焦度の３次元分布から、ある縦断面上の合焦度分布を切り出し、縦断面合焦度分布を形成することができる。縦断面合焦度分布とは、撮像手段とワイヤとの接近及び離間方向の断面における合焦度の分布が表現されたものである。追跡手段は、１本のワイヤの範囲内で所定間隔に離間する位置において、夫々の位置に対応する縦断面合焦度分布を参照して、合焦度の高い箇所を追跡する。これにより、合焦度の高い箇所がワイヤの位置であるとして、合焦度の高い箇所を追跡すると、１本のワイヤを追跡することができるため、ワイヤが密集していても、検出対象となるワイヤを自動的に追跡することができる。

前記構成において、複数の前記縦断面合焦度分布を連続させた追跡画を作成する追跡画作成手段を備えてもよい。これにより、１本のワイヤを追跡しやすいものとなる。

前記追跡手段は、縦断面合焦度分布において、追跡途中の前記合焦度の高い箇所が存在しない場合に仮想追跡する仮想追跡部を備えてもよい。仮想追跡部は、いわゆるモーショントラッキングによる追跡を行うものとできる。

本発明のボンディングワイヤの検出方法は、接続面にボンディングされたワイヤを３次元的に検出するボンディングワイヤの検出方法であって、ボンディングされたワイヤと相対的に接近及び離間して、焦点の異なるワイヤの画像を複数撮像し、取得した画像において、ワイヤの一方の端部が接続される一方の接続面の領域と、ワイヤの他方の端部が接続される他方の接続面の領域とを特定し、特定された２つの接続面の領域の位置に基づいて、追跡始点及び終点の位置を演算し、取得した焦点の異なる夫々の画像に対して合焦度の高い画素位置を示す合焦度分布を表した撮像面合焦度分布が記憶された合焦度３次元分布から、前記接近及び離間方向かつ前記両接続面を結ぶ直線と直交する方向の断面である縦断面上に合焦度分布が切り出された縦断面合焦度分布を形成し、１本のワイヤの範囲内で所定間隔に離間する位置において、夫々の位置に対応する縦断面合焦度分布に基づいて、演算された追跡始点から終点の位置まで合焦度の高い箇所を追跡することにより、１本のワイヤの一方の端部が接続される一方の接続面から、ワイヤの他方の端部が接続される他方の接続面までの軌跡を追跡するものである。

複数の前記縦断面合焦度分布を連続させた追跡画を作成したり、縦断面合焦度分布において、追跡途中の前記高い箇所が存在しない場合に仮想追跡したりしてもよい。

本発明では、ワイヤが密集していても、検出対象となるワイヤを１本ずつ正確に追跡することができる。

本発明のボンディングワイヤの検出装置を示すブロック図である。 撮像手段により撮像したワイヤ及び接続面の画像を示す図である。 前記図２のＡ、Ｂ、Ｃ、Ｄにおける縦断面合焦度分布を示す図である。 追跡手段による追跡方法を示す概念図である。 本発明のボンディングワイヤの検出方法の手順を示すフローチャート図である。 前記図２のＡ、Ｂ、Ｃ、Ｄにおける縦断面合焦度分布を示し、仮想追跡部による追跡方法を示す図である。 複数のワイヤが接続面に密集して接続された状態を示す簡略平面図である。

以下、本発明の実施の形態を図１〜図６に基づいて説明する。

本発明のボンディングワイヤの検出装置は、電子部品や回路基板の端子などのパターン部分にワイヤ先端部が接合（ボンディング）されている場合に、ボンディングされたワイヤを３次元的に検出するものである。

本発明のボンディングワイヤの検出装置は、図１に示すように撮像手段１と、図示省略のコンピュータに設けられる、メモリ１０と、接続面領域特定手段２と、演算手段３と、縦断面合焦度分布形成手段４と、追跡画作成手段５と、追跡手段６とを備えている。また、コンピュータには図示省略の表示手段（モニタ）が接続されている。

撮像手段１はＣＣＤカメラ等からなり、撮像物体であるワイヤ２０及び接続面（ボンディング面）２１を含む画像を取得する。撮像手段１はｚ方向に（上下方向に）移動して、ワイヤ２０及び接続面２１と相対的に接近及び離間することができる。すなわち、撮像手段１は、撮像物体との距離を変化させて、上下方向に焦点が異なる画像２２（図２参照）を複数枚取得する（焦点の合った画素位置が夫々異なる画像を取得する）。なお、図２では画像２２の全ての位置で焦点が合っているが、実際は、１枚の画像につき、いずれかの位置のみで焦点が合っている。

接続面領域特定手段２は、取得した画像において、ワイヤが接続される接続面の領域を特定するものである。具体的には、表示手段に図２に示すような画像２２が表示されており、ユーザが例えばマウスのドラッグ等により、図２の点線の囲みに示すように画像２２において接続面領域３１の範囲を指定して特定したときに、接続面領域特定手段２は、その指定された範囲を記憶する。

演算手段３は、１本のワイヤを追跡するために必要な各種の演算を行うものである。演算手段３は、始点・終点演算手段７と、合焦度演算手段８とを備えている。

始点・終点演算手段７は、接続面領域特定手段２にて指定された２つの接続面領域３１ａ、３１ｂの位置に基づいて、追跡手段６による追跡始点及び終点の位置を演算し、記憶するものである。

合焦度演算手段８は、撮像面合焦度分布生成手段１１と、合焦度３次元分布生成手段１２とを備えている。画像１枚につき、合焦度の高い画素位置（焦点の合っている画素位置）が存在し、その画素位置は、夫々の画像毎で異なる。合焦度演算手段８の撮像面合焦度分布生成手段１１は、撮像手段１により取得した夫々の画像に対して、撮像面合焦度分布を生成するものである。撮像面合焦度分布は、ある撮像位置における撮像面上での合焦度分布を表している。合焦度演算手段８の合焦度３次元分布生成手段１２は、撮像面合焦度分布を、撮影位置順に順次記憶することにより、合焦度３次元分布を得ることができる。

縦断面合焦度分布形成手段４は、合焦度演算手段８の合焦度３次元分布生成手段１２に記憶されている合焦度３次元分布から、ある縦断面上の合焦度分布を切り出し、縦断面合焦度分布を形成するものである。縦断面合焦度分布とは、撮像手段１とワイヤ２０との接近及び離間方向（本実施形態ではｚ方向）の断面（図４参照）における合焦度分布を表現するものである。図３のＳ（Ａ）、Ｓ（Ｂ）、Ｓ（Ｃ）、Ｓ（Ｄ）に、縦断面合焦度分布の例を示す。例えば、図３の縦断面合焦度分布Ｓ（Ａ）は、全画像において、図２のＡのライン上の位置に対応する全ての画素位置における合焦度によって形成される。

図２の断面位置Ａにおける縦断面合焦度分布は、図３のＳ（Ａ）に対応する。同様に、図２の断面位置Ｂにおける縦断面合焦度分布は、図３のＳ（Ｂ）に対応し、図２の断面位置Ｃにおける縦断面合焦度分布は、図３のＳ（Ｃ）に対応し、図２の断面位置Ｄにおける縦断面合焦度分布は、図３のＳ（Ｄ）に対応する。図２及び図３では、縦断面合焦度分布は、断面位置Ａ、Ｂ、Ｃ、Ｄの４か所のみ記載しているが、実際は、一方の接続面２１ａ（断面位置Ａ）から他方の接続面２１ｂ（断面位置Ｄ）にわたって無数の縦断面合焦度分布を形成することができる。

図２に示すように、追跡すべきワイヤ２０の上方で別のワイヤ２２が交差する場合、図３に示すように、縦断面合焦度分布Ｓ（Ａ）、Ｓ（Ｂ）には合焦度の高い箇所である点４０、４２と、合焦度の高い箇所である線４１（４１ａ）が存在し、縦断面合焦度分布Ｓ（Ｃ）には合焦度の高い箇所である点４０、４２が存在し、縦断面合焦度分布Ｓ（Ｄ）には合焦度の高い箇所である点４０、４２と、合焦度の高い箇所である線４１（４１ｂ）が存在する。

追跡画作成手段５は、１本のワイヤ２０の範囲内で所定間隔に離間する位置（図２におけるＡ、Ｂ、Ｃ、Ｄの位置）において、夫々の位置Ａ、Ｂ、Ｃ、Ｄに対応する縦断面合焦度分布（図３におけるＳ（Ａ）、Ｓ（Ｂ）、Ｓ（Ｃ）、Ｓ（Ｄ））に基づいて追跡画を作成する。すなわち、追跡画作成手段５は、追跡始点に対応する縦断面合焦度分布Ｓ（Ａ）から、追跡終点に対応する縦断面合焦度分布Ｓ（Ｄ）までを連続させた追跡画を作成する。本実施形態では、追跡画として動画とする。この動画を表示手段により表示させると、ユーザはワイヤを視覚的に追跡することができる。

追跡手段６は、追跡画に基づいて、合焦度の高い箇所を順に追跡するものである。すなわち、追跡手段６は、図４の矢印に示すように、縦断面合焦度分布Ｓ（Ａ）〜Ｓ（Ｄ）を、始点Ａから終点Ｄまでスキャンすることになる。

本発明のボンディングワイヤの検出装置を使用したボンディングワイヤの検出方法を図５のフローチャートを用いて説明する。

撮像手段１は、ワイヤ２０及び接続面２１が撮影範囲となるようにして、上下方向に焦点の異なる実画像を複数枚取得する（ステップＳ１）。これにより、焦点の合った画素位置が夫々異なる複数の画像データがメモリ１０に格納される。本実施形態では、図２に示すように、一方の接続面２１ａ及び他方の接続面２１ｂに接続されたワイヤ２０（追跡すべきワイヤ）と、その上方で別のワイヤ２２が交差している箇所を撮影した場合について説明する。

次に、接続面領域特定手段２は、図２に示すように、撮影されたいずれかの画像２２において、接続面領域３１ａ、３１ｂを特定する（ステップＳ２）。具体的に、第１の方法は、ユーザが例えばマウスのドラッグ等により、画像２２において、図２の点線の囲みで示すように、ワイヤ２０の一方の端部が接続される一方の接続面２１ａに対応する接続面領域３１ａの範囲を囲んで指定し、さらに、ワイヤ２０の他方の端部が接続される他方の接続面２１ｂに対応する接続面領域３１ｂを指定する。これにより、接続面領域特定手段２は、その指定された範囲を記憶する。第２の方法は、第１の方法により予め記憶した情報に基づいて、接続面領域の特定を自動的に行う。接続面領域の特定を自動的に行うには、例えば次のような方法がある。画像２２内で、接続面と離れた位置に存在する模様や物体等を目印として設定し、接続面領域と目印との相対位置を予めコンピュータに記憶させておく。それ以降の撮影で、目印を画像２２内で見つけることにより、記憶している相対位置情報から接続面領域を自動的に特定することができる。

始点・終点演算手段７は、接続面領域特定手段２にて指定された両方の接続面領域３１ａ、３１ｂの位置に基づいて、追跡始点及び終点の位置を演算し、記憶する（ステップＳ３）。

また、合焦度演算手段８の撮像面合焦度分布生成手段１１は、メモリ１０に格納されている画像データから、夫々の画像において、撮像面合焦度分布を生成する（ステップＳ４）。合焦度演算手段８の合焦度３次元分布生成手段１２は、撮像面合焦度分布を撮影位置順に順次記憶することにより、合焦度３次元分布を得る。

縦断面合焦度分布形成手段４は、合焦度演算手段８の合焦度３次元分布生成手段１２に記憶されている合焦度３次元分布から、ある縦断面上の合焦度分布を切り出し、図３に示すような縦断面合焦度分布を形成する（ステップＳ５）。このとき、縦断面合焦度分布形成手段５は、図２に示すように、ｚ方向、かつ両接続面２１ａ、２１ｂを結ぶ直線Ｌと直交する方向（図２の各点線Ａ、Ｂ、Ｃ、Ｄの方向）の断面において、図３に示すような縦断面合焦度分布Ｓ（Ａ）〜Ｓ（Ｄ）を形成する。図２及び図３では、縦断面合焦度分布は、断面位置Ａ、Ｂ、Ｃ、Ｄの４か所のみ記載しているが、実際は、一方の接続面２１ａ（始点となる断面位置Ａ）から他方の接続面２１ｂ（終点となる断面位置Ｄ）にわたって無数の縦断面合焦度分布を形成することができる。

追跡画作成手段５は、１本のワイヤ２０の範囲内で所定間隔における複数のワイヤ位置（図２におけるＡ、Ｂ、Ｃ、Ｄの位置）に対応する夫々の縦断面合焦度分布（図３におけるＳ（Ａ）、Ｓ（Ｂ）、Ｓ（Ｃ）、Ｓ（Ｄ））を参照して追跡画を作成する（ステップＳ６）。このとき、ユーザは、前記所定間隔を設定することができる。すなわち、一方の接続面２１ａから他方の接続面２１ｂまで、どの程度の間隔で縦断面合焦度分布を使用して追跡画を作成するかを設定することができる。間隔が短ければ、多数の縦断面合焦度分布により追跡画を作成することになり、間隔が長ければ、少数の縦断面合焦度分布により追跡画を作成することになる。

そして、追跡手段６は、追跡画に基づいて、合焦度の高い箇所のうち、一方の接続面２１ａに相当する箇所から他方の接続面２１ｂに相当する箇所まで連続するものを順に追跡する（ステップＳ７）。つまり、図４の矢印に示すように、縦断面合焦度分布を、始点Ａから終点Ｄまでスキャンすることになる。具体的には、図３のＳ（Ａ）において、合焦度の高い箇所である線４１（４１ａ）を一方の接続面２１ａに対応するものであるとして、これに接する合焦度の高い箇所である点４０を、接続面２１ａに接続されたワイヤ２０に対応すると認識する。そして、縦断面合焦度分布Ｓ（Ｂ）、Ｓ（Ｃ）と順に、合焦度の高い箇所である点４０の軌跡を追跡する。そして、図３のＳ（Ｄ）において、合焦度の高い箇所である線４１（４１ｂ）を他方の接続面２１ｂに対応するものであるとして、これに接する合焦度の高い箇所である点４０を、接続面２１ｂに接続されたワイヤ２０に対応すると認識する。このようにして、合焦度の高い箇所がワイヤの位置であるとして、合焦度の高い箇所を追跡すると、１本のワイヤを追跡することができる。

本発明のボンディングワイヤの検出装置及びボンディングワイヤの検出方法は、１本のワイヤ２０の範囲内で所定間隔に離間する位置Ａ、Ｂ、Ｃ、Ｄにおいて、夫々の位置に対応する縦断面合焦度分布Ｓ（Ａ）、Ｓ（Ｂ）、Ｓ（Ｃ）、Ｓ（Ｄ）に基づいて、合焦度の高い箇所４０を追跡する。これにより、合焦度の高い箇所４０がワイヤ２０の位置であるとして、合焦度の高い箇所４０を追跡すると、１本のワイヤ２０を自動的に追跡することができるため、ワイヤが密集していても、検出対象となるワイヤ２０を正確に追跡することができる。

追跡手段６は、図示省略の仮想追跡部を備えていてもよい。仮想追跡部は、縦断面合焦度分布において、追跡途中の合焦度の高い箇所４０が存在しない場合に仮想追跡するものである。すなわち、仮想追跡部は、追跡途中における合焦度の高い箇所４０のモーショントラッキングを行う。モーショントラッキングとは、画面（画像）の中の特定のマークやパターンをターゲットとして、物体の動きを解析することである。例えば、図６に示すように、縦断面合焦度分布Ｓ（Ｂ）において、追跡途中の合焦度の高い箇所３０が存在しない場合は、仮想追跡部は、モーショントラッキングにより、矢印のように合焦度の高い箇所３０が存在するものとして仮想追跡を行う。

以上、本発明の実施形態につき説明したが、本発明は前記実施形態に限定されることなく種々の変形が可能であって、例えば、撮像手段１は、ＣＣＤカメラに限られず、ＣＭＯＳカメラ等種々のものを採用することができる。撮影方向としては、撮像物体の上方に撮像手段１が位置し、撮像手段１が上下動するものであったが、撮像物体に対して水平方向に撮像手段１が位置して、撮像手段１が水平方向に移動してもよい。また、撮像手段１を固定して、撮像物体側が撮像手段１に対して接近・離間してもよい。追跡画は、動画でなくてもよく、複数の静止画の集まりであってもよい。この場合、縦断面合焦度分布を短い間隔で取得し、多数の縦断面合焦度分布に基づいて追跡を行えば、正確な追跡を行うことが可能である。前記実施形態では、４か所（４つの縦断面位置情報）において追跡画を作成したが、縦断面合焦度分布の数は任意に設定することができる。また、追跡画の作成に際し、縦断面合焦度分布の取得位置は等間隔でなくてもよい。例えば、ワイヤが密集している可能性の高い箇所は、短い間隔で縦断面合焦度分布を取得し、ワイヤが密集している可能性の低い箇所は、長い間隔で縦断面合焦度分布を取得して追跡画を作成する等してもよい。また、撮像した画像の全画像で縦断面合焦度分布を形成する必要はなく、撮像した画像のうち、一部のみで縦断面合焦度分布を形成してもよい。

１ 撮像手段
４ 縦断面合焦度分布形成手段
５ 追跡画作成手段
６ 追跡手段
２０ ワイヤ
２１ 接続面
２２ 画像
３０、３１、３２、４０、４１、４２ 合焦度の高い箇所
Ｌ 直線
Ｓ 縦断面合焦度分布

Claims (6)

1. 接続面にボンディングされたワイヤを３次元的に検出するボンディングワイヤの検出装置であって、
   ボンディングされたワイヤと相対的に接近及び離間して、焦点の異なるワイヤの画像を複数撮像する撮像手段と、
   取得した画像において、ワイヤの一方の端部が接続される一方の接続面の領域と、ワイヤの他方の端部が接続される他方の接続面の領域とを特定する接続面領域特定手段と、
   前記接続面領域特定手段にて特定された２つの接続面の領域の位置に基づいて、追跡始点及び終点の位置を演算する始点・終点演算手段と、
   前記撮像手段により取得した焦点の異なる夫々の画像に対して合焦度の高い画素位置を示す合焦度分布を表した撮像面合焦度分布が記憶された合焦度３次元分布から、前記接近及び離間方向かつ前記両接続面を結ぶ直線と直交する方向の断面である縦断面上に合焦度分布が切り出された縦断面合焦度分布を形成する縦断面合焦度分布形成手段と、
   １本のワイヤの範囲内で所定間隔に離間する位置において、夫々の位置に対応する縦断面合焦度分布に基づいて、前記始点・終点演算手段にて演算された追跡始点から終点の位置まで合焦度の高い箇所を追跡することにより、１本のワイヤの一方の端部が接続される一方の接続面から、ワイヤの他方の端部が接続される他方の接続面までの軌跡を追跡する追跡手段とを備えたことを特徴とするボンディングワイヤの検出装置。
2. 複数の前記縦断面合焦度分布を連続させた追跡画を作成する追跡画作成手段を備えたことを特徴とする請求項１に記載のボンディングワイヤの検出装置。
3. 前記追跡手段は、縦断面合焦度分布において、追跡途中の前記合焦度の高い箇所が存在しない場合に仮想追跡する仮想追跡部を備えたことを特徴とする請求項１又は請求項２に記載のボンディングワイヤの検出装置。
4. 接続面にボンディングされたワイヤを３次元的に検出するボンディングワイヤの検出方法であって、
   ボンディングされたワイヤと相対的に接近及び離間して、焦点の異なるワイヤの画像を複数撮像し、
   取得した画像において、ワイヤの一方の端部が接続される一方の接続面の領域と、ワイヤの他方の端部が接続される他方の接続面の領域とを特定し、
   特定された２つの接続面の領域の位置に基づいて、追跡始点及び終点の位置を演算し、
   取得した焦点の異なる夫々の画像に対して合焦度の高い画素位置を示す合焦度分布を表した撮像面合焦度分布が記憶された合焦度３次元分布から、前記接近及び離間方向かつ前記両接続面を結ぶ直線と直交する方向の断面である縦断面上に合焦度分布が切り出された縦断面合焦度分布を形成し、
   １本のワイヤの範囲内で所定間隔に離間する位置において、夫々の位置に対応する縦断面合焦度分布に基づいて、演算された追跡始点から終点の位置まで合焦度の高い箇所を追跡することにより、１本のワイヤの一方の端部が接続される一方の接続面から、ワイヤの他方の端部が接続される他方の接続面までの軌跡を追跡することを特徴とするボンディングワイヤの検出方法。
5. 複数の前記縦断面合焦度分布を連続させた追跡画を作成することを特徴とする請求項４に記載のボンディングワイヤの検出方法。
6. 縦断面合焦度分布において、追跡途中の前記合焦度の高い箇所が存在しない場合に仮想追跡することを特徴とする請求項４又は請求項５に記載のボンディングワイヤの検出方法。

Images