JP2774840B2

JP2774840B2 - 画像認識部品装着装置における部品認識方法

Info

Publication number: JP2774840B2
Application number: JP1307971A
Authority: JP
Inventors: 浩一中原; 実丸山; 知洋守屋; 康彦水谷; 哲也石黒; 義人橘
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 1989-11-28
Filing date: 1989-11-28
Publication date: 1998-07-09
Anticipated expiration: 2013-07-09
Also published as: JPH03167896A

Description

【発明の詳細な説明】技術分野本発明はいわゆるプリント基板（以下、単に基板と称
する）に部品を自動的に次々と装着する部品装着装置に
関し、特に画像認識によって部品を把持しこれを基板に
装着する画像認識部品装着装置における部品認識方法に
関する。

背景技術かかる画像認識により作動する部品装着装置は、軟弱
端子を有するが故に整列して供給することが困難な電子
部品を基板に正しく装着するために、コンベア上にラン
ダム（非整列状態）に供給載置される電子部品をテレビ
カメラによって撮像し、得られる画像データを処理して
各部品の形状、位置及び姿勢を知るようにしている。

従来の画像認識部品装着装置においては画像データ処
理のプログラムが複雑で、部品装着速度を速くせんとし
た場合、高速のコンピュータを必要とし、コスト高とな
り実用性に問題があった。

発明の概要［発明の目的］本発明の目的は、低速のコンピュータによって形成さ
れしかも高速に部品の存在位置を検出することが出来る
画像認識部品装着装置における部品認識方法を提供する
ことである。

［発明の構成］本発明による画像認識部品装着装置における画像認識
方法は、部品載置面上にランダムに供給される電子部品
を撮像して画像信号を生成し、前記画像信号を処理して
２次元画面を構成する画素データを生成し、前記画素デ
ータに基づき前記部品載置面上の前記電子部品の存在を
認識する画像認識部品装着装置における部品認識方法で
あって、水平及び垂直方向における所定画素おきの座標位置と
してのグリッドにおける前記画素データの輝度レベルが
部品存在を示す黒レベルにあることを判別して黒レベル
グリッドを記憶する判別記憶行程と、前記黒レベルグリッドを基準とするウィンドウ領域の
境界上に黒レベルグリッドが存在しないことを判別して
判別出力を生ずる境界判別行程と、前記境界判定行程における判別に応じて前記記憶手段
によって記憶された黒レベルグリッドの個数が所定数以
上であることを判別して判別出力を生ずる簡易面積判別
行程と、前記簡易面積判別行程における判別に応じて前記ウィ
ンドウ領域内の黒レベル画素数が所定数を越えたことを
判別する面積詳細判別行程と、からなることを特徴とし
ている。

［発明の作用］上記した如き本発明の部品認識方法によれば、画像信
号から得られる画像データの全てのデータのレベルを判
別するのではなく、予め定められた一定画素数おきの座
標位置すなわちグリッドにおける画素データのレベルを
判別して粗い部品存在判別をなしている。

実施例以下、添付図面によって、本発明の実施例につき詳細
に説明する。

まず、第１図によって、本発明による部品認識方法を
実行する画像認識部品装着装置につき説明する。

本装置において、第１制御手段１が部品供給装置２を
作動せしめるためのモータ３を駆動し、部品供給装置２
からコンベア４上に数個の電子部品５、（この場合発光
素子）がランダム（すなわち非整列）状態にて投下され
る。そして、コンベア４を作動せしめるためのモータ６
が駆動され、コンベア４上に投下された発光素子５は撮
像手段としてのテレビカメラ８により撮像され得る部品
供給位置９に持ち来される。テレビカメラ８により生成
された画像信号はA/D変換器10を経て画素データに変換
され、第１制御手段１に送られる。第１制御手段１はこ
の画素データに基づいて部品供給位置９における各発光
素子５の形状、位置及び姿勢を知り、Ｘ−Ｙテーブル12
の作動用のモータ13を駆動して部品搬送チャック14をし
て、最初に搬送すべきであると判定した発光素子を把持
し得る位置に持ち来し、且つ、把持せしめる。そして、
この把持させた発光素子５を表裏反転装置15に受け渡
し、受け渡した発光素子が表裏が反転していれば表裏反
転装置15を作動させて発光素子５が常に表向きとなるよ
うに姿勢を修正し、インデックステーブル17上のインデ
ックスチャック18に受け渡す。インデックステーブル17
はメインモータ19によりカム機構20を介して回転駆動さ
れ、第１制御手段１によってカム機構20の動作制御がな
されることによって36゜ずつ間欠的に回転する。インデ
ックスチャック18はインデックステーブル17上に等間隔
（36゜ピッチ）にて10箇所に設けられている。インデッ
クスチャック18は上記の表裏反転装置15による部品供給
所と後述の部品排出箇所において第２制御手段22よりカ
ム機構20を介して動作制御されるインデックスチャック
駆動装置23及び24により機械力を付与されることにより
把持爪の開動作をなす。そして、この機械力が解除され
ることによって把持爪を閉じる。

上述した如く、インデックステーブル17は36゜を１ピ
ッチとして間欠的に回転せしめられるが、上記の部品供
給箇所からこの１ピッチずつ進んだ位置に対応してテレ
ビカメラ26、端子扱き装置27、端子屈曲装置28、テレビ
カメラ29及び部品装着チャック30が配設されている。こ
の部品装着チャック30が配置された位置が上述した部品
排出箇所であり、発光素子５を把持したインデックスチ
ャック18はこの位置にてインデックスチャック駆動装置
24により機械力を付与されて該発光素子の把持状態を解
除して部品装着チャック30に受け渡す。

上記の各インデックスチャック駆動装置23,24、端子
扱き装置27、端子屈曲装置28及び部品装着チャック30は
第２制御手段22により動作制御されるカム機構20及びク
ラッチ21を介してメインモータ19により駆動される。ま
た、これら端子扱き装置27、端子屈曲装置28及び部品装
着チャック30の駆動タイミングは、エンコーダ31からの
信号に基づく。第２制御手段22はまず、インデックスチ
ャック18により把持された発光素子５の端子の状態をテ
レビカメラ26からの撮像信号に基づいて認識し、これに
応じて端子扱き装置27を作動せしめ、軟弱であるが故に
第２図に示す如く変形していた発光素子５の端子5aをそ
の先端に向けて扱いて第３図に示すように互いに平行に
成形する。次いで、第２制御手段22は端子屈曲装置28を
作動せしめ、第４図に示すように端子5aを約90゜屈曲せ
しめる。

この後、第２制御手段は発光素子５の端子5aの状態を
テレビカメラ29からの撮像信号に基づいて認識し、端子
5aの成形状態が良であると判定したら、インデックスチ
ャック駆動装置24を作動させてインデックスチャック18
による発光素子５の把持状態を解除せしめると共に、部
品装着チャック30をしてこの発光素子５を把持せしめ
る。そして、Ｘ−Ｙテーブル33を作動させるためのモー
タ34を駆動して、該発光素子５が装着されるべくプリン
ト基板35を持ち来す。

この後、第２制御手段22は部品装着チャック回転用モ
ータ37を回転せしめて部品装着チャック30を適当な角度
位置まで回転せしめ、プリント基板35に対する発光素子
５の角度位置を定める。そして、部品装着チャック30を
下降させ、第５図に示す如く、プリント基板35に発光素
子５を装着する。このとき、発光素子５の端子5aはプリ
ント基板35に形成された端子挿入孔35aに挿入され、そ
の先端部分がプリント基板35の下面側に突出する。第２
制御手段22はこの端子5aの導通状態の良否を導通チェッ
ク・端子カット装置39により検査し、導通が良好であれ
ば端子5aの先端部をこの導通チャック・端子カット装置
39により切断して所定の長さに切り揃える。

一方、第２制御手段22は、導通チャック・端子カット
装置39による端子導通検査結果が不良と認識した場合に
は、部品装着チャック30をしてその発光素子５をプリン
ト基板35から取り外させてその回収のためにこれを不良
部品収納部40に収納し、直ちに後続の発光素子の装着を
行なわしめる。

以下、上記の一連の動作がプリント基板35に装着され
るべき発光素子の各々に関して行われる。

次に、第６図を参照して第１制御手段１における部品
認識動作を説明する。

第１制御手段による部品認識動作をなす手段は、CPU,
RAM及びROMを含むいわゆるマイクロコピュータによって
形成される。第６図はこのマイクロコンピュータによっ
て実行されるプログラムを示すフローチャートであり、
第１手段によるモータ13及び部品搬送チャック14の制御
動作を司るプログラムに対して所望タイミングにて割込
実行される。

このプログラムにおいては、先ず、フラッグＦが１に
等しいや否やを判別して（ステップS1）、Ｆが０に等し
いときは、A/D変換器10から順次供給される画素データ
を１フレーム分まとめてRAM内の所定領域に取り込む
（ステップS2）。なお、Ｆ＝１と判別したときには後述
のステップS18に入る。第７図は、画素データによって
表わされる１フレームの画像の一例を示しており、この
画像においては電子部品d1,d2,d3がコンベア４上に非整
列状態にて載置されている様子が表れている。第８図示
した如く、本発明によれば、１フレームの画像において
垂直及び水平方向におい所定画素（例えば100画素）お
きにグリッドGi（ｉ＝1,…196）を設定してある。そし
て、既設ウィンドウ外の領域において最若番のGiから順
に番号順にチェックし（ステップS3）、黒レベルグリッ
ドが見つかると、この検出黒レベルグリッドを基準にし
て所定広さの領域すなわちウィンドウＷを設定する（第
９図参照）（ステップS4）。次いで、このウィンドウＷ
の境界上に黒レベルグリッドが存在するや否やを判別す
る（ステップS5）。ウィンドウ境界上に黒レベルグリッ
ドが存在するときは例えば第10図に示す如く部品同士が
近接しており、部品吸着には適さないとして、既に設定
したウィンドウ以外の領域について最若番のGiから老番
方向へ黒レベルグリッドの検出動作をなすべくステップ
S3に戻る。一方、ウィンドウ境界上に黒レベルグリッド
が存在しないときは、当該ウィンドウ内の黒レベルグリ
ッド数が所定値範囲内にあるや否やを判別する（ステッ
プS7）。当該ウィンドウ内の黒レベルグリッド数が所定
値範囲内にない場合、目標部品の大きさが規定外である
か、又は、部品が載置面に対して傾斜して載置されてお
り、吸着に適さないとしてステップS3に戻る。一方、当
該ウィンドウ内の黒レベルグリッド数が所定値範囲内に
あると判別したときはテレビカメラ８から満た目標部品
の面積が第11図に示した如く一応の規定に収まっている
として、次のステップS8の判別動作に入る。ステップS8
においては、当該ウィンドウ内の水平方向における黒レ
ベル画素間の最大距離Ｘと、垂直方向における黒レベル
画素間の最大距離Ｙとが所定の最大値X_MX及びY_MXより小
であるや否やを判別する。第12図に示した如く、Ｘ＜X
_MX及びＹ＜Y_MXが共に成立すれば目標部品の大きさは規
定に収まっているとして次の面積チェックのステップS9
に入る。ステップS9においては、ウィンドウ内の黒レベ
ル画素数が、所定最小値N_MN及び所定最大値N_MXの間にあ
るや否やを判別する。ウィンドウ内の黒レベル画素数が
N_MNとN_MXとの間にないと部品面積が規定範囲外にある
故、部品の形状が異常であるか部品の姿勢が正しくない
として、ステップS3に戻る。一方、ウィンドウ内の黒レ
ベル画素数がN_MNとN_MXとの間にあることを判別した場合
は、部品吸着又は把持位置の算出のための準備として目
標部品の重心位置座標を算出する（ステップS10）。重
心位置座標算出方法については周知なので、ここでは詳
述しない。次いで、ステップS11において、取り込んだ
１フレームの画像について、吸着位置算出までの動作が
１の部品について既になされたことを示すフラッグＦが
立っているかどうかを判別する。フラッグＦが１である
ことを判別したときは、既に１の部品について、吸着位
置算出が終了しているので、今回設定ウィンドウ内の部
品についての重心位置座標データを記憶して（ステップ
S12）、メインルーチンに戻る。一方、Ｆ＝０を判別し
たときは、第13図に示す如く目標部品d1の等価楕円及び
慣性主軸上にある黒レベルデータを算出する（ステップ
S13）。この演算も周知であり、ここでは詳述しない。
次に、ステップS14においては、第14図に示す如く、部
品の重心からの輪郭上の最遠点及び最近点と重心とを結
ぶ長軸線l₁及び短軸線l₂を求める。次いで、このl₁及び
l₂の水平右方向基準線γに対する反時計回りの角度をθ
_１及びθ_２として、Δθ＝θ_１−θ_２を求め、Δθ＞18
0゜のときはΔθ＝Δθ−360゜とし、Δθ＜−180゜の
ときはΔθ＝Δθ＋360゜とする。こうすれば−180゜＜
Δθ＜180゜となり、Δθの正負により表裏判別を行な
う（ステップS15）。次いで、ステップS17において、目
標部品を載置面から拾い上げる吸着手段による吸着すべ
き位置すなわち把持位置を算出する。この吸着位置の座
標（Px,Py）は次の（１）又は（２）式の演算によって
得られる。

ここに、Gx,Gyは先に算出した重心位置座標であり、G
Pは重心との吸着位置との距離であり、予め部品種類毎
に定められている。θ_GPは重心と吸着位置との間の距離
であり、θ_GPは重心と吸着位置とを結ぶ線と慣性主軸と
のなす角度であり、予め部品種類毎に定まっている。ま
た、θ_MXはステップS13で求めた慣性主軸の水平方向と
なす角度である。

なお、第15図（Ａ）に示す如く部品の長手部分が右方
向へ延びたＲ状態（表）の場合上記（１）式を用い、第
15図（Ｂ）に示す如く部品の長手部が左方向へ延びたＬ
状態（裏）の場合は（２）式を用いる。

このようにして吸着位置座標Px,Pyが得られたら上述
のフラッグＦを１にした後（ステップS17）、ステップS
3に戻る。

なお、ステップS1において、Ｆ＝１が判別されたとき
は、画像データ取込をすることなく、ステップS12にお
いて記憶しておいた次回用ウィンドウデータを今回用と
して取り込んで（ステップS18）、フラッグＦをゼロと
した後（ステップS19）、ステップS13に入る。

こうして、ステップS13ないしステップS17まで再び実
行して、ステップS3に入って次の部品を探すのである。
そうして、部品が見つからないとメインルーチンに戻る
のであるが、このときコンベアを１ピッチ移動せしめる
（ステップS20）。

発明の効果上記したことから明らかな如く、本発明による画像認
識装置における部品認識方法によれば、部品載置面を撮
像した画像信号から部品の存否を判別するに当り、全て
の画素データのレベルを判別するのではなく、所定画素
おきに設定したグリッドの位置における画素の輝度レベ
ルを判別することとしたので、演算速度の遅いコンピュ
ータを用いても、素早く部品の存否判定が出来て、部品
認識速度が向上する。

【図面の簡単な説明】

第１図は、本発明の部品認識方法を実行する画像認識部
品装着装置を示すブロック図、第２図ないし第５図は、
対象部品の端子を整列せしめる場合の動作を説明する斜
視図、第６図は、第１図の装置における画像認識動作を
司る制御手段のサブルーチンを示すフローチャート、第
７図ないし第15図（Ａ），（Ｂ）は第６図によって示さ
れるサブルーチンの動作の演算内容を示す図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者水谷康彦埼玉県川越市大字山田字西町25番地１パイオニア株式会社川越工場内 (72)発明者石黒哲也埼玉県川越市大字山田字西町25番地１パイオニア株式会社川越工場内 (72)発明者橘義人埼玉県川越市大字山田字西町25番地１パイオニア株式会社川越工場内 (58)調査した分野(Int.Cl.⁶，ＤＢ名) H05K 13/08 H05K 13/04

Claims

(57)【特許請求の範囲】

【請求項１】部品載置面上にランダムに供給される電子
部品を撮像して画像信号を生成し、前記画像信号を処理
して２次元画面を構成する画素データを生成し、前記画
素データに基づき前記部品載置面上の前記電子部品の存
在を認識する画像認識部品装着装置における部品認識方
法であって、前記２次元画面の水平及び垂直方向における所定画素お
きの座標位置としてのグリッドにおける前記画素データ
の輝度レベルが部品存在を示す黒レベルにあることを判
別して黒レベルグリッドを記憶する判別記憶行程と、前記黒レベルグリッドを基準とするウィンドウ領域の境
界上に黒レベルグリッドが存在しないことを判別して判
別出力を生ずる境界判別行程と、前記境界判別行程からの判別出力に応じて前記記憶手段
によって記憶された黒レベルグリッドの個数が所定の範
囲内であることを判別して判別出力を生ずる簡易面積判
別行程と、前記簡易面積判別行程における判別に応じて前記ウィン
ドウ領域内の黒レベル画素数が所定の範囲内であること
を判別する面積詳細判別行程と、からなることを特徴とする画像認識部品装着装置におけ
る部品認識方法。
【請求項２】前記簡易面積判別行程における判別に応じ
て前記ウィンドウ領域内の黒レベル画素の存在範囲が所
定範囲内にあることを判別する範囲判別行程を有するこ
とを特徴とする請求項１記載の画像認識部品装着装置に
おける部品認識方法。