Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6974101B2 - 設定装置、及び、表面実装機 - Google Patents
[go: Go Back, main page]

JP6974101B2 - 設定装置、及び、表面実装機 - Google Patents

設定装置、及び、表面実装機 Download PDF

Info

Publication number
JP6974101B2
JP6974101B2 JP2017192593A JP2017192593A JP6974101B2 JP 6974101 B2 JP6974101 B2 JP 6974101B2 JP 2017192593 A JP2017192593 A JP 2017192593A JP 2017192593 A JP2017192593 A JP 2017192593A JP 6974101 B2 JP6974101 B2 JP 6974101B2
Authority
JP
Japan
Prior art keywords
image
component
unit
control unit
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017192593A
Other languages
English (en)
Other versions
JP2019067943A (ja
Inventor
貴通 香月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Motor Co Ltd
Original Assignee
Yamaha Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Motor Co Ltd filed Critical Yamaha Motor Co Ltd
Priority to JP2017192593A priority Critical patent/JP6974101B2/ja
Publication of JP2019067943A publication Critical patent/JP2019067943A/ja
Application granted granted Critical
Publication of JP6974101B2 publication Critical patent/JP6974101B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Supply And Installment Of Electrical Components (AREA)

Description

本明細書で開示する技術は、設定装置、及び、表面実装機に関する。
従来、部品供給装置から供給される部品を保持して基板に実装する表面実装機において、部品の中心点周りの当該部品の回転角度を判定し、判定した回転角度と部品を基板に実装するときの実装角度との角度差に応じて部品の回転角度を補正するものが知られている(例えば、特許文献1参照)。
特開2007−103436号公報(段落0049)
ところで、一般に部品の回転角度は部品の外周形状から判定することができる。しかしながら、部品によっては外周形状から回転角度を判定できない場合もある。例えば外周形状が正方形の場合、ある任意の回転角度を0度としたとき、0度、90度、180度及び270度のときに外周形状が一致するので、回転角度が0度、90度、180度及び270度のいずれであるかを外周形状から判定することはできない。
ただし、一般にこのような部品は回転角度を判定可能な特徴部分を有している。このため、このような部品の場合は回転角度を判定するための判定パラメータを予め特徴部分に基づいて設定しておくことにより、部品の回転角度を判定することができる。
また、部品は裏返って供給される可能性もある。一般に部品は表と裏を判定可能な特徴部分を有しているので、表と裏を判定するための判定パラメータを予め特徴部分に基づいて設定しておくことにより、部品の表と裏を判定することができる。
しかしながら、一般に部品の供給メーカからは部品の特徴部分に関するデータが提供されない。このため従来はオペレータが手作業で判定パラメータを設定しており、効率が悪いという問題があった。
本明細書では、回転角度や表と裏などの部品の姿勢を判定するための判定パラメータを効率よく設定できる技術を開示する。
本明細書で開示する設定装置は、姿勢を判定可能な特徴部分を有する部品を撮像して画像を生成する撮像部と、前記画像上で前記特徴部分を認識する認識処理、及び、前記認識処理で認識した前記特徴部分に基づいて、前記姿勢を判定するための判定パラメータを設定する設定処理を実行する制御部と、を備える。
上記の設定装置によると、オペレータが手作業で判定パラメータを設定する場合に比べて設定に要する時間を短縮することができるので、判定パラメータを効率よく設定することができる。
また、前記姿勢は前記部品の中心点周りの回転角度であり、前記制御部は、前記認識処理において、前記画像を回転させ、回転前の前記画像と回転後の前記画像との差画像に基づいて前記特徴部分を認識してもよい。
上記の設定装置によると、部品の回転角度を判定可能な判定パラメータを設定することができる。
また、前記姿勢は前記部品の表と裏を含み、前記撮像部は、前記部品の表面を撮像して表面画像を生成する第1の撮像部と、前記部品の裏面を撮像して裏面画像を生成する第2の撮像部と、を有し、前記制御部は、前記認識処理において、前記表面画像と前記裏面画像との差画像に基づいて前記特徴部分を認識してもよい。
上記の設定装置によると、部品の表と裏を判定可能な判定パラメータを設定することができる。
また、前記部品は表及び裏に電極を有しており、前記制御部は、前記認識処理の前に、前記表面画像において前記電極を表している画素の濃度と前記裏面画像において前記電極を表している画素の濃度とに基づいて前記表面画像及び前記裏面画像の少なくとも一方の画素の濃度を補正する補正処理を実行してもよい。
第1の撮像部と第2の撮像部とは撮像センサの感度の違いや光源の輝度の違いなどによって同じ被写体を撮像しても画素の濃度が異なってしまうことがある。言い換えると、第1の撮像部と第2の撮像部とで画素の濃淡が異なってしまうことがある。表と裏で画素の濃淡が異なると判定パラメータの精度が低下してしまう虞がある。
上記の設定装置によると、表面画像において部品の電極を表している画素の濃度と裏面画像において部品の電極を表している画素の濃度とに基づいて表面画像及び裏面画像の少なくとも一方の画素の濃度を補正するので、画素の濃淡が異なることによって判定パラメータの精度が低下してしまうことを抑制できる。
また、前記制御部は、前記設定処理の後、各前記画像上で前記判定パラメータを用いて姿勢を判定することによって前記判定パラメータを検証する検証処理を実行してもよい。
上記の設定装置によると、判定パラメータの信頼性を向上させることができる。
また、本明細書で開示する表面実装機は、上記の設定装置と、部品供給装置によって供給される前記部品を保持して基板に実装する実装部と、を備える。
上記の表面実装機によると、オペレータが手作業で判定パラメータを設定する場合に比べて判定パラメータを効率よく設定することができる。
また、前記制御部は、前記実装部によって前記部品を保持し、前記実装部によって保持されている前記部品を前記撮像部によって撮像してもよい。
従来は撮像部によって部品の裏面を撮像するためにオペレータが手作業で実装部に部品を保持させていた。言い換えるとオペレータが実装部に部品を手付けしていた。このためオペレータにとって手間であった。特に極小部品は実装部に保持させることが困難であるためオペレータにとって大きな手間であった。これに対し、表面実装機によると、オペレータは実装部に部品を保持させる作業を行わなくてよいのでオペレータの手間を軽減することができる。
実施形態1に係る表面実装機の全体構成を示す模式図 ヘッドユニット及び基板撮像カメラの正面図 表面実装機の電気的構成を示すブロック図 部品(PLCC)を上方から撮像した画像を示す模式図 部品(SOP)を上方から撮像した画像を示す模式図 判定領域(検出円)を示す模式図 回転角度判定パラメータを示す模式図 部品(PLCC)を上方から撮像した画像を示す模式図 回転角度判定パラメータの設定処理のフローチャート 差画像の一例を示す模式図 回転角度の判定処理のフローチャート 実施形態2に係る部品の模式図 差画像の一例を示す模式図 表裏判定パラメータを示す模式図 表裏判定パラメータの設定処理のフローチャート 実施形態3に係る部品の模式図 表裏判定パラメータを示す模式図
<実施形態1>
実施形態1を図1ないし図11によって説明する。以降の説明では図1に示す左右方向をX軸方向、前後方向をY軸方向、図2に示す上下方向をZ軸方向という。また、以降の説明では図1に示す右側を上流側、左側を下流側という。また、以降の説明では同一の構成部材には一部を除いて図面の符号を省略している場合がある。
(1)表面実装機の全体構成
図1を参照して、表面実装機1の全体構成について説明する。表面実装機1は基台10、搬送コンベア11、テープ部品供給装置12、トレイ部品供給装置13、ヘッドユニット14、ヘッド搬送部15、2つの部品撮像カメラ16(撮像部、第2の撮像部の一例)、基板撮像カメラ17(撮像部、第1の撮像部の一例)、図3に示す制御部30、操作部31などを備えている。部品撮像カメラ16、基板撮像カメラ17及び制御部30は実施形態1に係る設定装置2(図3参照)を構成している。ヘッドユニット14及びヘッド搬送部15は実装部の一例である。
基台10は平面視長方形状をなすとともに上面が平坦とされている。図1において二点鎖線で示す矩形枠Aは基板Pに部品Eを実装するときの作業位置を示している。
搬送コンベア11は基板PをX軸方向の上流側から作業位置Aに搬入し、作業位置Aで部品Eが実装された基板Pを下流側に搬出するものである。搬送コンベア11はX軸方向に循環駆動する一対のコンベアベルト11A及び11B、コンベアベルト11A及び11Bを駆動するコンベア駆動モータ44(図3参照)などを備えている。後側のコンベアベルト11Aは前後方向に移動可能であり、基板Pの幅に応じて2つのコンベアベルト11Aと11Bとの間隔を調整することができる。
2つのテープ部品供給装置12は搬送コンベア11の前側においてX軸方向に並んで配されている。テープ部品供給装置12は比較的小さな部品Eを供給するものであり、複数のフィーダ12Aが左右方向に横並び状に整列して取り付けられている。各フィーダ12Aは複数の部品Eが収容された部品テープ(不図示)が巻回されたリール(不図示)、及び、リールから部品テープを引き出す電動式の送出装置(不図示)等を備えており、搬送コンベア11側に位置する端部に設けられた部品供給位置から部品Eを一つずつ供給する。
2つのトレイ部品供給装置13は搬送コンベア11の後側においてX軸方向に並んで配されている。トレイ部品供給装置13は比較的大きな部品Eを供給するものであり、縦長の箱状の本体部13D、本体部13Dの内側に昇降可能に収容されており、複数のパレット13Aが格納されているマガジン(不図示)、マガジンを昇降させるマガジン昇降部(不図示)、本体部13Dから前側に延出するように設けられている略平板状の供給ステージ13C、パレット13Aを前後方向に搬送するパレット搬送部(不図示)などを備えている。各パレット13Aにはトレイ13Bが載置されている。トレイ13Bには部品Eが整列した状態で載置されており、図示しないパレット搬送部によってパレット13Aが供給ステージ13C上に引き出されることによって複数の部品Eが一括して供給される。
ヘッドユニット14は複数(ここでは5個)の実装ヘッド20を昇降可能に且つ軸周りに回転可能に支持するものである。ヘッドユニット14の構成については後述する。
ヘッド搬送部15はヘッドユニット14を所定の可動範囲内でX軸方向及びY軸方向に搬送するものである。ヘッド搬送部15はヘッドユニット14をX軸方向に往復移動可能に支持しているビーム21、ビーム21をY軸方向に往復移動可能に支持している一対のY軸ガイドレール22、ヘッドユニット14をX軸方向に往復移動させるX軸サーボモータ40、ビーム21をY軸方向に往復移動させるY軸サーボモータ41などを備えている。
2つの部品撮像カメラ16は実装ヘッド20に吸着されている部品Eを下から撮像するものである。前側の部品撮像カメラ16は搬送コンベア11の前側においてX軸方向に並んだ2つのテープ部品供給装置12の間に配されている。後側の部品撮像カメラ16は搬送コンベア11の後側においてX軸方向に並んだ2つのトレイ部品供給装置13の間に配されている。各部品撮像カメラ16は撮像センサ、部品Eに光を照射するLEDなどの光源、光源から出射されて部品Eによって反射された光を撮像センサの受光面に結像する光学系などを有しており、受光面が上を向く姿勢で配されている。
基板撮像カメラ17はヘッドユニット14に設けられている。基板撮像カメラ17は基板Pに付されているフィデューシャルマークを上方から撮像するためのものである。また、基板撮像カメラ17はテープ部品供給装置12やトレイ部品供給装置13によって供給される部品Eの撮像にも用いられる。基板撮像カメラ17の構成については後述する。
(1−1)ヘッドユニット及び基板撮像カメラ
次に、図2を参照して、ヘッドユニット14及び基板撮像カメラ17について説明する。実施形態1に係るヘッドユニット14は所謂インライン型であり、複数の実装ヘッド20がX軸方向に並んで設けられている。また、ヘッドユニット14にはこれらの実装ヘッド20を個別に昇降させるZ軸サーボモータ42(図3参照)やこれらの実装ヘッド20を一斉に軸周りに回転させるR軸サーボモータ43(図3参照)などが設けられている。
各実装ヘッド20は部品Eを吸着(保持の一例)及び解放するものであり、ノズルシャフト23と、ノズルシャフト23の下端に着脱可能に取り付けられている吸着ノズル24とを有している。吸着ノズル24にはノズルシャフト23を介して図示しない空気供給装置から負圧及び正圧が供給される。吸着ノズル24は負圧が供給されることによって部品Eを吸着し、正圧が供給されることによってその部品Eを解放する。
なお、ここではインライン型のヘッドユニット14を例に説明するが、ヘッドユニット14は例えば複数の実装ヘッド20が円周上に配列された所謂ロータリーヘッドであってもよい。
基板撮像カメラ17はヘッドユニット14の下端部に設けられている。基板撮像カメラ17は撮像センサ、被写体(フィデューシャルマークや部品E)に光を照射するLEDなどの光源、光源から出射されて被写体によって反射された光を撮像センサの受光面に結像する光学系などを有しており、受光面が斜め下を向く姿勢で配されている。
(1−2)表面実装機の電気的構成
次に、図3を参照して、表面実装機1の電気的構成について説明する。表面実装機1は制御部30及び操作部31を備えている。制御部30は演算処理部32、モータ制御部33、記憶部34、画像処理部35、外部入出力部36、通信部37などを備えている。
演算処理部32はCPU、ROM、RAMなどを備えており、ROMに記憶されている制御プログラムを実行することによって表面実装機1の各部を制御する。
モータ制御部33は演算処理部32の制御の下でX軸サーボモータ40、Y軸サーボモータ41、Z軸サーボモータ42、R軸サーボモータ43、コンベア駆動モータ44などの各モータを回転させる。
記憶部34には各種のデータが記憶されている。各種のデータには生産が予定されている基板Pの生産枚数や品種に関する情報、基板Pに実装される部品Eの数や種類に関する情報、各部品Eを基板Pに実装する実装位置に関する情報、それらの部品Eの実装順序に関する情報、部品Eの回転角度が0度のときにおける部品Eの外周形状を表す形状データ、後述する判定パラメータ等が含まれる。
画像処理部35は部品撮像カメラ16や基板撮像カメラ17から出力される画像信号が取り込まれるように構成されており、出力された画像信号に基づいてデジタル画像を生成する。
外部入出力部36はいわゆるインターフェースであり、表面実装機1の本体に設けられている各種センサ類45から出力される検出信号が取り込まれるように構成されている。また、外部入出力部36は演算処理部32から出力される制御信号に基づいて各種アクチュエータ類46に対する動作制御を行うように構成されている。
通信部37は制御部30がテープ部品供給装置12やトレイ部品供給装置13と通信するためのものである。
操作部31は液晶ディスプレイなどの表示装置や、タッチパネル、キーボード、マウスなどの入力装置を備えている。作業者は操作部31を操作して各種の設定などを行うことができる。
なお、制御部30はCPUに替えて、あるいはCPUに加えてASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などを備えていてもよい。
(2)部品の回転角度の判定
次に、図4及び図5を参照して、部品Eの回転角度の判定について説明する。ここでは部品EとしてPLCC(Plastic leaded chip carrier)、及び、SOP(Small Outline Package)を例に説明する。
図4において画像51Aは中心点S周りの回転角度θが0度(あるいはそれに近い角度)となるように載置されたPLCCを上方から撮像した画像である。なお、画像51AではPLCCが中心点S周りに回転しているが、便宜上、ここでは画像51Aに示すPLCCの角度を0度とする。
画像51B〜51Dは画像51Aを90度、180度、270度回転させることによって生成された画像である。以降の説明では画像51Aを0度画像、画像51Bを90度画像、画像51Cを180度画像、画像51Dを270度画像という。図4に示すように、PLCCは外周形状が略正方形であり、0度、90度、180度及び270度の4角度において外周形状が一致する。このため外周形状だけでは回転角度θを判定することができない。
図5において画像52Aは回転角度θが0度(あるいはそれに近い角度)となるように載置されたSOPを上方から撮像した画像である。SOPの外周形状は横長の長方形状であり、左右から同数のリードが延出している。図5に示すように、SOPは0度及び180度の2角度において外周形状が一致する。このため外周形状だけでは回転角度θを判定することができない。
しかしながら、これらの部品Eは回転角度θを判定可能な特徴部分を有している。例えば、図4に示すようにPLCCは一つだけ他のリード56よりも長いリード53を有している。画像51A〜51Dに示すように当該長いリードにおいて他のリード56より長い部分54の位置はPLCCの回転角度θによって異なる。このため、PLCCを撮像した画像上で当該部分54を検出することにより、PLCCの回転角度θを判定することができる。すなわち当該部分54はPLCCの回転角度θを判定可能な特徴部分である。
図5に示すSOPの場合は表面にマーク55が印刷などによって付されている。マーク55はSOPの回転角度θを判定可能な特徴部分である。
そこで、制御部30は基板Pへの部品Eの実装を開始する前に予め特徴部分に基づいて回転角度判定パラメータ91(図7参照、判定パラメータの一例)を設定し、基板Pに部品Eを実装するとき、回転角度判定パラメータ91を用いて部品Eの回転角度θを判定する。以下、具体的に説明する。
(2−1)回転角度判定パラメータ
ここでは先ず、図6を参照して、回転角度判定パラメータ91の設定に用いる円形の判定領域61(以下、検出円61という)について説明する。検出円61は0度画像上における特徴部分54の位置を示すものであり、特徴部分54に内接する円として設定される。なお、判定領域61の形状は円に限定されるものではなく、適宜に決定することができる。例えば判定領域61は特徴部分54に内接する四角形であってもよい。また、判定領域61は特徴部分54の内側に設定されればよく、必ずしも内接していなくてもよい。
次に、図7を参照して、回転角度判定パラメータ91について説明する。回転角度判定パラメータ91には「検出角度」、「検出円直径」、「検出円中心位置X」、「検出円中心位置Y」、「特徴部分の色」、及び、「最小濃度差」が含まれる。
「検出角度」は外周形状が形状データと一致する回転角度θの数である。具体的には、前述したように記憶部34には部品Eの回転角度θが0度のときにおける部品Eの外周形状を表す形状データが記憶されている。PLCCは0度、90度、180度及び270度の4角度において外周形状が形状データと一致するので「検出角度」に4が設定される。また、SOPは0度及び180度の2角度において外周形状が形状データと一致するので「検出角度」に2が設定される。
「検出円直径」は検出円61の直径であり、「検出円中心位置X」は検出円61の中心点のX座標、「検出円中心位置Y」は検出円61の中心点のY座標である。
ここで、画像51Aに示すように部品Eは0度画像上で少し回転してしまっている場合もある。このため、これらの座標は例えば0度画像上における部品Eの左上角を原点、部品Eの上辺をX軸、部品Eの左辺をY軸とするXY座標系で設定されるものとする。
「特徴部分の色」は特徴部分の色を示すものである。例えば図4に示す例では特徴部分54の色が白であるので白が設定される。これに対し、図8に示す例では上辺側、右辺側及び下辺側に他のリード56よりも長いリード53があり、左辺側には長いリード53がない。すなわち3つの位置に長いリード53があって1つの位置だけ長いリード53がない。この場合は長いリード53がない位置が特徴部分として認識される。このため特徴部分の色は黒となる。
「最小濃度差」は回転角度θの判定可否を判断する基準となる値である。図6に示すように、制御部30は0度画像において上述した検出円61内の画素の濃度の平均値を求めるとともに、0度画像上において検出円61を部品Eの中心点S周りに90度、180度、270度回転させ、各角度において検出円61内の画素の濃度の平均値を求める。そして、制御部30は最大の平均値と最小の平均値との差を「最小濃度差」として設定する。以下「最小濃度差」を設定する理由について説明する。
本来、各角度における平均値のうち最大の平均値と最小の平均値との差はある程度大きくなるはずであるが、何らかの理由によって差が小さくなってしまうこともあり得る。その場合は回転角度判定パラメータ91を設定しても信頼性が低下してしまう虞がある。このため、制御部30は最大の平均値と最小の平均値との差が「最小濃度差」以上であるか否かを判断し、「最小濃度差」以上の場合は回転角度θを判定可と判断する一方、「最小濃度差」未満の場合は判定不可と判断する。
(2−2)回転角度判定パラメータの設定処理
次に、図9を参照して、回転角度判定パラメータ91の設定処理について説明する。本処理はオペレータが設定対象の部品Eを所定の位置(例えばトレイ13B)に載置した後、操作部31を操作して回転角度判定パラメータ91の設定を指示すると開始される。ここで、オペレータは当該所定の位置に部品Eを載置するとき、回転角度θが0度(あるいはそれに近い角度)となるように載置するものとする。
S101では、制御部30は上述した所定の位置に載置されている部品Eを基板撮像カメラ17によって撮像して画像を生成する。以降の説明ではS101で生成した画像を0度画像という。
S102では、制御部30は0度画像を90度、180度、270度回転させることによって90度画像、180度画像及び270度画像を生成する。
S103では、制御部30は0度〜270度の各画像について部品Eの外周形状が形状データと一致するか否かを判断する。例えばPLCCは0度〜270度画像のいずれにおいても外周形状が形状データと一致するので外周形状が一致すると判断される。これに対し、SOPは0度及び180度画像では外周形状が一致するが、90度及び270度画像では外周形状が一致しないので一致しないと判断される。
ここで、部品Eは必ずしも完全に0度となるように載置されるとは限らないので、制御部30は0度画像における部品Eの回転角度θが0度となるように0度画像の回転角度θを補正してから形状データと比較してもよい。その場合は90度〜270度画像についても同じ角度補正するものとする。
制御部30は、いずれの画像においても形状データと一致する場合は外周形状だけでは回転角度θを判定できない部品E(言い換えると特徴部分を認識する必要がある部品E)であるとしてS106に進み、一致しない場合はS104に進む。
S104では、制御部30は0度及び180度の各画像について部品Eの外周形状が形状データと一致するか否かを判断する。例えばSOPは0度及び180度画像のいずれにおいても外周形状が形状データと一致するので外周形状が一致すると判断される。制御部30は、いずれの画像においても形状データと一致する場合は外周形状だけでは回転角度θを判定できない部品E(言い換えると特徴部分を認識する必要がある部品E)であるとしてS106に進み、一致しない場合はS105に進む。
S105では、制御部30はエラー処理を実行する。具体的には、制御部30は回転角度判定パラメータ91の設定を中止し、回転角度判定パラメータ91を設定できない旨のエラーメッセージを操作部31の表示装置に表示させる。
S106では、制御部30は次に説明する差画像を生成する。
図10を参照して、差画像について説明する。ここではPLCCを例に説明する。差画像65は0度〜270度の4つの画像を重ねた場合にそれら4つの画像全てにおいて濃度がほぼ一致する画素の濃度を0(黒)、それ以外の画素の濃度を255(白)としたものである。例えば0度画像においてPLCCの特徴部分を表している画素の濃度はそれら4つの画像を重ねた場合に90度〜270度画像の同じ位置にある画素の濃度と一致しない。このため、差画像65において0度画像の特徴部分に対応する画素は白となる。90度〜270度画像についても同様である。これに対し、特徴部分以外の画素の濃度は4つの画像においてほぼ一致するので黒となる。このため、図10に示すように差画像65は4つの画像から特徴部分を抽出した画像となる。
S107では、制御部30は差画像に基づいて0度画像上で特徴部分を認識する(認識処理の一例)。具体的には例えば、制御部30は0度画像上で輪郭追跡処理によって部品Eの輪郭を検出するとともに、差画像上で輪郭追跡処理によって特徴部分の輪郭を検出し、0度画像上で検出した部品Eの輪郭において差画像上で検出した輪郭と一致する部分を特徴部分として認識する。なお、特徴部分を認識する方法はこれに限られるものではなく、適宜の方法で認識することができる。
S108では、制御部30は0度画像上の特徴部分に基づいて回転角度判定パラメータ91を設定する(設定処理の一例)。回転角度判定パラメータ91の設定については前述した通りであるので説明は省略する。
S109では、制御部30は設定した回転角度判定パラメータ91を検証する(検証処理の一例)。具体的には、制御部30は0度〜270度画像の4画像(「検出角度」が2の場合は0度及び180度画像の2画像)についてS108で設定した回転角度判定パラメータ91を用いて部品Eの回転角度θを判定する。回転角度判定パラメータ91を用いた部品Eの回転角度θの判定の仕方についての説明は後述する。
制御部30はいずれの画像においても回転角度θを正しく判定できた場合は検証成功として本処理を終了し、少なくとも一つの画像で正しく判定できなかった場合は検証失敗としてS110に進む。
S110では、制御部30はエラー処理を実行する。具体的には、制御部30は回転角度判定パラメータ91の設定を中止し、回転角度判定パラメータ91を設定できなかった旨のエラーメッセージを操作部31の表示装置に表示させる。
(2−3)回転角度判定パラメータを用いた部品の回転角度の判定処理
次に、図11を参照して、回転角度判定パラメータ91を用いた部品の回転角度θの判定処理について説明する。ここではPLCCを例に説明する。制御部30はトレイ13Bに載置されている部品E(あるいは部品テープに収容されている部品E)を実装ヘッド20によって吸着して基板Pに実装するとき、実装ヘッド20によって吸着する前に基板撮像カメラ17によって部品Eを撮像して画像を生成する。本処理は当該画像が生成されると開始される。なお、前述したS109で実行される回転角度θの判定も本処理と同じ手順で実行される。
S201では、制御部30は回転角度判定パラメータ91の「検出円直径」、「検出円中心位置X」及び「検出円中心位置Y」に基づいて画像上に検出円61を設定する。
ここで、部品Eは回転していたり位置がずれていたりする状態で撮像される場合もある。このため、制御部30は例えば部品Eの左上角を原点、部品Eの上辺をX軸、部品Eの左辺をY軸とするXY座標系で検出円61を設定するものとする。
S202では、制御部30は設定した検出円61内の画素の濃度の平均値を求める。ここではその平均値のことを0度における平均値というものとする。
S203では、制御部30は画像上で部品Eの中心点周りに検出円61を90度、180度及び270度回転させ、各角度において検出円61内の画素の濃度の平均値を求める。
S204では、制御部は最大の平均値と最小の平均値との差を求める。
S205では、制御部30はS204で求めた差が「最小濃度差」以上であるか否かを判断し、「最小濃度差」以上の場合は回転角度θを判定可と判断する一方、「最小濃度差」未満の場合は判定不可と判断する。制御部30は判定可と判断した場合はS206に進み、判定不可と判断した場合はS207に進む。
S206では、制御部30は「特徴部分の色」が白である場合は最大の平均値に対応する角度を部品Eの回転角度θと判定し、「特徴部分の色」が黒である場合は最小の平均値に対応する角度を部品Eの回転角度θと判定する。
S207では、制御部30はエラー処理を実行する。具体的には、制御部30は回転角度θの判定を中止し、回転角度θを判定できない旨のエラーメッセージを操作部31の表示装置に表示させる。
(3)実施形態の効果
以上説明した実施形態1に係る設定装置2(部品撮像カメラ16、基板撮像カメラ17及び制御部30)によると、オペレータが手作業で回転角度判定パラメータ91を設定する場合に比べて設定に要する時間を短縮することができるので、回転角度判定パラメータ91を効率よく設定することができる。
また、設定装置2によると、オペレータが手作業で設定する場合に比べてオペレータの作業負担を軽減することができる。また、オペレータが手作業で設定する場合は設定ミスが懸念されるが、設定装置2によるとそのような設定ミスを低減できるので回転角度判定パラメータ91の信頼性を向上させることができる。また、従来は、回転角度θを正しく判定できる回転角度判定パラメータ91を手作業で設定するためにはスキルが必要であった。例えばオペレータは各パラメータの意味を理解して適切な値を設定する必要があった。このため回転角度判定パラメータ91を設定できるオペレータが限られていた。これに対し、設定装置2によると、スキルレスで回転角度判定パラメータ91を設定できるので、回転角度θを正しく判定できる回転角度判定パラメータ91をオペレータのスキルによらず設定することができる。
更に、設定装置2によると、設定した回転角度判定パラメータ91を検証するので(S109)、回転角度判定パラメータ91の信頼性を向上させることができる。
また、実施形態1に係る表面実装機1によると、オペレータが手作業で設定する場合に比べて回転角度判定パラメータ91を効率よく設定することができる。
<実施形態2>
次に、実施形態2を図12ないし図15によって説明する。前述した実施形態1では部品Eの姿勢として部品Eの回転角度θを判定する。これに対し、実施形態2では部品Eの姿勢として部品Eの表と裏を判定する。
先ず、図12を参照して、実施形態2に係る部品Eの例について説明する。部品Eは2端子部品であり、部品本体70Aと電極70Bとを有している。部品本体70Aの色はグレーであり、表面に「A」という白い文字が印字されている。
図12に示す部品Eの場合、部品Eの裏面を撮像した画像71(以下「裏面画像」という)と表面を撮像した画像72(以下「表面画像」という)との差画像を生成すると図13に示す差画像76が生成され、特徴部分75が認識される。図13に示すように特徴部分75には「A」という文字が含まれる。その場合、図12に示すように表面画像72上に「A」という文字に外接する矩形の判定領域73を設定したとすると、判定領域73内にはグレーを表す画素と白を表す画素とが混在する。
これに対し、裏面画像71上の同じ位置に上述した判定領域73を設定すると、判定領域73内の画素の色はほぼグレーであるので、表面画像72に比べて判定領域73内の画素の濃度のバラツキが小さくなる。このため、画素の濃度のバラツキから部品Eの表と裏を判定することができる。すなわち、特徴部分75に基づいて表と裏を判定することができる。
なお、便宜上、ここでは「A」という文字に外接する矩形の判定領域73を設定する場合を例に説明したが、図13に示すように、特徴部分75には「A」という文字以外の部分(具体的には表面画像72において「A」という文字の左側にある縦長の白い領域74や、裏面画像において電極70Bのうち部品本体70Aの内側に入り込んでいる部分)も含まれる。判定領域73はこれらも含めた特徴部分75全体に外接する矩形の領域として設定される。ただし、判定領域73は必ずしも特徴部分75全体に外接するように設定される必要はなく、図12に示すように特徴部分75の一部(例えば「A」という文字)のみを囲む領域として設定されてもよい。
(1)表裏判定パラメータ
次に、図14を参照して、表裏判定パラメータ92(判定パラメータの一例)について説明する。表裏判定パラメータ92には「分散閾値」、「NG判定条件」、「判定領域サイズX」、「判定領域サイズY」、「判定領域オフセットX」、「判定領域オフセットY」及び「判定領域オフセット有効/無効」が含まれる。
「分散閾値」は表と裏を判定する基準となる値であり、表面画像72の判定領域73内の画素の濃度の分散と裏面画像71の判定領域73内の画素の濃度の分散との中間値が設定される。なお、「分散」は中間値に限定されるものではなく、適宜に設定することができる。また、ここでは画素の濃度のバラツキの指標として分散を用いるが、バラツキの指標は標準偏差であってもよいし、判定領域73内の最大の濃度と最小の濃度との差であってもよい。
「NG判定条件」は「分散閾値」に設定されている値より大きい場合に表と判定するか小さい場合に表と判定するかを示すものである。例えば表面の分散の方が裏面の分散より大きい場合に表と判定する場合は「NG判定条件」に「大」が設定され、表面の分散の方が裏面の分散より小さい場合に表と判定する場合は「小」が設定される。
「判定領域サイズX」、「判定領域サイズY」、「判定領域オフセットX」、「判定領域オフセットY」はそれぞれ判定領域73のX方向の幅、Y方向の幅、部品Eの中心位置に対する判定領域73の中心位置のX方向のずれ幅(オフセット)、部品Eの中心位置に対する判定領域73の中心位置のY方向のずれ幅(オフセット)である。
「判定領域オフセット有効/無効」は上述した「判定領域オフセットX」及び「判定領域オフセットY」が有効であるか無効であるかを示すものである。部品Eの中心位置を判定領域73の中心位置とする場合は「判定領域オフセット有効/無効」に無効が設定される。部品Eの中心位置を判定領域73の中心位置とするか否かは適宜に決定することができる。
(2)表裏判定パラメータの設定処理
次に、図15を参照して、表裏判定パラメータ92の設定処理について説明する。本処理はオペレータが所定の位置に設定対象の部品Eを載置した後に操作部31を操作して表裏判定パラメータ92の設定を指示すると開始される。
S301では、制御部30は上述した所定の位置に載置されている部品Eを基板撮像カメラ17によって上方から撮像することによって表面画像を生成する。
S302では、制御部30は実装ヘッド20によって部品Eを吸着し、実装ヘッド20によって吸着されている部品Eを部品撮像カメラ16によって下方から撮像することによって裏面画像を生成する。
S303では、制御部30は電極の色を基準としてソフトゲイン補正を行うことにより、各画像の画素の濃淡をチューニングする(補正処理の一例)。以下、具体的に説明する。
基板撮像カメラ17と部品撮像カメラ16とは撮像センサの感度の違いや光源の輝度の違いなどによって同じ被写体を撮像しても画素の濃淡(色味というこももできる)が異なってしまうことがある。画素の濃淡が異なると表裏判定パラメータ92を精度よく設定できない虞がある。
このため、制御部30は表面画像において電極70Bを表している画素の濃度の平均値と裏面画像において電極70Bを表している画素の濃度の平均値との差の絶対値を補正値とし、例えば表面画像において電極70Bを表している画素の濃度の平均値が、裏面画像において電極70Bを表している画素の濃度の平均値より大きい場合は、裏面画像の各画素に補正値を加算する(あるいは表面画像の各画素から補正値を減算する)。逆に、表面画像において電極を表している画素の濃度の平均値が、裏面画像において電極を表している画素の濃度の平均値より小さい場合は、裏面画像の各画素から補正値を減算する(あるいは表面画像の各画素に補正値を加算する)。これにより電極の色を基準として画素の濃淡を合わせることができる。
S304では、制御部30は表面画像と裏面画像との差画像を生成する。
S305では、制御部30は差画像に基づいて特徴部分を認識する(認識処理の一例)。
S306では、制御部30は表裏判定パラメータ92を設定する(設定処理の一例)。表裏判定パラメータ92の設定については前述した通りであるので説明は省略する。
S308では、制御部30は設定した表裏判定パラメータ92を検証する(検証処理の一例)。具体的には、制御部30は表面画像及び裏面画像についてS306で設定した表裏判定パラメータ92を用いて部品Eの表と裏を判定し、全ての画像において表と裏を正しく判定できた場合は検証成功として本処理を終了し、少なくとも一つの画像で正しく判定できなかった場合は検証失敗としてS309に進む。
S309では、制御部30はエラー処理を実行する。具体的には、制御部30は表裏判定パラメータ92の設定を中止し、表裏判定パラメータ92を設定できなかった旨のエラーメッセージを操作部31の表示装置に表示させる。
(4)実施形態の効果
以上説明した実施形態2に係る設定装置2によると、部品Eの表と裏を判定可能な判定パラメータを設定することができる。
更に、設定装置2によると、電極の色を基準としてソフトゲイン補正を行うので、表面画像と裏面画像とで画素の濃淡が異なることによって表裏判定パラメータ92の精度が低下してしまうことを抑制できる。
更に、実施形態2に係る表面実装機によると、実装ヘッド20によって部品Eを吸着し、吸着されている部品Eを部品撮像カメラ16によって下方から撮像する。従来は部品撮像カメラ16によって部品Eの裏面を撮像するためにオペレータが手作業で実装ヘッド20に部品Eを吸着させていた。言い換えるとオペレータが実装ヘッド20に部品Eを手付けしていた。このためオペレータにとって手間であった。特に極小部品Eは実装ヘッド20に吸着させることが困難であるためオペレータにとって大きな手間であった。これに対し、表面実装機によると、オペレータは実装ヘッド20に部品Eを吸着させる作業を行わなくてよいのでオペレータの手間を軽減することができる。
また、部品Eを手作業で実装ヘッド20に吸着させる場合は適切に吸着されたか否かをオペレータが確認する必要があったため時間を要していたが、表面実装機によるとそのような時間が不要になるので設定に要する時間をより短縮することができる。
<実施形態3>
次に、実施形態3を図16ないし図17によって説明する。実施形態3は部品Eの表と裏を判定する別の例である。
先ず、図16を参照して、実施形態3に係る部品Eの例について説明する。部品Eはチップ抵抗であり、部品本体80Aと電極80Bとを有している。部品本体80Aは裏面が白であり、表面が黒である。
図16に示す部品Eの場合、表面画像82と裏面画像81との差画像を生成して特徴部分を認識すると、部品本体80Aを表している部分(表面画像82の黒い部分)が特徴部分として認識される。その場合、例えば表面画像82の特徴部分の任意の位置に円形の判定領域84を設定したとすると、判定領域84内の画素87の濃度はほぼ黒(0)であるので画素87の濃度の分散は小さくなる。また、裏面画像の同じ位置に上述した判定領域84を設定したとすると、判定領域84内の画素86の濃度はほぼ白(255)であるので画素86の濃度の分散は小さくなる。このため、部品Eの場合は画素の濃度の分散から表と裏を判定することはできない。
しかしながら、部品Eの場合は表面画像における判定領域84内の画素87の濃度がほぼ0(黒)であり、裏面画像における判定領域84内の画素86の濃度がほぼ255(白)であるので、画素86,87の濃度の平均値を比較することによって表と裏を判定することができる。すなわち、特徴部分に基づいて表と裏を判定することができる。
(1)表裏判定パラメータ
ここでは先ず、図16を参照して、実施形態3に係る表裏判定パラメータ(判定パラメータの一例)の設定に用いる円形の判定領域84(以下「検出円」という)について説明する。検出円84は部品Eの中心位置を中心点として特徴部分内に収まる円として設定される。なお、判定領域84の形状は円に限定されるものではなく、適宜に決定することができる。例えば判定領域84は特徴部分内に収まる四角形であってもよい。
次に、図17を参照して、表裏判定パラメータ93について説明する。表裏判定パラメータ93には「濃度閾値」、「検出円直径」及び「特徴部分の色」が含まれる。
「濃度閾値」は表と裏を判定する基準となる値であり、表面画像82の検出円84内の濃度の平均値と裏面画像81の検出円84内の濃度の平均値との中間値が設定される。なお、「濃度閾値」は中間値に限定されるものではなく、適宜に設定することができる。
「検出円直径」は検出円84の直径である。検出円84の直径は検出円84が特徴部分内に収まる範囲で適宜に決定することができる。ただし、直径が小さいと画素の数が少なくなるので判定の信頼性が低下してしまう虞がある。このため直径はある程度大きいことが望ましい。
「特徴部分の色」は表面画像82における特徴部分の色を示すものである。例えば「特徴部分の色」が黒である場合は、表面画像82の画素の濃度の平均値が「濃度閾値」未満の場合に表と判定され、「濃度閾値」以上の場合に裏と判定される。逆に、「特徴部分の色」が白である場合は、表面画像82の画素の濃度の平均値が「濃度閾値」以上の場合に表と判定され、「濃度閾値」未満の場合に裏と判定される。なお、「特徴部分の色」は裏面画像81における特徴部分の色であってもよい。
実施形態3はその他の点において実施形態2と実質的に同一である。
<他の実施形態>
本明細書によって開示される技術は上記記述及び図面によって説明した実施形態に限定されるものではなく、例えば次のような実施形態も本明細書によって開示される技術的範囲に含まれる。
(1)上記実施形態1では回転角度判定パラメータとして「検出角度」、「検出円直径」、「検出円中心位置X」、「検出円中心位置Y」、「特徴部分の色」、及び、「最小濃度差」が含まれる回転角度判定パラメータ91を例に説明した。しかしながら、回転角度判定パラメータは部品Eの回転角度θを判定できるものであればこれに限られない。例えばこれら6つのパラメータのうち不要なパラメータは含まれなくてもよい。また、例えば円ではなく矩形の判定領域61を設定する場合は「検出円直径」に替えて「判定領域サイズX」や「判定領域サイズY」が設定されてもよい。
(2)上記実施形態では部品EとしてPLCCやSOPを例に説明したが、部品Eはこれらに限定されるものではない。
(3)上記実施形態では設定装置として表面実装機の基板撮像カメラ17、部品撮像カメラ16及び制御部30を例に説明したが、設定装置は表面実装機とは別の装置として構成されてもよい。
(4)上記実施形態では設定した判定パラメータを検証する場合を例に説明したが、検証は必ずしも行われなくてもよい。
(5)上記実施形態では吸着ノズル24によって部品Eを吸着することによって部品Eを保持する場合を例に説明したが、部品Eの保持はこれに限られるものではなく、例えば所謂チャックを用いて部品Eを挟むことによって保持してもよい。
1…表面実装機、12…テープ部品供給装置(部品供給装置)、13…トレイ部品供給装置(部品供給装置)、14…ヘッドユニット(実装部の一例)、15…ヘッド搬送部、実装部の一例)、16…部品撮像カメラ(撮像部、第2の撮像部の一例)、17…基板撮像カメラ(撮像部、第1の撮像部の一例)、30…制御部、32A…認識処理、32B…設定処理、51A…画像(回転前の画像の一例)、51B〜51D…画像(回転後の画像の一例)、52A…画像(回転前の画像の一例)、52B…画像(回転後の画像の一例)、54…特徴部分、55…特徴部分、65…差画像、70B…電極、71…裏面画像、72…表面画像、80B…電極、81…裏面画像、82…表面画像、E…部品、P…基板、S…部品の中心点、91…回転角度判定パラメータ、92,93…表裏判定パラメータ、θ…回転角度

Claims (6)

  1. 姿勢を判定可能な特徴部分を有する部品を撮像して画像を生成する撮像部と、
    前記画像上で前記特徴部分を認識する認識処理、及び、前記認識処理で認識した前記特徴部分に基づいて、前記姿勢を判定するための判定パラメータを設定する設定処理を実行する制御部と、
    を備え
    前記姿勢は前記部品の中心点周りの回転角度であり、
    前記制御部は、前記認識処理において、前記画像を回転させ、回転前の前記画像と回転後の前記画像との差画像に基づいて前記特徴部分を認識する、設定装置。
  2. 姿勢を判定可能な特徴部分を有する部品を撮像して画像を生成する撮像部と、
    前記画像上で前記特徴部分を認識する認識処理、及び、前記認識処理で認識した前記特徴部分に基づいて、前記姿勢を判定するための判定パラメータを設定する設定処理を実行する制御部と、
    を備え、
    前記姿勢は前記部品の表と裏を含み、
    前記撮像部は、
    前記部品の表面を撮像して表面画像を生成する第1の撮像部と、
    前記部品の裏面を撮像して裏面画像を生成する第2の撮像部と、
    を有し、
    前記制御部は、前記認識処理において、前記表面画像と前記裏面画像との差画像に基づいて前記特徴部分を認識し、
    前記部品は表及び裏に電極を有しており、
    前記制御部は、前記認識処理の前に、前記表面画像において前記電極を表している画素の濃度と前記裏面画像において前記電極を表している画素の濃度とに基づいて前記表面画像及び前記裏面画像の少なくとも一方の画素の濃度を補正する補正処理を実行する、設定装置。
  3. 請求項1又は請求項2に記載の設定装置であって、
    前記制御部は、前記設定処理の後、各前記画像上で前記判定パラメータを用いて姿勢を判定することによって前記判定パラメータを検証する検証処理を実行する、設定装置。
  4. 請求項1乃至請求項3のいずれか一項に記載の設定装置と、
    部品供給装置によって供給される前記部品を保持して基板に実装する実装部と、
    を備える表面実装機。
  5. 請求項4に記載の表面実装機であって、
    前記制御部は、前記実装部によって前記部品を保持し、前記実装部によって保持されている前記部品を前記撮像部によって撮像する、表面実装機。
  6. 表面実装機であって、
    部品供給装置によって供給される部品を保持して基板に実装するヘッドユニットと、
    前記ヘッドユニットを前記基板の板面に平行な方向に搬送するヘッド搬送部と、
    前記ヘッドユニットに設けられており、前記基板を撮像して画像を生成する基板撮像カメラと、
    前記ヘッドユニットに保持されている前記部品を下から撮像して画像を生成する部品撮像カメラと、
    制御部と、
    を備え、
    前記制御部は、
    表裏を判定可能な特徴部分を有する部品であって所定の位置に載置されている前記部品を前記基板撮像カメラによって上方から撮像することによって表面画像を生成する第1の撮像処理と、
    前記ヘッドユニットに保持されている前記部品を前記部品撮像カメラによって下方から撮像することによって裏面画像を生成する第2の撮像処理と、
    前記表面画像と前記裏面画像との差画像に基づいて前記特徴部分を認識する認識処理と、
    前記認識処理で認識した前記特徴部分に基づいて、前記部品の表裏を判定するための判定パラメータを設定する設定処理と、
    を実行する、表面実装機。
JP2017192593A 2017-10-02 2017-10-02 設定装置、及び、表面実装機 Active JP6974101B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017192593A JP6974101B2 (ja) 2017-10-02 2017-10-02 設定装置、及び、表面実装機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017192593A JP6974101B2 (ja) 2017-10-02 2017-10-02 設定装置、及び、表面実装機

Publications (2)

Publication Number Publication Date
JP2019067943A JP2019067943A (ja) 2019-04-25
JP6974101B2 true JP6974101B2 (ja) 2021-12-01

Family

ID=66338466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017192593A Active JP6974101B2 (ja) 2017-10-02 2017-10-02 設定装置、及び、表面実装機

Country Status (1)

Country Link
JP (1) JP6974101B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021166211A1 (ja) * 2020-02-21 2021-08-26 株式会社Fuji 部品装着機
JP7797853B2 (ja) * 2021-12-13 2026-01-14 コニカミノルタ株式会社 判定領域決定方法、プログラム及び部品供給装置

Also Published As

Publication number Publication date
JP2019067943A (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
US20220092330A1 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
WO2016203638A1 (ja) 部品実装装置および部品実装方法
JP6828223B2 (ja) 実装装置
JP6571116B2 (ja) 検査支援装置
JPWO2014106892A1 (ja) 部品実装機及び部品実装方法
JP6974101B2 (ja) 設定装置、及び、表面実装機
JPWO2016174763A1 (ja) 部品検査機及び部品装着機
CN105848462B (zh) 部件安装装置及部件安装方法
JP6475165B2 (ja) 実装装置
US20190029153A1 (en) Mounting device and imaging processing method
JPWO2020021657A1 (ja) 表面実装機
JP2019036015A (ja) 表面実装機
JP7735218B2 (ja) 表面実装機
JP7050926B2 (ja) 異物検出方法および電子部品装着装置
JP7285194B2 (ja) 部品実装機、部品認識方法
JP2018098404A (ja) 判定装置、及び、表面実装機
KR102375465B1 (ko) 카메라 모듈 실장 장치
JP2023061160A (ja) 部品実装装置
WO2019030875A1 (ja) 画像処理システムおよび部品実装機
JP6896859B2 (ja) 撮像装置、表面実装機及び検査装置
US11219150B2 (en) Work machine and method for determining polarity
JP6621639B2 (ja) 基板用の画像処理装置
KR101231188B1 (ko) 부품실장기의 부품인식장치 및 이의 부품 위치보정방법
WO2019207730A1 (ja) 部品実装装置および検査方法
WO2018055663A1 (ja) 撮像装置及び実装装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211104

R150 Certificate of patent or registration of utility model

Ref document number: 6974101

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250