Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6950331B2 - 検査装置および検査方法 - Google Patents
[go: Go Back, main page]

JP6950331B2 - 検査装置および検査方法 - Google Patents

検査装置および検査方法 Download PDF

Info

Publication number
JP6950331B2
JP6950331B2 JP2017146363A JP2017146363A JP6950331B2 JP 6950331 B2 JP6950331 B2 JP 6950331B2 JP 2017146363 A JP2017146363 A JP 2017146363A JP 2017146363 A JP2017146363 A JP 2017146363A JP 6950331 B2 JP6950331 B2 JP 6950331B2
Authority
JP
Japan
Prior art keywords
imaging
unit
foreign matter
brightness
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017146363A
Other languages
English (en)
Other versions
JP2019027878A (ja
Inventor
哲夫 有田
哲夫 有田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidec Powertrain Systems Corp
Original Assignee
Nidec Tosok Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidec Tosok Corp filed Critical Nidec Tosok Corp
Priority to JP2017146363A priority Critical patent/JP6950331B2/ja
Publication of JP2019027878A publication Critical patent/JP2019027878A/ja
Application granted granted Critical
Publication of JP6950331B2 publication Critical patent/JP6950331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、検査装置および検査方法に関する。
特開2016−99149号公報には、容器の内面に付着した異物を検査する検査装置が開示されている。当該公報の容器の内面は、励起光の照射によって蛍光を発光しない材料で構成されている。当該公報に記載の検査装置は、容器の内面に対して光を照射し、撮像部で撮像する。容器に付着した異物が、有機物等の蛍光を発光する材料で構成されている場合には、励起光が照射されると発光するため、撮像部で撮像することで、異物を検出することができる。
特開2016−99149号公報
特開2016−99149号公報に記載の検査装置では、容器の内面が発光しない材料を前提としている。容器の材料によっては、容器の内面でも発光する場合がある。このような場合、光を照射しつつ撮像すると、当該公報の検査装置では、撮像結果に異物が含まれているか否かを検出することが困難である。
このような問題を鑑みて、本発明の目的は、異物の有無を検査する物体表面の蛍光特性に関係なく、異物検査を行える異物検査装置および異物検査方法を提供することである。
上記課題を解決するため、本発明は、物体表面の異物の有無を検査する検査装置であって、物体表面を撮像する撮像部と、前記撮像部に隣接配置され、前記撮像部の撮像領域に向けて光を照射する発光部と、異物がない状態の前記物体表面の撮像データ情報を記憶する記憶部と、前記記憶部に記憶された撮像データ情報と、前記撮像部により得られる撮像データとの比較結果から、異物の有無を判定する判定部と、を備える。
本発明によれば、異物の有無の判定をする物体表面で蛍光特性に関係なく、異物検査を行える、検査装置および検査方法を提供することにある。
図1は、実施形態1に係る検査装置を示す図である。 図2は、検査装置が備える撮像部および発光部を軸方向の下側から視た図である。 図3は、検査装置の電気的構成を示す図である。 図4は、処理部が実行する処理のフローチャートである。 図5は、オイルがない状態のオイルパンの底面の撮像結果を示す図である。 図6は、オイルがある状態のオイルパンの底面の撮像結果を示す図である。 図7は、処理部が実行する処理のフローチャートである。
以下、本願の実施形態について、図面を参照しながら説明する。本願では、検査装置が備える撮像部であるカメラの光軸と平行な方向を「軸方向」、軸方向に直交する方向を「径方向」、軸方向を中心とする円弧に沿う方向を「周方向」、と称する。また、本願では、軸方向を上下方向とし、発光部は軸方向の上側から下側に向かって、光を照射するものとして説明する。また、本願において「直交」とは、略直交も含む。
本願の検査装置は、物体表面を撮像し、撮像結果から物体表面の異物の有無を検査する装置である。以下に説明する実施形態では、クリーニング後のオイルパンの底面を、「物体表面」の一例とし、オイルを「異物」の一例として説明する。オイルパンは、クリーニングによりオイルが除去されるが、底面にオイルが残存する場合がある。検査装置は、オイルパンの底面を撮像し、底面にオイルが残存しているか否かを検査する。
<1.実施形態1>
<1.1.検査装置の構成>
図1は、実施形態1に係る検査装置100を示す図である。図1は、検査装置100を使用している状態を示す。図2は、検査装置100が備える撮像部10および発光部20を軸方向の下側から視た図である。図3は、検査装置100の電気的構成を示す図である。
検査装置100は、撮像部10と、発光部20と、移動機構30(図1では図示省略)と、制御部40とを備える。
撮像部10は、例えば、CCDカメラである。撮像部10は、オイルパン110の底面(底部の上面)を撮像する。撮像部10は、カメラの光軸が、オイルパン110の底面に直交する姿勢で保持される。
発光部20は、複数のLED21を有する。複数のLED21は、図2に示すように、円環状に配列される。そして、複数のLED21は、撮像部10の径方向外側に配置され、撮像部10を囲む。複数のLED21は、光の照射方向を、撮像部10の光軸方向と一致させて配置される。つまり、複数のLED21からの照射光は、オイルパン110の底面に直交する。これにより、撮像部10の撮像領域の周囲は、発光部20により照射される。
発光部20からの光は、オイルパン110の底面に直交する。このため、オイルパン110の底面での反射光の拡散が抑制される。特に、発光部20からの光は、拡散が小さいLED21からの光である。このため、撮像領域から離れた領域が照射され、不要な反射光が発生することを抑制できる。これにより、拡散光、または、不要な反射光により、撮像部10による撮像結果に不要な情報が含まれることを防止できる。また、円環状に配列したLED21の中央部に撮像部10を配置するため、スペースを有効活用でき、装置の大型化を抑制できる。
移動機構30は、撮像部10および発光部20と、オイルパン110とを、オイルパン110の底面に沿う方向に、相対移動させる。これにより、撮像部10は、オイルパン110の底面全体にわたって、撮像することができる。また、発光部20は、撮像部10の撮像領域が移動しても、撮像部10の撮像領域の周囲に光を照射できる。
移動機構30は、少なくとも撮像部10を、軸方向の上下に移動する。これにより、撮像部10と、オイルパン110の底面との間の撮像距離の調整が可能となる。そして、撮像部10による撮像結果の精度は向上する。
制御部40は、例えば、コンピュータである。制御部40は、撮像部10、発光部20および移動機構30それぞれと、有線または無線で電気的に接続され、各部を動作制御する。制御部40は、CPU等の処理部41と、ハードディスクドライブ等の記憶部42と、を有する。記憶部42には、動作制御プログラムPおよびデータDが記憶される。
データDには、撮像データ情報が含まれる。撮像データ情報は、オイルパン110の底面にオイル111(図1参照)がある場合の撮像データと、オイル111がない場合の撮像データとから決定された輝度基準値である。撮像データ情報は、オイル111の有無を判定する処理を行う前に、予め記憶部42に記憶される。
処理部41は、記憶部42に記憶された動作制御プログラムPおよびデータDを呼び出し、実行する。これにより、移動機構30を駆動して、撮像部10および発光部20の移動、撮像部10による撮像、発光部20による発光、オイルパン110の底面におけるオイルの有無の判定、などを行う。なお、処理部41は、電子回路により構成されてもよい。処理部41は、本発明の「判定部」の一例である。
<1.2.検査装置での処理>
図4は、処理部41が実行する処理のフローチャートである。なお、図4のステップS1〜S3は、オイル111の有無を判定する判定処理を行うための前段階の処理を示す。
処理部41は撮像距離を調整させる(ステップS1)。処理部41は、移動機構30を駆動し、オイルパン110の底面に対して、撮像部10を、軸方向の上下に移動させる。これにより、撮像距離が調整され、撮像部10の焦点の調整または撮像領域の調整を行える。そして、撮像部10による撮像結果の精度は向上する。
処理部41は輝度基準値を設定する(ステップS2)。詳しくは、処理部41は、撮像部10により、オイル111がない状態のオイルパン110の底面と、オイル111がある状態のオイルパン110の底面とをそれぞれ撮像する。
図5は、オイル111がない状態のオイルパン110の底面の撮像結果を示す図である。図6は、オイル111がある状態のオイルパン110の底面の撮像結果を示す図である。
オイル111がない状態では、発光部20からの光は、オイルパン110の底面で拡散する。このため、オイルパン110から撮像部10への反射光の輝度は低い。一方、オイル111がある状態では、発光部20からの光はオイル111で反射するため、オイルパン110から撮像部10への反射光の輝度は高い。なお、発光部20からの光は、LED21からの光である。LED21の光は拡散が小さい。このため、撮像領域から外れた領域が照射されること抑制できる。その結果、不要な反射光が発生し、撮像データに不要な情報が含まれることを防止できる。
次に、処理部41は、オイル111がない状態の撮像データにおける輝度値のうち、最も輝度が高い輝度値を取得する。ここで、処理部41は、撮像データの画素毎に輝度値を検出し、検出した輝度値を二次元配列で格納する。そして、処理部41は、二次元配列された輝度値の中から最も高い輝度値を取得する。同様に、処理部41は、オイル111がある状態の撮像データにおける輝度値のうち、最も輝度が高い輝度値を取得する。そして、処理部41は、取得した2つの輝度値の平均値を算出し、算出した結果を、輝度基準値として設定する。
処理部41は、設定した輝度基準値を、記憶部42に記憶する(ステップS3)。ただし、平均値を輝度基準値とする方法は一例である。例えば、輝度基準値は、異物がない場合の撮像データにおける輝度値のうち、最も輝度が高い輝度値と、異物がある場合の撮像データにおける輝度値のうち、最も輝度が高い輝度値と、補正係数と、から算出した値を、輝度基準値としてもよい。補正係数は、例えば、経験則、装置の特性または実験結果などから得られる値である。
なお、ステップS2において、処理部41は、オイルパン110の底面の一部のみを撮像して、輝度基準値を設定してもよいし、オイルパン110の底面全体を撮像して、輝度基準値を設定してもよい。オイルパン110の底面全体を撮像する場合、撮像部10は、オイルパン110の底面全体を、複数の領域に区分けして、撮像する。そして、区分毎に輝度基準値を設定してもよいし、全区分の輝度基準値の平均値を、輝度基準値に設定してもよい。
処理部41は、オイルパン110の底面のオイル111の有無を判定する判定処理を開始する。まず、処理部41は撮像領域を調整する(ステップS4)。つまり、処理部41は、移動機構30を駆動して、撮像部10および発光部20と、オイルパン110とを、オイルパン110の底面に沿う方向に、相対移動させる。このとき、最初にオイルパン110の底面を撮像する場合、例えば、オイルパン110の底面の角部を原点とし、原点に撮像領域を位置調整する。
処理部41は、発光部20により撮像領域周囲に光を照射しつつ、撮像部10により撮像する(ステップS5)。次に、処理部41は、撮像して得られた撮像データにおける輝度値のうち、最も輝度が高い輝度値と、記憶部42に記憶した輝度基準値とを比較する(ステップS6)。
処理部41は、ステップS6の比較結果から、オイルパン110の底面にオイル111があるか否かを判定する(ステップS7)。撮像して得られた撮像データの輝度値が輝度基準値より大きい場合、処理部41は、オイルパン110の底面にオイル111があると判定する。一方、撮像して得られた撮像データの輝度値が輝度基準値より小さい場合、処理部41は、オイルパン110の底面にオイル111はないと判定する。
オイル111がないと判定する場合(ステップS7:NO)、処理部41は、オイルパン110全体を撮像したか否かを判定する(ステップS8)。オイルパン110全体を撮像していない場合(ステップS8:NO)、処理部41は、ステップS4の処理を実行する。2度目以降にオイルパン110の底面を撮像する場合、例えば、原点に設定したオイルパン110の底面の角部から、底面の辺に沿って、撮像領域を順次移動し、オイルパン110の底面全体を撮像する。
ステップS7で、オイルパン110の底面にオイル111があると判定した場合(ステップS7:YES)、または、ステップS8で、オイルパン110全体を撮像したと判定した場合(ステップS8:YES)、処理部41は、オイル判定の結果を出力する(ステップS9)。オイル判定の結果を出力する方法は、特に限定されない。例えば、表示装置に出力し、または、光を点滅させて、視覚的に報知してもよいし、音を出力して聴覚的に報知してもよい。
このように、検査装置100は、オイル111がない状態の撮像データとの比較により、オイル111の有無を判定する。このため、オイルパン110の底面の蛍光特性に関係なく、オイル111の残存検査を行える。また、発光部20に、照射光の拡散が小さいLED21を用いることで、撮像領域から外れた領域が照射されること抑制できる。その結果、不要な反射光が発生し、撮像データに不要な情報が含まれることを防止できる。
<2.実施形態2>
実施形態2では、オイル111の有無の判定処理が、実施形態1と相違する。以下、相違点についてのみ、説明する。検査装置100の構成は、実施形態1と同じであるため、その説明は省略する。
図7は、処理部41が実行する処理のフローチャートである。
処理部41は、オイル111なしの状態のオイルパン110の底面を撮像させる(ステップS11)。処理部41は、得られた撮像データを記憶部42に記憶する(ステップS12)。
処理部41は、オイルパン110の底面のオイル111の有無を判定する判定処理を開始する。まず、処理部41は、撮像領域を調整する(ステップS13)。つまり、処理部41は、移動機構30を駆動して、撮像部10および発光部20と、オイルパン110とを、オイルパン110の底面に沿う方向に、相対移動させる。
処理部41は、発光部20により撮像領域周囲に光を照射しつつ、撮像部10により撮像させる(ステップS14)。次に、処理部41は、撮像して得られた撮像データの輝度分布と、記憶部42に記憶した撮像データの輝度分布と、を比較する(ステップS15)。詳しくは、処理部41は、オイル111がない状態の撮像データから得られた二次元配列された輝度値と、オイル111がある状態の撮像データから得られた二次元配列された輝度値とのうち、同じ座標同士の輝度値を比較する。同じ座標同士の輝度値の差分が、閾値より小さいと、処理部41は、類似度が高いと判定する。一方、同じ座標同士の輝度値の差分が、閾値より大きいと、処理部41は、類似度が低いと判定する。
なお、処理部41は、輝度分布の比較を行う前に、撮像データの輝度値をフィルタリングする前処理を行い、比較する2つの撮像データの差が明確となるようにしてもよい。前処理は、例えば、ある範囲にある輝度値を一様な輝度値にし、または、所定の規則によって輝度値を増減させる処理である。この前処理を行うことで、撮像データ内のノイズを除去でき、輝度値の検出精度が向上する。
処理部41は、ステップS15の比較結果から、オイルパン110の底面にオイルがあるか否かを判定する(ステップS16)。例えば、処理部41は、2つの撮像データの輝度分布の類似度を算出し、類似度が閾値を超えるか否かにより、オイル111の有無の判定を行う。類似度が閾値を超える場合には、処理部41は、オイル111があると判定する。また、類似度が閾値を超えない場合には、処理部41は、オイル111がないと判定する。
オイル111がないと判定する場合(ステップS16:NO)、処理部41は、オイルパン110全体を撮像したか否かを判定する(ステップS17)。オイルパン110全体を撮像していない場合(ステップS17:NO)、処理部41は、ステップS13の処理を実行する。
ステップS16で、オイルパン110の底面にオイル111があると判定した場合(ステップS16:YES)、または、ステップS17で、オイルパン110全体を撮像したと判定した場合(ステップS17:YES)、処理部41は、オイル判定の結果を出力する(ステップS18)。
このように、撮像して得られた撮像データと、記憶した、オイル111がない状態の撮像データとの輝度分布の類似度から、オイル111の有無の判定を行うため、オイルパン110の底面の蛍光特性に関係なく、オイル111の残存検査を行える。
以上、実施形態1および実施形態2について説明したが、上述の実施形態に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。
本願は、検査装置および検査方法に利用できる。
10 :撮像部
20 :発光部
21 :LED
30 :移動機構
40 :制御部
41 :処理部
42 :記憶部
100 :検査装置
110 :オイルパン
111 :オイル
D :データ
P :動作制御プログラム

Claims (10)

  1. 物体表面の異物の有無を検査する検査装置であって、
    物体表面を撮像する撮像部と、
    前記撮像部に隣接配置され、前記撮像部の撮像領域に向けて光を照射する発光部と、
    異物がない状態の前記物体表面および異物がある状態の前記物体表面の撮像データ情報を記憶する記憶部と、
    前記記憶部に記憶された撮像データ情報の輝度分布と、前記撮像部により得られる撮像データの輝度分布との類似度を比較した結果によって、異物の有無を判定する判定部と、
    を備える、検査装置。
  2. 物体表面の異物の有無を検査する検査装置であって、
    物体表面を撮像する撮像部と、
    前記撮像部に隣接配置され、前記撮像部の撮像領域に向けて光を照射する発光部と、
    異物がない状態の前記物体表面の撮像データの輝度値および異物がある状態の前記物体表面の撮像データの輝度値を記憶する記憶部と、
    前記記憶部に記憶された異物がない場合の撮像データにおける輝度値のうち、最も輝度が高い輝度値と、異物がある場合の撮像データにおける輝度値のうち、最も輝度が高い輝度値とから算出される輝度基準値と、前記撮像部により得られる撮像データの輝度値との比較結果から、異物の有無を判定する判定部と、
    を備える、検査装置。
  3. 請求項2に記載の検査装置であって、
    前記判定部は、異物がない場合の撮像データにおける輝度値のうち、最も輝度が高い輝度値と、異物がある場合の撮像データにおける輝度値のうち、最も輝度が高い輝度値とから平均値を算出し、前記平均値を輝度基準値とする、
    検査装置。
  4. 請求項1から請求項までのいずれか一つに記載の検査装置であって、
    前記発光部は、
    前記物体表面の法線方向に沿って光を照射する、
    検査装置。
  5. 請求項1から請求項までのいずれか一つに記載の検査装置であって、
    前記発光部は、複数のLEDを有する、
    検査装置。
  6. 請求項に記載の検査装置であって、
    前記複数のLEDは、
    照射方向に沿った軸を中心に周方向に配置され、前記撮像部を囲んでいる、
    検査装置。
  7. 請求項1から請求項までのいずれか一つに記載の検査装置であって、
    前記撮像部および前記発光部と、前記物体とを、前記物体表面に沿う方向に相対移動させる移動機構をさらに備える、
    検査装置。
  8. 請求項に記載の検査装置であって、
    前記移動機構は、
    前記撮像部と、軸前記物体表面との距離を調整する、
    検査装置。
  9. 物体表面の異物の有無を検査する検査方法であって、
    a)物体表面を撮像部により撮像する工程と、
    b)前記撮像部に隣接配置された発光部から、前記撮像部の撮像領域に向けて光を照射する工程と、
    c)記憶部に記憶された、異物がない状態および異物がある状態の前記物体表面の撮像データ情報の輝度分布と、前記撮像部により得られる撮像データ
    輝度分布との類似度を比較した結果によって、異物の有無を判定する工程と、
    を備える、検査方法。
  10. 物体表面の異物の有無を検査する検査方法であって、
    a)物体表面を撮像部により撮像する工程と、
    b)前記撮像部に隣接配置された発光部から、前記撮像部の撮像領域に向けて光を照射する工程と、
    c)記憶部に記憶された、異物がない状態の前記物体表面の撮像データにおける輝度値のうち、最も輝度が高い輝度値と、異物がある状態の前記物体表面の撮像データにおける輝度値のうち、最も輝度が高い輝度値とから算出される輝度基準値と、前記撮像部により得られる撮像データの輝度値との比較結果から、異物の有無を判定する工程と、
    を備える、検査方法。
JP2017146363A 2017-07-28 2017-07-28 検査装置および検査方法 Active JP6950331B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017146363A JP6950331B2 (ja) 2017-07-28 2017-07-28 検査装置および検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017146363A JP6950331B2 (ja) 2017-07-28 2017-07-28 検査装置および検査方法

Publications (2)

Publication Number Publication Date
JP2019027878A JP2019027878A (ja) 2019-02-21
JP6950331B2 true JP6950331B2 (ja) 2021-10-13

Family

ID=65478188

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017146363A Active JP6950331B2 (ja) 2017-07-28 2017-07-28 検査装置および検査方法

Country Status (1)

Country Link
JP (1) JP6950331B2 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3669775B2 (ja) * 1996-07-18 2005-07-13 沖電気工業株式会社 異物検査装置および異物検査方法
JP4760029B2 (ja) * 2005-01-31 2011-08-31 アイシン精機株式会社 欠陥検査方法および欠陥検査装置
JP2007248241A (ja) * 2006-03-15 2007-09-27 Omron Corp 表面状態の検査方法および表面状態検査装置
KR100755372B1 (ko) * 2006-08-25 2007-09-04 삼성전자주식회사 웨이퍼 검사방법
JP5654882B2 (ja) * 2011-01-25 2015-01-14 スタンレー電気株式会社 リード端子の異物検査装置
JP5817384B2 (ja) * 2011-09-22 2015-11-18 ダックエンジニアリング株式会社 箱体の品質検査装置
JP6211798B2 (ja) * 2013-05-17 2017-10-11 富士機械製造株式会社 基板上の異物検査方法および異物検査装置
JP6317892B2 (ja) * 2013-06-06 2018-04-25 株式会社ブリヂストン 外観検査装置及び外観検査方法

Also Published As

Publication number Publication date
JP2019027878A (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
JP6303352B2 (ja) 外観検査システム
KR102308437B1 (ko) 대상체의 외부의 검사를 최적화하기 위한 장치 및 그 방법
JP4870807B2 (ja) エッジ検出方法及び画像処理装置
US20190058823A1 (en) Method of flicker reduction
CN113506236B (zh) 检查装置以及焊接装置
CN102332085A (zh) 图像处理装置、图像处理方法、程序和电子设备
JP6647903B2 (ja) 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6526514B2 (ja) 検査装置、方法及びプログラム
JP6950331B2 (ja) 検査装置および検査方法
JP6746744B1 (ja) 検査装置及び検査方法
US11513082B2 (en) Foreign substance inspection apparatus and foreign substance inspection method
JP7112181B2 (ja) 画像処理方法および画像処理装置
CN111050088B (zh) 对检测管芯缺陷的相机的成像亮度进行校准的机制
US11599990B2 (en) Deterioration determination method and deterioration determination device for industrial x-ray imaging apparatus
JP2008003063A (ja) シェーディング補正方法、欠陥検出方法、欠陥検出装置、欠陥検出装置の制御方法プログラム
KR20150024122A (ko) 차량용 부품 표면 검사 방법
CN109931881B (zh) 图像处理系统、计算机可读记录介质及图像处理方法
JP2010244537A (ja) イメージ歪曲補正方法
JP2003028633A (ja) 形状検査装置
JP2004286708A (ja) 欠陥検出装置、方法及びプログラム
JP7007413B2 (ja) 照明器の制御
JP2005308441A (ja) ネックリング検査装置及びネックリング検査方法
US10880486B2 (en) Image pickup apparatus and control method thereof
JP5272821B2 (ja) 放射線撮像装置
JP2025109507A (ja) 外観検査装置及び外観検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200630

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210721

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210806

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210906

R150 Certificate of patent or registration of utility model

Ref document number: 6950331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250