JP6236687B2 - 時系列フィルタ処理による架線類検測装置 - Google Patents
時系列フィルタ処理による架線類検測装置 Download PDFInfo
- Publication number
- JP6236687B2 JP6236687B2 JP2013232759A JP2013232759A JP6236687B2 JP 6236687 B2 JP6236687 B2 JP 6236687B2 JP 2013232759 A JP2013232759 A JP 2013232759A JP 2013232759 A JP2013232759 A JP 2013232759A JP 6236687 B2 JP6236687 B2 JP 6236687B2
- Authority
- JP
- Japan
- Prior art keywords
- overhead
- line
- width
- likelihood
- particle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007689 inspection Methods 0.000 title claims description 48
- 238000012545 processing Methods 0.000 title claims description 17
- 239000002245 particle Substances 0.000 claims description 149
- 230000007704 transition Effects 0.000 claims description 52
- 238000006073 displacement reaction Methods 0.000 claims description 36
- 238000012952 Resampling Methods 0.000 claims description 34
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000005259 measurement Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 7
- 239000000725 suspension Substances 0.000 description 42
- 238000000034 method Methods 0.000 description 41
- 238000009826 distribution Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000000342 Monte Carlo simulation Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000005295 random walk Methods 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 241001669679 Eleotris Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
先ず、図1上段は横軸が状態、縦軸が確率を示す確率密度分布である。本手法では状態は場合によって変わるが(架線の偏位・摩耗の開始位置・摩耗の幅×架線の本数)、どれも多次元になるため、ここでは簡単のため1次元の概念図にして説明している(例えば架線偏位における確率を表す関数とみなせる)。図1上段左は、状態(架線位置、摩耗幅など)の確率密度分布が一様分布であり、図1上段中央は、事後分布に状態遷移モデルをかけて状態の分布を算出している。
ここではモンテカルロ法(連続関数の積分値を求める代わりに離散化した値の積和で近似する手法)を用いて離散化している。要は確率密度分布において高い値を示す箇所では密に離散化を、低い箇所では疎に離散化を行う。
図1下段では、図1中段で得られた離散化した粒子に対して、尤もらしいどうかの評価を行う。これには観測データ(例えば架線偏位の情報が観測されたデータ)を用いる。ここで粒子が尤もらしければ高い値を、尤もらしくなければ低い値を与える。これを尤度という。観測データにより尤度が算出される(事後分布)。
これが左→中→右と矢印で示すように、時刻とともに変わる観測データに合わせて変わっていく様子を示したのが図1である。実際には右で終わるのではなく、時刻分この処理が行われる。これを図中で「繰り返し」と説明している。
上記課題を解決する本発明の請求項4に係る架線類検測装置は、請求項2又は3において、前記架線類は、渡り線を含むことを特徴とする。
(2) 過去に計測した架線類、即ち、単一の架線、複数架線、架線・吊架線、架線・吊架線・渡り線情報を状態遷移方程式として利用した単一の架線・吊架線・渡り線検測が可能である。
(3) 確率論にもとづく予測を用いた架線類、即ち、単一の架線、複数架線、架線・吊架線、架線・吊架線・渡り線検測が可能である。
(4) 複数のカメラを用いた架線・吊架線・渡り線検測の高精度化と架線・吊架線・渡り線の高さ計測が可能である。
そこで、まず、本発明では特許文献1,2,3同様、電車上面よりカメラで架線を撮影する際に光を投光することを考える。
光を投光することにより、架線の摩耗面が光を反射し、それを計測することで高精度な架線検測の実現を目指す。
まず、「架線領域および摩耗領域は前ラインの偏位から大幅に変化しない」という特徴があることから、非特許文献1の追跡に有効な時系列フィルタであるパーティクルフィルタを用いて架線の偏位・摩耗を推定する。
時系列情報を用いた予測には状態遷移確率が導入できるため、上記の特徴に加えて過去の計測によって既知となっている情報を確率モデルとして使用できる(図1)。
このサンプリング点をパーティクルと呼ぶ。各パーティクルがどれだけ最適解として尤もらしいかを尤度計算によって求めている。
この際尤度関数をどのように設定するかが非常に重要となる。
また、架線の形状は大幅には変化が無いことが分かっていることから、偏位情報は前ライン情報を用いて次ラインのおおまかな偏位が推測できる。
具体的には現状では2つのケースと手法を考えている。
前述した図1の説明では、「モンテカルロ法」、「パーティクル」という単語を使用した。これらの方法を用いて時系列データを処理する時系列フィルタの事を「パーティクルフィルタ」もしくは「モンテカルロフィルタ」と言う。
全く同じ概念のものであるが、近年ではパーティクルフィルタと呼ばれる事が多い手法である。そのため本発明でもパーティクルフィルタと呼んでいる。参考文献ではモンテカルロフィルタと呼んでいたため、同様のものであると説明を加えたが、全く同一の概念である。ちなみに本発明では「重点サンプリング」という方法を事前分布を得るために用いる。
雲が上空に30%ある状態を「晴れ」と説明するのが決定論、「30%の雲がある晴れ」と説明するのが確率論である。○×だけでなくその程度も考慮する事ができるのが確率論的アプローチの優位性である。
どこか1時刻でも間違っていた場合や何かしらの理由で架線が撮像できなかった場合、連続性が途切れてしまい、誤認識する事になる。
前述の決定論的手法だとある1箇所を架線として判定するが、確率論的手法だと複数箇所の(本発明で言えば各パーティクルの)尤もらしさを用いるので、ある1点の結果に左右されない判定を行うことができる。
本発明の目的は、時系列フィルタを用いた画像処理により架線の偏位・架線幅・摩耗幅を高精度に計測する架線類検測装置を提供することである。
本実施例に係る架線類検測装置は、図3に示すように、画像入力部10、記憶部20、パーティクル初期化部30、尤度計算部40、リサンプリング部50、状態遷移部60、より構成する。
記憶部20では、画像データ、パーティクルデータ、状態遷移確率などの種々のパラメータデータを保管する。
尤度計算部40では、尤度関数に基づき、各パーティクルのパラメータと画像データを用いて尤度を計算し、各パーティクルに与えられた尤度を記憶部20に保管する。
状態遷移部60は、リサンプリングしたパーティクルのパラメータを状態遷移モデルに基づいて変化させ新たなパーティクルを作成し、記憶部20で保管する。作成した新たなパーティクルによれば、確率論として、架線偏位・架線幅・摩耗幅を高精度に計測したことになる。
この一様分布をパーティクル初期化部30によりランダムな値をもつパーティクルで表現し、各パーティクルに対して画像データを用いて尤度計算部40により尤度を計算し、リサンプリング部50により事後分布を作成するというのが本実施例の手順である。
また、「時系列フィルタを用いた画像処理」は、尤度計算を行う際に観測データ(画像データ)を用いる部分にある。
先ず、ラインセンサにより時系列的に撮像された1ラインの画像データを画像入力部10により入力する(ステップS1)。
次に、各パラメータ(架線偏位、架線幅、摩耗幅)に設定した範囲・密度でランダムな値をもつパーティクルをパーティクル初期化部30で用意する(ステップS2)。
引き続き、尤度関数に基づき、各パーティクルのパラメータと前ラインの画像データを用いて、各パーティクルの尤度を尤度計算部40により計算する(ステップS3)。
(1) 前時刻の画像情報を使用した予測による架線検測が可能である。
(2) 過去に計測した架線情報を状態遷移方程式として利用した架線検測が可能である。
(3) 確率論に基づく予測を用いた架線検測が可能である。
本発明の目的は、時系列フィルタを用いた画像処理により複数架線の偏位・架線幅・摩耗幅を高精度に計測する架線類検測装置を提供することである。
実施例1では架線偏位、架線幅、摩耗幅を同時に求めるため、各パーティクルは3次元のパラメータを保持していたが、架線が複数になる事でこのパラメータを変更する必要がある。
尤度は、実施例1で用いたものを全架線の本数分に対応をさせることで尤度計算を実現する。
そのため、本実施例に係る架線類検測装置は、図3に示すように、画像入力部10、記憶部20、パーティクル初期化部30、尤度計算部40、リサンプリング部50、状態遷移部60、より構成する。
記憶部20では、画像データ、パーティクルデータ、状態遷移確率などの種々のパラメータデータを保管する。
尤度計算部40では、尤度関数に基づき、各パーティクルのパラメータと画像データを用いて尤度を計算し、各パーティクルに与えられた尤度を記憶部20に保管する。
リサンプリングしたパーティクルは記憶部20で保管し、リサンプリングに使用したパーティクルは消去する。
先ず、ラインセンサにより時系列的に撮像された1ラインの画像データを画像入力部10により入力する(ステップS1)。
次に、各パラメータ(複数架線の偏位・架線幅・摩耗幅)に設定した範囲・密度でランダムな値をもつパーティクルをパーティクル初期化部30で用意する(ステップS2)。
そして、尤度に基づいてリサンプリング処理をリサンプリング部50により行い、リサンプリング後のパーティクルに状態遷移モデルを用いることで状態遷移部60により新たなパーティクルを作成する(ステップS4)。
(1) 前時刻の画像情報を使用した予測による複数架線検測が可能である。
(2) 過去に計測した複数架線情報を状態遷移方程式として利用した複数架線検測が可能である。
(3) 確率論にもとづく予測を用いた複数架線検測が可能である。
本発明の目的は、時系列フィルタを用いた画像処理により複数架線の偏位・摩耗幅及び吊架線の偏位を高精度に計測する架線・吊架線類検測装置を提供することである。
尤度は、実施例2で用いたものに、背景よりも吊架線の画素値が低い傾向があることを考慮した尤度関数を加えて、尤度計算を実現する。つまり、尤度関数は、背景と吊架線の画素値の差にも基づく。
そのため、本実施例に係る架線類検測装置は、図3に示すように、画像入力部10、記憶部20、パーティクル初期化部30、尤度計算部40、リサンプリング部50、状態遷移部60、より構成する。
記憶部20では、画像データ、パーティクルデータ、状態遷移確率などの種々のパラメータデータを保管する。
リサンプリング部50では、尤度に基づき、尤度の高いパーティクルが高い確率で選ばれるようにしたリサンプリングを行う。
状態遷移部60は、リサンプリングしたパーティクルのパラメータを状態遷移モデルに基づいて変化させ新たなパーティクルを作成し、記憶部20で保管する。作成した新たなパーティクルによれば、確率論として、複数架線の偏位・架線幅・摩耗幅及び吊架線の幅・偏位を高精度に計測したことになる。
先ず、ラインセンサにより時系列的に撮像された1ラインの画像データを画像入力部10により入力する(ステップS1)。
次に、各パラメータ(架線偏位や複数本ある架線の距離、架線本数分の架線幅、架線本数分の摩耗幅、本数分の吊架線の偏位、本数分の吊架線の幅)に設定した範囲・密度でランダムな値をもつパーティクルをパーティクル初期化部30で用意する(ステップS2)。
そして、尤度に基づいてリサンプリング処理をリサンプリング部50により行い、リサンプリング後のパーティクルに状態遷移モデルを用いることで状態遷移部60により新たなパーティクルを作成する(ステップS4)。
(1) 前時刻の画像情報を使用した予測による架線・吊架線検測が可能。
(2) 過去に計測した架線・吊架線情報を状態遷移方程式として利用した架線・吊架線検測が可能。
(3) 確率論にもとづく予測を用いた架線・吊架線検測が可能。
本発明の目的は、時系列フィルタを用いた画像処理により複数架線の偏位・摩耗幅・吊架線及び渡り線の偏位を高精度に計測する架線・吊架線・渡り線検測装置を提供することである。
パーティクルのパラメータは実施例3同様、架線1本につき3パラメータと、吊架線1本につき吊架線偏位(架線からの相対距離)、吊架線幅の2パラメータ、さらに渡り線偏位、渡り線幅の2パラメータを加えたものとなる。なお、吊架線及び渡り線は、パンタグラフと非接触の為、摩耗しない。そのため、吊架線及び渡り線には、摩耗幅は存在しない。
尤度は、実施例3で用いたものに、背景よりも渡り線の画素値が低い傾向があることを考慮した尤度関数を加えて、尤度計算を実現する。つまり、尤度関数は、背景と渡り線の画素値の差にも基づく。
そのため、本実施例に係る架線類検測装置は、図3に示すように、画像入力部10、記憶部20、パーティクル初期化部30、尤度計算部40、リサンプリング部50、状態遷移部60、より構成する。
記憶部20では、画像データ、パーティクルデータ、状態遷移確率などの種々のパラメータデータを保管する。
尤度計算部40では、尤度関数に基づき、各パーティクルのパラメータと画像データを用いて尤度を計算し、各パーティクルに与えられた尤度を記憶部20に保管する。
リサンプリングしたパーティクルは記憶部20で保管し、リサンプリングに使用したパーティクルは消去する。
状態遷移部60は、リサンプリングしたパーティクルのパラメータを状態遷移モデルに基づいて変化させ新たなパーティクルを作成し、記憶部20で保管する。作成した新たなパーティクルによれば、確率論として、複数架線の偏位・架線幅・摩耗幅、吊架線の幅・偏位架線偏位及び渡り線の偏位・幅を高精度に計測したことになる。
先ず、ラインセンサにより時系列的に撮像された1ラインの画像データを画像入力部10により入力する(ステップS1)。
次に、各パラメータ(架線偏位や複数本ある架線の距離、架線本数分の架線幅、架線本数分の摩耗幅、本数分の吊架線の偏位、本数分の吊架線の幅、渡り線の偏位、渡り線の幅)に設定した範囲・密度でランダムな値をもつパーティクルをパーティクル初期化部30で用意する(ステップS2)。
そして、尤度に基づいてリサンプリング処理をリサンプリング部50により行い、リサンプリング後のパーティクルに状態遷移モデルを用いることで状態遷移部60により新たなパーティクルを作成する(ステップS4)。
(1) 前時刻の画像情報を使用した予測による架線・吊架線・渡り線検測が可能である。
(2) 過去に計測した架線・吊架線・渡り線情報を状態遷移方程式として利用した架線・吊架線・渡り線検測が可能である。
(3) 確率論にもとづく予測を用いた架線・吊架線・渡り線検測が可能である。
本発明の目的は、複数(2つ若しくはそれ以上)のラインセンサカメラと時系列フィルタを用いた画像処理により複数架線の偏位・摩耗幅・吊架線・渡り線およびそれぞれの高さを高精度に計測する架線・吊架線・渡り線検測装置を提供することである。
パーティクルのパラメータは実施例4のパラメータのカメラ台数分となる。
尤度は、実施例4で用いたものをカメラ台数分用いる。
そのため、本実施例に係る架線類検測装置は、図3に示すように、画像入力部10、記憶部20、パーティクル初期化部30、尤度計算部40、リサンプリング部50、状態遷移部60、より構成する。
記憶部20では、画像データ、パーティクルデータ、状態遷移確率などの種々のパラメータデータを保管する。
リサンプリング部50では、尤度に基づき、尤度の高いパーティクルが高い確率で選ばれるようにしたリサンプリングを行う。
リサンプリングしたパーティクルは記憶部20で保管し、リサンプリングに使用したパーティクルは消去する。
先ず、複数のラインセンサカメラにより時系列的に撮像された1ラインの画像データ×カメラの台数分を画像入力部10により入力する(ステップT1)。
次に、カメラの台数分の各パラメータ(複数架線の偏位・摩耗幅・吊架線・渡り線およびそれぞれの高さ)に設定した範囲・密度でランダムな値をもつパーティクルをパーティクル初期化部30で用意する(ステップT2)。
そして、尤度に基づいてリサンプリング処理をリサンプリング部50により行い、リサンプリング後のパーティクルに状態遷移モデルを用いることで状態遷移部60により新たなパーティクルを作成する(ステップT4)。
(1) 前時刻の画像情報を使用した予測による架線・吊架線・渡り線検測が可能である。
(2) 過去に計測した架線・吊架線・渡り線情報を状態遷移方程式として利用した架線・吊架線・渡り線検測が可能である。
(3) 確率論にもとづく予測を用いた架線・吊架線・渡り線検測が可能。
(4) 複数のカメラを用いた架線・吊架線・渡り線検測の高精度化と架線・吊架線・渡り線の高さ計測が可能である。
20 記憶部
30 パーティクル初期化部
40 尤度計算部
50 リサンプリング部
60 状態遷移部
Claims (6)
- 確率論的時系列フィルタを用いた画像データ処理により電車上の架線類を高精度に計測する架線類検測装置において、
前記電車上面に配置されたラインセンサにより時系列に撮影された前記架線類の偏位・幅・摩耗幅を含む画像データを入力する画像入力部と、
前記架線類の偏位・幅・摩耗幅のランダムなパラメータを持つパーティクルを用意するパーティクル初期化部と、
前記パーティクル初期化部により用意された前記パーティクル及び前記画像入力部で入力された前時刻の前記画像データを使用して尤度関数に基づき尤度値を計算する尤度計算部と、
前記尤度計算部で計算された尤度値に基づき、尤度値の高いパーティクルが高い確率で選ばれるようにしたリサンプリングを行うリサンプリング部と、
前記リサンプリング部でリサンプリングした前記パーティクルのパラメータを状態遷移モデルに基づいて変化させて新たなパーティクルを作成する状態遷移部と、から構成することを特徴とする架線類検測装置。 - 前記架線類は、単一又は複数の架線であることを特徴とする請求項1記載の架線類検測装置。
- 前記架線類は、吊架線を含むことを特徴とする請求項2記載の架線類検測装置。
- 前記架線類は、渡り線を含むことを特徴とする請求項2又は3記載の架線類検測装置。
- 前記ラインセンサは、複数であり、前記架線類の高さをも計測し、また、前記パーティクル初期化部は、前記架線類の高さもパラメータに含むことを特徴とする請求項1記載の架線類検測装置。
- 前記尤度関数は、前記架線類の摩耗領域前後の画素値の差分の絶対値と、前記架線類の摩耗領域の平均画素値から前記架線類領域の平均画素値を減算した場合の差分値と、前時刻の前記架線類の偏位・幅・摩耗幅と現時刻の前記架線類の偏位・幅・摩耗幅の差とに基づくことを特徴とする請求項1記載の架線類検測装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013232759A JP6236687B2 (ja) | 2013-11-11 | 2013-11-11 | 時系列フィルタ処理による架線類検測装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013232759A JP6236687B2 (ja) | 2013-11-11 | 2013-11-11 | 時系列フィルタ処理による架線類検測装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015094612A JP2015094612A (ja) | 2015-05-18 |
| JP6236687B2 true JP6236687B2 (ja) | 2017-11-29 |
Family
ID=53197112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013232759A Expired - Fee Related JP6236687B2 (ja) | 2013-11-11 | 2013-11-11 | 時系列フィルタ処理による架線類検測装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6236687B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7196806B2 (ja) * | 2019-09-30 | 2022-12-27 | 株式会社明電舎 | トロリ線検測装置及びトロリ線検測方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5245445B2 (ja) * | 2008-02-15 | 2013-07-24 | 株式会社明電舎 | 渡り線測定装置 |
| JP5380000B2 (ja) * | 2008-05-13 | 2013-12-25 | 西日本旅客鉄道株式会社 | トロリ線摩耗量測定方法および測定システム |
| JP4730404B2 (ja) * | 2008-07-08 | 2011-07-20 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP5494286B2 (ja) * | 2010-06-25 | 2014-05-14 | 株式会社明電舎 | 架線位置測定装置 |
| JP5776378B2 (ja) * | 2011-06-30 | 2015-09-09 | 株式会社明電舎 | 画像処理による渡り線測定装置 |
-
2013
- 2013-11-11 JP JP2013232759A patent/JP6236687B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015094612A (ja) | 2015-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11823330B2 (en) | Detection device, detection method and detection program for linear structure | |
| JP6767642B2 (ja) | 測定装置および測定方法 | |
| JP5293815B2 (ja) | 画像処理装置、画像処理方法、及び画像処理用プログラム | |
| US10371510B2 (en) | Structure status determination device, status determination system, and status determination method | |
| CN102203552B (zh) | 视差计算方法和视差计算装置 | |
| US10190992B2 (en) | Structure status determination device, status determination system, and status determination method | |
| JP6572411B2 (ja) | レール検出装置 | |
| JP5861318B2 (ja) | トロリ線データ比較装置 | |
| JP4429298B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
| JP6699323B2 (ja) | 電車設備の三次元計測装置及び三次元計測方法 | |
| JP6225362B2 (ja) | 電車の自己位置推定装置 | |
| JP5846140B2 (ja) | 情報処理装置、及びプログラム | |
| KR101280392B1 (ko) | Slam 기술 기반 이동 로봇의 지도를 관리하기 위한 장치 및 그 방법 | |
| JP6236687B2 (ja) | 時系列フィルタ処理による架線類検測装置 | |
| JP7226494B2 (ja) | 架線摩耗検出方法 | |
| KR102580056B1 (ko) | 유동 벡터 가설의 타당성 검사 방법 및 그 장치 | |
| JP4935769B2 (ja) | 平面領域推定装置及びプログラム | |
| KR101208647B1 (ko) | 도로상의 장애 물체 검출 방법 및 장치 | |
| JP6488478B2 (ja) | 架線類検測装置 | |
| JP6236688B2 (ja) | 時系列フィルタ処理による架線類検測装置 | |
| JP2011090708A (ja) | 対象個数検出装置および対象個数検出方法 | |
| JP2012248004A (ja) | 画像処理装置、画像認識装置及び方法 | |
| JP4674920B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
| CN116958099A (zh) | 线缆磨耗检测方法、系统、装置与计算机设备 | |
| JP6815793B2 (ja) | 矩形領域検出方法、矩形領域検出装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161104 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170825 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170926 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170926 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171009 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6236687 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |