JP6413898B2 - 歩行者判定装置 - Google Patents
歩行者判定装置 Download PDFInfo
- Publication number
- JP6413898B2 JP6413898B2 JP2015075826A JP2015075826A JP6413898B2 JP 6413898 B2 JP6413898 B2 JP 6413898B2 JP 2015075826 A JP2015075826 A JP 2015075826A JP 2015075826 A JP2015075826 A JP 2015075826A JP 6413898 B2 JP6413898 B2 JP 6413898B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- likelihood
- pedestrian
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/411—Identification of targets based on measurements of radar reflectivity
- G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T7/00—Brake-action initiating means
- B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
- B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
- B60T8/17—Using electrical or electronic regulation means to control braking
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
- B60T2201/02—Active or adaptive cruise control system; Distance control
- B60T2201/022—Collision avoidance systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
- B60T2210/00—Detection or estimation of road or environment conditions; Detection or estimation of road shapes
- B60T2210/30—Environment conditions or position therewithin
- B60T2210/32—Vehicle surroundings
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/30—Sensors
- B60Y2400/301—Sensors for position or displacement
- B60Y2400/3015—Optical cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2400/00—Special features of vehicle units
- B60Y2400/30—Sensors
- B60Y2400/301—Sensors for position or displacement
- B60Y2400/3017—Radars
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/93185—Controlling the brakes
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Electromagnetism (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
<第1の実施形態>
1.制御ECU1等の構成
制御ECU1と、それに関連する構成とを図1に基づき説明する。制御ECU1は歩行者判定装置の一例である。制御ECU1は車両に搭載される車載装置である。以下では、制御ECU1を搭載する車両を自車両とする。制御ECU1は、CPU、RAM、ROM等を備える公知のコンピュータである。制御ECU1は、ROMに記憶したプログラムにより、後述する処理を実行する。
画像センサ23は、自車両の前方(進行方向)の風景を所定の周期ごとに撮影し、画像データを生成する。ミリ波レーダ25は、周波数変調されたミリ波帯のレーダ波を送受信することにより、自車両前方の物標(例えば、他の車両、歩行者、路側物、障害物等)を検出する。また、ミリ波レーダ25は、自車両から物標までの距離、自車両を基準とする物標の方位、及び自車両を基準とする物標の相対速度を取得可能である。
制御ECU1が所定時間ごとに繰り返し実行する処理を図2〜図5に基づき説明する。図2のステップ1では、物標検出ユニット3が、ミリ波レーダ25を用いて、自車両の前方に存在する物標を検出する。また、自車両から物標までの距離、自車両を基準とする物標の方位、及び自車両を基準とする物標の相対速度を取得する。
ステップ5では、画像認識ユニット11が、前記ステップ4で取得した画像において、周知の画像認識技術により、物標を認識する。物標の認識は、物標の種類ごとに予め用意された辞書とのマッチングにより行われる。辞書には、歩行者用の辞書、車両用の辞書、路側物用の辞書等がある。
ステップ15では、ブレーキ実行条件設定ユニット21が、第1のブレーキ実行条件を設定する。この第1のブレーキ実行条件とは、前記ステップ1で検出した物標がその条件を充足していれば、ブレーキECU27に対し、自動ブレーキの実行指示を出力するというものである。第1のブレーキ実行条件は、例えば、衝突余裕時間(TTC)、自車両から物標までの距離、自車両を基準とする物標の方位等に関する条件とすることができる。第1のブレーキ実行条件は、物標が自車両の前方を横断する歩行者である場合に好適な条件である。例えば、第1のブレーキ実行条件は、後述する第2のブレーキ実行条件よりも、充足しにくい条件とすることができる。
3.制御ECU1が奏する効果
(1A)制御ECU1は、一定間隔で配列されている物標群の一部である物標については、配列尤度を小さくする。そのことにより、道路に沿って一定間隔で設けられたポール等を、自車両の前方を横断する歩行者と判定してしまうことを抑制できる。
物標の横方向での移動速度が前記範囲内であることは、自車両の前方を横断する歩行者に対応する事象である。よって、制御ECU1は、移動速度尤度を上記のように算出することで、物標が自車両の前方を横断する歩行者であるか否かを一層精度よく判定できる。
物標の横方向での移動量が前記範囲内であることは、自車両の前方を横断する歩行者に対応する事象である。よって、制御ECU1は、移動量尤度を上記のように算出することで、物標が自車両の前方を横断する歩行者であるか否かを一層精度よく判定できる。
<その他の実施形態>
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
(2)制御ECU1は、乗算以外の方法で、総合尤度を算出してもよい。例えば、上述した6つの歩行者である尤度の全部又は一部を加算して、総合尤度を算出してもよい。また、適宜設定した数式に、上述した6つの歩行者である尤度の全部又は一部を代入して、総合尤度を算出してもよい。
(4)制御ECU1は、ミリ波レーダ25により検出した物標が一定間隔で配列されている物標群の一部であるか否かを、画像センサ23により取得した画像から判断してもよい。
Claims (5)
- レーダ(25)を用いて物標を検出する物標検出ユニット(3)と、
前記物標検出ユニットが検出した物標について、自車両の前方を横断する歩行者である尤度を算出する歩行者らしさ算出ユニット(5)と、
前記尤度が予め設定された閾値以上である場合、前記物標を前記歩行者と判定する歩行者判定ユニット(7)と、
自車両前方の画像を取得する画像取得ユニット(9)と、
前記画像において物標を認識する画像認識ユニット(11)と、
前記画像認識ユニットで認識した物標のうち、前記物標検出ユニットが検出した物標と同一の物標と、歩行者用辞書とのマッチングにおける一致度を取得する一致度取得ユニット(13)と、
を備え、
前記歩行者らしさ算出ユニットは、前記物標検出ユニットが検出した前記物標が一定間隔で配列されている物標群の一部である場合、それ以外の場合よりも、その物標の前記尤度を小さくするとともに、前記一致度が高いほど、前記物標検出ユニットが検出した前記物標の前記尤度を大きくすることを特徴とする歩行者判定装置(1)。 - 請求項1に記載の歩行者判定装置であって、
自車両前方の画像を取得する画像取得ユニット(9)と、
前記画像において物標を認識する画像認識ユニット(11)と、
前記画像認識ユニットで認識した物標のうち、前記物標検出ユニットが検出した物標と同一の物標における特徴点のオプティカルフローを取得するオプティカルフロー取得ユニット(15)と、
を備え、
前記歩行者らしさ算出ユニットは、前記オプティカルフローが前記画像上での横方向の動きである場合は、それ以外の場合よりも、前記物標検出ユニットが検出した物標の前記尤度を大きくすることを特徴とする歩行者判定装置。 - 請求項1又は2に記載の歩行者判定装置であって、
前記歩行者らしさ算出ユニットは、前記レーダの反射波における強度が予め設定された閾値以下である場合、又は、前記反射波におけるゆらぎの大きさが予め設定された閾値以上である場合は、それら以外の場合よりも、前記物標の前記尤度を大きくすることを特徴とする歩行者判定装置。 - 請求項1〜3のいずれか1項に記載の歩行者判定装置であって、
前記物標の横方向での移動速度を取得する移動速度取得ユニット(17)を備え、
前記歩行者らしさ算出ユニットは、前記横方向での移動速度が予め設定された範囲内である場合、それ以外の場合よりも、前記物標の前記尤度を大きくすることを特徴とする歩行者判定装置。 - 請求項1〜4のいずれか1項に記載の歩行者判定装置であって、
前記物標の横方向での移動量を取得する移動量取得ユニット(19)を備え、
前記歩行者らしさ算出ユニットは、前記横方向での移動量が予め設定された範囲内である場合、それ以外の場合よりも、前記物標の前記尤度を大きくすることを特徴とする歩行者判定装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015075826A JP6413898B2 (ja) | 2015-04-02 | 2015-04-02 | 歩行者判定装置 |
| US15/562,398 US10482332B2 (en) | 2015-04-02 | 2016-04-01 | Pedestrian determining apparatus for determining whether an object is a pedestrian crossing ahead of an own vehicle |
| PCT/JP2016/060955 WO2016159364A1 (ja) | 2015-04-02 | 2016-04-01 | 歩行者判定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015075826A JP6413898B2 (ja) | 2015-04-02 | 2015-04-02 | 歩行者判定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016197278A JP2016197278A (ja) | 2016-11-24 |
| JP6413898B2 true JP6413898B2 (ja) | 2018-10-31 |
Family
ID=57005177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015075826A Active JP6413898B2 (ja) | 2015-04-02 | 2015-04-02 | 歩行者判定装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10482332B2 (ja) |
| JP (1) | JP6413898B2 (ja) |
| WO (1) | WO2016159364A1 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6256239B2 (ja) * | 2014-07-25 | 2018-01-10 | 株式会社デンソー | 歩行者検出装置および歩行者検出方法 |
| US10852418B2 (en) * | 2016-08-24 | 2020-12-01 | Magna Electronics Inc. | Vehicle sensor with integrated radar and image sensors |
| JP6717240B2 (ja) | 2017-03-08 | 2020-07-01 | 株式会社デンソー | 物標検出装置 |
| JP2019156180A (ja) * | 2018-03-13 | 2019-09-19 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
| DE102020117741A1 (de) * | 2020-07-06 | 2022-01-13 | Elmos Semiconductor Se | Dopplerbasierte Bestimmung der Geschwindigkeitsrichtung |
| KR20220010900A (ko) * | 2020-07-20 | 2022-01-27 | 현대모비스 주식회사 | 차량용 레이더 장치 및 제어방법 |
| CN113163110B (zh) * | 2021-03-05 | 2022-04-08 | 北京宙心科技有限公司 | 一种人流密度分析系统及分析方法 |
| JP7524820B2 (ja) * | 2021-04-12 | 2024-07-30 | トヨタ自動車株式会社 | 降車支援装置 |
| WO2026063199A1 (ja) * | 2024-09-20 | 2026-03-26 | 住友電気工業株式会社 | 電波センサ、管理端末、検知方法、およびコンピュータプログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5029436B2 (ja) * | 2008-03-12 | 2012-09-19 | オムロン株式会社 | 横断物体検知装置および横断物体検知方法、並びにプログラム |
| JP5120627B2 (ja) * | 2008-03-26 | 2013-01-16 | トヨタ自動車株式会社 | 画像処理装置および画像処理プログラム |
| JP5136504B2 (ja) * | 2009-04-02 | 2013-02-06 | トヨタ自動車株式会社 | 物体識別装置 |
| JP5872764B2 (ja) * | 2010-12-06 | 2016-03-01 | 富士通テン株式会社 | 画像表示システム |
| JP2012203884A (ja) * | 2011-03-28 | 2012-10-22 | Toyota Central R&D Labs Inc | 飛び出し歩行者判定装置及びプログラム |
| JP2012229947A (ja) * | 2011-04-25 | 2012-11-22 | Denso Corp | 物標検出装置、物標検出方法およびプログラム |
| JP5905846B2 (ja) | 2013-03-29 | 2016-04-20 | 株式会社日本自動車部品総合研究所 | 横断判定装置およびプログラム |
| JP2016124389A (ja) * | 2014-12-26 | 2016-07-11 | トヨタ自動車株式会社 | 車両制動制御装置 |
-
2015
- 2015-04-02 JP JP2015075826A patent/JP6413898B2/ja active Active
-
2016
- 2016-04-01 US US15/562,398 patent/US10482332B2/en active Active
- 2016-04-01 WO PCT/JP2016/060955 patent/WO2016159364A1/ja not_active Ceased
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016197278A (ja) | 2016-11-24 |
| WO2016159364A1 (ja) | 2016-10-06 |
| US10482332B2 (en) | 2019-11-19 |
| US20180114074A1 (en) | 2018-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6413898B2 (ja) | 歩行者判定装置 | |
| JP6717240B2 (ja) | 物標検出装置 | |
| JP5870908B2 (ja) | 車両の衝突判定装置 | |
| JP5892129B2 (ja) | 道路形状認識方法、道路形状認識装置、プログラムおよび記録媒体 | |
| JP6682833B2 (ja) | 物体認識アルゴリズムの機械学習のためのデータベース構築システム | |
| CN112660128B (zh) | 用于确定自动驾驶车辆的车道变更路径的设备及其方法 | |
| US9975550B2 (en) | Movement trajectory predicting device and movement trajectory predicting method | |
| JP6212880B2 (ja) | 物標認識装置 | |
| CN110194162B (zh) | 用于基于可用空间信号来检测靠近切入车辆的系统和方法 | |
| JP5316572B2 (ja) | 物体認識装置 | |
| JP5986949B2 (ja) | 境界線認識装置 | |
| EP3467545A1 (en) | Object classification | |
| US20180370531A1 (en) | Object detection device and object detection method | |
| JP6544168B2 (ja) | 車両制御装置、及び車両制御方法 | |
| US20160188984A1 (en) | Lane partition line recognition apparatus | |
| EP2894618A1 (en) | Speed calculating device and speed calculating method, and collision determination device | |
| US12411235B2 (en) | Object detection device, object detection method, and computer-readable storage medium | |
| EP3495222B1 (en) | Image-capturing device | |
| US11983937B2 (en) | Intersecting road estimation device | |
| EP2720211B1 (en) | Other-vehicle detection device and other-vehicle detection method | |
| WO2016158491A1 (ja) | 衝突回避支援装置 | |
| JP7526858B2 (ja) | 測定装置、測定方法およびプログラム | |
| JP2012230604A (ja) | データ処理装置 | |
| WO2023033040A1 (ja) | フレア検出システム、フレア検出装置、フレア検出方法、フレア検出プログラム | |
| US12461225B2 (en) | Object detection device and object detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180320 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180917 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6413898 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |