JP7488685B2 - Road condition identification device and vehicle system - Google Patents
Road condition identification device and vehicle system Download PDFInfo
- Publication number
- JP7488685B2 JP7488685B2 JP2020073910A JP2020073910A JP7488685B2 JP 7488685 B2 JP7488685 B2 JP 7488685B2 JP 2020073910 A JP2020073910 A JP 2020073910A JP 2020073910 A JP2020073910 A JP 2020073910A JP 7488685 B2 JP7488685 B2 JP 7488685B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- damage
- information
- vehicle
- determination unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
- E01C—CONSTRUCTION OF, OR SURFACES FOR, ROADS, SPORTS GROUNDS, OR THE LIKE; MACHINES OR AUXILIARY TOOLS FOR CONSTRUCTION OR REPAIR
- E01C23/00—Auxiliary devices or arrangements for constructing, repairing, reconditioning, or taking-up road or like surfaces
- E01C23/01—Devices or auxiliary means for setting-out or checking the configuration of new surfacing, e.g. templates, screed or reference line supports; Applications of apparatus for measuring, indicating, or recording the surface configuration of existing surfacing, e.g. profilographs
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
- G08G1/127—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
- G08G1/13—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station the indicator being in the form of a map
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Traffic Control Systems (AREA)
- Road Repair (AREA)
Description
本発明は、路面の損傷状況を含む道路状況を特定するための技術に関する。 The present invention relates to a technology for identifying road conditions, including the damage status of the road surface.
現在、道路の老朽化、車両の大型化および交通量の大幅な増加により、路面が損傷することがある。例えば、路面に穴が開くなどの路面破損や、路面上の白線が消える車線消失が生じている。路面の損傷は、交通事故の原因や交通に支障を及ぼす原因になる。特に、運転支援システムや自動運転においては、道路状況をタイムリーに特定し、特定した状況に基づいて、修繕などの対処を行うことが重要である。 Currently, road surfaces can become damaged due to aging roads, larger vehicles, and a significant increase in traffic volume. For example, road surface damage such as holes appearing in the road surface and lane disappearances where the white lines on the road surface disappear. Road surface damage can cause traffic accidents and disrupt traffic. In particular, for driver assistance systems and autonomous driving, it is important to identify road conditions in a timely manner and take measures such as repairs based on the identified conditions.
道路に車両を走行させ、当該車両のセンサー類を用いて、道路状況を特定する技術が提案されている。例えば、特許文献1では、道路のひび割れ、幅員、それらの位置を特定するために、車両の上部前方に張り出され左右対称的位置にそれぞれ配置し、上方から路面を撮像するひび割れ検出用カメラを設けている。 Technology has been proposed in which a vehicle is driven on a road and the road conditions are identified using the vehicle's sensors. For example, in Patent Document 1, crack detection cameras are installed on the upper front of the vehicle and positioned symmetrically on the left and right to capture images of the road surface from above in order to identify cracks, road width, and their locations.
また、特許文献2には、道路を走行する車両、路面の損傷を検出し、道路管理者に路面の損傷を通報するテレマティクスシステムが開示されている。
さらに、特許文献3には、車両の上下方向に加わる加速度を逐次取得し、この加速度に基づいて、路面の凹凸による振動が発生しているかを判断することが記載されている。 Furthermore, Patent Document 3 describes a method of sequentially acquiring acceleration applied to the vehicle in the vertical direction and determining whether vibrations are occurring due to unevenness in the road surface based on this acceleration.
ここで、道路状況は、その設置位置、地形、環境により道路のあるべき姿が変わってくる。例えば、うねりの多い地形に設けられた道路と平坦部の道路では、同じ凹凸でも損傷であるかが変わってくる。さらに、勾配の様子によっても損傷であるかの判断基準が変わってくる。また、センターラインがある道路では、路面にライン状のものが確認されないと、車線消失と判断される。逆に、白線がない道路では何らかのライン状のものを検知した場合に、損傷の可能性がある。またさらに、ロードバンプを不要な凹凸として、判断されることもあり得る。 The road conditions here vary depending on the location, terrain, and environment. For example, the same unevenness may be considered as damage on a road built on undulating terrain and on a flat road. Furthermore, the criteria for determining whether something is damaged also vary depending on the slope. Also, on roads with a center line, if no line-like object is found on the road surface, it is determined that the lane has disappeared. Conversely, on roads without white lines, if any line-like object is detected, there is a possibility of damage. Furthermore, road bumps may be determined to be unnecessary unevenness.
このように、道路状況の特定には、道路のあるべき姿、つまり、判断基準となる情報を把握しておくことが必要である。 In this way, in order to identify road conditions, it is necessary to understand what the road should be like, in other words, information that can be used as a basis for judgment.
しかしながら、特許文献1~3のいずれでも、道路のあるべき姿については考慮されていない。このため、これら各特許文献では、本来損傷でない箇所を損傷して誤って検知してしまう誤検知や逆に損傷を検知できない検知不可が発生してしまう、との課題がある。 However, none of Patent Documents 1 to 3 take into consideration the ideal state of the road. For this reason, these Patent Documents have the problem of false positives, where damage is mistakenly detected when there is no damage, or conversely, failure to detect damage.
そこで、本発明は、誤検知や検知不可を抑止し、より正確な道路状況の把握する技術を提供することを目的とする。 The present invention aims to provide technology that can prevent false detections and failure to detect, and grasp road conditions more accurately.
上記の目的を達成するために、本発明は、各道路の区間ごとに、道路を構成する道路要素ごとの基準周辺道路状況情報で構成される高精度地図を用いて、道路状況の特定を実行する。 To achieve the above objective, the present invention identifies road conditions for each road section using a high-precision map that is composed of reference surrounding road condition information for each road element that makes up the road.
より詳細には、道路を走行する車両に設置され、前記道路の道路状況を特定する道路状況特定装置において、各道路の区間ごとに、道路を構成する道路要素ごとの基準周辺道路状況情報で構成される高精度地図を記憶する記憶部と、センサーから、前記車両の走行に伴い検知される周辺道路状況を受信するデータ受信部と、前記車両の位置を推定するロケータ推定部と、前記区間ごとに、(1)前記高精度地図から、推定された前記車両の位置に対応する基準周辺道路状況情報を特定し、(2)特定された前記基準周辺道路状況情報と、推定された前記車両の位置において検知された前記周辺道路状況から作成され、前記区間における路面状況を示す路面情報、前記区間における車線の状況を示す車線情報、前記区間における停止線の有無を示す停止線情報および前記区間における交通標識または看板に関する表示情報を含むベクトルデータである周辺道路状況情報を比較し、(3)当該比較の結果に基づいて、前記道路の損傷の有無を判定し、当該道路の損傷が有る場合、道路損傷タイプを特定する道路損傷判定部と、前記道路損傷判定部により前記道路の損傷が有ると判定された場合、当該道路の損傷を示し、当該道路の識別情報、区間情報、送信可否フラグ、前記損傷の有無、前記道路損傷タイプ、周辺道路状況および正常復帰走行距離を含む損傷情報を作成する損傷情報作成部と、前記道路損傷判定部が予め定めた一定期間において前記道路の損傷の有無に応じて、作成された前記損傷情報を、外部装置に送信するかを判定する送信可否判定部とを有する道路状況特定装置である。 More specifically, a road condition identification device that is installed in a vehicle traveling on a road and identifies the road conditions of the road includes a storage unit that stores, for each section of each road, a high-precision map composed of reference surrounding road condition information for each road element that constitutes the road, a data receiving unit that receives surrounding road conditions detected from a sensor as the vehicle travels, a locator estimation unit that estimates the position of the vehicle, and, for each section, (1) identifying, from the high-precision map, reference surrounding road condition information corresponding to the estimated position of the vehicle; (2) comparing the identified reference surrounding road condition information with surrounding road condition information, which is created from the surrounding road conditions detected at the estimated position of the vehicle and is vector data including road surface information indicating the road surface conditions in the section, lane information indicating the lane conditions in the section, stop line information indicating the presence or absence of a stop line in the section, and display information regarding traffic signs or signboards in the section; (3) determining whether or not the road is damaged based on the result of the comparison, and identifying a road damage type if the road is damaged; a damage information creation unit that, if it is determined by the road damage determination unit that the road is damaged, creates damage information indicating damage to the road and including identification information of the road, section information, a transmission feasibility flag, the presence or absence of the damage, the road damage type, surrounding road conditions, and a normal return mileage; and a transmission feasibility determination unit that determines whether or not to transmit the created damage information to an external device depending on the presence or absence of damage on the road for a predetermined fixed period of time determined by the road damage determination unit .
本発明には、上記道路状況特定装置を用いた車両システムや、道路状況特定装置や車両システムで実行する方法も含まれる。 The present invention also includes a vehicle system that uses the above-mentioned road condition identification device, and a method executed by the road condition identification device or vehicle system.
本発明によれば、車両を用いて、道路の状況をより正確に確認することができる。前述した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。 According to the present invention, it is possible to check road conditions more accurately using a vehicle. Problems, configurations, and advantages other than those described above will become clear from the description of the following embodiment.
以下、本発明の実施例を、図面を用いて説明する。 The following describes an embodiment of the present invention with reference to the drawings.
まず、実施例1について説明する。図1は、実施例1で用いられる道路損傷管理システム1を示す。道路損傷管理システム1は、走行機能を有する走行装置の一種である車両10と、ネットワーク20と、損傷情報管理サーバー30と、を備える。車両10は、ネットワーク20を介して損傷情報管理サーバー30に接続される。
First, a first embodiment will be described. FIG. 1 shows a road damage management system 1 used in the first embodiment. The road damage management system 1 includes a
車両10は、電子制御ユニット(ECU)100と、外界環境認識センサー110と、通信ユニット120と、車両姿勢センサー130を有する。なお、外界環境認識センサー110と車両姿勢センサー130は、まとめてセンサーとして扱うことも可能である。
The
電子制御ユニット100は、道路状況特定装置として用いられる。電子制御ユニット100は、道路損傷有無を判定する道路損傷判定部1000と、記憶部1001を備える。また、記憶部1001には、高精度地図101が記憶される。なお、高精度地図101は、損傷情報管理サーバー30から送信され、記憶部1001に記憶されることが望ましいが、この態様には限定されない。また、記憶部1001は、電子制御ユニット100の外部に設けてもよい。
The
また、電子制御ユニット100は、外界環境認識センサー110から取得した周辺道路状況=カメラの画像情報や車両姿勢センサー130が取得した車両姿勢に基づく周辺道路状況情報!と、高精度地図101の内容を比較し、道路の損傷を特定する。そして、電子制御ユニット100は、道路の損傷を検知した場合、通信ユニット120を用いて、道路の損傷情報を、ネットワーク20を経由して損傷情報管理サーバー30へ送信する。なお、電子制御ユニット100およびこれらの処理の詳細は、図2以降の各図面を用いて、後述する。
The
またさらに、ネットワーク20を介して損傷情報管理サーバー30と接続される車両10は、複数存在する。また、高精度地図101とは、各道路の区間ごとに、道路を構成する道路要素ごとの基準道路状況情報を示す。なお、本明細書での区間とは、任意の単位位置情報であればよい。さらに、高精度地図101は、その一例として、道路形状、車線形状、横断歩道、停止線、交通標識、看板などを含むベクトルデータで実現可能である。この高精度地図101の一例を図5に示す。本実施例の高精度地図101は、道路の識別情報(#)、区間情報、路面情報、車線情報、停止線情報および表示情報で構成される。ここで、道路の識別情報は、道路の番号(国道1号線)など道路を識別できればよい。また、区間情報は、道路を区切る区間を特定する情報であり、その位置が特定できればよい。本実施例では、経度、緯度の情報を用いる。また、本実施例では、道路要素ごとの基準周辺道路状況として、路面情報、車線情報、停止線情報および表示情報を用いる。ここで、路面情報には、勾配(単位:パーミル)、変速装置であるロードバンプの有無、補修/異物の存在、路面形状、車線形状が含まれる。さらに、車線情報は、車線の有無とその種類を示す。また、停止線情報は、停止線の有無を示す。また、表示情報には、交通標識の種類およびその有無を示す交通標識や看板の種類およびその有無を示す看板が含まれる。これら各項目は一例であり、これらに限定されないし、その一部を用いなくともよい。
Furthermore, there are a plurality of
なお、上述のとおり、高精度地図101はベクトルデータとして実現できるが、図5では理解のためその内容を文字で示している。但し、高精度地図101を、図5に示すような文字データとして実現してもよい。さらに、高精度地図101を、画像データなどセンシングデータとして実現してもよい。この場合、高精度地図101との比較を、外界環境認識センサー110から取得した道路状況(画像データ)で実行する。さらに、高精度地図101は、車両の走行方向(例えば、上下線)ごとに、設けられてもよい。
As mentioned above, the high-
次に、図2を用いて、電子制御ユニット100の機能構成を説明する。電子制御ユニット100は、道路の路面損傷有無を判定する道路損傷判定部1000と、高精度地図101を格納する記憶部1001と、車両10の位置を推定するロケータ推定部1002と、高精度地図101から車両の位置に応じた基準周辺道路情報を取得する地図データ取得部1003と、外界環境認識センサーデータ受信部1004と、損傷情報(V_RDI)105を作成する損傷情報作成部1005と、損傷情報105の損傷情報管理サーバー30への送信可否を判定する送信可否判定部1006と、ネットワーク20へ損傷情報105を送信する送信部1007と、ネットワーク20から情報を受信する受信部1008と、を備える。
Next, the functional configuration of the
また、道路損傷判定部1000は、基準周辺道路情報を、外界環境認識センサーデータ受信部1004を介して取得した周辺道路状況に基づく、周辺道路状況情報と比較し、路面損傷の有無を判定する。なお、外界環境認識センサーデータ受信部1004は、車両姿勢センサー130から取得した車両10の車両姿勢を受信してもよい。この場合、周辺道路状況情報は、車両姿勢も用いて作成される。なお、この例については、実施例2で説明する。そして、損傷情報作成部1005は、道路損傷判定部1000が路面損傷を検知した場合、損傷情報105を作成する。
The road
ここで、損傷情報105の内容を、図6に示す。本実施例の損傷情報105は、道路の識別情報(#)、区間情報、送信可否フラグ、損傷、道路損傷タイプ、周辺道路状況および正常復帰走行距離で構成される。ここで、道路の識別情報(#)および区間情報は、高精度地図101と同様である。また、周辺道路状況は、外界環境認識センサー110や車両姿勢センサー130で検知される情報である。そして、周辺道路状況に基づく周辺道路状況情報が、高精度地図101と比較される。つまり、周辺道路状況情報は、高精度地図101の路面情報、車線情報、停止線情報および表示情報で構成される。
The contents of the
さらに、車両10の構成要素に障害が発生した場合、路面損傷がなくても道路損傷判定部1000にて路面損傷を誤検知する可能性がある。それを防ぐため、送信可否判定部1006を用いる。送信可否判定部1006は、車両10が走行開始後の予め定めた一定時間内に、道路損傷判定部1000が路面損傷を検知しない場合、損傷情報105の送信を許可にする。つまり、道路損傷判定部1000が路面損傷を検知しない場合、車両10の道路の損傷判断に関する構成要素に、故障がないと判断する。なお、送信可否判定部1006は、通信ユニット120を介して受信した天候情報を用いて、送信可否を判定してもよい。また、車両10は、路面の損傷が確認された区間について、道路状況の特定を省略してもよい。
Furthermore, if a failure occurs in a component of the
次に、図7を用いて、図2に示す電子制御ユニット100の機能構成を実装するハードウエア構成を説明する。電子制御ユニット100のハードウエアは、記憶媒体1001-1、MCU(Micro Controller Unit)1002-1、入力インターフェース1004-1、出力インターフェース1007-1およびバス1010-1で構成される。記憶媒体1001-1は、記憶部1001に対応し、いわゆるメモリで実現できる。MCU1002-1は、道路損傷判定部1000と、ロケータ推定部1002と、地図データ取得部1003と、損傷情報作成部1005と、送信可否判定部1006との機能を実行するものである。具体的には、MCU1002-1は、CPU1002-2とメモリ1002-3を含み、メモリ1002-3のプログラムに従ってCPU1002-2が各種演算を実行する。なお、MCU1002-1は、FPGA(field-programmable gate array)技術を用いて、各種演算を実行可能としてもよい。入力インターフェース1004-1は、外界環境認識センサーデータ受信部1004や受信部1008に対応し、車両姿勢センサー130などの外部装置からの情報を受信する。また、出力インターフェース1007-1は、送信部1007に対応し、通信ユニット120などの外部装置へ情報を送信する。そして、バス1010-1は、電子制御ユニット100内の各構成の情報の送受信を介在する。
Next, the hardware configuration that implements the functional configuration of the
次に、図3を用いて、本実施例の道路損傷判定処理の詳細を説明する。 Next, the road damage determination process of this embodiment will be described in detail with reference to FIG.
ステップS100において、ロケータ推定部1002は、車両10の位置を推定する。ロケータ推定部1002は、位置として、区間情報に対応する精度が必要になる。このため、GPS受信機およびジャイロでの検出された結果を用いて推定することが好適である。但し、GPS受信機やジャイロのいずれかでの検出結果を用いてもよい。
In step S100, the
次に、ステップS101において、地図データ取得部1003が、記憶部1001に記憶された高精度地図101から走行装置のロケータ周辺の基準周辺道路状況情報を取得する。このために、地図データ取得部1003は、ステップS100で取得された位置に対応する区間情報を、高精度地図101から特定する。この際、地図データ取得部1003は、S100で推定された位置を含む高精度地図101の区間情報のレコードを、基準周辺道路状況情報として特定する。
Next, in step S101, the map
次に、ステップS102において、外界環境認識センサーデータ受信部1004は、外界環境認識センサー110から周辺道路状況を受信する。外界環境認識センサー110は、カメラ、レーダー、超音波センサーなどで実現できる。これらは、道路の状況を示す情報である。例えば、外界環境認識センサー110としてカメラを用いた場合、画像データが周辺道路状況として取得される。
Next, in step S102, the external environment recognition sensor
次に、ステップS103において、道路損傷判定部1000は、ステップS102で取得された周辺道路状況から周辺道路状況情報を作成する。この処理は、高精度地図101を構成する基準周辺道路状況との比較を行うために行われる。このため、道路損傷判定部1000は、高精度地図101と同種のデータになるように作成を行う。本実施例では、道路損傷判定部1000は、周辺道路状況から路面情報、車線情報、停止線情報および表示情報を含むベクトルデータを作成する。
Next, in step S103, the road
そして、道路損傷判定部1000は、ステップS101で取得された基準周辺道路状況情報と作成された周辺道路状況情報を比較する。当該比較結果に基づいて、道路損傷判定部1000は、道路損傷有無を判定する。なお、ここでの比較処理では、道路損傷判定部1000は、道路の識別情報と区間情報を用いて、比較対象である基準周辺道路状況情報と周辺道路状況情報を特定することが望ましい。
Then, the road
なお、道路損傷判定部1000は、比較結果に一定範囲内の違いがあれば、道路損傷有と判定してもよい。また、本実施例では、周辺道路状況情報として、ベクトルデータを用いたが、この形式に限定されない。さらに、基準周辺道路状況情報として画像データなどセンシングデータを用いてもよい。この場合、道路損傷判定部1000は、周辺道路状況情報の作成を省略し、受信した周辺道路状況と基準周辺道路状況情報との比較を行うことが望ましい。
The road
さらに、本ステップにおいて、道路損傷判定部1000は、損傷有の場合、比較の結果に基づいて、道路損傷タイプを特定する。例えば、道路損傷判定部1000は、周辺道路状況情報に車線が存在せず、基準周辺道路状況情報に車線情報がある場合、車線喪消失と判断する。また、道路損傷判定部1000は、周辺道路状況情報の路面情報で凹凸が存在するものの、基準周辺道路状況情報の変速装置ロードバンプが〇の場合、損傷無と判断する。
Furthermore, in this step, if damage is present, the road
なお、道路損傷判定部1000は、損傷有無判断と道路損傷タイプの特定をまとめて行ってもよい。
The road
次に、ステップS104において、ステップS103の結果、損傷無の場合、道路損傷判定部1000はステップS100に戻り、次の区間の処理を実行する。損傷有の場合、道路損傷判定部1000は、ステップS105に進む。
Next, in step S104, if the result of step S103 is that there is no damage, the road
ステップS105において、送信可否判定部1006は、ステップS106以降で作成する損傷情報105を、損傷情報管理サーバー30へ送信するかを判定する。送信可否判定部1006は、損傷情報105の送信可否フラグを用いて判定する。なお、図5では、送信可否フラグを「可」「否」で示しているが、記録しているか否か(ON、OFF)で判定できるようにしてもよい。なお、送信可否フラグの記録は、図4を用いて後述するように、車両10の始動の際などに実行される。また、本実施例では、損傷情報の各レコード(周辺道路状況情報)ごとに、送信可否フラグを設けているが、別途1つの情報として管理してもよい。
In step S105, the transmission
この判定の結果、送信可(ON)の場合、ステップS106に進む。送信否(OFF)の場合、処理を終了し、本フローチャートの次の区間の処理を実行するために、ステップS101に戻る。 If the result of this determination is that transmission is possible (ON), proceed to step S106. If the result is that transmission is not possible (OFF), end the process and return to step S101 to execute the process for the next section of this flowchart.
次に、ステップS106では、道路損傷判定部1000は、外界環境認識センサー110で検知され、ステップS102で受信した周辺道路状況を、記憶部1001に一時的に記憶する。なお、この記憶は他の記憶媒体に行ってもよい。
Next, in step S106, the road
次に、ステップS107において、道路損傷判定部1000は、損傷有と判定してから、道路の損傷検知が正常に復帰したかを判定する。具体的には、道路損傷判定部1000は、損傷有と判定した後に、損傷が無くなったと判断した場合、正常復帰と判定する。なお、道路損傷判定部1000は、一定時間以上、損傷有と判断されなかった場合、道路損傷正常復帰と判定してもよい。
Next, in step S107, the road
また、本ステップにおいて、道路損傷判定部1000は、損傷有と判断した位置と、当該損傷が無くなったと判断した位置を特定する。これは、ステップS104の損傷有無判断を周期的に繰り返すことで、損傷が無くなった位置を判定することで実現できる。
In addition, in this step, the road
この結果、正常復帰した場合(Yes)、ステップS109に進む。また、正常復帰していない場合(No)、ステップS108に進む。 If the result is a return to normal (Yes), proceed to step S109. If the result is a return to normal (No), proceed to step S108.
次に、ステップS108において、道路損傷判定部1000は、ステップS106で記憶した外界環境認識センサー110で検知された周辺道路状況が、予め定めたデータサイズをオーバーしているかを判断する。この結果、データサイズをオーバーしている場合、ステップS107に戻る。また、データサイズをオーバーしている場合、ステップS106に戻る。
Next, in step S108, the road
次に、ステップS109において、損傷情報作成部1005が、損傷情報管理サーバー30へ送信するデータを作成する。つまり、損傷情報作成部1005は、損傷情報105を作成する。損傷情報105は、前述したとおり、図6で示されるものであるが、以下のとおり作成される。
Next, in step S109, the damage
損傷情報作成部1005は、道路損傷判定部1000から、道路の識別情報、区間情報、損傷有であることおよび道路損傷タイプを受信する。また、損傷情報作成部1005は、外界環境認識センサーデータ受信部1004によりステップS102で取得した周辺道路状況を受信する。また、損傷情報作成部1005は、周辺道路状況の代わり、道路損傷判定部1000から周辺道路状況を受信してもよい。
The damage
さらに、損傷情報作成部1005は、道路損傷判定部1000から損傷を検知した位置と当該損傷が無くなった位置を受信する。そして、損傷情報作成部1005は、これらから正常復帰走行距離を算出する。
Furthermore, the damage
そして、損傷情報作成部1005は、これらの各情報を、マージすることで、損傷情報105を作成する。なお、送信可否フラグは、上述のとおり、本ステップS109の段階では記録されている。
Then, the damage
次に、ステップS110において、送信部1007は、ステップS109で作成された損傷情報105を、通信ユニット120を用いて、ネットワーク20を介して損傷情報管理サーバー30へ送信する。なお、送信部1007は、損傷情報105のうちその一部を損傷情報管理サーバー30へ送信してもよい。例えば、送信可否フラグの送信を省略してもよい。
Next, in step S110, the
本実施例では、以上の図3に示す処理を、区間ごとに繰り返し実行する。このことで、各区間の損傷状況を把握することが可能になる。また、本実施例では、ステップS109で損傷情報105を作成している。つまり、損傷情報作成部1005は、ステップS105の送信可否判断の結果、送信が可能な場合に損傷情報105を作成している。このことで、無駄な損傷情報105の作成を抑止できる。但し、損傷情報作成部1005は、S105以前に損傷情報を作成してもよい。
In this embodiment, the process shown in FIG. 3 is executed repeatedly for each section. This makes it possible to grasp the damage status of each section. Also, in this embodiment,
次に、図4を用いて、送信可否フラグの作成(設定)およびその利用方法を説明する。 Next, we will use Figure 4 to explain how to create (set) the transmission permission flag and how to use it.
まず、ステップS1000において、送信可否判定部1006は、初期値として、送信可否フラグを送信不可(OFF)と設定する。図6に示すように、損傷情報105の各区間ごとに送信可否フラグを設定する場合、送信可否判定部1006は、最初の区間に設定する。
First, in step S1000, the transmission
次に、ステップS1001において、送信可否判定部1006は、速度計やOBD機能(On-board diagnostics)を用いて、車両10が走行を開始したか、つまり、一定社則以上であるかを判断する。この結果、車両10が走行を開始した場合、ステップS1002に移る。
Next, in step S1001, the transmission
次に、ステップS1002において、送信可否判定部1006は、正常判定タイマーを初期値として0に設定する。そして、正常判定タイマーが起動を開始し、経過時間の計測を実行する。
Next, in step S1002, the transmission
次に、ステップS1003において、送信可否判定部1006は、ステップS104と同様の処理を実行する。つまり、送信可否判定部1006は、損傷の有無を判定する。この結果、損傷有の場合、ステップS1002に戻り、損傷無の場合、ステップS1004に進む。
Next, in step S1003, the transmission
なお、ステップS1003では、送信可否判定部1006は、ステップS104における道路損傷判定部1000の判定結果を受信して、これを用いてもよい。
In step S1003, the transmission
次に、ステップS1004において、送信可否判定部1006は、正常判定タイマーの経過時間が、一定時間(T)を過ぎたかを確認する。一定時間を過ぎたら、ステップS1005に移る。また一定時間(T)を経過していなければ、ステップS1003に戻る。
Next, in step S1004, the transmission
次に、ステップS1005において、送信可否判定部1006は、送信可否フラグを送信許可(ON)に設定する。このように、本処理では、予め定めた一定時間(T)を経過した場合、損傷情報105を送信可能としている。この理由は、以下のとおりである。走行開始時点では、道路の損傷の可能性が低いため、この期間で損傷を検知した場合、エラーである可能性が高い。逆に、一定時間(t)間に損傷が無である場合には、正確なで^他である可能性が高いため、送信可能としている。したがって、一定時間(t)は、走行開始からでなくともよい。例えば、高速道路など高規格道路での一定期間でもいい。
Next, in step S1005, the transmission
次に、本発明の実施例2について説明する。実施例2では、実施例1の車両10に車両の走行に伴い変化する車両の姿勢・挙動を検知する車両姿勢センサー130の検知結果も用いて、路面損傷有無を判断する。なお、実施例2の構成、フローチャート、各種情報は、実施例1と同様である。このため、実施例1との相違について以下説明する。
Next, a second embodiment of the present invention will be described. In the second embodiment, the presence or absence of road surface damage is determined using the detection results of the
図3のステップS102において、外界環境認識センサーデータ受信部1004は、車両姿勢センサー130から、車両10の姿勢・挙動を受信する。外界環境認識センサーデータ受信部1004は、車両の姿勢・挙動として、例えば、車両10の鉛直方向の振動を受信する。
In step S102 of FIG. 3, the external environment recognition sensor
次に、ステップS103において、道路損傷判定部1000は、車両10の姿勢・挙動から周辺道路状況情報を作成する。道路損傷判定部1000は、周辺道路状況情報として、例えば、変速装置ロードバンプの有無や補修/異物の有無を示す情報を作成する。この作成のために、道路損傷判定部1000は、振動における振幅の大きさに従って、変速装置ロードバンプの有無や補修/異物の有無を判断する。また、道路損傷判定部1000は、振動の周波数やその期間を用いて判断してもよい。
Next, in step S103, the road
そして、本ステップにおいて、道路損傷判定部1000は、対応する基準周辺道路状況情報と周辺道路状況情報を比較する。例えば、道路損傷判定部1000は、上記処理で、変速装置ロードバンプが有と判断した場合、基準周辺道路状況情報では無である場合、損傷有と判断する。このように、比較の結果、それぞれの情報が対応しない場合、道路損傷判定部1000は損傷有と判断する。さらに、道路損傷判定部1000は、勾配の有無を判断してもよい。
In this step, the road
さらに、本ステップでは、道路損傷判定部1000は、上述した比較ではなく、姿勢・挙動で損傷を判定してもよい。つまり、道路損傷判定部1000は、鉛直方向の振動の振幅や周波数が予め定めた所定条件を満たす場合、損傷ありと判定する・
以下、ステップS104以降の処理は、実施例1と同様である。なお、本実施例2の判断と、実施例1の判断を、損傷タイプに応じて分担して実行してもよい。さらに、いずれか一方の処理を行ってもよい。
Furthermore, in this step, the road
The process from step S104 onward is the same as that in the first embodiment. The judgment in the second embodiment and the judgment in the first embodiment may be performed separately according to the damage type. Furthermore, either one of the processes may be performed.
以上の各実施例によれば、路面損傷誤検知を低下させ、検知不可車線破損も検知可能にする電子制御ユニットを提供することができる。 According to each of the above embodiments, it is possible to provide an electronic control unit that reduces false detection of road surface damage and enables detection of undetectable lane damage.
10…車両、20…ネットワーク、30…損傷情報管理サーバー、100…電子制御ユニット、110…外界環境認識センサー、120…通信ユニット、130…車両姿勢センサー、1000…道路損傷判定部、1001…記憶部、1002…ロケータ推定部、1003…地図データ取得部、1004…外界環境認識センサーデータ受信部、1005…損傷情報作成部、1006…送信可否判定部、1007…送信部、1008…受信部 10...vehicle, 20...network, 30...damage information management server, 100...electronic control unit, 110...external environment recognition sensor, 120...communication unit, 130...vehicle attitude sensor, 1000...road damage determination unit, 1001...storage unit, 1002...locator estimation unit, 1003...map data acquisition unit, 1004...external environment recognition sensor data reception unit, 1005...damage information creation unit, 1006...transmission possibility determination unit, 1007...transmission unit, 1008...reception unit
Claims (12)
各道路の区間ごとに、道路を構成する道路要素ごとの基準周辺道路状況情報で構成される高精度地図を記憶する記憶部と、
センサーから、前記車両の走行に伴い検知される周辺道路状況を受信するデータ受信部と、
前記車両の位置を推定するロケータ推定部と、
前記区間ごとに、
(1)前記高精度地図から、推定された前記車両の位置に対応する基準周辺道路状況情報を特定し、
(2)特定された前記基準周辺道路状況情報と、推定された前記車両の位置において検知された前記周辺道路状況から作成され、前記区間における路面状況を示す路面情報、前記区間における車線の状況を示す車線情報、前記区間における停止線の有無を示す停止線情報および前記区間における交通標識または看板に関する表示情報を含むベクトルデータである周辺道路状況情報を比較し、
(3)当該比較の結果に基づいて、前記道路の損傷の有無を判定し、当該道路の損傷が有る場合、道路損傷タイプを特定する道路損傷判定部と、
前記道路損傷判定部により前記道路の損傷が有ると判定された場合、当該道路の損傷を示し、当該道路の識別情報、区間情報、送信可否フラグ、前記損傷の有無、前記道路損傷タイプ、周辺道路状況および正常復帰走行距離を含む損傷情報を作成する損傷情報作成部と、
前記道路損傷判定部が予め定めた一定期間において前記道路の損傷の有無に応じて、作成された前記損傷情報を、外部装置に送信するかを判定する送信可否判定部とを有することを特徴とする道路状況特定装置。 A road condition identification device that is installed in a vehicle traveling on a road and identifies road conditions of the road,
a storage unit that stores, for each section of each road, a high-precision map that is configured with reference surrounding road condition information for each road element that constitutes the road;
A data receiving unit that receives surrounding road conditions detected as the vehicle travels from a sensor;
a locator estimation unit that estimates a position of the vehicle;
For each of the sections,
(1) Identifying reference surrounding road condition information corresponding to the estimated position of the vehicle from the high-precision map;
(2) comparing the identified reference surrounding road condition information with surrounding road condition information, which is created from the surrounding road conditions detected at the estimated vehicle position, and is vector data including road surface information indicating the road surface conditions in the section, lane information indicating the lane conditions in the section, stop line information indicating the presence or absence of a stop line in the section, and display information regarding traffic signs or signboards in the section;
(3) a road damage determination unit that determines whether or not the road is damaged based on a result of the comparison, and, if the road is damaged, identifies a type of road damage;
a damage information creation unit which, when the road damage determination unit determines that the road is damaged, creates damage information indicating the damage to the road and including identification information of the road, section information, a transmission availability flag, the presence or absence of the damage, the road damage type, surrounding road conditions, and a normal return mileage;
A road condition identification device characterized in that it has a transmission feasibility determination unit that determines whether to transmit the damage information created by the road damage determination unit to an external device depending on whether or not the road is damaged within a predetermined period of time .
前記送信可否判定部は、予め定めた一定期間内に、前記道路の損傷が無いと判定された場合、前記損傷情報を前記外部装置に送信可能であることを示す前記送信可否フラグを、前記損傷情報に設定し、
前記損傷情報作成部は、前記送信可否フラグが送信可能であること示す場合に、前記損傷情報を作成することを特徴とする道路状況特定装置。 2. The road condition identification device according to claim 1 ,
when it is determined that there is no damage to the road within a predetermined period of time, the transmission possibility determination unit sets the transmission possibility flag, which indicates that the damage information is transmittable to the external device, in the damage information;
The damage information creating unit creates the damage information when the transmission possibility flag indicates that the damage information is transmittable.
前記センサーは、外界環境認識センサーおよび前記車両の走行に伴い変化する当該車両の挙動状況を検知する車両姿勢センサーであり、
前記データ受信部は、前記車両姿勢センサーから、前記挙動状況を受信し、
前記道路損傷判定部は、前記車両の挙動状況が所定条件を満たすかにより、前記道路の損傷の有無を判定することを特徴とする道路状況特定装置。 2. The road condition identification device according to claim 1,
The sensor is an external environment recognition sensor and a vehicle attitude sensor that detects a behavior state of the vehicle that changes as the vehicle travels,
The data receiving unit receives the behavior status from the vehicle attitude sensor,
The road condition specifying device is characterized in that the road damage determining unit determines whether or not the road is damaged based on whether the behavior of the vehicle satisfies a predetermined condition.
前記外界環境認識センサーは、画像を撮像するカメラであり、
前記道路損傷判定部は、前記区間ごとに、前記画像に対して画像処理を施して、前記周辺道路状況情報を作成することを特徴とする道路状況特定装置。 4. The road condition identification device according to claim 3 ,
The external environment recognition sensor is a camera that captures an image,
The road condition identification device is characterized in that the road damage determination unit performs image processing on the image for each section to create the surrounding road condition information.
前記道路損傷判定部は、それぞれ異なる区間の処理について、前記周辺道路状況情報の作成と、前記(1)乃至(3)の処理を、並行処理することを特徴とする道路状況特定装置。 2. The road condition identification device according to claim 1,
A road condition identification device characterized in that the road damage determination unit performs parallel processing of the creation of the surrounding road condition information and the processing of (1) to (3) for each different section.
前記高精度地図は、前記路面情報、前記車線情報、前記停止線情報および前記表示情報を含むことを特徴とする道路状況特定装置。 6. The road condition specifying device according to claim 1 ,
A road condition specifying device, wherein the high-precision map includes the road surface information, the lane information, the stop line information, and the display information.
前記車両の走行に伴い検知される周辺道路状況を検知するセンサーと、
前記道路状況特定装置を有し、
前記道路状況特定装置は、
各道路の区間ごとに、道路を構成する道路要素ごとの基準周辺道路状況情報で構成される高精度地図を記憶する記憶部と、
前記センサーから前記周辺道路状況を受信するデータ受信部と、
前記車両の位置を推定するロケータ推定部と、
前記区間ごとに、
(1)前記高精度地図から、推定された前記車両の位置に対応する基準周辺道路状況情報を特定し、
(2)特定された前記基準周辺道路状況情報と、推定された前記車両の位置において検知された前記周辺道路状況から作成され、前記区間における路面状況を示す路面情報、前記区間における車線の状況を示す車線情報、前記区間における停止線の有無を示す停止線情報および前記区間における交通標識または看板に関する表示情報を含むベクトルデータである周辺道路状況情報を比較し、
(3)当該比較の結果に基づいて、前記道路の損傷の有無を判定し、当該道路の損傷が有る場合、道路損傷タイプを特定する道路損傷判定部と、
前記道路損傷判定部により前記道路の損傷が有ると判定された場合、当該道路の損傷を示し、当該道路の識別情報、区間情報、送信可否フラグ、前記損傷の有無、前記道路損傷タイプ、周辺道路状況および正常復帰走行距離を含む損傷情報を作成する損傷情報作成部と、
前記道路損傷判定部が予め定めた一定期間において前記道路の損傷の有無に応じて、作成された前記損傷情報を、外部装置に送信するかを判定する送信可否判定部とを有することを特徴とする車両システム。 A vehicle system provided in a vehicle traveling on a road, the vehicle system having a road condition identification device that identifies a road condition of the road,
A sensor that detects surrounding road conditions detected as the vehicle travels;
The road condition identification device is provided.
The road condition identification device includes:
a storage unit that stores, for each section of each road, a high-precision map that is configured with reference surrounding road condition information for each road element that constitutes the road;
a data receiving unit that receives the surrounding road conditions from the sensor;
a locator estimation unit that estimates a position of the vehicle;
For each of the sections,
(1) Identifying reference surrounding road condition information corresponding to the estimated position of the vehicle from the high-precision map;
(2) comparing the identified reference surrounding road condition information with surrounding road condition information, which is created from the surrounding road conditions detected at the estimated vehicle position, and is vector data including road surface information indicating the road surface conditions in the section, lane information indicating the lane conditions in the section, stop line information indicating the presence or absence of a stop line in the section, and display information regarding traffic signs or signboards in the section;
(3) a road damage determination unit that determines whether or not the road is damaged based on a result of the comparison, and, if the road is damaged, identifies a type of road damage;
a damage information creation unit which, when the road damage determination unit determines that the road is damaged, creates damage information indicating the damage to the road and including identification information of the road, section information, a transmission availability flag, the presence or absence of the damage, the road damage type, surrounding road conditions, and a normal return mileage;
A vehicle system characterized in that it has a transmission feasibility determination unit that determines whether to transmit the damage information created by the road damage determination unit to an external device depending on whether or not the road is damaged within a predetermined period of time .
前記送信可否判定部は、予め定めた一定期間内に、前記道路の損傷が無いと判定された場合、前記損傷情報を前記外部装置に送信可能であることを示す前記送信可否フラグを、前記損傷情報に設定し、
前記損傷情報作成部は、前記送信可否フラグが送信可能であること示す場合に、前記損傷情報を作成することを特徴とする車両システム。 8. The vehicle system according to claim 7 ,
the transmission possibility determination unit sets the transmission possibility flag, which indicates that the damage information can be transmitted to the external device, in the damage information when it is determined that there is no damage to the road within a predetermined fixed period of time;
The damage information creation unit creates the damage information when the transmission possibility flag indicates that the damage information is transmittable.
前記センサーは、外界環境認識センサーおよび前記車両の走行に伴い変化する当該車両の挙動状況を検知する車両姿勢センサーであり、
前記データ受信部は、前記車両姿勢センサーから、前記挙動状況を受信し、
前記道路損傷判定部は、前記車両の挙動状況が所定条件を満たすかにより、前記道路の損傷の有無を判定することを特徴とする車両システム。 8. The vehicle system according to claim 7 ,
The sensor is an external environment recognition sensor and a vehicle attitude sensor that detects a behavior state of the vehicle that changes as the vehicle travels,
The data receiving unit receives the behavior status from the vehicle attitude sensor,
The road damage determination unit determines whether or not the road is damaged based on whether the behavior of the vehicle satisfies a predetermined condition.
前記外界環境認識センサーは、画像を撮像するカメラであり、
前記道路損傷判定部は、前記区間ごとに、前記画像に対して画像処理を施して、前記周辺道路状況情報を作成することを特徴とする車両システム。 10. The vehicle system according to claim 9 ,
The external environment recognition sensor is a camera that captures an image,
The vehicle system is characterized in that the road damage determination unit performs image processing on the image for each section to create the surrounding road condition information.
前記道路損傷判定部は、それぞれ異なる区間の処理について、前記周辺道路状況情報の作成と、前記(1)乃至(3)の処理を、並行処理することを特徴とする車両システム。 8. The vehicle system according to claim 7 ,
A vehicle system characterized in that the road damage determination unit performs parallel processing of the creation of the surrounding road condition information and the processing of (1) to (3) for each different section.
前記高精度地図は、前記路面情報、前記車線情報、前記停止線情報および前記表示情報を含むことを特徴とする車両システム。 12. The vehicle system according to claim 7 ,
A vehicle system, wherein the high-precision map includes the road surface information, the lane information, the stop line information, and the display information.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020073910A JP7488685B2 (en) | 2020-04-17 | 2020-04-17 | Road condition identification device and vehicle system |
| PCT/JP2021/004953 WO2021210251A1 (en) | 2020-04-17 | 2021-02-10 | Road condition identification device and vehicle system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020073910A JP7488685B2 (en) | 2020-04-17 | 2020-04-17 | Road condition identification device and vehicle system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021170288A JP2021170288A (en) | 2021-10-28 |
| JP7488685B2 true JP7488685B2 (en) | 2024-05-22 |
Family
ID=78084200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020073910A Active JP7488685B2 (en) | 2020-04-17 | 2020-04-17 | Road condition identification device and vehicle system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7488685B2 (en) |
| WO (1) | WO2021210251A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7718316B2 (en) * | 2022-05-16 | 2025-08-05 | トヨタ自動車株式会社 | Information processing device and information processing method |
| CN116504089B (en) * | 2023-06-27 | 2023-09-12 | 东风悦享科技有限公司 | Unmanned public transport cluster flexible scheduling system based on road surface damage factors |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010140203A (en) | 2008-12-10 | 2010-06-24 | Denso Corp | Traveling object detection device |
| WO2013084287A1 (en) | 2011-12-06 | 2013-06-13 | 三菱電機株式会社 | Center system and vehicle system |
| JP2016126605A (en) | 2015-01-06 | 2016-07-11 | 株式会社日立製作所 | Driving environment recognition system |
| JP2017041070A (en) | 2015-08-19 | 2017-02-23 | ソニー株式会社 | Vehicle control device, vehicle control method, information processing device, and traffic information providing system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014198974A (en) * | 2013-03-29 | 2014-10-23 | 富士通株式会社 | Road surface change calculation program, method, and apparatus |
| JP6203208B2 (en) * | 2015-02-18 | 2017-09-27 | 株式会社東芝 | Road structure management system and road structure management method |
-
2020
- 2020-04-17 JP JP2020073910A patent/JP7488685B2/en active Active
-
2021
- 2021-02-10 WO PCT/JP2021/004953 patent/WO2021210251A1/en not_active Ceased
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010140203A (en) | 2008-12-10 | 2010-06-24 | Denso Corp | Traveling object detection device |
| WO2013084287A1 (en) | 2011-12-06 | 2013-06-13 | 三菱電機株式会社 | Center system and vehicle system |
| JP2016126605A (en) | 2015-01-06 | 2016-07-11 | 株式会社日立製作所 | Driving environment recognition system |
| JP2017041070A (en) | 2015-08-19 | 2017-02-23 | ソニー株式会社 | Vehicle control device, vehicle control method, information processing device, and traffic information providing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021170288A (en) | 2021-10-28 |
| WO2021210251A1 (en) | 2021-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9273971B2 (en) | Apparatus and method for detecting traffic lane using wireless communication | |
| US10399106B2 (en) | Camera and washer spray diagnostic | |
| CN111262903B (en) | Server device and vehicle | |
| US20200247404A1 (en) | Information processing device, information processing system, information processing method, and program | |
| CN105973245A (en) | Method and device for updating online map by using unmanned vehicle | |
| JP2016095831A (en) | Driving support system and center | |
| JP7362733B2 (en) | Automated crowdsourcing of road environment information | |
| CN111489584A (en) | System, control method of system, and information providing server | |
| CN110936960A (en) | A kind of assisted driving method and system | |
| JP7488685B2 (en) | Road condition identification device and vehicle system | |
| US12254767B2 (en) | Operational design domain validation coverage for adjacent lane relative velocity | |
| CN110869865B (en) | Method for operating a higher degree of automation vehicle (HAF), in particular a highly automated vehicle | |
| US12602931B2 (en) | Identification of unknown traffic objects | |
| US20190095728A1 (en) | Infrastructure detection device for a vehicle, method for generating a signal, and method for providing repair information | |
| JP7696944B2 (en) | FILTERING DEVICE, FILTERING METHOD, AND PROGRAM | |
| EP3851350B1 (en) | Method and control unit automatically controlling lane change assist | |
| US8694255B2 (en) | Driver assistance system having reduced data from a digital road map | |
| CN110580441B (en) | Driving assistance device | |
| CN114268788B (en) | Monitoring of functional compliance of an on-board vehicle image acquisition device | |
| JP7567636B2 (en) | Road information exchange system | |
| JP7609167B2 (en) | Estimation method, estimation device, and estimation program | |
| EP4152282A1 (en) | Method and system for evaluation and development of automated driving system features or functions | |
| US20220404154A1 (en) | Method and device for determining emergency trajectories and for operating automated vehicles | |
| SE541480C2 (en) | Method and system for estimating traffic flow | |
| EP4431974A1 (en) | Generating representation of a surrounding environment of a vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20220615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220616 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240328 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240510 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7488685 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |