Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7103201B2 - 情報処理システム、プログラム、及び情報処理方法 - Google Patents
[go: Go Back, main page]

JP7103201B2 - 情報処理システム、プログラム、及び情報処理方法 - Google Patents

情報処理システム、プログラム、及び情報処理方法 Download PDF

Info

Publication number
JP7103201B2
JP7103201B2 JP2018238715A JP2018238715A JP7103201B2 JP 7103201 B2 JP7103201 B2 JP 7103201B2 JP 2018238715 A JP2018238715 A JP 2018238715A JP 2018238715 A JP2018238715 A JP 2018238715A JP 7103201 B2 JP7103201 B2 JP 7103201B2
Authority
JP
Japan
Prior art keywords
road
vehicle
server
image
difficulty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018238715A
Other languages
English (en)
Other versions
JP2020101924A (ja
Inventor
栄一 草間
雅敏 林
尚訓 光本
邦明 陣内
真 赤羽
友理子 山口
大介 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018238715A priority Critical patent/JP7103201B2/ja
Priority to US16/701,432 priority patent/US11352011B2/en
Priority to CN201911284930.3A priority patent/CN111354192A/zh
Publication of JP2020101924A publication Critical patent/JP2020101924A/ja
Priority to US17/661,194 priority patent/US11938945B2/en
Application granted granted Critical
Publication of JP7103201B2 publication Critical patent/JP7103201B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/068—Road friction coefficient
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/064—Degree of grip
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758—Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/20—Road profile, i.e. the change in elevation or curvature of a plurality of continuous road segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/40—Coefficient of friction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/40—High definition maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2756/00—Output or target parameters relating to data
    • B60W2756/10—Involving external transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Description

本発明は、情報処理システム、プログラム、及び情報処理方法に関する。
従来、積雪に関する情報を取得する技術が知られている。例えば、特許文献１には、車両に搭載された車載カメラが、積雪量を目視可能にするためのスノーポールを撮像し、撮像された画像データを解析して積雪量計測データを取得する技術が開示されている。
特開２０１３－０６１７２６号公報
しかしながら、特許文献１に記載された技術は、車載カメラの画像にスノーポールが写っていることを前提としているため、例えばスノーポールが存在しない場所では積雪量計測データを取得できない。したがって、道路の積雪に関する情報を取得する従来技術には改善の余地があった。
かかる事情に鑑みてなされた本発明の目的は、道路の積雪に関する情報を取得する技術を改善することにある。
本発明の一実施形態に係る情報処理システムは、
１つ以上の車両と、前記１つ以上の車両と通信可能なサーバと、を備える情報処理システムであって、
前記車両は、自車両の位置する道路を撮像した画像を取得し、
前記車両又は前記サーバは、積雪に起因する前記道路の走行困難度を前記画像から判定する判定処理を実施し、
前記サーバは、
１つ以上の道路それぞれの走行困難度を記憶し、
記憶された前記１つ以上の道路それぞれの走行困難度を用いて、クライアントに対する情報提供を実施する。
本発明の一実施形態に係るプログラムは、
サーバと通信可能な車両に、
自車両の位置する道路を撮像した画像を取得する取得ステップと、
積雪に起因する前記道路の走行困難度を前記画像から判定するステップと、を実行させる。
本発明の一実施形態に係る情報処理方法は、
１つ以上の車両と、前記１つ以上の車両と通信可能なサーバと、を備える情報処理システムが実行する情報処理方法であって、
前記車両が、自車両の位置する道路を撮像した画像を取得するステップと、
前記車両又は前記サーバが、積雪に起因する前記道路の走行困難度を前記画像から判定するステップと、
前記サーバが、
１つ以上の道路それぞれの走行困難度を記憶するステップと、
記憶された前記１つ以上の道路それぞれの走行困難度を用いて、クライアントに対する情報提供を実施するステップと、を含む。
本発明の一実施形態に係る情報処理システム、プログラム、及び情報処理方法によれば、道路の積雪に関する情報を取得する技術が改善される。
本発明の一実施形態に係る情報処理システムの概略構成を示す図である。 車両の概略構成を示すブロック図である。 車外風景を撮像した画像の例を示す図である。 サーバの概略構成を示すブロック図である。 サーバに記憶された情報の例を示す図である。 サーバからクライアントに対する情報提供の例を示す図である。 車両の動作を示すフローチャートである。 サーバの動作を示すフローチャートである。
以下、本発明の実施形態について説明する。
（情報処理システムの構成）
図１を参照して、本発明の一実施形態に係る情報処理システム１の概要について説明する。情報処理システム１は、１つ以上の車両１０と、サーバ２０と、を備える。車両１０は、例えば自動車であるが、これに限られず任意の車両であってもよい。図１では説明の簡便のため、車両１０については２つのみを図示しているが、情報処理システム１は任意の数の車両１０を備えてもよい。サーバ２０は、１つ又は互いに通信可能な複数の情報処理装置（例えば、サーバ装置）を含む。車両１０及びサーバ２０は、例えば移動体通信網及びインターネット等を含むネットワーク３０を介して通信可能である。また、サーバ２０は、ネットワーク３０を介してクライアント３１と通信可能である。クライアント３１は、例えばＰＣ（Personal Computer）、サーバ装置、スマートフォン、又は車両等であるが、任意の情報処理装置であってもよい。本実施形態に係る車両１０が、クライアント３１となってもよい。
まず、本実施形態の概要について説明し、詳細については後述する。車両１０は、例えば車載カメラを用いて、自車両の位置する道路を撮像した画像を取得する。ここで、積雪地域又は降雪地域内に車両１０が位置する場合、画像上の道路には積雪が存在し得る。一般的に、積雪状況に応じて道路の走行困難度が異なる。車両１０は、積雪に起因する道路の走行困難度を、画像から判定してサーバ２０へ送信する。サーバ２０は、１つ以上の道路それぞれの走行困難度を、１つ又は複数の車両１０から受信して記憶する。そして、サーバ２０は、記憶された１つ以上の道路それぞれの走行困難度を用いて、クライアント３１に対する情報提供を実施する。
このように、本実施形態によれば、車両１０が実際に撮像した画像を用いて、積雪に起因する道路の走行困難度が判定される。実際の画像から判定される走行困難度は、例えば気象情報から推測される走行困難度と比較して、より現場の実態に即した精度の高い情報である。したがって、道路の積雪に関する情報を取得する技術が改善される。
次に、情報処理システム１の各構成について、詳細に説明する。
（車両の構成）
図２に示すように、車両１０は、通信部１１と、測位部１２と、撮像部１３と、記憶部１４と、制御部１５と、を備える。通信部１１、測位部１２、撮像部１３、記憶部１４、及び制御部１５のそれぞれは、車両１０に内蔵されてもよく、或いは車両１０に着脱可能に設けられてもよい。通信部１１、測位部１２、撮像部１３、記憶部１４、及び制御部１５は、例えばＣＡＮ（Controller Area Network）等の車載ネットワーク又は専用線を介して、互いに通信可能に接続される。
通信部１１は、ネットワーク３０に接続する通信モジュールを含む。当該通信モジュールは、例えば４Ｇ（4th Generation）及び５Ｇ（5th Generation）等の移動体通信規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。例えば、ＤＣＭ（Data Communication Module）等の車載通信機が、通信部１１として機能してもよい。本実施形態において、車両１０は、通信部１１を介してネットワーク３０に接続される。
測位部１２は、衛星測位システムに対応する受信機を含む。当該受信機は、例えばＧＰＳ（Global Positioning System）に対応するが、これに限られず、任意の衛星測位システムに対応してもよい。また、測位部１２は、例えばジャイロセンサ及び地磁気センサを含む。例えば、カーナビゲーション装置が、測位部１２として機能してもよい。本実施形態において、車両１０は、測位部１２を用いて自車両の位置及び自車両が向いている方角を取得する。
撮像部１３は、視野内の被写体を撮像した画像を生成する車載カメラを含む。画像は、静止画像であってもよく、或いは動画像であってもよい。当該車載カメラは、単眼カメラであってもよく、或いはステレオカメラであってもよい。撮像部１３は、車両１０の位置する道路を撮像可能となるように車両１０に備えられる。より具体的には、撮像部１３は、車両１０の前方の道路を撮像可能となるように車両１０に備えられてもよい。例えば、ドライブレコーダ又は乗員が使用するスマートフォン等のカメラ機能を有する電子機器が、撮像部１３として機能してもよい。本実施形態において、車両１０は、撮像部１３を用いて、自車両の位置する道路を撮像した画像を取得する。
記憶部１４は、１つ以上のメモリを含む。本実施形態において「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部１４に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１４は、車両１０の動作に用いられる任意の情報を記憶する。例えば、記憶部１４は、システムプログラム、アプリケーションプログラム、組込みソフトウェア、及び道路地図情報等を記憶してもよい。道路地図情報は、例えば道路（リンク）及び道路同士の接点（ノード）をそれぞれ一意に識別可能な道路ＩＤ及び接点ＩＤ、並びに道路及び接点の位置情報等を含む。記憶部１４に記憶された情報は、例えば通信部１１を介してネットワーク３０から取得される情報で更新可能であってもよい。
制御部１５は、１つ以上のプロセッサを備える。本実施形態において「プロセッサ」は、汎用のプロセッサ、特定の処理に特化した専用のプロセッサ等であるが、これらに限られない。例えば、車両１０に搭載されたＥＣＵ（Electronic Control Unit）が、制御部１５として機能してもよい。制御部１５は、現在時刻を把握する計時機能を有する。制御部１５は、車両１０全体の動作を制御する。
例えば、制御部１５は、積雪地域又は降雪地域を示す気象情報を取得する。詳細には、制御部１５は、通信部１１を介して、例えば気象庁等の機関又はサーバ２０等、気象情報を格納しているネットワーク３０上の任意のノードから気象情報を取得してもよい。
また、制御部１５は、取得された気象情報に示される積雪地域又は降雪地域内に自車両が位置するか否かを判定する。積雪地域又は降雪地域内に自車両が位置すると判定した場合、制御部１５は、自車両の位置する道路を撮像した画像を取得する。ここで、制御部１５は、積雪地域又は降雪地域内に自車両が位置すると判定したときに撮像部１３に車外風景を撮像させて画像を取得してもよい。或いは、制御部１５は、撮像部１３に自車両の位置する道路の動画を撮像させておき、積雪地域又は降雪地域内に自車両が位置すると判定したときの画像を当該動画から抽出することにより取得してもよい。制御部１５は、取得した画像が撮像されたときの時刻（撮像時刻）及び自車両が位置する道路の道路ＩＤを取得する。道路ＩＤは、例えば画像の撮像時刻における車両１０の位置（撮像位置）と、記憶部１４に記憶された道路地図情報と、の比較に基づいて取得可能である。
また、制御部１５は、積雪に起因する道路の走行困難度を上述の画像から判定する判定処理を実施する。本実施形態において、走行困難度が高いほど、道路の走行が困難であることを示す。走行困難度は、等級（例えば、低、中、又は高等）で示されてもよく、数値（例えば、１～１００等）で示されてもよい。
走行困難度の判定には、画像を用いる任意の手法が採用可能である。本実施形態では、制御部１５は、上述の画像から所定の検出対象の検出を試みる。当該検出対象は、道路が走行不能な状態（例えば、道路が積雪で完全に覆われている状態等）ではないことを示唆する任意の対象である。換言すると、当該検出対象は、道路が走行可能な状態であることを示唆する任意の対象である。検出対象の具体例については後述する。制御部１５は、少なくとも１つの検出対象が検出された場合には、いずれの検出対象が検出されない場合（例えば、道路が積雪で完全に覆われている場合等）よりも、道路の走行困難度が低いと判定する。なお、制御部１５は、いずれの検出対象も検出されない場合、走行困難度が最も高いと判定してもよい。
ここで、検出対象の具体例について説明する。例えば図３に示すように、上述の画像には、道路上の積雪（図中のドット部分）、対向車両４１、白線４２、轍４３、及び道路脇に積み上がっている雪４４等が写り得る。道路上を走行中の他車両（例えば、対向車両４１又は先行車両等）が画像に写っている場合、当該道路を他車両が実際に走行しているので、当該道路が走行可能な状態である蓋然性が高いといえる。また、道路上の路面標示（例えば、白線４２又は横断歩道等）が画像に写っている場合、当該道路は完全には雪で覆われていないので、走行可能な状態である蓋然性が高いといえる。また、道路上の轍４３が画像に写っている場合、直近で先行車両が道路を走行したと考えられるので、当該道路が走行可能な状態である蓋然性が高いといえる。また、道路脇に積み上がっている雪４４が画像に写っている場合、除雪作業が実施されたと考えられるので、当該道路が走行可能な状態である蓋然性が高いといえる。このため本実施形態では、制御部１５は、道路を走行中の他車両、道路上の路面標示、道路上の轍、及び道路脇に積み上がっている雪の４つの検出対象のうち、少なくとも１つの検出対象が検出された場合には、いずれの検出対象も検出されない場合よりも、道路の走行困難度が低いと判定する。なお、検出対象の検出には、例えばパターンマッチング、特徴抽出、又は機械学習等、任意の画像認識アルゴリズムが採用可能である。また、検出対象は上記の例に限られず、任意に定められてもよい。
また、制御部１５は、上述した道路ＩＤ、撮像時刻、及び走行困難度を、通信部１１を介してサーバ２０へ送信する。ここで、制御部１５は、例えば画像をサーバ２０へ更に送信してもよい。
（サーバの構成）
図４に示すように、サーバ２０は、サーバ通信部２１と、サーバ記憶部２２と、サーバ制御部２３と、を備える。
サーバ通信部２１は、ネットワーク３０に接続する通信モジュールを含む。当該通信モジュールは、例えば有線ＬＡＮ（Local Area Network）規格に対応するが、これに限られず、任意の通信規格に対応してもよい。本実施形態において、サーバ２０は、サーバ通信部２１を介してネットワーク３０に接続される。
サーバ記憶部２２は、１つ以上のメモリを含む。サーバ記憶部２２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。サーバ記憶部２２は、サーバ２０の動作に用いられる任意の情報を記憶する。例えば、サーバ記憶部２２は、システムプログラム、アプリケーションプログラム、データベース、及び道路地図情報等を記憶してもよい。サーバ記憶部２２に記憶された情報は、例えばサーバ通信部２１を介してネットワーク３０から取得される情報で更新可能であってもよい。
サーバ制御部２３は、１つ以上のプロセッサを含む。サーバ制御部２３は、サーバ２０全体の動作を制御する。
例えば、サーバ制御部２３は、１つ以上の車両１０から情報を収集する。具体的には、サーバ制御部２３は、１つ以上の道路それぞれの道路ＩＤ、撮像時刻、及び走行困難度を、サーバ通信部２１を介して１つ又は複数の車両１０から受信する。サーバ制御部２３は、受信された情報をサーバ記憶部２２に記憶する。詳細には、例えば図５に示すように、１つ以上の道路それぞれの走行困難度等がサーバ記憶部２２のデータベースに蓄積される。なお、上述したように車両１０がサーバ２０へ画像を送信する場合、サーバ制御部２３は、当該画像もサーバ記憶部２２のデータベースに蓄積してもよい。
また、サーバ制御部２３は、サーバ記憶部２２に記憶された１つ以上の道路それぞれの走行困難度等を用いて、クライアント３１に対する情報提供を実施する。情報提供は、例えばクライアント３１からの要求に応じて実施（例えば、プル配信）されてもよく、或いはサーバ制御部２３により自動的に実施（例えば、プッシュ配信）されてもよい。情報提供は、サーバ記憶部２２に記憶されたウェブアプリケーションにより実施されてもよい。１つ以上の道路それぞれの走行困難度等を用いて実施される情報提供は、サーバ記憶部２２に記憶された走行困難度等の情報の少なくとも一部をそのまま提供することを含んでもよく、或いは走行困難度等を用いて新たに生成される任意の情報を提供することを含んでもよい。
例えば図６は、サーバ２０から提供される情報に基づきクライアント３１において表示される画面の例を示す。図６に示す画面には、地図上に矢印で示される道路の走行困難度が表示されている。クライアント３１のユーザは、当該画面を視認することによって、道路の走行困難度を一見して把握可能である。なお、上述したように車両１０がサーバ２０へ画像を送信する場合、クライアント３１において表示される画面には、地図上に矢印で示される道路の走行困難度及び画像が表示されてもよい。また、例えば地図上に矢印を表示させておき、当該矢印を選択するユーザ操作に応じて、当該矢印で示される道路の走行困難度及び画像を表示させる構成も可能である。
（車両の動作フロー）
図７を参照して、車両１０の動作フローについて説明する。
ステップＳ１００：制御部１５は、積雪地域又は降雪地域を示す気象情報を取得する。
ステップＳ１０１：制御部１５は、取得された気象情報に示される積雪地域又は降雪地域内に自車両が位置するか否かを判定する。積雪地域又は降雪地域内に自車両が位置しないと判定した場合（ステップＳ１０１－Ｎｏ）、プロセスは終了する。一方、積雪地域又は降雪地域内に自車両が位置すると判定した場合（ステップＳ１０１－Ｙｅｓ）、プロセスはステップＳ１０２に進む。
ステップＳ１０２：制御部１５は、自車両の位置する道路を撮像した画像、当該画像の撮像時刻、及び当該道路の道路ＩＤを取得する。
ステップＳ１０３：制御部１５は、積雪に起因する当該道路の走行困難度を、ステップＳ１０２の画像から判定する。
ステップＳ１０４：制御部１５は、上述した道路ＩＤ、撮像時刻、及び走行困難度を、通信部１１を介してサーバ２０へ送信する。
（サーバの動作フロー）
図８を参照して、サーバ２０の動作フローについて説明する。
ステップＳ２００：サーバ制御部２３は、１つ以上の車両１０から情報を収集する。具体的には、サーバ制御部２３は、１つ以上の道路それぞれの道路ＩＤ、撮像時刻、及び走行困難度を、サーバ通信部２１を介して１つ又は複数の車両１０から受信する。
ステップＳ２０１：サーバ制御部２３は、ステップＳ２００で受信された情報（１つ以上の道路それぞれの道路ＩＤ、撮像時刻、及び走行困難度）をサーバ記憶部２２に記憶する。
ステップＳ２０２：サーバ制御部２３は、サーバ記憶部２２に記憶された１つ以上の道路それぞれの走行困難度等を用いて、クライアント３１に対する情報提供を実施する。
以上述べたように、本実施形態に係る情報処理システム１において、車両１０は、自車両の位置する道路を撮像した画像を取得し、積雪に起因する当該道路の走行困難度を当該画像から判定する。サーバ２０は、１つ以上の道路それぞれの走行困難度を記憶し、当該１つ以上の道路それぞれの走行困難度を用いてクライアント３１に対する情報提供を実施する。かかる構成によれば、車両１０が実際に撮像した画像を用いて、積雪に起因する道路の走行困難度が判定されるので、例えば気象情報から推測される走行困難度と比較して、より現場の実態に即した精度の高い走行困難度が得られる。したがって、道路の積雪に関する情報を取得する技術が改善される。
本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。
例えば、上述した実施形態において、車両１０において実行される一部の処理動作がサーバ２０において実行されてもよく、サーバ２０において実行される一部の処理動作が車両１０において実行されてもよい。例えば、道路を撮像した画像から、積雪に起因する当該道路の走行困難度を判定する判定処理が、車両１０ではなくサーバ２０によって実行される構成も可能である。かかる場合、車両１０は、当該道路の道路ＩＤ、撮像時刻、及び当該画像をサーバ２０へ送信する。サーバ２０は、車両１０から受信した当該画像を用いて上述の判定処理を実施する。
また、上述した実施形態では、サーバ２０が、１つ以上の道路それぞれの走行困難度を用いてクライアント３１に対する情報提供を実施する構成について説明した。しかしながら、走行困難度の情報には、クライアント３１に対する情報提供に限られず、任意の用途があってもよい。例えば、車両１０が自動運転を実施可能である場合、車両１０の制御部１５は、自車両が判定し又はサーバ２０から受信した道路の走行困難度を用いて自動運転を実施してもよい。具体的には、道路の走行困難度が所定の基準値以上である場合には当該道路を迂回したり、走行困難度が低い道路を優先的に用いて目的地までの走行ルートを決定したり、或いは走行中の道路の走行困難度が高いほど上限車速を遅くしたりする構成が考えられる。
また、例えばスマートフォン又はコンピュータ等の汎用の情報処理装置を、上述した実施形態に係る車両１０に備えられた構成部又はサーバ２０として機能させる構成も可能である。具体的には、実施形態に係る車両１０又はサーバ２０等の各機能を実現する処理内容を記述したプログラムを、情報処理装置のメモリに格納し、情報処理装置のプロセッサによって当該プログラムを読み出して実行させる。したがって、本実施形態に係る発明は、プロセッサが実行可能なプログラムとしても実現可能である。
１ 情報処理システム
１０ 車両
１１ 通信部
１２ 測位部
１３ 撮像部
１４ 記憶部
１５ 制御部
２０ サーバ
２１ サーバ通信部
２２ サーバ記憶部
２３ サーバ制御部
３０ ネットワーク
３１ クライアント
４１ 他車両
４２ 白線
４３ 轍
４４ 積み上がっている雪

Claims (5)

  1. １つ以上の車両と、前記１つ以上の車両と通信可能なサーバと、を備える情報処理システムであって、
    前記車両は、自車両の位置する道路を撮像した画像を取得し、
    前記車両又は前記サーバは、積雪に起因する前記道路の走行困難度を前記画像から判定する判定処理を実施し、
    前記サーバは、
    １つ以上の道路それぞれの走行困難度を記憶し、
    記憶された前記１つ以上の道路それぞれの走行困難度を用いて、クライアントに対する情報提供を実施し、
    前記車両又は前記サーバは、前記判定処理において、前記道路を走行中の他車両、前記道路上の路面標示、前記道路上の轍、及び、前記道路脇に積み上がっている雪の４つの検出対象のうち、少なくとも１つの検出対象が前記画像から検出された場合には、いずれの前記検出対象も検出されない場合よりも、前記道路の走行困難度が低いと判定する、情報処理システム。
  2. 請求項１に記載の情報処理システムであって、
    前記車両は、
    積雪地域又は降雪地域を示す気象情報を取得し、
    前記気象情報に示される積雪地域内又は降雪地域内に自車両が位置する場合に前記画像を取得する、情報処理システム。
  3. 請求項１又は２に記載の情報処理システムであって、
    前記サーバは、前記情報提供において、前記１つ以上の道路の走行困難度を含む道路地図情報を前記クライアントに提供する、情報処理システム。
  4. サーバと通信可能な車両に、
    自車両の位置する道路を撮像した画像を取得する取得ステップと、
    積雪に起因する前記道路の走行困難度を前記画像から判定する判定ステップと、
    を実行させ、
    前記判定ステップにおいて、前記道路を走行中の他車両、前記道路上の路面標示、前記道路上の轍、及び、前記道路脇に積み上がっている雪の４つの検出対象のうち、少なくとも１つの検出対象が前記画像から検出された場合には、いずれの前記検出対象も検出されない場合よりも、前記道路の走行困難度が低いと判定する、プログラム。
  5. １つ以上の車両と、前記１つ以上の車両と通信可能なサーバと、を備える情報処理システムが実行する情報処理方法であって、
    前記車両が、自車両の位置する道路を撮像した画像を取得するステップと、
    前記車両又は前記サーバが、積雪に起因する前記道路の走行困難度を前記画像から判定する判定ステップと、
    前記サーバが、
    １つ以上の道路それぞれの走行困難度を記憶するステップと、
    記憶された前記１つ以上の道路それぞれの走行困難度を用いて、クライアントに対する情報提供を実施するステップと、
    を含み、
    前記判定ステップにおいて、前記車両又は前記サーバは、前記道路を走行中の他車両、前記道路上の路面標示、前記道路上の轍、及び、前記道路脇に積み上がっている雪の４つの検出対象のうち、少なくとも１つの検出対象が前記画像から検出された場合には、いずれの前記検出対象も検出されない場合よりも、前記道路の走行困難度が低いと判定する、情報処理方法。
JP2018238715A 2018-12-20 2018-12-20 情報処理システム、プログラム、及び情報処理方法 Active JP7103201B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018238715A JP7103201B2 (ja) 2018-12-20 2018-12-20 情報処理システム、プログラム、及び情報処理方法
US16/701,432 US11352011B2 (en) 2018-12-20 2019-12-03 Information processing system, program, and information processing method
CN201911284930.3A CN111354192A (zh) 2018-12-20 2019-12-13 信息处理系统、程序和信息处理方法
US17/661,194 US11938945B2 (en) 2018-12-20 2022-04-28 Information processing system, program, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018238715A JP7103201B2 (ja) 2018-12-20 2018-12-20 情報処理システム、プログラム、及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2020101924A JP2020101924A (ja) 2020-07-02
JP7103201B2 true JP7103201B2 (ja) 2022-07-20

Family

ID=71097356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018238715A Active JP7103201B2 (ja) 2018-12-20 2018-12-20 情報処理システム、プログラム、及び情報処理方法

Country Status (3)

Country Link
US (2) US11352011B2 (ja)
JP (1) JP7103201B2 (ja)
CN (1) CN111354192A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250029399A1 (en) * 2022-01-18 2025-01-23 SRD Korea Co., Ltd. Control system using road surface recognition of driving vehicle and method using the same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7251513B2 (ja) 2020-04-08 2023-04-04 トヨタ自動車株式会社 自動バレー駐車システム及びサービス提供方法
JP7579351B2 (ja) * 2021-03-31 2024-11-07 株式会社Subaru ナビゲーションシステム、サーバ装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017130871A (ja) 2016-01-22 2017-07-27 トヨタ自動車株式会社 車両用画像生成装置
WO2018051913A1 (ja) 2016-09-13 2018-03-22 パナソニックＩｐマネジメント株式会社 路面状態予測システム、運転支援システム、路面状態予測方法及びデータ配信方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000062019A1 (en) * 1999-04-07 2000-10-19 Mitsubishi Denki Kabushiki Kaisha Navigator
JP4296973B2 (ja) * 2004-03-19 2009-07-15 三菱ふそうトラック・バス株式会社 車両走行状態判定装置
EP2168079B1 (en) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Method and system for universal lane boundary detection
US9864957B2 (en) * 2007-06-29 2018-01-09 Concaten, Inc. Information delivery and maintenance system for dynamically generated and updated data pertaining to road maintenance vehicles and other related information
JP5905688B2 (ja) 2011-09-12 2016-04-20 矢崎エナジーシステム株式会社 車載積雪量測定装置
US8694246B2 (en) 2012-05-15 2014-04-08 Qualcomm Incorporated Methods and systems for displaying enhanced turn-by-turn guidance on a personal navigation device
US20140062725A1 (en) * 2012-08-28 2014-03-06 Commercial Vehicle Group, Inc. Surface detection and indicator
SI2757539T1 (sl) * 2013-01-22 2020-10-30 Klimator Ab Postopek in ureditev za zbiranje in obdelavo podatkov v zvezi s stanjem na cestah
KR101618551B1 (ko) * 2014-07-02 2016-05-09 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
JP6140658B2 (ja) * 2014-08-20 2017-05-31 株式会社Ｓｏｋｅｎ 走行区画線認識装置、走行区画線認識プログラム
DE112014006929B4 (de) * 2014-09-05 2023-03-02 Mitsubishi Electric Corporation Autonomes Fahrmanagementsystem, Server und autonomes Fahrmanagementverfahren
JP6408854B2 (ja) * 2014-10-14 2018-10-17 株式会社ブリヂストン 路面状態予測方法
JP6776513B2 (ja) * 2015-08-19 2020-10-28 ソニー株式会社 車両制御装置と車両制御方法と情報処理装置および交通情報提供システム
US10013617B2 (en) * 2015-12-03 2018-07-03 Gm Global Technology Operations Snow covered path of travel surface condition detection
US10324463B1 (en) * 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
SE539816C2 (en) * 2016-04-19 2017-12-05 Scania Cv Ab Method and control unit in a vehicle for estimating a stretch of a road based on a set of tracks of another vehicle
US9975547B2 (en) * 2016-08-03 2018-05-22 Ford Global Technologies, Llc Methods and systems for automatically detecting and responding to dangerous road conditions
US10133273B2 (en) * 2016-09-20 2018-11-20 2236008 Ontario Inc. Location specific assistance for autonomous vehicle control system
US10183677B2 (en) * 2016-09-20 2019-01-22 Ford Global Technologies, Llc Ice and snow detection systems and methods
JP6802035B2 (ja) * 2016-10-24 2020-12-16 株式会社日立製作所 画像処理装置、警告装置、画像処理システム、画像処理方法
CN107472253B (zh) * 2017-08-09 2019-06-07 纵目科技(厦门)有限公司 一种影像辨识检知路面湿滑的安全行车控制方法及其系统
JP7329755B2 (ja) * 2017-08-31 2023-08-21 パナソニックＩｐマネジメント株式会社 支援方法およびそれを利用した支援システム、支援装置
EP3454006A1 (en) * 2017-09-12 2019-03-13 Fundació Institut de Ciències Fotòniques A method, a system and a computer program for measuring a distance to a target
JP6617126B2 (ja) * 2017-09-15 2019-12-11 本田技研工業株式会社 走行制御システムおよび車両の制御方法
JP6592051B2 (ja) * 2017-09-25 2019-10-16 本田技研工業株式会社 車両制御装置
US10852746B2 (en) * 2018-12-12 2020-12-01 Waymo Llc Detecting general road weather conditions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017130871A (ja) 2016-01-22 2017-07-27 トヨタ自動車株式会社 車両用画像生成装置
WO2018051913A1 (ja) 2016-09-13 2018-03-22 パナソニックＩｐマネジメント株式会社 路面状態予測システム、運転支援システム、路面状態予測方法及びデータ配信方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250029399A1 (en) * 2022-01-18 2025-01-23 SRD Korea Co., Ltd. Control system using road surface recognition of driving vehicle and method using the same

Also Published As

Publication number Publication date
US11352011B2 (en) 2022-06-07
US20200198643A1 (en) 2020-06-25
US11938945B2 (en) 2024-03-26
CN111354192A (zh) 2020-06-30
US20220250627A1 (en) 2022-08-11
JP2020101924A (ja) 2020-07-02

Similar Documents

Publication Publication Date Title
CN105302152B (zh) 机动车辆无人驾驶飞机部署系统
US11453367B2 (en) Information processing system, program, and information processing method
JP6325806B2 (ja) 車両位置推定システム
CN111319560B (zh) 信息处理系统、程序和信息处理方法
JP4902575B2 (ja) 道路標示認識装置、および道路標示認識方法
JP2014122894A (ja) 車両のための装置及び方法、及び、その方法を実行するための命令を含む記憶媒体
JP2007108043A (ja) 位置測位装置、および位置測位方法
JP2008002906A (ja) 測位装置
US11938945B2 (en) Information processing system, program, and information processing method
CN114763164B (zh) 车辆控制系统和车辆控制方法
JP2022538097A (ja) ナビゲート可能なネットワークに関するユーザ提供データの収集
JP4350126B2 (ja) 経路案内システム及び方法
CN114973644A (zh) 道路信息生成装置
WO2019031582A1 (ja) 画像収集システム、画像収集方法、画像収集装置、記録媒体、および車両用通信装置
JP2018189457A (ja) 情報処理装置
CN115050203B (zh) 地图生成装置以及车辆位置识别装置
CN118486189A (zh) 一种车位推荐方法、装置、车辆及介质
JP2009500765A (ja) 交通情報を判定する方法及びその方法を実行するように構成された装置
CN111754799A (zh) 图像信息收集系统和车辆
JP5134608B2 (ja) 車両周辺表示装置、車両周辺表示方法およびプログラム
JP2019144041A (ja) 自己位置推定装置
JP4800252B2 (ja) 車載装置及び交通情報提示方法
JP2019179324A (ja) 対象駐車地点設定システムおよび対象駐車地点設定プログラム
JP2018055715A (ja) 車線認識装置、車線認識方法
CN114987531A (zh) 地图生成装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220620

R151 Written notification of patent or utility model registration

Ref document number: 7103201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151