Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7540424B2 - 表示システム、表示方法 - Google Patents
[go: Go Back, main page]

JP7540424B2 - 表示システム、表示方法 - Google Patents

表示システム、表示方法 Download PDF

Info

Publication number
JP7540424B2
JP7540424B2 JP2021183993A JP2021183993A JP7540424B2 JP 7540424 B2 JP7540424 B2 JP 7540424B2 JP 2021183993 A JP2021183993 A JP 2021183993A JP 2021183993 A JP2021183993 A JP 2021183993A JP 7540424 B2 JP7540424 B2 JP 7540424B2
Authority
JP
Japan
Prior art keywords
vehicle
reference deceleration
stopping position
display
braking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021183993A
Other languages
English (en)
Other versions
JP2023071314A (ja
Inventor
康佑 赤塚
理央 須田
隆史 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021183993A priority Critical patent/JP7540424B2/ja
Priority to CN202211291378.2A priority patent/CN116101171B/zh
Priority to US17/976,092 priority patent/US12332664B2/en
Publication of JP2023071314A publication Critical patent/JP2023071314A/ja
Application granted granted Critical
Publication of JP7540424B2 publication Critical patent/JP7540424B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20Control system inputs
    • G05D1/22Command input arrangements
    • G05D1/221Remote-control arrangements
    • G05D1/222Remote-control arrangements operated by humans
    • G05D1/224Output arrangements on the remote controller, e.g. displays, haptics or speakers
    • G05D1/2244Optic
    • G05D1/2247Optic providing the operator with simple or augmented images from one or more cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18109Braking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本開示は、車両の走行映像を表示装置に表示する技術に関する。
従来、車両に備えるカメラが撮像した映像を表示装置に表示するとともに、補助的な表示を重畳表示することで、円滑な運転操作をサポートする技術が考えられている。
例えば特許文献1には、駐車操作時に車両の後方をカメラにより撮像し、カメラからの映像を後方画像として車内に設けられた表示器に表示して、後方画像にステアリング舵角の状態により変化する走行予想軌跡を重ねて表示する駐車補助装置において、表示器には車両後方の距離の目安となる注意領域を重ねて表示する駐車補助装置が開示されている。
特開2004―262449号公報
遠隔運転システム等においては、車両のドライバは、実際に車両に乗車することなく表示装置に表示される走行映像を視認して運転操作を行うことが求められる。このような場合、ドライバは、距離感、速度感、加速度感等の運転感覚が希薄になる。特に、本開示に係る発明者らは、このような場合にドライバが車両を所望の停車位置で停車させようとするとき、所望の停車位置より過度に手前に停車してしまうという課題を確認している。
本開示の1つの目的は、所望の停車位置で適切に停車することを促すことが可能な表示システム及び表示方法を提供することにある。
第1の開示は、表示システムに関する。
第1の開示に係る表示システムは、車両の進行方向の走行映像を撮像するカメラと、表示装置と、所定の減速度を示す基準減速度を格納する1又は複数の記憶装置と、1又は複数のプロセッサと、を含む。
前記1又は複数のプロセッサは、前記車両の車速を取得する処理と、前記車速から前記基準減速度で制動する場合の停車位置を示す予想停車位置を算出する停車位置算出処理と、前記予想停車位置を前記走行映像に重畳して前記表示装置に表示させる処理と、を実行するように構成されている。
第2の開示は、第1の開示に係る表示システムに対して、さらに以下の特徴を有する表示システムに関する。
前記停車位置算出処理は、前記車速をv、前記基準減速度をa、及び定数をαとするとき、以下の式(1)で予想停車距離xを算出する処理と、前記車両から進行経路に沿って前記予想停車距離を進んだ位置を前記予想停車位置として算出する処理と、を含む。
Figure 0007540424000001
第3の開示は、第1又は第2の開示に係る表示システムに対して、さらに以下の特徴を有する表示システムに関する。
前記1又は複数のプロセッサは、前記走行映像に映る停止線を認識し、前記停止線の位置を算出する処理と、前記予想停車位置が前記停止線の位置より手前側である場合と前記予想停車位置が前記停止線の位置より奥側である場合で、前記予想停車位置の表示の形態を異ならせる処理と、をさらに実行するように構成されている。
第4の開示は、第1乃至第3のいずれか1つの開示に係る表示システムに対して、さらに以下の特徴を有する表示システムに関する。
前記1又は複数のプロセッサは、前記基準減速度の設定値の入力を受け付ける処理と、前記設定値に応じて前記1又は複数の記憶装置が格納する前記基準減速度を変更する処理と、をさらに実行するように構成されている。
第5の開示は、第1乃至第3のいずれか1つの開示に係る表示システムに対して、さらに以下の特徴を有する表示システムに関する。
前記1又は複数の記憶装置は、前記車両の特定のドライバに関する習熟度を示す習熟度情報を格納する。
前記1又は複数のプロセッサは、前記習熟度情報に基づいて、前記習熟度が高くなるに従って前記1又は複数の記憶装置が格納する前記基準減速度を大きくするように変更する処理をさらに実行するように構成されている。
第6の開示は、第1乃至第5のいずれか1つの開示に係る表示システムに対して、さらに以下の特徴を有する表示システムに関する。
前記基準減速度は、第1基準減速度と、前記第1基準減速度よりも所定値だけ小さい第2基準減速度と、前記第1基準減速度と前記第2基準減速度との間で変化する可変の第3基準減速度と、を含む。
前記1又は複数のプロセッサは、前記車両の制動状態情報を取得する処理と、前記制動状態情報から前記車両の制動開始を判断する処理と、前記制動開始の時点から、前記第2基準減速度を初期値として、経過時間又は前記制動状態情報に応じて前記第3基準減速度を前記第1基準減速度まで徐変させる処理と、をさらに実行するように構成されている。
前記停車位置算出処理は、前記制動開始の時点まで、前記第2基準減速度に基づいて前記予想停車位置を算出する処理と、前記制動開始の時点から前記第3基準減速度が前記第1基準減速度に達するまで、前記第3基準減速度に基づいて前記予想停車位置を算出する処理と、前記第3基準減速度が前記第1基準減速度に達した後、前記第1基準減速度に基づいて前記予想停車位置を算出する処理と、を含む。
第7の開示は、カメラにより撮像された車両の進行方向の走行映像を表示装置に表示する表示方法に関する。
第7の開示に係る表示方法は、前記車両の車速から所定の減速度を示す基準減速度で制動する場合の停車位置を示す予想停車位置を算出することと、前記予想停車位置を前記走行映像に重畳して前記表示装置に表示させることと、を含む。
第8の開示は、第7の開示に係る表示方法に対して、さらに以下の特徴を有する表示方法に関する。
前記予想停車位置を算出することは、前記車速をv、前記基準減速度をa、及び定数をαとするとき、以下の式(1)で予想停車距離xを算出することと、前記車両から進行経路に沿って前記予想停車距離を進んだ位置を前記予想停車位置として算出することと、を含む。
Figure 0007540424000002
第9の開示は、第7又は第8の開示に係る表示方法に対して、さらに以下の特徴を有する表示方法に関する。
第9の開示に係る表示方法は、前記走行映像に映る停止線を認識し、前記停止線の位置を算出することと、前記予想停車位置が前記停止線の位置より手前側である場合と、前記予想停車位置が前記停止線の位置より奥側である場合で、前記予想停車位置の表示の形態を異ならせることと、をさらに含む。
第10の開示は、第7乃至第9のいずれか1つの開示に係る表示方法に対して、さらに以下の特徴を有する表示方法に関する。
第10の開示に係る表示方法は、前記基準減速度の設定値の入力を受け付けることと、前記設定値に応じて前記基準減速度を変更することと、をさらに含む。
第11の開示は、第7乃至第9のいずれか1つの開示に係る表示方法に対してさらに以下の特徴を有する表示方法に関する。
第11の開示に係る表示方法は、前記車両の特定のドライバに関する習熟度を示す習熟度情報を管理することと、前記習熟度情報に基づいて、前記習熟度が高くなるに従って前記基準減速度を大きくするように変更することと、をさらに含む。
第12の開示は、第7乃至第11のいずれか1つの開示に係る表示方法に対して、さらに以下の特徴を有する表示方法に関する。
前記基準減速度は、第1基準減速度と、前記第1基準減速度よりも所定値だけ小さい第2基準減速度と、前記第1基準減速度と前記第2基準減速度との間で変化する可変の第3基準減速度とを含む。
第12の開示に係る表示方法は、前記車両の制動状態情報を取得することと、前記制動状態情報から前記車両の制動開始を判断することと、前記制動開始の時点から、前記第2基準減速度を初期値として、経過時間又は前記制動状態情報に応じて前記第3基準減速度を前記第1基準減速度まで徐変させることと、をさらに含む。
前記予想停車位置を算出することは、前記制動開始の時点まで、前記第2基準減速度に基づいて前記予想停車位置を算出することと、前記制動開始の時点から前記第3基準減速度が前記第1基準減速度に達するまで、前記第3基準減速度に基づいて前記予想停車位置を算出することと、前記第3基準減速度が前記第1基準減速度に達した後、前記第1基準減速度に基づいて前記予想停車位置を算出することと、を含む。
本開示によれば、予想停車位置が進行方向の走行映像に重畳して表示される。また予想停車位置は、車両の車速から基準減速度で制動する場合の停車位置である。これにより、ドライバが車両を所望の停車位置で停車させようとするとき、所望の停車位置で適切に停車することを促すことができる。特に、ドライバが実際に乗車することなく表示装置に表示される走行映像を視認して運転を行う場合に、所望の停車位置より過度に手前に停車してしまうという課題を解消することができる。
ドライバが実際に車両に乗車することなく表示装置に表示される走行映像を視認して運転操作を行う場合であって車両を停止線で停車させようとする場合の典型的な車両の減速度の例を示すグラフである。 第1実施形態に係る表示システムによるAR表示機能について説明するためのブロック図である。 図2に示す予想停車位置演算処理部において算出する車両の予想停車位置の例を示す概念図である。 進行経路が旋回経路である場合の車両の予想停車位置の例を示す概念図である。 図2に示す座標変換処理部において算出する予想停車位置の例を示す概念図である。 第1実施形態に係る表示システムにより実現される車両の進行方向の走行映像の例を示す概念図である。 予想停車位置のAR表示機能による第1の効果について説明するための概念図である。 予想停車位置のAR表示機能による第2の効果について説明するための概念図である。 予想停車位置のAR表示機能により課題が解消することを説明するための概念図である。 予想停車位置のその他の表示の形態の例を示す概念図である。 第1実施形態に係る表示システムの概略構成を示すブロック図である。 第1実施形態に係る表示システムにより実現される表示方法を示すフローチャートである。 第1実施形態の実施例を示すグラフである。 特定のドライバが運転操作を行う場合について基準減速度の設定値が異なる3つの第1実施形態の実施例を示すグラフである。 第2実施形態に係る表示システムの概略構成を示すブロック図である。 第2実施形態において習熟度に対して基準減速度を与えるマップの例である。 第3実施形態における第3基準減速度の例を示すグラフである。 第3実施形態において1又は複数のプロセッサが実行する処理により与えられる第3基準減速度113cのマップの例である。
以下、図面を参照して本開示の実施形態について説明する。ただし、以下に示す実施の形態において各要素の個数、数量、量、範囲などの数に言及した場合、特に明示した場合や原理的に明らかにその数が特定される場合を除いて、その言及した数に、本開示に係る思想が限定されるものではない。また、以下に示す実施の形態において説明する構成等は、特に明示した場合や原理的に明らかにそれに特定される場合を除いて、本開示に係る思想に必ずしも必須のものではない。なお、各図中、同一又は相当する部分には同一の符号を附しており、その重複説明は適宜に簡略化ないし省略する。
1.第1実施形態
1-1.導入
車両を停止線等の所望の停車位置で停車させようとするとき、車両のドライバによる運転操作は、次のように行われると考えることができる。まずドライバは、制動の開始を判断する。このとき、ドライバは、所定の減速度で制動を行うことを想定して制動距離を予想し、現在位置から停車位置までの残りの距離に応じて制動の開始を判断するだろう。次にドライバは、車両を所定の減速度とするように運転操作(典型的には、ブレーキペダルの踏み込み)を行う。このとき、ドライバは、進行方向の景色の目視や自身にかかるGから車両の減速度を確認しながら運転操作を行うだろう。最後にドライバは、車両を停車位置に合わせるように停車させる。このとき、ドライバは、車両が停車位置において停車するように車両の減速度を確認しながら運転操作を行うだろう。
ところで、遠隔運転システム等においては、車両のドライバは、実際に車両に乗車することなく表示装置に表示される走行映像を視認して運転操作を行うこととなる。本開示に係る発明者らは、このような場合にドライバが車両を所望の停車位置で停車させようとするとき、所望の停車位置より過度に手前に停車してしまうという課題を確認している。
図1は、ドライバが実際に車両に乗車することなく表示装置に表示される走行映像を視認して運転操作を行う場合であって、車両を停止線で停車させようとする場合の典型的な車両の減速度の例を示すグラフである。図1には、比較として、車両に乗車するドライバが車両を停止線で停車させようとする場合の典型的な車両の減速度の例(点線)についても同様に示してある。図1は、車両の位置に対する車両の減速度を示している。ここで、図1において、縦軸は減速度の大きさ(絶対値)を示す。また、図1には、停止線の位置(破線)が示されている。
図1に示すように、走行映像を視認して行う運転操作では、車両は停止線より過度に手前で停車している。これは、ドライバが実際に車両に乗車することなく表示装置に表示される走行映像を視認して運転操作を行う場合、運転感覚(距離感、速度感、加速度感)が希薄となるためであると考えられる。図1に示す例では、走行映像を視認して行う運転操作において、過剰な減速度が生じており、また減速度が安定していない。また、走行映像を視認して行う運転操作では、制動の開始のタイミングが定まらない傾向がある。
第1実施形態に係る表示システムは、上記の課題に対処するため、車両を停車させる場合の予想停車位置を走行映像に重畳して表示する。また、予想停車位置の与え方に特徴を有している。以下、第1実施形態に係る表示システムの概要について説明する。
1-2.概要
第1実施形態に係る表示システムは、車両の走行映像を表示装置に表示する機能を提供する。ここで、車両の走行映像は、車両の進行方向の走行映像を含み、車両に備えるカメラにより撮像される。特に第1実施形態に係る表示システムは、車両の予想停車位置を進行方向の走行映像に重畳して表示する。車両の予想停車位置の表示は、AR(Augmented Reality)表示の1つである。以下、車両の予想停車位置を走行映像に重畳して表示する機能を「AR表示機能」とも称する。このような表示システムは、表示装置に表示される走行映像を視認して運転操作を行うこととなる遠隔運転システムにおいて採用されることが考えられる。
図2は、第1実施形態に係る表示システムによるAR表示機能について説明するためのブロック図である。AR表示機能は、予想停車位置演算処理部121と、座標変換処理部122と、描画処理部123と、により構成される。
まず予想停車位置演算処理部121において、車両の走行状態情報、車両諸元情報、及び所定の減速度を示す基準減速度を取得し、車両の予想停車位置を算出する。ここで、基準減速度は、所定値であり、記憶装置に格納され管理される。また車両の走行状態情報は、少なくとも車両の現在の車速を含んでいる。その他、車両の走行状態情報として、加減速度、操舵角が例示される。車両諸元情報として、車両重量、スタビリティファクタ、コーナリングパワー、ホイールベース、ステアリングギヤ比が例示される。
予想停車位置演算処理部121において、車両の予想停車位置は、空間座標における表現(空間座標表現)が処理結果として与えられる。図3に、予想停車位置演算処理部121において算出する車両1の予想停車位置2の例を示す。図3に示す例では、空間座標は、2次元の直交座標である。従って、予想停車位置2は、2次元座標(x,y)によって表現される。図3に示すように、予想停車位置2は、車両1から進行経路3に沿ってx(予想停車距離)進んだ位置である。ここで、車両1が操舵される場合は、進行経路3は、旋回経路であって良い。この場合、進行経路3は、走行状態情報及び車両諸元情報から算出することができる。図4に、進行経路3が旋回経路である場合の車両1の予想停車位置2の例を示す。
予想停車位置演算処理部121において算出される予想停車位置2は、現在の車両1の車速から基準減速度で制動する場合の停車位置であることを特徴とする。つまり、予想停車距離xは、基準減速度での制動距離である。従って、車両1の現在の車速をv、基準減速度をa(<0)とするとき、予想停車距離xを以下の式(1)で算出する。なお、αは定数であり、典型的には-1/2である。ただし、環境に応じて調整されるパラメータであっても良い。
Figure 0007540424000003
再度図2を参照する。次に座標変換処理部122において、走行映像を撮像するカメラの諸元情報(カメラ諸元情報)に基づいて、予想停車位置演算処理部121において算出した予想停車位置2の座標変換を行い、予想停車位置2の画面座標における表現(画面座標表現)を算出する。ここでカメラ諸元情報として、カメラの設置位置、設置角度、画角が例示される。また画面座標とは、カメラが撮像する画像上の位置を与えるものであり、空間座標の位置と対応するように画面座標の位置を与えることができる。
図5に、座標変換処理部122において算出する予想停車位置2の例を示す。図5は、図3に示す予想停車位置2の空間座標表現と対応する予想停車位置2の画面座標表現を示している。
再度図2を参照する。次に描画処理部123において、座標変換処理部122において算出した予想停車位置2を表示装置にAR表示するための表示信号を生成する。描画処理部123において生成した表示信号に従って表示装置が表示を行うことで、予想停車位置2のAR表示が実現される。
図6に、第1実施形態に係る表示システムにより実現される車両1の進行方向の走行映像4の例を示す。図6は、車両1が停止線5の手前を走行する状況での走行映像4を示している。なお、図6に示す走行映像4の例では、進行経路3についてもAR表示が行われている。この場合、座標変換処理部122及び描画処理部123において、進行経路3について座標変換及び表示信号の生成が行われる。進行経路3のAR表示をあわせて行うことで、予想停車位置2の視認性を向上させることができる。
以上説明したように、第1実施形態に係る表示システムでは、予想停車位置2が進行方向の走行映像4に重畳して表示される。また第1実施形態に係る表示システムでは、予想停車位置2は、現在の車両1の車速から所定の減速度を示す基準減速度で制動する場合の停車位置であることを特徴とする。これにより、ドライバが実際に車両に乗車することなく表示装置に表示される走行映像4を視認して運転操作を行う場合であっても、所望の停車位置より過度に手前に停車してしまうという課題を解消することが可能な効果を奏することができる。以下、予想停車位置2のAR表示機能による効果について説明する。
予想停車位置2のAR表示機能による第1の効果は、ドライバが制動の開始のタイミングを把握することができることにある。図7は、予想停車位置2のAR表示機能による第1の効果について説明するための概念図である。図7は、ドライバが車両1を停止線5で停車させようとする場合を示しており、予想停車位置2と停止線5の位置関係が異なる3つの状況(A)、(B)、及び(C)を示している。
予想停車位置2がAR表示されることにより、ドライバは、基準減速度での制動距離と、現在位置から停止線5までの残りの距離との差を確認することができる。延いては、ドライバは、図7の(B)に示すように予想停車位置2が停止線5の近傍となる状況を制動開始のタイミングとして把握することができる。また、図7の(A)に示す状況では、まだ制動を開始する必要がないこと、あるいは制動の開始が早いことを把握することができ、図7の(C)に示す状況では、制動を直ちに開始すべきこと、あるいは制動の開始が遅れていることを把握することができる。
予想停車位置2のAR表示機能による第2の効果は、ドライバが車両1の現在の減速度と基準減速度との差を把握することができることにある。図8は、予想停車位置2のAR表示機能による第2の効果について説明するための概念図である。図8の(A)は、車両1の現在の減速度が基準減速度よりも絶対値が大きい場合の例を示し、図8の(B)は、車両1の現在の減速度が基準減速度よりも絶対値が小さい場合の例を示している。以下、車両1の減速度と基準減速度の関係についての「大きい」又は「小さい」は、絶対値についてであるとする。
図8の(A)に示すように、車両1の現在の減速度が基準減速度よりも大きいとき、予想停車位置2は、車両1に近づくように表示される。一方で、図8の(B)に示すように、車両1の現在の減速度が基準減速度よりも小さいとき、予想停車位置2は、車両1から遠ざかるように表示される。つまり、予想停車位置2の表示が動かずに維持されるとき、車両1の減速度が基準減速度であることを示す。このように、ドライバは、予想停車位置2の表示の動きから、車両1の現在の減速度と基準減速度との差を把握することができる。延いては、ドライバは、予想停車位置2の表示を確認することで車両1の減速度を基準減速度とするように運転操作を行うことができる。
なお、空間座標表現での予想停車位置2の近づく又は遠ざかる速さは、以下の式(2)で表すことができる。ここで、a(<0)は、車両1の現在の減速度である。式(2)は、予想停車位置2に近づく方向を正としている。式(2)を参照することによっても、車両1の現在の減速度が基準減速度よりも小さいときに予想停車位置2が近づくこと、及び車両1の現在の減速度が基準減速度よりも大きいときに予想停車位置2が遠ざかることがわかる。
Figure 0007540424000004
以上説明した第1の効果及び第2の効果を奏することにより、ドライバが車両1を所望の停車位置で停車させようとする場合に所望の停車位置より過度に手前に停車してしまうという課題を解消することが可能である。図9を参照して、課題が解消することについて説明する。図9において、所望の停車位置は停止線5である。
まず第1の効果により、ドライバは、予想停車位置2が停止線5の近傍となる状況で制動開始のタイミングとすることができる。これは、基準減速度で車両1の制動を行えば、停止線5の近傍で車両1を停車させることができることを意味する。つまり制動開始の後、ドライバは、車両1の減速度を基準減速度とするように運転操作を行えば、停止線5の近傍で車両1を停車させることができる。
そこで、次に第2の効果により、ドライバは、予想停車位置2の表示を確認することで車両1の減速度を基準減速度とするように運転操作を行うことができる。つまり、ドライバは、図9の(A)に示すように、予想停車位置2が停止線5の近傍に維持されるように運転操作を行うことができる。これにより、停止線5の近傍で車両1を停車させることができる。
ただしドライバの運転操作の状況や運転操作の遅れによっては、制動開始の後、図9の(B)又は(C)に示す状況となる場合が考えられる。この場合であっても、ドライバは、予想停車位置2の表示を確認することで、予想停車位置2が停止線5の近傍となるように運転操作を行うことができる。例えば、図9の(B)に示す状況では、ドライバは、車両1の制動を緩めて(典型的には、ブレーキペダルの操作量を減らす)車両1の減速度を基準減速度よりも小さくすれば良いことを把握できる。これにより、予想停車位置2が車両1から遠ざかるように動き、予想停車位置2を停止線5の近傍とすることができる。一方で、図9の(C)に示す状況では、ドライバは、車両1の制動を強めて(典型的には、ブレーキペダルの操作量を増やす)車両1の減速度を基準減速度よりも大きくすれば良いことを把握できる。これにより、予想停車位置2が車両1から近づくように動き、予想停車位置2を停止線5の近傍とすることができる。なお、予想停車位置2が停止線5の近傍となるように運転操作を行った後は、予想停車位置2が停止線5の近傍に維持されるように運転操作を行うことで、停止線5の近傍で車両1を停車させることができる。
このように、第1実施形態に係る予想停車位置2のAR表示機能により、所望の停車位置より過度に手前に停車してしまうという課題を解消することができる。
ところで、予想停車位置2は、基準減速度を現在の車両1の減速度として与えることもできるように思える。しかしながら、基準減速度の代わりに現在の車両1の減速度を用いると、車両1の制動が開始されるまで予想停車位置2が表示されないこととなる。つまり、第1の効果を奏することができなくなる。また、第2の効果においても、予想停車位置2の動きがジャークに影響して過敏となる。延いては、予想停車位置2の動きに応じた運転操作が困難となってしまう。
また、AR表示の別の形態として、現在の車両1の車速による所定時間後の車両1の位置をAR表示することも考えられる。このようにAR表示を与えることによっても第1の効果を奏することは可能である。しかしながら、このようなAR表示では、ドライバは車両1の減速度を把握することができず(第2の効果を奏しない)、予想停車位置2のAR表示を停止線5の近傍となるように運転操作を行うことが困難となる。延いては、停車位置の精度が低下してしまう。
このように、予想停車位置2を現在の車両1の車速から基準減速度で制動する場合の停車位置としてAR表示することで、第1の効果及び第2の効果を十分に奏することができるのである。
なお、予想停車位置2の表示の形態は、その他の形態を採用しても良い。図10は、予想停車位置2のその他の表示の形態の例を示す概念図である。図10には、予想停車位置2の表示のその他の形態として(A)及び(B)の2つの例を示している。図10の(A)は、予想停車位置2を、車両1の長さに合わせた枠とする場合である。このようにAR表示を行うことで、予想停車位置2での車体全体の位置を確認することができる。図10の(B)は、予想停車位置2のAR表示と併せて、予想停車位置2に至るまでの進行経路3上に所定の間隔毎に車幅線6を表示する場合である。このようにAR表示を行うことで、ドライバは走行映像上の距離のスケールを確認することができる。延いては、ドライバの距離感を向上させることができる。
このようなAR表示は、表示の形態に応じた予想停車位置2の空間座標表現を算出するように予想停車位置演算処理部121を構成することで実現することができる。
1-3.表示システム
以下、第1実施形態に係る表示システムの構成について説明する。図11は、第1実施形態に係る表示システム10の概略構成を示すブロック図である。表示システム10は、情報処理装置100と、カメラ200と、走行状態検出センサ300と、表示装置400と、入力装置500と、を含んでいる。情報処理装置100は、カメラ200、走行状態検出センサ300、表示装置400、及び入力装置500と互いに情報を伝達することができるように接続されている。例えば、ケーブルを介した電気的接続、光通信回線を介した接続、無線通信端末を介した無線通信による接続等が挙げられる。なお、情報の伝達は、中継する装置を介して間接的に行われても良い。
カメラ200は、車両1に備えられ、車両1の走行映像を撮像する。カメラ200が撮像した走行映像は、情報処理装置100に伝達される。
走行状態検出センサ300は、車両1の走行状態情報を検出し検出情報を出力するセンサである。走行状態検出センサ300は、少なくとも車両1の車速を検出するセンサ(例えば、車輪速センサ)を含んでいる。その他、走行状態検出センサ300として、車両1の加減速度を検出するGセンサ、車両1の操舵角を検出する舵角センサ等が例示される。検出情報は、情報処理装置100に伝達される。
情報処理装置100は、取得する情報に基づいて、表示装置400の表示を制御する表示信号を出力するコンピュータである。情報処理装置100は、機能の1つとして表示信号を出力するコンピュータであっても良い。例えば、情報処理装置100は、遠隔運転装置に備えられ、遠隔運転に係る処理を実行するコンピュータであっても良い。
情報処理装置100は、1又は複数の記憶装置110と、1又は複数のプロセッサ120と、を備えている。
1又は複数の記憶装置110は、1又は複数のプロセッサ120によって実行可能な制御プログラム111と、1又は複数のプロセッサ120が実行する処理に必要な制御情報112と、を格納している。1又は複数の記憶装置110として、揮発性メモリ、不揮発性メモリ、HDD、SSD等が例示される。情報処理装置100が取得する情報は、制御情報112として記憶装置110に格納される。
制御プログラム111には、表示装置400に走行映像4を表示する表示信号を生成するプログラムと、表示装置400に予想停車位置2をAR表示する表示信号を生成するプログラムと、が含まれる。
制御情報112は、少なくとも基準減速度113を含んでいる。その他、制御情報112として、カメラ200から取得する走行映像4、走行状態検出センサ300から取得する検出情報、車両1の車両諸元情報、カメラ200のカメラ諸元情報、制御プログラム111に係るパラメータ情報が例示される。
1又は複数のプロセッサ120は、1又は複数の記憶装置110から制御プログラム111及び制御情報112を読み出し、制御情報112に基づいて制御プログラム111に従う処理を実行する。これにより、走行映像を表示する表示信号、及び予想停車位置2をAR表示する表示信号が生成される。つまり、1又は複数のプロセッサ120により、予想停車位置演算処理部121、座標変換処理部122、及び描画処理部123の各々が実現される。
なお、1又は複数の記憶装置110は、情報処理装置100の外部の装置として構成することも可能である。例えば、1又は複数の記憶装置110は、通信ネットワーク上に構成されたデータサーバである。この場合、情報処理装置100は、通信ネットワークを介した通信により1又は複数の記憶装置110が格納する情報を取得することができるように構成されていれば良い。
表示装置400は、情報処理装置100から取得する表示信号に従って表示を行う。表示装置400は、例えば、遠隔運転システムにおいてコックピットに備えられるモニタである。表示装置400が表示信号に従って表示を行うことで、走行映像4の表示、及び予想停車位置2のAR表示が実現される。
入力装置500は、ユーザの操作を受け付け、操作に応じた操作情報を出力する装置である。入力装置500として、タッチパネル、キーボード、スイッチ等が例示される。あるいは、遠隔運転システムにおいてコックピットに備えられる操作盤である。また、入力装置500は、表示装置400と一体的に構成されていても良い。操作情報は、情報処理装置100に伝達される。情報処理装置100において1又は複数のプロセッサ120が操作情報に応じた処理を実行することで、ユーザによる設定変更(例えば、走行映像を表示するカメラの変更や表示形態の変更)や処理のパラメータ変更(例えば、車両諸元情報やカメラ諸元情報の変更)等が実現される。
特に入力装置500は、基準減速度113の設定値を入力することができるように構成される。設定値の入力の形式は、表示システム10を適用する環境に応じて好適に与えられて良い。例えば、基準減速度113の値について任意に入力する形式であっても良いし、いくつかの設定値の選択肢から選択する形式であっても良い。そして、1又は複数のプロセッサ120は、基準減速度113の設定値の入力を受け付け、入力された設定値に応じて1又は複数の記憶装置110が格納する基準減速度113を変更する処理を実行するように構成されている。これにより、ドライバの好みや適性に応じて基準減速度113を設定することができる。
1-4.表示方法
以下、第1実施形態に係る表示システム10により実現される表示方法について説明する。図12は、第1実施形態に係る表示システム10により実現される表示方法を示すフローチャートである。図12に示すフローチャートは、所定の周期で繰り返され、各処理は、所定の周期毎に実行される。
ステップS100において、情報処理装置100は、カメラ200が撮像する走行映像4と、走行状態検出センサ300により検出される検出情報(車両1の車速を含む)と、を取得する。
ステップS200(停車位置算出処理)において、1又は複数のプロセッサ120は、予想停車位置2を算出する。ここで、1又は複数のプロセッサ120は、ステップS100において取得した車速と1又は複数の記憶装置110が格納する基準減速度113から式(1)により予想停車距離xを算出する。そして、車両1から進行経路3に沿って予想停車距離を進んだ位置を予想停車位置2として算出する。なお、進行経路3は、検出情報及び車両諸元情報から算出される。例えば、車両1が操舵される場合、進行経路3は定常円旋回軌跡で与えることができる。車両1が操舵されていない場合は、進行経路3は車両1の前方に直進する経路であって良い。
ステップS300において、1又は複数のプロセッサ120は、ステップS200において算出した予想停車位置2の座標変換を行い、予想停車位置2の画面座標表現を算出する。
ステップS400において、1又は複数のプロセッサ120は、走行映像4を表示する表示信号、及びステップS300において算出した予想停車位置2をAR表示する表示信号を生成する。そして、情報処理装置100は、生成した表示信号を出力し、表示装置400が表示信号に従って表示を行う。
1-4.効果
以上説明したように、第1実施形態によれば、予想停車位置2が進行方向の走行映像4に重畳して表示される。また予想停車位置2は、現在の車両1の車速から基準減速度113で制動する場合の停車位置である。これにより、ドライバが車両1を所望の停車位置で停車させようとするとき、所望の停車位置で適切に停車することを促すことができる。特に、ドライバが実際に乗車することなく表示装置に表示される走行映像4を視認して運転操作を行う場合に、所望の停車位置より過度に手前に停車してしまうという課題を解消することができる。
図13に、第1実施形態の実施例を示す。図13は、図1と同様のグラフを示している。なお、図13は、基準減速度113を0.15G(1.5m/s)としたときの実施例である。図13に示すように、第1実施形態に係る予想停車位置2のAR表示を行うことで、停止線5より過度に手前に停車してしまうという課題を解消できることがわかる。また、車両に乗車して行う運転操作と比較しても、ドライバはより停止線5の近くに車両1を停車させることができることが期待できる。
さらに、第1実施形態によれば、基準減速度113の設定値の入力を受け付け、入力された設定値に応じて基準減速度113が変更される。
本開示に係る発明者らは、ドライバに応じて基準減速度113の設定値が運転操作に影響することを見出している。図14に、特定のドライバが運転操作を行う場合について、基準減速度113の設定値が異なる3つの第1実施形態の実施例(0.1G、0.15G、0.2G)を示す。図14の(A)は、図1と同様のグラフを示している。図14の(B)は、基準減速度113の設定値が異なるそれぞれについての複数回の実施に対して、停止線5の位置に対する残距離(停止線5より手前にあるときを正)を示している。図14の(A)に示すように、基準減速度113の設定値が運転操作に影響していることがわかる。また図14の(B)に示すように、基準減速度113の設定値が停車位置の精度(残距離)に影響している。
このように、基準減速度113を設定することができることにより、ドライバの好みや適性に対応することができる。
1-5.変形例
第1実施形態は、以下のように変形した態様を採用しても良い。
1-5-1.第1変形例
予想停車位置2が停止線5の位置より手前側である場合(図7の(B)に示す場合)と予想停車位置2が停止線の位置より奥側である場合(図7の(C)に示す場合)で、予想停車位置2の表示の形態が異なるように構成されていても良い。
例えば、予想停車位置2が停止線5の位置より手前側である場合は、予想停車位置2の色を赤色等の強調色とする。その他、予想停車位置2の模様、形状を異なるようにすることが考えられる。さらに、予想停車位置2が停止線5の位置より奥側となるときにブザーを鳴らす等、音による通知を行うように構成しても良い。
第1変形例に係る表示システム10は、1又は複数のプロセッサ120を、走行映像4に映る停止線5を認識し、停止線5の位置を算出する処理と、予想停車位置2が停止線5の位置より手前側である場合と予想停車位置2が停止線5の位置より奥側である場合で、予想停車位置2の表示の形態を異ならせる処理と、をさらに実行するように構成することで実現することができる。ここで、走行映像4に映る停止線5の認識及び停止線5の位置の算出は、例えば、画像認識技術により実現される。
第1変形例を採用することで、ドライバが制動開始のタイミングをより把握しやすくすることができる。
1-5-2.第2変形例
1又は複数のプロセッサ120は、車両1の積載物や乗員の乗車の形態を入力として受け付け、入力された車両1の積載物や乗員の乗車の形態に応じて1又は複数の記憶装置110が格納する基準減速度113を変更する処理を実行するように構成されていても良い。ここで、車両1の積載物や乗員の乗車の形態の入力とは、例えば、精密機器や壊れモノ等が積載されていることや乗員が立ち乗りであることについてである。また、入力は、入力装置500の操作により実現される。あるいは、車両1の車内を撮像するカメラによる画像認識から、車両1の積載物や乗員の乗車の形態を取得するように構成されていても良い。
1又は複数のプロセッサ120は、例えば、精密機器や壊れモノが積載されているとき、基準減速度113を小さくするように変更する。また、乗員が立ち乗りであるとき、基準減速度113を小さくするように変更する。これにより、図14に示すように、車両1の制動における減速度を緩やかにすることができる。延いては、車両1の積載物が精密機器や壊れモノであるときに積載物を適切に保護することができる。また、車両1の乗員が立ち乗りであるときに、乗員の状態を安定にすることができる。
2.第2実施形態
以下、第2実施形態について説明する。以下の説明では、第1実施形態の相違について説明し、第1実施形態と重複する内容については適宜省略している。
図15は、第2実施形態に係る表示システム10の概略構成を示すブロック図である。第2実施形態に係る表示システム10では、1又は複数の記憶装置110は、制御情報112として習熟度情報114を格納し管理している。習熟度情報114は、特定のドライバに関する習熟度を示す情報である。習熟度は、例えば、累積走行距離や運転技能を指標とする。より具体的には、累積走行距離が長いほど習熟度を高いとする、あるいは運転中に検出される横Gや前後G等から運転技能を評価し(Gの変動が小さいほど運転技能を高いとする等)運転技能が高いほど習熟度を高いとする。なお、1又は複数の記憶装置110は、複数のドライバの各々に関する習熟度情報114を格納し管理しても良い。
第2実施形態に係る1又は複数のプロセッサ120は、習熟度情報114に基づいて、習熟度が高くなるに従って1又は複数の記憶装置110が格納する基準減速度113を大きくするように変更する処理を実行する。1又は複数のプロセッサ120は、例えば、習熟度に対して基準減速度113を与えるマップに従って基準減速度113を変更する処理を実行する。図16に、習熟度に対して基準減速度113を与えるマップの例を示す。図16に示すマップに従って基準減速度113を変更する処理を実行するとき、習熟度がS1からS2(>S1)まで高くなるに従って基準減速度113をa1からa2まで単調に大きくなる。一方で、習熟度がS1となるまで基準減速度113はa1となり、習熟度がS2となった以降基準減速度113はa2となる。
図16に示すマップは一例であり、第2実施形態に係る表示システム10を適用する環境に応じて好適なマップを採用しても良い。例えば、習熟度が高くなるに従って基準減速度113を非線形に大きくするマップを採用しても良い。あるいは、習熟度が高くなるに従って基準減速度113を段階的に不連続に大きくするマップを採用しても良い。
なお、習熟度情報114が複数のドライバの各々に関して管理される場合、1又は複数の記憶装置110は、複数のドライバの各々に関して基準減速度113を管理し、1又は複数のプロセッサ120は、複数のドライバの各々に関して基準減速度113を変更する処理を実行するように構成されて良い。
基準減速度113は、小さくするほど、車両1が停止線5の近傍に至るまでの時間的余裕が長くなることになる。このため、習熟度が低いドライバは、基準減速度113が小さくする方を好み、習熟度が高いドライバは、基準減速度113が高くなる方を好む傾向にある。このため、第2実施形態を適用することにより、ドライバの習熟度に応じた適切な基準減速度113を与えることができる。
3.第3実施形態
以下、第3実施形態について説明する。以下の説明では、第1実施形態の相違について説明し、第1実施形態と重複する内容については適宜省略している。
第3実施形態では、基準減速度113は、第1基準減速度113aと、第1基準減速度113aより所定値だけ小さい第2基準減速度113bと、第1基準減速度113aと第2基準減速度113bとの間で変化する可変の第3基準減速度113cと、を含んでいる(図17を参照)。第1基準減速度113a及び第2基準減速度113b(又は所定値)は、第3実施形態に係る表示システム10を適用する環境に応じて好適な値が与えられていて良い。ただし、第1基準減速度113a及び第2基準減速度113b(又は所定値)は、入力装置500の操作により設定することができるように構成されていても良い。第3基準減速度113cは、1又は複数のプロセッサによる処理の実行により変化する。また、情報処理装置100は、車両1の制動状態を示す制動状態情報を取得することができるように構成される。制動状態情報として、ストップランプスイッチのオンオフ状態、ブレーキペダルの踏み込み量等が例示される。これらは、走行状態検出センサ300の検出情報として与えられて良い。あるいは、車両1から通信により取得するように構成されていても良い。
第3実施形態では、1又は複数のプロセッサ120は、制動状態情報から車両1の制動開始を判断する処理を実行する。例えば、ストップランプスイッチがオンとなったことやブレーキペダルの踏み込みが検出されたことから車両1の制動開始を判断する。そして、1又は複数のプロセッサ120は、制動開始の時点から、第2基準減速度113bを初期値として、制動の経過に応じて第3基準減速度113cを第1基準減速度113aまで徐変させる処理を実行する。ここで、制動の経過は、制動開始の時点からの経過時間により判断することができる。つまり、経過時間が大きいほど制動が経過していると判断する。あるいは、制動状態情報から制動の経過を判断しても良い。例えば、制動開始の時点からのブレーキペダルの踏み込み量の積算値が大きいほど制動が経過していると判断する。図18に、1又は複数のプロセッサ120が実行する処理により与えられる第3基準減速度113cのマップの例を示す。図18に示す例では、第3基準減速度113cは、第2基準減速度113bを初期値として、制動の経過に従って第1基準減速度113aまで単調に増加している。ただし、図18に示す第3基準減速度113cは一例であり、第3実施形態に係る表示システム10を適用する環境に応じて好適なマップを採用しても良い。例えば、第3基準減速度113cが制動の経過に従って第1基準減速度113aまで非線形に増加するマップを採用しても良い。あるいは、第3基準減速度113cが制動の経過に従って第1基準減速度113aまで段階的に不連続に増加するマップを採用しても良い。
第3実施形態では、停車位置算出処理(図12のステップS200)において、1又は複数のプロセッサ120は、制動開始の時点までは、第2基準減速度113bに基づいて予想停車位置2を算出する。一方で、制動開始の時点から、第3基準減速度113cが第1基準減速度113aに達するまで、第3基準減速度113cに基づいて予想停車位置2を算出する。そして、第3基準減速度113cが第1基準減速度113aに達した後、第1基準減速度113aに基づいて予想停車位置2を算出する。
図14に示すように、基準減速度113が大きくなると、制動開始時の制動の立ち上がりが急となり、車両1のピッチングが生じる虞がある。一方で、基準減速度113を小さくすると、制動開始時の制動の立ち上がりを抑制することができるが、制動が開始された後の運転操作が過度に緩慢となり、快適性が損なわれる恐れがある。
そこで、第3実施形態を適用することにより、制動の開始時点までは小さな基準減速度113(第2基準減速度113b)により算出された予想停車位置2がAR表示される一方で、制動が開始された後は、制動の経過に従って徐々に増加する基準減速度113(第3基準減速度113c)により算出された予想停車位置2がAR表示される。これにより、制動が開始された後の運転操作が過度に緩慢となることなく、制動開始時の制動の立ち上がりを抑制することができる。延いては、制動開始時の車両1のピッチングを抑制することができる。
1 車両
2 予想停車位置
3 進行経路
4 走行映像
5 停止線
10 表示システム
100 情報処理装置
110 記憶装置
111 制御プログラム
112 制御情報
113 基準減速度
113a 第1基準減速度
113b 第2基準減速度
113c 第3基準減速度
114 習熟度情報
120 プロセッサ
121 予想停車位置演算処理部
122 座標変換処理部
123 描画処理部
200 カメラ
300 走行状態検出センサ
400 表示装置
500 入力装置

Claims (22)

  1. 車両の進行方向の走行映像を撮像するカメラと、
    前記車両の外部に備えられた表示装置と、
    前記車両のドライバによる制動量に依存しない所定の減速度を示す基準減速度を格納する1又は複数の記憶装置と、
    前記走行映像を前記表示装置に表示させる1又は複数のプロセッサと、
    を含み、
    前記1又は複数のプロセッサは、
    前記車両の車速を取得する処理と、
    前記車速から前記基準減速度で制動する場合の停車位置を示す予想停車位置を算出する停車位置算出処理と、
    前記予想停車位置を前記走行映像に重畳して前記表示装置に表示させる処理と、
    を実行するように構成されている
    ことを特徴とする表示システム。
  2. 請求項1に記載の表示システムであって、
    前記停車位置算出処理は、
    前記車速をv、前記基準減速度をa、及び定数をαとするとき、以下の式(1)で予想停車距離xを算出する処理と、
    前記車両から進行経路に沿って前記予想停車距離を進んだ位置を前記予想停車位置として算出する処理と、
    を含む
    ことを特徴とする表示システム。
    Figure 0007540424000005
  3. 請求項1又は請求項2に記載の表示システムであって、
    前記1又は複数のプロセッサは、
    前記走行映像に映る停止線を認識し、前記停止線の位置を算出する処理と、
    前記予想停車位置が前記停止線の位置より手前側である場合と前記予想停車位置が前記停止線の位置より奥側である場合で、前記予想停車位置の表示の形態を異ならせる処理と、
    をさらに実行するように構成されている
    ことを特徴とする表示システム。
  4. 請求項1乃至請求項3のいずれか1項に記載の表示システムであって、
    前記1又は複数のプロセッサは、
    前記基準減速度の設定値の入力を受け付ける処理と、
    前記設定値に応じて前記1又は複数の記憶装置が格納する前記基準減速度を変更する処理と、
    をさらに実行するように構成されている
    ことを特徴とする表示システム。
  5. 請求項1乃至請求項3のいずれか1項に記載の表示システムであって、
    前記1又は複数の記憶装置は、前記車両の特定のドライバに関する習熟度を示す習熟度情報を格納し、
    前記1又は複数のプロセッサは、前記習熟度情報に基づいて、前記習熟度が高くなるに従って前記1又は複数の記憶装置が格納する前記基準減速度を大きくするように変更する処理をさらに実行するように構成されている
    ことを特徴とする表示システム。
  6. 請求項1乃至請求項5のいずれか1項に記載の表示システムであって、
    前記基準減速度は、第1基準減速度と、前記第1基準減速度よりも所定値だけ小さい第2基準減速度と、前記第1基準減速度と前記第2基準減速度との間で変化する可変の第3基準減速度と、を含み、
    前記1又は複数のプロセッサは、
    前記車両の制動状態情報を取得する処理と、
    前記制動状態情報から前記車両の制動開始を判断する処理と、
    前記制動開始の時点から、前記第2基準減速度を初期値として、経過時間又は前記制動状態情報に応じて前記第3基準減速度を前記第1基準減速度まで徐変させる処理と、
    をさらに実行するように構成され、
    前記停車位置算出処理は、
    前記制動開始の時点まで、前記第2基準減速度に基づいて前記予想停車位置を算出する処理と、
    前記制動開始の時点から前記第3基準減速度が前記第1基準減速度に達するまで、前記第3基準減速度に基づいて前記予想停車位置を算出する処理と、
    前記第3基準減速度が前記第1基準減速度に達した後、前記第1基準減速度に基づいて前記予想停車位置を算出する処理と、
    を含む
    ことを特徴とする表示システム。
  7. 請求項1に記載の表示システムであって、
    前記1又は複数のプロセッサは、
    少なくとも前記車両の制動開始後において前記予想停車位置を前記表示装置に表示させる
    ように構成されている
    ことを特徴とする表示システム。
  8. 請求項1に記載の表示システムであって、
    前記1又は複数のプロセッサは、
    前記車両の停止が求められる標示の認識結果によらず前記予想停車位置を前記表示装置に表示させる
    ように構成されている
    ことを特徴とする表示システム。
  9. 請求項1に記載の表示システムであって、
    前記1又は複数のプロセッサは、
    前記走行映像を前記表示装置に表示させている間は、前記予想停車位置を前記表示装置に表示させる
    ように構成されている
    ことを特徴とする表示システム。
  10. カメラにより撮像された車両の進行方向の走行映像を前記車両の外部に備えられた表示装置に表示する表示方法であって、
    前記車両の車速から前記車両のドライバによる制動量に依存しない所定の減速度を示す基準減速度で制動する場合の停車位置を示す予想停車位置を算出することと、
    前記予想停車位置を前記走行映像に重畳して前記表示装置に表示させることと、
    を含む
    ことを特徴とする表示方法。
  11. 請求項10に記載の表示方法であって、
    前記予想停車位置を算出することは、
    前記車速をv、前記基準減速度をa、及び定数をαとするとき、以下の式(1)で予想停車距離xを算出することと、
    前記車両から進行経路に沿って前記予想停車距離を進んだ位置を前記予想停車位置として算出することと、
    を含む
    ことを特徴とする表示方法。
    Figure 0007540424000006
  12. 請求項10又は請求項11に記載の表示方法であって、
    前記走行映像に映る停止線を認識し、前記停止線の位置を算出することと、
    前記予想停車位置が前記停止線の位置より手前側である場合と前記予想停車位置が前記停止線の位置より奥側である場合で、前記予想停車位置の表示の形態を異ならせることと、
    をさらに含む
    ことを特徴とする表示方法。
  13. 請求項10乃至請求項12のいずれか1項に記載の表示方法であって、
    前記基準減速度の設定値の入力を受け付けることと、
    前記設定値に応じて前記基準減速度を変更することと、
    をさらに含む
    ことを特徴とする表示方法。
  14. 請求項10乃至請求項12のいずれか1項に記載の表示方法であって、
    前記車両の特定のドライバに関する習熟度を示す習熟度情報を管理することと、
    前記習熟度情報に基づいて、前記習熟度が高くなるに従って前記基準減速度を大きくするように変更することと、
    をさらに含む
    ことを特徴とする表示方法。
  15. 請求項10乃至請求項14のいずれか1項に記載の表示方法であって、
    前記基準減速度は、第1基準減速度と、前記第1基準減速度よりも所定値だけ小さい第2基準減速度と、前記第1基準減速度と前記第2基準減速度との間で変化する可変の第3基準減速度と、を含み、
    前記表示方法は、
    前記車両の制動状態情報を取得することと、
    前記制動状態情報から前記車両の制動開始を判断することと、
    前記制動開始の時点から、前記第2基準減速度を初期値として、経過時間又は前記制動状態情報に応じて前記第3基準減速度を前記第1基準減速度まで徐変させることと、
    をさらに含み、
    前記予想停車位置を算出することは、
    前記制動開始の時点まで、前記第2基準減速度に基づいて前記予想停車位置を算出することと、
    前記制動開始の時点から前記第3基準減速度が前記第1基準減速度に達するまで、前記第3基準減速度に基づいて前記予想停車位置を算出することと、
    前記第3基準減速度が前記第1基準減速度に達した後、前記第1基準減速度に基づいて前記予想停車位置を算出することと、
    を含む
    ことを特徴とする表示方法。
  16. 請求項10に記載の表示方法であって、
    少なくとも前記車両の制動開始後において前記予想停車位置を前記表示装置に表示させる
    ことを特徴とする表示方法。
  17. 請求項10に記載の表示方法であって、
    前記車両の停止が求められる標示の検出結果によらず前記予想停車位置を前記表示装置に表示させる
    ことを特徴とする表示方法。
  18. 請求項10に記載の表示方法であって、
    前記走行映像を前記表示装置に表示させている間は、前記予想停車位置を前記表示装置に表示させる
    ことを特徴とする表示方法。
  19. 車両に備えられたカメラから取得した画像を車両の外部に備えられた表示装置に表示させる情報処理装置であって、
    1又は複数のプロセッサを含み、
    前記1又は複数のプロセッサは、
    前記車両の車速を取得する処理と、
    前記車両のドライバによる制動量に依存しない所定の減速度を示す基準減速度を取得する処理と、
    前記車速から前記基準減速度で制動する場合の停車位置を示す予想停車位置を算出する処理と、
    前記予想停車位置を前記画像に重畳して前記表示装置に表示させる処理と、
    を実行するように構成されている
    ことを特徴とする情報処理装置。
  20. 請求項19に記載の情報処理装置であって、
    前記1又は複数のプロセッサは、
    少なくとも前記車両の制動開始後において前記予想停車位置を前記表示装置に表示させる
    ように構成されている
    ことを特徴とする情報処理装置。
  21. 請求項19に記載の情報処理装置であって、
    前記1又は複数のプロセッサは、
    前記車両の停止が求められる標示の認識結果によらず前記予想停車位置を前記表示装置に表示させる
    ように構成されている
    ことを特徴とする情報処理装置。
  22. 請求項19に記載の情報処理装置であって、
    前記1又は複数のプロセッサは、
    前記画像を前記表示装置に表示させている間は、前記予想停車位置を前記表示装置に表示させる
    ように構成されている
    ことを特徴とする情報処理装置。
JP2021183993A 2021-11-11 2021-11-11 表示システム、表示方法 Active JP7540424B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021183993A JP7540424B2 (ja) 2021-11-11 2021-11-11 表示システム、表示方法
CN202211291378.2A CN116101171B (zh) 2021-11-11 2022-10-19 显示系统、显示方法
US17/976,092 US12332664B2 (en) 2021-11-11 2022-10-28 Display system and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021183993A JP7540424B2 (ja) 2021-11-11 2021-11-11 表示システム、表示方法

Publications (2)

Publication Number Publication Date
JP2023071314A JP2023071314A (ja) 2023-05-23
JP7540424B2 true JP7540424B2 (ja) 2024-08-27

Family

ID=86229346

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021183993A Active JP7540424B2 (ja) 2021-11-11 2021-11-11 表示システム、表示方法

Country Status (3)

Country Link
US (1) US12332664B2 (ja)
JP (1) JP7540424B2 (ja)
CN (1) CN116101171B (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005319849A (ja) 2004-05-06 2005-11-17 Toyota Motor Corp 運転技量推定装置及び車両の減速制御装置
JP2015196403A (ja) 2014-03-31 2015-11-09 株式会社デンソー 車両用表示制御装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3305518B2 (ja) * 1994-11-22 2002-07-22 本田技研工業株式会社 車両制御装置
JP3948416B2 (ja) * 2003-02-27 2007-07-25 株式会社デンソー 衝突回避制御装置
JP3767610B2 (ja) 2004-04-12 2006-04-19 アイシン精機株式会社 駐車補助装置
JP4808119B2 (ja) * 2006-09-28 2011-11-02 クラリオン株式会社 停車予測位置を表示するナビゲーション装置
JP4730368B2 (ja) * 2007-10-25 2011-07-20 住友電気工業株式会社 情報提供装置、コンピュータプログラム及び情報提供方法
JP2009292339A (ja) 2008-06-05 2009-12-17 Aisin Seiki Co Ltd 駐車支援装置
JP5112998B2 (ja) 2008-09-16 2013-01-09 本田技研工業株式会社 車両周囲監視装置
JP6447060B2 (ja) 2014-11-28 2019-01-09 アイシン精機株式会社 車両周辺監視装置
DE102016008363B4 (de) * 2016-07-08 2021-07-22 Audi Ag Verfahren zum Betrieb eines den Fahrer bei einem Ausrollvorgang unterstützenden Fahrerassistenzsystems in einem Kraftfahrzeug und Kraftfahrzeug
JP2018041270A (ja) 2016-09-07 2018-03-15 株式会社デンソー 走行情報表示システム
JP6747369B2 (ja) * 2016-09-26 2020-08-26 株式会社Jvcケンウッド 表示制御装置、表示制御方法及びプログラム
US11372416B2 (en) 2017-03-01 2022-06-28 Mobileye Vision Technologies Ltd. Systems and methods for navigating with sensing uncertainty
JP6958252B2 (ja) 2017-11-07 2021-11-02 トヨタ自動車株式会社 遠隔監視システム及び自律走行車両並びに遠隔監視方法
JP6954850B2 (ja) * 2018-02-09 2021-10-27 トヨタ自動車株式会社 表示装置
JP2020106980A (ja) 2018-12-26 2020-07-09 トヨタ自動車株式会社 車両制御装置、車両制御方法及び車両制御システム
JP6973435B2 (ja) 2019-03-18 2021-11-24 トヨタ自動車株式会社 運行制御装置、運行制御方法、及び車両
JP7140037B2 (ja) 2019-04-15 2022-09-21 トヨタ自動車株式会社 車両遠隔指示システム
JP7156208B2 (ja) 2019-08-08 2022-10-19 トヨタ自動車株式会社 車両遠隔指示システム及び遠隔指示装置
JP7222332B2 (ja) 2019-08-23 2023-02-15 トヨタ自動車株式会社 車両遠隔指示システム
JP7243524B2 (ja) 2019-08-23 2023-03-22 トヨタ自動車株式会社 自動運転システム
JP7276023B2 (ja) 2019-09-06 2023-05-18 トヨタ自動車株式会社 車両遠隔指示システム、及び自動運転車両
JP7156217B2 (ja) 2019-09-06 2022-10-19 トヨタ自動車株式会社 車両遠隔指示システム
JP7234872B2 (ja) 2019-09-12 2023-03-08 トヨタ自動車株式会社 車両遠隔指示システム
JP7227112B2 (ja) 2019-09-27 2023-02-21 日立Astemo株式会社 物体検出装置、走行制御システム、および走行制御方法
JP7158367B2 (ja) 2019-12-09 2022-10-21 本田技研工業株式会社 車両制御システム
JP7442931B2 (ja) * 2020-01-16 2024-03-05 アルパイン株式会社 表示制御装置および表示制御方法
CN111547035A (zh) * 2020-04-17 2020-08-18 中国第一汽车股份有限公司 车辆减速控制方法、装置、存储介质及车辆
CN111754809A (zh) * 2020-06-22 2020-10-09 重庆长安汽车股份有限公司 手机app遥控泊车动态显示方法、系统、车辆及存储介质
US20220128989A1 (en) * 2020-10-27 2022-04-28 Uber Technologies, Inc. Systems and Methods for Providing an Improved Interface for Remote Assistance Operators
US20220157164A1 (en) * 2020-11-18 2022-05-19 Nuro, Inc. Methods and Apparatus for Providing Information to a Remote Operator of a Vehicle
CN113589820A (zh) * 2021-08-12 2021-11-02 广州小鹏自动驾驶科技有限公司 远程驾驶的辅助处理方法、装置及系统
JP7559735B2 (ja) * 2021-10-20 2024-10-02 トヨタ自動車株式会社 表示システム、表示方法
US11885102B2 (en) * 2021-12-20 2024-01-30 Caterpillar Inc. Visual overlays for indicating stopping distances of remote controlled machines

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005319849A (ja) 2004-05-06 2005-11-17 Toyota Motor Corp 運転技量推定装置及び車両の減速制御装置
JP2015196403A (ja) 2014-03-31 2015-11-09 株式会社デンソー 車両用表示制御装置

Also Published As

Publication number Publication date
JP2023071314A (ja) 2023-05-23
CN116101171B (zh) 2025-08-01
US20230145746A1 (en) 2023-05-11
CN116101171A (zh) 2023-05-12
US12332664B2 (en) 2025-06-17

Similar Documents

Publication Publication Date Title
EP3446948B1 (en) Parking assistance device and program
CN113784861B (zh) 显示控制方法及显示控制装置
US10131277B2 (en) Surroundings monitoring apparatus
US9902427B2 (en) Parking assistance device, parking assistance method, and non-transitory computer readable medium storing program
JP5668862B2 (ja) 運転支援装置及び運転支援方法
JPWO2017022413A1 (ja) 車両用駐車支援装置
US11104380B2 (en) Display controller
CN105416394A (zh) 车辆的控制装置以及控制方法
WO2013030903A1 (ja) 運転支援装置及び運転支援方法
CN105416279A (zh) 车辆的控制装置
CN110884426A (zh) 显示控制装置
JP2019053388A (ja) 運転支援表示方法及び運転支援表示装置
CN111845760B (zh) 显示设备和显示控制设备
JP2026031611A (ja) 車両用情報出力制御装置、車両用情報出力制御方法及び車両用情報出力制御プログラム
JP2019156297A (ja) 走行支援システムおよび車両の制御方法
JP2024103372A (ja) 車両用表示制御装置、車両、車両用表示制御方法およびプログラム
JP7540424B2 (ja) 表示システム、表示方法
JP7581093B2 (ja) 画像生成装置及び画像生成方法
JP2017187839A (ja) 車両用表示方法及び車両用表示装置
CN112238812B (zh) 车辆周边显示装置
US11153510B2 (en) Display control device
US20240328809A1 (en) Surrounding display device
CN111619567B (zh) 车辆控制装置、车辆和车辆控制方法
JP2024092546A (ja) 周辺表示装置
JP2023045289A (ja) 車両制御装置および車両制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240729

R150 Certificate of patent or registration of utility model

Ref document number: 7540424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150