Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7518966B2 - 視線誘導装置、注意喚起システム、注意喚起方法、及びプログラム - Google Patents
[go: Go Back, main page]

JP7518966B2 - 視線誘導装置、注意喚起システム、注意喚起方法、及びプログラム - Google Patents

視線誘導装置、注意喚起システム、注意喚起方法、及びプログラム Download PDF

Info

Publication number
JP7518966B2
JP7518966B2 JP2023505160A JP2023505160A JP7518966B2 JP 7518966 B2 JP7518966 B2 JP 7518966B2 JP 2023505160 A JP2023505160 A JP 2023505160A JP 2023505160 A JP2023505160 A JP 2023505160A JP 7518966 B2 JP7518966 B2 JP 7518966B2
Authority
JP
Japan
Prior art keywords
display
visual
virtual image
moving body
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023505160A
Other languages
English (en)
Other versions
JPWO2022190630A1 (ja
Inventor
雅紀 丸山
俊明 妹尾
実 樋口
雄也 岸本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JPWO2022190630A1 publication Critical patent/JPWO2022190630A1/ja
Application granted granted Critical
Publication of JP7518966B2 publication Critical patent/JP7518966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • B60K35/233Head-up displays [HUD] controlling the size or position in display areas of virtual images depending on the condition of the vehicle or the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • B60K35/235Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B60K35/285Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver for improving awareness by directing driver's gaze direction or eye points
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/31Virtual images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/347Optical elements for superposition of display information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77Instrument locations other than the dashboard
    • B60K2360/785Instrument locations other than the dashboard on or in relation to the windshield or windows
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402Type
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4041Position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4044Direction of movement, e.g. backwards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/804Relative longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、視線誘導装置、注意喚起システム、注意喚起方法、及びプログラムに関する。
従来、移動体のフロントガラスに像を表示させる技術が知られている(例えば、特許文献1参照)。
特許文献1は、自車両の前方に検知される対象物の輪郭に沿ったマーキング画像を、実際の対象物に重なるように自車両のフロントウィンドシールドに表示させる技術を開示する。
特開2017-021546号公報
特許文献1は、マーキング画像が対象物の輪郭を含むように形成されているため、対象物が自車両に近いほど重なるマーキング画像が大きくなってマーキング画像の誘目性が高まる。しかしながら、操縦者が見るべき対象物は、自車両に対する遠近に係わらず存在し得るため、必ずしも、自車両に近い対象物ほどマーキング画像の誘目性を高くすることが好適とは限らない。そのため、車両の前方に存在する対象物の状況に応じて、視線誘導する像の誘目性を異ならせないと、操縦者が見るべき対象物を見落とす可能性がある。
また、一般に、移動体の操縦者の視線方向は、移動体における操縦者の位置によって変わる。特許文献1は、マーキング画像の表示位置に関して対象物の位置を考慮している一方で、移動体の操縦者の位置については考慮していない。そのため、特許文献1の表示方法では、移動体における操縦者の位置が変わった場合、この操縦者の視線を正確に対象物に誘導できない虞がある。
また、市街地のような交通参加者の多い交通環境において、上記従来の表示システムの技術を用いて運転者に交通参加者に関する注意喚起を行おうとすると、フロントガラス上には個々の交通参加者に重ねて多数の輪郭画像が表示されることとなり、却って操縦者の注意を散逸させることとなり得る。
本発明の第1の目的は、見るべき対象物を操縦者が見落としてしまうことを低減できるようにすることである。
本発明の第2の目的は、移動体における操縦者の位置が変わった場合でも、正確に、操縦者の視線を対象物に誘導できるようにすることを目的とする。
本発明の第3の目的は、操縦者の注意力を散逸させることなく、移動体の周囲環境に存在する様々な実在物に対する操縦者の注意を喚起することである。
本発明の一の態様は、移動体の前方に存在する対象物に、前記移動体の操縦者の視線を誘導する視線誘導装置であって、前記対象物を認識する対象物認識部と、前記移動体のフロントガラスにおいて前記対象物認識部が認識した前記対象物と対応する位置に、前記操縦者の視線を誘導する視線誘導虚像を表示装置に表示させる表示制御部と、を備え、前記視線誘導虚像の表示範囲は、前記フロントガラス上の、法規により表示が許容される範囲の上限位置を示す表示可能上限線に隣接して前記表示可能上限線の下方を前記移動体の幅方向である水平方向に延在する帯状範囲であって、前記表示制御部は、前記表示装置に表示させる前記視線誘導虚像の前記移動体の幅方向の長さを、前記移動体の前方に存在する前記対象物の状況に応じた長さにし、前記移動体の前方にm個(mは3以上の整数)以上の前記対象物が存在している場合、前記表示装置に表示させる前記視線誘導虚像の前記幅方向の長さを、前記表示装置の表示範囲における前記幅方向の全域に亘る長さにする、視線誘導装置である。
本発明の他の態様によると、前記表示制御部は、前記移動体の前方において移動している前記対象物が存在している場合、前記表示装置に表示させる前記視線誘導虚像の前記幅方向の長さを、前記対象物の現在位置から所定時間後の前記対象物の位置までの距離に対応する長さにする。
本発明の他の態様によると、前記表示制御部は、前記対象物の現在位置と対応する位置から前記対象物の移動方向に延びる前記視線誘導虚像を、前記表示装置に表示させる。
本発明の他の態様によると、前記表示制御部は、前記移動体の前方に複数の前記対象物が存在している場合、前記表示装置に表示させる前記視線誘導虚像の前記幅方向の長さを、前記幅方向において最も離れている2つの前記対象物の離間距離に対応する長さにする。
本発明の他の態様によると、前記表示制御部は、前記移動体の前方にn個(nは3以上の整数)以上の前記対象物が存在している場合、前記移動体の前方にn個以上の前記対象物が存在していない場合の前記視線誘導虚像と異なる表示態様で、前記視線誘導虚像を前記表示装置に表示させる。
発明の他の態様によると、前記表示制御部は、前記視線誘導虚像を前記表示装置に表示させる際、前記移動体に影響を及ぼす可能性が高い前記対象物ほど、前記視線誘導虚像の前記幅方向の長さを長くする。
本発明の他の態様は、移動体のフロントガラス上に前記移動体の操縦者が視認可能な視覚表示を出力する表示装置と、前記表示装置を制御して、前記視覚表示により前記移動体の周囲の対象物に対する前記操縦者の注意を喚起する注意喚起装置と、を備える、注意喚起システムであって、前記注意喚起装置は、前記移動体の周囲エリアにある対象物を検知する対象物認識部と、前記表示装置を制御して前記移動体のフロントガラス上の所定の表示範囲に前記視覚表示を出力する表示制御部と、を有し、前記表示範囲は、前記フロントガラス上の、法規により表示が許容される範囲の上限位置を示す表示可能上限線に隣接して前記表示可能上限線の下方を前記移動体の幅方向である水平方向に延在する帯状範囲であって、前記表示制御部は、前記操縦者の位置から見た前記対象物に対応する前記フロントガラス上の水平位置と同じ、前記表示範囲内の水平位置に、前記視覚表示を出力し、前記移動体の前方にm個(mは3以上の整数)以上の前記対象物が存在している場合、前記表示装置に表示させる前記視覚表示の前記幅方向の長さを、前記表示装置の表示範囲における前記幅方向の全域に亘る長さにする、注意喚起システムである。
本発明の他の態様は、上記の視線誘導装置と、移動体のフロントガラス上に前記移動体の操縦者が視認可能な視覚表示を出力する表示装置と、を備える、注意喚起システムであって、前記視線誘導装置は、前記移動体の周囲エリアにある対象物を検知する対象物認識部と、前記表示装置を制御して前記移動体のフロントガラス上の所定の表示範囲に視覚表示を出力する表示制御部と、を有し、前記表示範囲は、前記フロントガラス上の、前記移動体の幅方向である水平方向に延在する帯状範囲であって、前記表示制御部は、前記操縦者の位置から見た前記対象物に対応する前記フロントガラス上の水平位置と同じ、前記表示範囲内の水平位置に、前記視覚表示を出力する、注意喚起システム。
本発明の他の態様によると、前記表示装置は、前記フロントガラス上に所定形状の光を投光することにより前記視覚表示を出力する投光装置である。
本発明の他の態様によると、前記表示装置は、前記フロントガラスの下方において前記移動体の幅方向に沿って配された複数の光源で構成される。
本発明の他の態様によると、前記表示制御部は、前記移動体の周囲エリアのうち、前記移動体の操縦席に着座した前記操縦者の位置を中心として定義される所定の前方視野範囲から外れた位置において前記対象物が検知されたときは、前記対象物の方向定位のための音響を前記移動体の室内に生じさせる。
本発明の他の態様によると、前記対象物は、前記移動体との接触確率が所定値以上である実在物である。
本発明の他の態様によると、前記対象物の位置を認識する対象物位置認識部と、前記移動体における前記操縦者の位置を認識する操縦者位置認識部と、を更に備え、前記表示制御部は、前記対象物位置認識部が認識した前記対象物の位置と、前記操縦者位置認識部が認識した前記操縦者の位置とに基づいて、前記視線誘導虚像の表示位置を補正する。
本発明の他の態様によると、前記表示制御部は、前記移動体の上面視において、前記対象物位置認識部が認識した前記対象物の位置及び前記操縦者位置認識部が認識した前記操縦者の位置を結ぶ線と、前記フロントガラスとが交差する位置を、前記視線誘導虚像の表示位置として補正する。
本発明の他の態様によると、前記操縦者位置認識部は、前記操縦者の頭の位置を、前記操縦者の位置として認識する。
本発明の他の態様によると、前記表示制御部は、前記操縦者が前記視線誘導虚像を視た際に、前記対象物と重なって又は前記対象物と水平方向における位置を一致させて、前記視線誘導虚像を前記表示装置に表示させる。
本発明の他の態様は、コンピュータにより実行される注意喚起方法であって、移動体の周囲エリアにある対象物を検知するステップと、前記移動体の室内に設けられた表示装置を制御して、前記移動体のフロントガラス上の所定の表示範囲に視覚表示を出力するステップと、を有し、前記表示範囲は、前記フロントガラス上の、法規により表示が許容される範囲の上限位置を示す表示可能上限線に隣接して前記表示可能上限線の下方を前記移動体の幅方向である水平方向に延在する帯状範囲であって、前記視覚表示を出力するステップでは、前記移動体の操縦者の位置から見た前記対象物の前記フロントガラス上の水平位置と同じ前記表示範囲内の水平位置に、前記視覚表示を出力し、前記移動体の前方にm個(mは3以上の整数)以上の前記対象物が存在している場合、前記表示装置に表示させる前記視覚表示の前記幅方向の長さを、前記表示装置の表示範囲における前記幅方向の全域に亘る長さにする、注意喚起方法である。
本発明の他の態様は、移動体の前方に存在する対象物に、前記移動体の操縦者の視線を誘導する視線誘導装置による注意喚起方法であって、前記対象物を認識し、前記移動体のフロントガラスにおいて認識した前記対象物と対応する位置に、前記操縦者の視線を誘導する視線誘導虚像を表示装置に表示させる際に、前記表示装置に表示させる前記視線誘導虚像の前記移動体の幅方向の長さを、前記移動体の前方に存在する前記対象物の状況に応じた長さにし、前記視線誘導虚像の表示範囲は、前記フロントガラス上の、法規により表示が許容される範囲の上限位置を示す表示可能上限線に隣接して前記表示可能上限線の下方を前記移動体の幅方向である水平方向に延在する帯状範囲であって、前記移動体の前方にm個(mは3以上の整数)以上の前記対象物が存在している場合、前記表示装置に表示させる前記視線誘導虚像の前記幅方向の長さを、前記表示装置の表示範囲における前記幅方向の全域に亘る長さにする、注意喚起方法である。
本発明の他の態様は、移動体の前方に存在する対象物に、前記移動体の操縦者の視線を誘導する視線誘導装置による注意喚起方法であって、前記対象物の位置を認識し、前記移動体における前記操縦者の位置を認識し、表示装置に、前記操縦者の視線を前記対象物に誘導する視線誘導虚像を前記移動体のフロントガラスに表示させ、前記視線誘導虚像を表示させる際、認識した前記対象物の位置と、認識した前記操縦者の位置とに基づいて、前記視線誘導虚像の表示位置を補正し、前記視線誘導虚像の表示範囲は、前記フロントガラス上の、法規により表示が許容される範囲の上限位置を示す表示可能上限線に隣接して前記表示可能上限線の下方を前記移動体の幅方向である水平方向に延在する帯状範囲であって、前記移動体の前方にm個(mは3以上の整数)以上の前記対象物が存在している場合、前記表示装置に表示させる前記視線誘導虚像の前記幅方向の長さを、前記表示装置の表示範囲における前記幅方向の全域に亘る長さにする、注意喚起方法である。
本発明のさらに他の態様は、移動体の前方に存在する対象物に、前記移動体の操縦者の視線を誘導する視線誘導装置のコンピュータに実行させるプログラムであって、前記コンピュータに、前記対象物を認識させ、前記移動体のフロントガラスにおいて前記操縦者の視線を誘導する視線誘導虚像を、認識した前記対象物と対応する位置に表示装置に表示させる際に、前記表示装置に表示させる前記視線誘導虚像の前記移動体の幅方向の長さを、前記移動体の前方に存在する前記対象物の状況に応じた長さにし、前記視線誘導虚像の表示範囲は、前記フロントガラス上の、法規により表示が許容される範囲の上限位置を示す表示可能上限線に隣接して前記表示可能上限線の下方を前記移動体の幅方向である水平方向に延在する帯状範囲であって、前記移動体の前方にm個(mは3以上の整数)以上の前記対象物が存在している場合、前記表示装置に表示させる前記視線誘導虚像の前記幅方向の長さを、前記表示装置の表示範囲における前記幅方向の全域に亘る長さにする、プログラムである。
なお、この明細書には、2021年3月12日に出願された日本国特許出願・特願2021-040412号、2021年3月12日に出願された日本国特許出願・特願2021-040411号、および2021年3月12日に出願された日本国特許出願・特願2021-040549号の、全ての内容が含まれるものとする。
本発明によれば、見るべき対象物を操縦者が見落としてしまうことを低減できるという効果を奏する。
また、本発明によれば、移動体における操縦者の位置が変わった場合でも、正確に、操縦者の視線を対象物に誘導できる。
また、本発明によれば、操縦者の注意力を散逸させることなく、移動体の周囲環境に存在する様々な実在物に対する操縦者の注意を喚起することができる。
図1は、車両の車室内の構成を示す図である。 図2は、車両の構成を示す図である。 図3は、視線誘導装置の動作を示すフローチャートである。 図4は、表示装置に表示させる視線誘導虚像を説明するための図である。 図5は、表示装置に表示させる視線誘導虚像を説明するための図である。 図6は、表示装置に表示させる視線誘導虚像を説明するための図である。 図7は、表示装置に表示させる視線誘導虚像を説明するための図である。 図8は、車両の車室内の構成を示す図である。 図9は、車両の構成を示す図である。 図10は、視線誘導装置の動作を示すフローチャートである。 図11は、視線誘導虚像の表示位置の補正を説明するための図である。 図12は、視線誘導虚像の表示位置の補正がない場合の運転者の視線を説明するための図である。 図13は、本発明の実施形態に係る注意喚起システムが搭載される車両の、車室前方の構成を示す図である。 図14は、本発明の第1の実施形態に係る注意喚起システムの構成を示す図である。 図15は、図14に示す注意喚起システムによりフロントガラスに表示される視覚表示の一例を示す図である。 図16は、図14に示す注意喚起システムにおける動作の手順を示すフロー図である。 図17は、本発明の第2の実施形態に係る注意喚起システムの構成を示す図である。 図18は、図17に示す注意喚起システムの認知スキル評価部が記憶装置に保存する認知習熟度情報の一例を示す図である。 図19は、図17に示す注意喚起システムによりフロントガラスに表示される視覚表示の一例を示す図である。 図20は、図17に示す注意喚起システムにおける動作の手順を示すフロー図である。 図21は、本発明の第3の実施形態に係る注意喚起システムの構成を示す図である。 図22は、図21に示す注意喚起システムによりフロントガラスに表示される視覚表示の一例を示す図である。 図23は、図22に示す視覚表示の時間変化の一例を示す図である。 図24は、図21に示す注意喚起システムにおける動作の手順を示すフロー図である。 図25は、本発明の第4の実施形態に係る注意喚起システムの構成を示す図である。 図26は、図25に示す注意喚起システムが搭載される車両の車室内における投光装置の配置の例を示す図である。 図27は、図25に示す注意喚起システムにおいて定義される、車両を中心とする角度エリアの一例を示す図である。 図28は、図25に示す注意喚起システムにおいてHUDに表示される対象物レーダ表示の一例を示す図である。 図29は、対象物レーダ表示における種々の表示態様の例を示す図である。 図30は、図25に示す注意喚起システムにおける動作の手順を示すフロー図である。
以下、図面を参照して実施形態について説明する。
[第1実施形態]
図1、図4、図5、図6、及び図7では、X軸、Y軸、及びZ軸を図示している。X軸、Y軸、及びZ軸は互いに直交する。Z軸は、上下方向を示す。X軸及びY軸は、水平方向と平行である。X軸は車幅方向として左右方向を示す。Y軸は前後方向を示す。X軸の正方向は右方向を示す。Y軸の正方向は前方向を示す。Z軸の正方向は上方向を示す。車幅方向は、本開示の幅方向に相当する。
図1は、車両1の車室内の構成を示す図である。
本実施形態の車両1は、四輪自動車である。車両1は、本開示の移動体に相当する。
車両1の車室内には、運転席2と助手席3とが設けられる。また、車両1の車室内には、車両1を操縦するためのステアリングホイール4、車外と車室内とを区分するフロントガラス5、及びインストルメントパネル6が設けられる。ステアリングホイール4は、インストルメントパネル6において、運転席2に着座した運転者Uと対向する位置に設けられる。運転者Uは、本開示の操縦者の一例に対応する。
車両1の車室内には、インストルメントパネル6の上面前方に、車幅方向に延在するLEDアレイ7が設けられる。LEDアレイ7は、複数のLEDを有している。LEDアレイ7は、フロントガラス5に投光することで、フロントガラス5の表示可能上限線L1の下方に、運転者Uの視線を誘導する虚像である視線誘導虚像GVIを表示する。表示可能上限線L1は、フロントガラス5の上下方向において、像を表示可能な上限の位置を示している。表示可能上限線L1が示す上限の位置は、法規で定められている。LEDアレイ7が視線誘導虚像GVIをフロントガラス5に表示することで、運転席2に着座した運転者Uは、フロントガラス5を介して車両1の前方の情景と共に、視線誘導虚像GVIを見ることができる。
表示される視線誘導虚像GVIは、フロントガラス5において、車幅方向に延びる虚像である。LEDアレイ7は、投光するLEDを異ならせることで、視線誘導虚像GVIの表示位置、及び視線誘導虚像GVIの車幅方向の長さを異ならせる。図1の視線誘導虚像GVIは、車幅方向において、端部から中央部に向かって色が濃くなる虚像である。しかながら、視線誘導虚像GVIの色の濃淡は、あくまで一例であって、図示される濃淡に限定されない。
フロントガラス5の表示可能上限線L1の下方には、視線誘導虚像GVIの表示範囲HAが延在して形成される。車幅方向における表示範囲HAの長さは、車幅方向におけるLEDアレイ7の長さに対応する。また、車幅方向と交差する方向における表示範囲HAの長さは、前後方向におけるLEDアレイ7の長さに対応する。
視線誘導虚像GVIは、運転席2に着座した運転者Uが視線誘導虚像GVIを見た際、視線誘導虚像GVIが視線を誘導する対象物8と、重なるように又は水平方向における位置が一致するように、表示範囲HAに表示される。これにより、運転者Uが運転席2に着座した状態でフロントガラス5を見た際、対象物8が表示可能上限線L1の上方ないし表示範囲HAの下方に位置していたとしても、運転者Uは、視線誘導虚像GVIが視線誘導する対象物8がどの対象物8であるかを把握できる。
図2は、車両1の構成を示す図である。
車両1は、視線誘導装置10を備える。視線誘導装置10は、CPU(Central Processing Unit)やMPU(Micro-processing unit)等のプロセッサー30、及びメモリー36を備える。
プロセッサー30は、メモリー36が記憶する制御プログラムを読み出して実行することにより、視線誘導装置10の各部を制御する。プロセッサー30は、メモリー36に記憶された制御プログラムを実行することで、対象物認識部31、対象物位置認識部32、運転者位置認識部33、状況認識部34、及び表示制御部35として機能する。
制御プログラムは、本開示のプログラムの一例に対応する。
メモリー36は、プロセッサー30が実行するプログラムや、プロセッサー30に処理されるデータを記憶する。メモリー36は、プロセッサー30が実行する制御プログラム、その他の各種データを記憶する。メモリー36は、不揮発性の記憶領域を有する。また、メモリー36は、揮発性の記憶領域を備え、プロセッサー30のワークエリアを構成してもよい。
視線誘導装置10には、表示装置11、ドライバモニタリングカメラ12、フロントカメラ13、及び位置検出デバイス14が接続される。なお、視線誘導装置10に接続されるデバイスは、これらのみに限定されず、例えばリアカメラや車速センサー等の他のデバイスが接続されていてもよい。
表示装置11は、CPUやMPU等のプロセッサー37、メモリー38、及びLEDアレイ7を備える。
プロセッサー37は、メモリー38が記憶する制御プログラムを読み出して実行することにより、表示装置11の各部を制御する。本実施形態では、プロセッサー37は、視線誘導装置10から入力される表示データに基づいて、LEDアレイ7により視線誘導虚像GVIを表示範囲HAに表示する。
メモリー38は、プロセッサー37が実行するプログラムや、プロセッサー37に処理されるデータを記憶する。メモリー38は、プロセッサー37が実行する制御プログラム、その他の各種データを記憶する。メモリー38は、不揮発性の記憶領域を有する。また、メモリー38は、揮発性の記憶領域を備え、プロセッサー37のワークエリアを構成してもよい。
ドライバモニタリングカメラ12は、車両1の車室内において所定の位置に設けられ、運転席2に着座する運転者Uを撮影するカメラである。ドライバモニタリングカメラ12の撮影範囲は、少なくとも運転席2に着座する運転者Uの頭HDを含む範囲である。ドライバモニタリングカメラ12は、撮影結果のデータである撮影データを、視線誘導装置10に出力する。
フロントカメラ13は、車両1の所定の位置に設けられ、車両1の前方を撮影するカメラである。フロントカメラ13は、撮影結果のデータである撮影データを、視線誘導装置10に出力する。
位置検出デバイス14は、車両1の周辺に存在する物体の位置を検出可能なデバイスである。位置検出デバイス14は、例えば、音波、電波、電磁波又は光等を利用して物体との間の距離を測定可能なソナー、レーダー、ライダー(Lidar)、及び、視差を利用して物体との間の距離を測定可能なステレオカメラ等の少なくとも1つ以上で構成される。
上述したように、視線誘導装置10のプロセッサー30は、対象物認識部31、対象物位置認識部32、運転者位置認識部33、状況認識部34、及び表示制御部35として機能する。
対象物認識部31は、フロントカメラ13から出力された撮影データに基づいて、フロントカメラ13の撮影結果に写る対象物8を認識する。対象物認識部31は、形状や色等の特徴に基づいて、フロントカメラ13の撮影結果に写る対象物8を認識する。対象物8の認識に必要なデータは、メモリー36に記憶されている。
対象物位置認識部32は、対象物認識部31が認識した対象物8の位置を認識する。対象物位置認識部32は、車両1を上面視した際の車両1に対する対象物8の位置を認識する。対象物位置認識部32は、位置検出デバイス14の検出結果、及び/又はフロントカメラ13の撮影結果に基づいて、対象物認識部31が認識した対象物8の位置を認識する。
運転者位置認識部33は、運転席2に着座する運転者Uの位置を認識する。本実施形態では、運転者位置認識部33は、運転席2に着座する運転者Uの位置として、車両1における運転者Uの頭HDの位置を認識する。運転者位置認識部33は、車両1を上面視した際の車両1における頭HDの位置を認識する。運転者位置認識部33は、形状や色等の特徴に基づいて、ドライバモニタリングカメラ12の撮影結果に写る運転者Uの頭HDを認識する。そして、撮影結果に写る頭HDの大きさ、及び撮影結果の画角における頭HDの位置に基づいて、運転者位置認識部33は、車両1における運転者Uの頭HDの位置を認識する。
状況認識部34は、フロントカメラ13の撮影結果、及び対象物認識部31の認識結果に基づく画像解析により、車両1の前方に存在する対象物8の状況を認識する。
状況認識部34は、車両1の前方に存在する対象物8の状況が、第1の状況であるか否かを判別する。第1の状況は、車両1の前方に存在する対象物8が移動している状況である。状況認識部34は、対象物認識部31の認識した対象物8が、フロントカメラ13の撮影結果において移動しているか否かに基づいて、第1の状況であるか否かを判別する。状況認識部34は、第1の状況であると判別した場合、フロントカメラ13の撮影結果に基づく画像解析により、対象物認識部31が認識した対象物8の移動速度及び移動方向を算出する。本開示の状況認識部34は、少なくとも車幅方向における対象物8の移動速度及び移動方向を算出する。
また、状況認識部34は、車両1の前方に存在する対象物8の状況が、第2の状況であるか否かを判別する。第2の状況は、車両1の前方に複数の対象物8が存在している状況である。状況認識部34は、対象物認識部31が認識した対象物8の数に基づいて、第2の状況であるか否かを判別する。ここで、状況認識部34は、対象物認識部31が認識した対象物8が、前後方向において一部が重なっている場合、重なり合う複数の対象物8を1の対象物8と見做して、第2の状況か否かを判別してもよい。状況認識部34は、第2の状況であると判別した場合、対象物認識部31が認識した対象物8の数を、車両1の前方に存在する対象物8の数として認識する。
表示制御部35は、表示装置11に視線誘導虚像GVIを表示させる。表示制御部35は、視線誘導虚像GVIを表示させる表示データを生成し、生成した表示データを表示装置11に出力する。そして、表示装置11のプロセッサー37は、入力された表示データに基づいて、LEDアレイ7により視線誘導虚像GVIを表示させる。本実施形態の表示データは、視線誘導虚像GVIの表示位置と車幅方向の長さとを、車幅方向おける視線誘導虚像GVIの両端の位置で示すデータである。
表示装置11のプロセッサー37は、表示データが入力されると、この表示データが示す両端の位置に対応するLED、及び、両端の位置間に対応するLEDを発光させる。
図3は、視線誘導装置10の動作を示すフローチャートである。
図3に示すフローチャートでは、運転席2に運転者Uが着座していて、ドライバモニタリングカメラ12がこの運転者Uを撮影していることを前提とする。また、図3に示すフローチャートでは、フロントカメラ13が撮影していて、また、位置検出デバイス14がセンシングしていることを前提とする。
図3のフローチャートで示すように、対象物認識部31は、フロントカメラ13の撮影結果から対象物8を認識する(ステップS1)。
次いで、対象物位置認識部32は、ステップS1で認識された対象物8の位置を認識する(ステップS2)。
次いで、運転者位置認識部33は、ドライバモニタリングカメラ12の撮影結果から、車両1における運転者Uの頭HDの位置を認識する(ステップS3)。
次いで、状況認識部34は、車両1の前方に存在する対象物8の状況を認識する(ステップS4)。
次いで、表示制御部35は、状況認識部34の認識結果に基づいて、車両1の前方に存在する対象物8の状況が第1の状況及び第2の状況の少なくともいずれかであるか否かを判別する(ステップS5)。
表示制御部35は、車両1の前方に存在する対象物8の状況が第1の状況及び第2の状況のいずれでもないと判別した場合(ステップS5:NO)、表示装置11に表示させる視線誘導虚像GVIを決定する(ステップS6)。ステップS6で決定される視線誘導虚像GVIは、車両1の前方に存在する対象物8の状況が第1の状況及び第2の状況のいずれにも該当しなかった場合の視線誘導虚像GVIである。ステップS6において、表示制御部35は、対象物位置認識部32が認識した位置、及び運転者位置認識部33が認識した位置に基づいて、表示装置11に表示させる視線誘導虚像GVIを決定する。
ここで、ステップS6について図4を参照して詳述する。
図4は、表示装置11に表示させる視線誘導虚像GVIを説明するための図である。
図4では、車両1の前方に存在する対象物8として人8aを例示し、視線誘導装置10が、人8aに運転者Uの視線を誘導している場合を例示している。
図4の位置I1は、車両1の上面視において、線L2とフロントガラス5とが交差する車幅方向における位置である。線L2は、運転者Uの頭HDの位置及び人8aの位置を結ぶ線である。
図4の場合、表示制御部35は、表示装置11に表示させる視線誘導虚像GVIとして、位置I1から車幅方向の両方向に所定の長さを有する視線誘導虚像GVIを決定する。
図3に示すフローチャートの説明に戻り、表示制御部35は、ステップS6で決定した視線誘導虚像GVIを表示させる表示データを生成する(ステップS7)。
次いで、表示制御部35は、ステップS7で生成した表示データを表示装置11に出力する(ステップS8)。
ステップS5の説明に戻り、表示制御部35は、車両1の前方に存在する対象物8の状況が第1の状況及び第2の状況の少なくともいずれかであると判別した場合(ステップS5:YES)、表示装置11に表示させる視線誘導虚像GVIを決定する(ステップS9)。ステップS9で決定される視線誘導虚像GVIは、車両1の前方に存在する対象物8の状況が第1の状況及び第2の状況の少なくともいずれかに該当する場合の視線誘導虚像GVIである。ステップS9において、表示制御部35は、対象物位置認識部32が認識した位置、及び運転者位置認識部33が認識した位置に基づいて、表示装置11に表示させる視線誘導虚像GVIを決定する。
表示制御部35は、ステップS9で決定した視線誘導虚像GVIを表示させる表示データを生成し(ステップS10)、生成した表示データを表示装置11に出力する(ステップS11)。
ここで、ステップS9-S11について図5-図7を参照して詳述する。
ステップS9-S11の詳細な説明では、車両1の前方に存在する対象物8の状況が第1の状況である場合と第2の状況である場合との2つの場合に分けて説明する。
<車両の前方に存在する対象物の状況が第1の状況である場合>
まず、車両1の前方に存在する対象物8の状況が第1の状況である場合について説明する。
図5は、表示装置11に表示させる視線誘導虚像GVIを説明するための図である。
図5では、車両1の前方に存在する対象物8として人8bを例示し、視線誘導装置10が、人8bに運転者Uの視線を誘導している場合を例示している。
図5において、人8bは、車両1の前方を左方から右方に向かって移動している。図5では、現在位置に存在する人8bを実線で示し、現在位置から所定時間後の位置に存在するする人8bを点線で示している。
図5において、位置I2は、車両1の上面視において、線L3とフロントガラス5とが交差する車幅方向の位置である。線L3は、車両1の上面視において、人8bの現在位置と、運転者Uの頭HDの位置とを結ぶ線である。図5において、位置I3は、車両1の上面視において、線L4とフロントガラス5とが交差する車幅方向の位置である。線L4は、車両1の上面視において、現在位置から所定時間後の人8bの位置と、運転者Uの頭HDの位置とを結ぶ線である。位置I3は、状況認識部34が算出した人8bの移動速度及び移動方向と、人8bの現在位置と、予め定められた所定時間とに基づいて、対象物位置認識部32により算出される。
図5の場合、ステップS9-S11において、表示制御部35は、表示装置11に表示させる視線誘導虚像GVIとして、左端が位置I2に位置し右端が位置I3に位置する視線誘導虚像GVIを決定する。すなわち、表示制御部35は、車幅方向の長さが位置I2から位置I3までの長さである視線誘導虚像GVIを決定する。この長さは、人8bの現在位置から所定時間後の人8bの位置までの距離、換言すると、現在から所定時間後における人8bの移動距離に対応した長さである。図5の場合、表示制御部35は、視線誘導虚像GVIの左端の位置が位置I2であることを示し、且つ、視線誘導虚像GVIの右端の位置が位置I3であることを示す表示データを生成して、表示装置11に出力する。これにより、表示装置11は、図5に示すように、車幅方向において、人8bの現在位置と対応する位置から右方に延びる視線誘導虚像GVIを表示する。
このように、車両1の前方において移動している対象物8が存在している場合、視線誘導虚像GVIの車幅方向の長さを、対象物8が移動していることに対応した長さにできる。そのため、移動している対象物8に対応して表示する視線誘導虚像GVIの誘目性を高めることができ、この対象物8を運転者Uが見落としてしまうことを低減できる。また、視線誘導虚像GVIの車幅方向の長さを、現在から所定時間後までの対象物8の移動距離に対応した長さにするため、運転者Uは、視線誘導虚像GVIを見るだけで、移動している対象物8が、現在位置から将来どのくらい移動するかを簡単に確認できる。
なお、図5の例では、車両1の前方において対象物8が左方から右方に移動する場合を例示しているが、対象物8が右方から左方に移動する場合でも、表示制御部35は、ステップS9-S11において、図5を参照して説明した動作と同様の動作を行う。この場合、表示装置11に表示させる視線誘導虚像GVIは、車幅方向において、対象物8の現在位置と対応する位置から左方に延びる虚像となる。
また、図5の例では、視線誘導虚像GVIの左端の位置を、線L3とフロントガラス5とが交差する位置とし、視線誘導虚像GVIの右端の位置を、線L4とフロントガラス5とが交差する位置としている。しかしながら、視線誘導虚像GVIの両端の位置は、対象物8及び運転者Uの頭HDの位置を結ぶ線とフロントガラス5とが交差する位置に限定されない。例えば、視線誘導虚像GVIの左端は、この交差する位置から左方に所定の長さ離れた位置であってもよい。また、例えば、視線誘導虚像GVIの右端は、この交差する位置から右方に所定の長さ離れた位置であってもよい。
<車両の前方に存在する対象物の状況が第2の状況である場合>
次に、車両1の前方に存在する対象物8の状況が第2の場合について説明する。
図6は、表示装置11に表示させる視線誘導虚像GVIを説明するための図である。
図6では、車両1に前方に存在する対象物8として人8c、8dを例示し、視線誘導装置10が、人8c、8dに運転者Uの視線を誘導している場合を例示している。図6では、表示される視線誘導虚像GVIの視線方向に、人8c、8dが存在していることが前提である。車幅方向においては、人8cより人8dのほうが運転者Uに近い位置に存在している。
図6において、位置I4は、車両1の上面視において、線L5とフロントガラス5とが交差する車幅方向の位置である。線L5は、車両1の上面視において、人8cの位置と、運転者Uの頭HDの位置とを結ぶ線である。図6において、位置I5は、車両1の上面視において、線L6とフロントガラス5とが交差する車幅方向の位置である。線L6は、車両1の上面視において、人8dの位置と、運転者Uの頭HDの位置とを結ぶ線である。
図6の場合、ステップS9-S11において、表示制御部35は、表示装置11に表示させる視線誘導虚像GVIとして、左端が位置I4に位置し右端が位置I5に位置する視線誘導虚像GVIを決定する。すなわち、表示制御部35は、車幅方向の長さが位置I4から位置I5までの長さを有する視線誘導虚像GVIを決定する。この長さは、車幅方向において、人8c、8dの離間距離に対応した長さである。図6の場合、表示制御部35は、視線誘導虚像GVIの左端の位置が位置I4であることを示し、且つ、視線誘導虚像GVIの右端の位置が位置I5であることを示す表示データを生成して、表示装置11に出力する。これにより、表示装置11は、図6に示すように、車幅方向において、人8dの位置と対応する位置から、人8cの位置と対応する位置まで、左方に延びる視線誘導虚像GVIを表示する。
また、図6の例では、視線誘導虚像GVIの左端の位置を、線L5とフロントガラス5とが交差する位置とし、視線誘導虚像GVIの右端の位置を、線L6とフロントガラス5とが交差する位置としている。しかしながら、視線誘導虚像GVIの両端の位置は、対象物8及び頭HDの位置を結ぶ線とフロントガラス5とが交差する位置に限定されない。例えば、視線誘導虚像GVIの左端は、この交差する位置から左方に所定の長さ離れた位置としてもよい。また、例えば、視線誘導虚像GVIの右端は、この交差する位置から右方に所定の長さ離れた位置としてもよい。
図6では、車両1の前方に存在する対象物8が2つである場合を例示しているが、車両1の前方に存在する対象物8がn個(nは3以上の整数)以上存在する場合、表示制御部35は、車幅方向において最も離れている2つの対象物8を対象として、図6で説明したように視線誘導虚像GVIを決定する。この際、表示制御部35は、表示装置11に表示させる視線誘導虚像GVIの色を、対象物8がn個未満である場合に表示させる視線誘導虚像GVIの色と異なる色にする。例えば、表示制御部35は、対象物8がn個未満である場合の色が黄色であるとすると、対象物8がn個以上である場合の色を黄色より誘目性の高い赤色にする。なお、n個以上であるか否かで異ならせる表示態様は、色に限定されず、点滅頻度や明度等でもよい。なお、nは、3以上であればよく、予め定められている。
図6のように、車両1の前方において複数の対象物8が存在している場合、表示制御部35は、視線誘導虚像GVIの車幅方向の長さを、複数の対象物8が存在していることに対応した長さにできる。そのため、視線誘導虚像GVIの誘目性を高めることができ、車両1の前方を存在する複数の対象物8を運転者Uが見落としてしまうことを低減できる。また、視線誘導虚像GVIの車幅方向の長さを、車幅方向において最も離れている2つの対象物8の離間距離に対応する長さにするため、視線誘導装置10は、視線誘導虚像GVIによって、車幅方向における視線移動を運転者Uに促すことができる。よって、見落とし易い位置に対象物8が存在している場合でも、この対象物8を運転者Uが見落としてしまうことを低減できる。また、視線誘導虚像GVIの車幅方向における端部には、視線方向に対象物8が存在するため、運転者Uは、見落とし易い位置に対象物8が存在している場合でも、速やかに対象物8の存在に気づくことができる。図6の場合では、運転者Uに近い対象物8が人8dであるため、人8dより人8cのほうが運転者Uにとって見落とし易い位置に存在していることになるが、運転者Uは、視線誘導虚像GVIの延びる方向に視線移動することで、簡単に人8cの存在に気づくことができる。
図6を参照した説明は、表示される視線誘導虚像GVIの視線方向に、対象物8が存在していることが前提である。そこで、図7を参照して、車両1の前方に存在する複数の対象物8のうち、少なくとも1の対象物8が、表示される視線誘導虚像GVIの視線方向に存在しており、少なくとも1の対象物8が、表示される視線誘導虚像GVIの視線方向に存在していない場合について説明する。
図7は、表示装置11に表示させる視線誘導虚像GVIを説明するための図である。
図7では、車両1の前方に存在する対象物8として人8e、8fを例示し、視線誘導装置10が、人8e、8fに運転者Uの視線を誘導している場合を例示している。図7において、視線誘導虚像GVIは、人8fに重ねて又は水平方向における位置を一致させて、視線誘導虚像GVIを表示できる一方、人8eに対してはこの表示を行えない。すなわち、図7において、人8fは、運転者Uが表示される視線誘導虚像GVIを見た先に存在しているが、人8eは、運転者Uが表示される視線誘導虚像GVIを見た先に存在していない。
図7において、線L7は、車両1の上面視において、運転者Uの頭HDの位置と、人8eの位置を結ぶ線である。また、図7において、線L8は、車両1の上面視において、運転者Uの頭HDの位置と、人8fの位置を結ぶ線である。また、図7において、位置I6は、車幅方向における位置であって、線L8とフロントガラス5とが交差する位置である。
図7の場合、ステップS9-S11において、表示制御部35は、表示装置11に表示させる視線誘導虚像GVIとして、左端が表示範囲HAの左端と一致し右端が位置I6に位置する視線誘導虚像GVIを決定する。また、表示制御部35は、表示装置11に表示させる視線誘導虚像GVIとして、左端部が点滅する視線誘導虚像GVIを決定する。表示制御部35は、左端の位置が表示範囲HAの左端を示し、右端の位置が位置I6を示す表示データを生成する。ここで、生成される表示データは、点滅部分GVI-Tと非点滅部分GVI-Kとの境界の車幅方向における位置も示す。表示制御部35は、生成した表示データを表示装置11に出力する。これにより、表示装置11は、図7に示すように、車幅方向において、人8fの位置と対応する位置から表示範囲HAの左端まで延び、且つ、左端部が点滅した視線誘導虚像GVIを表示する。
なお、図7では、視線誘導虚像GVIにおいて、点滅部分GVI-Tと非点滅部分GVI-Kとの境界に白線が引かれているように図示されているが、これは境界を図面で明示するための便宜的な図示であり、実際には、境界においても虚像が表示されている。
図7のように、左端部を点滅させることで、視線誘導虚像GVIによって視線誘導できない対象物8が、車両1の前方に存在していることを運転者Uに促すことができる。よって、視線誘導虚像GVIによって視線誘導できない対象物8を、運転者Uが見落としてしまうことを低減できる。
なお、図7の例では、車両1の左前方において、視線誘導虚像GVIによって視線誘導できない対象物8が存在している場合を例示している。しかしながら、視線誘導虚像GVIによって視線誘導できない対象物8が右前方に存在する場合でも、表示制御部35は、ステップS9-S11において、図7を参照して説明した動作と同様の動作を行う。この場合、表示装置11に表示させる視線誘導虚像GVIは、右端部が点滅した虚像となる。
以上のように、視線誘導装置10は、表示装置11に表示させる視線誘導虚像GVIの車幅方向の長さを、車両1の前方に存在する対象物8の状況に応じた長さにする。ここで、視線誘導装置10は、対象物8が車両1に影響(接触や衝突等)を及ぼす可能性の高さに応じて、表示装置11に表示させる視線誘導虚像GVIの車幅方向の長さ変更してもよい。この影響に基づく長さ変更は、車両1の前方に存在する対象物8の状況に応じた長さ変更と共に行われてもよい。
例えば、対象物認識部31が認識可能な対象物8の種類には、種類ごとに、車両1に影響を及ぼす可能性の高さのレベルとして、「低」「中」「高」の3段階のいずれかのレベルが設定されているとする。「低」「中」「高」の3段階では、この順に、レベルが高いことを示す、換言すると影響を及ぼす可能性が高いことを示す。対象物認識部31は、対象物8の種類を認識する。そして、表示制御部35は、表示装置11に表示させる視線誘導虚像GVIの車幅方向の長さを、対象物認識部31が認識した対象物8の種類に設定されたレベルに応じた長さにする。対象物認識部31が認識した対象物8の種類に設定されたレベルが高いほど、表示制御部35は、表示装置11に表示させる視線誘導虚像GVIの車幅方向の長さを長くする。
また、例えば、車両1に影響を及ぼす可能性の高さのレベルとして、対象物8の移動速度に応じた「低」「中」「高」の3段階のレベルがあるとする。「低」「中」「高」の3段階では、この順に、レベルが高いことを示す。状況認識部34は、対象物認識部31が認識した対象物8の移動速度を算出する。そして、表示制御部35は、表示装置11に表示させる視線誘導虚像GVIの車幅方向の長さを、算出された移動速度に対応するレベルに応じた長さにする。算出された移動速度が速ければ速いほど、表示制御部35は、表示装置11に表示させる視線誘導虚像GVIの車幅方向の長さを長くする。
視線誘導装置10は、車両1の周囲にm個(mは3以上の整数)以上の数の対象物8が存在している場合、車幅方向における表示範囲HAの全域に視線誘導虚像GVIを表示してもよい。これにより、表示範囲HAの全域に亘って延在した視線誘導虚像GVIが表示されることにより、車両1の周囲に3個以上の対象物8が存在することが運転者Uに通知される。なお、上記のmは、3に限定されず、任意の数とすることができる。また、視線誘導虚像GVIは、存在する対象物8の数に応じた色で表示されてもよい。
[第2実施形態]
以下、図面を参照して第2の実施形態について説明する。
図8、図11、及び図12では、X軸、Y軸、及びZ軸を図示している。X軸、Y軸、及びZ軸は互いに直交する。Z軸は、上下方向を示す。X軸Y軸は、水平方向と平行である。X軸は車幅方向として左右方向を示す。Y軸は前後方向を示す。X軸の正方向は右方向を示す。Y軸の正方向は前方向を示す。Z軸の正方向は上方向を示す。
図8は、第1の実施形態における図1に対応する図であり、車両41の車室内の構成を示す図である。
本実施形態の車両41は、四輪自動車である。車両41は、本開示の移動体に相当する。
車両41の車室内には、運転席42と助手席43とが設けられる。また、車両41の車室内には、車両41を操縦するためのステアリングホイール44、車外と車室内とを区分するフロントガラス45、及びインストルメントパネル46が設けられる。ステアリングホイール44は、インストルメントパネル46において、運転席42に着座した運転者Uと対向する位置に設けられる。運転者Uは、本開示の操縦者に相当する。
車両41の車室内には、インストルメントパネル46の上面前方に、車幅方向に延在するLEDアレイ47が設けられる。LEDアレイ47は、複数のLEDを有している。LEDアレイ47は、フロントガラス45に投光することで、フロントガラス45の表示可能上限線L1の下方に、運転者Uの視線を対象物48に誘導する虚像である視線誘導虚像GVIを表示する。対象物48は、運転者Uの視線を誘導する対象の物体を示し、例えば人物や車等の物体である。表示可能上限線L1は、フロントガラス45の上下方向において、像を表示可能な上限の位置を示している。表示可能上限線L1が示す上限の位置は、法規で定められている。LEDアレイ47が視線誘導虚像GVIをフロントガラス45に表示することで、運転席42に着座した運転者Uは、フロントガラス45を介して車両41の前方の情景と共に、視線誘導虚像GVIを視ることができる。
表示される視線誘導虚像GVIは、フロントガラス45において、車幅方向に延びる虚像である。LEDアレイ47は、投光するLEDを異ならせることで、視線誘導虚像GVIの表示位置、及び視線誘導虚像GVIの車幅方向の長さを異ならせる。図示される視線誘導虚像GVIは、車幅方向において、端部から中央部に向かって色が濃くなる虚像である。しかながら、視線誘導虚像GVIの色の濃淡は、あくまで一例であって、図示される濃淡に限定されない。
フロントガラス45の表示可能上限線L1の下方には、視線誘導虚像GVIの表示範囲HAが延在して形成される。車幅方向における表示範囲HAの長さは、車幅方向におけるLEDアレイ47の長さに対応する。また、車幅方向と交差する方向における表示範囲HAの長さは、前後方向におけるLEDアレイ47の長さに対応する。
視線誘導虚像GVIは、後述する表示制御部74が後述する動作を行うことで、表示範囲HAにおいて、運転席42に着座した運転者Uが視線誘導虚像GVIを視た際、車両41の前方に存在する対象物48と、重なって又は水平方向における位置が一致して、表示される。これにより、運転者Uが運転席42に着座した状態でフロントガラス45を視た際、対象物48が表示可能上限線L1の上方に位置していたとしても、運転者Uは、視線誘導虚像GVIが誘導する対象物48がどれであるかを把握できる。
図9は、第1の実施形態における図2に対応する図であり、車両41の構成を示す図である。なお、本実施形態において、視線誘導装置50、表示装置51、ドライバモニタリングカメラ52、フロントカメラ53、および位置検出デバイス54は、以下に説明する事項又は部分を除き、上述した図2に示す視線誘導装置10、表示装置11、ドライバモニタリングカメラ12、フロントカメラ13、および位置検出デバイス14と同じである。
また、本実施形態において、プロセッサー70、76、対象物認識部71、対象物位置認識部72、運転者位置認識部(操縦者位置認識部)73、表示制御部74、およびメモリー75、77は、以下に説明する事項又は部分を除き、上述した図2に示すプロセッサー30、37、対象物認識部31、対象物位置認識部32、運転者位置認識部(操縦者位置認識部)33、表示制御部35、およびメモリー36、38と同じである。
車両41は、視線誘導装置50を備える。視線誘導装置50は、CPU(Central Processing Unit)やMPU(Micro-processing unit)等のプロセッサー70、及びメモリー75を備える。
プロセッサー70は、メモリー75が記憶する制御プログラムを読み出して実行することにより、視線誘導装置50の各部を制御する。プロセッサー70は、メモリー75に記憶された制御プログラムを実行することで、対象物認識部71、対象物位置認識部72、運転者位置認識部73、及び表示制御部74として機能する。
運転者位置認識部73は、本開示の操縦者位置認識部に相当する。
メモリー75は、プロセッサー70が実行するプログラムや、プロセッサー70に処理されるデータを記憶する。メモリー75は、プロセッサー70が実行する制御プログラム、その他の各種データを記憶する。メモリー75は、不揮発性の記憶領域を有する。また、メモリー75は、揮発性の記憶領域を備え、プロセッサー70のワークエリアを構成してもよい。
視線誘導装置50には、表示装置51、ドライバモニタリングカメラ52、フロントカメラ53、及び位置検出デバイス54が接続される。なお、視線誘導装置50に接続されるデバイスは、これらのみに限定されず、例えばリアカメラや車速センサー等の他のデバイスが接続されていてもよい。
表示装置51は、CPUやMPU等のプロセッサー76、メモリー77、及びLEDアレイ47を備える。
プロセッサー76は、メモリー77が記憶する制御プログラムを読み出して実行することにより、表示装置51の各部を制御する。本実施形態では、プロセッサー76は、視線誘導装置50から入力される表示データに基づいて、LEDアレイ47によって視線誘導虚像GVIを表示範囲HAに表示する。
メモリー77は、プロセッサー76が実行するプログラムや、プロセッサー76に処理されるデータを記憶する。メモリー77は、プロセッサー76が実行する制御プログラム、その他の各種データを記憶する。メモリー77は、不揮発性の記憶領域を有する。また、メモリー77は、揮発性の記憶領域を備え、プロセッサー76のワークエリアを構成してもよい。
ドライバモニタリングカメラ52は、車両41の車室内において所定の位置に設けられ、運転席42に着座する運転者Uを撮影するカメラである。ドライバモニタリングカメラ52の撮影範囲は、少なくとも運転席42に着座する運転者Uの頭HDを含む範囲である。ドライバモニタリングカメラ52は、撮影結果のデータである撮影データを、視線誘導装置50に出力する。
フロントカメラ53は、車両41の所定の位置に設けられ、車両41の前方を撮影するカメラである。フロントカメラ53は、撮影結果のデータである撮影データを、視線誘導装置50に出力する。
位置検出デバイス54は、車両41の周辺に存在する物体の位置を検出可能なデバイスである。位置検出デバイス54は、例えば、音波、電波、電磁波又は光等を利用して物体との間の距離を測定可能なソナー、レーダー、ライダー(Lidar)、及び、視差を利用して物体との間の距離を測定可能なステレオカメラ等の少なくとも1つ以上で構成される。
上述したように、視線誘導装置50のプロセッサー70は、対象物認識部71、対象物位置認識部72、運転者位置認識部73、及び表示制御部74として機能する。
対象物認識部71は、フロントカメラ53から出力された撮影データに基づいて、フロントカメラ53の撮影結果に写る対象物48を認識する。対象物認識部71は、形状や色等の特徴に基づいて、フロントカメラ53の撮影結果に写る対象物48を認識する。対象物48の認識に必要なデータは、メモリー75に記憶されている。
対象物位置認識部72は、対象物認識部71が認識した対象物48の位置を認識する。対象物位置認識部72は、車両41を上面視した際の車両41に対する対象物48の位置を認識する。対象物位置認識部72は、位置検出デバイス54の検出結果、及び/又はフロントカメラ53の撮影結果に基づいて、対象物認識部71が認識した対象物48の位置を認識する。
運転者位置認識部73は、運転席42に着座する運転者Uの位置を認識する。本実施形態では、運転者位置認識部73は、運転席42に着座する運転者Uの位置として、車両41における運転者Uの頭HDの位置を認識する。運転者位置認識部73は、車両41を上面視した際の車両41における頭HDの位置を認識する。運転者位置認識部73は、形状や色等の特徴に基づいて、ドライバモニタリングカメラ52の撮影結果に写る運転者Uの頭HDを認識する。そして、撮影結果に写る頭HDの大きさ、及び撮影結果の画角における頭HDの位置に基づいて、運転者位置認識部73は、車両41における運転者Uの頭HDの位置を認識する。
表示制御部74は、表示装置51に視線誘導虚像GVIを表示させる。表示制御部74は、視線誘導虚像GVIの表示を指示する表示データを生成し、生成した表示データを表示装置51に出力する。そして、表示装置51のプロセッサー76は、入力された表示データに基づいて、LEDアレイ47により視線誘導虚像GVIを表示させる。表示制御部74が生成する表示データは、車幅方向における視線誘導虚像GVIの表示位置、及び車幅方向における視線誘導虚像GVIの長さを示す。
表示装置51のプロセッサー76は、表示データが入力されると、この表示データが示す表示位置を、表示する視線誘導虚像GVIの車幅方向の中央位置と決定する。そして、表示装置51は、表示データが示す表示位置に対応するLED、及び、表示データが示す長さに対応するLEDを発光させる。これにより、表示装置51のプロセッサー76は、フロントガラス45に、車幅方向における中央位置が表示データが示す表示位置となる視線誘導虚像GVIであって、且つ、車幅方向の長さが表示データが示す長さの視線誘導虚像GVIを表示する。
表示制御部74は、車幅方向における視線誘導虚像GVIの表示位置を補正する。表示制御部74は、対象物位置認識部72が認識した対象物48の位置、及び、運転者位置認識部73が認識した運転者Uの頭HDの位置に基づいて、視線誘導虚像GVIの表示位置を補正する。表示制御部74の補正については、後述する。表示制御部74は、補正した表示位置を示す表示データを生成する。
図10は、視線誘導装置50の動作を示すフローチャートである。
図10に示すフローチャートでは、運転席42に運転者Uが着座していて、ドライバモニタリングカメラ52がこの運転者Uを撮影していることを前提とする。また、図10に示すフローチャートでは、フロントカメラ53が撮影していて、また、位置検出デバイス54がセンシングしていることを前提とする。
図10のフローチャートで示すように、対象物認識部71は、フロントカメラ53の撮影結果から対象物48を認識する(ステップS21)。
次いで、対象物位置認識部72は、ステップS21で認識された対象物48の位置を認識する(ステップS22)。
次いで、運転者位置認識部73は、ドライバモニタリングカメラ52の撮影結果から、車両41における運転者Uの頭HDの位置を認識する(ステップS23)。
次いで、表示制御部74は、ステップS22で認識された対象物48の位置、及び、ステップS23で認識された運転者Uの頭HDの位置に基づいて、視線誘導虚像GVIの表示位置を補正する(ステップS24)。
図11は、視線誘導虚像GVIの表示位置の補正を説明するための図である。
図11では、対象物48として、車両41に前方に存在する他車両8gを例示し、視線誘導装置50が、他車両8gに運転者Uの視線を誘導している場合を例示している。
表示制御部74は、車両41の上面視において、運転者Uの頭HDの位置及び対象物48の位置を結ぶ線と、フロントガラス45とが交差する位置を、車幅方向における視線誘導虚像GVIの表示位置として補正する。
図11は、運転者Uの頭HDの位置が左方に移った場合を例示している。図11では、位置が左方に移る前の頭HDを実線で示し、実線の頭HDの位置から左方に移った後の頭HDを点線で示している。また、図11において、線L2は、車両41の上面視において、左方に移る前の頭HDの位置と、対象物48である他車両8gの位置を結ぶ線である。また、図11において、線L3は、車両41の上面視において、左方に移った後の頭HDの位置と、対象物48である他車両8gの位置を結ぶ線である。なお、図11において、他車両8gの位置は、線L2、L3とで同じである。
表示制御部74は、運転者Uの頭HDの位置が実線の頭HDの位置である場合、視線誘導虚像GVIの表示位置を位置I1に補正する。位置I1は、車両41の上面視において、線L2とフロントガラス45とが交差する車幅方向の位置である。
また、表示制御部74は、運転者Uの頭HDの位置が左方に移り、頭HDの位置が点線の頭HDの位置に変わった場合、視線誘導虚像GVIの表示位置を、位置I1の左方にある位置I2に補正する。位置I2は、車両41の上面視において、線L3とフロントガラス45とが交差する車幅方向の位置である。
図10のフローチャートの説明に戻り、表示制御部74は、ステップS24において表示位置を補正すると、補正した表示位置を示す表示データを生成する(ステップS25)。
次いで、表示制御部74は、表示データを表示装置51に出力する(ステップS26)。
視線誘導装置50のプロセッサー70は、ステップS26の処理を行うと、ステップS21から再度処理を繰り返す。これにより、運転者Uの頭HDの位置が変わるたびに、この位置変化に追従して視線誘導装置50の表示位置を異ならせることができる。
図12は、視線誘導虚像の表示位置の補正がない場合の運転者Uの視線を説明するための図である。
図12では、対象物48として、車両41に前方に存在する他車両8gを例示し、視線誘導装置50が、他車両8gに運転者Uの視線を誘導している場合を例示している。
図12は、図11と同様、運転者Uの頭HDの位置が左方に移った場合を例示している。図12では、位置が左方に移る前の頭HDを実線で示し、実線の頭HDの位置から左方に移った後の頭HDを点線で示している。図12において、視線LS1は、車両41の上面視において、頭HDが左方に移る前の運転者Uが、視線誘導虚像GVIを視た際の視線を示す。図12において、視線LS2は、車両41の上面視において、頭HDが左方に移った後の運転者Uが、視線誘導虚像GVIを視た際の視線を示す。
図12に示すように、視線LS1の先には、対象物48である他車両8gが存在する。そのため、図12においては、視線誘導装置50は、表示装置51が視線誘導虚像GVIを表示することで、運転者Uの頭HDが左方に移る前では運転者Uの視線を他車両8gに誘導できている。一方、図12に示すように、視線LS2の先には、対象物48である他車両8gが存在しない。つまり、運転者Uの頭HDが左方に移った場合、視線誘導装置50は、表示位置を補正しないと、表示装置51が視線誘導虚像GVIを表示しても運転者Uの視線を正確に他車両8gに誘導できない。
そこで、視線誘導装置50は、視線誘導虚像GVIの表示位置を補正することで、図11に示すように視線誘導虚像GVIの表示位置を車幅方向において変えることができる。これにより、運転者Uの頭HDの位置が変わった場合でも、運転者Uの視線の先に他車両8gを存在させることができる。つまり、視線誘導装置50は、運転者Uの頭HDの位置が変わった場合でも、運転者Uの視線を正確に他車両8gに誘導できる。
[第3実施形態]
次に、本発明の第3の実施形態について説明する。図13は、第1の実施形態における図1に対応する図であり、本発明の実施形態に係る注意喚起システムが搭載される移動体である車両100の、車室前方の構成を示す図である。また、図14は、第3の実施形態に係る注意喚起システム120の構成を示す図である。なお、車両100の他の部分の構成については、後述において他の実施形態に関連付けて説明する。
車両100は、本実施形態では、四輪自動車である。なお、図13において、Z軸は、車両100の車高方向、X軸は、車両100の車幅方向、及びY軸は、車両100の長さ方向(または、直進方向)を示す。以下では、車高方向(Z軸方向)に直交する方向(X軸方向およびY軸方向を含む)を水平方向ともいうものとする。
図13を参照し、車両100の車室内には、運転席である操縦席102と助手席103とが設けられている。また、車両100の車室内には、ステアリングホイール104、車外と車室内とを区分するフロントガラス105、及びインストルメントパネル106が設けられている。また、車両100には、操縦者が車両100の後方および後側方を視認するためのルームミラー110、左フェンダミラー(又は左ドアミラー)112、および右フェンダミラー(又は右ドアミラー)114が設けられている。
図14を参照し、注意喚起システム120は、車両100の室内に設けられた、フロントガラス105上に操縦者が視認可能な視覚表示を出力する前方投光装置122と、前方投光装置122を制御して上記視覚表示により対象物に対する操縦者の注意を喚起する注意喚起装置124と、により構成される。前方投光装置122は、フロントガラス105上に所定形状(例えば、矩形等の図形形状)の光を投光することにより視覚表示を出力する。前方投光装置122は、上述した図1における表示装置11に相当する。
図13を参照し、前方投光装置122は、本実施形態では、フロントガラス105の下方のインストルメントパネル106に車幅方向に沿って配された複数の光源で構成される光源アレイ、例えば複数の色の光を投光し得るLEDアレイである。前方投光装置122は、注意喚起装置124の制御の下に、フロントガラス105に投光することで、フロントガラス105の表示可能上限線L1の下方に、操縦者の視線を誘導する視覚表示VIを表示する。表示可能上限線L1は、像を表示可能なフロントガラス105の上下方向(車高方向)における上限の位置を示している。表示可能上限線L1が示す上限の位置は、法規で定められている。たとえば、この上限の位置は、国内法や国内規則等で制限されることもある。
視覚表示VIは、フロントガラス105に投光された所定サイズの光で形成される。例えば、視覚表示VIは、上記投光された光の反射光により操縦者の視野に結像する虚像である。フロントガラス105上における視覚表示VIの位置および大きさ(水平方向の長さ)は、例えば、前方投光装置122を構成する複数の光源のうちフロントガラス105への投光に用いる光源を選択することにより決定され得る。
フロントガラス105の表示可能上限線L1の下方には、視覚表示VIの表示範囲HAが延在する。表示範囲HAは、所定の幅をもって車両100の車幅方向に延在するフロントガラス105上の帯状範囲である。表示範囲HAは、車両100の車高方向と直交する水平方向に延在する、フロントガラス105上の帯状範囲、ともいうことができる。
なお、上述した光源アレイ又はLEDアレイは前方投光装置122の一例であって、前方投光装置122の構成はこれらには限られない。前方投光装置122は、上述した表示範囲HAに所定サイズ以上の視覚表示VIを投光できる限り、任意の構成を有し得る。例えば、前方投光装置122は、いわゆるプロジェクタであって、画像としての所定サイズ以上の視覚表示VIを表示範囲HAに表示するものであってもよい。
図14を参照し、注意喚起装置124は、処理装置130と記憶装置131とを有する。記憶装置131は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。処理装置130は、例えば、CPU(Central Processing Unit)等のプロセッサを備えるコンピュータである。処理装置130は、プログラムが書き込まれたROM(Read Only Memory)、データの一時記憶のためのRAM(Random Access Memory)等を有する構成であってもよい。そして、処理装置130は、機能要素又は機能ユニットとして、検知部132と、注意喚起部133と、を備える。
処理装置130が備えるこれらの機能要素は、例えば、コンピュータである処理装置130がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置130が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
検知部132は、車両100の周囲エリアに存在する対象物を検知する対象物認識部または対象物位置認識部である。対象物としては、例えば車両100との相対速度から算出される当該車両100との接触確率が所定値以上である所定の実在物である。検知部132は、上述した図1における対象物認識部31及び又は対象物位置認識部32に相当する。
具体的には、検知部132は、車両100に設けられた当該車両100の前方の物体を検知する前方物体センサ140から映像(又は画像)を取得する。前方物体センサ140は、例えば、カメラ、レーザ、及び又はライダである。検知部132は、前方物体センサ140により得られる前方映像から、所定の実在物を検知し、例えば車両100との相対速度から算出される車両100との接触確率が所定値以上である実在物を、対象物として検知する。本実施形態では、所定の実在物は、車両および歩行者を含む交通参加者、並び道路標識、電柱および郵便ポスト等を含む固定物である。検知部132は、検知した対象物のそれぞれの位置情報を注意喚起部133へ送る。
注意喚起部133は、上述した図1における表示制御部に相当する。表示制御部である注意喚起部133は、表示装置である前方投光装置122を制御して、車両100のフロントガラス105上の表示範囲HAに視覚表示を出力する。具体的には、注意喚起部133は、操縦者の位置から見た対象物の、フロントガラス105上の水平位置と同じ表示範囲HA内の水平位置に、視覚表示VIを表示する。
より具体的には、注意喚起部133は、操縦席102に着座した標準的な操縦者の眼の位置と、検知部132から受信した対象物のそれぞれの位置情報から、操縦者がそれらの対象物を見たときの当該操縦者の視線が、フロントガラス105と交わる交点をそれぞれ算出する。そして、注意喚起部133は、上記算出したそれぞれの交点の水平位置と同じ、表示範囲HA内の水平位置のそれぞれに視覚表示VIを表示する。
また、注意喚起部133は、車両100の周囲エリアのうち、車両100の操縦席に着座した操縦者の位置を中心として定義される所定の前方視野範囲から外れた位置において対象物が検知されたときは、車室内に分散して備えられた複数の室内スピーカ142により、操縦者に対し、当該対象物の方向定位のための音響を車室内に生じさせる。
上記前方視野範囲は、操縦席に座った操縦者が顔を前方に向けたまま無理なく視認することのできる視野範囲であり、例えば、操縦席に座った操縦者の車両100の直進方向前方(図13に示すY方向)に向かう視線を中心として所定の視野角(例えば45度)で規定される範囲である。注意喚起部133は、検知部132から受信するそれぞれの対象物の位置情報から、上記所定の前方視野範囲から外れた位置で対象物が検知されたか否かを判断することができる。
上記の構成を有する注意喚起システム120は、従来のようにフロントガラス上において対象物の実体に重ねて画像を表示するのではなく、フロントガラス105上において車幅方向に延在する帯状の表示範囲HAの、操縦者の位置から見た対象物の水平方向位置と同じ水平方向位置に、視覚表示VIを表示する。このため、注意喚起システム120では、操縦者にとって対象物と視覚表示VIとが重なって見える機会が減少するので、操縦者の注意力をより集中させる形で、車両100の周囲環境に存在する様々な交通参加者に対する操縦者の注意を喚起することができる。
また、前方投光装置122は、フロントガラス105上に所定形状(例えば、矩形等の図形形状)の光を投光することにより視覚表示VIを出力するので、操縦者は、シンプルな視覚表示VIにより、その注意力を散逸させることなく、対象物に対する注意が喚起され得る。
また、前方投光装置122は、例えば、フロントガラス105の下方において車幅方向に沿って配された複数の光源で構成され得るので、注意喚起システム120は、シンプルな構成により、操縦者に対し、対象物に対する注意を喚起することができる。
また、注意喚起部133は、車両100の周囲エリアのうち、操縦席に着座した操縦者の位置を中心として定義される所定の前方視野範囲から外れた位置において対象物が検知されたときは、対象物の方向定位のための音響を車室内に生じさせる。このため、注意喚起システム120によれば、その視認に際して操縦者が顔を動かすことが必要となり得るエリアにおいて検知された対象物については、操縦者は音響によりその対象物の方向を定位することができるので、操縦者は、その注意力を散逸させることなく、対象物に対する注意が喚起され得る。
また、注意喚起システム120では、対象物は、車両100との接触確率が所定値以上である実在物である。すなわち、注意喚起システム120は、車両100の運行にとってリスクとなり得る実在物に絞り込んで、その方向を示す視覚表示VIを表示するので、操縦者に対し、その注意力をより集中させる形で、対象物に対する注意を喚起することができる。
図15は、注意喚起システム120によりフロントガラス105に表示される視覚表示VIの一例を示す図である。図15には、車両100の操縦者がフロントガラス105を介して見ている車両100の前方エリアの情景が示されている。図示のように、市街地の交差点がある前方エリアには、交差点の手前左方に駐車されている車両200と、前方の交差道路の左方から到来する車両201と、交差道路の右方から到来するバイク202が存在する。また、前方エリアには、自車両である車両100が走行する自車道路を横断する歩行者203と、自車道路の対向車線を走行する車両204と、が存在している。
このとき、検知部132は、車両100と接触可能性のある対象物として、駐車中の車両200を除く車両201、204と、バイク202と、横断中の歩行者203と、を検知する。そして、注意喚起部133は、前方投光装置122により、フロントガラス105上の表示範囲HA内(図示点線で示す矩形の範囲)において、上記検知された対象物である車両201、204、バイク202、および歩行者203のそれぞれに対応する水平位置に、視覚表示VI-11、VI-12、VI-13、VI-14(図示ハッチングした矩形)を表示する。
図16は、注意喚起システム120における動作の手順を示すフロー図である。図16に示す処理は、図14に示す検知部132が少なくとも一つの対象物を検知したときに、当該検知した対象物ごとに開始される。
処理を開始すると、まず、注意喚起部133は、検知部132が検知した対象物のそれぞれの位置情報に基づき、前方投光装置122により、フロントガラス105上の表示範囲HA内に、上記検知された対象物のそれぞれに対応する水平位置に視覚表示VIを表示する(S100)。
続いて、注意喚起部133は、検知部132から受信したその対象物の位置情報に基づき、その対象物が所定の前方視野範囲から外れた位置で検知されたものか否かを判断する(S102)。そして、その対象物が所定の前方視野範囲から外れた位置で検知されたものであるときは(S102、YES)、注意喚起部133は、操縦者に対しその対象物の方向定位のための音響を室内スピーカ142により出力する(S104)。
続いて、注意喚起部133は、検知部132によりその対象物が検知されなくなったか否かを判断する(S106)。そして、その対象物が検知されなくなったときは(S106、YES)、注意喚起部133は、本処理を終了する。一方、その対象物が検知され続けているときは(S106、NO)、注意喚起部133は、ステップS100に戻って処理を繰り返す。
[第4実施形態]
次に、本発明の第4の実施形態について説明する。図17は、本発明の第4の実施形態に係る注意喚起システム300の構成を示す図である。この注意喚起システム300は、第3の実施形態において説明した図13に示す車両100に、注意喚起システム120に代えて搭載される。なお、図17において、図14に示す構成要素と同じ構成要素については、図14に示す符号と同じ符号を用いて示すものとし、上述した図14についての説明を援用する。
注意喚起システム300は、フロントガラス105上に操縦者が視認可能な視覚表示を出力する前方投光装置122と、前方投光装置122を制御して上記視覚表示により対象物に対する操縦者の注意を喚起する注意喚起装置324と、により構成される。
注意喚起装置324は、図14に示す注意喚起装置124と同様の構成を有するが、処理装置130および記憶装置131に代えて処理装置302および記憶装置303を備える点が異なる。記憶装置303は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成され、後述する処理装置302の認知スキル評価部310により認知習熟度情報312が保存される。
処理装置302は、処理装置130と同様の構成を有するが、機能要素又は機能ユニットとして、注意喚起部133に代えて注意喚起部304を有する点が異なる。また、処理装置302は、機能要素又は機能ユニットとして、さらに、挙動検知部306と、分類部308と、認知スキル評価部310と、を更に有する点が、処理装置130と異なる。
処理装置302が備えるこれらの機能要素は、処理装置130と同様に、例えば、コンピュータである処理装置302がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置302が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
挙動検知部306は、車両100の車室内に備えられた室内カメラ144により、操縦者の視線移動および顔の向きの移動(以下、顔移動ともいう)を検知する。室内カメラ144は、操縦者を観察するいわゆるドライバモニタリングカメラ(DMC)である。
分類部308は、検知された対象物のそれぞれを、少なくとも対象物の種別および当該対象物が存在する交通シーンに基づいて、複数のカテゴリのいずれかに分類する。ここで対象物のカテゴリとは、対象物の種別のほか、例えば現在の交通シーンにおけるその対象物の出現場所、出現タイミング、及び又は出現の際の動き、等を表す区分であり得る。
対象物の種別とは、歩行者、車両、障害物等の区別をいう。歩行者は、さらに、大人、子供、老人等に細分されてもよく、車両は、自動車、バイク、バス、自転車等に細分されてもよい。障害物は、さらに、ボール、落下物、故障車等に細分され得る。
上記交通シーンとは、直進路、踏切、交差点、曲がり角等の区別である。交差点は、さらに、駐車車両のある交差点、駐車車両のない交差点、建物のある見通しの悪い交差点、見通しのよい交差点等に細分することができる。また、交通シーンは、そのシーンに存在する交通参加者の数、及び又は交通参加者の平均速度等により細分されてもよい。
上記のように分類されるカテゴリは、例えば、“交差点の駐車車両の影から出現する子供”、“見通しの悪い交差点の建物の影から出現する自転車”、“交差点で対向車線を直進するバイク”等々であり得る。
認知スキル評価部310は、上記カテゴリのそれぞれに属する対象物についての認知の習熟度合いを示す認知習熟度を算出し、算出したカテゴリ毎の認知習熟度を認知習熟度情報312として記憶装置303に記憶する。ここで、対象物についての認知の習熟度合いとは、例えば、その対象物の認知に至るまでの行動(視線や顔の動き)の計画性の程度をいう。上記認知に至るまでの行動の計画性は、その対象物のカテゴリ、すなわち、対象物の種別のほか、現在の交通シーンにおけるその対象物の出現場所、出現タイミング、及び又は出現の際の動き等に依存し得る。このため、認知スキル評価部310は、対象物について算出した認知習熟度を、その対象物のカテゴリに関連付け、カテゴリ毎の認知習熟度を表す認知習熟度情報312として記憶装置303に記憶する。
具体的には、認知スキル評価部310は、操縦者が対象物を視認した際に、当該対象物への視線移動に先行して、当該対象物の方向へ顔を移動したか否かに基づいて、当該対象物が分類されているカテゴリについての、当該操縦者の認知習熟度を算出する。一般に、操縦者は、或る程度の予測に基づいて計画的に交通参加者の有無を視認しようとする場合には、その交通参加者が出現し易いタイミングにおける出現し易い場所、すなわち実在物の方向への視線移動に先立って、その実在物の方向へ顔を向ける傾向があるためである。
また、認知スキル評価部310は、習熟度算出の対象である対象物が、他の対象物への視線の移動に際してその視線が通過した実在物であるか否か、および当該視線の移動は先行する顔の移動を伴うものであったか否か、に基づいて、上記習熟度算出の対象である対象物のカテゴリの認知習熟度を算出する。
上記において、操縦者が対象物を視認したか否かは、挙動検知部306により、操縦者の視線がその対象物に所定時間以上滞留したか否かに基づいて判断され得る。
より具体的には、認知スキル評価部310は、対象物のカテゴリについての認知習熟度を以下のように算出する。
a)先行する顔向き移動に続く視線移動の後に視線が所定時間以上滞留した対象物のカテゴリについては、認知習熟度を1とする。
b)先行する顔向き移動に続く視線移動の途中でその視線が通過した対象物のカテゴリについては、認知習熟度を2とする。
c)先行する顔向き移動を伴わない視線移動の後に視線が所定時間以上滞留した対象物のカテゴリについては、認知習熟度を3とする。
d)先行する顔向き移動を伴わない視線移動の途中でその視線が通過した対象物のカテゴリについては、認知習熟度を4とする。
e)視線の滞留も視線の通過もなかった対象物のカテゴリについては、習熟度を5とする。
注意喚起部304は、注意喚起部133と同様に、前方投光装置122を制御して、図13に示す車両100のフロントガラス105上の表示範囲HAに、視覚表示VIを出力する。ただし、注意喚起部304は、注意喚起部133とは異なり、視覚表示VIの出力に際して記憶装置303に記憶された認知習熟度情報312を参照し、当該認知習熟度情報312に基づき、検知された対象物のそれぞれの方向位置を示す視覚表示VIを、当該対象物のカテゴリについて算出された操縦者の認知習熟度に応じた態様で、フロントガラス105の表示範囲HAに表示する。
ここで、視覚表示VIを操縦者の認知習熟度に応じた態様で表示するとは、例えば、投影光である視覚表示VIを、操縦者の認知習熟度に応じた色、輝度、及びまたは大きさで表示することをいう。
図18は、認知スキル評価部310が記憶装置303に記憶する認知習熟度情報312の例である。図18には、一の操縦者の認知習熟度情報が表形式で示されている。認知スキル評価部310は、操縦者ごとに、図18に示すような認知習熟度情報を記憶装置303に記憶する。図18に示す表において、最も左の列から右に向かって順に、第1列、第2列、…、第6列と呼ぶものとする。また、最も上の行から下に向かって順に第1行、第2行、…、と呼ぶものとする。
図18に示す認知習熟度情報は、第1列に、分類部308が対象物を分類する際に用いるカテゴリが示されている。図18の第1列に示すカテゴリは記述的に記載されているが、従来技術に従い、遮蔽物の有無、交差道路か自車道路か、歩行者か車両か、等々の区分をコード化した記号の組み合わせを、カテゴリとして用いることもできる。
図18の第2列から第6列は、それぞれのカテゴリに分類された対象物について認知スキル評価部310により算出された、直近5回分の認知習熟度を示している。すなわち、図18の表の3行目の第2列から第6列には、この操縦者が最近においてカテゴリ“遮蔽物のない交差道路から出現する車両”に分類された車両に5回遭遇したときの、それぞれの遭遇時において算出された認知習熟度が示されている。
図19は、図18に示す認知習熟度情報に基づいて注意喚起部304がフロントガラス105に表示する視覚表示VIの一例を示している。図19に示す車両100の前方エリアの交通シーンは、図15に示した交通シーンと同様である。ここで、分類部308は、車両201をカテゴリ“遮蔽物のある交差道路から出現する車両”に分類し、車両204をカテゴリ“交差点で自車道路の対向車線を直進する車両”に分類したとする。また、分類部308は、バイク202および歩行者203を、それぞれ、カテゴリ“遮蔽物のない交差道路から出現する車両”および“交差点で自車道路を横断する歩行者”に分類したものとする。
注意喚起部304は、検知部132が検知した対象物である車両201、204、バイク202、及び歩行者203についての視覚表示VIをフロントガラス105の表示範囲HAに表示するに際し、まず、記憶装置303に記憶されている図18に示すような認知習熟度情報312を参照する。
そして、注意喚起部304は、認知習熟度情報312が示すそれぞれのカテゴリの認知習熟度に応じて、例えば、認知習熟度が1から5に近づくに従って、当該カテゴリに分類された対象物についての視覚表示VIを、誘目性がより高い態様で表示する。ここで、「誘目性がより高い態様で表示する」とは、例えば、認知習熟度が1から5に近づくに従って視覚表示VIの色相を寒色系から暖色系へ、より目立つ色に順次変化させることをいう。ただし、認知習熟度に応じて変化させる視覚表示VIの態様は、色相に限らず、輝度(色調)、点滅の速さ、サイズ等々であってもよい。本実施形態では、例えば、認知習熟度の数値が1から5へ1段階ずつ増加するにつれて、視覚表示VIが、青色、緑色、黄色、橙色、赤色で表示されるものとする。
図18に示す例では、この操縦者についての、カテゴリ“遮蔽物のある交差道路から出現する車両”の直近5回の認知習熟度の最頻値が4であることから、注意喚起部304は、図19に示すフロントガラス105の表示範囲HAにおいて、当該カテゴリに分類された車両201についての視覚表示VI-21を橙色で表示する。また、カテゴリ“遮蔽物のない交差道路から出現する車両”の直近5回の認知習熟度の最頻値が3であることから、注意喚起部304は、図19に示すフロントガラス105の表示範囲HAにおいて、当該カテゴリに分類されたバイク202についての視覚表示VI-22を黄色で表示する。
同様に、カテゴリ“交差点で自車道路を横断する歩行者”の直近5回の認知習熟度の最頻値が2であることから、注意喚起部304は、図19に示すフロントガラス105の表示範囲HAにおいて、当該カテゴリに分類された歩行者203についての視覚表示VI-23を緑色で表示する。また、カテゴリ“交差点で自車道路の対向車線を直進する車両”の直近5回の認知習熟度の最頻値が1であることから、注意喚起部304は、図19に示すフロントガラス105の表示範囲HAにおいて、当該カテゴリに分類された車両204についての視覚表示VI-24を青色で表示する。
なお、上記においては、視覚表示VIの表示態様である表示色の選択に際して、それぞれのカテゴリについての直近5回分の認知習熟度の最頻値を用いるものとしたが、これに限らず、例えば、当該5回分の平均値を切り上げ、切り下げ、四捨五入等により整数値としたものや、直近5回分の最小値、最大値を用いるものとしてもよい。
上記の構成を有する注意喚起システム300は、注意喚起システム120と同様に、フロントガラス105上の帯状の表示範囲HAにおいて、対象物に対応する水平方向位置に視覚表示VIを表示する。このため、注意喚起システム300は、注意喚起システム120と同様に、操縦者の注意力を散逸させることなく、車両100の周囲環境に存在する様々な交通参加者に対する操縦者の注意を喚起することができる。
また、注意喚起システム300では、特に、対象物についての視覚表示VIは、その対象物のカテゴリについての操縦者の認知習熟度に応じた態様で表示される。このため、注意喚起システム300では、操縦者は、表示された視覚表示VIにより認知習熟度に応じた優先度で各対象物を視認することができ、車両100の周囲環境に存在する様々な交通参加者に対する操縦者の注意が、当該操縦者の運転行動にとってより効果的な態様で喚起され得る。
また、注意喚起システム300では、操縦者について、認知の計画性を表す視線移動前の顔移動の有無に基づいて対象物のカテゴリ毎の認知習熟度が算出されるので、簡易な処理で認知習熟度が算出され得る。
また、注意喚起システム300では、特定の対象物を視認するための計画的な視線移動に伴って視線が通過した対象物か否かによっても、当該対象物(すなわち、視線が通過した対象物)のカテゴリについての認知の習熟度が判断される。このため、注意喚起システム300では、視認の対象でなかった対象物についても、その操縦者の視線の移動経路の傾向に基づく認知の習熟度が把握されて、視覚表示の表示態様に反映され得る。
図20は、注意喚起システム300における動作の手順を示すフロー図である。図20に示す処理は、図17に示す検知部132が少なくとも一つの対象物を検知したときに、当該検知した対象物ごとに開始される。
処理を開始すると、まず、分類部308は、検知された対象物をカテゴリに分類する(S200)。続いて、注意喚起部304は、記憶装置303に保存されている認知習熟度情報312を参照し(S202)、表示範囲HA内の対象物に対応する水平位置に、視覚表示VIを認知習熟度に応じた態様で表示する(S204)。
次に、注意喚起部304は、検知部132によりその対象物が検知されなくなったか否かを判断する(S206)。そして、その対象物が検知され続けているときは(S206、NO)、注意喚起部304は、ステップS204に戻って処理を繰り返す。一方、その対象物が検知されなくなったときは(S206、YES)、認知スキル評価部310は、それまでの間に操縦者が行った挙動、すなわち、挙動検知部306が検知した操縦者の視線移動および顔の向きの移動の態様に基づいて、その対象物についてのその操縦者の認知習熟度を算出する(S208)。
続いて、認知スキル評価部310は、上記算出した認知習熟度をその対象物のカテゴリに関連付けて、認知習熟度情報として記憶装置303に記憶する。具体的には、例えば、認知スキル評価部310は、上記算出した認知習熟度を、記憶装置303に保存されている認知習熟度情報312に追加して、認知習熟度情報312を更新する(S210)。認知スキル評価部310が認知習熟度情報312を更新したあとは、処理装置302は、本処理を終了する。
[第5実施形態]
次に、本発明の第5の実施形態について説明する。図21は、本発明の第5の実施形態に係る注意喚起システム400の構成を示す図である。この注意喚起システム400は、第3の実施形態において説明した図13に示す車両100に、注意喚起システム120に代えて搭載される。なお、図21において、図14および図17に示す構成要素と同じ構成要素については、図14および図17に示す符号と同じ符号を用いて示すものとし、上述した図14および図17についての説明を援用する。
注意喚起システム400は、フロントガラス105上に操縦者が視認可能な視覚表示を出力する前方投光装置122と、前方投光装置122を制御して上記視覚表示により対象物に対する操縦者の注意を喚起する注意喚起装置424と、により構成される。
注意喚起装置424は、図17に示す注意喚起装置324と同様の構成を有するが、処理装置302および記憶装置303に代えて処理装置402および記憶装置403を備える点が異なる。記憶装置403は、記憶装置303と同様の構成を有し、後述する処理装置402の反応スキル評価部410により反応習熟度情報414が保存される。
処理装置402は、処理装置302と同様の構成を有するが、機能要素又は機能ユニットとして、注意喚起部304および挙動検知部306に代えて注意喚起部404および挙動検知部406を有する点が異なる。また、処理装置402は、認知スキル評価部310を有さず、反応スキル評価部410およびリスク算出部412を有する点が、処理装置302と異なる。
処理装置402が備える機能要素は、処理装置302と同様に、例えば、コンピュータである処理装置402がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置402が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
リスク算出部412は、検知部132により検知された対象物のそれぞれについて、分類部308により当該対象物が分類されたカテゴリに基づき、車両100と接触するリスクの程度を示すリスク度を算出する。このリスク度は、検知部132が、検知した対象物のそれぞれについて少なくとも車両100との相対速度に基づいて算出する接触確率とは異なり、例えば、実際に発生した事故を上記カテゴリに分類して、事故の全件数に対するカテゴリ毎の発生件数の比率を、所定の閾値範囲と比較して多段階評価値に対応付けたものである。本実施形態では、リスク度は、10段階評価であり、リスク度1が最も事故発生確率が低く、リスク度10が最も事故発生確率が高いものとする。
リスク算出部412は、例えば、記憶装置403に予め保存されたカテゴリ毎のリスク度を示すリスク情報を参照することにより、上記検知された対象物のそれぞれのリスク度を求めるものとすることができる。あるいは、リスク算出部412は、リスク算出の対象である対象物が分類されたカテゴリと、当該対象物の事故確率との関係を機械学習した学習済みのリスク算出モデルを用いて、その対象物のカテゴリについてのリスク度を算出するものとすることができる。
挙動検知部406は、挙動検知部306と同様に、室内カメラ144により操縦者の視線移動および顔移動を検知し、および操縦者が対象物を視認したか否かを判断する。具体的には、挙動検知部406は、操縦者の視線が対象物に滞留した時間が所定時間を越えたときに、操縦者がその対象物を視認したと判断する。
挙動検知部406は、更に、検知部132が検知した対象物について、操縦者がその対象物を視認したときから車両100についての何らかの操縦操作を開始するまでの実反応時間を計測する。本実施形態では、挙動検知部406は、上記操縦操作として、ブレーキペダルセンサ146及び又はアクセルペダルセンサ148により、ブレーキペダル又はアクセルペダルの操作を検知する。
反応スキル評価部410は、検知部132が検知した対象物のそれぞれについて、挙動検知部406が計測した実反応時間から、当該対象物が分類されたカテゴリについて予め定められた反応標準時間を減算して、反応遅れ時間を算出する。そして、反応スキル評価部410は、算出した反応遅れ時間に基づき、そのカテゴリについての操縦者の反応習熟度を算出して、カテゴリごとの反応習熟度を、反応習熟度情報414として記憶装置403に記憶する。
反応習熟度は、例えば、5段階評価であり、反応遅れ時間(負数を含む)が小さいほど反応習熟度は小さな値をとるものとする。例えば、反応スキル評価部410は、反応遅れ時間について予め定められた閾値のセットを用いて、上記算出した反応遅れ時間を0以上4以下の反応習熟度のいずれかの数値に対応付けるものとすることができる。
注意喚起部404は、図14に示す注意喚起部133と同様に、前方投光装置122を制御して、車両100のフロントガラス105上の水平方向に延在する帯状の表示範囲HAに、視覚表示VIを出力する。ただし、注意喚起部404は、注意喚起部133とは異なり、検知部132が検知した対象物のそれぞれの方向位置を示す視覚表示VIをフロントガラス105の表示範囲HAに表示する際に、その視覚表示VIを、少なくともリスク算出部412が当該対象物について算出したリスク度に応じた態様で表示する点が異なる。
例えば、注意喚起部404は、カテゴリのリスク度が10に近いほど、当該カテゴリに分類された対象物についての視覚表示VIを、誘目性がより高い態様で表示する。ここで、「誘目性がより高い態様で表示する」とは、例えば、リスク度が1から10に近づくに従って視覚表示VIの色相を寒色系から暖色系へ、より目立つ色に順次変化させることをいう。ただし、認知習熟度に応じて変化させる視覚表示VIの態様は、色相に限らず、輝度(色調)、点滅の速さ、サイズ等々であってもよい。
具体的には、例えば、注意喚起部404は、寒色系から暖色系までの10個の色を、1から10まで値をとる10個の色コードにより表す。そして、注意喚起部404は、少なくとも、検知された対象物のカテゴリについて算出された1から10までのリスク度の値を、同じ値の色コードに対応付けて、当該対応付けられた色コードに対応する色を用いて、当該対象物についての視覚表示VIを表示する。色コードと色との関係は、例えば、色コード1から10へ1段階ずつ増加するにつれて、視覚表示VIの表示色が、紫色、青紫色、青色、青緑色、緑色、黄緑色、黄色、黄橙色、橙色、赤色になるものと定義される。
これにより、リスク度のより高い対象物について、より誘目性の高い視覚表示VIが提示されることとなるので、操縦者は、よりリスク度の高い対象物へと視線が誘導され得る。
本実施形態では、注意喚起部404は、さらに、上記リスク度に加えて、対象物のカテゴリごとの、操縦者の反応スキルを加味して、視覚表示VIの表示態様を決定する。具体的には、注意喚起部404は、対象物についての視覚表示VIを表示範囲HAに表示する際に、反応スキル評価部410が記憶装置403に記憶した操縦者についての反応習熟度情報414を参照する。
そして、注意喚起部404は、反応習熟度情報が示す上記対象物のカテゴリについての操縦者の反応習熟度(上述したとおり、本実施形態では、0から4の値を持つ)を、上述のリスク度に加算して、危険度を算出する。そして、注意喚起部404は、算出した危険度の値と同じ値を持つ色コードの色により、その対象物についての視覚表示VIを表示する。なお、算出した危険度が値10を超える対象物については、色コードの最大値10に対応する色により、その対象物についての視覚表示VIを表示するものとすることができる。
注意喚起部404は、また、検知された対象物のそれぞれについて、上記のように決定した表示態様(本実施形態では表示色)で視覚表示VIを表示した後に、操縦者がその対象物を視認していないと判断されるときは、当該対象物についての視覚表示VIの誘目性のレベルを時間と共に上昇させる。
具体的には、例えば、注意喚起部404は、対象物についての視覚表示VIを表示した後の経過時間を計測し、所定の時間(例えば1秒)が経過するごとに、その視覚表示VIを現在より一つ上の色コードの色に変更することにより、その視覚表示VIの誘目性を上げていく。視覚表示VIの誘目性のレベルの上昇変化は、色コードが最高値10まで増加したところで停止するか、または、操縦者がその対象物を視認したことを挙動検知部406が検出したときに停止する。
図22は、注意喚起部404がフロントガラス105に表示する視覚表示VIの一例を示している。図22に示す車両100の前方エリアの交通シーンおよび各対象物のカテゴリ分類は、図19の例と同じである。図22は、各対象物についての視覚表示VIの表示を開始した直後の状態を示している。このときの、各対象物の視覚表示VIの色、すなわち、車両201、バイク202、歩行者203、および車両204についての視覚表示VI-31、VI-32、VI-33、およびVI-34の色は、それぞれ、上述したように、車両201、バイク202、歩行者203、および車両204が分類されたカテゴリについてのリスク度に基づいて決定される。図22に示す例では、車両201、バイク202、歩行者203、および車両204が分類されたカテゴリについての、リスク度と反応習熟度を加算した危険度は、例えば、9、4、6、6であり、これに対応して、視覚表示VI-31、VI-32、VI-33、およびVI-34は、橙色、青緑色、黄緑色、黄緑色で表示される。
そして、これらの視覚表示VI-31、VI-32、VI-33、VI-34のそれぞれは、これらの視覚表示に対応する車両201、バイク202、歩行者203、および車両204を操縦者が視認するまで、それらの表示色が時間の経過とともに変化する。図23は、一例として、車両204に対する操縦者の視認が行われないまま時間が経過した場合の、当該車両204についての視覚表示VI-34の表示態様の変化を示す図である。
図23には、図示左から右へ順に、表示範囲HA内への表示開始時の視覚表示VI-34、並びに、表示開始から1秒後、2秒後、3秒後、及び4秒後の視覚表示VI-34が示されている。図23では、表示開始から3秒後に、視覚表示VI-34に対応する車両204を操縦者が視認したものとしている。
車両204の危険度は6(上述)であることから、表示開始時の視覚表示VI-34の色コードは6(黄緑色)である。その後、注意喚起部404は、1秒ごとに視覚表示VI-34を現在より一つ上の色コードの色に変更し、1秒後に色コード7(黄色)、2秒後に色コード8(黄橙色)、3秒後に色コード9(橙色)に変更する。そして、3秒後において、注意喚起部404は、操縦者が車両204を視認したことに応じて、視覚表示VI-34についての色コードのインクリメントを停止する。これにより、4秒後以降は、視覚表示VI-34は、色コード9(橙色)による表示が継続される。
上記の構成を有する注意喚起システム400は、注意喚起システム120と同様に、フロントガラス105上の帯状の表示範囲HAにおいて、対象物に対応する水平方向位置に視覚表示VIを表示する。このため、注意喚起システム400は、注意喚起システム120と同様に、操縦者の注意力を散逸させることなく、車両100の周囲環境に存在する様々な交通参加者に対する操縦者の注意を喚起することができる。
また、注意喚起システム400では、特に、対象物についての視覚表示VIは、少なくともその対象物のカテゴリについてのリスク度に応じた態様で表示される。このため、注意喚起システム400では、操縦者は、例えば車両100との接触リスクの程度に応じた優先度で各対象物を視認することができ、車両100の周囲環境に存在する様々な対象物に対する操縦者の注意が、当該操縦者の運転行動にとってより効果的な態様で喚起され得る。
また、注意喚起システム400では、対象物についての視覚表示VIの表示態様は、さらに、その対象物のカテゴリについての操縦者の反応習熟度にも基づいて決定される。このため、注意喚起システム400では、視認から操縦操作までの操縦者の実反応時間が標準反応時間に比べてより遅い対象物については、より誘目性の高い視覚表示VIにより示され得るので、車両100の周囲環境に存在する様々な対象物に対する操縦者の注意が、当該操縦者の反応行動の速さに応じた優先度で喚起され得る。
また、注意喚起システム400では、注意喚起部404は、操縦者が対象物を視認していないと判断されるときは、その対象物についての視覚表示VIの誘目性のレベルを時間と共に上昇させる(本実施形態では、例えば、表示色をより暖色へ変更する)。これにより、注意喚起システム400では、操縦者がその対象物を視認しないまま長い時間が経過してしまうことが防止される。その結果、構成2の注意喚起システムでは、操縦者は、出現した対象物に対する対処行動が遅れてしまうのを避けることができる。
また、注意喚起システム400では、操縦者の視線が対象物に滞留した時間が所定時間を越えたときに、操縦者がその対象物を視認したと判断されるので、簡易な処理で、その対象物についての視認の有無が判断され得る。
図24は、注意喚起システム400における動作の手順を示すフロー図である。図24に示す処理は、図21に示す検知部132が少なくとも一つの対象物を検知したときに、当該検知した対象物ごとに開始される。
処理を開始すると、まず、分類部308は、検知された対象物をカテゴリに分類する(S300)。また、リスク算出部412は、その対象物が分類されたカテゴリに基づいてリスク度を算出する(S302)。
また、注意喚起部404は、記憶装置403が記憶する反応習熟度情報414を参照し、その対象物のカテゴリについての反応習熟度を読み出す(S304)。次に、注意喚起部404は、リスク度と反応習熟度とに基づいて、その対象物についての視覚表示VIの表示態様を設定する(S306)。そして、注意喚起部404は、表示範囲HA内の対象物に対応する水平位置に、視覚表示VIを、上記設定した表示態様で表示する(S308)。
次に、注意喚起部404は、検知部132によりその対象物が検知されなくなったか否かを判断する(S310)。そして、その対象物が検知されなくなったときは(S310、YES)、注意喚起部404は、本処理を終了する。
一方、その対象物が検知され続けているときは(S310、NO)、注意喚起部404は、その対象物が既に視認されているか否かを判断する(S312)。そして、その対象物が既に視認されているときは(S312、YES)、注意喚起部404は、視覚表示VIの表示態様の設定を変更することなく、ステップS308に戻って処理を繰り返す。
一方、その対象物が未だ視認されていないときは(S312、NO)、注意喚起部404は、挙動検知部406が検知する操縦者の視線移動により、操縦者がその対象物を視認したか否かを判断する(S314)。そして、操縦者が対象物を視認していないときは(S314、NO)、注意喚起部404は、視覚表示VIの表示態様を、現在の表示態様より誘目性を1段上げた表示態様に設定したのち(S316)、ステップS308に戻って処理を繰り返す。上述したように、本実施形態では、例えば、視覚表示VIに用いる表示色をより暖色(例えば赤色)に近い色に変更することで、視覚表示VIの表示態様の誘目性を1段引き上げる。
一方、ステップS314において操縦者が対象物を視認しているときは(S314、YES)、反応スキル評価部410は、挙動検知部406が計測した実反応時間を取得する(S318)。続いて、反応スキル評価部410は、取得した実反応時間から、その対象物についての反応習熟度を算出し、算出した反応習熟度をその対象物のカテゴリに関連付けて、記憶装置403が記憶する反応習熟度情報414に追加保存する(S320)。その後、処理装置402は、視覚表示VIの表示態様の設定を変更することなく、ステップS308に戻って処理を繰り返す。
[第6実施形態]
次に、本発明の第6の実施形態について説明する。図25は、本発明の第6の実施形態に係る注意喚起システム500の構成を示す図である。上述した第3の実施形態に係る注意喚起システム120では、操縦者の視線を誘導する対象は、車両100の前方に存在する対象物であるのに対し、本実施形態に係る注意喚起システム500は、車両100を中心とする360度の全方向を対象として、車両100の周囲における対象物の存在を操縦者に通知する。
なお、図25において、図14に示す構成要素と同じ構成要素については、図14における符号と同じ符号を用いて示すものとし、上述した図14についての説明を援用する。
注意喚起システム500は、車両100の室内構造物上に車両100の操縦者が視認可能な視覚表示を出力する表示装置である前方投光装置122、左右投光装置504、および後方投光装置506と、これらの投光装置を制御して上記視覚表示により車両100の周囲の対象物に対する操縦者の注意を喚起する注意喚起装置502と、を備える。
図26は、車両100の車室内における投光装置の配置の例を示す図である。なお、図26において、図13に示す構成要素と同じ構成要素については、図13における符号と同じ符号を用いて示すものとし、上述した図13についての説明を援用する。
車室前方のインストルメントパネル106には、前方投光装置122が設けられている。前方投光装置122は、図13を参照して説明した前方投光装置122であり、室内構造物としてのフロントガラス105の表示範囲HAに視覚表示VIを表示する。インストルメントパネル106には、従来技術に従いフロントガラス105に表示を行うHUD(ヘッドアップディスプレイ)156も設けられている。
左右投光装置504および後方投光装置506は、車両100のルーフの内側前方(車室内の前方)および内側後方に、それぞれ設けられている。左右投光装置504および後方投光装置506は、例えばプロジェクタである。左右投光装置504および後方投光装置506は、それぞれ、車両100の車室内の左右にある室内構造物、および車室内の後方にある室内構造物の所定の表示範囲に、視覚表示を投光する。本実施形態では、左右投光装置504が投光する室内構造物は、左ドアガラス158および右ドアガラス160である。また、後方投光装置506が視覚表示を投光する室内構造物は、例えばリアガラス162である。なお、車両100が左右にフロントベンチガラスを備えるときは、それらのフロントベンチガラスを、左右投光装置504が視覚表示を出力する室内構造物に含めてもよい。
左右投光装置504および後方投光装置506が視覚表示を表示する室内構造物上の上記所定の表示範囲は、例えば、図13に示した前方投光装置122におけるフロントガラス105上の表示範囲HAと同様に、車両100の車高方向と直交する水平方向に延在する帯状範囲である。
左右投光装置504および後方投光装置506が室内構造物に投光する視覚表示も、前方投光装置122がフロントガラス105に表示する視覚表示VIと同様に、所定サイズの投影光である。以下、左右投光装置504および後方投光装置506が室内構造物に投光する視覚表示も、前方投光装置122がフロントガラス105に投光する視覚表示と同様に、視覚表示VIと称するものとする。
図25を参照し、注意喚起装置502は、処理装置508と記憶装置510とを有する。記憶装置510は、例えば、揮発性及び又は不揮発性の半導体メモリ、及び又はハードディスク装置等により構成される。処理装置508は、例えば、CPU等のプロセッサを備えるコンピュータである。処理装置508は、プログラムが書き込まれたROM、データの一時記憶のためのRAM等を有する構成であってもよい。そして、処理装置508は、機能要素又は機能ユニットとして、検知部512と、注意喚起部514と、を備える。
処理装置508が備えるこれらの機能要素は、例えば、コンピュータである処理装置508がプログラムを実行することにより実現される。なお、上記コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。これに代えて、処理装置508が備える上記機能要素の全部又は一部を、それぞれ一つ以上の電子回路部品を含むハードウェアにより構成することもできる。
検知部512は、車両100の周囲エリアにある対象物を検知する。具体的には、検知部512は、車両100に設けられた前方物体センサ140、後方物体センサ150、右側方物体センサ152、および左側方物体センサ154により、それぞれ、車両100の前方エリア、後方エリア、右側方エリア、および左側方エリアにある対象物を検知する。後方物体センサ150、右側方物体センサ152、および左側方物体センサ154は、前方物体センサ140と同様に、例えば、カメラ、レーザ、及び又はライダである。
検知部512は、前方物体センサ140、後方物体センサ150、右側方物体センサ152、および左側方物体センサ154から、それぞれ、車両100の前方エリア、後方エリア、右側方エリア、および左側方エリアの映像を取得する。検知部512は、取得したこれらの映像から、所定の実在物を検知し、例えば車両100との相対速度から算出される車両100との接触確率が所定値以上である実在物を、対象物として検知する。本実施形態では、所定の実在物は、第1の実施形態と同様に、車両および歩行者を含む交通参加者並びに障害物等である。検知部512は、検知した対象物のそれぞれの位置情報を注意喚起部514へ送る。
ここで、前方物体センサ140、後方物体センサ150、右側方物体センサ152、および左側方物体センサ154は、例えば、車両100のフロントバンパー、リアバンパー、右フェンダーミラー・ボディ、及び左フェンダーミラー・ボディに設けられ得る。
注意喚起部514は、検知部512が検知した車両100の周囲エリアに存在する対象物の方向を、視覚的な表示により、操縦者に通知する。具体的には、注意喚起部514は、前方投光装置122、左右投光装置504、および後方投光装置506を制御して、車両100の室内構造物上の所定の表示範囲内の、操縦者の位置から見た対象物の方向と一致する水平位置に、視覚表示VIを出力する。
より具体的には、注意喚起部514は、車両100を中心とする周囲をいくつかの角度エリアに分けて、検知部512が検知した対象物がいずれのエリアに存在するかに応じて、前方投光装置122、左右投光装置504、または後方投光装置506により、上記視覚表示VIを出力する。
図27は、車両100を中心とする角度エリアの例である。なお、図27において、図13に示す構成要素と同じ構成要素については図13における符号を用いて示すものとし、上述した図13についての説明を援用する。
図27に示す例では、車両100の操縦席に座った操縦者が顔を前方に向けたまま無理なく視認することのできる中心前方エリアCFAと、操縦者が顔を左右に45度程度回すことで視認が可能となる左前側方エリアLFAおよび右前側方エリアRFAと、が定義されている。また、図27に示す例では、操縦者が、身体を左右に軽くひねる程度で視認可能となる車両100の左側方エリアLAおよび右側方エリアRAが定義されている。
また、図27の例では、操縦者がルームミラー110、左フェンダミラー112、及び右フェンダミラー114により視認可能な後方エリアREAが定義されている。後方エリアREAは、さらに、操縦者がルームミラー110により視認可能なルームミラーエリアRMA、左フェンダミラー112により視認可能な左フェンダミラーエリアLFMA、及び右フェンダミラー114により視認可能な右フェンダミラーエリアRFMAに分けられる。
図27に示す残りのエリアは、左死角エリアLBAおよび右死角エリアRBAであり、操縦者が対象物を視認できないエリアでる。
注意喚起部514は、検知部512が中心前方エリアCFA、左前側方エリアLFAおよび右前側方エリアRFAにおいて検知した対象物については、第1の実施形態に係る注意喚起部133と同様に、その対象物の方向を示す視覚表示VIを、前方投光装置122によりフロントガラス105上の表示範囲HAに表示する。
これに加えて、注意喚起部514は、検知部512が左側方エリアLAおよび右側方エリアRAにおいて検知した対象物については、その対象物の方向を示す視覚表示VIを、左右投光装置504により左ドアガラス158および右ドアガラス160に、それぞれ表示する。
また、注意喚起部514は、検知部512が後方エリアREAにおいて検知した対象物については、その対象物の方向を示す視覚表示VIを、後方投光装置506によりリアガラス162に表示する。
これにより、注意喚起部514は、操縦者から対象物を視認することができないエリアである左死角エリアLBAおよび右死角エリアRBAを除き、車両100のほぼ全周囲を対象として、車両100と接触する可能性のある対象物の方向を操縦者に知らせて、操縦者の注意を喚起し、およびその視線を誘導することができる。
注意喚起部514は、さらに、車両100からの方向を表す円表示を表示装置に表示する。そして、注意喚起部514は、上記円表示のうち、対象物の方向に対応する円弧部分に視覚表示を出力する。本実施形態では、上記表示装置はHUD156である。
具体的には、注意喚起部514は、左死角エリアLBAおよび右死角エリアRBAを含む車両100の全周囲を対象として、検知部512により検知された対象物の方向を示すレーダ様の表示画面を、HUD156に表示する。以下、注意喚起部514が対象物の方向を示すためにHUD156に表示するレーダ様表示画面を、対象物レーダ表示というものとする。
図28は、注意喚起部514がHUD156に表示する対象物レーダ表示の一例を示す図である。対象物レーダ表示520は、車両100を表す車両アイコン522と、車両100を中心とする360度の全周を表す円表示524と、で構成される。注意喚起部514は、円表示524の円弧に、対象物の方向に応じた視覚表示を出力する。具体的には、注意喚起部514は、円表示524のうち、検知部512が検知した対象物のある方向に対応する円弧部分に視覚表示ADを行う。図28の円表示524に示す上方に伸びた矢印526は、車両100の直進方向を示している。矢印526は、本実施形態では単に説明のために示されているが、対象物レーダ表示520の一部を構成するものとしてもよい。
図28に示す例では、円表示524のうち車両アイコン522の直進方向(矢印526が指す方向)から右へ約30度の円弧部分に視覚表示ADが示されており、この視覚表示ADにより、車両100の右30度前方に、車両100と接触する可能性のある対象物が存在していることが示されている。
図29は、注意喚起部514による対象物レーダ表示520における種々の表示態様を表形式で示した図である。図29に示す表の1段目(最上段)は、検知された複数の対象物を、同じ態様の視覚表示により、それぞれ個別に表示する例である。図示の例では、円表示524に表示された視覚表示AD-10およびAD―12により、それぞれ、車両100の右30度付近と左15度付近に対象物が存在していることが示されている。
図29に示す表の2段目の例は、1段目と同様に複数の対象物についてのそれぞれの視覚表示を個別に表示する例であるが、それぞれの視覚表示は、対応する対象物のリスクの程度に応じた態様、例えば車両100と接触する確率に応じた色で、表示されている。図示の例では、例えば、視覚表示AD-14は緑色で、視覚表示AD―16は黄色で表示されている。なお、車両100との接触確率は、例えば、検知部512が、検知した対象物と車両100との相対速度から算出し得る。注意喚起部514は、上記算出された相対速度の範囲と視覚表示に用いる表示色との対応関係を示す予め定められた対応情報に基づいて、検知された対象物についての視覚表示の表示色を決定し得る。
図29に示す表の3段目の例は、2段目と同様に複数の対象物についての視覚表示を、それらのリスクの程度に応じた態様で個別に表示する例である。ただし、3段目の例では、2段目の例とは異なり、リスクの程度が視覚表示の色ではなく、その大きさで示されている。図示の例では、例えば、視覚表示AD-18およびAD-20は、それぞれ、中心角が10度程度および20度程度の帯状円弧により表示されている。これにより、大きい方の視覚表示AD-20により示された対象物は、小さい方の視覚表示AD-18により示された対象物よりも接触確率が高いことが判る。なお、車両100との接触確率は、例えば、検知部512が、検知した対象物と車両100との相対速度から算出し得る。注意喚起部514は、上記算出された接触確率の範囲と視覚表示に用いる帯状円弧の中心角との対応関係を示す予め定められた対応情報に基づいて、検知された対象物についての視覚表示のサイズを決定し得る。
図29に示す表の4段目(最下段)の例は、車両100の周囲に所定数以上の数の対象物が検知されたときに、円表示524の全周に視覚表示を表示する例である。図示の例では、例えば、円表示524の全周に延在して視覚表示AD-22が表示されることにより、車両100の周囲に所定数である3個以上の対象物が検知されたことが通知される。なお、上記所定数は、3個に限らず、任意の数とすることができる。また、視覚表示AD22は、検知された複数の対象物の接触確率のうち、最も高い接触確率に応じた色で表示されるものとしてもよい。
上記の構成を有する注意喚起システム500は、注意喚起システム120と同様に、フロントガラス105上の帯状の表示範囲HAにおいて、対象物に対応する水平方向位置に視覚表示VIを表示する。このため、注意喚起システム500は、注意喚起システム120と同様に、操縦者の注意力を散逸させることなく、車両100の周囲環境に存在する様々な交通参加者に対する操縦者の注意を喚起することができる。
また、注意喚起システム500では、特に、車両100の側方及び後方に存在する対象物についても、操縦者から見たその方向を示す視覚表示VIを、室内構造物上の水平方向に延在する表示範囲に表示する。このため、注意喚起システム500では、操縦者が視認可能な車両100の周囲エリアの全てについて、対象物の方向を操縦者に提示して注意を喚起することができる。
また、注意喚起システム500では、注意喚起部514は、視覚表示に加えて、車室内に設けられた室内スピーカ142により、操縦者に対し、対象物の方向定位のための音響を生成する。これにより、注意喚起システム500では、視覚および聴覚の両面から、対象物に対する操縦者の注意が喚起され得る。
また、前方投光装置122、左右投光装置504、および後方投光装置506は、フロントガラス105等の室内構造物上に所定形状の光を投光することにより視覚表示VIを出力する。これにより、注意喚起システム500では、操縦者にとって直感的に把握し得る態様で視覚表示が提示され得る。
また、注意喚起システム500では、前方投光装置122、左右投光装置504、および後方投光装置506が視覚表示VIを表示する室内構造物は、車両100のフロントガラス105、左ドアガラス158、右ドアガラス160、及び又はリアガラス162であり、車両100がこれを備える場合にはフロントベンチガラスであってもよい。すなわち、注意喚起システム500では、それらを通して車両100の外部を視認し得る室内構造物上に視覚表示が出力されるので、操縦者は、対象物についての注意が喚起されると同時に、その対象物を即座に視認することができる。
また、注意喚起システム500では、前方投光装置122は、フロントガラス105上に所定形状の光を投光することにより視覚表示VIを出力する。これにより、注意喚起システム500によれば、少なくともフロントガラス105上において、操縦者が最も注意する必要のある車両前方の情景に重ねて対象物の方向を示す視覚表示が表示されるので、車両100の操縦の際に特に注意すべき対象物について、操縦者の注意が効果的に喚起され得る。
また、フロントガラス105上に視覚表示VIを出力する前方投光装置122は、フロントガラス105の下方において水平方向(車幅方向)に沿って配された複数の光源で構成される。これにより、フロントガラス105上に視覚表示VIを出力する前方投光装置を、簡易な構成で実現することができる。
また、注意喚起システム500では、HUD156における円表示である対象物レーダ表示520において、操縦者にとっての死角を含む車両100の全周エリアについて、対象物の存在を操縦者に通知する。このため、注意喚起システム500では、操縦者は、車両100の全周囲における対象物の存在を円表示により一括して容易に把握することができ、車両100の周囲エリア全体の状況を容易に把握することができる。
また、対象物レーダ表示520は、対象物の方向を示す視覚表示ADを、車両100に対するその対象物の接触確率に応じた態様で表示するので、操縦者は、接触リスクの程度に応じた優先度で各対象物を視認することができ、移動体の周囲環境に存在する様々な対象物に対する操縦者の注意が、当該操縦者の運転行動にとってより効果的な態様で喚起され得る。
また、対象物レーダ表示520は、対象物の数が所定数を越えた場合には、円表示524の円周の全体に延在する視覚表示ADを表示するので、操縦者は、多数の対象物の一つ一つに気を取られることがない。このため、注意喚起システム500では、操縦者は、注意力を散逸させることなく、車両100の周囲の対象物の存在を把握することができる。
また、注意喚起システム500では、対象物は、車両100との接触確率が所定値以上である実在物である。これにより、注意喚起システム500では、車両100の運行にとってリスクとなり得る実在物に絞り込んで、その方向を示す視覚表示が示されるので、操縦者に対し、その注意力を散逸させることなく、対象物に対する注意を喚起することができる。
図30は、注意喚起システム500における動作の手順を示すフロー図である。図30に示す処理は、図25に示す検知部512が少なくとも一つの対象物を検知したときに、当該検知した対象物ごとに開始される。
処理を開始すると、まず、注意喚起部514は、検知された対象物の方向と一致する室内構造物上の水平位置に、視覚表示VIを表示する(S400)。また、注意喚起部514は、HUD156の対象物レーダ表示520に、上記検知された対象物の方向を示す視覚表示ADを表示する(S402)。このとき、注意喚起部514は、図29に示すように、検知部512により検知されているその対象物の、車両100との接触確率に応じた態様で、視覚表示ADを表示するものとすることができる。また、注意喚起部514は、検知部512により検知されている対象物の数が所定数を越えているときは、円表示524の全周に延在する視覚表示ADを表示するものとしてもよい。
また、注意喚起部514は、上記対象物が検知されたエリアが中心前方エリアCFAであるか否かを判断する(S404)。そして、上記対象物が検知されたエリアが中心前方エリアCFAでないときは(S404、NO)、室内スピーカ142により、操縦者に対し、上記対象物の方向定位のための音響を出力する(S406)。
続いて、注意喚起部514は、検知部512によりその対象物が検知されなくなったか否かを判断する(S408)。そして、注意喚起部514は、その対象物が検知されなくなったときは(408、YES)、処理を終了する。
一方、ステップS404において、上記対象物が検知されたエリアが中心前方エリアCFAであるときは(S404、YES)、注意喚起部514は、音響を出力することなく、ステップS408に処理を移す。また、一方、ステップS408において、上記対象物が検知され続けているときは(S408、NO)、注意喚起部514は、ステップS400に戻って処理を繰り返す。
[その他の実施形態]
上述した第1の実施形態では、本開示の移動体の一例として四輪自動車の車両1を例示したが、移動体は、二輪車両、飛行体、船体等、種々の乗用の移動体とすることができる。
例えば、上述した第1の実施形態では、LEDアレイ7を具備する表示装置11によって視線誘導虚像GVIを表示する構成である。しかしながら、表示装置11は、LEDアレイ7を具備する構成に限定されず、例えばプロジェクターによって構成されてもよい。表示装置11がプロジェクターにより構成される場合、プロジェクターは、車室内の天面に設けられ、視線誘導装置10からの表示データに基づいて、フロントガラス5に視線誘導虚像GVIを表示する。この構成の場合、視線誘導虚像GVIの表示範囲HAは、フロントガラス5において表示可能上限線L1の下方全域となる。
例えば、上述した第1の実施形態では、視線誘導虚像GVIの表示によって運転者Uの視線を対象物に誘導する構成である。しかしながら、視線誘導装置10は、運転者Uの視線を誘導する際、視線誘導虚像GVIの表示に加えて、車両1が具備するスピーカーの音声出力を行ってもよい。この場合、視線誘導装置10は、視線誘導虚像GVIの車幅方向における表示位置に応じてスピーカーの音声出力をオンオフしたり、対象物と車両1との離間距離に応じて音量を調整したりしてもよい。
例えば、上述した第1の実施形態では、運転者位置認識部33は、運転者Uの位置として運転者Uの頭HDの位置を認識する構成である。しかしながら、運転者位置認識部33が運転者Uの位置として認識する対象は、運転者Uの頭HDに限定されず、運転者Uの額や、目、鼻、口等でもよい。
例えば、上述した第1の実施形態では、対象物8が車両1に影響を及ぼす可能性の高さに応じて、視線誘導虚像GVIの長さを変える構成を例示した。しかしながら、対象物8が車両1に影響を及ぼす可能性の高さに応じて変える要素は、視線誘導虚像GVIの長さの他に種々あってもよい。例えば、対象物8が車両1に影響を及ぼす可能性が高ければ高いほど、視線誘導虚像GVIの色を、例えば白色→黄色→赤色のように、誘目性が高い色に変えてもよい。また、例えば、対象物8が車両1に影響を及ぼす可能性が高ければ高いほど、視線誘導虚像GVIの点滅頻度を、高くしてもよい。
また、プロセッサー30、37が実行する制御プログラムは、可搬型の情報記録媒体に制御プログラムを記録させた状態で実現することも可能である。情報記録媒体は、ハードディスク等の磁気的記録媒体、CD等の光学的記録媒体、USB(Universal Serial Bus)メモリーやSSD(Solid State Drive)等の半導体記憶デバイスが挙げられるが、その他の記録媒体を用いることも可能である。
例えば、プロセッサー30、37は、単一のプロセッサーにより構成されてもよいし、複数のプロセッサーにより構成されていてもよい。
図2に示した各部は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した第1の実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、車両1及び視線誘導装置10の他の各部の具体的な細部構成についても、本開示の趣旨を逸脱しない範囲で任意に変更可能である。
また、例えば、図3に示す動作のステップ単位は、視線誘導装置10の各部の動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本開示が限定されることはない。
また、例えば、上述した第2の実施形態では、本開示の移動体の一例として四輪自動車の車両1を例示したが、移動体は、二輪車両、飛行体、船体等、種々の乗用の移動体とすることができる。
例えば、上述した第2の実施形態では、LEDアレイ47を具備する表示装置51によって視線誘導虚像GVIを表示する構成である。しかしながら、表示装置51は、LEDアレイ47を具備する構成に限定されず、例えばプロジェクターによって構成されてもよい。表示装置51がプロジェクターにより構成される場合、プロジェクターは、車室内の天面に設けられ、視線誘導装置50からの表示データに基づいて、フロントガラス45に視線誘導虚像GVIを表示する。この構成の場合、視線誘導虚像GVIの表示範囲HAは、フロントガラス45において表示可能上限線L1の下方全域となる。
例えば、上述した第2の実施形態では、視線誘導虚像GVIの表示によって運転者Uの視線を対象物48に誘導する構成である。しかしながら、視線誘導装置50は、運転者Uの視線を誘導する際、視線誘導虚像GVIの表示に加えて、車両41が具備するスピーカーの音声出力を行ってもよい。この場合、視線誘導装置50は、視線誘導虚像GVIの車幅方向における表示位置に応じてスピーカーの音声出力をオンオフしたり、対象物と車両41との離間距離に応じて音量を調整したりしてもよい。
例えば、上述した第2の実施形態では、運転者位置認識部73は、運転者Uの位置として運転者Uの頭HDの位置を認識する構成である。しかしながら、運転者位置認識部73が運転者Uの位置として認識する対象は、運転者Uの頭HDに限定されず、運転者Uの額や、目、鼻、口等でもよい。
また、プロセッサー70、76が実行する制御プログラムは、可搬型の情報記録媒体に制御プログラムを記録させた状態で実現することも可能である。情報記録媒体は、ハードディスク等の磁気的記録媒体、CD等の光学的記録媒体、USB(Universal Serial Bus)メモリーやSSD(Solid State Drive)等の半導体記憶デバイスが挙げられるが、その他の記録媒体を用いることも可能である。
例えば、プロセッサー70、76は、単一のプロセッサーにより構成されてもよいし、複数のプロセッサーにより構成されていてもよい。
図9に示した各部は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した第2の実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、車両1及び視線誘導装置50の他の各部の具体的な細部構成についても、本開示の趣旨を逸脱しない範囲で任意に変更可能である。
また、例えば、図10に示す動作のステップ単位は、視線誘導装置50の各部の動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本開示が限定されることはない。
また、例えば、上述した第3ないし第6の各実施形態においては、対象物となり得る所定の実在物は、車両や歩行者等の移動する実在物に限らず、踏切、信号機、交通電光掲示板、交通標識等を含む交通基盤要素(Traffic Infrastructure)であってもよい。
また、注意喚起システム120、300、400、500が搭載される移動体は、車両に限らず、航空機、船舶等の、操縦者がその動きを操作する任意の移動体であり得る。
また、注意喚起システム120、300、400、500の任意の一つが備える技術的特徴は、これらの注意喚起システムの他の一つにおいても備えるものとすることができる。たとえば、注意喚起システム300,400において実現される、認知習熟度、リスク度、及び又は反応習熟度に応じた態様での、フロントガラス105への視覚表示VIの表示は、注意喚起システム500の、左ドアガラス158、右ドアガラス160、リアガラス162における視覚表示VIにおいても用いられ得る。
例えば、注意喚起システム500は、注意喚起装置502において、図12に示す挙動検知部306、分類部308、認知スキル評価部310を備えることにより、及び又は図16に示す挙動検知部406、リスク算出部412、反応スキル評価部410を備えることにより、上記認知習熟度、リスク度、及び又は反応習熟度に応じた態様で、視覚表示VIを出力するものとすることができる。
また、注意喚起システム500においては、注意喚起部514は、図22に示すルームミラーエリアRMA、左フェンダミラーエリアLFMA、及び右フェンダミラーエリアRFMAにおいて対象物が検知されたときは、それぞれ、ルームミラー110、左フェンダミラー112、および右フェンダミラー114の鏡面上に定義され得る所定の表示範囲に、視覚表示を出力してもよい。
また、上述した第3ないし第6の各実施形態において、視覚表示VIは、矩形に限らず、任意の形状であり得る。そのような形状は、円形、三角形等の任意の多角形、あるいは線分であり得る。
また、注意喚起システム500では、必ずしも、前方投光装置122、左右投光装置504、後方投光装置506の3つの投光装置を備える必要はない。投光装置は少なくとも一つあればよく、一つの投光装置でフロントガラス105、左ドアガラス158、右ドアガラス160、リアガラス162等の所定の室内構造物の全てに、視覚表示VIを出力してもよい。
また、左右投光装置504および又は後方投光装置506は、前方投光装置122と同様に、表示対象である左ドアガラス158および右ドアガラス160、並びにリアガラス162のそれぞれの下方に設けられた光源アレイであってもよい。
また、フロントガラス105、左ドアガラス158、右ドアガラス160、およびリアガラス162は、必ずしもガラスである必要はなく、これらを通して操縦者が車両100の周囲の対象物を視認できる透明度(光透過率)を有する任意の素材で構成され得る。
[上記実施形態によりサポートされる構成]
上述した第1の実施形態は、以下の構成をサポートする。
視線誘導装置10は、車両1の前方に存在する対象物8に、車両1の運転者Uの視線を誘導する。視線誘導装置10は、対象物8を認識する対象物認識部31と、車両1のフロントガラス5において対象物認識部31が認識した対象物8と対応する位置に、運転者Uの視線を誘導する視線誘導虚像GVIを表示装置11に表示させる表示制御部35と、を備える。表示制御部35は、表示装置11に表示させる視線誘導虚像GVIの車両1の車幅方向の長さを、車両1の前方に存在する対象物8の状況に応じた長さにする。
また、視線誘導装置10による視線誘導による注意喚起方法は、対象物8を認識し、車両1のフロントガラス5において認識した対象物8と対応する位置に視線誘導虚像GVIを表示装置11に表示させる際に、表示装置11に表示させる視線誘導虚像GVIの車両1の車幅方向の長さを、車両1の前方に存在する対象物8の状況に応じた長さにする。
また、視線誘導装置10が実行する制御プログラムは、視線誘導装置10に、対象物8を認識させ、車両1のフロントガラス5において視線誘導虚像GVIを、認識した対象物8と対応する位置に表示装置11に表示させる際に、表示装置11に表示させる視線誘導虚像GVIの車両1の幅方向の長さを、車両1の前方に存在する対象物8の状況に応じた長さにさせる。
この視線誘導装置10、注意喚起方法、及び制御プログラムによれば、対象物8と対応する位置に表示する視線誘導虚像GVIの車幅方向の長さを、車両1の前方に存在する対象物8の状況に応じた長さにするため、車両1の前方に存在する対象物8の状況に応じて、視線誘導虚像GVIの誘目性を異ならせることができる。そのため、視線誘導装置10、及び注意喚起方法は、見るべき対象物8を運転者Uが見落としてしまうことを低減できる。
表示制御部35は、車両1の前方において移動している対象物8が存在している場合、表示装置11に表示させる視線誘導虚像GVIの車幅方向の長さを、対象物8の現在位置から所定時間後の対象物8の位置までの距離に対応する長さにする。
これによれば、車両1の前方において移動している対象物8が存在している場合、この対象物8と対応する位置に表示する視線誘導虚像GVIの車幅方向の長さを、対象物8が移動していることに対応した長さにできる。そのため、移動している対象物8に対応して表示する視線誘導虚像GVIの誘目性を高めることができ、この対象物8を運転者Uが見落としてしまうことを低減できる。また、視線誘導虚像GVIの車幅方向の長さを、対象物8の移動距離に対応する長さにするため、運転者Uは、視線誘導虚像GVIを見るだけで、移動している対象物8がどのくらい移動するかを簡単に確認できる。
表示制御部35は、対象物8の現在位置と対応する位置から対象物8の移動方向に延びる視線誘導虚像GVIを、表示装置11に表示させる。
これによれば、運転者Uは、視線誘導虚像GVIを見るだけで、対象物8の移動方向において、現在位置から将来どのくらい移動するかを簡単に確認できる。
表示制御部35は、車両1の前方に複数の対象物8が存在している場合、表示装置11に表示させる視線誘導虚像GVIの車幅方向の長さを、車幅方向において最も離れている2つの対象物8の離間距離に対応する長さにする。
これによれば、車両1の前方において複数の対象物8が存在している場合、視線誘導虚像GVIの車幅方向の長さを、複数の対象物8が存在していることに対応した長さにできる。そのため、複数の対象物8に対応して表示する視線誘導虚像GVIの誘目性を高めることができ、車両1の前方を存在する複数の対象物8を運転者Uが見落としてしまうことを低減できる。また、視線誘導虚像GVIの車幅方向の長さを、車幅方向において最も離れている2つの対象物8の離間距離に対応する長さにする。そのため、車幅方向における視線移動を運転者Uに促すことができ、見落とし易い位置に対象物8が存在している場合でも、この対象物8を運転者Uが見落としてしまうことを低減できる。また、視線誘導虚像GVIの車幅方向における端部には、視線方向に対象物8が存在するため、運転者Uは、速やかに対象物8の存在に気づくことができる。
表示制御部35は、車両1の前方にn個(nは3以上の整数)以上の対象物8が存在している場合、車両1の前方にn個以上の対象物8が存在しない場合の視線誘導虚像GVIと異なる表示態様で、視線誘導虚像GVIを表示装置11に表示させる。
これによれば、対象物8がn個以上の場合、視線誘導虚像GVIの表示態様を異ならせるため、車両1の前方に存在する対象物8の個数に応じて、視線誘導虚像GVIの誘目性を異ならせることができる。よって、車両1の前方を存在する複数の対象物8を運転者Uが見落としてしまうことを、より低減できる。
表示制御部35は、車両1の前方にm個(mは3以上の整数)以上の対象物8が存在している場合、表示装置11に表示させる視線誘導虚像GVIの車幅方向の長さを、表示装置11の表示範囲HAにおける車幅方向の全域に亘る長さにする。
これによれば、対象物8がm個以上の場合、視線誘導虚像GVIの車幅方向の長さを、表示装置11の表示範囲HAにおける車幅方向の全域に亘る長さにするため、対象物8が多く存在する場合の視線誘導虚像GVIの誘目性を高めることができ、車両1の前方を存在する多くの対象物8を運転者Uが見落としてしまうことを低減できる。
表示制御部35は、視線誘導虚像GVIを表示装置11に表示させる際、車両1に影響を及ぼす可能性が高い対象物8ほど、視線誘導虚像GVIの車幅方向の長さを長くする。
これによれば、対象物8が車両1に影響を与える可能性が高い対象物8であればあるほど、視線誘導虚像GVIの誘目性を高めることができる。よって、見るべき対象物8を運転者Uが見落としてしまうことを、より低減できる。
上述した第2の実施形態は、以下の構成をサポートする。
視線誘導装置50は、車両41の前方に存在する対象物48に、車両41の運転者Uの視線を誘導する装置である。視線誘導装置50は、対象物48の位置を認識する対象物位置認識部72と、車両41における運転者Uの位置を認識する運転者位置認識部73と、表示装置51に視線誘導虚像GVIを車両41のフロントガラス45に表示させる表示制御部74と、を備える。表示制御部74は、対象物位置認識部72が認識した対象物48の位置と、運転者位置認識部73が認識した運転者Uの位置とに基づいて、視線誘導虚像GVIの表示位置を補正する。
また、視線誘導装置50が行う視線誘導による注意喚起方法は、対象物48の位置を認識し、車両41における運転者Uの位置を認識し、表示装置51に視線誘導虚像GVIを車両41のフロントガラス45に表示させ、視線誘導虚像GVIを表示させる際、認識した対象物48の位置と、認識した運転者Uの位置とに基づいて、視線誘導虚像GVIの表示位置を補正する。
この視線誘導装置50、及び注意喚起方法によれば、視線誘導虚像GVIの表示位置を、車両41の前方に存在する対象物48の位置と、車両41における運転者Uの位置とを考慮した位置にできる。そのため、車両41における運転者Uの位置が変わった場合でも、運転者Uが視線誘導虚像GVIを視た先に、対象物48を存在させることができるようになる。よって、車両41における運転者Uの位置が変わった場合でも、正確に、運転者Uの視線を対象物48に誘導できる。
表示制御部74は、車両41の上面視において、対象物位置認識部72が認識した対象物48の位置及び運転者位置認識部73が認識した運転者Uの位置を結ぶ線と、フロントガラス45とが交差する位置を、視線誘導虚像GVIの表示位置として補正する。
これによれば、運転者Uが視線誘導虚像GVIを視た先に対象物48を存在させることができる。よって、車両41における運転者Uの位置が変わった場合でも、より正確に、運転者Uの視線を対象物48に誘導できる。
運転者位置認識部73は、運転者Uの頭HDの位置を、運転者Uの位置として認識する。
これによれば、目を有する頭HDを基準に表示位置を補正できるため、運転者Uが視線誘導虚像GVIを視た先に対象物48をより正確に存在させることができる。よって、車両41における運転者Uの位置が変わった場合でも、より正確に、運転者Uの視線を対象物48に誘導できる。
表示制御部74は、運転者Uが視線誘導虚像GVIを視た際に、対象物48と重なって又は対象物48と車幅方向における位置を一致させて、視線誘導虚像GVIを表示装置51に表示させる。
これによれば、運転者Uが運転席42に着座した状態でフロントガラス45を視た際、対象物48が表示可能上限線L1の上方に位置していたとしても、視線誘導虚像GVIが誘導する対象物48がどれであるかを把握できる。
上述した第3ないし第6の実施形態は、以下の構成をサポートする。
(構成1)移動体のフロントガラス上に前記移動体の操縦者が視認可能な視覚表示を出力する投光装置と、前記投光装置を制御して、前記視覚表示により前記移動体の周囲の対象物に対する前記操縦者の注意を喚起する注意喚起装置と、を備える、注意喚起システムであって、前記注意喚起装置は、前記移動体の周囲エリアにある対象物を検知する検知部と、前記投光装置を制御して前記移動体のフロントガラス上の所定の表示範囲に視覚表示を出力する注意喚起部と、を有し、前記表示範囲は、前記フロントガラス上の、前記移動体の幅方向である水平方向に延在する帯状範囲であって、前記注意喚起部は、前記操縦者の位置から見た前記対象物の前記フロントガラス上の水平位置と同じ、前記表示範囲内の水平位置に、前記視覚表示を出力する、注意喚起システム。
構成1の注意喚起システムでは、フロントガラス上の帯状の表示範囲において、操縦者の位置から見た対象物の水平方向位置と同じ水平方向位置に視覚表示VIが表示される。このため、構成1の注意喚起システムでは、操縦者にとって対象物と視覚表示VIとが重なって見える機会が大幅に減少するので、操縦者の注意力を散逸させることなく、移動体の周囲環境に存在する様々な交通参加者に対する操縦者の注意が喚起され得る。
(構成2)前記投光装置は、前記フロントガラス上に所定形状の光を投光することにより前記視覚表示を出力する、構成1に記載の注意喚起システム。
構成2の注意喚起システムによれば、シンプルな視覚表示により、操縦者に対し、その注意力を散逸させることなく、対象物に対する注意を喚起することができる。
(構成3)前記投光装置は、前記フロントガラスの下方において前記移動体の幅方向に沿って配された複数の光源で構成される、構成1または2に記載の注意喚起システム。
構成3の注意喚起システムによれば、シンプルな構成の投光装置により、操縦者に対し、対象物に対する注意を喚起することができる。
(構成4)前記注意喚起部は、前記移動体の周囲エリアのうち、前記移動体の操縦席に着座した前記操縦者の位置を中心として定義される所定の前方視野範囲から外れた位置において前記対象物が検知されたときは、前記対象物の方向定位のための音響を前記移動体の室内に生じさせる、構成1ないし3のいずれかに記載の注意喚起システム。
構成4の注意喚起システムによれば、その視認に際して操縦者が顔を動かすことが必要となり得るエリアにおいて検知された対象物については、操縦者は音響によりその対象物の方向を定位することができるので、操縦者に対し、その注意力を散逸させることなく、対象物に対する注意を喚起することができる。
(構成5)前記対象物は、前記移動体との接触確率が所定値以上である実在物である、構成1ないし4のいずれかに記載の注意喚起システム。
構成5の注意喚起システムによれば、移動体の運行にとってリスクとなり得る実在物に絞り込んで、その方向を示す視覚表示が示されるので、操縦者に対し、その注意力を散逸させることなく、対象物に対する注意を喚起することができる。
(構成6)コンピュータにより実行される注意喚起方法であって、移動体の周囲エリアにある対象物を検知するステップと、前記移動体の室内に設けられた投光装置を制御して、前記移動体のフロントガラス上の所定の表示範囲に視覚表示を出力するステップと、を有し、前記表示範囲は、前記フロントガラス上の、前記移動体の幅方向である水平方向に延在する帯状範囲であって、前記視覚表示を出力するステップでは、前記移動体の操縦者の位置から見た前記対象物の前記フロントガラス上の水平位置と同じ前記表示範囲内の水平位置に、前記視覚表示を出力する、注意喚起方法。
構成6の注意喚起方法によれば、プログラムをコンピュータにより実行することによって、構成1の注意喚起システムの構成を実現することができる。
1、41、100、200、201、204…車両(移動体)、2、42…運転席、102…操縦席、3、43、103…助手席、4、44、104…ステアリングホイール、5、45、105…フロントガラス、6、46、106…インストルメントパネル、7、47…LEDアレイ、8、48…対象物、8a、8b、8c、8d、8e、8f…人、8g…他車両、10、50…視線誘導装置、11、51…表示装置、12、52…ドライバモニタリングカメラ、13、53…フロントカメラ、14、54…位置検出デバイス、30、70…プロセッサー、31、71…対象物認識部、32、72…対象物位置認識部、33、73…運転者位置認識部、34…状況認識部、35、74…表示制御部、36、75…メモリー、37、76…プロセッサー、38、77…メモリー、110…ルームミラー、112…左フェンダミラー、114…右フェンダミラー、120、300、400、500…注意喚起システム、122…前方投光装置、124、324、424、502…注意喚起装置、130、302、402、508…処理装置、131、303、403、510…記憶装置、132、512…検知部、133、304、404、514…注意喚起部、140…前方物体センサ、142…室内スピーカ、144…室内カメラ、146…ブレーキペダルセンサ、148…アクセルペダルセンサ、150…後方物体センサ、152…右側方物体センサ、154…左側方物体センサ、156…HUD、158…左ドアガラス、160…右ドアガラス、162…リアガラス、202…バイク、203…歩行者、306、406…挙動検知部、308…分類部、310…認知スキル評価部、312…認知習熟度情報、410…反応スキル評価部、412…リスク算出部、414…反応習熟度情報、504…左右投光装置、506…後方投光装置、520…対象物レーダ表示、522…車両アイコン、524…円表示、526…矢印、HA…表示範囲、HD…頭、AD、AD-10、AD-12、AD-14、AD-16、AD-18、AD-20、AD-22、U…運転者(操縦者)、GVI…視線誘導虚像、VI、VI-11、VI-12、VI-13、VI-14、VI-21、VI-22、VI-23、VI-24、VI-31、VI-32、VI-33、VI-34…視覚表示。

Claims (20)

  1. 移動体の前方に存在する対象物に、前記移動体の操縦者の視線を誘導する視線誘導装置であって、
    前記対象物を認識する対象物認識部と、
    前記移動体のフロントガラスにおいて前記対象物認識部が認識した前記対象物と対応する位置に、前記操縦者の視線を誘導する視線誘導虚像を表示装置に表示させる表示制御部と、を備え、
    前記視線誘導虚像の表示範囲は、前記フロントガラス上の、法規により表示が許容される範囲の上限位置を示す表示可能上限線に隣接して前記表示可能上限線の下方を前記移動体の幅方向である水平方向に延在する帯状範囲であって、
    前記表示制御部は、
    前記表示装置に表示させる前記視線誘導虚像の前記移動体の幅方向の長さを、前記移動体の前方に存在する前記対象物の状況に応じた長さにし、
    前記移動体の前方にm個(mは3以上の整数)以上の前記対象物が存在している場合、前記表示装置に表示させる前記視線誘導虚像の前記幅方向の長さを、前記表示装置の表示範囲における前記幅方向の全域に亘る長さにする、
    視線誘導装置。
  2. 前記表示制御部は、
    前記移動体の前方において移動している前記対象物が存在している場合、
    前記表示装置に表示させる前記視線誘導虚像の前記幅方向の長さを、前記対象物の現在位置から所定時間後の前記対象物の位置までの距離に対応する長さにする、
    請求項1に記載の視線誘導装置。
  3. 前記表示制御部は、
    前記対象物の現在位置と対応する位置から前記対象物の移動方向に延びる前記視線誘導虚像を、前記表示装置に表示させる、
    請求項2に記載の視線誘導装置。
  4. 前記表示制御部は、
    前記移動体の前方に複数の前記対象物が存在している場合、前記表示装置に表示させる前記視線誘導虚像の前記幅方向の長さを、前記幅方向において最も離れている2つの前記対象物の離間距離に対応する長さにする、
    請求項1から3のいずれか一項に記載の視線誘導装置。
  5. 前記表示制御部は、
    前記移動体の前方にn個(nは3以上の整数)以上の前記対象物が存在している場合、前記移動体の前方にn個以上の前記対象物が存在していない場合の前記視線誘導虚像と異なる表示態様で、前記視線誘導虚像を前記表示装置に表示させる、
    請求項4に記載の視線誘導装置。
  6. 前記表示制御部は、
    前記視線誘導虚像を前記表示装置に表示させる際、
    前記移動体に影響を及ぼす可能性が高い前記対象物ほど、前記視線誘導虚像の前記幅方向の長さを長くする、
    請求項1からのいずれか一項に記載の視線誘導装置。
  7. 移動体のフロントガラス上に前記移動体の操縦者が視認可能な視覚表示を出力する表示装置と、
    前記表示装置を制御して、前記視覚表示により前記移動体の周囲の対象物に対する前記操縦者の注意を喚起する注意喚起装置と、を備える、
    注意喚起システムであって、
    前記注意喚起装置は、
    前記移動体の周囲エリアにある対象物を検知する対象物認識部と、
    前記表示装置を制御して前記移動体のフロントガラス上の所定の表示範囲に前記視覚表示を出力する表示制御部と、
    を有し、
    前記表示範囲は、前記フロントガラス上の、法規により表示が許容される範囲の上限位置を示す表示可能上限線に隣接して前記表示可能上限線の下方を前記移動体の幅方向である水平方向に延在する帯状範囲であって、
    前記表示制御部は、
    前記操縦者の位置から見た前記対象物に対応する前記フロントガラス上の水平位置と同じ、前記表示範囲内の水平位置に、前記視覚表示を出力し、
    前記移動体の前方にm個(mは3以上の整数)以上の前記対象物が存在している場合、前記表示装置に表示させる前記視覚表示の前記幅方向の長さを、前記表示装置の表示範囲における前記幅方向の全域に亘る長さにする、
    注意喚起システム。
  8. 請求項1に記載の視線誘導装置と、
    移動体のフロントガラス上に前記移動体の操縦者が視認可能な視覚表示を出力する表示装置と、
    を備える、
    注意喚起システムであって、
    前記視線誘導装置は、
    前記移動体の周囲エリアにある対象物を検知する対象物認識部と、
    前記表示装置を制御して前記移動体のフロントガラス上の所定の表示範囲に視覚表示を出力する表示制御部と、
    を有し、
    前記表示範囲は、
    前記フロントガラス上の、前記移動体の幅方向である水平方向に延在する帯状範囲であって、
    前記表示制御部は、前記操縦者の位置から見た前記対象物に対応する前記フロントガラス上の水平位置と同じ、前記表示範囲内の水平位置に、前記視覚表示を出力する、
    注意喚起システム。
  9. 前記表示装置は、前記フロントガラス上に所定形状の光を投光することにより前記視覚表示を出力する投光装置である、
    請求項7または8に記載の注意喚起システム。
  10. 前記表示装置は、前記フロントガラスの下方において前記移動体の幅方向に沿って配された複数の光源で構成される、
    請求項7ないし9のいずれか一項に記載の注意喚起システム。
  11. 前記表示制御部は、前記移動体の周囲エリアのうち、前記移動体の操縦席に着座した前記操縦者の位置を中心として定義される所定の前方視野範囲から外れた位置において前記対象物が検知されたときは、前記対象物の方向定位のための音響を前記移動体の室内に生じさせる、
    請求項7ないし10のいずれか一項に記載の注意喚起システム。
  12. 前記対象物は、前記移動体との接触確率が所定値以上である実在物である、
    請求項7ないし11のいずれか一項に記載の注意喚起システム。
  13. 前記対象物の位置を認識する対象物位置認識部と、
    前記移動体における前記操縦者の位置を認識する操縦者位置認識部と、を更に備え、
    前記表示制御部は、
    前記対象物位置認識部が認識した前記対象物の位置と、前記操縦者位置認識部が認識した前記操縦者の位置とに基づいて、前記視線誘導虚像の表示位置を補正する、
    請求項1に記載の視線誘導装置。
  14. 前記表示制御部は、
    前記移動体の上面視において、前記対象物位置認識部が認識した前記対象物の位置及び前記操縦者位置認識部が認識した前記操縦者の位置を結ぶ線と、前記フロントガラスとが交差する位置を、前記視線誘導虚像の表示位置として補正する、
    請求項13に記載の視線誘導装置。
  15. 前記操縦者位置認識部は、
    前記操縦者の頭の位置を、前記操縦者の位置として認識する、
    請求項13又は14に記載の視線誘導装置。
  16. 前記表示制御部は、
    前記操縦者が前記視線誘導虚像を視た際に、前記対象物と重なって又は前記対象物と水平方向における位置を一致させて、前記視線誘導虚像を前記表示装置に表示させる、
    請求項13ないし15のいずれか一項に記載の視線誘導装置。
  17. コンピュータにより実行される注意喚起方法であって、
    移動体の周囲エリアにある対象物を検知するステップと、
    前記移動体の室内に設けられた表示装置を制御して、前記移動体のフロントガラス上の所定の表示範囲に視覚表示を出力するステップと、
    を有し、
    前記表示範囲は、前記フロントガラス上の、法規により表示が許容される範囲の上限位置を示す表示可能上限線に隣接して前記表示可能上限線の下方を前記移動体の幅方向である水平方向に延在する帯状範囲であって、
    前記視覚表示を出力するステップでは、
    記移動体の操縦者の位置から見た前記対象物の前記フロントガラス上の水平位置と同じ前記表示範囲内の水平位置に、前記視覚表示を出力し、
    前記移動体の前方にm個(mは3以上の整数)以上の前記対象物が存在している場合、前記表示装置に表示させる前記視覚表示の前記幅方向の長さを、前記表示装置の表示範囲における前記幅方向の全域に亘る長さにする、
    注意喚起方法。
  18. 移動体の前方に存在する対象物に、前記移動体の操縦者の視線を誘導する視線誘導装置による注意喚起方法であって、
    前記対象物を認識し、
    前記移動体のフロントガラスにおいて認識した前記対象物と対応する位置に、前記操縦者の視線を誘導する視線誘導虚像を表示装置に表示させる際に、
    前記表示装置に表示させる前記視線誘導虚像の前記移動体の幅方向の長さを、前記移動体の前方に存在する前記対象物の状況に応じた長さにし、
    前記視線誘導虚像の表示範囲は、前記フロントガラス上の、法規により表示が許容される範囲の上限位置を示す表示可能上限線に隣接して前記表示可能上限線の下方を前記移動体の幅方向である水平方向に延在する帯状範囲であって、
    前記移動体の前方にm個(mは3以上の整数)以上の前記対象物が存在している場合、前記表示装置に表示させる前記視線誘導虚像の前記幅方向の長さを、前記表示装置の表示範囲における前記幅方向の全域に亘る長さにする、
    注意喚起方法。
  19. 移動体の前方に存在する対象物に、前記移動体の操縦者の視線を誘導する視線誘導装置による注意喚起方法であって、
    前記対象物の位置を認識し、
    前記移動体における前記操縦者の位置を認識し、
    表示装置に、前記操縦者の視線を前記対象物に誘導する視線誘導虚像を前記移動体のフロントガラスに表示させ、
    前記視線誘導虚像を表示させる際、認識した前記対象物の位置と、認識した前記操縦者の位置とに基づいて、前記視線誘導虚像の表示位置を補正し、
    前記視線誘導虚像の表示範囲は、前記フロントガラス上の、法規により表示が許容される範囲の上限位置を示す表示可能上限線に隣接して前記表示可能上限線の下方を前記移動体の幅方向である水平方向に延在する帯状範囲であって、
    前記移動体の前方にm個(mは3以上の整数)以上の前記対象物が存在している場合、前記表示装置に表示させる前記視線誘導虚像の前記幅方向の長さを、前記表示装置の表示範囲における前記幅方向の全域に亘る長さにする、
    注意喚起方法。
  20. 移動体の前方に存在する対象物に、前記移動体の操縦者の視線を誘導する視線誘導装置のコンピュータに実行させるプログラムであって、
    前記コンピュータに、
    前記対象物を認識させ、
    前記移動体のフロントガラスにおいて前記操縦者の視線を誘導する視線誘導虚像を、認識した前記対象物と対応する位置に表示装置に表示させる際に、
    前記表示装置に表示させる前記視線誘導虚像の前記移動体の幅方向の長さを、前記移動体の前方に存在する前記対象物の状況に応じた長さにし、
    前記視線誘導虚像の表示範囲は、前記フロントガラス上の、法規により表示が許容される範囲の上限位置を示す表示可能上限線に隣接して前記表示可能上限線の下方を前記移動体の幅方向である水平方向に延在する帯状範囲であって、
    前記移動体の前方にm個(mは3以上の整数)以上の前記対象物が存在している場合、前記表示装置に表示させる前記視線誘導虚像の前記幅方向の長さを、前記表示装置の表示範囲における前記幅方向の全域に亘る長さにする、
    プログラム。
JP2023505160A 2021-03-12 2022-01-17 視線誘導装置、注意喚起システム、注意喚起方法、及びプログラム Active JP7518966B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2021040412 2021-03-12
JP2021040411 2021-03-12
JP2021040549 2021-03-12
JP2021040549 2021-03-12
JP2021040411 2021-03-12
JP2021040412 2021-03-12
PCT/JP2022/001330 WO2022190630A1 (ja) 2021-03-12 2022-01-17 視線誘導装置、注意喚起システム、注意喚起方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2022190630A1 JPWO2022190630A1 (ja) 2022-09-15
JP7518966B2 true JP7518966B2 (ja) 2024-07-18

Family

ID=83226556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023505160A Active JP7518966B2 (ja) 2021-03-12 2022-01-17 視線誘導装置、注意喚起システム、注意喚起方法、及びプログラム

Country Status (3)

Country Link
US (1) US12337862B2 (ja)
JP (1) JP7518966B2 (ja)
WO (1) WO2022190630A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2612663B (en) * 2022-05-17 2023-12-20 Envisics Ltd Head-up display calibration
JP2024134731A (ja) * 2023-03-22 2024-10-04 矢崎総業株式会社 表示装置
JP2024134732A (ja) * 2023-03-22 2024-10-04 矢崎総業株式会社 表示装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007102639A (ja) 2005-10-06 2007-04-19 Fuji Heavy Ind Ltd 衝突判定装置
JP2009217682A (ja) 2008-03-12 2009-09-24 Yazaki Corp 車両用表示装置
JP2010088045A (ja) 2008-10-02 2010-04-15 Toyota Motor Corp ナイトビューシステム、夜間歩行者表示方法
WO2011108218A1 (ja) 2010-03-01 2011-09-09 本田技研工業株式会社 車両の周辺監視装置
JP2016196289A (ja) 2015-04-03 2016-11-24 株式会社デンソー 情報提示装置
WO2019097918A1 (ja) 2017-11-14 2019-05-23 マクセル株式会社 ヘッドアップディスプレイ装置およびその表示制御方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006011481A1 (de) 2006-03-13 2007-09-20 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterstützen eines Führens eines Fahrzeugs
US8740618B2 (en) 2007-07-20 2014-06-03 Keith N. Shaw Braille module with compressible pin arrays
JP5077017B2 (ja) * 2008-03-28 2012-11-21 株式会社豊田中央研究所 運転支援装置及び歩行者検出装置
JP2012234410A (ja) * 2011-05-02 2012-11-29 Mazda Motor Corp 車両用運転支援装置
JP2013032082A (ja) 2011-08-01 2013-02-14 Denso Corp 車両用表示装置
JP2017021546A (ja) 2015-07-10 2017-01-26 田山 修一 車輌用画像表示システム及び方法
US20180118224A1 (en) * 2015-07-21 2018-05-03 Mitsubishi Electric Corporation Display control device, display device, and display control method
JP2019059245A (ja) * 2016-02-05 2019-04-18 マクセル株式会社 ヘッドアップディスプレイ装置及びその表示制御方法
NL2018281B1 (en) 2017-02-01 2018-08-22 Daf Trucks Nv Method and system for alerting a truck driver
JP6695049B2 (ja) * 2017-05-10 2020-05-20 パナソニックIpマネジメント株式会社 表示装置及び表示制御方法
CN107554430B (zh) * 2017-09-20 2020-01-17 京东方科技集团股份有限公司 车辆盲区可视化方法、装置、终端、系统及车辆
KR20190035255A (ko) * 2017-09-26 2019-04-03 삼성에스디에스 주식회사 영상처리를 이용하는 차량 주행 보조 방법 및 그 장치
US11511627B2 (en) * 2017-11-17 2022-11-29 Aisin Corporation Display device and computer program
JP7101053B2 (ja) 2018-06-11 2022-07-14 日産自動車株式会社 情報提示方法及び情報提示装置
JP2020199839A (ja) 2019-06-07 2020-12-17 株式会社デンソー 表示制御装置
CN113109941B (zh) * 2020-01-10 2023-02-10 未来(北京)黑科技有限公司 一种分层成像的抬头显示系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007102639A (ja) 2005-10-06 2007-04-19 Fuji Heavy Ind Ltd 衝突判定装置
JP2009217682A (ja) 2008-03-12 2009-09-24 Yazaki Corp 車両用表示装置
JP2010088045A (ja) 2008-10-02 2010-04-15 Toyota Motor Corp ナイトビューシステム、夜間歩行者表示方法
WO2011108218A1 (ja) 2010-03-01 2011-09-09 本田技研工業株式会社 車両の周辺監視装置
JP2016196289A (ja) 2015-04-03 2016-11-24 株式会社デンソー 情報提示装置
WO2019097918A1 (ja) 2017-11-14 2019-05-23 マクセル株式会社 ヘッドアップディスプレイ装置およびその表示制御方法

Also Published As

Publication number Publication date
US20240166229A1 (en) 2024-05-23
US12337862B2 (en) 2025-06-24
JPWO2022190630A1 (ja) 2022-09-15
WO2022190630A1 (ja) 2022-09-15

Similar Documents

Publication Publication Date Title
JP7518966B2 (ja) 視線誘導装置、注意喚起システム、注意喚起方法、及びプログラム
US8958977B2 (en) Vehicle perimeter monitor
JP4943367B2 (ja) 車両用情報表示装置
US10759334B2 (en) System for exchanging information between vehicles and control method thereof
US11794768B2 (en) Safety confirmation support device, safety confirmation support method, and safety confirmation support program
CN115071571B (zh) 注意提醒系统和注意提醒方法
JP2005309812A (ja) 車両周辺表示制御装置
JP5880093B2 (ja) 車両用表示装置
JP6748947B2 (ja) 画像表示装置、移動体、画像表示方法及びプログラム
US11345364B2 (en) Attention calling device and attention calling method
US20190100146A1 (en) Three-dimensional driving image reminder device
CN118991811B (zh) 盲区障碍物预警方法、系统、车辆及存储介质
US20210339678A1 (en) Information presentation device, information presentation control method, and non-transitory computer-readable recording medium
CN111497745B (zh) 显示系统、行驶控制装置、显示控制方法以及存储介质
JP2016022919A (ja) ヘッドアップディスプレイ装置及び車両
CN116761737A (zh) 视线引导装置、注意提醒系统、注意提醒方法及程序
JP7772138B2 (ja) 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム
JP7558850B2 (ja) 注意喚起システム、及び注意喚起方法
JP7332644B2 (ja) 注意喚起システム、及び注意喚起方法
JP6814416B2 (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP6384528B2 (ja) 視界制御装置
JP2018034546A (ja) 車両用表示装置
TW202300361A (zh) 整合後視影像的車用抬頭顯示器
JP2023166219A (ja) 運転支援装置
JP2021018807A (ja) 制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240705

R150 Certificate of patent or registration of utility model

Ref document number: 7518966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150