Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6796798B2 - イベント予測システム、イベント予測方法、プログラム、及び移動体 - Google Patents
[go: Go Back, main page]

JP6796798B2 - イベント予測システム、イベント予測方法、プログラム、及び移動体 - Google Patents

イベント予測システム、イベント予測方法、プログラム、及び移動体 Download PDF

Info

Publication number
JP6796798B2
JP6796798B2 JP2017009547A JP2017009547A JP6796798B2 JP 6796798 B2 JP6796798 B2 JP 6796798B2 JP 2017009547 A JP2017009547 A JP 2017009547A JP 2017009547 A JP2017009547 A JP 2017009547A JP 6796798 B2 JP6796798 B2 JP 6796798B2
Authority
JP
Japan
Prior art keywords
prediction
event
moving body
information
raster data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017009547A
Other languages
English (en)
Other versions
JP2018120292A (ja
Inventor
森 俊也
俊也 森
祥平 林
祥平 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017009547A priority Critical patent/JP6796798B2/ja
Priority to PCT/JP2018/001493 priority patent/WO2018135605A1/ja
Priority to DE112018000479.1T priority patent/DE112018000479T5/de
Publication of JP2018120292A publication Critical patent/JP2018120292A/ja
Priority to US16/509,525 priority patent/US20190340522A1/en
Application granted granted Critical
Publication of JP6796798B2 publication Critical patent/JP6796798B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0953Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/043Identity of occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、一般にイベント予測システム、イベント予測方法、プログラム、及び移動体に関し、より詳細には、移動体の運転に関連するイベントの発生を予測するためのイベント予測システム、イベント予測方法、プログラム、及び移動体に関する。
従来、自車両の危険予測を行い、予測結果をドライバに通知することで、車両の運転を支援する運転支援装置が知られている(例えば、特許文献1参照)。
特許文献1に記載の運転支援装置は、運転能力確認部と、危険予測部と、表示制御部とを有している。運転能力確認部は、環境情報取得部、自車情報取得部及びドライバ情報取得部の検出情報に基づいて運転技量試験を周期的に行い、その試験結果からドライバの運転行動を判定し、ドライバの運転能力を確認する。危険予測部は、ドライバの運転行動の判定結果に基づいて、自車両の危険予測を行う。表示制御部は、環境情報取得部、自車情報取得部及びドライバ情報取得部の検出情報に基づいて自車両の未来位置を予測し、自車両の未来位置を自車両の衝突危険度に対応する表示態様で表示部に表示させる。
特開2012−128655号公報
しかし、特許文献1に記載の運転支援装置では、自車両の未来位置の予測結果を表示することで衝突の可能性を運転者(ドライバ)に知らせるため、運転者に通知可能な内容は、運転者の視認可能な範囲で発生するイベント(事故等)に限られる。したがって、特許文献1に記載の運転支援装置では、例えば、路上駐車されている車両の陰からの歩行者の飛び出し等、運転者の死角になる対象物(この場合、歩行者)に起因したイベントについては予測することができない。
本発明は上記事由に鑑みてなされており、運転者の死角になる対象物に起因したイベントの発生についても予測可能なイベント予測システム、イベント予測方法、プログラム、及び移動体を提供することを目的とする。
第1の態様に係るイベント予測システムは、蓄積部と、モデル生成部と、データ生成部と、予測部と、を備える。前記蓄積部は、履歴情報を含む複数の学習用データを蓄積する。前記履歴情報は、移動体の運転に関連するイベントが発生した際における前記移動体の状況を表す。前記モデル生成部は、前記複数の学習用データを用いて、前記イベントの発生を予測するための予測モデルを生成する。前記データ生成部は、前記移動体に関する予測用情報を用いて、前記移動体の状況を複数のセルで表す予測用ラスタデータを生成する。前記予測部は、前記予測モデル、及び前記予測用ラスタデータを用いて、前記移動体の運転中における前記イベントの発生を予測する。前記予測部は、前記イベントが発生した場合に前記履歴情報を前記蓄積部に送信する。前記履歴情報は、学習用ラスタデータを含む。前記学習用ラスタデータは、前記イベントが発生した際における前記予測用ラスタデータから生成される
第2の態様に係るイベント予測システムでは、第1の態様において、前記履歴情報は、前記移動体の周辺の物体に関する情報と、前記移動体の状態に関する情報と、前記移動体の位置に関する情報と、の少なくとも1つを更に含む。
第3の態様に係るイベント予測システムでは、第1又は第2の態様において、前記複数の学習用データの各々は、前記イベントの発生箇所を表すラベル情報を更に含む。
の態様に係るイベント予測システムでは、第1〜第3の態様において、前記データ生成部は、前記予測用情報の取得時点での現在ラスタデータを前記予測用ラスタデータとして生成する。前記予測部は、前記現在ラスタデータの生成時点での前記イベントの発生を予測する。
の態様に係るイベント予測システムでは、第1〜の態様において、前記データ生成部は、前記予測用情報の取得時点での現在ラスタデータ、及び前記予測用情報に基づいて、未来ラスタデータを前記予測用ラスタデータとして生成する。前記未来ラスタデータは、前記現在ラスタデータを生成した時点から所定時間の経過後のデータである。前記予測部は、前記未来ラスタデータの生成時点での前記イベントの発生を予測する。
の態様に係るイベント予測システムは、第〜第のいずれかの態様において、前記イベントの予測結果を報知する報知部を更に備える。
の態様に係るイベント予測システムでは、第の態様において、前記報知部は、前記イベントの予測結果を表示することにより報知する表示部を有する。
の態様に係るイベント予測システムでは、第〜第のいずれかの態様において、前記予測部は、前記移動体を運転する運転者の属性ごとに異なる前記予測モデルを用いるように構成されている。
の態様に係るイベント予測システムは、データ生成部と、予測部と、を備える。前記データ生成部は、移動体に関する予測用情報を用いて、前記移動体の状況を複数のセルで表す予測用ラスタデータを生成する。前記予測部は、予測モデル、及び前記予測用ラスタデータを用いて、前記移動体の運転中における前記移動体の運転に関連するイベントの発生を予測する。前記予測モデルは、前記イベントが発生した際における前記移動体の状況を表す履歴情報を含む複数の学習用データを用いて生成される。前記予測部は、前記イベントが発生した場合に前記履歴情報を含む前記複数の学習用データを蓄積する蓄積部に前記履歴情報を送信する。前記履歴情報は、前記イベントが発生した際における前記予測用ラスタデータを生成する学習用ラスタデータを含む。
第1の態様に係るイベント予測方法は、蓄積処理と、モデル生成処理と、データ生成処理と、予測処理と、を有する。前記蓄積処理は、履歴情報を含む複数の学習用データを蓄積する処理である。前記履歴情報は、移動体の運転に関連するイベントが発生した際における前記移動体の状況を表す。前記モデル生成処理は、前記複数の学習用データを用いて、前記イベントの発生を予測するための予測モデルを生成する処理である。前記データ生成処理は、前記移動体に関する予想用情報を用いて、前記移動体の状況を複数のセルで表す予測用ラスタデータを生成する処理である。前記予測処理は、前記予測モデル、及び前記予測用ラスタデータを用いて、前記移動体の運転中における前記イベントの発生を予測する処理である。前記予測処理は、前記イベントが発生した場合に前記履歴情報を送信する。前記蓄積処理は、前記予測処理が送信した前記履歴情報を蓄積する。前記履歴情報は、前記イベントが発生した際における前記予測用ラスタデータから生成された学習用ラスタデータを含む。
第1の態様に係るプログラムは、コンピュータシステムに、蓄積処理と、モデル生成処理と、データ生成処理と、予測処理と、を実行させるためのプログラムである。前記蓄積処理は、履歴情報を含む複数の学習用データを蓄積する処理である。前記履歴情報は、移動体の運転に関連するイベントが発生した際における前記移動体の状況を表す情報であって、学習用ラスタデータを有する。前記学習用ラスタデータは、前記イベントが発生した際における前記予測用ラスタデータから生成されたデータである。前記モデル生成処理は、前記複数の学習用データを用いて、前記イベントの発生を予測するための予測モデルを生成する処理である。前記データ生成処理は、前記移動体に関する予測用情報を用いて、前記移動体の状況を複数のセルで表す予測用ラスタデータを生成する処理である。前記予測処理は、前記予測モデル、及び前記予測用ラスタデータを用いて、前記移動体の運転中における前記イベントの発生を予測する処理である。前記予測処理は、前記イベントが発生した場合に前記履歴情報を前記蓄積処理に送信する。
第1の態様に係るイベント予測方法は、データ生成処理と、予測処理と、を有する。前記データ生成処理は、移動体に関する予測用情報を用いて、前記移動体の状況を複数のセルで表す予測用ラスタデータを生成する処理である。前記予測処理は、予測モデル、及び前記予測用ラスタデータを用いて、前記移動体の運転中における前記移動体の運転に関連するイベントの発生を予測する処理である。前記予測処理は、前記イベントが発生した場合に前記履歴情報を含む前記複数の学習用データを蓄積する蓄積部に前記履歴情報を送信する処理である。前記予測モデルは、前記イベントが発生した際における前記移動体の状況を表す履歴情報を含む複数の学習用データを用いて生成される。前記履歴情報は、前記イベントが発生した際における前記予測用ラスタデータから生成される学習用ラスタデータを含む。
第1の態様に係るプログラムは、コンピュータシステムに、データ生成処理と、予測処理と、を実行させるためのプログラムである。前記データ生成処理は、移動体に関する予測用情報を用いて、前記移動体の状況を複数のセルで表す予測用ラスタデータを生成する処理である。前記予測処理は、予測モデル、及び前記予測用ラスタデータを用いて、前記移動体の運転中における前記移動体の運転に関連するイベントの発生を予測する処理である。前記予測処理は、前記イベントが発生した場合に前記履歴情報を含む前記複数の学習用データを蓄積する蓄積部に前記履歴情報を送信する処理である。前記予測モデルは、履歴情報を含む複数の学習用データを用いて生成される。前記履歴情報は、前記イベントが発生した際における前記移動体の状況を表す情報であって、学習用ラスタデータを有する。前記学習用ラスタデータは、前記イベントが発生した際における前記予測用ラスタデータを生成するデータである。
第1の態様に係る移動体は、第1〜第のいずれかの態様に係るイベント予測システムを備える。
本発明は、運転者の死角になる対象物に起因したイベントの発生についても予測可能である、という利点がある。
図1は、実施形態1に係るイベント予測システムの構成を示すブロック図である。 図2は、同上のイベント予測システムにおける予測用ラスタデータの一例を示す概念図である。 図3は、同上のイベント予測システムの予測モデルの生成に係る動作を示すフローチャートである。 図4は、同上のイベント予測システムのイベントの予測動作を示すフローチャートである。 図5は、同上のイベント予測システムにおける現在ラスタデータでのイベントの発生箇所の設定の一例を示す概念図である。 図6は、同上のイベント予測システムを用いた場合の運転者の視野を示す概念図である。 図7A〜図7Cは、同上のイベント予測システムにて予測が可能なイベントの例を示す概念図である。 図8A〜図8Cは、同上のイベント予測システムにて予測が可能なイベントの他の例を示す概念図である。 図9A,図9Bは、同上のイベント予測システムにおけるラベル情報の一例を示す概念図である。 図10は、実施形態2に係るイベント予測システムにおいて、データ生成部で生成した未来ラスタデータの一例を示す概念図である。 図11は、同上のイベント予測システムにおける現在ラスタデータでのイベントの発生箇所の一例を示す概念図である。
(実施形態1)
(1)概要
本実施形態に係るイベント予測システム1(図1参照)は、自動車等の移動体100(図1参照)の運転に関連するイベントの発生を予測するためのシステムである。本実施形態では、イベント予測システム1が適用される移動体100が自動車である場合を例に説明する。
ここでいう「イベント」は、例えば、移動体100の運転者が運転に際して危険と感じるような事象を意味する。この種の「イベント」には、例えば、車両同士の衝突、ガードレール等の構造物への車両の衝突、及び歩行者等と車両の接触等の事故、又は、事故には至らないが事故に直結する可能性の高い事象(いわゆるヒヤリ・ハット)等がある。また、ここでいう「イベントの発生箇所」は、イベントが発生する箇所を意味しており、交差点又は横断歩道等のイベントが発生する場所(地点)、及び、移動体100の周辺の車両、歩行者、又は小動物等のイベントの対象となる特定の物体(部分)の両方を含む。
本実施形態に係るイベント予測システム1は、主として、運転者の死角になる対象物に起因したイベントの発生を予測する。この種のイベントの具体例として、路上駐車されている車両の陰からの歩行者の飛び出し、及び右折(又は左折)待ちの車両の陰からの直進する車両の出現等がある。運転者の視認可能な範囲外で発生するこの種のイベントは、「見えない危険」とも呼ばれる。移動体100の運転者は、通常、この種のイベント(見えない危険)については、移動体100の状況に基づいて、つまり移動体100がどのような状況に置かれているかに基づいて、自身の経験等に照らして予測を行っている。すなわち、一般的に、運転者は、様々なシチュエーションでの移動体100の運転を経験することにより、「見えない危険」を、ある程度予測できるようになる。そのため、運転者の運転の熟練度、運転のセンス、及び運転者の状態(運転者の精神状態等を含む)等によって、「見えない危険」の予見性は大きくばらつくことがある。
イベント予測システム1によれば、この種のイベント(見えない危険)が主として予測されるので、運転者の運転の熟練度、運転のセンス、及び運転者の状態等による「見えない危険」の予見性のばらつきを小さく抑えることが可能になる。したがって、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。更に、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。更には、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。要するに、運転者の死角になる対象物に起因したイベントの発生についても予測可能なイベント予測システム1によれば、より安全な運転を実現するように、運転者による移動体100の運転を支援可能となる。
本実施形態に係るイベント予測システム1は、例えば、実際にイベントが発生した際の移動体100の状況を表す履歴情報等から機械学習アルゴリズムによって生成される予測モデルを用いて、イベントの発生を予測する。すなわち、移動体100の状況を表す履歴情報等から生成される予測モデルは、運転者の運転の経験に代えて、イベントの発生を予測可能にする。例えば、移動体100の周辺にどのような物体が存在し、移動体100の移動速度がどの程度で、移動体100がどのような場所を移動中か、といった移動体100の種々の状況からは、イベントの発生を予測することが可能である。
イベント予測システム1でのイベントの予測結果は、例えば、ヘッドアップディスプレイ(HUD:Head-Up Display)、及びマルチインフォメーションディスプレイ等に表示されることによって、運転者に報知されることが好ましい。これにより、運転者の死角になる対象物に起因したイベントの発生が予測される場合には、その旨が運転者に知らされることになり、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。更に、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。更には、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。
(2)構成
本実施形態に係るイベント予測システム1は、図1に示すように、移動体100(本実施形態では自動車)に実装された予測ブロック11と、クラウド200(クラウドコンピューティング)に実装された学習ブロック12と、を備えている。
また、イベント予測システム1は、移動体100に搭載された報知部13を更に備えている。また、イベント予測システム1は、移動体100に搭載されたADAS情報入力部14、車両情報入力部15、及び位置情報入力部16を更に備えている。
予測ブロック11と学習ブロック12とは、通信可能に構成されている。予測ブロック11は、移動体100に実装されているため、クラウド200に実装された学習ブロック12との通信は、例えば、通信事業者が提供する携帯電話網(キャリア網)、及びインターネット等の公衆回線網を介して行われる。携帯電話網には、例えば3G(第3世代)回線、LTE(Long Term Evolution)回線等がある。予測ブロック11は、学習ブロック12と、公衆無線LAN(Local Area Network)を介して通信可能に構成されていてもよい。
予測ブロック11は、予測部111と、モデル格納部112と、入力情報処理部113と、出力情報処理部114と、データ生成部115と、を有している。予測ブロック11は、例えば、CPU(Central Processing Unit)及びメモリを主構成とするコンピュータシステムにて構成されており、CPUがメモリに格納されているプログラムを実行することにより、コンピュータシステムが予測ブロック11として機能する。プログラムは、ここでは予測ブロック11のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
入力情報処理部113は、ADAS情報入力部14、車両情報入力部15、及び位置情報入力部16に接続されており、移動体情報を取得する。ここでいう「移動体情報」は、移動体100の状況を表す情報である。本実施形態では、移動体情報は、移動体100の周辺の物体に関する情報(「ADAS情報」ともいう)と、移動体100の状態に関する情報(「車両情報」ともいう)と、移動体100の位置に関する情報(「位置情報」ともいう)と、の全てを含む。ADAS情報入力部14、車両情報入力部15、及び位置情報入力部16は、それぞれADAS情報、車両情報、及び位置情報の入力インタフェースである。そのため、入力情報処理部113には、ADAS情報入力部14からADAS情報が入力され、車両情報入力部15から車両情報が入力され、位置情報入力部16から位置情報が入力される。本実施形態では、入力情報処理部113は、ADAS情報、車両情報、及び位置情報を、後述する予測用情報としてデータ生成部115に出力する。すなわち、本実施形態では、移動体情報、及び予測用情報は、ADAS情報、車両情報、及び位置情報の全てを含む情報である。なお、移動体情報は、ADAS情報、車両情報、及び位置情報のうちの少なくとも1つを含む情報であってもよい。同様に、予測用情報は、ADAS情報、車両情報、及び位置情報のうちの少なくとも1つを含む情報であってもよい。
ADAS情報は、先進運転支援システム(ADAS:Advanced Driver Assistance System)の検出部であるカメラ、ソナーセンサ、レーダ、及びLiDAR(Light Detection and Ranging)等にて検出可能な情報である。ADAS情報の具体例としては、移動体100の周辺を走行中の車両までの移動体100からの距離、この車両の移動体100に対する相対座標、複数の車両同士の車間距離、及びこれらの車両の相対速度等がある。ここで、ADAS情報における移動体100の周辺の物体は、移動体100の周辺にて走行中又は停車中の車両、ガードレール等の構造物の他、歩行者、及び小動物等を含んでいる。
車両情報は、移動体100自体のローカルな状態を表す情報であって、移動体100に搭載されたセンサにて検出可能な情報である。車両情報の具体例としては、移動体100の移動速度(走行速度)、移動体100にかかる加速度、アクセルペダルの踏込量(アクセル開度)、ブレーキペダルの踏込量、舵角、並びにドライバモニタで検出される運転者の脈拍、表情、及び視線等がある。更に、車幅、車高、全長、及びアイポイント等の、移動体100に固有のデータも、車両情報に含まれる。
位置情報は、移動体100の位置に基づく情報であって、自車位置における道路情報等、GPS(Global Positioning System)を用いて検出可能な情報である。位置情報の具体例としては、自車位置における道路の車線数、交差点か否か、丁字路か否か、一方通行か否か、車道幅、歩道の有無、勾配、及びカーブの曲率等がある。
ADAS情報、車両情報、及び位置情報の個々の具体例は、上述した例に限らない。例えば、ドライバモニタが、運転者の顔の向き、眠気レベル、及び感情等を検出可能である場合には、これらの情報(運転者の顔の向き、眠気レベル、及び感情等)も車両情報に含まれる。
データ生成部115は、移動体100に関する予測用情報を用いて、予測用ラスタデータを生成するように構成されている。本実施形態では、データ生成部115は、予測用情報の取得時点での現在ラスタデータを、予測用ラスタデータとして生成する。データ生成部115は、生成した予測用ラスタデータを予測部111に出力する。ここにおいて、「予測用情報」は、移動体100の状況を表す情報であって、入力情報処理部113が取得する移動体情報と同じ情報である。また、ここでいう「予測用ラスタデータ」は、移動体100の状況を複数のセルで表すデータである。より具体的には、予測用ラスタデータは、行と列の格子状(グリッド状)に並んだセル(ピクセル)で構成されるデータであり、各ピクセルには、移動体100に関する種々の情報が含まれている。本実施形態では、予測用ラスタデータは、移動体100及び移動体100の周辺を俯瞰したときの画像データに相当する。また、本実施形態では、各ピクセルは、縦1m、横1mの正方形の領域に相当する。
各ピクセルには、移動体100の位置を原点(基準点)とした場合のピクセルの相対座標、ピクセル内に存在する物体(例えば、車両、バイク、人等)の識別情報、ピクセル内に存在する物体の移動体100に対する相対速度などの情報が数値として含まれている。本実施形態では一例として、移動体100の左右方向をX軸、移動体100の前後方向をY軸とするX−Y直交座標系を、ピクセルの移動体100に対する相対座標として適用する。移動体100から見て右方がX軸の「正」、移動体100から見て前方がY軸の「正」であると仮定する。移動体100は平面視において、ある程度の大きさ(面積)を有するので、厳密には、移動体100上の一点(例えば平面視における中心点)が原点(X,Y=0,0)に設定される。
また、各ピクセルには、車線の位置、車道、歩道、横断歩道等の移動体100が走行している道路に関する情報の他、移動体100及び移動体100以外の車両の種別、ブレーキランプの状態等の情報が数値として含まれている。また、各ピクセルには、例えば移動体100の移動速度(走行速度)、移動体100にかかる加速度、アクセルペダルの踏込量、ブレーキペダルの踏込量、舵角等の移動体100自体に関する情報が数値として含まれていてもよい。また、各ピクセルには、信号機の点灯状態等の情報が数値として含まれていてもよい。その他、各ピクセルには、運転者の脈拍、表情、及び視線等が数値として含まれていてもよい。更に、既に述べたように、ドライバモニタが、運転者の顔の向き、眠気レベル、及び感情等を検出可能である場合には、これらの情報(運転者の顔の向き、眠気レベル、及び感情等)も各ピクセルに数値として含まれていてもよい。
図2に予測用ラスタデータの一例を表す概念図を示す。図2は、移動体100(自車)及び移動体100の周辺の俯瞰図である。図2には、移動体100が走行中の走行車線A1、及び対向車線A2が表されている。走行車線A1及び対向車線A2は、いずれも2車線である。走行車線A1には、複数(ここでは、3台)の物体(ここでは、車両B11〜B13)が表されている。また、対向車線A2には、複数(ここでは、9台)の物体(ここでは、車両B21〜B29)が表されている。また、走行車線A1の傍らには、信号機C1が表されている。更に、走行車線A1に隣接する駐車スペースD1から物体(ここでは、車両B3)が車道に進入しようとしている状態も表されている。
ここで、図2に示す予測用ラスタデータの概念図は、予測用ラスタデータを可視化した図である。したがって、図2に示す概念図では、車両等の物体、道路、信号といった人間の目で視ることのできる情報は可視化した形で表されているが、例えば車両の移動体100に対する相対速度といった人間の目で視ることのできない情報は表されていない。
予測部111は、予測モデル、及びデータ生成部115で生成した予測用ラスタデータを用いて、移動体100の運転中におけるイベントの発生を予測するように構成されている。本実施形態では、予測部111は、予測用ラスタデータ(現在ラスタデータ)の生成時点でのイベントの発生を予測するように構成されている。ここでいう「予測モデル」は、学習ブロック12にて、実際にイベントが発生した際の移動体100の状況を表す履歴情報等から機械学習アルゴリズムによって生成される学習済みモデルである。
更に、予測部111は、予測用モデルを用いて、イベントの発生箇所を推定する。一例として、予測部111は、予測用ラスタデータにおいて、イベントの発生が予測された物体の存在するピクセルを、この物体の周辺のピクセルを含めてイベントの発生箇所として推定するように構成されている。本実施形態では、イベントの発生箇所は、イベントの発生が予測されたピクセルの集合のうちの基準となるピクセルの相対座標、このピクセルの集合のX軸方向、Y軸方向の各々における幅寸法(単位:ピクセル)として、予測部111にて算出される。「イベントの発生箇所」は、上述したように交差点又は横断歩道等のイベントが発生する場所、及び、移動体100の周辺の車両、歩行者、又は小動物等のイベントの対象となる特定の物体の両方を含むが、本実施形態では後者(特定の物体)を推定対象とする。予測部111の具体的な処理については、「(3.2)予測動作」の欄で説明する。
また、予測部111は、イベントが発生した際における移動体100の状況を表す履歴情報を、学習ブロック12に送信するように構成されている。ここでいう「履歴情報」は、移動体100の状況を表す情報であって、入力情報処理部113が取得する移動体情報(及び予測用情報)と同じ情報を含んでいる。すなわち、本実施形態では、履歴情報は、移動体100の周辺の物体に関する情報(ADAS情報)と、移動体100の状態に関する情報(車両情報)と、移動体100の位置に関する情報(位置情報)と、の全てを含む。もちろん、履歴情報は、ADAS情報、車両情報、及び位置情報のうちの少なくとも1つを含む情報であってもよい。また、履歴情報は、イベントが発生した際における移動体100の状況を複数のセルで表す学習用ラスタデータを含んでいる。ここでいう「学習用ラスタデータ」は、イベントが発生した際における予測用ラスタデータと同じ情報である。ただし、学習用ラスタデータは、予測用ラスタデータと同じサイズのデータである必要はなく、例えば物体の識別情報を用いて予測用ラスタデータをリサイズしたデータであってもよい。なお、ADAS情報、車両情報、及び位置情報が予測用ラスタデータに含まれている場合には、履歴情報は、学習用ラスタデータのみで構成されていてもよい。
ただし、予測部111は、履歴情報を学習ブロック12に常時送信するのではなく、イベントが発生した場合にのみ、履歴情報を学習ブロック12に送信する。イベントの発生の有無は、ソナーセンサ、及びレーダ等の検知結果、エアバッグの動作状態、急ブレーキ及び急ハンドルの検知結果、又は、ドライバモニタで測定される運転者の脈拍、及び表情等にて検出可能である。つまり、予測ブロック11は、イベントの発生をトリガにして、例えば、イベントの発生時点の前後の数秒間の履歴情報を学習ブロック12に送信する。このとき、一定時間(例えば0.1秒)間隔で履歴情報が取得されている場合には、イベントの発生時点の前後の数秒間に取得された複数の履歴情報が、学習ブロック12にまとめて送信される。
ここにおいて、予測部111は、イベントの発生箇所を表すラベル情報を、履歴情報と共に学習ブロック12に送信する。本実施形態では、ラベル情報は、イベントの発生が予測されたピクセルの集合のうちの基準となるピクセルの相対座標、このピクセルの集合のX軸方向、Y軸方向の各々における幅寸法である。ラベル情報が表すイベントの発生箇所は、予測部111にて予測されるイベントの発生箇所とは異なり、イベントの発生が検出された場合における、実際のイベントの発生箇所である。複数の履歴情報が学習ブロック12にまとめて送信される場合には、ラベル情報は、複数の履歴情報の各々に紐付けられている。詳しくは後述するが、履歴情報及びラベル情報は、学習ブロック12において予測モデルの生成に用いられる。
モデル格納部112は、予測部111での予測に使用される予測モデルを格納する。本実施形態では、予測ブロック11と学習ブロック12との間の通信により、学習ブロック12で生成された予測モデルは、学習ブロック12から予測ブロック11に送信(配信)され、モデル格納部112に格納(記憶)される。本実施形態では、モデル格納部112には、1つの予測モデルが格納されていることと仮定する。モデル格納部112は、学習ブロック12から新たな予測モデルを随時取得し、格納している予測モデルを随時更新する。ただし、モデル格納部112には、複数の予測モデルが格納されてもよい。
出力情報処理部114は、予測部111、及び報知部13に接続されている。出力情報処理部114には、予測部111でのイベントの予測結果が入力される。本実施形態では、予測用ラスタデータ及び予測モデルから推定されるイベントの発生箇所が、イベントの予測結果として出力情報処理部114に入力される。出力情報処理部114は、予測部111でのイベントの予測結果(ここではイベントの発生箇所)を、報知部13に出力し、報知部13にて報知させる。本実施形態では、報知部13は、イベントの予測結果を表示することにより報知する表示部を有している。そのため、出力情報処理部114は、イベントの予測結果を、表示部にて表示可能な態様のデータとして報知部13に出力する。
報知部13は、予測用ラスタデータから推定されるイベントの発生箇所を、イベントの予測結果として報知する。つまり、予測部111では予測用ラスタデータからイベントの発生箇所が推定されるので、報知部13は、出力情報処理部114から、イベントの予測結果を受け取ることにより、イベントの発生箇所を報知(本実施形態では表示)する。本実施形態では、報知部13は、3D−HUD131、2D−HUD132、メータ133、及びマルチインフォメーションディスプレイ134を、表示部の一例として有している。3D−HUD131及び2D−HUD132は、移動体100のウインドシールドに下方(ダッシュボード)から画像を投影することで、ウインドシールドで反射された画像を運転者に視認させる。特に、3D−HUD131は、移動体100の前方の路面上に奥行きをもって視認される画像を投影可能である。報知部13での具体的な表示態様については、「(3.2)予測動作」の欄で説明する。
学習ブロック12は、蓄積部121と、モデル生成部122と、を有している。学習ブロック12は、例えば、CPU及びメモリを主構成とするコンピュータシステムにて構成されており、CPUがメモリに格納されているプログラムを実行することにより、コンピュータシステムが学習ブロック12として機能する。プログラムは、ここでは学習ブロック12のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
蓄積部121は、イベントが発生した際における移動体100の状況を表す履歴情報を含む複数の学習用データを蓄積する。本実施形態では、予測部111から学習ブロック12に送信されるラベル情報が、履歴情報と共に学習用データとして蓄積部121に蓄積される。つまり、蓄積部121に蓄積される複数の学習用データの各々は、イベントが発生した際における履歴情報と、イベントの発生箇所を表すラベル情報と、を含んでいる。
このように、蓄積部121には、イベントの発生をトリガにして、ラベル情報が付加された状態の履歴情報が、学習用データとして蓄積される。学習用データは、イベントが発生する度に蓄積部121に蓄積され、蓄積部121には複数の学習用データが蓄積される。ここで、蓄積部121に蓄積された複数の学習用データは、モデル生成部122での予測モデルの生成に用いられる学習用データセットである。つまり、複数の学習用データは、履歴情報にアノテーション処理が施されることにより、モデル生成部122での機械学習に適した形に加工された学習用データセットを構成する。
モデル生成部122は、複数の学習用データを用いて、予測モデルを生成する。モデル生成部122は、一定量以上の学習用データを用いて、機械学習アルゴリズムによって予測モデルを生成する。予測モデルは、上述したように、予測部111にてイベントの発生を予測するために使用される学習済みモデルである。モデル生成部122で生成された予測モデルは、学習ブロック12から予測ブロック11に送信され、モデル格納部112に格納される。ここで、モデル生成部122は、予測モデルの評価用のサンプルを有しており、予測モデルの評価が向上する度に、予測モデルを予測ブロック11に送信し、モデル格納部112に格納されている予測モデルを更新する。
(3)動作
次に、本実施形態に係るイベント予測システム1の動作について説明する。
(3.1)学習動作
まず、学習ブロック12での予測モデルの生成に係るイベント予測システム1の動作について、図3に示すフローチャートを参照して説明する。
学習ブロック12は、予測ブロック11でのイベントの発生をトリガにして、予測ブロック11から履歴情報を取得する(ステップS11)。更に、このとき、学習ブロック12は、履歴情報に対応付けられたラベル情報を、履歴情報と併せて取得する。学習ブロック12は、取得したラベル情報を、履歴情報に付加するアノテーション処理を行う(ステップS12)。学習ブロック12は、このようにして得られる、ラベル情報が付加された履歴情報を学習用データとし、この学習用データを、蓄積部121に蓄積する(ステップS13)。
学習ブロック12は、蓄積された学習用データの増加量を表す値(例えばビット数)を蓄積データ増加量とし、蓄積データ増加量と所定値Qとを比較する(ステップS14)。蓄積データ増加量が所定値Q以上であれば(ステップS14:Yes)、学習ブロック12は、モデル生成部122にて予測モデルを生成する(ステップS15)。このとき、モデル生成部122は、蓄積部121に蓄積されている複数の学習用データを用いて、機械学習アルゴリズムによって予測モデルを生成する。モデル生成部122で生成された予測モデルは、学習ブロック12から予測ブロック11に送信され、モデル格納部112に格納される。一方、蓄積データ増加量が所定値Q未満であれば(ステップS14:No)、イベント予測システム1は、ステップS15を飛ばして、学習ブロック12での一連の処理を終了する。
イベント予測システム1は、上記ステップS11〜S15の処理を、予測ブロック11にてイベントが発生する度に繰り返し行うことで、予測モデルを生成する。そして、学習ブロック12は、予測モデルの評価が向上する度に、予測モデルを予測ブロック11に送信し、モデル格納部112に格納されている予測モデルを更新する。
また、学習ブロック12は、イベント予測システム1の運用開始時においては、蓄積部121に予め複数の学習用データを蓄積しておくことにより、予測ブロック11から履歴情報を取得しなくても、予測モデルを生成可能に構成されていることが好ましい。予測モデルについても同様であって、イベント予測システム1の運用開始時においては、学習ブロック12及びモデル格納部112に、予めデフォルトの予測モデルが格納されていることが好ましい。
(3.2)予測動作
次に、イベント予測システム1における予測動作について、図4に示すフローチャートを参照して説明する。
予測ブロック11は、予測部111にて予測用情報を取得する(ステップS21)。このとき、ADAS情報入力部14、車両情報入力部15、及び位置情報入力部16から入力情報処理部113に入力されるADAS情報、車両情報、及び位置情報が、予測用情報として予測部111に入力される。予測ブロック11は、取得した予測用情報を用いて、データ生成部115にて現在ラスタデータを予測用ラスタデータとして生成する(ステップS22)。そして、予測ブロック11は、生成した予測用ラスタデータ(現在ラスタデータ)、及びモデル格納部112に格納されている予測モデルを用いて、予測部111にてイベントの発生の予測を行う(ステップS23)。予測用情報の取得処理(ステップS21)、予測用ラスタデータのデータ生成処理(ステップS22)、及びイベントの発生の予測処理(ステップS23)は、一定時間(例えば0.1秒)間隔で随時実行される。
予測ブロック11は、予測部111にてイベントが発生すると予測されると(ステップS24:Yes)、予測モデルを用いて、イベントの発生箇所を推定するための推定処理を開始する(ステップS25)。具体的には、予測ブロック11は、予測部111にて、予測用ラスタデータ(現在ラスタデータ)におけるイベントの発生が予測されたピクセルの集合のうちの基準となるピクセルの相対座標、このピクセルの集合のX軸方向、Y軸方向の各々における幅寸法を算出する。そして、予測ブロック11は、予測部111にて、このピクセルの集合をイベントの発生箇所として設定する。
図5にイベントの発生箇所の設定の一例を表す概念図を示す。図5において、イベントの発生箇所と推定されたピクセルの集合(図5における破線で囲まれた領域を参照)のうちの基準となるピクセルの相対座標は、左上隅のピクセル(図5における「P1」で示すピクセル)の相対座標である。また、図5において、このピクセルの集合のX軸方向の幅寸法は4ピクセルであり、Y軸方向の幅寸法は7ピクセルである。また、このピクセルの集合には、車両B12が存在している。予測ブロック11は、予測部111にて、現在ラスタデータにおけるこの車両B12の周辺をイベントの発生箇所として設定する(図2の破線で囲まれた領域を参照)。
推定処理(ステップS25)が終わると、イベント予測システム1は、イベントの予測結果(つまり、予測部111にて設定されたイベントの発生箇所)を、報知部13にて報知する(ステップS26)。
一例として、図6に示すような状況での、報知部13による報知処理(ステップS26)について説明する。図6は、移動体100の運転者の視野を示す概念図である。図6の例では、移動体100(自車)が走行中の走行車線501、及び対向車線502の各々が2車線の直線道路を想定している。この例において、移動体100の左前方の走行車線501の路肩には、駐車中のトラック301が存在する。図6の例では、3D−HUD131により、イベントの発生箇所として設定されたトラック301の周囲に、マーカ401(ドットハッチングで示す領域)を表示する。これにより、運転者においては、トラック301の周囲に、マーカ401が重ねて表示されて見えるため、トラック301への注意が喚起される。すなわち、運転者の視界においては、実空間上に3D−HUD131が表示するマーカ401が合成された、拡張現実(AR:Augmented Reality)表示が実現される。
これにより、運転者は、運転者の死角となるトラック301の陰からの歩行者、又は自転車等の飛び出しのように「見えない危険」が潜んでいることを確認できる。このように、本実施形態に係るイベント予測システム1によれば、より安全な運転を実現するように、運転者による移動体100の運転を支援可能である。
一方、予測部111にてイベントが発生すると予測されなければ(ステップS24:No)、イベント予測システム1は、ステップS25,S26を飛ばして、予測ブロック11での一連の処理を終了する。
(4)補足事項
以下に、本実施形態に係るイベント予測システム1にて予測が可能なイベント(見えない危険)の例を幾つか挙げる。ここでは、イベント予測システム1は、移動体100(自車)を含めて、上方から俯瞰したような画像において、イベントの発生箇所を表示することと仮定する。
まず、図7A、図7B、及び図7Cは、対象物(ここでは停車中のトラック)の陰から、自転車、車両、又は歩行者等が飛び出し得る状況を示している。
図7Aの例では、移動体100である自車300Aが走行中の走行車線501A、及び対向車線502Aの各々が1車線であって、対向車線502Aの路肩に、駐車中の複数台のトラック301A,302A,303Aが存在する。更に、対向車線502A側の歩道503Aからは、トラック302Aとトラック303Aとの間を通って、自転車304Aが走行車線501Aを横断しようとしている。図7Aのような状況では、イベント予測システム1は、例えば、複数台のトラック301A,302A,303Aの車間距離等の情報から、駐車中の複数台のトラック301A,302A,303Aの周辺に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、駐車中の複数台のトラック301A,302A,303Aの周囲の領域にマーカ401Aを表示する。図7Aに例示するような状況は、複数台のトラック301A,302A,303Aが駐車中である場合に限らず、例えば、複数台のトラック301A,302A,303Aが渋滞により、停車又は極低速で走行している場合等にも生じ得る。
図7Bの例では、移動体100である自車300Bが走行中の走行車線501B、及び対向車線502Bの各々が2車線である。ここで、信号機504Bが赤信号であるため、走行車線501Bにおける自車300Bの左前方には、停車中(信号待ち)の複数台のトラック301B,302Bが存在する。更に、対向車線502Bには走行中のトラック303Bが存在する。この場合において、走行車線501B側の歩道503B上の駐車スペース505Bからは、トラック301Bとトラック302Bとの間を通って、車両304Bが対向車線502Bに出ようとしている。図7Bのような状況では、イベント予測システム1は、例えば、複数台のトラック301B,302Bの車間距離、信号機504B等の情報から、停車中のトラック301Bの周辺に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、停車中のトラック301Bの周囲の領域にマーカ401Bを表示する。
図7Cの例では、移動体100である自車300Cが走行中の走行車線501C、及び対向車線502Cの各々が1車線であって、走行車線501Cの路肩に、駐車中のトラック301Cが存在する。この場合において、トラック301Cの前方の横断歩道504Cを、対向車線502C側の歩道503Cに向けて、歩行者302Cが横断中である。図7Cのような状況では、イベント予測システム1は、例えば、トラック301Cの移動速度、横断歩道504C等の情報から、駐車中のトラック301Cの周辺に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、駐車中のトラック301Cの周囲の領域にマーカ401Cを表示する。
また、図8A、図8B、及び図8Cは、対象物(ここではトラック)により生じる死角に車両が存在する状況を示している。
図8Aの例では、移動体100である自車300Dが走行中の走行車線501D、及び対向車線502Dの各々が1車線であって、自車300Dの前方の交差点には、左方から右折してくるトラック301Dが存在する。更に、対向車線502Dには、同交差点内で右折待ちの車両302Dが存在する。図8Aのような状況では、イベント予測システム1は、例えば、トラック301D及び車両302D等の情報から、トラック301Dにて生じる死角に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、トラック301Dにより生じる死角領域にマーカ401Dを表示する。
図8Bの例では、移動体100である自車300Eが走行中の走行車線501E、及び対向車線502Eの各々が2車線であって、自車300Eの前方の交差点には、走行車線501Eにて右折待ちの複数台のトラック301E,302E,303Eが存在する。更に、対向車線502Eには、同交差点内で右折待ちの車両304Eが存在する。図8Bのような状況では、イベント予測システム1は、例えば、複数台のトラック301E,302E,303E及び車両304E等の情報から、複数台のトラック301E,302E,303Eにより生じる死角に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、複数台のトラック301E,302E,303Eにより生じる死角領域にマーカ401Eを表示する。
図8Cの例では、移動体100である自車300Fが走行中の走行車線501F、及び対向車線502Fの各々が2車線であって、自車300Fは交差点内で右折待ちをしている。更に、同交差点には、対向車線502Fにて右折待ちの複数台のトラック301F,302F,303Fが存在する。更に、対向車線502Fには、直進中の車両304Fが存在する。図8Cのような状況では、イベント予測システム1は、例えば、先頭のトラック301F及び車両304F等の情報から、先頭のトラック301Fにより生じる死角に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、トラック301Fにより生じる死角領域にマーカ401Fを表示する。
(5)変形例
実施形態1は、本発明の様々な実施形態の一つに過ぎない。実施形態1は、本発明の目的を達成できれば、設計等に応じて種々の変更が可能である。例えば、イベント予測システム1は、イベントの発生を予測するための予測モデルを生成する機能のみを有していてもよい。この場合、予測用ラスタデータを生成する機能と、予測用ラスタデータ及び予測モデルからイベントの発生を予測する機能についてはイベント予測システム1に含まれていなくてもよい。つまり、この場合、予測ブロック11は、イベント予測システム1に必須の構成ではない。また、この場合、イベント予測システム1は、例えば、イベントの発生を予測モデルから予測するための他のシステムに、予測モデルを提供するように構成されていてもよい。
また、例えば、イベント予測システム1は、予測用ラスタデータを生成する機能と、予測用ラスタデータ及び予測モデルからイベントの発生を予測する機能とのみを有していてもよい。この場合、イベントの発生を予測するための予測モデルを生成する機能についてはイベント予測システム1に含まれていなくてもよい。つまり、この場合、予測モデルを生成するための学習ブロック12は、イベント予測システム1に必須の構成ではない。また、この場合、イベント予測システム1は、他のシステムから提供される予測モデルを用いて、イベントの発生を予測モデルから予測するように構成されていてもよい。この場合、予測モデルとしては、既に述べた予測モデルを用いればよい。
また、イベント予測システム1と同様の機能は、イベント予測方法、コンピュータプログラム、又はプログラムを記憶した記憶媒体等で具現化されてもよい。一態様に係るイベント予測方法は、予測モデルを生成する方法であって、蓄積処理と、モデル生成処理と、を有する。蓄積処理は、履歴情報を含む複数の学習用データを蓄積する処理である。モデル生成処理は、複数の学習用データを用いて、イベントの発生を予測するための予測モデルを生成する処理である。履歴情報は、学習用ラスタデータを含む。
また、一態様に係るイベント予測方法は、イベントの発生を予測する方法であって、データ生成処理と、予測処理と、を有する。データ生成処理は、移動体100に関する予測用情報を用いて、予測用ラスタデータを生成する処理である。予測処理は、予測モデル、及び予測用ラスタデータを用いて、移動体100の運転中におけるイベントの発生を予測する処理である。
一態様に係る(コンピュータ)プログラムは、予測モデルを生成する処理を実行させるためのプログラムであって、コンピュータシステムに、蓄積処理と、モデル生成処理と、を実行させるためのプログラムである。蓄積処理は、履歴情報を含む複数の学習用データを蓄積する処理である。履歴情報は、学習用ラスタデータを有する。モデル生成処理は、複数の学習用データを用いて、イベントの発生を予測するための予測モデルを生成する処理である。
また、一態様に係るプログラムは、イベントの発生を予測する処理を実行させるためのプログラムであって、コンピュータシステムに、データ生成処理と、予測処理と、を実行させるためのプログラムである。データ生成処理は、移動体100に関する予測用情報を用いて、予測用ラスタデータを生成する処理である。予測処理は、予測モデル、及び予測用ラスタデータを用いて、移動体100の運転中におけるイベントの発生を予測する処理である。
以下、実施形態1の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
(5.1)ラベル情報の一例
本実施形態では、ラベル情報は、イベントの発生が予測されたピクセルの集合のうちの基準となるピクセルの相対座標、このピクセルの集合のX軸方向、Y軸方向の各々における幅寸法であるが、これに限定する趣旨ではない。例えば、ラベル情報は、上記のピクセルの相対座標のみであってもよい。また、ラベル情報は、イベントの発生が予測されたピクセルの集合を表す情報に限らず、イベントの発生箇所を直接的又は間接的に表す情報であればよい。例えば、ラベル情報は、イベントパターンに合致したか否かを表す情報であってもよい。ここでいう「イベントパターン」は、イベントの発生が予測されるピクセルの集合である。
イベントパターンの一例を図9A、図9Bに示す。図9Aに示すイベントパターンは、予測用ラスタデータから走行車線A1及び対向車線A2の一部を切り出したピクセルの集合であり、対向車線A2に車両B4が表されている。図9Aに示すイベントパターンでは、この車両B4の周辺にイベントの発生箇所が設定されている(図9Aにおける破線で囲まれた領域を参照)。図9Bに示すイベントパターンは、予測用ラスタデータから走行車線A1及び対向車線A2の一部を切り出したピクセルの集合であり、走行車線A1に車両B5が表されている。図9Bに示すイベントパターンでは、この車両B5の周辺にイベントの発生箇所が設定されている(図9Bにおける破線で囲まれた領域を参照)。
イベントパターンに合致したか否かを表す情報をラベル情報として用いる構成においては、予測モデルは、複数のイベントパターンを有している。複数のイベントパターンには、予め設定されたイベントパターンの他に、機械学習により新たに生成されたイベントパターンが含まれている。また、学習用ラスタデータには、ラベル情報として、予測用ラスタデータがイベントパターンと合致するか否かの情報が付される。例えば、予測用ラスタデータが複数のイベントパターンのうちの1つのイベントパターンと合致した場合、この予測用ラスタデータに対応する学習用ラスタデータには、第1パターンと合致したことを表す情報がラベル情報として含まれる。また、例えば、予測用ラスタデータが複数のパターンと合致した場合、この予測用ラスタデータに対応する学習用ラスタデータには、これら複数のパターンと合致したことを表す情報がラベル情報として含まれる。
この構成においては、予測ブロック11は、予測部111にて予測用ラスタデータと、予測モデルの有する複数のイベントパターンとをパターンマッチングすることにより、イベントの発生を予測する。例えば、予測用ラスタデータが、図9Bに示すイベントパターンに合致するピクセルの集合を含んでいるとする。この場合、予測ブロック11は、予測部111にて、このピクセルの集合をイベントの発生箇所として設定する。つまり、この構成では、予測ブロック11は、予測部111にて上記パターンマッチングを行うことにより、予測処理(ステップS23)と推定処理(ステップS25)との両方の処理を実行することになる。
(5.2)その他の変形例
イベントの発生箇所の推定結果は、報知部13から報知される構成に限らず、例えば、移動体100を制御する車両制御システムに出力されてもよい。この場合、車両制御システムが、イベントの発生箇所の推定結果に応じて、ブレーキ、アクセル、ステアリング等を操作することにより、イベントの発生前に予め減速したり、イベントの発生箇所を回避したりすることができる。これにより、車両制御システムにて、自動運転(完全自動運転、及び一部自動運転の両方を含む)が実現可能となる。
データ生成部115にて生成される予測用ラスタデータは、移動体100及び移動体100の四方の周辺の情報を含んでいるが、このようなデータに限定する趣旨ではない。例えば、予測用ラスタデータは、移動体100の周辺のうち前方(例えば、運転者の視野)の情報のみが含まれていてもよい。つまり、予測用ラスタデータに含まれる情報は、例えばADAS情報、車両情報、及び位置情報といった移動体100の取得可能な情報に応じて変化する。この場合でも、予測部111は、イベントの発生を予測モデルから予測することが可能である。つまり、例えば複数種類の情報を含む学習用ラスタデータを用いて生成された予測モデルに対して、複数種類の情報のうちの一部の情報が欠けた予測用ラスタデータを用いた場合でも、予測部111はイベントの発生を予測することが可能である。この場合、予測部111は、例えば予め設定されている初期値、過去のデータの平均値などを用いて欠けている情報を補完してもよい。
また、学習用ラスタデータは、例えば図2に示すような移動体100及び移動体100の四方の周辺の情報が全て含まれていなくてもよい。例えば、学習用ラスタデータは、移動体100の周辺のうち前方の情報のみが含まれていてもよい。モデル生成部122は、このような情報量の少ない学習用ラスタデータを用いる場合であっても、予測モデルを生成することが可能である。
また、予測部111がラベル情報を学習ブロック12に送信する構成に限らず、予測ブロック11における予測部111以外の部位が、ラベル情報を学習ブロック12に送信してもよい。更に、ラベル情報は、移動体100に設けられた予測ブロック11側で、履歴情報に付加されていてもよい。この場合、学習ブロック12は、予測ブロック11から受信したラベル情報付きの履歴情報を、随時、蓄積部121に蓄積する。また、予測ブロック11から学習ブロック12にラベル情報が送信される構成に限らず、学習ブロック12において、予測ブロック11から受信した履歴情報を用いて、ラベル情報を生成してもよい。この場合、ラベル情報の生成、及びラベル情報の履歴情報への付加は、いずれも学習ブロック12において実行されることになる。
また、実施形態1に係るイベント予測システム1は、移動体100とクラウド200とに分離したシステムで具現化されることに限らない。例えば、イベント予測システム1は1つの筐体に収納されていてもよいし、移動体100又はクラウド200に集約されてもよい。例えば、イベント予測システム1が移動体100に集約されている場合、イベント予測システム1は、移動体100において、スタンドアローンで予測モデルの生成をも行うことができる。この場合、例えば、移動体100に組み込まれているEEPROM(Electrically Erasable and Programmable Read-Only Memory)及びECU(Electronic Control Unit)がそれぞれ蓄積部及び生成部として機能する。イベント予測システム1の各構成要素(蓄積部121、モデル生成部122、予測部111、及びデータ生成部115等)は、2つ以上の装置に分散して設けられてもよい。例えば、モデル生成部122が、移動体100とクラウド200とに分散して設けられてもよい。
また、学習ブロック12は、学習用データとなる履歴情報を、1台の移動体100から取得する構成に限らず、複数台の移動体100から取得(収集)してもよい。この場合、学習ブロック12は、複数台の移動体100から取得した履歴情報等を用いて予測モデルを生成し、生成した予測モデルを、複数台の移動体100に送信する。特に、学習ブロック12が多数台の移動体100から学習用データとなる履歴情報を収集する場合、収集された履歴情報の集合は、いわゆるビッグデータを構成する。
また、学習ブロック12は、例えば自動車の販売及びメンテナンス等を行う店舗に設置されていてもよい。この場合、学習ブロック12は、店舗でメンテナンスを受ける複数台の移動体100から、履歴情報を取得することができる。学習ブロック12で生成された予測モデルは、移動体100のメンテナンス時に予測ブロック11に送信される。これにより、移動体100では、メンテナンスの際に予測モデルの更新が可能となる。更に、学習ブロック12は、例えば、複数の店舗を管理する販売会社又はメーカ等のサーバ装置で具現化されてもよい。この場合、学習ブロック12は、複数の店舗から収集した履歴情報を一元管理でき、これらの履歴情報を用いて予測モデルを生成できる。
また、予測用情報は、移動体100の状況を表す情報であればよく、入力情報処理部113が取得する移動体情報と同じ情報でなくてもよい。例えば、予測用情報における車両情報に含まれている移動体100の移動速度を、移動体情報においては、位置情報から算出される移動速度で代用してもよい。同様に、履歴情報は、移動体100の状況を表す情報であればよく、入力情報処理部113が取得する移動体情報と同じでなくてもよい。
また、報知部13は、3D−HUD131にて拡張現実表示を行う構成に限らず、2D−HUD132、メータ133、又はマルチインフォメーションディスプレイ134等にて、例えば、テキスト表示、又はアニメーション表示を行ってもよい。また、報知部13は、カーナビゲーションシステムのディスプレイ等に、フロントカメラで撮影されたリアルタイムの映像にマーカを合成した映像を表示することで、拡張現実表示を行ってもよい。更に、報知部13は、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等のウェアラブル端末からなる表示部を有していてもよい。
また、報知部13は、イベントの発生箇所を表示することにより報知する構成に限らず、例えば、音声、ハプティックデバイス、又はこれらと表示との組み合わせにより、イベントの発生箇所を報知する構成であってもよい。更に、報知部13による報知の対象は移動体100の運転者に限らず、例えば、灯具類の点灯、又はクラクション等により、移動体100の後続車、及び移動体100の周辺の歩行者等に対して、報知部13が報知してもよい。
また、予測部111による予測及び報知部13による報知を実行するか否かは、例えば、運転者の状態(精神状態を含む)等に基づいて、切り替わってもよい。例えば、運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合、運転者は、イベントの発生の可能性に気付きにくくなることがある。そこで、例えば、車両情報に含まれる、移動体100にかかる加速度、及びドライバモニタの検出結果から、通常時よりも運転者の運転が荒い場合に、予測部111による予測を実行するように構成されてもよい。また、例えば、ドライバモニタの検出結果から、運転者がイベントの発生の可能性に気付いていないと判断される場合に、報知部13にて報知を実行するように構成されてもよい。更に、運転者の状態等に基づいて、報知部13による報知を行うレベルを変化させてもよい。
また、ピクセルの相対座標は、二次元直交座標系に限らず、例えば、極座標系であってもよいし、移動体100の高さ方向(鉛直方向)をZ軸として加えた三次元座標系であってもよい。
また、報知部13は、イベントの予測結果を報知する構成であればよく、推定されるイベントの発生箇所を、イベントの予測結果として報知する構成に限らない。例えば、報知部13は、単にアラートを出したり、移動体100からイベントの発生箇所までの距離を報知したりする構成であってもよい。更に、報知部13は、予測されるイベントの発生時点までの所要時間を報知してもよい。
また、イベント予測システム1で予測されるイベントは、運転者の死角になる対象物に起因したイベント(見えない危険)に限らない。イベント予測システム1は、例えば、事故が多発している地点、トンネルの出口及び入口付近、及び急カーブ等、移動体100の状況に依らずに予測可能なイベントの発生箇所を予測してもよい。
また、イベント予測システム1は、車両と車両との間(車車間)、又は車両と信号機及び道路標識等のインフラ(infrastructure)との間(路車間)で、直接的に通信する、いわゆるV2X(Vehicle to Everything)の通信技術を利用してもよい。V2Xの通信技術によれば、例えば、予測部111でのイベントの予測に用いられる予測用情報等を、移動体100が、周辺の車両又はインフラから取得することが可能になる。更に、報知部13の代わりに、インフラにてイベントの発生箇所を報知させることも可能になる。インフラにてイベントの発生箇所の推定等も行われてもよく、この場合、移動体100には、イベント予測システム1が搭載されなくてもよい。
また、イベント予測システム1は、自動車に限らず、例えば、二輪車、電車、航空機、ドローン、建設機械、及び船舶等、自動車以外の移動体にも適用可能である。更に、イベント予測システム1は、移動体に限らず、例えば、アミューズメント施設で用いられてもよいし、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等のウェアラブル端末、医療設備、又は据置型の装置として用いられてもよい。
(実施形態2)
本実施形態に係るイベント予測システム1は、データ生成部115が現在ラスタデータ及び予測用情報に基づいて、未来ラスタデータを予測用ラスタデータとして生成する点で、実施形態1に係るイベント予測システム1と相違する。また、本実施形態に係るイベント予測システム1は、予測部111が未来ラスタデータの生成時点でのイベントの発生を予測する点で、実施形態1に係るイベント予測システム1と相違する。ここでいう「未来ラスタデータ」は、現在ラスタデータを生成した時点から所定時間(例えば、コンマ数秒〜数秒)の経過後のラスタデータである。
以下、本実施形態に係るイベント予測システム1の予測動作について説明する。予測ブロック11は、データ生成部115にて、現在ラスタデータと、例えば移動体100の移動速度(走行速度)、移動体100以外の物体の移動体100に対する相対速度などの予測用情報とに基づいて、未来ラスタデータを生成する。図10に、図2に示す予測用ラスタデータ(現在ラスタデータ)の生成時点から所定時間(ここでは、数秒)が経過した時点での未来ラスタデータの一例を表す概念図を示す。ここで、現在ラスタデータにおいては、走行車線A1にある信号機C1が赤信号であり、また、車両B3が駐車スペースD1から走行車線A1にはみ出している。したがって、未来ラスタデータにおいては、車両B11,B12は、いずれも停車していると予測される。また、現在ラスタデータにおいては、移動体100及び車両B13の前方に障害物が存在しない。したがって、未来ラスタデータにおいては、移動体100及び車両B13は、それぞれの走行速度に応じた距離だけ前進していると予測される。
一方、現在ラスタデータにおいて、対向車線A2にある車両B25,B27,B28,B29は、信号待ち又は渋滞により停車中である。したがって、未来ラスタデータにおいては、これらの車両B25,B27は、いずれも停車していると予測される。なお、車両B28,B29は、移動体100を基準とする一定の範囲から外れているため、未来ラスタデータには含まれていない。また、現在ラスタデータにおいて、車両B21,B23,B24は、いずれも走行中であるが、これらの車両B21,B23,B24の前方には、停車中の車両B25,B27,B28,B29が存在する。したがって、未来ラスタデータにおいては、これらの車両B21,B23,B24は、車両B25に後続する形で停車していると予測される。また、現在ラスタデータにおいては、対向車線A2にある車両B22,B26の前方に障害物が存在しない。したがって、未来ラスタデータにおいては、車両B22,B26は、それぞれの走行速度に応じた距離だけ前進していると予測される。
予測ブロック11は、予測部111にて予測モデル、及び未来ラスタデータを用いて、未来ラスタデータの生成時点でのイベントの発生を予測する。そして、予測ブロック11は、予測部111にてイベントが発生すると予測されると、予測モデルを用いて、イベントの発生箇所を推定する。具体的には、予測ブロック11は、予測部111にて、未来ラスタデータにおけるイベントの発生が予測されたピクセルの集合のうちの基準となるピクセルの相対座標、このピクセルの集合のX軸方向、Y軸方向の各々における幅寸法を算出する。未来ラスタデータにおけるイベントの発生箇所は、図10における破線で囲まれた領域である。そして、予測ブロック11は、予測部111にて、このピクセルの集合をイベントの発生箇所として現在ラスタデータに設定する(図11における一点鎖線で囲まれた領域を参照)。このとき、未来ラスタデータにおけるイベントの発生箇所に関わる物体(ここでは、車両B21,B23)も含めて、現在ラスタデータにおけるイベントの発生箇所として設定されてもよい(図11における実線で囲まれた領域を参照)。
ここで、データ生成部115による未来ラスタデータの生成は、データ生成処理(ステップS22)において、現在ラスタデータの生成の代わりに行ってもよい。この場合、イベント予測システム1は、現在ラスタデータの代わりに未来ラスタデータを用いて、予測処理(ステップS23)、推定処理(ステップS25)、及び報知処理(ステップS26)を実行する。具体的には、未来ラスタデータの生成時点でのイベントの発生が予測された場合、予測ブロック11は、予測部111にて未来ラスタデータにおけるイベントの発生箇所を、現在ラスタデータに設定する(図11の一点鎖線、点線で囲まれた領域を参照)。そして、イベント予測システム1は、未来ラスタデータの生成時点での、つまり、予測用情報の取得時点から所定時間が経過した後のイベントの発生箇所を報知部13にて報知する。
また、データ生成部115による未来ラスタデータの生成は、データ生成処理(ステップS22)において、現在ラスタデータの生成と併せて行ってもよい。この場合、イベント予測システム1は、予測処理(ステップS23)において、現在ラスタデータを用いた予測処理と、未来ラスタデータを用いた予測処理との両方を実行する。
ここで、両方の予測処理の結果、現在ラスタデータを用いた予測処理で予測されたイベントが、未来ラスタデータを用いた予測処理においても継続しているとする。この場合、イベント予測システム1は、予測部111にて現在ラスタデータの生成時点でのイベントの発生箇所(図11の破線で囲まれた領域を参照)と、未来ラスタデータの生成時点でのイベントの発生箇所との両方を、現在ラスタデータに設定する。そして、イベント予測システム1は、これら両方のイベントの発生箇所を報知部13にて報知する。このとき、両方のイベントの発生箇所の表示態様は、例えば色分け等により区別されていてもよい。
一方、両方の予測処理の結果、現在ラスタデータを用いた予測処理で予測されたイベントが、未来ラスタデータを用いた予測処理においても継続していないとする。この場合、イベント予測システム1は、予測部111にて未来ラスタデータの生成時点でのイベントの発生箇所のみを、現在ラスタデータに設定する。そして、イベント予測システム1は、未来ラスタデータの生成時点でのイベントの発生箇所を報知部13にて報知する。
以下、図10に示す未来ラスタデータの一例を用いた予測処理及び推定処理の具体例について説明する。未来ラスタデータにおいて、例えば車両B3が対向車線A2に進入すべく右折しようとしている場合、対向車線A2が複数の車両B2により塞がれているため、車両B3は右折することができない状態にある。このため、イベント予測システム1は、予測部111にて車両B3が車道に飛び出す可能性は極めて低く、現在ラスタデータでは起こり得たイベントが未来ラスタデータでは起こり得ないと予測する。そして、イベント予測システム1は、予測部111にて未来ラスタデータの生成時点でのイベントの発生箇所は現在ラスタデータに設定するが、現在ラスタデータの生成時点でのイベントの発生箇所は現在ラスタデータに設定しない。この場合、イベント予測システム1は、予測用情報の取得時点から所定時間が経過した後のイベントの発生箇所のみを報知部13にて報知する。
一方、未来ラスタデータにおいて、例えば車両B3が走行車線A1に進入すべく左折する可能性がある場合、車両B3は、走行車線A1に進入することが可能な状態にある。このため、イベント予測システム1は、予測部111にて車両B3が車道に飛び出す可能性があり、現在ラスタデータで起こり得たイベントが未来ラスタデータでも起こり得ると予測する。そして、イベント予測システム1は、予測部111にて現在ラスタデータの生成時点でのイベントの発生箇所と、未来ラスタデータの生成時点でのイベントの発生箇所との両方を、現在ラスタデータに設定する。この場合、イベント予測システム1は、予測用情報の取得時点でのイベントの発生箇所と、予測用情報の取得時点から所定時間が経過した後のイベントの発生箇所との両方を、報知部13にて報知する。
本実施形態に係るイベント予測システム1によれば、運転者は、予測用情報の取得時点から所定時間が経過した時点でのイベントの発生の可能性を考慮した運転が可能になる。
(実施形態3)
本実施形態に係るイベント予測システム1は、予測部111が移動体100を運転する運転者の属性ごとに異なる予測モデルを用いる点で、実施形態1に係るイベント予測システム1と相違する。以下、実施形態1と同様の構成については、共通の符号を付して適宜説明を省略する。
すなわち、実施形態1では、予測部111は、万人に共通の予測モデルを用いてイベントを予測しているが、本実施形態では、予測部111は、運転者の属性ごとに異なる予測モデルを用いて、イベントを予測する。ここでいう「運転者の属性」は、運転者の年齢、性別、及び運転の癖(アクセル及びブレーキの踏み方等)等を含む。
本実施形態においては、学習ブロック12は、学習用データとなる履歴情報を複数の運転者から取得する。モデル生成部122は、運転者の属性ごとに予測モデルを生成する。モデル生成部122は、一例として、レコメンドアルゴリズム等で用いられる協調フィルタリングのアルゴリズムを適用し、機械学習を行うことによって、運転者の属性ごとの予測モデルを生成する。
このようにして生成された複数種類の予測モデルの中から、移動体100ごとに、適用する(モデル格納部112に格納する)予測モデルが選択される。つまり、予測ブロック11は、移動体100の運転者の属性に応じて、取得する予測モデルを決定する。これにより、予測部111は、運転者の属性ごとに異なる予測モデルを用いてイベントを予測できる。
本実施形態に係るイベント予測システム1によれば、万人に共通の予測モデルを用いる場合に比べて、予測部111でのイベントの予測精度が向上する。
実施形態3の変形例に係るイベント予測システム1では、1台の移動体100において複数の予測モデルが使い分けられる。すなわち、1台の移動体100を家族で共用している場合、又はカーシェアリング等においては、1台の移動体100を複数の運転者が運転する。本変形例によれば、このような場合に、1台の移動体100であっても、運転者ごとに異なる予測モデルが適用可能である。具体的には、運転者が変わる度に、予測ブロック11が運転者の属性に応じた予測モデルを学習ブロック12から取得する。又は、モデル格納部112に複数の予測モデルを格納し、これら複数の予測モデルから、予測部111が運転者の属性に応じて使用する予測モデルを選択してもよい。
実施形態3に係るイベント予測システム1の構成(変形例を含む)は、実施形態1(変形例を含む)の構成、及び実施形態の構成と適宜組み合わせ可能である。
上記各実施形態で示した図面は、イベント予測システム1の一例を説明するための概念図に過ぎず、実際の態様とは、各部の形状、サイズ、及び位置関係等が適宜異なる。
(まとめ)
以上説明したように、第1の態様に係るイベント予測システム(1)は、蓄積部(121)と、モデル生成部(122)と、を備える。蓄積部(121)は、履歴情報を含む複数の学習用データを蓄積する。履歴情報は、移動体(100)の運転に関連するイベントが発生した際における移動体(100)の状況を表す。モデル生成部(122)は、複数の学習用データを用いて、イベントの発生を予測するための予測モデルを生成する。履歴情報は、学習用ラスタデータを含む。学習用ラスタデータは、イベントが発生した際における移動体(100)の状況を複数のセルで表すデータである。
この態様によれば、イベントの発生を予測するための予測モデルが生成される。この予測モデルを用いることで、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。そのため、イベント予測システム(1)によれば、運転者の運転の熟練度、運転のセンス、運転者の状態等による「見えない危険」の予見性のばらつきを小さく抑えることが可能になる。その結果、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。更に、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。更には、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。
第2の態様に係るイベント予測システム(1)では、第1の態様において、履歴情報は、移動体(100)の周辺の物体に関する情報と、移動体(100)の状態に関する情報と、移動体(100)の位置に関する情報と、の少なくとも1つを更に含む。
この態様によれば、イベント予測システム(1)は、移動体(100)及び移動体(100)の周辺の状態を踏まえた予測モデルを生成することができる。
第3の態様に係るイベント予測システム(1)では、第1又は第2の態様において、複数の学習用データの各々は、イベントの発生箇所を表すラベル情報を更に含む。
この態様によれば、イベントの発生を予測するだけでなく、イベントの発生箇所を推定するための予測モデルの生成が可能になる。
第4の態様に係るイベント予測システム(1)は、第1〜第3のいずれかの態様において、データ生成部(115)と、予測部(111)と、を更に備える。データ生成部(115)は、移動体(100)に関する予測用情報を用いて、移動体(100)の状況を複数のセルで表す予測用ラスタデータを生成する。予測部(111)は、予測モデル、及び予測用ラスタデータを用いて、移動体(100)の運転中におけるイベントの発生を予測する。
この態様によれば、イベント予測システム(1)にてイベントが予測されるので、イベント予測システム(1)から外部に予測モデルを与える必要がなく、イベントの発生を予測するための処理をイベント予測システム(1)のみで完結可能である。
第5の態様に係るイベント予測システム(1)では、第4の態様において、データ生成部(115)は、予測用情報の取得時点での現在ラスタデータを予測用ラスタデータとして生成する。予測部(111)は、現在ラスタデータの生成時点でのイベントの発生を予測する。
この態様によれば、運転者は、予測用情報の取得時点でのイベントの発生の可能性を考慮した運転が可能になる。
第6の態様に係るイベント予測システム(1)では、第4又は第5の態様において、データ生成部(115)は、予測用情報の取得時点での現在ラスタデータ、及び予測用情報に基づいて、未来ラスタデータを予測用ラスタデータとして生成する。未来ラスタデータは、現在ラスタデータを生成した時点から所定時間の経過後のデータである。予測部(111)は、未来ラスタデータの生成時点でのイベントの発生を予測する。
この態様によれば、運転者は、予測用情報の取得時点から所定時間が経過した時点でのイベントの発生の可能性を考慮した運転が可能になる。
第7の態様に係るイベント予測システム(1)は、第4〜第6のいずれかの態様において、イベントの予測結果を報知する報知部(13)を更に備える。
この態様によれば、イベントが発生すると予測された場合、イベントの発生が報知されるので、運転者等においては、イベントの発生に注意して運転すること等が可能となる。
第8の態様に係るイベント予測システム(1)では、第7の態様において、報知部(13)は、イベントの予測結果を表示することにより報知する表示部を有する。
この態様によれば、イベントの予測結果が表示により報知されるので、運転者等においては、例えばイベントの発生箇所などの特定が容易になる。
第9の態様に係るイベント予測システム(1)では、第4〜第8のいずれかの態様において、予測部(111)は、移動体(100)を運転する運転者の属性ごとに異なる予測モデルを用いるように構成されている。
この態様によれば、万人に共通の予測モデルを用いる場合に比べて、予測部(111)でのイベントの発生の予測精度が向上する。
第10の態様に係るイベント予測システム(1)は、データ生成部(115)と、予測部(111)と、を備える。データ生成部(115)は、移動体(100)に関する予測用情報を用いて、移動体(100)の状況を複数のセルで表す予測用ラスタデータを生成する。予測部(111)は、予測モデル、及び予測用ラスタデータを用いて、移動体(100)の運転中における移動体(100)の運転に関連するイベントの発生を予測する。予測モデルは、イベントが発生した際における移動体(100)の状況を表す履歴情報を含む複数の学習用データを用いて生成される。履歴情報は、イベントが発生した際における移動体(100)の状況を複数のセルで表す学習用ラスタデータを含む。
この態様によれば、予測モデルを用いることで、イベントの発生を予測することが可能になる。したがって、イベント予測システム(1)では、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。
第11の態様に係るイベント予測方法は、蓄積処理と、モデル生成処理と、を有する。蓄積処理は、履歴情報を含む複数の学習用データを蓄積する処理である。履歴情報は、移動体(100)の運転に関連するイベントが発生した際における移動体(100)の状況を表す。モデル生成処理は、複数の学習用データを用いて、イベントの発生を予測するための予測モデルを生成する処理である。履歴情報は、イベントが発生した際における移動体(100)の状況を複数のセルで表す学習用ラスタデータを含む。
この態様によれば、イベントの発生を予測するための予測モデルが生成される。この予測モデルを用いることで、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。そのため、イベント予測方法によれば、運転者の運転の熟練度、運転のセンス、及び運転者の状態等による「見えない危険」の予見性のばらつきを小さく抑えることが可能になる。その結果、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。更に、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。更には、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。
第12の態様に係るプログラムは、コンピュータシステムに、蓄積処理と、モデル生成処理と、を実行させるためのプログラムである。蓄積処理は、履歴情報を含む複数の学習用データを蓄積する処理である。履歴情報は、移動体(100)の運転に関連するイベントが発生した際における移動体(100)の状況を表す情報であって、学習用ラスタデータを有する。学習用ラスタデータは、イベントが発生した際における移動体(100)の状況を複数のセルで表すデータである。モデル生成処理は、複数の学習用データを用いて、イベントの発生を予測するための予測モデルを生成する処理である。
この態様によれば、イベントの発生を予測するための予測モデルが生成される。この予測モデルを用いることで、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。そのため、このプログラムでは、運転者の運転の熟練度、運転のセンス、及び運転者の状態等による「見えない危険」の予見性のばらつきを小さく抑えることが可能になる。その結果、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。更に、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。更には、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。
第13の態様に係るイベント予測方法は、データ生成処理と、予測処理と、を有する。データ生成処理は、移動体(100)に関する予測用情報を用いて、移動体(100)の状況を複数のセルで表す予測用ラスタデータを生成する処理である。予測処理は、予測モデル、及び予測用ラスタデータを用いて、移動体(100)の運転中における移動体(100)の運転に関連するイベントの発生を予測する処理である。予測モデルは、イベントが発生した際における移動体(100)の状況を表す履歴情報を含む複数の学習用データを用いて生成される。履歴情報は、イベントが発生した際における移動体(100)の状況を複数のセルで表す学習用ラスタデータを含む。
この態様によれば、予測モデルを用いることで、イベントの発生を予測することが可能になる。したがって、イベント予測システム(1)では、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。
第14の態様に係るプログラムは、コンピュータシステムに、データ生成処理と、予測処理と、を実行させるためのプログラムである。データ生成処理は、移動体(100)に関する予測用情報を用いて、移動体(100)の状況を複数のセルで表す予測用ラスタデータを生成する処理である。予測処理は、予測モデル、及び予測用ラスタデータを用いて、移動体(100)の運転中における移動体(100)の運転に関連するイベントの発生を予測する処理である。予測モデルは、履歴情報を含む複数の学習用データを用いて生成される。履歴情報は、イベントが発生した際における移動体(100)の状況を表す情報であって、学習用ラスタデータを有する。学習用ラスタデータは、イベントが発生した際における移動体(100)の状況を複数のセルで表すデータである。
この態様によれば、予測モデルを用いることで、イベントの発生を予測することが可能になる。したがって、イベント予測システム(1)では、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。
第15の態様に係る移動体(100)は、第1〜第10のいずれかの態様に係るイベント予測システム(1)を備える。
この態様によれば、移動体(100)において、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。
上記態様に限らず、実施形態1〜3に係るイベント予測システム(1)の種々の構成(変形例を含む)は、イベント予測方法、及び(コンピュータ)プログラムで具現化可能である。
第2〜第9の態様に係る構成については、イベント予測システム(1)に必須の構成ではなく、適宜省略可能である。
1 イベント予測システム
100 移動体
111 予測部
115 データ生成部
121 蓄積部
122 モデル生成部
13 報知部
131 3D−HUD(表示部)
132 2D−HUD(表示部)
133 メータ(表示部)
134 マルチインフォメーションディスプレイ(表示部)

Claims (14)

  1. 移動体の運転に関連するイベントが発生した際における前記移動体の状況を表す履歴情報を含む複数の学習用データを蓄積する蓄積部と、
    前記複数の学習用データを用いて、前記イベントの発生を予測するための予測モデルを生成するモデル生成部と、
    前記移動体に関する予測用情報を用いて、前記移動体の状況を複数のセルで表す予測用ラスタデータを生成するデータ生成部と、
    前記予測モデル、及び前記予測用ラスタデータを用いて、前記移動体の運転中における前記イベントの発生を予測する予測部と、を備え、
    前記予測部は、前記イベントが発生した場合に前記履歴情報を前記蓄積部に送信し、
    前記履歴情報は、前記イベントが発生した際における前記予測用ラスタデータから生成された学習用ラスタデータを含む
    イベント予測システム。
  2. 前記履歴情報は、前記移動体の周辺の物体に関する情報と、前記移動体の状態に関する情報と、前記移動体の位置に関する情報と、の少なくとも1つを更に含む
    請求項1に記載のイベント予測システム。
  3. 前記複数の学習用データの各々は、前記イベントの発生箇所を表すラベル情報を更に含む
    請求項1又は2に記載のイベント予測システム。
  4. 前記データ生成部は、前記予測用情報の取得時点での現在ラスタデータを前記予測用ラスタデータとして生成し、
    前記予測部は、前記現在ラスタデータの生成時点での前記イベントの発生を予測する
    請求項1〜3のいずれか1項に記載のイベント予測システム。
  5. 前記データ生成部は、前記予測用情報の取得時点での現在ラスタデータ、及び前記予測用情報に基づいて、前記現在ラスタデータを生成した時点から所定時間の経過後の未来ラスタデータを前記予測用ラスタデータとして生成し、
    前記予測部は、前記未来ラスタデータの生成時点での前記イベントの発生を予測する
    請求項1〜4のいずれか1項に記載のイベント予測システム。
  6. 前記イベントの予測結果を報知する報知部を更に備える
    請求項1〜5のいずれか1項に記載のイベント予測システム。
  7. 前記報知部は、前記イベントの予測結果を表示することにより報知する表示部を有する
    請求項6に記載のイベント予測システム。
  8. 前記予測部は、前記移動体を運転する運転者の属性ごとに異なる前記予測モデルを用いるように構成されている
    請求項1〜7のいずれか1項に記載のイベント予測システム。
  9. 移動体に関する予測用情報を用いて、前記移動体の状況を複数のセルで表す予測用ラスタデータを生成するデータ生成部と、
    予測モデル、及び前記予測用ラスタデータを用いて、前記移動体の運転中における前記移動体の運転に関連するイベントの発生を予測する予測部と、を備え、
    前記予測モデルは、前記イベントが発生した際における前記移動体の状況を表す履歴情
    報を含む複数の学習用データを用いて生成され、
    前記予測部は、前記イベントが発生した場合に前記履歴情報を含む前記複数の学習用データを蓄積する蓄積部に前記履歴情報を送信し、
    前記履歴情報は、前記イベントが発生した際における前記予測用ラスタデータから生成された学習用ラスタデータを含む
    イベント予測システム。
  10. 移動体の運転に関連するイベントが発生した際における前記移動体の状況を表す履歴情報を含む複数の学習用データを蓄積する蓄積処理と、
    前記複数の学習用データを用いて、前記イベントの発生を予測するための予測モデルを生成するモデル生成処理と、
    前記移動体に関する予測用情報を用いて、前記移動体の状況を複数のセルで表す予測用ラスタデータを生成するデータ生成処理と、
    前記予測モデル、及び前記予測用ラスタデータを用いて、前記移動体の運転中における前記イベントの発生を予測する予測処理と、を有し、
    前記予測処理は、前記イベントが発生した場合に前記履歴情報を送信し、
    前記蓄積処理は、前記予測処理が送信した前記履歴情報を蓄積し、
    前記履歴情報は、前記イベントが発生した際における前記予測用ラスタデータから生成された学習用ラスタデータを含む
    イベント予測方法。
  11. コンピュータシステムに、
    移動体の運転に関連するイベントが発生した際における前記移動体の状況を表す情報であって、前記イベントが発生した際における前記移動体の状況を複数のセルで表す学習用ラスタデータを有する履歴情報を含む複数の学習用データを蓄積する蓄積処理と、
    前記複数の学習用データを用いて、前記イベントの発生を予測するための予測モデルを生成するモデル生成処理と、
    前記移動体に関する予測用情報を用いて、前記移動体の状況を複数のセルで表す予測用ラスタデータを生成するデータ生成処理と、
    前記予測モデル、及び前記予測用ラスタデータを用いて、前記移動体の運転中における前記イベントの発生を予測する予測処理と、
    前記イベントが発生した場合に前記履歴情報を含む前記複数の学習用データを蓄積する蓄積部に前記履歴情報を送信する送信処理と、を実行させ、
    前記履歴情報は、前記イベントが発生した際における前記予測用ラスタデータから生成された学習用ラスタデータを含む
    プログラム。
  12. 移動体に関する予測用情報を用いて、前記移動体の状況を複数のセルで表す予測用ラスタデータを生成するデータ生成処理と、
    予測モデル、及び前記予測用ラスタデータを用いて、前記移動体の運転中における前記移動体の運転に関連するイベントの発生を予測する予測処理と、
    前記イベントが発生した場合に履歴情報を含む前記複数の学習用データを蓄積する蓄積部に前記履歴情報を送信する送信処理と、を有し、
    前記予測モデルは、前記イベントが発生した際における前記移動体の状況を表す履歴情報を含む複数の学習用データを用いて生成され、
    前記履歴情報は、前記イベントが発生した際における前記予測用ラスタデータから生成された学習用ラスタデータを含む
    イベント予測方法。
  13. コンピュータシステムに、
    移動体に関する予測用情報を用いて、前記移動体の状況を複数のセルで表す予測用ラスタデータを生成するデータ生成処理と、
    イベントが発生した際における前記移動体の状況を表す情報であって、前記イベントが発生した際における前記予測用ラスタデータから生成された学習用ラスタデータを有する履歴情報を含む複数の学習用データを用いて生成される予測モデル、及び前記予測用ラスタデータを用いて、前記移動体の運転中における前記移動体の運転に関連するイベントの発生を予測する予測処理と、
    前記イベントが発生した場合に前記履歴情報を含む前記複数の学習用データを蓄積する蓄積部に前記履歴情報を送信する送信処理と、を実行させ、
    前記履歴情報は、前記イベントが発生した際における前記予測用ラスタデータから生成された学習用ラスタデータを含む
    プログラム。
  14. 請求項1〜9のいずれか1項に記載のイベント予測システムを備える
    移動体。
JP2017009547A 2017-01-23 2017-01-23 イベント予測システム、イベント予測方法、プログラム、及び移動体 Active JP6796798B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017009547A JP6796798B2 (ja) 2017-01-23 2017-01-23 イベント予測システム、イベント予測方法、プログラム、及び移動体
PCT/JP2018/001493 WO2018135605A1 (ja) 2017-01-23 2018-01-19 イベント予測システム、イベント予測方法、プログラム、及び移動体
DE112018000479.1T DE112018000479T5 (de) 2017-01-23 2018-01-19 Ereignisvorhersagesystem, Ereignisvorhersageverfahren, Aufzeichnungsmedium und sich bewegender Körper
US16/509,525 US20190340522A1 (en) 2017-01-23 2019-07-12 Event prediction system, event prediction method, recording media, and moving body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017009547A JP6796798B2 (ja) 2017-01-23 2017-01-23 イベント予測システム、イベント予測方法、プログラム、及び移動体

Publications (2)

Publication Number Publication Date
JP2018120292A JP2018120292A (ja) 2018-08-02
JP6796798B2 true JP6796798B2 (ja) 2020-12-09

Family

ID=62908920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017009547A Active JP6796798B2 (ja) 2017-01-23 2017-01-23 イベント予測システム、イベント予測方法、プログラム、及び移動体

Country Status (4)

Country Link
US (1) US20190340522A1 (ja)
JP (1) JP6796798B2 (ja)
DE (1) DE112018000479T5 (ja)
WO (1) WO2018135605A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037024B1 (en) * 2016-12-20 2021-06-15 Jayant Ratti Crowdsourced on-demand AI data annotation, collection and processing
JP6846624B2 (ja) * 2017-02-23 2021-03-24 パナソニックIpマネジメント株式会社 画像表示システム、画像表示方法及びプログラム
US11077756B2 (en) * 2017-11-23 2021-08-03 Intel Corporation Area occupancy determining device
KR102384743B1 (ko) * 2018-01-09 2022-04-08 삼성전자주식회사 차량의 자율 주행을 위한 자율 주행 장치 및 그 제어 방법
US10655978B2 (en) * 2018-06-27 2020-05-19 Harman International Industries, Incorporated Controlling an autonomous vehicle based on passenger behavior
WO2020026318A1 (en) * 2018-07-30 2020-02-06 Accenture Global Solutions Limited Distracted driving predictive system
JP2020030600A (ja) * 2018-08-22 2020-02-27 アイシン・エィ・ダブリュ株式会社 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
US11294381B2 (en) * 2018-11-21 2022-04-05 Toyota Motor North America, Inc. Vehicle motion adaptation systems and methods
WO2020110227A1 (ja) * 2018-11-28 2020-06-04 三菱電機株式会社 衝突回避学習装置及び衝突回避学習方法
US10824151B2 (en) * 2019-01-31 2020-11-03 StradVision, Inc. Method and device for providing personalized and calibrated adaptive deep learning model for the user of an autonomous vehicle
CN109703569B (zh) * 2019-02-21 2021-07-27 百度在线网络技术(北京)有限公司 一种信息处理方法、装置及存储介质
WO2020235027A1 (ja) * 2019-05-22 2020-11-26 三菱電機株式会社 運転支援装置及び運転支援方法
US11625624B2 (en) 2019-09-24 2023-04-11 Ford Global Technologies, Llc Vehicle-to-everything (V2X)-based real-time vehicular incident risk prediction
JP7237799B2 (ja) * 2019-10-29 2023-03-13 株式会社東芝 走行制御装置及び運行システム
US11034298B2 (en) * 2019-11-18 2021-06-15 Continental Automotive Systems, Inc. Vehicle surround view system for identifying unobservable regions while reversing a trailer
US11820403B2 (en) * 2020-03-30 2023-11-21 Wipro Limited Method and system of determining trajectory for an autonomous vehicle
JP7420008B2 (ja) * 2020-08-20 2024-01-23 株式会社デンソー 表示制御装置
JP2022177522A (ja) * 2021-05-18 2022-12-01 株式会社デンソー 報知装置
DE102021114523A1 (de) * 2021-06-07 2022-12-08 Bayerische Motoren Werke Aktiengesellschaft Einrichtung zur erzeugung eines durch einen benutzer eines fahrzeugs haptisch wahrnehmbaren signals
CN114506344B (zh) * 2022-03-10 2024-03-08 福瑞泰克智能系统有限公司 一种车辆轨迹的确定方法及装置
JP7348343B1 (ja) 2022-03-28 2023-09-20 ソフトバンク株式会社 車両およびサーバ
JP2023150432A (ja) * 2022-03-31 2023-10-16 本田技研工業株式会社 移動体の制御装置、制御方法、及び制御プログラム
US12030512B2 (en) * 2022-04-06 2024-07-09 GM Global Technology Operations LLC Collision warning system for a motor vehicle having an augmented reality head up display

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006160032A (ja) * 2004-12-06 2006-06-22 Toyota Motor Corp 運転状態判定装置及び運転状態判定方法
JP5577126B2 (ja) * 2010-03-24 2014-08-20 トヨタ自動車株式会社 走行支援装置
EP2615596B1 (en) * 2010-09-08 2024-10-30 Toyota Jidosha Kabushiki Kaisha Moving-object prediction device, virtual-mobile-object prediction device, program, mobile-object prediction method, and virtual-mobile-object prediction method
JP6441610B2 (ja) * 2013-10-30 2018-12-19 株式会社デンソー 走行制御装置及びサーバ
US9177478B2 (en) * 2013-11-01 2015-11-03 Nissan North America, Inc. Vehicle contact avoidance system
WO2016070193A1 (en) * 2014-10-31 2016-05-06 Nodal Inc. Systems, apparatus, and methods for improving safety related to movable/moving objects
WO2016157499A1 (ja) * 2015-04-02 2016-10-06 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法
US11107365B1 (en) * 2015-08-28 2021-08-31 State Farm Mutual Automobile Insurance Company Vehicular driver evaluation
US20170072850A1 (en) * 2015-09-14 2017-03-16 Pearl Automation Inc. Dynamic vehicle notification system and method
CN108028021B (zh) * 2015-09-29 2021-10-15 索尼公司 信息处理设备、信息处理方法和程序
US20180053102A1 (en) * 2016-08-16 2018-02-22 Toyota Jidosha Kabushiki Kaisha Individualized Adaptation of Driver Action Prediction Models
US10345822B1 (en) * 2018-01-26 2019-07-09 Ford Global Technologies, Llc Cognitive mapping for vehicles
US11169531B2 (en) * 2018-10-04 2021-11-09 Zoox, Inc. Trajectory prediction on top-down scenes

Also Published As

Publication number Publication date
US20190340522A1 (en) 2019-11-07
DE112018000479T5 (de) 2019-10-24
JP2018120292A (ja) 2018-08-02
WO2018135605A1 (ja) 2018-07-26

Similar Documents

Publication Publication Date Title
JP6796798B2 (ja) イベント予測システム、イベント予測方法、プログラム、及び移動体
US11619940B2 (en) Operating an autonomous vehicle according to road user reaction modeling with occlusions
US10915101B2 (en) Context-dependent alertness monitor in an autonomous vehicle
US10328973B2 (en) Assisting drivers with roadway lane changes
US11003925B2 (en) Event prediction system, event prediction method, program, and recording medium having same recorded therein
US10922970B2 (en) Methods and systems for facilitating driving-assistance to drivers of vehicles
US11972616B2 (en) Enhanced navigation instructions with landmarks under difficult driving conditions
KR20240006532A (ko) 차량들의 운전 거동 검출
CN113345269B (zh) 基于v2x车联网协同的交通工具危险预警的方法、装置和设备
US20210191394A1 (en) Systems and methods for presenting curated autonomy-system information of a vehicle
US11926259B1 (en) Alert modality selection for alerting a driver
JP7176098B2 (ja) 自律型車両のための行列の検出および行列に対する応答
JP6890265B2 (ja) イベント予測システム、イベント予測方法、プログラム、及び移動体
EP2963632A1 (en) Manoeuvre assistance
US20230368673A1 (en) Autonomous fleet recovery scenario severity determination and methodology for determining prioritization
JP6811429B2 (ja) イベント予測システム、イベント予測方法、プログラム、及び移動体
JP2022186841A (ja) 車両用制御装置、方法、プログラムおよび車両用表示装置
KR20250004806A (ko) 자율 주행 차량 통지 시스템
JP6237339B2 (ja) 運転支援システム、運転支援方法、及び運転支援プログラム
JP7008515B2 (ja) 情報処理方法及び情報処理装置
US11645038B1 (en) Augmented reality head-up display for audio event awareness
JP7606796B1 (ja) 交通安全支援装置、携帯情報端末、及びプログラム
CN120457472A (zh) 辅助装置、辅助方法以及驾驶员辅助程序
WO2025251694A1 (zh) 智能驾驶方法、装置和智能驾驶设备
WO2026081181A1 (zh) 车道识别方法、车道提示方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201030

R151 Written notification of patent or utility model registration

Ref document number: 6796798

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350