Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7643226B2 - 情報処理装置、方法、及び、車両 - Google Patents
[go: Go Back, main page]

JP7643226B2 - 情報処理装置、方法、及び、車両 - Google Patents

情報処理装置、方法、及び、車両 Download PDF

Info

Publication number
JP7643226B2
JP7643226B2 JP2021120685A JP2021120685A JP7643226B2 JP 7643226 B2 JP7643226 B2 JP 7643226B2 JP 2021120685 A JP2021120685 A JP 2021120685A JP 2021120685 A JP2021120685 A JP 2021120685A JP 7643226 B2 JP7643226 B2 JP 7643226B2
Authority
JP
Japan
Prior art keywords
request
driver
content
vehicle
utterance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021120685A
Other languages
English (en)
Other versions
JP2023016404A (ja
Inventor
真 本多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021120685A priority Critical patent/JP7643226B2/ja
Priority to US17/829,609 priority patent/US20230025991A1/en
Priority to CN202210805457.4A priority patent/CN115675515B/zh
Publication of JP2023016404A publication Critical patent/JP2023016404A/ja
Application granted granted Critical
Publication of JP7643226B2 publication Critical patent/JP7643226B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/021Means for detecting failure or malfunction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/21Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/215Selection or confirmation of options
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/30Driving style

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

本開示は、情報処理装置、方法、及び、車両に関するものである。
自動運転制御が実施できないと判定された場合に、自動運転制御が実施できない理由を取得し、自動運転制御が実施できない旨とともにその理由についても案内する自動運転支援システムが開示されている(例えば、特許文献1)。
特開2016-28927号公報
開示の態様の一つは、自動運転制御から手動運転制御への切り替えの案内において、ドライバに感じさせる不快感を低減可能な情報処理装置、方法、及び、車両を提供することを課題とする。
本開示の態様の一つは、
第1の車両の自動運転制御中に手動運転への切り替えが要求されることを検出することと、
前記切り替えが要求される場合に、前記切り替えの理由に関する説明の一部を前記第1の車両のドライバへ提示することと、
を実行する制御部、
を備える情報処理装置である。
本開示の他の態様の一つは、
情報処理装置が、
第1の車両の自動運転制御中に手動運転への切り替えが要求されることを検出することと、
前記切り替えが要求される場合に、前記切り替えの理由に関する説明の一部を前記第1の車両のドライバへ提示することと、
を含む方法である。
本開示の他の態様の一つは、
第1の車両の自動運転制御中に手動運転への切り替えが要求されることを検出することと、
前記切り替えが要求される場合に、前記切り替えの理由に関する説明の一部を前記第1の車両のドライバへ提示することを実施することと、
を実行する制御部、
を備える車両である。
本開示の態様の一つによれば、自動運転制御から手動運転制御への切り替えの案内において、ドライバに感じさせる不快感を低減させることができる。
図1は、第1実施形態に係るテイクオーバ案内システムのシステム構成と車両10のシステム構成との一例を示す図である。 図2は、マルチメディアECUのハードウェア構成の一例である。 図3は、車両とセンタサーバとの機能構成の一例を示す図である。 図4は、インテント番号テーブルの一例である。 図5は、テイクオーバリクエストの発生の理由に関する説明について発生する対話シナリオの一例を示す図である。 図6は、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難であることである場合の対話レベル1の対応表の一例である。 図7は、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難であることである場合の対話レベル2の対応表の一例である。 図8は、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難であることである場合の対話レベル3の対応表の一例である。 図9は、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難であることである場合の対話レベル4の対応表の一例である。 図10は、第1実施形態に係る車両のテイクオーバの案内処理のフローチャートの一例である。 図11は、第1実施形態に係るセンタサーバのテイクオーバの案内処理のフローチャートの一例である。 図12は、対応表群のダウンロードと対話処理とのタイムチャートの一例である。 図13は、対応表群のダウンロードと対話処理とのタイムチャートの一例である。 図14は、第2実施形態に係る、車両とセンタサーバとの機能構成の一例を示す図である。 図15は、第2実施形態に係る車両のテイクオーバの案内処理のフローチャートの一例である。 図16は、第2実施形態に係るセンタサーバのテイクオーバの案内処理のフローチャートの一例である。
自動運転モードと手動運転モードとを切り替えながら走行する車両において、自動運転モードから手動運転モードへの切り替えは、テイクオーバと称される。このような車両の運転を経験する期間が長いほど、ドライバは、どのような状況のときにテイクオーバリクエストが発生するのか、経験的に認知するようになる。テイクオーバリクエストは、ドライバへの自動運転から手動運への切り替えの要請である。また、テイクオーバリクエストの理由を知りたいか否かは、ドライバの性格、気分、又は運転状態に依存することもある。例えば、ドライバが、何年も同じ自動運転車両を運転しており、テイクオーバリクエストが発生する条件を理解している場合、自動運転車両内で音楽を聴いている場合、又は、ドライバが他の乗員と話している場合は、テイクオーバリクエストの発生理由の案内が煩わしいと感じる可能性もある。一方で、ドライバが、テイクオーバリクエストの発生理由について、より詳細を知りたいという場合もある。
本開示の態様の一つは、第1の車両の自動運転制御中に手動運転への切り替えの要求が発生した場合に、当該要求が発生した理由に関する説明の一部を第1の車両のドライバへ提示することを実行する制御部を備える情報処理装置である。情報処理装置は、例えば、第1の車両に搭載されているECU(Electronic Control Unit)、又は、車載器である
。ただし、これに限定されず、情報処理装置は、例えば、第1の車両と通信可能なサーバであってもよい。制御部は、例えば、CPU(Control Processing Unit)等のプロセッ
サである。手動運転への切り替えの要求が発生した理由の提示方法は、例えば、第1の車両内のスピーカからの音声の出力であってもよいし、第1の車両内のディスプレイへのメッセージの出力であってもよい。手動運転への切り替えの要求は、テイクオーバリクエストとも称される。
本開示の態様の一つによれば、自動運転制御中に手動運転への切り替えの要求が発生した場合に、当該要求の発生の理由に関する説明の全部ではなく一部が提示されることによって、ドライバへ与える不快感を低減させることができる。
本開示の態様の一つにおいて、制御部は、当該要求が発生した場合に、第1の車両のドライバの発話内容を取得してもよい。この場合に、制御部は、ドライバの発話内容に応じた当該要求が発生した理由に関する説明の一部をドライバへ提示するようにしてもよい。ドライバの発話内容は、例えば、音声認識処理によって取得される。ドライバの発話内容は、ドライバの手動運転への切り替えの要求が発生した理由に関する説明に対する関心の高さが反映される。例えば、ドライバが当該要求の発生の理由を知りたい場合には、ドライバの発話内容がその旨を示し、より詳細な説明が提示されることになる。例えば、ドライバが当該要求の発生の理由を知りたいと思っていない場合には、ドライバの発話内容にその旨が現れるので、簡潔な説明が提示されることになる。したがって、本開示の態様の一つによれば、ドライバの手動運転への切り替えの要求が発生した理由に関する説明に対する関心の高さに応じて、説明が提示されるようになる。
本開示の態様の一つにおいて、情報処理装置は、第1の発話内容と当該要求が発生した理由に関する説明の一部との対応付けを記憶する記憶部をさらに備えてもよい。制御部は、ドライバの発話内容が第1の発話内容に少なくとも類似する場合に、第1の発話内容に対応付けられている当該要求が発生した理由に関する説明の一部をドライバへ提示するようにしてもよい。少なくとも類似するとは、ドライバの発話内容が第1の発話内容に類似する場合と、一致する場合とを含む。情報処理装置は、予め想定される発話内容とそれに対する応答内容である当該要求が発生した理由に関する説明の一部との対応付けを保持することによって、ドライバの発話に対する応答遅延をより小さくすることができる。
本開示の態様の一つにおいて、情報処理装置は、第1の車両に搭載されていてもよい。すなわち、例えば、情報処理装置は、第1の車両に搭載されている複数のECUのうちの一つ、又は、車載器であってもよい。制御部は、当該要求が発生した場合に、所定の装置からドライバの発話内容と当該要求が発生した理由に関する説明の一部との対応付けをダウンロードして記憶部に格納することをさらに実行するようにしてもよい。これによって、必要になった場合にドライバの発話内容と当該要求が発生した理由に関する説明の一部との対応付けをダウンロードして記憶部に格納すればよいので、記憶部のリソースを有効に利用することができる。
本開示の態様の一つにおいて、制御部は、当該要求が発生した原因を取得することをさらに実行してもよい。また、制御部は、当該要求が発生した原因に応じた、ドライバの発話内容と当該要求が発生した理由に関する説明の一部との対応付けをダウンロードするようにしてもよい。これによって、手動運転への切り替えの要求が発生した原因に対応する対応付け以外の対応付けはダウンロードせずに済むので、通信帯域と記憶部のメモリ容量を節約することができる。
また、制御部は、所定の装置から、手動運転への切り替えの要求が発生した原因に対応する、ドライバの発話内容と当該要求が発生した理由に関する説明の一部との対応付けを一括でダウンロードするようにしてもよい。これによって、複数回にわたってドライバが発話した場合に、各発話について応答速度を向上させることができる。
ドライバの発話内容と当該要求が発生した理由に関する説明の一部との対応付けは、第1の対応付けと少なくとも一つの第2の対応付けとを含んでもよい。第1の対応付けは、手動運転への切り替えの要求が発生したの原因を問う場合に想定される複数の第2の発話内容と、当該要求が発生した原因とを前記切り替えの理由に関する説明の一部として対応付ける。第2の対応付けは、当該要求が発生した原因を受けてさらに発生すると想定される質問を含む複数の第3の発話内容と、当該質問に対する回答を当該要求が発生した理由に関する説明の一部として対応付ける。
この場合に、制御部は、当該要求が発生した後、第1の対応付けを参照し、ドライバの発話内容に類似する第2の発話内容に対応付けられた当該要求の発生の原因をドライバへ提示してもよい。さらに、制御部は、当該要求が発生した原因をドライバへ提示した後、少なくとも一つの第2の対応付けを参照し、ドライバの発話内容に類似する第3の発話内容に対応付けられた、質問に対する応答をドライバへ提示するようにしてもよい。これによって、ドライバに手動運転への切り替えの要求が発生した理由に関する説明を段階的に提示することができる。
本開示の態様の一つにおいて、情報処理装置は、第1の車両に搭載されていてもよい。制御部は、ドライバの発話内容を所定の装置へ送信し、所定の装置から、ドライバの発話内容に応じた当該要求が発生した理由に関する説明の一部を受信するようにしてもよい。これによって、情報処理装置は、ドライバの発話内容に応じた、手動運転への切り替えの要求が発生した理由に関する説明の一部を所定の装置から受信すればよく、記憶装置の記憶領域の使用を低減することができる。
本開示の態様の一つにおいて、制御部は、ドライバが手動運転を開始するまで、ドライバの発話内容を取得し、発話内容に応じた当該要求が発生した理由に関する説明の一部を提示する処理を繰り返し実行してもよい。ドライバが手動運転を開始したか否かは、例えば、第1の車両内に設置されたカメラの撮像画像、又は、ハンドル操作等の監視によって検出される。本開示の態様の一つにおいて、制御部は、ドライバの発話内容が、手動運転への切り替えを受け入れることを示すまで、ドライバの発話内容を取得し、発話内容に応じた当該要求が発生した理由に関する説明の一部を提示する処理を繰り返し実行するようにしてもよい。これによって、自動運転から手動運転への切り替えにおいて、当該切り替えの要求が発生した理由に関する説明の一部を提示する処理を終了させることができる。
本開示の他の態様の一つは、上記情報処理装置が実行する方法として特定することができる。当該方法は、情報処理装置が、第1の車両の自動運転制御中に手動運転への切り替えの要求が発生したことを検出することと、当該要求が発生した場合に、当該要求が発生した理由に関する説明の一部を第1の車両のドライバへ提示することを含む。また、本開示の他の態様の一つは、コンピュータに、当該方法を実行させるためのプログラム、及び、当該プログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体として特定することができる。また、本開示の他の態様の一つは、上記情報処理装置を備える車両として特定することができる。
以下、図面に基づいて、本開示の実施の形態を説明する。以下の実施形態の構成は例示であり、本開示は実施形態の構成に限定されない。
<第1実施形態>
図1は、第1実施形態に係るテイクオーバ案内システム100のシステム構成と車両10のシステム構成との一例を示す図である。テイクオーバ案内システム100は、車両10が自動運転から手動運転への切り替えの要請が発生した際に、車両10のドライバへ手
動運転への切り替えを案内するシステムである。車両10が自動運転から手動運転へと切り替わることは、テイクオーバと称される。
テイクオーバ案内システム100は、車両10とセンタサーバ50とを含む。車両10は、通信可能なDCM(Data Communication Module)1を備える、コネクテッド車両で
ある。車両10は、自動運転モードと手動運転モードとを切り替えながら走行する車両である。車両10は、車両はエンジンで駆動されるものでもよいし、モータで駆動されるものでもよい。車両10は、「第1の車両」の一例である。
センタサーバ50は、車両10の自動運転制御のサポート、及び、通信によって車両10へ所定のサービスを提供するサーバである。車両10とセンタサーバ50とは、ネットワークN1を通じて通信可能である。ネットワークN1は、例えば、インターネットである。車両10のDCM 1は、例えば、LTE(Long Term Evolution)、5G(5th Generation)、及び、6G(6th Generation)等の移動体無線通信方式、Wi-Fi、又は
、DSCR等の無線通信方式によって、無線ネットワークに接続し、当該無線ネットワークを通じてインターネットに接続する。
車両10は、DCM 1、マルチメディアECU 2、自動運転制御ECU 3、マイクロフォン4、スピーカ5、センサ6、及び、その他ECU 9を備える。ただし、図1では、車両10のシステム構成として、第1実施形態に係る処理に関する装置が抽出して示されており、車両10のシステム構成は図1に示されるものに限定されない。
DCM 1、マルチメディアECU 2、自動運転制御ECU 3及びその他ECU 9は、例えば、CAN(Controller Area Network)、又は、イーサネットワーク(登録
商標)等によって接続されている。その他ECU 9は、例えば、走行制御に関わる各種ECU、及び、位置管理に関わるECU等である。
DCM 1は、アンテナ、送受信機、及び、変調及び復調器等の装置を備え、車両10の通信機能を担う装置である。DCM 1は、無線通信によって、ネットワークN1にアクセスし、センタサーバ50と通信する。
マルチメディアECU 2は、例えば、マイクロフォン4及びスピーカ5と接続し、これらを制御する。マルチメディアECU 2は、例えば、カーナビゲーションシステム及びオーディオシステム等を含む。第1実施形態では、マルチメディアECU 2は、マイクロフォン4を通じて入力されるドライバの発話音声の入力を受け付ける。マルチメディアECU 2は、スピーカ5を通じて、テイクオーバの案内に係る音声を車両10内に出力する。
自動運転制御ECU 3は、車両10の自動運転制御を行う。自動運転制御ECU 3には、車両10に搭載されている各種センサ6が接続されており、各種センサ6から信号の入力を受ける。各種センサ6は、例えば、カメラ、Lidar、Radar、GNSS(Global Navigation Satellite System)受信機、GNSS受信用アンテナ、加速度センサ、ヨーレートセンサ、及び、レインセンサ等が含まれる。各種センサ6には、HMI(Human Machine Interface)デバイスが含まれてもよい。自動運転制御ECU 3は、各種セ
ンサ6と、車両内のネットワークを経由して、または、直接接続される。
自動運転制御ECU 3は、各種センサ6からの入力信号をもとに自動運転制御アルゴリズムを実行し、例えば、ブレーキ、アクセル、ステアリングホィール、ヘッドライト、方向指示器、ストップライト、ハザードランプを駆動するアクチュエータ、及び、ドライブ回路に制御信号を出力して、自動運転を実現する。自動運転制御ECU 3は、制御信
号の他に、メータパネル及びディスプレイ等のHMIデバイスへの情報を出力する。
第1実施形態では、自動運転制御ECU 3は、各種センサ6の入力信号から、近い将来(例えば、数秒後)の走行環境において、自動運転走行が技術的に困難となるか否かを判定する。自動運転制御ECU 3は、自動運転走行が技術的に困難となることを判定した場合に、その理由とともにドライバに手動運転に切り替えるように要請するテイクオーバリクエスト信号を発生させる。テイクオーバリクエスト信号は、マルチメディアECU
2へ入力される。
マルチメディアECU 2は、テイクオーバリクエスト信号を受信すると、ドライバに手動運転への切り替えを案内する音声をスピーカ5を通じて出力する。また、第1実施形態では、テイクオーバリクエストが発生した理由に関する説明が対話形式で行われる。マルチメディアECU 2は、センタサーバ50から、テイクオーバリクエストが発生した理由に関する説明を要求するために想定されるドライバの発話内容と、テイクオーバリクエストが発生した理由に関する説明の一部を含む応答内容と、の対応表をダウンロードする。以降、マルチメディアECU 2は、ドライバの発話内容を監視し、ドライバの発話内容に対する応答内容を対応表から取得し、取得した応答内容から音声データを作成してスピーカ5を通じて出力する。
第1実施形態では、テイクオーバリクエストの発生に関するドライバの発話内容に対して、テイクオーバリクエストが発生した理由に関する説明の一部が提示される。センタサーバ50から取得される対応表は、テイクオーバリクエストが発生した理由に関する説明について、段階的に準備される。したがって、提示された内容で説明が不足しているとドライバが考える場合には、ドライバはさらに深い説明を求める発話を行い、これに対して、さらに説明が提示される。反対に、提示された内容で説明が充足しているとドライバが考える場合には、ドライバは、テイクオーバリクエストを受け入れる。したがって、第1実施形態によれば、ドライバに対して、テイクオーバリクエストの発生理由について過不足の少ない説明を提示することが可能となり、ドライバに対して与える不快感を低減することができる。
図2は、マルチメディアECU 2のハードウェア構成の一例である。マルチメディアECU 2は、ハードウェア構成として、CPU 201、メモリ202、補助記憶装置203、入力インタフェース204、出力インタフェース 205、及び、及び、インタフェース206を備える。メモリ202および補助記憶装置203は、コンピュータで読み取り可能な記録媒体である。
補助記憶装置203は、様々なプログラムや、各プログラムの実行に際してCPU 201が使用するデータを格納する。補助記憶装置203は、例えば、EPROM(Erasable Programmable ROM)、又は、フラッシュメモリである。補助記憶装置203に保持さ
れるプログラムには、例えば、音声認識プログラム、音声信号処理プログラム、及び、テイクオーバ案内制御プログラム等がある。音声信号処理プログラムは、音声信号のデジタル及びアナログ変換処理、及び、音声信号と所定の形式のデータとの変換処理等を行うためのプログラムである。テイクオーバ案内制御プログラムは、手動運転への切り替えの案内の制御を行うプログラムである。
メモリ202は、CPU 201に、補助記憶装置203に格納されているプログラムをロードする記憶領域および作業領域を提供したり、バッファとして用いられたりする記憶装置である。メモリ202は、例えば、ROM(Read Only Memory)、RAM(Random
Access Memory)のような半導体メモリを含む。
CPU 201は、補助記憶装置203に保持されたOS、及び、その他様々なプログラムをメモリ202にロードして実行することによって、様々な処理を実行する。CPU
201は、1つに限られず、複数備えられてもよい。CPU 201は、キャッシュメモリ201Mを備える。
入力インタフェース204は、マイクロフォン4を接続するインタフェースである。出力インタフェース205は、スピーカ5を接続するインタフェースである。インタフェース206は、例えば、イーサネット(登録商標)、CAN、又は、その他のネットワークへの接続に用いられるポートを備える回路である。なお、マルチメディアECU 2のハードウェア構成は、図2に示されるものに限定されない。
自動運転制御ECU 3も、マルチメディアECU 2と同様に、CPU、メモリ、補助記憶装置、及び、インタフェースを備える。自動運転制御ECU 3は、補助記憶装置に、例えば、自動走行制御に係る各種プログラム、及び、テイクオーバ判定プログラムを格納している。DCM 1も、マルチメディアECU 2と同様に、CPU、メモリ、補助記憶装置、及び、インタフェースを備える。DCM 1は、さらに、無線通信部を備える。無線通信部は、例えば、5G(5th Generation)、6G、4G、及び、LTE(Long
Term Evolution)等の移動体通信方式、WiMAX、及び、WiFi等の無線通信方式
に従った無線通信回路である。無線通信部は、無線通信によってネットワークN1に接続し、センタサーバ50との通信を可能にする。
図3は、車両10とセンタサーバ50との機能構成の一例を示す図である。車両10は、機能構成として、通信部11、制御部21、自然言語処理部22、対応表格納部23、自動運転制御部31、及び、テイクオーバ判定部32を備える。通信部11は、DCM 1に相当する機能構成要素である。通信部11は、外部のサーバとの通信のインタフェースである。
自動運転制御部31及びテイクオーバ判定部32は、自動運転制御ECU 3に相当する機能構成要素である。自動運転制御部31及びテイクオーバ判定部32の処理は、自動運転制御ECU 3のCPUが所定のプログラムを実行することによって達成される。自動運転制御部31は、車両10の自動運転制御を行う。自動運転制御では、例えば、エンジン又はモータの制御、ブレーキ制御、ステアリング制御、位置管理、及び、障害物検出等が行われる。
テイクオーバ判定部32は、車両10が自動運転モードで走行している間、各種センサ6による検知値に基づいて、自動運転の継続が可能か否かを所定の周期で判定する。車両10が自動運転を継続するには、例えば、車両10の周辺環境を正確に認識する必要がある。例えば、天候が悪い場合、道路の整備が良好でない場合、及び、渋滞等の周囲の車両の走行状況が良くない場合等は、センサ6によって車両10の周辺環境を正確に認識できなくなる。このような場合に、テイクオーバ判定部32は、自動運転の継続が困難であることを判定する。なお、テイクオーバ判定部32の自動運転の継続が可能か否かの判定条件は、車両10の自動運転制御の構成に依存し、特定の条件に限定されない。また、テイクオーバ判定部32のテイクオーバリクエストの発生の原因を特定するロジックは、特定の方法に限定されず、所定のルールに則った方法、及び、機械学習モデルを利用したロジック等のいずれであってもよい。
テイクオーバ判定部32は、自動運転の継続が困難であることを判定した場合に、テイクオーバリクエスト信号を制御部21へ出力する。また、テイクオーバ判定部32は、自動運転の継続が困難であることを判定した場合に、テイクオーバリクエストの発生を通知するテイクオーバリクエスト発生通知と、テイクオーバリクエストの発生の原因を示すイ
ンテント番号とを、通信部11を通じて、センタサーバ50へ送信する。インテント番号は、例えば、後述のインテント番号テーブル32pを参照して取得される。テイクオーバ判定部32は、テイクオーバリクエスト信号とともにインテント番号を制御部21へ出力してもよい。
制御部21、自然言語処理部22、及び、対応表格納部23は、マルチメディアECU
2に相当する機能構成要素である。制御部21は、テイクオーバの案内の制御を行う。制御部21は、テイクオーバ判定部32からテイクオーバリクエスト信号とインテント番号との入力を受ける。制御部21は、テイクオーバリクエスト信号の入力を受けると、手動運転への切り替えを促す音声をスピーカ5から出力する。手動運転への切り替えを促す音声データは、例えば、応答遅延を小さくするため、キャッシュメモリ201Mに保持されている。手動運転への切り替えを促す音声データを出力することは、テイクオーバリクエストの出力ともいう。
また、制御部21は、テイクオーバリクエスト信号の入力を受けると、通信部11を通じて、センタサーバ50から、テイクオーバリクエストが発生した原因に対応するインテント番号に対応する対応表群をダウンロードし、対応表格納部23に格納する。対応表群は、テイクオーバリクエストの発生の理由に関する説明を行う対話において想定されるドライバの発話内容とそれに対する応答内容とを対応付けた対応表の集まりである。対応表は、想定される対話の深度に応じた数が用意される。対話の深度とは、発話と応答とを1つのセットとする場合に、1つの話題について発生する発話と応答とのセットの数を示す。対応表の詳細については後述される。対応表格納部23は、マルチメディアECU 2内のキャッシュメモリ201Mに相当する。
制御部21は、手動運転への切り替えを促す音声の出力後、テイクオーバリクエストの発生の理由に関する説明を対話形式でドライバへ提示する対話処理を開始する。当該対話処理では、制御部21は、ドライバの発話内容の取得と、ドライバの発話内容に対する応答内容となる応答データの取得と、応答データの音声出力とを行う。
ドライバの発話内容は、例えば、マイクロフォン4を通じてドライバが発した音声が収音されてドライバの音声データが取得され、制御部21が、ドライバの音声データに対して音声認識処理を行うことで取得される。ドライバの音声データの音声認識結果として取得されるドライバの発話内容は、例えば、テキストデータで取得されてもよい。
ドライバの発話内容に対する応答内容を示す応答データは、例えば、制御部21が、取得した発話内容のデータを自然言語処理部22へ出力し、自然言語処理部22から、発話内容に対する応答を示す応答データの入力を受けることで取得される。ドライバの発話内容に対する応答データは、例えば、テキストデータとして取得されてもよい。
制御部21は、発話内容に対する応答データから音声合成により音声データを生成し、マイクロフォン4に出力する。マイクロフォン4によって、当該音声データが音声として出力される。
制御部21は、ドライバの発話内容が手動運転への切り替えを受け入れることを示すまで、又は、ドライバが手動運転を開始することが検出されるまで、対話処理を繰り返し行う。手動運転への切り替えを受け入れることを示すドライバの発話内容は、例えば、「わかりました」、「運転する」等である。後述の対応表群において、手動運転への切り替えを受け入れることを示す場合に想定されるドライバの発話内容とそれに対する応答内容との対応表が含まれている。制御部21は、例えば、ドライバの発話内容が、当該対応表におけるドライバの発話内容に一致又は類似することが検出されることによって、ドライバ
の発話内容が手動運転への切り替えを受け入れることを示すことを検出する。
制御部21は、対話処理の開始とともに、例えば、車両10の車室内を監視するセンサを用いて、ドライバの挙動を監視する。これによって、制御部21は、ドライバが手動運転を開始することを検出する。例えば、ドライバがハンドルを握る、及び、ドライバの視線が車両10の前方を向く等の挙動を検出することで、ドライバが手動運転を開始したことが検出される。なお、ドライバが手動運転を開始したことの検出方法は特定の方法に限定されず、周知の方法のいずれが用いられてもよい。
対話処理の開始から所定時間経過しても、テイクオーバが実施されない場合には、制御部21は、手動運転への切り替えを促す音声を再度出力する、警告音を出力する、又は、シートベルトを締め付ける等のテイクオーバをドライバに要請する処理を実行する。
自然言語処理部22は、制御部21から入力されるドライバの発話内容のデータについて、対応表格納部23に格納されている対応表群を検索して、応答となるデータを取得し、制御部21へ出力する。
次に、センタサーバ50は、機能構成として、制御部51と対話データベース52とを備える。これらの機能構成要素は、センタサーバ50のCPUが所定のプログラムを実行することによって達成される。制御部51は、車両10からテイクオーバリクエストの発生通知を受信する。テイクオーバリクエストの発生通知とともにインテント番号も受信される。制御部51は、テイクオーバリクエストの発生通知を受信すると、受信したインテント番号に対応する対応表群を特定し、車両10へ送信する。対話データベース52は、例えば、センタサーバ50の補助記憶装置の記憶領域内に作成される。対話データベース52は、インテント番号それぞれに対する対応表群を保持する。
なお、第1実施形態では、センタサーバ50は、対応表群を予め対話データベース52に保持する。ただし、これに限定されず、例えば、センタサーバ50は、対話データベース52の代わりに機械学習モデルを備え、機械学習モデルを用いて、対応表群を作成してもよい。具体的には、制御部51は、車両10からテイクオーバリクエストの発生通知を受信すると、受信したインテント番号に対応する対応表群を機械学習モデルを用いて作成し、車両10へ送信してもよい。
図4は、インテント番号テーブル32pの一例である。インテント番号テーブル32pは、自動運転制御ECU 3の補助記憶装置に保持されている。インテント番号テーブル32pは、テイクオーバリクエストの発生の原因に対するインテント番号の割り当てを保持する。
図4に示される例では、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難である場合にはインテント番号1が割り当てられている。テイクオーバリクエストの発生の原因が豪雨である場合にはインテント番号2が割り当てられている。テイクオーバリクエストの発生の原因が降雪である場合にはインテント番号3が割り当てられている。テイクオーバリクエストの発生の原因が、速度が閾値を超えてる場合にはインテント番号4が割り当てられている。テイクオーバリクエストの発生の原因がセンタ―ラインの認識が困難である場合にはインテント番号5が割り当てられている。なお、図4に示されるインテント番号の割り当ては一例であって、テイクオーバリクエストの発生の原因に対するインテント番号の割り当ては、例えば、テイクオーバ案内システム100の管理者によって任意に設定されてもよい。
<対応表について>
図5は、テイクオーバリクエストの発生の理由に関する説明について発生する対話シナリオの一例を示す図である。図5に示される例では、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難である場合の対話シナリオについて説明する。
テイクオーバリクエストが発生すると、まず、手動運転への切り替えを促すメッセージの音声CV101「手動運転に切り替えてください」が提示される。これに対して、ドライバがテイクオーバリクエストの発生の理由を知りたい場合には、テイクオーバリクエストの発生の理由を問う発話が想定される。図5に示される例では、テイクオーバリクエストの発生の理由を問う発話の一例として「なぜ?」が示されている。テイクオーバリクエストの発生の理由を問う発話に対する応答として、テイクオーバリクエストの発生の原因を述べる音声CV102「GNSS信号がうまく受信できないためです。」が出力される。第1実施形態では、発話とそれに対する応答とで1セットの対話とする。また、対話の1セットごとに対話の深度が上がっていくこととする。以下、対話の深度を対話レベルと称する。図5に示される例では、ドライバの「なぜ?」という発話とそれに対する応答の音声CV102とで、対話レベル1となる。
テイクオーバリクエストの発生の原因を述べる音声CV102「GNSS信号がうまく受信できないためです。」に対して、ドライバがさらに詳細な説明を求める場合には、例えば、GNSS信号について問う発話、及び、GNSS信号を受信できない原因を問う発話等が派生して発生することが想定される。
図5に示される例では、テイクオーバリクエストの発生の原因を述べる音声CV102の後に、ドライバからGNSS信号について問う発話が行われることが想定されている。図5に示される例では、GNSS信号について問う発話として、「GNSSとは何ですか?」が示されている。これに対して、GNSS信号について問う発話に対する応答として、GNSSを説明する音声CV103が出力される。図5に示される例では、GNSS信号について問う発話と、それに対する応答の音声CV103とのセットで、対話レベルが1上がり、対話レベル2となる。
図5に示される例では、GNSSを説明する音声CV103の後に、ドライバからGNSS信号を受信できない原因を問う発話が行われることが想定されている。図5に示される例では、GNSS信号を受信できない原因を問う発話として、「なぜ受信できないのですか?」が示されている。これに対して、GNSS信号を受信できない原因を問う発話に対する応答として、GNSS信号を受信できない原因を説明する音声CV104が出力される。図5に示される例では、GNSS信号を受信できない原因を問う発話と、それに対する応答の音声CV104とのセットで、対話レベルがさらに1上がり、対話レベル3となる。
図5に示される例では、GNSS信号を受信できない原因を説明する音声CV104の後、ドライバが手動運転への切り替えを受け入れることを示す発話が行われることが想定されている。図5に示される例では、手動運転への切り替えを受け入れることを示す発話として、「わかりました」が示されている。これに対する応答として、手動運転への切り替えを受け入れたことを確認する音声CV105が出力される。図5に示される例では、手動運転への切り替えを受け入れることを示す発話と、それに対する応答の音声CV105とで、対話レベルがさらに1上がり、対話レベル4となる。
図5に示される対話シナリオの例では、対話レベルが1から4まで存在するので、それぞれの対話レベルに応じた対応表が用意される。ただし、必ずしも図5に示される順番で対話が行われるわけではない。図5に示される対話シナリオでは、手動運転への切り替えを促すメッセージの音声CV101、対話レベル1の応答の音声CV102、及び、対話
レベル2の応答の音声CV103の出力後、「わかりました」という手動運転への切り替えを受け入れることを示す発話が行われる場合も想定されている。「わかりました」という手動運転への切り替えを受け入れることを示す発話が行われた場合には、対話レベル4の応答の音声CV105が出力される。
また、例えば、対話レベル1の応答の音声CV102の出力後、「なぜ受信できないのですか?」というGNSS信号を受信できない原因を問う発話が行われる場合も考え得る。この場合には、対話レベル3の応答の音声CV103が出力される。
図6から図9は、それぞれ、図5に示される対話シナリオに対応する、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難なことである場合の対応表群に含まれる各対応表の一例である。図6は、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難であることである場合の対話レベル1の対応表の一例である。手動運転への切り替えを促す音声が出力された後、ドライバが、テイクオーバリクエストが発生した理由について質問する場合には、まず、テイクオーバリクエストが発生した原因について質問することが考えられる。したがって、第1実施形態では、テイクオーバリクエストの発生の原因が如何様であっても、対話レベル1の対応表における応答内容は、テイクオーバリクエストの発生の原因を示す内容となる。
図6に示される例では、テイクオーバリクエストの発生の原因を問う場合に想定されるドライバの発話内容と、応答として、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難であることを示すメッセージとが対応付けられている。図6に示される例では、テイクオーバリクエストの発生の原因を問う場合に想定されるドライバの発話内容として、例えば、「どうしてですか?」、「理由を教えてください」、「何でだよ」等が設定されている。図6に示される例では、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難であることを示すメッセージとして、「GNSS信号がうまく受信できないためです」が設定されている。
図7は、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難であることである場合の対話レベル2の対応表の一例である。対話レベル2以降の対応表は、対話レベル1の応答内容から派生する質問とその回答との対応付けとなる。
図7に示される対話レベル2の対応表では、GNSS信号について問う場合に想定されるドライバの発話内容と、応答として、GNSS信号についての説明のメッセージとが対応付けられている。図7に示される例では、GNSS信号について問う場合に想定されるドライバの発話内容として、例えば、「GNSSとは何ですか?」、「GNSSって何ですか」、「GNSSの意味を教えてください」等が設定されている。図7に示される例では、GNSS信号についての説明のメッセージとして、「GNSSとは人工衛星システムのことです。お客様の現在位置の緯度経度を高精度に推定します。」が設定されている。
図8は、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難であることである場合の対話レベル3の対応表の一例である。図8に示される対話レベル3の対応表では、GNSS信号を受信できない原因を問う場合に想定されるドライバの発話内容と、応答として、GNSS信号を受信できない原因について説明するメッセージとが対応付けられている。図8に示される例では、GNSS信号を受信できない原因を問う場合に想定されるドライバの発話内容として、例えば、「なぜ受信できないのですか?」、「受信できないのはなぜ」、及び、「受信できない原因は何」等が設定されている。図8に示される例では、GNSS信号を受信できない原因について説明するメッセージとして、「受信信号レベルが弱すぎます。お客様の受信装置自体は正常動作中です。」が設定されている。
図9は、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難であることである場合の対話レベル4の対応表の一例である。図9に示される対話レベル4の対応表では、手動運転への切り替えを受け入れる場合に想定されるドライバの発話内容と、応答として、手動運転への切り替えを受け入れたことを確認するメッセージとが対応付けられている。図9に示される例では、手動運転への切り替えを受け入れる場合に想定されるドライバの発話内容として、例えば、「わかりました」、「運転するよ」、及び、「わかった」等が設定されている。図9に示される例では、手動運転への切り替えを受け入れたことを確認するメッセージとして、「ありがとうございます。安全運転をお願いします。」が設定されている。テイクオーバリクエストの発生の原因がGNSS信号の受信が困難であることである場合には、対話レベル4の対応表に含まれる発話内容にドライバの発話内容が一致又は類似し、対話レベル4の対応表に含まれる応答内容で応答が行われると、x21は、対話処理の終了を判定する。
例えば、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難なことであり、対応表群が図6から図9の対応表を含む場合には、対話処理において、ドライバの発話内容に対する応答内容は、以下のように取得される。自然言語処理部22は、対話処理の開始後、初回のドライバの発話内容の入力時には、少なくとも、対話レベル1及び4のそれぞれの対応表を検索する。なお、入力されたドライバの発話内容に対して、応答内容が取得された場合に、1回の対話としてカウントされる。入力されたドライバの発話内容に対して、応答内容が取得されない場合には、エラーとなり、1回の対話としてカウントされない。
2回目以降のドライバの発話内容の入力時には、自然言語処理部22は、一度応答内容を用いた対応表を除外して、残りの対応表を参照して、入力されたドライバの発話内容に対する応答内容を取得してよい。例えば、初回のドライバの発話内容が、対話レベル1の対応表に含まれる発話内容に合致し、対話レベル1の対応表に含まれる応答内容を用いて応答が行われた場合には、2回目のドライバの発話内容の入力時には、対話レベル2から4の対応表が参照される。対話レベル4の対応表の応答内容を用いて応答が行われると、対話処理が終了する。
なお、各対応表におけるドライバの発話内容は、例えば、過去の実績データから取得されてもよいし、テイクオーバ案内システム100の管理者によって設定されてもよい。また、実際のドライバの発話内容が対応表に含まれる発話内容と完全に一致するとは限らない。そのため、第1実施形態では、自然言語処理部22は、実際のドライバの発話内容が対応表に含まれる発話内容と完全一致する場合に加え、類似する場合にも、実際のドライバの発話に対する応答として、当該対応表に含まれる応答内容を取得する。
なお、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難なことである場合の対応表群に含まれる対応表は、対話レベル1から対話レベル4の4つとは限らず、実施の態様に応じて適宜設定される。また、テイクオーバリクエストの発生の原因がGNSS信号の受信が困難なことである場合の各対話レベルの対応表は、図6から図9に示される対応表に限定されない。
対応表群は、テイクオーバリクエストの発生の原因に応じて、センタサーバ50の対話データベース52内に用意される。テイクオーバリクエストの発生の原因ごとに、対話レベルの最大値は異なる。ただし、いずれのテイクオーバリクエストの発生の原因についても、対話レベル1の対応表は、テイクオーバリクエストの発生の原因を問う場合に想定されるドライバの発話内容と、応答として、テイクオーバリクエストの発生の原因を示すメッセージとの対応付けである。また、いずれのテイクオーバリクエストの発生の原因につ
いても、対話レベルが最大値の対応表は、手動運転を受け入れる場合に想定されるドライバの発話内容と、応答として、手動運転を受け入れたことを確認するメッセージとの対応付けである。各対応表に含まれる応答内容は、「手動運転への切り替えの要求が発生した理由に関する説明の一部」に対応する。
<処理の流れ>
図10は、第1実施形態に係る車両10のテイクオーバの案内処理のフローチャートの一例である。図10に示される処理は、車両10が自動運転モードで走行中に所定の周期で繰り返し実行される。図10に示される処理の実行主体は、自動運転制御ECU 3であるが、便宜上、機能構成要素を主体として説明する。
OP101では、制御部21は、テイクオーバリクエストが発生したか否かを判定する。制御部21は、テイクオーバ判定部32からテイクオーバリクエスト信号が入力された場合にテイクオーバリクエストが発生したことを検出する。テイクオーバリクエストが発生した場合には(OP101:YES)、処理がOP102へ進む。テイクオーバリクエストが発生していない場合には(OP101:NO)、図10に示される処理が終了する。
OP102では、制御部21は、テイクオーバリクエストを出力する。テイクオーバリクエストを出力するとは、手動運転への切り替えを促すメッセージを出力することである。OP103では、制御部21は、センタサーバ50から、テイクオーバリクエストの発生の原因に対応するインテント番号の対応表群のダウンロードを開始する。ダウンロードされた対応表は、テイクオーバ判定部32に格納される。
OP104からOP108の処理は、対話処理に相当する処理である。OP104では、制御部21は、ドライバの発話音声がマイクロフォン4から入力されたか否かを判定する。ドライバの発話音声がマイクロフォン4から入力された場合には(OP104:YES)、処理がOP105へ進む。ドライバの発話音声が入力されていない場合には(OP104:NO)、処理がOP108へ進む。
OP105では、制御部21は、入力された発話音声データに対して音声認識を行い、発話内容を取得する。OP106では、制御部21は、ドライバの発話内容を自然言語処理部22へ出力し、自然言語処理部22からドライバの発話内容に対応する応答データを取得する。制御部21は、応答データから音声合成によって音声データを生成し、スピーカ5から音声データに対応する音声を出力させる。自然言語処理部22は、ドライバの発話内容で、対応表格納部23に格納されている対応表を検索し、ドライバの発話内容が一致又は類似した対応表に含まれる応答データを制御部21へ出力する。
OP107では、制御部21は、OP106で出力された応答内容が、テイクオーバリクエストの発生の原因に対応するインテント番号の対応表群のうちで対話レベルが最大値の対応表から取得されたものであるか否かを判定する。OP106で出力された応答内容が、テイクオーバリクエストの発生の原因に対応するインテント番号の対応表群のうちで対話レベルが最大値の対応表から取得されたものである場合には(OP107:YES)、対話処理が終了し、処理がOP109へ進む。OP106で出力された応答内容が、テイクオーバリクエストの発生の原因に対応するインテント番号の対応表群のうちで対話レベルが最大値の対応表以外の対応表から取得されたものである場合には(OP107:NO)、処理がOP104へ進む。
OP108では、制御部21は、ドライバが手動運転を開始したか否かを判定する。ドライバが手動運転を開始したことは、例えば、車両10の車室内部を撮像するカメラの撮
像画像からドライバがハンドルを握ったこと、又は、ドライバの視線が車両10の前方に向けられていること等を検出することによって判定される。ドライバが手動運転を開始したことが検出された場合には(OP108:YES)、対話処理が終了し、処理がOP109へ進む。ドライバが手動運転を開始したことが検出されていない場合には(OP108:NO)、処理がOP104へ進む。
OP109では、制御部21は、対応表格納部23に保持されている対応表群を削除する。その後、図10に示される処理が終了する。なお、車両10の処理は図10に示される処理に限定されない。例えば、図10では、ドライバの発話内容が手動運転への切り替えを受け入れることを示す(OP107)まで、又は、手動運転が開始されたことが検出される(OP108)まで、対話処理が行われる。ただし、これに限られず、ドライバの発話内容が手動運転への切り替えを受け入れること、又は、手動運転が開始されたこと、のいずれか一方のみを対話処理の終了条件としてもよい。
図11は、第1実施形態に係るセンタサーバ50のテイクオーバの案内処理のフローチャートの一例である。図11に示される処理は、所定の周期で繰り返し実行される。図11に示される処理の実行主体は、センタサーバ50のCPUであるが、便宜上、機能構成要素を主体として説明する。
OP201では、制御部51は、車両10からテイクオーバリクエストの発生通知を受信したか否かを判定する。テイクオーバリクエストの発生通知とともに、インテント番号も受信される。車両10からテイクオーバリクエストの発生通知を受信した場合には(OP201:YES)、処理がOP202へ進む。車両10からテイクオーバリクエストの発生通知を受信していない場合には(OP201:NO)、図11に示される処理が終了する。
OP202では、制御部51は、車両10から受信したインテント番号に対応する対応表群を対話データベース52から読み出し、車両10へ送信する。その後、図11に示される処理が終了する。
<対応表のダウンロード>
図12及び図13は、対応表群のダウンロードと対話処理とのタイムチャートの一例である。図12及び図13は、テイクオーバリクエストが発生した原因がGNSS信号の受信が困難なことであり、図6から図9に示される対話レベル1から4の対応表がセンタサーバ50からダウンロードされる場合の例である。
図12に示される例では、センタサーバ50からの対応表群のダウンロードは、対応表単位で行われる。S11では、車両10において自動運転の継続の困難が判定される(テイクオーバの判定)。S12では、車両10からセンタサーバ50へ、テイクオーバリクエストの発生通知と、テイクオーバリクエストが発生した原因がGNSS信号の受信が困難なことを示すインテント番号1(例えば、図4参照)が送信される。S13では、車両10において、自動運転制御ECU 3からマルチメディアECU 2へテイクオーバリクエスト信号が出力される(図10、OP101)。S14では、車両10において、手動運転への切り替えを促すメッセージの音声(図12中、「手動運転に
切り替えてください」)が出力される(図10、OP102)。
S21では、手動運転への切り替えを促すメッセージの音声の出力中に、車両10がセンタサーバ50からインテント番号1に対応する対話レベル1及び4の対応表をダウンロードする。対話レベル4の対応表は、インテント番号1に対応する対応表群のうち対話レベルが最大値の対応表である。S22では、ドライバから、テイクオーバリクエストの発
生の原因を問う発話(図12中、「なぜ?」)が行われる。S22の時点で、対話レベル1と4の対応表のダウンロードが完了しているので、S23では、車両10は、対話レベル1の対応表に含まれる応答内容を音声で出力する(図6参照、図12中、「GNSS信号がうまく受信できないためです」)。
S31では、手動運転への切り替えを促すメッセージの音声の出力後、ドライバの発話を待機又は音声認識している間に、車両10がセンタサーバ50からインテント番号1に対応する対話レベル2の対応表をダウンロードする。S32では、ドライバから、GNSS信号について問う発話(図12中、「GNSSとは何ですか?」)が行われる。S32の時点で、対話レベル2の対応表のダウンロードが完了しているので、S33では、車両10は、対話レベル2の対応表に含まれる応答内容を音声で出力する(図7参照、図12中、「GNSSとは人工衛星システムのことです(以下略)」)。
S41では、S23における対話レベル1の対応表に含まれる応答内容の音声での出力中に、車両10がセンタサーバ50からインテント番号1に対応する対話レベル3の対応表をダウンロードする。S42では、ドライバから、GNSS信号を受信できない原因を問う発話(図12中、「なぜ受信できないのですか?」)が行われる。S42の時点で、対話レベル3の対応表のダウンロードが完了しているので、S43では、車両10は、対話レベル3の対応表に含まれる応答内容を音声で出力する(図8参照、図12中、「受信信号レベルが弱すぎます・・・(以下略)」)。以降、車両10は、インテント番号1に対応する対応表群を保持しており、対話レベル4の対応表に含まれる応答内容が応答として出力されるまで、又は、手動運転を開始したことが検出されるまで、同様の処理が繰り返される。
図12に示される例では、次に発話される可能性の高い対応表を先んじてダウンロードすることによって、ドライバの発話に対する応答の遅延時間を短縮することができる。
図13に示される例では、センタサーバ50からの対応表群のダウンロードは、テイクオーバリクエストが発生した原因に対応する対応表群に含まれるすべての対応表について一括で行われる。S11からS14は、図12と同様である。図13のS51では、手動運転への切り替えを促すメッセージの音声の出力中に、車両10がセンタサーバ50からインテント番号1に対応する対応表群に含まれるすべての対応表を一括でダウンロードする。
以降、S52、S61、及びS71において、質問の発話が行われても、車両10は、インテント番号1に対応する対応表群のすべての対応を保持しているので、より短い遅延時間で、S53、S62、及び、S72のように応答を行うことができる。なお、S52、S61、及び、S71におけるドライバの発話内容は、それぞれ、図12のS22、S32、及び、S42と同様である。S53、S62、及び、S72におけるドライバの発話内容に対する応答内容は、それぞれ、図12のS23、S33、及び、S43と同様である。対応表群を一括でダウンロードすることによって、ネットワークの遅延の影響をより小さくすることができ、ドライバの発話に対してより早く応答可能となる。
テイクオーバリクエストの発生の原因に応じた対応表群を、対応表単位でダウンロードするか、一括でダウンロードするかは、例えば、テイクオーバ案内システム100の管理者によって任意に設定されてよい。
<第1実施形態の作用効果>
第1実施形態では、テイクオーバリクエストの発生した場合に、ドライバの発話内容に応じて、テイクオーバリクエストが発生した理由に関する説明の一部がドライバへ提示さ
れる。これによって、ドライバの当該テイクオーバリクエストが発生した理由に対する関心の度合いに応じて、過不足なく説明を提示することができ、不快感を与えることを低減することができる。
また、第1実施形態では、車両10は、ドライバの発話よりも先んじてテイクオーバリクエストが発生した原因に応じた対応表群をセンタサーバ50からダウンロードし、キャッシュメモリ201Mに保持する。これによって、ドライバの発話に対してより迅速に応答を行うことができる。
<第2実施形態>
第1実施形態では、車両10が、ドライバの発話内容に対する応答内容となる応答データの取得を行う。そのため、第1実施形態では、車両10は、ドライバの発話よりも先んじてテイクオーバリクエストが発生した原因に応じた対応表群をセンタサーバ50からダウンロードし、キャッシュメモリ201Mに保持する。
これに代えて、第2実施形態では、ドライバの発話内容に対する応答内容となる応答データの取得は、センタサーバが行う。そのため、第2実施形態では、車両は、センタサーバからの、テイクオーバリクエストが発生した原因に応じた対応表群のダウンロードを行わない。なお、第2実施形態では、第1実施形態と共通する説明は省略される。
図14は、第2実施形態に係る、車両10Bとセンタサーバ50Bとの機能構成の一例を示す図である。第2実施形態では、テイクオーバ案内システム100のシステム構成、及び、車両10B及びセンタサーバ50Bのハードウェア構成は第1実施形態と同様である。第2実施形態では、車両10Bは、機能構成として、通信部11、制御部21B、自動運転制御部31、及び、テイクオーバ判定部32を備える。通信部11、自動運転制御部31、及び、テイクオーバ判定部32は、第1実施形態と同様である。
制御部21Bは、マルチメディアECU 2に相当する機能構成要素である。制御部21Bは、テイクオーバリクエスト信号の入力を受けると、手動運転への切り替えを促す音声をスピーカ5から出力すると、マイクロフォン4を通じて入力される音声の監視を開始する。マイクロフォン4からドライバの発話音声が入力されると、制御部21Bは、発話音声データに対して音声認識処理を実行し、ドライバの発話内容を取得する。制御部21Bは、通信部11を通じて、ドライバの発話内容のデータをセンタサーバ50Bへ送信する。その後、制御部21Bは、通信部11を通じて、センタサーバ50Bから応答データを受信すると、ドライバの発話内容に対する応答データから音声合成により音声データを生成し、マイクロフォン4に出力する。マイクロフォン4によって、当該音声データが音声として出力される。センタサーバ50Bへ送信されるドライバの発話内容のデータは、例えば、テキストデータである。
また、制御部21Bは、テイクオーバリクエスト信号の入力を受けると、例えば、車両10Bの車室内を監視するセンサを用いて、ドライバの挙動の監視を開始する。制御部21Bは、ドライバが手動運転を開始したことを検出すると、センタサーバ50Bへ、ドライバが手動運転を開始したことを示す手動運転の開始通知を送信する。制御部21Bは、ドライバの発話内容の取得の処理と、ドライバの挙動の監視とを、センタサーバ50Bから対話終了通知が受信されるまで実行する。これらの点以外の制御部21Bの処理は、第1実施形態の制御部21と同様である。
また、第2実施形態では、センタサーバ50Bは、機能構成として、制御部51B、対話データベース52、及び、自然言語処理部53を備える。制御部51Bは、車両10Bから、ドライバの発話内容のデータを受信すると、自然言語処理部53へ出力し、自然言
語処理部53からドライバの発話内容に対する応答データを取得する。制御部51Bは、取得した応答データを車両10Bへ送信する。応答データは、例えば、テキストデータであってもよいし、所定の形式の音声データであってもよい。
自然言語処理部53は、制御部51Bから入力されるドライバの発話内容のデータについて、自然言語処理部53に格納されているインテント番号に対応する対応表群を検索して、応答となるデータを取得し、制御部51Bへ出力する。なお、対応表群については、第1実施形態と同様である。
制御部51Bは、ドライバの発話内容が手動運転への切り替えを受け入れることを示す場合、すなわち、ドライバの発話内容に対する応答内容が対応表群のうち対話レベルが最大値の対応表から取得された場合、及び、車両10Bから手動運転の開始通知を受信した場合に、車両10Bへ対話終了通知を送信する。
図15は、第2実施形態に係る車両10Bのテイクオーバの案内処理のフローチャートの一例である。図15に示される処理は、車両10Bが自動運転モードで走行中に所定の周期で繰り返し実行される。
OP301では、制御部21Bは、テイクオーバリクエストが発生したか否かを判定する。テイクオーバリクエストが発生した場合には(OP301:YES)、処理がOP302へ進む。テイクオーバリクエストが発生していない場合には(OP301:NO)、図15に示される処理が終了する。
OP302では、制御部21Bは、テイクオーバリクエストを出力する。OP303では、制御部21Bは、ドライバの発話音声がマイクロフォン4から入力されたか否かを判定する。ドライバの発話音声がマイクロフォン4から入力された場合には(OP303:YES)、処理がOP304へ進む。ドライバの発話音声が入力されていない場合には(OP303:NO)、処理がOP308へ進む。
OP304では、制御部21Bは、入力された発話音声データに対して音声認識を行い、発話内容のデータを取得する。OP305では、制御部21Bは、発話内容のデータをセンタサーバ50Bへ送信する。OP306では、制御部21Bは、センタサーバ50Bから応答データを受信したか否かを判定する。センタサーバ50Bから応答データが受信された場合には(OP306:YES)、処理がOP307へ進む。50Bから応答データが受信されるまでの間は(OP306:NO)、待機状態となり、所定時間経過しても応答データが受信されない場合には、エラーとなる。
OP307では、制御部21Bは、応答データから音声合成によって音声データを生成し、スピーカ5から当該音声データに対応する音声を出力させる。
OP308では、制御部21Bは、ドライバが手動運転を開始したか否かを判定する。ドライバが手動運転を開始したことが検出された場合には(OP308:YES)、処理がOP309へ進む。OP309では、制御部21Bは、センタサーバ50Bへ手動運転開始通知を送信する。ドライバが手動運転を開始したことが検出されていない場合には(OP308:NO)、処理がOP303へ進む。
OP310では、制御部21Bは、センタサーバ50Bから、対話終了通知を受信したか否かを判定する。センタサーバ50Bから対話終了通知が受信された場合には(OP310:YES)、図15に示される処理が終了する。センタサーバ50Bから対話終了通知が受信されていない場合には(OP310:NO)、処理がOP303へ進む。
図16は、第2実施形態に係るセンタサーバ50Bのテイクオーバの案内処理のフローチャートの一例である。図16に示される処理は、所定の周期で繰り返し実行される。図16に示される処理の実行主体は、センタサーバ50BのCPUであるが、便宜上、機能構成要素を主体として説明する。
OP401では、制御部51Bは、車両10Bからテイクオーバリクエストの発生通知を受信したか否かを判定する。テイクオーバリクエストの発生通知とともに、インテント番号も受信される。車両10Bからテイクオーバリクエストの発生通知を受信した場合には(OP401:YES)、処理がOP402へ進む。車両10Bからテイクオーバリクエストの発生通知を受信していない場合には(OP401:NO)、図16に示される処理が終了する。
OP402では、制御部51Bは、車両10Bからドライバの発話内容のデータを受信したか否かを判定する。車両10Bからドライバの発話内容のデータを受信した場合には(OP402:YES)、処理がOP403へ進む。車両10Bからドライバの発話内容のデータを受信していない場合には(OP402:NO)、処理がOP406へ進む。
OP403では、制御部51Bは、ドライバの発話内容のデータを自然言語処理部53へ出力し、自然言語処理部53からドライバの発話内容に対応する応答データを取得する。自然言語処理部53は、ドライバの発話内容で、自然言語処理部53に格納されている、受信したインテント番号に対応する対応表群を検索し、ドライバの発話内容が一致又は類似した対応表に含まれる応答データを制御部51Bへ出力する。OP404では、制御部51Bは、車両10Bへ応答データを送信する。
OP405では、制御部51Bは、OP403で取得された応答データの内容が、受信したインテント番号の対応表群のうちで対話レベルが最大値の対応表から取得されたものであるか否かを判定する。応答データの内容が、受信したインテント番号の対応表群のうちで対話レベルが最大値の対応表から取得されたものである場合には(OP405:YES)、処理がOP407へ進む。応答データの内容が、受信したインテント番号の対応表群のうちで対話レベルが最大値の対応表以外の対応表から取得されたものである場合には(OP405:NO)、処理がOP402へ進む。
OP407では、制御部51Bは、車両10Bへ、対話終了通知を送信する。その後、図16に示される処理が終了する。なお、図15及び図16に示される処理は一例であって、第2実施形態に係る車両10B及びセンタサーバ50Bの処理はこれらに限定されない。
第2実施形態では、車両10Bは、ドライバの発話が発生すると、ドライバの発話内容をセンタサーバ50Bへ送信し、センタサーバ50からドライバの発話内容に対する応答データを取得する。これによって、車両10Bは、センタサーバ50から対応表群をダウンロードして、キャッシュメモリ201Mに格納しなくてよいので、キャッシュメモリ201Mのリソースを節約することができる。
<その他の変形例>
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
第1実施形態及び第2実施形態では、マルチメディアECU 2が対話処理等を実行するが、これに代えて、例えば、DCM 1、又は、カーナビゲーションシステム等の車載
器が対話処理を実行するようにしてもよい。この場合には、当該車載器は「情報処理装置」の一例となる。
第1実施形態及び第2実施形態では、テイクオーバリクエストが発生した理由に関する説明は、スピーカ5から音声でドライバに提示されるが、これに限定されない。例えば、テイクオーバリクエストが発生した理由に関する説明は、車両10内のディスプレイにテキストでドライバに提示されてもよい。テイクオーバリクエストが発生した理由に関する説明の提示方法は、所定の方法に限定されない。
本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
また、1つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、1つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成(サーバ構成)によって実現するかは柔軟に変更可能である。
本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する1つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク(フロッピー(登録商標)ディスク、ハードディスクドライブ(HDD)等)、光ディスク(CD-ROM、DVDディスク、ブルーレイディスク等)など任意のタイプのディスク、読み込み専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。
1・・DCM
2・・マルチメディアECU
3・・自動運転制御ECU
4・・マイクロフォン
5・・スピーカ
10・・車両
11・・通信部
21・・制御部
22・・自然言語処理部
23・・対応表格納部
31・・自動運転制御部
32・・テイクオーバ判定部
50・・センタサーバ
51・・制御部
52・・対話データベース
53・・自然言語処理部
100・・テイクオーバ案内システム
201・・CPU
201M・・キャッシュメモリ
202・・メモリ
203・・補助記憶装置

Claims (20)

  1. 第1の車両の自動運転制御中に手動運転への切り替えの要求が発生したことを検出することと、
    前記要求が発生した場合に、前記要求が発生した理由に関する説明の一部を前記第1の車両のドライバへ提示することと、
    を実行する制御部、
    を備える情報処理装置であって、
    前記制御部は、
    前記要求が発生した場合に、前記ドライバの発話内容を取得することをさらに実行し、
    前記ドライバの発話内容に応じた前記要求が発生した理由に関する説明の一部を前記ドライバへ提示し、
    前記ドライバの発話内容が、手動運転への切り替えを受け入れることを示すまで、前記ドライバの発話内容を取得し、前記発話内容に応じた前記要求が発生した理由に関する説明の一部を提示する処理を繰り返し実行する、
    情報処理装置。
  2. 第1の発話内容と前記要求が発生した理由に関する説明の一部との対応付けを記憶する記憶部をさらに備え、
    前記制御部は、
    前記ドライバの発話内容が前記第1の発話内容に少なくとも類似する場合に、前記第1の発話内容に対応付けられている前記要求が発生した理由に関する説明の一部を前記ドライバへ提示する、
    請求項に記載の情報処理装置。
  3. 前記情報処理装置は、前記第1の車両に搭載されており、
    前記制御部は、
    前記要求が発生した場合に、所定の装置から前記ドライバの発話内容と前記切り替えの理由に関する説明の一部との対応付けをダウンロードして前記記憶部に格納することをさらに実行する、
    請求項に記載の情報処理装置。
  4. 前記制御部は、
    前記要求が発生した原因を取得することをさらに実行し、
    前記原因に応じた前記対応付けをダウンロードする、
    請求項に記載の情報処理装置。
  5. 前記制御部は、
    前記所定の装置から、前記原因に応じた前記対応付けを一括でダウンロードする、
    請求項に記載の情報処理装置。
  6. 前記対応付けは、
    前記要求が発生した原因を問う場合に想定される複数の第2の発話内容と、前記要求が発生した原因とを前記要求が発生した理由に関する説明の一部として対応付ける第1の対応付けと、
    前記要求が発生した原因を受けてさらに発生すると想定される質問を含む複数の第3の発話内容と、前記質問に対する回答を前記要求が発生した理由に関する説明の一部として対応付ける少なくとも一つの第2の対応付けと、
    とを含み、
    前記制御部は、
    前記要求の発生後、前記第1の対応付けを参照し、前記ドライバの発話内容に類似する第2の発話内容に対応付けられた前記要求が発生した原因を前記ドライバへ提示し、
    前記要求が発生した原因をドライバへ提示した後、前記少なくとも一つの第2の対応付けを参照し、前記ドライバの発話内容に類似する第3の発話内容に対応付けられた前記質問に対する回答を前記ドライバへ提示する、
    請求項からのいずれか一項に記載の情報処理装置。
  7. 前記情報処理装置は、前記第1の車両に搭載されており、
    前記制御部は、
    前記ドライバの発話内容を所定の装置へ送信し、
    前記所定の装置から、前記発話内容に応じた前記要求が発生した理由に関する説明の一部を受信する、
    をさらに実行する、
    請求項に記載の情報処理装置。
  8. 前記制御部は、
    前記要求が発生した場合に、前記要求を前記ドライバへ提示してから、前記ドライバの発話内容を取得し、前記発話内容に応じた前記要求が発生した理由に関する説明の一部を提示する処理を開始する、
    請求項1から7のいずれか一項に記載の情報処理装置。
  9. 情報処理装置が、
    第1の車両の自動運転制御中に手動運転への切り替えの要求が発生したことを検出することと、
    前記要求が発生した場合に、前記要求が発生した理由に関する説明の一部を前記第1の車両のドライバへ提示することと、
    を含む方法であって、
    前記情報処理装置が、
    前記要求が発生した場合に、前記ドライバの発話内容を取得することをさらに含み、
    前記ドライバの発話内容に応じた前記要求が発生した理由に関する説明の一部を前記ド
    ライバへ提示し、
    前記ドライバの発話内容が、手動運転への切り替えを受け入れることを示すまで、前記ドライバの発話内容を取得し、前記発話内容に応じた前記要求が発生した理由に関する説明の一部を提示する処理を繰り返し実行する、
    方法
  10. 前記情報処理装置が、
    第1の発話内容と前記要求が発生した理由に関する説明の一部との対応付けを記憶する記憶部を備え、
    前記ドライバの発話内容が前記第1の発話内容に少なくとも類似する場合に、前記第1の発話内容に対応付けられている前記要求が発生した理由に関する説明の一部を前記ドライバへ提示する、
    請求項に記載の方法。
  11. 前記情報処理装置が、
    前記第1の車両に搭載されており、
    前記要求が発生した場合に、所定の装置から前記ドライバの発話内容と前記要求が発生した理由に関する説明の一部との対応付けをダウンロードして前記記憶部に格納する、
    請求項10に記載の方法。
  12. 前記情報処理装置が、
    前記要求が発生した原因を取得し、
    前記原因に応じた前記対応付けをダウンロードする、
    請求項11に記載の方法。
  13. 前記情報処理装置が、
    前記所定の装置から、前記原因に応じた前記対応付けを一括でダウンロードする、
    請求項12に記載の方法。
  14. 前記対応付けは、
    前記要求が発生した原因を問う場合に想定される複数の第2の発話内容と、前記要求が発生した原因とを前記要求が発生した理由に関する説明の一部として対応付ける第1の対応付けと、
    前記要求が発生した原因を受けてさらに発生すると想定される質問を含む複数の第3の発話内容と、前記質問に対する回答を前記要求が発生した理由に関する説明の一部として対応付ける少なくとも一つの第2の対応付けと、
    とを含み、
    前記情報処理装置が、
    前記要求が発生した後、前記第1の対応付けを参照し、前記ドライバの発話内容に類似する第2の発話内容に対応付けられた前記要求が発生した原因を前記ドライバへ提示し、
    前記要求が発生した原因をドライバへ提示した後、前記少なくとも一つの第2の対応付けを参照し、前記ドライバの発話内容に類似する第3の発話内容に対応付けられた前記質問に対する回答を前記ドライバへ提示する、
    請求項10から13のいずれか一項に記載の方法。
  15. 前記情報処理装置が、
    前記第1の車両に搭載されており、
    前記ドライバの発話内容を所定の装置へ送信し、
    前記所定の装置から、前記発話内容に応じた前記要求が発生した理由に関する説明の一部を受信する、
    請求項に記載の方法。
  16. 請求項1からのいずれか一項に記載の情報処理装置を備える車両。
  17. 第1の車両の自動運転制御中に手動運転への切り替えの要求が発生したことを検出することと、
    前記要求が発生した場合に、前記要求が発生した理由に関する説明の一部を前記第1の車両のドライバへ提示することと、
    を実行する制御部と、
    第1の発話内容と前記要求が発生した理由に関する説明の一部との対応付けを記憶する記憶部と、
    を備える情報処理装置であって、
    前記制御部は、
    前記要求が発生した場合に、前記ドライバの発話内容を取得することをさらに実行し、
    前記ドライバの発話内容に応じた前記要求が発生した理由に関する説明の一部を前記ドライバへ提示し、
    前記ドライバの発話内容が前記第1の発話内容に少なくとも類似する場合に、前記第1の発話内容に対応付けられている前記要求が発生した理由に関する説明の一部を前記ドライバへ提示し、
    前記対応付けは、
    前記要求が発生した原因を問う場合に想定される複数の第2の発話内容と、前記要求が発生した原因とを前記要求が発生した理由に関する説明の一部として対応付ける第1の対応付けと、
    前記要求が発生した原因を受けてさらに発生すると想定される質問を含む複数の第3の発話内容と、前記質問に対する回答を前記要求が発生した理由に関する説明の一部として対応付ける少なくとも一つの第2の対応付けと、
    とを含み、
    前記制御部は、
    前記要求の発生後、前記第1の対応付けを参照し、前記ドライバの発話内容に類似する第2の発話内容に対応付けられた前記要求が発生した原因を前記ドライバへ提示し、
    前記要求が発生した原因をドライバへ提示した後、前記少なくとも一つの第2の対応付けを参照し、前記ドライバの発話内容に類似する第3の発話内容に対応付けられた前記質問に対する回答を前記ドライバへ提示する、
    情報処理装置。
  18. 情報処理装置が、
    第1の車両の自動運転制御中に手動運転への切り替えの要求が発生したことを検出することと、
    前記要求が発生した場合に、前記要求が発生した理由に関する説明の一部を前記第1の車両のドライバへ提示することと、
    を含む方法であって、
    前記情報処理装置が、
    前記要求が発生した場合に、前記ドライバの発話内容を取得することをさらに実行し、
    前記ドライバの発話内容に応じた前記要求が発生した理由に関する説明の一部を前記ドライバへ提示し、
    第1の発話内容と前記要求が発生した理由に関する説明の一部との対応付けを記憶部に記憶し、
    前記ドライバの発話内容が前記第1の発話内容に少なくとも類似する場合に、前記第1の発話内容に対応付けられている前記要求が発生した理由に関する説明の一部を前記ドライバへ提示し、
    前記対応付けは、
    前記要求が発生した原因を問う場合に想定される複数の第2の発話内容と、前記要求が発生した原因とを前記要求が発生した理由に関する説明の一部として対応付ける第1の対応付けと、
    前記要求が発生した原因を受けてさらに発生すると想定される質問を含む複数の第3の発話内容と、前記質問に対する回答を前記要求が発生した理由に関する説明の一部として対応付ける少なくとも一つの第2の対応付けと、
    とを含み、
    前記情報処理装置が、
    前記要求が発生した後、前記第1の対応付けを参照し、前記ドライバの発話内容に類似する第2の発話内容に対応付けられた前記要求が発生した原因を前記ドライバへ提示し、
    前記要求が発生した原因をドライバへ提示した後、前記少なくとも一つの第2の対応付けを参照し、前記ドライバの発話内容に類似する第3の発話内容に対応付けられた前記質問に対する回答を前記ドライバへ提示する、
    方法。
  19. 第1の車両の自動運転制御中に手動運転への切り替えの要求が発生したことを検出することと、
    前記要求が発生した場合に、前記要求が発生した理由に関する説明の一部を前記第1の車両のドライバへ提示することと、
    を実行する制御部、
    を備える情報処理装置であって、
    前記制御部は、
    前記要求が発生した場合に、前記ドライバの発話内容を取得することをさらに実行し、
    前記ドライバの発話内容に応じた前記要求が発生した理由に関する説明の一部を前記ドライバへ提示し、
    前記ドライバが手動運転を開始するまで、前記ドライバの発話内容を取得し、前記発話内容に応じた前記要求が発生した理由に関する説明の一部を提示する処理を繰り返し実行する、
    情報処理装置。
  20. 情報処理装置が、
    第1の車両の自動運転制御中に手動運転への切り替えの要求が発生したことを検出することと、
    前記要求が発生した場合に、前記要求が発生した理由に関する説明の一部を前記第1の車両のドライバへ提示することと、
    を含む方法であって、
    前記情報処理装置が、
    前記要求が発生した場合に、前記ドライバの発話内容を取得することをさらに実行し、
    前記ドライバの発話内容に応じた前記要求が発生した理由に関する説明の一部を前記ドライバへ提示し、
    前記ドライバが手動運転を開始するまで、前記ドライバの発話内容を取得し、前記発話内容に応じた前記要求が発生した理由に関する説明の一部を提示する処理を繰り返し実行する、
    方法。
JP2021120685A 2021-07-21 2021-07-21 情報処理装置、方法、及び、車両 Active JP7643226B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021120685A JP7643226B2 (ja) 2021-07-21 2021-07-21 情報処理装置、方法、及び、車両
US17/829,609 US20230025991A1 (en) 2021-07-21 2022-06-01 Information processing apparatus, method, and vehicle
CN202210805457.4A CN115675515B (zh) 2021-07-21 2022-07-08 信息处理装置、方法以及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021120685A JP7643226B2 (ja) 2021-07-21 2021-07-21 情報処理装置、方法、及び、車両

Publications (2)

Publication Number Publication Date
JP2023016404A JP2023016404A (ja) 2023-02-02
JP7643226B2 true JP7643226B2 (ja) 2025-03-11

Family

ID=84977026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021120685A Active JP7643226B2 (ja) 2021-07-21 2021-07-21 情報処理装置、方法、及び、車両

Country Status (3)

Country Link
US (1) US20230025991A1 (ja)
JP (1) JP7643226B2 (ja)
CN (1) CN115675515B (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015209174A (ja) 2014-04-30 2015-11-24 日産自動車株式会社 情報呈示装置及び情報呈示方法
JP2018062321A (ja) 2016-10-14 2018-04-19 トヨタ自動車株式会社 車両制御システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4556586B2 (ja) * 2004-09-22 2010-10-06 トヨタ自動車株式会社 運転支援装置
US10241752B2 (en) * 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
JP6331984B2 (ja) * 2014-11-13 2018-05-30 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
US20170221480A1 (en) * 2016-01-29 2017-08-03 GM Global Technology Operations LLC Speech recognition systems and methods for automated driving
JP6508177B2 (ja) * 2016-04-27 2019-05-08 株式会社デンソー 支援システム、携帯端末、及び車載装置
CN106740853A (zh) * 2016-11-21 2017-05-31 百度在线网络技术(北京)有限公司 一种无人驾驶车辆的驾驶模式切换控制方法和装置
JP6498368B2 (ja) * 2016-12-02 2019-04-10 三菱電機株式会社 自動運転制御計画策定装置および自動運転制御計画の策定方法
DE102018002941A1 (de) * 2018-04-11 2018-10-18 Daimler Ag Verfahren zum Führen eines Sprachdialogs
KR102695306B1 (ko) * 2018-06-27 2024-08-16 현대자동차주식회사 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법
JP6962864B2 (ja) * 2018-05-29 2021-11-05 本田技研工業株式会社 車両制御システム
KR20200075943A (ko) * 2018-12-13 2020-06-29 주식회사 에릭씨앤씨 이동수단의 자율주행시스템
WO2020142717A1 (en) * 2019-01-04 2020-07-09 Cerence Operating Company Methods and systems for increasing autonomous vehicle safety and flexibility using voice interaction
DE102021113988B9 (de) * 2021-05-31 2023-08-17 Bayerische Motoren Werke Aktiengesellschaft Fahrassistenzsystem und Fahrassistenzverfahren für ein Fahrzeug

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015209174A (ja) 2014-04-30 2015-11-24 日産自動車株式会社 情報呈示装置及び情報呈示方法
JP2018062321A (ja) 2016-10-14 2018-04-19 トヨタ自動車株式会社 車両制御システム

Also Published As

Publication number Publication date
CN115675515A (zh) 2023-02-03
CN115675515B (zh) 2026-03-13
JP2023016404A (ja) 2023-02-02
US20230025991A1 (en) 2023-01-26

Similar Documents

Publication Publication Date Title
JP6515764B2 (ja) 対話装置及び対話方法
US9601111B2 (en) Methods and systems for adapting speech systems
US9558739B2 (en) Methods and systems for adapting a speech system based on user competance
US9502030B2 (en) Methods and systems for adapting a speech system
JP6150077B2 (ja) 車両用音声対話装置
CN106471573B (zh) 语音识别装置以及语音识别系统
CN111128143B (zh) 驾驶辅助设备、车辆、驾驶辅助方法及存储程序的非暂时性存储介质
CN111557030B (zh) 用于处理语音输入的方法、设备和具有指令的计算机可读存储介质、具有语音处理的机动车和用户终端设备
CN104603871A (zh) 用于运行车辆用的语音控制的信息系统的方法和设备
US20250292769A1 (en) Collaboration Between a Recommendation Engine and a Voice Assistant
JP2021117941A (ja) エージェント装置、エージェントシステム及びプログラム
CN111086512A (zh) 一种被动语音开启汽车acc功能的方法及装置
JP7272293B2 (ja) エージェント装置、エージェントシステム及びプログラム
JP6104484B2 (ja) 評価情報収集システム
CN112534499A (zh) 声音对话装置、声音对话系统以及声音对话装置的控制方法
JP7643226B2 (ja) 情報処理装置、方法、及び、車両
JP6594721B2 (ja) 音声認識システム、ゲイン設定システム及びコンピュータプログラム
US10468017B2 (en) System and method for understanding standard language and dialects
US11904879B2 (en) Information processing apparatus, recording medium, and information processing method
US11593568B2 (en) Agent system, agent processing method, and non-transitory storage medium that stores an agent processing program
CN114596862A (zh) 一种语音识别引擎确定方法、装置及计算机设备
JP2023127059A (ja) 車載装置、情報処理方法及びプログラム
JP7192858B2 (ja) 機器制御装置及び機器を制御する制御方法
CN117496968A (zh) 车辆的交互方法及装置
JP7434016B2 (ja) 起動語登録の支援方法、支援装置、音声認識装置、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250210

R150 Certificate of patent or registration of utility model

Ref document number: 7643226

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150