Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7715028B2 - 情報提供装置及び情報提供方法 - Google Patents
[go: Go Back, main page]

JP7715028B2 - 情報提供装置及び情報提供方法 - Google Patents

情報提供装置及び情報提供方法

Info

Publication number
JP7715028B2
JP7715028B2 JP2021200245A JP2021200245A JP7715028B2 JP 7715028 B2 JP7715028 B2 JP 7715028B2 JP 2021200245 A JP2021200245 A JP 2021200245A JP 2021200245 A JP2021200245 A JP 2021200245A JP 7715028 B2 JP7715028 B2 JP 7715028B2
Authority
JP
Japan
Prior art keywords
information
user
interest
topic
providing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021200245A
Other languages
English (en)
Other versions
JP2023085925A (ja
Inventor
聡美 衞藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2021200245A priority Critical patent/JP7715028B2/ja
Publication of JP2023085925A publication Critical patent/JP2023085925A/ja
Application granted granted Critical
Publication of JP7715028B2 publication Critical patent/JP7715028B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Navigation (AREA)

Description

本発明は、情報提供装置及び情報提供方法に関するものである。
有人の移動体に備えられ、移動体の走行に関する情報を運転者に提示する情報提示システムが知られている(特許文献1)。当該情報提示システムは、移動体の走行状態を示す走行情報、移動体の走行に必要な外部環境情報及び当該移動体を操作する運転者に係る運転者情報のうち一つ以上の情報をセンサから取得し、取得された情報から、運転者に提示する提示情報を生成し、複数の表示体を介して、生成された提示情報を運転者に覚知させる。
特開2018-134902号公報
しかしながら、上記従来技術では、ユーザに情報を提供する際に、ユーザが、提供された情報に対して関心があるか否かを考慮していない。そのため、上記従来技術では、ユーザが興味のない話題について詳細な追加情報を提供してしまい、ユーザに不快感を与えるという問題がある。
本発明が解決しようとする課題は、ユーザに不快感を与える事態の発生を抑制できる情報提供装置及び情報提供方法を提供することである。
本発明は、車両の現在位置又は目的地に基づいて、ユーザに提供する話題を決定し、当該話題に関する第1情報を、車両に搭載された出力装置を用いてユーザに提供し、第1情報が提供されたことに伴うユーザの行動の変化に基づいて、当該話題に対するユーザの関心の程度を示す関心度を推定し、関心度に応じて、当該話題に関する追加の第2情報を、出力装置を用いてユーザに提供し、さらに、関心度が所定の第1関心度以上で、第2情報をユーザに提供した場合に、関心度が、第1関心度より高い、所定の第2関心度以上であるときは、ユーザと、第1情報で示された物体の画像とを含む画像を出力装置に表示させることと、ユーザが、決定された話題と異なる話題について会話をしている場合に、第1情報をユーザに提供しないことと、音を用いた演出とともに第2情報をユーザに提供する場合に、関心度が高いほど音の音量を大きくすることと、車両の乗員が運転者だけである場合に、第1情報をユーザに提供しないこととのいずれか一つを実行することによって上記課題を解決する。
本発明によれば、関心度に応じて情報を追加するため、ユーザに不快感を与える事態の発生を抑制できる。
本発明に係る情報提供装置を含む情報提供システムの実施形態の一つを示すブロック図である。 図1の検出装置、出力装置及び入力装置の配置の一例を示す正面図である。 図1の検出装置、出力装置及び入力装置の配置の他の例を示す正面図である。 図1の出力装置を用いた第1情報の提供の一例を示す正面図である。 図1の出力装置を用いた第1情報の提供の他の例を示す正面図である。 図1の出力装置を用いた第1情報の提供のまた他の例を示す正面図である。 図1の出力装置を用いた第2情報の提供の一例を示す正面図である。 図1の出力装置を用いた第2情報の提供の他の例を示す正面図である。 図1の出力装置を用いた第2情報の提供のまた他の例を示す正面図である。 図1の情報提供システムにおける情報処理の手順の一例を示すフローチャートである。
以下、本発明の実施形態を図面に基づいて説明する。
[情報提供システムの構成]
図1は、本発明に係る情報提供システム10を示すブロック図である。情報提供システム10は、車載のシステムであり、車両の乗員の指示に従って、情報を受動的に提供するだけでなく、システム自体が、乗員に対して情報を能動的に提供するものである。システムが能動的に情報を提供することで、システムと乗員との間で双方向のコミュニケーションが成立し、システムに対する乗員の満足度を高めることができる。
情報提供システム10は、乗員が設定した目的地まで自律走行制御で走行する自家用車両のほか、レンタカー又はライドシェアのサービスに用いる車両、配車サービスに用いる車両などに搭載できる。配車サービスとは、乗車地から降車地まで利用者を運ぶ車両を、利用者に割り当てて差し向けるサービスであり、たとえば、有人及び無人タクシーを用いた、空港、駅及びホテルなどでの送迎サービスである。以下、情報提供システム10が搭載された車両の乗員のことを、単に「ユーザ」とも言う。
図1に示すように、情報提供システム10は、検出装置1、出力装置2、入力装置3、地図情報4、自車位置検出装置5、ナビゲーション装置6及び情報提供装置7を備える。検出装置1は、車内カメラ11、マイクロフォン12、車外カメラ13、車速センサ14、加速度センサ15及びヨーレートセンサ16を含み、出力装置2は、ディスプレイ21及びスピーカ22を含む。情報提供システム10に含まれる装置は、CAN(Controller Area Network)その他の車載LANによって接続され、互いに情報を授受できる。
検出装置1は、ユーザの状態を検出するための装置である。情報提供装置7は、検出装置1の検出結果を用いて、車内の環境を認識する。車内環境の認識には、主として、車内カメラ11及びマイクロフォン12の検出結果が用られる。
車内カメラ11は、車内に設置されたカメラであり、車内カメラ11としては、CCD、CMOSなどの撮像素子を備えるカメラ、超音波カメラ、赤外線カメラなどを用いることができる。車内カメラ11は、車内カメラ11で取得された画像から、ユーザの状態が適切に検出できる位置に設置される。たとえば、車内カメラ11は、ユーザの表情を認識できるように、ユーザの顔を撮影できる位置に設置される。車内カメラ11が撮影する対象物は、車内に存在する物体であり、たとえば、ユーザの身体(たとえば顔、腕及び脚)、車両のシート及び窓、ディスプレイなどの車載機器及び車載機器のスイッチである。
マイクロフォン12は、車内の音を音声データとして取得するための装置であり、マイクロフォン12としては、スタンドマイク、接話型マイク、ガンマイクなどを用いることができる。マイクロフォン12は、無指向性であってもよく、指向性を有していてもよい。また、通信方式は、有線及び無線のいずれでもよい。マイクロフォン12で取得される音には、ユーザが発する声、ユーザの動作に起因する音、出力装置2のスピーカ22が発する音及びユーザが入力装置3を操作したときに発生する操作音などが含まれる。
車内カメラ11及びマイクロフォン12の数は、ユーザの状態を適切に検出できる範囲内で、適宜の値に設定できる。また、車内カメラ11及びマイクロフォン12の検出結果は、情報提供装置7が、必要に応じて所定の時間間隔で取得する。
検出装置1は、ユーザの状態に加えて、車両の周囲に存在する対象物及び車両の走行状態を検出する。車外の走行環境及び車両の走行状態の認識には、主として、車外カメラ13、車速センサ14、加速度センサ15及びヨーレートセンサ16が用られる。以下、自車両のことを、単に「車両」とも言う。
車外カメラ13は、車外に設置されたカメラであり、車内カメラ11と同様のカメラを用いることができる。情報提供装置7は、車外カメラ13で撮影された画像に基づいて、車両の走行環境を認識する。車外カメラ13は、一台の車両に複数設けることができ、たとえば、車両のフロントグリル部、左右ドアミラーの下部及びリアバンパ近傍に配置される。これにより、車両の周囲の対象物を認識する場合の死角を減らすことができる。車外カメラ13が撮影する対象物は、たとえば、道路の車線境界線、センターライン、路面標識、中央分離帯、ガードレール、縁石、高速道路の側壁、道路標識、信号機、横断歩道、交通制限である。また、対象物には、自車両以外の自動車(他車両)、オートバイ、自転車、歩行者など、車両の走行に影響を与え得る障害物が含まれる。
車速センサ14は、車両の走行速度を検出するための装置であり、たとえば、車両の車輪の回転数に応じたパルス信号を出力し、出力されたパルス信号を用いて、車両の走行速度を算出する。加速度センサ15は、車両の加速度を検出するための装置であり、たとえば、バネとダンパで支えられた錘(マス)の移動量を計測し、計測された移動量を用いて、車両の加速度を算出する。ヨーレートセンサ16は、車両のヨー角の変化率であるヨーレートを検出するための装置であり、たとえばジャイロセンサである。これらに加えて、検出装置1は、舵角センサ及び慣性計測ユニットを含み得る。
車速センサ14、加速度センサ15及びヨーレートセンサ16の数は、車両の走行状態を適切に検出できる範囲内で、適宜の値に設定できる。また、車外カメラ13、車速センサ14、加速度センサ15及びヨーレートセンサ16の検出結果は、情報提供装置7が、必要に応じて所定の時間間隔で取得する。
出力装置2は、情報提供装置7から出力された情報をユーザに提供するための装置であり、ディスプレイ21及びスピーカ22を備える。ディスプレイ21は、たとえば、インストルメントパネルに設けられた液晶ディスプレイ、ヘッドアップディスプレイ(HUD)などのプロジェクターである。また、出力装置2は、ディスプレイ21及びスピーカ22を備えた、人間との双方向のコミュニケーションが可能なロボットであってもよく、ユーザのスマートフォン又はスマートウォッチであってもよい。この場合、ロボット、スマートフォン及びスマートウォッチと、情報提供装置7とは、互いに情報が授受できるように接続されている。
入力装置3は、ユーザが、情報提供装置7に指示を入力するための装置であり、たとえば、ユーザの指触又はスタイラスペンによって入力されるタッチパネル及び車両のステアリングホイールに取付けられたスイッチである。また、検出装置1であるマイクロフォン12は、入力装置3として機能することもできる。具体的には、ユーザの音声による指示をマイクロフォン12で検出し、検出した指示を、入力装置3に入力された指示として情報提供装置7に出力する。
以下、上述した検出装置1、出力装置2及び入力装置3を設置する位置について、図2A~2Bを用いて説明する。
図2Aは、ユーザが乗車する車両において、運転席と助手席の間から前方を見た場合の正面図である。図2Aに示す車両では、運転席は、道路の走行方向に対して右側に設けられ、助手席は、道路の走行方向に対して左側に設けられている。運転席には、運転者の正面に、ステアリングホイールA1及びインストルメントパネルA2が設けられている。インストルメントパネルA2の上方では、ブラケットA3を介して、ルームミラー(後写鏡)A4がルーフに取付けられている。
この場合、車内カメラ11は、たとえば図2Aに示すように、ルームミラーA4に取付けられ、マイクロフォン12は、インストルメントパネルA2の車幅方向の中央部分に設置される。これにより、ユーザの顔及びユーザの発する声を適切に検出できる。また、ディスプレイ21は、ユーザが視認しやすい位置である、インストルメントパネルA2の車幅方向の中央部分において、マイクロフォン12の下側に設置される。そして、スピーカ22は、インストルメントパネルA2内で、ディスプレイ21の左側に設置される。図2Aに示すディスプレイ21は、入力装置3としてのタッチパネルを備える。これに対して、車外カメラ13、車速センサ14、加速度センサ15及びヨーレートセンサ16は、バンパやエンジンルームなど、車室からは視認できない位置に設置されている。
一方、図2Bは、ユーザが乗車する車両において、後部座席から前方を見た場合の正面図である。図2Bに示す車両は、図2Aに示す車両と同様に、運転席は、道路の走行方向に対して右側に設けられ、助手席は、道路の走行方向に対して左側に設けられているものとする。この場合、たとえば図2Bに示すように、ディスプレイ21aを、ブラケットB1を介してルーフB2に取付けることができる。また、助手席側のシートバックB3とヘッドレストB4との間に、ディスプレイ21bを設置し、運転席側のシートバックB5に、ディスプレイ21cを設置できる。図2Bに示すディスプレイ21a~21cは、マイクロフォン及びスピーカを内蔵する。また、ディスプレイ21a~21cは、それぞれ、入力装置3としてのタッチパネルを備える。
なお、図2A~2Bに示す配置は一例であり、検出装置1、出力装置2及び入力装置3を設置する位置は、図2A~2Bに示すものに限定されない。たとえば、図2Aに示す場合において、車内カメラ11は、ルームミラーA4と一体となっていてもよく、マイクロフォン12とスピーカ22が一体となっていてもよい。また、ディスプレイ21の表示部分は、インストルメントパネルA2の車幅方向に拡張してもよく、ヘッドアップディスプレイとして、運転席前方のウインドシールドA5に投影してもよい。一方、図2Bに示す場合において、図2Aに示すような車室前方の車内カメラ11に加えて、車内カメラを、ブラケットB1を介してルーフB2に取付けてもよい。これにより、後部座席のユーザの状態をより適切に検出できる。
図1に戻り、地図情報4は、走行経路の生成及び/又は走行制御に用いられる情報であり、道路情報及び施設情報と、それらの属性情報とが含まれる。道路情報及び道路の属性情報には、道路の幅、道路の曲率半径、路肩の構造物、道路交通法規(制限速度、車線変更の可否)、道路の合流地点と分岐地点、車線数の増加・減少位置などの情報が含まれる。また、地図情報4は、レーンごとの移動軌跡を把握できる高精細地図情報であってもよい。高精細地図情報は、各地図座標における二次元位置情報及び/又は三次元位置情報、各地図座標における道路・レーンの境界情報、道路属性情報、レーンの上り・下り情報、レーン識別情報、接続先レーン情報など含む。地図情報4は、車両に搭載された装置の記録媒体又は車外のサーバに設けられたデータベース9に、読み込み可能な状態で記憶されている。情報提供装置7は、必要に応じて地図情報4を取得する。
自車位置検出装置5は、車両の現在位置を算出するための測位システムである。自車位置検出装置5は、たとえば、GPS(Global Positioning System)用の衛星から受信した電波を用いて、車両の現在位置を算出する。また、これに代えて又はこれに加えて、自車位置検出装置5は、車両の現在位置を、車速センサ14から取得した車速情報及び加速度センサ15から取得した加速度情報を用いて推定し、推定した現在位置を地図情報4と照合し、車両の現在位置を算出する。
ナビゲーション装置6は、自車位置検出装置5により算出された車両の現在位置から、ユーザにより設定された目的地まで走行するための走行経路を算出する装置である。ナビゲーション装置6は、地図情報4の道路情報及び施設情報などを用いて、車両が、現在位置から目的地まで到達するための走行経路を検索する。走行経路は、少なくとも、車両が走行する道路、走行車線及び車両の走行方向の情報を含み、たとえば線形で表示される。検索条件に応じて、走行経路は複数存在し得る。ナビゲーション装置6が算出した走行経路は、必要に応じて、情報提供装置7に出力される。
情報提供装置7は、情報提供システム10に含まれる装置を制御して協働させることで、車両の現在位置又は目的地に基づいて、ユーザに提供する話題を決定し、決定した話題に関する情報をユーザに提供するための装置である。情報提供装置7は、たとえばコンピュータであり、プロセッサであるCPU(Central Processing Unit)71と、プログラムが格納されたROM(Read Only Memory)72と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)73とを備える。CPU71は、ROM72に格納されたプログラムを実行することで、情報提供装置7として機能するための動作回路である。
また、情報提供装置7は、必要に応じて、ネットワークを介して、車外のデータベース9から情報を取得できる。ネットワークは、たとえば、インターネットやLAN(local area network)などの電気通信回線網である。通信方式は、有線であっても無線であってもよく、4G/LTE又は5Gなどのモバイル通信を利用するものであってもよい。
[制御部]
情報提供装置7で用いるプログラムは、ユーザに提供する話題を決定する機能と、ユーザに情報を提供する機能とを実現するための機能ブロックである制御部8を備える。制御部8は、図1に示すように、決定部81、提供部82及び推定部83を備える。図1には、各部を便宜的に抽出して示す。以下、制御部8の各機能ブロックが果たす機能について説明する。
決定部81は、位置情報に基づいて、ユーザに提供する話題を決定する機能を有する。位置情報としては、たとえば、車両の現在位置、ユーザが設定した目的地、設定された走行経路上の位置が挙げられる。車両の現在位置は、自車位置検出装置5から取得され、設定された走行経路と目的地は、ナビゲーション装置6から取得される。ユーザに提供する話題は、位置情報に基づいて決定される限り、特に限定されない。話題としては、車両の現在位置の周辺に存在する、目印や象徴となる建築物(ランドマーク)、目的地の周辺に存在する観光名所又は史跡、設定された走行経路上に存在する名所、目的地に関する歴史、車両の現在位置の地名の由来、設定された走行経路上に出身地が存在する著名人、目的地付近で最近発生した出来事、車両の現在位置周辺の地理的な統計データ(たとえば人口)、目的地の名物料理又はご当地グルメなどが挙げられる。これらの話題に関する情報は、たとえば、位置情報と関連付けられたうえで、施設情報として地図情報4に格納されている。
提供部82は、決定部81により決定された話題に関する情報をユーザに提供する機能を有する。情報の提供には、車両に搭載された出力装置2を用いる。特に、ある話題に関する情報をユーザにはじめて提供する場合は、提供する情報を、画像としてディスプレイ21に表示させる。この際に、スピーカ22を用いた音声による報知はできるだけ行わず、音を発生させる場合は、最低限の効果音だけに限定する。最初から、音声による演出を用いて情報を提供すると、ユーザに不快感を与えるおそれがあるからである。なお、ある話題に関する情報のうち、ユーザにはじめて提供するものを第1情報と言い、それ以外の情報を第2情報として区別する。
ユーザに提供する第1情報は、ユーザに提供する話題に関する基本的な情報である。つまり、ユーザに提供する話題を仄めかす情報であり、話題に関する詳細な情報ではない。これは、話題に対する興味と、話題に関する知識が、ユーザごとに異なるためである。たとえば、象徴的な建築物を話題にすると決定した場合は、第1情報として、建築物の存在を仄めかす情報をユーザに提供する。また、戦国時代の合戦場跡を話題にすると決定した場合は、第1情報として、合戦で戦った軍の軍旗をユーザに提示する。さらに、ご当地グルメを話題にすると決定した場合は、第1情報として、調理又は食事を仄めかす情報をユーザに提供する。第1情報は、話題と関連付けられたうえで、施設情報として地図情報4に格納されている。また、第1情報は、データベース9に格納されていてもよい。以下、ユーザに提供する第1情報の具体例を、図3A~3Cを用いて説明する。
図3Aは、ディスプレイ21aの正面図である。図3Aでは、決定部81により決定された話題が、車両の現在位置の近くに存在する電波塔であるとする。この場合、提供部82は、電波塔の存在をユーザに仄めかすため、電波塔と雲からなる画像Xをディスプレイ21aに表示させる。画像Xは、電波塔をデフォルメしたイラストのデータであり、情報提供装置7のROM72又はデータベース9に格納されている。
図3Bは、ディスプレイ21bの正面図である。図3Bでは、決定部81により決定された話題が、目的地の近くのカフェであるとする。この場合、提供部82は、食事をユーザに仄めかすため、キャラクターが匂いを嗅ぐ仕草をしている画像Yを、ディスプレイ21bに表示させる。画像Yは、静止画でも動画でもよい。画像Yは、画像X同様に、情報提供装置7のROM72又はデータベース9に格納されている。
図3Cは、ディスプレイ21cの正面図である。図3Cでは、決定部81により決定された話題が、車両の現在位置周辺にゆかりのある歌であるとする。この場合、提供部82は、当該歌又は当該歌を歌う歌手をユーザに仄めかすため、たとえば、ディスプレイ21cの左側から右側へ音符が流れる画像Zを、ディスプレイ21cに表示させる。画像Zは動画であり、画像X同様に、情報提供装置7のROM72又はデータベース9に格納されている。
なお、上述したような第1情報を、インストルメントパネルA2に設置されたディスプレイ21に表示する場合は、車両が走行する国の法規に従い、運転者の運転の妨げにならないようにする。
図1に戻り、提供部82は、ユーザが会話を求めていない場合又はユーザの状態が、第1情報をユーザに提供するのに適したものでない場合は、第1情報をユーザに提供しない。たとえば、提供部82は、車両の乗員が運転者だけである場合は、第1情報をユーザに提供しない。運転者が、運転に集中できなくなるおそれがあるからである。
他の例として、提供部82は、運転者以外のユーザのうち、少なくとも一人が眠っている場合は、第1情報をユーザに提供しない。具体的には、車内カメラ11を用いて、ユーザの顔の画像を撮影し、撮影した画像に対してパターンマッチングを行い、運転者以外のユーザの中に、瞼を閉じているユーザがいるか否かを判定する。これに代えて又はこれに加えて、マイクロフォン12を用いてユーザの音声を検出し、検出した音声に対して音声認識を行い、運転者以外のユーザの中に、寝息を立てている又はいびきをかいているユーザがいるか否かを判定する。そして、提供部82は、ユーザの中に、瞼を閉じていびきをかいているユーザがいると判定した場合は、運転者以外のユーザのうち、少なくとも一人が眠っていると判定し、第1情報をユーザに提供しない。
なお、提供部82は、運転者が眠っていると判定した場合は、ディスプレイ21及びスピーカ22を用いて、運転者が眠っていることをユーザに直ちに報知する。
また他の例として、提供部82は、運転者の運転負荷を推定し、運転負荷が所定負荷を超える場合は、第1情報をユーザに提供しない。運転負荷とは、運転者が、障害物との接触を回避して走行するために必要な、認知、判断及び操作に要する負荷の度合いのことを言う。運転負荷は、たとえば、運転者が判断すべき事項の数と、運転者が判断のために使える時間の長短とで推定できる。すなわち、運転者が判断すべき事項の数が多く、判断のために使える時間が短い場合は、運転者が判断すべき事項の数が少なく、判断のために使える時間が長い場合よりも、運転負荷が高いと推定する。運転負荷の推定には、運転者の状態、車両の現在位置、車両の周囲に存在する障害物及び車両の走行状態のうち少なくとも一つを用いる。
たとえば、車両の現在位置が市街地であり、車外カメラ13により、道路を走行する自転車と、路肩に駐車している車両とが複数検出された場合は、運転者は、自転車及び駐車中の車両との接触を回避するため、比較的短い時間(たとえば1~10秒)の間に多くの事項を判断しなければならない。また、混雑した市街地では、回避操作が遅れると、障害物を回避できなくなり停車することになる。そのため、運転者の運転負荷が高いと推定される。
また、車両の現在位置が山間部であり、加速度センサ15及びヨーレートセンサ16の検出結果から、車両が加減速と旋回を繰り返していると判定された場合は、運転者は、山道に沿って走行するために、カーブとカーブの間を走行する時間(たとえば1~5秒)で判断を下し、適切な運転操作をしなければならない。そのため、この場合は、運転者の運転負荷が高いと推定する。同様に、自車両の現在位置が、高速道路の合流地点の付近である場合、自車両が交差点を走行している場合、運転者の瞬きの回数が減少し、周囲の障害物を確認する回数が増加した場合(つまり、運転者が緊張している場合)なども、運転者の運転負荷が高いと推定される。
これに対して、車両の現在位置が、見通しの良い直線の自動車専用道路であり、車速センサ14、加速度センサ15及びヨーレートセンサ16の検出結果から、車両が定速で直進していると判定された場合は、運転者が判断する事項が少なく、回避操作の開始が遅れたとしても、車両と障害物との間に車両が停車するための走行距離が確保できる。そのため、運転者の運転負荷は低いと推定される。
提供部82が第1情報を提供するか否かの基準となる所定負荷は、運転者の認知及び判断に支障が出ない範囲内で、適宜の負荷を設定できる。たとえば、歩行者、自転車及び駐車車両で混雑する市街地又はカーブが続く山道を走行する際の運転負荷を「高」、混雑していない郊外の道路を走行する際の運転負荷を「中」、他車両が周囲に存在しない状態で高速道路を直進する際の運転負荷を「低」と設定した場合は、運転負荷「低」を所定負荷に設定する。これにより、第1情報を、「中」又は「高」の運転負荷にさらされた運転者に提供し、運転者が運転に集中できなくなる事態の発生を抑制できる。
さらに他の例として、提供部82は、ユーザ同士が、決定部81が決定した話題と異なる話題について会話をしている場合は、第1情報をユーザに提供しない。具体的には、マイクロフォン12を用いて、ユーザの発する音声を検出し、検出した音声に対して音声認識の処理を行い、ユーザ同士が話している会話の話題を認識する。提供部82は、会話の内容から話題を認識するために、たとえば、音声認識で取得した会話のテキストデータに対して、形態素解析などのテキストマイニングを行い、出現する単語の意味及び種類(品詞、活用など)と、単語の出現頻度及び出現パターンとに基づいて話題を推定する。これに対して、ユーザ同士が、決定部81が決定した話題と同じ話題について会話をしている場合は、第1情報をユーザに提供する。この際に、ユーザに対して第1情報の提示を報知するため、スピーカ22から効果音を出力してもよい。
推定部83は、決定部81により決定された話題に対して、ユーザがどの程度関心があるのかを推定する機能を有する。以下、話題に対するユーザの関心の程度を、「関心度」とも言う。推定部83は、第1情報が提供された際のユーザの反応に基づいて、関心度を推定する。具体的には、推定部83は、第1情報が出力装置2から提供される前のユーザの行動と、第1情報が出力装置2から提供された後のユーザの行動とを検出する。そして、第1情報が提供されたことに伴い、ユーザの行動が、第1情報の提供の前後でどのように変化したかを認識し、当該変化に基づいて関心度を推定する。
ユーザの行動は、車内カメラ11及びマイクロフォン12を用いて検出する。たとえば、ユーザの顔を含む画像を車内カメラ11から取得し、取得した画像に対してパターンマッチングを行い、ユーザの眼を検出する。そして、ユーザの顔の向きと、眼の中の虹彩及び瞳孔の位置に基づいて、ユーザが見ている方向を検出する。他の例として、ユーザの発する音声をマイクロフォン12から取得し、取得した音声に対して音声認識の処理を行い、ユーザの会話の内容をテキストデータとして検出する。そして、当該テキストデータに対して、単語分割や品詞タグ付けなど適宜の自然言語処理を行い、ユーザの話す内容を認識する。また、タッチパネルなどの入力装置3から操作が入力された場合は、ユーザが、入力装置3に操作を入力していると認識する。
ユーザの行動の変化は、第1情報の提供の前後におけるユーザの行動を比較して認識する。ユーザの行動の変化(ユーザの反応)としては、ユーザの視線が変化する、ユーザが見る対象物が変わる、ユーザ同士の会話の話題が変化する、眠っていたユーザが目を覚ます、ユーザが対象物を指さす、ユーザ同士が会話を始める、ユーザが入力装置3から操作を入力するなどが挙げられる。そして、推定部83は、第1情報の提供の前後で、ユーザの行動に変化がない場合又はユーザが、第1情報の提供を拒否する行動をとった場合は、ユーザが、提供した話題に対して関心を示していないと判定し、関心度が低いと推定する。これに対して、第1情報の提供の前後でユーザの行動が変化し、当該変化が、第1情報の提供を拒否するものでない場合は、ユーザが、提供した話題に対して関心を示していると判定し、関心度が高いと推定する。
第1情報の提供を拒否する行動とは、たとえば、第1情報が提供された後に、ユーザが、所定操作を入力装置3に入力することである。所定操作としては、第1情報が表示されたディスプレイ21の表示を変更し、第1情報の表示を消去する操作、効果音とともに第1情報を報知した後に、スピーカ22の音量を下げる操作、ディスプレイ21の表示をオフにする操作などが挙げられる。第1情報を提供した後に、これらの所定操作が入力装置3に入力された場合は、ユーザの行動が変化していても、ユーザが、第1情報で仄めかされた話題に対して関心を示していないと推定される。そのため、これらの行動が検出された場合は、ユーザの関心度が低いと推定する。また、ユーザの会話の内容が、第1情報で仄めかされた話題に対して否定的な内容である場合も、ユーザが、第1情報の提供を拒否していると判定し、関心度が低いと推定する。
これに対して、ユーザが、ある話題に関する第1情報が提供された後に、当該話題について会話をしている場合は、ユーザは、第1情報で仄めかされた話題に対して関心があると推定される。この場合は、ユーザが、第1情報が提供された後に、第1情報で仄めかされた話題について会話をしていない場合よりも、関心度が高いと推定する。ユーザの会話の内容は、上述のとおり、マイクロフォン12から取得したユーザの音声に対して、音声認識の処理を行って認識する。なお、ユーザが、第1情報で仄めかされた話題について会話をしているとは、第1情報を提示した後に、ユーザが新たに会話を始めた場合だけでなく、ユーザが、第1情報を提示する前から会話をしていた場合に、第1情報を提示することで会話の話題が変化したことを含む。
また、第1情報が、ユーザが車両の現在位置から目視できる、車外の物体に関するものである場合に、ユーザが、第1情報が提供された後に車外を見ているときは、ユーザは、当該車外の物体に関心があると推定される。この場合は、当該車外の物体に関する第1情報が提供された後に、ユーザが車外を見ていない場合よりも、ユーザの関心度が高いと推定する。ユーザが車外を見ているか否かの判定は、上述のとおり、ユーザの顔を含む画像対してパターンマッチングを行い、検出したユーザの顔の向きと、虹彩及び瞳孔の位置とを用いて行う。これに代えて又はこれに加えて、ユーザが、第1情報が提供された後に、第1情報で示された物体が存在する方向を向いた場合は、ユーザが、第1情報が提供された後に、第1情報で示された物体が存在する方向を向かない場合よりも、関心度が高いと推定する。
物体としては、建築物、観光名所、史跡、神社、寺院、レストラン、カフェ、官公庁の庁舎などが挙げられる。ユーザが、車両の現在位置から物体を目視できるか否かは、自車位置検出装置5から取得した車両の現在位置と、地図情報4から取得した物体の位置情報とを用いて判定する。たとえば、車両の現在位置と物体との間の距離を算出し、当該距離が所定距離(たとえば1~2000m)以下であり、車両と物体との間に障害物が存在しない場合は、ユーザが、車両の現在位置から物体を目視できると判定する。これに対して、車両の現在位置と物体との間の距離が所定距離を超える場合又は車両と物体との間に障害物が存在する場合は、ユーザが、車両の現在位置から物体を目視できないと判定する。
ユーザが、第1情報で示された物体の方向を向いたか否かは、自車位置検出装置5から取得した車両の現在位置と、地図情報4から取得した物体の位置情報とを用いて判定する。たとえば、車両の現在位置と物体の位置情報から、車両の現在位置に対して、物体の存在する方向を算出する。そして、画像に対するパターンマッチングを用いて検出した、ユーザの視線の方向と、物体の存在する方向とを比較する。ユーザの視線の方向が、物体の存在する方向と同じである場合は、ユーザが、第1情報で示された物体が存在する方向を向いていると判定し、ユーザの視線の方向が、物体の存在する方向と異なる場合は、ユーザが、第1情報で示された物体が存在する方向を向いていないと判定する。
推定部83は、ユーザの行動の変化に応じて、関心度をいくつかの段階に分けて推定できる。たとえば、関心度を、話題に対して関心がないことを示す「なし」、話題に対する関心が低いことを示す「低」、話題に対する関心があることを示す「中」及び話題に対して関心が高いことを示す「高」の4段階に分けて推定できる。
具体的には、第1情報が提供された後に、ディスプレイ21の表示を変更し、第1情報の表示を消去する操作を入力するなど、ユーザが、第1情報の提供を拒否する行動を取った場合は、関心度を「なし」と推定する。第1情報が提供された前後で、ユーザの行動に変化がない場合は、関心度を「低」と推定する。第1情報が提供された後に、ユーザが、第1情報が表示されたディスプレイ21を見た場合又はユーザが、第1情報で示された物体が存在する方向を向いた場合は、関心度を「中」と推定する。そして、ユーザが、第1情報が提供された後に、第1情報で仄めかされた話題について会話をし、当該話題についてさらに情報を求めている場合は、関心度を「高」と推定する。
車両に複数のユーザが乗車している場合は、第1情報で仄めかされた話題に対して関心がある人数に応じて、関心度を推定する。たとえば、3人のユーザが車両に乗車している場合に、ある話題に対して、2人のユーザが、関心度が「高」であると推定され、残り1人のユーザが、関心度が「低」であると推定されたときは、3人のユーザの関心度を平均し、ユーザ全体の関心度を「中」又は「高」と推定する。この場合に、関心度の段階ごとに関心度を示す値を設定してもよいし、設定された値に対して重み付けをしてもよい。たとえば、関心度「なし」を「0」に設定し、関心度「低」を「1」に設定し、関心度「中」を「2」に設定し、関心度「高」を「3」に設定する。他の例として、関心度「なし」を「-3」に設定し、関心度「低」を「0」に設定し、関心度「中」を「3」に設定し、関心度「高」を「6」に設定する。
本実施形態の提供部82は、ある話題に関する第1情報を提供した後に、推定部83で推定された関心度に応じて、当該話題に関する追加の情報をユーザに提供する。具体的には、推定部83で推定された関心度が、所定の第1関心度より低い場合は、追加の情報をユーザに提供せず、関心度が所定の第1関心度以上の場合は、追加の情報をユーザに提供する。ここで、話題に関する追加の情報を第2情報と言うこととする。このように、関心度に応じて第2情報を提供することで、ユーザが関心のない話題の情報をユーザに提供し、ユーザに不快感を与える事態の発生を抑制できる。
所定の第1関心度は、関心のない話題の情報を提供してユーザに不快感を与えることを抑制できる範囲内で、適宜に設定できる。たとえば、関心度を、上述の「なし」、「低」、「中」及び「高」の4段階に分けて推定した場合は、第1関心度を「中」に設定する。すなわち、関心度が、「中」より低い「なし」又は「低」である場合は、追加の第2情報をユーザに提供しない。これに対して、関心度が、「中」である場合又は「中」より高い「高」である場合は、追加の第2情報をユーザに提供する。
追加の第2情報は、ユーザに提供する話題に関する情報のうち、第1情報よりも詳細な情報である。たとえば、象徴的な建築物を話題にすると決定した場合は、第1情報として、建築物の存在を仄めかす情報をユーザに提供した後、第2情報として、当該建築物の高さ、竣工日、設計者及び歴史的背景などを提供する。また、戦国時代の合戦場跡を話題にすると決定した場合は、第1情報として、合戦で戦った軍の軍旗をユーザに提示した後、第2情報として、合戦に至るまでの経緯をディスプレイ21に表示する。さらに、ご当地グルメを話題にすると決定した場合は、第1情報として、調理又は食事を仄めかす情報をユーザに提供した後、第2情報として、ご当地グルメの代表的なレシピ、ご当地グルメを提供する飲食店の位置などをディスプレイ21に表示する。また、ユーザの会話の内容から、ユーザが、第1情報で示された物体を探していると判定した場合は、第2情報として、当該物体が存在する方向をユーザに知らせる。第2情報は、第1情報と同様に、地図情報4及び/又はデータベース9に格納されている。
提供部82は、推定部83で推定した関心度が高いほど、第2情報をより詳細な情報にする。これに代えて又はこれに加えて、提供部82は、推定部83で推定した関心度が高いほど、前記第2情報の量を増やす。このように、情報提供装置7が、出力する情報の量と質を関心度に応じて能動的に制御することで、システムとユーザとの間のコミュニケーションを円滑にし、システムに対するユーザの満足度をより高めることができる。また、提供部82は、関心度に応じて、スピーカ22から出力される音声を制御することができる。たとえば、第2情報を前記ユーザに提供するときに、効果音や背景音楽(BGM)などの音を用いた演出を用いる。これに加えて、提供部82は、関心度に応じて、スピーカ22から出力される音声の音量を調節する。たとえば、提供部82は、推定された関心度が高いほど、ユーザに不快感を与えない範囲内で、演出に用いる音の音量を大きくする。これにより、ユーザの満足度をより高めることができる。
一例として、象徴的な建築物が話題の場合に、推定部83で推定した関心度が「高」であるときは、第2情報として、当該建築物の高さ、竣工日、設計者及び歴史的背景の情報を、まとめて又は順次、ディスプレイ21に表示する。これとともに、スピーカ22から、効果音と背景音楽を出力する。これに対して、推定部83で推定した関心度が「中」であるときは、当該建築物の高さと竣工日のみをディスプレイ21に表示し、音を用いた演出は行わない。
以下、ユーザに提供する第2情報の具体例を、図4A~4Cを用いて説明する。
図4Aは、ディスプレイ21aの正面図であり、図3Aに示す第1情報をユーザに提供した場合に、ユーザの関心度が「高」であると推定されたときの第2情報を示す。図4Aでは、図3Aに示す画像Xがディスプレイ21aに表示されている状態で、ユーザの顔Xaがディスプレイ21aに表示されている。このように、推定部83で推定された関心度が、所定の第1関心度より高い、所定の第2関心度以上であるときは、第2情報として、ユーザと、第1情報で示された物体の画像とを含む記念写真の画像を、ディスプレイ21aに表示させる。
第2関心度は、ユーザが、提供された話題に関する物体との記念写真を撮ることを不快に感じない範囲内で、適宜に設定できる。記念写真の画像に用いるイラストやフレームのデータは、ROM72又はデータベース9に予め格納されており、必要に応じて、情報提供装置7により取得される。また、記念写真の画像は、ネットワークを介して、情報提供装置7と接続されたデバイス(スマートフォンやタブレットなど)に出力できる。
図4Bは、ディスプレイ21bの正面図であり、図3Bに示す第1情報をユーザに提供した場合に、ユーザの関心度が「中」であると推定されたときの第2情報を示す。図4Bでは、図3Bに示す画像Yにより、食事を仄めかされたユーザが、飲食店について会話をしているものとする。この場合、提供部82は、第2情報として、話題として決定していた、目的地の近くのカフェの情報を提供する。具体的には、ディスプレイ21bの左側の表示部分Yaに、カフェの所在地、メニュー、口コミなどの情報を表示し、ディスプレイ21bの右側の表示部分Ybに、車両の現在位置(アイコンYc)とカフェの位置(アイコンYd)を、地図情報とともに表示する。
図4Cは、ディスプレイ21cの正面図であり、図3Cに示す第1情報をユーザに提供した場合に、ユーザの関心度が「高」であると推定されたときの第2情報を示す。図4Cでは、図3Cに示す画像Zにより、車両の現在位置周辺にゆかりのある歌を仄めかされたユーザが、当該歌を歌う歌手について会話をしているものとする。この場合、提供部82は、第2情報として、現在位置周辺にゆかりのある歌をスピーカ22から出力する。具体的には、ディスプレイ21cの左側の表示部分Zaに、歌の歌詞を、画面がスクロール可能な状態で表示し、ディスプレイ21cの右側の表示部分Zbに、当該歌手が当該歌を歌う動画(ミュージックビデオ)を表示する。当該動画は、ネットワークを介して、データベース9などから取得する。
また、第2情報は、ユーザに提供した話題に関するクイズであってもよい。クイズの内容は特に限定されないが、たとえば、車両の現在位置又は目的地周辺の地理的な統計データが話題の場合は、統計データを用いたクイズを表示する。一例として、目的地が存在する市区町村の人口について尋ねるクイズを表示する。また、設定された走行経路上に出身地が存在する著名人が話題の場合は、当該著名人の年齢を訪ねるクイズを表示する。さらに、車両の現在位置周辺が舞台のアニメーションを話題とする場合は、アニメーションに登場する建築物を尋ねるクイズを表示する。これらのクイズはディスプレイ21に表示されるが、クイズの表示とともに、スピーカ22から効果音及び背景音楽を出力してもよい。
クイズを続けて出題する場合は、クイズの正答率に応じてクイズの難易度を変化させる。つまり、ユーザが、あるクイズに正答した場合は、ユーザが、提供された話題に対してある程度の知識を有すると推定されるので、次に出すクイズの難易度を上げる。これに対して、ユーザが、あるクイズに誤答した場合は、ユーザが、提供された話題に対してあまり知識がないと推定されるので、次に出すクイズの難易度を下げるか、次に出すクイズの分野を変更する。また、クイズに正答した場合に、クイズにまつわる名所を紹介してもよい。たとえば、目的地周辺が舞台のアニメーションを話題とする場合に、当該アニメーションに関する難易度の高いクイズに正答したときは、当該アニメーションに登場する、一般にはあまり知られていない実在の名所を紹介する。
上述したクイズの難易度は、クイズで尋ねる情報の詳細度で調整できる。たとえば、車両の現在位置周辺の地理的な統計データを尋ねるクイズの場合、人口などの基本的な統計データを尋ねれば、クイズの難易度は下がり、全国的にはあまり知られていない名産品について尋ねれば、クイズの難易度は上がる。また、クイズの分野を変更するとは、ある著名人が話題の場合であれば、たとえば、当該著名人の生い立ちに関する分野から、著名人の業績に関する分野に変更することである。
[情報提供システムにおける処理]
図5を参照して、情報提供装置7が情報を処理する際の手順を説明する。図5は、本実施形態の情報提供システム10において実行される、情報の処理を示すフローチャートの一例である。以下に説明する処理は、情報提供装置7のプロセッサであるCPU71により所定の時間間隔で実行される。
まず、ステップS1にて、提供部82の機能により、運転者以外のユーザのうち少なくとも一人が眠っているか否かを判定し、続くステップS2にて、運転者の運転負荷が所定負荷を超えているか否かを判定する。情報提供装置7は、必要に応じて、検出装置1の各装置から検出結果を取得する。ステップS1にて、運転者以外のユーザのうち少なくとも一人が眠っていると判定した場合又はステップS2にて、運転者の運転負荷が所定負荷を超えていると判定した場合は、ルーチンの実行を停止し、情報提供装置7のCPU71による情報処理を終了する。これに対して、ステップS1にて、運転者以外のユーザが眠っていないと判定した場合において、ステップS2にて、運転者の運転負荷が所定負荷以下であると判定した場合は、ステップS3に進む。
ステップS3にて、決定部81の機能により、自車位置検出装置5から車両の現在位置を取得し、続くステップS4にて、ナビゲーション装置6から目的地を取得する。続くステップS5にて、車両の現在位置又は目的地が取得できたか否かを判定する。車両の現在位置又は目的地のいずれも取得できなかった場合は、ステップS3に進み、再度、車両の現在位置を取得する。車両の現在位置情報の取得を、所定回数(たとえば5回)以上繰り返した場合は、ルーチンの実行を停止し、情報提供装置7のCPU71による情報処理を終了してもよい。これに対して、車両の現在位置又は目的地が取得できた場合は、ステップS6に進む。
ステップS6にて、決定部81の機能により、車両の現在位置又は目的地に基づいて、ユーザに提供する話題を決定する。続くステップS7にて、提供部82の機能により、ユーザが、決定した話題と異なる話題について会話をしているか否かを判定する。情報提供装置7は、必要に応じて、マイクロフォン12から検出結果を取得する。ユーザが、決定した話題と異なる話題について会話をしていると判定した場合は、ルーチンの実行を停止し、情報提供装置7のCPU71による情報処理を終了する。これに対して、ユーザが、決定した話題と異なる話題について会話をしていないと判定した場合は、ステップS8に進む。
ステップS8にて、提供部82の機能により、決定した話題に関する第1情報を、ROM72又はデータベース9から取得する。続くステップS9にて、推定部83の機能により、車内カメラ11及びマイクロフォン12を用いて、ユーザの行動を検出する。続くステップS10にて、出力装置2を用いて第1情報をユーザに提供し、続くステップS11にて、再度、ユーザの行動を検出する。そしてステップS12にて、推定部83の機能により、ステップS9及びS11における検出結果に基づいて、ユーザの行動の変化から、提供した話題に対するユーザの関心度を推定する。
ステップS13にて、推定した関心度が、所定の第1関心度以上であるか否かを判定する。関心度が、所定の第1関心度未満であると判定した場合は、ルーチンの実行を停止し、情報提供装置7のCPU71による情報処理を終了する。これに対して、関心度が、所定の第1関心度以上であると判定した場合は、ステップS14に進み、出力装置2を用いて第2情報をユーザに提供する。続くステップS15にて、推定した関心度が、所定の第2関心度以上であるか否かを判定する。関心度が、所定の第2関心度未満であると判定した場合は、ルーチンの実行を停止し、情報提供装置7のCPU71による情報処理を終了する。これに対して、関心度が、所定の第2関心度以上であると判定した場合は、ステップS16に進み、ユーザと、第1情報で示された物体の画像とを含む画像を、ディスプレイ21に表示する。その後、ルーチンの実行を停止し、情報提供装置7のCPU71による情報処理を終了する。なお、ステップS1~S2、ステップS5、ステップS7及びS15~S16は必須のステップではなく、必要に応じて設ければよい。
[本発明の実施態様]
以上のとおり、本実施形態によれば、車両の現在位置又は目的地に基づいて、ユーザに提供する話題を決定する決定部81と、前記話題に関する第1情報を、前記車両に搭載された出力装置2を用いて前記ユーザに提供する提供部82と、前記第1情報が提供されたことに伴う前記ユーザの行動の変化に基づいて、前記話題に対する前記ユーザの関心の程度を示す関心度を推定する推定部83と、を備え、前記提供部82は、前記関心度に応じて、前記話題に関する追加の第2情報を、前記出力装置2を用いて前記ユーザに提供する、情報提供装置7が提供される。これにより、提供した話題に対するユーザの関心度に応じて情報を追加するため、ユーザが関心のない話題の情報を提供し、ユーザに不快感を与える事態の発生を抑制できる。また、システム自体が能動的に情報を提供することで、システムと乗員との間で双方向のコミュニケーションが成立し、システムに対する乗員の満足度を高めることができる。
また、本実施形態の情報提供装置7によれば、前記推定部83は、前記第1情報が提供される前の前記ユーザの行動と、前記第1情報が提供された後の前記ユーザの行動とを検出し、前記第1情報が提供される前の前記ユーザの行動と、前記第1情報が提供された後の前記ユーザの行動と用いて、前記関心度を推定し、前記提供部82は、前記関心度が、所定の第1関心度より低い場合は、前記第2情報を前記ユーザに提供しない。これにより、ユーザが関心のない話題の情報を提供し、ユーザに不快感を与える事態の発生をより抑制できる。
また、本実施形態の情報提供装置7によれば、前記推定部83は、前記ユーザが、前記第1情報が提供された後に前記話題について会話をしている場合は、前記ユーザが、前記第1情報が提供された後に前記話題について会話をしていない場合よりも、前記関心度が高いと推定する。これにより、ユーザの関心度をより正確に推定できる。
また、本実施形態の情報提供装置7によれば、前記推定部83は、前記ユーザが、前記現在位置から目視できる車外の物体に関する前記第1情報が提供された後に車外を見ている場合は、前記ユーザが、前記車外の物体に関する前記第1情報が提供された後に車外を見ていない場合よりも、前記関心度が高いと推定する。これにより、ユーザの関心度をより正確に推定できる。
また、本実施形態の情報提供装置7によれば、前記推定部83は、前記ユーザが、前記第1情報が提供された後に、前記第1情報で示された物体が存在する方向を向いた場合は、前記ユーザが、前記第1情報が提供された後に、前記第1情報で示された前記物体が存在する方向を向かない場合よりも、前記関心度が高いと推定する。これにより、ユーザの関心度をより正確に推定できる。
また、本実施形態の情報提供装置7によれば、前記第2情報は、前記話題に関するクイズを含む。これにより、システムに対するユーザの満足度をより高めることができる。
また、本実施形態の情報提供装置7によれば、前記提供部82は、前記関心度が所定の第1関心度以上で、前記第2情報を前記ユーザに提供した場合に、前記関心度が、前記第1関心度より高い、所定の第2関心度以上であるときは、前記ユーザと、前記第1情報で示された物体の画像とを含む画像を前記出力装置2に表示させる。これにより、より効果的な演出ができる。
また、本実施形態の情報提供装置7によれば、前記提供部82は、運転者以外の前記ユーザのうち少なくとも一人が眠っている場合は、前記第1情報を前記ユーザに提供しない。これにより、ユーザが関心のない話題の情報を提供し、ユーザに不快感を与える事態の発生をより抑制できる。
また、本実施形態の情報提供装置7によれば、前記提供部82は、前記車両の前記現在位置、前記車両の周囲に存在する障害物及び前記車両の走行状態のうち少なくとも一つに基づいて、運転者の運転負荷を推定し、前記運転負荷が所定負荷を超える場合は、前記第1情報を前記ユーザに提供しない。これにより、運転者が運転に集中できなくなる事態の発生を抑制できる。
また、本実施形態の情報提供装置7によれば、前記提供部82は、前記ユーザが、前記決定部が決定した前記話題と異なる話題について会話をしている場合は、前記第1情報を前記ユーザに提供しない。これにより、ユーザ同士の会話を遮り、ユーザに不快感を与える事態の発生を抑制できる。
また、本実施形態の情報提供装置7によれば、前記提供部82は、前記関心度が高いほど、前記第2情報を前記話題に関する詳細な情報にする及び/又は前記第2情報の量を増やす。これにより、出力する情報の量と質を、関心度に応じて能動的に制御できる。その結果、システムとユーザとの間のコミュニケーションが円滑になり、システムに対するユーザの満足度をより高めることができる。
また、本実施形態の情報提供装置7によれば、前記提供部82は、前記第1情報を、音声で報知せずに画像として前記出力装置2に表示させる。これにより、ユーザが関心のない話題の情報を提供し、ユーザに不快感を与える事態の発生をより抑制できる。
また、本実施形態の情報提供装置7によれば、前記提供部82は、音を用いた演出とともに前記第2情報を前記ユーザに提供する。これにより、システムに対するユーザの満足度をより高めることができる。
また、本実施形態の情報提供装置7によれば、前記提供部82は、前記関心度が高いほど、前記音の音量を大きくする。これにより、より効果的な演出ができる。
また、本実施形態によれば、プロセッサにより実行される情報提供方法において、前記プロセッサは、車両の現在位置又は目的地に基づいて、ユーザに提供する話題を決定し、前記話題に関する第1情報を、前記車両に搭載された出力装置2を用いて前記ユーザに提供し、前記第1情報が提供されたことに伴う前記ユーザの行動の変化に基づいて、前記話題に対する前記ユーザの関心の程度を示す関心度を推定し、前記関心度に応じて、前記話題に関する追加の第2情報を、前記出力装置2を用いて前記ユーザに提供する、情報提供方法が提供される。これにより、提供した話題に対するユーザの関心度に応じて情報を追加するため、ユーザが関心のない話題の情報を提供し、ユーザに不快感を与える事態の発生を抑制できる。また、システム自体が能動的に情報を提供することで、システムと乗員との間で双方向のコミュニケーションが成立し、システムに対する乗員の満足度を高めることができる。
10…情報提供システム
1…検出装置
11…車内カメラ
12…マイクロフォン
13…車外カメラ
14…車速センサ
15…加速度センサ
16…ヨーレートセンサ
2…出力装置
21、21a、21b、21c…ディスプレイ
22…スピーカ
3…入力装置
4…地図情報
5…自車位置検出装置
6…ナビゲーション装置
7…情報提供装置
71…CPU(プロセッサ)
72…ROM
73…RAM
8…制御部
81…決定部
82…提供部
83…推定部
9…データベース
A1…ステアリングホイール
A2…インストルメントパネル
A3…ブラケット
A4…ルームミラー(後写鏡)
A5…ウインドシールド
B1…ブラケット
B2…ルーフ
B3、B5…シートバック(背もたれ)
B4…ヘッドレスト
X、Y、Z…画像
Xa…ユーザの顔
Ya、Yb、Za、Zb…表示部分
Yc、Yd…アイコン

Claims (21)

  1. 車両の現在位置又は目的地に基づいて、ユーザに提供する話題を決定する決定部と、
    前記話題に関する第1情報を、前記車両に搭載された出力装置を用いて前記ユーザに提供する提供部と、
    前記第1情報が提供されたことに伴う前記ユーザの行動の変化に基づいて、前記話題に対する前記ユーザの関心の程度を示す関心度を推定する推定部と、を備え、
    前記提供部は、
    前記関心度に応じて、前記話題に関する追加の第2情報を、前記出力装置を用いて前記ユーザに提供し、
    前記関心度が所定の第1関心度以上で、前記第2情報を前記ユーザに提供した場合に、前記関心度が、前記第1関心度より高い、所定の第2関心度以上であるときは、前記ユーザと、前記第1情報で示された物体の画像とを含む画像を前記出力装置に表示させる、情報提供装置。
  2. 車両の現在位置又は目的地に基づいて、ユーザに提供する話題を決定する決定部と、
    前記話題に関する第1情報を、前記車両に搭載された出力装置を用いて前記ユーザに提供する提供部と、
    前記第1情報が提供されたことに伴う前記ユーザの行動の変化に基づいて、前記話題に対する前記ユーザの関心の程度を示す関心度を推定する推定部と、を備え、
    前記提供部は、
    前記関心度に応じて、前記話題に関する追加の第2情報を、前記出力装置を用いて前記ユーザに提供し、
    前記ユーザが、前記決定部が決定した前記話題と異なる話題について会話をしている場合は、前記第1情報を前記ユーザに提供しない、情報提供装置。
  3. 車両の現在位置又は目的地に基づいて、ユーザに提供する話題を決定する決定部と、
    前記話題に関する第1情報を、前記車両に搭載された出力装置を用いて前記ユーザに提供する提供部と、
    前記第1情報が提供されたことに伴う前記ユーザの行動の変化に基づいて、前記話題に対する前記ユーザの関心の程度を示す関心度を推定する推定部と、を備え、
    前記提供部は、
    前記関心度に応じて、前記話題に関する追加の第2情報を、前記出力装置を用いて前記ユーザに提供し、
    音を用いた演出とともに前記第2情報を前記ユーザに提供し、
    前記関心度が高いほど、前記音の音量を大きくする、情報提供装置。
  4. 車両の現在位置又は目的地に基づいて、ユーザに提供する話題を決定する決定部と、
    前記話題に関する第1情報を、前記車両に搭載された出力装置を用いて前記ユーザに提供する提供部と、
    前記第1情報が提供されたことに伴う前記ユーザの行動の変化に基づいて、前記話題に対する前記ユーザの関心の程度を示す関心度を推定する推定部と、を備え、
    前記提供部は、
    前記関心度に応じて、前記話題に関する追加の第2情報を、前記出力装置を用いて前記ユーザに提供し、
    前記車両の乗員が運転者だけである場合は、前記第1情報を前記ユーザに提供しない、情報提供装置。
  5. 前記推定部は、
    前記第1情報が提供される前の前記ユーザの行動と、前記第1情報が提供された後の前記ユーザの行動とを検出し、
    前記第1情報が提供される前の前記ユーザの行動と、前記第1情報が提供された後の前記ユーザの行動と用いて、前記関心度を推定し、
    前記提供部は、
    前記関心度が、所定の第1関心度より低い場合は、前記第2情報を前記ユーザに提供しない、請求項1~4のいずれか一項に記載の情報提供装置。
  6. 前記推定部は、前記ユーザが、前記第1情報が提供された後に前記話題について会話をしている場合は、前記ユーザが、前記第1情報が提供された後に前記話題について会話をしていない場合よりも、前記関心度が高いと推定する、請求項1~5のいずれか一項に記載の情報提供装置。
  7. 前記推定部は、前記ユーザが、前記現在位置から目視できる車外の物体に関する前記第1情報が提供された後に車外を見ている場合は、前記ユーザが、前記車外の物体に関する前記第1情報が提供された後に車外を見ていない場合よりも、前記関心度が高いと推定する、請求項1~のいずれか一項に記載の情報提供装置。
  8. 前記推定部は、前記ユーザが、前記第1情報が提供された後に、前記第1情報で示された物体が存在する方向を向いた場合は、前記ユーザが、前記第1情報が提供された後に、前記第1情報で示された前記物体が存在する方向を向かない場合よりも、前記関心度が高いと推定する、請求項1~のいずれか一項に記載の情報提供装置。
  9. 前記第2情報は、前記話題に関するクイズを含む、請求項1~のいずれか一項に記載の情報提供装置。
  10. 前記提供部は、前記関心度が所定の第1関心度以上で、前記第2情報を前記ユーザに提供した場合に、前記関心度が、前記第1関心度より高い、所定の第2関心度以上であるときは、前記ユーザと、前記第1情報で示された物体の画像とを含む画像を前記出力装置に表示させる、請求項2~4のいずれか一項に記載の情報提供装置。
  11. 前記提供部は、運転者以外の前記ユーザのうち少なくとも一人が眠っている場合は、前記第1情報を前記ユーザに提供しない、請求項1~10のいずれか一項に記載の情報提供装置。
  12. 前記提供部は、
    前記車両の前記現在位置、前記車両の周囲に存在する障害物及び前記車両の走行状態のうち少なくとも一つに基づいて、運転者の運転負荷を推定し、
    前記運転負荷が所定負荷を超える場合は、前記第1情報を前記ユーザに提供しない、請求項1~11のいずれか一項に記載の情報提供装置。
  13. 前記提供部は、前記ユーザが、前記決定部が決定した前記話題と異なる話題について会話をしている場合は、前記第1情報を前記ユーザに提供しない、請求項1、3及び4のいずれか一項に記載の情報提供装置。
  14. 前記提供部は、前記関心度が高いほど、前記第2情報を前記話題に関する詳細な情報にする及び/又は前記第2情報の量を増やす、請求項1~13のいずれか一項に記載の情報提供装置。
  15. 前記提供部は、前記第1情報を、音声で報知せずに画像として前記出力装置に表示させる、請求項1~14のいずれか一項に記載の情報提供装置。
  16. 前記提供部は、音を用いた演出とともに前記第2情報を前記ユーザに提供する、請求項1、2及び4のいずれか一項に記載の情報提供装置。
  17. 前記提供部は、前記関心度が高いほど、前記音の音量を大きくする、請求項16に記載の情報提供装置。
  18. プロセッサにより実行される情報提供方法において、
    前記プロセッサは、
    車両の現在位置又は目的地に基づいて、ユーザに提供する話題を決定し、
    前記話題に関する第1情報を、前記車両に搭載された出力装置を用いて前記ユーザに提供し、
    前記第1情報が提供されたことに伴う前記ユーザの行動の変化に基づいて、前記話題に対する前記ユーザの関心の程度を示す関心度を推定し、
    前記関心度に応じて、前記話題に関する追加の第2情報を、前記出力装置を用いて前記ユーザに提供し、
    前記関心度が所定の第1関心度以上で、前記第2情報を前記ユーザに提供した場合に、前記関心度が、前記第1関心度より高い、所定の第2関心度以上であるときは、前記ユーザと、前記第1情報で示された物体の画像とを含む画像を前記出力装置に表示させる、情報提供方法。
  19. プロセッサにより実行される情報提供方法において、
    前記プロセッサは、
    車両の現在位置又は目的地に基づいて、ユーザに提供する話題を決定し、
    前記話題に関する第1情報を、前記車両に搭載された出力装置を用いて前記ユーザに提供し、
    前記第1情報が提供されたことに伴う前記ユーザの行動の変化に基づいて、前記話題に対する前記ユーザの関心の程度を示す関心度を推定し、
    前記関心度に応じて、前記話題に関する追加の第2情報を、前記出力装置を用いて前記ユーザに提供し、
    前記ユーザが、前記車両の現在位置又は目的地に基づいて決定された前記話題と異なる話題について会話をしている場合は、前記第1情報を前記ユーザに提供しない、情報提供方法。
  20. プロセッサにより実行される情報提供方法において、
    前記プロセッサは、
    車両の現在位置又は目的地に基づいて、ユーザに提供する話題を決定し、
    前記話題に関する第1情報を、前記車両に搭載された出力装置を用いて前記ユーザに提供し、
    前記第1情報が提供されたことに伴う前記ユーザの行動の変化に基づいて、前記話題に対する前記ユーザの関心の程度を示す関心度を推定し、
    前記関心度に応じて、前記話題に関する追加の第2情報を、前記出力装置を用いて前記ユーザに提供し、
    音を用いた演出とともに前記第2情報を前記ユーザに提供し、
    前記関心度が高いほど、前記音の音量を大きくする、情報提供方法。
  21. プロセッサにより実行される情報提供方法において、
    前記プロセッサは、
    車両の現在位置又は目的地に基づいて、ユーザに提供する話題を決定し、
    前記話題に関する第1情報を、前記車両に搭載された出力装置を用いて前記ユーザに提供し、
    前記第1情報が提供されたことに伴う前記ユーザの行動の変化に基づいて、前記話題に対する前記ユーザの関心の程度を示す関心度を推定し、
    前記関心度に応じて、前記話題に関する追加の第2情報を、前記出力装置を用いて前記ユーザに提供し、
    前記車両の乗員が運転者だけである場合は、前記第1情報を前記ユーザに提供しない、情報提供方法。
JP2021200245A 2021-12-09 2021-12-09 情報提供装置及び情報提供方法 Active JP7715028B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021200245A JP7715028B2 (ja) 2021-12-09 2021-12-09 情報提供装置及び情報提供方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021200245A JP7715028B2 (ja) 2021-12-09 2021-12-09 情報提供装置及び情報提供方法

Publications (2)

Publication Number Publication Date
JP2023085925A JP2023085925A (ja) 2023-06-21
JP7715028B2 true JP7715028B2 (ja) 2025-07-30

Family

ID=86775783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021200245A Active JP7715028B2 (ja) 2021-12-09 2021-12-09 情報提供装置及び情報提供方法

Country Status (1)

Country Link
JP (1) JP7715028B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12511939B2 (en) * 2024-06-12 2025-12-30 Toyota Jidosha Kabushiki Kaisha Photograph acquisition and object identification method and apparatus

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009054039A1 (ja) 2007-10-22 2009-04-30 Pioneer Corporation 音量制御装置、音量制御方法、音量制御プログラムおよび記録媒体
JP2018027731A (ja) 2016-08-16 2018-02-22 株式会社デンソーテン 車載装置、車載装置の制御方法およびコンテンツ提供システム
JP2020175790A (ja) 2019-04-19 2020-10-29 矢崎総業株式会社 オーディオ制御システム及びオーディオ制御方法
JP2021107801A (ja) 2019-12-27 2021-07-29 本田技研工業株式会社 自動運転車両、画像表示方法およびプログラム
JP2021107772A (ja) 2019-12-27 2021-07-29 本田技研工業株式会社 車両用報知装置、車両用報知方法及びプログラム
JP2021162542A (ja) 2020-04-03 2021-10-11 株式会社Subaru 運転支援装置及びデータ収集システム
JP2021162569A (ja) 2020-03-31 2021-10-11 本田技研工業株式会社 情報提供装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0983277A (ja) * 1995-09-18 1997-03-28 Fujitsu Ten Ltd 音量調整装置
JP2017021420A (ja) * 2015-07-07 2017-01-26 住友電気工業株式会社 情報処理装置、端末装置、情報処理方法および情報処理プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009054039A1 (ja) 2007-10-22 2009-04-30 Pioneer Corporation 音量制御装置、音量制御方法、音量制御プログラムおよび記録媒体
JP2018027731A (ja) 2016-08-16 2018-02-22 株式会社デンソーテン 車載装置、車載装置の制御方法およびコンテンツ提供システム
JP2020175790A (ja) 2019-04-19 2020-10-29 矢崎総業株式会社 オーディオ制御システム及びオーディオ制御方法
JP2021107801A (ja) 2019-12-27 2021-07-29 本田技研工業株式会社 自動運転車両、画像表示方法およびプログラム
JP2021107772A (ja) 2019-12-27 2021-07-29 本田技研工業株式会社 車両用報知装置、車両用報知方法及びプログラム
JP2021162569A (ja) 2020-03-31 2021-10-11 本田技研工業株式会社 情報提供装置
JP2021162542A (ja) 2020-04-03 2021-10-11 株式会社Subaru 運転支援装置及びデータ収集システム

Also Published As

Publication number Publication date
JP2023085925A (ja) 2023-06-21

Similar Documents

Publication Publication Date Title
US11366513B2 (en) Systems and methods for user indication recognition
JP4380541B2 (ja) 車両用エージェント装置
US11460309B2 (en) Control apparatus, control method, and storage medium storing program
CN111599356B (zh) 智能体系统、信息处理装置、信息处理方法及存储介质
JP7340940B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
US20210166275A1 (en) System and method for providing content to a user based on a predicted route identified from audio or images
CN107450531A (zh) 动态地将用户引导至自主驾驶交通工具的搭载位置的系统
CN113544757B (zh) 信息处理装置、信息处理方法,以及移动体装置
JP2020050204A (ja) 車両の走行制御方法及び走行制御装置
JP2001056225A (ja) エージェント装置
JP4936094B2 (ja) エージェント装置
JP7107157B2 (ja) 操作支援方法及び操作支援装置
JP2019131096A (ja) 車両制御支援システムおよび車両制御支援装置
JP3931339B2 (ja) 車両用情報提供装置
JP6500139B1 (ja) 視覚支援装置
US12456310B2 (en) Information processing device, information processing system, and information processing method
JP7715028B2 (ja) 情報提供装置及び情報提供方法
WO2022124164A1 (ja) 注目対象共有装置、注目対象共有方法
JP2017182418A (ja) 運転支援装置及び運転支援システム
JP2019104354A (ja) 情報処理方法及び情報処理装置
JP3890596B2 (ja) 車両用情報提供装置
JP3890595B2 (ja) 車両用情報提供装置
JP3931337B2 (ja) 車両用情報提供装置
JP6323211B2 (ja) 車両用情報提示装置
US20260091674A1 (en) Information management device, display control method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250604

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250630

R150 Certificate of patent or registration of utility model

Ref document number: 7715028

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150