JP7632351B2 - 情報処理装置、車両システム、情報処理方法、およびプログラム - Google Patents

Description

本開示は、動画共有サービスに関する。

車両の運転者の感情をセンシングし、活用する技術が提案されている。これに関連して、特許文献１には、運転者の感情を推定し、運転者が不快感を抱かないような経路を生成するシステムが開示されている。

特開２０１８－１０６５３０号公報

本開示は、車両のユーザの利便性を高めることを目的とする。

本開示の第一の態様は、車両に搭載されたカメラによって取得された画像に基づいて、前記車両の運転者の感情を推定することと、前記運転者の感情として所定の感情が推定された地点である第一の地点を特定することと、を実行する制御部を有する制御部を有する、情報処理装置である。

また、本開示の第二の態様は、車両に搭載された車載装置と、複数の前記車両を管轄するサーバ装置と、を含む車両システムであって、前記車載装置は、前記車両に搭載されたカメラによって取得された画像に基づいて、前記車両の運転者の感情を推定することと、前記推定された感情を位置情報と関連付けたデータである感情データを前記サーバ装置に送信することと、を実行する第一の制御部を有し、前記サーバ装置は、複数の前記車載装置から受信した前記感情データに基づいて、複数の運転者のそれぞれが抱いた感情を地点または道路区間ごとに集計したデータを生成する第二の制御部を有する、車両システムである。

また、本開示の第三の態様は、車両に搭載されたカメラによって取得された画像に基づいて、前記車両の運転者の感情を推定するステップと、前記運転者の感情として所定の感情が推定された地点である第一の地点を特定するステップと、を含む、情報処理方法である。

また、本開示の他の態様は、上記の情報処理方法をコンピュータに実行させるためのプログラム、および、当該プログラムを非一時的に記憶したコンピュータ可読記憶媒体である。

本開示によれば、車両のユーザの利便性を高めることができる。

第一の実施形態に係る車両システムの概要を説明する図。 第一の実施形態に係る車載装置１００のシステム構成図。 車載装置１００が生成する感情データの例。 車載装置１００のモジュール間で送受信されるデータを説明する図。 車載装置１００のモジュール間で送受信されるデータを説明する図。 車載装置１００が生成する感情マップの例。 車載装置１００が実行する第一の処理のフローチャート。 車載装置１００が実行する第二の処理のフローチャート。 第二の実施形態に係る車両システムの概要を説明する図。 第二の実施形態に係る車載装置１００のシステム構成図。 第二の実施形態に係るサーバ装置２００のシステム構成図。 第二の実施形態において送受信されるデータのシーケンス図。 第二の実施形態で生成される感情マップの例。 第三の実施形態で生成される感情データの例。 第四の実施形態で生成される感情データの例。 第四の実施形態で生成される感情マップの例。

車両の運転者の顔を撮像して得られた画像に基づいて、運転のサポートを行うシステムが知られている。例えば、運転者の顔画像に基づいて、当該運転者が眠気を催していることを検出し、休憩を促すといったことが可能である。また、運転者の感情を検出し、適切な情報提供を行うことができる。

本開示に係る情報処理装置は、運転者の感情に基づいて、適切な経路を案内するための技術を提供する。

本開示の一態様に係る情報処理装置は、車両に搭載されたカメラによって取得された画像に基づいて、前記車両の運転者の感情を推定することと、前記運転者の感情として所定の感情が推定された地点である第一の地点を特定することと、を実行する制御部を有することを特徴とする。

カメラは、例えば、車内に向けて設置された車載カメラであるが、運転者の顔を捉えることができることができれば、これに限られない。例えば、３６０度の方向を撮影できる、全方位型のドライブレコーダーが有するカメラを利用することもできる。
制御部は、車載カメラが取得した画像に基づいて運転者の感情を推定し、所定の感情が検出された第一の地点を特定する。所定の感情は、予め定められた複数の感情のうちのいずれか一つ、または、複数であってもよい。例えば、「怒り」「苛立ち」「困惑」「喜び」といった、複数の感情が対象であってもよい。

推定結果は、第一の地点と関連付けて記憶されてもよい。斯様なデータ（感情データと称する）を蓄積することで、特定の地点（または道路区間）において特定の感情が発生する傾向があることを判定できるようになる。なお、感情データに基づいて、運転者が特定の感情を抱く傾向にある地点（または道路区間）を道路地図にマッピングしてもよい。

制御部は、感情データを、感情に関する取りまとめを行う外部装置に送信してもよい。かかる構成によると、複数の車両から送信された感情データを外部装置によって集計させることが可能になる。これにより、例えば、多くの運転者が快適に通過できない道路区間を特定し、その旨を教示するマップを生成するといったことが可能になる。

本開示の一態様に係る車両システムは、車両に搭載された車載装置と、複数の前記車両を管轄するサーバ装置と、を含む車両システムであって、前記車載装置は、前記車両に搭載されたカメラによって取得された画像に基づいて、前記車両の運転者の感情を推定することと、前記推定された感情を位置情報と関連付けたデータである感情データを前記サー
バ装置に送信することと、を実行する第一の制御部を有し、前記サーバ装置は、複数の前記車載装置から受信した前記感情データに基づいて、複数の運転者のそれぞれが抱いた感情を地点または道路区間ごとに集計したデータを生成する第二の制御部を有する、車両システムである。
このように、サーバ装置が、感情に関する取りまとめを行ってもよい。

以下、本開示の具体的な実施形態について図面に基づいて説明する。各実施形態に記載されているハードウェア構成、モジュール構成、機能構成等は、特に記載がない限りは開示の技術的範囲をそれらのみに限定する趣旨のものではない。

（第一の実施形態）
第一の実施形態に係る車両システムの概要について、図１を参照しながら説明する。
本実施形態に係る車両システムは、車両に搭載された車載装置１００を含んで構成される。車載装置１００は、車内を撮像可能なカメラを有しており、当該カメラが取得した画像に基づいて、運転者の感情を推定可能に構成される。
車載装置１００は、車両の走行中において周期的に運転者の感情推定を行い、特定の感情を検出した場合に、その結果を、位置情報と関連付けて記憶する。また、車載装置１００は、記憶されたデータに基づいて、推定された感情を道路地図にマッピングする。

車載装置１００について詳しく説明する。
車載装置１００は、車両に搭載されたコンピュータである。車載装置１００は、車両の乗員に情報を提供する装置（例えば、カーナビゲーション装置）であってもよい。車載装置１００は、カーナビゲーション装置、インフォテインメント装置、ヘッドユニットとも呼ばれる。車載装置１００によって、車両の乗員に対して、ナビゲーションや娯楽の提供を行うことができる。

また、車載装置１００は、車両１０の走行中においてデータを蓄積し、蓄積したデータに基づいて、車両のユーザ（典型的には運転者）に対して情報提供を行う。本実施形態では、車載装置１００は、車両１０の運転者の感情を検出し、検出した感情を地点ないし道路区間ごとにマッピングした道路地図を生成し、出力する。
車載装置１００は、制御部１０１、記憶部１０２、通信部１０３、入出力部１０４、カメラ１０５、および、位置情報取得部１０６を有して構成される。

車載装置１００は、汎用のコンピュータにより構成することができる。すなわち、車載装置１００は、ＣＰＵやＧＰＵ等のプロセッサ、ＲＡＭやＲＯＭ等の主記憶装置、ＥＰＲＯＭ、ハードディスクドライブ、リムーバブルメディア等の補助記憶装置を有するコンピュータとして構成することができる。補助記憶装置には、オペレーティングシステム（ＯＳ）、各種プログラム、各種テーブル等が格納され、そこに格納されたプログラムを実行することによって、後述するような、所定の目的に合致した各機能を実現することができる。ただし、一部または全部の機能はＡＳＩＣやＦＰＧＡのようなハードウェア回路によって実現されてもよい。

制御部１０１は、車載装置１００が行う制御を司る演算装置である。制御部１０１は、ＣＰＵ（Central Processing Unit）などの演算処理装置によって実現することができる
。
制御部１０１は、感情推定部１０１１、データ生成部１０１２、および、マップ生成部１０１３の３つの機能モジュールを有して構成される。各機能モジュールは、記憶されたプログラムをＣＰＵによって実行することで実現してもよい。

感情推定部１０１１は、車両１０の走行中において、後述するカメラ１０５を用いて運
転者の顔画像を取得し、当該顔画像に基づいて、運転者の感情を推定する。感情の推定は、既知の技術を用いて行うことができる。例えば、感情推定部１０１１は、顔画像を特徴量に変換し、得られた特徴量を、感情推定を行うための機械学習モデルに入力する。機械学習モデルは、例えば、入力された特徴量を、複数のクラスのうちのいずれかに分類し、その結果を尤度とともに出力する。
これにより、クラス分類された感情と、対応する尤度を得ることができる。感情推定部１０１１は、所定値以上の尤度が得られたクラスがある場合に、当該クラスに対応する感情を運転者が抱いていると判定することができる。判定結果は、データ生成部１０１２へ送信される。

データ生成部１０１２は、感情推定部１０１１が行った推定の結果に基づいて、推定された感情と、地点とを関連付けたデータ（感情データ）を生成する。
図３は、データ生成部１０１２が生成する感情データの一例である。本実施形態では、感情データは、日時情報、トリップの識別子（トリップＩＤ）、位置情報、感情の識別子（感情ＩＤ）を含む。
日時情報は、感情の推定を行った日時である。トリップとは、車両のシステム電源が投入されてから、システム電源が遮断されるまでにおける走行の単位である。データ生成部１０１２は、車両のシステム電源が投入されるごとに、新しいトリップに対応する識別子（トリップＩＤ）を付与する。
位置情報は、後述する位置情報取得部１０６が取得した、車両１０の位置情報（緯度，経度）である。
感情の識別子は、事前に定義された識別子である。例えば、感情推定部１０１１が、６種類の感情を識別できる場合、トリップＩＤには、６種類の識別子のいずれかが格納される。
データ生成部１０１２は、感情の推定が行われるたびに感情データを生成し、生成した感情データを後述する記憶部１０２に記憶させる。

マップ生成部１０１３は、記憶された感情データに基づいて、特定の感情が発生した地点ないし道路区間を道路地図にマッピングし、その結果を出力する。以降、感情がマッピングされた道路地図を感情マップと称する。
マッピングに使用する感情データは、任意の基準によって抽出してもよい。例えば、過去の所定期間において発生した感情データを抽出し、マッピングに利用してもよい。所定期間は、ユーザによって指定されてもよいし、システムが決定してもよい。
車両１０のユーザは、感情マップを参照することで、快適に走行できる地点や道路区間、または、運転にストレスがかかる地点や道路区間を把握することが可能になる。

記憶部１０２は、情報を記憶する手段であり、ＲＡＭ、磁気ディスクやフラッシュメモリなどの記憶媒体により構成される。
記憶部１０２は、主記憶装置と補助記憶装置を含んで構成される。主記憶装置は、制御部１０１によって実行されるプログラムや、当該制御プログラムが利用するデータが展開されるメモリである。補助記憶装置は、制御部１０１において実行されるプログラムや、当該制御プログラムが利用するデータが記憶される装置である。補助記憶装置には、制御部１０１で実行されるプログラムをアプリケーションとしてパッケージ化したものを記憶してもよい。また、これらのアプリケーションを実行するためのオペレーティングシステムを記憶してもよい。補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、制御部１０１によって実行されることで、以降に説明する処理が行われる。

記憶部１０２には、推定モデル１０２Ａ、感情データ１０２Ｂ、および、道路データ１０２Ｃが記憶される。

推定モデル１０２Ａは、感情の推定を行うための機械学習モデルである。推定モデル１０２Ａは、人の顔を含む画像から得られた特徴量を入力としてクラス分類を行い、その結果を出力する。例えば、推定モデル１０２Ａは、特徴量を、予め定められた複数の感情のいずれかに分類する。複数の感情として、例えば、驚き、興奮、幸福、警戒、満足、寛ぎ、平静、眠気、退屈、憂鬱、悲観、緊張、興奮、不満などが例示できる。推定モデル１０２Ａは、学習用の画像データに基づいて予め構築されたものである。
なお、推定モデル１０２Ａは、分類結果である感情とともに、尤度を出力可能なものであってもよい。

感情データ１０２Ｂは、感情推定部１０１１が生成した複数の感情データの集合である。
道路データ１０２Ｃは、感情マップを生成するためのベースとなる道路地図データである。道路データ１０２Ｃは、例えば、道路リンクの地理的位置および接続関係を定義したデータである。

通信部１０３は、無線通信を行うためのアンテナと通信モジュールを含む。アンテナは、無線信号の入出力を行うアンテナ素子である。本実施形態では、アンテナは、移動体通信（例えば、３Ｇ、ＬＴＥ、５Ｇ等の移動体通信）に適合したものである。なお、アンテナは、複数の物理的なアンテナを含んで構成されてもよい。例えば、マイクロ波やミリ波などの高周波帯の電波を利用した移動体通信を行う場合、通信の安定化を図るため、複数のアンテナを分散して配置してもよい。通信モジュールは、移動体通信を行うためのモジュールである。

入出力部１０４は、ユーザが行った入力操作を受け付け、ユーザに対して情報を提示する手段である。具体的には、タッチパネルとその制御手段、液晶ディスプレイとその制御手段から構成される。タッチパネルおよび液晶ディスプレイは、本実施形態では一つのタッチパネルディスプレイからなる。入出力部１０４は、音声の出力を行うユニット（アンプやスピーカ）、音声の入力を行うユニット（マイク）等を含んでいてもよい。

カメラ１０５は、画像を取得するための画像センサを含む光学ユニットである。本実施形態では、カメラ１０５は、車両１０の運転者の顔を含む画像（顔画像）を取得可能な位置に設置される。
位置情報取得部１０６は、位置情報を測位するためのＧＰＳアンテナと測位モジュールを含む。ＧＰＳアンテナは、測位衛星（ＧＮＳＳ衛星とも称する）から送信された測位信号を受信するアンテナである。測位モジュールは、ＧＰＳアンテナによって受信された信号に基づいて、位置情報を算出するモジュールである。

なお、図２に示した構成は一例であり、図示した機能の全部または一部は、専用に設計された回路を用いて実行されてもよい。また、図示した以外の、主記憶装置および補助記憶装置の組み合わせによってプログラムの記憶ないし実行を行ってもよい。

次に、車載装置１００が実行する処理の詳細について説明する。
図４および図５は、車載装置１００が有する構成要素（モジュール）間におけるデータの流れを説明する図である。
図４は、顔画像に基づいて感情データを生成する処理に対応し、図５は、感情データに基づいて感情マップを生成する処理に対応する。

まず、顔画像に基づいて感情データを生成する処理（図４）について説明する。
感情推定部１０１１は、車両１０の走行中において、カメラ１０５から顔画像を取得する。顔画像には、車両１０の運転者の顔が含まれる。感情推定部１０１１は、取得した顔
画像を特徴量に変換し、推定モデル１０２Ｂに入力する。
前述の通り、推定モデル１０２Ｂは、特徴量に基づいてクラス分類を行う機械学習モデルである。この結果、分類先となる感情（例えば、「満足」「平静」「憂鬱」「緊張」「不満」など）と、その尤度を得ることができる。感情推定部１０１１は、例えば、尤度が最も高い感情を、運転者が抱いている感情であると推定する。分類結果は、データ生成部１０１２へ送信される。

データ生成部１０１２は、分類結果と、車両１０の位置情報に基づいて、図３に示したような感情データを生成する。
図４に示した処理は、車両１０の走行中において周期的に実行される。この結果、感情データの複数のレコードが記憶部１０２に蓄積される。

次に、図５を参照して、感情データに基づいて感情マップを生成する処理について説明する。
マップ生成部１０１３は、記憶部１０２から、感情マップを生成するために使用する感情データ（複数のレコード）を抽出する。抽出対象の感情データは、ユーザが指定してもよいし、システムが決定してもよい。例えば、過去の所定期間に発生した感情データを抽出対象とすることができる。
マップ生成部１０１３は、取得した感情データと、記憶部１０２に記憶された道路データ１０２Ｃに基づいて、道路上の地点（または道路区間）に対して感情をマッピングしたマップ（感情マップ）を生成する。図６は、マップ生成部１０１３によって生成された感情マップの例である。図示したように、マップ生成部１０１３は、任意の感情を検出した地点を、道路地図上にマッピングする。マッピングの対象である感情は、例えば、「不満」「憂鬱」など、ネガティブなものであってもよいし、「幸福」「満足」など、ポジティブなものであってもよい。これにより、通過が推奨される地点（または道路区間）と、そうでない地点（または道路区間）をユーザに示すことができる。図６の例では、感情を示すアイコンを、道路地図上にマッピングしている。
マップ生成部１０１３は、例えば、ユーザからの指示があった場合に、マッピングを実行してもよいし、所定の条件が満たされた場合にマッピングを実行してもよい。

次に、車載装置１００が実行する処理のフローチャートについて、図７および図８を参照しながら説明する。
図７は、車載装置１００が感情データを生成する処理のフローチャートである。当該処理は、車両１０の走行中において周期的に実行される。
まず、ステップＳ１１で、感情推定部１０１１が、カメラ１０５を介して運転者の画像（顔画像）を取得する。なお、カメラ１０５がドライブレコーダーのカメラを兼用している場合、感情推定部１０１１は、ドライブレコーダーに対して画像の取得をリクエストしてもよい。

次に、ステップＳ１２で、感情推定部１０１１が、取得した顔画像に基づいて、運転者の感情を推定する。感情の推定には、公知の方法を採用することができる。例えば、感情推定部１０１１は、取得した顔画像を特徴量に変換し、推定モデル１０２Ｂに入力する。また、推定モデル１０２Ｂから出力された分類結果と尤度を取得し、最も尤度の高い感情を、運転者の感情として決定する。

次に、ステップＳ１３で、感情推定部１０１１によって決定された感情が、予め設定された複数の感情（例えば、「不満」「憂鬱」「幸福」「満足」など）のうちのいずれかに該当するか否かを判定する。判定は、推定モデル１０２Ｂが出力した尤度に基づいて行ってもよい。本ステップで肯定判定となった場合、処理はステップＳ１４へ遷移する。本ステップで否定判定となった場合、処理は終了する。例えば、予め設定されたクラスのうち
、所定値以上の尤度を持ったクラスが存在しなかった場合、本ステップは否定判定となる。

ステップＳ１４では、感情推定部１０１１が行った推定の結果に基づいて、データ生成部１０１２が、感情データを生成する。感情データは、図３に示したように、推定された感情の識別子を位置情報と対応付けたデータである。生成された感情データは、記憶部１０２に記憶される。
図７に示した処理を反復して実行することで、トリップごとの感情データが蓄積される。なお、データ生成部１０１２は、所定の条件を満たした感情データ（例えば、生成から所定の日数が経過した感情データ）を削除してもよい。

次に、蓄積された感情データに基づいて感情マップを生成する処理について説明する。図８は、マップ生成部１０１３が感情マップを生成する処理のフローチャートである。図示した処理は、所定のトリガが発生した場合に実行することができる。所定のトリガは、例えば、車両１０がトリップを終了したタイミングで発生してもよいし、ユーザの指示に基づいて発生してもよい。

まず、ステップＳ２１で、感情マップの生成に利用する感情データを記憶部１０２から抽出する。対象の感情データは、ユーザの指定に基づいて抽出してもよいし、所定のルールに沿って抽出してもよい。例えば、トリップが終了したタイミングで処理が開始される場合、直近の一トリップにおいて発生した感情データを対象としてもよい。また、「過去一ヶ月間のトリップに対応する感情データを利用する」というルールがある場合、過去一ヶ月間において発生した感情データを取得してもよい。

ステップＳ２２では、感情マップを生成する際の前提となる条件（以下、生成条件）を取得し、当該生成条件によって感情データをフィルタリングする。例えば、「平日の午前中」「平日の夕方」「休日」といったように、道路状況は曜日や時間帯ごとに変わりうる。そこで、感情マップの生成に利用する感情データを、曜日や時間帯によってフィルタリングしてもよい。生成条件は、例えば、ユーザに指定させてもよいし、システムが自動的に決定してもよい。例えば、現在日時が平日の夕方である場合、平日の夕方に生成された感情データのみを利用して感情マップを生成する。これにより、例えば、「平日の夕方に通過すべきでない地点」を視覚化することができる。

ステップＳ２３では、道路データ１０２Ｃに基づいて、取得した感情データを道路地図にマッピングし、感情マップを生成する。生成した感情マップは、入出力部１０４を介して出力される。

以上説明したように、第一の実施形態に係る車載装置１００は、運転者の感情を推定し、その結果を道路地図にマッピングすることができる。これにより、ネガティブな感情が発生した地点や道路区間、または、ポジティブな感情が発生した地点や道路地図を視覚化することが可能になる。また、車両のユーザは、感情マップを参照することで、通過が推奨される地点（あるいは道路区間）とそうでない地点（道路区間）を認識することができる。

なお、本実施形態では、車両１０の走行が終了した後で感情マップを生成する例を挙げたが、感情マップはリアルタイムで（すなわち車両１０の走行中に）生成してもよい。この場合、所定の感情を検知した地点をリアルタイムで運転者に通知し、（例えば、ナビゲーション装置によって出力されている）道路地図にリアルタイムでマッピングを行うようにしてもよい。

（第二の実施形態）
第一の実施形態では、車載装置１００が感情マップを生成した。これに対し、第二の実施形態は、複数の車両１０に搭載された車載装置１００が、感情データをサーバ装置２００に送信し、サーバ装置２００が、複数の車両から送信された感情データに基づいて感情マップを生成する実施形態である。
図９は、第二の実施形態におけるシステム構成を説明する概要図である。

図１０は、第二の実施形態における車載装置１００のシステム構成図である。図示したように、第二の実施形態では、車載装置１００は、マップ生成部１０１３を有しておらず、また、道路データ１０２Ｃを記憶していない。第二の実施形態に係る車載装置１００は、生成した感情データを、サーバ装置２００へ送信する機能を有する。他の構成要素については、第一の実施形態と同様であるため、詳細な説明は省略する。

図１１は、サーバ装置２００のシステム構成図である。サーバ装置２００は、複数の車載装置１００から感情データを受信および蓄積し、蓄積されたデータに基づいて感情マップを生成し、複数の車載装置１００に配布する装置である。

サーバ装置２００は、汎用のコンピュータにより構成することができる。すなわち、サーバ装置２００は、ＣＰＵやＧＰＵ等のプロセッサ、ＲＡＭやＲＯＭ等の主記憶装置、ＥＰＲＯＭ、ハードディスクドライブ、リムーバブルメディア等の補助記憶装置を有するコンピュータとして構成することができる。補助記憶装置には、オペレーティングシステム（ＯＳ）、各種プログラム、各種テーブル等が格納され、そこに格納されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて各構成部等が制御されることによって、後述するような、所定の目的に合致した各機能を実現することができる。ただし、一部または全部の機能はＡＳＩＣやＦＰＧＡのようなハードウェア回路によって実現されてもよい。

サーバ装置２００は、制御部２０１、記憶部２０２、および、通信部２０３を有して構成される。
制御部２０１は、サーバ装置２００が行う制御を司る演算装置である。制御部２０１は、ＣＰＵなどの演算処理装置によって実現することができる。
制御部２０１は、データ収集部２０１１、および、マップ生成部２０１２の二つの機能モジュールを有して構成される。各機能モジュールは、記憶されたプログラムをＣＰＵによって実行することで実現してもよい。

データ収集部２０１１は、複数の車載装置１００から感情データを受信し、車両の識別子と関連付けて記憶部２０２に記憶させる。
マップ生成部２０１２は、記憶部２０２に記憶された複数の感情データに基づいて、感情マップを生成する。マップ生成部２０１２は、車載装置１００から送信されたリクエストに基づいて感情マップを生成してもよい。例えば、マップ生成部２０１２は、リクエストに含まれる生成条件に従って感情マップを生成し、生成した感情マップを、当該リクエストを送信した車載装置１００に送信する。

記憶部２０２は、主記憶装置と補助記憶装置を含んで構成される。主記憶装置は、制御部２０１によって実行されるプログラムや、当該制御プログラムが利用するデータが展開されるメモリである。補助記憶装置は、制御部２０１において実行されるプログラムや、当該制御プログラムが利用するデータが記憶される装置である。

記憶部２０２には、感情データ２０２Ａおよび道路データ２０２Ｂが記憶される。
感情データ２０２Ａは、複数の車載装置１００から受信した感情データの集合である。
当該感情データの各々には、当該感情データを生成した車両の識別子が関連付けられている。
道路データ２０２Ｂは、感情マップを生成するためのベースとなる道路地図データである。道路データ２０２Ｂは、道路データ１０２Ｃと同様のデータである。

通信部２０３は、サーバ装置２００をネットワークに接続するための通信インタフェースである。通信部２０３は、例えば、ネットワークインタフェースボードや、無線通信のための無線通信インタフェースを含んで構成される。

次に、第二の実施形態において、車載装置１００とサーバ装置２００との間で交換されるデータの流れについて説明する。図１２は、車載装置１００とサーバ装置２００との間で交換されるデータのシーケンス図である。

車載装置１００は、車両１０の走行中において生成された感情データをサーバ装置２００に周期的に送信する。車載装置１００が感情データを生成する処理は、図７を参照して説明した処理と同様である。
サーバ装置２００（データ収集部２０１１）は、受信した感情データを、車両の識別子と関連付けて記憶部２０２に記憶させる（ステップＳ３１）。

ステップＳ３２では、車載装置１００が、サーバ装置２００に対して、感情マップの生成をリクエストする。具体的には、ステップＳ２２と同様に、感情マップを生成する際の前提となる条件（生成条件）を取得し、生成条件を含むリクエスト（生成リクエスト）をサーバ装置２００に送信する。生成条件は、入出力部１０４を介してユーザに入力させてもよい。

ステップＳ３３では、サーバ装置２００（マップ生成部２０１２）が、受信したリクエストに基づいて感情マップを生成する。具体的には、感情データ２０２Ａ（すなわち、複数の車両から送信された感情データ）から、生成条件に合致するものを抽出し、道路データ２０２Ｂに記録された道路地図に対してマッピングを行い、画像を生成する。

なお、同一の地点または道路区間において複数の感情データが発生している場合、集計を行い、その結果をマッピングしてもよい。例えば、同一の地点に関連付いている複数の感情の内訳を生成し、最も割合が多い感情をマッピングしてもよい。これにより、複数の運転者が特定の感情を抱く傾向にある地点または道路区間を明示することができる。また、複数の感情を「ポジティブ」「中立」「ネガティブ」といったように大枠で分類し、当該分類の結果をマッピングしてもよい。これにより、走行が推奨される（または、走行が推奨されない）地点または道路区間を明示することができる。

また、感情の内訳を表すリストを生成し、感情マップに添付してもよい。当該リストは、例えば、ユーザの操作（地点や区間を選択する操作）によって表示される。図１３は、サーバ装置２００が生成した感情マップの例である。生成された感情マップは、車載装置１００に送信され、入出力部１０４を介して出力される。

以上説明したように、第二の実施形態では、サーバ装置２００が複数の車載装置１００から感情データを収集し、収集した感情データに基づいて感情マップの生成を行う。かかる形態によると、プローブデータに基づいて、通過が推奨される地点（あるいは道路区間）とそうでない地点（道路区間）をより適切に視覚化することができる。

なお、本実施形態では、車載装置１００が感情データを随時アップロードする例を挙げたが、感情データは、所定のタイミングで（例えば、車両１０のトリップが終了したタイ
ミングで）アップロードしてもよい。

また、車両１０において所定の感情が検出された場合に、運転者にその旨を通知し、感情データを送信するか否かをユーザに問い合わせてもよい。例えば、運転者が不満げな顔をしていることを検出した場合に、「道路に発生している問題を共有するために、否定的な感情を示したデータを送信しますか？」といった問い合わせを行うようにしてもよい。

また、本実施形態では、サーバ装置２００が感情マップの生成を行ったが、感情マップは車載装置１００が生成してもよい。この場合、サーバ装置２００が、地点または区間ごとに感情を集計し、その結果（集計データ）を車載装置１００に送信してもよい。車載装置１００は、サーバ装置２００から送信された集計データに基づいて、感情マップを生成してもよい。

また、本実施形態では、車載装置１００からのリクエストに基づいてサーバ装置２００が感情マップを生成する例を挙げたが、サーバ装置２００は、感情マップを周期的に生成して記憶し、車載装置１００からリクエストがあった場合に、当該車載装置１００に感情マップを送信するようにしてもよい。

（第三の実施形態）
第一の実施形態では、感情マップを生成する際に利用する感情データを、曜日や日時によってフィルタリングしたが、これ以外の要素を利用してフィルタリングを行ってもよい。

第三の実施形態では、データ生成部１０１２が、感情データに、車両１０の走行環境に関するデータを付加し、マップ生成部１０１３が、当該データを利用してフィルタリングを行う。図１４は、第三の実施形態において生成される感情データの例である。図示したように、本例では、感情データに環境データが付加されている。環境データとは、車両１０の走行環境を表すデータである。走行環境は、例えば、天候や交通量など、車両１０が走行する際に運転者にかかるストレスに影響する要素とすることができる。走行環境は、車両１０に備えられたセンサによって取得してもよいし、外部装置から取得してもよい。例えば、強風の影響を強く受ける道路があった場合、感情データには、「強風が吹いている環境下において、運転者が不安を感じた」といった情報が記録される。

第三の実施形態では、ステップＳ２２において、走行環境を用いて感情データをフィルタリングする。走行環境は、ユーザによって指定されてもよいし、システムが決定してもよい。例えば、現在の走行環境が「強風」である場合、「強風」という天候によってフィルタリングを行うことができる。
第三の実施形態では、このように、特定の走行環境に対応する感情マップを生成することができる。例えば、現在の走行環境が「強風」である場合、同じ環境下において発生した感情をマッピングする。これにより、走行環境に応じた、適切な感情マップを生成することが可能になる。
なお、第三の実施形態を、第二の実施形態に適用してもよい。

（第四の実施形態）
第四の実施形態は、車載カメラによって取得された画像を感情マップととも提示する実施形態である。

第四の実施形態では、データ生成部１０１２が感情データを生成する際に、車載カメラを介して、車両１０の車外の画像（典型的には、車両前方の画像）を取得する。車載カメラは、カメラ１０５と兼用であってもよい。例えば、カメラ１０５が、３６０度の画角を
持っている場合、車外の画像と、運転者の顔画像を同時に取得することができる。この場合、データ生成部１０１２は、車外に対応する範囲をトリミングしてもよい。
また、データ生成部１０１２が、感情データに、取得した画像を関連付ける。図１５は、第四の実施形態において生成される感情データの例である。図示したように、本例では、感情データに画像データが付加されている。画像データを参照することで、運転者の感情が何に起因して変化したのかを後から知ることができる。

また、第四の実施形態では、マップ生成部１０１３が、各地点に画像を関連付けた感情マップを生成する。図１６は、第三の実施形態で生成される感情マップの例である。図示したように、本実施形態では、感情がマッピングされた各地点に画像が関連付いており、ユーザの操作に基づいて、画像を確認することができる。
かかる構成によると、運転者の感情の変化がどのような原因によって生じたのかを事後的に確認できるようになる。

なお、第四の実施形態を、第二の実施形態に適用してもよい。
また、本例では車外の画像を例示したが、画像データに、運転者の顔画像を含ませてもよい。また、本例では静止画を利用する例を挙げたが、画像データは動画データであってもよい。例えば、車両前方の画像と、運転者の顔画像の双方を含む静止画像、または、動画像を出力することもできる。このような画像（または動画像）は、感情データとは別に、車載装置１００から取り出し可能にしてもよい。かかる構成によると、特定の感情が発生した瞬間の画像（または動画像）などをユーザに提供することができるようになる。

（変形例）
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
例えば、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

また、実施形態の説明では、感情マップのみを出力する例を挙げたが、通過が推奨される地点や道路区間、または、通過が推奨されない地点がある場合、その理由を具体的に通知するようにしてもよい。
また、実施形態の説明では、顔画像から感情を推定する例を挙げたが、運転者の感情は、その他の生体情報（例えば、音声など）に基づいて推定してもよい。

また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。あるいは、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成（サーバ構成）によって実現するかは柔軟に変更可能である。

本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤディスク・ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。

１００・・・車載装置
１０１，２０１・・・制御部
１０２，２０２・・・記憶部
１０３，２０３・・・通信部
１０４・・・入出力部
１０５・・・カメラ
１０６・・・位置情報取得部
２００・・・サーバ装置

Claims (10)

1. 車両に搭載されたカメラによって取得された画像に基づいて、前記車両の運転者の感情を推定することと、
   前記運転者の感情として所定の感情が推定された地点である第一の地点を特定することと、
   前記推定された感情と前記第一の地点とを関連付けたデータである感情データを生成し、前記感情データをサーバ装置に送信することと、
   前記サーバ装置から、複数の運転者のそれぞれが抱いた感情を地点または道路区間ごとに集計し、同一地点または同一道路区間に関連付いている複数の感情の内訳の中から最も割合が多い感情をマッピングした道路地図であって、前記感情の内訳を表すリストが添付された道路地図を受信することと、
   を実行する制御部を有する、情報処理装置。
2. 前記制御部は、前記第一の地点における車外の画像をさらに取得し、前記画像を、前記感情データにさらに関連付ける、
   請求項１に記載の情報処理装置。
3. 前記カメラは、車両前方の風景と、前記運転者の顔を同時に撮影可能なカメラである、
   請求項２に記載の情報処理装置。
4. 車両に搭載された車載装置と、複数の前記車両を管轄するサーバ装置と、を含む車両システムであって、
   前記車載装置は、
   前記車両に搭載されたカメラによって取得された画像に基づいて、前記車両の運転者の感情を推定することと、
   前記推定された感情を位置情報と関連付けたデータである感情データを前記サーバ装置に送信することと、
   を実行する第一の制御部を有し、
   前記サーバ装置は、
   複数の前記車載装置から受信した前記感情データに基づいて、複数の運転者のそれぞれが抱いた感情を地点または道路区間ごとに集計し、同一地点または同一道路区間に関連付
   いている複数の感情の内訳の中から最も割合が多い感情をマッピングした道路地図データであって、前記感情の内訳を表すリストが添付された道路地図データを生成する第二の制御部を有する、
   車両システム。
5. 前記第二の制御部は、前記感情データに基づいた前記道路地図データの生成を周期的に実行する、
   請求項４に記載の車両システム。
6. 前記第二の制御部は、前記道路地図データを前記車載装置に送信し、
   前記第一の制御部は、前記道路地図データを出力する、
   請求項４または５に記載の車両システム。
7. 車両に搭載されたカメラによって取得された画像に基づいて、前記車両の運転者の感情を推定するステップと、
   前記運転者の感情として所定の感情が推定された地点である第一の地点を特定するステップと、
   前記推定された感情と前記第一の地点とを関連付けたデータである感情データを生成し、前記感情データをサーバ装置に送信するステップと、
   前記サーバ装置から、複数の運転者のそれぞれが抱いた感情を地点または道路区間ごとに集計し、同一地点または同一道路区間に関連付いている複数の感情の内訳の中から最も割合が多い感情をマッピングした道路地図であって、前記感情の内訳を表すリストが添付された道路地図を受信するステップと、
   を含む、情報処理方法。
8. 前記第一の地点における車外の画像をさらに取得し、前記画像を、前記感情データにさらに関連付ける、
   請求項７に記載の情報処理方法。
9. 前記カメラは、車両前方の風景と、前記運転者の顔を同時に撮影可能なカメラである、
   請求項８に記載の情報処理方法。
10. 請求項７から９のいずれか１項に記載の情報処理方法をコンピュータに実行させるためのプログラム。

Images