JP7635792B2 - コミュニケーションシステム、車両、コミュニケーション方法、コンピュータプログラムおよびサーバー - Google Patents

Description

本発明は、コミュニケーションシステム、車両、コミュニケーション方法、コンピュータプログラム、端末装置およびサーバーに関する。

従来、車両ドライバーが運転中に外部とコミュニケーションをとるための方法が提案されている。例えば、特許文献１には、音声のみの出力によるスピーカーか、音声と画像の出力によるスクリーンを選択しドライバーに情報を提供したり、マイクロホンによって車外の発信者とのリアルタイム双方向通信を実現したりするサーバーが提案されている。

特開平11－175895号公報

しかしながら、例えば長時間の運転や深夜の休憩時間等、特定の個人との通話が難しい時間帯であった場合など、ドライバーがコミュニケーション相手を得る事が出来ない可能性があった。その場合、ドライバーは運転中の時間を楽しむことが出来ない。

例えば、ドライバーが不特定多数とコミュニケーションの機会を得る事ができれば、特定個人と通話ができない場合にも運転を楽しむことができる。また、コミュニケーションの参加者には、あたかもドライバーと一緒にドライブを楽しんでいるかのような機会を提供することができる。

本発明は上記事情を鑑みて成されたものであって、ドライバーと不特定多数との間にコミュニケーション機会を供給可能なコミュニケーションシステム、車両、コミュニケーション方法、コンピュータプログラム、端末装置およびサーバーを提供することを目的とする。

本発明の第１態様によるコミュニケーションシステムは、車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを取得する第１取得部と、前記ドライバー情報を用いて検出された前記ドライバーの顔情報と前記車両情報とを、出力する演算部と、前記ドライバーの第１音声情報を取得する第２取得部と、前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第１生成部と、前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第２生成部と、前記ドライバーモデルの情報、前記車両映像情報および前記第１音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第２音声情報を前記ドライバーに供給する通信部と、を備え、前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、前記第１生成部は、前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する。
本発明の第２態様による車両は、車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを検出するセンサと、第１態様によるコミュニケーションシステムと、を備える。

本発明の第３態様によるコミュニケーション方法は、車両のドライバーの挙動に関するドライバー情報を用いて検出された前記ドライバーの顔情報を生成し、前記顔情報および前記車両に関する車両情報に基づいて動作するドライバーモデルの情報を生成し、前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成し、前記ドライバーモデルの情報、前記車両映像情報、および、前記ドライバーの第１音声情報を外部プラットフォームに供給し、前記外部プラットフォームから取得した第２音声情報を前記ドライバーに供給する方法であって、前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する。

本発明の第５態様によるコンピュータプログラムは、コンピュータに、第３態様によるコミュニケーション方法を実行させるプログラムである。
本発明の第７態様によるサーバーは、車両のドライバーの第１音声情報、前記ドライバーの顔情報および前記車両に関する車両情報を取得する取得部と、前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第１生成部と、前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第２生成部と、前記ドライバーモデルの情報、前記車両映像情報および前記第１音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第２音声情報を前記ドライバーに供給する通信部と、を備え、前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、前記第１生成部は、前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する。

本発明によれば、ドライバーと不特定多数との間にコミュニケーション機会を供給可能なコミュニケーションシステム、車両、コミュニケーション方法、コンピュータプログラム、端末装置およびサーバーを提供できる。

図１は、一実施形態のコミュニケーションシステムの一構成例を概略的に示すブロック図である。 図２は、一実施形態のコミュニケーションシステムの動作の一例について説明するための図である。 図３は、一実施形態のコミュニケーションシステムの他の構成例を概略的に示すブロック図である。

以下に、一実施形態のコミュニケーションシステムについて、図面を参照して詳細に説明する。
図１は、一実施形態のコミュニケーションシステムの一構成例を概略的に示すブロック図である。
本実施形態のコミュニケーションシステムは、コントローラ１００と、サーバー２００とを備えている。

コントローラ１００は、例えば少なくとも一つのプロセッサと、プロセッサにより実行されるプログラムが記録されたメモリと、を備えた端末装置であって、ソフトウエアにより又はソフトウエアとハードウエアとの組み合わせにより以下に説明する種々の機能を実現することができる。

メモリは、例えば、主記憶部と、補助記憶部とを備えている。
主記憶部は、例えば、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）を含み得る。ＲＯＭは、専らデータの読み出しに用いられる不揮発性メモリであり、プロセッサが各種の処理を行う上で使用するデータ及び各種の設定値などを記憶することができる。また、ＲＡＭは、プロセッサが各種の処理を行う上で一時的にデータを記憶しておく、いわゆるワークエリアとして利用され得る。

補助記憶部は、プロセッサを中枢とするコンピュータの非一時的なコンピュータ可読記憶媒体である。補助記憶部は、例えば、ＥＥＰＲＯＭ（登録商標）（electric erasable programmable read-only memory）、ＨＤＤ（hard disk drive）又はＳＳＤ（solid state drive）などである。
補助記憶部は、プロセッサが各種の処理を行う上で使用するデータ、プロセッサでの処理によって生成されたデータ又は各種の設定値などを保存することができる。

コントローラ１００は、ネットワークを介して、車両ＶＣＬに搭載されたカメラＣＭＲや位置測定器ＳＳなどの種々のセンサ（若しくは種々のセンサの情報を取得するＥＣＵ（electronic control unit））と通信可能である。
コントローラ１００は、第１取得部１０１と、演算部１０２とを備える。
第１取得部１０１は、種々のセンサから車両ＶＣＬに関する情報（車両情報）および車両ＶＣＬのドライバーＤＶＲの挙動に関する情報（ドライバー情報）を取得することができる。なお、コントローラ１００は車両ＶＣＬに搭載されていてもよく、車両ＶＣＬに取り付け可能に構成されてもよい。また、コントローラ１００は、ネットワークを介して外部のサーバー２００と通信可能である。

車両情報は、例えば、アクセル開度、ブレーキ踏力およびステアリング角度など、ドライバーＤＶＲによる操作情報と、位置測定器ＳＳにより測定された車両ＶＣＬの位置情報と、車両ＶＣＬの通信に用いられる情報（例えばＣＡＮ情報など）を含む。位置測定器ＳＳにより測定される車両ＶＣＬの位置情報は、例えばＧＰＳ（global positioning system）を利用して測定される位置情報であって、車両ＶＣＬの位置座標および時刻を含む。

ドライバー情報は、カメラＣＭＲにより撮影されたドライバーＤＶＲを含む映像（カメラ情報）を含む。カメラＣＭＲは、車両ＶＣＬの車内の少なくとも１か所において、ドライバーＤＶＲの顔を含む映像を撮影可能な位置に設置されている。複数のカメラＣＭＲが車両ＶＣＬの複数の箇所に設置されていてもよく、ドライバーＤＶＲの挙動に関する情報はドライバーＤＶＲの表情や動作を様々なアングルで撮影した複数の映像を含んでいてもよい。
演算部１０２は、ドライバー情報を用いてドライバーの顔情報を検出し、ドライバー情報に対応する顔情報と、車両情報とを、ネットワークを介してサーバー２００へ出力する。

サーバー２００は、少なくとも一つのプロセッサと、プロセッサにより実行されるプログラムが記録されたメモリと、を備え、ソフトウエアにより又はソフトウエアとハードウエアとの組み合わせにより以下に説明する種々の機能を実現することができる。

サーバー２００は、ネットワークを介して、例えばドライバーＤＶＲに装着されたマイク及びスピーカーと、コントローラ１００と、プラットフォーム３００とのそれぞれと通信可能である。

ドライバーＤＶＲのマイクは、例えば、ドライバーＤＶＲにより使用される携帯端末１（スマートフォンやタブレット端末など）に搭載されたマイクや、ドライバーＤＶＲが装着したヘッドセットのマイクや、車両に搭載されたマイクである。ドライバーＤＶＲのスピーカーは、例えば、ドライバーＤＶＲに装着されたヘッドセットのスピーカー、車両に搭載されたスピーカー、ドライバーＤＶＲにより使用される携帯端末１に搭載されたスピーカーである。ドライバーＤＶＲが装着したヘッドセットのマイクやスピーカーは、携帯端末１と例えば近距離無線通信により通信可能に構成されていてもよく、携帯端末１の通信機能を介してサーバー２００と音声情報を送受信することができる。
本実施形態においては、ドライバーＤＶＲのマイク及びスピーカーは、ドライバーＤＶＲにより使用される携帯端末１に搭載されているとする。ドライバーＤＶＲのマイク及びスピーカーは、携帯端末１の通信機能を介して、サーバー２００と音声情報を送受信することが可能であるとする。

サーバー２００は、第２取得部２０１と、第１生成部２０２と、第２生成部２０３と、通信部２０４とを備える。
第２取得部２０１は、ドライバーＤＶＲの第１音声情報と、コントローラ１００から出力されたドライバー顔情報および車両情報と、を取得する。
第１生成部２０２は、顔情報および車両情報に基づくドライバーモデルの表情および動作情報を生成する。例えば、サーバー２００は、ドライバーＤＶＲの顔情報に含まれる顔のパーツ（目、鼻、口、眉）の位置や形状などから、ドライバーモデルの表情情報を生成することができる。ドライバーモデルの表情情報は、例えば喜怒哀楽や、驚き、迷い、焦り、疲労などのドライバーＤＶＲの感情や状態を示す情報であってもよく、具体的に顔のパーツの大きさや位置や動きを示す情報であってもよい。

また、第１生成部２０２は、顔情報および操作情報に基づいて、ドライバーモデルの手足の動き、ドライバーモデルの顔の向き、頭部の位置などの動作情報を生成することができる。ドライバーモデルの動作情報は、例えばドライバーモデルの代表的な関節の位置座標や角度を含んでいてもよい。サーバー２００は、例えばアクセル開度やブレーキ踏力の情報から、ドライバーモデルの足首や膝の関節の位置座標や角度を生成してもよい。また、サーバー２００は、例えばステアリング角度の情報から、ドライバーモデルがハンドルを握る手の位置、ハンドルの回転方向、ハンドルの回転に伴うドライバーモデルの手首や肘の関節の位置座標や角度を生成してもよい。また、サーバー２００は、ドライバーＤＶＲの顔情報に含まれる顔のパーツ（目、鼻、口、眉）の位置や形状などから、ドライバーモデルの首の回転角度、傾き角度、頭部の位置座標などを生成してもよい。

第２生成部２０３は、車両情報に含まれる位置情報に基いて車両ＶＣＬの走行する環境を判断し、走行環境に対応する車両映像情報を生成する。第２生成部２０３により生成される車両映像情報は、車両ＶＣＬが実際に走行している位置の環境を再現する映像情報であってもよく、車両ＶＣＬが走行している位置の特徴を再現する映像情報であってもよい。後者の場合、第２生成部２０３は、例えば車両ＶＣＬが走行している場所の特徴（街中、山中、海辺、高速道路、住宅街、トンネルなど）や、位置情報に含まれる時刻における環境の特徴（夜景や時刻に対応した明るさなど）や、近くにあるオブジェクト（交差点、踏切、高層ビル、タワー、寺社、公園、橋、陸橋、河川、海、森林、テーマパークなど）の特徴を再現するように車両映像情報を生成してもよい。

車両映像情報は必ずしも車両ＶＣＬの実際の走行環境を再現するものでなくともよい。車両映像情報は、例えば実際に車両ＶＣＬが走行する場所に存在する歩行者や対向車などを削除した映像であってもよく、実際には存在しない歩行者や対向車などのオブジェクトを含む映像であってもよく、実在しない環境の映像であってもよい。この場合には、車両ＶＣＬは、車両ＶＣＬの周囲や車窓から見える景色を撮影するカメラＣＭＲ２を有しており、カメラＣＭＲ２により撮影された映像（車外環境情報）に基づいて車両映像情報が生成されてもよい。なお、カメラＣＭＲ２は必須の構成ではなく、車両映像情報が実際の走行環境を再現するものでない場合にはカメラＣＭＲ２は省略されても構わない。

いずれの場合にも、第２生成部２０３は、車両ＶＣＬの位置情報に基づく車両ＶＣＬの位置、進行方向、走行速度および時刻のうち少なくともいずれかに応じて、車両ＶＣＬのドライバーＤＶＲの前後左右の各々の窓から視認される環境に対応する車両映像情報を生成する。
なお、サーバー２００は、車両映像情報を生成するための映像データやオブジェクトデータが蓄積されたデータベースを含んでいてもよく、サーバー２００の外部のデータベースから映像データやオブジェクトデータを取得してもよい。

通信部２０４は、ドライバーモデルの情報、車両映像情報および第１音声情報を関連付けてプラットフォーム３００に供給するとともに、プラットフォーム３００から取得した第２音声情報をドライバーＤＶＲに装着されたスピーカー（若しくは車両ＶＣＬに搭載されたスピーカー）に供給する。なお、第２音声情報は、外部サービスを介してサーバー２００から車載スピーカーに供給されてもよい。

なお、コントローラ１００およびサーバー２００は、出発地から到着地までの走行毎に識別子（走行ＩＤ）を設定し、走行ＩＤを用いて、ドライバーモデルの情報、車両映像情報および第１音声情報を関連付けてもよい。この場合、プラットフォーム３００から供給される第２音声信号にも走行ＩＤが付され、サーバー２００は走行ＩＤにより第２音声信号を供給すべきドライバーＤＶＲを認識することができる。
また、本実施形態のコミュニケーションシステムにおいて、上記サーバー２００の少なくとも一部の機能はコントローラ１００により実現されてもよく、コントローラ１００とサーバー２００とが一体に構成され、車両ＶＣＬに搭載されてもよい。

プラットフォーム３００は、サーバー２００により生成された情報を用いて、例えば映像やドライバーモデルや音声を組み合わせた仮想空間情報を一又は複数のユーザ端末に供給するとともに、当該ユーザ端末からの音声情報をサーバー２００に供給するサービスを提供するシステムである。

プラットフォーム３００はサーバー２００と通信可能である。具体例としては、OSC（Open Sound Control）により、サーバー（送信側）２００とプラットフォーム（受信側）３００とで通信を行い、サーバー２００により生成された情報をプラットフォーム３００に供給することができる。

プラットフォーム３００は、ドライバーモデルの表情情報を用いて、ドライバーモデルの顔のパーツ（目、鼻、口、眉など）の位置や形状を調整し、ドライバーモデルの表情を生成する。プラットフォーム３００は、例えばドライバーＤＶＲの感情や状態に対応する顔のパーツの位置や形状の情報を予め有していてもよく、ドライバーモデルの表情情報がドライバーＤＶＲの感情や状態を示す場合には、設定されたようにドライバーモデルの顔のパーツの位置や形状を調整する。

また、プラットフォーム３００は、ドライバーモデルの動作の情報を用いて、ドライバーモデルの四肢や頭部や体幹部の関節の位置や角度を調整し、ドライバーモデルの動きを生成する。ドライバーＤＶＲに対応するモデルは、ドライバーＤＶＲの実際の姿を仮想現実空間において再現する３次元モデルであってもよく、ドライバーＤＶＲと異なる人物やロボットなどの仮想の運転手の姿を仮想現実空間において再現する３次元モデルであってもよい。

プラットフォーム３００は、車両映像情報を用いて、車両ＶＣＬおよび車両ＶＣＬの窓越しに視認される環境を仮想現実空間において生成する。
プラットフォーム３００は、ドライバーモデルの動作および表情と、第１音声情報と、車両ＶＣＬが走行する環境映像とが同期するように仮想空間情報を生成して、プラットフォーム３００に接続したユーザ端末４００に供給する。
また、プラットフォーム３００は、仮想空間情報を提供したユーザ端末４００から音声情報（第２音声情報）を取得すると、対応する走行ＩＤを付してサーバー２００へ送信する。

ユーザ端末４００によりユーザに提示される仮想空間は、例えば車両ＶＣＬの車内（助手席など）からドライバーＤＶＲを見るように視点が設定されていてもよく、ユーザ端末４００の操作により車両ＶＣＬ内の任意の視点位置および方向を移動可能であってもよい。後者の場合、プラットフォーム３００は、ユーザ端末４００から取得した操作情報に基づいて、ユーザ端末４００に供給する仮想空間内視点位置および方向を移動させる。

図２は、一実施形態のコミュニケーションシステムの動作の一例について説明するための図である。なお、図２では、サーバー２００は車両ＶＣＬの位置情報を用いて車両映像情報を生成しており、カメラＣＭＲ２により撮影された車外環境情報を使用しない例を示している。
最初に、コントローラ１００と、サーバー２００と、ドライバーＤＶＲのマイクおよびスピーカーが搭載された携帯端末１との間で初期設定を行う。例えば、マイクおよびスピーカーは、車載又は車両ＶＣＬ内部でドライバーの近傍に設置されていてもよい。初期設定では、コントローラ１００で取得される情報と、携帯端末１のマイクから供給される音声情報と、携帯端末１のスピーカーへ供給する音声情報との対応付けが可能であるように、コントローラ１００とサーバー２００と携帯端末１とで扱う情報に必要な識別子（走行ＩＤ）が設定される。

例えば、サーバー２００は、コントローラ１００から供給される車両ＶＣＬの位置情報と、マイクやスピーカーが搭載された機器（例えば携帯端末１）の位置情報とに基づいて、車両ＶＣＬとマイクとスピーカーとが共通のドライバーＤＶＲにより使用されるものであるか否かを判断する。そして、サーバー２００は、判断の結果に基づいて、コントローラ１００で取得される情報と、携帯端末１のマイクから供給される音声情報と、携帯端末１のスピーカーへ供給する音声情報とを対応付けることができる。

初期設定が完了した後、コントローラ１００は、車両ＶＣＬから取得した車両情報と、ドライバーＤＶＲの挙動に関するドライバー情報と、を取得し、ドライバー情報を用いたフェイストラッキングによりドライバーＤＶＲの顔情報を生成する（ブロックＳＴ１）。具体的には、コントローラ１００は、カメラ情報（ドライバー情報）をフェイストラッキング情報（顔情報）に変換する。コントローラ１００は、ドライバー情報に対応する顔情報と、車両情報とを、ネットワークを介してサーバー２００へ出力する。なお、コントローラ１００がドライバー情報に代えて（若しくはドライバー情報に加えて）フェイストラッキング情報を取得できる場合には、フェイストラッキング情報（顔情報）を検出する動作は省略することができる。

サーバー２００は、コントローラ１００から車両情報および顔情報を取得し、ドライバーＤＶＲに装着されたマイクから第１音声情報を取得する。サーバー２００は、コントローラ１００から取得した車両情報および顔情報と、マイクから取得した第１音声情報とを共通の識別情報により対応付ける（ブロックＳＴ２）。

サーバー２００は、車両情報および顔情報をドライバーモデルの動きに変換し（ブロックＳＴ３）、ドライバーモデルの動きと顔情報とに基づいて動作するドライバーモデルの情報（プラットフォーム３００へのドライバーモデルの動きと、プラットフォーム３００へのドライバーモデルの表情との情報を含む）を生成する。また、サーバー２００は、車両情報に含まれる位置情報から車両の走行位置の風景を判別し、車両ＶＣＬの走行する環境に対応する車両映像情報（仮想空間における車窓の投影映像）を作成する（ブロックＳＴ４）。
サーバー２００は、ドライバーモデルの情報、車両映像情報および第１音声情報を、共通の識別情報により関連付けて、プラットフォーム３００に供給する。

プラットフォーム３００は、サーバー２００から供給されたドライバーモデルの情報、車両映像情報および第１音声情報を、識別情報により対応付けて、ドライバーモデルの動作および表情と、第１音声情報と、車両ＶＣＬが走行する環境映像とが同期するように３次元の仮想空間情報および音声情報を生成して、プラットフォーム３００に接続したユーザ端末に供給する。なお、プラットフォーム３００に接続したユーザ端末４００の数は、複数でもあり得るし、ゼロでもあり得る。

ユーザ端末４００は、コンピュータなどの電子デバイス、例えば、ＰＣ（Personal Computer）、モバイル端末（例えば、タブレット、スマートフォン、ラップトップ、フィーチャーフォン、ポータブルゲーム機、など）、ＨＭＤ（Head Mounted Display）、ゲーム機、テレビ受像機（インターネットテレビを含む）、などであり得るが、これらに限られない。ユーザ端末４００は、供給された仮想空間情報により生成される仮想現実空間映像を視認可能な態様でユーザに提供する。

ユーザ端末４００は、ユーザによるボタン操作やユーザの頭部の動きなどにより、仮想現実空間におけるユーザの視点位置および向きを移動させるよう操作可能である。また、ユーザ端末４００はマイクを含み、ユーザが話した音声を含む音声情報（第２音声情報）を取得して、識別子を付してプラットフォーム３００へ送信する。

プラットフォーム３００は、ユーザ端末４００から取得した第２音声情報をサーバー２００へ送信する。サーバー２００は、取得した第２音声情報の識別子に基づいて、対応する走行のドライバーＤＶＲの携帯端末１の情報と第２音声情報とを関連付けて（ブロックＳＴ２）、携帯端末１を介して第２音声情報をドライバーＤＶＲに提供する。
なお、プラットフォーム３００が、ユーザ端末４００から取得した第２音声情報の識別子を確認し、対応する走行のドライバーＤＶＲに対して第２音声情報を提供してもよい。サーバー２００若しくはプラットフォーム３００は、外部のサービスを経由して車両ＶＣＬの車載スピーカーへ第２音声情報を供給してもよく、例えばドライバーＤＶＲに装着された（若しくは車両ＶＣＬ内部でドライバーの近傍に設置された）スピーカーに第２音声情報を供給してもよい。

以上のように、本実施形態のコミュニケーションシステムおよびコミュニケーション方法によれば、ドライバーは不特定多数とコミュニケーションの機会を得る事ができる。また、コミュニケーション参加者（ユーザ）は実際に車両に乗ることなく、また人数の制約を受けずにドライバーの操作状態や走行している場所の情報を得る事ができる。
その結果、本実施形態のコミュニケーションシステムおよびコミュニケーション方法によれば、ドライバーは一人で運転しているときであっても、例えば多数の人の話声を聴いたり話したりすることで孤独感を低減し、システムを介したコミュニケーションにより楽しく運転することができる。また、コミュニケーション参加者（プラットフォーム３００のユーザ）に対して、あたかも観光バスに乗車して車窓を楽しんだり、ドライバーと一緒にドライブを楽しんだりしているかのような体験を提供することができる。

すなわち、本実施形態によれば、ドライバーと不特定多数との間にコミュニケーション機会を供給可能なコミュニケーションシステム、コミュニケーション方法およびコンピュータプログラムを提供できる。

（変形例）
図３は、一実施形態のコミュニケーションシステムの他の構成例を概略的に示すブロック図である。
この例では、コントローラ１００が車載のマイク等を介して第１音声情報を取得するとともに取得した第１音声情報をサーバー２００へ出力する。また、通信部２０４は、プラットフォーム３００から出力された第２音声情報をコントローラ１００へ供給し、コントローラ１００が車載スピーカーにより第２音声情報をドライバーＤＶＲに供給している。この例によれば、上述の実施形態と同様の効果が得られるとともに、ドライバーＤＶＲは例えばラジオや音楽を聴くように車載スピーカーから流れる音声を楽しむことができる。また、音声情報がコントローラ１００とサーバー２００との間で送受信されるため、コントローラ１００とサーバー２００とによる初期設定が行われればよく、携帯端末１における初期設定をする必要がなくなる。
すなわち、図３に示す変形例によれば、上述の実施形態と同様にドライバーと不特定多数との間にコミュニケーション機会を供給可能なコミュニケーションシステム、コミュニケーション方法およびコンピュータプログラムを提供できる。

なお、上述の実施形態では、プラットフォーム３００からユーザに対して３次元の仮想現実空間情報を提供するものであったが、これに限定されるものではなく、仮想現実空間の２次元の映像をユーザ端末に供給してもよい。その場合であっても、上述の実施形態と同様の効果を得ることができる。
また、例えばドライバーＤＶＲが、運転中のＢＧＭとして多数の人が会話している音声を聴く場合には、サーバー２００およびプラットフォーム３００に対する第１音声情報の供給は省略しても構わない。

また、プラットフォーム３００において、各走行に対してアクセスできるユーザ数が制限されてもよく、特定のユーザにのみアクセスが許可されてもよい。また、多数のユーザがプラットフォーム３００にアクセスしているときには、サーバー２００からドライバーＤＶＲに第２音声情報を供給するときに、それぞれのユーザの音声のボリュームを調整してもよい。
また、ドライバーＤＶＲが車両ＶＣＬを駐車場に停車させているとき等、ドライバーＤＶＲが運転をしていないときには、ユーザの映像やアバターが車両ＶＣＬに搭載されたディスプレイに表示されてもよい。例えば、コントローラ１００は、車両が停車中であるときにサーバー２００に対してユーザの映像を要求する信号を送信し、サーバー２００がプラットフォーム３００からユーザの映像情報やアバター情報を取得してコントローラ１００に供給してもよい。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
［付記１］
車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを取得する第１取得部と、
前記ドライバーの挙動に対応する前記ドライバーの顔情報と、前記車両情報とを、出力する演算部と、
前記ドライバーの第１音声情報を取得する第２取得部と、
前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第１生成部と、
前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第２生成部と、
前記ドライバーモデルの情報、前記車両映像情報および前記第１音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第２音声情報を前記ドライバーに供給する通信部と、を備えたコミュニケーションシステム。
［付記２］
前記ドライバー情報は、前記ドライバーの顔を含むドライバー映像を備え、
前記演算部は、前記ドライバー映像を用いたフェイストラッキングにより前記ドライバーの顔のパーツの位置および大きさに関する表情情報を含む前記顔情報を出力し、
前記第１生成部は、前記表情情報と前記ドライバーモデルの識別情報とを関連付けた情報を含む前記ドライバーモデルの情報を出力する、付記１記載のコミュニケーションシステム。
［付記３］
前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、
前記第１生成部は、前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する、付記１記載のコミュニケーションシステム。
［付記４］
前記第１取得部および前記演算部を含むコントローラと、
前記第２取得部、前記第１生成部、前記第２生成部および前記通信部を備えたサーバーと、を備えた付記１記載のコミュニケーションシステム。
［付記５］
前記第１取得部、前記演算部および前記第２取得部を含むコントローラと、
前記第１生成部、前記第２生成部および前記通信部を備えたサーバーと、を備えた付記１記載のコミュニケーションシステム。
［付記６］
付記１記載のコミュニケーションシステムと、
前記ドライバー情報および前記車両情報を検出するセンサと、を備えた車両。
［付記７］
車両のドライバーの挙動に関するドライバー情報および前記車両に関する車両情報を取得し、
前記ドライバー情報に対応する前記ドライバーの顔情報を生成し、
前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成し、
前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成し、
前記ドライバーモデルの情報、前記車両映像情報、および、前記ドライバーの第１音声情報を外部プラットフォームに供給し、
前記外部プラットフォームから取得した第２音声情報を前記ドライバーに供給する、コミュニケーション方法。
［付記８］
車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報と、前記ドライバーの第１音声情報とに基づいて、前記車両内における前記ドライバーの動作および表情を再現するドライバーモデルおよび前記車両の走行する環境を、仮想空間において構成するための情報を外部プラットフォームへ出力し、
前記外部プラットフォームから取得した第２音声情報を前記ドライバーに供給する、コミュニケーション方法。
［付記９］
コンピュータに、付記７又は付記８に記載のコミュニケーション方法を実行させるコンピュータプログラム。
［付記１０］
車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを取得する取得部と、
前記ドライバー情報に対応する前記ドライバーの顔情報と、前記車両情報とを出力する演算部と、を有する端末装置。
［付記１１］
車両のドライバーの第１音声情報、前記ドライバーの顔情報および前記車両に関する車両情報を取得する取得部と、
前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第１生成部と、
前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第２生成部と、
前記ドライバーモデルの情報、前記車両映像情報および前記第１音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第２音声情報を前記ドライバーに供給する通信部と、を備えたサーバー。

１００…コントローラ
１０１…第１取得部
１０２…演算部
２００…サーバー
２０１…第２取得部
２０２…第１生成部
２０３…第２生成部
２０４…通信部
３００…プラットフォーム
ＤＶＲ…ドライバー
ＶＣＬ…車両
ＣＭＲ…カメラ
ＳＳ…位置測定器

Claims (9)

1. 車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報とを取得する第１取得部と、
   前記ドライバーの挙動に対応する前記ドライバーの顔情報と、前記車両情報とを、出力する演算部と、
   前記ドライバーの第１音声情報を取得する第２取得部と、
   前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第１生成部と、
   前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第２生成部と、
   前記ドライバーモデルの情報、前記車両映像情報および前記第１音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第２音声情報を前記ドライバーに供給する通信部と、を備え、
   前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、
   前記第１生成部は、前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する、コミュニケーションシステム。
2. 前記ドライバー情報は、前記ドライバーの顔を含むドライバー映像を備え、
   前記演算部は、前記ドライバー映像を用いたフェイストラッキングにより前記ドライバーの顔のパーツの位置および大きさに関する表情情報を含む前記顔情報を出力し、
   前記第１生成部は、前記表情情報と前記ドライバーモデルの識別情報とを関連付けた情報を含む前記ドライバーモデルの情報を出力する、請求項１記載のコミュニケーションシステム。
3. 前記第１取得部および前記演算部を含むコントローラと、
   前記第２取得部、前記第１生成部、前記第２生成部および前記通信部を備えたサーバーと、を備えた請求項１記載のコミュニケーションシステム。
4. 前記第１取得部、前記演算部および前記第２取得部を含むコントローラと、
   前記第１生成部、前記第２生成部および前記通信部を備えたサーバーと、を備えた請求項１記載のコミュニケーションシステム。
5. 請求項１記載のコミュニケーションシステムと、
   前記ドライバー情報および前記車両情報を検出するセンサと、を備えた車両。
6. 車両のドライバーの挙動に関するドライバー情報および前記車両に関する車両情報を取得し、
   前記ドライバー情報に対応する前記ドライバーの顔情報を生成し、
   前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成し、
   前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成し、
   前記ドライバーモデルの情報、前記車両映像情報、および、前記ドライバーの第１音声情報を外部プラットフォームに供給し、
   前記外部プラットフォームから取得した第２音声情報を前記ドライバーに供給する方法であって、
   前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、
   前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する、コミュニケーション方法。
7. 車両のドライバーの挙動に関するドライバー情報と、前記車両に関する車両情報と、前記ドライバーの第１音声情報とに基づいて、前記車両内における前記ドライバーの動作および表情を再現するドライバーモデルおよび前記車両の走行する環境を、仮想空間において構成するための情報を外部プラットフォームへ出力し、
   前記外部プラットフォームから取得した第２音声情報を前記ドライバーに供給する方法であって、
   前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、
   前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する、コミュニケーション方法。
8. コンピュータに、請求項６又は請求項７に記載のコミュニケーション方法を実行させるコンピュータプログラム。
9. 車両のドライバーの第１音声情報、前記ドライバーの顔情報および前記車両に関する車両情報を取得する取得部と、
   前記顔情報および前記車両情報に基づいて動作するドライバーモデルの情報を生成する第１生成部と、
   前記車両情報に基づく前記車両の走行する環境に対応する車両映像情報を生成する第２生成部と、
   前記ドライバーモデルの情報、前記車両映像情報および前記第１音声情報を外部プラットフォームに供給するとともに、前記外部プラットフォームから取得した第２音声情報を前記ドライバーに供給する通信部と、を備え、
   前記車両情報は、前記ドライバーによる前記車両の操作情報を含み、
   前記第１生成部は、前記操作情報を用いて前記ドライバーモデルの動き情報を作成して前記外部プラットフォームに供給する、サーバー。