JP7619774B2 - 自動運転支援装置 - Google Patents

Description

本発明は、自動運転支援装置に関する。

自動運転車両において、ドライバや同乗者等の乗員の運転特性を車両の走行制御へ反映することで、不安や違和感などのネガティブな感情を抑制する技術が提案されている。例えば、特許文献１には、運転者の運転データに基づいて運転者に固有の個人ドライバモデルを学習する個人サーバと、運転者の車両に設けられ、所定の車両制御処理を実行する車載コントローラとを備え、個人サーバは、車載コントローラに推奨処理の実行を指示するリコメンドエンジンを備え、リコメンドエンジンは、運転データに含まれる運転者の音声データに基づいて現在の運転者の感情状態を分析し、個人ドライバモデルに基づいて、分析された感情状態に応じた推奨処理を判断する車両運転支援システムが開示されている。

また、特許文献２には、車両の運転者又は同乗者の生体情報を測定する生体センサから取得した生体情報を用いて運転者又は同乗者の感情を推定し、推定した感情に基づいて車両の走行を制御する電子制御装置が開示されている。

特開２０１８－１６９７０４号公報 特開２０１７－１３６９２２号公報

しかしながら、特許文献１には、リコメンドエンジンが適切な推奨処理を導出し、車室空間リコメンド信号、走行ルートリコメンド信号、情報提示リコメンド信号の中から状況に応じて適宜なリコメンド信号を選択して出力することが記載されているものの、制御パラメタを具体的に算出する手順は記載されていない。特許文献２においても、推定した感情に基づいて車両の走行を制御するためのパラメタを具体的に算出する手順は記載されていない。車両の自動運転制御を実行するには、制御パラメタを逐次的に算出しなければならず、制御パラメタを具体的にかつ逐次的に算出する手法が必要とされる。

本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ドライバや同乗者等の乗員の感情を理想の状態に近づけるための車両の自動運転制御パラメタを具体的にかつ逐次的に算出可能な自動運転支援装置を提供することにある。

上記課題を解決するために、本発明のある観点によれば、車両の運転状態及び乗員の感情の情報に基づいて、車両の運転状態から乗員の感情を推定する乗員感情モデルを構築する乗員感情学習部と、乗員感情モデルに基づいて、乗員の感情が目標とする感情に近づく車両の理想運転状態を算出し、理想運転状態に基づいて自動運転制御用の制御パラメタを設定する制御パラメタ設定部と、を備え、制御パラメタ設定部は、車両の運転状態に関する複数の入力値をそれぞれ乗員感情モデルへ入力し、乗員感情モデルに入力された入力値のうち、乗員の感情が現在の感情よりも目標とする感情に近づく入力値を車両の理想運転状態として制御パラメタを設定する自動運転支援装置が提供される。

また、乗員感情モデルは、車両の周囲環境の情報と、車両の運転状態の情報と、に基づいて乗員の感情を推定する乗員感情モデルであり、制御パラメタ設定部は、現在の車両の周囲環境に対応する周囲環境における車両の理想運転状態を求めて制御パラメタを設定してもよい。

また、乗員感情学習部は、推定される乗員の感情の情報と、車両の周囲環境の情報と、車両の運転状態の情報と、を紐づけたデータセットを蓄積し、制御パラメタ設定部は、蓄積されたデータセットの中から、現在の車両の周囲環境に対応する周囲環境において目標とする感情に近づく車両の運転状態を抽出し、抽出した車両の運転状態の情報に基づいて複数の入力値を作成してもよい。

また、制御パラメタ設定部は、抽出した車両の運転状態における所定のデータ項目の値と現在の車両の運転状態における所定のデータ項目の値との間で複数の入力値を設定してもよい。

また、車両の運転状態における所定のデータ項目は複数のデータ項目を含み、複数のデータ項目のうちの少なくとも一つは、ユーザにより優先項目として設定可能であり、制御パラメタ設定部は、ユーザにより設定された優先項目がある場合には、乗員感情モデルに入力する複数の入力値のデータ項目のうちの当該優先項目の値を、現在の車両の周囲環境に対応する周囲環境において目標とする感情に近づく車両の運転状態として抽出された値に固定するとともに他のデータ項目について複数の入力値を作成してもよい。

また、制御パラメタ設定部は、優先項目の値を固定して求めた制御パラメタにより自動運転制御を実行したときの乗員の感情が、乗員感情モデルを用いて算出した乗員の感情よりも悪化した場合には、乗員の感情に与える影響の大きい少なくとも一つのデータ項目を、現在の車両の周囲環境に対応する周囲環境において目標とする感情に近づく車両の運転状態として抽出された値に固定するようにユーザに提示してもよい。

また、車両の運転状態における所定のデータ項目は複数のデータ項目を含み、乗員感情学習部は、蓄積したデータセットに基づいて、乗員の感情に与える影響の大きい少なくとも一つのデータ項目を抽出し、制御パラメタ設定部は、乗員の感情に与える影響の大きい少なくとも一つのデータ項目を、現在の車両の周囲環境に対応する周囲環境において目標とする感情に近づく車両の運転状態として抽出された値に固定して複数の入力値を求め、制御パラメタを設定してもよい。

また、制御パラメタ設定部は、演算を行う演算処理装置の処理速度及び制御パラメタの更新頻度のうちの少なくとも一方に基づいて、乗員感情モデルへ入力する複数の入力値の数を設定してもよい。

以上説明したように本発明によれば、ドライバや同乗者等の乗員の感情を理想の状態に近づけるための車両の自動運転制御パラメタを具体的に算出することができ、乗員の感情を理想の状態に近づけることが可能な自動運転制御を実現することができる。

本発明の実施の形態に係る自動運転支援装置の構成例を示すブロック図である。 乗員感情モデルの一例を示す説明図である。 乗員感情モデルを用いて車両の制御パラメタを設定するアルゴリズムを示す説明図である。 同実施形態に係る自動運転支援装置の動作例を示すフローチャートである。 同実施形態に係る自動運転支援装置による乗員感情モデル学習処理を示すフローチャートである。 同実施形態に係る自動運転支援装置による乗員感情に基づく走行制御処理を示すフローチャートである。

以下、添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．自動運転支援装置の構成例＞
まず、本発明の実施の形態に係る自動運転支援装置の構成例を説明する。図１は、本実施形態に係る自動運転支援装置１０の構成例を示すブロック図である。

自動運転支援装置１０は、車両に搭載され、車両の乗員、車両の運転状態、並びに車両の周囲環境の情報を検出するとともに、検出された各種情報を用いて車両の運転を支援する制御を実行するように構成されている。自動運転支援装置１０は、乗員検出部４１、車両情報検出部４３、入力部４５、周囲環境検出部４７、生体情報検出部４９、電子制御装置５０、通信装置３１及び車両走行制御装置３５を備えている。

（１－１．乗員検出部）
乗員検出部４１は、車内に設けられて、ドライバや同乗者等の車両の乗員を検出する。電子制御装置５０は、乗員検出部４１で検出された情報を取得可能に構成される。乗員検出部４１は、少なくとも車両に乗員が存在することを検出してもよく、個々の乗員を特定してもよい。本実施形態において、乗員検出部４１は、車室内を撮影するカメラと、当該カメラにより取得される撮像データに基づいて個々の乗員を特定する画像処理装置とを含んで構成されている。画像処理装置は、撮像データを画像処理することにより人物の顔の特徴量を算出し、個々の人物を特定する。乗員検出部４１は、検出した乗員が座る位置を特定してもよい。電子制御装置５０は、取得した乗員の情報を、個々の乗員の感情の学習に用いる。

（１－２．車両情報検出部）
車両情報検出部４３は、車両の運転状態の情報を検出する。車両の運転状態とは、車両の操作状態及び挙動を含む。電子制御装置５０は、車両情報検出部４３で検出された情報を取得可能に構成される。車両情報検出部４３は、車速、加速度、ヨーレート等の車両の挙動の情報を検出する。車両情報検出部４３は、例えば、エンジン回転数センサ、車速センサ、加速度センサ、角速度センサのうちの少なくとも一つを含んでいてもよい。また、車両情報検出部４３は、アクセル操作量、ブレーキ操作量、ステアリング舵角等の車両の操作状態の情報を検出する。車両情報検出部４３は、例えば、アクセルポジションセンサ、ブレーキストロークセンサ、舵角センサのうちの少なくとも一つを含んでいてもよい。電子制御装置５０は、取得した車両情報を、個々の乗員の感情の学習に用いる。

（１－３．入力部）
入力部４５は、ドライバや同乗者その他のユーザの入力操作を受け付ける。本実施形態において、入力部４５は、運転モードを手動運転モード又は自動運転モードに切り替える入力操作を受け付ける。また、入力部４５は、運転モードが自動運転モードに設定されている場合に、乗員感情モデル６３を利用して制御パラメタを設定する際の目標とする乗員の感情を設定する入力操作を受け付ける。後述のとおり、本実施形態において、ポジティブ及びネガティブの感情がそれぞれ４段階に規定され、乗員の感情はその中間のニュートラルの感情を含めて計９段階に規定されている。このため、ドライバ等の乗員は、９段階のうちのいずれかのレベルの感情を目標とする感情に設定する。

入力部４５は、特に限定されるものではなく、タッチパネル、ダイヤルスイッチ、ボタンスイッチ等の適宜の入力装置であってよい。あるいは、入力部４５は、音声又はジェスチャによる入力を受け付ける装置であってもよい。

（１－４．周囲環境検出部）
周囲環境検出部４７は、車両の周囲環境の情報を検出する。電子制御装置５０は、周囲環境検出部４７で検出された情報を取得可能に構成される。周囲環境検出部４７は、車両の周囲環境の情報として、車両の周囲に存在する人物や他車両、自転車、建造物、その他障害物等を検出する。また、周囲環境検出部４７は、車両の走行位置あるいは走行エリアの天候や路面状態、日照条件等を検出する。周囲環境検出部４７は、例えば、車両の周囲を撮像するカメラや、車両の周囲の物体を検出するレーダ、車両の周囲の物体までの距離や方位等を検出するＬｉＤＡＲ等の検出器のうちの少なくとも一つを含む。また、周囲環境検出部４７は、車車間通信又は路車間通信等の車両の外部の装置から情報を取得する通信装置を含んでいてもよい。さらに、周囲環境検出部４７は、路面摩擦に関連する情報を検出する検出器を含んでいてもよい。電子制御装置５０は、取得した周囲環境の情報を用いて周囲環境を判定する。

（１－５．生体情報検出部）
生体情報検出部４９は、乗員の感情や感性を推定するための情報を検出する一つ又は複数の検出機器からなる。電子制御装置５０は、乗員検出部４１で検出された情報を取得可能に構成される。乗員検出部４１を構成するカメラ及び画像処理装置が生体情報検出部４９として機能してもよい。例えば、画像処理装置は、カメラにより取得された顔画像の色の変化に基づいて、乗員の心拍や脈拍、体温等の生体情報を検出することができる。この他、生体情報検出部４９は、例えば、乗員の心拍を検出するための電波式ドップラーセンサ、乗員の脈拍を検出するための非装着型の脈拍センサ、ドライバの心拍又は心電図を計測するためにステアリングホイールに埋設された電極、乗員が座席に着座している間の座圧分布を計測するために運転席のシートに埋設された圧力計測器、乗員の心拍又は呼吸を計測するためにシートベルトの位置の変化を検出する機器、乗員の位置（生体位置）の情報を検出するためのＴＯＦ（Time of Flight）センサ、又は、乗員の皮膚の表面温度を計測するためのサーモグラフィのうちの少なくとも一つを含んでいてもよい。また、乗員検出部４１は、乗員に装着されて乗員の生体情報を検出すウェアラブル機器等の装着型の検出器を含んでいてもよい。

（１－６．通信装置）
通信装置３１は、電子制御装置５０が、外部のサーバ２０との間で情報を送受信するためのインタフェースである。例えば、通信装置３１は、移動体通信ネットワークを介してサーバ２０にアクセス可能な通信インタフェースであってもよい。通信装置３１は、ある車両で蓄積された走行感情データベース６１を複数の車両で共有するために外部のサーバ２０と通信するために備えられるものであり、走行感情データベース６１を共有しない場合には省略されていてもよい。

（１－７．車両走行制御装置）
車両走行制御装置３５は、車両の走行制御を実行する。車両走行制御装置３５は、車両の走行制御を実行する一つ又は複数の制御装置を含む、例えば、車両走行制御装置３５は、エンジンや、一つ又は複数の駆動用モータ及び変速機を含む動力伝達機構、ステアリングシステム、ブレーキシステム等の駆動を制御する制御装置を含む。本実施形態において、車両走行制御装置３５は、車両の自動運転制御を実行可能に構成されている。運転モードが自動運転モードに設定されている場合、車両走行制御装置３５は、車両の走行制御の少なくとも一部をドライバの操作によらずに自動で制御し、設定された走行経路を経由して車両を目的地まで走行させる。

また、車両走行制御装置３５は、自動運転モード中、電子制御装置５０からの指令を受信して車両の走行制御を実行する。具体的に、車両走行制御装置３５は、電子制御装置５０から送信される制御パラメタを用いて、車両の自動運転制御を実行する。

（１－８．電子制御装置）
電子制御装置５０は、例えば、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等の演算処理装置、及び、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等の記憶素子を備えて構成される。演算処理装置は、記憶素子に記憶されたプログラムを実行することにより種々の演算処理を実行する。電子制御装置５０は、記憶素子と併せて、あるいは、記憶素子に代えて、ＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＳＳＤ（Solid State Drive）、ＵＳＢ（Universal Serial Bus）フラッシュ、ストレージ装置等の記憶媒体を備えていてもよい。なお、電子制御装置５０の一部又は全部は、ファームウェア等の更新可能なもので構成されてもよく、また、ＣＰＵ等からの指令によって実行されるプログラムモジュール等であってもよい。

電子制御装置５０は、直接的に、又は、ＣＡＮ（Controller Area Network）やＬＩＮ（Local Inter-Net）等の通信ラインを介して、乗員検出部４１、車両情報検出部４３、入力部４５、周囲環境検出部４７、生体情報検出部４９及び車両走行制御装置３５と接続されている。

本実施形態において、電子制御装置５０は、運転モード設定部５１、周囲環境特定部５３、乗員感情推定部５５、乗員感情学習部５７、感情悪化判定部５９、走行感情データベース６１、乗員感情モデル６３及び制御パラメタ設定部６５を備える。このうち、運転モード設定部５１、周囲環境特定部５３、乗員感情推定部５５、乗員感情学習部５７、感情悪化判定部５９及び制御パラメタ設定部６５は、演算処理装置によるプログラムの実行により実現される機能であってもよい。また、走行感情データベース６１及び乗員感情モデル６３は、記憶部に記憶されたデータからなる。

（１－８－１．運転モード設定部）
運転モード設定部５１は、入力部４５から送信される操作入力の信号に基づいて、車両の運転モードを手動運転モード又は自動運転モードに切り換える。運転モード設定部５１は、自動運転モードのレベルを設定可能に構成されていてもよい。本実施形態に係る自動運転支援装置１０において、電子制御装置５０は、車両が手動運転モードで走行している間に乗員の感情を学習して乗員感情モデル６３を構築する。一方、電子制御装置５０は、車両が自動運転モードで走行している間に乗員感情モデル６３を用いて乗員の感情を推定し、乗員の感情が現在の感情よりも目標とする感情に近づく車両の理想運転状態を算出し、当該理想運転状態に基づいて自動運転制御用の制御パラメタを設定する。

（１－８－２．周囲環境特定部）
周囲環境特定部５３は、周囲環境検出部４７から送信される周囲環境の情報に基づいて、車両の周囲環境を特定する。具体的に、周囲環境特定部５３は、地図上の車両の位置や対向車を含む他車両、自転車、歩行者、建造物、その他の障害物等の位置や大きさ、これらの障害物等と自車両との間の距離や、障害物等と自車両との相対速度等を特定する。周囲環境特定部５３は、電子制御装置５０の処理速度に応じた所定の時間間隔で周囲環境を特定する。

（１－８－３．乗員感情推定部）
乗員感情推定部５５は、生体情報検出部４９から送信される生体情報に基づいて、乗員の感情を推定する。例えば、乗員感情推定部５５は、生体情報検出部４９から送信される心拍や脳波等のそれぞれの生体情報を、「怖い」や「心地よい」等のあらかじめ設定された感情それぞれの指標に変換するように構成されていてもよい。具体的に、乗員感情推定部５５は、それぞれの生体情報を、あらかじめ設定された感情それぞれの二次元座標上に対応付けるように構成されていてもよい。それぞれの感情は、ポジティブ又はネガティブの二段階に規定されていてもよく、ポジティブ側及びネガティブ側それぞれについて複数段階のレベルに規定されていてもよい。本実施形態において、それぞれの感情がそれぞれ４段階に規定され、その中間にニュートラルの感情を含めて計９段階に規定されている。

なお、本明細書において、「ポジティブ」とは、それぞれの感情について安全側あるいは安心側等の「良い感情」の状態であることを意味し、「ネガティブ」とは、「悪い感情」の状態であることを意味する。

（１－８－４．乗員感情学習部）
乗員感情学習部５７は、運転モードが手動運転モードに設定されている間に乗員感情モデル６３を学習する。乗員感情学習部５７は、乗員感情推定部５５で推定された乗員の感情の情報、車両情報検出部４３で検出された車両の運転状態の情報及び周囲環境特定部５３で特定された車両の周囲環境の情報に基づいて乗員感情モデル６３を構築する。具体的に、乗員感情学習部５７は、乗員の感情の情報と、当該乗員の感情の情報に時間的に紐づけられた車両の運転状態の情報及び周囲環境の情報とからなるデータセットを走行感情データベース６１に蓄積するとともに、当該データセットを用いて乗員感情モデル６３を構築する。

図２は、乗員感情モデル６３の一例を示す。乗員感情モデル６３は、車両の運転状態の情報及び周囲環境の情報を入力とし、出力として乗員感情を推定するための学習モデルである。乗員感情モデル６３の構築に用いられるデータセットが時系列のデータセットであることから、入力として車両の運転状態の情報及び周囲環境の情報の時系列のデータを乗員感情モデル６３に入力することにより、逐次的に乗員の感情を推定することができる。

入力データとする車両の運転状態の情報としては、車両の前後、左右及び上下それぞれの方向の加速度、ヨー角、ピッチ角及びロール角それぞれの角速度、車速、操舵角、アクセル操作量並びにブレーキ操作量の時系列データを含むことが好ましい。さらに、車両の運転状態の情報として、エンジン回転数、方向指示器出力、乗員数及び個々の乗員の属性等の情報を含んでもよい。また、入力データとする周囲環境の情報としては、自車両の走行車線、他車両や歩行者などの交通参加者に関する属性、相対距離、相対速度及び進行方向、並びに走行中の道路の車線数、信号機情報、制限速度などの交通ルール及び交通規制のデータを含むことが好ましい。さらに、周囲環境の情報として、天候、路面状態及び建造物の属性等の情報を含んでいてもよい。

また、乗員感情モデル６３は、上記の時系列のデータの時間順序を保ったまま、入力データに対応する数の入力を受け取ってもよい。あるいは、乗員感情モデル６３は、上記の時系列のデータから、例えば時間窓を規定して特徴量を抽出、例えば時間窓内の最大値、最小値及び平均値等を抽出し、入力データとして受け取ってもよい。この場合、入力データ数は、時系列のデータから抽出される特徴量の数に比例する。また、乗員感情モデル６３は、乗員感情の推定値（１つの値）を出力する。

なお、乗員感情モデル６３を構築する手法は特に限定されるものではなく、例えば、サポートベクタマシン、近傍法、ディープラーニング等のニューラルネットワーク又はベイジアンネットワーク等の公知の手法を適宜採用することができる。

（１－８－５．感情悪化判定部）
感情悪化判定部５９は、運転モードが自動運転モードに設定されている間に、乗員の感情が悪化したか否かを判定する。本実施形態において、感情悪化判定部５９は、乗員感情推定部５５により推定された感情のレベルが、入力部４５を介して設定された感情の目標レベルよりもネガティブ側にあるか否かを判定する。

（１－８－６．制御パラメタ設定部）
制御パラメタ設定部６５は、運転モードが自動運転モードに設定されている間、車両走行制御装置３５による自動運転制御に用いられる制御パラメタを設定する。制御パラメタ設定部６５は、乗員感情モデル６３に基づいて、乗員の感情が目標レベルに近づく車両の理想運転状態を算出し、理想運転状態に基づいて自動運転制御用の制御パラメタを設定する。本実施形態において、制御パラメタ設定部６５は、車速や加減速度、舵角等の車両の運転状態に関する複数の入力値をそれぞれ乗員感情モデル６３へ入力し、乗員感情モデル６３に入力された入力値のうち、乗員の感情が現在の感情よりも目標レベルに近づく入力値を車両の理想運転状態として制御パラメタを設定する。

制御パラメタは、車両走行制御装置３５が車両の自動運転制御を実行する際に、それぞれの制御対象の制御量を算出するために用いられる変数である。例えば、制御パラメタは、車速や加減速度、操舵率等の値を含む。

感情の目標レベルは、例えば、入力部４５を介して設定される。ドライバ等の乗員は、あらかじめ入力部４５の操作入力を行い、感情の目標レベルを設定してもよい。あるいは、制御パラメタ設定部６５は、常時、乗員感情推定部５５により推定される乗員の感情レベルよりも１段階あるいは複数段階ポジティブ側の感情レベルを目標レベルに設定してもよい。また、制御パラメタ設定部６５は、常時、ポジティブ側の最上位の感情レベルを目標レベルに設定してもよい。また、制御パラメタ設定部６５は、乗員感情推定部５５により推定される乗員の感情レベルがネガティブ側であった場合に、ニュートラルの感情レベルを目標レベルに設定してもよい。

さらに、車両が所定の状況下で走行した際に乗員感情推定部５５により推定された乗員の感情がネガティブとなった場合、制御パラメタ設定部６５が、類似の状況下での感情の目標レベルを乗員に問いかけ、その反応に基づいて設定してもよい。例えば、車両の右折時に、対向車と近いにもかかわらず車両が右折したときに、乗員感情推定部５５によって乗員の生体情報から推定された乗員の感情が右折前の感情状態と比較してネガティブ側に変化した場合、制御パラメタ設定部６５が、同じ状況での感情の目標レベルを問いかける。問いかける内容は事前に設定しておき、前記ネガティブ側に変化した際に、車載スピーカーなどを通じて再生する。

具体的には、制御パラメタ設定部６５は、乗員に対して「今の状況では怖くない運転がよいですか？」と問いかけたり、「今の状況では多少不安があってもタイミングを重視した運転がよいですか？」と問いかけたりする。乗員が、「今の状況では怖くない運転がよい」に肯定的な反応をした場合、制御パラメタ設定部６５は、感情の目標レベルをニュートラルに設定する。また、乗員が、「今の状況では多少不安があってもタイミングを重視した運転がよい」に肯定的な反応をした場合、制御パラメタ設定部６５は、そのときに推定された感情レベルの１段階あるいは複数段階上の感情レベルを目標レベルに設定する。

また、制御パラメタ設定部６５は、乗員感情モデル６３へ入力する入力値の候補を複数用意し、当該複数の入力値を順次乗員感情モデル６３へ入力する。制御パラメタ設定部６５は、複数の入力値に基づいて乗員感情モデル６３から出力される複数の感情レベルのうち、目標レベルに最も近づく感情レベルに対応する入力値を選択する。そして、制御パラメタ設定部６５は、当該入力値を理想運転状態として、選択した入力値に基づいて制御パラメタを設定する。これにより、乗員の感情が目標レベルに近づくように車両の自動運転制御が実行される。なお、目標レベルに最も近づく前記複数の入力値が存在する場合、それらの入力値のうち、現在の制御パラメタに最も近い入力値を選択してもよい。

図３は、乗員感情モデル６３を用いて車両の制御パラメタを設定するアルゴリズムの一例を示す。制御パラメタを求める際の入力値は、自動運転制御中の車両の操作状態及び挙動に関する入力値からなる。周囲環境の入力値は、制御することのできない情報（固定値）であるため、周囲環境検出部４７により検出される周囲環境の情報（固定値）が用いられる。

用意される入力値の候補数は、電子制御装置５０を構成する演算処理装置の処理速度及び制御パラメタの更新頻度のうちの少なくとも一方に基づいて適宜設定される。例えば、以下のようにして、用意される複数の入力値の候補数が事前に設定される。まず、乗員感情モデル６３に必要とされるデータ処理量、及び、乗員感情モデル６３を用いた演算処理を行う演算処理装置の処理能力から、単位時間あたりに乗員感情モデル６３に入力値を入力して乗員の感情が出力される演算回数を算出する。算出された演算回数及び制御パラメタの更新速度に基づいて、制御パラメタを更新するごとに演算処理が可能な演算数を算出する。この演算数が、入力値の候補数として設定される。自動運転制御を緻密に実行するには、演算処理装置の処理速度及び制御パラメタの更新頻度を考慮して設定し得る最大数とすることが好ましい。

制御パラメタ設定部６５は、複数の入力値を順次乗員感情モデル６３へ入力してそれぞれの感情レベルを求め、目標レベルに最も近づく入力値を選択する。そして、制御パラメタ設定部６５は、当該入力値を理想運転状態として、選択した入力値に基づいて制御パラメタを設定する。具体的に、制御パラメタ設定部６５は、走行感情データベース６１に蓄積されているデータセットの中から、周囲環境検出部４７により検出される現在の周囲環境の情報に一致又は類似し、かつ、設定されている感情の目標レベルに最も近い感情レベルであったときの車両の運転状態のデータセットを抽出する。制御パラメタ設定部６５は、抽出された車両の運転状態のデータセットを、基準操作目標値に設定する。

制御パラメタ設定部６５は、舵角や加速度等の車両の運転状態の情報を対象として、現在値と上記の基準操作目標値との間で、上記の演算数に相当する複数の入力値候補を作成する。例えば、車速データについて、現在の車速が４０ｋｍ／ｈで基準操作目標値が３０ｋｍ／ｈ、演算数が３である場合、車速の入力値の候補は、３０ｋｍ／ｈ、３５ｋｍ／ｈ、４０ｋｍ／ｈとなる。制御パラメタ設定部６５は、同様の処理を、他のデータすべてについて実行し、複数の入力値候補を作成する。なお、入力値候補を複数用意するのは、基準操作目標値に設定されたデータセットの周囲環境の情報が現在の周囲環境に完全に一致していない場合、基準操作目標値が、必ずしも感情の目標レベルを実現可能な車両の運転状態であるとは限らないからである。

制御パラメタ設定部６５は、作成した複数の入力値を順次乗員感情モデル６３へ入力し、出力される乗員の感情が目標レベルに最も近づく車両の運転状態のデータセットを選択する。そして、制御パラメタ設定部６５は、選択したデータセットに基づいて、車速や加減速度、操舵率等の自動運転制御における制御パラメタを設定する。入力値候補の数は、上述のとおり、演算処理装置の処理速度及び制御パラメタの更新頻度の少なくとも一方に基づいて設定されているため、制御パラメタ設定部６５は、演算処理装置の処理サイクルごとに制御パラメタを逐次更新することができる。制御パラメタ設定部６５は、乗員感情モデル６３を用いた制御パラメタの設定を、演算処理装置の処理サイクルごとに実行し、設定した制御パラメタの情報を車両走行制御装置３５へ送信する。これにより、乗員の感情が目標レベルとなるような自動運転制御用の制御パラメタが逐次的に求められ、乗員にとって心地よい自動運転制御を実行することができる。

＜２．動作例＞
ここまで、本実施形態に係る自動運転支援装置１０の構成例を説明した。次に、図４～図６に示すフローチャートに基づいて、本実施形態に係る自動運転支援装置１０の動作例を説明する。以下の説明においては、上述の構成例ですでに説明した内容についての説明を省略する場合がある。

まず、自動運転支援装置１０の電子制御装置５０がシステムの起動を検知すると（ステップＳ１１）、乗員検出部４１は、車両の乗員を認識する（ステップＳ１３）。また、運転モード設定部５１は、入力部４５を介して入力された運転モードにしたがって、車両の運転モードを手動運転モード又は自動運転モードに設定する（ステップＳ１５）。

次いで、運転モード設定部５１は、運転モードが自動運転モードであるか否かを判別する（ステップＳ１７）。運転モードが自動運転モードでない場合（Ｓ１７／Ｎｏ）、つまり、運転モードが手動運転モードに設定されている場合、乗員感情推定部５５は、生体情報検出部４９から送信される生体情報に基づいて、乗員の感情を推定する（ステップＳ２７）。本実施形態においては、複数段階に規定された乗員の感情のレベルを推定する。このときに推定された乗員の感情は、走行開始時の感情の情報として記憶される。次いで、車両走行制御装置３５は、ドライバの運転操作にしたがって車両の走行制御を開始して車両の走行を開始させる（ステップＳ２９）。手動運転モードで車両の走行を開始させた後、電子制御装置５０は、乗員感情学習部５７による乗員感情モデル６３の学習処理を実行する（ステップＳ３１）。システムが停止されるまでの間（ステップＳ２５が肯定判定されるまでの間）、車両が手動運転モードに設定されている状態で、電子制御装置５０は、乗員感情モデル６３の学習処理を繰り返し実行する。

図５は、自動運転支援装置１０による乗員感情モデル学習処理の一例を示すフローチャートである。まず、周囲環境特定部５３は、周囲環境検出部４７から送信される周囲環境の情報に基づいて車両の現在の周囲環境の情報を特定する（ステップＳ４１）。次いで、車両情報検出部４３は、現在の車両の運転状態を検出する（ステップＳ４３）。次いで、乗員感情推定部５５は、生体情報検出部４９から送信される生体情報に基づいて乗員の感情を推定する（ステップＳ４５）。

次いで、乗員感情学習部５７は、乗員の感情の情報、周囲環境の情報及び車両の運転状態の情報を取得し、乗員の感情の情報と、当該乗員の感情の情報に時間的に紐づけられた周囲環境の情報及び車両の運転状態の情報とを走行感情データベース６１に蓄積する（ステップＳ４７）。次いで、乗員感情学習部５７は、乗員の感情の情報と、当該乗員の感情の情報に時間的に紐づけられた周囲環境の情報及び車両の運転状態の情報とを用いて、ディープラーニング等の公知の手法を用いて乗員感情モデル６３を構築あるいは更新する（ステップＳ４９）。乗員感情学習部５７は、演算処理装置の処理サイクルごとに、これらのステップＳ４１～ステップＳ４９までの処理を繰り返し実行し、乗員感情モデル６３を構築する。

一方、上記のステップＳ１７において、運転モードが自動運転モードである場合（Ｓ１７／Ｙｅｓ）、乗員感情推定部５５は、生体情報検出部４９から送信される生体情報に基づいて、乗員の感情を推定する（ステップＳ１９）。このときに推定された乗員の感情は、走行開始時の感情の情報として記憶される。次いで、車両走行制御装置３５は、自動運転モードで車両の走行制御を開始して車両の走行を開始させる（ステップＳ２１）。自動運転モードで車両の走行を開始させた後、電子制御装置５０は、乗員の感情に基づく車両の走行制御を実行する（ステップＳ２３）。システムが停止されるまでの間（ステップＳ２５が肯定判定されるまでの間）、車両が自動運転モードに設定されている状態で、電子制御装置５０は、乗員の感情に基づく車両の走行制御を継続する。

図６は、自動運転支援装置１０による走行感情に基づく走行制御処理のフローチャートの一例を示す。まず、周囲環境特定部５３は、周囲環境検出部４７から送信される周囲環境の情報に基づいて車両の現在の周囲環境の情報を特定する（ステップＳ５１）。次いで、乗員感情推定部５５は、生体情報検出部４９から送信される生体情報に基づいて乗員の感情を推定する（ステップＳ５３）。次いで、感情悪化判定部５９は、推定された乗員の感情が悪化したか否かを判別する（ステップＳ５５）。本実施形態において、感情悪化判定部５９は、推定された乗員の感情のレベルが、前回に比べてネガティブ側に変化したか否かを判別する。

乗員の感情が悪化していない場合（Ｓ５５／Ｎｏ）、自動運転支援装置１０は、ステップＳ５１に戻って、ステップＳ５１～ステップＳ５５の処理を繰り返す。一方、乗員の感情が悪化した場合（Ｓ５５／Ｙｅｓ）、制御パラメタ設定部６５は、設定されている目標感情値を参照する（ステップＳ５７）。本実施形態においては、設定されている感情の目標レベルの情報を参照する。

次いで、制御パラメタ設定部６５は、走行感情データベース６１を参照して、乗員感情モデル６３に入力する複数の入力値の候補を作成する（ステップＳ５９）。具体的に、制御パラメタ設定部６５は、走行感情データベース６１を参照して、現在の周囲環境に一致又は類似する周囲環境のデータセットの中から、乗員の感情が目標レベルに最も近い車両の運転状態のデータセットを抽出する。次いで、制御パラメタ設定部６５は、抽出された車両の運転状態のデータセットを、基準操作目標値に設定し、現在の車両の運転状態の値と基準操作目標値との間で、あらかじめ設定された演算数に相当する複数の入力値の候補を作成する。

次いで、制御パラメタ設定部６５は、入力値の候補のいずれかを乗員感情モデル６３へ入力し、出力される乗員の感情の情報を取得する（ステップＳ６１）。次いで、制御パラメタ設定部６５は、乗員感情モデル６３から出力された乗員の感情の値と目標感情値との差分を算出する（ステップＳ６３）。本実施形態において、制御パラメタ設定部６５は、乗員感情モデル６３から出力された感情レベルと、感情の目標レベルとの差分を算出する。次いで、制御パラメタ設定部６５は、乗員感情モデル６３へのすべての入力値の候補の入力が完了したか否かを判別する（ステップＳ６５）。すべての入力値の候補の入力が完了していない場合（Ｓ６５／Ｎｏ）、制御パラメタ設定部６５は、ステップＳ６１に戻って次の入力値の候補を乗員感情モデル６３へ入力する。制御パラメタ設定部６５は、すべての入力値の候補の入力が完了するまで、ステップＳ６１～ステップＳ６５の処理を繰り返し実行する。

すべての入力値の候補の入力が完了した場合（Ｓ６５／Ｙｅｓ）、制御パラメタ設定部６５は、乗員感情モデル６３から出力された感情レベルと感情の目標レベルとの差分が最小となる入力値を選択する（ステップＳ６７）。ここで選択される入力値は、乗員の感情レベルが目標レベルに最も近づく入力値である。次いで、制御パラメタ設定部６５は、選択した入力値を自動運転制御の制御パラメタに変換する（ステップＳ６９）。次いで、制御パラメタ設定部６５は、算出した制御パラメタを車両走行制御装置３５へ送信し、自動運転制御へ反映させる（ステップＳ７１）。

自動運転モード中に乗員感情に基づく走行制御が実行される場合（ステップＳ２３）、あるいは、手動運転モード中に乗員感情モデル６３の学習処理が実行される場合（ステップＳ３１）、いずれの場合においても、自動運転支援装置１０は、システムが停止したか否かを判別する（ステップＳ２５）。システムが停止していない場合（Ｓ２５／Ｎｏ）、自動運転支援装置１０は、上述したステップＳ１７～ステップＳ３１までの処理を繰り返す。一方、システムが停止した場合（Ｓ２５／Ｙｅｓ）、自動運転支援装置１０は、制御処理を終了する。

以上説明したように、本実施形態に係る自動運転支援装置１０は、運転モードが手動運転モードに設定されている間、乗員の感情の情報と、当該乗員の感情の情報と時間的に紐づけされた車両の運転状態の情報及び周囲環境の情報とを走行感情データベース６１に蓄積するとともに、これらの情報を用いて乗員感情モデル６３を構築する。さらに、自動運転支援装置１０は、運転モードが自動運転モードに設定されている間、走行感情データベース６１を参照して、乗員感情モデル６３に入力する車両の運転状態の入力値の複数の候補を作成し、乗員感情モデル６３から出力される感情レベルが目標レベルに最も近づく入力値に基づいて自動運転制御の制御パラメタを設定する。

走行感情データベース６１が、時間的に紐づけられた情報のデータセットであり、制御パラメタ設定部６５は、所定の処理サイクルごとに、車両の運転状態の入力値の複数の候補の中から乗員の感情レベルが目標レベルに近づく入力値に基づいて制御パラメタを設定する。このため、乗員の感情を目標とする感情に近づけることが可能な制御パラメタを具体的にかつ逐次的に設定することができる。

また、制御パラメタ設定部６５は、走行感情データベース６１の中から、現在の車両の周囲環境に一致するか又は類似する周囲環境のデータセットを用いて制御パラメタを設定する。このため、周囲環境が一致するデータセットが走行感情データベース６１にない場合であっても、目標とする感情に近い状態に導く走行制御を実現することができる。

＜３．変形例＞
ここまで、本実施形態に係る自動運転支援装置１０を説明したが、本実施形態に係る自動運転支援装置１０は種々の変形が可能である。以下、制御パラメタ設定部６５が、さらに個々の乗員に適合させて制御パラメタを設定する変形例を説明する。

第１の変形例は、乗員感情モデル６３に入力する複数の入力値の候補について、それぞれの入力値のデータ項目のうち優先する一つ又は複数のデータ項目の値を乗員が事前に決定しておく例である。例えば、ある乗員が、自動運転制御において車速を重視する場合、乗員は、車速を優先項目としてあらかじめ設定する。制御パラメタ設定部６５は、複数の入力値の候補を作成する際に、車速のデータについては走行感情データベース６１から抽出された基準操作目標値を構成する車速に固定し、その他のデータ項目について入力値の候補を作成する。これにより、車両の運転状態に関する乗員の嗜好を反映しつつ、乗員の感情を目標とする感情に近づける制御パラメタを設定することができる。

第２の変形例は、制御パラメタ設定部６５が、個々の乗員ごとに、感情に与える影響の大きい車両の運転状態のデータ項目を走行感情データベース６１に基づいて抽出し、当該乗員については、当該データ項目を固定して入力値の候補を作成する例である。例えば、乗員検出部４１が個々の乗員を識別して認識し、個々の乗員ごとにデータセットを蓄積した走行感情データベース６１を作成する。そして、乗員感情学習部５７は、乗員感情モデル６３に対する感度を分析し、感情に与える影響の大きいデータ項目を抽出する。感度の分析は、例えば、入力するデータ項目のうち、一つの項目を除いたり、あるいは、一つの項目の数値を変化させたりした場合に、出力される感情レベルが大きく変化するデータ項目を解析する方法であってもよい。制御パラメタ設定部６５は、特定されたデータ項目については走行感情データベース６１から抽出された基準操作目標値を構成する入力値に固定し、その他のデータ項目について入力値の候補を作成する。これにより、個々の乗員の感情に与える影響が大きいデータ項目について優先的に入力値を設定しつつ、乗員の感情を目標とする感情に近づける制御パラメタを設定することができる。

さらに、上記の第１の変形例の方法を用いて算出した制御パラメタを自動運転制御に反映させた場合に、生体情報検出部４９で検出された生体情報に基づいて推定される乗員の感情レベルが、乗員感情モデル６３を用いて算出された感情レベルよりもネガティブな場合に、第２の変形例の方法において求められた感情に与える影響の大きい項目について、優先するデータ項目として設定するよう乗員に提案してもよい。

これらの変形例によれば、乗員感情モデル６３を用いた自動運転制御に、乗員の嗜好、又は、蓄積された走行感情データベース６１に基づく客観的な傾向のうちの少なくとも一方を反映させることができ、個々の乗員の意向や特性を反映させた自動運転制御を実行することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態において、乗員感情学習部５７は、運転モードが手動運転モードである場合に走行感情データベース６１にデータセットを蓄積し、乗員感情モデル６３を更新したが、本発明はかかる例に限定されない。乗員感情学習部５７は、運転モードが自動運転モードである場合であっても、走行感情データベース６１にデータセットを蓄積し、乗員感情モデル６３を更新してもよい。

１０…自動運転支援装置、３５…車両走行制御装置、５０…電子制御装置、５１…運転モード設定部、５３…周囲環境特定部、５５…乗員感情推定部、５７…乗員感情学習部、５９…感情悪化判定部、６１…走行感情データベース、６３…乗員感情モデル、６５…制御パラメタ設定部

Claims (5)

1. 車両の周囲環境の情報、前記車両の運転状態の情報及び乗員の感情の情報に基づいて、前記車両の周囲環境の情報及び前記車両の運転状態の情報から前記乗員の感情を推定する乗員感情モデルを構築する乗員感情学習部と、
   前記乗員感情モデルに基づいて、前記乗員の感情が目標とする感情に近づく前記車両の理想運転状態を算出し、前記理想運転状態に基づいて自動運転制御用の制御パラメタを設定する制御パラメタ設定部と、を備え、
   前記乗員感情学習部は、推定される前記乗員の感情の情報と、前記車両の周囲環境の情報と、前記車両の運転状態の情報と、を紐づけたデータセットを蓄積し、
   前記制御パラメタ設定部は、蓄積された前記データセットの中から、現在の前記車両の周囲環境に対応する周囲環境において目標とする感情に近づく前記車両の運転状態を抽出し、前記抽出した前記車両の運転状態の情報に基づいて複数の入力値を作成して前記複数の入力値をそれぞれ前記乗員感情モデルへ入力し、前記乗員感情モデルに入力された入力値のうち、現在の前記車両の周囲環境に対応する周囲環境における前記乗員の感情が現在の感情よりも前記目標とする感情に近づく入力値を前記車両の理想運転状態として前記制御パラメタを設定し、
   前記車両の運転状態のデータ項目は複数のデータ項目を含み、
   前記複数のデータ項目のうちの少なくとも一つは、ユーザにより優先項目として設定可能であり、
   前記制御パラメタ設定部は、前記ユーザにより設定された前記優先項目がある場合には、前記乗員感情モデルに入力する前記複数の入力値の前記データ項目のうちの当該優先項目の値を、現在の前記車両の周囲環境に対応する周囲環境において目標とする感情に近づく前記車両の運転状態として抽出された値に固定するとともに前記優先項目以外の前記データ項目について前記複数の入力値を作成する、自動運転支援装置。
2. 前記制御パラメタ設定部は、前記優先項目の値を固定して求めた前記制御パラメタにより前記自動運転制御を実行したときの前記乗員の感情が、前記乗員感情モデルを用いて算出した前記乗員の感情よりも悪化した場合には、前記乗員の感情に与える影響の大きい少なくとも一つの前記データ項目を、現在の前記車両の周囲環境に対応する周囲環境において前記目標とする感情に近づく前記車両の運転状態として抽出された値に固定するように前記ユーザに提示する、請求項１に記載の自動運転支援装置。
3. 前記制御パラメタ設定部は、前記抽出した前記車両の運転状態における所定のデータ項目の値と現在の前記車両の運転状態における前記所定のデータ項目の値との間で前記複数の入力値を設定する、請求項１又は２に記載の自動運転支援装置。
4. 車両の周囲環境の情報、前記車両の運転状態の情報及び乗員の感情の情報に基づいて、前記車両の周囲環境の情報及び前記車両の運転状態の情報から前記乗員の感情を推定する乗員感情モデルを構築する乗員感情学習部と、
   前記乗員感情モデルに基づいて、前記乗員の感情が目標とする感情に近づく前記車両の理想運転状態を算出し、前記理想運転状態に基づいて自動運転制御用の制御パラメタを設定する制御パラメタ設定部と、を備え、
   前記乗員感情学習部は、推定される前記乗員の感情の情報と、前記車両の周囲環境の情報と、前記車両の運転状態の情報と、を紐づけたデータセットを蓄積し、
   前記制御パラメタ設定部は、蓄積された前記データセットの中から、現在の前記車両の周囲環境に対応する周囲環境において目標とする感情に近づく前記車両の運転状態を抽出し、当該抽出した前記車両の運転状態の情報に基づいて前記複数の入力値を作成して前記複数の入力値をそれぞれ前記乗員感情モデルへ入力し、前記乗員感情モデルに入力された入力値のうち、現在の前記車両の周囲環境に対応する周囲環境における前記乗員の感情が現在の感情よりも前記目標とする感情に近づく入力値を前記車両の理想運転状態として前記制御パラメタを設定し、
   前記車両の運転状態のデータ項目は複数のデータ項目を含み、
   前記乗員感情学習部は、蓄積した前記データセットに基づいて、前記乗員の感情に与える影響の大きい少なくとも一つの前記データ項目を抽出し、
   前記制御パラメタ設定部は、前記乗員の感情に与える影響の大きい前記少なくとも一つのデータ項目を、現在の前記車両の周囲環境に対応する周囲環境において前記目標とする感情に近づく前記車両の運転状態として抽出された値に固定するとともに前記少なくとも一つのデータ項目以外の前記データ項目について前記複数の入力値を作成する、自動運転支援装置。
5. 車両の運転状態及び乗員の感情の情報に基づいて、前記車両の運転状態から前記乗員の感情を推定する乗員感情モデルを構築する乗員感情学習部と、
   前記乗員感情モデルに基づいて、前記乗員の感情が目標とする感情に近づく前記車両の理想運転状態を算出し、前記理想運転状態に基づいて自動運転制御用の制御パラメタを設定する制御パラメタ設定部と、を備え、
   前記制御パラメタ設定部は、演算を行う演算処理装置の処理速度及び前記制御パラメタの更新頻度のうちの少なくとも一方に基づいて、前記乗員感情モデルへ入力する前記車両の運転状態に関する複数の入力値の数を設定し、設定した数の前記複数の入力値をそれぞれ前記乗員感情モデルへ入力し、前記乗員感情モデルに入力された入力値のうち、前記乗員の感情が現在の感情よりも前記目標とする感情に近づく入力値を前記車両の理想運転状態として前記制御パラメタを設定する、自動運転支援装置。

Images