JP7815973B2 - 乗員状態推定方法、運転支援方法及び乗員状態推定装置 - Google Patents

Description

本発明は、乗員状態推定方法、運転支援方法及び乗員状態推定装置に関する。

特許文献１には、車両の乗員の脳波を計測し、３～８Ｈｚと９～１２Ｈｚの通常状態からの活性度曲線の乖離により、乗員の通常の注意状態からの逸脱を判定する方法が記載されている。

特表平８－５０８８３０号公報

しかしながら、脳波は集中度以外の要因でも変化することがあり周波数強度には個人差もあるため、脳波の周波数帯の強度だけでは具体的な脳内機能を捉えることができない。この結果、乗員の注意状態を精度良く判定することができないという課題がある。
本発明は、乗員の脳活動の検出結果に基づく乗員の注意状態の推定精度を向上することを目的とする。

本発明の一態様による乗員状態推定方法では、車両の乗員の脳の左側又は右側の少なくとも一方において、乗員の脳の頭頂部又は側頭部の少なくとも一方の活動を検出した第１脳活動信号を生成するとともに乗員の脳の前頭部の活動を検出した第２脳活動信号を生成し、第１脳活動信号と第２脳活動信号とに基づいて頭頂部又は側頭部の少なくとも一方と前頭部との間の機能的連結性である第１機能的連結性の有無を判定し、第１機能的連結性があると判定した場合に、乗員の注意状態は乗員が注意対象に注意している状態であると推定する。

本発明によれば、乗員の脳活動の検出結果に基づく乗員の注意状態の推定精度を向上できる。

実施形態の運転支援装置の一例の概略構成図である。 乗員の脳の各部位の模式図である。 図１のコントローラの機能構成の一例のブロック図である。 実施形態の運転支援方法の一例のフローチャートである。 図４の乗員注意状態推定処理の一例のフローチャートである。 図４の要求注意状態推定処理の一例のフローチャートである。 図４の運転支援制御の一例のフローチャートである。

以下、本発明の実施形態について、図面を参照しつつ説明する。なお、各図面は模式的なものであって、現実のものとは異なる場合がある。また、以下に示す本発明の実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の構造、配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。

（構成）
図１は、実施形態の運転支援装置の例の概略構成図である。自車両１は運転支援装置１０を備える。
運転支援装置１０は、乗員（例えば運転者）の脳活動を測定し、測定した脳活動量に基づいて乗員の注意状態を推定し、乗員の注意状態に応じて自車両１の運転を支援する。
運転支援装置１０は、周囲環境センサ１１と、車両センサ１２と、測位装置１３と、地図データベース（地図ＤＢ）１４と、ナビゲーション装置１５と、脳活動センサ１６と、ヒューマンマシンインタフェース（ＨＭＩ）１７と、コントローラ１８と、アクチュエータ１９を備える。

周囲環境センサ１１は、自車両１の周囲の周囲環境についての様々な情報（周囲環境情報）を検出する。例えば周囲環境センサ１１は、自車両１の周囲の歩行者、他車両、自転車などの移動物体や、信号機、交通標識、道路標示、路面上の線（停止線、車線境界線、車線区分線等）や、路肩の縁石、ガードレール等の静止物体を検出する。周囲環境センサ１１は、これらの物体との相対位置や、距離、移動が存在する方向等を、自車両１の周囲環境として検出し、検出した周囲環境の情報を周囲環境情報としてコントローラ１８に出力する。
周囲環境センサ１１は、自車両１に搭載されたレーザレーダやミリ波レーダ、カメラ、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）など、自車両１の周囲の物体を検出する複数の異なる種類の物体センサを備えてもよい。

車両センサ１２は、自車両１に搭載され、自車両１から得られる様々な車両情報を検出する。車両センサ１２には、例えば、自車両１の車速を検出する車速センサ、自車両１のタイヤの回転速度を検出する車輪速センサ、自車両１の３軸方向の加速度及び減速度を検出する３軸加速度センサ、ステアリングホイールの操舵角を検出する操舵角センサ、操向輪の転舵角を検出する転舵角センサ、シフトノブやシフトレバー等、自車両１のシフト位置（例えば、パーキング（Ｐ）、ドライブ（Ｄ）、リバース（Ｒ）等）を変更する部材の現在位置を検出するシフトポジションセンサ、自車両１の角速度を検出するジャイロセンサ、ヨーレートを検出するヨーレートセンサ、自車両１のアクセル開度を検出するアクセルセンサと、乗員によるブレーキ操作量を検出するブレーキセンサが含まれる。
測位装置１３は、全地球型測位システム（ＧＮＳＳ）受信機を備え、複数の航法衛星から電波を受信して自車両１の現在位置を測定する。ＧＮＳＳ受信機は、例えば地球測位システム（ＧＰＳ）受信機等であってよい。測位装置１３は、例えば慣性航法装置であってもよい。

地図データベース１４は、道路地図データを記憶している。地図データベース１４は、道路地図データとして、ナビゲーション用の地図データ（以下「ナビゲーション地図データ」と表記することがある）を記憶してもよい。
ナビゲーション地図データは、道路単位の情報を含む。道路単位の情報として、例えばナビゲーション地図データは、道路基準線上の基準点を示す道路ノードの情報と、道路ノード間の道路の区間態様を示す道路リンクの情報を含む。道路ノードの情報は、位置座標、接続される道路リンク数、接続される道路リンクの識別情報を含む。
地図データベース１４は、道路地図データとして高精度地図データを記憶してもよい。高精度地図データは、自動運転用の地図情報として好適な地図データであり、道路単位の情報よりも詳細な車線単位の情報を含む。
車線単位の情報として、例えば高精度地図データは車線基準線（例えば車線内の中央の線）上の基準点を示す車線ノードの情報と、車線ノード間の車線の区間態様を示す車線リンクの情報などを含む。車線ノードの情報は、車線ノードの位置座標、接続される車線リンク数、接続される車線リンクの識別情報を含む。車線リンクの情報は、車線リンクの位置座標、車線の種類、車線の幅員、車線境界線の種類、車線の形状、車線区分線の形状、車線基準線の形状を含む。

ナビゲーション装置１５は、測位装置１３により自車両１の現在位置を認識し、その現在位置におけるナビゲーション地図データを地図データベース１４から取得する。ナビゲーション装置１５は、乗員が入力した目的地までの目標走行経路を設定し、目標走行経路に従って乗員に経路案内を行う。
脳活動センサ１６は、乗員の脳活動を検出するセンサである。例えば脳活動センサ１６は、乗員の脳波を検出する脳波センサであってよい。また、例えば脳活動センサ１６は、脳磁センサであってもよい。また、例えば磁気共鳴機能画像法（ｆＭＲＩ：functional Magnetic Resonance Imaging）により乗員の脳活動を測定する場合には、脳活動センサ１６は、乗員の脳に磁場を印加する磁場印加機構と応答波を受信する受信コイルを備えてもよい。また、例えば機能的近赤外線分光法（ｆＮＩＲＳ：functional Near-InfraRed Spectroscopy）により乗員の脳活動を測定する場合には、脳活動センサ１６は、近赤外線の送光部と受光部を備えてもよい。
ＨＭＩ１７は、運転支援装置１０と乗員との間で情報を授受するインタフェース装置である。ＨＭＩ１７は、自車両１の乗員が視認可能な表示装置（例えばメータ付近やセンタコンソールなどに設けられたディスプレイパネルや、メータ自体、ヘッドアップディスプレイなど）や、スピーカやブザーや、操作子（ボタンやスイッチ、レバー、ダイヤル、タッチパネルなど）を備える。

コントローラ１８は、自車両１の運転支援を行う電子制御ユニットである。コントローラ１８は、プロセッサ１８ａと、記憶装置１８ｂ等の周辺部品とを有する電子回路を含む。プロセッサ１８ａは、例えばＣＰＵやＭＰＵであってよい。
記憶装置１８ｂは、半導体記憶装置や、磁気記憶装置、光学記憶装置等を備えてよい。記憶装置１８ｂは、レジスタ、キャッシュメモリ、主記憶装置として使用されるＲＯＭ及びＲＡＭ等のメモリを含んでよい。
以下に説明するコントローラ１８の機能は、例えばプロセッサ１８ａが、記憶装置１８ｂに格納されたコンピュータプログラムを実行することにより実現される。
なお、コントローラ１８を、以下に説明する各情報処理を実行するための専用のハードウエアにより形成してもよい。例えば、コントローラ１８は、汎用の半導体集積回路中に設定される機能的な論理回路を備えてもよい。例えばコントローラ１８はＦＰＧＡ等のＰＬＤ等を有していてもよい。

アクチュエータ１９は、コントローラ１８からの制御信号に応じて、自車両１の操舵装置、アクセル開度及びブレーキ装置を操作して、自車両１の車両挙動を発生させる。アクチュエータ１９は、ステアリングアクチュエータと、アクセル開度アクチュエータと、ブレーキ制御アクチュエータを備える。ステアリングアクチュエータは、自車両１の操舵装置の操舵方向及び操舵量を制御する。アクセル開度アクチュエータは、自車両１のアクセル開度を制御する。ブレーキ制御アクチュエータは、自車両のブレーキ装置の制動動作を制御する。

次に、コントローラ１８による運転支援の一例を説明する。コントローラ１８は、乗員の脳活動を測定し、測定した脳活動量に基づいて乗員の注意状態を推定し、乗員の注意状態に応じて自車両１の運転支援制御を実行する。例えばコントローラ１８による運転支援制御は、乗員が関与せずに自車両１を自動で運転する自律走行制御や駐車支援制御を含んでよい。また例えばコントローラ１８による運転支援制御は、自車両１の操舵角、駆動力又は制動力の少なくとも１つを自動制御する走行支援制御を含んでもよい。走行支援制御は、例えば車線維持制御、先行車追従制御、自動ブレーキなどを含んでよい。

乗員の注意状態を判定する際に、脳活動センサ１６は、乗員の脳の複数の関心領域（ＲＯＩ：Region of Interest）の活動を検出し、これら複数の関心領域での各々の活動量を示す脳活動信号を生成する。コントローラ１８は、脳活動センサ１６から出力される脳活動信号を取得する。例えば脳活動信号として、ｆＭＲＩデータ、ｆＮＩＲＳデータ、ＥＥＧ（ElectroEncephaloGraphy）データ、ＭＥＧ(MagnetoEncephaloGraphy)データを生成する。
本明細書では、ｆＭＲＩによって得られるＢＯＬＤ（Blood oxgenation level dependent）信号の時系列データを生成する場合の例について説明する。

図２は、乗員の脳の各領域の模式図である。本実施形態では、下記の領域における脳活動信号を生成する。
（１）左側の表面の頭頂部又は側頭部ｌ－ＰＴＡ(left parietal-temporal area)
（２）右側の表面の頭頂部又は側頭部ｒ－ＰＴＡ(right parietal-temporal area)
（３）左側の表面の前頭部ｌ－ＦＡ(left frontal area)
（４）右側の表面の前頭部ｒ－ＦＡ(right frontal area)
（５）頭頂の内部の領域である内側頭頂部ｍ－ＰＡ(medial parietal area)
（６）前頭の内部の領域である内側前頭部ｍ－ＰＦＡ(medial prefrontal area)

なお、図２において内側前頭部ｍ－ＰＦＡと左側の表面の前頭部ｌ－ＦＡ及び右側の表面の前頭部ｒ－ＦＡとが重複しているが、内側前頭部ｍ－ＰＦＡは脳内部の領域であり左側の表面の前頭部ｌ－ＦＡ及び右側の表面の前頭部ｒ－ＦＡは脳表面部の領域であるため、実際にはこれらの領域は重複していない。
同様に、内側頭頂部ｍ－ＰＡは脳内部の領域であり、左側の表面の頭頂部又は側頭部ｌ－ＰＴＡ及び右側の表面の頭頂部又は側頭部ｒ－ＰＴＡは脳表面部の領域であるため、実際にはこれらの領域は重複していない。
頭頂部、側頭部、前頭部としては、それぞれ頭頂連合野（parietal association cortex）、側頭回（temporal gyrus）、前頭回（frontal gyrus）を選択してよい。また、内側頭頂部としては、後帯状回（posterior cingulate cortex）を選択してよく、内側前頭部としては、前帯状回（anterior cingulate cortex）又は島回（insular cortex）を選択してよい。

コントローラ１８は、これらの領域にそれぞれ設定された関心領域の脳活動信号に基づいて、これらの領域間の脳活動の連結性である機能的連結性（functional connectivity又はfunctional brain connectivity）の有無を判定する。機能的連結性は、神経系内の異なる領域間の統計的依存関係のパターンである。
以下の説明において、左側の表面の頭頂部若しくは側頭部ｌ－ＰＴＡ又は右側の表面の頭頂部若しくは側頭部ｒ－ＰＴＡと、左側の表面の前頭部ｌ－ＦＡ又は右側の表面の前頭部ｒ－ＦＡとの間の機能的連結性を「第１機能的連結性Ｃ１」と表記する。
すなわち、第１機能的連結性Ｃ１は、左側の表面の頭頂部又は側頭部ｌ－ＰＴＡと左側の表面の前頭部ｌ－ＦＡとの間の機能的連結性、左側の表面の頭頂部又は側頭部ｌ－ＰＴＡと右側の表面の前頭部ｒ－ＦＡとの間の機能的連結性、右側の表面の頭頂部若しくは側頭部ｒ－ＰＴＡと左側の表面の前頭部ｌ－ＦＡとの間の機能的連結性、右側の表面の頭頂部若しくは側頭部ｒ－ＰＴＡと右側の表面の前頭部ｒ－ＦＡとの間の機能的連結性のいずれであってよい。

また、左側の表面の頭頂部又は側頭部ｌ－ＰＴＡと内側頭頂部ｍ－ＰＡとの間の機能的連結性を「第２機能的連結性Ｃ２Ｌ」と表記し、右側の表面の頭頂部又は側頭部ｒ－ＰＴＡと内側頭頂部ｍ－ＰＡとの間の機能的連結性を「第２機能的連結性Ｃ２Ｒ」と表記する。
また、第２機能的連結性Ｃ２Ｌと第２機能的連結性Ｃ２Ｒとを総称して「第２機能的連結性Ｃ２」と表記することがある。
また、左側の表面の前頭部ｌ－ＦＡと内側前頭部ｍ－ＰＦＡとの間の機能的連結性を「第３機能的連結性Ｃ３Ｌ」と表記し、右側の表面の前頭部ｒ－ＦＡと内側前頭部ｍ－ＰＦＡとの間の機能的連結性を「第３機能的連結性Ｃ３Ｒ」と表記する。また、第３機能的連結性Ｃ３Ｌと第３機能的連結性Ｃ３Ｒとを総称して「第３機能的連結性Ｃ３」と表記することがある。
内側頭頂部ｍ－ＰＡとの内側前頭部ｍ－ＰＦＡとの間の機能的連結性を「第４機能的連結性Ｃ４」と表記する。

関心領域ｉと関心領域ｊとの間の機能的連結性の有無を判定する場合には、これらの関心領域ｉと関心領域ｊにおけるＢＯＬＤの時系列データＲ_ｉ（ｔ）及びＲ_ｊ（ｔ）を生成し、次式（１）及び（２）に基づいて関心領域ｉと関心領域ｊの脳活動の間の相関係数Ｚ（ｉ，ｊ）を算出する。
相関係数Ｚ（ｉ，ｊ）が閾値以上である場合に、関心領域ｉと関心領域ｊとの間に機能的連結性があると判定し、相関係数Ｚ（ｉ，ｊ）が閾値未満である場合に、関心領域ｉと関心領域ｊとの間に機能的連結性がないと判定する。

例えば、右側の表面の頭頂部又は側頭部ｒ－ＰＴＡと内側頭頂部ｍ－ＰＡとの間における第２機能的連結性Ｃ２Ｒの有無を判定する場合には、右側の表面の頭頂部又は側頭部ｒ－ＰＴＡ内の複数の関心領域Ｒ１１、Ｒ１２、Ｒ１３と、内側頭頂部ｍ－ＰＡ内の複数の関心領域Ｒ２１、Ｒ２２、Ｒ２３との間の対（Ｒ１１，Ｒ２１）、（Ｒ１１，Ｒ２２）、（Ｒ１１，Ｒ２３）、（Ｒ１２，Ｒ２１）、（Ｒ１２，Ｒ２２）、（Ｒ１２，Ｒ２３）、（Ｒ１３，Ｒ２１）、（Ｒ１３，Ｒ２２）、（Ｒ１３，Ｒ２３）のそれぞれについて機能的連結性があるか否かを判定する。
１つ以上の関心領域の対に機能的連結性がある場合に第２機能的連結性Ｃ２Ｒがあると判定し、いずれの関心領域の対にも機能的連結性がない場合には第２機能的連結性Ｃ２Ｒが無いと判定する。また、機能的連結性がある関心領域の対の数を、第２機能的連結性Ｃ２Ｒの数として取得する。
第１機能的連結性Ｃ１、第２機能的連結性Ｃ２Ｌ、第３機能的連結性Ｃ３Ｌ、第３機能的連結性Ｃ３Ｒ、及び第４機能的連結性Ｃ４の有無の判定も同様である。

本発明の発明者らは、移動する注意対象が複数存在するイベント、移動する注意対象が１つだけ存在するイベント、静止している注意対象が存在するイベントの３種類のイベントの動画を被験者に提示し、上記領域における機能的連結性の有無を解析した。その結果、被験者の注意状態に応じて、これらの部位の機能的連結性が異なることを実験的に確認した。
そこで、実施形態の運転支援装置１０は、第１機能的連結性Ｃ１、第２機能的連結性Ｃ２、第３機能的連結性Ｃ３及び第４機能的連結性Ｃ４の有無に基づいて、乗員の注意状態を推定する。
このように、具体的な脳内部位の機能的連結性に基づいて判断することで、乗員の注意状態の推定精度を向上できる。この結果、乗員の覚醒程度や集中程度だけでなく、車外環境のリスクに対する乗員の認知や判断の適正度合いを評価できる。

図３は、図１のコントローラ１８の機能構成の一例のブロック図である。コントローラ１８は、乗員注意状態推定部３０と、要求注意状態推定部３１と、乗員状態判断部３２と、車両制御部３３と、提示情報制御部３４を備える。
乗員注意状態推定部３０は、第１機能的連結性Ｃ１、第２機能的連結性Ｃ２、第３機能的連結性Ｃ３及び第４機能的連結性Ｃ４の有無に基づいて、乗員の注意状態を推定する。
以下の説明において、このように乗員の脳の複数部位の脳活動間の機能的連結性に基づいて推定された乗員の注意状態を「乗員注意状態」と表記する。

乗員注意状態推定部３０は、第１機能的連結性Ｃ１がある場合に、乗員が、特定又は不特定の注意対象に注意している状態であると推定する。
さらに、乗員注意状態推定部３０は、第１機能的連結性Ｃ１があり、かつ第２機能的連結性Ｃ２の数が２以上である場合に、乗員注意状態が比較的注意度が高い第１注意状態であると推定する。
第１注意状態は、例えば複数の移動する注意対象に乗員が注意している状態である。

また、乗員注意状態推定部３０は、第１機能的連結性Ｃ１があり、かつ第２機能的連結性Ｃ２の数が１である場合に、乗員注意状態が第１注意状態よりも低い注意度の第２注意状態であると推定する。
第２注意状態は、例えば単一の移動する注意対象に乗員が注意している状態である。

また、乗員注意状態推定部３０は、第１機能的連結性Ｃ１が存在し、左側の第２機能的連結性Ｃ２Ｌ及び右側の第２機能的連結性Ｃ２Ｒのいずれも存在しない場合に、乗員注意状態が第２注意状態よりも低い注意度の第３注意状態であると推定する。
第３注意状態は、例えば静止している注意対象に乗員が注意している状態である。

また、乗員注意状態推定部３０は、第１機能的連結性Ｃ１が存在せず、かつ第４機能的連結性Ｃ４がある場合に、乗員注意状態が、乗員が外部環境に注意していない第４注意状態（もしくは外部への注意ができていない状態）であると判定する。

さらに乗員注意状態推定部３０は、第１機能的連結性Ｃ１が存在し、且つ第３機能的連結性Ｃ３Ｌ及びＣ３Ｒのいずれもが存在しない場合に、乗員が注意対象に過度に連続（継続）して注意している過負荷状態であると判定する。
すなわち、注意状態が連続（継続）すると脳が疲れてしまうため、適正な状態の脳は、注意対象が存在しても、注意対象に集中している集中状態と待機状態(すぐ集中状態に復帰できるような状態)とを定期的に切り替えている（すなわち間欠的に注意対象に注意している）。過負荷状態は、このように集中状態と待機状態とを定期的に切り替えることができずに、乗員が注意対象に過度に連続（継続）して注意しており、脳に過度な負担がかかっている状態を示している。

一方で要求注意状態推定部３１は、周囲環境センサ１１が検出した周囲環境と車両センサ１２が検出した車両状態とに基づいて、外部環境に対して乗員に要求される注意状態（乗員があるべき注意状態）である要求注意状態を推定する。
要求注意状態推定部３１は、複数の移動する注意対象が検出されている場合に、要求注意状態が第１注意状態であると推定する。移動する注意対象は、例えば、他車両、歩行者、自転車などであってよい。

要求注意状態推定部３１は、単数の移動する注意対象が検出されている場合に、要求注意状態が第２注意状態であると推定する。
また要求注意状態推定部３１は、静止している注意対象が検出されている場合に、要求注意状態が第３注意状態であると判定する。静止している注意対象は、例えば信号機や交通標識、道路標示などであってよい。
また要求注意状態推定部３１は、自車両１が駐車状態にある場合に、外部環境に対する乗員の注意が不要であると推定する。すなわち要求注意状態が注意不要の状態であると推定する。

例えば、車両センサ１２の車速センサによって自車両１の車速が０である（すなわち自車両１が停止している）と検出され、且つシフトポジションセンサによって自車両１のシフト位置がパーキング（Ｐ）である場合に、自車両１が駐車状態にあると判定してよい。
自車両１の車速が０であっても、自車両１が駐車状態にない場合（すなわちシフト位置がパーキング（Ｐ）でない場合）には、要求注意状態推定部３１は要求注意状態が第３注意状態であると推定してよい。

乗員状態判断部３２は、乗員注意状態推定部３０による推定結果と、要求注意状態推定部３１による推定結果とに基づいて、外部環境に対する乗員の注意状態が適正か否かを判定する。
乗員状態判断部３２は、乗員注意状態推定部３０が推定した乗員注意状態と要求注意状態推定部３１が推定した要求注意状態とが一致する場合には、外部環境に対する乗員の注意状態が適正であると判定する。この場合には、コントローラ１８は運転支援制御を実行しなくてもよい。

乗員状態判断部３２は、乗員注意状態の注意度が要求注意状態の注意度よりも高い場合には、乗員が外部環境に過度に注意している状態である。また、乗員注意状態の注意度が要求注意状態の注意度よりも低い場合には、外部環境に対する乗員の注意度合いが不足している状態である。
また、乗員状態判断部３２は、乗員注意状態が過負荷状態であるか否かを判断する。

乗員注意状態の注意度が要求注意状態の注意度よりも高い場合（乗員が外部環境に過度に注意している場合）、もしくは乗員注意状態が過負荷状態である場合には、車両制御部３３は、乗員による自車両１の運転を支援する運転支援制御を実行することにより、乗員の脳負荷を軽減する。
車両制御部３３による運転支援制御は、例えば上述の自律走行制御や、駐車支援制御、車線維持制御、先行車追従制御などであってよい。車両制御部３３は、測位装置１３が測定した自車両１の現在位置及び進行方向、ナビゲーション装置１５によって設定した目標走行経路、地図データベース１４の地図情報、周囲環境センサ１１が検出した自車両１の周囲環境情報、車両センサ１２が検出した車両情報などに基づいてアクチュエータ１９を制御することにより、これらの運転支援制御を実行する。

提示情報制御部３４は、ＨＭＩ１７から乗員に提示する提示情報を制御する。例えばＨＭＩ１７の表示装置には、車速やエンジン回転数、燃料残量、制限車速、警告表示、自車両１の現在位置付近の地図情報や、目標走行経路の情報のほか、例えば、空調装置の状態や、現在オーディオ装置が再生中の楽曲の情報（曲名、アーティスト名、ジャケット画像）が表示される。

提示情報制御部３４は、乗員注意状態の注意度が要求注意状態の注意度よりも高い場合や乗員注意状態が過負荷状態である場合には、乗員注意状態と要求注意状態とが一致する場合や乗員注意状態の注意度が要求注意状態の注意度よりも低い場合に比べて、ＨＭＩ１７から乗員に提示する提示情報を制限（抑制、低減）する。
例えば、乗員注意状態の注意度が要求注意状態の注意度よりも高い場合や乗員注意状態が過負荷状態である場合には、再生中の楽曲の情報や携帯情報端末からの通知情報をＨＭＩ１７から出力するのを停止することによって、乗員の脳負荷を軽減する。

反対に、乗員注意状態の注意度が要求注意状態の注意度よりも低い場合には、提示情報制御部３４は、ＨＭＩ１７から乗員に警報を出力して乗員の注意を喚起することによって安全運転を促進する。
警報が出力されても、乗員注意状態の注意度が要求注意状態の注意度よりも低い状態が解消しない場合には、時間経過とともに段階的に警報を変化させてもよい。例えばＨＭＩ１７から出力する警報音の発生間隔を時間経過と共に短くしたり、警報音の音量を時間経過と共に大きくすることにより、時間経過と共に警報を強くしてもよい。
また、警報が出力されても、乗員注意状態の注意度が要求注意状態の注意度よりも低い状態が解消しない場合には、車両制御部３３は、周囲環境センサ１１が検出した自車両１の周囲環境情報、車両センサ１２が検出した車両情報などに基づいてアクチュエータ１９を制御して、自動ブレーキ等の運転支援制御を実行することにより安全運転を促進してもよい。

（動作）
図４は、実施形態の運転支援方法の一例のフローチャートである。例えば下記のステップＳ１～Ｓ３は、車両が運転されている間（例えばイグニッションスイッチ（ＩＧＮ）がオンである間）に、所定間隔（例えば数十秒から数分）毎に繰り返し実行してよい。
ステップＳ１において乗員注意状態推定部３０は、乗員注意状態推定処理によって乗員注意状態を推定する。
ステップＳ２において要求注意状態推定部３１は、要求注意状態推定処理によって要求注意状態を推定する。
ステップＳ３において乗員状態判断部３２と、車両制御部３３と、提示情報制御部３４は、乗員注意状態推定部３０が推定した乗員注意状態と、要求注意状態推定部３１が推定した要求注意状態とに応じて、乗員による自車両１の運転を支援する運転支援制御を実行する。
ステップＳ４では、イグニションスイッチ（ＩＧＮ）がオフになったか否かを判定する。イグニションスイッチ（ＩＧＮ）がオフになった場合（ステップＳ４：Ｙ）に処理は終了する。イグニションスイッチ（ＩＧＮ）がオフになっていない場合（ステップＳ４：Ｎ）に処理はステップＳ１に戻る。

図５は、図４の乗員注意状態推定処理Ｓ１の一例のフローチャートである。
ステップＳ１０において脳活動センサ１６は、乗員の脳の複数の関心領域での活動を検出し、これら複数の関心領域での活動量を示す脳活動信号を生成する。
ステップＳ１１において乗員注意状態推定部３０は、脳活動センサ１６から出力される脳活動信号を解析することにより、一定時間における第１機能的連結性Ｃ１、第２機能的連結性Ｃ２、第３機能的連結性Ｃ３及び第４機能的連結性Ｃ４を検出する。

ステップＳ１２において乗員注意状態推定部３０は、第１機能的連結性Ｃ１があるか否かを判定する。第１機能的連結性Ｃ１がある場合（ステップＳ１２：Ｙ）に処理はステップＳ１３へ進む。第１機能的連結性Ｃ１がない場合（ステップＳ１２：Ｎ）に処理はステップＳ２０へ進む。
ステップＳ１３において乗員注意状態推定部３０は、第３機能的連結性Ｃ３があるか否かを判定する。第３機能的連結性Ｃ３がある場合（ステップＳ１３：Ｙ）に処理はステップＳ１５へ進む。第３機能的連結性Ｃ３がない場合（ステップＳ１３：Ｎ）に処理はステップＳ１４へ進む。

ステップＳ１４において乗員注意状態推定部３０は、乗員注意状態が過負荷状態であると推定する。その後に乗員注意状態推定処理は終了する。
ステップＳ１５において乗員注意状態推定部３０は、第２機能的連結性Ｃ２があるか否かを判定する。第２機能的連結性Ｃ２がある場合（ステップＳ１５：Ｙ）に処理はステップＳ１７へ進む。第２機能的連結性Ｃ２がない場合（ステップＳ１５：Ｎ）に処理はステップＳ１６へ進む。
ステップＳ１６において乗員注意状態推定部３０は、乗員注意状態が第３注意状態であると推定する。その後に乗員注意状態推定処理は終了する。

ステップＳ１７において乗員注意状態推定部３０は、第２機能的連結性Ｃ２の数が１より大きいか否かを判定する。第２機能的連結性Ｃ２の数が１より大きい場合（ステップＳ１７：Ｙ）に処理はステップＳ１８へ進む。第２機能的連結性Ｃ２の数が１である場合（ステップＳ１７：Ｎ）に処理はステップＳ１９へ進む。
ステップＳ１８において乗員注意状態推定部３０は、乗員注意状態が第１注意状態であると推定する。その後に乗員注意状態推定処理は終了する。
ステップＳ１９において乗員注意状態推定部３０は、乗員注意状態が第２注意状態であると推定する。その後に乗員注意状態推定処理は終了する。

ステップＳ２０において乗員注意状態推定部３０は、第４機能的連結性Ｃ４があるか否かを判定する。第４機能的連結性Ｃ４がある場合（ステップＳ２０：Ｙ）に処理はステップＳ２１へ進む。第４機能的連結性Ｃ４がない場合（ステップＳ２０：Ｎ）に処理はステップＳ１０へ戻る。
ステップＳ２１において乗員注意状態推定部３０は、乗員注意状態が無注意状態であると推定する。その後に乗員注意状態推定処理は終了する。
以上により推定した乗員注意状態に応じて、図４の運転支援制御を実行することができる。
なお、図４を参照して上記したとおり、乗員注意状態推定処理Ｓ１（すなわち上記ステップＳ１０～Ｓ２１のフロー）は、車両が運転されている間（例えばイグニッションスイッチ（ＩＧＮ）がオンである間）に、所定間隔（例えば数十秒から数分）毎に繰り返し実行してよい。

図６は、図４の要求注意状態推定処理Ｓ２の一例のフローチャートである。
ステップＳ３０において要求注意状態推定部３１は、車両センサ１２から車両情報を取得する。
ステップＳ３１において要求注意状態推定部３１は、周囲環境センサ１１から周囲環境情報を取得する。
ステップＳ３２において要求注意状態推定部３１は、周囲環境情報に基づいて乗員の注意対象となり得る注意対象候補（例えば他車両、歩行者、自転車などの移動物体や、信号機や交通標識、道路標示などの静止物体）を検出する。

ステップＳ３３において要求注意状態推定部３１は、車両情報に基づいて自車両１の車速が０であるか否か（すなわち自車両１が停止しているか否か）を判定する。自車両１の車速が０である場合（ステップＳ３３：Ｙ）に処理はステップＳ３９へ進む。自車両１の車速が０でない場合（ステップＳ３３：Ｎ）に処理はステップＳ３４へ進む。
ステップＳ３４において要求注意状態推定部３１は、注意対象候補が移動物体であるか否かを判定する。注意対象候補が移動物体である場合（ステップＳ３４：Ｙ）に処理はステップＳ３５へ進む。注意対象候補が移動物体でない場合（ステップＳ３４：Ｎ）に処理はステップＳ３８へ進む。

ステップＳ３５において要求注意状態推定部３１は、注意対象候補の数が１よりも大きいか否かを判定する。注意対象候補の数が１よりも大きい場合（ステップＳ３５：Ｙ）に処理はステップＳ３６へ進む。注意対象候補の数が１である場合（ステップＳ３５：Ｎ）に処理はステップＳ３７へ進む。
ステップＳ３６において要求注意状態推定部３１は、要求注意状態が第１注意状態であると推定する。その後に要求注意状態推定処理は終了する。
ステップＳ３７において要求注意状態推定部３１は、要求注意状態が第２注意状態であると推定する。その後に要求注意状態推定処理は終了する。

ステップＳ３８において要求注意状態推定部３１は、要求注意状態が第３注意状態であると推定する。その後に要求注意状態推定処理は終了する。
ステップＳ３９において要求注意状態推定部３１は、車両情報に基づいて自車両１が駐車状態であるか否かを判定する。自車両１が駐車状態である場合（ステップＳ３６：Ｙ）に処理はステップＳ４０へ進む。自車両１が駐車状態でない場合（ステップＳ３６：Ｎ）に処理はステップＳ３８へ進む。
ステップＳ４０において要求注意状態推定部３１は、外部環境に対する乗員の注意が不要であると推定する。すなわち要求注意状態が注意不要な状態であると推定する。その後に要求注意状態推定処理は終了する。
以上により推定した要求注意状態に応じて、図４の運転支援制御を実行することができる。
なお、図４を参照して上記したとおり、図４の要求注意状態推定処理Ｓ２（すなわち上記ステップＳ３０～Ｓ４０のフロー）は、車両が運転されている間（例えばイグニッションスイッチ（ＩＧＮ）がオンである間）に、所定間隔（例えば数十秒から数分）毎に繰り返し実行してよい。

図７は、図４の運転支援制御Ｓ３の一例のフローチャートである。
ステップＳ５０において乗員状態判断部３２は、図５に例示したような乗員注意状態推定処理Ｓ１に基づいて、乗員注意状態が過負荷状態であるか否かを判定する。乗員注意状態が過負荷状態である場合（ステップＳ５０：Ｙ）に処理はステップＳ５１へ進む。乗員注意状態が過負荷状態でない場合（ステップＳ５０：Ｎ）に処理はステップＳ５２へ進む。
ステップＳ５１において提示情報制御部３４は、ＨＭＩ１７から乗員に提示する提示情報を制限（抑制、低減）することにより、乗員の脳負荷を軽減する。又は車両制御部３３は、乗員による自車両１の運転を支援する運転支援制御を実行することにより、乗員の脳負荷を軽減する。その後に処理は終了する。

ステップＳ５２において乗員状態判断部３２は、図５に例示したような乗員注意状態推定処理Ｓ１と、図６に例示したような要求注意状態推定処理Ｓ２とに基づいて、乗員注意状態と要求注意状態とが一致するか否かを判定する。乗員注意状態と要求注意状態とが一致する場合（ステップＳ５２：Ｙ）に処理は終了する。乗員注意状態と要求注意状態とが一致しない場合（ステップＳ５２：Ｎ）に処理はステップＳ５３へ進む。
ステップＳ５３において乗員状態判断部３２は、乗員注意状態の注意度が要求注意状態の注意度よりも高いか否かを判定する。乗員注意状態の注意度が要求注意状態の注意度よりも高い場合（ステップＳ５３：Ｙ）に処理はステップＳ５１へ進む。乗員注意状態の注意度が要求注意状態の注意度よりも低い場合（ステップＳ５３：Ｎ）に処理はステップＳ５４へ進む。

ステップＳ５４において提示情報制御部３４は、ＨＭＩ１７から乗員に警報を出力して乗員の注意を喚起することによって安全運転を促進する。警報が出力されても、乗員注意状態の注意度が要求注意状態の注意度よりも低い状態が解消しない場合、車両制御部３３は自動ブレーキ等の運転支援制御を実行することにより安全運転を促進してもよい。その後に処理は終了する。
なお、図４を参照して上記したとおり、図４の運転支援制御Ｓ３（すなわち上記ステップＳ５０～Ｓ５４のフロー）は、車両が運転されている間（例えばイグニッションスイッチ（ＩＧＮ）がオンである間）に、所定間隔（例えば数十秒から数分）毎に繰り返し実行してよい。

（実施形態の効果）
（１）脳活動センサ１６は、自車両１の乗員の脳の左側又は右側の少なくとも一方において、乗員の脳の頭頂部又は側頭部の少なくとも一方の活動を検出した第１脳活動信号を生成するとともに乗員の脳の前頭部の活動を検出した第２脳活動信号を生成する。コントローラ１８は、第１脳活動信号と第２脳活動信号とに基づいて頭頂部又は側頭部の少なくとも一方と前頭部との間の機能的連結性である第１機能的連結性の有無を判定し、第１機能的連結性があると判定した場合に、乗員の注意状態は乗員が注意対象に注意している状態であると推定する。
このように、具体的な脳内部位の機能的連結性に基づいて判断することで、乗員の注意状態の推定精度を向上できる。この結果、乗員の覚醒程度や集中程度だけでなく、車外環境のリスクに対する乗員の認知や判断の適正度合いを評価できる。

（２）脳活動センサ１６は、乗員の脳の内側頭頂部の活動を検出した第３脳活動信号を生成してもよい。コントローラ１８は、第１脳活動信号と第３脳活動信号とに基づいて頭頂部又は側頭部の少なくとも一方の中の複数領域の各々と内側頭頂部の中の複数領域の各々との間の機能的連結性である第２機能的連結性の数を判定し、第１機能的連結性があり且つ第２機能的連結性の数が２以上である場合に、乗員の注意状態は注意度が比較的高い第１注意状態であり、第１機能的連結性があり且つ第２機能的連結性の数が１である場合に、第１注意状態よりも低い注意度の第２注意状態であると推定してもよい。
これにより、複数の移動する注意対象に注意している第１注意状態（比較的高い注意度の注意状態）に乗員があるのか、単一の移動する注意対象に注意している第２注意状態（中程度の注意度の注意状態）に乗員があるのかを推定できる。

（３）コントローラ１８は、第１機能的連結性があり且つ第２機能的連結性がない場合に、乗員の注意状態は第２注意状態よりも低い注意度の第３注意状態であると推定してもよい。
これにより、静止している注意対象に注意している第３周囲状態（比較的低い注意度の注意状態）に乗員があることを推定できる。

（４）脳活動センサ１６は、乗員の脳の内側前頭部の活動を検出した第４脳活動信号を生成してもよい。コントローラ１８は、第２脳活動信号と第４脳活動信号とに基づいて前頭部と内側前頭部との間の機能的連結性である第３機能的連結性の有無を判定し、第３機能的連結性がある場合に、乗員の注意状態は、乗員が間欠的に注意対象に注意している適正状態であり、第３機能的連結性がない場合に乗員が注意対象に連続して注意している過負荷状態であると推定してもよい。
これにより、乗員の注意状態が、脳に過度な負担がかかっている過負荷状態であることを推定できる。

（５）脳活動センサ１６は、乗員の脳の内側頭頂部の活動を検出した第３脳活動信号を生成してもよい。コントローラ１８は、乗員の脳の内側前頭部の活動を検出した第４脳活動信号を生成し、第３脳活動信号と第４脳活動信号とに基づいて内側頭頂部と内側前頭部との間の機能的連結性である第４機能的連結性の有無を判定し、第１機能的連結性がなく第４機能的連結性がある場合に乗員の注意状態は、乗員が外部環境に注意していない状態であると推定してもよい。
これにより、乗員が外部環境に注意していない状態であることを判定できる。

（６）例えば、頭頂部は頭頂連合野を含み、側頭部は側頭回を含み、前頭部は前頭回を含み、内側頭頂部は後帯状回を含み、内側前頭部は前帯状回又は島回を含んでよい。
このように、機能的連結性の有無を検出する脳機能領域を補足運動野や空間認識部位に限定することにより推定精度を向上できる。

（７）周囲環境センサ１１と車両センサ１２は、自車両１の周囲環境と自車両１の車両状態とを検出してもよい。コントローラ１８は、上記（１）～（５）により乗員注意状態を推定し、検出した周囲環境と車両状態とに基づいて、乗員に要求される注意状態である要求注意状態を推定し、乗員注意状態の注意度が要求注意状態の注意度よりも高いか、又は乗員注意状態が過負荷状態である場合に、自車両１から乗員に提示する情報を制限するか、自車両１の運転支援制御を実行してもよい。
これにより、乗員の運転負荷を軽減できる。
（８）コントローラ１８は、乗員注意状態の注意度が要求注意状態の注意度よりも低い場合に、乗員に対する警報を出力してもよい。
これにより、安全運転を促進できる。

１…自車両、１０…運転支援装置、１１…周囲環境センサ、１２…車両センサ、１３…測位装置、１４…地図データベース（地図ＤＢ）、１５…ナビゲーション装置、１６…脳活動センサ、１７…ヒューマンマシンインタフェース（ＨＭＩ）、１８…コントローラ、１８ａ…プロセッサ、１８ｂ…記憶装置、１９…アクチュエータ、３０…乗員注意状態推定部、３１…要求注意状態推定部、３２…乗員状態判断部、３３…車両制御部、３４…提示情報制御部

Claims (10)

1. 車両の乗員の脳の左側又は右側の少なくとも一方において、前記乗員の脳の頭頂部又は側頭部の少なくとも一方の活動を検出した第１脳活動信号を生成するとともに前記乗員の脳の前頭部の活動を検出した第２脳活動信号を生成し、
   前記乗員の脳の内側頭頂部の活動を検出した第３脳活動信号を生成し、
   前記第１脳活動信号と前記第２脳活動信号とに基づいて前記頭頂部又は側頭部の少なくとも一方と前記前頭部との間の機能的連結性である第１機能的連結性の有無を判定し、
   前記第１脳活動信号と前記第３脳活動信号とに基づいて前記頭頂部又は側頭部の少なくとも一方の中の複数領域の各々と前記内側頭頂部の中の複数領域の各々との間の機能的連結性である第２機能的連結性の数を判定し、
   前記第１機能的連結性があると判定した場合に、前記乗員の注意状態は前記乗員が注意対象に注意している状態であると推定し、
   前記第１機能的連結性があり且つ前記第２機能的連結性の数が２以上である場合に、前記乗員の注意状態は注意度が比較的高い第１注意状態であり、前記第１機能的連結性があり且つ前記第２機能的連結性の数が１である場合に、前記第１注意状態よりも低い注意度の第２注意状態であると推定する、
   ことを特徴とする乗員状態推定方法。
2. 前記第１機能的連結性があり且つ前記第２機能的連結性がない場合に、前記乗員の注意状態は前記第２注意状態よりも低い注意度の第３注意状態であると推定することを特徴とする請求項１に記載の乗員状態推定方法。
3. 前記乗員の脳の内側前頭部の活動を検出した第４脳活動信号を生成し、
   前記第２脳活動信号と前記第４脳活動信号とに基づいて前記前頭部と前記内側前頭部との間の機能的連結性である第３機能的連結性の有無を推定し、
   前記第３機能的連結性がある場合に、前記乗員の注意状態は、前記乗員が間欠的に前記注意対象に注意している適正状態であり、前記第３機能的連結性がない場合に前記乗員が前記注意対象に連続して注意している過負荷状態であると推定する、
   ことを特徴とする請求項１に記載の乗員状態推定方法。
4. 前記乗員の脳の内側頭頂部の活動を検出した第３脳活動信号を生成し、
   前記乗員の脳の内側前頭部の活動を検出した第４脳活動信号を生成し、
   前記第３脳活動信号と前記第４脳活動信号とに基づいて前記内側頭頂部と前記内側前頭部との間の機能的連結性である第４機能的連結性の有無を判定し、
   前記第１機能的連結性がなく前記第４機能的連結性がある場合に前記乗員の注意状態は、前記乗員が外部環境に注意していない状態であると推定する、
   ことを特徴とする請求項１に記載の乗員状態推定方法。
5. 前記頭頂部は頭頂連合野を含み、前記側頭部は側頭回を含み、前記前頭部は前頭回を含む、ことを特徴とする請求項１～４のいずれか一項に記載の乗員状態推定方法。
6. 前記内側頭頂部は後帯状回を含むことを特徴とする請求項１、２又は４に記載の乗員状態推定方法。
7. 内側前頭部は前帯状回又は島回を含むことを特徴とする請求項３又は４に記載の乗員状態推定方法。
8. 請求項１～４のいずれか一項に記載の乗員状態推定方法に基づいて、前記乗員の注意状態を乗員注意状態として推定し、
   前記車両の周囲環境と前記車両の車両状態とを検出し、
   検出した前記周囲環境と前記車両状態とに基づいて、前記乗員に要求される注意状態である要求注意状態を推定し、
   前記乗員注意状態の注意度が前記要求注意状態の注意度よりも高いか、又は前記乗員注意状態が過負荷状態である場合に、前記車両から前記乗員に提示する情報を制限するか、前記車両の運転支援をすることを特徴とする運転支援方法。
9. 請求項１～４のいずれか一項に記載の乗員状態推定方法に基づいて、前記乗員の注意状態を乗員注意状態として推定し、
   前記車両の周囲環境と前記車両の車両状態とを検出し、
   検出した前記周囲環境と前記車両状態とに基づいて、前記乗員に要求される注意状態である要求注意状態を推定し、
   前記乗員注意状態の注意度が前記要求注意状態の注意度よりも低い場合に、前記乗員に対する警報を出力することを特徴とする運転支援方法。
10. 車両の乗員の脳の左側又は右側の少なくとも一方において、前記乗員の脳の頭頂部又は側頭部の少なくとも一方の活動を検出した第１脳活動信号と、前記乗員の脳の前頭部の活動を検出した第２脳活動信号と、前記乗員の脳の内側頭頂部の活動を検出した第３脳活動信号と、を生成するセンサと、
    前記第１脳活動信号と前記第２脳活動信号とに基づいて前記頭頂部又は側頭部の少なくとも一方と前記前頭部との間の機能的連結性である第１機能的連結性の有無を判定し、前記第１脳活動信号と前記第３脳活動信号とに基づいて前記頭頂部又は側頭部の少なくとも一方の中の複数領域の各々と前記内側頭頂部の中の複数領域の各々との間の機能的連結性である第２機能的連結性の数を判定し、前記第１機能的連結性があると判定した場合に、前記乗員の注意状態は前記乗員が注意対象に注意している状態であると判定し、前記第１機能的連結性があり且つ前記第２機能的連結性の数が２以上である場合に、前記乗員の注意状態は注意度が比較的高い第１注意状態であり、前記第１機能的連結性があり且つ前記第２機能的連結性の数が１である場合に、前記第１注意状態よりも低い注意度の第２注意状態であると推定する電子回路と、
    を備えることを特徴とする乗員状態推定装置。