JP7342638B2 - 運転者状態検出装置 - Google Patents

Description

ここに開示する技術は、運転者状態検出装置に関する。

特許文献１には、車両の運転者の異常を検出する車両制御装置が開示されている。この車両制御装置は、車両の運転者の体温を計測する体温計測部と、車両の走行状態が異常であるか否かを判定する走行状態判定部と、体温計測部の計測結果および走行状態判定部の判定結果に基づいて、車両を制御する車両制御部とを有する。

特開２０１９－７３１０５号公報

特許文献１の装置では、脳疾患や癲癇などの発熱を伴わない異常を検出することができない。また、車両挙動の変化が比較的に少ない走行シーンでは、車両の走行状態が異常であるか否かを判定することができない場合がある。そのため、運転者の異常の検出精度を向上させることが困難である。

ここに開示する技術は、かかる点に鑑みてなされたものであり、その目的とするところは、運転者の異常の検出精度を向上させることにある。

ここに開示する技術は、車両に設けられる運転者状態検出装置に関し、この運転者状態検出装置は、前記車両の運転者のサッケードを検出するサッケード検出部と、前記車両の外部環境における注意度を検出する注意度検出部と、前記注意度検出部により検出された注意度と、前記サッケード検出部により検出された前記運転者のサッケードの振幅または頻度とに基づいて、前記運転者の異常を検出する異常検出部とを備える。

本願発明者らは、鋭意研究の結果、運転者に異常がある場合、車両の外部環境における注意度に応じて、車両の運転者のサッケードの振幅または頻度が大幅に減少することを見出した。したがって、車両の外部環境における注意度と車両の運転者のサッケードの振幅または頻度とに応じて運転者の異常を検出することにより、特許文献１の場合や、単に運転者のサッケードの振幅または頻度に基づいて運転者の異常を検出する場合よりも、運転者の異常の検出精度を向上させることができる。

また、前記運転者状態検出装置において、前記異常検出部は、前記注意度検出部により検出された注意度が高注意度である場合に第１動作を行い、前記注意度検出部により検出された注意度が低注意度である場合に第２動作を行うように構成されてもよい。前記第１動作では、前記異常検出部は、前記運転者のサッケードの振幅が予め設定された振幅閾値以下である場合に、前記運転者に異常があることを検出してもよい。前記第２動作では、前記異常検出部は、前記運転者のサッケードの頻度が予め設定された頻度閾値以下である場合に、前記運転者に異常があることを検出してもよい。

本願発明者らは、運転者に異常があると、車両の外部環境における注意度が比較的に高い場合に、車両の運転者のサッケードの振幅が大幅に減少することを見出した。また、本願発明者らは、運転者に異常があると、車両の外部環境における注意度が比較的に低い場合に、車両の運転者のサッケードの頻度が大幅に減少することを見出した。したがって、車両の外部環境における注意度が高注意度である場合に第１動作（運転者のサッケードの振幅に基づく運転者の異常の検出）を行い、車両の外部環境における注意度が低注意度である場合に第２動作（運転者のサッケードの頻度に基づく運転者の異常の検出）を行うことにより、運転者の異常の検出精度を向上させることができる。

また、前記運転者状態検出装置において、前記振幅閾値は、前記車両の外部環境における注意度が高注意度である場合の注意機能障害者のサッケードの振幅に基づいて設定されてもよい。前記頻度閾値は、前記車両の外部環境における注意度が低注意度である場合の前記注意機能障害者のサッケードの頻度に基づいて設定されてもよい。

本願発明者らは、注意機能障害者の車両運転時の挙動を観測することにより、車両の運転者の異常時の挙動を擬似的に観測することができることを見出した。したがって、車両の外部環境における注意度が高注意度である場合の注意機能障害者のサッケードの振幅に基づいて、振幅閾値を適切に設定することができる。また、車両の外部環境における注意度が低注意度である場合の注意機能障害者のサッケードの頻度に基づいて、頻度閾値を適切に設定することができる。

ここに開示する技術によれば、運転者の異常の検出精度を向上させることができる。

実施形態による車両制御システムの構成を例示するブロック図である。 運転者状態検出部の構成を例示するブロック図である。 注意機能に関する医学的検査の結果を例示するグラフである。 健常者による視線移動の一例を示す概略図である。 注意機能障害患者（重度）による視線移動の一例を示す概略図である。 健常者による視線移動の一例を示すグラフである。 注意機能障害患者（重度）による視線移動の一例を示すグラフである。 サッケードについて説明するためのグラフである。 サッケードの抽出について説明するためのグラフである。 高注意度シーンおよび低注意度シーンの各々における健常者および注意機能障害患者のサッケードの振幅を例示するグラフである。 高注意度シーンおよび低注意度シーンの各々における健常者および注意機能障害患者のサッケードの頻度を例示するグラフである。 運転者状態検出部の動作（サッケード検出）について説明するためのフローチャートである。 運転者状態検出部の動作（異常検出）について説明するためのフローチャートである。

以下、実施の形態を図面を参照して詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。

（車両制御システム）
図１は、実施形態による車両制御システム１０の構成を例示する。車両制御システム１０は、車両（具体的には自動四輪車）に設けられる。車両は、マニュアル運転と、アシスト運転と、自動運転とに切り換え可能である。マニュアル運転は、運転者の操作（例えばアクセルの操作など）に応じて走行する運転である。アシスト運転は、運転者の操作を支援して走行する運転である。自動運転は、運転者の操作なしに走行する運転である。車両制御システム１０は、アシスト運転および自動運転において、車両を制御する。具体的には、車両制御システム１０は、車両に設けられたアクチュエータ１１を制御することで車両の動作（特に走行）を制御する。

車両制御システム１０は、情報取得部２０と、車両制御装置３０と、通知部４０とを備える。なお、以下の説明では、車両制御システム１０が設けられている車両を「自車両」と記載し、自車両の周囲に存在する他の車両を「他車両」と記載する。

〔アクチュエータ〕
アクチュエータ１１は、駆動系のアクチュエータ、操舵系のアクチュエータ、制動系のアクチュエータなどを含む。駆動系のアクチュエータの例としては、エンジン、モータ、トランスミッションが挙げられる。操舵系のアクチュエータの例としては、ステアリングが挙げられる。制動系のアクチュエータの例としては、ブレーキが挙げられる。

〔情報取得部〕
情報取得部２０は、車両の制御（特に走行制御）に用いられる各種情報を取得する。この例では、情報取得部２０は、複数のカメラ２１と、複数のレーダ２２と、位置センサ２３と、外部入力部２４と、車両状態センサ２５と、運転操作センサ２６と、運転者状態センサ２７とを含む。

〈カメラ〉
複数のカメラ２１は、互いに同様の構成を有する。複数のカメラ２１は、車両の周囲を囲うように車両に設けられる。複数のカメラ２１の各々は、車両の周囲に広がる環境（車両の外部環境）の一部を撮像することで、車両の外部環境の一部を示す画像データを取得する。複数のカメラ２１の各々により得られた画像データは、車両制御装置３０に送信される。

この例では、カメラ２１は、広角レンズを有する単眼カメラである。例えば、カメラ２１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）などの固体撮像素子を用いて構成される。なお、カメラ２１は、狭角レンズを有する単眼カメラであってもよいし、広角レンズまたは狭角レンズを有するステレオカメラであってもよい。

〈レーダ〉
複数のレーダ２２は、互いに同様の構成を有する。複数のレーダ２２は、車両の周囲を囲うように車両に設けられる。複数のレーダ２２の各々は、車両の外部環境の一部を検出する。具体的には、レーダ２２は、車両の外部環境の一部へ向けて電波を送信して車両の外部環境の一部からの反射波を受信することで、車両の外部環境の一部を検出する。複数のレーダ２２の検出結果は、車両制御装置３０に送信される。

例えば、レーダ２２は、ミリ波を送信するミリ波レーダであってもよいし、レーザ光を送信するライダ（Light Detection and Ranging）であってもよいし、赤外線を送信する赤外線レーダであってもよいし、超音波を送信する超音波センサであってもよい。

〈位置センサ〉
位置センサ２３は、車両の位置（例えば緯度および経度）を検出する。例えば、位置センサ２３は、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて車両の位置を検出する。位置センサ２３により得られた情報（車両の位置）は、車両制御装置３０に送信される。

〈外部入力部〉
外部入力部２４は、車両の外部に設けられた車外ネットワーク（例えばインターネットなど）を通じて情報を入力する。例えば、外部入力部２４は、車両の周囲に位置する他車両（図示省略）からの通信情報、ナビゲーションシステム（図示省略）からのカーナビゲーションデータ、交通情報、高精度地図情報などを受信する。外部入力部２４により得られた情報は、車両制御装置３０に送信される。

〈車両状態センサ〉
車両状態センサ２５は、車両の状態（例えば速度や加速度やヨーレートなど）を検出する。例えば、車両状態センサ２５は、車両の速度を検出する車速センサ、車両の加速度を検出する加速度センサ、車両のヨーレートを検出するヨーレートセンサなどを含む。車両状態センサ２５により得られた情報（車両の状態）は、車両制御装置３０に送信される。

〈運転操作センサ〉
運転操作センサ２６は、車両に加えられる運転操作を検出する。例えば、運転操作センサ２６は、アクセル開度センサ、操舵角センサ、ブレーキ油圧センサなどを含む。アクセル開度センサは、車両のアクセルの操作量を検出する。操舵角センサは、車両のハンドルの操舵角を検出する。ブレーキ油圧センサは、車両のブレーキの操作量を検出する。運転操作センサ２６により得られた情報（車両の運転操作）は、車両制御装置３０に送信される。

〈運転者状態センサ〉
運転者状態センサ２７は、車両を運転する運転者の状態（例えば運転者の健康状態や感情や身体挙動など）を検出する。運転者状態センサ２７により得られた情報（運転者の状態）は、車両制御装置３０に送信される。この例では、運転者状態センサ２７は、車内カメラ２８と、生体情報センサ２９とを含む。

《車内カメラ》
車内カメラ２８は、車両の内部に設けられる。車内カメラ２８は、運転者の眼球を含む領域を撮像することで運転者の眼球を含む画像データを取得する。車内カメラ２８により得られた画像データは、車両制御装置３０に送信される。例えば、車内カメラ２８は、運転者の前方に配置され、運転者の眼球が撮像範囲内となるように撮像範囲が設定される。なお、車内カメラ２８は、運転者に装着されるゴーグル（図示を省略）に設けられてもよい。

《生体情報センサ》
生体情報センサ２９は、運転者の生体情報（例えば発汗など）を検出する。生体情報センサ２９により得られた情報（運転者の生体情報）は、車両制御装置３０に送信される。

〔車両制御装置〕
車両制御装置３０は、アクチュエータ１１および車両制御システム１０の各部（この例では情報取得部２０と通知部４０など）と電気的に接続される。そして、車両制御装置３０は、車両制御システム１０の各部により得られた情報に基づいてアクチュエータ１１および車両制御システム１０の各部を制御する。なお、車両制御装置３０は、運転者状態検出装置の一例である。

車両制御装置３０は、アシスト運転または自動運転において、情報取得部２０により取得された各種情報に基づいて、車両が走行すべき経路である目標経路を決定し、目標経路を走行するために必要となる車両の運動である目標運動を決定する。そして、車両制御装置３０は、車両の運動が目標運動となるように、アクチュエータ１１の動作を制御する。例えば、車両制御装置３０は、１つまたは複数の電子制御ユニット（ＥＣＵ）により構成される。電子制御ユニットは、単一のＩＣ（Integrated Circuit）により構成されてもよいし、複数のＩＣにより構成されてもよい。また、ＩＣ内には、単一のコアまたはダイが設けられてもよいし、連携する複数のコアまたはダイが設けられてもよい。コアまたはダイは、例えば、ＣＰＵ（プロセッサ）と、ＣＰＵを動作させるためのプログラムやＣＰＵでの処理結果などの情報を記憶するメモリとにより構成されてもよい。

この例では、車両制御装置３０は、車両挙動認識部３１と、運転操作認識部３２と、外部環境認識部３３と、運転者挙動認識部３４と、車両制御部３５とを有する。

〈車両挙動認識部〉
車両挙動認識部３１は、車両状態センサ２５の出力に基づいて車両の挙動（例えば速度や加速度やヨーレートなど）を認識する。例えば、車両挙動認識部３１は、深層学習により生成された学習モデルを用いて、車両状態センサ２５の出力から車両の挙動を示すデータを生成する。

〈運転操作認識部〉
運転操作認識部３２は、運転操作センサ２６の出力に基づいて車両に加えられる運転操作を認識する。例えば、運転操作認識部３２は、深層学習により生成された学習モデルを用いて、運転操作センサ２６の出力から車両に加えられる運転操作を示すデータを生成する。

〈外部環境認識部〉
外部環境認識部３３は、複数のカメラ２１の出力と、複数のレーダ２２の出力と、位置センサ２３の出力と、外部入力部２４の出力と、車両挙動認識部３１の出力に基づいて、車両の外部環境を認識する。例えば、外部環境認識部３３は、深層学習により生成された学習モデルを用いて、上記の出力から車両の外部環境を示すデータ（例えば三次元マップデータ）を生成する。外部環境認識部３３により認識される車両の外部環境には、物体が含まれている。物体の例としては、時間経過により変位する動体と、時間経過により変位しない静止体とが挙げられる。動体の例としては、自動四輪車、自動二輪車、自転車、歩行者などが挙げられる。静止体の例としては、標識、街路樹、中央分離帯、センターポール、建物などが挙げられる。

〈運転者挙動認識部〉
運転者挙動認識部３４は、運転者状態センサ２７の出力に基づいて運転者の挙動（例えば運転者の健康状態や感情や身体挙動など）を認識する。例えば、運転者挙動認識部３４は、深層学習により生成された学習モデルを用いて、運転者状態センサ２７の出力からドライバの挙動を示すデータを生成する。この例では、運転者挙動認識部３４は、運転者状態検出部３００を有する。運転者状態検出部３００については、後で詳しく説明する。

〈車両制御部〉
車両制御部３５は、車両挙動認識部３１の出力と、運転操作認識部３２の出力と、外部環境認識部３３の出力と、運転者挙動認識部３４の出力に基づいて、アクチュエータ１１を制御する。この例では、車両制御部３５は、候補経路生成部３６と、目標経路決定部３７と、運動制御部３８とを有する。

候補経路生成部３６は、外部環境認識部３３の出力に基づいて１つまたは複数の候補経路を生成する。候補経路は、車両が走行可能な経路であり、目標経路の候補である。

目標経路決定部３７は、運転操作認識部３２の出力と、運転者挙動認識部３４の出力に基づいて、候補経路生成部３６により生成された１つまたは複数の候補経路の中から目標経路となる候補経路を選択する。例えば、目標経路決定部３７は、複数の候補経路のうち運転者が最も快適であると感じる候補経路を選択する。

運動制御部３８は、目標経路決定部３７により目標経路として選択された候補経路に基づいて目標運動を決定し、その決定された目標運動に基づいてアクチュエータ１１を制御する。例えば、運動制御部３８は、目標運動を達成するための駆動力と制動力と操舵量である目標駆動力と目標制動力と目標操舵量をそれぞれ導出する。そして、運動制御部３８は、目標駆動力を示す駆動指令値と目標制動力を示す制動指令値と目標操舵量を示す操舵指令値とを、駆動系のアクチュエータと制動系のアクチュエータと操舵系のアクチュエータとにそれぞれ送信する。

〔通知部〕
通知部４０は、車両の内部に設けられる。通知部４０は、車両の運転者に各種情報を通知する。この例では、通知部４０は、表示部４１と、スピーカ４２とを含む。表示部４１は、各種情報を画像で出力する。スピーカ４２は、各種情報を音声で出力する。

〔運転者状態検出部〕
図２は、運転者状態検出部３００の構成を例示する。運転者状態検出部３００は、車両の運転者の異常を検出する。具体的には、運転者状態検出部３００は、サッケード検出部３０１と、注意度検出部３０２と、異常検出部３０３とを有する。

なお、運転者の異常とは、運転者の注意機能低下を引き起こす異常のことである。このような運転者の異常の例としては、脳卒中などの脳疾患、心筋梗塞などの心疾患、癲癇、低血糖、眠気などが挙げられる。

〈サッケード検出部〉
サッケード検出部３０１は、車両の運転者のサッケードを検出する。サッケードとは、運転者が意図的に視線を移動させる跳躍性眼球運動のことであり、視線が所定時間停滞する注視点から次の注視点へ視線を移動させる眼球運動のことである。この例では、サッケード検出部３０１は、車内カメラ２８により得られた画像データに対して視線検出処理を行うことで、運転者の視線を検出する。なお、この視線検出処理は、深層学習により生成された学習モデル（視線を検出するための学習モデル）を用いて行われる処理であってもよいし、周知の視線検出技術を用いて行われる処理であってもよい。また、運転者の視線は、運転者の右眼の視線であってもよいし、運転者の左眼の視線であってもよいし、運転者の右眼の視線と左眼の視線とに基づいて導出される視線であってもよい。そして、サッケード検出部３０１は、運転者の視線の移動に基づいて運転者のサッケードを検出する。サッケード検出部３０１により検出された運転者のサッケードは、異常検出部３０３に供給される。なお、サッケードの検出については、後で詳しく説明する。

〈注意度検出部〉
注意度検出部３０２は、車両の外部環境における注意度を検出する。車両の外部環境において注意箇所（車両の運転者が走行中に確認すべき注意箇所）が多くなるに連れて、車両の外部環境における注意度が高くなる。注意度検出部３０２により検出結果は、異常検出部３０３に供給される。注意箇所の例としては、動体の飛び出しが予測される箇所、自車両の障害物となり得る物体が存在する箇所などが挙げられる。

例えば、注意度検出部３０２は、次のように車両の外部環境における注意度を検出してもよい。まず、注意度検出部３０２は、外部入力部２４により得られた情報（地図情報）を入力し、地図情報の中から高注意度領域を検出する。高注意度領域とは、車両の運転者が走行中に確認すべき注意箇所が比較的に多い領域（例えば注意箇所の数が予め定められた閾値以上である領域）のことである。高注意度領域の例としては、Ｔ字路などの見通しの悪い道路環境を含む領域や、交差点などの障害物（例えば他車両）により自車両の走行が遮られる可能性がある道路環境を含む領域などが挙げられる。また、注意度検出部３０２は、位置センサ２３により得られた情報（車両の位置）を入力する。そして、注意度検出部３０２は、車両の位置が高注意度領域に含まれている場合に、車両の外部環境における注意度が高注意度であることを検出し、車両の位置が高注意度領域に含まれていない場合に、車両の外部環境における注意度が低注意度であることを検出する。

または、注意度検出部３０２は、次のように車両の外部環境における注意度を検出してもよい。まず、注意度検出部３０２は、外部環境認識部３３により認識された車両の外部環境に中から注意箇所を検出する。そして、注意度検出部３０２は、車両の外部環境に含まれる注意箇所が比較的に多い場合（例えば注意箇所の数が予め定められた閾値以上である場合）に、車両の外部環境における注意度が高注意度であることを検出し、車両の外部環境に含まれる注意箇所が比較的に少ない場合（例えば注意箇所の数が予め定められた閾値よりも少ない場合）に、車両の外部環境における注意度が低注意度であることを検出する。

なお、車両の外部環境における注意度が高注意度である走行シーンは、顕在化された注意箇所が比較的に多く、それらの注意箇所に視線を広範囲に向けることが要求される走行シーンであるといえる。また、車両の外部環境における注意度が低注意度である走行シーンは、顕在化された注意箇所が比較的に少なく、視線を頻繁に移動させて潜在的な注意箇所を探索することが要求される走行シーンであるといえる。以下では、車両の外部環境における注意度が高注意度である走行シーンを「高注意度シーン」と記載し、車両の外部環境における注意度が低注意度である走行シーンを「低注意度シーン」と記載する。

〈異常検出部〉
異常検出部３０３は、注意度検出部３０２により検出された注意度と、サッケード検出部３０１により検出された運転者のサッケードの振幅ｄｓまたは頻度ｆｓとに基づいて、運転者の異常を検出する。

具体的には、異常検出部３０３は、注意度検出部３０２により検出された注意度が高注意度である場合に第１動作を行い、注意度検出部３０２により検出された注意度が低注意度である場合に第２動作を行うように構成される。第１動作では、異常検出部３０３は、運転者のサッケードの振幅ｄｓが予め設定された振幅閾値ｄｔｈ以下である場合に、運転者に異常があることを検出する。第２動作では、異常検出部３０３は、運転者のサッケードの頻度ｆｓが予め設定された頻度閾値ｆｔｈ以下である場合に、運転者に異常があることを検出する。

この例では、振幅閾値ｄｔｈは、車両の外部環境における注意度が高注意度である場合の注意機能障害者のサッケードの振幅に基づいて設定される。頻度閾値ｆｔｈは、車両の外部環境における注意度が低注意度である場合の注意機能障害者のサッケードの頻度に基づいて設定される。

なお、異常検出部３０３の動作については、後で詳しく説明する。

〔本願発明者らにより得られた知見〕
本願発明者らは、鋭意研究の結果、注意機能障害者の車両運転時の挙動を観測することにより、車両の運転者の異常時（注意機能低下を引き起こす異常時）の挙動を擬似的に観測することができることを見出した。

そして、本願発明者らは、注意機能障害者の車両運転時の挙動の観測結果と、注意機能障害を有さない健常者の車両運転時の挙動の観測結果とを分析した。この分析の結果、本願発明者らは、運転者に異常（注意機能低下を引き起こす異常）がある場合、車両の外部環境における注意度に応じて、車両の運転者のサッケードの振幅または頻度が大幅に減少することを見出した。

具体的には、本願発明者らは、運転者に異常（注意機能低下を引き起こす異常）があると、車両の外部環境における注意度が比較的に高い場合に、車両の運転者のサッケードの振幅が大幅に減少することを見出した。また、本願発明者らは、運転者に異常（注意機能低下を引き起こす異常）があると、車両の外部環境における注意度が比較的に低い場合に、車両の運転者のサッケードの頻度が大幅に減少することを見出した。

以下、本願発明者らにより実施された実験について説明する。

〈被験者の選出〉
本願発明者らにより実施された実験では、軽度の注意機能障害を有する患者（以下では「軽度患者」と記載）と、中度の注意機能障害を有する患者（以下では「中度患者」と記載）と、重度の注意機能障害を有する患者（以下では「重度患者」と記載）と、注意機能障害を有さない健常者（以下では単に「健常者」と記載）とを被験者として選出した。なお、注意機能障害の程度である「軽度」「中度」「重度」は、ＴＭＴ（Trail Making Test）と称される医学的試験のスコアに基づいて分類される。ＴＭＴとは、用紙にランダムに記載された連続性を有する記号（例えば、数字、アルファベッド、ひらがな、カタカナなど）を順に線で繋いでいく試験のことであり、試験の開始から終了までに要する時間（秒）がスコアとなる。なお、注意機能障害患者（注意機能障害を有する患者）は、注意機能障害者の一例である。

図３は、年代別の健常者のＴＭＴのスコアの基準値（例えば複数の被験者の平均値またはカットオフ値）と、注意機能障害の程度別の患者のＴＭＴのスコアの基準値とを例示する。図３に示すように、２０代、３０代、４０代、５０代、６０代と年齢が増加するに連れて、ＴＭＴのスコアの基準値（以下では「スコア基準値」と記載）が次第に増加していく。これは、加齢による注意機能の低下が原因であると考えられる。

また、図３に示すように、軽度患者のスコア基準値は、６０代の健常者のスコア基準値よりも小さい。中度患者のスコア基準値は、軽度患者のスコア基準値よりも大きく、６０代の健常者のスコア基準値と同程度である。重度患者のスコア基準値は、中度患者のスコア基準値よりも大きく、６０代の健常者のスコア基準値よりも大きい。なお、この実験では、６０代の健常者のスコア基準値よりも大きいスコア基準値に対応する重度患者の車両運転時の挙動を、運転者に異常（注意機能低下を引き起こす異常）がある場合の運転者の車両運転時の挙動の例として観測した。

〈実験内容〉
上記のように選出された被験者に対して、ドライビングシミュレータを用いて車両の運転操作を擬似的に体験させた。具体的には、ドライビングシミュレータにより車両の走行中の動画像（車内から見える車両の外部環境を示す動画像）を被験者に視聴させ、その被験者の視聴中の挙動を観測することで、被験者の車両運転時の挙動を擬似的に観測した。この実験では、車両の走行中の動画像を視聴する被験者の前方にカメラを設置し、撮像範囲内に被験者の眼球が含まれるようにカメラを設定した。そして、カメラにより得られた画像データに対して視線検出処理を行うことで被験者の視線を検出した。なお、この視線検出処理は、深層学習により生成された学習モデル（視線を検出するための学習モデル）を用いて行われる処理であってもよいし、周知の視線検出技術を用いて行われる処理であってもよい。

〈被験者の視線移動〉
図４は、健常者の視線移動の一例を示し、図５は、重度患者の視線移動の一例を示す。なお、図中、黒丸は、被験者の視線が所定時間停滞した点である注視点を示し、２つの注視点を繋ぐ直線は、一方の注視点から他方の注視点への被験者の視線移動の軌跡を示している。また、図４および図５の例では、自車両が他車両５１を右側から追い越す走行シーンを示している。また、図４および図５の例では、自車両の前方に別の他車両５２が存在している。図４および図５の例では、他車両５１と、他車両５２と、車道の左側の壁部５３とが注意箇所に相当する。なお、図４および図５に示された走行シーンは、高注意度シーン（車両の外部環境における注意度が高注意度である走行シーン）の一例である。

図４に示すように、被験者が健常者である場合、被験者の視線は、複数の注意箇所に万遍なく向けられていた。一方、図５に示すように、被験者が重度患者である場合、被験者の視線は、比較的に狭い範囲内で移動しており、被験者が健常者である場合よりも、被験者の視線の移動距離が短くなっていた。

〈複数の走行シーンを視聴した被験者の視線移動〉
図６は、複数の走行シーンを視聴した健常者の視線移動の一例を示し、図７は、複数の走行シーンを視聴した重度患者の視線移動の一例を示す。図６および図７の例において、縦軸は、被験者の視線の移動距離（角度）を示し、横軸は、経過時間を示す。また、図６および図７の例において、第１番目の破線で囲まれた部分は、自動車専用道路を走行する走行シーンにおける被験者の視線の移動を示す。第２番目の破線で囲まれた部分は、他車両が存在する市街地を走行する走行シーンにおける被験者の視線の移動を示す。第３番目の破線で囲まれた部分は、他車両が存在しない市街地を走行する走行シーンにおける被験者の視線の移動を示す。第４番目の破線で囲まれた部分は、混雑している市街地を走行する走行シーンにおける被験者の視線の移動を示す。

図６と図７とを比較すると、第１番目の破線で囲まれた部分では、被験者の視線の移動距離の差が比較的に小さくなっているが、第２番目の破線で囲まれた部分では、被験者の視線の移動距離の差が比較的に大きくなっている。すなわち、図７の第２番目の破線で囲まれた部分における被験者の視線の移動距離は、図６の第２番目の破線で囲まれた部分における被験者の視線の移動距離よりも大幅に小さくなっている。これは、被験者である重度患者の注意機能低下により、高注意度シーン（顕在化された複数の注意箇所に視線を広範囲に向けることが要求される走行シーン）において、複数の注意箇所に視線を広範囲に向けることができなくなったことが原因であると考えられる。

また、図６と図７とを比較すると、第４番目の破線で囲まれた部分では、被験者の視線の移動回数の差が比較的に小さくなっているが、第３番目の破線で囲まれた部分では、被験者の視線の移動回数の差が比較的に大きくなっている。すなわち、図７の第３番目の破線で囲まれた部分における被験者の視線の移動回数は、図６の第３番目の破線で囲まれた部分における被験者の移動回数よりも大幅に少なくなっている。これは、被験者である重度患者の注意機能低下により、低注意度シーン（視線を頻繁に移動させて潜在的な注意箇所を探索することが要求される走行シーン）において、視線を頻繁に移動させて潜在的な注意箇所を探索することができなくなったことが原因であると考えられる。

〈サッケードの導出〉
次に、被験者の視線の移動を評価するために、以下の手順に基づいて被験者のサッケードを導出した。サッケードとは、運転者が意図的に視線を移動させる跳躍性眼球運動のことであり、視線が所定時間停滞する注視点から次の注視点へ視線を移動させる眼球運動のことである。図８に示すように、隣り合う２つの注視期間の間に挟まれた期間がサッケード期間となる。なお、注視期間は、視線が停滞しているとみなされる期間である。サッケードの振幅ｄｓは、サッケード期間における視線の移動距離である。

この実験では、視線の移動距離の変化に基づいて視線の移動速度を算出し、視線の移動速度が予め定められた速度閾値（例えば４０deg/s）未満である状態が予め定められた停滞時間（例えば０．１秒間）継続する期間を「注視期間」として抽出した。そして、隣り合う２つの注視期間の間に挟まれた期間における視線移動のうち、移動速度が速度閾値（例えば４０deg/s）以上であり、且つ、移動距離が予め定められ距離閾値（例えば３deg）以上である視線移動を「サッケード」として抽出した。

なお、上記のように抽出したサッケードには、被験者の瞬きなどのノイズが含まれる。そこで、この実験では、そのようなノイズを除外するために、下記の手順に基づいてサッケードを抽出した。

まず、被験者の視線の移動距離の変化に基づいて、サッケードの候補となるサッケード候補を抽出した。次に、図９に示すように、複数のサッケード候補に基づいて回帰曲線Ｌ１０を導出した。具体的には、最小自乗法により複数のサッケード候補から回帰曲線Ｌ１０を導出した。次に、回帰曲線Ｌ１０を移動速度が増加する方向（図９の縦軸における増加方向）にシフトさせることで第１基準曲線Ｌ１１を導出し、回帰曲線Ｌ１０を移動速度が減少する方向（図９の縦軸における減少方向）にシフトさせることで第２基準曲線Ｌ１２を導出し、第１基準曲線Ｌ１１と第２基準曲線Ｌ１２との間をサッケード範囲Ｒ１０とした。そして、複数のサッケード候補のうちサッケード範囲Ｒ１０内に含まれるサッケード候補をサッケードとして抽出した。

次に、サッケードの指標であるサッケードの振幅ｄｓとサッケードの頻度ｆｓとを算出した。具体的には、予め定められた周期毎（例えば１０秒毎）に、その周期内に含まれるサッケードの振幅ｄｓの平均値を「サッケードの振幅ｄｓ」として算出し、その周期内に含まれるサッケードの数をその周期の時間で除算して得られる値を「サッケードの頻度ｆｓ」として算出した。

〈サッケードの振幅〉
図１０は、高注意度シーンおよび低注意度シーンの各々における健常者と中度患者と重度患者のサッケードの振幅ｄｓを例示する。図１０に示すように、高注意度シーンの健常者と重度患者との間におけるサッケードの振幅ｄｓの差は、低注意度シーンの健常者と重度患者との間におけるサッケードの振幅ｄｓの差よりも大きくなっている。これは、運転者に異常（注意機能低下を引き起こす異常）がある場合、車両の外部環境における注意度が比較的に高い走行シーンにおいて、車両の運転者のサッケードの振幅ｄｓが大幅に減少することを示している。

〈サッケードの頻度〉
図１１は、高注意度シーンおよび低注意度シーンの各々における健常者と中度患者と重度患者のサッケードの頻度ｆｓを例示する。図１１に示すように、低注意度シーンの健常者と重度患者との間におけるサッケードの頻度ｆｓの差は、高注意度シーンの健常者と重度患者との間におけるサッケードの頻度ｆｓの差よりも大きくなっている。これは、運転者に異常（注意機能低下を引き起こす異常）がある場合、車両の外部環境における注意度が比較的に低い走行シーンにおいて、車両の運転者のサッケードの頻度ｆｓが大幅に減少することを示している。

〈実験の総括〉
以上のように、運転者に異常（注意機能低下を引き起こす異常）がある場合、車両の外部環境における注意度に応じて、車両の運転者のサッケードの振幅ｄｓまたは頻度ｆｓが大幅に減少することがわかった。

具体的には、運転者に異常（注意機能低下を引き起こす異常）があると、車両の外部環境における注意度が比較的に高い場合に、車両の運転者のサッケードの振幅ｄｓが大幅に減少することがわかった。また、運転者に異常（注意機能低下を引き起こす異常）があると、車両の外部環境における注意度が比較的に低い場合に、車両の運転者のサッケードの頻度ｆｓが大幅に減少することがわかった。

また、車両の外部環境における注意度が高注意度である場合の注意機能障害患者のサッケードの振幅に基づいて、運転者に異常があるか否かを区別する基準となる振幅閾値ｄｔｈを適切に設定することができることがわかった。例えば、図１０の例の場合、６０代の健常者のスコア基準値よりも大きいスコア基準値に対応する重度患者のサッケードの振幅に基づいて、振幅閾値ｄｔｈが「５deg」に設定されることが好ましい。すなわち、この振幅閾値ｄｔｈは、高注意度シーンにおける重度患者のサッケードの振幅よりも大きく、且つ、低注意度シーンにおける重度患者のサッケードの振幅以下に設定されている。

また、車両の外部環境における注意度が比較的に低い場合の注意機能障害患者のサッケードの頻度に基づいて、運転者に異常があるか否かを区別する基準となる頻度閾値ｆｔｈを適切に設定することができることがわかった。例えば、図１１の例の場合、６０代の健常者のスコア基準値よりも大きいスコア基準値に対応する重度患者のサッケードの頻度に基づいて、頻度閾値ｆｔｈが「０．７回/s」に設定されることが望ましい。すなわち、この頻度閾値ｆｔｈは、低注意度シーンにおける重度患者のサッケードの頻度よりも高く、且つ、高注意度シーンにおける重度患者のサッケードの頻度以下に設定されている。

〔サッケード検出〕
次に、図１２を参照して、運転者状態検出部３００の動作（サッケード検出）について説明する。このサッケード検出は、主に、サッケード検出部３０１により行われる。

〈ステップＳＴ１１〉
まず、サッケード検出部３０１は、運転者の視線を検出する。この例では、サッケード検出部３０１は、車内カメラ２８により得られた画像データに対して視線検出処理を行うことで、運転者の視線を検出する。例えば、サッケード検出部３０１は、車内カメラ２８により得られた画像（画像データ）の中から運転者の瞳孔を検出し、その検出された瞳孔に基づいて運転者の視線を検出する。次に、サッケード検出部３０１は、運転者の視線の移動距離を算出する。そして、サッケード検出部３０１は、運転者の視線の移動距離の時間的変化に基づいて、運転者の視線の速度を算出する。例えば、サッケード検出部３０１は、時間経過に応じて変化する視線の移動距離を微分することにより、運転者の視線の速度を算出する。

〈ステップＳＴ１２〉
次に、サッケード検出部３０１は、視線の移動速度に基づいて、サッケードの候補となるサッケード候補を抽出する。例えば、サッケード検出部３０１は、視線の移動速度が予め定められた速度閾値（例えば４０deg/s）未満である状態が予め定められた停滞時間（例えば０．１秒間）継続する期間を「注視期間」（図８参照）として抽出する。そして、サッケード検出部３０１は、隣り合う２つの注視期間の間に挟まれた期間における視線移動のうち、移動速度が速度閾値（例えば４０deg/s）以上であり、且つ、移動距離が予め定められ距離閾値（例えば３deg）以上である視線移動を「サッケード候補」として抽出する。

〈ステップＳＴ１３〉
次に、サッケード検出部３０１は、回帰曲線Ｌ１０を基準とするサッケード範囲Ｒ１０（図９参照）を読み込む。

例えば、サッケード範囲Ｒ１０は、下記のように導出される。まず、サッケード検出部３０１は、複数のサッケード候補に基づいて回帰曲線Ｌ１０を導出する。具体的には、サッケード検出部３０１は、最小自乗法により複数のサッケード候補から回帰曲線Ｌ１０を導出する。次に、サッケード検出部３０１は、回帰曲線Ｌ１０を移動速度が増加する方向（図９の縦軸における増加方向）にシフトさせることで第１基準曲線Ｌ１１を導出し、回帰曲線Ｌ１０を移動速度が減少する方向（図９の縦軸における減少方向）にシフトさせることで第２基準曲線Ｌ１２を導出する。そして、サッケード検出部３０１は、第１基準曲線Ｌ１１と第２基準曲線Ｌ１２との間をサッケード範囲Ｒ１０とする。なお、サッケード範囲Ｒ１０の導出は、定期的に行われてもよい。

そして、サッケード検出部３０１は、複数のサッケード候補の各々とサッケード範囲Ｒ１０とを比較してサッケードを抽出する。具体的には、サッケード検出部３０１は、複数のサッケード候補のうちサッケード範囲Ｒ１０内に含まれるサッケード候補をサッケードとして抽出する。なお、サッケード検出部３０１は、複数のサッケード候補のうちサッケード範囲Ｒ１０内に含まれないサッケード候補をサッケードとして抽出しない。

〈ステップＳ１４〉
次に、サッケード検出部３０１は、サッケードの指標であるサッケードの振幅ｄｓとサッケードの頻度ｆｓとを算出する。例えば、サッケード検出部３０１は、予め定められた周期毎（例えば１０秒毎）に、その周期内に含まれるサッケードの振幅ｄｓの平均値を「サッケードの振幅ｄｓ」として算出し、その周期内に含まれるサッケードの数をその周期の時間で除算して得られる値を「サッケードの頻度ｆｓ」として算出する。

〔異常検出〕
次に、図１３を参照して、運転者状態検出部３００の動作（異常検出）について説明する。この異常検出は、主に、異常検出部３０３により行われる。

〈ステップＳＴ２１〉
まず、異常検出部３０３は、注意度検出部により検出された注意度（車両の外部環境における注意度）が高注意度であるか否かを判定する。車両の外部環境における注意度が高注意度である場合には、ステップＳ２２へ進み、そうでない場合には、ステップＳＴ２５へ進む。

〈ステップＳＴ２２〉
車両の外部環境における注意度が高注意度である場合、異常検出部３０３は、第１動作を行う。第１動作では、異常検出部３０３は、サッケード検出部３０１により検出されたサッケード（運転者のサッケード）の振幅ｄｓが予め定められた振幅閾値ｄｔｈ以上であるか否かを判定する。運転者のサッケードの振幅ｄｓが振幅閾値ｄｔｈ以上である場合には、ステップＳＴ２３へ進み、そうでない場合には、ステップＳＴ２４へ進む。

〈ステップＳＴ２３〉
ステップＳＴ２２において運転者のサッケードの振幅ｄｓが振幅閾値ｄｔｈ以上である場合、異常検出部３０３は、運転者に異常があることを検出する。

なお、異常検出部３０３は、運転者に異常があることを示す検出結果を通知部４０に出力してもよい。この場合、通知部４０は、運転者に異常があることを示す検出結果を通知してもよい。例えば、表示部４１は、運転者に異常があることを示す検出結果を示す画像を出力してもよい。スピーカ４２は、運転者に異常があることを示す検出結果を示す音声を出力してもよい。

また、車両制御部３５は、異常検出部３０３により運転者に異常があることが検出された場合に、車両の運転モードを自動運転に切り換え、自車両が安全な領域（例えば路肩）へ向けて走行して安全な領域で停車するようにアクチュエータ１１を制御してもよい。例えば、候補経路生成部３６により生成される候補経路には、安全な領域へ向かう安全経路が含まれていてもよい。目標経路決定部３７は、異常検出部３０３により運転者に異常があることが検出された場合に、候補経路生成部３６により生成された候補経路の中から安全経路を目標経路として選択してもよい。運動制御部３８は、目標経路決定部３７により目標経路として選択された安全経路に基づいて目標運動を決定し、その目標運動に基づいてアクチュエータ１１を制御してもよい。

〈ステップＳＴ２４〉
一方、ステップＳＴ２２において運転者のサッケードの振幅ｄｓが振幅閾値ｄｔｈ未満である場合、異常検出部３０３は、運転者に異常がないことを検出する。

なお、異常検出部３０３は、運転者に異常がないことを示す検出結果を通知部４０に出力してもよい。この場合、通知部４０は、運転者に異常がないことを示す検出結果を通知してもよい。例えば、表示部４１は、運転者に異常がないことを示す検出結果を示す画像を出力してもよい。

〈ステップＳＴ２５〉
また、ステップＳ２１において車両の外部環境における注意度が高注意度ではない場合（車両の外部環境における注意度が低注意度である場合）、異常検出部３０３は、サッケード検出部３０１により検出されたサッケード（運転者のサッケード）の頻度ｆｓが予め定められた頻度閾値ｆｔｈ以上であるか否かを判定する。運転者のサッケードの頻度ｆｓが頻度閾値ｆｔｈ以上である場合には、ステップＳＴ２６へ進み、そうでない場合には、ステップＳＴ２７へ進む。

〈ステップＳＴ２６〉
ステップＳＴ２５において運転者のサッケードの頻度ｆｓが頻度閾値ｆｔｈ以上である場合、異常検出部３０３は、運転者に異常があることを検出する。

なお、ステップＳＴ２３と同様に、異常検出部３０３は、運転者に異常があることを示す検出結果を通知部４０に出力してもよい。この場合、通知部４０は、運転者に異常があることを示す検出結果を通知してもよい。また、車両制御部３５は、異常検出部３０３により運転者に異常があることが検出された場合に、車両の運転モードを自動運転に切り換え、自車両が安全な領域（例えば路肩）へ向けて走行して安全な領域で停車するようにアクチュエータ１１を制御してもよい。

〈ステップＳＴ２７〉
一方、ステップＳＴ２５において運転者のサッケードの頻度ｆｓが頻度閾値ｆｔｈ未満である場合、異常検出部３０３は、運転者に異常がないことを検出する。

なお、ステップＳＴ２４と同様に、異常検出部３０３は、運転者に異常がないことを示す検出結果を通知部４０に出力してもよい。この場合、通知部４０は、運転者に異常がないことを示す検出結果を通知してもよい。

〔実施形態の効果〕
以上のように、車両の外部環境における注意度と車両の運転者のサッケードの振幅ｄｓまたは頻度ｆｓとに応じて運転者の異常を検出することにより、特許文献１の場合や、単に運転者のサッケードの振幅または頻度に基づいて運転者の異常を検出する場合よりも、運転者の異常の検出精度を向上させることができる。

具体的には、車両の外部環境における注意度が高注意度である場合に第１動作（運転者のサッケードの振幅ｄｓに基づく運転者の異常の検出）を行い、車両の外部環境における注意度が低注意度である場合に第２動作（運転者のサッケードの頻度ｆｓに基づく運転者の異常の検出）を行うことにより、運転者の異常の検出精度を向上させることができる。

また、車両の外部環境における注意度が高注意度である場合の注意機能障害者のサッケードの振幅に基づいて、振幅閾値ｄｔｈを適切に設定することができる。また、車両の外部環境における注意度が低注意度である場合の注意機能障害者のサッケードの頻度に基づいて、頻度閾値ｆｔｈを適切に設定することができる。

（その他の実施形態）
また、以上の実施形態を適宜組み合わせて実施してもよい。以上の実施形態は、本質的に好ましい例示であって、ここに開示する技術、その適用物、あるいはその用途の範囲を制限することを意図するものではない。

以上説明したように、ここに開示する技術は、運転者状態検出装置として有用である。

１０ 車両制御システム
１１ アクチュエータ
２０ 情報取得部
２１ カメラ
２２ レーダ
２３ 位置センサ
２４ 外部入力部
２５ 車両状態センサ
２６ 運転操作センサ
２７ 運転者状態センサ
２８ 車内カメラ
２９ 生体情報センサ
３０ 車両制御装置（運転者状態検出装置）
３１ 車両挙動認識部
３２ 運転操作認識部
３３ 外部環境認識部
３４ 運転者挙動認識部
３５ 車両制御部
４０ 通知部
４１ 表示部
４２ スピーカ
３００ 運転者状態検出部
３０１ サッケード検出部
３０２ 注意度検出部
３０３ 異常検出部

Claims (2)

1. 車両に設けられる運転者状態検出装置であって、
   前記車両の運転者のサッケードを検出するサッケード検出部と、
   前記車両の外部環境における注意度を検出する注意度検出部と、
   前記注意度検出部により検出された注意度と、前記サッケード検出部により検出された前記運転者のサッケードの振幅または頻度とに基づいて、前記運転者の異常を検出する異常検出部とを備え、
   前記異常検出部は、前記注意度検出部により検出された注意度が高注意度である場合に第１動作を行い、前記注意度検出部により検出された注意度が低注意度である場合に第２動作を行うように構成され、
   前記第１動作では、前記異常検出部は、前記運転者のサッケードの振幅が予め設定された振幅閾値以下である場合に、前記運転者に異常があることを検出し、
   前記第２動作では、前記異常検出部は、前記運転者のサッケードの頻度が予め設定された頻度閾値以下である場合に、前記運転者に異常があることを検出する
   ことを特徴とする運転者状態検出装置。
2. 請求項１において、
   前記振幅閾値は、前記車両の外部環境における注意度が高注意度である場合の注意機能障害者のサッケードの振幅に基づいて設定され、
   前記頻度閾値は、前記車両の外部環境における注意度が低注意度である場合の前記注意機能障害者のサッケードの頻度に基づいて設定される
   ことを特徴とする運転者状態検出装置。

Images