JP6928825B2 - 居眠り防止装置、居眠り防止方法、およびプログラム - Google Patents

Description

本開示は、居眠り防止装置、居眠り防止方法、およびプログラムに関する。

近年、車室内に搭載された運転手の顔を撮影するカメラを用いて、運転手の居眠りを検知し、警報や注意喚起表示により居眠り運転による事故を未然防止するための運転手モニタリング技術の開発が進められている。

例えば、車室内カメラを用いて運転手の上下の瞼（まぶた）の間の距離（瞼間距離）を算出し、瞼間距離に基づいて運転手の眠気レベル（「全く眠くなさそう」から「眠っている」までの６段階）を推定し、所定の値を超えていたら、警報や注意喚起表示を行う技術が提案されている。

また、特許文献１には、一度の警報によって眠気が解消しない場合を想定して、眠気が検知されて運転手に警報を与えた後、警報の効果を確認するため、所定時間後に再度眠気レベルの推定を行い、眠気が再度検知された場合には、追加の警報として運転手に警報や注意喚起を連続的に与える方法が提案されている。

特許第５２２８９７０号公報

特許文献１に従って初回の警報の効果の有無を判断するためには、眠気レベルの推定を初回の警報の後に改めて実施する必要がある。しかしながら、ＰＥＲＣＬＯＳ（Percentage eye closure ratio、所定時間における閉眼の割合）を始めとする一般的な眠気レベルの推定においては、１分〜３分程度の時間に亘って瞼の開閉度を検知する必要がある。即ち、初回の警報の効果の有無を判断するために、１分〜３分程度の時間を要していた。そのため、初回の警報の後に運転手が眠気を催してから初回の警報の効果が無いと判断するまでの間の遅延に伴い、追加の警報による運転手の覚醒も遅延するという課題がある。

本開示の目的は、居眠りする乗員をより早期に覚醒させることのできる、改善された居眠り防止装置、居眠り防止方法、およびプログラムを提供することである。

本開示の一態様に係る居眠り防止装置は、検知装置が検知した乗員の状態に基づいて、前記乗員の心理状態を推定する心理状態推定部と、前記乗員に注意を喚起するための第１の警報および第２の警報を出力装置に出力させる制御部と、を備え、前記心理状態推定部は、前記第１の警報が出力される前の前記乗員の第１の心理状態と、前記第１の警報が出力された後の前記乗員の第２の心理状態とを推定し、前記制御部は、前記第２の心理状態のみ、または、前記第１の心理状態および前記第２の心理状態に基づいて、前記第２の警報の内容を決定し、前記第１の心理状態および前記第２の心理状態は感情であり、前記第１の心理状態と前記第２の心理状態とが異なる感情である場合における前記第２の警報の強度は、前記第１の心理状態を示す第１感情ベクトルと前記第２の心理状態を示す第２感情ベクトルとの差分ベクトルの大きさに基づいて決定される構成を採る。

本開示の一態様に係る居眠り防止方法は、居眠り防止装置が実施する居眠り防止方法であって、検知装置が検知した乗員の状態に基づいて、前記乗員の第１の心理状態を推定するステップと、前記乗員に注意を喚起するための第１の警報を出力装置に出力させるステップと、前記検知装置が検知した前記乗員の状態に基づいて、前記第１の警報が出力された後の前記乗員の第２の心理状態を推定するステップと、前記第２の心理状態のみ、または、前記第１の心理状態および前記第２の心理状態に基づいて、前記乗員に注意を喚起するための第２の警報の内容を決定するステップと、前記第２の警報を出力装置に出力させるステップと、を備え、前記第１の心理状態および前記第２の心理状態は感情であり、前記第１の心理状態と前記第２の心理状態とが異なる感情である場合における前記第２の警報の強度は、前記第１の心理状態を示す第１感情ベクトルと前記第２の心理状態を示す第２感情ベクトルとの差分ベクトルの大きさに基づいて決定される構成を採る。

本開示の一態様に係るプログラムは、居眠り防止装置が備えるコンピュータが実行するプログラムであって、前記コンピュータに、検知装置が検知した乗員の状態に基づいて、前記乗員の第１の心理状態を推定する処理と、前記乗員に注意を喚起するための第１の警報を出力装置に出力させる処理と、前記検知装置が検知した前記乗員の状態に基づいて、前記第１の警報が出力された後の前記乗員の第２の心理状態を推定する処理と、前記第２の心理状態のみ、または、前記第１の心理状態および前記第２の心理状態に基づいて、前記乗員に注意を喚起するための第２の警報の内容を決定する処理と、前記第２の警報を出力装置に出力させる処理と、を実行させ、前記第１の心理状態および前記第２の心理状態は感情であり、前記第１の心理状態と前記第２の心理状態とが異なる感情である場合における前記第２の警報の強度は、前記第１の心理状態を示す第１感情ベクトルと前記第２の心理状態を示す第２感情ベクトルとの差分ベクトルの大きさに基づいて決定される構成を採る。

本開示によれば、居眠りする乗員をより早期に覚醒させることができる。

本開示に係る居眠り防止装置の説明図である。 本開示に係る感情の一例を示す説明図である。 第１の実施の形態に係る居眠り防止システムの動作フローの一例を示すフローチャートである。 第１の実施の形態に係る感情の変化を示す説明図である。 第１の実施の形態に係る感情の変化を示す説明図である。 第２の実施の形態に係る居眠り防止システムの動作フローの一例を示すフローチャートである。 第２の実施の形態に係る感情の変化を示す説明図である。 コンピュータのハードウェア構成の一例を示す図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

（第１の実施の形態）
図１は、本開示に係る居眠り防止システム１０の説明図である。居眠り防止システム１０は、検知装置１１、居眠り防止装置１２、および出力装置１３を備える。居眠り防止装置１２は、心理状態推定部１４および制御部１５を備える。一例において、居眠り防止装置１２は、さらに眠気レベル推定部１６を備える。

検知装置１１は、乗員（例えば、運転手）の体の部位の状態を検知する。一例において、乗員の状態は、乗員の体の部位の状態である。乗員の体の部位は、例えば、顔、手首である。他の一例において、乗員の状態は、乗員の生体情報である。

一例において、検知装置１１は、太陽光等の外部光源からの光や電磁波、音波等の反射を検知する受動型（パッシブ）検知器を備え、乗員の顔を撮像する。受動型検知器は、例えば、可視光を受光可能なＣＣＤイメージセンサ、ＭＯＳイメージセンサである。他の一例において、検知装置１１は、乗員の心拍数、脈拍数等を測定する光学式検知器を備え、乗員の手首に現れる心拍数、脈拍数などの生体情報を測定する。

居眠り防止装置１２は、検知装置１１から取得した乗員の画像あるいは生体情報に基づいて、出力装置１３に警報を出力するように指示する。居眠り防止装置１２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、居眠り防止装置１２の各ブロックの動作を集中制御する。

出力装置１３は、居眠り防止装置１２からの指示に応じて、乗員に対して警報を出力する。ここで、警報は、初回の警報（第１の警報）と、追加の警報（第２の警報）を含む。一例において、出力装置１３は、表示手段（視覚表示手段）、音を出力する手段（聴覚表示手段）、香りを発生させる手段（嗅覚表示手段）、および触覚に作用する手段（触覚表示手段）の少なくとも１つを含む。

一例において、視覚表示手段は、車速、エンジン回転数等の車両の状態に関する情報を表示する計器板（インパネ）である。他の一例において、表示手段は、現在位置の周辺地図、目的地までの経路等の車両の位置に関する情報を表示するカーナビゲーションシステムのディスプレイである。表示手段は、例えば、画面を点滅させる、画面の輝度を上げる、画面の色を変更する、「安全運転して下さい」、「落ち着いて安全運転して下さい」等のメッセージを表示することによって、警告を出力する。一例において、表示手段が点滅させる画面の明滅周期、表示手段が上げる画面の輝度の高さ、表示手段が変更する画面の色は、調節可能である。

一例において、聴覚表示手段は、車載オーディオからのオーディオ信号を音に変換する車載スピーカである。聴覚表示手段は、例えば、「ピピッ」、「ピー」等のビープ音、「安全運転して下さい」、「落ち着いて安全運転して下さい」等の音声メッセージ、乗員を覚醒させるのに適した音楽を発生することによって、警告を出力する。一例において、聴覚表示手段が発する音の大きさは、調節可能である。

一例において、嗅覚表示手段は、乗員の集中力を高める効果を持つユーカリなどの森林の香りや、ペパーミントなどのハーブの香り等を発生する香り発生装置である。例えば、香り発生装置は、香りを発生する芳香剤を備え、芳香剤に送風することにより、香りを発生する。一例において、嗅覚表示手段が発する香りの強さは、調節可能である。

一例において、触覚表示手段は、乗員の皮膚の一部を振動させる振動手段である。振動手段は、例えば、ハンドル、シートベルト等の、乗員に常時接触する、または接触する機会の多い箇所に取り付けられた振動子である。一例において、振動手段が発する振動の大きさは、調節可能である。

一例において、触覚表示手段は、冷風を送風することができる車載エアコンである。一例において、冷風の温度および強さは、調節可能である。

心理状態推定部１４は、検知装置１１から取得した画像あるいは生体情報に基づいて乗員の第１の心理状態および第２の心理状態を推定する。ここで、第１の心理状態とは、出力装置１３が第１の警報を出力する前の乗員の心理状態をいい、第２の心理状態とは、出力装置１３が第１の警報を出力した後であって、かつ第２の警報を出力する前の乗員の心理状態をいう。一例において、第１の心理状態および第２の心理状態は、双方とも感情である。

図２は、本開示に係る感情の一例を示す説明図である。図２に示される感情は、Ｒｕｓｓｅｌｌの感情円環モデルによって分類されている。図２において、原点Ｏで交叉する横軸および縦軸は、それぞれ快適軸および覚醒軸である。人間の感情（例えば「退屈」、「リラックス」、「イライラ」、「驚き」）に対応する点（以下、感情点と呼ぶ）が、プロットされている。

図２において、任意の感情点は、快適軸における−１．０以上＋１．０以下の座標値と、覚醒軸における−１．０以上＋１．０以下の座標値とを成分にもつ２次元ベクトルとして表される。以下において、当該２次元ベクトルを、感情ベクトルと呼ぶことにする。

感情ベクトルは、感情の種類および度合いを示す。図２において、感情ベクトルの方向に感情点がある場合、当該感情点に対応する感情を、感情ベクトルが示す感情の種類とする。また、感情ベクトルの方向に感情点がない場合、例えば、感情ベクトルに最も近い方向に存在する感情点に対応する感情を、感情ベクトルが示す感情の種類とする。感情ベクトルの大きさは、感情の度合いを示す。

感情の他の一例は、楽しみ、喜び、嫌悪感、怒り、恐怖、および驚きからなる、表情に現れる６つの基本的な感情とニュートラルとからなる７種類に分類される感情である。

心理状態推定部１４は、乗員の心理状態を推定する。心理状態の推定には、公知の技術を用いることができる。

一例において、顔の特徴点の位置関係に基づいて、Ｒｕｓｓｅｌｌの感情円環モデルの感情ベクトルを推定するための推定モデルを、予め機械学習等により生成し、生成された推定モデルを心理状態推定部１４の不揮発性記憶装置（図示せず）に記憶させる。次いで、居眠り防止装置１２の動作時に、心理状態推定部１４は、乗員の画像から検出された特徴点の位置に基づいて、推定モデルを用いて感情ベクトルを推定する。次いで、推定された感情ベクトルに基づいて、Ｒｕｓｓｅｌｌの感情円環モデルを用いて感情を推定する。

他の一例において、目尻、目頭、口角等の顔の特徴点の位置関係に基づいて上述の７種類の感情を推定するための推定モデルを、予め機械学習等により生成し、生成された推定モデルを心理状態推定部１４の不揮発性記憶装置（図示せず）に記憶させる。次いで、居眠り防止装置１２の動作時に、心理状態推定部１４は、乗員の画像から検出された特徴点の位置に基づいて、推定モデルを用いて感情を推定する。

さらに他の一例において、乗員の画像に加えて、または、乗員の画像に代えて、乗員の心拍数、脈拍等の特徴量に基づいて感情を推定するための推定モデルを用いる。

再度、図１を参照する。制御部１５は、乗員に注意を喚起するための第１の警報および第２の警報を出力装置１３に出力させる。一例において、制御部１５は、第１の心理状態に基づいて、第１の警報の内容を決定する。さらに、一例において、制御部１５は、第２の心理状態に基づいて第２の警報の内容を決定する。さらに、他の一例において、制御部１５は、第１の心理状態および第２の心理状態に基づいて、第２の警報の内容を決定する。第１の警報の内容の決定および第２の警報の内容の決定の詳細については、＜表１＞から＜表５＞を参照して後述する。

眠気レベル推定部１６は、乗員の眠気レベルを推定する。一例において、眠気レベル推定部１６は、検知装置１１から取得した乗員の画像に基づいて、眠気レベルを推定する。例えば、眠気レベル推定部１６は、乗員の画像に基づいて、乗員が眼を閉じているか否かを判定し、ＰＥＲＣＬＯＳ値を眠気レベルとして算出することによって、眠気レベルを推定する。また、例えば、眠気レベル推定部１６は、乗員の画像に基づいて、乗員の開眼時における開眼の度合いを算出することによって、眠気レベルを推定する。

一例において、眠気レベルと所定値との比較に基づいて、制御部１５は、第１の警報を出力装置１３に出力させる。ここで、所定値は、乗員が眠っていると判断すべき眠気レベルの限界値である。例えば、ＰＥＲＣＬＯＳ値の所定値は、５０％以上１００％以下の任意の値であり、推定されたＰＥＲＣＬＯＳ値が所定値以上である場合、制御部１５は、第１の警報を出力装置１３に出力させる。また、例えば、開眼度の所定値は、０％以上５０％以下の任意の値であり、推定された開眼度が所定値以下である場合、制御部１５は、第１の警報を出力装置１３に出力させる。

図３は、第１の実施の形態に係る居眠り防止装置１０の動作フローの一例を示すフローチャートである。この処理は、例えば車両のエンジンが起動されることに伴い、居眠り防止装置１０のＣＰＵがＲＯＭに格納されているプログラムを読み出して定期的に実行することにより実現される。図３に示される動作フローは、定期的に繰り返し実行される。なお、簡潔を旨として、乗員の心理状態として感情を例に取り、さらに検知装置１１として画像を撮像する受動型検知器を例にとって説明するが、以下の説明は、その他の場合にも適用することができる。

まず、ステップＳ１において、居眠り防止装置１０は、検知装置１１から乗員の画像を取得する（眠気レベル推定部１６としての処理）。

ステップＳ２において、居眠り防止装置１０は、ステップＳ１において取得された画像に基づいて、眠気レベル推定部１６から乗員の眠気レベルを推定する（眠気レベル推定部１６としての処理）。一例において、眠気レベル推定部１６は、取得された画像から乗員の目の画像を抽出し、抽出された目の画像から、所定時間における閉眼時間の割合に基づいて、眠気レベルを推定する。

ステップＳ３において、居眠り防止装置１０は、眠気レベルが所定値以上であるか否かを判定する（制御部１５としての処理）。眠気レベルが所定値以上でない場合（ステップＳ３：Ｎｏ）、乗員は居眠りをしていないと考えられる。そこで、フローを終了する。一方、眠気レベルが所定値以上である場合（ステップＳ３：Ｙｅｓ）、乗員は居眠りをしている可能性があると考えられる。そこで、ステップＳ４に進む。

ステップＳ４において、居眠り防止装置１０は、検知装置１１から乗員の画像を取得する（心理状態推定部１４としての処理）。なお、ステップＳ４において取得される乗員の画像は、ステップＳ１において眠気レベル推定部１６が取得する乗員の画像を流用してもよい。

ステップＳ５において、居眠り防止装置１０は、ステップＳ４において取得された画像に基づいて、第１の心理状態を推定する（心理状態推定部１４としての処理）。ここで、第１の心理状態とは、後述のステップＳ７において出力装置１３が第１の警報を出力する前の乗員の心理状態である。

一例において、第１の心理状態は、Ｒｕｓｓｅｌｌの感情円環モデルによって分類される感情である。ここで、図４Ａおよび図４Ｂを参照する。

図４Ａおよび図４Ｂは、第１の実施の形態に係る感情の変化を示す説明図である。例えば、第１の心理状態が「退屈」である場合、図４Ａに示されるように、第１の心理状態は、「退屈」に対応する感情点Ｐ１によって表される。また、例えば、第１の心理状態が「リラックス」である場合、図４Ｂに示されるように、第１の心理状態は、「リラックス」に対応する感情点Ｐ４によって表される。

再度、図３を参照する。ステップＳ６において、居眠り防止装置１０は、第１の警報の手段およびレベルを決定する（制御部１５としての処理）。

一例において、制御部１５は、第１の心理状態に基づいて、第１の警報の手段およびレベルを決定する。例えば、第１の心理状態が「退屈」であるとき、第１の警報の手段は、「ピピッ」という音とステアリングの振動との組み合わせである。また、例えば、第１の心理状態が「リラックス」であるとき、第１の警報の手段は、「ピピッ」という音のみである。また、一例において、第１の警報のレベルは、第１の心理状態を示す感情ベクトルの大きさに応じて決定される。

他の一例において、制御部１５は、第１の警報の手段およびレベルを予め定められたものに決定する。

ステップＳ７において、居眠り防止装置１０は、第１の警報の出力を出力装置１３に指示する（制御部１５としての処理）。指示を受けた出力装置１３は、第１の警報を出力する。

ステップＳ８において、居眠り防止装置１０は、所定の時間だけ待機する（制御部１５としての処理）。出力装置１３が第１の警報を出力してから乗員が第１の警報に反応するまでに、ある程度の時間を要すると考えられる。したがって、乗員が第１の警報に反応する前に、後続のステップＳ９からステップＳ１５が実行されることを防ぐために、制御部１５は、所定の時間だけ待機する。一例において、所定の時間は、１０秒以下の任意の時間であり、例えば３秒である。また、一例において、所定の時間は、第１の警報の手段およびレベルに応じて予め定められる。

ステップＳ９において、居眠り防止装置１０は、検知装置１１から乗員の画像を取得する（心理状態推定部１４としての処理）。一例において、ステップＳ９において取得される画像は、第１の警報を出力した後の乗員の画像である。

なお、この一例においては、ステップＳ８で所定の時間だけ待機した後にステップＳ９の処理に移行するようにしたが、それに限られない。例えば、ステップＳ８において、居眠り防止装置１０は、乗員の表情が変化するまで待機するようにしてもよい。また、例えば、ステップＳ８をスキップし、ステップＳ９においてドライバの表情に変化があった場合に、検知装置１１から乗員の画像を取得するようにしてもよい。

ステップＳ１０において、居眠り防止装置１０は、ステップＳ９において取得された画像に基づいて、第１の警報の出力後の第２の心理状態を推定する（心理状態推定部１４としての処理）。ここで、第２の心理状態とは、ステップＳ７において出力装置１３が第１の警報を出力した後の乗員の心理状態である。ステップＳ１０の処理内容は、第１の心理状態が推定されるステップＳ５における処理内容と同様である。

ステップＳ１１において、居眠り防止装置１０は、第１の心理状態および第２の心理状態に基づいて、心理状態変化パタンを求める（制御部１５としての処理）。ここで、再度、図４Ａおよび図４Ｂを参照する。

図４Ａに示される感情点Ｐ１から感情点Ｐ２への矢印は、感情点Ｐ１に対応する「退屈」から感情点Ｐ２に対応する「イライラ」への感情の変化を示す。この場合、第１の心理状態は「退屈」であり、第２の心理状態は「イライラ」であり、心理状態変化パタンは、「退屈」から「イライラ」である。同様に、図４Ａに示される感情点Ｐ１から感情点Ｐ３への矢印は、感情点Ｐ１に対応する「退屈」から感情点Ｐ３に対応する「驚き」への感情の変化を示す。

同様に、図４Ｂに示される感情点Ｐ４から感情点Ｐ２への矢印は、感情点Ｐ４に対応する「リラックス」から感情点Ｐ２に対応する「イライラ」への感情の変化を示す。この場合、第１の心理状態は「リラックス」であり、第２の心理状態は「イライラ」であり、心理状態変化パタンは、「リラックス」から「イライラ」である。同様に、図４Ｂに示される感情点Ｐ４から感情点Ｐ３への矢印は、感情点Ｐ１に対応する「リラックス」から感情点Ｐ３に対応する「驚き」への感情の変化を示す。

ステップＳ１２において、居眠り防止装置１０は、心理状態変化パタンにおいて、心理状態変化が認められるか否かを判定する（制御部１５としての処理）。心理状態変化が認められると判定した場合（ステップＳ１２：Ｙｅｓ）、ステップＳ１３に進む。一方、心理状態変化が認められないと判定した場合（ステップＳ１２：Ｎｏ）、第１の警報以外の警報が必要であると考えられる。そこで、ステップＳ１４に進む。

ステップＳ１３において、居眠り防止装置１０は、心理状態変化パタンに基づいて、第２の警報の手段およびレベルを決定する（制御部１５としての処理）。

一例において、第２の警報は、第２の心理状態に依存する。例えば、第２の心理状態が「イライラ」であるとき、第２の警報の手段は、「安全運転して下さい」という音声と冷風発生との組み合わせである。また、例えば、第２の心理状態が「驚き」であるとき、第２の警報の手段は、「落ち着いて安全運転して下さい」という音声のみである。

上記の一例は、次の＜表１＞および＜表２＞のようにまとめられる。

＜表１＞：第１および第２の心理状態と第１および第２の警報の手段との関係の一例

＜表２＞：＜表１＞に記載の警報パタンの説明

＜表１＞と、後述の＜表３＞および＜表５＞とにおいて、矢印の前後に記載された警報パタンは、それぞれ、第１の警報および第２の警報である。＜表１＞に示されるように、上記の一例においては、第２の警報は、第１の心理状態に依存しない（換言すると、第２の警報は、第２の心理状態のみに依存する）。

他の一例において、次の＜表３＞および＜表４＞に示されるように、第２の警報は、第１の心理状態および第２の心理状態の双方に依存する。

＜表３＞：第１および第２の心理状態と第１および第２の警報の手段との関係の他の一例

＜表４＞：＜表３＞に記載の警報パタンの説明

さらに他の一例において、第２の警報は、第１の心理状態の感情ベクトルの１成分（例えば、快適軸成分）と第２の心理状態の感情ベクトルの１成分（例えば、快適軸成分）とに依存する。例えば、第２の警報は、次の＜表５＞に基づいて定められる。

＜表５＞：第１および第２の心理状態と第１および第２の警報の手段との関係のさらに他の一例

一例において、第２の警報のレベルは、第２の心理状態を示す感情ベクトルの大きさに応じて決定される。

また、乗員の心理状態変化が認められると判定された場合、第２の心理状態によって（例えば、第２の心理状態が「驚き」に変化したとき）は、乗員を覚醒させるという目的が達成されたものとも考えられる。したがって、一例において、ステップＳ１３において、制御部１５は、第２の警報のレベルをゼロにする、即ち、出力装置１３に第２の警報を出力させないと決定する。

一方、ステップＳ１４において、居眠り防止装置１０は、第１の警報の手段およびレベルの少なくとも一方が異なる第２の警報の手段およびレベルを決定する（制御部１５としての処理）。

一例において、制御部１５は、第２の警報の手段は、第１の警報の手段と同一のものに決定し、第２の警報のレベルは、第１の警報のレベルより高くする。これにより、第１の警報の効果が生じなかった場合であっても、乗員に対する効果がより期待される第２の警報を、乗員に対して出力することができる。

他の一例において、制御部１５は、第２の警報の手段を、第１の警報の手段と異なるものに決定する。例えば、第１の警報の手段が視覚に作用する手段である場合、第２の警報の手段は、視覚以外（例えば、聴覚、嗅覚、触覚）に作用する手段に決定される。これにより、乗員の警報に対する慣れを防止することができる。また、視覚障害または聴覚障害を有する乗員に対しても、乗員に対する効果がより期待される第２の警報を、乗員に対して出力することができる。

ステップＳ１５において、居眠り防止装置１０は、第２の警報の出力を出力装置１３に指示する（制御部１５としての処理）。指示を受けた出力装置１３は、第２の警報を出力する。

一例において、ステップＳ１３において、制御部１５が出力装置１３に第２の警報を出力させないと決定した場合、ステップＳ１５において、出力装置１３は、何の警報も出力しない。

このように、第１の実施の形態に係る居眠り防止装置１２は、検知装置１１が検知した乗員の状態に基づいて、乗員の心理状態を推定する心理状態推定部１４と、乗員に注意を喚起するための第１の警報および第２の警報を出力装置１３に出力させる制御部１５と、を備え、心理状態推定部１４は、第１の警報が出力される前の乗員の第１の心理状態と、第１の警報が出力された後の乗員の第２の心理状態とを推定し、制御部１５は、第２の心理状態のみ、または、第１の心理状態および第２の心理状態に基づいて、第２の警報の内容を決定する構成を採る。

第１の実施の形態によれば、初回の警報の効果の有無を判断するために、時間のかかる眠気の推定を実施する必要が無い。したがって、覚醒するために追加の警報を必要とする乗員であっても、より早期に覚醒させることができる。

さらに、第１の実施の形態によれば、追加の警報を与える際に、初回の警報に対する乗員の反応が考慮される。したがって、考慮されない場合と比較して、乗員に対する効果がより期待される追加の警報を、乗員に対して出力することができる。

さらに、第１の実施の形態によれば、警報の強度が低い、警報のモダリティ（提示手段）が不適切（耳が聞こえにくいために、聴覚に作用する警報は不向き等）といったように、覚醒効果が得られにくい警報を追加の警報として連続して乗員に提示する可能性が低い。したがって、期待した覚醒効果が得られない、或いは覚醒回復に時間がかかるといった問題が発生する可能性を低減することができる。

このように、第１の実施の形態によれば、乗員にとって適した強度、モダリティを用いて追加の警報を行うことによって、より早期に乗員を覚醒させることができる。

（第２の実施の形態）
図５は、第２の実施の形態に係る居眠り防止装置１０の動作フローの一例を示すフローチャートである。この処理は、例えば車両のエンジンが起動されることに伴い、居眠り防止装置１０のＣＰＵがＲＯＭに格納されているプログラムを読み出して定期的に実行することにより実現される。図５に示される動作フローは、定期的に繰り返し実行される。なお、簡潔を旨として、乗員の心理状態として感情を例に取って説明するが、以下の説明は、乗員の心理状態として感情以外の心理状態にも応用することができる。

図５に示されるステップＳ１からステップＳ１０およびステップＳ１５の処理内容は、図３に示される対応するステップと同様の処理内容であるので、これらについては、説明を省略する。

ステップＳ１１’において、居眠り防止装置１０は、第１の心理状態および第２の心理状態に基づいて、心理状態変化量を求める（制御部１５としての処理）。

一例において、心理状態変化量は、第１の心理状態から第２の心理状態への変化の大きさである。例えば、心理状態変化量は、第１の心理状態を示す感情ベクトルと第２の心理状態を示す感情ベクトルとの差分ベクトルである。

図６は、第２の実施の形態に係る感情の変化を示す説明図である。図４Ａおよび図４Ｂと同様、図６において、原点Ｏで交叉する横軸および縦軸は、それぞれ快適軸および覚醒軸である。人間の感情（例えば「退屈」、「リラックス」、「イライラ」、「驚き」）に対応する点（以下、感情点と呼ぶ）が、プロットされている。

例えば、第１の心理状態および第２の心理状態が、それぞれ、感情点Ｐ５および感情点Ｐ６で示される感情である場合、状態変化量は、それぞれが第１の心理状態および第２の心理状態を示す感情ベクトルＯＰ５および感情ベクトルＯＰ６の差分ベクトルＰ５Ｐ６である。同様に、第１の心理状態および第２の心理状態が、それぞれ、感情点Ｐ５およびＰ７で示される感情である場合、状態変化量は、それぞれが第１の心理状態および第２の心理状態を示す感情ベクトルＯＰ５およびＯＰ７の差分ベクトルＰ５Ｐ７である。

他の一例において、心理状態変化量は、差分ベクトルの快適軸成分または覚醒軸成分の大きさである。

再度、図５を参照する。ステップＳ１３’において、居眠り防止装置１０は、心理状態変化量に応じて、第２の警報の手段およびレベルを決定する（制御部１５としての処理）。例えば、差分ベクトルの大きさに応じて、第２の警報のレベルが決定される。

図６に示される感情点Ｐ５は、図４Ａに示される感情点Ｐ１と同じ「退屈」の感情を示すが、その度合いは、感情点Ｐ１によって示されるものより小さい。同様に、図６に示される感情点Ｐ６は、図４Ａに示される感情点Ｐ２と同様に「イライラ」の感情を示すが、その度合いは、感情点Ｐ２によって示されるものより小さい。

この場合、図６に示される差分ベクトルＰ５Ｐ６の大きさは、図４Ａに示される感情点Ｐ１およびＰ２にそれぞれ対応する感情ベクトルＯＰ１およびＯＰ２の差分ベクトルＰ１Ｐ２の大きさよりも小さい。換言すると、図６に示される感情点Ｐ５から感情点Ｐ６への感情の変化は、図４Ａに示される感情点Ｐ１から感情点Ｐ２への感情の変化よりも小さい。即ち、第１の警報に対する乗員の反応が乏しかったと考えられる。

そこで、この場合、制御部１５は、第２の警報のレベルを、感情点Ｐ１から感情点Ｐ３への感情の変化の場合と比較して、より高いレベル（より高い強度）に決定する。例えば、第２の警報が聴覚に作用する手段である場合、音の大きさを差分ベクトルの大きさの逆数に比例させる。例えば、差分ベクトルの大きさが０．３の場合、音の大きさは、１／０．３＝約３．３である。また、例えば、差分ベクトルの大きさが０．９の場合、音の大きさは、１／０．９＝約１．１である。これにより、感情の変化に乏しかった乗員に対しても、乗員に対する効果がより期待される第２の警報を、乗員に対して出力することができる。

同様に、図６に示される感情点Ｐ７は、図４Ａに示される感情点Ｐ３と同様に「驚き」の感情を示すが、その度合いは、感情点Ｐ３によって示されるものより小さい。この場合、換言すると、図６に示される感情点Ｐ５から感情点Ｐ７への感情の変化は、図４Ａに示される感情点Ｐ１から感情点Ｐ３への感情の変化よりも小さい。したがって、この場合も同様に、第２の警報のレベルは、感情点Ｐ１から感情点Ｐ３への感情の変化の場合と比較して、より高いレベルに決定される。

一例において、差分ベクトルの快適軸方向の成分が負の値である場合、第２の警報が抑制される。これにより、第１の警報に対して乗員の感情が不快方向に変化した場合に、乗員の感情をさらに不快にする警報を抑制することができる。

このように、第２の実施の形態に係る居眠り防止装置１２において、第２の警報の強度は、第１の心理状態から第２の心理状態の間への変化の大きさに基づいて決定される。

第２の実施の形態によれば、第１の実施の形態による効果が得られることに加えて、乗員にとってより適した強度の警報を、乗員に対して出力することができる。

図７は、コンピュータのハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。

図７に示すように、コンピュータ２１００は、入力ボタン、タッチパッド等の入力装置２１０１、ディスプレイ、スピーカ等の出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）等の記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリ等の記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。

そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。

そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。

（その他の実施の形態）
第２の実施の形態においては、制御部１５は、状態変化量に応じて、第２の警報の手段およびレベルを決定する。これを第１の実施の形態の例と組み合わせて、制御部１５は、第１の心理状態および第２の心理状態に応じて、あるいは、第２の心理状態のみに応じて、第２の警報の手段およびレベルを決定する実施の形態も考えられる。

一例において、第２の警報の強度は、第２の心理状態を示す感情ベクトルの大きさに応じて決定される。例えば、第２の警報が聴覚に作用する手段である場合、音の大きさを第２の心理状態を示す感情ベクトルの大きさの逆数に比例させる。例えば、感情ベクトルの大きさが０．３の場合、音の大きさは、１／０．３＝約３．３である。また、例えば、感情ベクトルの大きさが０．９の場合、音の大きさは、１／０．９＝約１．１である。これにより、第１の警報の後に、感情に乏しい乗員に対しても、乗員に対する効果がより期待される第２の警報を、乗員に対して出力することができる。

一例において、第２の警報の手段は、第２の心理状態を示す感情ベクトルの方向に応じて決定される。例えば、感情ベクトルが示す感情の種類が「驚き」である場合、制御部１５は、第２の警報の手段として冷風発生を決定する。

第１の実施の形態および第２の実施の形態においては、感情ベクトルは、２次元ベクトルである。これに代えて、３次元以上の任意の次元を有する感情ベクトルを用いる実施の形態も考えることができる。

本開示に係る居眠り防止装置は、車両に適用されるのに好適である。

１０ 居眠り防止システム
１１ 検知装置
１２ 居眠り防止装置
１３ 出力装置
１４ 心理状態推定部
１５ 制御部
１６ 眠気レベル推定部

Claims (8)

1. 検知装置が検知した乗員の状態に基づいて、前記乗員の心理状態を推定する心理状態推定部と、
   前記乗員に注意を喚起するための第１の警報および第２の警報を出力装置に出力させる制御部と、
   を備え、
   前記心理状態推定部は、前記第１の警報が出力される前の前記乗員の第１の心理状態と、前記第１の警報が出力された後の前記乗員の第２の心理状態とを推定し、
   前記制御部は、前記第２の心理状態のみ、または、前記第１の心理状態および前記第２の心理状態に基づいて、前記第２の警報の内容を決定し、
   前記第１の心理状態および前記第２の心理状態は感情であり、
   前記第１の心理状態と前記第２の心理状態とが異なる感情である場合における前記第２の警報の強度は、前記第１の心理状態を示す第１感情ベクトルと前記第２の心理状態を示す第２感情ベクトルとの差分ベクトルの大きさに基づいて決定される、
   居眠り防止装置。
2. 前記第２の警報は、前記第１の心理状態から前記第２の心理状態への変化に応じて決定される、
   請求項１に記載の居眠り防止装置。
3. 前記第１の心理状態から前記第２の心理状態への変化がない場合、前記第２の警報は、前記第１の警報と異なると決定される、
   請求項２に記載の居眠り防止装置。
4. 前記乗員の眠気レベルを推定する眠気レベル推定部をさらに備え、
   前記制御部は、前記眠気レベルと所定値との比較に基づいて、前記第１の警報の内容を決定する、
   請求項１から３のいずれかに記載の居眠り防止装置。
5. 前記検知装置は、前記乗員を撮像する撮像装置であり、
   前記心理状態推定部は、前記撮像装置から取得した画像に基づいて前記乗員の心理状態を推定する、
   請求項１から４のいずれかに記載の居眠り防止装置。
6. 前記出力装置は、表示手段、音を出力する手段、香りを発生する手段、および触覚に作用する手段の少なくとも１つを含む、
   請求項１から５のいずれかに記載の居眠り防止装置。
7. 居眠り防止装置が実施する居眠り防止方法であって、
   検知装置が検知した乗員の状態に基づいて、前記乗員の第１の心理状態を推定するステップと、
   前記乗員に注意を喚起するための第１の警報を出力装置に出力させるステップと、
   前記検知装置が検知した前記乗員の状態に基づいて、前記第１の警報が出力された後の前記乗員の第２の心理状態を推定するステップと、
   前記第２の心理状態のみ、または、前記第１の心理状態および前記第２の心理状態に基づいて、前記乗員に注意を喚起するための第２の警報の内容を決定するステップと、
   前記第２の警報を出力装置に出力させるステップと、
   を備え、
   前記第１の心理状態および前記第２の心理状態は感情であり、
   前記第１の心理状態と前記第２の心理状態とが異なる感情である場合における前記第２の警報の強度は、前記第１の心理状態を示す第１感情ベクトルと前記第２の心理状態を示す第２感情ベクトルとの差分ベクトルの大きさに基づいて決定される、
   居眠り防止方法。
8. 居眠り防止装置が備えるコンピュータが実行するプログラムであって、前記コンピュータに、
   検知装置が検知した乗員の状態に基づいて、前記乗員の第１の心理状態を推定する処理と、
   前記乗員に注意を喚起するための第１の警報を出力装置に出力させる処理と、
   前記検知装置が検知した前記乗員の状態に基づいて、前記第１の警報が出力された後の前記乗員の第２の心理状態を推定する処理と、
   前記第２の心理状態のみ、または、前記第１の心理状態および前記第２の心理状態に基づいて、前記乗員に注意を喚起するための第２の警報の内容を決定する処理と、
   前記第２の警報を出力装置に出力させる処理と、
   を実行させ、
   前記第１の心理状態および前記第２の心理状態は感情であり、
   前記第１の心理状態と前記第２の心理状態とが異なる感情である場合における前記第２の警報の強度は、前記第１の心理状態を示す第１感情ベクトルと前記第２の心理状態を示す第２感情ベクトルとの差分ベクトルの大きさに基づいて決定される、
   プログラム。

Images