JP7328089B2 - 閉眼判定装置 - Google Patents

Description

本発明は、眼の閉眼を判定する閉眼判定装置に関する。

従来、顔画像から被撮影者の表情を推定し、顔画像から被撮影者の開眼度を求め、推定した表情に基づいて開眼度の閾値を設定し、開眼度が閾値を超えている場合に眼が開いていると判別することが提案されている（例えば、特許文献１を参照）。

また、眼の開度値の時系列の変化に基づいて眼の開度の最大値、最小値を学習し、開閉眼判定に用いる基準値を設定することが提案されている（例えば、特許文献２を参照）。

特開２０１０－１４２３４５号公報 特開２０００－１９８３６９号公報

眼を閉じているときの開眼度は、必ずしも一定値ではなく、バラツキの範囲内で変動する。しかし、上記特許文献１、特許文献２に記載された技術は、眼を閉じているときの開眼度のバラツキを考慮していないため、眼を閉じているにも関わらず、開眼度が閉眼判定の閾値を超えてしまう場合がある。このため、眼を閉じていることの検出に失敗する可能性がある。

そこで、本発明は、眼が閉じていることを精度よく判定できる閉眼判定装置を提供することを目的とする。

一つの実施形態によれば、閉眼判定装置が提供される。この閉眼判定装置は、撮像部により得られた、直近の一定期間における時系列の一連のドライバの顔の画像のそれぞれから、ドライバの開眼度を検出する開眼度検出部と、一定期間における開眼度の時系列の変化から、開眼度の極小値を抽出する極小値抽出部と、一定期間における開眼度の極小値のうち、小さい方から順に、一定期間におけるドライバの瞬き回数に相当する順序の極小値を開眼度の基準下限値とする基準下限値設定部と、基準下限値に基づいて閉眼判定閾値を設定する閾値設定部と、一定期間以降に撮像部により得られた画像から検出された開眼度が閉眼判定閾値以下である場合、ドライバの眼が閉じていると判定する閉眼判定部と、を有する。

また、この閉眼判定装置において、一定期間における開眼度の最大値を開眼度の基準上限値とする基準上限値設定部を更に有し、閾値設定部は、基準上限値と基準下限値との差分の所定の割合を基準下限値に加算した値を閉眼判定閾値として設定することが好ましい。

また、この閉眼判定装置において、ドライバの眠気レベルを検出する眠気レベル検出部を更に有し、閾値設定部は、ドライバの眠気レベルが高いほど所定の割合を低く設定し、基準上限値設定部は、眠気レベルが所定レベル以下の場合は、基準上限値を一定期間における最大値に更新し、眠気レベルが所定レベルを超える場合は、基準上限値を更新しないことが好ましい。

また、この閉眼判定装置において、基準上限値設定部は、一定期間が車両の運転開始直後の期間である場合、眠気レベルによらず基準上限値を一定期間における最大値に更新することが好ましい。

本発明に係る閉眼判定装置は、眼が閉じていることを精度よく判定できるという効果を奏する。

一つの実施形態による閉眼判定システムの概略構成図である。 制御装置のプロセッサの機能ブロックを示す模式図である。 開眼度を時系列に示す模式図である。 開眼度の最大値と最小値の間で閉眼判定閾値を動的に変化させる処理を示すフローチャートである。 基準下限値を設定する処理を示すフローチャートである。 ドライバの眠気に応じて最大開眼度が変化する様子を示す特性図である。 基準上限値を設定する処理を示すフローチャートである。

１．閉眼判定システムの構成
以下、図を参照しつつ、一つの実施形態による閉眼判定システムについて説明する。この閉眼判定システムは、例えば車両に搭載され、ドライバの運転を支援する運転支援システムに用いられる。一例として、閉眼判定システムは、ドライバがステアリングの手放しをした状態での走行（ハンズオフ走行）が可能な車両に搭載される。このような走行として、例えば、米国自動車技術会（ＳＡＥ）が定めるレベル２またはレベル３程度の走行が想定される。

車両走行中に、ドライバが車両を運転するのに不適切な状態となる場合がある。このような不適切な状態として、例えば、ドライバが居眠りをしている状態が挙げられる。このため、閉眼判定システムは、ドライバモニタカメラによってドライバの状態をモニタリングし、ドライバの閉眼を判定する。これにより、ドライバの閉眼状態に基づいて、例えば連続した一定期間の間ドライバの眼が閉じている場合は、ドライバが居眠りをしている、または覚醒状態が低下していると判定し、ドライバに対して警告等を行うことができる。

図１は、一つの実施形態による閉眼判定システム２００の概略構成図である。閉眼判定システム２００は、ドライバなど乗員の眼の閉眼を判定する。閉眼判定システム２００は、ドライバの顔を撮影して顔画像を生成するドライバモニタカメラ（撮像部）１と、ドライバに対する警告等を表示する表示装置２と、ドライバの眼の閉眼を判定する制御装置（ＥＣＵ）１００と、を有する。ドライバモニタカメラ１、表示装置２、制御装置１００のそれぞれは、コントローラエリアネットワーク（Controller Area Network (CAN)）といった規格に準拠した車内ネットワークを介して通信可能に接続される。

ドライバモニタカメラ１は、ＣＣＤあるいはＣ－ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ１は、車両内部のダッシュボード、またはフロントガラスの近辺等にドライバの想定位置に向けて設けられ、ドライバの顔を撮影する。ドライバモニタカメラ１は、所定の撮影周期（例えば１／３０秒～１／１０秒）ごとにドライバを撮影し、ドライバが写った画像を生成する。なお、ドライバモニタカメラ１により得られた画像は、カラー画像であることが好ましい。ドライバモニタカメラ１は、画像を生成する度に、その生成した画像を、車内ネットワークを介して制御装置１００へ出力する。

制御装置１００は、閉眼判定システム２００の全体を制御する構成要素であり、閉眼判定装置の一態様である。制御装置１００は、プロセッサ１０と、メモリ２０と、通信インターフェース３０とを有する。プロセッサ１０は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ１０は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。メモリ２０は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有し、本実施形態に係る処理に関連するデータを必要に応じて記憶する。通信インターフェース３０は、通信部の一例であり、制御装置１００を車内ネットワークに接続するためのインターフェース回路を有する。

図２は、制御装置１００のプロセッサ１０の機能ブロックを示す模式図である。制御装置１００のプロセッサ１０は、開眼度検出部１１、極小値抽出部１２、基準下限値設定部１３、眠気レベル検出部１４、基準上限値設定部１５、閾値設定部１６、閉眼判定部１７、を有している。プロセッサ１０が有するこれらの各部は、例えば、プロセッサ１０上で動作するコンピュータプログラムにより実現される機能モジュールである。つまり、プロセッサ１０の機能ブロックは、プロセッサ１０とこれを機能させるためのプログラム（ソフトウェア）から構成される。また、そのプログラムは、制御装置１００が備えるメモリ２０または外部から接続される記録媒体に記録されていてもよい。あるいは、プロセッサ１０が有するこれらの各部は、プロセッサ１０に設けられる専用の演算回路であってもよい。

以上のように構成された閉眼判定システム２００では、プロセッサ１０の開眼度検出部１１が、ドライバモニタカメラ１が生成した画像情報に基づいて、ドライバの眼の開眼度を検出する。図３は、開眼度検出部１１が検出した開眼度の時間変化ｃを示す模式図である。図３において、横軸は時間を示しており、縦軸は開眼度を示している。開眼度検出部１１は、直近の一定期間Ｔにおける時系列の一連のドライバの顔の画像のそれぞれから、ドライバの眼の開眼度を検出する。

開眼度検出部１１が開眼度を検出する際には、先ずドライバモニタカメラ１が生成した画像情報からドライバの眼を検出し、眼の輪郭を検出することが行われる。画像情報から眼の輪郭を検出する手法として、例えば文献（高野博幸、出口光一郎、「輪郭によるフェイスアライメントにおける姿勢変化への対応のための顔輪郭の利用について」 情報処理学会報告、２０１２年９月２日）に記載された、３次元座標データによりモデル化された顔モデル（ＰＤＭ）と、顔画像から抽出した特徴点との距離が最小になるようにモデルパラメータを最適化（フィッティング）する手法が挙げられる。この手法により、最適化されたモデルパラメータから眼の輪郭の３次元位置が求まる。

開眼度検出部１１は、眼の輪郭の３次元位置を求めると、上瞼と下瞼の距離から開眼度を検出する。または、開眼度検出部１１は、眼の縦横比から開眼度を求めてもよい。そして、閉眼判定部１７は、開眼度検出部１１が検出した開眼度と閉眼判定閾値とを比較し、開眼度が閉眼判定閾値以下になると閉眼であると判定する。なお、開眼度を検出する手法は上記に限定されるものではなく、例えば前述した特許文献１、特許文献２に記載された手法など他の公知の手法を適宜適用して開眼度を求めてもよい。

２．基準上限値と基準下限値に基づく閉眼判定閾値の動的な設定
以上のように、開眼度と閉眼判定閾値との比較に基づき、開眼度が閉眼判定閾値以下になると閉眼と判定される。この際、ドライバの閉眼を判定する閉眼判定閾値を固定値とすると、個人毎に平常時の眼の大きさにバラツキがあるため、平常時に眼が小さい人の場合、開眼度が閉眼判定閾値以下になり易く、閉眼していないにも関わらず閉眼判定されてしまう可能性がある。

また、ドライバの眼の個人差により、ドライバが眼を閉じていても開眼度が０として検出されない場合がある。このため、閉眼判定閾値を固定値とすると、実際には眼を閉じているにも関わらず開眼度が閉眼判定閾値よりも大きくなってしまい、閉眼判定を正しく行うことができない場合がある。

このため、本実施形態では、閾値設定部１６が、開眼度の基準上限値と基準下限値の間で閉眼判定閾値を動的に変化させて閉眼判定閾値を設定する。

図４は、開眼度の基準上限値と基準下限値の間で閉眼判定閾値を動的に変化させて閉眼判定を行う処理を示すフローチャートである。図４の処理は、制御装置１００のプロセッサ１０により所定の制御周期毎に行われる。先ず、プロセッサ１０の開眼度検出部１１が、ドライバモニタカメラ１が生成した顔画像を取得し、顔画像に基づいて開眼度を検出する（ステップＳ１００）。

次に、基準上限値設定部１５が、直近の一定期間Ｔ内における開眼度の最大値を基準上限値として設定する（ステップＳ１０１）。図３ではｅｍａｘが基準上限値として設定される。基準上限値の値は、時間の経過に伴って逐次更新される。また、基準上限値設定部１５は、眠気レベルが所定レベルを超える場合は、基準上限値の値を更新しない。基準上限値を設定する処理については、後で詳細に説明する。

次に、基準下限値設定部１３が基準下限値を設定する（ステップＳ１０２）。基準下限値設定部１３は、直近の一定期間Ｔの間において、瞬きに対応する開眼度の極小値の中から基準下限値を設定する。基準下限値を設定する処理については、後で詳細に説明する。

次に、閾値設定部１６が、閉眼判定閾値を設定する（ステップＳ１０３）。閉眼判定閾値は、基準上限値と基準下限値の範囲内で動的に設定される。例えば、閉眼判定閾値は、以下の式（１）から算出される。
閉眼判定閾値＝（基準上限値－基準下限値）×係数＋基準下限値 ・・・（１）

式（１）における係数の値は、一例として０．３～０．４程度の値に設定される。係数が０．５であれば、閉眼判定閾値は基準上限値と基準下限値の中間の値となる。

次に、閉眼判定部１７が、閉眼判定閾値に基づいて閉眼判定を行う（ステップＳ１０４）。閉眼判定部１７は、直近の一定期間Ｔ以降にドライバモニタカメラ１が生成した画像から検出された開眼度が、閉眼判定閾値以下である場合に、ドライバの眼が閉じていると判定する。ステップＳ１０４の後は処理を終了する。

図４の処理によれば、直近の一定期間Ｔの開眼度の情報から基準上限値と基準下限値を検出し、基準上限値と基準下限値の間で閉眼判定閾値が動的に設定される。開眼度の過去情報から基準上限値を設定し、閉眼判定閾値を設定することで、個人毎の平常時の眼の大きさに依存しない閉眼判定が可能となる。また、開眼度の過去情報から基準下限値を設定し、閉眼判定閾値を設定することで、ドライバが眼を閉じている際の開眼度のバラツキに起因する誤判定を抑制することが可能となる。これにより、閉眼判定の精度を向上させることができる。

３．開眼度の極小値に基づく基準下限値の設定
次に、図４のステップＳ１０２において、基準下限値設定部１３が基準下限値を設定する処理について説明する。基準下限値を設定するにあたり、先ず、プロセッサ１０の極小値抽出部１２が、直近の一定期間Ｔの間において、瞬きに対応する開眼度の極小値を抽出する。

図３に示すように、直近の一定期間Ｔの間には、瞬きに起因して開眼度が下に凸となるピークＰが複数存在する。ピークＰにおける開眼度は、バラツキの範囲内で変動している。一般的に成人の瞬きの回数は１５～２０回／分程度であるため、これに基づいて、図３に示す直近の一定期間Ｔに含まれる予想瞬き回数Ｎが予め算出され、メモリ２０に格納されている。極小値抽出部１２は、直近の一定期間Ｔの開眼度の時間変化ｃから、下に凸のピークＰに対応する複数の極小値を抽出する。そして、基準下限値設定部１３は、複数の極小値を小さい方から昇順にソートし、ソートした極小値の先頭からＮ番目の極小値を基準下限値として設定する。

この方法で基準下限値を設定することで、一定期間Ｔにおける瞬きに対応する複数の極小値のうちの最大値に相当する値を使用して基準下限値が設定される。そして、閉眼判定閾値は、基準下限値と基準上限値の間に設定されるため、閉眼判定閾値は基準下限値よりも大きくなり、一定期間Ｔ内の全ての瞬きを閉眼であると判定することが可能となる。したがって、眼を閉じているにも関わらず、閉眼でないと判定されてしまうことがなく、閉眼判定を精度良く行うことができる。

なお、基準下限値設定部１３は、直近の一定期間Ｔの間に存在する極小値が予想瞬き回数Ｎに満たない場合は、前回の制御周期で設定されてメモリ２０に格納された基準下限値を、現制御周期で用いてもよい。

また、基準下限値設定部１３は、一定期間Ｔの予想瞬き回数Ｎに所定の安全係数ｋ（ｋ＜１）を乗算して得られる値Ｎ’に相当する順序として昇順にソートした極小値のうち、小さい方からＮ’番目の極小値を基準下限値に設定してもよい。安全係数ｋの値は、例えば０．７～０．９程度とする。これにより、直近の一定期間Ｔの間に存在する極小値が予想瞬き回数Ｎに満たない場合であっても、基準下限値を設定することができる。

以上のように、ドライバが瞬きをする度に開眼度は極小値となることが想定されるので、開眼度の極小値の最小値から数えて、一定期間Ｔにおける予想瞬き回数Ｎに相当する順番の極小値を基準として閉眼判定閾値を設定することで、瞬きごとに眼を閉じたときの開眼度が異なっていても、瞬きによって眼を閉じたときの開眼度が、閉眼判定閾値を超えないようにすることができる。したがって、ドライバの個人差によらずに、眼が閉じていることを正確に判定することができる。

閉眼判定値を設定する際に、例えば前述した特許文献２に記載されているように、単純に過去の最小開眼度（図３に示すｅｍｉｎ）を使用して閉眼判定閾値を設定すると、最小開眼度ｅｍｉｎがバラツキの範囲内で変動した際に、最小開眼度ｅｍｉｎの低下に起因して閉眼判定閾値が過度に小さく設定されてしまう場合がある。この場合、眼を閉じているにも関わらず、閉眼と判定されない場合があり、正しく閉眼判定を行うことができない懸念がある。

本実施形態では、上述した方法で基準下限値を設定することで、一定期間Ｔにおける瞬きに対応する複数の極小値のうちの最大値に相当する値を使用して基準下限値が設定されるため、最小開眼度のバラツキによる変動の影響を受けることなく、正確に閉眼判定を行うことができる。

図５は、基準下限値を設定する処理を示すフローチャートである。図５の処理は、制御装置１００のプロセッサ１０により所定の制御周期毎に行われる。先ず、プロセッサ１０の開眼度検出部１１が、直近の一定期間Ｔにおける一連のドライバの顔画像から開眼度を検出する（ステップＳ２０１）。これにより、図３に示した開眼度の特性が得られる。次に、極小値抽出部１２が、図３の開眼度の時間変化ｃから、直近の一定期間Ｔにおける開眼度の極小値を抽出する（ステップＳ２０２）。

次に、基準下限値設定部１３が、開眼度の極小値を小さい方から昇順にソートし（ステップＳ２０３）、メモリ２０に予め格納された一定期間Ｔにおける瞬きの予想回数Ｎに基づいて、小さい方からＮ番目の極小値を基準下限値に設定する（ステップＳ２０４）。ステップＳ２０４の後は処理を終了する。

以上のように、一定期間Ｔの瞬き回数をＮとし、一定期間Ｔの複数の極小値のうち小さい方からＮ番目の極小値を基準下限値とすることで、閉眼判定閾値が過度に小さくなることを抑制することができる。したがって、閉眼判定を精度よく行うことが可能となる。

４．眠気レベルに応じた基準上限値の設定
次に、図４のステップＳ１０１において、基準上限値設定部１５が基準上限値を設定する処理について説明する。

図３に示した開眼度の最大値ｅｍａｘは、ドライバが眠気を感じると小さくなる。図６は、ドライバの眠気に応じて開眼度に最大値ｅｍａｘが変化する様子を示す特性図である。図６において、横軸は時間を示しており、縦軸は開眼度を示している。

図６では、ドライバが眠気を感じていない期間Ｔ１と、ドライバが眠気を感じている期間Ｔ２を示している。図６に示す開眼度の時間変化ｃにおいて、期間Ｔ１における開眼度の最大値ｅｍａｘ１と期間Ｔ２における開眼度の最大値ｅｍａｘ２との間には、ギャップｇが生じている。このように、ドライバが眠気を感じると、開眼度の最大値が低下する。

このため、直近の一定期間Ｔにおける開眼度の最大値を基準上限値として設定すると、ドライバが眠気を感じている期間Ｔ２では、開眼度の最大値ｅｍａｘ２が小さくなることによって、式（１）から算出される閉眼判定閾値は、ドライバが眠気を感じていない期間Ｔ２よりも小さくなる。そして、ドライバが眠気を感じていることによって正常時に比べて値が小さくなった閉眼判定閾値を用いると、閉眼判定を正確に行うことができなくなる。

このため、プロセッサ１０の眠気レベル検出部１４は、直近の一定期間Ｔにおける一連のドライバの顔画像からドライバの眠気レベルを検出する。眠気レベル検出部１４は、例えば特開２００８－２１２２９８号公報に記載されている手法を用い、開眼度検出部１１が検出した開眼度から、重み付け開眼度を算出して積算することで、重み付け積算値を算出し、重み付け積算値から眠気レベルを検出してもよい。また、眠気レベル検出部１４は、ドライバモニタカメラ１が生成した顔画像から得られる、ドライバの顔向き、視線方向、開眼度、開口度（口のサイズ）等の情報に基づいて、機械学習により眠気レベルを検出する識別器から構成されていてもよい。

眠気レベル検出部１４は、例えば眠気レベルをレベル１～レベル５の５段階に分類し、ドライバの眠気レベルが５段階のいずれに該当するかを検出する。なお、レベルの数値が小さいほど眠気が少なくなる。

基準上限値設定部１５は、直近の一定期間における開眼度の最大値を基準上限値として設定する際に、直近の一定期間Ｔにおいてドライバの眠気レベルが所定レベル以下である場合（ドライバの眠気が所定レベルよりも少ない場合）のみ、基準上限値を更新する。これにより、ドライバが眠気を感じることによる基準上限値の低下を抑制することができる。従って、式（１）に基づいて閉眼判定閾値を算出する際に、閉眼判定閾値が過度に小さくなることが抑制される。

なお、ドライバによる車両の運転開始直後は、基本的にドライバが眠気を感じることはないと考えられるため、直近の一定期間Ｔが運転開始直後の期間である場合、基準上限値設定部１５は、眠気レベルによらず一定期間Ｔにおける開眼度の最大値を基準上限値の初期値とする。

また、ドライバが眠気を感じることによって開眼度の最大値が小さくなると、開眼度の最大値に基づく他の判定を正確に行うことができなくなる。例えば、開眼度の最大値を時系列に更新していくと、最大値に基づいて、瞼が重い状態、半目状態などを判定することができるが、ドライバが眠気を感じることによって開眼度の最大値が小さくなると、これらの状態を正確に判定することができなくなる。本実施形態では、上述した処理により、眠気レベルが所定レベル以下である場合のみ、基準上限値が直近の一定期間における開眼度の最大値に更新されるため、基準上限値が眠気レベルに応じて低下することがない。したがって、基準上限値に基づいて、瞼がやや重い状態、または半目状態を精度よく検出することができる。なお、瞼がやや重い状態の開眼度は、ドライバが眠気を感じていない状態での最大開眼度の０．７倍程度に相当する。また、半目状態は、ドライバが眠気を感じていない状態での最大開眼度の０．５倍程度に相当する。

図７は、基準上限値を設定する処理を示すフローチャートである。図７の処理も制御装置１００のプロセッサ１０により所定の制御周期毎に行われる。先ず、直近の一定期間Ｔにおける一連のドライバの顔画像から開眼度を検出し、またドライバの眠気レベルを検出する（ステップＳ３０１）。開眼度の検出は開眼度検出部１１が行い、眠気レベルの検出は眠気レベル検出部１４が行う。次に、基準上限値設定部１５は、直近の一定期間Ｔにおける開眼度の最大値（図３に示すｅｍａｘ）を検出する（ステップＳ３０２）。

次に、基準上限値設定部１５は、車両の運転開始直後であるか否かを判定し（ステップＳ３０３）、運転開始直後の場合、運転開始直後の一定期間Ｔの開眼度の最大値を基準上限値に設定する（ステップＳ３０５）。ステップＳ３０５の後は処理を終了する。

また、ステップＳ３０３で運転開始直後でない場合、基準上限値設定部１５は、眠気レベル検出部１４が検出したドライバの眠気レベルが所定レベル以下であるか否かを判定する（ステップＳ３０４）。そして、眠気レベルが所定レベル以下の場合、基準上限値設定部１５は、直近の一定期間Ｔにおける開眼度の最大値を基準上限値に設定する（ステップＳ３０５）。例えば、基準上限値設定部１５は、所定レベルを上述した５段階のうちのレベル２とし、眠気レベルがレベル２またはレベル１の場合に、直近の一定期間Ｔにおける開眼度の最大値を基準上限値に設定する。ステップＳ３０５の後は処理を終了する。

また、ステップＳ３０４で眠気レベルが所定レベルを超えている場合は、処理を終了する。したがって、この場合は、前回の制御周期で算出された基準上限値が更新されることなく維持される。

図７の処理によれば、直近の一定期間Ｔにおける開眼度の最大値を基準上限値として設定する際に、ドライバの眠気レベルが所定レベル以下である場合のみ基準上限値が更新されるため、眠気によって基準上限値が低下することを回避できる。したがって、基準上限値に基づいて算出される閉眼判定閾値の低下を抑えることができ、閉眼判定の精度を向上することができる。また、基準上限値に基づいて、瞼がやや重い状態や半目状態などを正確に検出することが可能となる。

以上のように、ドライバが眼を開いているときの開眼度は眠気レベルに応じて変化するため、眠気レベルが所定レベル以下のときの一定期間における開眼度の最大値を基準として閉眼判定閾値を設定することで、ドライバの個人差及びドライバの状態によらずに眼が閉じていることを正確に判定することができる。

５．変形例
次に、本実施形態のいくつかの変形例について説明する。上述した実施形態では、式（１）の係数の値を固定値としたが、式（１）における係数の値は、ドライバの覚醒度（眠気レベル）に応じて変化させてもよい。例えば、ドライバが覚醒している場合は係数の値を０．５とし、ドライバに眠気がある場合は係数を０．３とする。ドライバが眠い場合ほど開眼度の最大値、最小値が小さくなるため、ドライバの眠気レベルが高い場合ほど係数を小さくすることで、ドライバの眠気レベルに応じて精度よく閉眼判定を行うことができる。眠気レベルを上述した５段階のレベル１～５で判定する場合、レベル１～５にそれぞれ対応するように、係数の値を０．５／０．４８／・・・／０．４と動的に変化させるようにする。

また、基準上限値の設定において、上述した実施形態では、直近の一定期間Ｔにおける開眼度の最大値を基準上限値として設定する際に、ドライバの眠気レベルが所定レベル以下である場合のみ基準上限値が更新されるようにしたが、ドライバの眠気レベルによらず、直近の一定期間Ｔにおける開眼度の最大値を基準上限値として設定してもよい。

以上説明したように本実施形態によれば、一定期間Ｔの瞬き予想回数をＮとし、一定期間Ｔの複数の極小値のうち小さい方からＮ番目の極小値を基準下限値とすることで、眼を閉じたときの開眼度にバラツキが生じたとしても、閉眼判定閾値の低下を抑制することができる。したがって、閉眼判定閾値に基づいて、ドライバが眼を閉じているか否かを精度よく判定することが可能となる。

１ ドライバモニタカメラ
２ 表示装置
１０ プロセッサ
１１ 開眼度検出部
１２ 極小値抽出部
１３ 基準下限値設定部
１４ 眠気レベル検出部
１５ 基準上限値設定部
１６ 閾値設定部
１７ 閉眼判定部
１８ 瞬き予想回数算出部
１００ 制御装置（ＥＣＵ）
２００ 閉眼判定システム

Claims (2)

1. 撮像部により得られた、直近の一定期間における時系列の一連のドライバの顔の画像のそれぞれから、ドライバの開眼度を検出する開眼度検出部と、
   前記一定期間における前記開眼度の時系列の変化から、前記開眼度の極小値を抽出する極小値抽出部と、
   前記一定期間における前記開眼度の複数の極小値のうちの最大値を前記開眼度の基準下限値とする基準下限値設定部と、
   前記基準下限値に基づいて閉眼判定閾値を設定する閾値設定部と、
   前記一定期間以降に前記撮像部により得られた画像から検出された前記開眼度が前記閉眼判定閾値以下である場合、ドライバの眼が閉じていると判定する閉眼判定部と、
   前記一定期間における前記開眼度の最大値を前記開眼度の基準上限値とする基準上限値設定部と、
   ドライバの顔の画像からドライバの眠気レベルを検出する眠気レベル検出部と、
   を有し、
   前記閾値設定部は、前記基準上限値と前記基準下限値との差分の所定の割合を前記基準下限値に加算した値を前記閉眼判定閾値として設定し、ドライバの眠気レベルが高いほど前記所定の割合を低く設定し、
   前記基準上限値設定部は、前記眠気レベルが所定レベル以下の場合は、前記基準上限値を前記一定期間における前記最大値に更新し、前記眠気レベルが前記所定レベルを超える場合は、前記基準上限値を更新しない、
   閉眼判定装置。
2. 前記基準上限値設定部は、前記一定期間が車両の運転開始直後の期間である場合、前記眠気レベルによらず前記基準上限値を前記一定期間における前記最大値に更新する、請求項１に記載の閉眼判定装置。

Images