JP4193337B2

JP4193337B2 - 覚醒度低下判定装置

Info

Publication number: JP4193337B2
Application number: JP2000219098A
Authority: JP
Inventors: 明伯堀口; 宣浩林田
Original assignee: Isuzu Motors Ltd
Current assignee: Isuzu Motors Ltd
Priority date: 2000-07-19
Filing date: 2000-07-19
Publication date: 2008-12-10
Anticipated expiration: 2020-07-19
Also published as: JP2002029279A

Description

【０００１】
【発明の属する技術分野】
本発明は覚醒度低下判定装置に関し、特にドライバの顔の画像を処理することにより該ドライバの瞬きを検出し、その瞬き時間の長短でドライバの覚醒度を判定する覚醒度低下判定装置に関するものである。
【０００２】
【従来の技術】
従来より、種々の覚醒度低下判定装置が既に提案されている。
例えば、最近では瞬きと瞳孔径を検知してドライバの覚醒度や疲労度を推定し警報するシステムが特開平11-316884号公報で提案されており、また、瞳孔反射を利用して瞬きを検出しドライバの覚醒度を推定する瞬き検出システムが同11-105578号公報で提案されている。
【０００３】
さらには、同11-339200号公報において、瞬き状態により覚醒度を判定し、さらに精度を高めるため、車線に対する車両位置や運転操作から最終判定するシステムが提案されている。
【０００４】
【発明が解決しようとする課題】
一般に、左右のミラーの角度、メータの見下ろし角度、路面からのドライバの視点など、乗用車と商業車ではそれぞれ図10(1)及び(2)に示すように、かなり異なる車室内レイアウトとなっている。
【０００５】
すなわち、同図(1)に示す乗用車の場合には、メータ類30への見下ろし角（俯角）は−25°程度であるが、同図(2)に示す商業車の場合には、メータ類30に対する見下ろし角は−35°程度にまで拡大する。
従って、商業車ではドライバの視線の移動量も乗用車より大きくなり、また、職業ドライバなどでは視線を配る頻度も異なることになる。
【０００６】
このような商業車で、従来の顔画像処理による瞬き検出を実施するには、図11に示すようにドライバの上半身を写すようにCCDカメラを設置し、ミラーの確認時や周囲の確認時に、視線移動量がある程度大きくてもドライバの視線を画像の中に捉えるように設置する必要がある。
【０００７】
しかしながら、同図に示すような画像処理を行うとき、ドライバの上半身を写し出していることから、その一部であるドライバの眼の周辺の解像度は相対的に低くなり、図12(1)に示すような前方注視状態に対して、同図(2)に示すような瞬きをしている閉眼状態に変わったのか、同図(3)に示すようなメータ類を見下ろしている状態に変わったのかが区別でき難くなってしまう。
【０００８】
さらに商業車の場合には、同図(1)に示す前方注視状態の視線角度と同図(3)に示すメータ注視状態の視線角度が互いに大きく異なることから、速度を調節するためにドライバがメータ類を見下ろしている後者の状態を、瞬きしている同図(2)の状態と誤判定してしまう場合が多くなることが確かめられた。
【０００９】
従って本発明は、ドライバの瞬きを検出して、該ドライバの覚醒度低下を判定する覚醒度低下判定装置において、メータ視認時などの影響を受けずに精度よく瞬きを検出して覚醒度低下を判定することを目的とする。
【００１０】
上記の目的を達成するため本発明に係る覚醒度低下判定装置は、一定時間毎に瞬き時間データの頻度分布データを求めるとともに、前回求めた該一定時間における頻度分布データに、該一定時間より短い単位時間又はデータ出力間隔毎に求めた最新の単位時間又はデータ出力間隔における頻度分布データを加え、該前回の頻度分布データの内の最も古い単位時間又はデータ出力間隔における頻度分布データを除去することで今回分の頻度分布データを求め、該求めた頻度分布データ中に一定の瞬き時間内でピークが発生しているときは、該データを該判定から除外した上で該頻度分布データに基づき覚醒度の低下を判定することを特徴としている。
【００１１】
今、一定時間（ΔAn：例えば1分）当たりの瞬き時間の頻度分布をとると、図１(1)に示すようになる。すなわち、短い瞬き時間の頻度が最も多く、瞬き時間が大きくなるにつれて徐々になだらかに頻度が小さくなって行く。
この場合、実線で示した特性▲１▼が正常時（覚醒時）の頻度分布を示しており、破線で示した特性▲２▼が覚醒度低下時の頻度分布を示している。覚醒度低下時の特性▲２▼は正常時の特性▲１▼とほぼ同様の特性曲線を呈しているが、全体的に瞬き時間が長くなり、平均値が長くなることが分かる。
【００１２】
従って、例えば両特性1)及び2)の差を従来より知られる演算手法により求めれば、正常時であるか覚醒度低下時であるかが判定できることになる。
これに対して、図12(3)に示したようなメータ視認時においては、図１(2)の特性 Cに示すように、特定の瞬き時間にピークP1が現れる。このようなメータ視認時の瞬き時間は0.5〜0.7秒程度であり通常の瞬き時間よりも長くなる。
【００１３】
一方、覚醒度低下時であってもメータ視認時においては、同図(1)に示すようにピークP2が発生するので、両ピークP1とP2を一定の瞬き時間Tτを境界にして区別する必要がある。
そこで、同図(2)に示すように一定の瞬き時間Tτ内にピークP1が検出されたときには、一定時間ΔAnにおける瞬きデータを覚醒度低下の為の判定に用いないようにすれば、メータ類の視認時等を瞬きとして誤検知することがなくなる。
この場合、前回求めた一定時間における瞬き時間データの頻度分布データに、該一定時間より短い単位時間又はデータ出力間隔における瞬き時間データの内の最新のものを加えるとともに最も古い単位時間又はデータ出力間隔の頻度分布を除くことで今回分の頻度分布を求めることにより短時間で十分に覚醒度の低下傾向を判定することが可能となる。
【００１４】
【発明の実施の形態】
図2は、本発明に係る覚醒度低下判定装置の構成例を示したもので、CCDなどのカメラ1が画像処理部2と瞬き時間検出部3と誤検知判定部4とに縦続接続されている。
【００１５】
図３は、図２に示した本発明に係る覚醒度低下判定装置の各部の動作実施例を示したフローチャートである。
以下、この図３に示すフローチャートに沿って、本発明に係る覚醒度低下判定装置の動作を説明する。
【００１６】
画像処理部 2 の動作：
まず、カメラ１から図4(1)に示すような顔画像を入力し(図３のステップS1)、画面全体に対してフィルタリングなどの前処理を施す(同S2)。次に、画像全体に対して二値化処理を施し(同S3)、ドライバの鼻の穴を探索する準備をする。
【００１７】
そして、パターンマッチングなどの手法を用いて図４(2)に示すようにドライバの鼻の穴の位置を特定する(同S4)。次に、この鼻の穴の位置から更に同図(3)及び図5(1)に示すように眼の位置を特定し、眼の周辺領域A及びBを設定する(同S5)。
【００１８】
そして、眼の周辺領域として推定できたか否かを、やはりパターンマッチングなどの手法を用いて判定し(同S6)、推定できなかったときにはステップS1に戻るが、眼の周辺領域が推定できたときには、再び顔画像を入力し(同S7)、同図(2)に示すような目の周辺領域の追跡を行い(同S8)、更に追跡できたか否かを判定する(同S9)。
【００１９】
この結果、追跡できなかったときにはステップS1に戻るが、追跡できたときには、眼の周辺領域に対して前処理を施し(同S10)、眼の周辺領域に対してエッジ抽出処理を実行する(同S11)。
このように、鼻の穴の位置から推定された眼の位置の周辺領域に対してエッジ抽出処理を施すことにより、眼の上瞼の境と下瞼の境を明確化し境界を抽出する。この上瞼の境界と下瞼の境界の位置関係により、同図(3)に示す如く、開眼か閉眼かを判定する。
【００２０】
瞬き時間検出部 3 の動作：
上記のようにエッジ抽出処理を施して瞬きを検出した後、一定時間（ΔAn)において、瞬き時間を計測する(同S12)。そして、瞬き時間データを蓄積し(同S13)、一定時間（ΔAn)当たりの瞬き時間の頻度分布を図１のようにして求める(同S14)。
【００２１】
誤検知判定部 4 の動作：
まず、従来から知られた手法によりピーク検出を実行し(同S15)、図１(1)及び(2)に示したようなピークP1,P2が存在するか否かを判定する(同S16)。ピーク検出がなされなかったときには同図(1)に示すような覚醒度判定に使用可能なデータであるので、この場合、特性▲１▼又は▲２▼の何れであっても出力してステップS7に戻る(同S17)。
【００２２】
一方、ピークが誤検知範囲か否か、すなわちピークP1であるかP2であるかを区別しなければならないので(同S18)、そのピーク位置が一定値Tτ以下であれば同図(2)に示すピークP1が検出されたものとして、この瞬きデータを無効にし(同S19)、ステップS7に戻るが、該ピークがTτ以上であれば同図(1)に示すピークP2が検出されたものとして瞬きデータを覚醒度判定に用いる(同S20)。
【００２３】
なお、上記の実施例においては、図６に示すように、過去の一定時間ΔAnの瞬きデータをとってその頻度分布を求めたが、この一定時間ΔAnが短いと正確な頻度分布が得られず、逆に長いと覚醒度の判定時間が長くなり、その判定結果に伴う警報の発生が遅れてしまうということが有り得る。
【００２４】
そこで、図６に示すように、一定時間ΔAnより短い単位時間又はデータ出力間隔ΔTにおいて瞬き時間の頻度分布を上記のΔAnにおける頻度分布に加えると共に、上記の一定時間ΔAnの中の古い単位時間又はデータ出力間隔ΔTの頻度分布データを除くことにより、新しい単位時間又はデータ出力間隔ΔTを加えた過去のΔAnの頻度分布を求めてピークの存在を判定しても良い。
【００２５】
この場合のピークは徐々に大きくなったり、又は小さくなったりするので、経験的な閾値を設定してピークの発生を検知すればよい。
このようにして、覚醒度の判定は一定時間ΔAnより短いデータ出力間隔ΔT毎に瞬きデータを得ることが可能となる。
【００２６】
また、上記の実施例では、昼間の運転時における瞬き時間の検出とその頻度分布を求めたが、夜間の場合には、例えば、図７に示すように、赤外線カメラ1と照明用の赤外LED10とによりドライバの眼球20における瞳孔を光らせた映像を撮るようにしても良い。
【００２７】
すなわち、これはフラッシュを使って写真を撮ったとき被写体の人物の眼が赤く光る場合があるが、これと同じ原理を利用する方法であり、カメラ1の光軸に照明を出来るだけ近づけ、或いはハーフミラーを使ってドライバの顔（図9(1)参照）を撮影すれば、図８(1)に示すような眼の画像から同図(2)及び図9(2)に示すような明瞳孔反射という瞳孔が光った顔画像を利用して瞬きを検出することが可能となる。
【００２８】
【発明の効果】
以上説明したように本発明に係る覚醒度低下判定装置によれば、一定時間当たりの瞬き時間データの頻度分布を求め、この頻度分布中に一定の瞬き時間内でピークが発生している場合は、その瞬き時間データを覚醒度低下の判定から除外するように構成したので、特に商業車のようにメータ類を視認する場合に瞬き状態と類似した状態を呈する場合の瞬き時間検出に伴う誤判定を無くすことができる。
【図面の簡単な説明】
【図１】本発明に係る覚醒度低下判定装置の原理を説明するために瞬き時間の頻度分布を示した特性グラフ図である。
【図２】本発明に係る覚醒度低下判定装置の構成例を示したブロック図である。
【図３】本発明に係る覚醒度低下判定装置の動作を説明するためのフローチャート図である。
【図４】昼間の画像から眼の位置を推定する過程を説明した図である。
【図５】眼の画像処理領域における詳細な処理方法を示した図である。
【図６】データ処理間隔とデータ処理区間との関係を説明するための図である。
【図７】夜間走行時での赤外LEDによる眼球の照明状態を説明した図である。
【図８】明瞳孔反射を示した図である。
【図９】明瞳孔反射に伴うドライバの瞳孔位置を説明するための図である。
【図１０】車両の種類によってメータ類の見下ろし角が異なる状態を示した側面概略図である。
【図１１】 CCDカメラによるドライバの顔画像例を示した図である。
【図１２】前方注視時とメータ視認時の視線角度を説明するための図である。
【符号の説明】
1 カメラ
2 画像処理部
3 瞬き時間検出部
4 誤検知判定部
10 赤外LED
20 眼球
30 メータ類
図中、同一符号は同一又は相当部分を示す。

Claims

ドライバの瞬きを検出して該ドライバの覚醒度低下を判定する覚醒度低下判定装置において、
一定時間毎に瞬き時間データの頻度分布データを求めるとともに、前回求めた該一定時間における頻度分布データに、該一定時間より短い単位時間又はデータ出力間隔毎に求めた最新の単位時間又はデータ出力間隔における頻度分布データを加え、該前回の頻度分布データの内の最も古い単位時間又はデータ出力間隔における頻度分布データを除去することで今回分の頻度分布データを求め、該求めた頻度分布データ中に一定の瞬き時間内でピークが発生しているときは、該データを該判定から除外した上で該頻度分布データに基づき覚醒度の低下を判定することを特徴とした覚醒度低下判定装置。