JP3286887B2 - 顔画像処理装置及び顔画像処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、カメラにより人
物の顔を撮像するとともにその画像を処理して被撮像者
の目の開閉を判定する顔画像処理装置及び顔画像処理方
法に関するものである。

【０００２】

【従来の技術】従来より、車両室内に設けられたカメラ
で車両運転者の顔を撮像し、得られた顔画像を処理して
顔画像の中から目を抽出し、目の開閉を検出することに
より車両運転者の脇見運転あるいは居眠り運転などを検
出することが提案されている。この様な装置の例とし
て、例えば特開平６−３２１５４号公報に示されるもの
がある。該公報では、顔画像を処理し画像中の目がある
と思われる領域を設定し、この領域内の黒色領域を目と
判定している。そして、黒色領域が所定の閾値よりも大
きいか否かにより目の開状態あるいは閉状態を判定す
る。車両運転者の脇見や居眠りは、この目の開閉状態に
より検出される。

【０００３】

【発明が解決しようとする課題】しかしながら、該公報
の装置においては、目の開状態あるいは閉状態を判定す
るための基準となる閾値が固定になっていた。従って、
カメラと被撮像者との距離が変化したり、顔の向きが変
化したりすることにより顔画像の状態が変わった場合、
固定の閾値では目の開状態あるいは閉状態を正確に検出
することは難しかった。

【０００４】この発明は係る課題を解決するものであっ
て、顔画像の状態が変化した場合であっても被撮像者の
目の開閉をより正確に判定することができる顔画像処理
装置及び顔画像処理方法を提供することを目的としてい
る。

【０００５】この発明に係る顔画像処理装置は、顔画像
を撮像するカメラと、このカメラの撮像情報に基づき被
撮像者の目の開度を検出する開度検出手段と、この開度
検出手段の検出結果を閾値を用いて複数のグループに分
類するとともに所定時間内において開度検出手段の検出
結果が複数のグループの内の所定のグループに属する時
間を積算計測する時間計測手段と、この時間計測手段の
計測結果に基づいて閾値の妥当性を評価する閾値評価手
段と、この閾値評価手段の評価結果に基づき閾値の値を
再設定する閾値設定手段と、閾値を用いて被撮像者の目
の開閉を判定する目開閉判定手段とを備えたものであ
る。

【０００６】また、この発明に係る顔画像処理装置は、
所定のグループは閾値により分類された複数のグループ
の内の２つのグループであって、閾値評価手段は時間計
測手段により計測された２つのグループの計測結果の比
率と予め定められた所定値との偏差を演算するものであ
って、閾値設定手段は偏差が減少する方向に閾値の値を
更新するものである。

【０００７】また、この発明に係る顔画像処理装置は、
閾値設定手段は、開度検出手段の検出結果の平均値から
所定量だけ離れた位置に閾値の初期値を設定するととも
に、開度検出手段の検出出力が所定時間内において閾値
を横切らない場合は閾値を平均値の方向に更新するもの
である。

【０００８】また、この発明に係る顔画像処理装置は、
開度検出手段の検出結果に基づき被撮像者の目が開状態
にあるときの代表的な値を演算する開値演算手段と、開
度検出手段の検出結果に基づき被撮像者の目が閉状態に
あるときの代表的な値を演算する閉値演算手段と、開値
演算手段と閉値演算手段との演算結果に基づき閾値の可
変範囲を設定する閾値制限手段とを備えたものである。

【０００９】また、この発明に係る顔画像処理装置は、
装置が動作してから所定期間経過したことを検出する期
間検出手段と、所定期間が経過するまでは閾値の可変範
囲の更新を許可するとともに所定期間の経過以後は閾値
の可変範囲の更新を禁止する閾値制限制御手段とを備え
たものである。

【００１０】また、この発明に係る顔画像処理装置は、
顔画像を撮像するカメラと、このカメラの撮像情報に基
づき被撮像者の目の開度を検出する開度検出手段と、所
定時間毎における開度検出手段の検出結果の度数分布を
計測する度数計測手段と、度数分布が略平坦となる範囲
内に閾値を設定するとともに度数分布の更新に応じて閾
値を更新する閾値設定手段と、閾値を用いて被撮像者の
目の開閉を判定する目開閉判定手段とを備えたものであ
る。

【００１１】また、この発明に係る顔画像処理方法は、
顔画像を撮像するカメラの撮像情報に基づき被撮像者の
目の開度を検出するステップと、この検出結果を閾値を
用いて複数のグループに分類するステップと、所定時間
内において目の開度の検出結果が複数のグループの内の
所定のグループに属する時間を積算計測するステップ
と、この時間の計測結果に基づいて閾値の妥当性を評価
するステップと、この評価結果に基づき閾値の値を再設
定するステップと、閾値を用いて被撮像者の目の開閉を
判定するステップとを備えたものである。

【００１２】また、この発明に係る顔画像処理方法は、
顔画像を撮像するカメラの撮像情報に基づき被撮像者の
目の開度を検出するステップと、所定時間毎における目
の開度の検出結果の度数分布を計測するステップと、こ
の度数分布が略平坦となる範囲内に閾値を設定するステ
ップと、度数分布の更新に応じて閾値を更新するステッ
プと、閾値を用いて被撮像者の目の開閉を判定するステ
ップとを備えたものである。

【００１３】

【発明の実施の形態】

実施の形態１．実施の形態１は、顔画像を撮像するカメ
ラの撮像情報に基づき被撮像者の目の開度を検出するス
テップと、この検出結果を閾値を用いて複数のグループ
に分類するステップと、所定時間内において目の開度の
検出結果が複数のグループの内の所定のグループに属す
る時間を積算計測するステップと、この時間の計測結果
に基づいて閾値の妥当性を評価するステップと、この評
価結果に基づき閾値の値を再設定するステップと、閾値
を用いて被撮像者の目の開閉を判定するステップとを備
えた顔画像処理方法に関するもので、この画像処理方法
を実施する顔画像処理装置について、以下説明する。

【００１４】図１は、実施の形態１の顔画像処理装置の
概略の構成を示すブロック図、図２乃至図４は実施の形
態１の動作を説明するタイムチャートで、図２は閾値が
妥当である状態、図３は閾値が開側に行き過ぎた状態、
図４は閾値が閉側に行き過ぎた状態を示している。ま
ず、実施の形態１の詳細な説明の前に、基本的な動作に
ついて簡単に説明しておく。車両運転者の顔画像はカメ
ラにより得られる。この顔画像を処理して被撮像者であ
る車両運転者の目を検出し、目の開度に応じた出力を得
る。これは図２乃至４に目開閉評価出力値として示され
たものである。この目の開度に応じた出力は２つの閾値
のうちの閉側閾値と比較され、閉側閾値よりも開側であ
るときは目が開状態、閉側閾値よりも閉側であるときは
目が閉状態にあると判定される。これにより目の開閉が
判定される。

【００１５】一方、閾値は固定の値ではなく、顔画像の
変化に応じて順次更新されるものとなっている。閾値
は、妥当であるか否かがまず判定され、妥当でなければ
望ましい方向に更新される。例えば図３では閾値が開側
に行き過ぎている。このような状態では、車両運転者の
目が閉状態でなくても、閉状態であると判定してしま
う。また、図４では閾値が閉側に行き過ぎている。この
ような状態では、車両運転者の目の開閉を判定すること
ができない。そこで、実施の形態１では、閾値が図２乃
至４のうちどの状態にあるのかを判定するために次のよ
うに処理している。まず、目開閉評価出力値を開側閾値
及び閉側閾値の２つの閾値を用いて複数のグループに分
類する。その中から任意のグループを選定し、目開閉評
価出力値が所定時間内において選定した所定のグループ
に属している時間を積算計測する。実施の形態１におい
て所定のグループは、開側閾値よりも開側の領域である
グループＡと、閉側閾値よりも開側の領域であるグルー
プＢである。

【００１６】次にグループＡの計測値と、グループＢの
計測値とを比較する。図３の場合では、グループＡの計
測値がグループＢの計測値に比し非常に小さな値となっ
ている。また図４の場合では、グループＡの計測値とグ
ループＢの計測値とがほぼ等しくなっている。これに対
し、図２の閾値が妥当な場合では、グループＡの計測値
はグループＢの計測値に比し若干小さな値となってい
る。即ち、実施の形態１では、グループＡの計測値とグ
ループＢの計測値との偏差を演算し、この偏差が図２に
示す状態になるよう閉側閾値を制御する。なお、開側閾
値は、閉側閾値の変化に追従して変化するもので、閉側
閾値と開側閾値との間隔は一定である。

【００１７】次に、実施の形態１について詳しく説明す
る。図１において、１は車両運転者の顔を撮像する車両
室内に設けられたカメラ、２はカメラ１の撮像情報であ
る映像信号を受けてＡ／Ｄ（アナログ／ディジタル）変
換しディジタル階調画像を出力する画像入力手段、３は
画像入力手段２からのディジタル階調画像を受け、この
画像中において車両運転者の目があると思われる目領域
を特定する目領域判定手段、４は車両運転者の目の開度
に応じた検出結果を出力する開度検出手段としての目開
閉評価手段であって、例えば目領域判定手段３で特定さ
れた目領域内における黒色領域の大きさに応じた値を図
２の目開閉評価出力値に示す如く出力する。これは、車
両運転者の目の開度に応じた値となっている。

【００１８】５は時間計測手段であって、目開閉評価手
段４の検出結果を図２に示す開側閾値及び閉側閾値とい
う２つの閾値を用いて複数のグループに分類する。この
複数のグループとしては、開側閾値よりも開側の領域、
開側閾値よりも閉側の領域、閉側閾値よりも開側の領
域、閉側閾値よりも閉側の領域、２つの閾値の間の領域
等が挙げられる。この実施の形態１の時間計測手段５で
は、開側閾値よりも開側の領域であるグループＡ及び閉
側閾値よりも開側の領域であるグループＢを所定のグル
ープとして選定するとともに、所定時間内において目開
閉評価手段４の検出結果がグループＡあるいはグループ
Ｂに属する時間を積算して計測している。６は閾値評価
手段で、時間計測手段５の計測結果に基づき閾値の妥当
性を評価する。７は閾値設定手段で、閾値評価手段６の
評価結果に基づき閾値がより望ましい値になるよう再設
定する。閾値設定手段７で設定した閾値は、上述の時間
計測手段５と次に説明する開閉判定手段に与えられてい
る。８は目の開閉を判定する目開閉判定手段としての開
閉判定手段で、目開閉評価手段４から与えられる車両運
転者の目の開度に応じた値と、閾値設定手段７から与え
られる閾値とが入力され、目の開度に応じた値と閉側閾
値とを比較することにより車両運転者の目の開閉を判定
する。

【００１９】実施の形態１の動作について説明する。図
５は目開閉評価出力値を検出するためのフローチャート
である。このフローチャートは、カメラ１で撮像した顔
画像の中の目領域を特定し、目領域の中にある黒色領域
を目であると判定し、その黒色領域の大きさを目の開度
として検出する。ステップ１ではカメラ１で撮像した映
像信号が画像入力手段２に取り込まれる。画像入力手段
２はこの映像信号をＡ／Ｄ変換する。ステップ２では、
画像入力手段２で変換されたディジタル階調画像がフレ
ームメモリに入力される。ステップ３ではフレームメモ
リに記憶した画像情報が読み出され、適当な２値化閾値
により２値画像化される。ステップ４では顔の横方向検
索開始ラインより、顔の左右横方向に白色画素が検索さ
れる。ステップ５では連続した白色画素数がカウントさ
れ、続くステップ６で連続した白色画素数が最大となる
ときの白色画素領域の端部から顔の横幅輪郭線が特定さ
れる。

【００２０】ステップ７では、特定された顔の横方向輪
郭線に基づいて目が存在すると思われる目領域の横方向
の座標が決定される。ステップ８では顔の縦方向検索開
始ラインが設定され、続くステップ９で顔の縦方向に黒
色画素が検索される。ステップ９では連続した黒色画素
の領域が検索される。ステップ１０では検索した黒色画
素の領域の位置関係や縦方向の黒色画素数に基づき目領
域を特定する。ステップ１１では、特定された目領域の
中から連続した黒色画素を検出し、これを目の開度とし
て検出し出力する。即ち、図６に示すように、目領域を
縦方向に検索し、連続した黒色画素数が最大となる検索
ラインを検出し、この場合では検索ライン（ニ）上の連
続した黒色画素数を目の開度として検出している。とこ
ろで、検索ライン（ヘ）は、検索ライン（ニ）よりも連
続した黒色画素数が多い。しかし、髪あるいは眉などを
省く所定の条件を設定しておくことにより検索ライン
（ニ）を選択するようにしている。このようにして得ら
れた目の開度は、開状態では連続した黒色画素数が多く
なると共に、閉状態では連続した黒色画素数が少なくな
り、目の開度に応じた値となる。なお、このフローチャ
ートにおいて、ステップ１は画像入力手段、ステップ７
乃至ステップ１０は目領域判定手段、ステップ１１は開
度検出手段を構成している。

【００２１】上述のようにして得られた目の開度は、例
えば図２に目開閉評価出力値として示されるものであ
る。この値は、車両運転者の目の開き具合によって若干
揺らいだ値となるとともに、車両運転者が目を閉じたと
きは明らかに閉方向の値として出力される。この目開閉
評価出力値は時間計測手段５に入力され、開側閾値及び
閉側閾値という２つの閾値で複数のグループに分類され
る。また、時間計測手段５では、所定時間内において目
開閉評価出力値がグループＡに属している時間、即ち図
２において斜線部分の時間を所定時間毎に積算計測す
る。同様に所定時間内において目開閉評価出力値がグル
ープＢに属している時間も積算計測する。この結果は閾
値評価手段６に与えられ、ここで閾値の妥当性が評価さ
れる。この妥当性の評価は、上述したように、時間計測
手段５で計測されたグループＡの計測値と、グループＢ
の計測値との偏差で評価される。この偏差は閾値設定手
段７に与えられる。

【００２２】閾値設定手段７では、閾値評価手段６で演
算された偏差に基づき閉側閾値の値を制御し再設定す
る。開側閾値は、閉側閾値の更新に応じて同様に変化す
る。図２は閾値の設定が妥当な場合であり、開側閾値が
目開閉評価出力値の揺らぎの下側にあるとともに閉側閾
値は開側閾値よりも更に閉側に設定されている。目の開
閉は閉側閾値を基準に判定されているので、この状態に
おいては、目が開状態にあるときの目開閉評価出力値の
揺らぎにより目の開閉を誤判定することがない。この場
合のグループＡとグループＢとの計測値の偏差（グルー
プＢ − グループＡ）は、０よりも若干大きな値とな
っている。

【００２３】図３は、閾値が開側に行き過ぎている状態
である。この場合、目が開状態にあるときの目開閉評価
出力値の揺らぎに閉側閾値がかかっており、目が開状態
であっても閉状態であると誤判定してしまう。この状態
において、偏差（グループＢ − グループＡ）は非常
に大きな値となっている。そこで、このような場合には
閾値設定手段７は、偏差が図２の場合のように０よりも
若干大きな値となるように閉側閾値の値を更新し再設定
する。

【００２４】図４は、閾値が閉側に行き過ぎている状態
である。この場合、目が閉状態にあるときの値よりも更
に閉側に閉側閾値が設定されているので目の開閉を判定
することができない。この状態において、偏差（グルー
プＢ − グループＡ）はほぼ０となっている。そこ
で、このような場合には閾値設定手段７は、偏差が図２
の場合のように０よりも若干大きな値となるように閉側
閾値の値を更新し再設定する。

【００２５】この閉側閾値の更新は、所定時間毎に行わ
れる。即ち、閾値評価手段６の評価に基づき、望ましい
閾値の位置に近づく方向に所定時間毎に所定値ずつ更新
させていく。

【００２６】上述のようにして再設定された２つの閾値
は、時間計測手段５に与えられてグループ分類に用いら
れると共に、開閉判定手段８に与えられて、目開閉評価
出力値と閉側閾値とが比較されて目の開閉が判定され
る。

【００２７】従って、実施の形態１によれば、撮像画像
の変化に応じて閾値を適切な値に更新するので、目の開
閉判定の精度を向上させることができる。また、実施の
形態１では目開閉評価として抽出した目領域の最大連続
黒色画素数を用いて説明したが、これに限られるもので
はなく、例えば我々が先に出願した特願平７−１９３６
４７号に記載の目開閉評価手法を適用しても良い。

【００２８】なお、実施の形態１においては開側閾値及
び閉側閾値という２つの閾値を用い、所定のグループと
してグループＡ及びグループＢという２つのグループを
選択したが、閾値及び所定のグループは１つでもよい。
即ち、実施の形態１で示した閉側閾値のみを用いても良
い。具体的には、図２乃至４において、閉側閾値を用い
て目開閉評価出力値を複数のグループ、即ち閉側閾値よ
りも開側の領域のグループと、閉側閾値よりも閉側の領
域のグループとに分類する。そして所定のグループとし
て、例えば閉側閾値よりも開側の領域、即ちグループＢ
を選択する。このとき時間計測手段５で積算計測した計
測値は、図２の状態では１よりも若干小さな値となる。
また、図３の場合では１よりも非常に小さい値となり、
図４の場合ではほぼ１になる。従って、閾値設定手段７
で、時間計測手段５の計測値が１よりも若干小さくなる
ように閉側閾値の値を更新してやればよい。このもので
は、上述の実施の形態１で述べたものに比し演算が簡単
となり処理速度を上げることができる。

【００２９】実施の形態２．実施の形態２は実施の形態
１と略同一のものであって、開閉判定手段８の目の開閉
の判定の仕方が異なっている。即ち、実施の形態１では
閉側閾値と目開閉評価出力値とを比較して目の開閉を判
定したが、実施の形態２では閉側閾値及び開側閾値と、
目開閉評価出力値とを比較して目の開閉を判定してい
る。図７は、実施の形態２の開閉判定手段の動作を示す
説明図である。この実施の形態２では、目開閉評価出力
値が閉側閾値よりも閉側になったときに目が開から閉に
なったと判定する。また、目開閉評価出力値が開側閾値
よりも開側となったときに目が閉から開になったと判定
する。即ち、目の開閉の判定にヒステリシスを持たせて
いる。従って、車両運転者が目をゆっくり開閉し目開閉
評価出力値が揺らいでいたとしても、開閉判定手段８の
判定結果がチャタリングを起こすことがない。

【００３０】実施の形態３．実施の形態３は、閾値の評
価をより正確に行うものである。実施の形態３の構成は
実施の形態１と略同一であって、閾値評価手段６の動作
が実施の形態１とは異なっている。図８は、実施の形態
３による閾値評価手段の動作を示す説明図である。図８
（ａ）は、所定時間における目開閉評価手段４の目開状
態の出力度数分布の一例を示したものである。次にグル
ープＡとグループＢの積算時間をそれぞれ（ｂ）、
（ｃ）に示す。グループＡの積算時間は開側閾値よりも
図示右方向の部分の面積であって、グループＢの積算時
間は閉側閾値よりも図示右方向の部分の面積である。こ
こで、閉側閾値をパラメータとして閉側から開側に向か
って変化させる。なお、このとき開側閾値も閉側閾値と
所定の間隔を持って変化する。このときのグループＡと
グループＢの積算時間の変化は、（ｄ）、（ｅ）に示す
とおりである。次にグループＡの積算時間をグループＢ
の積算時間で割り算する。（ｆ）はその割り算の結果を
示している。この割り算した値は、閉側閾値の値が開側
に移動するに従って、単調に減少している。このように
単調変化する値は、比較の対象として望ましい。そこ
で、実施の形態３では、閾値評価手段６においてグルー
プＡの計測結果とグループＢの計測結果との比率を上述
の如く演算し、この比率と予め定められた所定値とを比
較して偏差を演算している。閾値設定手段７には演算さ
れた偏差が入力され、その偏差が減少する方向に閉側閾
値を再設定するようにしている。予め定められた所定値
は、経験的に得られる値であって、目開閉評価出力値と
閾値とが図２に示すような位置関係になるような値であ
る。

【００３１】従って、実施の形態３では、単調に変化す
る値と予め定めた値とを比較するようにしたので、閾値
の評価をより精度良く行うことができる。

【００３２】なお、上述の実施の形態では、図９に示す
如く所定時間毎に所定値だけ閾値の値を更新している。
この例では、望ましい閾値に達するまでに７回の更新を
要している。これに対し、実施の形態３では、単調に変
化する値と予め定めた値とを比較し偏差を演算するよう
にしたので、その偏差は、望ましい閾値と現在の閾値と
の離れ具合を単調に示す。即ち、偏差が大きければ望ま
しい閾値と現在の閾値とが大きくかけ離れており、偏差
が小さければ望ましい閾値と現在の閾値とがほぼ一致し
ていると言える。従って、閾値設定手段７において、偏
差の大きさに応じて更新するようにして、１回の更新で
現在の閾値が望ましい閾値に一致するようにしても良
い。もしくは、望ましい閾値と現在の閾値とが離れてい
るほど１回の更新による変化量を大きくしても良い。例
えば、１回目の更新で偏差の８割を解消する量だけ閾値
を変化させ、その後は所定時間毎に所定値ずつ閾値を変
化させるという手法などが挙げられる。このようなもの
によれば、閾値を望ましい閾値により早く一致させるこ
とができる。

【００３３】実施の形態４．実施の形態１では、所定の
グループとしてグループＡとグループＢとを使用した。
実施の形態４は所定のグループを変更した例を示すもの
であって、基本的には実施の形態１と同様なものであ
る。図１０乃至図１２は実施の形態４の動作を説明する
タイムチャートである。図１０は、閾値が妥当な位置に
ある状態を示している。実施の形態４では所定のグルー
プとして、上述の開側閾値よりも開側の領域であるグル
ープＡと、開側閾値と閉側閾値との間の領域であるグル
ープＣとを使用している。

【００３４】基本的な動作は実施の形態１と同様である
ので、ここでは閾値の評価について説明する。図１０に
おいて時間計測手段５は、所定時間内において目開閉評
価出力値がグループＡに属している時間を積算して計測
すると共に、グループＣについても同様に積算して計測
する。このときのグループＡとグループＣとの計測値の
偏差（グループＡ − グループＣ）は、グループＡの
計測値よりも若干小さな値となる。図１１は、閾値が開
側に行き過ぎた状態である。このときグループＡの計測
値が減少しグループＣの計測値が増える。従って、偏差
（グループＡ − グループＣ）は、極端な場合には負
の値となる。図１２は、閾値が閉側に行き過ぎた状態で
ある。このとき、グループＡの計測値が増加すると共に
グループＣの計測値は、極端な場合には０となる。従っ
て、偏差（グループＡ − グループＣ）は、極端な場
合には、グループＡの計測値そのものとなる。従って、
閾値設定手段７はこれらの偏差を受け、偏差がグループ
Ａの計測値よりも若干小さな値となるよう、即ち図１０
の状態になるよう閾値を更新し再設定する。

【００３５】なお、実施の形態４においても、上述の実
施の形態２の如く目の開閉の判定にヒステリシスを持た
せても良いことは明らかである。

【００３６】次に、実施の形態４においても、上述の実
施の形態３の如く閾値の評価の精度を向上させることが
できる旨説明する。図１３は、実施の形態４による閾値
評価手段の別の動作を示す説明図であって、図８に示し
たものと同様なものである。図１３（ａ）は、所定時間
における目開閉評価手段４の目開状態の出力度数分布の
一例を示したものである。次にグループＡとグループＣ
の積算時間をそれぞれ（ｂ）、（ｃ）に示す。グループ
Ａの積算時間は開側閾値よりも図示右方向の部分の面積
であって、グループＣの積算時間は閉側閾値と開側閾値
とで区切られた部分の面積である。ここで、閉側閾値を
パラメータとして変化させる。なお、このとき開側閾値
も閉側閾値と所定の間隔を持って変化する。このときの
グループＡとグループＣの積算時間の変化は、（ｄ）、
（ｅ）に示すとおりである。次にグループＣの積算時間
をグループＡの積算時間で割り算する。（ｆ）はその割
り算の結果を示している。この割り算した値は、閉側閾
値の値が開側に移動するに従って、単調に増加してい
る。このように単調変化する値は、比較の対象として望
ましい。そこで、実施の形態４では、閾値評価手段６に
おいてグループＡの計測結果とグループＣの計測結果と
の比率を上述の如く演算し、この比率と予め定められた
所定値とを比較して偏差を演算している。閾値設定手段
７には演算された偏差が入力され、その偏差が減少する
方向に閉側閾値を再設定するようにしている。予め定め
られた所定値は、経験的に得られる値であって、目開閉
評価出力値と閾値とが図１０に示すような位置関係にな
るような値である。

【００３７】従って、実施の形態４では、単調に変化す
る値と予め定めた値とを比較するようにしたので、閾値
の評価をより精度良く行うことができる。

【００３８】尚、上述の実施の形態１乃至４において、
閾値評価手段６で用いる所定値及び２つの閾値の差は、
使用する目開閉評価手段４の出力特性に応じて適当な値
を設定するようにすればよい。

【００３９】実施の形態５．実施の形態５は閾値の初期
設定に関するもので、装置起動後速やかに閾値が望まし
い値に設定されるようにするものである。図１４に閾値
の更新の様子を示す。上述の実施の形態１乃至４では、
開側閾値よりも開側の領域であるグループＡ、閉側閾値
よりも開側の領域であるグループＢ、閉側閾値と開側閾
値との間の領域であるグループＣを使用していた。従っ
て、図１４の場合においては、何れのグループの計測値
も０となり閾値の妥当性の評価ができなくなる。この場
合、仮に開側に所定時間毎に所定値だけ更新していった
とすると、閾値は目開閉評価出力値からどんどん離れる
ことになり目の開閉を判定することができなくなる。実
施の形態５は、このような不都合が生じないようにする
ものである。具体的には、目開閉評価出力値の平均値よ
りも閉側に閾値の初期値を設定すると共に、所定時間内
において目開閉評価出力値が２つの閾値の何れも横切ら
ない場合には閾値を開側に更新するようにしている。そ
の様子を図１５に示す。図１５においては、閾値が装置
起動後速やかに望ましい位置に更新されていることが解
る。この実施の形態において、所定時間は約１０秒間で
ある。また、閾値の初期値は、経験に基づいて目開閉評
価出力値の平均値よりも閉側であろうという値を予め設
定する。

【００４０】よって、実施の形態５によれば、装置起動
後速やかに閾値を望ましい閾値の位置に更新することが
できる。

【００４１】もしくは、装置起動後の所定時間における
目開閉評価出力値の平均値を演算し、その平均値よりも
所定量だけ閉側の位置に閾値の初期値を設定するように
しても良い。

【００４２】また、装置起動後の所定時間における目開
閉評価出力値の最も閉側の値を検出し、その値よりも若
干閉側の位置に閾値の初期値を設定するようにしても良
い。

【００４３】更に、上述の実施の形態では閾値の初期値
を目開閉評価出力値の平均値よりも閉側に設定するよう
にし、所定時間内において目開閉評価出力値が閾値を横
切らなければ閾値を開側に更新するようにした。これと
は逆に、閾値の初期値を目開閉評価出力値の平均値より
も開側に設定するようにし、所定時間内において目開閉
評価出力値が閾値を横切らなければ閾値を閉側に更新す
るようにしてもよい。しかし、上述の実施の形態で説明
したように、望ましい閾値は目開閉評価出力値の平均値
よりも所定量だけ閉側に位置している。従って、目開閉
評価出力値の平均値よりも閉側に閾値を初期設定するも
のに比し、閾値が望ましい位置に更新されるまでの時間
が若干長くなってしまうことに注意しなければならな
い。

【００４４】実施の形態６．上述の実施の形態では、車
両運転者の顔の撮影条件が変化しても正確な目の開閉判
定ができるように閾値を更新することについて説明し
た。しかしながら、車両運転者が眠くなる等の理由で目
が閉じ気味になると閾値がこれに追従して更新され、覚
醒時と比較して閾値が閉側に行き過ぎる可能性がある。
そこで実施の形態６では、閾値を更新できる範囲、即ち
可変範囲を設定し閾値が好ましい範囲から逸脱するのを
防止するようにしている。図１６は、実施の形態６の構
成を示すブロック図である。図において１乃至８は上述
の実施の形態で説明したものと同一あるいは相当するも
のである。９は所定時間内において開閉判定手段８によ
り目が開状態と判定されたときの目開閉評価手段４の出
力の最も開側の値である最開値を記録する最開値記録手
段で、この最開値は目が開状態にあるときの代表的な値
である。１０は最開値記録手段９の記録値が入力され所
定時間毎にフィルタリング処理を行う最開値フィルタ
で、最開値記録手段９と共に開値演算手段を構成してい
る。１１は所定時間内において開閉判定手段８により目
が閉状態と判定されたときの目開閉評価手段４の出力の
最も閉側の値である最閉値を記録する最閉値記録手段
で、この最閉値は目が閉状態にあるときの代表的な値で
ある。１２は最閉値記録手段１１の記録値が入力され所
定時間毎にフィルタリング処理を行う最閉値フィルタ
で、最閉値記録手段１１と共に閉値演算手段を構成して
いる。１３は最開値フィルタ１０と最閉値フィルタ１２
との出力が入力される閾値制限手段で、所定時間内に得
られた最開値をフィルタリング処理した値と所定時間内
に得られた最閉値をフィルタリング処理した値とに基づ
き閾値設定手段７により設定される閾値の可変範囲を設
定する。

【００４５】次に実施の形態６における閾値の可変範囲
の設定の仕方について説明する。その他の基本的な動作
は上述の実施の形態と同様であるのでここでは省略す
る。最開値記録手段９は、所定時間内において車両運転
者の目が開状態にあると判定されたときの目開閉評価手
段４の出力の最開値を記録している。この記録値は最開
値フィルタ１０に所定時間毎に順次与えられる。最開値
フィルタ１０では、最開値記録手段９で設定されている
所定時間よりも長い所定時間毎にフィルタリング処理が
行なわれている。ここでは、最開値記録手段９から与え
られた複数個の最開値をフィルタリング処理して、目が
開状態における目開閉評価手段４の出力の揺らぎの平均
的な上限値を演算する。同様に、最閉値記録手段１１
は、所定時間内において車両運転者の目が閉状態にある
と判定されたときの目開閉評価手段４の出力の最閉値を
記録している。この記録値は最閉値フィルタ１２に所定
時間毎に順次与えられる。最閉値フィルタ１２では、最
閉値記録手段１１で設定されている所定時間よりも長い
所定時間毎にフィルタリング処理が行なわれている。こ
こでは、最閉値記録手段１１から与えられた複数個の最
閉値をフィルタリング処理して、目が閉状態における目
開閉評価手段４の出力の揺らぎの平均的な下限値を演算
する。これにより、車両運転者の目の開閉に伴う目開閉
評価手段４の平均的な出力範囲が得られる。閾値制限手
段１３では、この平均的な出力範囲を用いて、閉側閾値
の可変範囲を下式により設定する。

【００４６】

【数１】

【００４７】閉側閾値が最も閉側となる下限値は、式
（１）により得られる。即ち、最閉値を基準とし、これ
に平均的な出力範囲に定数１を掛けたものを加算する。
また、閉側閾値が最も開側となる上限値は、式（２）に
より得られる。この式（２）は式（１）と同様のもので
あるが、平均的な出力範囲に乗算される定数が異なって
いる。ここで、定数１、定数２は使用する目開閉評価手
段４の出力特性に合わせて適当な値を選ぶものである
が、式（１）は下限値、式（２）は上限値を設定するも
のであるから定数２は定数１に比し大きな値が選ばれ
る。閾値制限手段１３は、閾値設定手段７で設定した閉
側閾値が上述の式で得られた閉側閾値の上限値と下限値
との範囲にあるか否かを判定する。閉側閾値が演算した
可変範囲内にあれば、閾値設定手段７で設定した閾値を
そのまま時間計測手段５及び開閉判定手段８に与える。
もし、演算した可変範囲から逸脱していた場合は、閉側
閾値の値を上限値あるいは下限値の何れかの値に制限し
て、時間計測手段５及び開閉判定手段８に与える。閉側
閾値が可変範囲よりも開側に逸脱しているときは上限値
に制限されると共に、閉側閾値が可変範囲よりも閉側に
逸脱しているときは下限値に制限される。なお、開側閾
値は、閉側閾値よりも固定の所定量だけ開側にあるもの
であるから、閉側閾値の可変範囲に制限が加えられるこ
とによって開側閾値にも同様に制限が加えられる。

【００４８】従って、この実施の形態６によれば、車両
運転者の目が閉じ気味になった場合であっても閾値が不
適当な位置に更新されることが無く、目の開閉を正確に
判定することができる。

【００４９】なお、実施の形態６では、所定時間内にお
いて開閉判定手段８が開状態であると判定したときの最
開値、及び所定時間内において開閉判定手段８が閉状態
と判定したときの最閉値を記録するようにしている。従
って、車両運転者が所定時間内においてずっと目を閉じ
ていて目開閉評価手段４の出力が小さいという状態では
目が開状態であると判定されないので、このような状態
における値を最開値として記録することはない。同様
に、車両運転者が所定時間内においてずっと目を開けて
いて目開閉評価手段４の出力が大きいという状態では目
が閉状態であると判定されないので、このような状態に
おける値を最閉値として記録することはない。よって、
この実施の形態６によれば、目開閉評価手段４の平均的
な出力範囲を正確に演算することができる。

【００５０】実施の形態７．実施の形態７は実施の形態
６の変形例であって、実施の形態６では目が開状態にあ
るときの代表的な値として最開値を用いたが、実施の形
態７では目が開状態にあるときの代表的な値として目が
開状態のときの目開閉評価手段４の出力の平均値を用い
ている。図１７は、実施の形態７の構成を示すブロック
図である。図において、上述の実施の形態と同一あるい
は相当する部分には同一の符号を付している。１４は所
定時間内において開閉判定手段８が開状態であると判定
したときの目開閉評価手段４の出力をフィルタリング処
理する開値フィルタで、開値演算手段を構成している。
１５は開値フィルタ１４と最閉値フィルタ１２との出力
を受け閉側閾値の可変範囲を設定する閾値制限手段であ
る。

【００５１】実施の形態７の基本的な動作は上述の実施
の形態６と同様のものであるから、ここでは主として異
なる点について説明する。開値フィルタ１４は、所定時
間内において開閉判定手段８が目が開状態であると判定
したときの目開閉評価手段４の出力値をフィルタリング
処理しており、車両運転者が目を開いているときの平均
的な値（以下、開値と称する）を出力している。閾値制
限手段１５は、開値フィルタ１４からのフィルタリング
処理された開値と最閉値フィルタ１２からのフィルタリ
ング処理された最閉値とを用いて閉側閾値の可変範囲を
演算する。

【００５２】

【数２】

【００５３】閉側閾値の下限値は、式（３）により得ら
れる。即ち、最閉値を基準とし、これに平均的な開値と
最閉値との差に定数３を掛けたものを加算する。また、
閉側閾値の上限値は、式（４）により得られる。この式
（４）は式（３）と同様のものであるが、平均的な開値
と最閉値との差に乗算される定数が異なっている。ここ
で、定数３、定数４は使用する目開閉評価手段４の出力
特性に合わせて適当な値を選ぶものであるが、式（３）
は下限値、式（４）は上限値を設定するものであるから
定数４は定数３に比し大きな値が選ばれる。閾値制限手
段１５は、閾値設定手段７で設定した閉側閾値が上述の
式で得られた閉側閾値の上限値と下限値との範囲にある
か否かを判定する。閉側閾値が演算した可変範囲内にあ
れば、閾値設定手段７で設定した閾値をそのまま時間計
測手段５及び開閉判定手段８に与える。もし、演算した
可変範囲から逸脱していた場合は、閉側閾値の値を上限
値あるいは下限値の何れかの値に制限して、時間計測手
段５及び開閉判定手段８に与える。閉側閾値が可変範囲
よりも開側に逸脱しているときは上限値に制限されると
共に、閉側閾値が可変範囲よりも閉側に逸脱していると
きは下限値に制限される。

【００５４】よって、実施の形態７では実施の形態６で
説明したのと同様の効果を有する。

【００５５】また、実施の形態７では、目開閉評価手段
４の平均的な出力範囲を演算する際に、目が開状態にお
ける最開値ではなく平均的な値である開値を用いてい
る。従って、目開閉評価手段４の出力にノイズが重畳し
てもこれをフィルタリング処理するので、実施の形態６
に比しノイズによる影響を低減することができる。

【００５６】実施の形態８．実施の形態８は、上述の実
施の形態６、７で設定した閉側閾値の可変範囲を装置起
動後の所定期間経過後に有効にするものである。図１８
は、実施の形態８の構成を示すブロック図である。図に
おいて、１６は装置が動作してから所定期間が経過する
までは閾値の可変範囲の更新を許可すると共に所定期間
の経過後は閾値の可変範囲の変更を禁止する閾値制限制
御手段、１７は装置が起動してから所定期間経過したこ
とを検出する期間検出手段としてのタイマーである。

【００５７】実施の形態８の基本的な動作は上述の実施
の形態と同様であるので、ここでは閾値の可変範囲の設
定を有効にする動作について説明する。一般的に車両運
転者は、装置を起動させたときは覚醒していると考えら
れる。また、５分の間一度も瞬きしないことはないと考
えられる。そこで、実施の形態８ではタイマー１７で装
置が起動してから所定期間である５分が経過したことを
検出するようにしている。そして、閾値制限制御手段１
６は、この５分が経過するまでの間は閾値制限手段１５
で演算される可変範囲の更新を許可している。装置を起
動させてから５分が経過するとタイマー１７は、閾値制
限制御手段１６にその旨を伝える。これを受け、閾値制
限制御手段１６は、閾値制御手段１５の可変範囲の更新
を禁止する。

【００５８】従って、実施の形態８によれば、車両運転
者が覚醒していると思われる期間において閉側閾値の可
変範囲を設定することができる。

【００５９】また、装置起動後の５分間は閉側閾値の可
変範囲の更新が許可されているので、この５分間の間に
可変範囲を更新し、望ましい可変範囲を得ることができ
る。

【００６０】また、装置が起動してから５分経過した後
は可変範囲の更新を禁止して閉側閾値に対する上限値と
下限値とを有効にするので、閉側閾値が望ましくない値
に更新されることがない。

【００６１】なお、実施の形態８では実施の形態７をベ
ースにして説明したが、実施の形態６にも同様に適用す
ることができる。

【００６２】実施の形態９．実施の形態９は、上述の実
施の形態８の変形例である。図１９は、実施の形態８の
構成を示すブロック図である。図において、１８は装置
が動作してから所定期間が経過するまでは閾値の可変範
囲の更新を許可すると共に所定期間の経過後は閾値の可
変範囲の変更を禁止する閾値制限制御手段、１９は装置
が起動してから所定期間経過したことを検出する期間検
出手段としての最閉値記録カウンタである。

【００６３】実施の形態９の基本的な動作は上述の実施
の形態と同様であるので、ここでは閾値の可変範囲の設
定を有効にする動作について説明する。一般的に車両運
転者は、装置を起動させたときは覚醒していると考えら
れる。また、５分の間一度も瞬きしないことはないと考
えられる。しかしながら、瞬きの回数が少ない人の場合
は、５分間で得られる開値あるいは最閉値の個数が少な
いので、瞬きが多い人に比し正確な目開閉評価手段４の
平均的な出力範囲を得ることが難しい。そこで、実施の
形態９では最閉値記録カウンタ１９で装置が起動してか
ら車両運転者が何回瞬きをしたかを計測するようにして
いる。即ち、最閉値記録カウンタ１９には最閉値記録手
段１１の出力が入力されており、最閉値記録手段１１が
最閉値を記録する毎にカウント値を順次１ずつ加算して
いる。最閉値記録カウンタ１９のカウント値が予め定め
た所定値に達すると、最閉値カウンタ１９は閾値制限制
御手段１８に装置を起動してから所定期間経過したと判
定する。ここで、所定期間は、車両運転者が最閉値記録
カウンタ１９に予め定められた回数だけ瞬きを行うまで
の期間である。閾値制限制御手段１８は、車両運転者が
瞬きを所定回数だけ行うまでの間は閾値制限手段１５で
演算される可変範囲の更新を許可している。装置を起動
させてから車両運転者が所定回数だけ瞬きを行うと最閉
値記録カウンタ１９は、所定期間が経過したと判定して
閾値制限制御手段１８にその旨を伝える。これを受け、
閾値制限制御手段１８は、閾値制御手段１５の可変範囲
の更新を禁止する。

【００６４】なお、最閉値記録カウンタ１９に設定され
る所定値は、目開閉評価手段４の平均的な出力範囲を充
分正確に判定できる必要最小限の個数の開値及び最閉値
が得られるだけの数に設定する。

【００６５】従って、実施の形態９によれば、実施の形
態８の効果に加えて、瞬きの回数が個人差により異なっ
ていたとしても、閉側閾値の可変範囲を望ましい範囲に
設定することができる。

【００６６】なお、実施の形態９では実施の形態７をベ
ースにして説明したが、実施の形態６にも同様に適用す
ることができる。

【００６７】実施の形態１０．実施の形態１０は閾値の
評価に関するもので、上述の実施の形態とは別の評価方
法及び装置を提供するものである。図２０は、所定時間
内における目開閉評価手段の出力の度数分布の一例を示
したものである。この図によれば、度数分布は、目が開
状態にあるときの目開閉評価手段の出力の分布と、目が
閉状態にあるときの目開閉評価手段の出力の分布と、目
が開状態から閉状態あるいは閉状態から開状態に変化す
るときの途中の目開閉評価手段の出力の分布との３種類
に大別されている。また、この図によれば図中に破線で
示したように２つの山があるように見える。従って、２
つの山の交点、即ち、破線の交点の部分を望ましい開閉
判定閾値とする。このようにして定められた開閉判定閾
値は、目の開閉動作の途中に相当する部分、即ち図にお
いて略平坦な部分にあり、目の開状態あるいは閉状態を
確実に判定することができる。そして、現在設定してい
る開閉判定閾値と、上述の手法により演算した望ましい
開閉判定閾値との間に偏差があれば、この偏差を減少す
る方向に開閉判定閾値を更新する。

【００６８】図２１は、所定時間内における目開閉評価
手段の出力の度数分布の一例を示したものであって、上
述のものとは別の開閉判定閾値の評価方法を説明するも
のである。図２１では、度数分布が最大となる点よりも
閉側に存在する所定の領域における近似直線が描かれて
いる。そして、所定の領域における近似直線と度数０と
の交点を望ましい開閉判定閾値としている。このように
して定められた開閉判定閾値は、目の開閉動作の途中に
相当する部分にあり、目の開状態あるいは閉状態を確実
に判定することができる。そして、現在設定している開
閉判定閾値と、上述の手法により演算した望ましい開閉
判定閾値との間に偏差があれば、この偏差を無くする方
向に開閉判定閾値を更新する。なお、開閉判定閾値の評
価は、上述の偏差により為されている。即ち、偏差が小
さいほど望ましい評価である。

【００６９】次に、上述の図２０、及び図２１の方法を
実現する装置について説明する。図２２は実施の形態１
０の構成を示すブロック図である。図において、上述の
実施の形態と同一あるいは相当する部分には同一の符号
を付している。２０は所定時間毎における目開閉評価手
段４の出力の度数分布を計測する度数計測手段、２１は
計測された度数分布に基づき開閉判定閾値を設定する閾
値設定手段である。

【００７０】実施の形態１０の基本的な動作は、実施の
形態１と同様のものである。即ち、カメラ１の映像情報
を画像入力手段２に入力してＡ／Ｄ変換し、目領域判定
手段３において上述の実施の形態で説明した手法により
目領域が判定され、目開閉評価手段４では車両運転者の
目の開度に応じた目開閉評価出力値が出力される。この
目開閉評価出力値は度数計測手段２０に与えられ、所定
時間毎に図２０、２１に示したような度数分布が計測さ
れる。閾値設定手段２１は、この度数分布に基づき、上
述した手法により望ましい開閉判定閾値を演算する。こ
の開閉判定閾値は現在設定されている開閉判定閾値と比
較されその偏差が演算される。そして、閾値設定手段２
１は、この偏差が減少する方向に開閉判定閾値を更新し
て再設定し、再設定した開閉判定閾値を開閉判定手段８
に与える。なお、開閉判定閾値の更新は、所定時間毎、
即ち新しい度数分布が計測される毎に検討される。

【００７１】よって、実施の形態１０によれば、目開閉
評価出力値の度数分布に基づいて開閉判定閾値を設定
し、且つ、更新しているので、個人差及び撮像環境の変
化に拘わらず、車両運転者の目の開閉を正確に判定する
ことができる。

【００７２】なお、実施の形態１０では閾値として開閉
判定閾値を１つのみ設けたが、上述の実施の形態のよう
に２つの閾値を用意しても良い。この場合は、実施の形
態１０で説明した開閉判定閾値を基準として開側閾値と
閉側閾値とを設ければよい。もしくは、この実施の形態
で演算した開閉判定閾値を閉側閾値とし、この閾値に所
定値を加えて開側閾値を設定しても良い。

【００７３】また、実施の形態１乃至１０は、上述した
発明の精神に基づいて如何様に組み合わせても良い。以
上の通り顔画像処理装置及び顔画像処理方法について説
明したが、これらは上述の実施の形態に限られるもので
はなく、発明の精神の範囲内において様々な形態を提供
することができる。

【図面の簡単な説明】

【図１】 実施の形態１の構成を示すブロック図であ
る。

【図２】 実施の形態１の動作を説明するタイムチャー
トである。

【図３】 実施の形態１の動作を説明するタイムチャー
トである。

【図４】 実施の形態１の動作を説明するタイムチャー
トである。

【図５】 目開閉評価出力値を検出するフローチャート
である。

【図６】 目開閉評価出力値を説明する説明図である。

【図７】 実施の形態２の開閉判定動作を説明する説明
図である。

【図８】 実施の形態３による閾値評価手段の動作を説
明する説明図である。

【図９】 閾値の更新の様子を示す説明図である。

【図１０】 実施の形態４の動作を説明するタイムチャ
ートである。

【図１１】 実施の形態４の動作を説明するタイムチャ
ートである。

【図１２】 実施の形態４の動作を説明するタイムチャ
ートである。

【図１３】 実施の形態４による閾値評価手段の動作を
説明する説明図である。

【図１４】 閾値の更新の様子を示すタイムチャートで
ある。

【図１５】 実施の形態５の動作を説明する説明図であ
る。

【図１６】 実施の形態６の構成を示すブロック図であ
る。

【図１７】 実施の形態７の構成を示すブロック図であ
る。

【図１８】 実施の形態８の構成を示すブロック図であ
る。

【図１９】 実施の形態９の構成を示すブロック図であ
る。

【図２０】 実施の形態１０の閾値設定手法を示す説明
図である。

【図２１】 実施の形態１０の別の閾値設定手法を示す
説明図である。

【図２２】 実施の形態１０の構成を示すブロック図で
ある。

【符号の説明】

１：カメラ、２：画像入力手段、３：目領域判定手段、
４：目開閉評価手段、５：時間計測手段、６：閾値評価
手段、７：閾値設定手段、８：開閉判定手段、９：最開
値記録手段、１０：最開値フィルタ、１１：最閉値記録
手段、１２：最閉値フィルタ、１３：閾値制限手段、１
４：開値フィルタ、１５：閾値制限手段、１６：閾値制
限制御手段、１７：タイマー、１８：閾値制限制御手
段、１９：最閉値記録カウンタ、２０：度数計測手段、
２１：閾値設定手段、

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 B60K 28/06 G06T 1/00 G08G 1/16

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 顔画像を撮像するカメラと、このカメラ
   の撮像情報に基づき被撮像者の目の開度を検出する開度
   検出手段と、この開度検出手段の検出結果を閾値を用い
   て複数のグループに分類するとともに所定時間内におい
   て前記開度検出手段の検出結果が前記複数のグループの
   内の所定のグループに属する時間を積算計測する時間計
   測手段と、この時間計測手段の計測結果に基づいて前記
   閾値の妥当性を評価する閾値評価手段と、この閾値評価
   手段の評価結果に基づき前記閾値の値を再設定する閾値
   設定手段と、前記閾値を用いて前記被撮像者の目の開閉
   を判定する目開閉判定手段とを備えたことを特徴とする
   顔画像処理装置。
2. 【請求項２】 所定のグループは閾値により分類された
   複数のグループの内の２つのグループであって、閾値評
   価手段は時間計測手段により計測された前記２つのグル
   ープの計測結果の比率と予め定められた所定値との偏差
   を演算するものであって、閾値設定手段は前記偏差が減
   少する方向に前記閾値の値を更新するものであることを
   特徴とする請求項１記載の顔画像処理装置。
3. 【請求項３】 閾値設定手段は、開度検出手段の検出結
   果の平均値から所定量だけ離れた位置に閾値の初期値を
   設定するとともに、開度検出手段の検出出力が所定時間
   内において前記閾値を横切らない場合は前記閾値を前記
   平均値の方向に更新することを特徴とする請求項１記載
   の顔画像処理装置。
4. 【請求項４】 開度検出手段の検出結果に基づき被撮像
   者の目が開状態にあるときの代表的な値を演算する開値
   演算手段と、開度検出手段の検出結果に基づき被撮像者
   の目が閉状態にあるときの代表的な値を演算する閉値演
   算手段と、前記開値演算手段と前記閉値演算手段との演
   算結果に基づき閾値の可変範囲を設定する閾値制限手段
   とを備えたことを特徴とする請求項１記載の顔画像処理
   装置。
5. 【請求項５】 装置が動作してから所定期間経過したこ
   とを検出する期間検出手段と、前記所定期間が経過する
   までは閾値の可変範囲の更新を許可するとともに前記所
   定期間の経過以後は前記閾値の可変範囲の更新を禁止す
   る閾値制限制御手段とを備えた請求項４記載の顔画像処
   理装置。
6. 【請求項６】 顔画像を撮像するカメラと、このカメラ
   の撮像情報に基づき被撮像者の目の開度を検出する開度
   検出手段と、所定時間毎における前記開度検出手段の検
   出結果の度数分布を計測する度数計測手段と、前記度数
   分布が略平坦となる範囲内に閾値を設定するとともに前
   記度数分布の更新に応じて前記閾値を更新する閾値設定
   手段と、前記閾値を用いて前記被撮像者の目の開閉を判
   定する目開閉判定手段とを備えたことを特徴とする顔画
   像処理装置。
7. 【請求項７】 顔画像を撮像するカメラの撮像情報に基
   づき被撮像者の目の開度を検出するステップと、この検
   出結果を閾値を用いて複数のグループに分類するステッ
   プと、所定時間内において前記目の開度の検出結果が前
   記複数のグループの内の所定のグループに属する時間を
   積算計測するステップと、この時間の計測結果に基づい
   て前記閾値の妥当性を評価するステップと、この評価結
   果に基づき前記閾値の値を再設定するステップと、前記
   閾値を用いて前記被撮像者の目の開閉を判定するステッ
   プとを備えたことを特徴とする顔画像処理方法。
8. 【請求項８】 顔画像を撮像するカメラの撮像情報に基
   づき被撮像者の目の開度を検出するステップと、所定時
   間毎における前記目の開度の検出結果の度数分布を計測
   するステップと、この度数分布が略平坦となる範囲内に
   閾値を設定するステップと、前記度数分布の更新に応じ
   て前記閾値を更新するステップと、前記閾値を用いて前
   記被撮像者の目の開閉を判定するステップとを備えたこ
   とを特徴とする顔画像処理方法。