JP5680667B2

JP5680667B2 - 運転者の覚醒状態の特定システム及び方法

Info

Publication number: JP5680667B2
Application number: JP2012541628A
Authority: JP
Inventors: チダナンダ、ケー．エス．; ブホウミック、ブロジェスワー
Original assignee: Tata Consultancy Services Ltd
Current assignee: Tata Consultancy Services Ltd
Priority date: 2009-12-02
Filing date: 2010-12-02
Publication date: 2015-03-04
Anticipated expiration: 2030-12-02
Also published as: US9483695B2; CN102696041A; EP2507742A2; JP2013513155A; WO2011067788A2; WO2011067788A3; US20130010096A1; CN102696041B

Description

本発明は、目の追跡及び運転者の覚醒度を識別するためのシステム及び方法に関する。具体的には、本発明は、運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストなシステム及び方法に関し、車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて事故を回避するものである。

運転者の疲労及び運転者の睡眠不足、特にトラックやバスなどの大型車両を運転する運転者の疲労及び睡眠不足は、長年にわたる問題である。毎年、眠気を催した個人が運転中に居眠りをした結果、多くの路上事故及び死亡者が発生している。運転者の覚醒状態を検知し、眠気を催して居眠りをする運転者に警告する機構を有することができれば、このような事故を大幅に防ぐことができる。

車両の運転者の覚醒度を検知する方法がないことは、長年にわたる問題である。

次に挙げるように、目の追跡及び運転者の覚醒度認識に関するいくつかの発明が公知である。

ＫｉｎｇｍａｎＹｅｅの特許文献１は、目の位置を導き出すために、強膜と虹彩との間のコントラストを利用して目の位置を感知し、追跡するための改良型装置、システム及び方法を教示している。この発明は、具体的には、角膜切除屈折手術（ＰＲＫ）、角膜混濁除去手術（ＰＴＫ）、レーシック（ＬＡＳＩＫ）など、レーザによる目の手術の間に目の位置を追跡するために有益である。

Ｔａｂｏａｄａの特許文献２は、人間の目の視線を追跡する装置を開示している。より具体的には、特許文献２は、目に反射する赤外線（ＩＲ）ビームを分析することによって、目の動きを追跡する光学装置を開示している。

Ｓｍｉｔｈの特許文献３は、人の頭部及び顔の特徴を単一の搭載カメラによって追跡することを開示している。この搭載カメラは自動的に起動可能な全自動システムを備え、必要に応じて再初期化し、リアルタイムに出力を提供することができる。特許文献３が提示するシステムは、重要であると選択された画素の赤（Ｒ）、緑（Ｇ）、青（Ｂ）要素を示すＲＧＢ列を用いており、また、日中と夜間条件では異なるアルゴリズムで動作する。

ＣｌａｒｋｅＳｒの特許文献４は、赤外線カメラを介して、運転者の目が開いている場合と閉じている場合との画素色における赤外線画像の変化を監視する装置を開示している。この装置は、映像電荷結合素子を通過するデジタル画像の熱に敏感な赤外線部分を用いる。動きがないことと、低換気に対する生理的反応、つまり眠気を催す、息の温度の低下が組み合わさると、赤外線カメラが起動し、運転者の目領域を拡大する。

ＣｈｒｉｓｔｏｓＴ．Ｋｙｒｔｓｏの特許文献５は、車両の挙動、たとえば速度、横方向の位置、曲がる角度などを測定することによって覚醒度を検知することを開示している。

ＴｏｍｏｋａｚｕＮａｋａｍｕｒａの特許文献６は、目領域を構成する画素の画素データに基づき、目領域の目の状態を示す特徴値を算出することによって、目の状態（瞬きを含む）を識別する手段を教示する。閾値設定手段は、対象となる目が開状態のときの対象となる目に対して算出された特徴値に基づいて、開状態から閉状態への第１の遷移点における特徴値を示す第１の閾値及び閉状態から開状態への第２の遷移点における特徴値を示す第２の閾値を算出する。

ＲｉａｄＩ．Ｈａｍｍｏｕｄの特許文献７は、目的物追跡方法を教示している。この方法では、背景から対象目的物を抽出するためにグレースケールのハットフィルタを用いて、対象目的物を順次生成される赤外線映像画像の中から追跡する。目的物が人の目である場合は、目の状態及び決定の確かさは、バイナリブロブの形状と外観をその大きさの変化及び以前の目の状態と合わせて分析し、対応するパラメータを目の状態の決定行列に適用することによって決定される。

Ｒｕｉの特許文献８は、映像及び／または音声内容のフレームを受信し、フレームの新しい顔領域に対する候補区域を特定することによって、複数の個人を自動的に検知及び追跡することを教示している。１または複数の階層的検証レベルを用いて、人間の顔が候補区域にあるかを検証し、１または複数の階層的検証レベルによって、候補区域に人間の顔があると検証されると、候補区域に顔が含まれることを示す指標が作成される。複数の音声及び／または映像の合図を用いて、検証された各顔をフレームごとに映像内容において追跡する。

上記に記載した覚醒度検知装置のほとんどはセンサ技術に頼っている。この中にはコンピュータによる資格技術を用いて作成されているものもあるが、これらの覚醒度検知装置は覚醒度を検知するために複雑な方法を用いており、費用がかかる。全体として、上記の方法は、疲労と睡眠不足に悩む運転者の覚醒を監視するために目領域を追跡するには、不適切であり、不正確である。

したがって、上記先行技術に照らして、簡便で、設置が簡単であり、低費用で高精度を提供する、目の追跡及び運転者の覚醒度識別のためのシステム及び方法に対する必要性があることは明らかである。

米国特許第６２８３９５４号米国特許第５３４５２８１号米国特許第６９２７６９４号米国特許第５６８９２４１号米国特許第５９００８１９号米国公開特許第２００８０２５２７４５号米国特許第７３６２８８５号米国特許第７１３０４４６号

本発明の主な目的は、車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて、事故を回避するために運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストなシステム及び方法を提供することである。

本発明の別の目的は、瞳孔現象とは独立して、目の追跡を行うことであり、収縮画像においてヒストグラム均等化及びモルフォロジ変換を行うことによって、顔バウンディングボックス内でモルフォロジ収縮処理を実行する。

本発明の別の目的は、カーネル追跡アルゴリズムを用いて、目の追跡及び顔の追跡を行うためのロバストな方法を構想するシステム及び方法を提供することである。

本発明の別の目的は、目の部分の位置を特定することである。その方法は、まず顔の追跡を行い、次に顔バウンディングボックス内でカーネルに基づく顔及び目の追跡アルゴリズムを用いて、目の追跡を行うことである。

本発明の別の目的は、モルフォロジ変換画像及びヒストグラム均等化画像などの、後にカーネル追跡アルゴリズムのパラメータとなる特徴を収集する方法を提供することである。

本発明のさらに別の目的は、ヒストグラム均等化、モルフォロジ演算及びヒストグラム及び濃度共起行列を用いる及びテクスチャベースのパラメータを用いて、目の状態を検知するシステム及び方法を提供することである。

本発明の別の目的は、運転者が居眠り状態にあることを検知した後に、運手者に警告をするための、運転者に対する音声または音声映像を提供することである。

本発明の方法、システム及びハードウェアの使用可能性について説明するに当たり、本発明は、記載した特定のシステム及び方法論に制限されない。本開示では明示的に例示されない本発明の複数の可能な実施形態があるためである。また、本明細書で使用する用語は特定の様式または実施形態を説明する目的でのみ使用されるものであり、本発明の範囲を制限することを意図するものではなく、本発明の範囲は添付の請求の範囲によってのみ制限される。

本発明は、車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて、事故を回避するために運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストなシステム及び方法を提供する。

本発明は、車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて、事故を回避するために運転者の目の覚醒状態を特定し追跡するための、費用対効果が高く、ロバストな方法を実現する。上記方法は、プロセッサが実行する以下のステップを備える。すなわち、撮像画像においてリアルタイムに顔の追跡を行い、顔バウンディングボックス内で目バウンディングボックスの位置を、セグメンテーション処理を用いて濃淡値と閾値を比較することによって特定するステップと、目の重心を計算して目の追跡を行い、１つの場所から別の場所まで、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを算出し、続いてそれらを比較して距離を特定し、その後に加重平均によって対象の中心の変位を算出するステップであって、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを、ヒストグラム均等化画像範囲及びモルフォロジ変換画像を含む特徴空間に基づいて算出するステップと、ヒストグラム均等化、モルフォロジ演算及びヒストグラムと濃度共起行列を用いたテクスチャベースのパラメータを用いて目の覚醒状態を検知するステップである。

本発明のさらに別の態様では、衝突を避けるために、検知した目の覚醒状態を用いて運転者に警告するための警報手段を備える。警報手段は、音声及び音声映像装置であってよく、警報、音声による注意、画面を備える表示器を含むが、これらに限定されない。本発明の別の態様によれば、近赤外線カメラは運転者に向かって車両内部に設置される。

本発明の様々な実施形態による、事故のために運転者の目の覚醒状態を特定し追跡するための方法を例示するフローチャート本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域を例示する写真本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化を例示する写真本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する写真本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域を例示する写真本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化を例示する写真本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する写真本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域を例示する写真本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化を例示する写真本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する写真本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域を例示する写真本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化を例示する写真本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する写真本発明の例示的実施形態による、運転者の覚醒度識別状態を例示するグラフ本発明の例示的な実施形態による、運転者の覚醒度識別状態を例示するグラフ

上記の概要、及び下記の発明を実施するための形態の詳細な説明は、添付図と合わせて説明される。本発明を例示するために、本発明の構成例を図に示すが、本発明は図に開示される特定の方法及び装置に限定されない。

本発明の実施形態のいくつかを、特徴を例示しながら詳細に説明する。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含有する（ｃｏｎｔａｉｎｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」という単語及びこれらの活用形は、意味として同義であり、これらの単語に続く１または複数の項目が、該当する１または複数の項目の完全な列記であることを意味するものではなく、また、列記した１または複数の項目にのみ限定されることを意味するものではないという点で制約を受けないことを意図している。また、本明細書及び付属の特許請求の範囲に用いられるように、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」は、別途明確に指示がない限り、複数の参照を含むことに注意すべきである。本明細書に記載するシステム及び方法と類似するか同等である任意のシステム及び方法を用いて、本発明の実施形態の実施または試験を行うことができるが、好ましいシステム及び方法を以下に説明する。開示する実施形態は単に本発明の実施例であり、当業者によって様々な形態で実施されてもよい。

車両上に設置される近赤外線（ＩＲ）カメラで撮像した画像を用いて、事故を回避するために運転者の覚醒状態を決定するための費用対効果が高くロバストな方法であって、その方法はプロセッサが実行する以下のステップを備える。すなわち、
ａ）顔の右端と顔の左端の座標間の差異に基づいて顔の幅を決定することによって、及び鼻の先端位置と眉の位置との差を２倍したものと、眉の位置の座標との差異に基づいて顔の高さを決定することによって、顔バウンディングボックスを決定し、セグメンテーション処理を用いて目バウンディングボックスを決定するステップと、
ｂ）セグメンテーション処理から得た、閾値よりも大きな濃淡値を収集することによって、リアルタイムに顔追跡を行うステップと、
ｃ）顔バウンディングボックス内でモルフォロジ収縮を実行することによってリアルタイムに目追跡を行い、次にヒストグラム均等化及びその後モルフォロジ変換を顔バウンディングボックスで収集するステップと、
ｄ）目の重心を計算することによって目追跡を行い、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを、ヒストグラム均等化画像範囲及びモルフォロジ変換画像の輝度範囲に基づいて算出するステップと、
ｅ）対象のモデルヒストグラムと対象候補のモデルヒストグラムとの間の距離を算出し、対象の中心の変位を算出するステップ、
である。

本発明の１つの例示的実施形態によると、費用対効果が高くロバストなシステムは、画像を撮像するための、運転者に対向して車両上に設置される近赤外線カメラと、近赤外線カメラ内に収容され、事故を回避するために、撮像画像をリアルタイムで分析し、運転者の目の覚醒度の状態を特定し、追跡するプロセッサとを備える。

図１は本発明の様々な実施形態による、事故を回避するために運転者の目の覚醒度の状態を特定し追跡するための、方法１００を例示するフローチャートである。

本発明の１つの例示的実施形態では、車両上に設置される近赤外線（ＩＲ）カメラで撮像した画像１１０を用いて、事故を回避するために運転者の目の覚醒状態を識別し、追跡するための費用対効果が高いシステムを用いる。本発明の別の態様によれば、近赤外線カメラは運転者に向かって、車両の外部または内部のいずれかに設置することができる。本発明の１つの例示的実施形態では、近赤外線カメラは運転者に向かって車両内部に設置される。

本発明の１つの態様によれば、近赤外線カメラの解像度は３５２×２８８である。本発明の１つの態様によれば、近赤外線カメラの近赤外線範囲は、歩行者を検知し、追跡するために、（０．７〜１）ミクロンから５ミクロンの範囲から選択することができる。本発明の１つの態様によれば、近赤外線カメラの温度範囲は、歩行者を検知し、追跡するために、７４０ケルビンから３、０００〜５、２００ケルビンから選択することができる。

本発明の１つの態様によれば、プロセッサは、近赤外線カメラ本体、車両の外部または内部、車両の上面またはダッシュボードの上端部のいずれかに設置することができる。本発明の１つの例示的実施形態では、プロセッサは近赤外線カメラ本体の内部に設置される。本発明の別の態様によれば、プロセッサはＤａｖｉｎｃｉＤＭ６４４６プロセッサ、ＡＤＳＰ−ＢＦ５３３、７５０ＭＨｚＢｌａｃｋｆｉｎプロセッサの群から選択することができる。

上記の費用対効果の高い方法は、プロセッサが実行する様々なステップを備える。全体の画像の中で、目のような小さい目的物を追跡することは困難である。したがって、目の検索の位置を特定するために、提案する方法の第１のステップにおいて、顔バウンディングボックスの中で、最初に顔の追跡を行い、次に目の追跡を行う。

プロセッサはセグメンテーション処理を用いて、目の形１２０、及び眉毛、鼻の先端、垂直方向の顔の中心などの顔の目印を識別するコードを実行する。顔の追跡を行うために、プロセッサは次の方程式を用いて、顔の座標を決定するコードを実行する。
顔の幅＝顔の右端−顔の左端
顔の高さ＝２×（鼻の先端位置−眉毛の位置）−眉毛の位置

目の追跡を行うために、プロセッサは、セグメンテーション処理を用いて目バウンディングボックスを決定するコードを実行する。顔１３０を追跡するために、プロセッサは特徴を集めるコードを実行し、この特徴はセグメンテーション処理から得る閾値よりも大きい濃淡値のみである。目の追跡１４０を行うために、プロセッサは特徴を集めるコードを実行する。この特徴は顔バウンディングボックスにおけるヒストグラム均等化及び顔バウンディングボックスにおけるモルフォロジ変換である。

目の追跡の際の主な障害は、瞳孔現象を除外することである。目の追跡を瞳孔現象とは独立して行うためには、プロセッサは第１のモルフォロジ収縮処理を顔バウンディングボックス内で実行する。この収縮画像から、ヒストグラム均等化及びモルフォロジ変換が行われる。

ヒストグラム均等化は、入力画像のレベルを広範な輝度にわたって広げることによって、均等なヒストグラムを有する出力画像を生成する。プロセッサがヒストグラム均等化を出力画像に適用するコードを実行すると、暗い画像ははるかに暗くなり、明るい画像ははるかに明るくなる。プロセッサは、暗い目的物（つまり目）を明るい背景（つまり顔バウンディングボックス）から、モルフォロジ変換を用いて抽出するコードを実行する。

提案する方法の第２のステップでは、プロセッサは１つの場所から別の場所まで、目の重心、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを計算することによって目の追跡を行い、続いてそれらを比較して距離を特定し、その後に加重平均によって対象の中心の変位を算出する。対象のモデルヒストグラム及び対象候補のモデルヒストグラムを、ヒストグラム均等化画像範囲及びモルフォロジ変換画像を含む特徴空間に基づいて計算する。

目の追跡１４０のために、プロセッサは次のステップを実行する。第１のステップでは、プロセッサは、目のブロブの重心を中心ｍ０と見なし、次に特徴空間を考慮して対象のモデルヒストグラムを算出するコードを実行する。

対象モデル：

次のフレームからは、対象の中心を以前の場所（ｙ０）に初期化し、プロセッサは同じ特徴空間を考慮して対象候補のヒストグラムを算出するコードを実行する。

次に、プロセッサは、対象モデルと対象候補ヒストグラム間の距離を算出するコードを実行する。

式中、ρ［．］はｐとｑとの間のバタチャリヤ係数である。

次に、プロセッサは対象の中心の変位を加重平均によって算出する。

式中、次式となる。

新しい対象の場所を発見すると、プロセッサは次のコードを実行する。
１）ヒストグラム均等化画像範囲及びモルフォロジ変換画像に関与する、同じ特徴空間での新しい場所での対象候補ヒストグラムを計算する。
２）次に次項を計算する。

３）

４）次式のときは停止する。

または、ｙ_０＜−ｙ_１を設定し、加重を取り除き、次に新しい場所に行き、ステップ１に戻る。

上記の追跡処理を用いると、目の揺れがあることもある。その理由は主に次の通りである。
ａ）モルフォロジ変換画像において、ノイズも非常に明るく現れることがあり、その結果、画素が鼻の画素なのか目の画素なのかあいまいになる。
ｂ）位置及び速度情報は含まれていない。

上記の問題を解決するために、プロセッサはモルフォロジ変換画像において目を眉に対してマッピングして目の画素を識別し、それによってモルフォロジ変換画像で明るく見える鼻の画素を回避する。

モルフォロジ変換画像において目を眉に対してマッピングするために、プロセッサは次のステップを実行する。
ａ）目を眉に対してマッピングする
目は眉の下に現れるため、本発明者らはこの手がかりを用いて画素が目の画素か鼻の画素かを識別する。
モルフォロジ変換画像において目を眉に対してマッピングすることは以下に関与する。

一方、モルフォロジ変換画像において鼻を眉に対してマッピングすることは、次のいずれかに関与する。

ｂ）方向推定
最初の４フレームでは、目の重心の位置をＦＩＦＯ（先入先出法）またはキューで保存する。現在のフレームに関しては、新しい重心をカーネル追跡アルゴリズムを用いて算出する前に、プロセッサは、次の方程式を用いて重心を更新するコードを実行する。

車環境において必然的に起こる急な動きがある場合、頭部の位置及び目の位置は急激に変化する。目の追跡を行うために、プロセッサは前のフレームに対する現在のフレームの頭部の位置の変化を検知するコードを実行する。コードの条件は次の通りである。

上記の条件が確認され設定されると、カーネル追跡アルゴリズムは目の追跡を行うことはできなくなるが、顔は目に比べてサイズが大きいため、顔の追跡は行われる。

大きな変化（動き）がある場合でも目の追跡を続けて行うために、プロセッサはＳＡＤ（絶対値の差の総和）に基づいて目のテンプレートマッチングを算出する。カーネル追跡アルゴリズムの最後には、追跡された目はテンプレート画像として保存される。

追跡過程において、目バウンディングボックスの位置を特定する。最終ステップでは、プロセッサは、目１５０の覚醒状態をヒストグラム均等化、モルフォロジ演算及び、ヒストグラム及び濃度共起行列を用いる、テクスチャベースのパラメータによって検知する。

このようなプロセッサが実行する方法を下記で詳細に検討する。

ヒストグラム均等化処理に移る前に、プロセッサは、目バウンディングボックスを眉の重心に向かって上方に延長するコードを実行する。この領域で、プロセッサは、ヒストグラム均等化処理を目バウンディングボックスに適用するコードを実行する。ヒストグラム均等化は画像のヒストグラムを用いてコントラストを調整する、画像処理における方法である。ヒストグラム均等化とは、画像のヒストグラムのダイナミックレンジを増加させる技法である。ヒストグラム均等化は出力画像が均一の輝度分布を有するように、入力画像の画素の輝度値を割り当てる。それによりコントラストが向上する。ヒストグラム均等化の目的は均一のヒストグラムを得ることである。本技法は画像全体または画像の一部のみにも行うことができる。

ヒストグラム均等化は輝度分布を再分布する。任意の画像のヒストグラムに多くの谷または山がある場合は、均等化後もまだ谷や山を有するものの、谷及び山の位置はずれる。このため、ヒストグラム均等化を説明するには「拡張」という用語の方が「平坦化」よりもふさわしい。ヒストグラム均等化では、各画素には前の輝度に基づいて新しい輝度が割り当てられる。

次のステップにおいて、プロセッサは、構造要素を持つこのような画像の線収縮を計算することによって、ヒストグラム均等化画像の明瞳孔現象を排除する。構造要素の幅は眉の幅の１／３に等しく、構造要素の高さは１に等しい。

明瞳孔現象を排除するために、プロセッサは次のステップを実行する。

個別の濃度画像｛ｘ｝を考慮し、ｎ_ｉを濃度ｉの発生数とする。画像中の濃度ｉの画素の発生確率を次の式で求める。
ｐ_ｘ（ｉ）＝ｐ（ｘ＝ｉ）＝ｎ_ｉ／ｎ，０≦ｉ≦Ｌ

式中、Ｌは画像の濃度の総数であり、ｎは画像の画素の総数であり、及びはｐ_ｘは実際の画像のヒストグラムであり、［０、１］区間に正規化される。

ｐ_ｘに対応する累積分布関数を次式のように定義する。

上記式も画像の累積正規化ヒストグラムである。

さらに、変換をｙ＝Ｔ（ｘ）の形で行い、新しい画像｛ｙ｝を生成し、新しい画像のＣＤＦが、ある定数Ｋに対して値の範囲にわたって、
ｃｄｆ_ｘ（ｉ）＝ｉＫ
と、直線となるようにする。

ＣＤＦの特性によって、次の変換の実行が可能となる。
ｙ＝Ｔ（ｘ）＝ｃｄｆ_ｘ（ｘ）

Ｔが濃度を範囲［０、１］にマッピングすることに注意されたい。値を元の範囲に戻してマッピングするためには、次の簡単な変換を結果に適用する必要がある。
ｙ^ｉ＝ｙ．（ｍａｘ｛ｘ｝−ｍｉｎ｛ｘ｝）＋ｍｉｎ｛ｘ｝

ヒストグラム均等化処理後は、濃度画像の暗い部分はさらに暗く、濃度画像の明るい部分をさらに明るく見える。目の明瞳孔現象ははるかに明るく見え、また、ときには明瞳孔現象が検知されないときもあるため、明瞳孔現象を抑制するために、線収縮を構造要素に対して行い、構造要素の幅を眉の１／３とし、構造要素の高さを１とする。

Ａが濃度画像であり、Ｂが構造要素である場合、Ｚ^２における集合Ａ及びＢに対して、ＢによるＡの収縮を次式で算出する。

収縮後、小さな不要成分も存在することがある。不要成分を抑制し、目領域を保持するために、高さ及び幅が３に等しい構造要素に対してグレースケールオープニングを行う。

数学的モルフォロジにおいて、オープニングは、集合Ａの収縮を構造要素Ｂによって膨張させることである。

Ａが濃度画像であり、Ｂが構造要素の場合、Ｚ^２における集合Ａ及びＢに対して、ＢによるＡのモルフォロジオープニングは次式で算出する。

次のステップでは、プロセッサはヒストグラムベースの手法を用いて、テクスチャ解析を行う。この手法は、ヒストグラムとして表される画像のすべてまたは一部における、輝度濃度に基づき、目の状態を識別する。一様性の値または角二次モーメント（ＡＳＭ）テクスチャパラメータの値は目を閉じている場合には高くなり、目を開いている場合には低くなる。

テクスチャ解析を行うために、プロセッサは次のステップを実行する。
第１のステップでは、プロセッサはテクスチャベースの解析を画像に実施するコードを実行する。

テクスチャは画像の表面及び構造を表す特性である。テクスチャは、表面の要素またはパターンの定期的な繰り返しとして定義することができる。画像テクスチャは複雑な映像パターンであり、明るさ、色、形、大きさなどの特徴を持つサブパターンを有するエンティティまたは領域から構成される。画像領域は、その特徴のセットが一定であれば、ゆっくりと変化するか、または適切に周期的である一定のテクスチャを有する。テクスチャ解析はテクスチャ分類、画像セグメンテーション、及び画像形状認識作業において主なステップである。画像セグメンテーション及び形状認識は、通常は画像内の対象または目的物認識の前処理のステップである。

テクスチャを特徴づける数学的手順は次の２つの主なカテゴリに分類される。
１．統計的
２．統語的

統計的手法は様々な特性を計算し、テクスチャのプリミティブな大きさと画素の大きさとが同程度である場合には適切である。これらの手法にはフーリエ変換、畳み込みフィルタ、共起行列、空間的自己相関、フラクタルなどがある。

統語的方法及び混合方法（統計的方法と統語的方法）は、プリミティブを色調の特性だけではなく、たとえば形状記述など多種の特性を用いて記述できるテクスチャに適している。これらの特性を用いて、プリミティブを識別、定義することができ、ラベルを割り当てることができる。濃度画像にたいしては、色調を明るさと置き換えることもできる。

テクスチャを記述するための最も簡単な手法の１つは、画像または領域の濃度ヒストグラムの統計学的モーメントを用いることである。ヒストグラムベースのテクスチャ解析方法はヒストグラムとして表される画像のすべてまたは一部の輝度濃度に基づく。一般的な特徴は、平均、変数、分散、二乗平均値または平均エネルギ、エントロピ、歪度及び尖度などのモーメントを含む。

Ｚを濃度を表す無作為な変数とし、ｐ（Ｚ_ｉ），Ｉ＝０，１，２，Ｌ−１を対応するヒストグラムとすると、Ｌは区別される濃度の数である。

平均のＺのｎ番目のモーメントは次式で求められる。

式中、ｍはＺの平均値（平均濃度）であり、以下のように求められる。

本発明の一実施形態では、「一様性または角二次モーメント（ＡＳＭ）」テクスチャパラメータを用いた。これは局所的な同質性の測定値である。移動窓の画素が非常に類似しているときに、ＡＳＭの値は高くなる。

上記の一様性は次の方程式で求められる。

一様性の値は０から１までの間である。このパラメータは目を閉じている場合には高くなり、目を開いている場合には低くなる。

任意には、プロセッサは濃度共起行列のコントラストを用いて、Ｎフレームの帯域が同じ特性を有する場合は、目が閉じていることを検知することによって、目の状態を識別する。

目の状態を検知するために、プロセッサは次のステップを実行する。
共起行列は、共起分布ともよばれるが、所定のオフセットで共起値を分布する画像上に画定される。数学的には、共起行列Ｃはｎ×ｍ画像Ｉ上に画定され、オフセット（Δｘ、Δｙ）によって、次のようにパラメータ化される。

この濃度共起行列において、１つのパラメータである「コントラスト」が目の状態を検知する識別要素であることが分かった。

プロセッサは次式を用いてコントラストを算出するコードを実行する。

分類のために、プロセッサを用いて、第１のＴフレームを追跡開始時から観察する。各フレームに対して、プロセッサは、各特徴のμ及びσを動的に算出するコードを実行する。初期値ではμ＝特徴値であり、σ＝０である。特徴＞μ＋３×σであるフレームまたは特徴＜μ−３×σであるフレームでは、これらの２つのパラメータの更新は行われない。Ｎフレームの帯域が同じ特性を持っていると判明する場合は、目が閉じていることを示す信号が送られる。

図２Ａは本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域を例示する。

図２Ｂは本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化を例示する。

図２Ｃは本発明による、運転者の１つの例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する。

図２Ｄは本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域を例示する。

図２Ｅは本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化を例示する。

図２Ｆは本発明による、運転者の１つの例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する。

図３Ａは本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域を例示する。

図３Ｂは本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化を例示する。

図３Ｃは本発明による、運転者の別の例示的な頭部位置において、閉じた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する。

図３Ｄは本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域を例示する。

図３Ｅは本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化を例示する。

図３Ｆは本発明による、運転者の別の例示的な頭部位置において、開いた目に対して検知された目領域のヒストグラム均等化をモルフォロジ変換した結果を例示する。

図４Ａ及び図４Ｂは、本発明の例示的実施形態による、運転者の覚醒度識別状態を例示するグラフを示す。

本発明のさらに別の態様では、警報手段を用いて衝突を避けるために、検知した目の覚醒状態を用いて運転者に警告を与え、警報手段は音声及び音声映像装置、警報の発生、音声による注意、指標及び表示であってよい。

本発明の様々な実施形態を参照して上記の説明を提示してきた。
本発明の技術分野の当業者には、説明した処理及び操作方法において修正及び変更が、本発明の原理、精神及び範囲を無意味に逸脱せずに実行できる。

以上より、目の追跡及び運転者の覚醒度識別のために本発明が提示するシステム及び方法の有利性のいくつかは以下の通りである。
１．ヒストグラム均等化、モルフォロジ演算及びテクスチャベースの解析を用いることによって、目の位置をより正確に追跡できる。
２．突然の動きがある場合には、目の位置の変化に対してシステムを適用する。
３．運転者に対する警告戦略を本システムの覚醒度検知の適用と連動する。
４．目の追跡を瞳孔現象とは独立して行う。モルフォロジ収縮処理を、収縮画像においてヒストグラム均等化及びモルフォロジ変換を実施することによって、顔バウンディングボックス内で行う。

Claims

車両上に設置される近赤外線（ＩＲ）カメラによって撮像した画像を用いて、運転者の覚醒状態を特定する方法であって、
その方法は、プロセッサが実行するものであり、
ａ）顔の右端と顔の左端の座標間の差異に基づいて顔の幅を決定することと、鼻の先端位置と眉の位置との差を２倍したものと、眉の位置の座標との差異に基づいて顔の高さを決定することとによって、顔バウンディングボックスを決定し、セグメンテーション処理を用いて目バウンディングボックスを決定するステップと、
ｂ）セグメンテーション処理から得た、閾値よりも大きな濃淡値を収集することによって、リアルタイムに顔追跡を行うステップと、
ｃ）顔バウンディングボックス内でモルフォロジ収縮処理を実行することによってリアルタイムに目の追跡を行い、次にヒストグラム均等化及びその後モルフォロジ変換を顔バウンディングボックスで収集して瞳孔現象を除外するステップと、
ｄ）目の重心を計算することによって目の追跡を行い、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを、ヒストグラム均等化画像及びモルフォロジ変換画像の輝度範囲に基づいて算出するステップと、
ｅ）対象のモデルヒストグラムと対象候補のモデルヒストグラムとの間の距離を算出し、対象の中心の変位を算出するステップと、
ｆ）モルフォロジ変換画像において、目を眉に対してマッピングすることによって、目を鼻と識別するステップと、
ｇ）ＳＡＤ（絶対値の差の総和）に基づいて目のテンプレートマッチングを算出し、前のフレームに対する現在のフレームの頭部の位置の変化を検知して、急な動きに対して目の追跡を行うステップと、を有する
ことを特徴とする方法。
検知した目の覚醒度の状態を用いて、運転者に警告を与える
請求項１に記載の方法。
近赤外線カメラを、運転者に向かって車両の外部または内部に設置する
請求項１に記載の方法。
目の覚醒状態を検知するに当たり、
ａ）目バウンディングボックスを眉の重心まで上方に延長するステップと、
ｂ）ヒストグラム均等化処理を目バウンディングボックスに適用するステップと、
ｃ）ヒストグラム均等化画像の明瞳孔現象を、構造要素を有するヒストグラム均等化画像の線収縮を計算することによって排除するステップであり、構造要素の幅を眉の幅の１／３に等しく、構造要素の高さを１に等しくするステップと、
ｄ）ヒストグラムとして表される画像のすべてまたは一部の輝度濃度に基づくヒストグラムベースのテクスチャ解析手法を用いて、目の状態を識別するステップであり、一様性の値または角二次モーメント（ＡＳＭ）テクスチャパラメータの値は目を閉じている場合には高くし、目を開いている場合には低くするステップと、を有する
請求項１に記載の方法。
ステップ（ｄ）を任意に、濃度共起行列のコントラストを用いて、Ｎフレームの帯域が同じ特性を有する場合は、目を閉じていることを検知することによって、目の状態を識別する
請求項４に記載の方法。
近赤外線（ＩＲ）カメラを用いて、運転者の覚醒状態を特定するシステムであって、
ａ）画像を撮像するために車両上に設置される近赤外線カメラと、
ｂ）運転者の目の覚醒状態を特定し、追跡するために、リアルタイムで撮像画像を分析するプロセッサと、を備え、
そのプロセッサは、
ａ）顔の右端と顔の左端の座標間の差異に基づいて顔の幅を決定することと、鼻の先端位置と眉の位置との差を２倍したものと、眉の位置の座標との差異に基づいて顔の高さを決定することとによって、顔バウンディングボックスを決定し、セグメンテーション処理を用いて目バウンディングボックスを決定するステップと、
ｂ）セグメンテーション処理から得た、閾値よりも大きな濃淡値を収集することによって、リアルタイムに顔追跡を行うステップと、
ｃ）顔バウンディングボックス内でモルフォロジ収縮処理を実行することによってリアルタイムに目の追跡を行い、次にヒストグラム均等化及びその後モルフォロジ変換を顔バウンディングボックスで収集して瞳孔現象を除外するステップと、
ｄ）目の重心を計算することによって目の追跡を行い、対象のモデルヒストグラム及び対象候補のモデルヒストグラムを、ヒストグラム均等化画像及びモルフォロジ変換画像の輝度範囲に基づいて算出するステップと、
ｅ）対象のモデルヒストグラムと対象候補のモデルヒストグラムとの間の距離を算出し、対象の中心の変位を算出するステップと、
ｆ）モルフォロジ変換画像において、目を眉に対してマッピングすることによって、目を鼻と識別するステップと、
ｇ）ＳＡＤ（絶対値の差の総和）に基づいて目のテンプレートマッチングを算出し、前のフレームに対する現在のフレームの頭部の位置の変化を検知して、急な動きに対して目の追跡を行うステップと、を実行可能である
ことを特徴とするシステム。
運転者の覚醒状態により、運転者に警告するための音声または映像の警報手段を備える
請求項６に記載のシステム。