Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP5737401B2 - 瞼検出装置 - Google Patents
[go: Go Back, main page]

JP5737401B2 - 瞼検出装置 - Google Patents

瞼検出装置 Download PDF

Info

Publication number
JP5737401B2
JP5737401B2 JP2013523728A JP2013523728A JP5737401B2 JP 5737401 B2 JP5737401 B2 JP 5737401B2 JP 2013523728 A JP2013523728 A JP 2013523728A JP 2013523728 A JP2013523728 A JP 2013523728A JP 5737401 B2 JP5737401 B2 JP 5737401B2
Authority
JP
Japan
Prior art keywords
eye
red
eyelid
detection
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013523728A
Other languages
English (en)
Other versions
JPWO2013008304A1 (ja
Inventor
清人 埴田
清人 埴田
嘉修 竹前
嘉修 竹前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of JPWO2013008304A1 publication Critical patent/JPWO2013008304A1/ja
Application granted granted Critical
Publication of JP5737401B2 publication Critical patent/JP5737401B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30216Redeye defect

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、顔画像から上下瞼の位置を検出する瞼検出装置に関する。
従来、開眼状態の検出などを行うために、顔画像から上下瞼の位置を検出する瞼検出装置が知られている(例えば、特許文献1参照)。特許文献1に記載の瞼検出装置は、赤目のエッジを上瞼及び下瞼から除外することで、上下瞼の位置の誤検出を防止するものである。
特開2008−158922号公報
しかしながら、実際には、顔画像に赤目候補となり得る画素パターンが2以上存在する場合がある。
このため、従来の瞼検出装置では、赤目では無い方の画素パターンを赤目として誤検出すると、赤目の誤検出に引きずられて、上瞼の位置及び下瞼の位置も誤検出するという問題がある。
そこで、本発明は、赤目の近傍に赤目の画素パターンに類似した画素パターンが存在しても上下瞼の位置の誤検を防止することができる瞼検出装置を提供することを課題とする。
本発明に係る瞼検出装置は、顔画像から上下瞼の位置を検出する瞼検出手段を有する瞼検出装置であって、瞼検出手段により検出された上下瞼の位置から皮膚があると想定される範囲内で赤目候補を探索し、当該範囲内で赤目候補が探索されると瞼検出手段の検出は誤りであると判定する瞼判定手段を有する。
本発明に係る瞼検出装置によれば、赤目の近傍に赤目の画素パターンに類似した画素パターンが存在すると、瞼検出手段は、この画素パターンの周辺に生じた不要なエッジを上下瞼の位置として誤検出することがあるが、この検出した上下瞼の位置から皮膚があると想定される範囲内に赤目候補が存在すれば、瞼判定手段により、瞼検出手段の検出は誤りであると判定するため、上下瞼の位置の誤検出を防止することができる。
そして、瞼判定手段は、赤目候補を探索する範囲を赤目の直径以下に設定するものとすることができる。このように、瞼判定手段が赤目候補を探索する範囲を赤目の直径以下に設定することで、画素値が赤目部分に類似した白い肌部分の影響を小さくすることができるため、赤目候補と皮膚とを明確に区別することができる。
また、顔画像から赤目を検出する赤目検出手段を更に有し、瞼判定手段は、赤目候補を探索する範囲を、赤目検出手段により検出された赤目の直径以下に設定するものとすることができる。顔画像における赤目の直径は、カメラからの距離や個人差によって異なる。そこで、瞼判定手段が赤目候補を探索する範囲を、顔画像から検出した赤目の直径以下に設定することで、カメラからの距離や個人差によって顔画像における赤目の直径が異なっても、適切に赤目候補と皮膚とを明確に区別することができる。
本発明によれば、赤目の近傍に赤目の画素パターンに類似した画素パターンが存在しても上下瞼の位置を誤検出するのを防止することができる。
実施形態に係る瞼検出装置のブロック構成を示した図である。 実施形態に係る瞼検出装置の赤目検出処理動作を示すフローチャートである。 画像センサが撮像した画像情報の一例を示した図である。 顔位置領域の一例を示した図である。 赤目の検出方法を説明するための概要図である。 上下瞼の検出方法を説明するための概要図である。 上下瞼の位置の誤検出を説明するための概要図である。 赤目候補の探索方法を説明するための概要図である。 赤目候補の探索方法を説明するための概要図である。 図8の場合のX方向における画素値の分布を示した図である。 図9の場合のX方向における画素値の分布を示した図である。
以下、図面を参照して、本発明に係る瞼検出装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。
本実施形態に係る瞼検出装置は、上下瞼の位置から算出される開眼度からドライバの眠気度を推定して車両の運転支援制御を行う運転支援制御装置などに搭載されるものである。なお、上下瞼の位置とは、上瞼の位置及び下瞼の位置をいう。
図1は、実施形態に係る瞼検出装置のブロック構成を示した図である。図1に示すように、実施形態に係る瞼検出装置1は、画像センサ10と、照度センサ20と、ECU(Electronic Control Unit)30と、を備えている。
画像センサ10は、ドライバの顔を撮像するセンサである。画像センサ10としては、例えば、車両のステアリングコラムに固定されたCCDカメラ等が用いられる。画像センサ10が撮像した画像(顔画像)は、各画素の位置や色情報などを表す画像情報で構成されている。そして、画像センサ10は、撮像した画像の画像情報をECU30へ出力する。
照度センサ20は、車外光量を計測するセンサである。車外光量とは、車両の外側の光量である。このため、昼間は車外光量が高くなり、夜間は車外光量が低くなる。照度センサ20としては、例えば、車両の窓付近に固定された光電変換素子等が用いられる。そして、照度センサ20は、計測した車外光量をECU30へ出力する。
ECU30は、電子制御を行う自動車デバイスのコンピュータであり、CPU(Central Processing Unit)、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリ、及び入出力インターフェイスなどを備えて構成されている。
このECU30は、画像センサ10及び照度センサ20に接続されており、昼夜判定部31、顔位置・顔特徴点検出部32、赤目検出部33、瞼検出部34、瞼判定部35及び開眼度算出部36を備えている。
昼夜判定部31は、車外光量の高い昼間か車外光量の低い夜間かを判定する機能を有している。昼夜判定部31は、例えば、照度センサ20から出力された車外光量や、画像センサ10から出力された画像の合計輝度などに基づいて、昼夜を判定する。
顔位置・顔特徴点検出部32は、画像センサ10が撮像した画像から、ドライバの顔の特徴点を検出する機能を有している。具体的に説明すると、顔位置・顔特徴点検出部32は、まず、画像センサ10が撮像した画像全体を探索範囲として、ニューラルネットワーク(Neural Network)やブースティング(Boosting)等の統計手法により顔位置を発見する。そして、顔位置・顔特徴点検出部32は、この発見した顔位置を含む顔位置領域を設定し、この設定した顔位置領域から、ニューラルネットワークやブースティング等の統計手法により顔の特徴点を検出する。顔の特徴点としては、例えば、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等が挙げられる。なお、顔の各特徴点の検出は、この手法に限られるものではなく、公知の他の手法を用いてもよい。
赤目検出部33は、赤目テンプレートを用いたテンプレートマッチングにより赤目検出を行う機能を有している。具体的に説明すると、赤目検出部33は、まず、顔位置・顔特徴点検出部32が検出した目尻及び目頭の特徴点に基づいて、顔位置・顔特徴点検出部32が設定した顔位置領域から、赤目探索領域を設定する。そして、赤目検出部33は、赤目テンプレートを用いたテンプレートマッチングにより、赤目探索領域から赤目を検出する。なお、赤目の検出は、この手法に限られるものではなく、公知の他の手法を用いてもよい。
瞼検出部34は、上下瞼の位置を検出する機能を有している。具体的に説明すると、瞼検出部34は、赤目検出部33が設定した顔位置領域に、例えばソーベルフィルタを適用して、エッジを強調した画像であるエッジ画像を生成する。そして、瞼検出部34は、顔位置・顔特徴点検出部32が検出した目尻及び目頭の特徴点を始点及び終点とする複数の曲線をエッジ画像に投影し、その曲線上のエッジの強度(エッジ画像の画素値)から、上下瞼の位置を検出する。なお、上下瞼の位置の検出は、この手法に限られるものではなく、公知の他の手法を用いてもよい。
また、瞼検出部34は、上下瞼の位置を検出するに際して、赤目検出部33が検出した赤目よりも下側の曲線は上瞼の候補から除外し、赤目検出部33が検出した赤目よりも上側の曲線は下瞼の候補から除外する機能を有している。
瞼判定部35は、瞼検出部34が検出した上下瞼の位置の判定を行う機能を有している。具体的に説明すると、瞼判定部35は、瞼検出部34が検出された上下瞼の位置から皮膚があると想定される範囲内で赤目候補を探索する。そして、瞼判定部35は、この範囲内で赤目候補が探索されると、瞼検出部34が上下瞼の位置を誤検出したと判定する。
開眼度算出部36は、ドライバの眼が開いている度合いを示す開眼度を算出する機能を有している。具体的に説明すると、開眼度算出部36は、瞼検出部34が検出した上瞼の位置と下瞼の位置との差分を開眼度[pix]として算出する。この開眼度は、画素のピクセル(pixel)単位で表される。なお、開眼度の算出は、この手法に限られるものではなく、公知の他の手法を用いてもよい。
次に、実施形態に係る瞼検出装置1の動作について説明する。図2は、実施形態に係る瞼検出装置の瞼検出処理動作を示すフローチャートである。図2に示す処理は、昼夜判定部31が夜間であると判定した時間帯に、ECU30の制御により行われ、例えば、イグニッションオンされたタイミングからイグニッションオフされるまでの間、所定の間隔で繰返し行われる。
図2に示すように、まず、ECU30は、画像センサ10が撮像したドライバの画像を入力する(ステップS1)。ステップS1では、画像センサ10が撮像した図3に示す画像F1を入力する。図3は、画像センサが撮像した画像の一例である。
次に、ECU30は、顔位置・顔特徴点を検出する(ステップS2)。ステップS2の処理は、顔位置・顔特徴点検出部32が行う。顔位置・顔特徴点検出部32は、まず、ステップS1で入力した画像F1の全体を探索範囲として、ニューラルネットワークやブースティング等の統計手法により顔位置を発見する。次に、顔位置・顔特徴点検出部32は、顔位置領域G1を設定する。図4は、顔の特徴点検出方法を説明するための概要図であり、顔位置領域G1を示している。図4に示すように、顔位置領域G1は、この発見した顔位置を含む領域であり、画像F1の一領域である。そして、顔位置・顔特徴点検出部32は、この設定した顔位置領域G1を探索範囲として、ニューラルネットワークやブースティング等の統計手法により、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等の特徴点を検出する。
次に、ECU30は、事前に用意されている赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する(ステップS3)。ステップS3の処理は、赤目検出部33が行う。赤目検出部33は、まず、ステップS2において設定した顔位置領域G1(図4参照)から、赤目探索領域G2を設定する。図5は、赤目の検出方法を説明するための概要図である。図5に示すように、赤目探索領域G2は、例えば、目尻よりも外側に配置されて上下方向に延びる線分と、目頭よりも内側に配置されて上下方向に延びる線分と、目尻と目頭とを結ぶ線分よりも上側に配置されて左右方向に延びる線分と、目尻と目頭とを結ぶ線分よりも下側に配置されて左右方向に延びる線分と、により画成される矩形領域となる。そして、赤目検出部33は、事前に用意されている赤目テンプレートを用いて赤目探索領域G2をテンプレートマッチングすることにより、赤目候補Cを検出する。なお、赤目検出部33は、テンプレートマッチングにより所定の閾値を超えた画素パターンを赤目候補Cとして検出する。
ここで、図5に示す赤目探索領域G2を見てみる。すると、赤目探索領域G2には、ドライバの目や瞼に反射したLED光Lが映り込んでいる。また、ドライバがメガネをかけていると、メガネのフレームやレンズに反射したLED光Lも映り込む。このLED光Lの画素パターンは、赤目Rの画素パターンと近似している。このため、赤目検出部33は、本当の赤目Rを赤目候補Cとして検出するとともに、このLED光Lも赤目候補Cとして検出する。その結果、ステップS3では、2つの赤目候補Cが検出される。そこで、赤目検出部33は、赤目テンプレートとのマッチング度が最も高い画素パターンの赤目候補Cを赤目Rと判定する。
次に、ECU30は、上瞼の位置及び下瞼の位置を検出する(ステップS4)。ステップS4の処理は、瞼検出部34が行う。
ここで、図6を参照して、ステップS4における上下瞼の検出方法について説明する。図6は、上下瞼の検出方法を説明するための概要図である。図6に示すように、瞼検出部34は、ステップS2で設定した顔位置領域G1に対して、例えばソーベルフィルタを適用して、エッジを強調した画像であるエッジ画像G3を生成する。次に、瞼検出部34は、ステップS2で検出した目尻及び目頭の特徴点を始点及び終点とする複数の曲線を投影し、その曲線上のエッジの強度(エッジ画像の画素値)を算出する。曲線として、例えば、ベジェ曲線が用いられる。そして、瞼検出部34は、算出されたエッジ強度の中からエッジ強度が強い曲線を選択し、上瞼の位置を示す上瞼曲線Q1及び下瞼の位置を示す下瞼曲線Q2とする。このとき、瞼検出部34は、ステップS3で検出した赤目の下側(赤目の中心位置よりも下側)の曲線(例えば、曲線q1)は上瞼の候補から除外し、ステップS3で検出した赤目の上側(赤目の中心位置よりも上側)の曲線(例えば、曲線q2)は下瞼の候補から除外する。
次に、ECU30は、ステップS4において瞼検出部34が行った上下瞼の位置の検出が正しいか否かを判定する(ステップS5)。ステップS5の処理は、瞼判定部35が行う。
ここで、図7を参照して、ステップS4において上下瞼の位置を誤検出する一例について説明する。図7は、上下瞼の位置の誤検出を説明するための概要図である。図7に示すように、赤目探索領域G2にLED光Lが写り込んでいると、LED光Lの画素パターンの境界周辺に不要なエッジが発生する。すると、LED光Lの画素パターンの境界周辺に生じたエッジ上に投影された曲線のエッジ強度が高くなる。このため、瞼検出部34は、LED光Lの画素パターンの境界周辺に生じたエッジ上に投影された曲線を、上瞼曲線Q1又は下瞼曲線Q2と誤検出する可能性がある。図7を見ると、下瞼曲線Q2は、下瞼に投影された曲線を示しているが、上瞼曲線Q1は、上瞼ではなく、LED光Lの画素パターンの境界周辺に生じたエッジ上に投影された曲線を示している。このため、上瞼曲線Q1と下瞼曲線Q2との間には、誤検出されたLED光Lが存在し、本当の赤目Rは、上瞼曲線Q1の上側に存在している。
そこで、瞼判定部35は、まず、上瞼曲線Q1及び下瞼曲線Q2から上瞼及び下瞼の皮膚があると想定される範囲内において赤目候補を探索する。
ここで、図8及び図9を参照して、ステップS5における赤目候補の探索方法について詳しく説明する。図8及び図9は、赤目候補の探索方法を説明するための概要図である。図8は、上下瞼の位置を正しく検出した場合を示しており、図9は、上瞼の位置を誤検出した場合を示している。
図8及び図9に示すように、瞼判定部35は、まず、ステップS4において検出した上瞼曲線Q1及び下瞼曲線Q2から上瞼及び下瞼の皮膚があると想定される所定の範囲を、探索範囲G4として設定する。更に、この探索範囲G4は、上瞼曲線Q1及び下瞼曲線Q2から赤目の直径以下の範囲となる。このため、瞼判定部35は、上瞼曲線Q1から上側(Y方向)に赤目の直径以下となる範囲を上瞼曲線Q1の探索範囲G4として設定する。また、瞼判定部35は、下瞼曲線Q2から下側(Y方向の反対方向)に赤目の直径以下となる範囲を下瞼曲線Q2の探索範囲G4として設定する。例えば、赤目Rの直径が最大10ピクセルである場合は、上瞼曲線Q1の探索範囲G4が、上瞼曲線Q1の各画素から上側に10ピクセル以下の範囲となり、下瞼曲線Q2の探索範囲G4が、下瞼曲線Q2の各画素から下側に10ピクセルの範囲となる。この場合、上瞼曲線Q1の探索範囲G4は上瞼曲線Q1上の画素のみであってもよく、下瞼曲線Q2の探索範囲G4は下瞼曲線Q2上の画素のみであってもよい。なお、図8及び図9では、上瞼曲線Q1の探索範囲G4のみを示しており、下瞼曲線Q2の探索範囲G4の表示を省略している。
瞼判定部35は、次に、上瞼曲線Q1の探索範囲G4においてX座標が同一となる1又は複数の画素の画素値を合算する。また、瞼判定部35は、下瞼曲線Q2の探索範囲G4においてX座標が同一となる1又は複数の画素の画素値を合算する。そして、瞼判定部35は、図10及び図11に示すように、この合算した画素値KのX方向における分布を生成する。図10は、図8の場合のX方向における画素値の分布を示した図である。図11は、図9の場合のX方向における画素値の分布を示した図である。なお、図10及び図11において、赤目部分の画素や白い肌部分の画素は画素値Kが高くなり、瞼付近の黒い影の部分の画素は画素値Kが低くなる。
図8及び図10に示すように、瞼検出部34が上下瞼の位置を正しく検出した場合は、探索範囲G4が瞼付近の黒い影の部分で占められるため、X方向における画素値Kの分布は、所定の閾値を超えることなく、平坦な曲線として表れる。一方、図11に示すように、瞼検出部34が上瞼の位置を誤検出した場合は、本当の赤目Rの部分の画素値が高くなるため、X方向における画素値Kの分布は、赤目Rの部分が所定の閾値を超える凸部分となった曲線として表れる。所定の閾値は、赤目部分の画素の画素値と瞼付近の黒い影の部分の画素の画素値との間の値であって、例えば、これらの画素値の中間の値が採用される。
そこで、瞼判定部35は、X方向における画素値Kの分布において、所定の閾値を超える箇所が存在し、かつ、この所定の閾値を超える凸部分の幅が、赤目の最大幅以下であることを、探索範囲G4内に赤目候補が存在するか否かの判定条件とする。赤目の最大幅は、事前に計測することで求めることができ、例えば、20ピクセルが設定される。
そして、瞼判定部35は、X方向における画素値Kの分布が上記の条件を満たさないと、探索範囲G4に赤目候補が存在しないと判定し、瞼検出部34が上下瞼の位置を正しく検出したと判定する。一方、瞼判定部35は、X方向における画素値Kの分布が上記の条件を満たすと、探索範囲G4に赤目候補が存在すると判定し、瞼検出部34が上下瞼の位置を誤検出したと判定する。
ステップS5において、瞼検出部34が上瞼の位置及び下瞼の位置を正しく検出したと判定すると(ステップS5:YES)、ECU30は、次に、開眼度を算出する(ステップS6)。ステップS6の処理は、開眼度算出部36が行う。開眼度算出部36は、ステップS4において検出した上瞼曲線Q1の中点のY座標及び下瞼曲線Q2の中点のY座標を算出し、上下瞼のY座標の差分に基づいて開眼度[pix]を算出する。開眼度は、画素のピクセル(pixel)単位の値となる。なお、開眼度の算出方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。そして、瞼検出処理を終了する。
一方、ステップS5において、瞼検出部34が上瞼の位置及び下瞼の位置を誤検出したと判定すると(ステップS5:NO)、ECU30は、開眼度を算出することなく、瞼検出部34が上下瞼の位置の検出に失敗したこと、又は、瞼検出部34が検出した上下瞼の位置は信頼性が低いことを、他の処理装置に通知する。この場合、赤目検出部33が赤目の検出にも失敗している可能性が極めて高いため、ECU30は、赤目検出部33が赤目の検出に失敗したこと、又は、赤目検出部33が検出した赤目の信頼性が低いことを、他の処理装置に通知する。そして、瞼検出処理を終了する。
以上説明したように、本実施形態に係る瞼検出装置1によれば、赤目Rの近傍に赤目Rの画素パターンに類似した画素パターンのLED光Lなどが存在すると、瞼検出部34は、このLED光Lの画素パターンの周辺に生じた不要なエッジを上下瞼の位置として誤検出することがあるが、この検出した上下瞼の位置から皮膚があると想定される範囲内に赤目候補が存在すれば、瞼判定部35により、瞼検出部34の検出は誤りであると判定するため、上下瞼の位置の誤検出を防止することができる。
また、瞼判定部35が赤目候補を探索する範囲を赤目の直径以下にすることで、画素値が赤目部分に類似した白い肌部分の影響を小さくすることができるため、赤目候補と皮膚とを明確に区別することができる。
更に、瞼判定部35が赤目候補を探索する範囲を、赤目検出部33が検出した赤目の直径以下にすることで、画像センサ10からの距離や個人差によって画像における赤目の直径が異なっても、適切に赤目候補と皮膚とを明確に区別することができる。
また、瞼判定部35が、探索範囲G4内に赤目候補が存在するか否かの判定条件として、X方向における画素値Kの分布において、所定の閾値を超える箇所が存在するとの条件を採用することで、探索範囲G4内に赤目候補が存在することを適切に判定することができる。
更に、瞼判定部35が、探索範囲G4内に赤目候補が存在するか否かの判定条件として、X方向における画素値Kの分布において、所定の閾値を超える箇所の幅が、赤目の最大幅以下であるとの条件を採用することで、所定の閾値を超えた原因が、白い肌によるものか赤目候補によるものかを適切に区別することができる。
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、瞼検出部35は、赤目候補を探索する範囲として、赤目の直径以下の範囲に設定するものとして説明したが、探索領域G4から赤目候補を適切に検出することができれば、赤目の直径よりも大きい範囲を設定してもよい。
顔画像から上瞼の位置及び下瞼の位置を検出する瞼検出手段を有する瞼検出装置として利用可能である。
1…瞼検出装置、10…画像センサ、20…照度センサ、30…ECU、31…昼夜判定部、32…顔位置・顔特徴点検出部、33…赤目検出部(赤目検出手段)、34…瞼検出部(瞼検出手段)、35…瞼判定部(瞼判定手段)、36…開眼度算出部、F1…顔画像、G1…顔位置領域、G2…赤目探索領域、G3…エッジ画像、G4…探索範囲、R…赤目、L…LED光、C…赤目候補、Q1…上瞼曲線、Q2…下瞼曲線。

Claims (3)

  1. 顔画像から上下瞼の位置を検出する瞼検出手段を有する瞼検出装置であって、
    前記瞼検出手段により検出された上下瞼の位置から皮膚があると想定される範囲内で赤目候補を探索し、当該範囲内で赤目候補が探索されると前記瞼検出手段の検出は誤りであると判定する瞼判定手段を有する、瞼検出装置。
  2. 前記瞼判定手段は、赤目候補を探索する前記範囲を赤目の直径以下に設定する、請求項1に記載の瞼検出装置。
  3. 顔画像から赤目を検出する赤目検出手段を更に有し、
    前記瞼判定手段は、赤目候補を探索する前記範囲を、前記赤目検出手段により検出された赤目の直径以下に設定する、請求項1に記載の瞼検出装置。
JP2013523728A 2011-07-11 2011-07-11 瞼検出装置 Active JP5737401B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/065824 WO2013008304A1 (ja) 2011-07-11 2011-07-11 瞼検出装置

Publications (2)

Publication Number Publication Date
JPWO2013008304A1 JPWO2013008304A1 (ja) 2015-02-23
JP5737401B2 true JP5737401B2 (ja) 2015-06-17

Family

ID=47505623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013523728A Active JP5737401B2 (ja) 2011-07-11 2011-07-11 瞼検出装置

Country Status (4)

Country Link
US (1) US8983147B2 (ja)
JP (1) JP5737401B2 (ja)
DE (1) DE112011105435B4 (ja)
WO (1) WO2013008304A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5999013B2 (ja) * 2013-04-12 2016-09-28 株式会社デンソー 開眼状態判定装置
JP6227996B2 (ja) * 2013-12-18 2017-11-08 浜松ホトニクス株式会社 計測装置及び計測方法
US10089525B1 (en) * 2014-12-31 2018-10-02 Morphotrust Usa, Llc Differentiating left and right eye images
US10007845B2 (en) 2015-07-06 2018-06-26 Pixart Imaging Inc. Eye state detecting method and eye state detecting system
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
JP6482746B2 (ja) * 2017-01-17 2019-03-13 三菱電機株式会社 瞼検出装置、居眠り判定装置、および瞼検出方法
JP6698966B2 (ja) * 2018-02-13 2020-05-27 三菱電機株式会社 誤検出判定装置及び誤検出判定方法
DE102019209200A1 (de) * 2019-06-26 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen eines Mittelpunkts und einer Augenöffnung eines Auges eines Insassen eines Fahrzeugs

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4414401B2 (ja) * 2006-02-10 2010-02-10 富士フイルム株式会社 顔特徴点検出方法および装置並びにプログラム
JP4845698B2 (ja) * 2006-12-06 2011-12-28 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP4895797B2 (ja) 2006-12-26 2012-03-14 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP5655491B2 (ja) * 2010-10-18 2015-01-21 トヨタ自動車株式会社 開眼状態検出装置

Also Published As

Publication number Publication date
DE112011105435T5 (de) 2014-03-27
WO2013008304A1 (ja) 2013-01-17
US20140112580A1 (en) 2014-04-24
JPWO2013008304A1 (ja) 2015-02-23
US8983147B2 (en) 2015-03-17
DE112011105435B4 (de) 2022-07-07

Similar Documents

Publication Publication Date Title
JP5737401B2 (ja) 瞼検出装置
JP5737400B2 (ja) 赤目検出装置
JP5790762B2 (ja) 瞼検出装置
EP2477139A2 (en) Lane departure warning system and method
JP5737399B2 (ja) 赤目判定装置
JP2007334751A (ja) 車両周辺監視装置
WO2007077682A1 (ja) 車両及びレーンマーク検出装置
JP4263737B2 (ja) 歩行者検知装置
JP2010244156A (ja) 画像特徴量検出装置及びこれを用いた視線方向検出装置
JP5091897B2 (ja) 停止線検出装置
JPWO2010010926A1 (ja) 特徴点追跡方法及び特徴点追跡装置
JP4198542B2 (ja) 顔有無判定装置及び顔有無判定プログラム
JP4883013B2 (ja) 顔画像処理装置
JP5655491B2 (ja) 開眼状態検出装置
JP3844750B2 (ja) 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置
JP5035139B2 (ja) 眼画像処理装置
JP4623044B2 (ja) 眼の開閉状態検出装置
JP2008065757A (ja) 運転支援装置
JP2004255074A (ja) 視線方向検出装置および視線方向検出方法
JP2010205076A (ja) 眼検出装置、及び当該装置において用いられる方法
WO2023248577A1 (ja) 画像認識装置および画像認識方法
JP2011095827A (ja) 眼部検出装置
JP2008250811A (ja) 目の位置検出装置、方法及びプログラム
JP2010009140A (ja) 眼画像処理装置
JP2000331172A (ja) 顔画像処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150406

R151 Written notification of patent or utility model registration

Ref document number: 5737401

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151