Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6563526B2 - 目開幅を利用してまばたき事象と計器視線とを区別する方法および装置 - Google Patents
[go: Go Back, main page]

JP6563526B2 - 目開幅を利用してまばたき事象と計器視線とを区別する方法および装置 - Google Patents

目開幅を利用してまばたき事象と計器視線とを区別する方法および装置 Download PDF

Info

Publication number
JP6563526B2
JP6563526B2 JP2017563242A JP2017563242A JP6563526B2 JP 6563526 B2 JP6563526 B2 JP 6563526B2 JP 2017563242 A JP2017563242 A JP 2017563242A JP 2017563242 A JP2017563242 A JP 2017563242A JP 6563526 B2 JP6563526 B2 JP 6563526B2
Authority
JP
Japan
Prior art keywords
blink
event
value
opening width
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017563242A
Other languages
English (en)
Other versions
JP2018526045A (ja
Inventor
ヴルフ,フェリックス
ファンドーメレ,チャールク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=55862770&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6563526(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2018526045A publication Critical patent/JP2018526045A/ja
Application granted granted Critical
Publication of JP6563526B2 publication Critical patent/JP6563526B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1103Detecting muscular movement of the eye, e.g. eyelid movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4809Sleep detection, i.e. determining whether a subject is asleep or not
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Anesthesiology (AREA)
  • Human Computer Interaction (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、独立請求項の分野に属する装置または方法を前提とする。コンピュータプログラムも本発明の対象物である。
ハンドルを握っているときの眠気やマイクロスリープは、しばしば危険な状況や事故につながる。
車両の運転者の眠気は、その走行挙動から間接的に見積もることができる。
文献では、まばたき事象と眠気のそれぞれの特性の間の関連性が検討されている。
特許文献1は、まばたき事象を認識し、そこから運転者の注意力に関する推測を導き出すために、事前に定義されてモデル化された信号による目開信号のフィッティングを記載している。
国際公開第2014031042号
以上の背景のもとで、ここで提案される取組みにより、目開幅を利用してまばたき事象と計器視線とを区別する方法、さらにこの方法を適用した装置、ならびに最後に相応のコンピュータプログラムが、それぞれの主請求項に基づいて提案される。従属請求項に記載の方策により、独立請求項に記載されている装置の好ましい発展例や改良が可能である。
まばたき事象を利用して人間の疲労ないし眠気に関する情報を得るためには、人間の実際のまばたき事象を評価することだけが必要である。しかし、反射的なまぶたの運動をもたらす、人間によって意図的に行われる目の運動、たとえば計器パネルの計器へと向けた視線方向の低下などは、まばたき事象と類似するまぶた運動の初期特性を有している。
したがってここで提案される取組みでは、まばたき事象と下げた視線との間の区別が事象の時間を踏まえたうえで実行される。まばたき事象は、短時間の後に終わるはずだからである。
目開幅を利用してまばたき事象と計器視線とを区別する方法が提案され、目開幅は目のまぶたの間の最新に検出された間隔を表しており、本方法は次の各ステップを有している:
少なくとも1つのまばたき限界値を利用してまばたき事象が判定され、まばたき事象が判定されるのは目開幅の値を反映する開幅値がまばたき限界値よりも小さいときであり;
最大まばたき時間を利用して計器視線が決定され、計器視線が決定されるのは認識されたまばたき事象が最大まばたき時間よりも長く続けて認識されたときであり、特に、計器視線の決定に後続して開幅値が開限界値よりも大きいときには本方法の各ステップがあらためて実行される。
まばたき事象とは、開いた眼から始まってほぼ目を閉じることを経て、あらためて目を開くまでに至るまばたきであると理解することができる。計器視線は、車両の速度表示器および/またはその他の表示器に向けて下げた視線であると理解することができる。特に計器視線は、自由にプログラミング可能なインストルメントクラスタに向けた視線であると理解することができる。目開幅は、目閉幅として理解することもできる。下げた視線のうち最大まばたき時間よりも短いものが、まばたき事象として判断される。
判定のステップで、開幅値が中位まばたき限界値よりも小さいときに中位まばたき事象を判定することができる。さらに、開幅値が低位まばたき限界値よりも小さいときに低位まばたき事象を判定することができる。同様に、中位まばたき事象の判定に後続する開幅値が低位まばたき限界値よりも小さいときに低位まばたき事象を判定することができる。中位まばたき事象とは、本件においては平均目開幅を有するまばたき事象であると理解され、それに対して低位まばたき事象は、低い目開幅すなわち平均目開幅よりも小さい目開幅ないし閉じた目を有するまばたき事象として理解される。中位まばたき事象と低位まばたき事象とを区別することで、人間の現在の眠気の分析を改善することができる。
最大まばたき時間よりも長い中位まばたき事象が判定されたときに、計器視線を決定することができる。その代替または補足として、最大まばたき時間よりも長い低位まばたき事象が判定されたときに、計器視線を決定することはできない。中位まばたき事象と低位まばたき事象とを分けることで、計器視線の区別が簡素化される。
本方法は、まばたき事象の判定に後続して開幅値がまばたき限界値よりも大きいときに、開幅値の時間的推移がまばたき事象推移として保存される保存のステップを有することができる。保存のステップに後続して、本方法の各ステップをあらためて実行することができる。保存のステップでは、特定の時間帯の内部の開幅値を保存することができる。保存は遡及的に行うことができる。保存されるべき時間帯の開始時点は、まばたき事象の開始前であり得る。まばたき事象推移を保存することで、まばたき事象をさらに評価することができる。
本方法は、まばたき事象推移の開幅値が曲線をなすようにつながれる補間のステップを有することができる。曲線により、まばたき事象を中断なく評価することができる。
曲線は、事前設定された曲線形状を利用して改良または近似することができる。曲線の計算は、予想される曲線形状によって簡素化することができる。曲線形状は、たとえば1つまたは複数のまばたきパラメータを利用して実際のまばたき事象に合わせて適合化することができる、標準化されたまばたき事象を反映することができる。
補間のステップで、曲線に対する少なくとも1つの開幅値の少なくとも1つの差異値を決定することができる。差異値は、開幅値に対応する曲線点の値と、開幅値との間の相違を表すことができる。曲線を段階的に最適化することができる。その際に、保存されている開幅値のうちの少なくとも過半数にわたって誤差を平均化し、最小化することができる。
本方法は、少なくとも1つの差異値またはこれから導き出された値、たとえば平均値が差異限界値よりも大きいときに、まばたき事象推移が破棄される妥当性検査のステップを有することができる。異常なまばたき事象を除外することで、人間の眠気を良好な蓋然性をもって決定することができる。
本方法は、まばたき限界値およびその代替または補足として開限界値が目開幅についての基準レベルを利用して適合化される、変更のステップを有することができる。このとき基準レベルは、まばたき事象およびその代替または補足として計器視線が存在しないときに目開幅を表す。同様に、基準レベルを利用して中位まばたき限界値および/または低位まばたき限界値を適合化することができる。それによってここで提案される方法は、まばたき事象および/または計器視線の範囲外で目開幅に影響を及ぼす要因に関わりなく機能する。
本方法は、たとえばソフトウェアまたはハードウェアで、もしくはソフトウェアとハードウェアからなる混合形態で、たとえば制御装置に実装されていてよい。
さらに、ここで提案される取組みは、ここで提案される方法の1つの態様の各ステップを相応のデバイスで実施し、制御し、ないしは具体化するために構成された装置を提供する。装置の形態における本発明のこのような実施態様によっても、本発明の根底にある課題を迅速かつ効率的に解決することができる。
装置とは、本件においては、センサ信号を処理し、それに依存して制御信号および/またはデータ信号を出力する電気機器であると理解することができる。装置は、ハードウェアおよび/またはソフトウェアとして構成されていてよいインターフェースを有することができる。ハードウェアとしての構成の場合、インターフェースは、たとえば装置の種々の機能を含むいわゆるシステムASICの一部であってよい。しかしながら、インターフェースが独自の集積回路であり、または少なくとも部分的に離散したコンポーネントからなることも可能である。ソフトウェアとしての構成の場合、インターフェースは、たとえば他のソフトウェアモジュールと並んでマイクロコントローラの上に存在するソフトウェアモジュールであってよい。
半導体メモリのような機械で読取り可能な担体または記憶媒体、ハードディスクスペースもしくは光学メモリに保存されていてよく、特にプログラム製品またはプログラムがコンピュータまたは装置で実行されたときに上に説明した実施形態のうちの1つに基づく方法の各ステップを実施、具体化、および/または制御するために利用される、プログラムコードを有するコンピュータプログラム製品またはコンピュータプログラムも好ましい。
本発明の実施例が図面に示されており、以下の記述において詳しく説明する。図面は次のものを示す:
1つの実施例に基づくまばたき事象と計器視線とを区別する装置を示すブロック図である。 1つの実施例に基づく、車両の運転者の眠気を監視するための総合システムのアーキテクチャを示す図である。 1つの実施例に基づくまばたき事象の認識のための状態図である。 1つの実施例に基づくまばたき事象の目開曲線を示すグラフである。 1つの実施例に基づくまばたき事象と計器視線とを区別する方法を示すフローチャートである。
本発明の好都合な実施例についての以下の記述では、異なる図面に示されていて類似の作用をする部材には同一または類似の符号が使われており、そのような部材について繰り返して説明することはしない。
図1は、1つの実施例に基づくまばたき事象102と計器視線104とを区別する装置100のブロック図を示している。このとき、まばたき事象102と計器視線104は目開幅106を利用して区別される。目開幅106は、ここでは検出システム108により、車両の運転者の片方または両方の目110で検出されて、開幅値112に反映される。目開幅106は、目110のそれぞれのまぶたの間の最新の間隔を表す。開幅値112は装置100により、装置100の入力部で読み込まれる。装置100では、少なくとも1つのまばたき限界値116を利用してまばたき事象102を判定するために、開幅値112が判定装置114で利用される。このときまばたき事象が判定されるのは、開幅値112がまばたき限界値116よりも小さいときである。
決定装置118で、最大まばたき時間120を利用して計器視線104が決定される。このとき計器視線104が決定されるのは、認識されたまばたき事象102が最大まばたき時間120よりも長く認識されたときである。計器視線104の決定に後続して開幅値112が開限界値122よりも大きいとき、判定装置114で次のまばたき事象が決定される。
1つの実施例では、装置100は変更装置124を有している。変更装置124では、まばたき限界値116およびその代替または補足として開限界値122が、目開幅106についての基準レベル126を利用して適合化される。基準レベル126は、まばたき事象102およびその代替または追加として計器視線104が存在しないときに目開幅104を表す。基準レベル126は、開幅値112を利用して基準レベル126を提供する装置128により提供される。
ビデオカメラ108のデータを踏まえたうえで、目110の現在の開度106を認識することができる。そのために相応の画像処理アルゴリズムが利用される。このとき両方の目110について、それぞれ目開レベル126を検知することができる。
2つの目110の目開度106から、共通する目開レベル126を算出することができる。現在の目開レベル126の算出は、Savitzky-Golayフィルタを利用して行うことができる。
ここで提案される取組みにより、運転者の眠気ないし眠気状態をまぶた閉データ112を用いて、たとえばカメラ108を用いて分類し、ないしは正確に見積もることができる。すなわち一例として、以前に検知されたまばたきの認識品質や区別を向上させるための「フィッティングされた」曲線を利用することが提案される。
図2は、1つの実施例に基づく、車両の運転者の眠気を監視するための総合システム200のアーキテクチャの図面を示している。ここで提案されるまばたき事象と計器視線との区別202は、総合システム200の1つの構成要素である。
総合システム200は、3つの主要構成要素204,206,208を有している。第1の主要構成要素204は眠気分類と呼ばれる。第2の主要構成要素206はマイクロスリープ認識と呼ばれる。第3の主要構成要素208は、眠気分類204とマイクロスリープ認識206により共同で利用されるモジュール210を含んでいる。
ここで提案される区別202は眠気分類204の構成要素であり、まばたき事象検知202と呼ぶことができる。
モジュール210は目閉前処理210と呼ぶことができる。目閉前処理210は、右および左の眼閉の検出と、目閉のフィルタリングと、目閉の速度検出と、目閉のaccと、基準レベルの提供と、有効性とを含んでいる。
目閉前処理210は、現在の目閉、目閉速度、および基準レベルを出力する。
眠気分類204では、これらの値がまばたき事象検知202で利用されて、まばたき事象がまばたき指標計算212へと転送される。
まばたき指標計算212は、まばたき指標を個人的なまばたき指標認識214およびモジュール216へ眠気分類のために出力する。モジュールはまばたき指標認識214から個人的なまばたき挙動を読み取り、眠気レベルを出力する。
マイクロスリープ認識206では、個人的な目閉認識218、目閉認識220、およびモジュール222でマイクロスリープ認識のためにそれぞれの値が利用される。
個人的な目閉認識218は、個人的な開目レベルと個人的な閉目レベルとを出力する。これら両者は、モジュール22に二進法の目開値を提供するために、目閉認識220によって利用される。モジュール222はマイクロスリープ事象を出力する。
ここで提案される取組みは、事前に予備フィルタリングされた目開データをベースとしたうえで、まばたき特徴の認識品質の改善をなすものである。ここで提案されるいわゆるまばたき事象検知(Blink Event Detection, BED)202は、眠気および/またはマイクロスリープを認識するための総合システム200に組み込まれる。総合システム200は、目閉前処理204Eye Closure Preprocessingを含んでいる。現在の目開レベル(EON)をアルゴリズムを利用して算出することができる。総合システム200はマイクロスリープ検知206を含むことができる。
図3は、1つの実施例に基づくまばたき事象の認識についての状態図を示している。この状態図には、さまざまな認識状態が目開幅に依存して示されている。開状態300を出発点として、現在の目開幅が中位まばたき限界値および低位まばたき限界値と比較される。目開幅が中位まばたき限界値よりも小さいとき、中位まばたき状態302が認識される。目開幅が低位まばたき限界値よりも小さいとき、低位まばたき状態304が認識される。
中位まばたき状態302が認識され、目開幅が低位まばたき限界値よりも小さいとき、低位まばたき状態304が認識される。
中位まばたき状態302が最大まばたき時間よりも長く認識されたとき、計器視線状態306が認識される。
計器視線状態306の後に目開幅が開限界値よりも大きいとき、再び開状態300が認識される。
中位まばたき状態302が認識され、目開幅が開限界値よりも大きいとき、まばたき終了308が認識され、まばたき事象中における目開幅の推移が保存される。
低位まばたき状態304が認識され、目開幅が中位まばたき限界値よりも大きいとき、同様にまばたき終了308が認識される。その場合、同じくまばたき事象中における目開幅の推移が保存される。
まばたき終了308の後、目は再び開状態300を有する。
まばたき事象を高いロバスト性で検知するため、およびセンサ信号の品質を向上させるためのシステムが提案される。
まばたき事象を認識するために、および入力量の品質を改善するためにここで提案されるアルゴリズムの一実施例は、検知のステップと、フィッティングのステップと、計算のステップとを有する。この実施例について図3と図4を参照しながら説明する。
検知のステップで、事前決定された目開の限界値を用いて潜在的なまばたき事象が検知される。
このときまばたき事象が計器視線から区別される。計器視線は、運転者の眠気との関連性を有さない。したがって、計器視線は以後の過程で除外することができる。潜在的なまばたき事象は、状態マシンと3つの異なる限界値を用いて識別される。このとき上側の限界値、中間の限界値、下側の限界値が利用される。利用される3つすべての限界値(High, Mid, Low)は、目開レベル(EON)のパーセントの数値として定義することができる。たとえば上側の限界値(High)は常に目開レベルの100%であり得る。中間の限界値(Mid)は、常に目開レベルの70%であり得る。下側の限界値(Low)は、常に目開レベルの20%であり得る。したがって、それにより絶対的な値は運転者の現在の目開に依存して、所要の条件に合わせて順応的に適合化される。
図3では、大きい振幅および小さい振幅を有するまばたき事象を認識するために、ならびに計器視線を認識するために提案される状態図が示されており、ここでは、たとえば自由にプログラミング可能なインストルメントクラスタ(FPK)のような表示計器をタコメータと呼ぶ。目開信号(EC)がどのような最新の値を有するかに応じて、それぞれ異なる状態300,302,304,306,308が区別される。
小さい振幅を有するまばたき事象と計器視線とを区別するために、状態「Midblink」ないし中間のまばたき事象について最大時間(Max_Dur)が導入される。これはたとえば0.5sに設定することができる。
状態308「Save」に達するとただちに、まばたき事象の生データが以後の処理のために保存される。そのために目開データが十分に広いスロット(たとえば最小の目開度を有する点を中心として+−2s)で切り取られて保存される。次いで、状態マシンは状態300「Open」へと直ちに戻る。
図4は、1つの実施例に基づくまばたき事象の目開曲線400の図面を示している。目開曲線400は、横軸に時間、縦軸にまぶたの開きがプロットされたグラフとして示されている。目開曲線400は、目開幅ないしまぶたの開きの個別値の推移の補間を表している。この推移は、図3に示すとおり、まばたき事象の終了の認識に対する反応として遡及的に保存されたものである。
まばたき事象は、閉段階402と、閉止段階404と、開段階406とを有する。閉止段階404はプラトー段階404とも呼ぶことができる。閉段階402は、まばたき開始408からプラトー開始410にまで及ぶ。閉止段階404はプラトー開始410からプラトー終了412にまで及ぶ。開段階406は、プラトー終了412からまばたき終了414にまで及ぶ。目開曲線400は閉止段階404の内部に局所的な最小値を有し、ないしは、まばたき事象中における最大の負の振幅416を有する。
まばたき開始408の前、かつまばたき終了414の後に、目開曲線400は最大値として、たとえば現下の光状況に依存して決まる、目開幅の現下の基準レベル126に達する。
適用されるセンサがまだ不十分な精度またはフレームレートを有している場合には、図3で説明したように認識される潜在的なまばたき事象を次のステップで精緻化することができる。そのために、第1のステップで検知されたすべてのスロットについて、事前定義された曲線418によるフィッティングが実行される。この曲線418は、まばたき事象の理想的な推移を模倣したものである。
フィッティングのステップで、使用される画像センサの低い画像反復周波数を補うために、これらのまばたき事象が事前定義された曲線418によりフィッティングされ、このことは、いわばセンサのフレームレートが引き上げられるかのように作用する。
図4には、まばたき事象の理想化された推移400が示されている。曲線418は、ここでは一例としてまばたき開始408の前には水平な直線の形態を有する。閉段階402で、曲線418は降下していくたとえば5次の曲線の形態を有する。プラトー段階404で、曲線418は水平な直線の形態を有する。開段階406で、曲線418は上昇していくたとえば5次の曲線の形態を有する。まばたき終了414の後、曲線418はたとえば水平な直線の形態を有する。
このとき曲線418は、生じる全体曲線400ならびにその一次微分が着目するスロット全体で連続する推移を有するという周辺条件のもとで、個別値の推移に合わせて適合化される。
曲線400の初期点と最終点は、ここでは前のステップで検知されたスロットの境界からもたらされる。その他の時点408,410,412,414は、フィッティングの最適化段階でもたらされる。すなわち個々の時間的領域について、曲線部分402,404,406のそれぞれ異なる係数がもたらされる。これらを一方では分析的に再処理することができ、あるいは、曲線418の任意に細かい補間を計算することもできる。すなわち、ここで説明している手法は補間によって、センサ信号のサンプルレートを引き上げることができる。
フィッティングは、1つの実施例では、誤差関数が最低限に抑えられるように最適化される。その際に適しているのは、たとえば最低限になるべき、フィッティングされた曲線418と測定値の平方誤差の合計である。
計算のステップで、フィッティングの品質を表す品質目安が計算される。
先行するステップで計算された誤差関数は、その次の任意選択のステップで、妥当でない推移400を有するまばたき事象を、すなわち理想的な推移に呼応しないまばたき事象を、以後の処理から除外するために利用することができる。そのために誤差関数の結果を事前に定義された限界値と比較することができる。固有のまばたき事象についてこれを上回っているとき、眠気を分類するための以後の計算ではもはや援用されない。
図5は、1つの実施例に基づく、まばたき事象と計器視線を区別する方法500のフローチャートを示している。本方法は、たとえば図1に示すような装置で実施することができる。方法500は、判定のステップ502と決定のステップ504とを有している。
判定のステップ502で、少なくとも1つのまばたき限界値を利用してまばたき事象が判定される。ここでまばたき事象が判定されるのは、目開幅の値を反映する開幅値がまばたき限界値よりも小さいときである。目開幅は、目のまぶたの間の最新に検出された間隔を表す。
決定のステップ504で、最大まばたき時間を利用して計器視線が決定される。ここで計器視線が決定されるのは、認識されたまばたき事象が最大まばたき時間よりも長く続けて認識されたときである。
1つの実施例では、計器視線の決定504に後続して開幅値が開限界値よりも大きいとき、本方法のステップ502,504があらためて実行される。
1つの実施例が、第1の構成要件と第2の構成要件の間に「および/または」結合を含んでいるとき、このことは、その実施例が1つの実施形態では第1の構成要件と第2の構成要件を両方とも有し、別の実施形態では第1の構成要件か第2の構成要件のいずれかだけを有すると読解されるべきである。
100 装置
102 まばたき事象
104 計器視線
106 目開幅
110 目
112 開幅値
116 まばたき限界値
120 最大まばたき時間
122 開限界値
126 基準レベル
302 中位まばたき事象
304 低位まばたき事象
400 曲線
418 事前設定された曲線形状
500 方法
502 判定
504 決定

Claims (10)

  1. 目開幅(106)を利用して、下げた目線である計器視線(104)その他の非計器視線(104)とを区別する方法(500)において、前記目開幅(106)は目(110)のまぶたの間の最新に検出された間隔を表しており、前記方法(500)は次の各ステップを有しており
    少なくとも1つのまばたき限界値(116)を利用してまばたき事象(102)が判定(502)され、前記まばたき事象(102)が判定されるのは前記目開幅(106)の値を反映する開幅値(112)が前記まばたき限界値(116)よりも小さいときであり、最大まばたき時間(120)を利用して計器視線(104)が決定(504)され、
    前記まばたき事象(102)が判定されるステップ(502)で、
    前記開幅値(112)が中位まばたき限界値よりも小さいときに中位まばたき事象(302)が判定され、前記開幅値(112)が低位まばたき限界値よりも小さいときに低位まばたき事象(304)が判定され、さらに、前記中位まばたき事象(302)の前記判定(502)に後続する開幅値(112)が前記低位まばたき限界値よりも小さいときに低位まばたき事象(304)が判定され、
    前記計器視線(104)が決定されるステップ(504)で、
    判定された中位まばたき事象(302)が前記最大まばたき時間(120)よりも長く続けて認識されたときに前記計器視線(104)が決定され、および前記低位まばたき事象(304)が前記最大まばたき時間(120)よりも長く続けて認識されたときには前記計器視線(104)が決定されず、
    前記計器視線(104)の前記決定(504)に後続して前記開幅値(112)が開限界値(122)よりも大きいときには前記方法の前記ステップ(502,504)があらためて実行される方法。
  2. 保存のステップを有しており、前記まばたき事象(102)の前記判定(502)に後続して前記開幅値(112)が前記まばたき限界値(116)よりも大きいときに前記開幅値(112)の時間的推移がまばたき事象推移として保存され、保存のステップに後続して前記方法(500)の前記ステップ(502,504)があらためて実行される、請求項1記載の方法(500)。
  3. 前記まばたき事象推移の開幅値(112)が曲線(400)をなすようにつながれる補間のステップを有している、請求項2記載の方法(500)。
  4. 補間のステップで、事前設定された曲線形状(418)を利用して前記曲線(400)が近似される、請求項3記載の方法(500)。
  5. 補間のステップで、前記曲線(400)に対する少なくとも1つの前記開幅値(112)の少なくとも1つの差異値が決定される、請求項またはに記載の方法(500)。
  6. 少なくとも1つの差異値またはこれから導き出された値が差異限界値よりも大きいときに前記まばたき事象推移(400)が除外される妥当性検査のステップを有している、請求項に記載の方法(500)。
  7. 前記目開幅(106)についての基準レベル(126)を利用して前記まばたき限界値(116)および/または前記開幅値(122)が適合化される変更のステップを有しており、まばたき事象(102)および/または計器視線(104)が存在しないときに前記基準レベル(126)が前記目開幅(106)を表す、請求項1〜のいずれか1項に記載の方法(500)。
  8. 請求項1〜のいずれか1項に記載の方法(500)を実施するためにセットアップされている装置(100)。
  9. 請求項1〜のいずれか1項に記載の方法(500)を実施するためにセットアップされているコンピュータプログラム。
  10. 請求項に記載のコンピュータプログラムが格納されている、機械で読取り可能な記憶媒体。
JP2017563242A 2015-06-22 2016-04-26 目開幅を利用してまばたき事象と計器視線とを区別する方法および装置 Active JP6563526B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015211444.9A DE102015211444A1 (de) 2015-06-22 2015-06-22 Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite
DE102015211444.9 2015-06-22
PCT/EP2016/059233 WO2016206831A1 (de) 2015-06-22 2016-04-26 Verfahren und vorrichtung zum unterscheiden von blinzelereignissen und instrumentenblicken unter verwendung einer augenöffnungsweite

Publications (2)

Publication Number Publication Date
JP2018526045A JP2018526045A (ja) 2018-09-13
JP6563526B2 true JP6563526B2 (ja) 2019-08-21

Family

ID=55862770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017563242A Active JP6563526B2 (ja) 2015-06-22 2016-04-26 目開幅を利用してまばたき事象と計器視線とを区別する方法および装置

Country Status (6)

Country Link
US (1) US10278619B2 (ja)
EP (1) EP3310248B1 (ja)
JP (1) JP6563526B2 (ja)
CN (1) CN107809952B (ja)
DE (1) DE102015211444A1 (ja)
WO (1) WO2016206831A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543629B (zh) * 2018-11-26 2024-07-19 平安科技(深圳)有限公司 一种眨眼识别方法、装置、设备及可读存储介质
DE102021111465A1 (de) 2021-05-04 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Ermittlung einer müdigkeit einer person auf basis einer lidschlaganalyse
DE112022005893T5 (de) * 2021-12-10 2024-10-02 Panasonic Automotive Systems Co., Ltd. Schätzvorrichtung, schätzverfahren und programm

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LU75977A1 (ja) * 1976-10-12 1978-05-16
US4359724A (en) * 1980-04-28 1982-11-16 Ronald R. Zimmerman Eyelid movement detector
JPS60592A (ja) * 1983-06-15 1985-01-05 三菱電機株式会社 いねむり防止装置
US4953111A (en) * 1987-02-12 1990-08-28 Omron Tateisi Electronics Co. Doze detector
US5239337A (en) * 1990-08-20 1993-08-24 Nikon Corporation Apparatus for ordering to phototake with eye-detection
JP3369201B2 (ja) * 1991-10-02 2003-01-20 マツダ株式会社 覚醒度維持装置
JP3293308B2 (ja) * 1994-03-10 2002-06-17 三菱電機株式会社 人物状態検出装置
US5689241A (en) * 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus
US5570698A (en) * 1995-06-02 1996-11-05 Siemens Corporate Research, Inc. System for monitoring eyes for detecting sleep behavior
JP3183161B2 (ja) * 1996-04-12 2001-07-03 三菱自動車工業株式会社 覚醒度推定装置
JP3556439B2 (ja) * 1997-08-12 2004-08-18 三菱電機株式会社 顔画像処理装置
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
US6661345B1 (en) * 1999-10-22 2003-12-09 The Johns Hopkins University Alertness monitoring system
JP3958917B2 (ja) * 2000-07-18 2007-08-15 株式会社アツミテック 車両用変速操作装置
JP4193337B2 (ja) * 2000-07-19 2008-12-10 いすゞ自動車株式会社 覚醒度低下判定装置
US6478425B2 (en) * 2000-12-29 2002-11-12 Koninlijke Phillip Electronics N. V. System and method for automatically adjusting a lens power through gaze tracking
JP3681657B2 (ja) * 2001-06-18 2005-08-10 三菱電機株式会社 覚醒度推定装置および覚醒度推定方法
JP3855790B2 (ja) * 2002-02-12 2006-12-13 日産自動車株式会社 運転者の状態検出装置
US7202793B2 (en) * 2002-10-11 2007-04-10 Attention Technologies, Inc. Apparatus and method of monitoring a subject and providing feedback thereto
US7202792B2 (en) * 2002-11-11 2007-04-10 Delphi Technologies, Inc. Drowsiness detection system and method
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
US7682024B2 (en) * 2003-03-13 2010-03-23 Plant Charles P Saccadic motion sensing
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
EP1638801A1 (en) * 2003-06-06 2006-03-29 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
JP4206928B2 (ja) * 2004-01-19 2009-01-14 株式会社デンソー 衝突可能性判定装置
US20060011399A1 (en) * 2004-07-15 2006-01-19 International Business Machines Corporation System and method for controlling vehicle operation based on a user's facial expressions and physical state
JP2006071619A (ja) * 2004-08-03 2006-03-16 Denso Corp ナビゲーション装置およびプログラム
JP4687266B2 (ja) * 2004-10-20 2011-05-25 富士ゼロックス株式会社 注意喚起装置および方法ならびに情報処理システム
JP2006130010A (ja) * 2004-11-04 2006-05-25 Denso Corp 視覚認識支援装置
US7344251B2 (en) * 2005-02-23 2008-03-18 Eyetracking, Inc. Mental alertness level determination
US7438418B2 (en) * 2005-02-23 2008-10-21 Eyetracking, Inc. Mental alertness and mental proficiency level determination
ATE526866T1 (de) * 2005-03-04 2011-10-15 Sleep Diagnostics Pty Ltd Wachheitsmessung
US7301465B2 (en) * 2005-03-24 2007-11-27 Tengshe Vishwas V Drowsy driving alarm system
US7301464B2 (en) * 2005-05-24 2007-11-27 Electronic Data Systems Corporation Process and method for safer vehicle navigation through facial gesture recognition and operator condition monitoring
JP4793269B2 (ja) * 2007-01-09 2011-10-12 株式会社デンソー 眠気検知装置
JP4840146B2 (ja) * 2007-01-09 2011-12-21 株式会社デンソー 眠気検知装置
JP4935398B2 (ja) 2007-02-09 2012-05-23 トヨタ自動車株式会社 居眠り警告装置、居眠り警告装置の警告方法
JP4582137B2 (ja) * 2007-10-11 2010-11-17 株式会社デンソー 眠気度判定装置
JP4966816B2 (ja) * 2007-10-25 2012-07-04 株式会社日立製作所 視線方向計測方法および視線方向計測装置
US8340368B2 (en) * 2008-06-11 2012-12-25 Hyundai Motor Company Face detection system
JP5210773B2 (ja) * 2008-09-16 2013-06-12 トヨタ自動車株式会社 眠気判定装置及びプログラム
JP5493593B2 (ja) * 2009-08-26 2014-05-14 アイシン精機株式会社 眠気検出装置、眠気検出方法、及びプログラム
CN101655907B (zh) * 2009-08-28 2013-03-20 大连鑫奇辉科技有限公司 机车司机行车状态监控智能报警系统
JP5411653B2 (ja) * 2009-10-16 2014-02-12 国立大学法人長岡技術科学大学 眠気判定装置
US10120438B2 (en) * 2011-05-25 2018-11-06 Sony Interactive Entertainment Inc. Eye gaze to alter device behavior
US20120306637A1 (en) * 2011-06-01 2012-12-06 Johnson Controls Technology Company System and method for selectively altering content of a vehicle interface
WO2013051307A1 (ja) * 2011-10-06 2013-04-11 本田技研工業株式会社 警報装置
CN104363948B (zh) * 2012-06-15 2016-08-24 株式会社日立制作所 刺激呈现系统
WO2014001490A1 (en) * 2012-06-29 2014-01-03 Essilor International (Compagnie Generale D'optique) A process for determining a pair of progressive ophthalmic lenses
WO2014031042A1 (en) 2012-08-20 2014-02-27 Autoliv Development Ab Eyelid movement processing for detection of drowsiness
EP2713307B1 (en) * 2012-09-28 2018-05-16 Accenture Global Services Limited Liveness detection
JP6288653B2 (ja) * 2012-10-19 2018-03-07 オートリブ ディベロップメント エービー 運転者注意力検出方法および装置
JP6462209B2 (ja) * 2013-12-03 2019-01-30 浜松ホトニクス株式会社 計測装置及び計測方法
JP6572538B2 (ja) * 2014-12-15 2019-09-11 アイシン精機株式会社 下方視判定装置および下方視判定方法
JP2016115117A (ja) * 2014-12-15 2016-06-23 アイシン精機株式会社 判定装置および判定方法
EP3056938B1 (en) * 2015-02-10 2017-12-20 Juan Dominguez-Montes Stereoscopic reproduction system using transparency

Also Published As

Publication number Publication date
CN107809952B (zh) 2022-05-27
US20180132759A1 (en) 2018-05-17
JP2018526045A (ja) 2018-09-13
WO2016206831A1 (de) 2016-12-29
EP3310248B1 (de) 2019-09-18
EP3310248A1 (de) 2018-04-25
US10278619B2 (en) 2019-05-07
DE102015211444A1 (de) 2016-12-22
CN107809952A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
CN107405121B (zh) 用于对车辆的驾驶员的疲劳状态和/或睡觉状态进行识别的方法和装置
US11535280B2 (en) Method and device for determining an estimate of the capability of a vehicle driver to take over control of a vehicle
US10748404B2 (en) Method and apparatus for recognising microsleep in a driver of a vehicle
JP5210773B2 (ja) 眠気判定装置及びプログラム
CN109716411B (zh) 用以监测驾驶员的活动水平的方法和设备
JP6754228B2 (ja) 目の開度のための参照レベルを供給する方法および装置
JP6563526B2 (ja) 目開幅を利用してまばたき事象と計器視線とを区別する方法および装置
CN108369768B (zh) 用于检测车辆乘客的困倦和/或微睡眠的方法和装置
US12499696B2 (en) Method of determining drowsiness of a driver in a vehicle
JP2008099884A (ja) 状態推定装置
CN115471824A (zh) 眼部状态检测方法、装置、电子设备和存储介质
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
US20240386729A1 (en) Method and Monitoring Device for Determining an Eye State of a Person, and Motor Vehicle Equipped Therewith
JP2010049337A (ja) 瞬き状態検出装置
CN112218581A (zh) 用于确定车辆驾驶员的专注度的方法、设备、计算机程序和计算机程序产品
JP2024157959A (ja) 検知方法、検知プログラム及び車載装置
WO2025004257A1 (ja) 眠気推定装置および眠気推定方法
WO2023193038A1 (en) Interventional protocol in respect of human-operated machine based on processing of blepharometric data and/or other physiological parameters
JP2022113516A (ja) 運転準備状態推定装置及びプログラム
JP2025062425A (ja) 乗員監視装置
CN120621039A (zh) 一种车载抬头显示控制方法、系统及设备
CN121451817A (zh) 一种车窗控制方法、装置及车辆
CN115757004A (zh) 一种针对用户熬夜状况的提醒方法、装置及设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181128

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190724

R150 Certificate of patent or registration of utility model

Ref document number: 6563526

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250