JP7613983B2 - 乗員状態検出システム - Google Patents
乗員状態検出システム Download PDFInfo
- Publication number
- JP7613983B2 JP7613983B2 JP2021058860A JP2021058860A JP7613983B2 JP 7613983 B2 JP7613983 B2 JP 7613983B2 JP 2021058860 A JP2021058860 A JP 2021058860A JP 2021058860 A JP2021058860 A JP 2021058860A JP 7613983 B2 JP7613983 B2 JP 7613983B2
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- monitoring
- information
- vehicle
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0872—Driver physiology
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/06—Ignition switch
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
また、走行状態と停車状態とでは、乗員監視装置において監視する対象が大きく異なることから、停車時に走行時と同じ監視制御をそのまま適用しても、乗員の状態を正しく検出することができないという課題もあった。
図1から図4を用いて、本実施形態に係る乗員状態検出システム1について説明する。
図1に示すように、本実施形態に係る乗員状態検出システム1は、乗員監視装置10と、判別装置100と、乗員状態検出装置200と、を含んで構成されている。
カメラは、専用のカメラであってもよいが、例えば、乗員認識装置を備えている場合には、乗員認識装置内のカメラを用いることが好ましい。また、カメラは、光学式カメラと近赤外線カメラとの双方により構成されていることが好ましい。
なお、本実施形態に係る乗員状態検出システム1において、乗員監視装置10は、外部から観察可能な乗員の表情や姿勢、挙動といった情報を監視するのに好適である。
ここで、目の開度は、居眠りを検知する指標として、瞬き回数は、眼精疲労の度合いや睡眠時間の不足等を検知する指標として、目の開度は乗員の睡眠状態等を検知する指標として例示することができる。
なお、乗員監視装置10において監視する情報の詳細については、後述する。
判別装置100は、例えば、図示しない車両のCPU(Central Processing Unit)から、イグニッション情報を取得し、イグニッションがON状態であるときには、車両が走行状態であると判別し、イグニッションがOFF状態であるときには、車両が停車状態であると判別する。
なお、判別装置100が、さらに、車速パルスやパーキングブレーキの作動状態等を監視して、上記イグニッションのON/OFF状態と併せて、車両の走行状態と停止状態とを判別するようにしてもよい。
具体的には、乗員状態検出装置200は、判別装置100から車両が停車状態である旨の情報を受信したときに、乗員監視装置10において監視する車両の乗員の監視部位および取得情報を割当てる。
そして、乗員状態検出装置200は、乗員の監視部位および取得情報が割当てられた乗員監視装置10から、乗員監視情報を受信し、乗員監視情報に基づいて乗員の身体状態を検出する。
図2に示すように、本実施形態に係る乗員状態検出装置200は、プロセッサ210と、メモリ220とを含んで構成されている。
また、プロセッサ210は、本実施形態においては、特に、後述する情報受信部211、監視割当部212、乗員状態検出部213等の機能を実行する。
本実施形態においては、例えば、乗員監視装置10からの乗員監視情報等がRAMに格納されている。
図2に示すように、本実施形態に係るプロセッサ210は、情報受信部211と、監視割当部212と、乗員状態検出部213と、を含んで構成されている。
情報受信部211は、判別装置100から車両が停車状態である旨の情報を受信した場合には、当該情報を後述する監視割当部212に送信する。
また、情報受信部211は、乗員監視装置10からの乗員監視情報を受信し、受信した乗員監視情報をメモリ220に格納する。
具体的には、図3に示すように、監視割当部212は、情報受信部211から車両が停車状態である旨の情報を受信し、さらに、乗員状態検出部213から乗員が睡眠状態にない旨の情報を受信したときには、乗員監視装置10の監視部位を「顔」に割当て、取得情報を「表情」に割当てる(割当処理A)。
また、監視割当部212は、例えば、情報受信部211から車両が停車状態である旨の情報を受信し、さらに乗員状態検出部213から乗員が睡眠状態である旨の情報を受信したときには、乗員監視装置10の監視部位を「全身」に割当て、取得情報を「挙動」に割当てる(割当処理B)。
具体的には、図3に示すように、乗員状態検出部213は、割当処理Aが実行されたときに得られる乗員監視情報(乗員の「表情」に関する情報)である、「視線の向き、顔の向き、目の開度、瞬き回数、眼球運動」等に基づいて、車両の乗員の睡眠状態、疲労状態等を検出する。
つまり、乗員状態検出部213は、乗員監視装置10の監視部位が「顔」に設定されたときには、停車中の居眠り、視線の向き等をリアルタイムに検出する。
そのために、乗員状態検出部213では、乗員の眼球運動や瞬きのような早い動き等の乗員監視情報に基づいた、検出処理が継続的に実行されている。
そのため、乗員状態検出部213では、乗員監視装置10の監視部位が「全身」に設定されたときには、「顔」に対する監視処理とは異なり、乗員の寝返り、体動等の遅い動き等の乗員監視情報に基づいた、低負荷の検出処理が継続的に実行されている。
図4を用いて、本実施形態に係る乗員状態検出システム1の処理について説明する。
監視割当部212が、イグニッションがOFF状態である車両の停止状態を示す情報を受信していないと判断した場合(ステップS110の「NO」)には、処理をステップS110に戻し、待機状態に移行する。
なお、待機状態では、例えば、通常車両が走行状態時に行われる乗員状態検出処理が継続的に実行される。
監視割当部212において、睡眠状態である旨の情報が受信された場合(ステップS120の「YES」)には、処理がステップS140に移行される。
一方で、監視割当部212において、睡眠状態である旨の情報が受信されていないと判断された場合(ステップS120の「NO」)には、処理がステップS130に移行される。
上述したように、割当処理A(ステップS130)では、監視割当部212は、乗員監視装置10の監視部位を「顔」に割当て、取得情報を「表情」に割当て、その旨の信号を乗員監視装置10に送信する処理を実行する。
上述したように、割当処理B(ステップS140)では、監視割当部212は、乗員監視装置10において検出する車両の乗員の監視部位を「全身」に割当て、取得情報を「挙動」に割当て、その旨の信号を乗員監視装置10に送信する処理を実行する。
なお、プロセッサ210は、監視割当部212における割当処理A(ステップS130)、または、割当処理B(ステップS140)の実行後に、情報受信部211における乗員監視装置10からの乗員監視情報の受信を許可するようにしてもよい。
あるいは、プロセッサ210は、監視割当部212における割当処理A(ステップS130)または割当処理B(ステップS140)の実行後に、情報受信部211に対して、乗員監視装置10からの乗員監視情報のメモリ220への情報の書き込みを許可するようにしてもよい。
そして、情報受信部211は、乗員監視装置10から受信した乗員監視情報をメモリ220に格納する(ステップS150)。
なお、乗員監視装置10が割当処理A(ステップS130)により、監視部位を「顔」、取得情報を「表情」に割当てられた場合には、乗員状態検出部213は、停車中の乗員の居眠り、視線の向き等の状態を検出する。
また、乗員監視装置10が割当処理B(ステップS140)により、監視部位を「全身」、取得情報を「挙動」に割当てられた場合には、乗員状態検出部213は、停車中の乗員の休息状態、睡眠の質等を検出する。
プロセッサ210において乗員状態検出処理を継続すると判定された場合(ステップS170の「YES」)には、処理をステップS110に戻し、乗員状態検出処理が継続される。
一方、プロセッサ210において乗員状態検出処理を継続しないと判定された場合(ステップS170の「NO」)には、乗員状態検出処理を終了する。
以上、説明したように、本実施形態に係る乗員状態検出システム1は、車両の乗員の身体状態を監視する乗員監視装置10と、乗員監視装置10からの乗員監視情報に基づいて車両の乗員の身体状態を検出する乗員状態検出装置200と、車両の走行状態と停車状態とを判別する判別装置100と、を備え、乗員状態検出装置200は、プロセッサ210と、プロセッサ210に通信可能に接続されるメモリ220と、を備え、プロセッサ210の情報受信部211は、乗員監視情報と判別装置100からの判別情報とを受信し、受信した乗員監視情報と判別情報とをメモリ220に格納し、判別情報に基づいて、乗員監視装置10が監視する車両の乗員の監視部位を割当て、乗員の身体状態を検出する。
つまり、乗員状態検出システム1は、車両の判別情報に基づいて、車両の乗員の監視部位および取得情報が割当てられた乗員監視装置10を用いて、車両の乗員の身体状態を検出する。
そのため、乗員の身体状態検出において、停車状態における監視方法が最適化されることから、乗員の身体状態を常に、正確に検出することができる。
つまり、判別装置100は、イグニッションのON/OFF状態で車両の走行状態と停車状態とを判別する。
そのため、乗員状態検出システム1は、特別なセンサ等を用いることなく、一意に車両の走行状態と停車状態とを検知することができる。
つまり、乗員状態検出システム1では、乗員監視装置10に対して、内蔵するカメラの特性を考慮して乗員の身体状態を検出する情報として、車両の乗員の挙動や表情を含む乗員監視情報を取得させる。
そのため、乗員状態検出システム1は、車両の乗員の挙動や表情等について、確度の高い情報を得ることができるため、車両の乗員の身体状態を検出する精度を向上させることができる。
また、カメラが、光学式カメラと近赤外線カメラの双方により構成されている場合には、昼夜を問わず乗員の画像を取得することができる。
そのため、時間帯を問わず、車両の停車状態における乗員の身体状態を常に、的確に把握することができる。
つまり、判別情報が停車状態であり、乗員が睡眠状態であると判断された場合には、車両の乗員の監視部位を乗員の「全身」に割当て、乗員の身体状態を検出する。
そのため、車両の乗員の監視部位を乗員の「全身」に割当てることにより、プロセッサ210の処理の負荷を下げることができ、プロセッサ210の消費電力を下げることができる。
さらに、プロセッサ210は、プロセッサ210の処理の負荷が下がったリソース分を新たな検出機能等に活用することができる。
つまり、判別情報が停車状態であり、乗員が睡眠状態であると判断された場合には、車両の乗員の監視部位を「全身」に割当て、乗員の身体状態を検出する。
そのため、車両の乗員の監視部位を乗員の「全身」に割当てることにより、プロセッサ210の処理の負荷を下げることができ、プロセッサ210の消費電力を下げることができる。
さらに、プロセッサ210は、プロセッサ210の処理の負荷が下がったリソース分を新たな検出機能等に活用することができる。
図5から図7を用いて、本実施形態に係る乗員状態検出システム1Aについて説明する。
図5に示すように、本実施形態に係る乗員状態検出システム1Aは、乗員監視装置10と、判別装置100と、乗員状態検出装置200Aと、を含んで構成されている。
なお、第1の実施形態と同一の符号を付す構成要素については、同様の機能を有することから、その詳細な説明は省略する。
図5に示すように、乗員状態検出装置200Aは、プロセッサ210Aと、メモリ220とを含んで構成されている。
なお、乗員状態検出装置200Aが実行する、監視部位および取得情報の割当処理の詳細に関しては、後述する。
また、乗員状態検出装置200Aは、乗員監視装置10からの乗員監視情報を受信する。
そして、乗員状態検出装置200Aは、乗員監視装置10からの乗員監視情報に基づいて乗員の身体状態を検出する。
図5に示すように、プロセッサ210Aは、情報受信部211Aと、監視割当部212Aと、乗員状態検出部213Aと、を含んで構成されている。
具体的には、図6に示すように、監視割当部212Aは、情報受信部211Aから車両が走行状態である旨の情報を受信したときには、乗員監視装置10の監視対位を「顔」に割当て、取得情報を「表情」に割当てる(割当処理C)。
また、監視割当部212Aは、情報受信部211Aから車両が停車状態である旨の情報を受信したときには、乗員監視装置10の監視部位を「全身」に割当て、取得情報を「挙動」に割当てる(割当処理D)。
具体的には、図6に示すように、乗員状態検出部213Aは、割当処理Cが実行されたときに得られる乗員監視情報(乗員の「表情」に関する情報)である、「視線の向き、顔の向き、目の開度、瞬き回数、眼球運動」等に基づいて、車両の乗員の居眠り、疲労、わき見等を検出する。
つまり、乗員状態検出部213Aは、乗員監視装置10が「顔」に設定されたときには、運転中の居眠り等をリアルタイムに検出する。
そのために、乗員状態検出部213Aでは、乗員の眼球運動や瞬き等の早い動き等の乗員監視情報に基づいた、検出処理が継続的に実行されている。
そのため、乗員状態検出部213Aでは、乗員監視装置10の監視部位が「全身」に設定されたときには、「顔」の監視とは異なり、乗員の寝返り、体動等の遅い動き等の乗員監視情報に基づいた、低負荷な検出処理が実行されている。
図7を用いて、本実施形態に係る乗員状態検出システム1Aの処理について説明する。
このとき、監視割当部212Aは、イグニッションがON状態である車両の走行状態を示す情報を受信していると判断した場合(ステップS210の「YES」)には、処理をステップS220に移行し、割当処理Cを実行する(ステップS220)。
上述したように、割当処理Cでは、乗員監視装置10の監視部位が「顔」に割当てられ、取得情報が「表情」に割当てられる。
上述したように、割当処理Dでは、乗員監視装置10の監視部位が「全身」に割当てられ、取得情報が「挙動」に割当てられる。
そして、情報受信部211Aは、乗員監視装置10から受信した乗員監視情報をメモリ220に格納する(ステップS240)。
なお、乗員監視装置10が割当処理C(ステップS220)により、監視部位を「顔」、取得情報を「表情」に割当てられた場合には、乗員状態検出部213Aは、走行中の乗員の居眠り、疲労、わき見等を検出する。
また、乗員監視装置10が割当処理D(ステップS230)により、監視部位を「全身」、取得情報を「挙動」に割当てられた場合には、乗員状態検出部213Aは、停車中の乗員の休息状態、睡眠状態、睡眠の質等を検出する。
プロセッサ210Aにおいて乗員状態検出処理を継続すると判定された場合(ステップS260の「YES」)には、処理をステップS210に戻し、乗員状態検出処理を継続する。
一方、プロセッサ210Aにおいて乗員状態検出処理を継続しないと判定された場合(ステップS260の「NO」)には、乗員状態検出処理を終了する。
以上、説明したように、本実施形態に係る乗員状態検出システム1Aにおけるプロセッサ210Aは、判別情報が走行状態である場合には、監視部位を車両の乗員の顔に割当て、判別情報が停車状態である場合には、監視部位を車両の乗員の体全体に割当て、車両の乗員の身体状態を検出する。
つまり、乗員状態検出システム1は、車両の判別情報に基づいて、車両の乗員の監視部位および取得情報がそれぞれ割当てられた乗員監視装置10を用いて、車両の乗員の身体状態を検出する。
そのため、乗員の身体状態検出において、乗員の身体状態検出において、車両が走行状態における監視方法と停車状態における監視方法とが最適化されることから、乗員の身体状態を常に、正確に検出することができる。
また、車両が停車状態のときには、車両の乗員の監視部位を乗員の「全身」に割当てることにより、プロセッサ210Aの処理の負荷を下げることができ、プロセッサ210Aの消費電力を下げることができる。
さらに、プロセッサ210Aは、プロセッサ210Aの処理の負荷が下がったリソース分を新たな検出機能等に活用することができる。
図8および図10を用いて、本実施形態に係る乗員状態検出システム1Bについて説明する。
図8に示すように、本実施形態に係る乗員状態検出システム1Bは、乗員監視装置10と、判別装置100と、乗員状態検出装置200Bと、を含んで構成されている。
なお、乗員状態検出装置200Bが実行する、監視部位および取得情報の割当処理の詳細に関しては、後述する。
また、乗員状態検出装置200Bは、乗員監視装置10からの乗員監視情報を受信する。
そして、乗員状態検出装置200Bは、乗員監視装置10からの乗員監視情報に基づいて乗員の身体状態を検出する。
図8に示すように、プロセッサ210Bは、情報受信部211Bと、監視割当部212Bと、乗員状態検出部213Bと、を含んで構成されている。
具体的には、図9に示すように、監視割当部212Bは、情報受信部211Bから車両が走行状態である旨の情報を受信したときには、例えば、乗員監視装置10には、監視部位を「運転手」に割当て、取得情報を「表情」に割当てる(割当処理E)。
また、監視割当部212Bは、情報受信部211Bから車両が停車状態である旨の情報を受信したときには、例えば、乗員監視装置10には、監視部位として「全ての乗員」、取得情報を「挙動」に割当てる(割当処理F)。
具体的には、図9に示すように、乗員状態検出部213Bは、割当処理Eが実行されたときに得られる乗員監視情報(乗員の「表情」に関する情報)である、「視線の向き、顔の向き、目の開度、瞬き回数、眼球運動」等に基づいて、車両の運転手の居眠り、疲労、わき見等を検出する。
つまり、乗員状態検出部213Bは、乗員監視装置10の監視部位が「運転手」に設定されたときには、運転中の運転手の居眠り、よそ見等をリアルタイムに検出する。
そのために、乗員状態検出部213Bでは、運転手の眼球運動や瞬き等の早い動き等の乗員監視情報に基づいた、検出処理が継続的に実行されている。
そのため、乗員状態検出部213Bでは、乗員監視装置10監視部位が「全ての乗員」に設定されたときには、「運転手」の監視とは異なり、乗員の寝返り、体動等の遅い動き等の乗員監視情報に基づいた、低負荷な検出処理が実行されている。
図10を用いて、本実施形態に係る乗員状態検出システム1Bの処理について説明する。
上述したように、割当処理E(ステップS320)では、監視割当部212Bは、乗員監視装置10の監視部位を「運転手」、取得情報を「表情」に割当て、その旨の信号を乗員監視装置10に送信する処理を実行する。
上述したように、割当処理F(ステップS330)では、監視割当部212Bは、乗員監視装置10の監視部位を「全ての乗員」、取得情報を「挙動」に割当て、その旨の信号を乗員監視装置10に送信する処理を実行する。
そして、情報受信部211Bは、乗員監視装置10から受信した乗員監視情報をメモリ220に格納する(ステップS340)。
なお、乗員監視装置10が割当処理E(ステップS320)により、監視部位を「運転手」、取得情報を「表情」に割当てられた場合には、乗員状態検出部213Bは、走行中の運転手の居眠り、疲労、わき見等を検出する。
また、乗員監視装置10が割当処理F(ステップS330)により、監視部位を「全ての乗員」、取得情報を「挙動」に割当てられた場合には、乗員状態検出部213Bは、停車中の全ての乗員の休息状態、睡眠状態、睡眠の質等を検出する。
プロセッサ210Bにおいて乗員状態検出処理を継続すると判定された場合(ステップS360の「YES」)には、処理をステップS310に戻し、乗員状態検出処理を継続する。
一方、プロセッサ210Bにおいて乗員状態検出処理を継続しないと判定された場合(ステップS360の「NO」)には、乗員状態検出処理を終了する。
以上、説明したように、本実施形態に係る乗員状態検出システム1Bにおけるプロセッサ210Bは、判別情報が走行状態である場合には、監視部位を車両の運転者に割当て、判別情報が停車状態である場合には、監視部位を車両の全ての乗員に割当て、車両の乗員の身体状態を検出する。
プロセッサ210Bは、判別情報が走行状態である場合には、監視部位を運転者に割当て、判別情報が停車状態である場合には、監視部位を車両の全ての乗員に割当て、車両の乗員の身体状態を検出する。
つまり、乗員状態検出システム1Bは、車両の判別情報に基づいて、車両の乗員の監視部位および取得情報がそれぞれ割当てられた乗員監視装置10を用いて、車両の乗員の身体状態を検出する。
そのため、乗員の身体状態検出において、乗員の身体状態検出において、車両が走行状態における監視方法と停車状態における監視方法とが最適化されることから、乗員の身体状態を常に、正確に検出することができる。
また、車両が停車状態のときには、車両の乗員の監視部位を「全ての乗員」に割当てることにより、プロセッサ210Bの処理の負荷を下げることができ、プロセッサ210Bの消費電力を下げることができる。
さらに、プロセッサ210Bは、プロセッサ210Bの処理の負荷が下がったリソース分を新たな機能等に活用することができる。
図11~図13を用いて、本実施形態に係る乗員状態検出システム1Cについて説明する。
図11に示すように、本実施形態に係る乗員状態検出システム1Cは、乗員監視装置10と、判別装置100と、乗員状態検出装置200Cと、を含んで構成されている。
なお、乗員状態検出装置200Cが実行する、監視部位の割当処理の詳細に関しては、後述する。
また、乗員状態検出装置200Cは、乗員監視装置10からの乗員監視情報を受信する。
そして、乗員状態検出装置200Cは、乗員監視装置10からの乗員監視情報に基づいて乗員の身体状態を検出する。
図8に示すように、プロセッサ210Cは、情報受信部211Cと、監視割当部212Cと、乗員状態検出部213Cと、を含んで構成されている。
つまり、車両が走行状態であるときには、乗員の異常な姿勢や居眠り、わき見等を直ちに検出するために、乗員監視装置10の監視部位が「顔および全身」に割当てられ、乗員監視情報として、「視線の向き、顔の向き、瞬き回数、目の開度、眼球運動、姿勢、体動」等が、情報受信部211Cに送信される。
また、監視割当部212Cは、情報受信部211Cから車両が停車状態である旨の情報を受信したときには、乗員監視装置10の監視部位を乗員の「顔の一部および全身」に割当てる(割当処理H)。
つまり、車両が停車状態であるときには、乗員の居眠り、わき見などの危険状態を直ちに検出する必要がないため、乗員監視装置10の監視部位が「顔の一部および全身」に割当てられ、乗員監視情報として「顔の向き、目の開度、姿勢、体動」等が情報受信部211Cに送信される。
図13を用いて、本実施形態に係る乗員状態検出システム1Cの処理について説明する。
上述したように、割当処理G(ステップS420)では、監視割当部212Cは、乗員監視装置10の監視部位を乗員の「顔および全身」に割当て、その旨の信号を乗員監視装置10に送信する処理を実行する。
上述したように、割当処理H(ステップS430)では、監視割当部212Cは、乗員監視装置10の監視部位を乗員の「顔の一部と全身」に割当て、その旨の信号を乗員監視装置10に送信する処理を実行する。
そして、情報受信部211Cは、乗員監視装置10受信した乗員監視情報をメモリ220に格納する(ステップS440)。
なお、乗員監視装置10が割当処理G(ステップS420)により、監視部位を乗員の「顔および全身」に割当てられた場合には、乗員状態検出部213Cは、走行中の乗員の居眠り、疲労、わき見等を検出する。
また、乗員監視装置10が割当処理H(ステップS430)により、監視部位を「顔の一部および全身」に割当てられた場合には、乗員状態検出部213Cは、停車中の乗員の休息状態、睡眠状態等を検出する。
プロセッサ210Cにおいて乗員状態検出処理を継続すると判定された場合(ステップS460の「YES」)には、処理をステップS410に戻し、乗員状態検出処理を継続する。
一方、プロセッサ210Cにおいて乗員状態検出処理を継続しないと判定された場合(ステップS460の「NO」)には、乗員状態検出処理を終了する。
以上、説明したように、本実施形態に係る乗員状態検出システム1Cにおけるプロセッサ210Cは、判別情報が走行状態である場合には、監視部位を車両の乗員の顔および全身に割当て、前記判別情報が前記停車状態である場合には、前記監視部位を前記車両の乗員の顔の一部および全身に割当て、前記車両の乗員の身体状態を検出する。
つまり、車両が走行状態であるときには、乗員状態検出システム1Cは、運転中の危険状態を直ちに検出する必要があるため、「視線の向き、顔の向き、瞬き回数、目の開度、眼球運動、姿勢、体動」等の乗員監視情報に基づいて、走行中の居眠り、よそ見等を検出する。
また、車両が停車状態であるときには、乗員状態検出システム1Cは、居眠り、よそ見などの危険状態を直ちに検出する必要がないため「顔の向き、目の開度、姿勢、体動」等の乗員監視情報に基づいて、車両の乗員の身体状態を検出する。
つまり、乗員状態検出システム1Cは、車両が停車状態の乗員の身体状態の検出に必要の無い乗員監視情報は取得しないように監視部位を割当てる。
そのため、乗員の身体状態検出において、車両が走行状態における監視方法と停車状態における監視方法とが最適化されることから、乗員の身体状態を常に、正確に検出することができる。
さらに、車両が走行状態にあるときには、乗員の顔の詳細な情報を監視するために、乗員の外面状態(体動、姿勢等)だけでは判断できない、ストレス、眠気、漫然運転、疲労等の乗員の内面状態を検出することができる。
また、車両が停車状態のときには、車両の乗員の監視部位を乗員の「顔の一部および全身」に割当てることにより、プロセッサ210Cの処理の負荷を下げることができ、プロセッサ210Cの消費電力を下げることができる。
さらに、プロセッサ210Cは、プロセッサ210Cの処理の負荷が下がったリソース分を新たな検出機能等に活用することができる。
以上、上述した乗員状態検出システム1,1A、1B,1Cは、乗員監視装置10に備えられたカメラにより撮像した画像情報から取得した乗員監視情報に基づいて、乗員の身体状態を検出していたが、カメラを備えた第1の乗員監視装置とミリ波レーダを備えた第2の乗員監視装置とから取得した乗員監視情報に基づいて、乗員の身体状態を検出する様にしてもよい。
以下に、図14および図15を用いて、上述した第1の乗員監視装置と第2の乗員監視装置とを備えた乗員状態検出システム1Dについて説明する。
図14に示すように、本実施形態に係る乗員状態検出システム1Dは、第1の乗員監視装置10aと、第2の乗員監視装置10bと、判別装置100と、乗員状態検出装置200Dと、を含んで構成されている。
第2の乗員監視装置10bは、ミリ波レーダにより乗員監視情報を取得する。
第2の乗員監視装置10bのミリ波レーダは、第1の乗員監視装置10aのカメラに対してある程度距離をおいた位置に配設されている。
なお、遮蔽物によりカメラでは車両の乗員の画像が取得できない場合であっても、ミリ波レーダを用いることにより、車両の乗員の監視が可能となる。
つまり、第2の乗員監視装置10bは、カメラにて捕捉できない範囲、または、一部捕捉できる範囲にいる乗員に関する乗員監視情報を得るのに好適である。
例えば、第2の乗員監視装置10bは、シートを倒して休息や睡眠をとる乗員、後席に座る乗員の乗員監視情報を取得する。
さらに、第2の乗員監視装置10bは、「生体情報」である、心拍数、心拍変動、呼吸数、脳波等を取得することができる。
つまり、第2の乗員監視装置10bは、外部からの観察が難しい乗員の健康状態等を監視するための生体情報を得るのに好適である。
図14に示すように、乗員状態検出装置200Dは、プロセッサ210Dと、メモリ220とを含んで構成されている。
なお、乗員状態検出装置200Dが実行する、監視部位および取得情報の割当処理の詳細に関しては、後述する。
また、乗員状態検出装置200Dは、第1の乗員監視装置10aと第2の乗員監視装置10bとから、乗員監視情報を受信する。
そして、乗員状態検出装置200Dは、第1の乗員監視装置10aおよび第2の乗員監視装置10bにおいて取得した乗員監視情報に基づいて乗員の身体状態を検出する。
図14に示すように、プロセッサ210Dは、情報受信部211Dと、監視割当部212Dと、乗員状態検出部213Dと、を含んで構成されている。
具体的には、図15に示すように、監視割当部212Dは、情報受信部211Dから車両が走行状態である旨の情報を受信したときには、第1の乗員監視装置10aおよび第2の乗員監視装置10bの監視部位を「顔」に割当てる。
そして、監視割当部212Dは、第1の乗員監視装置10aの取得情報を「表情」に割当て、第2の乗員監視装置10bの取得情報を「表情」および「生体情報」に割当てる(割当処理I)。
また、監視割当部212Dは、情報受信部211Dから車両が停車状態である旨の情報を受信したときには、第1の乗員監視装置10aおよび第2の乗員監視装置10bの監視部位を「全身」に割当てる。
そして、監視割当部212Dは、第1の乗員監視装置10aの取得情報を、「挙動」に割当て、第2の乗員監視装置10bの取得情報を「挙動」および「生体情報」に割当てる(割当処理J)。
具体的には、図15に示すように、乗員状態検出部213Dは、割当処理Iが実行されたときに得られる乗員監視情報(乗員の「表情」および「生体情報」に関する情報)である、「視線の向き、顔の向き、目の開度、瞬き回数、眼球運動」および「心拍数、心拍変動、呼吸数、脳波」に基づいて、車両の乗員の居眠り、疲労、わき見、ストレス等を検出する。
以上、説明したように、本実施形態に係る乗員状態検出システム1Dでは、第2の乗員監視装置10bがミリ波レーダを備えているために、乗員の詳細な生体情報を取得することができる。
そのため、乗員の詳細な生体情報を用いることにより、精度よく乗員の身体状態を検出することができる。
また、本実施形態に係る乗員状態検出システム1Dでは、第2の乗員監視装置10bがミリ波レーダを備えているために、カメラでは捕捉できない位置にいる乗員の監視情報を取得することができる。
そのため、カメラでは取得できなかった乗員監視情報を、ミリ波レーダから取得した乗員監視情報により補間することができるために、精度よく乗員の身体状態を検出することができる。
例えば、上記実施形態においては、乗員状態検出装置200内に、監視割当部212、乗員状態検出部213を設けることを例示したが、乗員監視装置10からの情報を車両に接続されたサーバに転送し、サーバにおいて、監視割当部212の処理、乗員状態検出部213の処理を実行させる構成としてもよい。
このようにすることにより、多くの情報を迅速に処理して、車両の停車状態における乗員の身体状態等を、常に、正確に検出することができる。
1A;乗員状態検出システム
1B;乗員状態検出システム
1C;乗員状態検出システム
1D;乗員状態検出システム
10;乗員監視装置
10a;第1の乗員監視装置
10b;第2の乗員監視装置
100;判別装置
200;乗員状態検出装置
200A;乗員状態検出装置
200B;乗員状態検出装置
200C;乗員状態検出装置
200D;乗員状態検出装置
210;プロセッサ
210A;プロセッサ
210B;プロセッサ
210C;プロセッサ
210D;プロセッサ
211;情報受信部
211A;情報受信部
211B;情報受信部
211C;情報受信部
211D;情報受信部
212;監視割当部
212A;監視割当部
212B;監視割当部
212C;監視割当部
212D;監視割当部
213;乗員状態検出部
213A;乗員状態検出部
213B;乗員状態検出部
213C;乗員状態検出部
213D;乗員状態検出部
220;メモリ
Claims (1)
- 車両の乗員の身体状態を監視する乗員監視装置と、
前記乗員監視装置からの乗員監視情報に基づいて前記車両の乗員の身体状態を検出する乗員状態検出装置と、
前記車両の走行状態と停車状態とを判別する判別装置と、
を備え、
前記乗員状態検出装置は、1つまたは複数のプロセッサと、前記1つまたは複数のプロセッサに通信可能に接続される1つまたは複数のメモリと、を備え、
前記判別装置は、イグニッション情報を取得し、イグニッションがOFF状態であるときに、前記1つまたは複数のプロセッサに前記車両が前記停車状態である旨の判別情報を送信し、イグニッションがON状態であるときに、前記1つまたは複数のプロセッサに前記車両が前記走行状態である旨の前記判別情報を送信し、
前記乗員監視装置は、前記車両の乗員の画像を撮像するカメラを含み、前記乗員の顔または全身を撮像した画像情報から取得した前記乗員監視情報を前記1つまたは複数のプロセッサに送信し、
前記1つまたは複数のプロセッサは、前記乗員監視情報と前記判別装置からの前記判別情報とを受信し、該受信した前記乗員監視情報と前記判別情報とを前記1つまたは複数のメモリに格納し、前記判別情報が前記停車状態である場合には、前記乗員監視装置が監視する監視部位を前記乗員の全身に割当てて前記乗員の休息状態または睡眠の質の少なくとも一方を検出し、前記判別情報が前記走行状態である場合には、前記乗員監視装置が監視する監視部位を前記乗員の顔に割当てて前記乗員の睡眠状態または疲労状態の少なくとも一方を検出することを特徴とする乗員状態検出システム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021058860A JP7613983B2 (ja) | 2021-03-30 | 2021-03-30 | 乗員状態検出システム |
| US17/698,377 US12233894B2 (en) | 2021-03-30 | 2022-03-18 | Occupant state detection system |
| DE102022106810.2A DE102022106810A1 (de) | 2021-03-30 | 2022-03-23 | Insassen-zustands-erfassungssystem |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021058860A JP7613983B2 (ja) | 2021-03-30 | 2021-03-30 | 乗員状態検出システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022155397A JP2022155397A (ja) | 2022-10-13 |
| JP7613983B2 true JP7613983B2 (ja) | 2025-01-15 |
Family
ID=83282830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021058860A Active JP7613983B2 (ja) | 2021-03-30 | 2021-03-30 | 乗員状態検出システム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US12233894B2 (ja) |
| JP (1) | JP7613983B2 (ja) |
| DE (1) | DE102022106810A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112021006996T5 (de) * | 2021-02-03 | 2023-11-30 | Mitsubishi Electric Corporation | Anpassungsvorrichtung, Anpassungssystem und Anpassungsverfahren |
| WO2025248621A1 (ja) * | 2024-05-28 | 2025-12-04 | 三菱電機モビリティ株式会社 | 乗員睡眠異常検出システム、乗員睡眠異常検出装置、および、乗員睡眠異常検出方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008123449A (ja) | 2006-11-15 | 2008-05-29 | Toyota Motor Corp | 車両制御システム |
| JP2014004091A (ja) | 2012-06-22 | 2014-01-16 | Toyota Motor Corp | 睡眠制御装置 |
| WO2020255287A1 (ja) | 2019-06-19 | 2020-12-24 | 三菱電機株式会社 | 自動運転支援装置、自動運転支援システムおよび自動運転支援方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7301464B2 (en) * | 2005-05-24 | 2007-11-27 | Electronic Data Systems Corporation | Process and method for safer vehicle navigation through facial gesture recognition and operator condition monitoring |
| US20120286957A1 (en) * | 2011-05-13 | 2012-11-15 | Stephen Frechette | Mobile Sleep Detection Method and System |
| US20130311074A1 (en) * | 2012-05-17 | 2013-11-21 | Webtech Wireless Inc. | Ignition event generation using data from vehicle bus |
| WO2019208764A1 (ja) * | 2018-04-27 | 2019-10-31 | テイ・エス テック株式会社 | Ecu装置、車両シート、着座者の下肢の長さ推定システム及び座高検出センサーの取付構造 |
| JP7211673B2 (ja) | 2018-05-25 | 2023-01-24 | 株式会社Subaru | 車両の乗員監視装置 |
| DE102018215674A1 (de) * | 2018-09-14 | 2020-03-19 | Continental Automotive Gmbh | Verfahren zur Reduzierung der Aufstartzeit, Fahrzeug, Computerprogramm und Datenträgersignal |
| US10949659B2 (en) * | 2019-04-16 | 2021-03-16 | GM Global Technology Operations LLC | Vehicle occupant detection |
| JP7424244B2 (ja) * | 2020-08-07 | 2024-01-30 | 株式会社デンソー | シートリクライニング位置制御装置 |
| JP7391265B2 (ja) * | 2021-03-16 | 2023-12-04 | 三菱電機株式会社 | 乗員検知装置、乗員検知システム及び乗員検知方法 |
-
2021
- 2021-03-30 JP JP2021058860A patent/JP7613983B2/ja active Active
-
2022
- 2022-03-18 US US17/698,377 patent/US12233894B2/en active Active
- 2022-03-23 DE DE102022106810.2A patent/DE102022106810A1/de active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008123449A (ja) | 2006-11-15 | 2008-05-29 | Toyota Motor Corp | 車両制御システム |
| JP2014004091A (ja) | 2012-06-22 | 2014-01-16 | Toyota Motor Corp | 睡眠制御装置 |
| WO2020255287A1 (ja) | 2019-06-19 | 2020-12-24 | 三菱電機株式会社 | 自動運転支援装置、自動運転支援システムおよび自動運転支援方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102022106810A1 (de) | 2022-10-06 |
| JP2022155397A (ja) | 2022-10-13 |
| US20220315031A1 (en) | 2022-10-06 |
| US12233894B2 (en) | 2025-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7613983B2 (ja) | 乗員状態検出システム | |
| JP6264492B1 (ja) | 運転者監視装置、運転者監視方法、学習装置及び学習方法 | |
| US11751784B2 (en) | Systems and methods for detecting drowsiness in a driver of a vehicle | |
| JP5007975B2 (ja) | 居眠り検知装置 | |
| JP7759235B2 (ja) | 乗員状態検出システム | |
| JP7252438B2 (ja) | 異常検知装置及びシート | |
| JP6870660B2 (ja) | ドライバ監視装置 | |
| EP4177852B1 (en) | Method for automatically controlling in-cabin environment for passenger and system therefor | |
| CA2578226C (en) | Method and apparatus for generating an indication of a level of vigilance of an individual | |
| JP2020194227A (ja) | 顔遮蔽判定装置、顔遮蔽判定方法、顔遮蔽判定プログラム及び乗員監視システム | |
| JP7598694B2 (ja) | 乗員状態検出システム | |
| JP7081844B2 (ja) | 検出システム | |
| KR102238760B1 (ko) | 비전 센서를 갖는 차량 정보 장치 | |
| US11750775B2 (en) | Occupant state detection system | |
| JP7616799B2 (ja) | 運転支援システム | |
| CN117022291A (zh) | 用于确定驾驶者执行驾驶任务的本领的驾驶者评估系统 | |
| CN115402175A (zh) | 车载座椅控制方法、装置、介质及设备 | |
| CN116548927A (zh) | 一种车载睡眠管理方法、装置、设备以及存储介质 | |
| JP2021149488A (ja) | 画像記憶制御装置及び画像記憶制御方法 | |
| JP7666594B2 (ja) | 車内監視装置、車内監視方法、及びプログラム | |
| KR102444360B1 (ko) | 비전 센서를 갖는 차량 정보 장치 | |
| CN119274168A (zh) | 驾驶员的缺水状态检测方法及装置 | |
| JP7568290B2 (ja) | 精神疾患推定システム、精神疾患推定装置、精神疾患推定プログラム及び精神疾患推定方法 | |
| CN120105189A (zh) | 一种醉酒状态检测方法、系统、设备及介质 | |
| JP2020047085A (ja) | 車両用監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240827 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240828 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20241025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241203 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241226 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7613983 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |