JP6933668B2 - 運転状態監視方法及び装置、運転者監視システム、並びに車両 - Google Patents

Description

［関連出願の相互参照］
本出願は、２０１８年４月２５日に出願された「運転状態監視方法及び装置、運転者監視システム、並びに車両」と題する出願番号ＰＣＴ／ＣＮ ２０１８／０８４５２６の関連出願であり、当該出願のすべての内容を全体として本願に組み込む。
本出願は、コンピュータ視覚技術に関し、特に運転状態監視方法及び装置、運転者監視システム、並びに車両に関する。

運転者の運転状態は走行安全に深刻に影響するため、できるだけ運転者を良好な運転状態にすべきである。運転者は運転中に携帯電話などの別の事物によって散漫状態になる場合、道路状況を適時に把握できない。

運転者の運転状態が悪い場合、判断能力が低下し、ひいては意識混濁又は瞬間記憶消失が発生する可能性があり、それによって運転動作が遅くなりすぎるか又は早くなりすぎ、動作中断又は修正時間が不適切などの危険要因が発生し、道路交通事故が非常に発生しやすい。

本出願の実施例は運転状態監視の技術的解決手段を提供する。

本出願の実施例の一態様によれば、運転状態監視方法を提供し、それは、
運転者画像について運転者状態検出を行うことと、
運転者状態検出の結果に基づき、運転者の運転状態監視結果を出力し及び／又はスマート運転制御を行うことと、を含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記運転者状態検出は、運転者の疲労状態検出、運転者の散漫状態検出、運転者の予定散漫動作検出のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視方法の実施例では、運転者画像について運転者の疲労状態検出を行うことは、
前記運転者画像における運転者の顔を少なくとも一部の領域を検出し、顔の少なくとも一部の領域の状態情報を取得することと、
所定時間内の前記顔の少なくとも一部の領域の状態情報に基づき、運転者疲労状態を特徴付けるための指標のパラメータ値を取得することと、
運転者疲労状態を特徴付けるための指標のパラメータ値に基づいて運転者疲労状態検出の結果を決定することと、を含み、
前記顔の少なくとも一部の領域の状態情報は、目の開閉状態情報、口の開閉状態情報のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視方法の実施例では、運転者疲労状態を特徴付けるための前記指標は、閉目程度、欠伸程度のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記閉目程度のパラメータ値は、閉目回数、閉目頻度、閉目持続時間、閉目幅、半閉目回数、半閉目頻度のいずれか一つ又は複数を含み、及び／又は、
前記欠伸程度のパラメータ値は、欠伸状態、欠伸回数、欠伸持続時間、欠伸頻度のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視方法の実施例では、運転者画像について運転者の散漫状態検出を行うことは、
前記運転者画像における運転者の顔向き及び／又は視線方向を検出し、顔向き情報及び／又は視線方向情報を取得することと、
所定時間内の前記顔向き情報及び／又は視線方向情報に基づき、運転者散漫状態を特徴付けるための指標のパラメータ値を特定することと、
前記運転者散漫状態を特徴付けるための指標のパラメータ値に基づいて運転者散漫状態検出の結果を決定することと、を含み、
運転者散漫状態を特徴付けるための前記指標は、顔向きずれ程度、視線ずれ程度のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記顔向きずれ程度のパラメータ値は、振り向き回数、振り向き持続時間、振り向き頻度のいずれか一つ又は複数を含み、及び／又は、
前記視線ずれ程度のパラメータ値は、視線方向ずれ角度、視線方向ずれ時間、視線方向ずれ頻度のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視方法の実施例では、運転者画像について顔向き及び／又は視線方向を検出することは、
前記運転者画像の顔キーポイントを検出することと、
前記顔キーポイントに基づいて顔向き及び／又は視線方向を検出することと、を含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記顔キーポイントに基づいて顔向きを検出し、顔向き情報を取得するステップは、
前記顔キーポイントに基づいて頭部姿勢の特徴情報を取得することと、
前記頭部姿勢の特徴情報に基づいて顔向き情報を決定することと、を含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記顔キーポイントに基づいて頭部姿勢の特徴情報を取得し、前記頭部姿勢の特徴情報に基づいて顔向き情報を取得することは、
第一ニューラルネットワークを介して前記顔キーポイントに基づいて頭部姿勢の特徴情報を抽出することと、
第二ニューラルネットワークを介して前記頭部姿勢の特徴情報に基づいて顔向き推定を行い、顔向き情報を取得することと、を含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記顔キーポイントに基づいて視線方向を検出し、視線方向情報を取得することは、
前記顔キーポイントにおける目キーポイントにより位置決めされた目画像に基づいて瞳孔エッジ位置を特定し、且つ前記瞳孔エッジ位置に基づいて瞳孔中心位置を計算することと、
前記瞳孔中心位置及び目中心位置に基づいて前記視線方向情報を計算することと、を含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記顔キーポイントにおける目キーポイントにより位置決めされた目画像に基づいて瞳孔エッジ位置を特定することは、
第三ニューラルネットワークを介して前記顔キーポイントにより分割された前記画像中の目領域画像に基づいて瞳孔エッジ位置検出を行い、且つ第三ニューラルネットワークが出力した情報に基づいて瞳孔エッジ位置を取得することを含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記予定散漫動作は、喫煙動作、水飲み動作、食事動作、電話かけ動作、娯楽動作のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視方法の実施例では、運転者画像について予定散漫動作検出を行うことは、
運転者画像について前記予定散漫動作に対応する目標対象の検出を行い、目標対象の検出ボックスを取得することと、
前記目標対象の検出ボックスに基づき、前記予定散漫動作が発生したか否かを決定することと、を含む。

任意選択的に、上記各運転状態監視方法の実施例では、更に、
散漫動作が発生した場合、所定時間内に前記予定散漫動作が発生したか否かを決定した結果を取得し、散漫程度を特徴付けるための指標のパラメータ値を取得することと、
散漫程度を特徴付けるための前記指標のパラメータ値に基づいて運転者の予定散漫動作検出の結果を決定することと、を含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記散漫程度のパラメータ値は、予定散漫動作の回数、予定散漫動作の持続時間、予定散漫動作の頻度のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記予定散漫動作が喫煙動作である場合、運転者画像について前記予定散漫動作に対応する目標対象の検出を行い、目標対象の検出ボックスを取得し、前記目標対象の検出ボックスに基づいて、前記予定散漫動作が発生したか否かを決定するステップは、
第四ニューラルネットワークを介して前記運転者画像について顔検出を行い、顔検出ボックスを取得し、且つ前記顔検出ボックスの特徴情報を抽出することと、
前記第四ニューラルネットワークを介して前記顔検出ボックスの特徴情報に基づいて喫煙動作が発生したか否かを決定することと、を含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記予定散漫動作が食事動作、水飲み動作、電話かけ動作または娯楽動作動作である場合、運転者画像について前記予定散漫動作に対応する目標対象の検出を行い、目標対象の検出ボックスを取得し、前記目標対象の検出ボックスに基づき、前記予定散漫動作が発生したか否かを決定するステップは、
第五ニューラルネットワークを介して前記運転者画像について前記食事動作、水飲み動作、電話かけ動作または娯楽動作に対応する予め設定された目標対象の検出を行い、予め設定された目標対象の検出ボックスを取得することと、
前記予め設定された目標対象の検出ボックスに基づいて散漫動作の検出結果を決定することと、を含み、
前記予め設定された目標対象は手、口、目、目標物体を含み、前記目標物体は容器、食物、電子機器の一つ又は複数を含み、
前記散漫動作の検出結果は、食事動作、水飲み動作、電話かけ動作または娯楽動作が発生していないこと、食事動作が発生したこと、水飲み動作が発生したこと、電話かけ動作が発生したこと、娯楽動作が発生したことの一つを含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記予め設定された目標対象の検出ボックスに基づいて散漫動作の検出結果を決定することは、
手の検出ボックス、口の検出ボックス、目の検出ボックス及び目標物体の検出ボックスを検出したか否か、及び手の検出ボックスと目標物体の検出ボックスが重なるかどうか、前記目標物体のタイプ及び目標物体の検出ボックスと口の検出ボックス又は目の検出ボックスとの距離が予め設定された条件を満たすかどうかに基づき、予定散漫動作の検出結果を決定することを含む。

任意選択的に、上記各運転状態監視方法の実施例では、手の検出ボックスと目標物体の検出ボックスが重なるかどうか、及び目標物体の検出ボックスと口の検出ボックス又は目の検出ボックスとの位置関係が予め設定された条件を満たすかどうかに基づき、散漫動作の検出結果を決定することは、
前記手の検出ボックスと前記目標物体の検出ボックスが重なり、前記目標物体のタイプが容器又は食物で、且つ前記目標物体の検出ボックスと口の検出ボックスが重なる場合、食事動作又は水飲み動作が発生したと決定し、及び／又は、
前記手の検出ボックスと前記目標物体の検出ボックスが重なり、前記目標物体のタイプが電子機器で、且つ前記目標物体の検出ボックスと口の検出ボックスとの最小距離が第一予め設定された距離より短いか、又は前記目標物体の検出ボックスと目の検出ボックスとの最小距離が第二予め設定された距離より短い場合、娯楽動作又は電話かけ動作が発生したと決定することを含む。

任意選択的に、上記各運転状態監視方法の実施例では、更に、
手の検出ボックス、口の検出ボックス及び任意の前記目標物体の検出ボックスを同時に検出しておらず、且つ手の検出ボックス、目の検出ボックス及び任意の前記目標物体の検出ボックスを同時に検出していない場合、散漫動作の検出結果は食事動作、水飲み動作、電話かけ動作及び娯楽動作が検出されなかったことであると決定し、及び／又は、
手の検出ボックスと前記目標物体の検出ボックスが重なりない場合、散漫動作の検出結果は食事動作、水飲み動作、電話かけ動作及び娯楽動作が検出されなかったことであると決定し、及び／又は、
前記目標物体のタイプが容器又は食物で、且つ前記目標物体の検出ボックスと口の検出ボックスが重ならず、及び／又は、前記目標物体のタイプが電子機器で、且つ前記目標物体の検出ボックスと口の検出ボックスとの最小距離が第一予め設定された距離以上であるか、又は前記目標物体の検出ボックスと目の検出ボックスとの最小距離が第二予め設定された距離以上である場合、散漫動作の検出結果は食事動作、水飲み動作、電話かけ動作及び娯楽動作が検出されなかったことであると決定することを含む。

任意選択的に、上記各運転状態監視方法の実施例では、更に、
運転者の予定散漫動作検出の結果は予定散漫動作を検出したことである場合、検出した散漫動作を提示することを含む。

任意選択的に、上記各運転状態監視方法の実施例では、更に、
運転者散漫状態検出の結果及び／又は運転者の予定散漫動作検出の結果に基づき、散漫提示情報を出力することを含む。

任意選択的に、上記各運転状態監視方法の実施例では、運転者状態検出の結果に基づき、運転者の運転状態監視結果を出力することは、
運転者疲労状態検出の結果、運転者散漫状態検出の結果及び運転者の予定散漫動作検出の結果が満たす予め設定された条件に基づいて運転状態のレベルを決定することと、
決定した運転状態レベルを運転状態監視結果とすることと、を含む。

任意選択的に、上記各運転状態監視方法の実施例では、更に、
前記運転状態監視結果に対応する制御動作を実行することを含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記運転状態監視結果に対応する制御動作を実行することは、
決定した前記運転状態監視結果が提示／警告予定条件を満たす場合、前記提示／警告予定条件に対応する提示／警告情報を出力すること、及び／又は、
決定した前記運転状態監視結果が予定運転モード切替条件を満たす場合、運転モードを自動運転モードに切り替えることの一つを含む。

任意選択的に、上記各運転状態監視方法の実施例では、更に、
前記運転者画像について顔認識を行うことと、
顔認識の結果に基づいて認証制御を行うことと、を含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記運転者画像について顔認識を行うことは、
第六ニューラルネットワークを介して前記運転者画像について顔検出を行い、且つ検出した顔の特徴を抽出し、顔特徴を取得することと、
前記顔特徴をデータベース内の顔特徴テンプレートとマッチすることと、
前記データベースに前記顔特徴とマッチする顔特徴テンプレートが存在する場合、前記顔特徴とマッチする顔特徴テンプレートに対応する身分情報を出力することと、を含む。

任意選択的に、上記各運転状態監視方法の実施例では、更に、
前記データベースに前記顔特徴とマッチする顔特徴テンプレートが存在しない場合、運転者に登録するように促すことと、
受信した運転者の登録要求に応答し、第六ニューラルネットワークを介して収集した運転者画像について顔検出を行い、且つ検出した顔の特徴を抽出し、顔特徴を取得することと、
前記顔特徴を前記運転者の顔特徴テンプレートとし、前記データベース内で前記運転者の顔特徴テンプレート及び前記運転者が入力した身分情報を含む前記運転者のユーザ情報を作成することと、を含む。

任意選択的に、上記各運転状態監視方法の実施例では、更に、
前記運転状態監視結果を前記データベース内の前記運転者のユーザ情報に記憶することを含む。

任意選択的に、上記各運転状態監視方法の実施例では、更に、
赤外線カメラによって画像を収集し、前記運転者画像を取得することを含む。

任意選択的に、上記各運転状態監視方法の実施例では、赤外線カメラによって画像を収集することは、
車両内の少なくとも一つの位置に配置された前記赤外線カメラによって画像を収集することを含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記少なくとも一つの位置は、ダッシュボードの上方又は近傍位置、センタコンソールの上方又は近傍位置、Ａピラー又は近傍位置、バックミラー又は近傍位置のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視方法の実施例では、更に、
前記運転者画像について運転者ジェスチャー検出を行うことと、
運転者ジェスチャー検出の結果に基づいて制御コマンドを生成することと、を含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記運転者画像に基づいて運転者ジェスチャー検出を行うことは、
現在フレームの運転者画像における手キーポイントを検出することと、
検出した手キーポイントに基づいて特定した静的ジェスチャーを前記運転者ジェスチャー検出の結果とすることと、を含む。

任意選択的に、上記各運転状態監視方法の実施例では、前記運転者画像に基づいて運転者ジェスチャー検出を行うことは、
運転者動画における複数フレームの運転者画像における手キーポイントを検出することと、
検出した複数フレームの運転者画像における手キーポイントに基づいて特定した動的ジェスチャーを前記運転者ジェスチャー検出の結果とすることと、を含む。

本出願の実施例の別の一態様によれば、運転状態監視装置を提供し、それは、
運転者画像について運転者状態検出を行うための状態検出モジュール、
運転者状態検出の結果に基づいて運転者の運転状態監視結果を出力するための出力モジュール、及び／又は
運転者状態検出の結果に基づいてスマート運転制御を行うためのスマート運転制御モジュールを含む。

任意選択的に、上記各運転状態監視装置の実施例では、前記運転者状態検出は、運転者の疲労状態検出、運転者の散漫状態検出、運転者の予定散漫動作検出のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視装置の実施例では、前記状態検出モジュールは運転者画像について運転者疲労状態を検出する時、
前記運転者画像における運転者の顔を少なくとも一部の領域を検出し、顔の少なくとも一部の領域の状態情報を取得し、
所定時間内の前記顔の少なくとも一部の領域の状態情報に基づき、運転者疲労状態を特徴付けるための指標のパラメータ値を取得し、
運転者疲労状態を特徴付けるための指標のパラメータ値に基づいて運転者疲労状態検出の結果を決定するために用いられ、
前記顔の少なくとも一部の領域の状態情報は、目開閉状態情報、口開閉状態情報のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視装置の実施例では、運転者疲労状態を特徴付けるための前記指標は、閉目程度、欠伸程度のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視装置の実施例では、前記閉目程度のパラメータ値は、閉目回数、閉目頻度、閉目持続時間、閉目幅、半閉目回数、半閉目頻度のいずれか一つ又は複数を含み、及び／又は、
前記欠伸程度のパラメータ値は、欠伸状態、欠伸回数、欠伸持続時間、欠伸頻度のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視装置の実施例では、前記状態検出モジュールは運転者画像について運転者の散漫状態検出を行う時、
前記運転者画像における運転者の顔向き及び／又は視線方向を検出し、顔向き情報及び／又は視線方向情報を取得し、
所定時間内の前記顔向き情報及び／又は視線方向情報に基づき、運転者散漫状態を特徴付けるための指標のパラメータ値を特定し、
運転者散漫状態を特徴付けるための前記指標のパラメータ値に基づいて運転者散漫状態検出の結果を決定するために用いられ、
運転者散漫状態を特徴付けるための前記指標は、顔向きずれ程度、視線ずれ程度のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視装置の実施例では、前記顔向きずれ程度のパラメータ値は、振り向き回数、振り向き持続時間、振り向き頻度のいずれか一つ又は複数を含み、及び／又は、
前記視線ずれ程度のパラメータ値は、視線方向ずれ角度、視線方向ずれ時間、視線方向ずれ頻度のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視装置の実施例では、前記状態検出モジュールは運転者画像について顔向き及び／又は視線方向を検出する時、前記運転者画像の顔キーポイントを検出し、前記顔キーポイントに基づいて顔向き及び／又は視線方向を検出するために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、前記状態検出モジュールは前記顔キーポイントに基づいて顔向きを検出する時、前記顔キーポイントに基づいて頭部姿勢の特徴情報を取得し、及び前記頭部姿勢の特徴情報に基づいて顔向き情報を決定するために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、前記状態検出モジュールは前記顔キーポイントに基づいて頭部姿勢の特徴情報を取得し、前記頭部姿勢の特徴情報に基づいて顔向き情報を決定する時、第一ニューラルネットワークを介して前記顔キーポイントに基づいて頭部姿勢の特徴情報を抽出し、第二ニューラルネットワークを介して前記頭部姿勢の特徴情報に基づいて顔向き推定を行い、顔向き情報を取得するために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、前記状態検出モジュールは前記顔キーポイントに基づいて視線方向を検出する時、前記顔キーポイントにおける目キーポイントにより位置決めされた目画像に基づいて瞳孔エッジ位置を特定し、且つ前記瞳孔エッジ位置に基づいて瞳孔中心位置を計算し、及び前記瞳孔中心位置及び目中心位置に基づいて前記視線方向情報を計算するために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、前記状態検出モジュールは前記顔キーポイントにおける目キーポイントにより位置決めされた目画像に基づいて瞳孔エッジ位置を特定する時、第三ニューラルネットワークを介して前記顔キーポイントにより分割された前記画像中の目領域画像について瞳孔エッジ位置検出を行い、且つ第三ニューラルネットワークが出力した情報に基づいて瞳孔エッジ位置を取得するために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、前記予定散漫動作は、喫煙動作、水飲み動作、食事動作、電話かけ動作、娯楽動作のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視装置の実施例では、前記状態検出モジュールは運転者画像について予定散漫動作検出を行う時、運転者画像について前記予定散漫動作に対応する目標対象の検出を行い、目標対象の検出ボックスを取得し、及び前記目標対象の検出ボックスに基づき、前記予定散漫動作が発生したか否かを決定するために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、前記状態検出モジュールは更に、予定散漫動作が発生した場合、所定時間内に前記予定散漫動作が発生したか否かを決定した結果に基づき、散漫程度を特徴付けるための指標のパラメータ値を取得し、及び散漫程度を特徴付けるための前記指標のパラメータ値に基づいて運転者の予定散漫動作検出の結果を決定するために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、前記散漫程度のパラメータ値は、予定散漫動作の回数、予定散漫動作の持続時間、予定散漫動作の頻度のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視装置の実施例では、前記予定散漫動作が喫煙動作である場合、前記状態検出モジュールは運転者画像について予定散漫動作検出を行う時、第四ニューラルネットワークを介して前記運転者画像について顔検出を行い、顔検出ボックスを取得し、且つ前記顔検出ボックスの特徴情報を抽出し、及び前記第四ニューラルネットワークを介して前記顔検出ボックスの特徴情報に基づいて喫煙動作が発生したか否かを決定するために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、前記予定散漫動作が食事動作、水飲み動作、電話かけ動作または娯楽動作動作である場合、前記状態検出モジュールは運転者画像について予定散漫動作検出を行う時、第五ニューラルネットワークを介して前記運転者画像について前記食事動作、水飲み動作、電話かけ動作または娯楽動作に対応する予め設定された目標対象の検出を行い、予め設定された目標対象の検出ボックスを取得し、及び前記予め設定された目標対象の検出ボックスに基づいて散漫動作の検出結果を決定するために用いられ、前記予め設定された目標対象は手、口、目、目標物体を含み、前記目標物体は容器、食物、電子機器のいずれか一つ又は複数を含み、前記散漫動作の検出結果は、食事動作、水飲み動作、電話かけ動作または娯楽動作が発生していないこと、食事動作が発生したこと、水飲み動作が発生したこと、電話かけ動作が発生したこと、娯楽動作が発生ことの一つを含む。

任意選択的に、上記各運転状態監視装置の実施例では、前記状態検出モジュールは前記予め設定された目標対象の検出ボックスに基づいて散漫動作の検出結果を決定する時、手の検出ボックス、口の検出ボックス、目の検出ボックス及び目標物体の検出ボックスを検出したか否か、及び手の検出ボックスと目標物体の検出ボックスが重なるかどうか、前記目標物体のタイプ及び目標物体の検出ボックスと口の検出ボックス又は目の検出ボックスとの距離が予め設定された条件を満たすかどうかに基づき、予定散漫動作の検出結果を決定するために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、前記状態検出モジュールは手の検出ボックスと目標物体の検出ボックスが重なるかどうか、及び目標物体の検出ボックスと口の検出ボックス又は目の検出ボックスとの位置関係が予め設定された条件を満たすかどうかに基づき、散漫動作の検出結果を決定する時、
前記手の検出ボックスと前記目標物体の検出ボックスが重なり、前記目標物体のタイプが容器又は食物で、且つ前記目標物体の検出ボックスと口の検出ボックスが重なる場合、食事動作又は水飲み動作が発生したと決定し、及び／又は、
前記手の検出ボックスと前記目標物体の検出ボックスが重なり、前記目標物体のタイプが電子機器で、且つ前記目標物体の検出ボックスと口の検出ボックスとの最小距離が第一予め設定された距離より短いか、又は前記目標物体の検出ボックスと目の検出ボックスとの最小距離が第二予め設定された距離より短い場合、娯楽動作又は電話かけ動作が発生したと決定するために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、前記状態検出モジュールは更に、
手の検出ボックス、口の検出ボックス及び任意の前記目標物体の検出ボックスを同時に検出しておらず、且つ手の検出ボックス、目の検出ボックス及び任意の前記目標物体の検出ボックスを同時に検出していない場合、散漫動作の検出結果は食事動作、水飲み動作、電話かけ動作及び娯楽動作が検出されなかったことであると決定し、及び／又は、
手の検出ボックスと前記目標物体の検出ボックスが重なりない場合、散漫動作の検出結果は食事動作、水飲み動作、電話かけ動作及び娯楽動作が検出されなかったことであると決定し、及び／又は、
前記目標物体のタイプが容器又は食物で、且つ前記目標物体の検出ボックスと口の検出ボックスが重ならず、及び／又は、前記目標物体のタイプが電子機器で、且つ前記目標物体の検出ボックスと口の検出ボックスとの最小距離が第一予め設定された距離以上であるか、又は前記目標物体の検出ボックスと目の検出ボックスとの最小距離が第二予め設定された距離以上である場合、散漫動作の検出結果は食事動作、水飲み動作、電話かけ動作及び娯楽動作が検出されなかったことであると決定するために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、更に、
運転者の予定散漫動作検出の結果は予定散漫動作を検出したことである場合、検出した散漫動作を提示するための第一提示モジュールを含む。

任意選択的に、上記各運転状態監視装置の実施例では、更に、
運転者散漫状態検出の結果及び／又は運転者の予定散漫動作検出の結果に基づき、散漫提示情報を出力するための第二提示モジュールを含む。

任意選択的に、上記各運転状態監視装置の実施例では、前記出力モジュールは運転者状態検出の結果に基づいて運転者の運転状態監視結果を出力する時、運転者疲労状態検出の結果、運転者散漫状態検出の結果及び運転者の予定散漫動作検出の結果が満たす予め設定された条件に基づいて運転状態のレベルを決定し、及び決定した運転状態レベルを運転状態監視結果とするために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、更に、
前記運転状態監視結果に対応する制御動作を実行するための第一制御モジュールを含む。

任意選択的に、上記各運転状態監視装置の実施例では、前記第一制御モジュールは、
決定した前記運転状態監視結果が提示／警告予定条件を満たす場合、前記提示／警告予定条件に対応する提示／警告情報を出力し、及び／又は、
決定した前記運転状態監視結果が予定運転モード切替条件を満たす場合、運転モードを自動運転モードに切り替えるために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、更に、
前記運転者画像について顔認識を行うための顔認識モジュールと、
顔認識の結果に基づいて認証制御を行うための第二制御モジュールと、を含む。

任意選択的に、上記各運転状態監視装置の実施例では、前記顔認識モジュールは、第六ニューラルネットワークを介して前記運転者画像について顔検出を行い、且つ検出した顔の特徴を抽出し、顔特徴を取得し、前記顔特徴をデータベース内の顔特徴テンプレートとマッチし、及び前記データベースに前記顔特徴とマッチする顔特徴テンプレートが存在する場合、前記顔特徴とマッチする顔特徴テンプレートに対応する身分情報を出力するために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、前記第二制御モジュールは更に、
前記データベースに前記顔特徴とマッチする顔特徴テンプレートが存在しない場合、運転者に登録するように促し、及び前記顔認識モジュールが送信した顔特徴を前記運転者の顔特徴テンプレートとし、前記データベース内で前記運転者の顔特徴テンプレート及び前記運転者が入力した身分情報を含む前記運転者のユーザ情報を作成するために用いられ、
前記顔認識モジュールは更に、受信した運転者の登録要求に応答し、第六ニューラルネットワークを介して収集した運転者画像について顔検出を行い、且つ検出した顔の特徴を抽出し、顔特徴を取得し且つ前記第二制御モジュールに送信するために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、前記出力モジュールは更に、前記運転状態監視結果を前記データベース内の前記運転者のユーザ情報に記憶するために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、更に、
車両内の少なくとも一つの対応する位置に配置され、画像を収集し、前記運転者画像を取得するための少なくとも一つの赤外線カメラを含む。

任意選択的に、上記各運転状態監視装置の実施例では、前記少なくとも一つの位置は、ダッシュボードの上方又は近傍位置、センタコンソールの上方又は近傍位置、Ａピラー又は近傍位置、バックミラー又は近傍位置のいずれか一つ又は複数を含む。

任意選択的に、上記各運転状態監視装置の実施例では、更に、
前記運転者画像に基づいて運転者ジェスチャー検出を行うためのジェスチャー検出モジュールと、
運転者ジェスチャー検出の結果に基づいて制御コマンドを生成するためのコマンド生成モジュールと、を含む。

任意選択的に、上記各運転状態監視装置の実施例では、前記ジェスチャー検出モジュールは、現在フレームの運転者画像における手キーポイントを検出し、及び検出した手キーポイントに基づいて特定した静的ジェスチャーを前記運転者ジェスチャー検出の結果とするために用いられる。

任意選択的に、上記各運転状態監視装置の実施例では、前記ジェスチャー検出モジュールは、運転者動画における複数フレームの運転者画像の手キーポイントを検出し、及び検出した複数フレームの運転者画像の手キーポイントに基づいて特定した動的ジェスチャーを前記運転者ジェスチャー検出の結果とするために用いられる。

本出願の実施例の更に別の一態様によれば、運転者監視システムを提供し、それは、
運転者画像、及び運転者の運転状態監視結果を表示するための表示モジュールと、
前記運転者画像について運転者状態検出を行い、且つ運転者状態検出の結果に基づいて運転者の前記運転状態監視結果を出力するための運転者状態検出モジュールと、を含み、
前記運転者状態検出は、運転者の疲労状態検出、運転者の散漫状態検出、運転者の予定散漫動作検出のいずれか一つ又は複数を含む。

任意選択的に、上記各運転者監視システムの実施例では、前記表示モジュールは、
運転者画像、及び前記運転状態監視結果に対応する提示／警告情報を表示するための第一表示領域と、
予定散漫動作を表示するための第二表示領域と、を含む。

任意選択的に、上記各運転者監視システムの実施例では、前記運転者状態検出モジュールは更に、前記運転者画像について顔認識を行うために用いられ、
前記第一表示領域は更に、顔認識の結果を表示するために用いられる。

任意選択的に、上記各運転者監視システムの実施例では、前記運転者状態検出モジュールは更に、前記運転者画像に基づいて運転者ジェスチャー検出を行うために用いられ、
前記表示モジュールは更に、静的ジェスチャー又は動的ジェスチャーを含むジェスチャー検出の結果を表示するための第三表示領域を含む。

本出願の実施例の更に別の一態様によれば、電子機器を提供し、それは、
コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されたコンピュータプログラムを実行し、且つ前記コンピュータプログラムが実行される時、本出願の上記いずれかの実施例に係る運転状態監視方法を実現するためのプロセッサと、を含む。

本出願の実施例の更に別の一態様によれば、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供し、該コンピュータプログラムがプロセッサにより実行される時、本出願の上記いずれかの実施例に係る運転状態監視方法を実現する。

本出願の実施例の更に別の一態様によれば、コンピュータコマンドを含むコンピュータプログラムを提供し、前記コンピュータコマンドが機器のプロセッサ内で動作する時、本出願の上記いずれかの実施例に係る運転状態監視方法を実現する。

本出願の実施例の更に別の一態様によれば、中央制御システムを含む車両を提供し、それは更に、本出願の上記いずれかの実施例に記載の運転状態監視装置、又は本出願の上記いずれかの実施例に記載の運転者監視システムを含む。

任意選択的に、上記各車両の実施例では、前記中央制御システムは、
前記運転状態監視装置又は前記運転者監視システムが出力した運転者状態検出の結果に基づき、スマート運転制御を行い、及び／又は、
前記運転状態監視装置又は前記運転者監視システムが出力した運転状態監視結果が予定運転モード切替条件を満たす場合、運転モードを自動運転モードに切り替え、且つ自動運転モードで前記車両への自動運転制御を行い、及び／又は、
運転状態監視結果が予め設定された提示／警告予定条件を満たす場合、前記車両内の娯楽システム又は前記車両に接続される娯楽システムを呼び出して前記提示／警告予定条件に対応する提示／警告情報を出力するために用いられる。

任意選択的に、上記各車両の実施例では、前記中央制御システムは更に、前記運転状態監視装置又は前記運転者監視システムが出力したジェスチャー検出の結果による制御コマンドに従って、対応する制御を前記車両にかけるために用いられる。

任意選択的に、上記各車両の実施例では、前記中央制御システムは更に、手動運転に切り替えるための運転コマンドを受信した時、運転モードを手動運転モードに切り替えるために用いられる。

任意選択的に、上記各車両の実施例では、更に、
前記中央制御システムの制御コマンドに従って、前記提示／警告予定条件に対応する提示／警告情報を出力し、及び／又は、前記中央制御システムの制御コマンドに従って、提示／警告情報の警告効果、又は娯楽項目の再生効果を調整するための娯楽システムを含む。

任意選択的に、上記各車両の実施例では、更に、
画像を収集するための少なくとも一つの赤外線カメラを含む。

任意選択的に、上記各車両の実施例では、前記赤外線カメラが前記車両内の少なくとも一つの位置に配置され、前記少なくとも一つの位置は、ダッシュボードの上方又は近傍位置、センタコンソールの上方又は近傍位置、Ａピラー又は近傍位置、バックミラー又は近傍位置のいずれか一つ又は複数を含む。

本出願の上記実施例が提供する運転状態監視方法及び装置、運転者監視システム、車両、電子機器、プログラム並びに媒体に基づき、運転者画像について運転者状態検出を行い、運転者状態検出の結果に基づいて運転者の運転状態監視結果を出力し、それにより運転者の運転状態に対するリアルタイム監視を実現し、更に運転者の運転状態が悪い時に対応する措置を適時に取り、運転安全を保証し、道路交通事故を回避することができる。

以下に図面と実施例を関連付けて、本出願の技術的解決手段を更に詳細に記述する。

明細書の一部を構成する図面は本出願の実施例を記述し、且つその記述と併せて本出願の原理を説明するために用いられる。

図面を参照しながら、以下の詳細な記述に基づき、本出願をより明確に理解できる。

本出願に係る運転状態監視方法の一実施例のフローチャートである。 本出願の実施例のうちの運転者画像について運転者疲労状態を検出する一実施例のフローチャートである。 本出願の実施例のうちの運転者画像について運転者の散漫状態検出を行う一実施例のフローチャートである。 本出願の実施例のうちの運転者画像について予定散漫動作検出を行う一実施例のフローチャートである。 本出願に係る運転状態監視方法の別の実施例のフローチャートである。 本出願に係る運転状態監視装置の一実施例の構成模式図である。 本出願に係る運転状態監視装置の別の実施例の構成模式図である。 本出願に係る運転者監視システムの一実施例の構成模式図である。 本出願に係る運転者監視システムにおける表示モジュールの表示領域の一実施例の構成模式図である。 本出願に係る車両の一実施例の構成模式図である。 本出願に係る電子機器の一応用例の構成模式図である。

以下に図面を参照しながら本出願の様々な例示的な実施例を詳細に記述する。注意すべきは、特に断らない限り、これらの実施例において記述した部品及びステップの相対的な配置、数式及び数値が本出願の範囲に限定されないということである。

同時に、理解すべきは、説明の便宜上、図面に示す各部分の寸法が実際の比例関係に基づいて描画されるものではないということである。

以下の少なくとも一つの例示的な実施例に対する記述は実際に説明的なものに過ぎず、本出願及びその応用又は使用を何ら限定するものではない。

当業者に既知の技術、方法及び機器は詳細に検討しない場合があるが、適当な場合、前記技術、方法及び機器は明細書の一部と見なすべきである。

注意すべきは、類似する記号及び文字が以下の図面において類似項を表し、従って、ある図面においていずれか一項が定義されると、後続の図面ではそれを更に検討する必要がないということである。

本出願の実施例は端末機器、コンピュータシステム、サーバなどの電子機器に用いることができ、それは他の様々な汎用又は専用計算システム環境又は構成と共に動作可能である。端末機器、コンピュータシステム、サーバなどの電子機器との共用に適する端末機器、計算システム、環境及び／又は構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ち又はラップトップ機器、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費電子製品、ネットワークパーソナルコンピュータ、小型コンピュータシステム?大型コンピュータシステム及び上記あらゆるシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

端末機器、コンピュータシステム、サーバなどの電子機器はコンピュータシステムが実行するコンピュータシステム実行可能コマンド（例えばプログラムモジュール）の一般的なコンテキストで記述できる。通常、プログラムモジュールは、特定のタスク又は特定の抽象データタイプを実行するルーチン、プログラム、目標プログラム、コンポーネント、ロジック、データ構造などを含んでもよい。コンピュータシステム／サーバは、タスクが通信ネットワークにわたってリンクされる遠隔処理機器により実行される分散型クラウドコンピューティング環境で実施してもよい。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカル又は遠隔計算システム記憶媒体に存在してもよい。

図１は本出願に係る運転状態監視方法の一実施例のフローチャートである。本出願の実施例に係る運転状態監視方法は装置（本出願の実施例では運転状態監視装置と称する）又はシステム（本出願の実施例では運転者監視システムと称する）によって実現可能である。図１に示すように、該実施例の運転状態監視方法は以下を含む。

１０２、運転者画像について運転者状態検出を行う。

任意選択的な一例では、該動作１０２はメモリに記憶された対応するコマンドをプロセッサによって呼び出すように実行してもよく、またプロセッサに運用される状態検出モジュールによって実行されてもよい。

１０４、運転者状態検出の結果に基づき、運転者の運転状態監視結果を出力し及び／又はスマート運転制御を行う。

いくつかの実施形態では、該動作１０４で、運転者状態検出の結果に基づき、運転者の運転状態監視結果を出力してもよい。

いくつかの実施形態では、該動作１０４で、運転者状態検出の結果に基づき、車両に対するスマート運転制御を行ってもよい。

いくつかの実施形態では、該動作１０４で、運転者状態検出の結果に基づき、運転者の運転状態監視結果を出力するとともに車両に対するスマート運転制御を行うようにしてもよい。

いくつかの実施形態では、該動作１０４で、運転者の運転状態監視結果を出力するステップは、ローカルで運転状態監視結果を出力し及び／又は遠隔で運転状態監視結果を出力することを含んでもよい。ここで、ローカルで運転状態監視結果を出力することは、即ち運転状態監視装置又は運転者監視システムによって運転状態監視結果を出力するか、又は車両内の中央制御システムへ運転状態監視結果を出力し、それによって車両は該運転状態監視結果に基づいて車両に対するスマート運転制御を行うことである。遠隔で運転状態監視結果を出力することは、例えばクラウドサーバ又は管理ノードへ運転状態監視結果を送信し、それによってクラウドサーバ又は管理ノードは運転者の運転状態監視結果を収集し、分析し及び／又は管理するか、又は該運転状態監視結果に基づいて車両に対する遠隔制御を行うことであってもよい。

任意選択的な一例では、該動作１０４はメモリに記憶された対応するコマンドをプロセッサによって呼び出すように実行してもよく、またプロセッサに運用される出力モジュール及び／又はスマート運転制御モジュールによって実行してもよい。

任意選択的な一例では、上記動作１０２−１０４はメモリに記憶された対応するコマンドをプロセッサによって呼び出すように実行してもよく、またプロセッサに運用される運転者状態検出モジュールによって実行してもよい。

いくつかの実施形態では、運転者状態検出は、例えば運転者の疲労状態検出、運転者の散漫状態検出、運転者の予定散漫動作検出のいずれか一つ又は複数を含んでもよいが、これらに限定されない。それに応じて、運転者状態検出の結果は、運転者疲労状態検出の結果、運転者散漫状態検出の結果、運転者の予定散漫動作検出の結果のいずれか一つ又は複数を含むが、これらに限定されない。

本出願の実施例における予定散漫動作は、例えば喫煙動作、水飲み動作、食事動作、電話かけ動作、娯楽動作などの運転者の注意力を分散させるいかなる散漫動作であってもよい。ここで、食事動作は例えば果物、スナックなどの食物を食べる動作で、娯楽動作は例えばメッセージを送信し、ゲームをプレイし、カラオケを歌うなどの電子機器によって実行する動作である。電子機器は例えば携帯電話端末、ポケットコンピュータ、ゲーム機などである。

本出願の上記実施例が提供する運転状態監視方法に基づき、運転者画像について運転者状態検出を行い、運転者状態検出の結果に基づいて運転者の運転状態監視結果を出力し、それにより運転者の運転状態に対するリアルタイム監視を実現し、更に運転者の運転状態が悪い時に対応する措置を適時に取り、運転安全を保証し、道路交通事故を回避することができる。

図２は本出願の実施例のうちの運転者画像について運転者疲労状態を検出する一実施例のフローチャートである。任意選択的な一例では、該図２が示す実施例はメモリに記憶された対応するコマンドをプロセッサによって呼び出すように実行してもよく、またプロセッサに運用される状態検出モジュールによって実行してもよい。図２に示すように、いくつかの実施形態では、運転者画像について運転者疲労状態を検出するステップは以下を含む。

２０２、運転者画像における運転者の顔を少なくとも一部の領域を検出し、顔の少なくとも一部の領域の状態情報を取得する。

任意選択的な一例では、上記顔の少なくとも一部の領域は、運転者顔の目領域、運転者顔の口領域及び運転者顔の全領域などの少なくとも一つを含んでもよい。ここで、該顔の少なくとも一部の領域の状態情報は、目開閉状態情報、口開閉状態情報のいずれか一つ又は複数を含んでもよい。

上記目開閉状態情報は、例えば検出運転者が目を半分閉じているかどうか（"半"は例えば居眠り状態での閉目など完全な閉目状態でないことを表す）、目を閉じているかどうか、閉目の回数、閉目幅など運転者の閉目を検出するために用いることができる。目開閉状態情報は任意選択的に目の開き高さを正規化処理した情報であってもよい。上記口開閉状態情報は例えば運転者が欠伸したか否か、欠伸の回数など運転者の欠伸を検出するために用いることができる。口開閉状態情報は任意選択的に口の開き高さを正規化処理した情報であってもよい。

任意選択的な一例では、運転者画像について顔キーポイントを検出し、検出した顔キーポイントにおける目キーポイントを直接利用して計算し、それにより計算結果に基づいて目開閉状態情報を取得するようにしてもよい。

任意選択的な一例では、まず顔キーポイントにおける目キーポイント（例えば、目キーポイントの運転者画像における座標情報）を利用して運転者画像における目を位置決めし、目画像を取得し、且つ該目画像を利用して上眼瞼線及び下眼瞼線を取得し、上眼瞼線と下眼瞼線との間隔を計算することで、目開閉状態情報を取得するようにしてもよい。

任意選択的な一例では、顔キーポイントにおける口キーポイントを直接利用して計算し、それにより計算結果に基づいて口開閉状態情報を取得するようにしてもよい。

任意選択的な一例では、まず顔キーポイントにおける口キーポイント（例えば、口キーポイントの運転者画像における座標情報）を利用して運転者画像における口を位置決めし、切取などの方式で口画像を取得し、且つ該口画像を利用して上唇線及び下唇線を取得し、上唇線と下唇線との間隔を計算することで、口開閉状態情報を取得するようにしてもよい。

所定時間内に収集した複数フレームの運転者画像に動作２０２を実行し、該所定時間内の複数の顔の少なくとも一部の領域の状態情報を取得する。

２０４、所定時間内の顔の少なくとも一部の領域の状態情報に基づき、運転者疲労状態を特徴付けるための指標のパラメータ値を取得する。

いくつかの任意選択的な例では、運転者疲労状態を特徴付けるための指標は例えば閉目程度、欠伸程度のいずれか一つ又は複数を含んでもよいが、これらに限定されない。

ここで、閉目程度のパラメータ値は例えば閉目回数、閉目頻度、閉目持続時間、閉目幅、半閉目回数、半閉目頻度のいずれか一つ又は複数を含んでもよいが、これらに限定されず、及び／又は、欠伸程度のパラメータ値は例えば欠伸状態、欠伸回数、欠伸持続時間、欠伸頻度のいずれか一つ又は複数を含んでもよいが、これらに限定されない。

２０６、上記運転者疲労状態を特徴付けるための指標のパラメータ値に基づいて運転者疲労状態検出の結果を決定する。

上記運転者疲労状態検出の結果は、疲労状態及び疲労運転状態を検出していないことを含んでもよい。又は、上記運転者疲労状態検出の結果は疲労運転程度であってもよく、ここで、疲労運転程度は正常運転レベル（非疲労運転レベルと称してもよい）及び疲労運転レベルを含んでもよく、疲労運転レベルは一つのレベルであってもよく、複数の異なるレベルに分けてもよく、例えば、上記疲労運転レベルは疲労運転提示レベル（軽度疲労運転レベルと称してもよい）及び疲労運転警告レベル（重度疲労運転レベルと称してもよい）に分けてもよく、当然、疲労運転程度は例えば、軽度疲労運転レベル、中度疲労運転レベル及び重度疲労運転レベルなどより多くのレベルに分けてもよい。本出願は疲労運転程度が含む様々なレベルを限定しない。

任意選択的な一例では、疲労運転程度が含む各レベルは予め設定された条件にそれぞれ対応し、運転者疲労状態を特徴付けるための指標のパラメータ値が満たす予め設定された条件に対応するレベルを疲労運転程度として決定できる。

任意選択的な一例では、正常運転レベル（非疲労運転レベルと称してもよい）に対応する予め設定された条件は、
半閉目及び閉目の現象が存在しない条件２０ａと、
欠伸の現象が存在しない条件２０ｂと、を含んでもよく、
上記条件２０ａ、条件２０ｂを同時に満たす場合、運転者は現在正常運転レベル（非疲労運転レベルと称してもよい）にある。

任意選択的な一例では、疲労運転提示レベルに対応する予め設定された条件は、
半閉目の現象が存在する条件２０ｃと、
欠伸の現象が存在する条件２０ｄと、を含んでもよく、
上記条件２０ｃ、条件２０ｄのいずれかを満たす場合、運転者は現在疲労運転提示レベルにある。

任意選択的な一例では、疲労運転警告レベルに対応する予め設定された条件は、
閉目の現象が存在するか又は所定時間内の閉目回数が予め設定された回数に達するか又は所定時間内の閉目時間が予め設定された時間に達する条件２０ｄと、
所定時間内の欠伸回数が予め設定された回数に達する条件２０ｅと、を含んでもよく、
上記条件２０ｄ、条件２０ｅのいずれかを満たす場合、運転者は現在疲労運転警告レベルにある。

図３は本出願の実施例のうちの運転者画像について運転者の散漫状態検出を行う一実施例のフローチャートである。任意選択的な一例では、該図３が示す実施例はメモリに記憶された対応するコマンドをプロセッサによって呼び出すように実行してもよく、またプロセッサに運用される状態検出モジュールによって実行してもよい。図３に示すように、いくつかの実施形態では、運転者画像について運転者の散漫状態検出を行うステップは以下を含んでもよい。

３０２、運転者画像について顔向き及び／又は視線方向を検出し、顔向き情報及び／又は視線方向情報を取得する。

ここで、顔向き情報は例えば運転者が顔を横に向けるかどうか又は振り返るかどうかなど運転者の顔方向が正常であるかどうかを決定するために用いることができる。顔向き情報は任意選択的に運転者顔の正面前方と運転者が運転する車両の正面前方との夾角であってもよい。上記視線方向情報は例えば運転者が前方を見ているかどうかなど運転者の視線方向が正常であるかどうか、及び運転者の視線がずれたかどうかを決定するために用いることができる。視線方向情報は任意選択的に運転者の視線と運転者が運転する車両の正面前方との夾角であってもよい。

３０４、所定時間内の運転者の顔向き情報及び／又は視線方向情報に基づき、運転者散漫状態を特徴付けるための指標のパラメータ値を特定する。

ここで、運転者の散漫状態を特徴付けるための指標は、例えば顔向きずれ程度、視線ずれ程度のいずれか一つ又は複数を含んでもよいが、これらに限定されない。いくつかの任意選択的な例では、顔向きずれ程度のパラメータ値は例えば振り向き回数、振り向き持続時間、振り向き頻度のいずれか一つ又は複数を含んでもよいが、これらに限定されず、及び／又は、視線ずれ程度のパラメータ値は例えば視線方向ずれ角度、視線方向ずれ時間、視線方向ずれ頻度のいずれか一つ又は複数を含んでもよいが、これらに限定されない。

上記視線ずれ程度は例えば、視線がずれたかどうか及び視線が大幅にずれたかどうかなどの少なくとも一つを含んでもよく、上記顔向きずれ程度（顔を横に向ける程度又は振り返る程度と称してもよい）は例えば、振り向いたかどうか、短時間振り向いたかどうか及び長時間振り向いたかどうかの少なくとも一つを含んでもよい。

任意選択的な一例では、顔向き情報が第一向きより大きく、且つ第一向きより大きいという現象がＮ１フレーム（例えば、９フレーム又は１０フレーム持続したなど）持続したと決定した場合、運転者に長時間大角度の振り向き現象が一回発生したと決定し、それを一回の長時間大角度の振り向きとして記録してもよく、また今回の振り向き時間を記録してもよく、顔向き情報が第一向き以下で、第二向きより大きく、且つ第一向き以下で、第二向きより大きいという現象がＮ１フレーム（例えば、９フレーム又は１０フレーム持続したなど）持続したと決定した場合、運転者に長時間小角度の振り向き現象が一回発生した決定し、それを一回の小角度振り向きずれとして記録してもよく、また今回の振り向き時間を記録してもよい。

任意選択的な一例では、視線方向情報と自動車の正面前方との夾角が第一夾角より大きく、且つ第一夾角より大きいという現象がＮ２フレーム（例えば、８フレーム又は９フレーム持続したなど）持続したと決定した場合、運転者に視線の大幅ずれ現象が一回発生したと決定し、それを一回の視線大幅ずれとして記録してもよく、また今回の視線大幅ずれ時間を記録してもよく、視線方向情報と自動車の正面前方との夾角が第一夾角以下で、第二夾角より大きく、且つ第一夾角以下で、第二夾角より大きいという現象がＮ２フレーム（例えば、９フレーム又は１０フレーム持続したなど）持続したと決定した場合、運転者に視線ずれ現象が一回発生したと決定し、それを一回の視線ずれとして記録してもよく、また今回の視線ずれ時間を記録してもよい。

任意選択的な一例では、上記第一向き、第二向き、第一夾角、第二夾角、Ｎ１及びＮ２の値は実際の状況に応じて設定してもよく、本出願は値の大きさを限定しない。

３０６、運転者散漫状態を特徴付けるための指標のパラメータ値に基づいて運転者散漫状態検出の結果を決定する。

ここで、運転者散漫状態検出の結果は例えば、運転者の注意力が集中していること（運転者の注意力が分散していない）、運転者の注意力が分散していることを含んでもよく、又は、運転者散漫状態検出の結果は運転者の注意力分散レベルにしてもよく、例えば運転者の注意力が集中していること（運転者の注意力が分散していない）、運転者の注意力が軽度で分散していること、運転者の注意力が中度で分散していること、運転者の注意力が重度で分散していることなどを含んでもよい。運転者の注意力分散レベルは運転者散漫状態を特徴付けるための指標のパラメータ値が満たす予め設定された条件に基づいて特定できる。例えば、視線方向ずれ角度及び顔向きずれ角度が第一予め設定された角度より小さい場合、運転者の注意力分散レベルは運転者の注意力が集中しているレベルとなり、視線方向ずれ角度及び顔向きずれ角度のいずれかが予め設定された角度以上で、且つ持続時間が第一予め設定された時間以下で、且つ第二予め設定された時間より短い場合には、運転者の注意力が軽度で分散しているレベルとなり、視線方向ずれ角度及び顔向きずれ角度のいずれかが予め設定された角度以上で、且つ持続時間が第二予め設定された時間以下で、且つ第三予め設定された時間より短い場合には、運転者の注意力が中度で分散しているレベルとなり、視線方向ずれ角度及び顔向きずれ角度のいずれかが予め設定された角度以上で、且つ持続時間が第三予め設定された時間以上である場合には、運転者の注意力が重度で分散しているレベルとなる。

本実施例は運転者画像の顔向き及び／又は視線方向を検出することで運転者散漫状態を特徴付けるための指標のパラメータ値を特定し、且つこれに基づいて運転者散漫状態検出の結果を決定し、更に運転者が運転に集中しているかどうかを決定し、運転者散漫状態の指標を数値化することで、運転集中程度を視線ずれ程度及び振り向き程度の指標の少なくとも一つとして数値化し、運転者の運転集中状態の適時且つ客観的な評価に寄与する。

いくつかの実施形態では、動作３０２で運転者画像について顔向き及び／又は視線方向を検出するステップは、
運転者画像の顔キーポイントを検出することと、
顔キーポイントに基づいて顔向き及び／又は視線方向を検出することと、を含んでもよい。

顔キーポイントに通常頭部姿勢特徴情報が含まれるため、いくつかの任意選択的な例では、顔キーポイントに基づいて顔向きを検出し、顔向き情報を取得するステップは、顔キーポイントに基づいて頭部姿勢の特徴情報を取得し、頭部姿勢の特徴情報に基づいて顔向き（頭部姿勢と称してもよい）情報を特定することを含み、ここでの顔向き情報は例えば顔の回転方向及び角度を表すものであってもよく、回転方向は左回転、右回転、下回転及び／又は上回転などであってもよい。

任意選択的な一例では、顔向きに基づいて運転者が運転に集中しているかどうかを決定してもよい。顔向き（頭部姿勢）は（ｙａｗ，ｐｉｔｃｈ）として表してもよく、ここで、ｙａｗは頭部の正規化球座標（カメラが存在するカメラ座標系）における水平偏向角度（ヨー角）及び垂直偏向角度（ピッチ角）をそれぞれ表す。水平偏向角及び／又は垂直偏向角が一つの予め設定された角度閾値より大きく、且つ持続時間が一つの予め設定された時間閾値より長い場合、運転者散漫状態検出の結果は注意力が集中していないことであると決定できる。

任意選択的な一例では、対応するニューラルネットワークを利用して各運転者画像の顔向き情報を取得してよい。例えば、上記検出した顔キーポイントを第一ニューラルネットワークに入力し、第一ニューラルネットワークを介して受信した顔キーポイントに基づいて頭部姿勢の特徴情報を抽出し且つ第二ニューラルネットワークに入力し、第二ニューラルネットワークを介して該頭部姿勢の特徴情報に基づいて頭部姿勢を推定し、顔向き情報を取得するようにしてもよい。

従来の比較的成熟した、高いリアルタイム性を有する、頭部姿勢の特徴情報を抽出するためのニューラルネットワーク及び顔向きを推定するためのニューラルネットワークを採用して顔向き情報を取得する場合、カメラが撮影した動画について、動画における各画像フレーム（即ち各運転者画像）に対応する顔向き情報を正確且つ適時に検出することができ、それにより運転者の注意力程度を決定する正確性の向上に寄与する。

いくつかの任意選択的な例では、顔キーポイントに基づいて視線方向を検出し、視線方向情報を取得するステップは、顔キーポイントにおける目キーポイントにより位置決めされた目画像に基づいて瞳孔エッジ位置を特定し、且つ瞳孔エッジ位置に基づいて瞳孔中心位置を計算し、瞳孔中心位置及び目中心位置に基づいて視線方向情報を計算することを含む。例えば、瞳孔中心位置及び目画像における目中心位置のベクトルを計算すると、該ベクトルを視線方向情報とすることができる。

任意選択的な一例では、視線方向に基づいて運転者が運転に集中しているかどうかを決定してもよい。視線方向は（ｙａｗ，ｐｉｔｃｈ）として表してもよく、ここで、ｙａｗは視線の正規化球座標（カメラが存在するカメラ座標系）における水平偏向角度（ヨー角）及び垂直偏向角度（ピッチ角）をそれぞれ表す。水平偏向角及び／又は垂直偏向角が一つの予め設定された角度閾値より大きく、且つ持続時間が一つの予め設定された時間閾値より長い場合、運転者散漫状態検出の結果は注意力が集中していないことであると決定できる。

ここで、顔キーポイントにおける目キーポイントにより位置決めされた目画像に基づいて瞳孔エッジ位置を特定するステップは、該第三ニューラルネットワークを介して顔キーポイントに基づいて分割した画像における目領域画像の瞳孔エッジ位置検出を行い、且つ第三ニューラルネットワークが出力した情報に基づいて瞳孔エッジ位置を取得するという方式で実現できる。

任意選択的な一例として、運転者画像から目画像を切り取り且つ拡大させ、且つ該切取拡大後の目画像を瞳孔位置決め用の第三ニューラルネットワークに提供して瞳孔キーポイントを検出させ、検出した瞳孔キーポイントを出力し、第三ニューラルネットワークが出力した瞳孔キーポイントに基づいて瞳孔エッジ位置を取得するようにしてもよく、瞳孔エッジ位置を計算する（例えば、円心位置を計算する）ことで、瞳孔中心位置を取得できる。

任意選択的な一例として、上記上眼瞼線及び下眼瞼線に基づいて目中心位置を取得し、例えば、上眼瞼線と下眼瞼線の全てのキーポイントの座標情報を加算し、且つ上眼瞼線と下眼瞼線の全てのキーポイント数で除算し、除算によって取得した座標情報を目中心位置とするようにしてもよい。当然、他の方式で目中心位置を取得し、例えば、検出した顔キーポイントにおける目キーポイントに基づいて計算し、それにより目中心位置を取得するようにしてもよく、本出願は目中心位置を取得する実現方式を限定しない。

本実施例は瞳孔キーポイントでの検出に基づいて瞳孔中心位置を取得し、より正確な瞳孔中心位置を取得でき、眼瞼線での位置決めに基づいて目中心位置を取得し、より正確な目中心位置を取得でき、それにより瞳孔中心位置及び目中心位置を利用して視線方向を特定する時、より正確な視線方向情報を取得できる。また、瞳孔キーポイント検出の方式で瞳孔中心位置を位置決めし、且つ瞳孔中心位置及び目中心位置を利用して視線方向を特定することで、視線方向を特定する実現方式に正確性を付与し、同時に実現しやすいという特徴をも有するようにする。

任意選択的な一例では、本出願は従来のニューラルネットワークを採用して瞳孔エッジ位置の検出及び目中心位置の検出を実現してもよい。

図４は本出願の実施例のうちの運転者画像について予定散漫動作検出を行う一実施例のフローチャートである。任意選択的な一例では、該図４が示す実施例はメモリに記憶された対応するコマンドをプロセッサによって呼び出すように実行してもよく、またプロセッサに運用される状態検出モジュールによって実行してもよい。図４に示すように、いくつかの実施形態では、運転者画像について予定散漫動作検出を行うステップは以下を含む。

４０２、運転者画像について予定散漫動作に対応する目標対象の検出を行い、目標対象の検出ボックスを取得する。

４０４、上記目標対象の検出ボックスに基づき、予定散漫動作が発生したか否かを決定する。

本実施例は運転者の予定散漫動作検出を行う実現手段を提供し、予定散漫動作に対応する目標対象を検出することで、検出した目標対象の検出ボックスに基づいて散漫動作が発生したか否かを決定し、それにより運転者に散漫が発生したか否かを決定し、運転者の予定散漫動作検出の正確な結果の取得に寄与し、それにより運転状態監視結果の正確性の向上に寄与する。

例えば、予定散漫動作が喫煙動作である場合、上記動作４０２〜４０４は、第四ニューラルネットワークを介して運転者画像について顔検出を行い、顔検出ボックスを取得し、且つ顔検出ボックスの特徴情報を抽出し、第四ニューラルネットワークを介して顔検出ボックスの特徴情報に基づいて喫煙動作が発生したか否かを決定することを含んでもよい。

また、例えば予定散漫動作が食事動作、水飲み動作、電話かけ動作または娯楽動作（即ち食事動作及び／又は水飲み動作及び／又は電話かけ動作及び／又は娯楽動作）の場合、上記動作４０２〜４０４は、第五ニューラルネットワークを介して運転者画像について食事動作、水飲み動作、電話かけ動作または娯楽動作に対応する予め設定された目標対象の検出を行い、予め設定された目標対象の検出ボックスを取得し、予め設定された目標対象の検出ボックスに基づいて予定散漫動作の検出結果を決定することを含んでもよく、ここでの予め設定された目標対象は手、口、目、目標物体を含み、目標物体は例えば容器、食物、電子機器のいずれか一つ又は複数を含んでもよいが、これらに限定されず、該予定散漫動作の検出結果は、食事動作、水飲み動作、電話かけ動作または娯楽動作が発生していないこと、食事動作が発生したこと、水飲み動作が発生したこと、電話かけ動作が発生したこと、娯楽動作が発生したことの一つを含んでもよい。

いくつかの任意選択的な例では、予定散漫動作が食事動作、水飲み動作、電話かけ動作または娯楽動作（即ち食事動作及び／又は水飲み動作及び／又は電話かけ動作及び／又は娯楽動作）の場合、予め設定された目標対象の検出ボックスに基づいて予定散漫動作の検出結果を決定するステップは、手の検出ボックス、口の検出ボックス、目の検出ボックス及び目標物体の検出ボックスを検出したか否か、及び手の検出ボックスと目標物体の検出ボックスが重なるかどうか、目標物体のタイプ及び目標物体の検出ボックスと口の検出ボックス又は目の検出ボックスとの距離が予め設定された条件を満たすかどうかに基づき、予定危険動作の検出結果を決定することを含んでもよい。

任意選択的に、手の検出ボックスと目標物体の検出ボックスが重なり、目標物体のタイプが容器又は食物で、且つ目標物体の検出ボックスと口の検出ボックスが重なる場合、食事動作又は水飲み動作が発生したと決定し、及び／又は、手の検出ボックスと目標物体の検出ボックスが重なり、目標物体のタイプが電子機器で、且つ目標物体の検出ボックスと口の検出ボックスとの最小距離が第一予め設定された距離より短いか、又は目標物体の検出ボックスと目の検出ボックスとの最小距離が第二予め設定された距離より短い場合、娯楽動作又は電話かけ動作が発生したと決定する。

また、手の検出ボックス、口の検出ボックス及び任意の目標物体の検出ボックスを同時に検出しておらず、且つ手の検出ボックス、目の検出ボックス及び任意の目標物体の検出ボックスを同時に検出していない場合、散漫動作の検出結果は食事動作、水飲み動作、電話かけ動作及び娯楽動作が検出されなかったことであると決定し、及び／又は、手の検出ボックスと目標物体の検出ボックスが重なりない場合、散漫動作の検出結果は食事動作、水飲み動作、電話かけ動作及び娯楽動作が検出されなかったことであると決定し、及び／又は、目標物体のタイプが容器又は食物で、且つ目標物体の検出ボックスと口の検出ボックスが重ならず、及び／又は、目標物体のタイプが電子機器で、且つ目標物体の検出ボックスと口の検出ボックスとの最小距離が第一予め設定された距離以上であるか、又は目標物体の検出ボックスと目の検出ボックスとの最小距離が第二予め設定された距離以上である場合、散漫動作の検出結果は食事動作、水飲み動作、電話かけ動作及び娯楽動作が検出されなかったことであると決定する。

また、上記運転者画像について予定散漫動作検出を行う実施例では、更に、運転者散漫状態検出の結果は予定散漫動作を検出したことである場合、検出した散漫動作を提示すること、例えば、喫煙動作を検出した場合、喫煙を検出したと提示し、水飲み動作を検出した場合、水飲みを検出したと提示し、電話かけ動作を検出した場合、電話かけを検出したと提示することを含んでもよい。

任意選択的な一例では、検出した散漫動作を提示する上記動作はメモリに記憶された対応するコマンドをプロセッサによって呼び出すように実行してもよく、またプロセッサに運用される第一提示モジュールによって実行してもよい。

また、図４を再度参照すると、運転者画像について運転者の予定散漫動作検出を行う別の実施例では、更に以下を選択的に含んでもよい。

４０６、予定散漫動作が発生した場合、所定時間内に予定散漫動作が発生したか否かを決定した結果に基づき、運転者散漫程度を特徴付けるための指標のパラメータ値を取得する。ここで、運転者散漫程度を特徴付けるための指標は例えば、予定散漫動作の回数、予定散漫動作の持続時間、予定散漫動作の頻度、例えば喫煙動作の回数や持続時間や頻度、水飲み動作の回数や持続時間や頻度、電話かけ動作の回数や持続時間や頻度などのいずれか一つ又は複数を含んでもよいが、これらに限定されない。

４０８、散漫程度を特徴付けるための指標のパラメータ値基づいて運転者の予定散漫動作検出の結果を決定する。

上記運転者の予定散漫動作検出の結果は、予定散漫動作を検出していないこと、予定散漫動作を検出したことを含んでもよい。また、上記運転者の予定散漫動作検出の結果は散漫レベルにしてもよく、例えば、上記散漫レベルは例えば、非散漫レベル（集中運転レベルと称してもよい）、散漫運転提示レベル（軽度散漫運転レベルと称してもよい）及び散漫運転警告レベル（重度疲労運転レベルと称してもよい）に分けてもよく、当然、散漫レベルは例えば非散漫運転レベル、軽度散漫運転レベル、中度散漫運転レベル及び重度散漫運転レベルなどより多くのレベルに分けてもよい。当然、本出願の各実施例に係る散漫レベルは他の状況に応じて分けてもよく、上記レベル分けに限定されない。

ここでの散漫レベルは散漫程度を特徴付けるための指標のパラメータ値が満たす予め設定された条件に基づいて決定できる。例えば、予定散漫動作を検出していない場合、散漫レベルは非散漫レベル（集中運転レベルと称してもよい）となり、予定散漫動作の持続時間が第一予め設定された時間より短く、且つ頻度が第一予め設定された頻度より低いと検出した場合、散漫レベルは軽度散漫運転レベルとなり、予定散漫動作の持続時間が第一予め設定された時間より長く、及び／又は頻度が第一予め設定された頻度より高いと検出した場合、散漫レベルは重度散漫運転レベルとなる。

また、本出願に係る運転状態監視方法の別の実施例では、更に、運転者散漫状態検出の結果及び／又は運転者の予定散漫動作検出の結果に基づき、散漫提示情報を出力することを含んでもよい。

運転者散漫状態検出の結果は運転者の注意力が分散していること又は運転者が注意力分散レベルにあることである場合、及び／又は運転者の予定散漫動作検出の結果は予定散漫動作を検出したことである場合、散漫提示情報を出力し、運転者に運転に集中するように促すことができる。

任意選択的な一例では、運転者散漫状態検出の結果及び／又は運転者の予定散漫動作検出の結果に基づき、散漫提示情報を出力する上記動作はメモリに記憶された対応するコマンドをプロセッサによって呼び出すように実行してもよく、またプロセッサに運用される第二提示モジュールによって実行してもよい。

図５を参照すると、本出願に係る運転状態監視方法の別の実施例は以下を含む。

５０２、運転者画像について運転者疲労状態を検出し、運転者散漫状態を検出し且つ運転者の予定散漫動作を検出し、運転者疲労状態検出の結果、運転者散漫状態検出の結果、運転者の予定散漫動作検出の結果を取得する。

５０４、運転者疲労状態検出の結果、運転者散漫状態検出の結果及び運転者の予定散漫動作検出の結果が満たす予め設定された条件に基づいて運転状態レベルを決定する。

５０６、決定した運転状態レベルを運転状態監視結果とする。

任意選択的な一例では、各運転状態レベルに対応する予め設定された条件があり、運転者疲労状態検出の結果、運転者散漫状態検出の結果及び運転者の予定散漫動作検出の結果が満たす予め設定された条件をリアルタイムに決定でき、満たされる予め設定された条件に対応する運転状態レベルを運転者の運転状態監視結果として決定できる。ここでの運転状態レベルは例えば、正常運転状態（集中運転レベルと称してもよい）、提示運転状態（運転状態が悪い）、警告運転状態（運転状態が非常に悪い）を含んでもよい。

任意選択的な一例では、上記図５が示す実施例はメモリに記憶された対応するコマンドをプロセッサによって呼び出すように実行してもよく、またプロセッサに運用される出力モジュールによって実行してもよい。

例えば、任意選択的な一例では、正常運転状態（集中運転レベルと称してもよい）に対応する予め設定された条件は、
運転者疲労状態検出の結果は疲労状態を検出していないこと又は非疲労運転レベルである条件１と、
運転者散漫状態検出の結果は運転者の注意力が集中していることである条件２と、
運転者の予定散漫動作検出の結果は予定散漫動作を検出していないこと又は非散漫レベルである条件３と、を含んでもよい。

上記条件１、条件２、条件３をいずれも満たす場合、運転状態レベルは正常運転状態（集中運転レベルと称してもよい）となる。

例えば、任意選択的な一例では、提示運転状態（運転状態が悪い）に対応する予め設定された条件は、
運転者疲労状態検出の結果は疲労運転提示レベル（軽度疲労運転レベルと称してもよい）である条件１１と、
運転者散漫状態検出の結果は運転者の注意力が軽度で分散していることである条件２２と、
運転者の予定散漫動作検出の結果は散漫運転提示レベル（軽度散漫運転レベルと称してもよい）である条件３３と、を含んでもよい。

上記条件１１、条件２２、条件３３のいずれかを満たし、他の条件での結果がより深刻な疲労運転レベル、注意力分散レベル、散漫レベルに対応する予め設定された条件に達していない場合、運転状態レベルは提示運転状態（運転状態が悪い）となる。

例えば、任意選択的な一例では、警告運転状態（運転状態が非常に悪い）に対応する予め設定された条件は、
運転者疲労状態検出の結果は疲労運転警告レベル（重度疲労運転レベルと称してもよい）である条件１１１と、
運転者散漫状態検出の結果は運転者の注意力が過度に分散していることである条件２２２と、
運転者の予定散漫動作検出の結果は散漫運転警告レベル（重度疲労運転レベルと称してもよい）である条件３３３と、を含んでもよい。

上記条件１１１、条件２２２、条件３３３のいずれかを満たす場合、運転状態レベルは警告運転状態（運転状態が非常に悪い）となる。

更に、本出願に係る運転状態監視方法の更に別の実施例では、更に以下を含んでもよい。

５０８、運転状態監視結果に対応する制御動作を実行する。

任意選択的な一例では、上記動作５０８はメモリに記憶された対応するコマンドをプロセッサによって呼び出すように実行してもよく、またプロセッサに運用される第一制御モジュールによって実行してもよい。

いくつかの任意選択的な例では、動作５０８は、
運転状態監視結果は提示／警告予定条件、例えば提示運転状態（運転状態が悪い）に対応する予め設定された条件又は運転状態レベルが提示運転状態（運転状態が悪い）であるなどを満たす場合、該提示／警告予定条件に対応する提示／警告情報を出力し、例えば声（ボイス又はリング音など）／光（点灯又は点滅など）／振動などの方式で運転者に提示し、それによって運転者に注意を促し、運転者に分散している注意力を運転に集中させるか又は運転者を休息させるなど、安全運転を実現し、道路交通事故を回避すること、
及び／又は、運転状態監視結果は予定運転モード切替条件、警告運転状態（運転状態が非常に悪い）に対応する予め設定された条件又は運転状態レベルが散漫運転警告レベル（重度疲労運転レベルと称してもよい）であるなどを満たす場合、運転モードを自動運転モードに切り替え、それによって安全運転を実現し、道路交通事故を回避すること、同時に、声（ボイス又はリング音など）／光（点灯又は点滅など）／振動などの方式で運転者に提示し、それによって運転者に注意を促し、運転者に分散している注意力を運転に集中させるか又は運転者を休息させることの少なくとも一つを含んでもよい。

また、本出願に係る運転状態監視方法の更に別の実施例では、更に、赤外線カメラ、例えば、車両内の少なくとも一つの位置に配置された赤外線カメラによって画像を収集し、運転者画像を取得することを含んでもよい。

本出願の実施例における運転者画像は通常赤外線カメラ（近赤外線カメラなどを含む）によって運転室について撮影した動画における画像フレームである。

ここでの赤外線カメラの波長は９４０ｎｍ又は８５０ｎｕｍを含んでもよい。赤外線カメラは車両運転室内の運転者を撮影可能な任意の位置に設置してもよく、例えば、赤外線カメラはダッシュボードの上方又は近傍位置、センタコンソールの上方又は近傍位置、Ａピラー又は近傍位置、バックミラー又は近傍位置の一つ又は複数に配置してもよい。例えば、いくつかの任意選択的な例では、赤外線カメラはダッシュボードの上方（真上位置）に設置し、正面前方位置に向かわせるか、又はセンタコンソールの上方（例えば真中位置）に設置し、正面前方位置に向かわせるか、又はＡピラーに設置し（例えばＡピラーに近接するガラスに貼り付ける）、運転者の顔に向かわせるか、又はバックミラーに設置し（例えばバックミラー上方のガラスに貼り付ける）、運転者の顔に向かわせるようにしてもよい。ここで、赤外線カメラはダッシュボードの上方、センタコンソールの上方位置に設置する場合、カメラの視野角及び運転者の位置に基づいてその具体的な位置を決定してもよく、例えばダッシュボードの上方位置に設置する場合、赤外線カメラを運転者に向かわせ、カメラの視野角がハンドルに遮られないようにしてもよく、センタコンソールの上方位置に設置する場合、カメラの視野角が十分に広ければ、後方に向かわせ、運転者がカメラの視野角内にいるようにすればよく、視野角が狭ければ、運転者に向かわせ、運転者が赤外線カメラの視野角に現れるようにすればよい。

運転者がいる領域（車内又は運転室など）の光線は複雑である場合が多く、赤外線カメラが撮影した運転者画像の品質は一般的なカメラが撮影した運転者画像の品質より高くなりやすく、特に夜又は曇天又はトンネル内などの外部光線が暗い環境で、赤外線カメラが撮影した運転者画像は一般的なカメラが撮影した運転者画像より品質が明らかに高い場合が多いため、運転者散漫状態検出及び散漫動作検出の正確性の向上に寄与し、更に運転状態監視の正確性の向上に寄与する。

任意選択的に、実用上、カメラが取得した元画像は様々な条件に制限され且つランダムに干渉を受け、直接使用できない場合が多いため、本出願のいくつかの任意選択的な例では、赤外線カメラが撮影した運転者画像にグレースケール化処理を施し、赤緑青（ＲＧＢ）の３チャネルの画像をグレースケール画像に変換させ、更に運転者の身分認証、散漫状態検出及び散漫動作検出などの動作を行い、それによって身分認証、散漫状態検出及び散漫動作検出の正確性を向上させるようにしてもよい。

また、本出願の上記各実施例では、更に、運転者画像に基づいて運転者のジェスチャーを検出し、運転者ジェスチャー検出の結果に基づいて制御コマンドを生成することを含んでもよい。

任意選択的な一例では、運転者画像に基づいて運転者ジェスチャー検出を行う上記動作はメモリに記憶された対応するコマンドをプロセッサによって呼び出すように実行してもよく、またプロセッサに運用されるジェスチャー検出モジュールによって実行してもよい。任意選択的な一例では、運転者ジェスチャー検出の結果に基づいて制御コマンドを生成する上記動作はメモリに記憶された対応するコマンドをプロセッサによって呼び出すように実行してもよく、またプロセッサに運用されるコマンド生成モジュールによって実行してもよい。

いくつかの実施形態では、運転者画像に基づいて運転者ジェスチャー検出を行うステップは、現在フレームの運転者画像における手キーポイントを検出し、検出した手キーポイントに基づいて特定した静的ジェスチャーを運転者ジェスチャー検出の結果とし、即ち、このとき検出した運転者ジェスチャーは静的ジェスチャーであることを含んでもよい。

いくつかの実施形態では、運転者画像に基づいて運転者ジェスチャー検出を行うステップは、赤外線カメラが収集した運転者動画における複数フレームの運転者画像の手キーポイントを検出し、検出した複数フレームの運転者画像の手キーポイントに基づいて特定した動的ジェスチャーを運転者ジェスチャー検出の結果とし、即ち、このとき検出した運転者ジェスチャーは動的ジェスチャーであることを含んでもよい。

運転者ジェスチャー検出の結果に基づいて生成した制御コマンドは、車両又は車両における部品又はアプリケーションなどの状態、作動状態、例えば窓の開閉、ボリュームの調整、エアコンの起動、エアコンの停止、エアコンの温度調整、電話かけ、電話受け、アプリケーション（例えば音楽、ラジオ、ブルートゥース（登録商標））の起動及び停止などを制御するために用いることができる。

また、本出願の上記各実施例では、更に、運転者画像について顔を認識し、顔認識の結果に基づいて認証制御を行うことを含んでもよい。

任意選択的な一例では、運転者画像について顔認識を行う上記動作はメモリに記憶された対応するコマンドをプロセッサによって呼び出すように実行してもよく、またプロセッサに運用される顔認識モジュールによって実行してもよい。顔認識の結果に基づいて認証制御を行う上記動作はメモリに記憶された対応するコマンドをプロセッサによって呼び出すように実行してもよく、またプロセッサに運用される第二制御モジュールによって実行してもよい。

いくつかの実施形態では、運転者画像について顔認識を行うステップは、
第六ニューラルネットワークを介して運転者画像について顔検出を行い、且つ検出した顔の特徴を抽出し、顔特徴を取得し、例えば、第六ニューラルネットワークは入力した各運転者画像について顔の位置を検出し、顔検出ボックスを出力し、且つ該顔検出ボックスにおける顔の特徴を抽出するようにしてもよいこと、
該顔特徴をデータベース内の顔特徴テンプレートとマッチし、例えば、予め閾値を設定し、抽出した顔特徴とデータベースに記憶された顔特徴テンプレートとを検索によってマッチするようにしてもよく、抽出した顔特徴とデータベース内のある顔特徴テンプレートとの類似度が前記予め設定された閾値を超える場合、両者がマッチすると認め、これは該運転者が登録ユーザで、データベースに該運転者の顔特徴テンプレート及び身分情報（例えば氏名、ログイン名など）を含むユーザ情報が存在することを示し、抽出した顔特徴とデータベース内のいずれの顔特徴テンプレートとの類似度も前記予め設定された閾値を超えない場合、データベースに上記顔特徴とマッチする顔特徴テンプレートが存在しないと認め、これは該運転者が未登録ユーザであることを示すこと、
データベースに顔特徴とマッチする顔特徴テンプレートが存在する場合、顔特徴とマッチする顔特徴テンプレートに対応する身分情報を出力すること、
及び／又は、データベースに上記顔特徴とマッチする顔特徴テンプレートが存在しない場合、運転者に登録するように促してもよいこと、受信した運転者の登録要求に応答し、第六ニューラルネットワークを介して収集した運転者画像について顔検出を行い、且つ検出した顔の特徴を抽出し、顔特徴を取得し、該顔特徴を運転者の顔特徴テンプレートとし、データベース内で運転者の顔特徴テンプレート及び運転者が入力した身分情報を含む運転者のユーザ情報を作成すること、を含んでもよい。

更に、上記実施例では、更に、運転状態監視結果をデータベース内の該運転者のユーザ情報に記憶し、該運転者の運転状態監視結果を記録し、それによって後続の運転者の運転状態監視結果の閲覧、又は運転者の運転行動習慣の分析、統計などを容易にすることを含んでもよい。

本実施例は顔認識によって運転者の身分認証及び登録を実現し、運転者の身分情報を認識し、運転者の運転状態監視結果を記録及び分析することができ、運転者の運転行動習慣の把握などに寄与する。

いくつかの応用場面では、運転者が車両を起動し、運転監視装置又は運転者監視システムを起動する時、赤外線カメラが収集した運転者画像についての顔認識を開始し、該運転者が登録ユーザであるかどうかを決定した顔認識結果に基づき、対応する認証制御動作を行うようにしてもよく、例えば該運転者が登録ユーザである場合のみ、車両の起動、運転監視装置又は運転者監視システムへのアクセスを許可する。

又は、別のいくつかの応用場面では、運転者がジェスチャー制御機能の使用を要求する時、赤外線カメラが収集した運転者画像についての顔認識を開始し、該運転者が登録ユーザであるかどうかを決定した顔認識結果に基づき、対応する認証制御動作を行うようにしてもよく、例えば該運転者が登録ユーザである場合のみ、運転者画像に基づいて運転者のジェスチャーを検出し、且つ運転者ジェスチャー検出の結果に基づいて制御コマンドを生成する。

本出願の上記実施例に係る運転状態監視方法は、赤外（近赤外を含む）カメラによって画像を収集して運転者画像を取得してから、ニューラルネットワークをロード可能なワンチップマイコン、ＦＰＧＡ、ＡＲＭ、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、スマート携帯電話、ノート型コンピュータ、タブレット（ＰＡＤ）、卓上コンピュータ又はサーバなどの電子機器に送信することで実現でき、該電子機器はフラッシュメモリ、キャッシュメモリ、ハードディスク又は光ディスクなどのコンピュータ読み取り可能な記憶媒体に記憶可能なコンピュータプログラム（プログラムコードと称してもよい）を運用できる。

本出願の実施例が提供するいずれの運転状態監視方法も、データ処理能力を有する任意の適切な機器によって実行でき、前記機器は端末機器及びサーバなどを含むが、これらに限定されない。又は、本出願の実施例が提供するいずれの運転状態監視方法もプロセッサによって実行でき、例えば、プロセッサはメモリに記憶された対応するコマンドによって本出願の実施例に係る任意の運転状態監視方法をも実行できる。以下では説明を省略する。

当業者であれば、上記方法の実施例を実現する全て又は一部のステップはプログラムコマンドに関連するハードウェアによって完了でき、前述のプログラムはコンピュータ読み取り可能な記憶媒体に記憶でき、該プログラムは実行される時、上記方法の実施例を含むステップを実行し、前述の記憶媒体はＲＯＭ、ＲＡＭ、磁気ディスク又は光ディスクなどのプログラムコードを記憶できる様々な媒体を含むということを理解できる。

図６は本出願に係る運転状態監視装置の一実施例の構成模式図である。該実施例に係る運転状態監視装置は本出願の上記各運転状態監視方法の実施例を実現するために用いることができる。図６に示すように、該実施例に係る運転状態監視装置は状態検出モジュール、出力モジュール及び／又はスマート運転制御モジュールを含む。そのうち、

状態検出モジュールは運転者画像について運転者状態検出を行うために用いられる。

本実施例における状態検出モジュールが運転者画像について運転者状態検出を行う任意選択的な実現手段は、本出願の上記いずれかの実施例に係る運転状態監視方法での対応する動作を参照すればよく、ここでは説明を省略する。

出力モジュールは、運転者状態検出の結果に基づき、運転者の運転状態監視結果を出力するために用いられる。

本実施例における出力モジュールが運転者状態検出の結果に基づき、運転者の運転状態監視結果を出力する任意選択的な実現手段は、本出願の上記いずれかの実施例に係る運転状態監視方法での対応する動作を参照すればよく、ここでは説明を省略する。

スマート運転制御モジュールは、運転者状態検出の結果に基づき、車両に対するスマート運転制御を行うために用いられる。

いくつかの実施形態では、運転者状態検出は例えば、運転者の疲労状態検出、運転者の散漫状態検出、運転者の予定散漫動作検出のいずれか一つ又は複数を含んでもよいが、これらに限定されない。それに応じて運転者状態検出の結果は、運転者疲労状態検出の結果、運転者散漫状態検出の結果、運転者の予定散漫動作検出の結果のいずれか一つ又は複数を含んでもよいが、これらに限定されない。

いくつかの実施形態では、出力モジュールは運転者状態検出の結果に基づき、運転者の運転状態監視結果を出力する時、運転者疲労状態検出の結果、運転者散漫状態検出の結果及び運転者の予定散漫動作検出の結果が満たす予め設定された条件に基づいて運転状態レベルを決定し、及び決定した運転状態レベルを運転状態監視結果とするために用いられる。

本出願の実施例における予定散漫動作は、例えば喫煙動作、水飲み動作、食事動作、電話かけ動作、娯楽動作などの運転者の注意力を分散させる可能性がある任意の散漫動作であってもよい。ここで、食事動作は例えば果物、スナックなどの食物を食べる動作であり、娯楽動作は例えばメッセージを送信し、ゲームをプレイし、カラオケを歌うなどの電子機器によって実行する動作である。電子機器は例えば携帯電話端末、ポケットコンピュータ、ゲーム機などである。

本出願の上記実施例が提供する運転状態監視装置に基づき、運転者画像について運転者状態検出を行い、運転者状態検出の結果に基づいて運転者の運転状態監視結果を出力し、それにより運転者の運転状態に対するリアルタイム監視を実現し、更に運転者の運転状態が悪い時に対応する措置を適時に取り、運転安全を保証し、道路交通事故を回避することができる。

図７は本出願に係る運転状態監視装置の別の実施例の構成模式図である。図７に示すように、図６に示す実施例と比べ、該実施例の運転状態監視装置は更に、運転者の予定散漫動作検出の結果は予定散漫動作を検出したことである場合、検出した散漫動作を提示するための第一提示モジュールを含む。

図７を再度参照すると、本出願に係る運転状態監視装置の別の実施例では、更に、運転者散漫状態検出の結果及び／又は運転者の予定散漫動作検出の結果に基づき、散漫提示情報を出力するための第二提示モジュールを含んでもよい。

また、図７を再度参照すると、本出願に係る運転状態監視装置の更に別の実施例では、更に、運転状態監視結果に対応する制御動作を実行するための第一制御モジュールを含んでもよい。

いくつかの実施形態では、第一制御モジュールは、決定した運転状態監視結果が提示／警告予定条件を満たす場合、提示／警告予定条件に対応する提示／警告情報を出力し、及び／又は、決定した運転状態監視結果が予定運転モード切替条件を満たす場合、運転モードを自動運転モードに切り替えるために用いられる。

また、本出願に係る運転状態監視装置の更に別の実施例では、更に、運転者画像について顔認識を行うための顔認識モジュール、顔認識の結果に基づいて認証制御を行うための第二制御モジュールを含んでもよい。

いくつかの実施形態では、顔認識モジュールは、第六ニューラルネットワークを介して運転者画像について顔検出を行い、且つ検出した顔の特徴を抽出し、顔特徴を取得し、顔特徴をデータベース内の顔特徴テンプレートとマッチし、及びデータベースに顔特徴とマッチする顔特徴テンプレートが存在する場合、顔特徴とマッチする顔特徴テンプレートに対応する身分情報を出力するために用いられる。

別のいくつかの実施形態では、第二制御モジュールは更に、データベースに顔特徴とマッチする顔特徴テンプレートが存在しない場合、運転者に登録するように促し、及び顔認識モジュールが送信した顔特徴を運転者の顔特徴テンプレートとし、データベース内で運転者の顔特徴テンプレート及び運転者が入力した身分情報を含む運転者のユーザ情報を作成するために用いられてもよく、それに応じて、顔認識モジュールは更に、受信した運転者の登録要求に応答し、第六ニューラルネットワークを介して収集した運転者画像について顔検出を行い、且つ検出した顔の特徴を抽出し、顔特徴を取得し且つ第二制御モジュールに送信するために用いられてもよい。

別のいくつかの実施形態では、出力モジュールは更に、運転状態監視結果をデータベース内の運転者のユーザ情報に記憶するために用いられてもよい。

また、図７を再度参照すると、本出願に係る運転状態監視装置の更に別の実施例では、更に、車両内の少なくとも一つの対応する位置に配置され、画像を収集し、運転者画像を取得するための少なくとも一つの赤外線カメラを含んでもよい。

ここでの少なくとも一つの位置は例えば、ダッシュボードの上方又は近傍位置、センタコンソールの上方又は近傍位置、Ａピラー又は近傍位置、バックミラー又は近傍位置のいずれか一つ又は複数を含んでもよいが、これらに限定されない。

また、本出願に係る運転状態監視装置の更に別の実施例では、更に、運転者画像に基づいて運転者ジェスチャー検出を行うためのジェスチャー検出モジュール、運転者ジェスチャー検出の結果に基づいて制御コマンドを生成するためのコマンド生成モジュールを含んでもよい。

いくつかの実施形態では、ジェスチャー検出モジュールは現在フレームの運転者画像における手キーポイントを検出し、及び検出した手キーポイントに基づいて特定した静的ジェスチャーを運転者ジェスチャー検出の結果とするために用いられる。

いくつかの実施形態では、ジェスチャー検出モジュールは運転者動画における複数フレームの運転者画像の手キーポイントを検出し、及び検出した複数フレームの運転者画像の手キーポイントに基づいて特定した動的ジェスチャーを運転者ジェスチャー検出の結果とするために用いられる。

図８は本出願に係る運転者監視システムの一実施例の構成模式図である。該実施例に係る運転者監視システムは本出願の上記各運転状態監視方法の実施例を実現するために用いることができる。図８に示すように、該実施例に係る運転者監視システムは、表示モジュール及び運転者状態検出モジュールを含む。そのうち、

表示モジュールは、運転者画像、及び運転者の運転状態監視結果を表示するために用いられる。

運転者状態検出モジュールは、運転者画像について運転者状態検出を行い、且つ運転者状態検出の結果に基づいて運転者の運転状態監視結果を出力するために用いられる。

ここでの運転者状態検出は、運転者の疲労状態検出、運転者の散漫状態検出、運転者の予定散漫動作検出のいずれか一つ又は複数を含んでもよいが、これらに限定されない。

本出願の上記実施例が提供する運転者監視システムに基づき、運転者画像について運転者状態検出を行い、運転者状態検出の結果に基づいて運転者の運転状態監視結果を出力し、それにより運転者の運転状態に対するリアルタイム監視を実現し、更に運転者の運転状態が悪い時に対応する措置を適時に取り、運転安全を保証し、道路交通事故を回避することができる。

いくつかの実施形態では、表示モジュールは、運転者画像、及び運転状態監視結果に対応する提示／警告情報を表示するための第一表示領域、予定散漫動作を表示するための第二表示領域を含む。

いくつかの実施形態では、運転者状態検出モジュールは更に、運転者画像について顔認識を行うために用いられてもよい。それに応じて、第一表示領域は更に、顔認識の結果を表示するために用いられてもよい。

いくつかの実施形態では、運転者状態検出モジュールは更に、運転者画像に基づいて運転者ジェスチャー検出を行うために用いられてもよい。それに応じて、表示モジュールは更に、静的ジェスチャー又は動的ジェスチャーを含むジェスチャー検出の結果を表示するための第三表示領域を含む。

図９は、本出願に係る運転者監視システムにおける表示モジュールの表示領域の一実施例の構成模式図である。

図１０は本出願に係る車両の一実施例の構成模式図である。図１０に示すように、該実施例に係る車両は中央制御システムを含み、更に、本出願の上記いずれかの実施例に記載の運転状態監視装置又は運転者監視システムを含む。

いくつかの実施形態では、中央制御システムは、運転状態監視装置又は運転者監視システムが出力した運転者状態検出の結果に基づき、スマート運転制御を行い、及び／又は、運転状態監視装置又は運転者監視システムが出力した運転状態監視結果が予定運転モード切替条件を満たす場合、運転モードを自動運転モードに切り替え、且つ自動運転モードで車両に対する自動運転制御を行い、及び／又は、運転状態監視結果が予め設定された提示／警告予定条件を満たす場合、車両内の娯楽システム（例えばスピーカー、ブザー、照明機器など）又は車両に接続される娯楽システム（例えばスピーカー、ブザー、照明機器など）を呼び出して提示／警告予定条件に対応する提示／警告情報を出力するために用いられる。

別のいくつかの実施形態では、中央制御システムは更に、運転状態監視装置又は運転者監視システムが出力したジェスチャー検出の結果による制御コマンドに従って、車両又は車両における部品（例えば窓、エアコン、プレーヤーなど）、アプリケーション（例えば音楽、ラジオ、ブルートゥース）などに対応する制御をかけるために用いられてもよい。

別のいくつかの実施形態では、中央制御システムは更に、手動運転に切り替えるための運転コマンドを受信した時、運転モードを手動運転モードに切り替えるために用いられてもよい。

図１０を再度参照すると、上記実施例に係る車両は更に、中央制御システムの制御コマンドに従って、提示／警告予定条件に対応する提示／警告情報を出力し、及び／又は、中央制御システムの制御コマンドに従って、提示／警告情報の警告効果、又は娯楽項目の再生効果を調整するための娯楽システムを含んでもよい。

ここでの娯楽システムは例えばスピーカー、ブザー、照明機器などを含んでもよい。

図１０を再度参照すると、上記実施例に係る車両は更に、画像を収集するための少なくとも一つの赤外線カメラを含んでもよい。

いくつかの実施形態では、車両における赤外線カメラは車両内の少なくとも一つの位置、例えばダッシュボードの上方又は近傍位置、センタコンソールの上方又は近傍位置、Ａピラー又は近傍位置、バックミラー又は近傍位置などのいずれか一つ又は複数に配置してもよい。

図１１は本出願に係る電子機器の一応用例の構成模式図である。図１１を参照すると、それは本出願の実施例に係る端末機器又はサーバを実現するために適する電子機器の構成模式図を示す。図１１に示すように、該電子機器は一つ以上のプロセッサ、通信部などを含み、前記一つ以上のプロセッサは例えば、一つ以上の中央処理装置（ＣＰＵ）、及び／又は一つ以上の画像処理装置（ＧＰＵ）などであり、プロセッサは読み取り専用メモリ（ＲＯＭ）に記憶された実行可能コマンド又は記憶部分からランダムアクセスメモリ（ＲＡＭ）にロードされた実行可能コマンドに従って様々な適切の動作及び処理を実行できる。通信部はネットワークカードを含んでもよいが、これに限定されず、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでもよいが、これに限定されず、プロセッサは読み取り専用メモリ及び／又はランダムアクセスメモリと通信して実行可能コマンドを実行し、バスによって通信部と接続し、且つ通信部によって他の対象機器と通信し、それにより本出願の実施例が提供するいずれかの方法に対応する動作、例えば、運転者画像について運転者状態検出を行い、運転者状態検出の結果に基づき、運転者の運転状態監視結果を出力し及び／又はスマート運転制御を行うなどを完了することができる。

また、ＲＡＭに、更に装置の動作に必要の様々なプログラム及びデータが記憶されてもよい。ＣＰＵ、ＲＯＭ及びＲＡＭはバスによって互いに接続される。ＲＡＭが存在する場合、ＲＯＭは任意選択的なモジュールとなる。ＲＡＭは実行可能コマンドを記憶するか、又は動作時にＲＯＭに実行可能コマンドを書き込み、実行可能コマンドによってプロセッサは本出願の上記いずれかの方法に対応する動作を実行する。入力／出力（Ｉ／Ｏ）インタフェースもバスに接続される。通信部は統合設置してもよく、また複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように設置してもよく、且つバスリンクに存在する。

キーボード、マウスなどを含む入力部分、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など及びスピーカーなどを含む出力部分、ハードディスクなどを含む記憶部分、及びＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信部分などの部品は、Ｉ／Ｏインタフェースに接続される。通信部分はインターネットなどのネットワークによって通信処理を実行する。ドライバも必要に応じてＩ／Ｏインタフェースに接続される。取り外し可能な媒体、例えば磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどは、必要に応じてドライバに取り付けられ、それによってそこから読み出されたコンピュータプログラムが必要に応じて記憶部分にインストールされる。

説明すべきは、図１１示すアーキテクチャは任意選択的な一実現形態に過ぎず、具体的な実践では、実際の必要に応じて上記図１１の部品数及びタイプを選択し、減少させ、増加させるか又は交換することができ、異なる機能部品の設置上でも、分離設置又は統合設置などの実現形態を採用でき、例えばＧＰＵとＣＰＵは分離設置するか又はＧＰＵをＣＰＵに統合するようにしてもよく、通信部は分離設置してもよく、またＣＰＵ又はＧＰＵに統合してもよいなどである。これらの置換可能な実施形態はいずれも本出願が開示する保護範囲に属する。

特に、本開示の実施例によれば、上記参照フローチャートが記述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本出願のいずれかの実施例が提供する運転状態監視方法を実行するステップに対応するコマンドを含んでもよい。このような実施例では、該コンピュータプログラムは通信部分によってネットワークからダウンロード及びインストールでき、及び／又は取り外し可能な媒体からインストールできる。該コンピュータプログラムはＣＰＵに実行される時、本出願の方法に限定される上記機能を実行する。

また、本出願の実施例は更に、機器のプロセッサ内で動作する時に本出願の上記いずれかの実施例に係る運転状態監視方法を実現するコンピュータコマンドを含むコンピュータプログラムを提供する。

また、本出願の実施例は更に、プロセッサに実行される時に本出願の上記いずれかの実施例に係る運転状態監視方法を実現するコンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体を提供する。

本明細書における各実施例は漸進の方式を採用して記述し、各実施例では他の実施例との相違点を重点に説明し、各実施例間の同じ又は類似部分は互いに参照すればよい。システムの実施例は、方法の実施例に基本的に対応するため、記述したものが比較的簡単で、その関連部分は方法の実施例の一部の説明を参照すればよい。

本出願の方法、装置、システム及び機器は様々な方式で実現し得る。例えば、ソフトウェア、ハードウェア、ファームウェア又はソフトウェア、ハードウェア、ファームウェアの任意の組み合わせで本出願の方法、装置、システム及び機器を実現できる。前記方法のステップに付けられる上記順序は説明するためのものに過ぎず、本出願の方法のステップは、特に断らない限り、以上に記述した順序に限定されない。また、いくつかの実施例では、本出願を記録媒体に記録されるプログラムとして実施してもよく、これらのプログラムは本出願に係る方法を実現するための機械可読コマンドを含む。従って、本出願は本出願に係る方法を実行するためのプログラムを記憶する記録媒体をも含む。

本出願の記述は例示及び説明のためのもので、漏れがないもの又は開示した形式に本出願を限定するものではない。様々な修正及び変形について、当業者が自明である。選択及び記述した実施例は、本出願の原理及び実際の応用をより効果的に説明し、且つ当業者に本出願を理解させて特定の用途に適する様々な修正付きの様々な実施例を設計するためのものである。

Claims (28)

1. 運転者画像について運転者状態検出を行うことと、
   運転者状態検出の結果に基づき、運転者の運転状態監視結果を出力し及び／又はスマート運転制御を行うことと、を含み、
   前記運転者状態検出は、運転者の疲労状態検出、運転者の散漫状態検出、運転者の予定散漫動作検出のいずれか一つ又は複数を含み、
   前記運転者の予定散漫動作検出は、
   第五ニューラルネットワークを介して、運転者画像について食事動作、水飲み動作、電話かけ動作、または娯楽動作を含む予定散漫動作に対応する予め設定された目標対象の検出を行い、運転者の手の検出ボックスと、口の検出ボックス又は目の検出ボックスの少なくとも一方と、目標物体の検出ボックスとを得ること、
   前記手の検出ボックスと前記目標物体の検出ボックスが重なり、前記目標物体のタイプが容器又は食物であり、且つ前記目標物体の検出ボックスと口の検出ボックスが重なることに応じて、食事動作又は水飲み動作が発生したと判定すること、及び／又は、
   前記手の検出ボックスと前記目標物体の検出ボックスが重なり、前記目標物体のタイプが電子機器で、且つ前記目標物体の検出ボックスと口の検出ボックスとの最小距離が第一予め設定された距離より短いか、又は前記目標物体の検出ボックスと目の検出ボックスとの最小距離が第二予め設定された距離より短いことに応じて、娯楽動作又は電話かけ動作が発生したと判定すること、を含み、
   前記予定散漫動作が発生したと確定された場合、所定時間内における前記予定散漫動作の発生状況を確定し、散漫程度を特徴付けるための指標のパラメータ値を取得することと、
   散漫程度を特徴付けるための前記指標のパラメータ値に基づいて運転者の予定散漫動作検出の結果を確定することと、を更に含み、
   前記散漫程度を特徴付けるための前記指標のパラメータ値は、予定散漫動作の回数、予定散漫動作の持続時間及び予定散漫動作の頻度のいずれか一つ又は複数を含むことを特徴とする運転状態監視方法。
2. 前記運転者の疲労状態検出は、
   前記運転者画像における運転者の顔の少なくとも一部の領域を検出して、顔の少なくとも一部の領域の状態情報を取得することであって、前記顔の少なくとも一部の領域の状態情報は、目の開閉状態情報、口の開閉状態情報のいずれか一つ又は複数を含む、ことと、
   所定時間内の前記顔の少なくとも一部の領域の状態情報に基づき、運転者疲労状態を特徴付けるための指標（index）のパラメータ値を取得することと、
   運転者疲労状態を特徴付けるための指標のパラメータ値に基づいて運転者疲労状態検出の結果を決定することと、を含み、
   運転者疲労状態を特徴付けるための前記指標は、閉目程度、欠伸程度のいずれか一つ又は複数を含み、
   前記閉目程度のパラメータ値は、閉目回数、閉目頻度、閉目持続時間、閉目幅、半閉目回数、半閉目頻度のいずれか一つ又は複数を含み、
   及び／又は、
   前記欠伸程度のパラメータ値は、欠伸状態、欠伸回数、欠伸持続時間、欠伸頻度のいずれか一つ又は複数を含む
   ことを特徴とする請求項１に記載の方法。
3. 運転者画像について運転者の散漫状態検出を行うことは、
   前記運転者画像における運転者の顔向き及び／又は視線方向を検出して、顔向き情報及び／又は視線方向情報を取得することと、
   所定時間内の前記顔向き情報及び／又は視線方向情報に基づき、運転者散漫状態を特徴付けるための指標のパラメータ値を特定することと、
   前記運転者散漫状態を特徴付けるための指標のパラメータ値に基づいて運転者散漫状態検出の結果を決定することと、を含み、
   運転者散漫状態を特徴付けるための前記指標は、顔向きずれ程度、視線ずれ程度のいずれか一つ又は複数を含み、
   前記顔向きずれ程度のパラメータ値は、振り向き回数、振り向き持続時間、振り向き頻度のいずれか一つ又は複数を含み、
   及び／又は、
   前記視線ずれ程度のパラメータ値は、視線方向ずれ角度、視線方向ずれ時間、視線方向ずれ頻度のいずれか一つ又は複数を含むことを特徴とする請求項１または２に記載の方法。
4. 運転者画像について顔向き及び／又は視線方向を検出することは、
   前記運転者画像の顔キーポイントを検出することと、
   前記顔キーポイントに基づいて顔向き及び／又は視線方向を検出することと、を含むことを特徴とする請求項３に記載の方法。
5. 前記顔キーポイントに基づいて顔向きを検出して、顔向き情報を取得するステップは、
   前記顔キーポイントに基づいて頭部姿勢の特徴情報を取得することと、
   前記頭部姿勢の特徴情報に基づいて顔向き情報を決定することと、を含むことを特徴とする請求項４に記載の方法。
6. 前記顔キーポイントに基づいて頭部姿勢の特徴情報を取得し、前記頭部姿勢の特徴情報に基づいて顔向き情報を取得することは、
   第一ニューラルネットワークを介して前記顔キーポイントに基づいて頭部姿勢の特徴情報を抽出することと、
   第二ニューラルネットワークを介して前記頭部姿勢の特徴情報に基づいて顔向き推定を行い、顔向き情報を取得することと、を含むことを特徴とする請求項５に記載の方法。
7. 前記顔キーポイントに基づいて視線方向を検出し、視線方向情報を取得することは、
   前記顔キーポイントにおける目キーポイントにより位置決めされた目画像に基づいて瞳孔エッジ位置を特定し、且つ前記瞳孔エッジ位置に基づいて瞳孔中心位置を計算することと、
   前記瞳孔中心位置及び目中心位置に基づいて前記視線方向情報を計算することと、を含むことを特徴とする請求項４−６のいずれか一項に記載の方法。
8. 前記顔キーポイントにおける目キーポイントにより位置決めされた目画像に基づいて瞳孔エッジ位置を特定することは、
   第三ニューラルネットワークを介して、前記顔キーポイントにより分割された前記画像中の目領域画像に対して瞳孔エッジ位置検出を行い、且つ第三ニューラルネットワークが出力した情報に基づいて瞳孔エッジ位置を取得することを含むことを特徴とする請求項７に記載の方法。
9. 前記予定散漫動作は、喫煙動作、水飲み動作、食事動作、電話かけ動作、娯楽動作のいずれか一つ又は複数を含むことを特徴とする請求項１−８のいずれか一項に記載の方法。
10. 前記予定散漫動作が喫煙動作である場合、運転者画像について前記予定散漫動作に対応する目標対象の検出を行い、目標対象の検出ボックスを取得し、前記目標対象の検出ボックスに基づいて、前記予定散漫動作が発生したか否かを判定するステップは、
    第四ニューラルネットワークを介して前記運転者画像について顔検出を行い、顔検出ボックスを取得し、且つ前記顔検出ボックスの特徴情報を抽出することと、
    前記第四ニューラルネットワークを介して前記顔検出ボックスの特徴情報に基づいて喫煙動作が発生したか否かを判定することと、を含むことを特徴とする請求項１−９のいずれか一項に記載の方法。
11. 前記運転者の前記予定散漫動作の検出結果は、食事動作、水飲み動作、電話かけ動作または娯楽動作が発生していないこと、食事動作が発生したこと、水飲み動作が発生したこと、電話かけ動作が発生したこと、娯楽動作が発生したことのうちの一つを含むことを特徴とする請求項１−１０のいずれか一項に記載の方法。
12. 手の検出ボックス、口の検出ボックス及び任意の前記目標物体の検出ボックスが同時に検出されなく、且つ手の検出ボックス、目の検出ボックス及び任意の前記目標物体の検出ボックスが同時に検出されていない場合、散漫動作の検出結果は、食事動作、水飲み動作、電話かけ動作及び娯楽動作が検出されなかったと決定し、及び／又は、
    手の検出ボックスと前記目標物体の検出ボックスが重なりない場合、散漫動作の検出結果は食事動作、水飲み動作、電話かけ動作及び娯楽動作が検出されなかったことであると決定し、及び／又は、
    前記目標物体のタイプが容器又は食物であり、且つ前記目標物体の検出ボックスと口の検出ボックスとが重ならず、及び／又は、前記目標物体のタイプが電子機器であり、且つ前記目標物体の検出ボックスと口の検出ボックスとの最小距離が第一予め設定された距離以上であるか、又は前記目標物体の検出ボックスと目の検出ボックスとの最小距離が第二予め設定された距離以上である場合、散漫動作の検出結果は、食事動作、水飲み動作、電話かけ動作及び娯楽動作が検出されなかったことであると決定することを更に含むことを特徴とする請求項１−１０のいずれか一項に記載の方法。
13. 運転者の予定散漫動作検出の結果は予定散漫動作を検出したことである場合、検出した散漫動作を提示することを更に含み、
    運転者散漫状態検出の結果及び／又は運転者の予定散漫動作検出の結果に基づき、散漫提示情報を出力することを更に含むことを特徴とする請求項１−１２のいずれか一項に記載の方法。
14. 運転者状態検出の結果に基づき、運転者の運転状態監視結果を出力することは、
    運転者疲労状態検出の結果、運転者散漫状態検出の結果及び運転者の予定散漫動作検出の結果が満たす予め設定された条件に基づいて運転状態のレベルを決定することと、
    決定した運転状態レベルを運転状態監視結果とすることと、を含むことを特徴とする請求項１−１３のいずれか一項に記載の方法。
15. 前記方法は、更に、
    前記運転状態監視結果に対応する制御動作を実行することを含み、
    前記運転状態監視結果に対応する制御動作を実行することは、
    決定した前記運転状態監視結果が提示／警告予定条件を満たす場合、前記提示／警告予定条件に対応する提示／警告情報を出力すること、及び／又は、
    決定した前記運転状態監視結果が予定運転モード切替条件を満たす場合、運転モードを自動運転モードに切り替えることの一つを含むことを特徴とする請求項１−１４のいずれか一項に記載の方法。
16. 前記方法は、更に、
    前記運転者画像について顔認識を行うことと、
    顔認識の結果に基づいて認証制御を行うことと、を含むことを特徴とする請求項１−１５のいずれか一項に記載の方法。
17. 前記運転者画像について顔認識を行うことは、
    第六ニューラルネットワークを介して前記運転者画像について顔検出を行い、且つ検出した顔の特徴を抽出し、顔特徴を取得することと、
    前記顔特徴をデータベース内の顔特徴テンプレートとマッチすることと、
    前記データベースに前記顔特徴とマッチする顔特徴テンプレートが存在する場合、前記顔特徴とマッチする顔特徴テンプレートに対応する身分情報を出力することと、を含むことを特徴とする請求項１６に記載の方法。
18. 前記データベースに前記顔特徴とマッチする顔特徴テンプレートが存在しない場合、運転者に登録するように促すことと、
    受信した運転者の登録要求に応答して、第六ニューラルネットワークを介して収集した運転者画像について顔検出を行い、且つ検出した顔の特徴を抽出し、顔特徴を取得することと、
    前記顔特徴を前記運転者の顔特徴テンプレートとし、前記データベース内で前記運転者の顔特徴テンプレート及び前記運転者が入力した身分情報を含む前記運転者のユーザ情報を作成することと、を更に含むことを特徴とする請求項１７に記載の方法。
19. 更に、
    前記運転状態監視結果を前記データベース内の前記運転者のユーザ情報に記憶することを含むことを特徴とする請求項１７または１８に記載の方法。
20. 更に、
    赤外線カメラによって画像を収集し、前記運転者画像を取得することを含み、
    赤外線カメラによって画像を収集することは、
    車両内の少なくとも一つの位置に配置された前記赤外線カメラによって画像を収集することを含み、
    前記少なくとも一つの位置は、ダッシュボードの上方又は近傍位置、センタコンソールの上方又は近傍位置、Ａピラー又は近傍位置、バックミラー又は近傍位置のいずれか一つ又は複数を含むことを特徴とする請求項１−１９のいずれか一項に記載の方法。
21. 更に、
    前記運転者画像について運転者ジェスチャー検出を行うことと、
    運転者ジェスチャー検出の結果に基づいて制御コマンドを生成することと、を含むことを特徴とする請求項１−２０のいずれか一項に記載の方法。
22. 前記運転者画像に基づいて運転者ジェスチャー検出を行うことは、
    現在フレームの運転者画像における手キーポイントを検出することと、
    検出した手キーポイントに基づいて特定した静的ジェスチャーを前記運転者ジェスチャー検出の結果とすることと、を含む、または、
    前記運転者画像に基づいて運転者ジェスチャー検出を行うことは、
    運転者動画における複数フレームの運転者画像における手キーポイントを検出することと、
    検出した複数フレームの運転者画像における手キーポイントに基づいて特定した動的ジェスチャーを前記運転者ジェスチャー検出の結果とすることと、を含むことを特徴とする請求項２１に記載の方法。
23. 運転者画像、及び運転者の運転状態監視結果を表示するための表示モジュールと、
    前記運転者画像について運転者状態検出を行い、且つ運転者状態検出の結果に基づいて運転者の前記運転状態監視結果を出力するための運転者状態検出モジュールと、を含み、
    前記運転者状態検出は、運転者の疲労状態検出、運転者の散漫状態検出、運転者の予定散漫動作検出のいずれか一つ又は複数を含み、
    前記運転者の予定散漫動作検出は、
    第五ニューラルネットワークを介して、運転者画像について食事動作、水飲み動作、電話かけ動作、または娯楽動作を含む予定散漫動作に対応する予め設定された目標対象の検出を行い、運転者の手の検出ボックスと、口の検出ボックス又は目の検出ボックスの少なくとも一方と、目標物体の検出ボックスとを得ること、
    前記手の検出ボックスと前記目標物体の検出ボックスが重なり、前記目標物体のタイプが容器又は食物であり、且つ前記目標物体の検出ボックスと口の検出ボックスが重なることに応じて、食事動作又は水飲み動作が発生したと判定すること、及び／又は、
    前記手の検出ボックスと前記目標物体の検出ボックスが重なり、前記目標物体のタイプが電子機器で、且つ前記目標物体の検出ボックスと口の検出ボックスとの最小距離が第一予め設定された距離より短いか、又は前記目標物体の検出ボックスと目の検出ボックスとの最小距離が第二予め設定された距離より短いことに応じて、娯楽動作又は電話かけ動作が発生したと判定すること、を含み、
    前記予定散漫動作が発生したと確定された場合、所定時間内における前記予定散漫動作の発生状況を確定し、散漫程度を特徴付けるための指標のパラメータ値を取得することと、
    散漫程度を特徴付けるための前記指標のパラメータ値に基づいて運転者の予定散漫動作検出の結果を確定することと、を更に含み、
    前記散漫程度を特徴付けるための前記指標のパラメータ値は、予定散漫動作の回数、予定散漫動作の持続時間及び予定散漫動作の頻度のいずれか一つ又は複数を含むことを特徴とする運転者監視システム。
24. 前記表示モジュールは、
    運転者画像、及び前記運転状態監視結果に対応する提示／警告情報を表示するための第一表示領域と、
    予定散漫動作を表示するための第二表示領域と、を含み、
    前記運転者状態検出モジュールは更に、前記運転者画像について顔認識を行うために用いられ、
    前記第一表示領域は更に、顔認識の結果を表示するために用いられる、及び／又は、
    前記運転者状態検出モジュールは更に、前記運転者画像に基づいて運転者ジェスチャー検出を行うために用いられ、
    前記表示モジュールは更に、静的ジェスチャー又は動的ジェスチャーを含むジェスチャー検出の結果を表示するための第三表示領域を含むことを特徴とする請求項２３に記載のシステム。
25. コンピュータプログラムを記憶するためのメモリと、
    前記メモリに記憶されたコンピュータプログラムを実行し、且つ前記コンピュータプログラムが実行されるとき、請求項１−２２のいずれか一項に記載の方法を実現するためのプロセッサと、を含むことを特徴とする電子機器。
26. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体において、該コンピュータプログラムがプロセッサにより実行されるとき、請求項１−２２のいずれか一項に記載の方法を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。
27. コンピュータコマンドを含むコンピュータプログラムにおいて、前記コンピュータコマンドが機器のプロセッサにより処理される場合、請求項１−２２のいずれか一項に記載の方法を実現することを特徴とするコンピュータプログラム。
28. 中央制御システムを含む車両において、更に、請求項２３または２４に記載の運転者監視システムを含み、
    前記中央制御システムは、
    前記運転者監視システムが出力した運転者状態検出の結果に基づき、スマート運転制御を行い、及び／又は、
    前記運転者監視システムが出力した運転状態監視結果が予定運転モード切替条件を満たす場合、運転モードを自動運転モードに切り替え、且つ自動運転モードで前記車両への自動運転制御を行い、及び／又は、
    運転状態監視結果が予め設定された提示／警告予定条件を満たす場合、前記車両内の娯楽システム又は前記車両に接続される娯楽システムを呼び出して前記提示／警告予定条件に対応する提示／警告情報を出力するために用いられることを特徴とする車両。

Images