Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7575588B2 - Method and device for adjusting warning threshold, electronic device, and storage medium - Google Patents
[go: Go Back, main page]

JP7575588B2 - Method and device for adjusting warning threshold, electronic device, and storage medium - Google Patents

Method and device for adjusting warning threshold, electronic device, and storage medium Download PDF

Info

Publication number
JP7575588B2
JP7575588B2 JP2023522416A JP2023522416A JP7575588B2 JP 7575588 B2 JP7575588 B2 JP 7575588B2 JP 2023522416 A JP2023522416 A JP 2023522416A JP 2023522416 A JP2023522416 A JP 2023522416A JP 7575588 B2 JP7575588 B2 JP 7575588B2
Authority
JP
Japan
Prior art keywords
warning
behavior
driver
detection result
behavior detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023522416A
Other languages
Japanese (ja)
Other versions
JP2023545158A (en
Inventor
ダンチン シエン
ジュン ウー
イーチン ファン
イン タオ
リャン シュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Lingang Jueying Intelligent Technology Co Ltd
Original Assignee
Shanghai Lingang Jueying Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Lingang Jueying Intelligent Technology Co Ltd filed Critical Shanghai Lingang Jueying Intelligent Technology Co Ltd
Publication of JP2023545158A publication Critical patent/JP2023545158A/en
Application granted granted Critical
Publication of JP7575588B2 publication Critical patent/JP7575588B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18Prevention or correction of operating errors
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18Prevention or correction of operating errors
    • G08B29/20Calibration, including self-calibrating arrangements
    • G08B29/24Self-calibration, e.g. compensating for environmental drift or ageing of components
    • G08B29/26Self-calibration, e.g. compensating for environmental drift or ageing of components by updating and storing reference thresholds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、インテリジェントドライブの技術分野に関し、特に運転者挙動検知の警告閾値調整方法及び装置、電子機器、並びに記憶媒体に関する。 The present disclosure relates to the technical field of intelligent driving, and in particular to a method and device for adjusting a warning threshold for driver behavior detection, an electronic device, and a storage medium.

ドライバ・モニタリング・システム(Driver Monitoring System、DMS)は、運転者の顔に向けられたカメラによって収集された画像によって、運転者の運転状態を識別することができる。運転者が注意散漫、疲労、電話掛け、水飲み又は喫煙などの危険な挙動をしていると識別した場合、運転者の安全な運転を確保するためにリアルタイムな警告を発することができる。 The Driver Monitoring System (DMS) can identify the driver's driving state through images collected by a camera pointed at the driver's face. If the system identifies the driver as engaging in risky behavior such as distraction, fatigue, making a phone call, drinking water or smoking, it can issue a real-time warning to ensure the driver's safe driving.

本開示は、運転者挙動検知の警告閾値調整の技術的手段を提供する。 This disclosure provides a technical means for adjusting warning thresholds for driver behavior detection.

本開示の一方面によれば、運転者の第1挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信することと、前記運転者の第1挙動検知結果を取得することと、前記誤警告フィードバック情報に基づいて、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整することと、を含む運転者挙動検知の警告閾値調整方法を提供する。 According to one aspect of the present disclosure, there is provided a method for adjusting a warning threshold for driver behavior detection, the method including receiving false warning feedback information indicating the occurrence of a false warning based on a first behavior detection result of the driver, acquiring the first behavior detection result of the driver, and adjusting a warning parameter threshold corresponding to the first behavior detection result of the driver based on the false warning feedback information.

1つまたは複数の可能な実施形態では、前記した、前記誤警告フィードバック情報に基づいて、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整することは、前記誤警告フィードバック情報に応じて、ユーザに前記運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整するよう促す第1注意喚起情報を発することと、ユーザから前記第1注意喚起情報に応じて送信された警告パラメータ閾値調整指令を受信したことに応じて、前記運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整することと、を含む。 In one or more possible embodiments, adjusting the warning parameter threshold corresponding to the driver's first behavior detection result based on the false warning feedback information includes issuing first attention prompting information to prompt a user to adjust the warning parameter threshold corresponding to the driver's first behavior detection result in response to the false warning feedback information, and adjusting the warning parameter threshold corresponding to the driver's first behavior detection result in response to receiving a warning parameter threshold adjustment command transmitted from the user in response to the first attention prompting information.

1つまたは複数の可能な実施形態では、前記運転者挙動検知の警告閾値調整方法は、前記運転者の第1挙動検知結果に対応する挙動種類を特定することをさらに含み、前記した、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整することは、運転者の第1挙動検知結果に対応する挙動種類の警告パラメータ閾値を調整することを含む。 In one or more possible embodiments, the method for adjusting a warning threshold for driver behavior detection further includes identifying a behavior type corresponding to the first behavior detection result of the driver, and adjusting the warning parameter threshold corresponding to the first behavior detection result of the driver includes adjusting the warning parameter threshold for the behavior type corresponding to the first behavior detection result of the driver.

1つまたは複数の可能な実施形態では、前記した、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整することは、運転者の第1挙動検知結果に対応する警告パラメータ閾値を所定の調整ステップ幅で増減させることを含む。 In one or more possible embodiments, adjusting the warning parameter threshold corresponding to the driver's first behavior detection result includes increasing or decreasing the warning parameter threshold corresponding to the driver's first behavior detection result by a predetermined adjustment step width.

1つまたは複数の可能な実施形態では、前記運転者挙動検知の警告閾値調整方法は、前記誤警告のタイプを識別することをさらに含み、前記誤警告のタイプは、第1危険運転挙動を、挙動種類が前記第1危険運転挙動と異なる第2危険運転挙動と誤警告するタイプ、前記危険運転挙動が発生しない場合、警告を発するタイプ、の少なくとも1つを含む。 In one or more possible embodiments, the driver behavior detection warning threshold adjustment method further includes identifying a type of the false warning, and the type of the false warning includes at least one of a type of falsely warning a first dangerous driving behavior as a second dangerous driving behavior having a behavior type different from the first dangerous driving behavior, and a type of issuing a warning when the dangerous driving behavior does not occur.

1つまたは複数の可能な実施形態では、誤警告フィードバック情報を受信した後に、さらに、運転者の所定挙動のビデオデータを含むものであって、前記誤警告をトリガーした第1ビデオデータを取得することと、前記第1ビデオデータを誤警告ビデオライブラリーに記憶することと、を含む。 In one or more possible embodiments, after receiving the false alarm feedback information, the method further includes obtaining first video data that triggered the false alarm, the first video data including video data of a predetermined driver behavior, and storing the first video data in a false alarm video library.

1つまたは複数の可能な実施形態では、前記した、前記誤警告をトリガーした第1ビデオデータを取得することは、前記誤警告フィードバック情報が受信される前の所定期間内の前記第1ビデオデータを取得すること、又は、ユーザによって前記誤警告フィードバック情報を発する前に送信された前記第1ビデオデータを取得することを含む。 In one or more possible embodiments, obtaining the first video data that triggered the false alarm includes obtaining the first video data within a predetermined period of time before the false alarm feedback information was received, or obtaining the first video data transmitted by a user prior to issuing the false alarm feedback information.

1つまたは複数の可能な実施形態では、前記運転者挙動検知の警告閾値調整方法は、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整した後に、さらに、運転者の前記所定挙動のビデオデータを含む第2ビデオデータを取得することと、前記第2ビデオデータ及び調整後の前記警告パラメータ閾値に基づいて、運転挙動を検知して第2挙動検知結果を得ることと、前記第2挙動検知結果に対する誤警告フィードバック情報を受信した場合、前記第2挙動検知結果に対応する警告パラメータ閾値を調整することと、を含む。 In one or more possible embodiments, the method for adjusting the warning threshold for driver behavior detection further includes, after adjusting the warning parameter threshold corresponding to the first behavior detection result of the driver, acquiring second video data including video data of the predetermined behavior of the driver, detecting the driving behavior based on the second video data and the adjusted warning parameter threshold to obtain a second behavior detection result, and, when false warning feedback information for the second behavior detection result is received, adjusting the warning parameter threshold corresponding to the second behavior detection result.

1つまたは複数の可能な実施形態では、少なくとも1つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取ることをさらに含み、前記した、前記運転者の第1挙動検知結果を取得することは、前記運転者の運転挙動が属する所定種類である対象所定種類を特定することと、前記対象所定種類の運転挙動に対応する警告パラメータ閾値に基づいて、前記運転者の第1挙動検知結果を特定することと、を含む。 In one or more possible embodiments, the method further includes reading a warning parameter threshold corresponding to at least one predetermined type of driving behavior, and the obtaining of the driver's first behavior detection result includes identifying a target predetermined type to which the driver's driving behavior belongs, and identifying the driver's first behavior detection result based on the warning parameter threshold corresponding to the driving behavior of the target predetermined type.

1つまたは複数の可能な実施形態では、前記した、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整することは、前記対象所定種類の運転挙動に対応する警告パラメータ閾値を調整することを含み、前記運転者挙動検知の警告閾値調整方法は、前記対象所定種類の運転挙動に対応する調整後の警告パラメータ閾値を記憶することをさらに含む。 In one or more possible embodiments, adjusting the warning parameter threshold corresponding to the driver's first behavior detection result includes adjusting the warning parameter threshold corresponding to the target predetermined type of driving behavior, and the driver behavior detection warning threshold adjustment method further includes storing the adjusted warning parameter threshold corresponding to the target predetermined type of driving behavior.

1つまたは複数の可能な実施形態では、前記所定種類の運転挙動は、あくびの挙動と、目閉じの挙動と、頭振りの挙動との少なくとも1つを含み、前記あくびの挙動に対応する警告パラメータ閾値は、口開き幅閾値と、あくび継続時間閾値との少なくとも1つを含み、前記目閉じの挙動に対応する警告パラメータ閾値は、目閉じ幅閾値と、目閉じ継続時間閾値との少なくとも1つを含み、前記頭振りの挙動に対応する警告パラメータ閾値は、頭姿勢振り角閾値を含む。 In one or more possible embodiments, the predetermined type of driving behavior includes at least one of a yawning behavior, an eye closing behavior, and a head shaking behavior, the warning parameter threshold corresponding to the yawning behavior includes at least one of a mouth opening width threshold and a yawn duration threshold, the warning parameter threshold corresponding to the eye closing behavior includes at least one of an eye closing width threshold and an eye closing duration threshold, and the warning parameter threshold corresponding to the head shaking behavior includes a head posture swing angle threshold.

本開示の一方面によれば、運転者の第1挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信する受信モジュールと、前記運転者の第1挙動検知結果を取得する取得モジュールと、前記誤警告フィードバック情報に基づいて、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整する調整モジュールと、を備える運転者挙動検知の警告閾値調整装置を提供する。 According to one aspect of the present disclosure, there is provided a driver behavior detection warning threshold adjustment device including a receiving module that receives false warning feedback information indicating the occurrence of a false warning based on a driver's first behavior detection result, an acquisition module that acquires the driver's first behavior detection result, and an adjustment module that adjusts a warning parameter threshold corresponding to the driver's first behavior detection result based on the false warning feedback information.

1つまたは複数の可能な実施形態では、前記調整モジュールは、前記誤警告フィードバック情報に応じて、ユーザに前記運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整するよう促す第1注意喚起情報を発し、ユーザから前記第1注意喚起情報に応じて送信された警告パラメータ閾値調整指令を受信したことに応じて、前記運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整する。 In one or more possible embodiments, the adjustment module issues first attention prompting information to prompt a user to adjust a warning parameter threshold corresponding to a first behavior detection result of the driver in response to the false warning feedback information, and adjusts a warning parameter threshold corresponding to a first behavior detection result of the driver in response to receiving a warning parameter threshold adjustment command transmitted from the user in response to the first attention prompting information.

1つまたは複数の可能な実施形態では、前記運転者挙動検知の警告閾値調整装置は、前記運転者の第1挙動検知結果に対応する挙動種類を特定する特定モジュールをさらに備え、前記調整モジュールは、運転者の第1挙動検知結果に対応する挙動種類の警告パラメータ閾値を調整する。 In one or more possible embodiments, the driver behavior detection warning threshold adjustment device further includes an identification module that identifies a behavior type corresponding to the driver's first behavior detection result, and the adjustment module adjusts the warning parameter threshold of the behavior type corresponding to the driver's first behavior detection result.

1つまたは複数の可能な実施形態では、前記調整モジュールは、運転者の第1挙動検知結果に対応する警告パラメータ閾値を所定の調整ステップ幅で増減させる。 In one or more possible embodiments, the adjustment module increases or decreases the warning parameter threshold corresponding to the driver's first behavior detection result by a predetermined adjustment step size.

1つまたは複数の可能な実施形態では、前記運転者挙動検知の警告閾値調整装置は、前記誤警告のタイプを識別する識別モジュールをさらに備え、前記誤警告のタイプは、第1危険運転挙動を、挙動種類が前記第1危険運転挙動と異なる第2危険運転挙動と誤警告するタイプ、前記危険運転挙動が発生しない場合、警告を発するタイプ、の少なくとも1つを含む。 In one or more possible embodiments, the driver behavior detection warning threshold adjustment device further includes an identification module that identifies the type of the false warning, and the type of the false warning includes at least one of a type that falsely warns a first dangerous driving behavior as a second dangerous driving behavior whose behavior type is different from the first dangerous driving behavior, and a type that issues a warning when the dangerous driving behavior does not occur.

1つまたは複数の可能な実施形態では、運転者の所定挙動のビデオデータを含むものであって、前記誤警告をトリガーした第1ビデオデータを取得し、前記第1ビデオデータを誤警告ビデオライブラリーに記憶する記憶モジュールをさらに備える。 In one or more possible embodiments, the system further includes a storage module that acquires first video data that triggers the false warning, the first video data including video data of a predetermined driver behavior, and stores the first video data in a false warning video library.

1つまたは複数の可能な実施形態では、前記記憶モジュールは、前記誤警告フィードバック情報が受信される前の所定期間内の前記第1ビデオデータを取得するか、又は、ユーザによって前記誤警告フィードバック情報を発する前に送信された前記第1ビデオデータを取得する。 In one or more possible embodiments, the storage module obtains the first video data within a predetermined period of time before the false alarm feedback information is received, or obtains the first video data transmitted by a user prior to issuing the false alarm feedback information.

1つまたは複数の可能な実施形態では、前記調整モジュールは、さらに、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整した後に、運転者の前記所定挙動のビデオデータを含む第2ビデオデータを取得し、前記第2ビデオデータ及び調整後の前記警告パラメータ閾値に基づいて、運転挙動を検知して第2挙動検知結果を得、前記第2挙動検知結果に対する誤警告フィードバック情報を受信した場合、前記第2挙動検知結果に対応する警告パラメータ閾値を調整する。 In one or more possible embodiments, the adjustment module further acquires second video data including video data of the driver's specified behavior after adjusting the warning parameter threshold corresponding to the first behavior detection result of the driver, detects a driving behavior based on the second video data and the adjusted warning parameter threshold to obtain a second behavior detection result, and adjusts the warning parameter threshold corresponding to the second behavior detection result when false warning feedback information is received for the second behavior detection result.

1つまたは複数の可能な実施形態では、少なくとも1つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取る読み取りモジュールをさらに備え、前記取得モジュールは、前記運転者の運転挙動が属する所定種類である対象所定種類を特定し、前記対象所定種類の運転挙動に対応する警告パラメータ閾値に基づいて、前記運転者の第1挙動検知結果を特定する。 In one or more possible embodiments, the system further includes a reading module that reads a warning parameter threshold value corresponding to at least one predetermined type of driving behavior, and the acquisition module identifies a target predetermined type to which the driving behavior of the driver belongs, and identifies a first behavior detection result of the driver based on the warning parameter threshold value corresponding to the driving behavior of the target predetermined type.

1つまたは複数の可能な実施形態では、前記調整モジュールは、前記対象所定種類の運転挙動に対応する警告パラメータ閾値を調整し、前記運転者挙動検知の警告閾値調整装置は、前記対象所定種類の運転挙動に対応する調整後の警告パラメータ閾値を記憶する記憶モジュールをさらに備える。 In one or more possible embodiments, the adjustment module adjusts the warning parameter threshold corresponding to the target predetermined type of driving behavior, and the driver behavior detection warning threshold adjustment device further includes a storage module that stores the adjusted warning parameter threshold corresponding to the target predetermined type of driving behavior.

1つまたは複数の可能な実施形態では、前記所定種類の運転挙動は、あくびの挙動と、目閉じの挙動と、頭振りの挙動との少なくとも1つを含み、前記あくびの挙動に対応する警告パラメータ閾値は、口開き幅閾値と、あくび継続時間閾値との少なくとも1つを含み、前記目閉じの挙動に対応する警告パラメータ閾値は、目閉じ幅閾値と、目閉じ継続時間閾値との少なくとも1つを含み、前記頭振りの挙動に対応する警告パラメータ閾値は、頭姿勢振り角閾値を含む。 In one or more possible embodiments, the predetermined type of driving behavior includes at least one of a yawning behavior, an eye closing behavior, and a head shaking behavior, the warning parameter threshold corresponding to the yawning behavior includes at least one of a mouth opening width threshold and a yawn duration threshold, the warning parameter threshold corresponding to the eye closing behavior includes at least one of an eye closing width threshold and an eye closing duration threshold, and the warning parameter threshold corresponding to the head shaking behavior includes a head posture swing angle threshold.

本開示の一方面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するメモリと、を含み、前記プロセッサは、前記メモリに記憶された命令を呼び出して、上記の運転者挙動検知の警告閾値調整方法を実行するように構成される電子機器を提供する。 According to one aspect of the present disclosure, there is provided an electronic device including a processor and a memory that stores instructions executable by the processor, the processor being configured to call up the instructions stored in the memory and execute the above-mentioned driver behavior detection warning threshold adjustment method.

本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上記の運転者挙動検知の警告閾値調整方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。 According to one aspect of the present disclosure, there is provided a computer-readable storage medium having stored therein computer program instructions, which, when executed by a processor, realizes the above-described method for adjusting a warning threshold for driver behavior detection.

本開示の一方面によれば、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに上記の運転者挙動検知の警告閾値調整方法を実現するための命令を実行させるコンピュータプログラムを提供する。 According to one aspect of the present disclosure, there is provided a computer program that includes computer-readable code, and when the computer-readable code runs on an electronic device, causes a processor of the electronic device to execute instructions for implementing the above-described method for adjusting a warning threshold for driver behavior detection.

本開示の実施例では、運転者の第1挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信し、その後、該運転者の第1挙動検知結果を取得し、誤警告フィードバック情報に応じて、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整することができる。このように、警告パラメータ閾値を調整することにより、運転挙動の検知精度を改善し、誤警告の発生を低減し、運転者の運転体験を向上させることができる。 In an embodiment of the present disclosure, false warning feedback information indicating the occurrence of a false warning based on a first behavior detection result of a driver is received, and then the first behavior detection result of the driver is acquired, and a warning parameter threshold corresponding to the first behavior detection result of the driver can be adjusted according to the false warning feedback information. In this manner, by adjusting the warning parameter threshold, it is possible to improve the detection accuracy of driving behavior, reduce the occurrence of false warnings, and improve the driving experience of the driver.

なお、上述した概略的な説明及び次の詳細な説明は、例示的及び解釈的なものに過ぎず、本開示を限定するものではない。以下、図面を参考しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴及び方面は明瞭になる。 The above general description and the following detailed description are merely illustrative and interpretive, and are not intended to limit the present disclosure. Other features and aspects of the present disclosure will become clearer by describing the exemplary embodiments in detail below with reference to the drawings.

ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的解決手段の説明に用いられる。
図1は、本開示の実施例に係る運転者挙動検知の警告閾値調整方法のフローチャートを示す。 図2は、本開示の実施例に係る運転者挙動検知の警告閾値調整方法の一例のフローチャートを示す。 図3は、本開示の実施例に係る運転者挙動検知の警告閾値調整装置のブロック図を示す。 図4は、本開示の実施例に係る電子機器の一例のブロック図を示す。 図5は、本開示の実施例に係る電子機器の一例のブロック図を示す。
The drawings incorporated herein as part of this specification are suitable for the embodiments of the present disclosure and are used to explain the technical solutions of the present disclosure together with the specification.
FIG. 1 shows a flowchart of a warning threshold adjustment method for driver behavior detection according to an embodiment of the present disclosure. FIG. 2 illustrates a flowchart of an example of a method for adjusting a warning threshold for driver behavior detection according to an embodiment of the present disclosure. FIG. 3 illustrates a block diagram of a warning threshold adjustment device for driver behavior detection according to an embodiment of the present disclosure. FIG. 4 illustrates a block diagram of an example of an electronic device according to an embodiment of the present disclosure. FIG. 5 illustrates a block diagram of an example of an electronic device according to an embodiment of the present disclosure.

以下、図面を参照しながら本開示の様々な例示的実施例、特徴及び態様を詳細に説明する。図面において、同じ符号は、機能が同じまたは類似する要素を表す。図面において実施例の様々な態様を示したが、特に明記されていない限り、図面は、必ずしも原寸に比例しているとは限らない。 Various exemplary embodiments, features, and aspects of the present disclosure are described in detail below with reference to the drawings. In the drawings, like reference numbers represent functionally identical or similar elements. While various aspects of the embodiments are illustrated in the drawings, the drawings are not necessarily drawn to scale unless otherwise indicated.

ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は、必ずしも他の実施例より好ましい又は優れたものであると解釈されるとは限らない。 The term "exemplary" as used herein means "serving as an example, example, or illustration." Any embodiment described herein as "exemplary" is not necessarily to be construed as preferred or superior over other embodiments.

本明細書における用語「及び/又は」は、関連対象との関連関係を記述するものであり、3つの関係が存在可能であることを示し、例えば、A及び/又はBは、Aのみが存在し、AとBの両方が存在し、Bのみが存在するという3つの場合を示してもよい。また、本明細書における用語「少なくとも1つ」は複数のうちのいずれか1つ、又は複数のうちの少なくとも2つの任意の組み合わせを示し、例えば、A、B、Cのうちの少なくとも1つを含むことは、A、B及びCからなる集合から選択されたいずれか1つ又は複数の要素を含むことを示してもよい。 The term "and/or" in this specification describes a related relationship with a related object and indicates that three relationships can exist. For example, A and/or B may indicate three cases: only A exists, both A and B exist, and only B exists. In addition, the term "at least one" in this specification indicates any one of a plurality of elements, or any combination of at least two of a plurality of elements. For example, including at least one of A, B, and C may indicate including any one or more elements selected from the set consisting of A, B, and C.

また、本開示をより良く説明するために、以下の具体的な実施形態には多くの具体的な細部が示されている。当業者であれば、本開示は、何らかの具体的な細部がなくても、同様に実施できることを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者によく知られている方法、手段、要素および回路について、詳細な説明を行わない。 In addition, in order to better explain the present disclosure, many specific details are shown in the following specific embodiments. It should be understood by those skilled in the art that the present disclosure can be similarly implemented without any specific details. In some examples, detailed descriptions of methods, means, elements and circuits that are well known to those skilled in the art are not provided in order to emphasize the gist of the present disclosure.

かかる技術において、運転者が疲労、電話掛け、水飲み又は喫煙などの危険な挙動をしていることを検知した場合、運転者に安全運転するよう注意させるために、警告を発することができるが、運転者の個人差、運転挙動の検知精度、関連する警告パラメータ閾値の不合理な設定等の要素によって、誤警告が発生してしまう場合がある。誤警告の場合について、その後で各製造メーカーにフィードバックし、製造メーカーによりDMSシステムを完備するのが一般的であるが、運転者のニーズは満たされ難かった。 With this technology, if it detects that the driver is fatigued, making a phone call, drinking water, smoking, or engaging in other risky behavior, a warning can be issued to remind the driver to drive safely. However, false warnings can occur due to factors such as individual differences between drivers, the accuracy of detecting driving behavior, and unreasonable settings of related warning parameter thresholds. In the case of false warnings, feedback is then given to each manufacturer, who typically completes the DMS system, but this makes it difficult to meet the needs of drivers.

本開示の実施例に係る運転者挙動検知の警告閾値調整の技術は、DMSシステム、自動運転又は補助運転システム、都市交通、交通移動などの場面に適用できる。例えば、DMSシステムが運転者の大笑いの挙動をあくびという疲労挙動と誤警告した場合、運転者は、誤警告ボタンを押すことができ、DMSシステムは、あくびの挙動の警告パラメータ閾値を上げて、大笑いの挙動を正常の運転挙動として分類することにより、DMSシステムの誤警告の発生状況を改善し、運転者の運転体験を向上させることができる。いくつかの実施形態では、今後の再利用及び比較を容易にするように、調整された警告パラメータ閾値及びビデオデータをローカルまたはクラウドに記憶してもよい。 The driver behavior detection warning threshold adjustment technique according to the embodiment of the present disclosure can be applied to DMS systems, automated or assisted driving systems, urban traffic, traffic movement, and other situations. For example, if the DMS system falsely warns the driver of a laughing behavior as a fatigue behavior of yawning, the driver can press a false warning button, and the DMS system can improve the occurrence of false warnings in the DMS system and improve the driver's driving experience by increasing the warning parameter threshold of the yawning behavior and classifying the laughing behavior as a normal driving behavior. In some embodiments, the adjusted warning parameter threshold and video data may be stored locally or in the cloud to facilitate future reuse and comparison.

本開示の実施例に係る運転者挙動検知の警告閾値調整方法は、端末装置、サーバーまたは他の種類の電子機器により実行されてもよい。ここで、端末装置は、ユーザ側装置(User Equipment、UE)、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント(Personal Digital Assistant、PDA)、手持ちの機器、計算装置、車載装置またはウエアラブル装置等であってもよい。いくつかの可能な実施形態では、この運転者挙動検知の警告閾値調整方法は、プロセッサによってメモリに記憶されているコンピュータ読み取り可能な命令を呼び出すことにより実現してもよい。又は、前記方法は、サーバーにより実行してもよい。 The driver behavior detection warning threshold adjustment method according to the embodiment of the present disclosure may be performed by a terminal device, a server, or other type of electronic device. Here, the terminal device may be a user equipment (UE), a mobile device, a user terminal, a terminal, a cellular phone, a cordless phone, a personal digital assistant (PDA), a handheld device, a computing device, an in-vehicle device, or a wearable device. In some possible embodiments, the driver behavior detection warning threshold adjustment method may be realized by a processor invoking computer-readable instructions stored in a memory. Alternatively, the method may be performed by a server.

図1は、本開示の実施例に係る運転者挙動検知の警告閾値調整方法のフローチャートを示す。図1に示すように、前記運転者挙動検知の警告閾値調整方法は、ステップS11~ステップS13を含む。 Figure 1 shows a flowchart of a method for adjusting a warning threshold for driver behavior detection according to an embodiment of the present disclosure. As shown in Figure 1, the method for adjusting a warning threshold for driver behavior detection includes steps S11 to S13.

ステップS11において、誤警告フィードバック情報を受信する。 In step S11, false warning feedback information is received.

本開示の実施例では、電子機器は、誤警告フィードバック情報を受信することができ、誤警告フィードバック情報は、運転者の第1挙動検知結果に基づく誤警告の発生を示すことができる。運転者が車両を運転している中では、運転者に対して収集した第1ビデオデータを取得し、第1ビデオデータに基づいて、運転者の運転挙動を検知して第1挙動検知結果を得ることができる。第1挙動検知結果は、運転挙動の挙動種類、挙動パラメータ、危険運転挙動に該当するかどうか等の情報を含んでもよい。危険運転挙動は、運転者が運転中で行われる安全運転に影響を及ぼす挙動であってもよく、例えば、あくびの挙動、目閉じの挙動等はいずれも危険運転挙動に該当すると判断してもよい。第1挙動検知結果として危険運転挙動である場合、警告を発することができる。該警告が誤警告である場合、つまり、該警告に誤りがある場合、ユーザ(例えば、運転者)は、予め設定された操作の実行によって電子機器に該誤警告をフィードバックすることができる。例えば、誤警告ボタンを押すという所定操作によって電子機器に該誤警告をフィードバックすることができる。いくつかの実施形態では、ユーザ(例えば、運転者)は、予め設定された音声又は予め設定されたジェスチャー等によって電子機器に該誤警告をフィードバックしてもよい。本開示は、誤警告フィードバック情報の具体的なトリガー方法について制限しない。 In an embodiment of the present disclosure, the electronic device can receive false warning feedback information, and the false warning feedback information can indicate the occurrence of a false warning based on a first behavior detection result of the driver. While the driver is driving the vehicle, first video data collected for the driver is acquired, and the driving behavior of the driver can be detected based on the first video data to obtain a first behavior detection result. The first behavior detection result may include information such as a behavior type of the driving behavior, a behavior parameter, and whether or not it corresponds to a dangerous driving behavior. The dangerous driving behavior may be a behavior that affects safe driving performed by the driver while driving, and for example, yawning behavior, closing eyes behavior, etc. may be determined to correspond to dangerous driving behavior. If the first behavior detection result is a dangerous driving behavior, a warning can be issued. If the warning is a false warning, that is, if there is an error in the warning, the user (e.g., the driver) can feed back the false warning to the electronic device by performing a preset operation. For example, the false warning can be fed back to the electronic device by a predetermined operation of pressing a false warning button. In some embodiments, a user (e.g., a driver) may provide feedback of the false warning to the electronic device by a preset voice, a preset gesture, or the like. This disclosure does not limit the specific method of triggering the false warning feedback information.

いくつかの実施形態では、誤警告フィードバック情報を受信した後に、さらに誤警告のタイプを識別してもよい。例えば、誤警告フィードバック情報は、誤警告のタイプを識別する情報を持ってもよい。誤警告フィードバック情報に基づいて誤警告のタイプを識別することができる。誤警告のタイプは、警告内容の誤りや警告時間の誤り等の具体的状況に応じて予め定義することができる。選択可能な形態として、ここで、誤警告のタイプは、第1危険運転挙動を、挙動種類がこの第1危険運転挙動と異なる第2危険運転挙動と誤警告するタイプ、危険運転挙動が発生しない場合、警告を発するタイプの少なくとも1つを含んでもよい。例を挙げると、目閉じの挙動(第1危険運転挙動)をあくびの挙動(第2危険運転挙動)と誤警告する。又は、運転者の正常運転の場合に警告を発する(つまり、危険運転挙動が発生しない場合に警告を発する)。危険運転挙動は、目閉じの挙動、あくびの挙動、喫煙の挙動、水飲みの挙動、電話掛けの挙動のうちの1つ又は複数を含むが、これらに限らない。誤警告のタイプを識別することにより、誤警告のタイプをさらに分析し、運転者挙動検知の警告機能の完備に有効な情報を提供することができる。 In some embodiments, after receiving the false warning feedback information, the type of false warning may be further identified. For example, the false warning feedback information may have information for identifying the type of false warning. The type of false warning can be identified based on the false warning feedback information. The type of false warning can be predefined according to a specific situation, such as an error in the warning content or an error in the warning time. As a selectable form, the type of false warning may include at least one of a type of falsely warning the first dangerous driving behavior as a second dangerous driving behavior whose behavior type is different from the first dangerous driving behavior, and a type of issuing a warning when the dangerous driving behavior does not occur. For example, a behavior of closing the eyes (first dangerous driving behavior) is falsely warned as a behavior of yawning (second dangerous driving behavior). Or, a warning is issued in the case of normal driving of the driver (i.e., a warning is issued when the dangerous driving behavior does not occur). The dangerous driving behavior includes, but is not limited to, one or more of a behavior of closing the eyes, a behavior of yawning, a behavior of smoking, a behavior of drinking water, and a behavior of making a phone call. By identifying the type of false warning, it is possible to further analyze the type of false warning and provide useful information for improving the warning function of driver behavior detection.

ステップS12において、前記運転者の第1挙動検知結果を取得する。 In step S12, the first behavior detection result of the driver is obtained.

本開示の実施例では、誤警告フィードバック情報を受信した後に、運転者の第1挙動検知結果を取得することができる。例えば、誤警告フィードバック情報の受信時間に基づいて、発生した誤警告を特定してもよい。例えば、誤警告フィードバック情報の受信時間よりも前に発した最新の警告を、発生した誤警告として特定してもよい。その後、誤警告に基づいて、該誤警告をトリガーした運転者の第1挙動検知結果を取得してもよい。該第1挙動検知結果は、誤警告を発する前の運転者のビデオデータに基づいて挙動検知を行って得られたものであってもよい。いくつかの実施形態では、危険運転挙動の警告は、危険運転挙動の挙動検知結果を持ってもよい。これに対応して、誤警告フィードバック情報をトリガーした誤警告を特定した後に、誤警告フィードバック情報から、運転者の第1挙動検知結果を抽出してもよい。いくつかの実施形態では、運転者の危険運転挙動があることを検知した後に、運転者の挙動検知結果及び警告を記録してもよい。これに対応して、誤警告フィードバック情報をトリガーした誤警告を特定した後に、記憶された記録から、該誤警告とともに記録された第1挙動検知結果を取得してもよい。 In an embodiment of the present disclosure, after receiving the false warning feedback information, a first behavior detection result of the driver may be obtained. For example, the false warning that occurred may be identified based on a time of receiving the false warning feedback information. For example, the most recent warning issued before the time of receiving the false warning feedback information may be identified as the false warning that occurred. Then, based on the false warning, a first behavior detection result of the driver that triggered the false warning may be obtained. The first behavior detection result may be obtained by performing behavior detection based on video data of the driver before issuing the false warning. In some embodiments, the warning of the dangerous driving behavior may have a behavior detection result of the dangerous driving behavior. Correspondingly, after identifying the false warning that triggered the false warning feedback information, a first behavior detection result of the driver may be extracted from the false warning feedback information. In some embodiments, after detecting that the driver has a dangerous driving behavior, a behavior detection result and a warning of the driver may be recorded. Correspondingly, after identifying the false warning that triggered the false warning feedback information, a first behavior detection result recorded together with the false warning may be obtained from the stored record.

ステップS13において、前記誤警告フィードバック情報に基づいて、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整する。 In step S13, the warning parameter threshold corresponding to the driver's first behavior detection result is adjusted based on the false warning feedback information.

本開示の実施例では、危険運転挙動は、1つ又は複数の警告パラメータ閾値に対応することができる。運転者のある運転挙動の挙動パラメータが、対応する警告パラメータ閾値に達したことを検知した場合、運転者の運転挙動が危険運転挙動であると判断できるので、警告を発する。挙動パラメータは、運転挙動を表すパラメータであってもよい。例えば、あくびの挙動の挙動パラメータは、口開き幅及びあくび継続時間のうちの少なくとも1つを含んでもよく、目閉じの挙動の挙動パラメータは、目閉じ幅及び目閉じ継続時間のうちの少なくとも1つを含んでもよく、頭振りの挙動の挙動パラメータは、頭姿勢振り角度を含んでもよい。ここで、誤警告フィードバック情報は、運転者の第1挙動検知結果に基づく誤警告の発生を示すため、第1挙動検知結果に対応する警告パラメータ閾値の設定が十分に合理ではないと判断できるので、第1挙動検知結果に対応する警告パラメータ閾値を調整することができる。例えば、第1挙動検知結果に対応する警告パラメータ閾値を増減させる。
ここで、口開き幅は、口の高さと幅の比の値であってもよい。あくび継続時間は、口開き幅が口開き幅閾値に達している継続時間であってもよい。目閉じ幅は、目の高さと幅の比の値であってもよい。目閉じ継続時間は、1つの統計周期における目閉じ幅が目閉じ幅閾値よりも小さい積算継続時間であってもよい。頭姿勢振り角度は、ヨー(yaw)角、ピッチ(pitch)角及びロール(roll)角のうちの少なくとも1つを含んでもよい。
In the embodiment of the present disclosure, the risky driving behavior may correspond to one or more warning parameter thresholds. When it is detected that a behavior parameter of a certain driving behavior of the driver has reached the corresponding warning parameter threshold, the driving behavior of the driver can be determined to be a risky driving behavior, and a warning is issued. The behavior parameter may be a parameter representing the driving behavior. For example, the behavior parameter of the yawning behavior may include at least one of a mouth opening width and a yawning duration, the behavior parameter of the eye closing behavior may include at least one of an eye closing width and an eye closing duration, and the behavior parameter of the head shaking behavior may include a head posture shaking angle. Here, since the false warning feedback information indicates the occurrence of a false warning based on the first behavior detection result of the driver, it can be determined that the setting of the warning parameter threshold corresponding to the first behavior detection result is not sufficiently reasonable, and therefore the warning parameter threshold corresponding to the first behavior detection result can be adjusted. For example, the warning parameter threshold corresponding to the first behavior detection result is increased or decreased.
Here, the mouth opening width may be a value of the ratio of the mouth height to the width. The yawning duration may be a duration during which the mouth opening width reaches a mouth opening width threshold. The eye closing width may be a value of the ratio of the eye height to the width. The eye closing duration may be an integrated duration during which the eye closing width in one statistical period is smaller than the eye closing width threshold. The head pose swing angle may include at least one of a yaw angle, a pitch angle, and a roll angle.

いくつかの実施形態では、誤警告フィードバック情報に応じて、ユーザに運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整するよう促す第1注意喚起情報を発する。第1注意喚起情報の出力形態は、音声による注意喚起、画面出力等の複数の形態を含んでもよい。例えば、誤警告フィードバック情報に応じて、電子機器は、音声による注意喚起の形で第1挙動検知結果に対応する警告パラメータ閾値を調整するよう注意喚起してもよく、又は、電子機器は、画面に第1注意喚起情報をポップアップしてよいし、画面に警告パラメータ閾値の設定ページを直接表示してもよい。ユーザは、第1注意喚起情報に応じて、第1挙動検知結果に対応する警告パラメータ閾値を調整してもよい。例えば、電子機器に警告パラメータ閾値調整指令を音声によって発してもよいし、画面の設定ページにおいて第1挙動検知結果に対応する警告パラメータ閾値を手動で修正することにより、電子機器に警告パラメータ閾値調整指令を発してもよい。電子機器は、ユーザから第1注意喚起情報に基づいて送信された警告パラメータ閾値調整指令を受信したことに応じて、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整する。このようにすると、ユーザのニーズに応じて、第1挙動検知結果に対応する警告パラメータ閾値を調整し、警告パラメータ閾値を柔軟に設定するというユーザのニーズを満たすことができる。ここで、ユーザと運転者が同じであるようにしてもよい。これによって、誤警告が発生した場合、運転者は、警告パラメータ閾値をタイムリーに調整することができる。いくつかの実施形態では、ユーザと運転者が異なってもよい。例えば、ユーザは、警告パラメータ閾値を調整する権利を持つものであってもよい。これによって、運転者は、警告パラメータ閾値を自ら修正することなく、警告パラメータ閾値のタイムリーな調整を実現し、運転の安定性を向上させることができる。 In some embodiments, in response to the false warning feedback information, a first attention-calling information is issued to prompt the user to adjust the warning parameter threshold corresponding to the first behavior detection result of the driver. The output form of the first attention-calling information may include a plurality of forms such as a voice attention-calling, a screen output, etc. For example, in response to the false warning feedback information, the electronic device may call the user to adjust the warning parameter threshold corresponding to the first behavior detection result in the form of a voice attention-calling, or the electronic device may pop up the first attention-calling information on the screen, or may directly display a setting page for the warning parameter threshold on the screen. The user may adjust the warning parameter threshold corresponding to the first behavior detection result in response to the first attention-calling information. For example, the user may issue a warning parameter threshold adjustment command to the electronic device by voice, or may issue a warning parameter threshold adjustment command to the electronic device by manually correcting the warning parameter threshold corresponding to the first behavior detection result on the setting page of the screen. The electronic device adjusts the warning parameter threshold corresponding to the first behavior detection result of the driver in response to receiving the warning parameter threshold adjustment command transmitted from the user based on the first attention-calling information. In this way, the warning parameter threshold corresponding to the first behavior detection result can be adjusted according to the user's needs, and the user's needs for flexible setting of the warning parameter threshold can be met. Here, the user and the driver may be the same person. In this way, when a false warning occurs, the driver can adjust the warning parameter threshold in a timely manner. In some embodiments, the user and the driver may be different people. For example, the user may have the right to adjust the warning parameter threshold. In this way, the driver can realize timely adjustment of the warning parameter threshold without modifying the warning parameter threshold by himself, and can improve the stability of driving.

いくつかの実施形態では、さらに運転者の第1挙動検知結果に対応する挙動種類を特定してもよい。運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整する場合、運転者の第1挙動検知結果に対応する挙動種類の警告パラメータ閾値を調整してもよい。 In some embodiments, a behavior type corresponding to the driver's first behavior detection result may be further identified. When adjusting the warning parameter threshold corresponding to the driver's first behavior detection result, the warning parameter threshold of the behavior type corresponding to the driver's first behavior detection result may be adjusted.

本開示の実施例では、運転者の運転挙動は、複数の挙動種類を含んでもよい。電子機器は、所定種類の運転挙動に対して警告してもよい。所定種類の運転挙動は、危険運転挙動であってもよい。ここで、運転挙動の挙動種類によって、対応する警告パラータ閾値が異なるようにしてもよい。これによって、上記の誤警告フィードバック情報を受信した場合、まず、運転者の第1挙動検知結果に対応する挙動種類を特定し、次に、運転者の第1検知結果に対応する挙動種類の警告パラメータ閾値を調整してもよい。このように、警告パラメータ閾値の自動的な調整を実現できるとともに、特定の挙動種類の警告パラメータ閾値に対してピンポイントな調整を行うことができるので、警告パラメータ閾値の調整の精度が向上する。 In an embodiment of the present disclosure, the driving behavior of the driver may include a plurality of behavior types. The electronic device may issue a warning for a predetermined type of driving behavior. The predetermined type of driving behavior may be dangerous driving behavior. Here, the corresponding warning parameter threshold may be different depending on the behavior type of the driving behavior. In this way, when the above-mentioned false warning feedback information is received, first, the behavior type corresponding to the first behavior detection result of the driver may be identified, and then the warning parameter threshold of the behavior type corresponding to the first detection result of the driver may be adjusted. In this way, automatic adjustment of the warning parameter threshold can be realized, and pinpoint adjustment can be made to the warning parameter threshold of a specific behavior type, thereby improving the accuracy of the adjustment of the warning parameter threshold.

一例では、所定種類の運転挙動は、あくびの挙動と、目閉じの挙動と、頭振りの挙動との少なくとも1つを含む。ここで、あくびの挙動に対応する警告パラメータ閾値は、口開き幅閾値及びあくび継続時間閾値のうちの少なくとも1つを含む。目閉じの挙動に対応する警告パラメータ閾値は、目閉じ幅及び目閉じ継続時間閾値のうちの少なくとも1つを含む。頭振りの挙動に対応する警告パラメータ閾値は、頭姿勢振り角度閾値を含む。 In one example, the predetermined type of driving behavior includes at least one of a yawning behavior, an eye closing behavior, and a head shaking behavior. Here, the warning parameter threshold corresponding to the yawning behavior includes at least one of a mouth opening width threshold and a yawn duration threshold. The warning parameter threshold corresponding to the eye closing behavior includes at least one of an eye closing width and an eye closing duration threshold. The warning parameter threshold corresponding to the head shaking behavior includes a head posture shaking angle threshold.

いくつかの実施形態では、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整するとき、運転者の第1挙動検知結果に対応する警告パラメータ閾値を所定の調整ステップ幅で増減させてもよい。
ここで、所定の調整ステップ幅は、実際の応用場面に応じて設定できるので、本開示はこれについて制限しない。いくつかの実施形態では、挙動種類毎の警告パラメータ閾値について、それぞれ対応する調整ステップ幅を設定することができる。例えば、第1挙動検知結果があくびの挙動を含み、警告パラメータ閾値が口開き幅閾値である場合、口開き幅閾値の調整ステップ幅は、0.1、0.2等の数値に設定されてもよい。警告パラメータ閾値があくび継続時間閾値である場合、あくび継続時間閾値の調整ステップ幅は、0.5s、1s等の数値に設定されてもよい。運転者の第1挙動検知結果に対応する警告パラメータ閾値を所定の調整ステップ幅で増減させることにより、調整後の警告パラメータ閾値が過大又は過小になることなく、警告パラメータ閾値の調整幅を合理な範囲内とし、的確な調整を実現することができる。
In some embodiments, when adjusting the warning parameter threshold corresponding to the driver's first behavior detection result, the warning parameter threshold corresponding to the driver's first behavior detection result may be increased or decreased by a predetermined adjustment step width.
Here, the predetermined adjustment step width can be set according to the actual application scene, so the present disclosure does not limit this. In some embodiments, a corresponding adjustment step width can be set for the warning parameter threshold for each behavior type. For example, when the first behavior detection result includes a yawning behavior and the warning parameter threshold is a mouth opening width threshold, the adjustment step width of the mouth opening width threshold may be set to a value of 0.1, 0.2, etc. When the warning parameter threshold is a yawning duration threshold, the adjustment step width of the yawning duration threshold may be set to a value of 0.5s, 1s, etc. By increasing or decreasing the warning parameter threshold corresponding to the driver's first behavior detection result by a predetermined adjustment step width, the warning parameter threshold after adjustment does not become too large or too small, and the adjustment width of the warning parameter threshold can be set within a reasonable range, thereby realizing accurate adjustment.

本開示の実施例は、運転挙動についての誤警告が発生した場合に、運転挙動に対応する警告パラメータ閾値を調整することにより、誤警告の発生を低減することができる。いくつかの実施形態では、誤警告フィードバック情報を受信した後に、さらに誤警告をトリガーした第1ビデオデータを取得してもよい。例えば、誤警告の警告時間に基づいて、誤警告の警告時間を含む所定期間内のビデオデータを第1ビデオデータとして切り出してもよい。例えば、警告時間前後10sのビデオデータを切り出して、運転者の所定挙動のビデオデータを含む第1ビデオデータとする。その後、第1ビデオデータを誤警告ビデオライブラリーに記憶する。又は、前記誤警告フィードバック情報が受信される前の所定期間内の前記第1ビデオデータを取得してもよい。さらに又は、ユーザによって前記誤警告フィードバック情報を発する前に送信された前記第1ビデオデータを取得してもよい。例えば、実際の場面において、ユーザは、警告をトリガーした録画情報を再生するときに、録画のうちの1つのビデオクリップを選択して誤警告をトリガーした第1ビデオデータとしてアップロードする。ユーザが選択されアップロードされたデータを取得することにより、誤警告の発生時の運転者のビデオデータをより的確に特定することができる。このように、誤警告をトリガーした第1ビデオデータを記憶し、今後の誤警告の分析や警告結果の再チェックに使用することができる。ここで、誤警告ビデオライブラリーは、ローカルの記憶装置にあってもよい。いくつかの実施形態では、誤警告ビデオライブラリーは、クラウドサーバーにあってよく、本開示はこれについて制限しない。所定挙動は、運転者が行う任意の挙動であってもよい。 In the embodiment of the present disclosure, when a false warning about a driving behavior occurs, the occurrence of a false warning can be reduced by adjusting the warning parameter threshold corresponding to the driving behavior. In some embodiments, after receiving the false warning feedback information, the first video data that triggered the false warning may be further acquired. For example, based on the false warning warning time, video data within a predetermined period including the false warning warning time may be cut out as the first video data. For example, video data 10 s before and after the warning time is cut out to be the first video data including video data of the driver's predetermined behavior. The first video data is then stored in the false warning video library. Alternatively, the first video data within a predetermined period before the false warning feedback information is received may be acquired. Furthermore, the first video data transmitted by the user before issuing the false warning feedback information may be acquired. For example, in an actual scene, when playing back the recording information that triggered the warning, the user selects one video clip from the recording and uploads it as the first video data that triggered the false warning. By acquiring the data selected and uploaded by the user, the video data of the driver at the time of the occurrence of the false warning can be more accurately identified. In this manner, the first video data that triggered the false alarm can be stored and used for future analysis of the false alarm or recheck of the alarm result. Here, the false alarm video library may be in a local storage device. In some embodiments, the false alarm video library may be in a cloud server, and the present disclosure is not limited in this respect. The predetermined behavior may be any behavior performed by the driver.

いくつかの実施形態では、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整した後、第2ビデオデータを取得してもよい。第2ビデオデータは、運転者の上記所定挙動のビデオデータを含んでもよい。つまり、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整した後、運転者が、前記所定挙動を繰り返して行い、電子機器が、運転者によって上記所定挙動を繰り返して行った第2ビデオデータを取得するようにしてもよい。該第2ビデオデータ及び調整後の警告パラメータ閾値に基づいて、運転挙動を検知して第2挙動検知結果を得ることができる。第2挙動検知結果は、運転挙動の挙動種類、挙動パラメータ、危険運転挙動に該当するかどうか等の情報を含んでもよい。第2挙動検知結果として危険運転挙動である場合、警告を発することができる。第2挙動検知結果に対する誤警告フィードバック情報を受信した場合には、運転者が上記所定挙動を再度行った場合、発する警告が依然として誤警告であると考えられるので、運転者が同一の所定挙動を再度行うときに誤警告を発しなくなるまで、第2挙動検知結果に対応する警告パラメータ閾値をさらに調整することができる。このように、警告パラメータ閾値を連続的に調整してユーザのニーズを満たすことができる。 In some embodiments, the second video data may be acquired after adjusting the warning parameter threshold corresponding to the first behavior detection result of the driver. The second video data may include video data of the predetermined behavior of the driver. That is, after adjusting the warning parameter threshold corresponding to the first behavior detection result of the driver, the driver may repeatedly perform the predetermined behavior, and the electronic device may acquire second video data of the predetermined behavior repeatedly performed by the driver. Based on the second video data and the adjusted warning parameter threshold, the driving behavior may be detected to obtain a second behavior detection result. The second behavior detection result may include information such as the behavior type of the driving behavior, behavior parameters, and whether or not it corresponds to a dangerous driving behavior. If the second behavior detection result is a dangerous driving behavior, a warning may be issued. When false warning feedback information for the second behavior detection result is received, if the driver performs the predetermined behavior again, the issued warning is still considered to be a false warning, so the warning parameter threshold corresponding to the second behavior detection result may be further adjusted until a false warning is not issued when the driver performs the same predetermined behavior again. In this way, the warning parameter threshold can be continuously adjusted to meet the needs of the user.

上記ステップS11において、誤警告フィードバック情報を受信することができる。いくつかの実施形態では、誤警告フィードバック情報を受信した後に、少なくとも1つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取ってもよい。例えば、ローカルの記憶装置において、少なくとも1つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取ってもよい。少なくとも1つの所定種類の運転挙動に対応する警告パラメータ閾値は、前回調整した後にローカル記憶装置に記憶されたものであってもよい。又は、クラウドサーバーから送信された閾値設定情報から、少なくとも1つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取ってもよい。電子機器は、運転者の顔部に対して収集した顔画像をクラウドサーバーにアップロードする。クラウドサーバーは、運転者の顔画像を識別し、識別結果に基づいて、記憶されている該運転者の少なくとも1つの所定種類の運転挙動に対応する警告パラメータ閾値を検索し、その後、少なくとも1つの所定種類の運転挙動に対応する警告パラメータ閾値を閾値設定情報に持たせて電子機器に送信するようにしてもよい。 In the above step S11, the false warning feedback information may be received. In some embodiments, after receiving the false warning feedback information, the warning parameter threshold corresponding to at least one predetermined type of driving behavior may be read. For example, the warning parameter threshold corresponding to at least one predetermined type of driving behavior may be read in a local storage device. The warning parameter threshold corresponding to at least one predetermined type of driving behavior may be stored in the local storage device after the previous adjustment. Alternatively, the warning parameter threshold corresponding to at least one predetermined type of driving behavior may be read from the threshold setting information transmitted from the cloud server. The electronic device uploads the facial image collected for the driver's face to the cloud server. The cloud server may identify the driver's facial image, and based on the identification result, search for the stored warning parameter threshold corresponding to at least one predetermined type of driving behavior of the driver, and then transmit the warning parameter threshold corresponding to at least one predetermined type of driving behavior to the electronic device by including it in the threshold setting information.

さらに、運転者の第1挙動検知結果を取得するとき、まず、運転者の運転挙動が属する所定種類である対象所定種類を特定し、その後、対象所定種類の運転挙動に対応する警告パラメータ閾値に基づいて運転者の第1挙動検知結果を特定してもよい。例えば、運転挙動の識別アルゴリズムや訓練済みの運転者挙動検知ニューラルネットワーク等を利用して、第1ビデオデータに基づいて運転者の運転挙動を検知し、運転者の運転挙動が属する所定種類である対象所定種類を特定し、その後、運転者の運転挙動の挙動パラメータと、対象所定種類の運転挙動に対応する警告パラメータ閾値とを照らし合わせることによって、運転者の運転挙動が危険運転挙動であるかを判断して、第1挙動検知結果を得ることができる。このように、誤警告フィードバック情報を受信した場合、以前の調整済みの少なくとも1つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取り、警告パラメータ閾値のパーソナル設定を実現することができる。 Furthermore, when obtaining the first behavior detection result of the driver, first, a target predetermined type, which is a predetermined type to which the driving behavior of the driver belongs, may be identified, and then the first behavior detection result of the driver may be identified based on a warning parameter threshold corresponding to the driving behavior of the target predetermined type. For example, the driving behavior of the driver may be detected based on the first video data using a driving behavior identification algorithm or a trained driver behavior detection neural network, etc., and a target predetermined type, which is a predetermined type to which the driving behavior of the driver belongs, may be identified, and then, by comparing the behavior parameters of the driver's driving behavior with the warning parameter threshold corresponding to the driving behavior of the target predetermined type, it is possible to determine whether the driving behavior of the driver is a dangerous driving behavior and obtain the first behavior detection result. In this way, when false warning feedback information is received, the warning parameter threshold corresponding to at least one previously adjusted predetermined type of driving behavior may be read, and personalized setting of the warning parameter threshold may be realized.

いくつかの実施形態では、対象所定種類の運転挙動に対応する警告パラメータ閾値をさらに調整し、その後、対象所定種類の運転挙動に対応する調整後の警告パラメータ閾値を記憶してもよい。例えば、対象所定種類の運転挙動に対応する調整後の警告パラメータ閾値をローカルの記憶装置に記憶するか、又は、対象所定種類の運転挙動に対応する調整後の警告パラメータ閾値をクラウドサーバーにアップロードすることによって、今後の対象所定種類の運転挙動の誤警告の再発生時に、記憶されている該警告パラメータ閾値を呼び出し、誤警告の再発生を低減することができる。 In some embodiments, the warning parameter threshold corresponding to the target predetermined type of driving behavior may be further adjusted, and then the adjusted warning parameter threshold corresponding to the target predetermined type of driving behavior may be stored. For example, the adjusted warning parameter threshold corresponding to the target predetermined type of driving behavior may be stored in a local storage device, or the adjusted warning parameter threshold corresponding to the target predetermined type of driving behavior may be uploaded to a cloud server, so that the stored warning parameter threshold can be recalled when a false warning for the target predetermined type of driving behavior reoccurs in the future, thereby reducing the reoccurrence of false warnings.

本開示の実施例に係る技術は、警告パラメータ閾値調整メカニズムにより誤警告の発生時に警告パラメータ閾値の修正及び記録を行い、誤警告の発生を低減することができる。これと同時に、誤警告をトリガーしたビデオデータを記憶し、今後のさらなる好適化が容易になり、開発者による訓練データの収集時間、コスト及び手間を削減することができる。 The technology according to the embodiment of the present disclosure uses a warning parameter threshold adjustment mechanism to modify and record warning parameter thresholds when false warnings occur, reducing the occurrence of false warnings. At the same time, the video data that triggered the false warning is stored, facilitating further optimization in the future and reducing the time, cost, and effort required for developers to collect training data.

以下、本開示の実施例に係る運転者挙動検知の警告閾値調整技術を一例で説明する。図2は、本開示の実施例に係る運転者挙動検知の警告閾値調整方法の一例のフローチャートを示す。 Below, an example of a driver behavior detection warning threshold adjustment technique according to an embodiment of the present disclosure will be described. FIG. 2 shows a flowchart of an example of a driver behavior detection warning threshold adjustment method according to an embodiment of the present disclosure.

S21において、運転者が大笑っている第1ビデオデータを取得する。
ここで、DMSカメラは、Aピラー、インストルメントパネル、センターコンソールなど、車両の1つまたは複数の領域に設置することができるので、カメラがハンドル等の障害物による遮断や反射光などによって影響されることなく、運転者の顔情報及び運転挙動を正確に識別できるように確保することができる。
In S21, first video data showing the driver laughing loudly is acquired.
Here, the DMS camera can be installed in one or more areas of the vehicle, such as the A-pillar, instrument panel, center console, etc., ensuring that the camera can accurately identify the driver's facial information and driving behavior without being blocked by obstacles such as the steering wheel or affected by reflected light.

S22において、第1ビデオデータに対して運転挙動を検知して、運転者の第1挙動検知結果を得、第1挙動検知結果としてあくびの危険運転挙動であるので、警告を発する。 In S22, the driving behavior is detected from the first video data to obtain a first behavior detection result of the driver, and since the first behavior detection result is the dangerous driving behavior of yawning, a warning is issued.

S23において、第1挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信する。 In S23, false warning feedback information is received indicating the occurrence of a false warning based on the first behavior detection result.

S24において、第1ビデオデータを誤警告ビデオライブラリーに記憶する。 At S24, the first video data is stored in a false alarm video library.

S25において、誤警告フィードバック情報に応じて、あくびの挙動に対応する警告パラメータ閾値を調整する。 In S25, the warning parameter threshold corresponding to the yawning behavior is adjusted according to the false warning feedback information.

S26において、運転者が大笑っている第2ビデオデータを取得する。 In S26, second video data is acquired showing the driver laughing out loud.

S27において、第2ビデオデータに対する第2挙動検知結果に基づく誤警告が発生するかどうかを判断する。第2ビデオデータに対する第2挙動検知結果に基づく誤警告が発生した場合、S25に戻すが、そうでないと、S28を実行する。 In S27, it is determined whether a false warning occurs based on the second behavior detection result for the second video data. If a false warning occurs based on the second behavior detection result for the second video data, the process returns to S25, but if not, S28 is executed.

S28において、あくびの挙動に対応する調整済みの警告パラメータ閾値を記録して記憶する。 At S28, the adjusted warning parameter threshold corresponding to the yawning behavior is recorded and stored.

また、上記例示的なフローチャートでは、警告パラメータ閾値を毎回調整した後に、調整後の警告パラメータ閾値をキャッシュに記憶し、調整後の警告パラメータ閾値に基づいて依然として同一の誤警告が発生すると、調整後の警告パラメータ閾値をさらに調整することができることを理解すべきである。同一の種類の運転者挙動について警告が発しなくなるまで上述した警告パラメータ閾値の調整を繰り返した、調整後の警告パラメータ閾値をメモリに長期記憶する。 It should also be understood that in the above exemplary flowchart, after each adjustment of the warning parameter threshold, the adjusted warning parameter threshold is stored in a cache, and if the same false warning still occurs based on the adjusted warning parameter threshold, the adjusted warning parameter threshold can be further adjusted. The above-mentioned adjustment of the warning parameter threshold is repeated until no warning is issued for the same type of driver behavior, and the adjusted warning parameter threshold is stored in memory for a long term.

本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。当業者であれば、具体的な実施形態に係る上記の方法では、各ステップの実行順序がその機能と内部の論理によって具体的に決定されることが理解すべきである。 It should be understood that the above method embodiments mentioned in this disclosure can be combined with each other to form embodiments as long as the principles and logic are not violated. Due to space limitations, detailed descriptions are omitted in this disclosure. Those skilled in the art should understand that in the above method according to the specific embodiment, the execution order of each step is specifically determined by its function and internal logic.

なお、本開示では、運転者挙動検知の警告閾値調整装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムがさらに提供される。これらはいずれも本開示に係る運転者挙動検知の警告閾値調整方法のいずれか1つを実現するために利用できる。対応する技術的手段と説明は、方法の対応する記載を参照すればよく、詳細な説明を省略する。 The present disclosure further provides a driver behavior detection warning threshold adjustment device, electronic device, computer-readable storage medium, and program. Any of these can be used to realize any one of the driver behavior detection warning threshold adjustment methods according to the present disclosure. For the corresponding technical means and explanations, refer to the corresponding description of the method, and detailed explanations will be omitted.

図3は、本開示の実施例に係る運転者挙動検知の警告閾値調整装置のブロック図を示す。図3に示すように、前記装置は、
運転者の第1挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信する受信モジュール31と、
前記運転者の第1挙動検知結果を取得する取得モジュール32と、
前記誤警告フィードバック情報に基づいて、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整する調整モジュール33と、を備える。
3 shows a block diagram of a warning threshold adjustment device for driver behavior detection according to an embodiment of the present disclosure. As shown in FIG. 3, the device includes:
a receiving module 31 for receiving false warning feedback information indicating the occurrence of a false warning based on a first behavior detection result of a driver;
an acquisition module 32 for acquiring a first behavior detection result of the driver;
and an adjustment module 33 for adjusting a warning parameter threshold corresponding to a first behavior detection result of the driver based on the false warning feedback information.

いくつかの実施形態では、前記調整モジュール33は、前記誤警告フィードバック情報に応じて、ユーザに前記運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整するよう促す第1注意喚起情報を発し、ユーザから前記第1注意喚起情報に応じて送信された警告パラメータ閾値調整指令を受信したことに応じて、前記運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整する。 In some embodiments, the adjustment module 33 issues first warning information prompting a user to adjust a warning parameter threshold corresponding to the first behavior detection result of the driver in response to the false warning feedback information, and adjusts the warning parameter threshold corresponding to the first behavior detection result of the driver in response to receiving a warning parameter threshold adjustment command transmitted from the user in response to the first warning information.

いくつかの実施形態では、前記装置は、前記運転者の第1挙動検知結果に対応する挙動種類を特定する特定モジュールをさらに備え、前記調整モジュールは、運転者の第1挙動検知結果に対応する挙動種類の警告パラメータ閾値を調整する。 In some embodiments, the device further includes an identification module that identifies a behavior type corresponding to the first behavior detection result of the driver, and the adjustment module adjusts the warning parameter threshold of the behavior type corresponding to the first behavior detection result of the driver.

いくつかの実施形態では、前記調整モジュール33は、運転者の第1挙動検知結果に対応する警告パラメータ閾値を所定の調整ステップ幅で増減させる。 In some embodiments, the adjustment module 33 increases or decreases the warning parameter threshold corresponding to the driver's first behavior detection result by a predetermined adjustment step size.

いくつかの実施形態では、前記装置は、前記誤警告のタイプを識別する識別モジュールをさらに備え、前記誤警告のタイプは、第1危険運転挙動を、挙動種類が前記第1危険運転挙動と異なる第2危険運転挙動と誤警告するタイプ、前記危険運転挙動が発生しない場合、警告を発するタイプの少なくとも1つを含む。 In some embodiments, the device further includes an identification module that identifies the type of the false alarm, and the type of the false alarm includes at least one of a type that falsely indicates a first risky driving behavior as a second risky driving behavior having a behavior type different from the first risky driving behavior, and a type that issues a warning when the risky driving behavior does not occur.

いくつかの実施形態では、運転者の所定挙動のビデオデータを含むものであって、前記誤警告をトリガーした第1ビデオデータを取得し、前記第1ビデオデータを誤警告ビデオライブラリーに記憶する記憶モジュールをさらに備える。 In some embodiments, the system further includes a storage module that obtains first video data that triggers the false warning, the first video data including video data of a predetermined driver behavior, and stores the first video data in a false warning video library.

いくつかの実施形態では、記憶モジュールは、前記誤警告フィードバック情報が受信される前の所定期間内の前記第1ビデオデータを取得すること、又は、ユーザによって前記誤警告フィードバック情報を発する前に送信された前記第1ビデオデータを取得する。 In some embodiments, the storage module obtains the first video data within a predetermined period of time before the false alarm feedback information is received, or obtains the first video data transmitted by a user prior to issuing the false alarm feedback information.

いくつかの実施形態では、前記調整モジュール33は、さらに、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整した後、運転者の前記所定挙動のビデオデータを含む第2ビデオデータを取得し、前記第2ビデオデータ及び調整後の前記警告パラメータ閾値に基づいて、運転挙動を検知して第2挙動検知結果を得、前記第2挙動検知結果に関する誤警告フィードバック情報を受信した場合、前記第2挙動検知結果に対応する警告パラメータ閾値を調整する。 In some embodiments, the adjustment module 33 further adjusts the warning parameter threshold corresponding to the first behavior detection result of the driver, acquires second video data including video data of the specified behavior of the driver, detects the driving behavior based on the second video data and the adjusted warning parameter threshold to obtain a second behavior detection result, and adjusts the warning parameter threshold corresponding to the second behavior detection result when false warning feedback information regarding the second behavior detection result is received.

いくつかの実施形態では、少なくとも1つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取る読み取りモジュールをさらに備え、前記取得モジュール32は、前記運転者の運転挙動が属する所定種類である対象所定種類を特定し、前記対象所定種類の運転挙動に対応する警告パラメータ閾値に基づいて、前記運転者の第1挙動検知結果を特定する。 In some embodiments, the system further includes a reading module that reads a warning parameter threshold value corresponding to at least one predetermined type of driving behavior, and the acquisition module 32 identifies a target predetermined type to which the driving behavior of the driver belongs, and identifies a first behavior detection result of the driver based on the warning parameter threshold value corresponding to the driving behavior of the target predetermined type.

いくつかの実施形態では、前記調整モジュール33は、前記対象所定種類の運転挙動に対応する警告パラメータ閾値を調整し、前記装置は、前記対象所定種類の運転挙動に対応する調整後の警告パラメータ閾値を記憶する記憶モジュールをさらに備える。 In some embodiments, the adjustment module 33 adjusts the warning parameter threshold corresponding to the target predetermined type of driving behavior, and the device further includes a storage module that stores the adjusted warning parameter threshold corresponding to the target predetermined type of driving behavior.

いくつかの実施形態では、前記所定種類の運転挙動は、あくびの挙動と、目閉じの挙動と、頭振りの挙動との少なくとも1つを含み、前記あくびの挙動に対応する警告パラメータ閾値は、口開き幅閾値と、あくび継続時間閾値との少なくとも1つを含み、前記目閉じの挙動に対応する警告パラメータ閾値は、目閉じ幅閾値と、目閉じ継続時間閾値との少なくとも1つを含み、前記頭振りの挙動に対応する警告パラメータ閾値は、頭姿勢振り角度閾値を含む。 In some embodiments, the predetermined type of driving behavior includes at least one of a yawning behavior, an eye closing behavior, and a head shaking behavior, the warning parameter threshold corresponding to the yawning behavior includes at least one of a mouth opening width threshold and a yawn duration threshold, the warning parameter threshold corresponding to the eye closing behavior includes at least one of an eye closing width threshold and an eye closing duration threshold, and the warning parameter threshold corresponding to the head shaking behavior includes a head posture shaking angle threshold.

いくつかの実施例では、本開示の実施例に係る装置が備える機能又はモジュールは、上記方法の実施例に説明される方法を実行するために利用でき、その具体的な実現について、上記方法の実施例の説明を参照すればよく、簡潔化のために、ここで詳細な説明を省略する。 In some embodiments, the functions or modules of the apparatus according to the embodiments of the present disclosure can be utilized to perform the methods described in the above method embodiments, and for specific implementations thereof, reference may be made to the description of the above method embodiments, and detailed description thereof will be omitted here for brevity.

本開示の実施例では、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上記の方法を実現するコンピュータ読み取り可能な記憶媒体がさらに提供される。コンピュータ読み取り可能な記憶媒体は、不揮発性のコンピュータ読み取り可能な記憶媒体であってもよい。 An embodiment of the present disclosure further provides a computer-readable storage medium having computer program instructions stored thereon, the computer-readable storage medium implementing the above method when executed by a processor. The computer-readable storage medium may be a non-volatile computer-readable storage medium.

本開示の実施例では、プロセッサと、プロセッサにより実行可能な命令を記憶するメモリと、を含み、前記プロセッサは、前記メモリに記憶された命令を呼び出して上記方法を実行するように構成される電子機器がさらに提供される。 An embodiment of the present disclosure further provides an electronic device including a processor and a memory that stores instructions executable by the processor, the processor being configured to execute the method by calling the instructions stored in the memory.

本開示の実施例では、コンピュータ読み取り可能なコードを含むコンピュータプログラム製品であって、コンピュータ読み取り可能なコードが機器において作動すると、機器のプロセッサに上記のいずれかの実施例に係る運転者挙動検知の警告閾値調整方法を実現するための命令を実行させるコンピュータプログラム製品がさらに提供される。 An embodiment of the present disclosure further provides a computer program product including computer readable code that, when executed in a device, causes a processor of the device to execute instructions for implementing a method for adjusting a warning threshold for driver behavior detection according to any of the above embodiments.

本開示の実施例では、コンピュータ読み取り可能な命令が記憶されているコンピュータプログラムであって、命令が実行されると、コンピュータに上記のいずれかの実施例に係る運転者挙動検知の警告閾値調整方法の動作を実行させる別のコンピュータプログラム製品がさらに提供される。 An embodiment of the present disclosure further provides another computer program product, which is a computer program having computer-readable instructions stored therein, the instructions being executed to cause a computer to perform operations of the driver behavior detection warning threshold adjustment method according to any of the above embodiments.

本開示の実施例では、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに上記の運転者挙動検知の警告閾値調整方法を実現するための命令を実行させるコンピュータプログラムがさらに提供される。 An embodiment of the present disclosure further provides a computer program that includes computer-readable code, the computer-readable code operating in an electronic device causing a processor of the electronic device to execute instructions for implementing the above-described method for adjusting a warning threshold for driver behavior detection.

電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。 The electronic device may be provided as a terminal, a server or other form of device.

図4は、本開示の実施例に係る電子機器800のブロック図を示す。例えば、電子機器800は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。 FIG. 4 shows a block diagram of an electronic device 800 according to an embodiment of the present disclosure. For example, the electronic device 800 may be a terminal such as a mobile phone, a computer, a digital broadcasting terminal, a messaging device, a game console, a tablet device, a medical device, a fitness device, or a personal digital assistant.

図4を参照すると、電子機器800は、処理コンポーネント802、メモリ804、電源コンポーネント806、マルチメディアコンポーネント808、オーディオコンポーネント810、入力/出力(I/O)のインタフェース812、センサコンポーネント814、および通信コンポーネント816のうちの一つ以上を含んでもよい。 With reference to FIG. 4, electronic device 800 may include one or more of a processing component 802, a memory 804, a power component 806, a multimedia component 808, an audio component 810, an input/output (I/O) interface 812, a sensor component 814, and a communication component 816.

処理コンポーネント802は通常、電子機器800の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント802は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ820を含んでもよい。また、処理コンポーネント802は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント802は、マルチメディアコンポーネント808とのインタラクションのために、マルチメディアモジュールを含んでもよい。 The processing component 802 typically controls the overall operation of the electronic device 800, such as operations related to display, phone calls, data communication, camera operation, and recording operation. The processing component 802 may include one or more processors 820 that execute instructions to perform all or some of the steps of the above methods. The processing component 802 may also include one or more modules for interaction with other components. For example, the processing component 802 may include a multimedia module for interaction with the multimedia component 808.

メモリ804は電子機器800での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器800において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ804は、例えば静的ランダムアクセスメモリ(SRAM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM)、プログラマブル読み取り専用メモリ(PROM)、読み取り専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。 Memory 804 is configured to store various types of data to support operation on electronic device 800. These data include, by way of example, instructions for any application programs or methods operating on electronic device 800, contact data, phone book data, messages, pictures, videos, etc. Memory 804 can be implemented by various types of volatile or non-volatile storage devices, such as, for example, static random access memory (SRAM), electrically erasable programmable read-only memory (EEPROM), erasable programmable read-only memory (EPROM), programmable read-only memory (PROM), read-only memory (ROM), magnetic memory, flash memory, magnetic or optical disks, or combinations thereof.

電源コンポーネント806は電子機器800の各コンポーネントに電力を供給する。電源コンポーネント806は電源管理システム、一つ以上の電源、および電子機器800のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。 The power component 806 provides power to each component of the electronic device 800. The power component 806 may include a power management system, one or more power sources, and other components associated with generating, managing, and distributing power for the electronic device 800.

マルチメディアコンポーネント808は前記電子機器800とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ(LCD)およびタッチパネル(TP)を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド挙動の境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント808は前面カメラおよび/または背面カメラを含む。電子機器800が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび/または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。 The multimedia component 808 includes a screen that provides an output interface between the electronic device 800 and a user. In some embodiments, the screen may include a liquid crystal display (LCD) and a touch panel (TP). When the screen includes a touch panel, it may be implemented as a touch screen that receives input signals from a user. The touch panel may include one or more touch sensors to detect touches, slides, and gestures on the touch panel. The touch sensors may detect not only the boundaries of a touch or slide behavior, but also the duration and pressure associated with the touch or slide operation. In some embodiments, the multimedia component 808 includes a front camera and/or a rear camera. When the electronic device 800 is in an operational mode, such as a photography mode or a capture mode, the front camera and/or the rear camera may receive external multimedia data. Each front camera and rear camera may have a fixed optical lens system or a focal length and optical zoom capability.

オーディオコンポーネント810はオーディオ信号を出力および/または入力するように構成される。例えば、オーディオコンポーネント810は、一つのマイク(MIC)を含み、マイク(MIC)は、電子機器800が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ804に記憶されるか、または通信コンポーネント816を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント810はさらに、オーディオ信号を出力するためのスピーカーを含む。 The audio component 810 is configured to output and/or input audio signals. For example, the audio component 810 includes a microphone (MIC) configured to receive external audio signals when the electronic device 800 is in an operational mode, such as a call mode, a record mode, and a voice recognition mode. The received audio signals may be further stored in the memory 804 or transmitted via the communication component 816. In some embodiments, the audio component 810 further includes a speaker for outputting the audio signals.

I/Oインタフェース812は処理コンポーネント802と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。 The I/O interface 812 provides an interface between the processing component 802 and a peripheral interface module, which may be a keyboard, a click wheel, buttons, etc. These buttons may include, but are not limited to, a home button, volume buttons, a start button, and a lock button.

センサコンポーネント814は電子機器800の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント814は電子機器800のオン/オフ状態、例えば電子機器800の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント814はさらに、電子機器800または電子機器800のあるコンポーネントの位置の変化、ユーザと電子機器800との接触の有無、電子機器800の方位または加減速および電子機器800の温度変化を検出できる。センサコンポーネント814は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント814はさらに、相補型金属酸化膜半導体(CMOS)または電荷結合素子(CCD)イメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント814はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。 The sensor component 814 includes one or more sensors for evaluating the state of each aspect of the electronic device 800. For example, the sensor component 814 can detect the on/off state of the electronic device 800, the relative positioning of components such as the display and keypad of the electronic device 800, and the sensor component 814 can further detect changes in the position of the electronic device 800 or certain components of the electronic device 800, the presence or absence of contact between the user and the electronic device 800, the orientation or acceleration or deceleration of the electronic device 800, and temperature changes of the electronic device 800. The sensor component 814 may include a proximity sensor configured to detect the presence of a nearby object in the absence of any physical contact. The sensor component 814 may further include an optical sensor for use in imaging applications, such as a complementary metal oxide semiconductor (CMOS) or charge-coupled device (CCD) image sensor. In some embodiments, the sensor component 814 may further include an acceleration sensor, a gyro sensor, a magnetic sensor, a pressure sensor, or a temperature sensor.

通信コンポーネント816は電子機器800と他の機器との有線または無線通信を実現するように構成される。電子機器800は通信規格に基づく無線ネットワーク、例えば無線ネットワーク(WiFi)、第2世代移動通信技術(2G)または第3世代移動通信技術(3G)、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント816は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント816はさらに、近距離通信を促進させるために、近距離無線通信(NFC)モジュールを含む。例えば、NFCモジュールは、無線周波数識別(RFID)技術、赤外線データ協会(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(BT)技術および他の技術によって実現できる。 The communication component 816 is configured to realize wired or wireless communication between the electronic device 800 and other devices. The electronic device 800 can access a wireless network based on a communication standard, such as a wireless network (WiFi), a second generation mobile communication technology (2G), or a third generation mobile communication technology (3G), or a combination thereof. In an exemplary embodiment, the communication component 816 receives a broadcast signal or broadcast-related information from an external broadcast management system via a broadcast channel. In an exemplary embodiment, the communication component 816 further includes a near field communication (NFC) module to facilitate short-range communication. For example, the NFC module can be realized by radio frequency identification (RFID) technology, infrared data association (IrDA) technology, ultra-wideband (UWB) technology, Bluetooth (BT) technology, and other technologies.

例示的な実施例では、電子機器800は一つ以上の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタルシグナルプロセッサ(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。 In an exemplary embodiment, the electronic device 800 may be implemented with one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processors (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), controllers, microcontrollers, microprocessors or other electronic elements and may be used to perform the above method.

例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ804が提供され、上記コンピュータプログラム命令は、電子機器800のプロセッサ820によって実行されと、上記方法を実行させることができる。 In an exemplary embodiment, a non-volatile computer readable storage medium, such as a memory 804, is further provided that includes computer program instructions that, when executed by the processor 820 of the electronic device 800, can cause the method to be performed.

図5は、本開示の実施例に係る電子機器1900のブロック図を示す。例えば、電子機器1900はサーバとして提供されてもよい。図5を参照すると、電子機器1900は、一つ以上のプロセッサを含む処理コンポーネント1922、および、処理コンポーネント1922によって実行可能な命令例えばアプリケーションプログラムを記憶するための、メモリ1932を代表とするメモリ資源を含む。メモリ1932に記憶されているアプリケーションプログラムは、それぞれが1つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント1922は命令を実行することによって上記方法を実行するように構成される。 FIG. 5 illustrates a block diagram of an electronic device 1900 according to an embodiment of the present disclosure. For example, the electronic device 1900 may be provided as a server. Referring to FIG. 5, the electronic device 1900 includes a processing component 1922 including one or more processors, and a memory resource, represented by a memory 1932, for storing instructions executable by the processing component 1922, such as an application program. The application program stored in the memory 1932 may include one or more modules, each corresponding to a set of instructions. The processing component 1922 is also configured to perform the above method by executing the instructions.

電子機器1900はさらに、電子機器1900の電源管理を実行するように構成される電源コンポーネント1926と、電子機器1900をネットワークに接続するように構成される有線又は無線ネットワークインタフェース1950と、入力/出力(I/O)インタフェース1958とを含んでもよい。電子機器1900は、メモリ1932に記憶されたオペレーティングシステム、例えばMicrosoftサーバーオペレーティングシステム(Windows ServerTM)、Appleからのグラフィカルユーザーインタフェースのオペレーティングシステム(Mac OS XTM)、マルチユーザー・マルチプロセスのコンピューターオペレーティングシステム(UnixTM)、フリーでオープンソースのUnixライクなオペレーティングシステム(LinuxTM)、オープンソースコードのUnixライクなオペレーティングシステム(FreeBSDTM)または類似するものに基づいて動作できる。 The electronic device 1900 may further include a power component 1926 configured to perform power management of the electronic device 1900, a wired or wireless network interface 1950 configured to connect the electronic device 1900 to a network, and an input/output (I/O) interface 1958. The electronic device 1900 can operate based on an operating system stored in memory 1932, such as a Microsoft server operating system (Windows Server ), a graphical user interface operating system from Apple (Mac OS X ), a multi-user, multi-process computer operating system (Unix ), a free and open source Unix-like operating system (Linux ), an open source code Unix-like operating system (FreeBSD ), or the like.

例示的な実施例では、さらに、不揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ1932が提供され、上記コンピュータプログラム命令は、電子機器1900の処理コンポーネント1922によって実行されと、上記方法を実行させることができる。 In an exemplary embodiment, a non-volatile computer readable storage medium, such as memory 1932, is further provided that includes computer program instructions that, when executed by processing component 1922 of electronic device 1900, can cause the method described above to be performed.

本開示は、システム、方法および/またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令が有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。 The present disclosure may be a system, method and/or computer program product. The computer program product may include a computer-readable storage medium having computer-readable program instructions for causing a processor to implement aspects of the present disclosure.

コンピュータ読み取り可能な記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例(非網羅的リスト)としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROMまたはフラッシュメモリ)、静的ランダムアクセスメモリ(SRAM)、携帯型コンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波(例えば、光ファイバーケーブルを通過するパルス光)、または電線を経由して伝送される電気信号と解釈されるものではない。 A computer readable storage medium may be a tangible device capable of storing and storing instructions for use in an instruction execution device. A computer readable storage medium may be, for example, but is not limited to, an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination of the above. Further specific examples (non-exhaustive list) of computer readable storage media include portable computer disks, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), static random access memory (SRAM), portable compact disk read only memory (CD-ROM), digital versatile disk (DVD), memory stick, floppy disk, mechanically encoded devices such as punch cards or slot-in protrusion structures on which instructions are stored, and any suitable combination of the above. As used herein, a computer readable storage medium is not to be construed as a momentary signal itself, such as radio waves or other freely propagating electromagnetic waves, electromagnetic waves propagated via a waveguide or other transmission medium (e.g., pulsed light passing through a fiber optic cable), or electrical signals transmitted via electrical wires.

ここで記述したコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から各計算/処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび/または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび/またはエッジサーバを含んでもよい。各計算/処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能なプログラム命令を受信し、該コンピュータ読み取り可能なプログラム命令を転送し、各計算/処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。 The computer readable program instructions described herein may be downloaded from a computer readable storage medium into each computing/processing device, or may be downloaded to an external computer or external storage device over a network, such as the Internet, a local area network, a wide area network, and/or a wireless network. The network may include copper transmission cables, fiber optic transmissions, wireless transmissions, routers, firewalls, switches, gateway computers, and/or edge servers. A network adapter card or network interface within each computing/processing device receives the computer readable program instructions from the network and transfers the computer readable program instructions for storage in a computer readable storage medium within each computing/processing device.

本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ(ISA)命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、C++などのオブジェクト指向プログラミング言語、および「C」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能なプログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、(例えばインターネットサービスプロバイダを利用してインターネットを経由して)外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)またはプログラマブル論理アレイ(PLA)などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。 Computer program instructions for carrying out the operations of the present disclosure may be assembly instructions, instruction set architecture (ISA) instructions, machine language instructions, machine-dependent instructions, microcode, firmware instructions, state setting data, or source or target code written in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk, C++, and general procedural programming languages such as "C" or similar programming languages. The computer-readable program instructions may be executed entirely on the user's computer, partially on the user's computer, as a standalone software package, partially on the user's computer and partially on a remote computer, or entirely on a remote computer or server. When a remote computer is involved, the remote computer may be connected to the user's computer via any type of network, including a local area network (LAN) or a wide area network (WAN), or may be connected to an external computer (e.g., via the Internet using an Internet Service Provider). In some embodiments, the state information of the computer-readable program instructions may be used to personalize electronic circuitry, such as a programmable logic circuit, a field programmable gate array (FPGA), or a programmable logic array (PLA), to execute the computer-readable program instructions to achieve aspects of the present disclosure.

ここで本開示の実施例に係る方法、装置(システム)およびコンピュータプログラム製品のフローチャートおよび/またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび/またはブロック図の各ブロックおよびフローチャートおよび/またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実現できることを理解すべきである。 Although aspects of the present disclosure have been described herein with reference to flowcharts and/or block diagrams of methods, apparatus (systems), and computer program products according to embodiments of the present disclosure, it should be understood that each block of the flowcharts and/or block diagrams, and combinations of blocks in the flowcharts and/or block diagrams, can be implemented by computer-readable program instructions.

これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび/またはブロック図の一つ以上のブロックにおいて指定された機能/挙動を実現ように、装置を製造してもよい。これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および/または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ読み取り可能な記憶媒体は、フローチャートおよび/またはブロック図の一つ以上のブロックにおいて指定された機能/挙動の各方面を実現する命令を有する製品を含む。 These computer-readable program instructions may be provided to a processor of a general purpose computer, special purpose computer, or other programmable data processing device, such that when these instructions are executed by the processor of the computer or other programmable data processing device, an apparatus is produced that implements the functions/behavior specified in one or more blocks of the flowcharts and/or block diagrams. These computer-readable program instructions may be stored on a computer-readable storage medium to cause a computer, programmable data processing device, and/or other device to operate in a particular manner. Thus, a computer-readable storage medium having instructions stored thereon includes an article of manufacture having instructions that implement each aspect of the functions/behavior specified in one or more blocks of the flowcharts and/or block diagrams.

コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび/またはブロック図の一つ以上のブロックにおいて指定された機能/挙動を実現する。 The computer-readable program instructions may be loaded into a computer, other programmable data processing device, or other device, and cause the computer, other programmable data processing device, or other device to perform a series of operational steps to produce a computer-implemented process. In this manner, the instructions executed on the computer, other programmable data processing device, or other device implement the functions/behavior specified in one or more blocks of the flowcharts and/or block diagrams.

図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および/またはフローチャートにおける各ブロック、およびブロック図および/またはフローチャートにおけるブロックの組み合わせは、指定される機能または挙動を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。 The flowcharts and block diagrams in the drawings illustrate possible system architectures, functions, and operations of systems, methods, and computer program products according to several embodiments of the present disclosure. In this regard, each block in the flowcharts or block diagrams may represent a module, program segment, or part of instructions, which includes one or more executable instructions for implementing a specified logical function. In some alternative implementations, the functions depicted in the blocks may be implemented out of the order depicted in the drawings. For example, two consecutive blocks may be executed substantially in parallel, or may be executed in reverse order depending on the function. It should also be noted that each block in the block diagrams and/or flowcharts, and combinations of blocks in the block diagrams and/or flowcharts, may be implemented by a dedicated system based on hardware that executes the specified function or behavior, or may be implemented by a combination of dedicated hardware and computer instructions.

当該コンピュータプログラム製品は、ハードウェア、ソフトウェア、又はそれらの組み合わせによって具体的に実現できる。選択可能的な一実施例では、前記コンピュータプログラム製品はコンピュータ記憶媒体として具現化される。選択可能的な別の実施例では、コンピュータプログラム製品はソフトウェア製品、例えば、ソフトウェア開発キット(Software Development Kit、略称SDK)等として具現化される。 The computer program product may be embodied in hardware, software, or a combination thereof. In one alternative embodiment, the computer program product is embodied as a computer storage medium. In another alternative embodiment, the computer program product is embodied as a software product, such as a software development kit (SDK).

以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。 Although the embodiments of the present disclosure have been described above, the above description is merely illustrative and not exhaustive, and is not limited to the embodiments disclosed. Various modifications and alterations will be apparent to those skilled in the art without departing from the scope and spirit of the described embodiments. The terms chosen in this specification are intended to favorably interpret the principles, practical applications, or improvements to existing technology of the embodiments, or to allow other skilled in the art to understand the embodiments disclosed herein.

Claims (14)

運転者の第1挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信することと、
前記運転者の第1挙動検知結果を取得することと、
前記誤警告フィードバック情報に基づいて、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整することと、
を含み、
前記運転者の第1挙動検知結果に対応する挙動種類を特定することをさらに含み、
前記した、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整することは、
運転者の第1挙動検知結果に対応する挙動種類の警告パラメータ閾値を調整することを含み、前記挙動種類によって、対応する警告パラータ閾値が異なることを特徴とする運転者挙動検知の警告閾値調整方法。
receiving false warning feedback information indicating an occurrence of a false warning based on a first behavior detection result of a driver;
Obtaining a first behavior detection result of the driver;
Adjusting a warning parameter threshold corresponding to a first driver behavior detection result based on the false warning feedback information;
Including,
The method further includes identifying a behavior type corresponding to a first behavior detection result of the driver;
The above-mentioned adjusting the warning parameter threshold corresponding to the first behavior detection result of the driver includes:
A method for adjusting a warning threshold for driver behavior detection, comprising adjusting a warning parameter threshold for a behavior type corresponding to a first behavior detection result of a driver, the corresponding warning parameter threshold differing depending on the behavior type .
前記した、前記誤警告フィードバック情報に基づいて、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整することは、
前記誤警告フィードバック情報に応じて、ユーザに前記運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整するよう促す第1注意喚起情報を発することと、
ユーザから前記第1注意喚起情報に応じて送信された警告パラメータ閾値調整指令を受信したことに応じて、前記運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整することと、
を含むことを特徴とする請求項1に記載の運転者挙動検知の警告閾値調整方法。
The above-mentioned, adjusting the warning parameter threshold corresponding to the first behavior detection result of the driver based on the false warning feedback information,
issuing first attention calling information to prompt a user to adjust a warning parameter threshold corresponding to a first behavior detection result of the driver in response to the false warning feedback information;
adjusting a warning parameter threshold corresponding to a first behavior detection result of the driver in response to receiving a warning parameter threshold adjustment command transmitted from a user in response to the first attention calling information;
The method for adjusting a warning threshold value for driver behavior detection according to claim 1, further comprising:
前記した、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整することは、
運転者の第1挙動検知結果に対応する警告パラメータ閾値を所定の調整ステップ幅で増減させることを含むことを特徴とする請求項1または2に記載の運転者挙動検知の警告閾値調整方法。
The above-mentioned adjusting the warning parameter threshold corresponding to the first behavior detection result of the driver includes:
3. The method for adjusting a warning threshold for detecting a driver's behavior according to claim 1, further comprising increasing or decreasing a warning parameter threshold corresponding to a result of the first detection of the driver's behavior by a predetermined adjustment step width.
前記誤警告のタイプを識別することをさらに含み、
前記誤警告のタイプは、
第1危険運転挙動を、挙動種類が前記第1危険運転挙動と異なる第2危険運転挙動と誤警告するタイプ、
前記危険運転挙動が発生しない場合、警告を発するタイプ、
の少なくとも1つを含むことを特徴とする請求項1または2に記載の運転者挙動検知の警告閾値調整方法。
and identifying a type of the false alarm.
The type of the false alarm is:
A type in which a first risky driving behavior is erroneously warned as a second risky driving behavior having a different behavior type from the first risky driving behavior;
A type that issues a warning if the dangerous driving behavior does not occur;
3. The method for adjusting a warning threshold value for driver behavior detection according to claim 1 , further comprising:
誤警告フィードバック情報を受信した後に、さらに、
運転者の所定挙動のビデオデータを含むものであって、前記誤警告をトリガーした第1ビデオデータを取得することと、
前記第1ビデオデータを誤警告ビデオライブラリーに記憶することと、
を含むことを特徴とする請求項1または2に記載の運転者挙動検知の警告閾値調整方法。
After receiving the false alarm feedback information, further
Obtaining a first video data including video data of a predetermined behavior of a driver, the first video data triggering the false warning;
storing the first video data in a false alarm video library;
3. The method for adjusting a warning threshold value for driver behavior detection according to claim 1 , further comprising:
前記した、前記誤警告をトリガーした第1ビデオデータを取得することは、
前記誤警告フィードバック情報が受信される前の所定期間内の前記第1ビデオデータを取得すること、又は、
ユーザによって前記誤警告フィードバック情報を発する前に送信された前記第1ビデオデータを取得することを含むことを特徴とする請求項に記載の運転者挙動検知の警告閾値調整方法。
The acquiring of the first video data that triggered the false alarm includes:
Obtaining the first video data within a predetermined period before the false alarm feedback information is received; or
The method for adjusting a warning threshold for detecting a driver's behavior according to claim 5 , further comprising obtaining the first video data transmitted before a user issues the false warning feedback information.
運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整した後に、さらに、
運転者の前記所定挙動のビデオデータを含む第2ビデオデータを取得することと、
前記第2ビデオデータ及び調整後の前記警告パラメータ閾値に基づいて、運転挙動を検知して第2挙動検知結果を得ることと、
前記第2挙動検知結果に対する誤警告フィードバック情報を受信した場合、前記第2挙動検知結果に対応する警告パラメータ閾値を調整することと、
を含むことを特徴とする請求項に記載の運転者挙動検知の警告閾値調整方法。
After adjusting the warning parameter threshold corresponding to the first behavior detection result of the driver,
acquiring second video data including video data of the predetermined behavior of a driver;
Detecting a driving behavior based on the second video data and the adjusted warning parameter threshold to obtain a second behavior detection result.
adjusting a warning parameter threshold corresponding to the second behavior detection result when receiving false warning feedback information for the second behavior detection result;
The method for adjusting a warning threshold value for driver behavior detection according to claim 5 , further comprising:
少なくとも1つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取ることをさらに含み、
前記した、前記運転者の第1挙動検知結果を取得することは、
前記運転者の運転挙動が属する所定種類である対象所定種類を特定することと、
前記対象所定種類の運転挙動に対応する警告パラメータ閾値に基づいて、前記運転者の第1挙動検知結果を特定することと、を含むことを特徴とする請求項1または2に記載の運転者挙動検知の警告閾値調整方法。
reading a warning parameter threshold corresponding to at least one predetermined type of driving behavior;
The acquiring of the first behavior detection result of the driver includes:
Identifying a target predetermined type to which the driving behavior of the driver belongs;
The method for adjusting a warning threshold for driver behavior detection according to claim 1 or 2 , further comprising: identifying a first behavior detection result of the driver based on a warning parameter threshold corresponding to the target predetermined type of driving behavior.
前記した、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整することは、
前記対象所定種類の運転挙動に対応する警告パラメータ閾値を調整することを含み、
前記運転者挙動検知の警告閾値調整方法は、
前記対象所定種類の運転挙動に対応する調整後の警告パラメータ閾値を記憶することをさらに含むことを特徴とする請求項に記載の運転者挙動検知の警告閾値調整方法。
The above-mentioned adjusting the warning parameter threshold corresponding to the first behavior detection result of the driver includes:
adjusting warning parameter thresholds corresponding to the target predetermined type of driving behavior;
The method for adjusting a warning threshold value for detecting a driver's behavior includes:
The method of claim 8, further comprising: storing the adjusted warning parameter threshold corresponding to the target predetermined type of driving behavior.
前記所定種類の運転挙動は、あくびの挙動と、目閉じの挙動と、頭振りの挙動との少なくとも1つを含み、
前記あくびの挙動に対応する警告パラメータ閾値は、口開き幅閾値と、あくび継続時間閾値との少なくとも1つを含み、
前記目閉じの挙動に対応する警告パラメータ閾値は、目閉じ幅閾値と、目閉じ継続時間閾値との少なくとも1つを含み、
前記頭振りの挙動に対応する警告パラメータ閾値は、頭姿勢振り角閾値を含むことを特徴とする請求項に記載の運転者挙動検知の警告閾値調整方法。
The predetermined type of driving behavior includes at least one of a yawning behavior, an eye closing behavior, and a head shaking behavior,
The warning parameter threshold corresponding to the yawning behavior includes at least one of a mouth opening width threshold and a yawning duration threshold;
The warning parameter threshold corresponding to the eye-closing behavior includes at least one of an eye-closing width threshold and an eye-closing duration threshold,
The method for adjusting a warning threshold for driver behavior detection according to claim 8 , wherein the warning parameter threshold corresponding to the head shaking behavior includes a head posture shaking angle threshold.
運転者の第1挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信する受信モジュールと、
前記運転者の第1挙動検知結果を取得する取得モジュールと、
前記誤警告フィードバック情報に基づいて、運転者の第1挙動検知結果に対応する警告パラメータ閾値を調整する調整モジュールと、
を備え
前記運転者の第1挙動検知結果に対応する挙動種類を特定する特定モジュールをさらに備え、
前記調整モジュールによる、運転者の第1挙動検知結果に対応する警告パラメータ閾値の調整は、
前記調整モジュールが運転者の第1挙動検知結果に対応する挙動種類の警告パラメータ閾値を調整することを含み、前記挙動種類によって、対応する警告パラータ閾値が異なることを特徴とする運転者挙動検知の警告閾値調整装置。
a receiving module that receives false warning feedback information indicating an occurrence of a false warning based on a first behavior detection result of the driver;
an acquisition module for acquiring a first behavior detection result of the driver;
an adjustment module for adjusting a warning parameter threshold corresponding to a first behavior detection result of a driver based on the false warning feedback information;
Equipped with
The vehicle control system further includes an identification module that identifies a behavior type corresponding to the first behavior detection result of the driver,
The adjustment of the warning parameter threshold corresponding to the first behavior detection result of the driver by the adjustment module includes:
A warning threshold adjustment device for driver behavior detection, characterized in that the adjustment module includes adjusting a warning parameter threshold for a behavior type corresponding to a first behavior detection result of the driver, and the corresponding warning parameter threshold differs depending on the behavior type .
プロセッサと、
プロセッサにより実行可能な命令を記憶するメモリと、を含み、
前記プロセッサは、前記メモリに記憶された命令を呼び出して、請求項1~10のいずれか1項に記載の運転者挙動検知の警告閾値調整方法を実行するように構成されることを特徴とする電子機器。
A processor;
a memory for storing instructions executable by a processor;
The electronic device, characterized in that the processor is configured to call instructions stored in the memory and execute the method for adjusting a warning threshold for driver behavior detection according to any one of claims 1 to 10 .
コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、請求項1~10のいずれか1項に記載の運転者挙動検知の警告閾値調整方法を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。 A computer-readable storage medium having computer program instructions stored therein, the computer-readable storage medium being characterized in that, when the computer program instructions are executed by a processor, the computer-readable storage medium realizes the method for adjusting a warning threshold for driver behavior detection according to any one of claims 1 to 10 . コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに請求項1~10のいずれか1項に記載の運転者挙動検知の警告閾値調整方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。 A computer program comprising computer-readable code, the computer-readable code, when executed in an electronic device, causing a processor of the electronic device to execute instructions for implementing the method for adjusting a warning threshold for driver behavior detection according to any one of claims 1 to 10 .
JP2023522416A 2020-12-31 2021-07-30 Method and device for adjusting warning threshold, electronic device, and storage medium Active JP7575588B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011625196.5A CN112669583B (en) 2020-12-31 2020-12-31 Alarm threshold adjusting method and device, electronic equipment and storage medium
CN202011625196.5 2020-12-31
PCT/CN2021/109832 WO2022142332A1 (en) 2020-12-31 2021-07-30 Alert threshold adjustment method, apparatus, electronic device, and storage medium

Publications (2)

Publication Number Publication Date
JP2023545158A JP2023545158A (en) 2023-10-26
JP7575588B2 true JP7575588B2 (en) 2024-10-29

Family

ID=75412391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023522416A Active JP7575588B2 (en) 2020-12-31 2021-07-30 Method and device for adjusting warning threshold, electronic device, and storage medium

Country Status (3)

Country Link
JP (1) JP7575588B2 (en)
CN (1) CN112669583B (en)
WO (1) WO2022142332A1 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669583B (en) * 2020-12-31 2022-11-04 上海商汤临港智能科技有限公司 Alarm threshold adjusting method and device, electronic equipment and storage medium
CN113628412A (en) * 2021-07-16 2021-11-09 一汽奔腾轿车有限公司 Whole vehicle testing method of driver monitoring system
CN113706814A (en) * 2021-08-10 2021-11-26 成都迪沃航空科技有限公司 Controllable intelligent driving module
CN113903013B (en) * 2021-09-30 2025-08-01 杭州海康汽车软件有限公司 Vehicle alarm control method, device, equipment and machine-readable storage medium
CN114066297B (en) * 2021-11-24 2023-04-18 西南交通大学 Method for identifying working state of high-speed railway traffic dispatcher
CN114399884B (en) * 2021-12-22 2023-10-20 核动力运行研究所 Alarm and alarm releasing method and device
CN114821999B (en) * 2022-04-25 2023-07-21 华能山东石岛湾核电有限公司 Alarm function verification method, device and radioactive source monitor
CN114802369B (en) * 2022-05-06 2023-06-16 郑州铁路职业技术学院 Train auxiliary driving method, system, electronic equipment and storage medium
CN115830818B (en) * 2022-11-28 2025-02-07 中国建筑第二工程局有限公司 Bored pile construction early warning method, device, equipment and system
CN115590452B (en) * 2022-11-30 2023-03-14 珠海视新医用科技有限公司 An alarm method for endoscope anti-collision
CN116007838A (en) * 2022-12-06 2023-04-25 深圳市普博医疗科技股份有限公司 Pressure sensor alarm threshold correction method and device and ventilation equipment
CN116452924B (en) * 2023-03-21 2023-10-13 长扬科技(北京)股份有限公司 Model threshold adjustment method and device, electronic equipment and storage medium
CN116343443B (en) * 2023-03-31 2025-07-04 山东柏通电气有限公司 Transformer alarm method, system and readable storage medium
CN120877495B (en) * 2025-09-26 2025-12-16 常州博瑞电力自动化设备有限公司 A digital early warning system and method for equipment monitoring

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016136332A (en) 2015-01-23 2016-07-28 沖電気工業株式会社 Information processing apparatus, information processing method, and storage medium
JP2019089512A (en) 2017-11-16 2019-06-13 株式会社Subaru Drive support device, and drive support method
JP2019133402A (en) 2018-01-31 2019-08-08 株式会社デンソー Vehicle alarm device
JP2020195077A (en) 2019-05-29 2020-12-03 コニカミノルタ株式会社 Image processing device, control method of image processing device, and control program of image processing device

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000301962A (en) * 1999-04-21 2000-10-31 Niles Parts Co Ltd Eye condition detection device, drowsy driving alarm device
DE102004048013A1 (en) * 2004-10-01 2006-04-06 Robert Bosch Gmbh Method and device for driver assistance
CN101732055B (en) * 2009-02-11 2012-04-18 北京智安邦科技有限公司 driver fatigue detection method and system
CN101599207A (en) * 2009-05-06 2009-12-09 深圳市汉华安道科技有限责任公司 A kind of fatigue driving detection device and automobile
CN102436715B (en) * 2011-11-25 2013-12-11 大连海创高科信息技术有限公司 Fatigue driving detection method
US9007198B2 (en) * 2012-11-02 2015-04-14 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive Actuator interface for active driver warning
CN106682602B (en) * 2016-12-16 2020-01-21 深圳市华尊科技股份有限公司 A kind of driver behavior recognition method and terminal
US10498951B2 (en) * 2017-01-23 2019-12-03 Digital Global Systems, Inc. Systems, methods, and devices for unmanned vehicle detection
CN108877172B (en) * 2018-06-26 2019-07-12 深圳市中电数通智慧安全科技股份有限公司 A kind of false alarm analysis method, device and terminal device
CN109657979A (en) * 2018-12-19 2019-04-19 义乌市腾飞汽车代驾服务有限公司 A kind of method and apparatus driving service evaluation
CN109886148A (en) * 2019-01-29 2019-06-14 唐山明天科技有限公司 A kind of driver's active warning system and device based on recognition of face
CN110705502B (en) * 2019-10-14 2023-07-28 首约科技(北京)有限公司 Optimization method of driver monitoring equipment
CN110949396B (en) * 2019-11-21 2021-11-23 西安芯海微电子科技有限公司 Method, system, steering wheel, device, equipment and medium for monitoring fatigue driving
CN112102586B (en) * 2020-09-17 2022-09-02 杭州海康威视系统技术有限公司 Fatigue driving warning method, device and equipment
CN112669583B (en) * 2020-12-31 2022-11-04 上海商汤临港智能科技有限公司 Alarm threshold adjusting method and device, electronic equipment and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016136332A (en) 2015-01-23 2016-07-28 沖電気工業株式会社 Information processing apparatus, information processing method, and storage medium
JP2019089512A (en) 2017-11-16 2019-06-13 株式会社Subaru Drive support device, and drive support method
JP2019133402A (en) 2018-01-31 2019-08-08 株式会社デンソー Vehicle alarm device
JP2020195077A (en) 2019-05-29 2020-12-03 コニカミノルタ株式会社 Image processing device, control method of image processing device, and control program of image processing device

Also Published As

Publication number Publication date
CN112669583A (en) 2021-04-16
WO2022142332A1 (en) 2022-07-07
JP2023545158A (en) 2023-10-26
CN112669583B (en) 2022-11-04

Similar Documents

Publication Publication Date Title
JP7575588B2 (en) Method and device for adjusting warning threshold, electronic device, and storage medium
JP7295936B2 (en) Motion recognition method, electronic device and storage medium
CN109144360B (en) Screen lighting method, electronic device and storage medium
JP5601045B2 (en) Gesture recognition device, gesture recognition method and program
US11288531B2 (en) Image processing method and apparatus, electronic device, and storage medium
RU2648625C2 (en) Method and apparatus for determining spatial parameter by using image, and terminal device
WO2019206273A1 (en) Collision control method and apparatus, and electronic device and storage medium
JP2021073567A (en) Voice control method, terminal device, cloud server, and system
EP3933570A1 (en) Method and apparatus for controlling a voice assistant, and computer-readable storage medium
JP2021536069A (en) Signal indicator status detection method and device, operation control method and device
EP3196736A1 (en) Method and apparatus for recognizing gesture
KR20210042952A (en) Image processing method and device, electronic device and storage medium
EP3115982A1 (en) Method and apparatus for road condition prompt
CN113989889B (en) Method and device for adjusting light shielding plate, electronic equipment and storage medium
US11455836B2 (en) Dynamic motion detection method and apparatus, and storage medium
CN115132224B (en) Abnormal sound processing method, device, terminal and storage medium
CN104867349A (en) Information prompting method and information prompting device
US12602195B2 (en) Method and apparatus for controlling device based on tapping and storage medium
WO2023273063A1 (en) Passenger speaking detection method and apparatus, and electronic device and storage medium
CN114103985A (en) Obstacle-based prompting method, device and equipment
JP2020526941A (en) State detection method, state detection device and storage medium
TW202230277A (en) Target object exposure method, storage medium and electronic equipment
EP3035172A1 (en) Method and device for activating operation state of mobile terminal
CN113344899B (en) Mining working condition detection methods, devices, storage media and electronic equipment
CN112286392B (en) Touch detection method and device for touch screen, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20241017

R150 Certificate of patent or registration of utility model

Ref document number: 7575588

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150